CN114357370A

CN114357370A - 具有非凸激活函数的噪声抑制零化神经网络求解时变矩阵平方根

Info

Publication number: CN114357370A
Application number: CN202210015314.3A
Authority: CN
Inventors: 郑棉杰; 姜丞泽; 肖秀春
Original assignee: Guangdong Ocean University
Current assignee: Guangdong Ocean University
Priority date: 2022-01-07
Filing date: 2022-01-07
Publication date: 2022-04-15

Abstract

本发明公开了具有非凸激活函数的噪声抑制零化神经网络求解时变矩阵平方根，首先对原始问题进行抽象与建模，将问题转化为求解时变矩阵平方根的数学模型，之后将该数学模型通过求导和克罗内克积转化为动态矩阵线性方程问题，采用非凸激活和噪声抑制零化神经网络进行迭代求解，在求解的过程中不断对系统残差以及状态变量进行映射及变换，调整网络的求解策略。最终当迭代求解出的模型系统满足预定义的条件及精度后停止迭代并输出模型系统。和传统的其他求解时变矩阵平方根的方法相比，本发明算法有更高的收敛精度、收敛速度和鲁棒性。

Description

具有非凸激活函数的噪声抑制零化神经网络求解时变矩阵平方根

技术领域

本发明涉及矩阵方程及神经网络技术领域，具体涉及非凸激活和噪声抑制零化神经网络(A Non-convex Activation and Noise-suppressing Zeroing Neural Network)求解时变矩阵平方根的方法。

背景技术

求解矩阵平方根问题已成为许多科学和工程领域的一个重要研究方向。例如，控制与优化理论领域，以及卡尔曼滤波和信号处理。一般来说，传统的算法只能用于解决与静态矩阵相关的平方根问题，但不能解决与时变(或动态)矩阵相关的问题。事实上，大多数现有算法无法直接应用于时效性强的领域。然而，递归神经网络方法通过并行分布性质和可能的硬件实现能力获得与时变矩阵相关的精确解。因此，发展一些递归神经网络方法来解决时变矩阵平方根(TMSR)问题是非常自然的。值得注意的是，已有大量研究致力于用梯度神经网络解决TMSR问题，但这些传统的梯度神经网络在面对大规模时变问题时存在严重的滞后误差，从而导致求解精度不足，甚至导致求解系统崩溃。而零化神经网络(OZNN模型)可以利用时间导数信息对误差函数进行调零，有效求解相关问题。因此，基于OZNN模型构建解决TMSR问题的模型可以极大地提高效率和精度。但是，在各种形式的干扰噪声下，传统的OZNN模型的精度会大大降低。此外，其收敛速度和求解精度往往不能满足工程要求。为了解决这些问题，许多研究工作人员引入了积分反馈项来解决这些问题。但是现有的方法无法有效解决凸集合上的问题，同时收敛速度和在噪声干扰下的精度也有限，因此，本文结合上述调零型神经网络模型的优点，提出了一种具有非凸激活和噪声抑制特性的新型零化神经网络模型(NANSZNN)，并首次将其应用于解决干扰噪声的TMSR问题。该模型不仅解决了传统方法的问题，还能在各种噪声的干扰下保持高精度和快的收敛速度，同时也能保证系统的鲁棒性。

发明内容

(一)解决的技术问题

本发明的目的在于提供具有非凸激活函数的噪声抑制零化神经网络求解时变矩阵平方根，解决了传统算法的无法因对时变连续代数问题、复杂度高、收敛速度慢、精度低等问题。此外，突破了现有神经网络无法在非凸集合上有效使用，进一步扩展了零化神经网络的引用范围。

(二)技术方案

具有非凸激活函数的噪声抑制零化神经网络求解时变矩阵平方根，包括以下步骤：

步骤1：输入原始实际问题(例如机械臂移动规划，图像处理等实际问题)；

步骤2：根据输入的原始实际问题，抽象与建模得到其中的隐含的基本数学问题；

步骤3：建立求解时变矩阵平方根问题的原始神经网络模型；

步骤4：定义非凸激活和噪声抑制的零化神经网络；

步骤5：利用非凸激活和噪声抑制的零化神经网络算法，在无噪声和有噪声的情况下对时变矩阵平方根问题的数学模型进行迭代求解，不断对系统残差以及状态变量进行映射及变换直至满足预定义的精度以及要求；

步骤6：最终得到输出模型系统和所得结果。

进一步的，步骤2中隐含的数学问题可以被统一表示为：

X²(t)-A(t)＝0；

其中A(t),X(t)∈R^n×n,其中X(t)是待求的未知矩阵，A(t)是已知动态矩阵。

进一步的，步骤3中建立求解时变矩阵平方根问题的数学模型具体表示为：

步骤3.1：建立时变矩阵平方根的误差函数，表示为：

E(t)＝X²(t)-A(t)；

步骤3.2：由OZNN模型的进化方向，我们可以得到：

在这里κ>0；

步骤3.3：令x(t)＝vec(X(t)),a(t)＝vec(A(t)),

其中A(t)∈R^n×n,x(t),

由此我们可以得到求解时变矩阵平方根的零化神经网络模型，即OZNN模型为：

进一步的，步骤4中提出的定义非凸激活和噪声抑制的零化神经网络具体表现为：

步骤4.1：非凸激活和噪声抑制的激活函数的定义为：

(1)The power-sum projection function：

P_Λ(E(t))＝E(t)+E³(t)+E⁵(t)；

(2)The power-sigmoid projection function：

其中参数μ₁＝3,μ₂＝1；

(3)The bound projection function：

其中

其中

同时ω的每一个子元素是ω_i，其中i是1，2，3，……；

(4)The ball projection function:

其中Λ＝{ω∈R^n×n,||ω||_F≤Υ},其中Υ>0；

(5)The nonconvex projection function:

Λ＝{ω∈R^n×n,-b₁≤ω_i≤b₁或ω_i＝b₂或ω_i＝b₃}，其中b₁,b₂,b₃是常数以及满足0<b₁<b₂和b₃<-b₁<0；

(6)The centrosymmetric non-convex projection function:

其中Λ＝{ω∈R^n×n,p^-≤ω_i≤p⁺},在式子中常数参数0<q<1和p>0。

步骤4.2：定义一个基于误差的常系数神经网络：

其中已知系数κ,ξ>0，

而且满足

进一步的，步骤5中利用具有非凸激活函数的噪声抑制零化神经网络求解时变矩阵平方根具体表示为：

步骤5.1：求解时变矩阵平方根的非凸激活和噪声抑制的零化神经网络求解时变矩阵平方根的模型：

其中参数

表示噪声，无噪声时

有噪声时，

步骤5.2：参数初始化；

步骤5.3：计算误差函数E(t)，若满足条件‖E(t)‖_F<∈，则停止计算并输出x(t)，其中∈表示最大容限误差；

步骤5.4：重复步骤5.3直至计算结束输出。

进一步的，步骤5.2中所述的参数初始化的具体步骤包括：

S5.2.1：预设的最大容限误差∈；

S5.2.2：随机初始化初始迭代点x₀；

S5.2.3：初始化

和

中的参数和噪声

S5.2.4：给定静态矩阵和动态矩阵具体值：

其中，静态矩阵：

该矩阵是Toeplitz矩阵，a₁＝1+sin(2),

同时有k＝2,3,4……；其中，动态矩阵：

(三)有益效果

本发明与现有技术相比，包括以下优点：

第一，在传统的OZNN模型上增加了多种非凸激活函数，在解决时变矩阵平方根的问题上能加快收敛速度和收敛精度，进一步增强对噪声的抑制能力。

第二，其在求解过程中充分利用了时变连续代数系数的导数信息，具有一定的预测能力；

第三，其在设计模型上引入积分反馈项，使得该算法具有更强的鲁棒性、更加拟合实际问题的要求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的，保护一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明NANSZNN模型的流程图；

图2为通过NANSZNN模型计算出的计算解轨迹图；

图3为采用NANSZNN模型在求解时变矩阵平方根时的残差收敛图像。

图4为采用NANSZNN模型在求解时变矩阵平方根时的残差对数收敛图像。

图5为采用NANSZNN模型在求解时变矩阵平方根受到常数噪声干扰下的残差收敛图像。

图6为采用NANSZNN模型在求解时变矩阵平方根受到常数噪声干扰下的残差对数收敛图像。

图7为采用NANSZNN模型在求解时变矩阵平方根受到随机噪声干扰下的残差收敛图像。

图8为采用NANSZNN模型在求解时变矩阵平方根受到随机噪声干扰下的残差对数收敛图像。

图9为采用NANSZNN模型在求解时变矩阵平方根受到线性噪声干扰下的残差收敛图像。

图10为采用NANSZNN模型在求解时变矩阵平方根受到线性噪声干扰下的残差对数收敛图像。

具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。

参考附图1-10可以看出，非凸激活和噪声抑制的零化神经网络求解时变矩阵平方根问题的方法，包括以下步骤：

步骤2：根据输入的原始实际问题，抽象与建模得到其中的隐含的基本数学问题：

X²(t)-A(t)＝0；

其中A(t),X(t)∈R^n×n，其中X(t)是待求的未知矩阵，A(t)是已知动态矩阵。

步骤3：建立求解时变矩阵平方根的原始神经网络模型。

具体为，

步骤3.1：时变矩阵平方根的误差函数可以表示为：

E(t)＝X²(t)-A(t)；

步骤3.2：由OZNN模型的进化方，向我们可以得到

在这里κ>0；

步骤3.3：令x(t)＝vec(X(t)),a(t)＝vec(A(t)),

其中A(t)∈R^n×n,

由此我们可以得到求解时变矩阵平方根的零化神经网络模型(OZNN模型)为：

步骤4：定义非凸激活和噪声抑制的零化神经网络。

具体为：

步骤4.1：非凸激活和噪声抑制的激活函数的定义为：

(1)The power-sum projection function：

P_Λ(E(t))＝E(t)+E³(t)+E⁵(t)；

(2)The power-sigmoid projection function：

其中参数μ₁＝3,μ₂＝1；

(3)The bound projection function：

其中

其中

同时ω的每一个子元素是ω_i，其中i是1，2，3，……；

(4)The ball projection function:

其中Λ＝{ω∈R^n×n,||ω||_F≤Υ},其中Υ>0；

(5)The nonconvex projection function:

(6)The centrosymmetric non-convex projection function:

步骤4.2：定义一个基于误差的常系数神经网络：

其中已知系数κ,ξ>0，

而且满足

步骤5.1：求解时变矩阵平方根的非凸激活和噪声抑制的零化神经网络求解时变矩阵平方根问题的模型：

其中参数

表示噪声，无噪声时

有噪声时，

步骤5.2：参数初始化；

步骤5.4：重复步骤5.3直至计算结束输出。

其中，步骤5.2中所述的参数初始化的具体步骤包括：

S5.2.1：预设的最大容限误差∈；

S5.2.2：随机初始化初始迭代点x₀；

S5.2.3：初始化

和

中的参数和噪声

S5.2.4：给定矩阵具体值：

其中，静态矩阵：

该矩阵是Toeplitz矩阵，

同时有k＝2,3,4……；

其中，动态矩阵：

下面具体采用实施例说明：

首先，传入动态矩阵的实例，具体实例如下：

并设置两个映射函数：

然后给定噪声：

A.常数噪声：ξ(t)＝[2]⁴；

B.线性噪声：ξ(t)＝[0.4×t]⁴；

C.随机噪声：ξ(t)∈[0.5，2]⁴。

其次，根据给定的实例将时变矩阵平方根问题纳入到非凸激活和噪声抑制的零化神经网络求解框架中，根据非凸激活和噪声抑制的零化神经网络的演化定义公式：

从而推导出用于求解的迭代模型。

最后，利用微分方程求解器对迭代模型进行计算，直至满足预给定的条件为止。

图2、图3和图4展示了采用NANSZNN模型在求解时变矩阵平方根问题仿真结果图。

通过分析图2可以看出，本发明提出的NANSZNN模型从任意的初始点开始，均可以准确的收敛到理论解。

为了充分展示和证明NANSZNN模型在各类噪声干扰下的全局收敛性和鲁棒性，我们分别设置了在不同噪声干扰下的仿真实验，并将仿真实验的结果展示在图5-图8中。可以看出，当采用NANSZNN模型求解时变矩阵平方根问题时，尽管受到噪声干扰，该模型仍保持良好的鲁棒性和稳定性。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管参照前述实施例对本发明专利进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。