CN106156847A - 一种有限时间收敛的梯度递归神经网络方法 - Google Patents

Abstract

本发明提供了一种有限时间收敛的梯度递归神经网络方法，包括如下步骤：1)确定要求解的工程问题并统一用数学方程描述；2)将步骤1中的数学方程用来定义为一个标量取值的正的能量函数，并求其负梯度导数；3)用步骤2)的负梯度信息设计一个梯度递归神经网络，用求解器实时求解；4)将步骤3)的梯度递归神经网络用一个特别构造的非线性函数激励，得到一个有限时间收敛的梯度递归神经网络。本发明的特点在于，通过构造和使用一个特别的非线性激励函数，梯度递归神经网络实现了有限时间收敛特性。

Description

一种有限时间收敛的梯度递归神经网络方法

技术领域

本发明涉及人工智能领域中的神经网络方面，更具体地，涉及一种有限时间收敛的梯度递归神经网络方法。

背景技术

梯度递归神经网络作为一种正在兴起的新型技术神经网络有着自己独特的优势，如并行处理能力、分布存储能力、较强的容错能力和较强的自适应能力。因此在信号处理、模式识别、优化组合、知识工程、专家系统、机器人控制等方面得到了广泛的应用。但是，以往梯度递归神经网络的工程/数学问题求解，只能当时间趋向于无穷时，才能收敛到所要求解问题的期望解。最理想的情况仅仅是指数收敛，这也不能在有限时间范围内使得梯度递归神经网络收敛到我们的期望解。在一些实时处理过程中，对求解速度要求比较高的，将限制以往梯度递归神经网络的应用。本发明通过对以往梯度递归神经网络使用一个特别构造的激励函数，建立了一个有限时间收敛的梯度递归神经网络，从而满足了工程/数学问题的实时求解要求，避免了以往梯度递归神经网络在实时处理中的额外工作量以及繁琐过程，应用领域广泛，实用性强。

发明内容

本发明的目的在于克服现有技术与方法的不足，提供一种有限时间收敛的梯度递归神经网络实时求解工程/数学问题的神经动力学计算方法，克服了以往梯度递归神经网络在实时处理中的额外工作量以及繁琐过程。

为解决上述技术问题，本发明通过以下技术方案予以实现：

一种有限时间收敛的梯度递归神经网络方法，包括如下步骤：

1)确定要求解的工程问题并统一用数学方程描述；

2)将步骤1中的数学方程用来定义为一个标量取值的正的能量函数并求其负梯度导数；

3)使用步骤2)的负梯度信息设计一个梯度递归神经网络，用求解器实时求解；

4)将步骤3)的梯度递归神经网络用一个特别构造的非线性函数激励，得到一个有限时间收敛的梯度递归神经网络。

优先地，将工程/数学问题统一用数学方程描述为：f(x)＝0，其中f(·)是从工程问题中抽象出来的一个函数映射关系，x表示工程问题中需要求解的未知变量。

优先地，根据数学统一方程定义为一个标量取值的正的能量函数：其中符号||·||₂表示矩阵的2范数；并求其负梯度导数：

优先地，将所述负梯度导数用来设计梯度递归神经网络：其中设计参数γ设置为在硬件容许的范围内越大越好，上标^T表示矩阵的转置。

优先地，将所述梯度递归神经网络用一个特别构造的非线性函数激励，得到一个有限时间收敛的梯度递归神经网络：其中Φ(·)为特别构造的非线性函数激励，定义为：Φ(x)＝(sgn(x))^r+(sgn(x))^1/r，其中通过求解器求解所述带非线性函数激励的梯度递归神经网络，从而得到求解工程/数学问题的一个有限时间收敛的期望解。

与现有技术相比，本发明具有如下优点：

以往，梯度递归神经网络的工程/数学问题求解，只能当时间趋向于无穷时，才能收敛到所要求解问题的期望解。最理想的情况仅仅是指数收敛，这也不能在有限时间范围内使得梯度递归神经网络收敛到我们的期望的解。在一些实时处理过程中，对求解速度要求比较高的，将大大限制梯度递归神经网络的应用。本发明通过对梯度递归神经网络使用一个特别构造的激励函数，建立了一个有限时间收敛的梯度递归神经网络，从而满足了工程/数学问题的实时求解要求，避免了以往梯度递归神经网络在实时处理中的额外工作量以及繁琐过程，应用领域广泛，实用性强。

附图说明

图1为本发明的流程图。

图2为不使用特别构造的非线性激励函数时以往梯度递归神经网络求解矩阵求逆问题的误差收敛情况。

图3为使用特别构造的非线性激励函数时本发明求解矩阵求逆问题的误差收敛情况。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

图1所示的有限时间收敛的梯度递归神经网络方法首先主确定要求解的工程/数学问题，并定义一个标量取值的正的能量函数，求解得其负梯度；然后通过使用一个特别构造的激励函数使得梯度神经网络能有限时间收敛。

具体实施例一

我们考虑在工程和科学领域经常出现的矩阵求逆问题，在数学上定义矩阵逆A^-1∈R^n×n的方程为AX(t)＝I或者X(t)A＝I，其中I∈R^n×n是单位矩阵，X(t)∈R^n×n是需要求逆的未知矩阵。图2展示了不使用特别构造的非线性激励函数时以往梯度递归神经网络求解矩阵求逆问题的误差收敛情况，收敛时间为3.5秒，而图3展示了使用特别构造的非线性激励函数时本发明求解矩阵求逆问题的误差收敛情况，收敛时间为0.7秒，整整快了5倍，大大提高了收敛性能。

下面是本发明关于有限时间收敛的梯度递归神经网络具体实现方法。

首先定义一个标量取值的正的能量函数：

$\mathrm{\ϵ}={\left|\right|\mathrm{AX}\left(t\right)-I\left|\right|}_2^2/2---\left(1\right)$

其次对该能量函数求其负梯度导数：

$-\∂\mathrm{\ϵ}/\∂x=-A^T\·(\mathrm{AX}\left(t\right)-I)---\left(2\right)$

然后根据梯度神经网络神经方法，建立如下动力学方程：

dx/dt＝-γ·A^T·(AX(t)-I) (3)

最后，通过使用特别构造的非线性激励函数，得到如下有限时间收敛的梯度递归神经网络：

dx/dt＝-γ·A^T·Φ(AX(t)-I) (4)

其中设计参数γ设置为在硬件容许的范围内越大越好，上标^T表示矩阵的转置，Φ(·)为特别构造的非线性函数激励，定义为：

Φ(x)＝(sgn(x))^r+(sgn(x))^1/r，其中在本例中 $A=\left[\begin{array}{ccc}1& -2& 3\\ 0& -3& -2\\ 1& 2& 3\end{array}\right],$ 有限时间收敛的梯度递归神经网络从零初始值出发，并在Matlab中运用ode45求解器进行求解，如此有限时间收敛的梯度递归神经网络将快速求得工程定义矩阵的理论逆。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (6)

1.一种有限时间收敛的梯度递归神经网络方法，其特征在于，包括如下步骤：

1)确定要求解的工程问题并用数学方程描述；

2)将步骤1中的数学方程用来定义为一个标量取值的正的能量函数并求其负梯度导数；

3)用步骤2)的负梯度信息构造一个梯度递归神经网络，用求解器实时求解；

4)将步骤3)的梯度递归神经网络用一个特别构造的非线性函数激励，得到一个有限时间收敛的梯度递归神经网络。

2.根据权利要求1所述的有限时间收敛的梯度递归神经网络方法，其特征在于：所述步骤1)的数学方程统一为：f(x)＝0，其中f(·)是从工程问题中抽象出来的一个函数映射关系，x表示工程问题中需要求解的未知变量。

3.根据权利要求2所述的有限时间收敛的梯度递归神经网络方法，其特征在于：所述步骤1)的数学方程用来定义为一个标量取值的正的能量函数：其中符号||·||₂表示矩阵的2范数；求其负梯度导数：

4.根据权利要求3所述的有限时间收敛的梯度递归神经网络方法，其特征在于：所述步骤3)的负梯度信息用来设计梯度递归神经网络：其中设计参数γ设置为在硬件容许的范围内越大越好，上标^T表示矩阵的转置。

5.根据权利要求4所述的有限时间收敛的梯度递归神经网络方法，其特征在于：所述步骤3)的梯度递归神经网络用一个特别构造的非线性函数激励，得到一个有限时间收敛的梯度递归神经网络：其中Φ(·)为特别构造的非线性函数激励。

6.根据权利要求5所述的有限时间收敛的梯度递归神经网络方法，其特征在于：所述步骤3)的有限时间收敛的梯度递归神经网络使用了一个特别构造的非线性函数激励：Φ(x)＝(sgn(x))^r+(sgn(x))^1/r，其中通过求解器求解所述带非线性函数激励的梯度递归神经网络，从而得到求解工程问题的一个有限时间收敛的期望解。