CN109784472A - 一种基于神经网络的非线性时变系统求解方法 - Google Patents

Abstract

本发明公开了一种基于神经网络的非线性时变系统求解方法，具体步骤包括：(1)将实际工程问题公式化，建立所需求解的非线性时变系统的标准模型；(2)基于建立的非线性时变系统的标准模型设计误差函数；(3)对误差函数进行求导，根据非线性时变系统的标准模型及误差函数的导数，引入单调递增奇激活函数；(4)设计时变参数，根据误差函数、时变参数及激活函数，建立变参递归神经网络模型；(5)对变参递归神经网络进行求解，得到的状态解即为实际工程问题的解。本发明基于递归神经网络模型，在运用线性等激活函数和变参求解非线性时变系统时具有全局收敛特性，且误差能以超指数的速度收敛到零，大大提高了计算速度。

Description

一种基于神经网络的非线性时变系统求解方法

技术领域

本发明涉及神经动力学领域，尤其涉及一种基于神经网络的非线性时变系统求解方法。

背景技术

非线性问题对科学研究和工程应用实践具有重要影响。许多实际问题可以被描述为f(x)＝0从而进行求解。但由于状态变量总是随时间演变，因此计算方法需要足够快，以便计算出的解决方案可以跟踪理论解。在过去的几十年中，许多研究人员致力于得到非线性时变系统的有效、准确或近似解，但由于一些非线性时变系统没有精确的解析解，因此只能利用数值方法来处理这些非线性时变系统。然而，由于数值方法在数字计算机上是以串行处理方式执行的，因此数值方法不够有效。

近年来，神经网络方法由于其独特的特性，如并行计算、分布式存储器和强大的鲁棒性，吸引了越来越多的研究者。递归神经网络(RNN)可以满足实时计算要求，并且通常可以应用于描述动态时间行为序列。特别是，由于其并行处理特性，RNN被广泛用于解决某些数学问题或实际问题，如语音处理等。由于其具有强大的计算能力，RNN被应用于求解非线性时变系统。近年来，许多学者都把重点放在非线性时变场的研究上。经典的方法是基于梯度的神经网络(GNN)以及归零神经网络(ZNN)。但是，当计算规模变大时，GNN和ZNN计算结果的时间成本将会更高。因此在实际应用中需要具有更快收敛速度的模型。

发明内容

本发明的目的在于克服神经网络的局限性，提供一种基于神经网络的非线性时变系统求解方法。本发明具有超指数收敛和高精度特点。

本发明的目的能够通过以下技术方案实现：

一种基于神经网络的非线性时变系统求解方法，具体步骤包括：

(1)将实际工程问题公式化，建立所需求解的非线性时变系统的标准模型；

(2)基于建立的非线性时变系统的标准模型设计误差函数；

(3)对误差函数进行求导，根据非线性时变系统的标准模型及误差函数的导数，引入单调递增奇激活函数；

(4)设计时变参数，根据误差函数、时变参数及激活函数，建立变参递归神经网络模型；

(5)对变参递归神经网络进行求解，得到的状态解即为实际工程问题的解。

具体地，所述步骤(1)中，建立的非线性时变系统的标准模型表示为：

f(x(t),t)＝0 (1)

其中，t表示时间，且t＞0。

假设未知的理论解x^*(t)存在，可以寻找满足非线性时变系统问题(1)的状态解x(t)。

具体地，所述步骤(2)中设计误差函数，表示为：

e(t)＝f(x(t),t) (2)

当误差函数方程e(t)达到零时，可以得到公式(1)的非线性时变系统的最优解x^*(t)。

进一步地，为了使误差函数e(t)能收敛到零，可以利用e(t)的导数。误差函数e(t)的导数表示为：

其中，Φ(·)为奇激活函数。

更进一步地，所述奇激活函数可采用线性激活函数或power-sigmoid激活函数。

根据幂型变参递归神经动力学方法，误差函数e(t)的时间导数需要为负定，不同于固定参数递归神经动力学方法，决定新型神经动力学方法收敛性能的设计参数是随时间t变化的。

具体地，在步骤(4)中，设计的一种幂型的时变参数，表示为：

其中，γ(t)表示正的幂型变参，其形式可以是：γ(t)＝t^p+p或γ(t)＝p^t+p等，用来调节收敛速度。Φ(·)为奇激活函数，根据不同的映射函数关系具有不同的形式。

进一步地，在步骤(4)中，将误差函数e(t)及其导数代入公式(4)，实数域模型变参递归神经网络模型能够采用隐式动力学方程式表示，表示方式为：

对上述隐式动力学方程式对x进行求导，得到的导数方程表示为：

公式(6)即为求解非线性时变系统的标准模型。

对公式(6)表示的非线性时变系统的标准模型进行求解，其结果即为公式(1)表示的非线性性时变系统的最优解。

本发明相较于现有技术，具有以下的有益效果：

本发明在运用线性等激活函数和变参求解非线性时变系统时具有全局收敛特性，且误差能以超指数的速度收敛到零，大大提高了计算速度。且本发明采用了普遍存在的神经网络进行描述，能够快速、准确、实时地逼近问题的最优解，很好地解决了矩阵、向量、代数以及优化等多种时变系统问题。

附图说明

图1为一种基于神经网络的非线性时变系统求解方法的流程图。

图2为在求解非线性时变系统时，使用线性激活函数激励的情况下，利用传统神经网络模型和利用新型变参递归神经网络模型的状态解与理论解的仿真效果对比图。

图3为在求解非线性时变系统时，使用线性激活函数激励的情况下，利用传统神经网络模型和利用新型变参递归神经网络模型的剩余误差的仿真效果对比图。

图4为在求解非线性时变系统时，新型变参递归神经网络模型在使用线性激活函数激励的情况下，使用时变参数p^t+p，当p取不同值时的状态解与理论解的仿真效果对比图。

图5为在求解非线性时变系统时，新型变参递归神经网络模型在使用线性激活函数激励的情况下，使用时变参数p^t+p，当p取不同值时的剩余误差的仿真效果对比图。

图6为在求解非线性时变系统时，新型变参递归神经网络模型在使用线性激活函数激励的情况下，使用时变参数t^p+p，当p取不同值时的状态解与理论解的仿真效果对比图。

图7为在求解非线性时变系统时，新型变参递归神经网络模型在使用线性激活函数激励的情况下，使用时变参数t^p+p，当p取不同值时的剩余误差的仿真效果对比图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

一种基于神经网络的非线性时变系统求解方法，具体步骤包括：

(1)将实际工程问题公式化，建立所需求解的非线性时变系统的标准模型；

(2)基于建立的非线性时变系统的标准模型设计误差函数；

(3)对误差函数进行求导，根据非线性时变系统的标准模型及误差函数的导数，引入单调递增奇激活函数；

(4)设计时变参数，根据误差函数、时变参数及激活函数，建立变参递归神经网络模型；

(5)对变参递归神经网络进行求解，得到的状态解即为实际工程问题的解。

在本实施例中，对一个具体的非线性时变系统方程进行求解。所述非线性时变系统方程表示为：

f(x,t)＝x²-2sin(1.8t)x+sin²(1.8t)-1

所述非线性时变系统方程转换为：

f(x,t)＝(x-sin(1.8t)-1)(x-sin(1.8t)+1)

其理论时变解为x1^*(t)＝sin(1.8t)+1,x2^*(t)＝sin(1.8t)-1

在随机产生5个初始状态的条件下，假设时变参数γ＝p＝0.1时，分别采用GNN模型、ZNN模型和VG-RNN模型求解非线性时变系统方程的状态解x(t)，所述状态解与理论解的对比图分别如图2中的图(a)、图(b)和图(c)所示。从图中可以看出，从[4，4]内的5个随机生成的初始状态开始，GNN的状态解和理论解x^*(t)是完全不同的，而ZNN模型可以收敛到理论解x^*(t)，VG-RNN的状态解x^*(t)可以很好地与时变理论解x1^*(t)和x2^*(t)。

在三个神经网络模型的求解过程中监测剩余误差‖f(x(t),t)‖₂＝‖x²-2sin(1.8t)x+sin²(1.8t)-1‖₂，以进一步研究收敛性能。如图3中的图(a)所示，GNN的残差‖f(x(t),t)‖₂始终在振荡，误差保持相对较高的水平，即GNN模型不能收敛到非线性时变系统方程的理论解。如图3中的图(b)和图(c)所示，虽然ZNN的残差‖f(x(t),t)‖₂可以收敛到零，但所提出的VG-RNN模型的时间成本小于5s，比ZNN快10倍。因此，可以得出结论：与GNN和ZNN相比，VG-RNN对求解非线性时变系统方程的效率更高。

不同的参数也会对收敛性能产生影响，具体如图4、图5、图6和图7所示。上述附图显示了使用VG-RNN求解非线性时变系统方程时，不同变量的收敛性，即p^t+p,t^p+p这两个变量。其中，图4中的图(a)、图(b)、图(c)和图(d)以及图6中的图(a)、图(b)、图(c)和图(d)，分别显示了在p＝0.1，p＝1，p＝10，p＝100时使用p^t+p和t^p+p时的解行为。图5中的图(a)、图(b)、图(c)和图(d)以及图7中的图(a)、图(b)、图(c)和图(d)，分别显示了在p＝0.1，p＝1，p＝10，p＝100时使用p^t+p和t^p+p时的剩余误差检测结果。如图5所示，当p<3.5911(p＝0.1，p＝1)时，变参t^p+p的收敛性优于变参p^t+p。当p>3.5911(p＝10，p＝100)时，变参p^t+p的收敛性优于变参t^p+p。无论使用哪个可变参数，p越大，收敛性越好。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于神经网络的非线性时变系统求解方法，其特征在于，具体步骤包括：

(1)将实际工程问题公式化，建立所需求解的非线性时变系统的标准模型；

(2)基于建立的非线性时变系统的标准模型设计误差函数；

(3)对误差函数进行求导，根据非线性时变系统的标准模型及误差函数的导数，引入单调递增奇激活函数；

(4)设计时变参数，根据误差函数、时变参数及激活函数，建立变参递归神经网络模型；

(5)对变参递归神经网络进行求解，得到的状态解即为实际工程问题的解。

2.根据权利要求1所述的一种基于神经网络的非线性时变系统求解方法，其特征在于，所述步骤(1)中，建立的非线性时变系统的标准模型表示为：

f(x(t)，t)＝0 (1)

其中，t表示时间，且t＞0。

3.根据权利要求1所述的一种基于神经网络的非线性时变系统求解方法，其特征在于，所述步骤(2)中设计误差函数，表示为：

e(t)＝f(x(t)，t) (2)

其中，t表示时间，且t＞0；当误差函数方程e(t)达到零时，得到非线性时变系统的最优解x^*(t)。

4.根据权利要求1所述的一种基于神经网络的非线性时变系统求解方法，其特征在于，所述步骤(3)中，误差函数e(t)的导数表示为：

其中，Φ(·)为奇激活函数。

5.根据权利要求1所述的一种基于神经网络的非线性时变系统求解方法，其特征在于，所述步骤(4)中，设计的幂型的时变参数，表示为：

其中，γ(t)表示正的幂型变参，其形式为：γ(t)＝t^p+p或γ(t)＝p^t+p；Φ(·)为奇激活函数，根据不同的映射函数关系具有不同的形式。

6.根据权利要求5所述的一种基于神经网络的非线性时变系统求解方法，其特征在于，将误差函数e(t)及其导数代入公式(4)，实数域模型变参递归神经网络模型采用隐式动力学方程式表示，表示方式为：

对上述隐式动力学方程式对x进行求导，得到的导数方程表示为：

公式(6)即为求解非线性时变系统的标准模型。