CN112733076A - 基于神经网络常微分方程在非持续激励下的系统辨识方法 - Google Patents

Abstract

本发明提供一种基于神经网络常微分方程在非持续激励下的系统辨识方法，主要解决系统辨识需要持续激励或大量输入输出数据的问题。该辨识方法，主要分为用于数据拓展的神经网络常微分方程和用于模型辨识的线性神经网络。采样的非持续激励数据用于优化神经网络常微分方程，神经网络常微分方程用于产生同分布数据；线性神经网络拟合神经网络常微分方程所产生的随机数据，辨识对象模型。本发明提出的辨识方法引入神经网络微分方程避免了持续激烈的采样条件，同时降低了所需数据量，达到了现有辨识方法相近的效果。

Description

基于神经网络常微分方程在非持续激励下的系统辨识方法

技术领域

本发明涉及时间序列建模以及系统辨识方法技术领域，尤其涉及一种基于神经网络常微分方程在非持续激励下的系统辨识方法。

背景技术

系统辨识是在对输入输出观测的基础上，建立对象的数学模型的方法，在不同的学科领域都有广泛的使用。时间序列是按照时间顺序排列而成的数列，广泛存在于金融、气象和电力等行业。随着数据挖掘技术的发展，时间序列分析和建模的方法也达到相应的发展。以脉冲相应、最小二乘法和极大似然估计为代表的传统系统辨识方法已经得到了广泛的应用；神经网络、模糊逻辑和遗传算法等新兴系统辨识方法以其优异的数据拟合能力和参数搜索能力得到大量的研究。

传统系统辨识方法在线性系统辨识中对噪声有良好的性能和理论保证，已经发展的比较成熟和完善，然而，传统系统辨识的方法依然存在不足和限制。首先，传统辨识方法需要对象输入的持续激励(PE,Persistent Excitation),或输入信号可以充分激发系统的动态响应。在某些动态预测系统和过程控制系统中,系统的输入往往不允许随意改变，因此这些传统的方法不便直接应用；其次，传统辨识方法在非线性系统辨识领域效果欠佳，系统的结构与参数的偏差导致得不到全局最优解。

新型系统辨识方法具有优秀的数据拟合与近似能力、参数搜索能力和非线性函数逼近能力，以长短期记忆网络为代表的循环神经网络模型在时间序列建模和预测问题取得了良好的效果。但是为了取得良好的模型泛化效果，通常需要使用大量高质量的输入输出数据，这对于前置的数据预处理有较高的要求。同时，新型系统辨识方法往往采用过量参数模型，对硬件的计算能力有更高的要求。

发明内容

(一)要解决的技术问题

基于上述问题，本发明提供一种基于神经网络常微分方程在非持续激励下的系统辨识方法，解决系统辨识方法需要持续输入激励条件或大量高质量输入输出数据的问题。

(二)技术方案

基于上述的技术问题，本发明提供基于神经网络常微分方程在非持续激励下的系统辨识方法，包括：

S1、在非激励条件下采样稳态数据：采集辨识工控系统即水轮电机系统在平稳运行状态下的输入输出数据，输入数据为工控系统执行器的控制变量，包括液压放大器输入信号；输出数据为可观测被控变量，包括水轮机转速；分为训练数据集和测试数据集；

所述水轮电机系统的状态空间描述为：

式中e_n,e_y，e_h,e_gh,e_qh，e_qy为水轮机传递函数；y₁为机组转速，y₂机组转速辅助观测量；T_a，T_b为机组惯性时间常数；T_w为液压惯性时间常数，T_y为进水惯性时间；u为液压放大器输入信号；

将所述输入输出数据分为训练数据集D_train和测试数据集D_test，采样点数分别为n、m，采样条数为k、l，输入维度为a,输出维度为b，满足以下条件:

其中，u_i为训练数据集的输入数据，y_i为训练数据集的输出数据，u_j为训练数据集的输入数据，y_j为训练数据集的输出数据。

S2、根据所述稳态数据优化第一神经网络的常微分方程：建立第一神经网络，所述第一神经网络为多层神经网络，第一神经网络层数和神经元数量依照经验进行确定，任意初始化神经网络权重θ，第一神经网络输出为：

并使用常微分数值求解器计算预测输出，即：

S3、建立目标函数即第一误差函数L(y′_i，y_i)，通过计算梯度，优化第一神经网络权重θ；

S4、判断是否训练集的第一误差函数的计算值小于设定值，若否，则返回步骤S1，若是，则进入步骤S5；

S5、初始化第二神经网络，所述第二神经网络为一个线性单层神经网络，对第二神经网络的微分方程进行随机采样；第二神经网络的神经元数量依照经验确定，随机初始化权重参数为w、v，输出为：

y_m(t+1)＝w×y_m(t)+v×u(t)；

S6、设定第二误差函数L′，对第二神经网络进行迭代优化，使用梯度下降法优化第二神经网络直到L′不再减小；

S7、再次从所述测试数据集采集数据，验证模型误差是否在允许范围内，若是则结束，否则返回步骤S1重新开始。

进一步的，所述水轮电机系统离散化为：

进一步的，所述第一误差函数为：

L(y_i，y′_i)＝∑(y′_i-y_i)²。

进一步的，步骤S3中所述梯度的计算公式为：

进一步的，所述梯度下降法为

进一步的，所述第二误差函数为

L′(y_m，y′_i)＝||y_m-y′_i||₂。

(三)有益效果

本发明的上述技术方案具有如下优点：

本发明提出的系统辨识方法，引入了神经网络常微分方程，可以在非持续激励条件下采样数据，使用采样数据优化神经网络常微分方程参数后，其可以近似输出相同分布的数据，用于拓展数据数量，随后使用多元线性函数神经网络辨识系统模型。本发明不需要辨识对象持续激励产生数据，使用平稳历史数据即可完成辨识，同时由于扩展了数据范围，对于输入输出数据的数量要求也有所下降。并且这种方法具有普适性，适用于部分非线性对象辨识。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明基于神经网络常微分方程在非激励条件下拓展数据的系统辨识方法流程图；

图2是本发明多层神经网络和常微分数值求解器结构图；

图3是本发明线性神经网络结构图；

图4是本发明实施例一阶跃响应对比图；

图5是本发明实施例一模型误差曲线。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明实施例一以水轮电机机组稳态工作模型作为辨识对象，模型使用状态空间描述为：

式中e_n,e_y，e_h,e_gh,e_qh，e_qy为水轮机传递函数；y₁为机组转速，y₂机组转速辅助观测量；T_a，T_b为机组惯性时间常数；T_w为液压惯性时间常数，T_y为进水惯性时间；u为液压放大器输入信号。

代入相应参数后并离散化，结果为：

基于神经网络常微分方程在非持续激励下的系统辨识方法如图1所示，包括以下步骤：

S1、采集辨识工控系统平稳运行状态下的输入输出数据，输入数据通常为工控系统执行器的控制变量，包括液压放大器输入信号等；输出数据为可观测被控变量，包括水轮机转速等；采样时间保持不变并将其分为训练数据集D_train和测试数据集D_test，采样点数分别为n、m，采样条数为k、l，输入维度为a,输出维度为b，满足以下条件:

其中，u_i为训练数据集的输入数据，y_i为训练数据集的输出数据，u_j为训练数据集的输入数据，y_j为训练数据集的输出数据；

S2、根据所述稳态数据优化第一神经网络的常微分方程：建立第一神经网络，所述第一神经网络为多层神经网络，第一神经网络层数和第一神经元数量依照经验进行确定，任意初始化第一神经网络权重为θ，第一神经网络输出可以表示为：

并使用常微分数值求解器计算预测输出，完整结构图参考附图2，可以表示为：

S3、建立目标函数即误差函数L(y′_i，y_i)，计算梯度优化神经网络权重θ；

误差函数通常为采样输出和模型预测输出均方差等二次型函数，可以依据实际需求进行选择二次型(y′_i-y_i)²，绝对值型|y′_i-y_i|等。

若损失函数为：

使用数据集D_train和计算梯度：

S4、判断是否训练集的误差函数计算值小于设定值，若否，则返回步骤S1，若是，则表示测试集误差函数计算值不再减小，进入步骤S5；

本实施例中，采集液压放大器输入信号u_n为稳态工作点分别为1、-1、0、2、-2时的数据及相应输出的机组转速和辅助观测量数据，并将其分为D_train、D_test两个数据集，采样点数均为1500，输入维度为1,输出维度为2，D_train采样60条，D_test采样20条，故满足：

建立2层前向神经网络，神经元个数均为52，第一层神将网络选用tanh激活函数,任意初始化神经网络权重为θ,常微分方程求解器选用四阶龙格-库塔求解，误差函数设置为：

L(y_i，y′_i)＝∑(y′_i-y_i)²

使用数据集D_train和计算梯度：

使用梯度优化参数θ直到

小于某值，且

不再下降为止,优化方法使用梯度法：

S5、初始化第二神经网络，对第二神经网络的微分方程进行随机采样：

建立一个线性单层神经网络，神经元数量依照经验确定，随机初始化权重参数为w、v，结构参考附图3，此时输出可表示为：

y_m(t+1)＝w×y_m(t)+v×u(t)

并设定第二误差函数为L′(y_m，y′_i)＝||y_m-y′_i||₂，随机生成输入u∈R^L×a×K,初值y₀∈R^b×K。

S6、设定第二误差函数，对第二线性神经网络进行迭代优化：

设定误差函数为L′(y_m，y′_i)＝||y_m-y′_i||₂，随机生成输入u∈R^L×a×K,初值y₀∈R^b×K，使用梯度下降法优化神经网络直到L′不在显著减小。

在本实施例中，建立的第二线性神经网络为一个线性单层神经网络，神经元数量为3，参数为w，v,此时输出可表示为：

y_m(t+1)＝w×y_m(t)+v×u(t)

并设定第二误差函数为L′(y_m，y′_i)＝||y_m-y′_i||₂，随机生成输入u∈R^{1000×1×1500},初值y₀∈R^2×1000，使用梯度下降法优化神经网络直到L′不再显著减小。

S7、再次采集数据，验证模型误差是否在允许范围内，若是则结束，否则返回步骤S1重新开始。

在本实施例中，再次采集数据验证模型，模型阶跃响应对比如附图4，均为恒定输入时的输出曲线，随机输入时的输出曲线及两个输出的模型误差曲线如附图5所示。

在本实施例中，在非持续激励条件下采样数据并优化神经网络常微分方程参数，使用神经网络常微分方程参数进行随机数据采样和生成，得到大量相同动态数据用于后续神经网络模型优化。结果表明，本发明的辨识效果与传统辨识方法效果相当，但不需要持续激励。

综上可知，通过上述的一种基于神经网络常微分方程在非持续激励下的系统辨识方法，具有以下有益效果：

本发明提出的系统辨识方法，引入了神经网络常微分方程，可以在非持续激励条件下采样数据，使用采样数据优化神经网络常微分方程参数后，其可以近似输出相同分布的数据，用于拓展数据数量，随后使用多元线性函数神经网络辨识系统模型。本发明不需要辨识对象持续激励产生数据，使用平稳历史数据即可完成辨识，同时由于扩展了数据范围，对于输入输出数据的数量要求也有所下降。并且这种方法具有普适性，适用于部分非线性对象辨识。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (6)

1.一种基于神经网络常微分方程在非持续激励下的系统辨识方法，其特征在于，所述方法包括：

S1、在非激励条件下采样稳态数据：采集辨识工控系统即水轮电机系统在平稳运行状态下的输入输出数据，输入数据为工控系统执行器的控制变量，包括液压放大器输入信号；输出数据为可观测被控变量，包括水轮机转速；分为训练数据集和测试数据集；

所述水轮电机系统的状态空间描述为：

式中e_n，e_y，e_h，e_gh，e_qh，e_qy为水轮机传递函数；y₁为机组转速，y₂机组转速辅助观测量；T_a，T_b为机组惯性时间常数；T_w为液压惯性时间常数，T_y为进水惯性时间；u为液压放大器输入信号；

将所述输入输出数据分为训练数据集D_train和测试数据集D_test，采样点数分别为n、m，采样条数为k、1，输入维度为a，输出维度为b，满足以下条件：

其中，u_i为训练数据集的输入数据，y_i为训练数据集的输出数据，u_j为训练数据集的输入数据，y_j为训练数据集的输出数据。

S2、根据所述稳态数据优化第一神经网络的常微分方程：建立第一神经网络，所述第一神经网络为多层神经网络，第一神经网络层数和神经元数量依照经验进行确定，任意初始化神经网络权重θ，第一神经网络输出为：

并使用常微分数值求解器计算预测输出，即：

S3、建立目标函数即第一误差函数L(y′_i，y_i)，通过计算梯度，优化第一神经网络权重θ；

S4、判断是否训练集的第一误差函数的计算值小于设定值，若否，则返回步骤S1，若是，则进入步骤S5；

S5、初始化第二神经网络，所述第二神经网络为一个线性单层神经网络，对第二神经网络的微分方程进行随机采样；第二神经网络的神经元数量依照经验确定，随机初始化权重参数为w、v，输出为：

y_m(t+1)＝w×y_m(t)+v×u(t)；

S6、设定第二误差函数L′，对第二神经网络进行迭代优化，使用梯度下降法优化第二神经网络直到L′不再减小；

S7、再次从所述测试数据集采集数据，验证模型误差是否在允许范围内，若是则结束，否则返回步骤S1重新开始。

2.根据权利要求1所述的基于神经网络常微分方程在非持续激励下的系统辨识方法，其特征在于，所述水轮电机系统离散化为：

3.根据权利要求1所述的基于神经网络常微分方程在非持续激励下的系统辨识方法，其特征在于，所述第一误差函数为：

L(y_i，y′_i)＝∑(y′_i-y_i)²。

4.根据权利要求1所述的基于神经网络常微分方程在非持续激励下的系统辨识方法，其特征在于，步骤S3中所述梯度的计算公式为：

5.根据权利要求1所述的基于神经网络常微分方程在非持续激励下的系统辨识方法，其特征在于，所述梯度下降法为

6.根据权利要求1所述的基于神经网络常微分方程在非持续激励下的系统辨识方法，其特征在于，所述第二误差函数为

L′(y_m，y′_i)＝||y_m-y′_i||₂。

Images