CN115796244B - 一种超非线性输入输出系统基于cff的参数辨识方法 - Google Patents
一种超非线性输入输出系统基于cff的参数辨识方法 Download PDFInfo
- Publication number
- CN115796244B CN115796244B CN202211643615.7A CN202211643615A CN115796244B CN 115796244 B CN115796244 B CN 115796244B CN 202211643615 A CN202211643615 A CN 202211643615A CN 115796244 B CN115796244 B CN 115796244B
- Authority
- CN
- China
- Prior art keywords
- layer
- hidden layer
- output
- parameters
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000013528 artificial neural network Methods 0.000 claims abstract description 43
- 238000003062 neural network model Methods 0.000 claims abstract description 26
- 238000004088 simulation Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 35
- 238000011478 gradient descent method Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000005295 random walk Methods 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 5
- 238000012804 iterative process Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 description 4
- 230000009897 systematic effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Feedback Control In General (AREA)
Abstract
本发明公开了一种超非线性输入输出系统基于CFF的参数辨识方法，包括以下步骤：S1、设计基于CFF的神经网络参数更新方法；S2、建立稀疏神经网络模型；S3、设计用系统误差建模实际噪声的方法；S4、仿真实验。本发明采用上述超非线性输入输出系统基于CFF的参数辨识方法，将CFF和神经网络结合起来，充分利用了CFF在超非线性系统中的优秀特性，将其应用于复杂网络参数更新中，提高了网络参数的更新速度，避免了传统方法带来的效率低、收敛慢等问题。
Description
技术领域
本发明涉及参数更新技术领域，尤其是涉及一种超非线性输入输出系统基于CFF的参数辨识方法。
背景技术
人工智能技术的研究近些年已经有了众多突破性成果，深度学习的研究也如火如荼，而神经网络因其良好的自适应性也成了专家学者们热门研究的课题。近年来已经在图像识别、自然语言处理、智能驾驶、计算机视觉甚至通信导航等领域取得了创造性的进展。目前，神经网络在参数辨识领域有着非常广泛的应用。尤其是多隐层网络的特征学习能力非常优秀，对模型进行训练后，能对初始数据得到更本质的表达，可用于解决分类问题。但在复杂网络模型中，参数更新一直是一个棘手的问题。目前发展起来的多种参数更新方法，也都存在复杂度高、收敛慢等问题。神经网络良好的映射能力使其可以去逼近非线性函数，由于复杂网络模型常为超非线性，而CFF在复杂非线性系统中性能稳定，将神经网络与CFF结合起来，去对网络参数进行更新的方法就非常值得被研究。
发明内容
本发明的目的是提供一种超非线性输入输出系统基于CFF的参数辨识方法，将CFF和神经网络结合起来，充分利用了CFF在超非线性系统中的优秀特性，将其应用于复杂网络参数更新中，提高了网络参数的更新速度，避免了传统方法带来的效率低、收敛慢等问题。
为实现上述目的，本发明提供了一种超非线性输入输出系统基于CFF的参数辨识方法，包括以下步骤：
S1、设计基于CFF的神经网络参数更新方法；
S2、建立稀疏神经网络模型；
S3、设计用系统误差建模实际噪声的方法；
S4、仿真实验。
优选的，所述S1神经网络参数更新方法包括单隐层神经网络参数更新和多隐层神经网络参数更新；
（1）单隐层神经网络：
由单隐层神经网络模型分析得到网络隐层任意第个神经元/>的输出：
（1）
其中，、/>分别表示输入层与隐层间的权重和偏置，表示系统输入，表示隐层输出，/>表示输入层到隐层的权重，其中/>；
将输入层到隐层的激活函数用函数来表示，则式(1)可以被进一步写为：
（2）
其中，激活函数通常采用函数，/>函数通常定义为:
（3）
在分析隐层到输出层之间的关系时，将输入层到隐层的输出，作为隐层到输出层的输入，因而输出层第个神经元的输出可表达为：
（4）
其中，、/>分别表示隐层到输出层间的权重和偏置，/>表示隐层到输出层的权重，其中/>,表示系统输出；
结合式(2)，网络输出模型式(4)可以进一步改写为：
（5）
单隐层神经网络参数更新具体为：
1）隐层到输出层的权重参数更新，对参数/>更新时，将/>作为状态变量，将参数更新方程建立为满足CFF模型的形式，建模状态方程为：
（6）
其中，为状态转移矩阵，/>表示随机游走模型（6）中的过程噪声；
结合式（5），建模非线性的测量方程为:
（7）
其中，表示随机游走模型（7）中的测量噪声；
结合式(6)-(7)，设计如式(8)-(9)形式的特征函数滤波器：
（8）
（9）
其中为待估计的增益矩阵；/>为系统输出的测量预测估计值；
2）输入层到隐层的权重参数更新，将式(7)作为测量向量，将权重参数/>作为状态变量，建模权重参数/>更新的状态方程为：
10）
其中，为状态转移矩阵，/>表示随机游走模型（10）中的过程噪声；
结合式(7)和(10)，设计如式(11)形式的滤波器：
（11）
其中，为待估计的增益矩阵；
（2）多隐层神经网络
第一层隐层的输出为：
（12）
其中，上标1表示的是多隐层网络的第一层，表示的是第一层隐层的偏置向量，第二层隐层的输出为：
（13）
其中，表示的是第一层隐层到第二层隐层的整体偏置向量，第/>层隐层的输出为：
（14）
通过由内到外的逐层求解得到，/>，…，/>，逐步得到更新后的参数；
结合式(14)，整个多隐层网络模型的输出：
（15）
其中，/>；
多隐层神经网络参数更新具体为：
1）隐层到输出层的权重参数更新，在对网络第/>层隐层中的权重参数进行更新时，假设除当前隐层权重参数/>外，其它参数都是不变的；将需要被更新的参数作为状态变量进行建模，对第/>层隐层的权重参数/>更新时，将/>作为状态变量，结合式(8),设计滤波器为：
（16）
2）输入层到隐层的权重参数更新，在对第/>层隐层权重/>更新时，假设除当前隐层的参数/>外，其它参数都是不变的，对第/>层隐层的权重参数/>更新时，将/>作为状态变量，设计如式(17)形式的滤波器：
（17）
优选的，所述S2具体为：
在基于梯度下降法的神经网络中，损失函数通常建模为：
（18）
其中为样本数。/>为输入层到隐层的权重，/>为输入层到隐层的偏置，/>为隐层到输出层的权重，/>为隐层到输出层的偏置，但梯度下降法时间复杂度高、收敛慢，结合式(18)，在损失函数中添加稀疏约束项，建立了如式(19)所示的稀疏损失函数：
（19）
其中，式(19)在式(18)的基础上，对网络中需要更新的四个参数都添加了稀疏约束项，用来调节稀疏程度的可变参数；
结合式(19)，求取梯度方向：
（20）
结合式(20)，稀疏梯度下降算法迭代过程为：
a)求解损失函数的梯度，其中神经网络模型四个参数的梯度表达式分别为：
，/>，/>，(21)
b)求取当前位置在梯度方向上下降的距离：
，/>，/>，(22)
其中，为学习率；
c)如果，/>，/>，/>都小于某个设定的值/>，则迭代终止，否则进入步骤4)；
d)对参数值进行更新，更新完后再跳转到步骤a)，
(23)
(24)
(25)
(26)
式(23)-(26)即为基于稀疏梯度下降法得到的更新后的网络参数，用其去建立神经网络模型，得到的即为稀疏神经网络模型；通过引入稀疏约束项的方式，对于不够稀疏的结果可以通过调整的大小继续调整其稀疏性，从而能够更好的调节模型精度，以得到好的参数更新结果。
优选的，所述S3具体为：
在神经网络模型中，对参数更新时，都是将需要更新的参数作为状态变量，将其建模成式(27)-(28)的形式：
(27)
(28)
其中，为状态转移矩阵，/>、/>为系统噪声，对式(27)-(28)进行CFF的算法流程，得到其状态估计值/>，结合式(27)，由真实值和滤波估计值计算估计误差：
(29)
考虑到实际噪声统计特性的难以获取，结合式(29)所示的状态估计误差的统计特性，去建模式（27）中状态噪声/>；
结合预测误差模型及式(29)，计算系统的测量预测误差：
(30)
用式(30)去对式（28）中测量噪声进行建模，用系统误差去建模实际噪声，得到更加真实的滤波结果。
本发明所述的一种超非线性输入输出系统基于CFF的参数辨识方法的优点和积极效果是：
1、本发明将CFF和神经网络结合起来，充分利用了CFF在超非线性系统中的优秀特性，将其应用于复杂网络参数更新中，提高了网络参数的更新速度，避免了传统方法带来的效率低、收敛慢等问题。
2、将CFF参数更新方法从单隐层神经网络推广应用到了多隐层神经网络，并通过仿真实验验证了CFF在网络参数更新中的可行性与有效性。
3、本发明对传统的梯度下降法也做了改进，在损失函数中新增了稀疏约束项，通过调节模型的稀疏性来进一步控制模型精度。
4、由于仿真平台的噪声都是随机给定的，与实际大环境的噪声可能会有出入。本发明在传统一次滤波的基础上又增加了二次滤波，用第一次滤波得到的系统误差去建模二次滤波中系统的噪声，通过实验验证了其性能要远远优于随机噪声的滤波结果。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明一种超非线性输入输出系统基于CFF的参数辨识方法实施例的单隐层神经网络模型；
图2为本发明一种超非线性输入输出系统基于CFF的参数辨识方法实施例的多隐层神经网络模型；
图3为本发明一种超非线性输入输出系统基于CFF的参数辨识方法实施例的多种网络参数更新方法结果图；
图4为本发明一种超非线性输入输出系统基于CFF的参数辨识方法实施例的两种噪声建模方法估计误差对比图。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
实施例
一种超非线性输入输出系统基于CFF的参数辨识方法，包括以下步骤：
S1、设计基于CFF的神经网络参数更新方法。
神经网络参数更新方法包括单隐层神经网络参数更新和多隐层神经网络参数更新。
（1）单隐层神经网络
考虑到神经网络输入输出模型的复杂性以及CFF在复杂非线性系统中的稳定性，将CFF与神经网络模型结合起来设计参数更新方法。给定单隐层神经网络模型，如图1所示，其中，表示系统输入，表示隐层输出，表示系统输出。/>表示输入层到隐层的权重，其中/>。/>表示隐层到输出层的权重，其中/>。
由单隐层神经网络模型分析得到网络隐层任意第个神经元/>的输出：
（1）
其中，、/>分别表示输入层与隐层间的权重和偏置。
将输入层到隐层的激活函数用函数来表示，则式(1)可以被进一步写为：
（2）
其中，激活函数通常采用函数，/>函数通常定义为:
（3）
上述分析都是针对输入层到隐层的，在分析隐层到输出层之间的关系时，将输入层到隐层的输出，作为隐层到输出层的输入，因而输出层第个神经元的输出可表达为：
（4）
其中，、/>分别表示隐层到输出层间的权重和偏置。
结合式(2)，网络输出模型式(4)可以进一步改写为：
（5）
基于CFF的单隐层神经网络参数更新算法流程具体为：
1）隐层到输出层的权重参数更新，对参数/>更新时，将/>作为状态变量，将参数更新方程建立为满足CFF模型的形式，建模状态方程为：
（6）
其中，为状态转移矩阵，/>表示随机游走模型（6）中的过程噪声；
结合式（5），建模非线性的测量方程为:
（7）
其中，表示随机游走模型（7）中的测量噪声；
式(6)-(7)满足了CFF的模型条件。结合式(6)-(7)，设计如式(8)-(9)形式的特征函数滤波器：
（8）
（9）
其中为待估计的增益矩阵，/>为系统输出的测量预测估计值。
结合式(8)-(9)，重复CFF算法过程，所求解得到的增益阵即为全局最优解，将其带入到式(8)中，就能得到经过CFF后的最优权重参数/>，此时所设计的滤波器也即最优滤波器，得到的估计结果即为最优估计值。
2）输入层到隐层的权重参数更新，将式(7)作为测量向量，将权重参数/>作为状态变量，建模权重参数/>更新的状态方程为：
（10）
其中，为状态转移矩阵，/>表示随机游走模型（10）中的过程噪声。
式(7)和(10)同样满足CFF的模型条件，结合式(7)和(10)，设计如式(11)形式的滤波器：
（11）
其中，为待估计的增益矩阵。
根据式(9)和式(11),重复CFF算法过程，得到经过CFF更新后的最优权重参数。
同理，对于输入层到隐层的偏置和隐层到输出层的偏置/>更新时，都可将需要被更新的参数作为状态变量来建模，将状态方程和测量方程建模成如式(8)-(9)所示的形式，然后重复进行CFF算法流程，就能得到更新后偏置参数的最优估计值/>和。
（2）多隐层神经网络：
单隐层网络的逼近能力有限，在目前研究的网络模型中，大多都是复杂的多层网络模型。因此在单隐层网络模型的基础上，研究CFF是否也能用于多隐层网络模型的参数更新。多隐层神经网络模型如图2所示，其中，表示第/>层隐层输出。相比于单隐层神经网络模型，多隐层神经网络模型的隐层不再只有一个，而是多个甚至无穷多个隐层组成的。对于多隐层神经网络的参数更新方法，可参考单隐层网络的更新方法，进行逐层隐层参数求解。即将前一层隐层的输出作为下一层的输入，依次这样重复下去。结合CFF的算法流程，对每一层的参数都进行一次更新，得到每一层的最优估计参数值后再带入进行下一次迭代。
第一层隐层的输出为：
（12）
其中，上标1表示的是多隐层网络的第一层，表示的是第一层隐层的偏置向量。
第二层隐层的输出为：
（13）
其中，表示的是第一层隐层到第二层隐层的整体偏置向量。
第层隐层的输出为：
（14）
通过由内到外的逐层求解得到，/>，…，/>，逐步得到更新后的参数。
结合式(14)，整个多隐层网络模型的输出：
（15）
其中，/>；
基于CFF的多隐层神经网络参数更新的算法流程如下：
1）隐层到输出层的权重参数更新。在对网络第/>层隐层中的权重参数进行更新时，假设除当前隐层权重参数/>外，其它参数都是不变的；将需要被更新的参数作为状态变量进行建模，结合CFF模型，对第/>层隐层的权重参数/>更新时，将/>作为状态变量，结合式(8),设计滤波器为：
（16）
结合模型式(9)、(16)，重复CFF的算法流程，对网络逐层更新，直到层网络都更新完成，得到的权重参数估计值即为最优估计值/>。/>
2）输入层到隐层的权重参数更新，在对第/>层隐层权重/>更新时，假设除当前隐层的参数/>外，其它参数都是不变的，对第/>层隐层的权重参数/>更新时，将作为状态变量，设计如式(17)形式的滤波器：
（17）
结合式(9)、式(17),重复滤波算法过程逐层求解，最后就能得到经过CFF更新后的最优权重参数。
同理，在对偏置参数和/>进行更新时，也是假设除当前层的偏置参数外，其它参数都是不变的，通过1)和2)的逐层求解方法来进行更新。直到/>层网络都更新完成，就能得到更新后偏置参数的最优估计值/>和/>。CFF在网络参数更新中的性能在S4中进行实验验证。
S2、建立稀疏神经网络模型。
在神经网络模型中，涉及到众多神经元间信号的传递，考虑到信号是具有稀疏性的，因此，基于传统的梯度下降法，在损失函数中添加了稀疏约束项。从优化稀疏解的方面去对传统的神经网络模型进行改进，设计出了更优于传统梯度下降法的稀疏梯度下降法。稀疏约束项的优点在于，对噪声具有很强的鲁棒性。
在基于梯度下降法的神经网络中，损失函数通常建模为：
（18）
其中为样本数。/>分别为输入层到隐层以及隐层到输出层的权重和偏置，但梯度下降法时间复杂度高、收敛慢，结合式(18)，在损失函数中添加稀疏约束项，建立了如式(19)所示的稀疏损失函数：
（19）
其中，式(19)在式(18)的基础上，对网络中需要更新的四个参数都添加了稀疏约束项，用来调节稀疏程度的可变参数。
结合式(19)，求取梯度方向：
（20）
结合式(20)，稀疏梯度下降算法迭代过程为：
a)求解损失函数的梯度，其中神经网络模型四个参数的梯度表达式分别为：
，/>，/>，/>(21)
b)求取当前位置在梯度方向上下降的距离：
，/>，/>，(22)
其中，为学习率。
c)如果，/>，/>，/>都小于某个设定的值/>，则迭代终止，否则进入步骤4)；
d)对参数值进行更新，更新完后再跳转到步骤a)。
(23)
(24)
(25)
(26)
式(23)-(26)即为基于稀疏梯度下降法得到的更新后的网络参数，用其去建立神经网络模型，得到的即为稀疏神经网络模型。通过引入稀疏约束项的方式，对于不够稀疏的结果可以通过调整的大小继续调整其稀疏性，从而能够更好的调节模型精度，以得到好的参数更新结果。
S3、设计用系统误差建模实际噪声的方法。
在目前的滤波算法中，包括在进行仿真实验时，由于复杂大环境的不确定性，无法确定系统实际噪声的准确数值以及满足的分布形式。大多都是假定噪声是随机产生的，或者假设其满足某种分布。这种对噪声的处理方法可能存在与实际噪声有偏差的情况，如何对噪声进行建模仍然是值得被研究的。
在神经网络模型中，对参数更新时，都是将需要更新的参数作为状态变量，将其建模成式(27)-(28)的形式：
(27)/>
(28)
其中，为状态转移矩阵，/>、/>为系统噪声，对式(27)-(28)进行CFF的算法流程，得到其状态估计值/>，结合式(27)，由真实值和滤波估计值计算估计误差：
(29)
考虑到实际噪声统计特性的难以获取，结合式(29)所示的状态估计误差的统计特性，去建模式（27）中状态噪声/>；
结合预测误差模型及式(29)，计算系统的测量预测误差：
(30)
用式(30)去对式（28）中测量噪声进行建模，结合式(29)-(30)，再重复一次CFF的滤波过程，用系统误差去建模实际噪声，得到更加真实的滤波结果。设定随机噪声以及用估计误差去建模实际噪声两种方法的滤波效果在S4仿真实验中进行验证。
S4、仿真实验。
仿真实验一：基于CFF的网络参数更新方法研究实验
为了验证基于CFF的网络参数更新方法的性能，搭建了仿真平台来对其进行验证，仿真假设用来回归以逼近式(7)。设定输入层、隐层、输出层神经元分别为6个、20个和3个，激活函数设定为函数。使用式(7)生成10000个数据集，将生成的数据集分为三类，第一类和第二类都作为训练样本数据集，在实验平台中分别通过传统的梯度下降法和基于CFF的方法来训练网络参数，将第三类作为测试样本数据集，以验证基于CFF的参数更新方法的性能。在CFF的仿真环境中，给定目标的特征函数/>, 系统噪声的特征函数为/>，/>，/>是单位矩阵。滤波器权重函数/>,其中/>，/>，，/>。同时，在稀疏神经网络模型中，设定稀疏约束项的系数/>分别为0-1之间的随机数。实验结果如图3所示，数值结果记录在表1中。
表1 多种网络参数更新方法均方误差表
;/>
表1中，以梯度下降法为基准，分别计算了特征函数滤波(CFF)和添加稀疏约束项的梯度下降法相较于传统梯度下降法的精度提高比。为了保证数值结果的可靠性，表1中的所有数据都是通过求100次蒙特卡洛均值得到的。从表中数据结果可以分析出，用CFF去进行复杂网络参数更新的方法要远远优于传统的梯度下降法。这也表明了CFF方法在更新复杂网络参数中的可行性与有效性，也说明了CFF在超非线性输入输出系统中的良好自适应特性。同时，也能分析出，添加稀疏约束项的网络参数更新方法也优于传统的梯度下降法，在该网络模型中，通过调节稀疏约束系数的值，可以改变模型的稀疏程度，从而控制模型精度。在仿真平台中通过多组实验也发现，无论/>在0-1的范围内如何调整，逼近程度均优于未添加稀疏约束项的网络模型。但添加稀疏约束项的梯度下降法的精度仍比基于CFF的方法低，这是因为CFF良好的自适应能力，既无需考虑梯度方向的选取，也无需研究系统稀疏性的需求，使得CFF无论是从算法复杂度，还是从建模误差来说，都要优于基于稀疏约束的梯度下降法。
仿真实验二：实际噪声建模方法可行性研究实验
在上述所有的仿真实验中，由于实际噪声的难以获取，实验时噪声都是结合实际的模型，给定均值和方差，或是设定为随机噪声来模拟实际干扰。但其并不能代表实际环境的噪声统计特性，也不能保证这种设定方式是逼近实际环境的。为了降低随机噪声对滤波结果的影响，用系统误差去建模实际噪声干扰以逼近真实环境。实验环境同上，通过将其与设定随机噪声的方法相比，得到的两种方法的实验结果如图4所示，并将数值结果记录在表2中。
表2 两种噪声建模方法估计误差结果表
；
表2中的数据仍然是通过求100次蒙特卡洛均值得到的，根据计算出来的精度提高比可知，用系统误差去建模实际噪声的方法得到的滤波效果非常优秀。这是因为在假设只有噪声干扰而无其它影响因素时，经过滤波得到的系统误差可以近似看作为系统噪声，用系统误差去建模实际噪声，得到的结果一定是更逼近真实环境的。此种方法的出现也解决了一直以来在仿真中对噪声随机选取的依赖性，能够在很大程度上提高滤波的精度。
因此，本发明采用上述超非线性输入输出系统基于CFF的参数辨识方法，将CFF和神经网络结合起来，充分利用了CFF在超非线性系统中的优秀特性，将其应用于复杂网络参数更新中，提高了网络参数的更新速度，避免了传统方法带来的效率低、收敛慢等问题。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (2)
1.一种超非线性输入输出系统基于CFF的参数辨识方法，其特征在于，包括以下步骤：
S1、设计基于CFF的神经网络参数更新方法；
S2、建立稀疏神经网络模型；
S3、设计用系统误差建模实际噪声的方法；
S4、仿真实验；
所述S1神经网络参数更新方法包括单隐层神经网络参数更新和多隐层神经网络参数更新；
（1）单隐层神经网络：
由单隐层神经网络模型分析得到网络隐层任意第个神经元/>的输出：
（1）
其中，、/>分别表示输入层与隐层间的权重和偏置，表示系统输入，表示隐层输出，/>表示输入层到隐层的权重，其中/>；
将输入层到隐层的激活函数用函数来表示，则式(1)写为：
（2）
其中，激活函数采用函数，/>函数定义为:
（3）
在分析隐层到输出层之间的关系时，将输入层到隐层的输出，作为隐层到输出层的输入，因而输出层第个神经元的输出可表达为：
（4）
其中，、/>分别表示隐层到输出层间的权重和偏置，/>表示隐层到输出层的权重，其中/>，表示系统输出；
结合式(2)，网络输出模型式(4)改写为：
（5）
单隐层神经网络参数更新具体为：
1）隐层到输出层的权重参数更新，对参数/>更新时，将/>作为状态变量，将参数更新方程建立为满足CFF模型的形式，建模状态方程为：
（6）
其中，为状态转移矩阵，/>表示随机游走模型（6）中的过程噪声；
结合式（5），建模非线性的测量方程为:
（7）
其中，表示随机游走模型（7）中的测量噪声；
结合式(6)-(7)，设计如式(8)-(9)形式的特征函数滤波器：
（8）
（9）
其中为待估计的增益矩阵；/>为系统输出的测量预测估计值；
2）输入层到隐层的权重参数更新，将式(7)作为测量向量，将权重参数/>作为状态变量，建模权重参数/>更新的状态方程为：
（10）
其中，为状态转移矩阵，/>表示随机游走模型（10）中的过程噪声；
结合式(7)和(10)，设计如式(11)形式的滤波器：
（11）
其中，为待估计的增益矩阵；
（2）多隐层神经网络
第一层隐层的输出为：
（12）
其中，上标1表示的是多隐层网络的第一层，表示的是第一层隐层的偏置向量，第二层隐层的输出为：
（13）
其中，表示的是第一层隐层到第二层隐层的整体偏置向量，第/>层隐层的输出为：
（14）
通过由内到外的逐层求解得到，/>，…，/>，逐步得到更新后的参数；
结合式(14)，整个多隐层网络模型的输出：
（15）
其中，/>；
多隐层神经网络参数更新具体为：
1）隐层到输出层的权重参数更新，在对网络第/>层隐层中的权重参数进行更新时，假设除当前隐层权重参数/>外，其它参数都是不变的；将需要被更新的参数作为状态变量进行建模，对第/>层隐层的权重参数/>更新时，将/>作为状态变量，结合式(8),设计滤波器为：
（16）
2）输入层到隐层的权重参数更新，在对第/>层隐层权重/>更新时，假设除当前隐层的参数/>外，其它参数都是不变的，对第/>层隐层的权重参数/>更新时，将/>作为状态变量，设计如式(17)形式的滤波器：
（17）；
所述S2具体为：
在基于梯度下降法的神经网络中，损失函数建模为：
（18）
其中为样本数，/>为输入层到隐层的权重，/>为输入层到隐层的偏置，/>为隐层到输出层的权重，/>为隐层到输出层的偏置，结合式(18)，在损失函数中添加稀疏约束项，建立了如式(19)所示的稀疏损失函数：
（19）
其中，式(19)在式(18)的基础上，对网络中需要更新的四个参数都添加了稀疏约束项，用来调节稀疏程度的可变参数；
结合式(19)，求取梯度方向：
（20）
结合式(20)，稀疏梯度下降算法迭代过程为：
a)求解损失函数的梯度，其中神经网络模型四个参数的梯度表达式分别为：
，/>，/>，(21)
b)求取当前位置在梯度方向上下降的距离：
，/>，/>，(22)
其中，为学习率；
c)如果，/>，/>，/>都小于某个设定的值/>，则迭代终止，否则进入步骤4)；
d)对参数值进行更新，更新完后再跳转到步骤a)，
(23)
(24)
(25)
(26)
式(23)-(26)即为基于稀疏梯度下降法得到的更新后的网络参数，用其去建立神经网络模型，得到的即为稀疏神经网络模型。
2.根据权利要求1所述的一种超非线性输入输出系统基于CFF的参数辨识方法，其特征在于，所述S3具体为：
在神经网络模型中，对参数更新时，都是将需要更新的参数作为状态变量，将其建模成式(27)-(28)的形式：
(27)
(28)
其中，为状态转移矩阵，/>、/>为系统噪声，对式(27)-(28)进行CFF的算法流程，得到其状态估计值/>，结合式(27)，由真实值和滤波估计值计算估计误差：
(29)
考虑到实际噪声统计特性的难以获取，结合式(29)所示的状态估计误差的统计特性，去建模式（27）中状态噪声/>；
结合预测误差模型及式(29)，计算系统的测量预测误差：
(30)
用式(30)去对式（28）中测量噪声进行建模，用系统误差去建模实际噪声，得到更加真实的滤波结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211643615.7A CN115796244B (zh) | 2022-12-20 | 2022-12-20 | 一种超非线性输入输出系统基于cff的参数辨识方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211643615.7A CN115796244B (zh) | 2022-12-20 | 2022-12-20 | 一种超非线性输入输出系统基于cff的参数辨识方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115796244A CN115796244A (zh) | 2023-03-14 |
| CN115796244B true CN115796244B (zh) | 2023-07-21 |
Family
ID=85427472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211643615.7A Active CN115796244B (zh) | 2022-12-20 | 2022-12-20 | 一种超非线性输入输出系统基于cff的参数辨识方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115796244B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110794A (zh) * | 2019-05-10 | 2019-08-09 | 杭州电子科技大学 | 基于特征函数滤波的神经网络参数更新的图像分类方法 |
| CN111652271A (zh) * | 2020-04-24 | 2020-09-11 | 华东交通大学 | 一种基于神经网络的非线性特征选择方法 |
| CN113313077A (zh) * | 2021-06-30 | 2021-08-27 | 浙江科技学院 | 基于多策略和交叉特征融合的显著物体检测方法 |
| WO2021184026A1 (en) * | 2021-04-08 | 2021-09-16 | Innopeak Technology, Inc. | Audio-visual fusion with cross-modal attention for video action recognition |
-
2022
- 2022-12-20 CN CN202211643615.7A patent/CN115796244B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110794A (zh) * | 2019-05-10 | 2019-08-09 | 杭州电子科技大学 | 基于特征函数滤波的神经网络参数更新的图像分类方法 |
| CN111652271A (zh) * | 2020-04-24 | 2020-09-11 | 华东交通大学 | 一种基于神经网络的非线性特征选择方法 |
| WO2021184026A1 (en) * | 2021-04-08 | 2021-09-16 | Innopeak Technology, Inc. | Audio-visual fusion with cross-modal attention for video action recognition |
| CN113313077A (zh) * | 2021-06-30 | 2021-08-27 | 浙江科技学院 | 基于多策略和交叉特征融合的显著物体检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于跨连特征融合网络的面部表情识别;黄倩露，王强;计算机工程与设计;第40卷(第10期);2969-2973 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115796244A (zh) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108900346B (zh) | 基于lstm网络的无线网络流量预测方法 | |
| CN111257934B (zh) | 基于二阶神经元深度神经网络的地震动峰值加速度预测方法 | |
| US8620631B2 (en) | Method of identifying Hammerstein models with known nonlinearity structures using particle swarm optimization | |
| Cheng | Hybrid genetic algorithms for structural reliability analysis | |
| CN111260124A (zh) | 一种基于注意力机制深度学习的混沌时间序列预测方法 | |
| CN114022693B (zh) | 一种基于双重自监督的单细胞RNA-seq数据聚类方法 | |
| CN107832789B (zh) | 基于平均影响值数据变换的特征加权k近邻故障诊断方法 | |
| WO2020259504A1 (zh) | 一种强化学习的高效探索方法 | |
| CN113240105B (zh) | 一种基于图神经网络池化的电网稳态判别方法 | |
| CN113505924A (zh) | 一种基于级联时空特征的信息传播预测方法及系统 | |
| CN111325308A (zh) | 一种非线性系统辨识方法 | |
| CN111798494A (zh) | 广义相关熵准则下的机动目标鲁棒跟踪方法 | |
| CN113468466B (zh) | 基于神经网络的一维波动方程求解方法 | |
| CN113836823A (zh) | 一种基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法 | |
| CN115796244B (zh) | 一种超非线性输入输出系统基于cff的参数辨识方法 | |
| Xu et al. | Meta-learning via weighted gradient update | |
| CN112434888A (zh) | 一种基于深度学习的双向长短期记忆网络的pm2.5预测方法 | |
| KR102120150B1 (ko) | 뉴럴 네트워크를 이용한 변분 추론 학습 방법 및 학습 장치, 그리고 이를 이용한 변분 추론 방법 및 장치 | |
| CN111914465A (zh) | 基于聚类及粒子群优化的无资料地区水文参数率定方法 | |
| CN110991660A (zh) | 基于蝗虫优化的lssvm-arima模型的态势分析方法、系统和存储介质 | |
| CN115879412A (zh) | 一种基于迁移学习的版图层级电路图尺寸参数优化方法 | |
| KR20190129422A (ko) | 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치 | |
| CN115640845A (zh) | 基于生成对抗网络的图神经网络少数类别样本生成方法 | |
| Faghri et al. | Analysis of performance of backpropagation ANN with different training parameters | |
| CN112488248A (zh) | 一种基于卷积神经网络的代理模型的构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |