CN106021829B - 一种基于rbf-arx模型稳定参数估计的非线性系统建模方法 - Google Patents
一种基于rbf-arx模型稳定参数估计的非线性系统建模方法 Download PDFInfo
- Publication number
- CN106021829B CN106021829B CN201610569906.4A CN201610569906A CN106021829B CN 106021829 B CN106021829 B CN 106021829B CN 201610569906 A CN201610569906 A CN 201610569906A CN 106021829 B CN106021829 B CN 106021829B
- Authority
- CN
- China
- Prior art keywords
- rbf
- nonlinear
- model
- parameter
- nonlinear system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000005094 computer simulation Methods 0.000 title claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 238000005457 optimization Methods 0.000 abstract description 17
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 230000007774 longterm Effects 0.000 abstract description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 238000005312 nonlinear dynamic Methods 0.000 abstract description 4
- 238000004088 simulation Methods 0.000 abstract description 2
- 230000002969 morbid Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
Landscapes
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Mathematics (AREA)
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于RBF‑ARX模型稳定参数估计的非线性系统建模方法，针对实际工业过程中普遍存在的非线性动态和物理模型难以获取的情况，采用RBF‑ARX模型描述对象的动态特性，并针对该类模型参数较多及潜在的病态可能导致的模型参数过大或不稳定的问题，将待估计的模型参数分类成线性参数和非线性参数分开优化，设计了一种融合了正则化技术和非线性最小二乘法算法的可保证该类模型参数稳定的离线参数估计方法。与现有技术相比，本发明可大幅提高RBF‑ARX模型的长期预测精度和鲁棒性，并适用于所有能将参数进行分类成线性参数部分和非线性参数部分的非线性模型参数优化问题。对于基于计算机数值仿真分析的工程设计和优化问题具有很高的实用价值。
Description
技术领域
本发明涉及工程设计和优化领域，涉及一种可保证RBF-ARX模型稳定参数估计以提高RBF-ARX模型长期预测精度和鲁棒性的非线性系统建模方法。
背景技术
实际工业过程中普遍存在非线性动态和物理模型难以获取的情况，采用数据驱动的建模方法以实现其特性的描述是对其分析和控制的前提。RBF神经网络以其简单的结构、较高的非线性逼近精度和快速学习的能力，被广泛地应用于模式识别、函数逼近、信号处理、非线性系统建模等领域，已成为最流行的前馈神经网络之一。但由于实际工业过程对象的复杂性，使得RBF神经网络通常需要较高的阶次以满足日益提高的非线性逼近精度要求。RBF-ARX模型综合了状态相依ARX模型对非线性动态特性的描述能力与RBF神经网络的函数逼近能力对过程局部变化的学习能力，能有效降低RBF神经网络的阶次，已被广泛应用于时间序列预测、非线性系统建模等领域。
一般而言，RBF类模型(网络)至少包含3类参数：RBF网络中心、宽度和线性权重，其中RBF网络中心和宽度为非线性参数，线性权重为线性参数。典型的参数优化(或学习)过程是采用非线性优化来选择RBF网络的中心和宽度；采用线性最小二乘来确定线性权重。研究表明，这种参数分类优化的方法相对于单纯的非线性优化方法将使得RBF类模型具有更高的非线性逼近精度和更快的学习能力。基于该优化方法的原理，RBF类模型的非线性参数和线性参数是交替更新的，也就是说，在参数优化过程中，线性参数的更新将基于不同的非线性参数，这易于导致利用最小二乘法求解线性参数时遭遇矩阵病态的问题。在这种情况下，求解的线性参数及基于该线性参数更新的非线性参数将可能是发散的。另一方面，高阶的RBF神经网络或RBF-ARX模型通常具有较多的参数，模型结构相对复杂。基于统计学的误差偏置-方差分解理论，越复杂的模型结构越易于导致所建模型具有较小的建模误差偏置和较大的建模误差方差，而较大的建模误差方差将使得模型的鲁棒性变差。
发明内容
本发明的目的是针对背景技术中利用RBF-ARX模型进行非线性系统建模可能存在的模型估计参数发散引起的模型长期预测性能与鲁棒性变差的问题，提供一种基于RBF-ARX模型稳定参数估计的非线性系统建模方法。
为解决上述技术问题，本发明所采用的技术方案是首先利用RBF-ARX模型描述对象的动态特性，结构如下：
其中：为t时刻的非线性系统的输出；为t时刻的非线性系统的输入；为高斯白噪声；p和q分别为非线性系统模型的输出和输入阶次；φ0，φy,i(i＝1,2,…,p)和φu,j(j＝1,2,…,q)为不同的RBF神经网络；w(t-1)为RBF神经网络的输入向量，用以引导RBF-ARX模型描述非线性系统的动态特性；为RBF神经网络的线性权重；和为RBF神经网络的缩放因子；和为RBF神经网络的中心向量；为向量的2范数；m为RBF神经网络中间层的结点个数；为RBF神经网络的中心向量的具体数值，其中v表示非线性系统的输入或输出，d为RBF神经网络输入向量w(t-1)的维数；j＝1,2,…,q；i＝1,2,…,p；k＝1,2,…,m。
然后将待估计的模型参数分类成线性参数θL和非线性参数θN。
其中线性参数部分为：
非线性参数部分为：
则本发明所述RBF-ARX模型可表述为如下非线性最小二乘形式：
其中：
为了有效解决参数优化中可能存在的矩阵病态和模型结构复杂可能导致的模型参数不稳定问题，构造如下带线性参数惩罚的优化目标函数：
其中Y为非线性系统输出y(t)的向量；Φ(θN)为的向量；γ和P为需要调整的正则化参数。
基于上述参数分类及优化目标，采用伪LMM算法更新RBF-ARX模型的非线性参数并基于正则化最小二乘方法计算模型的线性参数。给定初始非线性参数θN，并假设当前为k步迭代，根据构造的优化目标函数F(θN,θL)计算关于的雅克比矩阵：
非线性参数的更新策略是
其中dk为搜索方向，βk为搜索步长，由下式确定：
其中，γk控制搜索方向dk和搜索步长βk，当γk趋近零时，dk为高斯牛顿方向，当γk趋近无穷时，dk为最速下降方向。选定γk后就可以得到搜索方向dk，然后用一种类似于混合二次、三次多项式内插和外插法确定搜索步长βk。在上述参数优化过程中，更新非线性参数以保证优化目标函数F(θN,θL)减小，线性参数可由如下正则化最小二乘算法得到并伴随着非线性参数的更新而更新。
其中，Ir为单位矩阵。由上式可知，正则化参数γ和P对线性参数θL的计算有直接影响。据研究，假设已知“真实”线性参数θL情况下的建模误差方差为σ2，则最好的正则化参数应满足实际应用中，真实的θL和σ2都是未知的，可用普通的最小二乘法进行估计。由此可知，在每次迭代中，正则化参数也伴随着模型参数的更新而更新。
与现有技术相比，本发明所具有的有益效果为：本发明针对物理模型难以获取的非线性对象，采用RBF-ARX模型描述对象的非线性动态特性，可有效减少RBF神经网络的阶次，并针对该类模型参数优化过程中可能存在的模型参数不稳定导致的模型长期预测精度和鲁棒性变差的问题，设计了一种融合了正则化技术和非线性最小二乘法算法的可保证该类模型参数稳定的离线参数估计算法，该算法也适合于能将模型参数进行分类成线性参数部分和非线性参数部分的非线性模型参数优化问题。与现有技术相比，本发明通过正则化技术有效避免了模型参数优化过程中的病态问题可能导致的模型参数过大甚至发散引起的模型综合性能下降的问题，从而大幅提高了RBF-ARX模型的长期预测精度和鲁棒性，对基于该类模型的数据预测和控制器设计提供了可靠的非线性系统建模方法，具有较高的实用价值和较好的应用前景。该类方法适用于物理模型难以获取的非线性系统建模问题，并特别适合于能将模型参数进行分类成线性参数部分和非线性参数部分的非线性模型参数优化问题。对于基于计算机数值仿真分析的工程设计和优化问题具有很高的实用价值。本发明也适用于能将模型参数分类为线性参数和非线性参数部分的其他非线性模型的模型参数估计问题，并可对基于该类模型的数据预测和控制器设计提供可靠的非线性系统建模方法，具有较高的实用价值和较好的应用前景。附图说明
图1为本发明基于RBF-ARX模型的非线性系统建模流程图。
具体实施方式
本发明以如下非线性系统为例说明其具体实施方式。
其中为t时刻的非线性系统的输出；为t时刻的非线性系统的输入。假设t时刻非线性系统的输入u(t)为：
u(t)＝2sin(πt/25)+0.5sin(πt/30)+0.02exp[sin(πt/40)].
(1)利用上述非线性系统实例产生500个输入输出数据，并构建如下的RBF-ARX模型。
其中：为t时刻的非线性系统的输出；为t时刻的非线性系统的输入；为高斯白噪声；φ0，φy,i(i＝1)和φu,j(j＝1,2)为不同的RBF神经网络；w(t-1)为RBF神经网络的输入向量，用以引导RBF-ARX模型描述非线性系统的动态特性； 为RBF神经网络的线性权重；RBF神经网络的缩放因子；为RBF神经网络的中心向量；为向量的2范数；其中v表示非线性系统的输入或输出。
(2)将待估计的模型参数分类为线性参数部分和非线性参数部分。
其中线性参数部分为：
非线性参数部分为：
则本发明所述RBF-ARX模型可表述为如下非线性最小二乘形式：
其中：
(3)给定RBF-ARX模型非线性参数的初值为θN,0＝[0.2466,0.0757,1.3643,-2.2597,-6.1801,-4.3180]T。
(4)基于RBF-ARX模型的非线性参数，采用最小二乘法计算该模型的线性参数。如果基于RBF-ARX模型非线性参数初值θN,0，则计算的线性参数为θL,0＝[0.7889,0.8074,0.9347,0.9798,9.6272,-163.4633,-9.3905,162.3487]T。
(5)根据优化的RBF-ARX模型参数，计算正则化参数。如果基于RBF-ARX模型的非线性参数初值θN,0和线性参数θL,0，则计算的正则化参数为γ0＝1.1465，
(6)采用伪LMM算法更新RBF-ARX模型的非线性参数并基于正则化最小二乘方法计算模型的线性参数。如果基于初始化的非线性参数初值θN,0和计算的线性参数θL,0，γ0和P0，则第一次更新后的非线性参数为θN,1＝[0.1490,0.0499,2.7239,-3.4040,-9.4198,4.0532]T，更新后的线性参数为θL,1＝[1.8235,0.7586,0.8736,1.2548,7.6248,-90,5844,-8,3856,137.3976]T。
(7)重复第(4)-(6)步更新RBF-ARX模型的线性参数和非线性参数直到达到设定的迭代步数。
(8)返回优化的RBF-ARX模型参数。对该非线性对象设定迭代步数为100，最后返回的RBF-ARX模型非线性参数为θN,100＝[0.2846,0.1466,-1.4427,-1.6053,-4.2855]T，更新后的线性参数为θL,100＝[5.1022,-7.6013,1.1074,-0.2808,20.0793,-77.8231,-24.5240,83.5532]T。
值得注意的是，从上述步骤可以看出，RBF-ARX模型的线性参数和非线性参数是交替更新的并时刻相互作用的，该方法不同于轮流固定一种变量来优化另一种变量的变量轮换法。在每次迭代中，上述方法可多次交替更新模型参数，有效提高了参数搜索效率，并可保证模型参数的稳定估计以提高RBF-ARX模型的长期预测能力和鲁棒性。本发明也适用于能将模型参数分类为线性参数和非线性参数部分的其他非线性模型的模型参数估计问题，并可对基于该类模型的数据预测和控制器设计提供可靠的非线性系统建模方法，具有较高的实用价值和较好的应用前景。
Claims (2)
1.一种基于RBF-ARX模型稳定参数估计的非线性系统建模方法，其特征在于，包括以下步骤：
1)构建RBF-ARX模型：
其中：为t时刻的非线性系统的输出；为t时刻的非线性系统的输入；为高斯白噪声；p和q分别为非线性系统模型的输出和输入阶次；φ0，φy,i和φu,j为不同的RBF神经网络；w(t-1)为RBF神经网络的输入向量，用以引导RBF-ARX模型描述非线性系统的动态特性； 为RBF神经网络的线性权重；和为RBF神经网络的缩放因子；和为RBF神经网络的中心向量；为向量的2范数；m为RBF神经网络中间层的结点个数；为RBF神经网络的中心向量的具体数值，其中v表示非线性系统的输入或输出，d为RBF神经网络输入向量w(t-1)的维数；j＝1,2,…,q；i＝1,2,…,p；k＝1,2,…,m；
2)将所述RBF-ARX模型表述为如下非线性最小二乘形式：
其中，
3)构造如下带线性参数惩罚的优化目标函数：
其中Y为非线性系统输出y(t)的向量；Φ(θN)为的向量；γ和P为需要调整的正则化参数。
2.根据权利要求1所述的基于RBF-ARX模型稳定参数估计的非线性系统建模方法，其特征在于：
在每次迭代中，正则化参数都伴随着迭代过程进行更新；假设当前为k+1步迭代，定义k步迭代得到的线性参数为θL,k,θL,k是θL向量第k步的向量元素，RBF-ARX模型建模误差的方差为σk 2，则取γ＝σk 2，
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610569906.4A CN106021829B (zh) | 2016-07-19 | 2016-07-19 | 一种基于rbf-arx模型稳定参数估计的非线性系统建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610569906.4A CN106021829B (zh) | 2016-07-19 | 2016-07-19 | 一种基于rbf-arx模型稳定参数估计的非线性系统建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106021829A CN106021829A (zh) | 2016-10-12 |
| CN106021829B true CN106021829B (zh) | 2018-11-20 |
Family
ID=57115747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610569906.4A Expired - Fee Related CN106021829B (zh) | 2016-07-19 | 2016-07-19 | 一种基于rbf-arx模型稳定参数估计的非线性系统建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106021829B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106933107B (zh) * | 2017-05-15 | 2019-09-27 | 中南大学 | 一种基于多自由度控制量设计的输出跟踪鲁棒预测控制方法 |
| CN108009362B (zh) * | 2017-12-04 | 2021-06-11 | 中南大学 | 一种基于稳定性约束rbf-arx模型的系统建模方法 |
| CN109491248B (zh) * | 2018-11-20 | 2020-11-24 | 中南大学 | 基于rbf-arx模型和拉盖尔函数的磁悬浮球位置预测控制方法 |
| CN110766132B (zh) * | 2019-09-10 | 2020-09-25 | 淮阴工学院 | 一种基于物联网的果园产量智能预测系统 |
| CN110826021B (zh) * | 2019-10-31 | 2021-03-12 | 哈尔滨工业大学 | 一种非线性工业过程鲁棒辨识和输出估计方法 |
| CN111958602B (zh) * | 2020-08-20 | 2022-05-20 | 华中科技大学 | 一种手腕偏置型6轴机器人实时逆解算法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6697654B2 (en) * | 1999-07-22 | 2004-02-24 | Sensys Medical, Inc. | Targeted interference subtraction applied to near-infrared measurement of analytes |
| CN102497343A (zh) * | 2011-11-25 | 2012-06-13 | 南京邮电大学 | 一种基于聚类和支持向量机的联合调制识别方法 |
| CN103610227A (zh) * | 2013-12-09 | 2014-03-05 | 中南大学 | 一种烘丝机头尾段工艺变量优化控制方法 |
| CN105676645A (zh) * | 2016-03-11 | 2016-06-15 | 中南大学 | 一种基于函数型权rbf-arx模型的双回路水箱液位预测控制方法 |
-
2016
- 2016-07-19 CN CN201610569906.4A patent/CN106021829B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6697654B2 (en) * | 1999-07-22 | 2004-02-24 | Sensys Medical, Inc. | Targeted interference subtraction applied to near-infrared measurement of analytes |
| CN102497343A (zh) * | 2011-11-25 | 2012-06-13 | 南京邮电大学 | 一种基于聚类和支持向量机的联合调制识别方法 |
| CN103610227A (zh) * | 2013-12-09 | 2014-03-05 | 中南大学 | 一种烘丝机头尾段工艺变量优化控制方法 |
| CN105676645A (zh) * | 2016-03-11 | 2016-06-15 | 中南大学 | 一种基于函数型权rbf-arx模型的双回路水箱液位预测控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于状态相依RBF-ARX模型的非线性预测控制及应用;曾小勇，彭辉，魏吉敏;《系统工程与电子技术》;20121231;第34卷(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106021829A (zh) | 2016-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106021829B (zh) | 一种基于rbf-arx模型稳定参数估计的非线性系统建模方法 | |
| Afshari et al. | Gaussian filters for parameter and state estimation: A general review of theory and recent trends | |
| Nabian et al. | A deep neural network surrogate for high-dimensional random partial differential equations | |
| Shirvany et al. | Multilayer perceptron neural networks with novel unsupervised training method for numerical solution of the partial differential equations | |
| CN114219076B (zh) | 量子神经网络训练方法及装置、电子设备和介质 | |
| Lourenço et al. | On the exploration of promising analog ic designs via artificial neural networks | |
| Winterhalder et al. | Targeting multi-loop integrals with neural networks | |
| Tam et al. | An adaptive Gaussian sum algorithm for radar tracking | |
| Mavkov et al. | Integrated neural networks for nonlinear continuous-time system identification | |
| Zarei‐Jalalabadi et al. | Modification of unscented Kalman filter using a set of scaling parameters | |
| JP2017016384A (ja) | 混合係数パラメータ学習装置、混合生起確率算出装置、及び、これらのプログラム | |
| CN108694232B (zh) | 一种基于信任关系特征学习的社会化推荐方法 | |
| Wu et al. | Online training algorithms based single multiplicative neuron model for energy consumption forecasting | |
| Bao et al. | A score-based filter for nonlinear data assimilation | |
| Quagliarella et al. | Optimization under uncertainty using the generalized inverse distribution function | |
| Motlagh et al. | A new architecture for modeling and prediction of dynamic systems using neural networks: Application in Tehran stock exchange | |
| Lei et al. | A novel time-delay neural grey model and its applications | |
| CN115577782B (zh) | 量子计算方法、装置、设备及存储介质 | |
| Schiassi et al. | Class of optimal space guidance problems solved via indirect methods and physics-informed neural networks | |
| Wang et al. | Huber‐based Unscented Kalman Filters with theq‐gradient | |
| Gokce et al. | Unscented Kalman filter‐aided Gaussian sum filter | |
| Abdullah et al. | Comparison of non-linear time series models (Beta-t-EGARCH and NARMAX models) with Radial Basis Function Neural Network using Real Data | |
| CN110829434B (zh) | 一种提高深度神经网络潮流模型扩展性的方法 | |
| Clarich et al. | Formulations for Robust Design and Inverse Robust Design | |
| Jin et al. | Expectation-maximization algorithm based identification of Hammerstein nonlinear ARMAX systems with Gaussian mixture noises |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181120 Termination date: 20190719 |