CN110363285A - 集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法 - Google Patents

集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法 Download PDF

Info

Publication number
CN110363285A
CN110363285A CN201910537272.8A CN201910537272A CN110363285A CN 110363285 A CN110363285 A CN 110363285A CN 201910537272 A CN201910537272 A CN 201910537272A CN 110363285 A CN110363285 A CN 110363285A
Authority
CN
China
Prior art keywords
model
hammerstein
wiener
formula
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910537272.8A
Other languages
English (en)
Inventor
徐康康
杨海东
印四华
朱成就
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910537272.8A priority Critical patent/CN110363285A/zh
Publication of CN110363285A publication Critical patent/CN110363285A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供的集成超限学习机和Hammerstein‑Wiener的复杂非线性系统建模方法，包括：利用两个独立的超限学习机ELM网络，即单隐层前馈网络逼近Hammerstein‑Wiener模型的静态非线性单元，对静态非线性单元进行参数表示；利用lipschitz商准则对基于ELM的Hammerstein‑Wiener模型的线性子系统结构进行估计，确定模型阶数；构建ELM算法，计算线性子系统结构和非线性子系统的参数，完成参数识别；构建模型并对模型泛化性能进行评估，得到模型的泛化界。本发明提供的一种集成超限学习机和Hammerstein‑Wiener的复杂非线性系统建模方法，通过构建ELM算法，具有较快的学习速度和较小的计算复杂度，且计算效率高；该方法涉及的算法数学描述简单，用最小二乘解识别未知参数，能较快地逼近工业过程的非线性问题。

Description

集成超限学习机和Hammerstein-Wiener的复杂非线性系统建 模方法
技术领域
本发明涉及强非线性系统建模技术领域，更具体的，涉及一种集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法。
背景技术
在实际工业过程中并不存在理想线性系统，每个工业对象在本质上或多或少都具有非线性特征，只是对于弱非线性系统，在一定的工作条件下，我们将其近似地视为线性系统去处理研究。然而，大多数工业对象都具有很强的非线性特征，因此对强非线性系统的建模就显得尤为重要。
到目前为止，许多精确和快速的非线性建模技术已经发展起来，用以逼近非线性系统，如Volterra级数[1]、神经网络(NNs)[2]、模糊模型[3][4]和支持向量机(SVMs)[5][6]。将模糊推理系统与在线顺序极值学习机(OS-ELM)相结合，实现了非线性系统的逼近，适用于在线相关的应用[7][8]。由线性动态模块和非线性静态模块组成的面向块的模型，以其简单的定向结构和有效的结构匹配，成为非线性系统建模的研究热点[9][10]。主要可分为Hammerstein模型[11][12]、Wiener模型[13][14]、Wiener-Hammerstein模型[15][16]和Hammerstein-Wiener模型[17][18]，其中f(.)和g(.)表示非线性输出子系统，G(Q)和H(Q)表示线性输出子系统。在这四种模型中，Hammerstein模型和Wiener模型被广泛应用于许多非线性系统的逼近，如pH中和过程[19]、电刺激肌肉[20]、燃料电池[21]等。
其中，Hammerstein-Wiener模型在非线性系统中得到了广泛的应用。与Hammerstein或Wiener模型相比，该模型能更好地描述复杂的非线性工业过程，因为它有两个非线性块[17]。然而，关于如何识别该模型的文献却很少[18]。Er-Wei Bai提出了一种最优的Hammerstein-Wiener模型两阶段辨识算法[22]。该算法利用递推最小二乘(RLS)方法估计模型的回归系数，然后利用奇异值分解(SVD)估计线性和非线性部分的未知参数，但该算法要求两个非线性部分的函数为已知。
Yucai Zhu提出了一种松弛迭代格式[23]，通过最小化逼近误差来辨识模型的参数，但该方法仅适用于离线辨识，并且计算量大。
在Hammerstein-Wiener模型辨识中，两个静态非线性函数的有效表示尤为重要。最小二乘支持向量机(LS-SVM)[24][25]可以逼近任意的NARX模型，被用来表示Hammerstein-Wiener模型的非线性函数[26]。然后利用更多的约束和冗余参数识别线性和非线性部分的参数。该技术的缺点是：基于LS-SVM的识别算法由于其实现简单，被广泛应用于面向块模型的识别。然而，冗余参数的特点往往导致学习速度慢，计算可扩展性差。
发明内容
本发明为克服现有的Hammerstein-Wiener模型在应用时存在计算量大、学习速度慢且计算可扩展性差的技术缺陷，提供一种集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法。
为解决上述技术问题，本发明的技术方案如下：
集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法，包括以下步骤：
S1：利用两个独立的超限学习机ELM网络，即单隐层前馈网络逼近Hammerstein-Wiener模型的静态非线性单元，对静态非线性单元进行参数表示；
S2：利用lipschitz商准则对基于ELM的Hammerstein-Wiener模型的线性子系统结构进行估计，确定模型阶数；
S3：构建ELM算法，计算线性子系统结构和非线性子系统的参数，完成参数识别；
S4：构建模型并对模型泛化性能进行评估，得到模型的泛化界。
其中，所述步骤S1包括以下步骤：
S11：配置单隐层前馈网络SLFNs，具体为：
给定输入输出样本集其中nu和ny分别是输入和输出神经元的个数；N表示测量的数量，即有L个隐神经元的SLFNs输出函数表示为：
其中，表示连接输出神经元和第i个隐神经元的输出权重向量；表示连接输入神经元和第i个隐神经元的输入权向量；ηi表示第i个隐神经元的阈值；οt表示时间t的SLFNs的输出值；ωi·ut表示ωi和ut的内积，G(·)是隐神经元的激活函数；
S12：利用单隐层前馈网络SLFNs逼近Hammerstein-Wiener模型的静态非线性单元，具体表示为：
其中，||·||是Frobenius范数，故存在ωi,ηi和βi，因此有：
将(3)表示为矩阵方程的形式，具体为：
H·β＝Y； (3)
其中：
其中：H为SLFNs的隐层输出矩阵，H的第i列是输入数据u1,u2,...,uN的第i个隐神经元输出，H的第j行是输入数据uj的隐层的输出向量；在ELM的SLFNs训练算法中，独立于训练数据随机生成输入权值ωi和隐层阈值ηi；选择激活函数，通过最小二乘确定输出权值，具体表示为：
其中，表示矩阵H的Moore–Penrose广义逆矩阵。
其中，所述步骤S2包括以下步骤：
S21：对基于ELM的Hammerstein-Wiener模型进行数学描述，具体为：基于ELM的Hammerstein-Wiener模型由两个独立的SLFNs和一个线性子系统组成，设参数u(t)和y(t)分别表示模型输入信号和输出测量值；L1和L2表示相应的隐藏层节点的数目；w(t)和v(t)是基于ELM的SLFNs相对于u(t)和y(t)的对应输出，具体表述为：
其中：βσ,β′δ是连接相应隐神经元和输出神经元的输出权重；ωσ,ω′δ是连接对应隐神经元和输入神经元的输入权重；ησ,η′δ是对应隐神经元的阈值；G1(·),G2(·)是隐神经元的激活函数；
现有单输入单输出的Hammerstein-Wiener模型描述为：
其中，和为需要识别的回归参数；u(t)∈R和y(t)∈R分别表示系统的输入和输出，η(t)∈R表示被测系统的噪声，h(·):R→R和g(·):R→R是非线性函数，na和nb代表线性子系统的阶数；
因此，将(7)式和(8)式带入(9)式中，得到：
其中，ω′δ,ωσ,η′δ,ησ为随机生成的参数；ai,bj,βδ′,βσ是需要识别的参数；
S22：利用lipschitz商准则对基于ELM的Hammerstein-Wiener模型的线性子系统结构进行估计，确定模型阶数，具体为：
将(10)式用一般的非线性NARX模型编写，得到：
y＝f(X)＝f(x1,x2,...,xn)； (11)
其中，f是一个非线性连续函数，n是输入变量(n＝na+nb+1)的个数；X＝[x1,x2,...,xn]T表示输入信号；将lipschitz商qi,j定义为：
其中，|X(i)-X(j)|表示输入区域中两点X(i)和X(j)的距离；|y(i)-y(j)|表示f(X(i))和f(X(j))的差；将方程(12)进行扩展，得到：
式中，中的上标n表示方程(11)中的输入变量的数目；为避免多余的输入变量，计算确认模型的最优阶数，具体表示为：
其中，q(n)(k)是中k-最大lipschitz商，参数p是一个正数，通常选择为p＝0.01～0.02N，因此确定模型阶数na和nb，从而确定模型线性子系统的结构。
其中，所述步骤S3包括以下步骤：
S31：对(10)式表示的模型转化为线性回归形式，具体为：
其中：
其中，表示广义数据向量；θ表示需要识别的参数向量；
S32：计算广义数据向量利用Sigmoid函数进行选择，具体为：
G(ω,η,x)＝1/(1+exp(-ω·x+η))； (18)
其中，G1(·),G2(·)是隐藏神经元的激活函数；将(15)式转化为矩阵形式，为：
Y＝Φθ； (19)
其中，Y＝[y(c+1),y(c+2),...,y(c+N)]T(c＝max(na,nb))是输出向量，Φ是回归矩阵，表示为：
因此，(19)式的唯一的最小范数最小二乘解为：
其中，表示矩阵Φ的Moore–Penrose广义逆矩阵，因此，根据式(21)得到参数向量完成参数识别。
其中，所述步骤S4具体利用Rademacher复杂度进行分析并得到模型的泛化界。
其中，所述步骤S4具体包括以下步骤：
S41：定义损失函数和l≤B，并假定对于任何δ∈(0,1)，在长度为m的测试样本上至少有1-δ概率，对于满足：
其中，是用l表示的的期望误差；是用l表示的经验误差；Rm(H)是H的Rademacher复杂度；
S42：假设和参数向量定义损失函数和l≤B，对于任意ξ∈(0,1)，对于m个测试样本，具有至少1-ξ的概率，对于满足：
S43：假设π1,...,πm是独立的一致随机变量，变化在-1到1之间，根据Rademacher复杂度的定义，经验Rademacher复杂度的形式表示为：
将(15)式代入式(24)中，表示为：
由于是有界的，故有：
因此Rademacher复杂度Rm(H)表示为：
结合式(22)和式(27)，对于任意ξ∈(0,1)，在m个测试样本上，概率至少为1-ξ，满足：
由于式(28)右边的最后两项为常数，因此用式(28)作为估计模型的泛化界。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供的一种集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法，通过构建ELM算法，具有较快的学习速度和较小的计算复杂度，且计算效率高；该方法涉及的算法数学描述简单，用最小二乘解识别未知参数，能较快地逼近工业过程的非线性问题；构建得到的模型固有的两种耦合非线性结构，使模型具有较高的模型精度；采用lipschitz商对模型的线性部分进行估计，使模型能更好地与原系统结构相匹配。
附图说明
图1为本发明方法的流程示意图；
图2为SLFNs的配置示意图；
图3为基于ELM的Hammerstein-Wiener模型结构示意图；
图4为固化炉的结构示意图；
图5为第二加热器的随机输入信号；
图6为固化炉的最优阶数曲线；
图7为所提出的模型的模型性能曲线图；
图8为ARE的模型性能曲线图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图2所示，集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法，包括以下步骤：
S1：利用两个独立的超限学习机ELM网络，即单隐层前馈网络逼近Hammerstein-Wiener模型的静态非线性单元，对静态非线性单元进行参数表示；
S2：利用lipschitz商准则对基于ELM的Hammerstein-Wiener模型的线性子系统结构进行估计，确定模型阶数；
S3：构建ELM算法，计算线性子系统结构和非线性子系统的参数，完成参数识别；
S4：构建模型并对模型泛化性能进行评估，得到模型的泛化界。
更具体的，如图2所示，所述步骤S1包括以下步骤：
S11：配置单隐层前馈网络SLFNs，具体为：
给定输入输出样本集其中nu和ny分别是输入和输出神经元的个数；N表示测量的数量，即有L个隐神经元的SLFNs输出函数表示为：
其中，表示连接输出神经元和第i个隐神经元的输出权重向量；表示连接输入神经元和第i个隐神经元的输入权向量；ηi表示第i个隐神经元的阈值；οt表示时间t的SLFNs的输出值；ωi·ut表示ωi和ut的内积，G(·)是隐神经元的激活函数；
S12：利用单隐层前馈网络SLFNs逼近Hammerstein-Wiener模型的静态非线性单元，具体表示为：
其中，||·||是Frobenius范数，故存在ωi,ηi和βi，因此有：
将(3)表示为矩阵方程的形式，具体为：
H·β＝Y； (3)
其中：
其中：H为SLFNs的隐层输出矩阵，H的第i列是输入数据u1,u2,...,uN的第i个隐神经元输出，H的第j行是输入数据uj的隐层的输出向量；在ELM的SLFNs训练算法中，独立于训练数据随机生成输入权值ωi和隐层阈值ηi；选择激活函数，通过最小二乘确定输出权值，具体表示为：
其中，表示矩阵H的Moore–Penrose广义逆矩阵。
更具体的，如图3所示，所述步骤S2包括以下步骤：
S21：对基于ELM的Hammerstein-Wiener模型进行数学描述，具体为：基于ELM的Hammerstein-Wiener模型由两个独立的SLFNs和一个线性子系统组成，设参数u(t)和y(t)分别表示模型输入信号和输出测量值；L1和L2表示相应的隐藏层节点的数目；w(t)和v(t)是基于ELM的SLFNs相对于u(t)和y(t)的对应输出，具体表述为：
其中：βσ,β′δ是连接相应隐神经元和输出神经元的输出权重；ωσ,ω′δ是连接对应隐神经元和输入神经元的输入权重；ησ,η′δ是对应隐神经元的阈值；G1(·),G2(·)是隐神经元的激活函数；
现有单输入单输出的Hammerstein-Wiener模型描述为：
其中，和为需要识别的回归参数；u(t)∈R和y(t)∈R分别表示系统的输入和输出，η(t)∈R表示被测系统的噪声，h(·):R→R和g(·):R→R是非线性函数，na和nb代表线性子系统的阶数；
因此，将(7)式和(8)式带入(9)式中，得到：
其中，ω′δ,ωσ,η′δ,ησ为随机生成的参数；ai,bj,β′δ,βσ是需要识别的参数；
S22：利用lipschitz商准则对基于ELM的Hammerstein-Wiener模型的线性子系统结构进行估计，确定模型阶数，具体为：
将(10)式用一般的非线性NARX模型编写，得到：
y＝f(X)＝f(x1,x2,...,xn)； (11)
其中，f是一个非线性连续函数，n是输入变量(n＝na+nb+1)的个数；X＝[x1,x2,...,xn]T表示输入信号；将lipschitz商qi,j定义为：
其中，|X(i)-X(j)|表示输入区域中两点X(i)和X(j)的距离；|y(i)-y(j)|表示f(X(i))和f(X(j))的差；将方程(12)进行扩展，得到：
式中，中的上标n表示方程(11)中的输入变量的数目；为避免多余的输入变量，计算确认模型的最优阶数，具体表示为：
其中，q(n)(k)是中k-最大lipschitz商，参数p是一个正数，通常选择为p＝0.01～0.02N，因此确定模型阶数na和nb，从而确定模型线性子系统的结构。
更具体的，所述步骤S3包括以下步骤：
S31：对(10)式表示的模型转化为线性回归形式，具体为：
其中：
其中，表示广义数据向量；θ表示需要识别的参数向量；
S32：计算广义数据向量利用Sigmoid函数进行选择，具体为：
G(ω,η,x)＝1/(1+exp(-ω·x+η))； (18)
其中，G1(·),G2(·)是隐藏神经元的激活函数；将(15)式转化为矩阵形式，为：
Y＝Φθ； (19)
其中，Y＝[y(c+1),y(c+2),...,y(c+N)]T(c＝max(na,nb))是输出向量，Φ是回归矩阵，表示为：
因此，(19)式的唯一的最小范数最小二乘解为：
其中，表示矩阵Φ的Moore–Penrose广义逆矩阵，因此，根据式(21)得到参数向量完成参数识别。
其中，所述步骤S4具体利用Rademacher复杂度进行分析并得到模型的泛化界。
更具体的，所述步骤S4具体包括以下步骤：
S41：定义损失函数和l≤B，并假定对于任何δ∈(0,1)，在长度为m的测试样本上至少有1-δ概率，对于满足：
其中，是用l表示的的期望误差；是用l表示的经验误差；Rm(H)是H的Rademacher复杂度；
S42：假设和参数向量定义损失函数和l≤B，对于任意ξ∈(0,1)，对于m个测试样本，具有至少1-ξ的概率，对于满足：
S43：假设π1,...,πm是独立的一致随机变量，变化在-1到1之间，根据Rademacher复杂度的定义，经验Rademacher复杂度的形式表示为：
将(15)式代入式(24)中，表示为：
由于是有界的，故有：
因此Rademacher复杂度Rm(H)表示为：
结合式(22)和式(27)，对于任意ξ∈(0,1)，在m个测试样本上，概率至少为1-ξ，满足：
由于式(28)右边的最后两项为常数，因此用式(28)作为估计模型的泛化界。
在具体实施过程中，采用式(13)、式(14)计算线性子系统的最优阶数；在为相应的SLFNs中的随机分配隐藏节点参数(ωσ,ησ)，(ω'σ,η'σ)；采用式(16)、式(20)计算回归矩阵Φ；最后采用式(21)计算得到参数向量完成参数识别。
在具体实施过程中，本方法通过构建ELM算法，具有较快的学习速度和较小的计算复杂度，且计算效率高；该方法涉及的算法数学描述简单，用最小二乘解识别未知参数，能较快地逼近工业过程的非线性问题；构建得到的模型固有的两种耦合非线性结构，使模型具有较高的模型精度；采用lipschitz商对模型的线性部分进行估计，使模型能更好地与原系统结构相匹配。
实施例2
更具体的，在实施例1的基础上，如图4所示，快速固化炉是固化工艺生产过程中必不可少的设备，芯片均匀放置在引线框架上，并在特定温度下固化。在炉子顶部有四个长方形加热器，为温度剖面提供动力。在实验中，四个加热器采用随机输入信号进行控制，其中第二个加热器的输入信号如图5所示。输出温度数据是用一个带样品间隔Δt＝10s的热电偶采集的。总共获得2500个数据，前1500个数据被选择用于模型估计，后1000个数据被选择用于模型验证。
在具体实施过程中，利用lipschitz商估计模型的线性结构。计算结果如图6所示：
q(1+1)＝88.1395,q(2+1)＝16.4710,q(2+2)＝9.4493,q(3+2)＝2.2747,q(3+3)＝2.4318,q(4+1)＝2.2363,q(4+2)＝2.4221，显然，最优的模型阶数是na＝3和nb＝2。
在具体实施过程中，采用广义ELM算法对模型参数进行辨识，两个ELM网络相对于输入信号和反馈输入信号的隐藏节点的数目分别为100和6，模型一旦训练好后，就会使用1000个测试数据进行模型验证，为了更好地验证模型的性能，绝对相对误差ARE被定义为：
ARE越小，模型的精度就越高。如图7所示，模型输出可以接近测量的输出。图8显示了与模型对应的ARE，使用ARE的最大误差为2.5％，可满足工业需求。因此，该模型在复杂非线性动力学系统建模中是令人满意的，为了模型的测量反映Rademacher复杂度定理的泛化边界，我们以95％的置信度δ＝0.05计算了不等式(28)的右边，上限的计算结果为20.613，而预期风险为14.765。仿真结果满足使用的Rademacher复杂度的定理。
在具体实施过程中，本发明还采用了几种比较流行的建模方法用于对比，定义另外两个误差指标如下：
均方根误差(RMSE)：
其中，N是样本数。
R-平方关系：
其中：
其中是y(t)的平均值，用R-平方关系度量回归模型的拟合能力，R-平方值从0到1，其中极值1表示预测的输出完全符合测量的输出。比较结果如表1所示，本发明提出的模型由于具有两种非线性动力学特性，在五种建模方法中具有最高的模型精度。此外，利用ELM算法的机制，该方法具有较快的学习速度，适用于在线相关应用。
表1不同方法的模型性能比较
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
[1]D.Mirri,G.Iuculano.F.Filicori,G.Pasini,G.Vannini.G.Gabriella,Amodified Volterra series approach for nonlinear dynamic systems modeling,IEEETrans Circuits Syst Regul,49(8)(2002)1118-1128.
[2]J.S.Wang,Y.P.Chen,A fully automated recurrent neural network forunknown dynamic system identification and control,IEEE Trans Circuits SystRegul,53(2006)1363–1372.
[3]D.Zhang,H.Song,L.Yu,Robust Fuzzy-Model-Based Filtering forNonlinear Cyber-Physical Systems With Multiple Stochastic IncompleteMeasurements,IEEE Transactions on Systems Man&Cybernetics Systems,47(8)(2017)1826-1838.
[4]H.J.Rong,N.Sundararajan,G.B.Huang,P.Saratchandran,Sequentialadaptive fuzzy inference system(SAFIS)for nonlinear system identification andprediction,Fuzzy Sets and Systems,157(9)(2006)1260-1275.
[5]S.Ding,N.Zhang,X.Zhang,F.Wu,Twin support vector machine:theory,algorithm and applications,Neural Computing&Applications,28(11)(2017)3119-3130.
[6]K.Li,Y.Wu,Y.Nan,P.Li,Y.Li,Hierarchical multi-class classificationin multimodal spacecraft data using DNN and weighted support vector machine,Neurocomputing,259(2017).
[7]H.J.Rong,G.B.Huang,N.Sundararajan,P.Saratchandran,Onlinesequential fuzzy extreme learning machine for function approximation andclassification problems,IEEE Transactions on systems man and cybernetics partB-Cybernetics,39(4)(2009)1067-1072.
[8]H.J.Rong,G.B.Huang,Y.Q.Liang,Fuzzy extreme learning machine for aclass of fuzzy inference systems.International Journal of Uncertainty,Fuzziness and Knowledge-Based Systems,21(supp02),(2013)51-61.
[9]T.Falck,P.Dreesen,K.D.Brabanter,K.Pelckmans,B.D.Moor,J.A.K.Suykens,Least-squares support vector machines for the identification ofwiener–hammerstein systems,Control Engineering Practice,20(11)(2012)1165-1174.
[10]Y.G.Tang,Z.H.Li,X.P.Guan,Identification of nonlinear system usingextreme learning machine based Hammerstein model,Commun Nonlinear Sci NumerSimulat,19(2014)3171-3183.
[11]V.C.Filipovic,Outlier robust stochastic approximation algorithmfor identification of MIMO Hammerstein models,Nonlinear Dynamics,90(2)(2017)1427-1441.
[12]C.K.Qi,H.-X.Li,X.C.Zhao,S.Y.Li,F.Gao,Hammerstein modeling withstructure identification for multi-input multi-output nonlinear industrialprocesses,Industrial&Engineering Chemistry Research,50(19)(2011)11153–11169.
[13]S.H.T.Toivonen,Support vector method for identificationof Wiener models,Journal of Process Control,19(7)(2009)1174-1181.
[14]M.Modelling and predictive control of a neutralisationreactor using sparse support vector machine Wiener models,Neurocomputing,205(2016)311-328.
[15]J.J.Schoukens,Initializing Wiener–Hammerstein models basedon partitioning of the best linear approximation,Automatica,48(2)(2012)353–359.
[16]A.Naitali,F.Giri,Wiener–Hammerstein system identification–anevolutionary approach,International Journal of Systems Science,47(1)(2016)45-61.
[17]A.Haryanto,K.S.Hong,Maximum likelihood identification of Wiener–Hammerstein models,Mechanical Systems&Signal Processing,41(1-2)(2013)54-70.
[18]A.Wills,L.Ljung,B.Ninness,Identification of Hammerstein-Wienermodels,Automatica,49(1)(2013)70-81.
[19]A.Fink,O.Nelles,Nonlinear internal model control based on locallinear neural networks,IEEE international conference on systems,man,andcybernetics,(2001)117–122.
[20]F.Le,I.Markovsky,C.T.Freeman,E.Rogers,Recursive identification ofHammerstein systems with application to electrically stimulated muscle,Control Eng Pract,20(2012)386–96.
[21]C.H.Li,X.J.Zhu,G.Y.Cao,S.Sui,M.R.Hu,Identification of theHammerstein model of a PEMFC stack based on least squares support vectormachines,J Power Sources,175(2008)303–16.
[22]E.W.Bai,An optimal two-stage identification algorithm forHammerstein–Wiener nonlinear systems,Automatica,34(3)(1998)333-338.
[23]Y.C.Zhu,Estimation of an N-L-N Hammerstein-Wiener model,Automatica,38(9)(2002)1607-1614.
[24]S.An,W.Liu,S.Venkatesh,Fast cross-validation algorithms for leastsquares support vector machine and kernel ridge regression,PatternRecognition,40(8)(2007)2154-2162.
[25]L.Yang,S.Yang,R.Zhang,H.Jin,Sparse least square support vectormachine via coupled compressive pruning,Neurocomputing,131(9)(2014)77-86.
[26]H.Song,W.Gui,C.Yang,Identification of Hammerstein-Wiener Modelwith Least Squares Support Vector Machine,Chinese Control Conference,(2007)260-264.

Claims (6)

1.集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法，其特征在于，包括以下步骤：
S1：利用两个独立的超限学习机ELM网络，即单隐层前馈网络逼近Hammerstein-Wiener模型的静态非线性单元，对静态非线性单元进行参数表示；
S2：利用lipschitz商准则对基于ELM的Hammerstein-Wiener模型的线性子系统结构进行估计，确定模型阶数；
S3：构建ELM算法，计算线性子系统结构和非线性子系统的参数，完成参数识别；
S4：构建模型并对模型泛化性能进行评估，得到模型的泛化界。
2.根据权利要求1所述的集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法，其特征在于：所述步骤S1包括以下步骤：
S11：配置单隐层前馈网络SLFNs，具体为：
给定输入输出样本集其中nu和ny分别是输入和输出神经元的个数；N表示测量的数量，即有L个隐神经元的SLFNs输出函数表示为：
其中，表示连接输出神经元和第i个隐神经元的输出权重向量；表示连接输入神经元和第i个隐神经元的输入权向量；ηi表示第i个隐神经元的阈值；οt表示时间t的SLFNs的输出值；ωi·ut表示ωi和ut的内积，G(·)是隐神经元的激活函数；
S12：利用单隐层前馈网络SLFNs逼近Hammerstein-Wiener模型的静态非线性单元，具体表示为：
其中，||·||是Frobenius范数，故存在ωi,ηi和βi，因此有：
将(3)表示为矩阵方程的形式，具体为：
H·β＝Y； (3)
其中：
其中：H为SLFNs的隐层输出矩阵，H的第i列是输入数据u1,u2,...,uN的第i个隐神经元输出，H的第j行是输入数据uj的隐层的输出向量；在ELM的SLFNs训练算法中，独立于训练数据随机生成输入权值ωi和隐层阈值ηi；选择激活函数，通过最小二乘确定输出权值，具体表示为：
其中，表示矩阵H的Moore–Penrose广义逆矩阵。
3.根据权利要求2所述的集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法，其特征在于：所述步骤S2包括以下步骤：
S21：对基于ELM的Hammerstein-Wiener模型进行数学描述，具体为：基于ELM的Hammerstein-Wiener模型由两个独立的SLFNs和一个线性子系统组成，设参数u(t)和y(t)分别表示模型输入信号和输出测量值；L1和L2表示相应的隐藏层节点的数目；w(t)和v(t)是基于ELM的SLFNs相对于u(t)和y(t)的对应输出，具体表述为：
其中：βσ,β′δ是连接相应隐神经元和输出神经元的输出权重；ωσ,ω′δ是连接对应隐神经元和输入神经元的输入权重；ησ,η′δ是对应隐神经元的阈值；G1(·),G2(·)是隐神经元的激活函数；
现有单输入单输出的Hammerstein-Wiener模型描述为：
其中，和为需要识别的回归参数；u(t)∈R和y(t)∈R分别表示系统的输入和输出，η(t)∈R表示被测系统的噪声，h(·):R→R和g(·):R→R是非线性函数，na和nb代表线性子系统的阶数；
因此，将(7)式和(8)式带入(9)式中，得到：
其中，ω′δ,ωσ,η′δ,ησ为随机生成的参数；ai,bj,β′δ,βσ是需要识别的参数；
S22：利用lipschitz商准则对基于ELM的Hammerstein-Wiener模型的线性子系统结构进行估计，确定模型阶数，具体为：
将(10)式用一般的非线性NARX模型编写，得到：
y＝f(X)＝f(x1,x2,...,xn)； (11)
其中，f是一个非线性连续函数，n是输入变量(n＝na+nb+1)的个数；X＝[x1,x2,...,xn]T表示输入信号；将lipschitz商qi,j定义为：
其中，|X(i)-X(j)|表示输入区域中两点X(i)和X(j)的距离；|y(i)-y(j)|表示f(X(i))和f(X(j))的差；将方程(12)进行扩展，得到：
式中，中的上标n表示方程(11)中的输入变量的数目；为避免多余的输入变量，计算确认模型的最优阶数，具体表示为：
其中，q(n)(k)是中k-最大lipschitz商，参数p是一个正数，通常选择为p＝0.01～0.02N，因此确定模型阶数na和nb，从而确定模型线性子系统的结构。
4.根据权利要求3所述的集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法，其特征在于：所述步骤S3包括以下步骤：
S31：对(10)式表示的模型转化为线性回归形式，具体为：
其中：
其中，表示广义数据向量；θ表示需要识别的参数向量；
S32：计算广义数据向量利用Sigmoid函数进行选择，具体为：
G(ω,η,x)＝1/(1+exp(-ω·x+η))； (18)
其中，G1(·),G2(·)是隐藏神经元的激活函数；将(15)式转化为矩阵形式，为：
Y＝Φθ； (19)
其中，Y＝[y(c+1),y(c+2),...,y(c+N)]T(c＝max(na,nb))是输出向量，Φ是回归矩阵，表示为：
因此，(19)式的唯一的最小范数最小二乘解为：
其中，表示矩阵Φ的Moore–Penrose广义逆矩阵，因此，根据式(21)得到参数向量完成参数识别。
5.根据权利要求4所述的集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法，其特征在于：所述步骤S4具体利用Rademacher复杂度进行分析并得到模型的泛化界。
6.根据权利要求5所述的集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法，其特征在于：所述步骤S4具体包括以下步骤：
S41：定义损失函数和l≤B，并假定对于任何δ∈(0,1)，在长度为m的测试样本上至少有1-δ概率，对于满足：
其中，是用l表示的的期望误差；是用l表示的经验误差；Rm(H)是H的Rademacher复杂度；
S42：假设和参数向量和||βk||≤Qk,定义损失函数和l≤B，对于任意ξ∈(0,1)，对于m个测试样本，具有至少1-ξ的概率，对于满足：
S43：假设π1,...,πm是独立的一致随机变量，变化在-1到1之间，根据Rademacher复杂度的定义，经验Rademacher复杂度的形式表示为：
将(15)式代入式(24)中，表示为：
由于是有界的，故有：
因此Rademacher复杂度Rm(H)表示为：
结合式(22)和式(27)，对于任意ξ∈(0,1)，在m个测试样本上，概率至少为1-ξ，满足：
由于式(28)右边的最后两项为常数，因此用式(28)作为估计模型的泛化界。
CN201910537272.8A 2019-06-20 2019-06-20 集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法 Pending CN110363285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910537272.8A CN110363285A (zh) 2019-06-20 2019-06-20 集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910537272.8A CN110363285A (zh) 2019-06-20 2019-06-20 集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法

Publications (1)

Publication Number Publication Date
CN110363285A true CN110363285A (zh) 2019-10-22

Family

ID=68216478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910537272.8A Pending CN110363285A (zh) 2019-06-20 2019-06-20 集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法

Country Status (1)

Country Link
CN (1) CN110363285A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598461A (zh) * 2020-05-19 2020-08-28 北京海致星图科技有限公司 一种基于企业知识图谱实时的风险泛化与传导分析方法
CN112016241A (zh) * 2020-07-23 2020-12-01 武汉数字化设计与制造创新中心有限公司 一种基于mLASSO-MLP模型的软测量建模方法
CN112363060A (zh) * 2020-11-11 2021-02-12 集美大学 固体氧化物燃料电池电压预测方法、终端设备及存储介质
CN112560337A (zh) * 2020-12-10 2021-03-26 东北大学 复杂工业过程数字孪生系统智能建模方法、装置、设备及存储介质
CN113050710A (zh) * 2021-03-22 2021-06-29 江苏理工学院 Hammerstein非线性动态系统的建模及其连续搅拌反应器浓度控制

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598461A (zh) * 2020-05-19 2020-08-28 北京海致星图科技有限公司 一种基于企业知识图谱实时的风险泛化与传导分析方法
CN111598461B (zh) * 2020-05-19 2022-01-25 北京海致星图科技有限公司 一种基于企业知识图谱实时的风险泛化与传导分析方法
CN112016241A (zh) * 2020-07-23 2020-12-01 武汉数字化设计与制造创新中心有限公司 一种基于mLASSO-MLP模型的软测量建模方法
CN112016241B (zh) * 2020-07-23 2023-09-29 武汉数字化设计与制造创新中心有限公司 一种基于mLASSO-MLP模型的软测量建模方法
CN112363060A (zh) * 2020-11-11 2021-02-12 集美大学 固体氧化物燃料电池电压预测方法、终端设备及存储介质
CN112363060B (zh) * 2020-11-11 2024-05-03 集美大学 固体氧化物燃料电池电压预测方法、终端设备及存储介质
CN112560337A (zh) * 2020-12-10 2021-03-26 东北大学 复杂工业过程数字孪生系统智能建模方法、装置、设备及存储介质
CN112560337B (zh) * 2020-12-10 2023-12-01 东北大学 复杂工业过程数字孪生系统智能建模方法、装置、设备及存储介质
CN113050710A (zh) * 2021-03-22 2021-06-29 江苏理工学院 Hammerstein非线性动态系统的建模及其连续搅拌反应器浓度控制

Similar Documents

Publication Publication Date Title
CN110363285A (zh) 集成超限学习机和Hammerstein-Wiener的复杂非线性系统建模方法
Xu et al. A novel extreme learning machine-based Hammerstein-Wiener model for complex nonlinear industrial processes
Amari et al. Asymptotic statistical theory of overtraining and cross-validation
Ebadzadeh et al. IC-FNN: a novel fuzzy neural network with interpretable, intuitive, and correlated-contours fuzzy rules for function approximation
Han et al. Adaptive computation algorithm for RBF neural network
Ding et al. Dissipativity analysis for stochastic memristive neural networks with time-varying delays: a discrete-time case
Patra et al. Nonlinear dynamic system identification using Legendre neural network
Lu et al. A hybrid-adaptive dynamic programming approach for the model-free control of nonlinear switched systems
Otto et al. A new learning algorithm for a forecasting neuro-fuzzy network
Han et al. A direct self-constructing neural controller design for a class of nonlinear systems
Lin Wavelet neural networks with a hybrid learning approach
Tucci et al. Adaptive FIR neural model for centroid learning in self-organizing maps
Srivastava et al. Data mining for features using scale-sensitive gated experts
Abiyev Time series prediction using fuzzy wavelet neural network model
Bartecki Neural network-based PCA: An application to approximation of a distributed parameter system
Awad Chaotic Time series Prediction using Wavelet Neural Network.
Song et al. Stable training method for echo state networks with output feedbacks
Prüher et al. Gaussian process based recursive system identification
Liu et al. Echo state networks with double-reservoir for time-series prediction
Cui et al. KPCA‐ESN Soft‐Sensor Model of Polymerization Process Optimized by Biogeography‐Based Optimization Algorithm
Chen et al. Recurrent fuzzy system design using mutation-aided elite continuous ant colony optimization
Song et al. Extreme learning machine under minimum information divergence criterion
Finn et al. Nonlinear Gain Approximation Structure Using Manifold Learning on a Vertical Manipulator
Soltani et al. Takagi-Sugeno fuzzy model parameters identification based on fuzzy c-regression model clustering algorithm and particle swarm optimization
Ferna et al. Forecasting using K-means clustering and RNN methods with PCA feature selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191022