CN115048800A - 一种基于绝对角度停止准则的最小角回归稀疏辨识方法 - Google Patents

一种基于绝对角度停止准则的最小角回归稀疏辨识方法 Download PDF

Info

Publication number
CN115048800A
CN115048800A CN202210749961.7A CN202210749961A CN115048800A CN 115048800 A CN115048800 A CN 115048800A CN 202210749961 A CN202210749961 A CN 202210749961A CN 115048800 A CN115048800 A CN 115048800A
Authority
CN
China
Prior art keywords
output
model
vector
information matrix
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210749961.7A
Other languages
English (en)
Inventor
刘艳君
范晋翔
刘欣裕
刘维维
丁锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202210749961.7A priority Critical patent/CN115048800A/zh
Publication of CN115048800A publication Critical patent/CN115048800A/zh
Priority to CN202310721427.XA priority patent/CN116680539A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/27—Regression, e.g. linear or logistic regression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Feedback Control In General (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于绝对角度停止准则的最小角回归稀疏辨识方法、装置、设备以及计算机可读存储介质，包括：系统输入输出关系的稀疏参数辨识模型；采集系统的输入输出数据，并基于辨识模型构造信息矩阵和输出向量；计算输出向量与信息矩阵中所有模型项所夹锐角的标准差；利用最小角回归算法对信息矩阵中的模型项进行逐步筛选，形成有效集并计算残差，计算有效集对应模型项与残差的夹角，直至夹角和标准差满足绝对角度停止准则，输出最终子信息矩阵；基于最终子信息矩阵计算稀疏参数向量估计值，本发明引入绝对角度停止准则作为评价，并且每次迭代都将夹角与标准差进行比较，简化了迭代计算的过程，提高了求解速度。

Description

一种基于绝对角度停止准则的最小角回归稀疏辨识方法
技术领域
本发明涉及工业过程系统辨识建模领域，特别是涉及一种基于绝对角度停止准则的最小角回归稀疏辨识方法、装置、设备以及计算机可读存储介质。
背景技术
在对工业过程进行辨识建模时，首要的任务是选择合适的模型类型，将其转化为具有稀疏参数向量的线性或伪线性回归模型，再估计其参数和阶次、时滞等结构信息。常见的稀疏系统参数估计方法有正交匹配追踪(orthogonal matching pursuit,OMP)算法及其转化形式的贪婪算法，基追踪降噪(basis pursuit de noising,BPDN)算法和套索(LeastAbsolute Shrinkage and Selection Operator,LASSO)算法等凸优化算法，以及前向选择(Forward Selection,FS)算法和最小角回归(Least Angle Regression,LAR)算法等机器学习和统计学中的回归分析方法。但上述算法在求解问题时，往往需要参数向量稀疏度已知，或者不断调整地超参数，才能得到有效的结果。模型结构的估计通常由赤池信息准则(Akaike Information Criterion,AIC)、贝叶斯信息准则(Schwarz'BayesianInformation Criterion,BIC)和马洛斯Cp准则(Mallows Cp Crietrion)等经典的模型选择准则获得。这些准则虽然能够克服需要参数向量稀疏度已知的缺陷，但所需的计算量较大，且会占用较多空间，计算过慢。
综上所述可以看出，如何简化模型计算过程，并且预测估计结构准确是目前有待解决的问题。
发明内容
本发明的目的是提供一种基于绝对角度停止准则的最小角回归稀疏辨识方法、装置、设备以及计算机可读存储介质，解决了现有技术中虽克服参数向量稀疏度已知的缺陷，但计算量较大，导致计算过慢的问题。
为解决上述技术问题，本发明提供一种基于绝对角度停止准则的最小角回归稀疏辨识方法包括：
建立系统输入输出关系的稀疏参数辨识模型；
采集系统的输入输出数据，并基于所述辨识模型构造信息矩阵和输出向量；
计算所述输出向量与所述信息矩阵中所有模型项所夹锐角的标准差；
利用最小角回归算法对所述信息矩阵中的模型项进行逐步筛选，每次迭代选取所有模型项中与上一次迭代后输出残差向量的绝对相关性最大的目标模型项并入子信息矩阵，更新预测输出及输出残差向量，根据所有模型项与更新后的输出残差向量的最大绝对相关性，计算目标模型项与更新后的输出残差向量的夹角，并判断π/2与所述夹角的差值是否小于等于所述标准差，若小于等于，则将当前子信息矩阵作为最终子信息矩阵输出；
基于所述最终子信息矩阵计算稀疏参数向量估计。
优选地，所述建立系统输入输出关系的稀疏参数辨识模型包括：
建立系统输入输出关系的稀疏参数辨识模型，其模型为：
Figure BDA0003720825870000021
Figure BDA0003720825870000022
其中
Figure BDA0003720825870000023
Figure BDA0003720825870000024
x(t)＝[y(t-1)，…，y(t-na)，u(t-1)，…，u(t-nb)]T
Figure BDA0003720825870000025
其中，u(t)为系统输入，y(t)为系统输出，x(t)为非线性自变量，
Figure BDA0003720825870000026
为离散时间t之前的输入和输出的线性或非线性乘积，v(t)为零均值白噪声，
Figure BDA0003720825870000027
为已知参数，t为离散时间，T为向量或矩阵的转置，y(t-j)为输出自回归项，j＝1,2,…,na，u(t-q)为输入自回归项，q＝1，2，…，nb，na为输出自回归阶次，nb为输入线性阶次，P为参数向量θ的维数。
优选地，所述采集系统的输入输出数据，并基于所述辨识模型构造信息矩阵和输出向量包括：
所述信息矩阵Φ和所述输出向量y为：
y＝[y(1)，y(2)，…y(N)]T∈RN
Φ＝[φ1，φ2…φP]∈RN×P
V＝[v(1)，v(2)，…v(N)]T
y＝Φθ+V
其中，y为输出向量，Φ为信息矩阵，Φ中的各列φi称为模型项，i＝1，2，…，P，V为噪声向量，P为总的参数数量，N为数据量，T为转置。
优选地，所述采集系统的输入输出数据，并基于所述辨识模型构造信息矩阵和输出向量后包括：
将所述信息矩阵进行标准化处理，将所述输出向量进行中心化处理。
优选地，所述计算所述输出向量与所述信息矩阵中所有模型项所夹锐角的标准差包括：
计算系统输出向量y与所有模型项所夹锐角的标准差，其公式为：
Figure BDA0003720825870000031
其中，
Figure BDA0003720825870000032
为系统输出向量与所有模型项所夹锐角的均值，C0为初始的最大绝对相关性，e0为初始的输出残差向量，P为总的参数数量。
优选地，所述利用最小角回归算法对所述信息矩阵中的模型项进行逐步筛选包括：
S61：定义
Figure BDA0003720825870000033
为算法在第k次迭代后的预测输出，
Figure BDA0003720825870000034
为第k次迭代后的输出残差向量，集合Λk为迭代过程中选中的模型项的索引集，称为有效集，集合Ik为未被选中的模型项的索引集，称为无效集，即
Figure BDA0003720825870000036
I0＝{1，2，…，P}；定义模型项φi与第k次迭代后的残差向量的相关性为
Figure BDA0003720825870000041
i∈{1,2,…,P}，
Figure BDA0003720825870000042
第k次迭代选中的目标模型项的索引为λk，
Figure BDA0003720825870000043
为第k次迭代选中的目标模型项，子信息矩阵
Figure BDA0003720825870000044
S62:初始化
Figure BDA0003720825870000045
e0＝y，Φ0＝[ ]，
Figure BDA0003720825870000046
I0＝{1,2,…,P}，k＝1；
S63：计算第k-1次迭代后输出残差向量：
Figure BDA0003720825870000047
S64：计算所有模型项和第k-1次迭代后输出残差向量的相关性：
Figure BDA0003720825870000048
S65：确定所有模型项与第k-1次迭代后输出残差向量的最大绝对相关性：
Figure BDA0003720825870000049
S66：基于所述最大绝对相关性计算目标模型项的索引λk：
Figure BDA00037208258700000410
S67：根据目标模型项的索引λk更新有效集Λk和无效集Ik，并将目标模型项并入子信息矩阵：
Λk＝Λk-1∪{λk}；
Ik＝Ik-1\{λk}；
Figure BDA00037208258700000417
S68：根据最大绝对相关性和所有目标模型项的索引λj计算得到相关性符号：
Figure BDA00037208258700000411
j＝1,2,…,k；
S69：根据所述相关性符号计算修正子信息矩阵
Figure BDA00037208258700000412
Figure BDA00037208258700000413
并计算单位角平分线向量vk＝Φ′kwk；
其中
Figure BDA00037208258700000414
为线性组合系数向量，
Figure BDA00037208258700000415
为修正子信息矩阵中各列和角平分线向量vk的内积，
Figure BDA00037208258700000416
为修正子信息矩阵的Gram矩阵；
S610：计算步长：
Figure BDA0003720825870000051
其中，zk,i为模型项和角平分线向量的内积；
S611：根据单位角平分线向量和步长更新预测输出：
Figure BDA0003720825870000052
Figure BDA0003720825870000053
S612：计算第k次输出残差向量
Figure BDA0003720825870000054
计算所有模型项和第k次迭代后输出残差向量的相关性
Figure BDA0003720825870000055
确定所有模型项与第k次迭代后输出残差向量的最大绝对相关性：
Figure BDA0003720825870000056
S613：计算在第k次迭代时选中的目标模型项φk与残差向量ek的夹角
Figure BDA0003720825870000057
S614：判断
Figure BDA0003720825870000058
或k＝P是否成立；
S615：若
Figure BDA0003720825870000059
或k＝P中任意一项成立，则输出子信息矩阵Φk；
S616：若
Figure BDA00037208258700000510
或k＝P均不成立，则令k＝k+1，返回步骤S63。
优选地，所述基于所述最终子信息矩阵计算稀疏参数向量估计包括：
利用最小二乘法计算得到估计参数向量
Figure BDA00037208258700000511
即
Figure BDA00037208258700000512
定义滤波参数ζ，将所述估计参数向量
Figure BDA00037208258700000513
进行滤波；
根据所述有效集Λk将所述估计参数向量
Figure BDA00037208258700000514
还原至P维，得到所述稀疏参数向量估计
Figure BDA00037208258700000515
本发明还提供了一种基于绝对角度停止准则的最小角回归稀疏辨识的装置，包括：
构建模型模块，用于建立系统输入输出关系的稀疏参数辨识模型；
构建信息模块，用于采集系统的输入输出数据，并基于所述辨识模型构造信息矩阵和输出向量；
计算标准差模块，用于计算所述输出向量与所述信息矩阵中所有模型项所夹锐角的标准差；
预测估计模块，用于利用最小角回归算法对所述信息矩阵中的模型项进行逐步筛选，每次迭代选取所有模型项中与上一次迭代后输出残差向量的绝对相关性最大的目标模型项并入子信息矩阵，更新预测输出及输出残差向量，根据所有模型项与更新后的输出残差向量的最大绝对相关性，计算目标模型项与更新后的输出残差向量的夹角，并判断π/2与所述夹角的差值是否小于等于所述标准差，若小于等于，则将当前子信息矩阵作为最终子信息矩阵输出；
计算估计模块，用于基于所述最终子信息矩阵计算稀疏参数向量估计。
本发明还提供了一种基于绝对角度停止准则的最小角回归稀疏辨识的设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于绝对角度停止准则的最小角回归稀疏辨识方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于绝对角度停止准则的最小角回归稀疏辨识方法的步骤。
本发明所提供的一种基于绝对角度停止准则的最小角回归稀疏辨识方法，首先建立辨识系统模型，根据辨识系统模型建立稀疏参数的回归模型，并将稀疏参数的回归模型转化为辨识模型，然后采集系统的输入输出数据，构建信息矩阵和输出向量；计算输出向量和信息矩阵中所有模型项所夹锐角的标准差作为评价标准，利用最小角回归算法对所述信息矩阵中的模型项进行逐步筛选，选取目标模型项并入子信息矩阵中，计算目标模型项与残差的夹角，基于所述标准差与夹角构建绝对角度停止准则，直至满足绝对角度停止准则，得到最终子信息矩阵，最后计算稀疏参数向量估计；本发明不需要知道参数向量的稀疏度，首先构建系统输入输出的稀疏参数回归模型，采集系统的输入输出数据，构造输出向量和信息矩阵，计算输出向量和所有模型项所夹锐角的标准差，然后利用最小角回归算法进行迭代计算，选取目标模型项并入子信息矩阵中，计算目标模型项与输出残差向量的夹角，并判断每一次迭代的夹角与标准差是否满足绝对角度停止准则，最后求解稀疏参数向量，无需参数向量的稀疏度已知；满足绝对角度停止准则时即停止迭代，无需额外迭代，计算量也较低。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于绝对角度停止准则的最小角回归稀疏辨识方法的第一种具体实施例的流程图；
图2为本发明所提供的基于绝对角度停止准则的最小角回归稀疏辨识方法的第二种具体实施例的流程图；
图3为本发明所述实施例中所辨识的Hammerstein模型结构框图；
图4是使用不同模型选择准则的LAR算法在不同数据量下的训练输出误差比较图；
图5是使用不同模型选择准则的LAR算法在不同数据量下的测试输出误差比较图；
图6是AS-LAR算法、LASSO算法、AIC-OMP算法、AIC-FS算法在不同数据量下的参数估计误差和测试输出误差比较图；
图7为本发明实施例提供的一种基于绝对角度停止准则的最小角回归稀疏辨识的装置的结构框图。
具体实施方式
本发明的核心是提供一种基于绝对角度停止准则的最小角回归稀疏辨识方法，将系统输出向量与模型项的标准差作为评价标准，并且每次迭代后计算模型项与残差的夹角，使模型计算根据便捷，更加准确。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的基于绝对角度停止准则的最小角回归稀疏辨识方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S101：建立系统输入输出关系的稀疏参数辨识模型；
步骤S102：采集系统的输入输出数据，并基于辨识模型构造信息矩阵和输出向量；
步骤S103：计算输出向量与信息矩阵中所有模型项的标准差；
基于所述绝对角度停止准则计算系统输出向量y与所有模型项所夹锐角的标准差
Figure BDA0003720825870000081
其中，
Figure BDA0003720825870000082
为系统输出向量与所有模型项所夹锐角的均值。
步骤S104：利用最小角回归算法对信息矩阵中的模型项进行逐步筛选，选取目标模型项并入子信息矩阵中，更新输出残差向量，计算目标模型项与更新后的输出残差向量的夹角，判断判断π/2与夹角的差值是否小于等于标准差，若小于等于，则将当前子信息矩阵作为最终子信息矩阵输出；
S1：定义
Figure BDA0003720825870000083
为算法在第k次迭代后的预测输出，
Figure BDA0003720825870000084
为第k次迭代后的输出残差向量，集合Λk为迭代过程中选中的模型项的索引集，称为有效集，集合Ik为未被选中的模型项的索引集，称为无效集，即
Figure BDA0003720825870000091
I0＝{1,2,…,P}；定义模型项φi与第k次迭代后的残差向量的相关性为
Figure BDA0003720825870000092
i∈{1,2,…,P}，
Figure BDA0003720825870000093
第k次迭代选中的目标模型项的索引为λk，
Figure BDA0003720825870000094
为第k次迭代选中的目标模型项，子信息矩阵
Figure BDA0003720825870000095
S2:初始化
Figure BDA0003720825870000096
e0＝y，Φ0＝[ ]，
Figure BDA0003720825870000097
I0＝{1,2,…,P}，k＝1；
S3：计算第k-1次迭代后输出残差向量：
Figure BDA0003720825870000098
S4：计算所有模型项和第k-1次迭代后输出残差向量的相关性：
Figure BDA0003720825870000099
S5：确定所有模型项与第k-1次迭代后输出残差向量的最大绝对相关性：
Figure BDA00037208258700000910
S6：基于所述最大绝对相关性计算模型项的索引λk：
Figure BDA00037208258700000911
S7：根据目标模型项的索引λk有效集Λk和无效集Ik，并将目标模型项并入子信息矩阵：
Λk＝Λk-1∪{λk}；
Ik＝Ik-1\{λk}；
Figure BDA00037208258700000915
S8：根据最大绝对相关性和所有模型项的索引λj计算得到相关性符号：
Figure BDA00037208258700000912
j＝1,2,…,k；
S9：根据所述相关性符号计算修正子信息矩阵
Figure BDA00037208258700000913
Figure BDA00037208258700000914
并计算单位角平分线向量vk＝Φ′kwk；
其中
Figure BDA0003720825870000101
为线性组合系数向量，
Figure BDA0003720825870000102
为修正子信息矩阵中各列和角平分线向量vk的内积，
Figure BDA0003720825870000103
为修正子信息矩阵的Gram矩阵；
S10：计算步长：
Figure BDA0003720825870000104
其中，zk,i为模型项和角平分线向量的内积；
S11：根据单位角平分线向量和步长更新预测输出：
Figure BDA0003720825870000105
Figure BDA0003720825870000106
S12：计算第k次输出残差向量
Figure BDA0003720825870000107
计算所有模型项和第k次迭代后输出残差向量的相关性
Figure BDA0003720825870000108
确定所有模型项与第k次迭代后输出残差向量的最大绝对相关性：
Figure BDA0003720825870000109
S13：计算在第k次迭代时选中的模型项φk与残差向量ek的夹角
Figure BDA00037208258700001010
S14：判断
Figure BDA00037208258700001011
或k＝P是否成立；
S15：若
Figure BDA00037208258700001012
或k＝P中任意一项成立，则输出子信息矩阵Φk；
S16：若
Figure BDA00037208258700001013
或k＝P均不成立，则令k＝k+1，返回步骤S3。
步骤S105：基于最终子信息矩阵计算稀疏参数向量估计。
利用最小二乘法计算得到估计参数向量
Figure BDA00037208258700001014
即
Figure BDA00037208258700001015
定义滤波参数ζ，将所述估计参数向量
Figure BDA00037208258700001016
进行滤波；
根据所述有效集Λk将所述估计参数向量
Figure BDA00037208258700001017
还原至P维，得到稀疏参数向量
Figure BDA00037208258700001018
在本实施例中，建立稀疏参数的回归模型，并将回归模型转化为辨识模型，然后采集系统的输入输出数据，基于辨识模型构建信息矩阵和输出向量，计算输出向量和信息矩阵中所有模型项的标准差，利用最小角回归算法对所述信息矩阵中的模型进行迭代计算，将目标模型项并入子信息矩阵，每次迭代计算目标模型项与残差向量的夹角，根据标准差与夹角构建绝对角度停止准则
Figure BDA0003720825870000111
当满足绝对角度停止准则时，停止迭代，输出最终子信息矩阵，利用最小二乘法计算出估计参数向量，然后进行滤波转化处理，最后得到系数参数向量。不需要知道参数向量的稀疏度，首先计算信息矩阵所夹锐角与输出向量的标准差，并计算每次迭代的夹角，利用标准差与夹角制定的绝对角度停止准则作为迭代评价标准，不需要一直迭代直至达到预设的迭代次数，然后根据最佳的子信息矩阵计算稀疏参数向量估计值，提高了计算的精确度，简化了计算过程，并非需要大量的迭代过程。
基于上述实施例，本实施例对具有未知时滞的Hammerstein模型的辨识过程进行详细描述，请参考图2和图3，图2为本发明所提供的基于绝对角度停止准则的最小角回归稀疏辨识方法的第二种具体实施例的流程图，图3是本发明所述实施例中所辨识的Hammerstein模型结构框图，具体详情如下：
步骤S201：构建Hammerstein模型的稀疏参数的回归模型，并转化为辨识模型；
Hammerstein非线性模型，其非线性部分模型为
Figure BDA0003720825870000112
其中，u(t)为系统输入，f(·)为非线性函数，hj为待辨识非线性系统参数，m为待辨识非线性阶次，不失一般性，令h1＝1；
在本实施例中考虑如下非线性形式
Figure BDA0003720825870000121
其中，uj(t)表示输入u在离散时间t的j次方。
其线性部分模型为
y(t)＝x(t)+w(t)
Figure BDA0003720825870000122
Figure BDA0003720825870000123
式中G(z)为线性部分的脉冲传递函数，d为时滞，N(z)为噪声成型滤波器，v(t)为零均值白噪声，y(t)为系统输出。A(z)和B(z)为单位后移算子z-1的常系数多项式(z-1y(t)＝y(t-1))，即
Figure BDA0003720825870000124
Figure BDA0003720825870000125
综上，系统模型可表示为下列伪线性回归形式
Figure BDA0003720825870000126
引入最大非线性阶次长度p，p≥m，以及最大输入数据回归长度l，l≥d+nb，建立系统的稀疏参数辨识模型
Figure BDA0003720825870000127
其中
Figure BDA0003720825870000131
Figure BDA0003720825870000132
其中，y(t)为系统输出，u(t)为系统输入，hj为待辨识非线性系统参数，b待辨识线性系统参数向量，v(t)为零均值白噪声，t为离散时间，d为时滞，m为待辨识非线性阶次，0n为含有n个零元素的行向量，符号T表示向量或矩阵的转置，-y(t-i)为输出自回归项，i＝1，2，…，na，u(t-q)为输入自回归项，q＝1，2，…，nb，na为输出自回归阶次，nb为输入线性阶次，ai为输出自回归参数。
步骤S202：收集输入输出数据，构造输出向量y和信息矩阵Φ；
y＝[y(1)，y(2)，…y(N)]T∈RN
Φ＝[φ1，φ2…φP]∈RN×P
V＝[v(1)，v(2)，…v(N)]T
y＝Φθ+V
其中，y为输出向量，Φ为信息矩阵，Φ中的各列φi称为模型项，i＝1，2，…，P，V为噪声向量，P为总的参数数量，P为数据量，T为转置。
步骤S203：将所述信息矩阵进行标准化处理，将所述输出向量进行中心化处理；
对信息矩阵Φ的各列进行标准化处理，使其各列的l2范数为1，均值为0；对输出向量y进行中心化处理，使其均值为0。
步骤S204：计算所述输出向量与所述信息矩阵中所有模型项的标准差；
步骤S205：利用最小角回归算法对所述信息矩阵中的模型项进行逐步筛选，选取目标模型项并入子信息矩阵中，更新输出残差向量；
步骤S206：计算每次迭代目标模型项与输出残差向量的夹角；
步骤S207：判断夹角与标准差是否满足绝对角度停止准则或迭代次数达到上限，若满足，则输出最终子信息矩阵，若不满足，则继续筛选；
步骤S208：利用最小二乘法计算得到稀疏参数向量估计值。
将本发明与现有技术中的算法模型进行对比：
仿真实验：
1、仿真条件与参数设置
设系统模型为
Figure BDA0003720825870000141
A(z)＝1-1.600z-1+0.800z-2,
B(z)＝0.850z-1+0.650z-2+1.250z-3,
Figure BDA0003720825870000142
其中输入通道的时滞为d＝9，取数据回归长度l＝20，最大非线性阶次p＝10，真实的稀疏参数向量为
Figure BDA0003720825870000143
其中P＝na+lp＝202，参数向量稀疏度为K＝na+nbm＝11。
仿真时输入u(t)采用零均值单位方差不相关可测随机信号，v(t)采用方差为σ2的零均值白噪声，滤波阈值取ζ＝0.05。
2、仿真结果
2.1不同模型选择准则的性能比较
当噪声方差取σ2＝0.12时，分别将使用AASC、GSC、AIC、BIC、Cp准则的LAR算法进行辨识和模型测试，在不同数据量N下，模型训练误差和测试误差如图4、图5所示，其中训练误差和测试误差用均方误差(MSE)表示，其表达式为
Figure BDA0003720825870000144
在图3和图4中，AIC-LAR、BIC-LAR、Cp-LAR在数据量为N＝200时无数据，表示无法得稀疏参数向量的有效估计结构；而本发明和G-LAR则能够在这一数据量下得到有效的估计。并且由图4和图5可知，使用本发明提供的本发明算法在所有使用其他准则的LAR算法中测试和训练输出误差均最小，这表明使用本发明算法得到的模型最接近真实模型。
2.2不同算法的性能比较
当噪声方差为σ2＝0.22，数据量分别为100，200，300，400，500时，在其他条件均相同的情况下，将本发明算法与LASSO，以及使用AIC、BIC或Cp的OMP、FS算法各随机运行10次，观察各算法有效辨识出参数向量稀疏结构的次数，结果如表1所示。由表1可知，当数据量N小于稀疏向量的长度P时，仅本发明和LASSO能够足够有效地辨识出稀疏向量的结构，而本发明提供算法本发明的表现更优于经过调节超参数的LASSO。当数据量N大于P时，本发明、AIC-FS、AIC-OMP、LASSO均逐渐能够以较高概率有效地辨识出稀疏向量的结构。
表1不同算法在不同数据量下的稀疏结构辨识结果
Figure BDA0003720825870000151
数据量N≥300，噪声方差σ2＝0.22时，比较本发明、LASSO、AIC-OMP和AIC-FS在辨识中的参数估计误差和测试输出误差如图6所示，其中定义参数估计相对误差为
Figure BDA0003720825870000161
由图6可知，本发明和AIC-OMP、AIC-FS算法的辨识结果几乎相同，均优于LASSO。
数据量N＝500，噪声方差σ2＝0.22时，本发明、LASSO、AIC-OMP和AIC-FS的运行时间如表2所示。由表2可知，在运行时间上，本发明算法耗时最短，其次是LASSO，AIC-FS和AIC-OMP算法的耗时最长。
表2各算法在N＝500，σ2＝0.22时的运行时间
Figure BDA0003720825870000162
显然，本申请算法在辨识精度和计算速度上的综合表现最优。
在本实施例中，通过对具有未知时滞的Hammerstein模型的辨识过程进行详细描述，首先构建回归模型，并变为辨识模型；然后采集系统的输入输出数据，构建输出向量y和信息矩阵，并进行标准化处理，然后计算系统输出与信息矩阵中所有模型项所夹锐角的标准差，然后根据利用最小角回归算法对信息矩阵中模型项进行迭代计算，并在每次迭代后，计算此次迭代所用的模型项与残差向量的夹角，将夹角与标准差作为迭代停止的判断依据，满足这个判断依据停止迭代，输出预测输出值，最后利用最小二乘法计算稀疏参数向量估计值。并且本发明与现有技术中的其他方法进行对比，从综合结果上来说，本发明不仅不需要知道参数向量的稀疏度，利用绝对角度停止准则便可实现迭代计算的过程，简化了迭代计算的过程，拟合度更好，并且在辨识精度和计算速度上都优于现有技术中的方法。
请参考图7，图7为本发明实施例提供的一种基于绝对角度停止准则的最小角回归稀疏辨识的装置的结构框图；具体装置可以包括：
构建模型模块100，用于建立系统输入输出关系的稀疏参数辨识模型；
构建信息模块200，用于采集系统的输入输出数据，并基于所述辨识模型构造信息矩阵和输出向量；
计算标准差模块300，用于计算所述输出向量与所述信息矩阵中所有模型项所夹锐角的标准差；
预测估计模块400，用于利用最小角回归算法对所述信息矩阵中的模型项进行逐步筛选，每次迭代选取所有模型项中与上一次迭代后输出残差向量的绝对相关性最大的目标模型项并入子信息矩阵，更新预测输出及输出残差向量，根据所有模型项与更新后的输出残差向量的最大绝对相关性，计算目标模型项与更新后的输出残差向量的夹角，并判断π/2与所述夹角的差值是否小于等于所述标准差，若小于等于，则将当前子信息矩阵作为最终子信息矩阵输出；
计算估计模块500，用于基于所述最终子信息矩阵计算稀疏参数向量估计。
本实施例的一种基于绝对角度停止准则的最小角回归稀疏辨识的装置用于实现前述的一种基于绝对角度停止准则的最小角回归稀疏辨识方法，因此一种基于绝对角度停止准则的最小角回归稀疏辨识的装置中的具体实施方式可见前文中的一种基于绝对角度停止准则的最小角回归稀疏辨识方法的实施例部分，例如，构建模型模块100，计算标准差模块200，计算标准差模块300，预测估计模块400，计算估计模块，分别用于实现上述一种基于绝对角度停止准则的最小角回归稀疏辨识方法中步骤S101，S102，S103，S104和S105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种基于绝对角度停止准则的最小角回归稀疏辨识的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于绝对角度停止准则的最小角回归稀疏辨识方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于绝对角度停止准则的最小角回归稀疏辨识方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种基于绝对角度停止准则的最小角回归稀疏辨识方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于绝对角度停止准则的最小角回归稀疏辨识方法，其特征在于，包括：
建立系统输入输出关系的稀疏参数辨识模型；
采集系统的输入输出数据，并基于所述辨识模型构造信息矩阵和输出向量；
计算所述输出向量与所述信息矩阵中所有模型项所夹锐角的标准差；
利用最小角回归算法对所述信息矩阵中的模型项进行逐步筛选，每次迭代选取所有模型项中与上一次迭代后输出残差向量的绝对相关性最大的目标模型项并入子信息矩阵，更新预测输出及输出残差向量，根据所有模型项与更新后的输出残差向量的最大绝对相关性，计算目标模型项与更新后的输出残差向量的夹角，并判断π/2与所述夹角的差值是否小于等于所述标准差，若小于等于，则将当前子信息矩阵作为最终子信息矩阵输出；
基于所述最终子信息矩阵计算稀疏参数向量估计。
2.如权利要求1所述的方法，其特征在于，所述建立系统输入输出关系的稀疏参数辨识模型包括：
建立系统输入输出关系的稀疏参数辨识模型，其模型为：
Figure FDA0003720825860000011
Figure FDA0003720825860000012
其中
Figure FDA0003720825860000013
Figure FDA0003720825860000014
x(t)＝[y(t-1),…,y(t-na),u(t-1),…,u(t-nb)]T
Figure FDA0003720825860000015
其中，u(t)为系统输入，y(t)为系统输出，x(t)为非线性自变量，
Figure FDA0003720825860000016
为离散时间t之前的输入和输出的线性或非线性乘积，v(t)为零均值白噪声，
Figure FDA0003720825860000021
为已知参数，t为离散时间，T为向量或矩阵的转置，y(t-j)为输出自回归项，j＝1,2,…,na，u(t-q)为输入自回归项，q＝1,2,…,nb，na为输出自回归阶次，nb为输入线性阶次，P为参数向量θ的维数。
3.如权利要求1所述的方法，其特征在于，所述采集系统的输入输出数据，并基于所述辨识模型构造信息矩阵和输出向量包括：
所述信息矩阵Φ和所述输出向量y为：
y＝[y(1),y(2),…y(N)]T∈RN
Φ＝[φ1,φ2…φP]∈RN×P
V＝[v(1),v(2),…v(N)]T
y＝Φθ+V
其中，y为输出向量，Φ为信息矩阵，Φ中的各列φi称为模型项，i＝1,2,…,P，V为噪声向量，P为总的参数数量，N为数据量，T为转置。
4.如权利要求1所述的方法，其特征在于，所述采集系统的输入输出数据，并基于所述辨识模型构造信息矩阵和输出向量后包括：
将所述信息矩阵进行标准化处理，将所述输出向量进行中心化处理。
5.如权利要求1所述的方法，其特征在于，所述计算所述输出向量与所述信息矩阵中所有模型项所夹锐角的标准差包括：
计算系统输出向量y与所有模型项所夹锐角的标准差，其公式为：
Figure FDA0003720825860000022
其中，
Figure FDA0003720825860000023
为系统输出向量与所有模型项所夹锐角的均值，C0为初始的最大绝对相关性，e0为初始的输出残差向量，P为总的参数数量。
6.如权利要求5所述的方法，其特征在于，所述利用最小角回归算法对所述信息矩阵中的模型项进行逐步筛选包括：
S61：定义
Figure FDA0003720825860000024
为算法在第k次迭代后的预测输出，
Figure FDA0003720825860000025
为第k次迭代后的输出残差向量，集合Λk为迭代过程中选中的模型项的索引集，称为有效集，集合Ik为未被选中的模型项的索引集，称为无效集，即
Figure FDA0003720825860000031
I0＝{1,2,…,P}；定义模型项φi与第k次迭代后的残差向量的相关性为
Figure FDA0003720825860000032
第k次迭代选中的目标模型项的索引为λk，
Figure FDA0003720825860000033
为第k次迭代选中的目标模型项，子信息矩阵
Figure FDA0003720825860000034
S62:初始化
Figure FDA0003720825860000035
e0＝y，Φ0＝[]，
Figure FDA0003720825860000036
I0＝{1,2,…,P}，k＝1；
S63：计算第k-1次迭代后输出残差向量：
Figure FDA0003720825860000037
S64：计算所有模型项和第k-1次迭代后输出残差向量的相关性：
Figure FDA0003720825860000038
S65：确定所有模型项与第k-1次迭代后输出残差向量的最大绝对相关性：
Figure FDA0003720825860000039
S66：基于所述最大绝对相关性计算目标模型项的索引λk：
Figure FDA00037208258600000310
S67：根据目标模型项的索引λk更新有效集Λk和无效集Ik，并将目标模型项并入子信息矩阵：
Λk＝Λk-1∪{λk}；
Ik＝Ik-1\{λk}；
Figure FDA00037208258600000313
S68：根据最大绝对相关性和所有目标模型项的索引λj计算得到相关性符号：
Figure FDA00037208258600000311
S69：根据所述相关性符号计算修正子信息矩阵
Figure FDA00037208258600000312
Figure FDA0003720825860000041
并计算单位角平分线向量vk＝Φ′kwk；
其中
Figure FDA0003720825860000042
为线性组合系数向量，
Figure FDA0003720825860000043
为修正子信息矩阵中各列和角平分线向量vk的内积，
Figure FDA0003720825860000044
为修正子信息矩阵的Gram矩阵；
S610：计算步长：
Figure FDA0003720825860000045
其中，zk,i为模型项和角平分线向量的内积；
S611：根据单位角平分线向量和步长更新预测输出：
Figure FDA0003720825860000046
Figure FDA0003720825860000047
S612：计算第k次输出残差向量
Figure FDA0003720825860000048
计算所有模型项和第k次迭代后输出残差向量的相关性
Figure FDA0003720825860000049
确定所有模型项与第k次迭代后输出残差向量的最大绝对相关性：
Figure FDA00037208258600000410
S613：计算在第k次迭代时选中的目标模型项φk与残差向量ek的夹角
Figure FDA00037208258600000411
S614：判断
Figure FDA00037208258600000412
或k＝P是否成立；
S615：若
Figure FDA00037208258600000413
或k＝P中任意一项成立，则输出子信息矩阵Φk；
S616：若
Figure FDA00037208258600000414
或k＝P均不成立，则令k＝k+1，返回步骤S63。
7.如权利要求6所述的方法，其特征在于，所述基于所述最终子信息矩阵计算稀疏参数向量估计包括：
利用最小二乘法计算得到估计参数向量
Figure FDA00037208258600000415
其计算公式为：
Figure FDA00037208258600000416
定义滤波参数ζ，将所述估计参数向量
Figure FDA0003720825860000051
进行滤波；
根据所述有效集Λk将所述估计参数向量
Figure FDA0003720825860000052
还原至P维，得到所述稀疏参数向量估计
Figure FDA0003720825860000053
8.一种基于绝对角度停止准则的最小角回归稀疏辨识的装置，其特征在于，包括：
构建模型模块，用于建立系统输入输出关系的辨识模型；
构建信息模块，用于采集系统的输入输出数据，并基于所述辨识模型构造信息矩阵和输出向量；
计算标准差模块，用于计算所述输出向量与所述信息矩阵中所有模型项所夹锐角的标准差；
预测估计模块，用于利用最小角回归算法对所述信息矩阵中的模型项进行逐步筛选，每次迭代选取所有模型项中与上一次迭代后输出残差向量的绝对相关性最大的目标模型项并入子信息矩阵，更新预测输出及输出残差向量，根据所有模型项与更新后的输出残差向量的最大绝对相关性，计算目标模型项与更新后的输出残差向量的夹角，并判断π/2与所述夹角的差值是否小于等于所述标准差，若小于等于，则将当前子信息矩阵作为最终子信息矩阵输出；
计算估计模块，用于基于所述最终子信息矩阵计算稀疏参数向量估计。
9.一种基于绝对角度停止准则的最小角回归稀疏辨识的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述一种基于绝对角度停止准则的最小角回归稀疏辨识方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种基于绝对角度停止准则的最小角回归稀疏辨识方法的步骤。
CN202210749961.7A 2022-06-29 2022-06-29 一种基于绝对角度停止准则的最小角回归稀疏辨识方法 Pending CN115048800A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210749961.7A CN115048800A (zh) 2022-06-29 2022-06-29 一种基于绝对角度停止准则的最小角回归稀疏辨识方法
CN202310721427.XA CN116680539A (zh) 2022-06-29 2023-06-16 基于绝对角度停止准则的最小角回归稀疏辨识方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210749961.7A CN115048800A (zh) 2022-06-29 2022-06-29 一种基于绝对角度停止准则的最小角回归稀疏辨识方法

Publications (1)

Publication Number Publication Date
CN115048800A true CN115048800A (zh) 2022-09-13

Family

ID=83165426

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210749961.7A Pending CN115048800A (zh) 2022-06-29 2022-06-29 一种基于绝对角度停止准则的最小角回归稀疏辨识方法
CN202310721427.XA Pending CN116680539A (zh) 2022-06-29 2023-06-16 基于绝对角度停止准则的最小角回归稀疏辨识方法及应用

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310721427.XA Pending CN116680539A (zh) 2022-06-29 2023-06-16 基于绝对角度停止准则的最小角回归稀疏辨识方法及应用

Country Status (1)

Country Link
CN (2) CN115048800A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116088307A (zh) * 2022-12-28 2023-05-09 中南大学 基于误差触发自适应稀疏辨识的多工况工业过程预测控制方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116088307A (zh) * 2022-12-28 2023-05-09 中南大学 基于误差触发自适应稀疏辨识的多工况工业过程预测控制方法、装置、设备及介质
CN116088307B (zh) * 2022-12-28 2024-01-30 中南大学 基于误差触发自适应稀疏辨识的多工况工业过程预测控制方法、装置、设备及介质

Also Published As

Publication number Publication date
CN116680539A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN108171010B (zh) 基于半监督网络嵌入模型的蛋白质复合体检测方法与装置
JPWO2005119507A1 (ja) 行列の高速高精度特異値分解方法、プログラムおよび装置
Jin et al. Auxiliary model-based interval-varying multi-innovation least squares identification for multivariable OE-like systems with scarce measurements
JP2015521748A (ja) 入力信号を変換する方法
CN110413878B (zh) 基于自适应弹性网络的用户-商品偏好的预测装置和方法
Huan et al. Efficient algorithm for training interpolation RBF networks with equally spaced nodes
WO2020168843A1 (zh) 一种基于扰动样本的模型训练方法和装置
CN115048800A (zh) 一种基于绝对角度停止准则的最小角回归稀疏辨识方法
CN117236084B (zh) 一种木工机械加工生产智能管理方法及系统
Zhang et al. Identification of continuous-time nonlinear systems: The nonlinear difference equation with moving average noise (NDEMA) framework
CN110471768B (zh) 一种基于fastPCA-ARIMA的负载预测方法
CN115167320A (zh) 工业控制系统的模型识别方法、装置、设备及存储介质
CN109785372B (zh) 基于软决策优化的基础矩阵鲁棒估计方法
Figueroa et al. An approach for identification of uncertain Wiener systems
CN110751400B (zh) 一种风险评估方法及装置
Larimore Identification of nonlinear parameter-varying systems via canonical variate analysis
Watanabe Learning efficiency of redundant neural networks in Bayesian estimation
CN110648355A (zh) 一种图像跟踪方法、系统及相关装置
Larimore et al. ADAPT-LPV software for identification of nonlinear parameter-varying systems
CN114815619A (zh) 一种量测随机丢失下基于卡尔曼滤波的机器人跟踪方法
JP2006235389A (ja) 音響モデル学習方法と音声認識方法およびそれらの方法を用いた装置
Amrane et al. On the use of ensembles of metamodels for estimation of the failure probability
CN112036088A (zh) 一种基于多新息随机梯度优化的过热汽温预测方法
JP2019061623A (ja) パラメータ推定装置、方法、及びプログラム
CN117787470A (zh) 一种基于ewt和集成方法的时序预测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220913

WD01 Invention patent application deemed withdrawn after publication