CN112327618A

CN112327618A - 贪婪正交最小二乘法及基于此方法的参数与时滞辨识方法

Info

Publication number: CN112327618A
Application number: CN202011134544.9A
Authority: CN
Inventors: 刘艳君; 韩萍; 丁少华; 张耀; 丁锋
Original assignee: Jiangnan University
Current assignee: Jiangnan University
Priority date: 2020-10-21
Filing date: 2020-10-21
Publication date: 2021-02-05
Anticipated expiration: 2040-10-21
Also published as: CN112327618B

Abstract

本发明公开了一种贪婪正交最小二乘法及基于此方法的参数与时滞辨识方法，其先用过参数化方法将辨识模型中的参数向量变为高维稀疏参数向量，再运用Householder变换简化贪婪准则和计算方式，避免矩阵求逆，将稀疏向量中非零元素的位置和数值辨识出来的稀疏辨识方法。本发明可用于在有限采样数据下对系统的时滞与参数进行联合估计，降低辨识成本，精度高。

Description

贪婪正交最小二乘法及基于此方法的参数与时滞辨识方法

技术领域

本发明涉及系统辨识领域，具体涉及一种贪婪正交最小二乘法及基于此方法的参数与时滞辨识方法。

背景技术

在工业生产过程中的许多实际系统(如热工系统，化工过程，传感网络，无线通信系统等)都含有未知时滞，而未知时滞的存在会使系统的输出不能及时响应，系统的稳定性变差，从而影响系统的控制。若系统模型已知，系统的参数辨识是对系统进行控制的前提，系统辨识、控制理论、状态估计是现代控制理论中三个密切相关的研究领域，控制理论与状态估计离不开系统的数学模型，因此，辨识是控制理论和状态估计的基础，是现代控制理论的基石，系统时滞和参数的估计是系统辨识的重要内容。

传统的辨识算法(如最小二乘类算法,牛顿迭代算法,随机梯度算法等)采用过参数化方法辨识高维模型时，扩大了含有未知时滞和参数的辨识模型中参数向量的维数且包含许多零元素，在辨识系统的时滞与参数时，不仅需要大量的采样数据，增加了辨识成本，而且在系统时滞较大时仍可能带来较大的误差，为了提高辨识效率，找到一种能够在有限的采样数据下有效辨识系统参数和时滞的方法是非常必要的。

近年来，不断涌现了一些辨识系统时滞与参数的新算法，通常用于控制系统模型阶次较低，参数化后的系统模型中仅有少量参数的情形。对于含有未知时滞的系统，若不直接考虑时滞，则参数化后的系统模型可由一高维参数向量表示，但该参数向量中仅有少量的非零参数且位置未知，这样的向量称为稀疏向量，由稀疏向量表示的系统称为稀疏系统。近年来新的辨识算法多借助于压缩感知(CS)重构技术。CS理论是研究稀疏系统的一种重要理论，能够根据低维的观测数据和测量矩阵重构未知的高维稀疏信号，在许多领域基于该理论对稀疏系统已经进行了深入的研究，然而在控制理论的研究还不多。CS理论表明：在一定条件下，稀疏系统可在采样数据量低于系统参数维数的情况下实现系统参数的估计，常用的压缩感知重构方法有凸优化方法和贪婪算法等，贪婪算法由于其性能优越且执行方便近年来获得较大发展，正交匹配追踪(OMP)算法是典型的贪婪算法，在没有噪声干扰时可以获得信号的精确重构，在OMP算法的基础上还提出了压缩采样匹配追踪(CoSaMP)、正则化正交匹配追踪(ROMP)等一系列的改进算法，此类算法存在的问题是算法中需要计算逆矩阵来求最小二乘解。

发明内容

本发明要解决的技术问题是传统辨识算法需要充足采样数据，而诸如OMP 算法等一系列近年来的贪婪算法需要计算逆矩阵,会导致计算量较大。

为了解决上述技术问题，本发明提供了一种贪婪正交最小二乘法，包括以下步骤：

S1、输入堆积信息矩阵

堆积输出向量

稀疏参数向量

的稀疏度K和采样数据长度m；

S2、定义置换矩阵p及迭代参数k，令p＝[1,2,...,n]，迭代参数k＝1；

S3、从Φ选出第j列向量，其中第j列向量符合

S4、交换堆积信息矩阵Φ的第j列向量与第k列以更新堆积信息矩阵Φ；交换置换向量p的第k列和第j列以更新置换向量p；

S5、计算Householder矩阵H_k，其中所述矩阵H_k能够将S4中Φ中第k列向量的第k个元素以下的元素都化成零；

S6、对堆积信息矩阵Φ和堆积输出向量Y进行householder变换以更新Φ和 Y；

S7、判断k值，若k小于预设值K，则令k＝k+1，重复S3-S6，直至k达到预设值K时，则停止迭代并进入下一步；

S8、根据更新后的堆积信息矩阵Φ、堆积输出向量Y和置换矩阵p，恢复稀疏参数向量估计值

作为优选的，所述S8包括以下步骤：

S81、求解Φ(1:K,1:K)θ_K＝Y(1:K)得到θ_K，其中，θ_K为稀疏参数向量θ的非零元素组成的向量；

S82、根据置换向量p恢复出稀疏参数向量估计值

作为优选的，所述Φ(1:K,1:K)为上三角矩阵。

作为优选的，在Φ(1:K,1:K)θ_K＝Y(1:K)求解时使用回代法以避免对矩阵求逆。

作为优选的，所述S6具体包括：Φ←H_kΦ，Y←H_kY。

本发明公开了一种参数与时滞辨识方法，基于上述的贪婪正交最小二乘法。

作为优选的，包括以下步骤：

步骤一、采集辨识系统的输入输出数据；

步骤二、根据步骤一中采集的输入输出数据建立辨识模型，过参数化后得到稀疏参数向量；

步骤三、利用贪婪正交最小二乘法辨识辨识系统的时滞与参数。

本发明公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述方法的步骤。

本发明公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

本发明公开了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的方法。

本发明的有益效果：

1、本发明通过采集待辨识系统的输入输出数据，建立辨识模型，采用过参数化方法，将辨识模型中的参数向量变为高维稀疏参数向量，然后利用一定的贪婪准则和计算方式将稀疏参数向量中的非零元素的位置和数值辨识出来。

2、本发明能够实现在有限的采样数据下，避免求逆矩阵的过程，其能够对系统的时滞和参数进行联合估计，降低辨识成本。

3、本发明克服了传统算法采样数据量大，采样成本高的问题，能在有限的采样数据下达到良好的辨识效果。

附图说明

图1为本发明贪婪正交最小二乘法的流程示意图；

图2为本发明基于贪婪正交最小二乘法参数与时滞辨识方法；

图3为含有未知时滞的MISO-FIR系统的结构框图；

图4为含有未知时滞的MISO-CAR系统的结构框图；

图5为含有未知时滞的MISO-OE系统的结构框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

参照图1所示，本发明公开了一种贪婪正交最小二乘法，包括以下步骤：

S1、输入堆积信息矩阵

堆积输出向量

稀疏参数向量

的稀疏度K和采样数据长度m；

S2、定义置换矩阵p及迭代参数k，令p＝[1,2,...,n]，迭代参数k＝1，实现置换矩阵p和迭代参数的初始化；

S3、从Φ选出第j列向量，其中第j列向量符合

S4、上述第j列向量置于Φ的第k列，交换堆积信息矩阵Φ的第j列向量与第k列以更新堆积信息矩阵Φ；交换置换向量p的第k列和第j列以更新置换向量p；

S5、计算Householder矩阵H_k，其中，所述矩阵H_k能够将S4中Φ中第k列向量的第k个元素以下的元素都化成零；

S6、对堆积信息矩阵Φ和堆积输出向量Y进行householder变换以更新Φ和 Y：Φ←H_kΦ，Y←H_kY；

具体包括：

S81、求解Φ(1:K,1:K)θ_K＝Y(1:K)得到θ_K，其中，θ_K为稀疏参数向量θ的非零元素组成的向量，其中，所述Φ(1:K,1:K)为上三角矩阵，在Φ(1:K,1:K)θ_K＝Y(1:K)求解时可使用回代法以避免对矩阵求逆；

S82、θ_K为稀疏参数向量θ的非零元素组成的向量，置换向量p指示这些非零项在稀疏参数向量θ中的位置，因此可根据置换向量p恢复出稀疏参数向量估计值

参照图2所示，本发明还公开了一种参数与时滞辨识方法，基于上述的贪婪正交最小二乘法，包括以下步骤：

步骤一、采集辨识系统的输入输出数据；

步骤二、根据步骤一中采集的输入输出数据建立辨识模型，过参数化后得到稀疏参数向量，稀疏参数向量包含了时滞的信息；

步骤三、根据步骤二所建立的辨识模型，利用贪婪正交最小二乘法辨识辨识系统的时滞与参数。

本发明公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。本发明公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述方法的步骤。本发明公开了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的方法。

对于本发明中基于贪婪正交最小二乘法的参数与时滞辨识方法，以下做更详细的举例和描述。

若辨识模型为

其中{y(t)}是观测输出序列，{v(t)}是零均值不相关随机噪声序列，

是信息向量，

是对待辨识的参数向量进行过参数化得到的稀疏参数向量，包含了时滞信息。若采样m次，则有 Y＝Φ^T(t)θ+V(t)，其中

为堆积输出向量，

为白噪声向量，

为堆积信息矩阵，

i＝1,2…m。定义θ₀＝K，K<m，则称θ的稀疏度为K，因此Y可以看成是Φ中K个列向量的向量组合，由压缩感知理论知识可知，辨识过程就是要依次找出这K个列向量，并求出对应参数的数值和在稀疏参数向量中的位置。

因此，本发明所述算法总体思想为先采用过参数化方法，将辨识模型中的参数向量变为高维稀疏参数向量，然后利用一定的贪婪准则和计算方式将稀疏参数向量中的非零元素的位置和数值辨识出来。该算法能在有限采样数据下保证辨识精度(甚至m<n)，与近年来诸如OMP这类贪婪算法的不同之处在于贪婪准则和辨识稀疏参数向量时的计算方法，该算法运用Householder变换简化计算方式，避免矩阵求逆。所以本发明所述辨识算法不仅能克服传统算法采样成本高的问题，具有诸如OMP这类贪婪算法在采样数据有限的情况下仍能保证辨识精度的优点，而且还避免了诸如OMP这类贪婪算法计算过程中需要对矩阵求逆的问题。

由上述辨识模型Y＝Φθ+V可定义准则函数为：J(θ)＝V²＝Y-Φθ²，若稀疏参数向量θ的稀疏度为K，则需从堆积信息矩阵Φ中选出每次使准则函数最小的 K个列向量，则准则函数等价为：

其中P是置换矩阵, 能将θ中的非零元素置于前K行,并将Φ中相应的列置于前K列，

为θ中 K个非零项组成的向量，

为全零向量。

为从Φ中选出的K个列向量组成的矩阵，

为Φ中除去选出的K个列向量后剩余的列向量组成的矩阵。

利用贪婪正交最小二乘法解决辨识问题就是从Φ中选出K列符合条件的列向量置于前K列并对选中的列向量进行正交变换，使矩阵Φ部分三角化，便于求解和计算，这里的正交变换可用Householder变换实现。

将Φ_K记为：

若对Φ_K进行Householder变换，使Φ_K部分三角化，则Φ_K经过矩阵Q^T可变换成：

实际上就是考查利用Householder变换对Φ_K进行QR分解，显然，只需要进行K 次Householder变换，矩阵Q^T为K个Householder变换矩阵之积，即 Q^T＝H_KH_K-1…H₂H₁，其中

j＝1,2,…,K，H_j是对矩阵

的第j列向量

进行Householder变换的矩阵，作用是将该列第j个元素以下的元素都变成零。其参数选择方法为：

利用上述Householder变换能实现对Φ_K进行逐列正交化。因此，上述先选列再正交化的过程可转换成逐列选择并正交化，也就是说，可以依次从Φ中选择出放置在第l列(l＝1:K)的列向量并对其作householder变换使其第l行元素以下化成零这种方式代替先从Φ中选择出K个列向量组成矩阵Φ_K，再对整个Φ_K进行部分三角化的过程。

对Φ和Y作上述正交变换，可以写成：

其中

为选中的列向量进行正交后的上三角矩阵，

为未被选择的列组成的矩阵，在算法中并不需要明确正交变换矩阵Q^T的具体数值。

根据正交变换的保范性，此时准则函数变为：

令b＝R_αθ_K，则准则函数为J(θ)＝||g||²，由于R_α为上三角矩阵，θ_K可以容易地应用回代法通过b＝R_αθ_K求解，避免矩阵求逆，求出θ_K后，再根据置换矩阵P 所指示的这些非零项在θ中的位置，就能重构出稀疏参数向量估计值

由上述利用Householder变换进行正交变换的过程可知，当从Φ中选出第 k-1列并对其进行Householder变换时有：

其中

为正交变换，

根据正交变换的保范性，此时的准则函数为：J(θ)＝||h||²＝||Y||²-||d||²，则在选第k列(假设此时要选的列向量是[x y]^T)并对其进行Householder变换时有：

其中h₁为Uh的第一行，对矩阵U有Uy＝ρe₁，ρ＝||y||，

此时准则函数为：

令

为U的第一行，由于Uy＝ρe₁，则

则

此时准则函数为：

因此若要极小化准则函数，则应使

极大，因此贪婪正交最小二乘法选择组成矩阵Φ_K的K个列向量的依据就每次选出能使

最大的列。

利用本发明以图3所示的MISO-FIR系统模型，图4所示的MISO-CAR系统模型，图5所示的MISO-OE系统模型为例，当数据回归长度为50，采样数据为 130时，辨识结果显示所得估计误差都较小。下表表2为MISO-FIR系统辨识结果，表3为MISO-CAR系统辨识结果，表4为MISO-OE系统辨识结果。从表1、表2、和表3可以看出，本实施例中模型的时滞与参数都能得到较好的估计，如此，即证明了本发明的可行性。

表1

表2

表3

本发明的有益效果如下：

本发明所述的算法与传统的辨识算法相比，可以在有限的采样数据下保证算法的辨识精度，降低辨识成本。参见图3，以含有未知时滞的MISO-FIR系统, 为例，表4为不同采样数据长度下的估计误差，其表明本发明所述的算法在采样数据为130和3000时的辨识精度相差不大，利用传统算法对该系统进行辨识，以递推最小二乘算法为例，在采样数据在为3000时，所得的估计误差为 0.4716％，与本发明所述的算法也相差不大，说明本发明所述的算法克服了传统算法采样数据量大，采样成本高的问题，能在有限的采样数据下达到良好的辨识效果。

本发明所述的算法与OMP一类的贪婪算法相比避免了求逆矩阵的过程。

表4

采样数据长度	130	500	750	1000	2000	3000
							估计误差(％)	0.5789	0.3736	0.3029	0.3292	0.3474	0.2299

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。