CN110376901A - 一种基于动态控制器的迭代学习控制方法 - Google Patents

Abstract

本发明提出了一种基于动态控制器的迭代学习控制方法，属于控制科学与工程领域。对于一般的非线性差分系统，作者首先给出了一种迭代学习动态控制器的构造方法，然后根据梯度下降法对控制器动态增益进行估计并得出动态增益估计表达式。由于受控系统的精确模型比较复杂或者是未知的，我们无法求得控制器动态增益估计表达式中系统伪偏导数(PPD)的真实值，我们提取伪梯度(PG)估计表达式当中PPD的估计值进行数值代替。这样就生了一个可以运行的无模型迭代学习控制算法。最后，举例说明了本算法在非线性系统和抓放机器人系统当中的数值仿真是有效的。因此这个算法可应用到一般的(未知的)非线性差分系统当中去。

Description

一种基于动态控制器的迭代学习控制方法

技术领域

本发明涉及迭代学习控制技术领域，尤其涉及一种基于动态控制器的迭代学习控制方法。

背景技术

迭代学习是被控系统在有限时间区间不断吸取先前经验进行重复学习的一种控制方法。可以理解为：在被控系统进行第i次操作的时候，控制器把第(i-1)次及其之前的输入数据，输出数据和误差利用起来，使被控系统在第i次操作当中获得比较好的执行效果。按照这样的方法不断地进行控制器修正，从而使被控系统走向期望的轨迹。

我们知道，为了能够有效的控制被控系统，就必须对控制器进行合理的设计。过去三十年来，迭代学习控制取得了丰富的成果，我们就从控制器的角度来说明已有的迭代学习算法。线性系统作为最基本的系统模型，其迭代学习理论自提出伊始就得到发展和丰富，如：对于简单的可以重复的连续(或离散)线性时变系统。已经有诸如P型，D型，PI型，PD型，PID型等类型的PID型迭代学习控制器,此外还有比较普遍的高阶控制器，反馈-前馈控制器等。这些控制器的显著特色是借助于先前输入数据和误差数据来完成控制器的更新过程。对于非线性系统。例如仿射非线性系统也有着成熟的PID型,高阶控制器等类型的迭代学习控制器，也有从仿射系统本身出发借助于已有数据而设计的迭代学习控制器(参考非专利文献2：Li X D,Xiao T F,Zheng H X.Brief paper-Adaptive discrete-time iterativelearning control for non-linear multiple input multiple output systems withiteration-varying initial error and reference trajectory[J].Iet ControlTheory&Applications，2011,5(9):1131-1139.)。对于非仿射非线性系统，控制器的类型不多，但也有着类似的P型，反馈-前馈型等迭代学习控制器。由此我们可以知道，除过特殊的控制器类型，如神经网络控制器，大多数的控制器都是由先前数据组合来完成控制器的更新过程的。

因此，如何有效的利用更多的先前数据来设计非线性系统的迭代学习控制器，并且所设计的控制器能够很好地反映受控系统的(数据)模型特征以使其具有更强的适应性，是我们亟待要解决的问题。

发明内容

本发明提供了一种基于动态控制器的迭代学习控制方法，包括依次执行以下步骤：

步骤1：建立非线性差分系统的动态线性化模型,在这个模型的基础上设计迭代学习控制器，并给出控制器动态增益的更新法则；

步骤2：在系统动态线性化模型的基础上给出其伪梯度PG的估计值表达式；

步骤3：从伪梯度PG的估计表达式当中提取伪偏导数PPD的估计值来代替控制器动态增益更新法则中真实值，设计迭代学习控制方案。

上述一种基于动态控制器的迭代学习控制方法的步骤1中，系统的动态线性化和动态控制器设计如下：

第一步骤，受控系统的数学模型：

假设所要进行迭代学习控制的受控系统具有如下非线性差分方程模型：

y_i(t+1)＝f(y_i(t)，y_i(t-1)，…，y_i(t-n_y)，u_i(t)，u_i(t-1)，…，u_i(t-n_u)) (1)

其中，u_i(t)和y_i(t)分别是第i次迭代和第t个采样时刻的输入和输出信号；i∈I[1，+∞)，t∈I[1，T]；n_u，n_y是两个未知的正整数；f(…)是未知非线性标量函数；

定义

是由一个在长度为L_y的输入数据窗口[y_i(t)y_i(t-1)…y_i(t-L_y+1)]^T和一个长度为L_u的输出数据窗口[u_i(t)u_i(t-1)…u_i(t-L_u+1)]^T组成的信号向量，其中整数L_y，L_u(0≤L_y≤n_y，0≤L_u≤n_u)称为系统的伪阶数，特别地，当t≤0时有

对于公式(1)的SISO非线性系统，在提出其全格式动态线性化模型之前，以下两个假设是必需的：

假设1f(…)关于(它所包含的输入输出)各个变量的偏导数是连续的；

假设2系统沿着迭代轴方向满足Lipschitz条件，即对于t∈I[1，T]，i∈I[1，+∞)，若则下式成立

其中，Δy_i(t+1)＝y_i(t+1)-y_i-1(t+1)，b＞0是个常数；

第二步骤，对受控系统的数学模型进行动态线性化；

对于受控系统(1)，如果假设1和假设2成立，则系统可以转化为如下动态线性化形式：

其中，PG

是一个时变参数向量，且满足数据向量：

第三步骤，动态控制器的设计：

受控系统(1)能够写成公式(3)所示的动态线性化形式，对关系式(3)展开可得

由关系式(4)可知，误差

其中y_d(t+1)是期望轨迹。

当系统在第i次迭代第t+1时刻达到期望的轨迹时，这里有e_i(t+1)＝0，也就是

假设伪偏导数此时通过关系式(6)可以求得理想控制器的表达式如下：

设定

那么理想控制器(7)的表达式能够写成：

由此，实际当中控制器的表达式能够写成：

其中分别为ψ_i,e(t)，ψ_i,y,j(t)，j＝1,2,…,L_y，ψ_i,u,k(t)，k＝1,2,…,L_u-1的估计值；

第四步骤，求取控制器增益 的更新法则：

引入能量函数根据梯度下降法求得控制器增益 的更新法则为：

其中μ_e，μ_y,j，j＝1,2,…,L_y，μ_u,j，k＝1,2,…,L_u-1为学习因子。

上述一种基于动态控制器的迭代学习控制方法的步骤2中，受控系统的PG估计过程如下：

为了能够估计系统的提出以下准则函数：

根据梯度下降法，可以得到的如下估计表达式：

其中，μ是步长因子，并且对于t∈I[1,T]，初值有界并且给定。

上述一种基于动态控制器的迭代学习控制方法的步骤3中，实际运行的控制器动态增益的更新法则和迭代学习控制方案如下：

第一步骤，实际运行的控制器增益更新法则：

由于无法求得更新法则公式(10)，(11)和(12)中的PPD的真实值为保证动态控制器增益更新程序能够运行，提取步骤2中PG估计值中的PPD估计值来代替更新法则中的可得控制增益的更新法则如下：

第二步骤，迭代学习控制方案，包括执行以下步骤：

步骤S1：选取受控系统的输入输出数据长度L_u和L_y的值，这样就可以得到系统的动态线性化数据模型和控制器表达式；

步骤S2：对控制过程中的初值和参数进行设定；给定系统的初始输入u₁(t)，t∈I[1,T]的值；给出动态参数 t∈I[1,T]的值；同时选择步长因子和学习因子μ，μ_e，μ_y,j，j＝1,2,…,L_y，μ_u,k，k＝1,2,…,L_u-1的值；设置受控系统的初始值即对于i∈I[1,+∞)，每次运行时在t＝1时刻均有y_i(1)＝y_d(1)；

步骤S3：为了使系统能够接近期望轨迹，需要对运动过程当中的参数i∈I[1,+∞),t∈I[1,T]值进行数值限制；

步骤S4：根据初值和参数值的设置使受控系统按照如下顺序运行：

步骤S5：重复执行步骤S1至步骤S4的操作，直到本发明的迭代学习控制方法取得良好的控制效果。

作为本发明的进一步实施，该迭代学习控制方法还包括以下执行步骤：步骤4：将步骤3所得到迭代学习控制方案应用到非线性系统数学模型和抓放机器人的数学模型的控制中。

本发明的有益效果是：本发明提出的基于动态控制器的迭代学习控制方法，有效的把先前误差数据，先前输出差分数据，先前输入差分数据，应用到控制器的结构当中去，使得这样的控制器能够很好的应对非线性系统的复杂结构。随后，该控制器结合系统动态线性化模型中的PPD参数估计值(从PG的估计值中提取)，构造了一套有效的迭代学习控制方案。这种迭代学习方案完全的从数据驱动方面实现了对非线性系统，特别是未知的非线性系统的迭代学习控制。仿真研究验证了这种方案的有效性，并且达到了高效的跟踪效果。

附图说明

图1是本发明实施例1对于非仿射非线性系统的最大跟踪误差曲线图；

图2是本发明实施例2的抓放机器人模型图；

图3是本发明实施例2对于抓放机器人模型的速度实行迭代学习控制时的最大跟踪误差曲线图。

具体实施方式

下面结合两个实施用例对本发明做进一步说明。

实施例1：

考虑如下系统：

显然，这是一个非仿射非线性系统。迭代学习任务当中期望的输出轨迹为

y_d(t)＝sin(0.002πt),t∈I[1,100]

现在我们对这个系统进行迭代学习控制。选取输入输出数据长度L_u＝1，L_y＝1。这个系统的动态线性化数据模型可以被表示为

由此可得控制器的模型如下

对于所有的t∈I[1,T]，第1次迭代时输入我们设定为u₁(t)＝1；第1次迭代系统的动态线性化当中伪梯度的值设定为学习因子初值设定为ψ_e,1(t)＝0.1，ψ_y,1(t)＝0.1；对于所有的i∈I[1,+∞)，系统在时刻t＝1的输出设定为y_i(1)＝y_d(1)；伪偏导数的估计值表达式中步长因子设定为μ＝0.25，控制器增益的学习因子设定为μ_e＝0.7，μ_y＝0.7。运行迭代学习程序。

以每次迭代的最大误差作为考量标准，图1给出100次迭代过程当中e_i,max的仿真曲线,可以看出被控系统每次迭代的最大误差呈现出逐渐减小趋势，迭代学习控制达到了很好的效果。

实施例2：

如图2是一个抓放机器人模型(参考非专利文献3：Liu N.Learningidentification and control for repetitive linear time-varying systems[D].University of Illinois at Urbana-Champaign,2014.)，对于机械臂的转角θ，我们取状态变量x₁＝θ和并且以角速度为系统输出，可以得到如下二阶线性数学模型

其中β＝2Nm/rad是粘性摩擦系数，K_t＝100是执行器增益，M(t)是时变的机械臂底端的质量，L＝0.1m是机械臂的长度。在机械臂抓放过程当中，重物在第5秒被抓取，第10秒被放下。M(t)的质量也从1kg变到了10kg，然后又变回1kg。

取采样时间T_s＝0.01s，在时间区间[1,10]内离散化模型(20)可以得到如下切换系统

设定迭代学习任务当中期望的输出轨迹为

y_d(t)＝2sin(πt/1000) t∈I[1,1000]

现在我们对这个系统进行迭代学习控制。选取输入输出数据长度L_u＝1，L_y＝1。这个系统的动态线性化数据模型可以被表示为

由此可得控制器的模型如下

对于所有的t∈I[1,T]，第1次迭代时输入我们设定为u₁(t)＝0；第1次迭代系统的动态线性化当中伪梯度的值设定为学习因子初值设定为ψ_e,1(t)＝0.1，ψ_y,1(t)＝0.1；对于所有的i∈I[1,+∞)，系统在时刻t＝1的输出设定为y_i(1)＝y_d(1)；伪偏导数的估计值表达式中步长因子设定为μ＝0.01，控制器增益的学习因子设定为μ_e＝0.01，μ_y＝0.01。运行迭代学习程序。

同样以每次迭代的最大误差作为考量标准，图3给出50次迭代过程当中e_i,max的仿真曲线,可以看出被控系统每次迭代的最大误差呈现出逐渐减小趋势，迭代学习控制达到了很好的效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于动态控制器的迭代学习控制方法，其特征在于，包括依次执行以下步骤：

步骤1：建立非线性差分系统的动态线性化模型,在这个模型的基础上设计迭代学习控制器，并给出控制器动态增益的更新法则；

步骤2：在系统动态线性化模型的基础上给出其伪梯度PG的估计值表达式；

步骤3：从伪梯度PG的估计表达式当中提取伪偏导数PPD的估计值来代替控制器动态增益更新法则中真实值，设计迭代学习控制方案。

2.根据权利要求1所述的迭代学习控制方法，其特征在于，所述步骤1中，系统的动态线性化和动态控制器设计如下：

第一步骤，受控系统的数学模型：

假设所要进行迭代学习控制的受控系统具有如下非线性差分方程模型：

y_i(t+1)＝f(y_i(t),y_i(t-1),…,y_i(t-n_y),u_i(t),u_i(t-1),…,u_i(t-n_u)) (1)

其中，u_i(t)和y_i(t)分别是第i次迭代和第t个采样时刻的输入和输出信号；i∈I[1,+∞)，t∈I[1,T]；n_u，n_y是两个未知的正整数；f(…)是未知非线性标量函数；

定义

是由一个在长度为L_y的输入数据窗口[y_i(t) y_i(t-1)…y_i(t-L_y+1)]^T和一个长度为L_u的输出数据窗口[u_i(t) u_i(t-1)…u_i(t-L_u+1)]^T组成的信号向量，其中整数L_y，L_u(0≤L_y≤n_y,0≤L_u≤n_u)称为系统的伪阶数，特别地，当t≤0时有

对于公式(1)的SISO非线性系统，在提出其全格式动态线性化模型之前，以下两个假设是必需的：

假设1f(…)关于(它所包含的输入输出)各个变量的偏导数是连续的；

假设2系统沿着迭代轴方向满足Lipschitz条件，即对于t∈I[1,T]，i∈I[1,+∞)，若则下式成立

其中，Δy_i(t+1)＝y_i(t+1)-y_i-1(t+1)，b＞0是个常数；

第二步骤，对受控系统的数学模型进行动态线性化：

对于受控系统(1)，如果假设1和假设2成立，则系统可以转化为如下动态线性化形式：

其中，PG

是一个时变参数向量，且满足数据向量：

第三步骤，动态控制器的设计：

受控系统(1)能够写成公式(3)所示的动态线性化形式，对关系式(3)展开可得

由关系式(4)可知，误差

其中y_d(t+1)是期望轨迹。

当系统在第i次迭代第t+1时刻达到期望的轨迹时，这里有e_i(t+1)＝0，也就是

假设伪偏导数此时通过关系式(6)可以求得理想控制器的表达式如下：

设定

那么理想控制器(7)的表达式能够写成：

由此，实际当中控制器的表达式能够写成：

其中分别为ψ_i,e(t)，ψ_i,y,j(t)，j＝1,2,…,L_y，ψ_i,u,k(t)，k＝1,2,…,L_u-1的估计值；

第四步骤，求取控制器增益 的更新法则：

引入能量函数根据梯度下降法求得控制器增益 的更新法则为：

其中μ_e，μ_y,j，j＝1,2,…,L_y，μ_u,j，k＝1,2,…,L_u-1为学习因子。

3.根据权利要求1所述的迭代学习控制方法，其特征在于，所述步骤3中，受控系统的PG估计过程如下：

为了能够估计系统的提出以下准则函数：

根据梯度下降法，可以得到的如下估计表达式：

其中，μ是步长因子，并且对于t∈I[1,T]，初值有界并且给定。

4.根据权利要求1所述的迭代学习控制方法，其特征在于,所述步骤3中，实际运行的控制器动态增益的更新法则和迭代学习控制方案如下：

第一步骤，实际运行的控制器增益更新法则：

由于无法求得更新法则公式(10)，(11)和(12)中的PPD的真实值为保证动态控制器增益更新程序能够运行，提取步骤2中PG估计值中的PPD估计值来代替更新法则中的可得控制增益的更新法则如下：

第二步骤，迭代学习控制方案，包括执行以下步骤：

步骤S1：选取受控系统的输入输出数据长度L_u和L_y的值，这样就可以得到系统的动态线性化数据模型和控制器表达式；

步骤S2：对控制过程中的初值和参数进行设定；给定系统的初始输入u₁(t)，t∈I[1,T]的值；给出动态参数 的值；同时选择步长因子和学习因子μ，μ_e，μ_y,j，j＝1,2,…,L_y，μ_u,k，k＝1,2,…,L_u-1的值；设置受控系统的初始值即对于i∈I[1,+∞)，每次运行时在t＝1时刻均有y_i(1)＝y_d(1)；

步骤S3：为了使系统能够接近期望轨迹，需要对运动过程当中的参数 值进行数值限制；

步骤S4：根据初值和参数值的设置使受控系统按照如下顺序运行：

步骤S5：重复执行步骤S1至步骤S4的操作，直到本发明的迭代学习控制方法取得良好的控制效果。

5.根据权利要求1-4所述的迭代学习控制方法，其特征在于：该迭代学习控制方法还包括执行以下步骤：

步骤4：将步骤3所得到迭代学习控制方案应用到非线性系统数学模型和抓放机器人的数学模型的控制中。