CN110170992A - 一种基于动态规划的模块化机械臂多故障容错控制方法 - Google Patents

Abstract

本发明公开了一种基于自适应动态规划的可重构机械臂多故障容错控制方法，构建可重构机械臂系统的动力学模型及多故障动力学模型；根据多故障动力学模型，给出性能指标函数；设计自适应故障观测器，对系统故障进行故障估计；构建评价网络，利用神经网络近似估计性能指标函数；完成最优容错控制器的设计。本发明方法具有控制结构简单紧凑、减小控制过程计算量等优点。

Description

一种基于动态规划的模块化机械臂多故障容错控制方法

技术领域

本发明涉及机器人控制及容错控制领域，尤其是一种采用自适应动态规划 的模块化机械臂多故障容错控制方法。

背景技术

随着机器人技术更新换代的速度逐渐加快，使得对模块化机械臂的研究成 为了热点，模块化机械臂可以利用关节模块与连杆模块的不同组合得以“变形” 来适应不同工况需求。因此，在太空探索、智能工厂、高危作业等比较恶劣的 环境下有着广泛的应用。由于模块化机械臂常用于遥远、未知和高危环境中， 执行器、传感器以及其它部件会不可避免的发生故障。然而，计算机硬件与软 件在国内外的技术发展已经达到很高的水平，其可靠性足以得到保障。故此， 执行器与传感器故障成为导致模块化机械臂系统失效的主要原因。

从目前研究现状来看，对于模块化机械臂的容错控制方法的研究虽然取得 了一定的研究成果，但对于模块化机械臂多故障并发情形的研究还不够深入。 而在实际工程应用中，执行器与传感器同时发生故障的情况并不罕见，若不能 对系统所发生全部故障进行及时的处理，将会给人们的人身及财产安全造成不 可估量的损失。因此对于多故障并发的模块化机械臂容错控制方法的研究有着 重要的理论及实际意义。

容错控制是以增加控制力矩为代价来维持模块化机械臂故障系统继续运行 并完成指定任务的控制策略。任何电机都存在其自身能够输出的最大转矩值， 长时间超过电机的最大输出转矩值则会彻底损毁电机从而导致任何形式的控制 器都将失去控制作用。因此，在保证模块化机械臂轨迹跟踪控制的稳定性和准 确性的前提下，实现控制性能和功耗的最优亦是当前机器人领域最具有理论研 究价值的课题之一。模块化机械臂系统作为一种强耦合非线性系统，实现其最 优控制的难点在于如何解决Hamilton–Jacobi–Bellman方程解析解的维数灾问 题。自适应动态规划(Adaptive Dynamic Programming)方法是一种能有效解决非 线性系统最优控制问题的强有力工具，利用神经网络来近似HJB方程的解，采 用在线更新方法获取最优控制策略可有效解决此类优化控制问题。在过去的数 十年间，自适应动态规划理论算法研究在军事、工业上取得成功应用，显示出 其卓越的最优控制性能。

综上所述，针对模块化机械臂多故障系统，利用自适应动态规划策略设计 一种多故障最优容错控制方法，以实现系统在进行有效容错控制的前提下尽量 减少控制转矩的大小是十分必要的。

发明内容

本发明目的在于针对同时发生传感器故障与执行器故障的模块化机械臂系 统，利用最优控制思想，结合自适应动态规划方法提出一种基于自适应动态规 划的模块化机械臂多故障容错控制方法。

其中，容错控制器由名义控制器和最优反馈控制器两部分组成，名义控制 器用于保证系统的跟踪性能能够稳定到零，最优反馈控制器用于使跟踪误差以 最优的方式收敛于稳定的状态，从而避免了在故障发生时系统失控等意外情形 的发生。

为实现上述目的，采用了以下技术方案，本发明所述方法包括以下步骤：

S1，构建模块化机械臂系统的动力学模型及多故障动力学模型；

S2，根据多故障动力学模型，给出性能指标函数；

S3，设计自适应故障观测器，对系统故障进行故障估计；

S4，构建评价网络，利用神经网络近似估计性能指标函数；

S5，完成最优容错控制器的设计。

进一步的，所述S1中，构建模块化机械臂系统的动力学模型，如下所示：

其中，q∈Rⁿ代表关节的位置向量，和为关节速度和加速度，M(q)∈R^n×n代表惯性矩阵，代表哥氏力和离心力项，G(q)∈Rⁿ代表重力项，u∈Rⁿ代表关节力矩向量。

定义式(1)可以表示为如下的状态空间方程模型：

上式中，g(x)＝M^-1(q)都是 非线性局部Lipschitz连续函数。

根据式(2)建立的系统状态空间方程，给出传感器和执行器同时发生故障 时的数学模型，如下所示：

其中，f_a为系统执行器故障函数，f_s为系统传感器故障函数。

利用微分同胚原理将传感器故障转化为伪执行器故障，引入一阶滤波器z_a作为一个新的状态变量，即：

其中，a＞0和b≠0为常数。

则可获得扩展后的故障模型如下所示：

进一步的，所述S2中，给出性能指标函数如下：

其中，e＝x-x_d为跟踪误差，为效应函数，且r(0,0)＝0， 对所有的e，u都有r(e,u)＞0，Q∈R^n×n，R∈R^m×m为正定矩阵，是执行器故障 的观测值，是传感器故障的观测值，ρ₁＞0，ρ₂＞0，γ＞0为常数，ψ(Ω)是 一组容许控制序列。

给定的期望轨迹描述如下：

其中，u_d作为名义控制律，可以保证跟踪误差为零，据公式(10)可得：

其中，g⁺(·)是g(·)的广义逆。对轨迹跟踪误差求导得：

其中，f_e＝f(z)-f(z_d)，u＝u_d+u_e。因此，性能指标函数可以改写为：

接下来，需要寻找最优反馈控制策略使得性能指标函数式(13)最小， 如果性能指标函数：

连续可微，则(14)式的无穷小的形式即所谓的李雅普诺夫方程为：

其中，

定义哈密顿函数：

并定义最优性能指标函数为：

则最优性能指标函数满足

最终得到最优反馈容错控制策略为：

为获得最优反馈容错控制策略，需要求解HJB方程，然后求从而 获得最优反馈控制律。

进一步的，所述S3中，设计自适应故障观测器，对系统故障进行估计，形 式如下：

其中，表示为系统状态向量z的观测值，α₁，α₂表示的是观测器增益系数， 且为正常数。

执行器和传感器故障的观测值按照如下所示的自适应更新律进行更新：

其中，α₃、α₄为正常数矩阵，为观测误差，且定义执行 器和传感器的估计误差有未知上界。

进一步的，所述S4中，构建评价网络，近似估计性能指标函数，则性能指 标函数可近似表示为：

其中，W_c是理想的权值向量，σ_c(e)是激活函数，ε_c是神经网络的逼近误差， V(e)的梯度通过神经网络近似为

因此哈密顿函数可以表示为：

其中，e_cH为评价网络的逼近误差。

因为理想权值W_c是未知的，用近似权值去建立一个评价神经网络估计性 能指标函数，相应的近似HJB方程可以写成如下形式：

定义训练过程中的最小化的性能准则为通过梯度下 降法来更新权值其中，α_c＞0为评价网络的自适应增益。

可得近似理想最优反馈容错控制策略为：

进一步的，所述S5中，通过多故障并发的模块化机械臂系统动力学模型、 故障模型、性能指标函数、最优反馈控制器，采用在线Policy Iteration(PI)算 法进行循环迭代，如果迭代中前后两次性能指标数差值|V⁽ⁱ⁺¹⁾(e)-V⁽ⁱ⁾(e)|≤ε，其中 ε是一个正常数，则停止运算，得到近似最优控制律，否则进行循环迭代；如果 迭代时间超过最大T，对数据进行存储，输出结果并结束，结果可采用word， excel或图表形式保存，输出最后一次迭代后的控制律。

与现有技术相比，本发明方法具有如下优点：

1、模块化机械臂可根据工作任务的需要，改变机械构形，使得比传统机械 臂具有控制结构更加简单紧凑的优势。

2、本发明提出的容错控制方法是针对模块化机械臂的多故障并发的情况设 计的，更具有一般性和实际结合性。

3、采用最优控制思想，结合自适应动态规划的方法，将模块化臂多故障并 发的容错控制问题转化为最优控制问题，使得控制器结构简单，大大减小了控 制过程的计算量。

4、相比于经典自适应动态规划的执行-评价双网络结构来说，本发明舍弃执 行网络，仅采用评价网络，并通过在线迭代的方法得出最优控制律，使得控制 结构更为简单。

附图说明

图1是本发明方法的原理图。

图2是本发明方法的流程图。

图3是二自由度的模块化机械臂两种不同构形图。

图4～图11为基于本发明所获得的仿真结果图。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1和图2所示，采用最优控制方法处理模块化机械臂系统的多故障容 错控制问题，其实现中关键处理方法及过程如下：

1、系统动力学模型以及故障模型的建立与变换

考虑n自由度模块化机械臂动力学模型如下：

其中，q，和为实际关节位置、速度和加速度，M(q)∈R^n×n代表惯性矩阵，代表哥氏力和离心力项，G(q)∈Rⁿ代表重力项，u∈Rⁿ代表关节力矩 向量。

定义式(1)可以表示为如下的状态空间方程模型：

上式中，g(x)＝M^-1(q)都是 非线性局部Lipschitz连续函数。

考虑到系统在运行中执行器故障和传感器故障并发的情形，我们给出模块 化机械臂系统多故障动力学模型如下所示：

其中，f_a为系统执行器故障函数，f_s为系统传感器故障函数。

利用微分同胚原理将x进行非线性变换为z，x_i→z_i：

其中，符号L_fh表示沿由矢量场f定义的h(·)的导数一般地，表示第r阶李阶导数。

综上可得：

引入一个一阶滤波器如下所示：

其中，a＞0和b≠0为常数。则扩展后的故障系统的模型可描述为：

2、性能指标函数HJB方程的建立

假设1：期望的关节位置，关节速度，关节加速度都是已知有界的，且f(z)， g(z)都是有界的。

假设2：系统的执行器故障以及传感器故障有未知的上界。

建立如下的性能指标函数：

其中，e＝x-x_d为跟踪误差，为效应函数，且r(0,0)＝0， 对所有的e，u都有r(e,u)＞0，Q∈R^n×n，R∈R^m×m为正定矩阵，是执行器故障 的观测值，是传感器故障的观测值，ρ₁＞0，ρ₂＞0，γ＞0为常数，ψ(Ω)是 一组容许控制序列。设定期望轨迹如下所示：

其中，u_d作为名义控制律，可以保证跟踪误差为零，据公式(10)可得：

其中，g⁺(·)是g(·)的广义逆。对轨迹跟踪误差求导得：

其中，f_e＝f(z)-f(z_d)，u＝u_d+u_e，最优反馈控制器u_e是用来让跟踪误差以 最优的方式收敛于稳定的状态，故而给出改进性能指标函数为：

接下来的问题就可以转化为寻找最优反馈控制策略使得误差系统的性 能指标函数(13)代价最小。

如果性能指标函数

是连续可微，则式(14)的无穷小的形式即所谓的李雅普诺夫方程为：

其中，

定义如下形式的哈密顿函数：

并定义最优性能指标函数为：

则最优性能指标函数满足：

其中，综上求得最优容错控制策略为：

3、自适应故障观测器设计

设计如下形式的故障观测器：

其中，表示为系统状态向量z的观测值，α₁，α₂表示为观测器增益系数， 且为正常数。定义分别为执行器和传感器故障f_a和f_s的估计值。

假设3：执行器故障和传感器故障的估计误差有未知上界。

传感器和执行器故障的观测值按照如下所示的自适应更新律进行更新：

其中，α₃和α₄为正常数矩阵，和为观测误差。

联立(6)，(7)和(20)式可得：

其中，分别是f(z)和g(z)的观测误差，在这里令ξ＝e_f+e_g(u+f_a)，我们假设观测误差ξ有界但未知。

4、评价网络的构建

近似性能指标函数如下所示：

其中，W_c是理想的权值向量，σ_c(e)是激活函数，ε_c是神经网络的逼近误差， V(e)的梯度通过神经网络近似为：

因此，哈密顿函数表示为：

其中，e_cH为评价网络的逼近误差。

定义为W_c的估计值，则评价网络的实际输出为：

则的梯度为

故近似的哈密顿函数可以表示为：

定义训练过程中的最小化的性能准则为我们通过梯度下降法来更新权值，其中，α_c＞0为评价网络的自适应增益。

综上，我们可得近似理想最优反馈容错控制策略为：

5、基于在线PI的学习算法

本发明通过基于在线PI的学习算法，来求具体方法如下：

S5-1，参数初始化，选择一个很小的正常数ε，定义最大迭代时间T，选择i 为迭代次数，使i＝0开始迭代，V⁽¹⁾＝0，从初始控制策略开始；让δ＝0，从 初始控制策略开始，选择一个很小的正常数ε；

S5-2，结合控制策略通过以下等式来更新V⁽ⁱ⁺¹⁾：

S5-3，控制策略由更新；

S5-4，如果i＞0且|V⁽ⁱ⁺¹⁾(e)-V⁽ⁱ⁾(e)|≤ε，则停止运算，得到近似最优控制，否 则i＝i+1，然后回到S5-2；如果迭代时间超过最大T，对数据进行存储，输出结 果并结束，结果可采用word，excel或图表形式保存，输出最后一次迭代后的控 制律；

根据以上的迭代方法，得到控制系统的最优控制律使系统在执行器与 传感器并发故障的情况下实际轨迹仍然可以很好的跟随期望轨迹。

6、仿真验证

为了验证所提出的容错控制方法的有效性，选取如图3所示的两种不同构 形的二自由度模块化机械臂模型进行仿真验证。

首先给出两种不同构形的动力学方程的参数，如下所示：

系统输入控制力矩u＝[u₁,u₂]^T，并且模块化机械臂构形a和构形b两个关节的 期望轨迹分别为：

q_a1d＝0.4sin(0.3t)-0.1cos(0.5t)

q_a2d＝0.3cos(0.6t)+0.6sin(0.2t)

q_b1d＝0.2cos(0.5t)+0.25sin(0.4t)

q_b2d＝0.3cos(0.2t)-0.4sin(0.6t)

定义关节起始位置和角速度分别为q₁(0)＝q₂(0)＝1，神经网络权值定义为且它们的初始值为评价网络的激活函数为e₁和e₂分别为关节1和关节2的位置误差， e₃和e₄分别为关节1和关节2的速度误差。

对于构形a，在t＝20s时对关节1加入执行器故障f_a1＝2sin(2×q₁)，在t＝40s时对关节2加入传感器故障f_s2＝-0.5q₂。对于构形b，在t＝30s时给关节1加入执行 器故障f_a1＝3×sin(0.2t)+cos(t)，t＝40s时给关节1加入传感器故障信号f_s1＝2。

构形a的仿真结果如附图4-7所示，附图4-5是执行器故障及传感器故障估 计曲线，由图可以看出本发明设计的故障观测器在不到一秒的时间就能较为准 确的估计出故障函数。附图6是构形a中关节1和关节2故障情况下的轨迹跟踪 曲线，附图7是其轨迹跟踪误差曲线。从附图6-7可以看出，在系统同时发生执 行器故障和传感器故障的情况下，经过短暂的时间之后，系统的实际轨迹仍然 能够很好的跟踪上期望轨迹，而且跟踪的精度也比较精确。

附图8-附图11是在不改变控制参数的条件下对构形b的仿真结果，附图8-9 是执行器及传感器故障估计曲线，由图可以看出对于构形b本项目设计的故障观 测器同样可以精确的在线估计故障信息。附图10-11是构形b中关节1和关节2 故障情况下的轨迹跟踪曲线及其跟踪误差曲线。从图中可知，在系统同时发生 执行器和传感器故障的情况下，系统可以达到与构形a相同的跟踪性能。

由上述的仿真实验结果可知，当模块化机械臂系统传感器和执行器故障并 发时，本发明设计的容错控制方法能够有效地适用于不同构形的模块化机械臂， 对于最大限度的提高机械臂控制精度，实现优化能源消耗提供非常重要的优势。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发 明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员 对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定 的保护范围内。

Claims (7)

1.一种基于自适应动态规划的可重构机械臂多故障容错控制方法，其特征在于，所述方法包括以下步骤：

S1，构建可重构机械臂系统的动力学模型及多故障动力学模型；

S2，根据多故障动力学模型，给出性能指标函数；

S3，设计自适应故障观测器，对系统故障进行故障估计；

S4，构建评价网络，利用神经网络近似估计性能指标函数；

S5，完成最优容错控制器的设计。

2.根据权利要求1所述的一种基于自适应动态规划的可重构机械臂多故障容错控制方法，其特征在于：所述S1中，构建可重构机械臂系统的动力学模型，如下所示：

其中，q∈Rⁿ代表关节的位置向量，和为关节速度和加速度，M(q)∈R^n×n代表惯性矩阵，代表哥氏力和离心力项，G(q)∈Rⁿ代表重力项，u∈Rⁿ代表关节力矩向量；

定义式(1)可以表示为如下的状态空间方程模型：

上式中，g(x)＝M^-1(q)都是非线性局部Lipschitz连续函数；

根据式(2)建立的系统状态空间方程，给出传感器和执行器同时发生故障时的数学模型，如下所示：

其中，f_a为系统执行器故障函数，f_s为系统传感器故障函数；

利用微分同胚原理将传感器故障转化为伪执行器故障，引入一阶滤波器z_a作为一个新的状态变量，即：

其中，a＞0和b≠0为常数；

则可获得扩展后的故障模型如下所示：

3.根据权利要求1所述的一种基于自适应动态规划的可重构机械臂多故障容错控制方法，其特征在于，所述S2中，给出性能指标函数如下：

其中，e＝x-x_d为跟踪误差，为效应函数，且r(0,0)＝0，对所有的e，u都有r(e,u)＞0，Q∈R^n×n，R∈R^m×m为正定矩阵，是执行器故障的观测值，是传感器故障的观测值，ρ₁＞0，ρ₂＞0，γ＞0为常数，ψ(Ω)是一组容许控制序列；

给定的期望轨迹描述如下：

其中，u_d作为名义控制律，可以保证跟踪误差为零，据公式(10)可得：

其中，g⁺(.)是g(.)的广义逆；对轨迹跟踪误差求导得：

如果性能指标函数：

连续可微，则(14)式的无穷小的形式即所谓的李雅普诺夫方程为：

其中，

定义哈密顿函数：

并定义最优性能指标函数为：

则最优性能指标函数满足

最终得到最优反馈容错控制策略为：

为获得最优反馈容错控制策略，需要求解HJB方程，然后求从而获得最优反馈控制律。

4.根据权利要求1所述的一种基于自适应动态规划的可重构机械臂多故障容错控制方法，其特征在于，所述S3中，设计自适应故障观测器，对系统故障进行估计，形式如下：

其中，表示为系统状态向量z的观测值，α₁，α₂表示的是观测器增益系数，且为正常数；

执行器和传感器故障的观测值按照如下所示的自适应更新律进行更新：

其中，α₃、α₄为正常数矩阵，为观测误差，且定义执行器和传感器的估计误差有未知上界。

5.根据权利要求1所述的一种基于自适应动态规划的可重构机械臂多故障容错控制方法，其特征在于：所述S4中，构建评价网络，近似估计性能指标函数，则性能指标函数可近似表示为：

其中，W_c是理想的权值向量，σ_c(e)是激活函数，ε_c是神经网络的逼近误差，V(e)的梯度通过神经网络近似为

因此哈密顿函数可以表示为：

其中，e_cH为评价网络的逼近误差；

因为理想权值W_c是未知的，用近似权值去建立一个评价神经网络估计性能指标函数，相应的HJB方程可以写成如下形式：

定义训练过程中的最小化的性能准则为通过梯度下降法来更新权值，其中，α_c＞0为评价网络的自适应增益；

可得理想的最优反馈容错控制策略为：

6.根据权利要求1所述的一种基于自适应动态规划的可重构机械臂多故障容错控制方法，其特征在于：所述S5中，通过多故障并发的可重构机械臂系统动力学模型、故障模型、性能指标函数、最优反馈控制器，采用Policy Iteration(PI)算法进行循环迭代，如果迭代中前后两次性能指标数差值其中ε是一个正常数，则停止运算，得到近似最优控制，否则进行循环迭代；如果迭代时间超过最大T，对数据进行存储，输出结果并结束，结果可采用word，excel或图表形式保存，输出最后一次迭代后的控制律。

7.根据权利要求6所述的一种基于自适应动态规划的可重构机械臂多故障容错控制方法，其特征在于，通过基于PI的学习算法，来求具体方法如下：

S5-1，参数初始化，选择一个很小的正常数ε，定义最大迭代时间T，选择i为迭代次数，使i＝0开始迭代，V⁽¹⁾＝0，从初始控制策略开始；让δ＝0，从初始控制策略开始，选择一个很小的正常数ε；

S5-2，结合控制策略通过以下等式来更新V⁽ⁱ⁺¹⁾：

S5-3，控制策略由更新；

S5-4，如果i＞0且|V⁽ⁱ⁺¹⁾(e)-V⁽ⁱ⁾(e)|≤ε，则停止运算，得到近似最优控制，否则i＝i+1，然后回到S5-2；如果迭代时间超过最大T，对数据进行存储，输出结果并结束，结果可采用word，excel或图表形式保存，输出最后一次迭代后的控制律；

根据以上的迭代方法，得到控制系统的最优控制律使系统在执行器与传感器并发故障的情况下实际轨迹仍然可以很好的跟随期望轨迹。