CN108789417A - 基于自适应动态规划的可重构机械臂保代价分散控制方法 - Google Patents

Abstract

基于自适应动态规划的可重构机械臂最优保代价分散控制方法，属于机器人控制系统及控制算法领域，为了解决传统的可重构机械臂控制方法中关节耦合的交联项对系统整体控制干扰、可重构机械臂重构及控制过程中能耗问题、电机实际工作过程中不确定性允许范围问题，该方法构建可重构机械臂子系统的动力学模型，并且用可重构机械臂惯性项、哥氏力和离心力项、重力项将各个关节之间的耦合交联项单独表示出来，构建性能指标函数和HJB方程，通过基于ADP策略迭代的方法求解HJB方程，运用神经网络补偿关节之间的耦合交联不确定项，最后通过不同构形二自由度的机械臂数值仿真验证了算法的有效性；实现了可重构机械臂的高精度控制。

Description

基于自适应动态规划的可重构机械臂保代价分散控制方法

技术领域

本发明涉及一种基于自适应动态规划的可重构机械臂的最优保代价分散控制方法，属于机器人控制系统及控制算法领域。

背景技术

相比于传统类型的机械臂，可重构机械臂是一类可以根据不同的任务需求来重新组合、配置自身的构形，并且具有标准的模块、接口的一种新型机械臂。每个模块可以按照给定的任务需求单独或者协同组合更有效、有目的的执行工作，有很高程度的自动组装性、灵活应变性及环境适应性。基于现代制造业高开放性和易移植性的要求，可重构机械臂在工业生产、探测探险、精密制造、国防航天、高温强压等领域内有广泛的应用潜力。从长远角度看，可重构机械臂的出现节约了传统机械臂的生产成本与时间，提高了生产和工作效率。然而，目前可重构机械臂兼顾控制精度与功耗问题亟待研究。

传统机械臂的动力学模型可以根据各关节参数信息建立，对于可重构机械臂来说，控制目标不同和机械臂构形组装前后动力学模型的改变导致了全局动力学模型信息未知，仅能获取部分子系统动力学模型信息，故控制系统结构变得更加复杂。传统的集中控制过程中需要消耗大量的运算资源，并有“牵一发而动全身”的缺点，即当机械臂系统结构较复杂时，控制器的稳定性与可靠性难以保证，分散控制方法克服此类缺点，可重构机械臂可以通过关节协作组成不同构形来完成复杂的工作任务，即在已知每个关节的局部信息的基础上构建控制器，使各关节模块在不同任务需求下重组成不同构形时无需调整控制器的参数信息，且在某一子系统控制器出现故障时也不影响其他子系统控制器及整个控制器的正常工作运转。

自适应动态规划(Adaptive Dynamic Programming，简称ADP)是一种模拟人脑智能的学习方法，它基于强化学习的思想来模拟人与环境交互学习的过程，产生于多学科交叉，其核心思想是构建评判网络和执行网络分别对代价函数和控制策略进行逼近，利用Bellman最优原理，实现系统的在线学习和最优控制，避免求解Hamilton-Jacobi-Bellman(HJB)方程中“维数灾”问题。

多年以来，诸多学者对自适应动态规划(ADP)、可重构机械臂、分散控制、保代价控制方面有诸多的研究，并取得了显著的理论成果与实践应用。在可重构机械臂实现最优分散控制的同时，机械臂构形重组前后动力学模型的不确定性和关节间的耦合的交联项的存在对系统整体的控制有着至关重要的影响。在2017届中国控制会议上，王梓旭等人发表了基于自适应动态规划的可重构机械臂分散控制的研究论文中，运用ADP学习算法和分散控制的思想处理了这类问题，使可重构机械臂控制过程达到最优化，并通过神经网络学习出机械臂随着控制目标变化其构形重构后的动力学模型，处理了关节间耦合交联项等问题，但没有考虑可重构机械臂重构过及控制过程中能耗问题和电机实际工作过程中不确定性允许范围的问题。

发明内容

本发明为了解决传统的可重构机械臂控制方法中关节耦合的交联项对系统整体控制干扰、可重构机械臂重构及控制过程中能耗问题、电机实际工作过程中不确定性允许范围问题，提出一种基于自适应动态规划的可重构机械臂最优保代价分散控制方法。

本发明解决技术问题的方案是：

基于自适应动态规划的可重构机械臂的最优保代价分散控制方法，该方法为：构建可重构机械臂子系统的动力学模型，并且用可重构机械臂惯性项、哥氏力和离心力项、重力项将各个关节之间的耦合交联项单独表示出来，构建性能指标函数和HJB方程，通过基于ADP策略迭代的方法求解HJB方程，运用神经网络补偿关节之间的耦合交联不确定项，最后通过不同构形二自由度的机械臂数值仿真验证了算法的有效性。

基于自适应动态规划的可重构机械臂的最优保代价分散控制方法，该方法包括如下步骤；

步骤一，模型的建立与关节子系统间的耦合力矩交联项分析；

上式中，下标i代表第i个模块，q_i，和为实际关节位置、速度和加速度，M_i(q_i)、和G_i(q_i)分别为机械臂的惯性项、哥氏力和离心力项、重力项，M_ij(q_i)，表示可重构机械臂所有子系统惯性项、哥氏力和离心力项、重力项的集合，M_ii(q_i)、分别表示可重构机械臂第ii个子系统惯性项、哥氏力和离心力项，是关节子系统间的耦合力矩交联项，u_i是电机输出转矩；

定义系统的状态向量x_i1,x_i2是状态变量的分量， 是x_i1关于时间的一阶导数；

则可重构机械臂子系统的动力学模型的状态空间的形式可以表示为：

上式中， 都是非线性局部Lipschitz连续函数；

步骤二，根据步骤一建立的可重构机械臂子系统的动力学模型的状态空间方程，建立性能指标函数如下：

其中，是效用函数，其中和是确定的正常数矩阵，为关节速度变量误差，其中是期望的关节速度变量，为已知的上界函数，其中和都是已知的有界函数，是性能指标对速度误差的一阶导数，表示性能指标函数的梯度；

将公式(6)描述为哈密顿雅可比贝尔曼(HJB)方程如下：

最优性能指标函数满足：

则满足(8)式的最优控制律如下表示：

处理式(5)中的闭环的HJB方程(7)改写成：

利用第i个关节模块的局部动态信息设计u_i，在分散最优控制的律的问题下，是一个处理可重构机械臂系统的不确定项的最优补偿控制律；

步骤三，采用理想的评判神经网络来近似代价函数对包含模型的不确定项进行补偿，定义如下：

其中，W_i是理想的权值向量，是激活函数，ε_ic是神经网络的逼近误差，的梯度通过神经网络近似为：

其中，和▽ε_ic分别是和ε_ic关于时间的导数；

HJB方程可以被描述为以下形式：

其中是e_i关于时间的二阶导数，理想权值W_i是未知的，用近似权值去建立一个评价神经网络去估计性能指标函数，相应的HJB方程可以写成如下形式：

其中，是的估测值，e_ic为神经网络近似HJB方程前后的残差，为了训练和调整评价网络的权值信息，采用目标函数令它可以被训练来取到最小值，神经权值可以通过下式进行更新：

其中，α_i是神经网络的更新学习率，我们定义权值误差可以得到由神经网络逼近误差而得到的残差e_ic为

权重误差的更新率如下式所示

理想的控制策略可以被描述为

步骤四，通过步骤一、步骤二及步骤三中给出的可重构机械臂子系统动力学模型、性能指标函数、最优保代价分散控制器，及理想的评判神经网络近似后的代价函数对包含模型的不确定项进行补偿，使可重构机械臂关节实际轨迹精确地跟踪期望轨迹；如果迭代中前后两次性指标数差值其中ε是一个正常数，此时步骤三中迭代出的控制律为所求的最优控制律否则判断系统是否达到最大运行时间，若是，则输出控制律并结束，否则进入循环步骤一。

本发明的有益效果如下：

1、本发明所述的可重构机械臂，具有质量体积小、高自组性、低能耗、高负载等优点。

2、本发明运用基于自适应动态规划的学习方法及分散策略处理模型耦合关联不确定项，使可重构机械臂关节控制器的设计仅要求当前关节的动力学信息已知即可，从而避免了多自由度可重构机械臂控制系统的复杂性问题，实现了可重构机械臂的高精度控制，降低了传统机械臂的能耗成本，提高了生产和工作效率。

3、本发明采用保代价的控制策略，在很好的解决关节耦合交联不确定项的同时，还考虑了可重构机械臂关节能耗有界问题，及电动机在工作过程中由于电压电流不稳定造成的小范围不确定问题，例如未知负载、可重构机械臂关节间转轴中心偏差角度、编码器和速度计的测量不精确性和噪音、可重构机械臂转动时关节间摩擦力影响。实际应用中，体现着系统的安全性和可靠性。

附图说明

图1为本发明基于自适应动态规划的可重构机械臂的保代价分散控制方法原理图。

图2为本发明基于自适应动态规划的可重构机械臂的保代价分散控制方法流程图。

图3为本发明仿真实验中构形一关节一位置跟踪曲线图。

图4为本发明仿真实验中构形一关节二位置跟踪曲线图。

图5为本发明仿真实验中构形一关节速度跟踪曲线图。

图6为本发明仿真实验中构形一关节位置速度跟踪误差曲线图。

图7为本发明仿真实验中构形一神经网络学习权值曲线图。

图8为本发明仿真实验中构形二关节一位置跟踪曲线图。

图9为本发明仿真实验中构形二关节二位置跟踪曲线图。

图10为本发明仿真实验中构形二关节速度跟踪曲线图。

图11为本发明仿真实验中构形二关节位置速度跟踪误差曲线图。

图12为本发明仿真实验中构形二神经网络学习权值曲线图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

如图1所示，基于自适应动态规划的可重构机械臂的保代价分散控制方法原理图，其中可重构机械臂关节位置变量q_i由增量式编码器实时测得，结合系统期望动力学信息中期望关节位置变量q_id、期望关节速度变量期望关节加速度变量利用设计出的保代价控制器得出控制策略u_i，控制策略作用于系统的动力学模型，输出关节位置变量q_i反馈到增量式编码器中来构成一个可控的闭环系统，对系统偏差进行实时调节，直到误差精度达到要求为止。

如图2所示，基于自适应动态规划的可重构机械臂的保代价分散控制方法流程图，改方法步骤如下：

1、构建可重构机械臂子系统的动力学模型，检测增量式编码器读数，得到位置测量信息，并且用机械臂惯性项、哥氏力和离心力项、重力项将各个关节之间的耦合交联项单独表示出来；

考虑n自由度模块化可重构机械臂动力学模型如下：

上式中q,和为实际关节位置、速度和加速度，M(q)∈R^n×n代表惯性矩阵项，代表哥氏力和离心力项，G(q)∈Rⁿ代表重力项，u是关节电机输出转矩。

将模型(1)分解为

上式中q_j,和分别是q,和的第j个分量，代表着第j个模块关节的实际关节位置、速度和加速度，M_ij(q_i)和是M(q)和的第ij个分量，和u_i是G(q)和u第i个分量。

建立可重构机械臂关节子系统的动力学模型如下：

上式中，下标i代表第i个模块，q_i，和为第i个实际关节位置、速度和加速度，M_i(q_i)、和G_i(q_i)分别为机械臂的惯性项、哥氏力和离心力项、重力项，M_ij(q_i)，表示可重构机械臂所有子系统惯性项、哥氏力和离心力项、重力项的集合，M_ii(q_i)、分别表示可重构机械臂第ii个子系统惯性项、哥氏力和离心力项，是关节子系统间的耦合力矩交联项，u_i是电机输出转矩。

定义系统的状态向量x_i1,x_i2是状态变量的分量， 是x_i1关于时间的一阶导数。

则可重构机械臂子系统的动力学模型的状态空间的形式可以表示为：

上式中，f_i(x_i)、g_i(x_i)和分别是非线性局部Lipschitz连续函数，是模型不确定耦合交联项，并且

2、根据建立的可重构机械臂子系统的动力学模型的状态空间方程，建立性能指标函数；

首先建立性能指标函数方程：

其中，是效用函数，其中和是确定的正常数矩阵，为关节速度变量误差，其中是期望的关节速度变量，为已知的上界函数，其中和都是已知的有界函数，是性能指标对速度误差的一阶导数，表示性能指标函数的梯度。

假设1：可重构机械臂交联耦合系统中，关节期望位置变量，关节期望速度变量，关节期望加速度变量都是已知有界的。

假设2：存在一个性能指标函数和一个已知有界函数使得

定义哈密顿雅可比贝尔曼(HJB)方程如下：

在这里，最优性能指标函数满足

可得最优控制律为

利用第i个关节模块的局部动态信息设计u_i，在分散最优控制的律的问题下，是一个处理可重构机械臂系统的不确定项的最优补偿控制律。

闭环系统的HJB方程可以改写成：

3、基于策略迭代的学习算法；

通过基于策略迭代的学习算法，来求解HJB方程的解，具体方法：

步骤1：参数初始化，选择一个很小的正常数ε，定义最大迭代时间T，选择j为迭代次数，使j＝0开始迭代，J⁽⁰⁾＝0，从初始控制策略开始；让δ＝0，从初始控制策略开始，选择一个很小的正常数ε；

步骤2：基于控制策略根据 求解

步骤3：控制策略由更新；

步骤4：如果j＞0且则停止运算，输出最优控制律否则j＝j+1，然后返回到步骤2。如果迭代时间超过最大T，对数据进行存储，输出控制律并结束，结果可采用word，excel或图表形式保存。

根据以上的迭代方法，我们可以得到控制系统的最优控制律使系统的实际运动轨迹跟随期望运动轨迹。

4、采用理想的评判神经网络来近似代价函数对包含模型的不确定项进行补偿，并基于ADP的学习算法的实现；

采用理想的评判神经网络来近似代价函数定义如下：

W_i是理想的权值向量，是激活函数，ε_ic是神经网络的逼近误差，的梯度通过神经网络近似为：

其中，和分别是和ε_ic关于时间的导数。

通过(7)(8)和(12)，可知

HJB方程可以被描述为以下形式

其中，是e_i关于时间的二阶导数。理想权值W_i是未知的，用近似权值去建立一个评价神经网络去估计性能指标函数，相应的HJB方程如下：

上式中，是的估测值，e_ic为神经网络近似HJB方程前后的残差，为了训练和调整评价网络的权值信息，采用目标函数令它可以被训练来取到最小值，神经权值可以通过下式进行更新：

其中，α_i是神经网络的更新学习率，我们定义权值误差根据(14)和(15)可以得到由神经网络逼近误差而得到的残差e_ic为

权重误差的更新率如下式所示

理想的控制策略可以被描述为

理想的控制策略近似描述为

5、仿真验证；

选取两种不同构形的二自由度可重构机械臂模型进行仿真实验来验证基于自适应动态规划的可重构机械臂保代价分散最优控制方法的有效性。

首先给出两种不同构形的动力学方程的参数，如下所示：

系统输入控制力矩u＝[u₁,u₂]^T，并且可重构机械臂构形一和可重构机械臂构形二两个关节的期望轨迹为x_a1d和x_a2d,x_b1d和x_b2d,如下所示。我们定义实际关节的位置变量和速度变量是

x_a1d＝0.4sin(0.3t)-0.1cos(0.5t)

x_a2d＝0.3cos(0.6t)+0.6sin(0.2t)

x_b1d＝0.2cos(0.5t)+0.25sin(0.4t)

x_b2d＝0.3cos(0.2t)-0.4sin(0.6t)

神经网络权值定义为和初始值为激活函数表示每个关节间耦合误差项，选为e₁和e₂分别为关节一和关节二的位置误差，e₃和e₄分别为关节一和关节二的速度误差。对于选取的可重构机械臂动力学相关参数，我们选定保代价各项为d＝[d₁,d₂]^T,D＝[D₁,D₂],d₁＝[0.5q₁sin(0.3t),0]^T,d₂＝[0,0.3q₂sin(0.3t)]^T,D₁(x)＝[1,0]^T,D₂(x)＝[0,1]^T。

机械臂构型一的仿真结果如图3-7所示，图3和图4是机械臂构形一的关节一和关节二的轨迹跟踪曲线，虚线代表可重构机械臂实际运行轨迹，实线代表可重构机械臂给定期望轨迹。由图像可知，关节一的实际运行轨迹跟踪上给定期望轨迹大约是在系统启动后15s左右，关节二的实际轨迹跟踪上给定期望轨迹大约是在系统启动后10s左右，起始不能很好跟踪给定曲线是因为神经网络训练学习的过程中要耗费一定的时间。图5是机械臂构形一中关节一和关节二速度跟踪曲线，可见在很短的时间内实际速度运行曲线可以跟踪上给定期望速度轨迹。可以从跟踪误差曲线图6看出可重构机械臂构形一的跟踪性能。图7是神经网络的权值曲线，可见两组权值分别收敛于[34.4479,44.4479,40.4814，20.4814,36.2297]^T和[46.2297,48.9450,39.3436,49.3436,54.9544]^T。因此，仿真后的曲线更好的说明了提出算法的有效性。

机械臂构形二的仿真结果如图8-12所示，图8和图9是机械臂构形二的关节一和关节二的轨迹跟踪曲线，虚线代表可重构机械臂实际运行轨迹，实线代表可重构机械臂给定期望轨迹。由图像可知，关节一的实际运行轨迹跟踪上给定期望轨迹大约是在系统启动后25s左右，关节二的实际轨迹跟踪上给定期望轨迹大约是在系统启动后15s左右，那不能很好跟踪给定曲线是因为神经网络训练学习的过程中要耗费一定的时间。图10是机械臂构形二中关节一和关节二速度跟踪曲线，可见在很短的时间内实际速度运行曲线可以跟踪上给定期望速度轨迹。可以从跟踪误差曲线图11看出可重构机械臂构形二的跟踪性能。图12是神经网络权值曲线，可见两组权值分别收敛于[25.7156,35.7156,20.7921,0.7921,36.3169]^T和[46.3169,18.8008,44.5914,54.5914,38.0084]^T，因此，仿真后的曲线更好的说明了提出算法的有效性。

Claims (2)

1.基于自适应动态规划的可重构机械臂的最优保代价分散控制方法，其特征是，该方法为：构建可重构机械臂子系统的动力学模型，并且用可重构机械臂惯性项、哥氏力和离心力项、重力项将各个关节之间的耦合交联项单独表示出来，构建性能指标函数和HJB方程，通过基于ADP策略迭代的方法求解HJB方程，运用神经网络补偿关节之间的耦合交联不确定项，最后通过不同构形二自由度的机械臂数值仿真验证了算法的有效性。

2.根据权利要求1所述的基于自适应动态规划的可重构机械臂的最优保代价分散控制方法，其特征在于，该方法具体步骤如下：

步骤一，模型的建立与关节子系统间的耦合力矩交联项分析；

上式中，下标i代表第i个模块，q_i，和为实际关节位置、速度和加速度，M_i(q_i)、和G_i(q_i)分别为机械臂的惯性项、哥氏力和离心力项、重力项，M_ij(q_i)， 表示可重构机械臂所有子系统惯性项、哥氏力和离心力项、重力项的集合，M_ii(q_i)、分别表示可重构机械臂第ii个子系统惯性项、哥氏力和离心力项，是关节子系统间的耦合力矩交联项，u_i是电机输出转矩；

定义系统的状态向量x_i1,x_i2是状态变量的分量， 是x_i1关于时间的一阶导数；

则可重构机械臂子系统的动力学模型的状态空间的形式可以表示为：

上式中， 都是非线性局部Lipschitz连续函数；

步骤二，根据步骤一建立的可重构机械臂子系统的动力学模型的状态空间方程，建立性能指标函数如下：

其中，是效用函数，其中和是确定的正常数矩阵，为关节速度变量误差，其中是期望的关节速度变量，为已知的上界函数，其中和都是已知的有界函数，是性能指标对速度误差的一阶导数，表示性能指标函数的梯度；

将公式(6)描述为哈密顿雅可比贝尔曼(HJB)方程如下：

最优性能指标函数满足：

则满足(8)式的最优控制律如下表示：

处理式(5)中的闭环的HJB方程(7)改写成：

利用第i个关节模块的局部动态信息设计u_i，在分散最优控制的律的问题下，是一个处理可重构机械臂系统的不确定项的最优补偿控制律；

步骤三，采用理想的评判神经网络来近似代价函数对包含模型的不确定项进行补偿，定义如下：

其中，W_i是理想的权值向量，是激活函数，ε_ic是神经网络的逼近误差，的梯度通过神经网络近似为：

其中，和分别是和ε_ic关于时间的导数；

HJB方程可以被描述为以下形式：

其中是e_i关于时间的二阶导数，理想权值W_i是未知的，用近似权值去建立一个评价神经网络去估计性能指标函数，相应的HJB方程可以写成如下形式：

其中，是的估测值，e_ic为神经网络近似HJB方程前后的残差，为了训练和调整评价网络的权值信息，采用目标函数令它可以被训练来取到最小值，神经权值可以通过下式进行更新：

其中，α_i是神经网络的更新学习率，我们定义权值误差可以得到由神经网络逼近误差而得到的残差e_ic为：

权重误差的更新率如下式所示

理想的控制策略可以被描述为

步骤四，通过步骤一、步骤二及步骤三中给出的可重构机械臂子系统动力学模型、性能指标函数、最优保代价分散控制器，及理想的评判神经网络近似后的代价函数对包含模型的不确定项进行补偿，使可重构机械臂关节实际轨迹精确地跟踪期望轨迹；如果迭代中前后两次性指标数差值其中ε是一个正常数，此时步骤三中迭代出的控制律为所求的最优控制律否则判断系统是否达到最大运行时间，若是，则输出控制律并结束，否则进入循环步骤一。