CN102289204B - 基于确定学习理论的机械臂通用控制方法 - Google Patents

Abstract

本发明公开了基于确定学习理论的机械臂通用控制方法，其步骤包括：建立机械臂动态模型；建立期望的周期轨迹；建立自适应RBF神经网络控制器，调节RBF神经网络的权值，实现机械臂对期望周期轨迹的跟踪，以及RBF神经网络对机械臂闭环系统中未知动力学模型的局部逼近；建立常数神经网络；利用常数RBF神经网络完成控制任务。该方法能够在系统参数完全未知的情况下实现对机械臂闭环控制系统未知动态沿机械臂所经历周期轨迹在局部区域内的准确学习；能够在稳定的动态控制过程中学习到闭环系统动力学的有效知识，并以常数RBF网络权值的方式储存，可将其成功地应用到后续相同或相似的控制任务当中去，以提高控制系统的控制性能，节约能量。

Description

基于确定学习理论的机械臂通用控制方法

技术领域

本发明涉及一种机械臂通用控制方法，具体是指基于确定学习理论的机械臂闭环动态学习与跟踪控制方法。

背景技术

随着科学技术的高度发展，机器人系统的应用领域越来越广泛，如工业、农业、医疗等。随着机器人系统的广泛应用，智能化成为其发展的一个重要方向。为系统参数完全未知的机械臂设计通用控制器，目前还未见有文献报道。它不仅简化了机械臂控制系统的构造，而且节约成本，同时还能提高控制精度。

近年来，神经网络已经在模式识别、数字信号处理、系统建模等诸多领域取得了可喜的成就。对神经网络拓扑结构的选择以及神经网络权值的调整都已经发展了严格的理论分析方法。由于神经网络所具有的学习能力，以及神经网络与非线性系统理论中已经发展成熟的一系列控制方法的融合能力，使得基于神经网络的控制方法在机器人领域被广泛研究和应用。

人工神经网络已经在机械臂控制中得到了广泛的应用。已有的基于人工神经网络的机械臂控制方法大都以利用神经网络的通用逼近性为出发点，采用神经网络来逼近机械臂系统未知动力学模型。基于人工神经网络的通用逼近性，所提控制方法可以不依赖于系统的动力学模型，因而在系统存在未知动力学模型的情况下仍然可以达到控制目的。但是，神经网络估计参数(即神经网络权值)的收敛性与持续激励条件的满足相关。而持续激励条件的满足是一件很困难而且很难预先证明的问题。已有的基于神经网络的机械臂控制方法没有考虑持续激励条件的满足，实际上，神经网络通用逼近性的实现并没有得到保证，神经网络的学习能力是相当有限的。因此，在已有的基于神经网络的控制策略中，即使是对于完全相同的控制任务，神经网络也需要重复进行繁琐的训练学习过程。而神经网络的规模会随着机械臂臂数的增大而相应的增大。神经网络的重复训练过程将涉及到庞大的计算量，从而造成时间及能量的浪费。

径向基(Radial Basis Function)神经网络，简称RBF神经网络，具有任意精度的泛函逼近能力和最佳逼近特性，在自适应控制中得到了较多的应用。目前这种方法的主要缺点在于难以理解神经网络的物理意义，难以保证神经网络权值收敛到真值(最优值)，继而难以保证神经网络真正逼近系统动态。

确定学习理论近期被用来实现非线性系统动态的准确逼近。通过采用局部RBF神经网络，证明部分持续激励条件能够被满足，如RBF中沿着系统周期或回归轨迹的某些子失量的持续激励条件能够被满足，这个部分持续激励条件的满足可以使得沿着系统周期或回归轨迹的误差系统满足指数稳定。因此，可在沿系统周期或回归轨迹的局部区域内获得对系统动态的准确逼近。

许多实际工程系统，由于系统固有的动态性能以及系统本身的确定性，更适合采用一种具有确定性的学习策略来对其进行控制。这样，当需要再处理相同或相似的控制任务时，就不需要再进行重复的训练学习过程了。

发明内容

本发明的目的在于克服传统的自适应神经网络控制方法在学习能力上的不足，提供基于确定学习理论的机械臂通用控制方法，该方法能够在系统参数完全未知的情况下实现对机械臂闭环控制系统未知动态沿机械臂所经历周期轨迹在局部区域内的准确学习；能够在稳定的动态控制过程中学习到闭环系统动力学的有效知识，并以常数RBF网络权值的方式储存，可将其成功地应用到后续相同或相似的控制任务当中去，以提高控制系统的控制性能，节约能量，具体技术方案如下。

基于确定学习理论的机械臂通用控制方法，包括以下步骤：

(1)建立机械臂的动态模型：建立以机械臂关节角位移以及关节角速度作为状态变量的机械臂动态模型；

(2)建立期望的周期轨迹：建立期望的周期轨迹，使机械臂完成给定的周期工作，并以期望周期轨迹做为机械臂各个状态变量的跟踪信号；

(3)神经网络的学习：根据步骤(1)建立的机械臂动态模型和步骤(2)建立的期望周期轨迹采用RBF神经网络建立自适应神经网络控制器，根据李亚普诺夫稳定性理论调节RBF神经网络的权值，实现机械臂对期望周期轨迹的跟踪，以及RBF神经网络对机械臂闭环系统中未知动力学模型的局部逼近；

(4)建立常数神经网络：根据确定学习理论，沿机械臂系统轨迹的RBF神经网络的神经元满足持续激励条件，其权值收敛到最优值，取权值收敛后的一段时间内各权值的均值作为学习训练结果，并利用这些结果建立常数RBF神经网络；

(5)利用常数RBF神经网络完成控制任务：采用步骤(3)所述的自适应神经网络控制器，并用步骤(4)所述常数RBF神经网络来代替步骤(3)中自适应神经网络控制器中的RBF神经网络，实现机械臂对期望周期轨迹的跟踪控制，即完成给定的周期工作。

上述方法的步骤(1)中所述模型包括具有强非线性耦合的机械臂动态模型，

机械臂动态模型为：

$\left\{\begin{array}{c}{\stackrel{\·}{X}}_1=X_2\\ {\stackrel{\·}{X}}_2=-M{\left(q\right)}^{-1}(V_m(q,\stackrel{\·}{q})\stackrel{\·}{q}+G\left(q\right)+F\left(\stackrel{\·}{q}\right))+M{\left(q\right)}^{-1}\mathrm{\τ}\end{array}\right.$

其中，X₁＝q，

q＝[q₁，…，q_n]^T为关节角位移向量；

为关节角速度向量；

为摩擦项，τ为控制力矩，M(q)为惯性矩阵，

为向心力矩阵，G(q)为万有引力矢量；M(q)，

G(q)，

均未知。

上述方法的步骤(2)中所述参考周期轨迹如下：

$\left\{\begin{array}{c}{\stackrel{\·}{X}}_{1d}=X_{2d}\\ {\stackrel{\·}{X}}_{2d}=f_d\left(X_d\right)\end{array}\right.$

其中，X_d＝[X_1d，X_2d]^T，X_1d为期望的关节角位移向量，X_2d为期望的关节角速度向量，f_d(X_d)为已知的光滑有界周期函数。

上述方法的步骤(3)中所述自适应神经网络控制器的形式如下：

$\mathrm{\τ}=-K_{v}r-{\hat{W}}^{T}S\left(X\right)$

其中，K_v＝diag(k_vi)为控制增益矩阵，

$r=\stackrel{\·}{e}+\mathrm{\λe}$

e＝X₁-X_1d

$\stackrel{\·}{e}=X_2-X_{2d}$

r为定义的滤波器跟踪误差向量，e为角位移跟踪误差向量，

为角速度跟踪误差向量，X＝[X₁，X₂]^T为RBF神经网络的输入向量，

为局部RBF神经网络，用于逼近闭环系统中的未知动态，

为权值估计向量，N＞1为神经网络节点数，S_i(X)＝[s_i1(||X-ξ₁||)，…，s_iN(||X-ξ_N||)]^T，

(j＝1，…，N)为高斯基函数，ξ_j为空间中的不同点，称为中心点，η_j为中心宽度。

上述方法的步骤(3)所述RBF神经网络的神经元的中心点均匀分布于机械臂周期跟踪轨迹所在的状态空间内，其初始值均设为零，RBF神经网络权值的调节律如下：

$\stackrel{\·}{\hat{W}}=\mathrm{\ΓS}\left(X\right)r-\mathrm{\σ\Γ}\hat{W}$

其中，Γ＝Γ^T＞0为设置的表示学习速率的常数矩阵，σ＞0为设置的小常数。

上述方法的步骤(3)所述的自适应神经网络控制器根据机械臂对期望周期轨迹的跟踪误差的大小选择控制增益K_v，跟踪误差越大，则所选择的控制增益越大，以使机械臂对期望周期轨迹的跟踪误差保持在设定的范围内。

上述方法的步骤(4)所述常数神经网络的权值选取方式由下式表征：

$\stackrel{\‾}{W}=\underset{t\∈[t_a,t_b]}{\mathrm{mean}}\hat{W}\left(t\right)$

其中，t_b＞t_a＞T＞0代表神经网络权值在完成向其最优值收敛的过渡过程之后的一个时间段，所述常数RBF神经网络是经验知识的表达，能够在沿周期轨迹的局部区域里准确逼近机械臂闭环系统中的未知动态。

本发明与现有技术相比具有如下优点和有益效果：

(1)本发明的机械臂通用控制方法不需要机械臂系统参数，经过短时间的在线学习，即可对机械臂实现高性能的跟踪控制，实现了真正意义上的完全自学习控制。

(2)本发明机械臂通用控制方法能够实现对机械臂闭环控制系统未知动态沿机械臂所经历周期轨迹在局部区域内的真正学习。

(3)所提机械臂通用控制方法能够在稳定的动态控制过程中学习到闭环系统中的有效知识，并将这些知识以空间分布的常数神经网络权值储存，储存的知识可成功地应用到后续的相同或相似的控制任务中去。知识的再利用过程无需进行冗余的神经网络参数重新调整，这是和其它的自适应神经网络控制方法最大的不同点，在实际应用中，能节约时间及能量。

附图说明

图1为2连杆平面机械臂示意图。

图2为机械臂的关节角位移q₁，q₂的跟踪情况仿真图。

图3为机械臂的关节角速度

的跟踪情况仿真图。

图4为神经网络对闭环系统未知动态F_G1的学习权值收敛的仿真图。

图5为神经网络对闭环系统未知动态F_G2的学习权值收敛的仿真图。

图6为机械臂控制输入u₁的仿真图。

图7为机械臂控制输入u₂的仿真图。

图8为收敛后的神经网络对闭环系统未知动态F_G1的准确逼近仿真图。

图9为收敛后的神经网络对闭环系统未知动态F_G2的准确逼近仿真图。

图10为基于经验知识的神经网络对闭环系统未知动态F_G1的局部准确逼近的仿真图。

图11为基于经验知识的神经网络对闭环系统未知动态F_G2的局部准确逼近的仿真图。

图12为基于经验知识的机械臂的关节角位移q₁，q₂的跟踪情况的仿真图。

图13为基于经验知识的机械臂的关节角速度

的跟踪情况的仿真图。

图14为基于经验知识的机械臂控制输入u₁的仿真图。

图15为基于经验知识的机械臂控制输入u₂的仿真图。

上述图中，F_G1为实际的闭环系统动态，F_G1近似为用

逼近的闭环系统动态。

具体实施方式

以下结合实施例及附图对本发明作进一步地详细说明，但本发明的具体实施方式不限于此。

实施例：2连杆平面机械臂对期望周期轨迹的跟踪控制问题

(1)2连杆平面机械臂系统模型

2连杆平面机械臂的结构如图1如示，机械臂由2个连杆组成，在连杆的各个关节点装有角位移传感器和速度传感器来测量关节角位置、角速度。2连杆平面机械臂的动力学模型为

$\left\{\begin{array}{c}{\stackrel{\·}{X}}_1=X_2\\ {\stackrel{\·}{X}}_2=-M{\left(q\right)}^{-1}(V_m(q,\stackrel{\·}{q})\stackrel{\·}{q}+G\left(q\right)+F\left(\stackrel{\·}{q}\right))+M{\left(q\right)}^{-1}\mathrm{\τ}\end{array}\right.$

其中，X₁＝q，

X＝[X₁，X₂]^T，关节角位移向量q＝[q₁，q₂]^T，关节角速度向量

为摩擦项，τ为控制力矩，M(q)为惯性矩阵，

为向心力矩阵，G(q)为万有引力矢量；M(q)，G(q)，均未知。

$M\left(q\right)=\left[\begin{array}{cc}{l}_2^2{m}_2+l_1^2(m_1+m_2)+2l_1{l}_2{m}_2\cos \left(q_2\right)& l_2^2{m}_2+l_1{l}_2{m}_2\cos \left(q_2\right)\\ l_2^2{m}_2+l_1{l}_2{m}_2\cos \left(q_2\right)& l_2^2{m}_2\end{array}\right]$

$V_m(q,\stackrel{\·}{q})\stackrel{\·}{q}=\left[\begin{array}{c}-2l_1{l}_2{m}_2\sin \left(q_2\right)({\stackrel{\·}{q}}_1{\stackrel{\·}{q}}_2+0.5{\stackrel{\·}{q}}_2^2)\\ l_1{l}_2{m}_2\sin \left(q_2\right){\stackrel{\·}{q}}_1^2\end{array}\right]$

$G\left(q\right)=\left[\begin{array}{c}{l}_1(m_1+m_2)g\cos \left(q_1\right)+l_2{m}_{2}g\cos (q_1+q_2)\\ l_2{m}_{2}g\cos (q_1+q_2)\end{array}\right]$

其中，q₁，q₂分别为关节1和关节2的角位移；m₁，m₂分别为第一连杆和第二连杆的质量；l₁，l₂分别为第一连杆和第二连杆的长度；g为重力加速度。

在本实施例中，考虑的摩擦力为

$F\left(q\right)={\left[\begin{array}{cc}12{\stackrel{\·}{q}}_1+0.5\mathrm{sgn}\left({\stackrel{\·}{q}}_1\right)& 12{\stackrel{\·}{q}}_2+0.5\mathrm{sgn}\left({\stackrel{\·}{q}}_2\right)\end{array}\right]}^T$

系统的相关参数为

l₁＝l₂＝1.0m，m₁＝0.8Kg，m₂＝2.3Kf，g＝9.8m/s²

(2)控制目标

在系统动力学模型完全未知的情况下，实现对光滑有界周期参考轨迹 $X_d=\left(\begin{array}{c}{X}_{d1}\\ {\stackrel{\·}{X}}_{d1}\end{array}\right)$ 的跟踪控制与学习，且具有一定的应对外界干扰的能力。

本实施例中，周期参考轨迹描述为：

X_d1＝[0.8sin(t)，0.8cos(t)]^T

${\stackrel{\·}{X}}_{d1}={[0.8\cos \left(t\right),-0.8\sin \left(t\right)]}^T$

(3)神经网络学习阶段

本实施例中：由于机械臂的动力学模型完全未知，采用神经网络

逼近闭环系统的未知动态。

$F_G\left(X\right)={[F_{G1}\left(X\right),F_{G2}\left(X\right)]}^T=M\left(q\right)[-M{\left(q\right)}^{-1}(V_m(q.\stackrel{\·}{q})\stackrel{\·}{q}+G\left(q\right)+F\left(\stackrel{\·}{q}\right))-{\stackrel{\·\·}{X}}_{d1}+\mathrm{\λ}\stackrel{\·}{e})$

$=W^{{*}^T}S\left(X\right)+\mathrm{\ϵ}\left(X\right)$

神经网络的输入X＝[X₁，X₂]^T。选取自适应神经网络控制器形式为：

$\mathrm{\τ}=-k_{v}r-{\hat{W}}^{T}S\left(X\right)$

其中，K_v＝diag(k_vi)为控制增益矩阵，

$r=\stackrel{\·}{e}+\mathrm{\λe}$

e＝X₁-X_1d

$\stackrel{\·}{e}=X_2-X_{2d}$

调节律为：

$\stackrel{\·}{\hat{W}}=\mathrm{\ΓS}\left(X\right)r-\mathrm{\σ\Γ}\hat{W}$

其中，Γ＝Γ^T＞0为表示学习速率的常数矩阵，σ＞0为小常数。

本实施例中一些主要参数：

系统初始条件

X(0)＝[0，0.65；0，0]

控制器参数

神经网络权值初始值神经网络节点数N＝5×5×5×5＝625，中心点均匀分布在[-1.5 1.5]×[-1.5 1.5]×[-1.5 1.5]×[-1.5 1.5]上；Γ＝diag[10]，η＝0.7，σ＝0.0001，K_v＝diag(50)，λ＝diag(30)。

图2为机械臂的关节角位移q₁的跟踪情况仿真图。图3为机械臂的关节角位移q₂的跟踪情况仿真图。图4为神经网络对闭环系统未知动态F_G1的学习权值收敛的仿真图。图5为神经网络对闭环系统未知动态F_G2的学习权值收敛的仿真图。图6为机械臂控制输入u₁的仿真图。图7为机械臂控制输入u₂的仿真图。图8为收敛后的神经网络对闭环系统未知动态F_G1的准确逼近仿真图。图9为收敛后的神经网络对闭环系统未知动态F_G2的准确逼近仿真图。从图4和图5可知，只有部分神经网络的权值收敛，这与RBF网络中的高斯函数沿周期轨迹的部分子矢量满足部分持续激励条件是一致的。

(4)基于经验知识的控制

选取

$\mathrm{\τ}=-K_{v}r-{\stackrel{\‾}{W}}^{T}S\left(X\right)$ 系统具有与神经网络学习阶段不同的初始状态

X(0)＝[0，0.45；0，0]。

控制器参数及其余设计参数与前面的神经网络训练学习阶段相同。

神经网络

可以沿轨迹对闭环系统未知动态完成准确的逼近。图10为基于经验知识的机械臂的关节角位移q₁的跟踪情况的仿真图。图11为基于经验知识的机械臂的关节角位移q₂的跟踪情况的仿真图。图12为基于经验知识的机械臂控制输入u₁的仿真图。图13为基于经验知识的机械臂控制输入u₂的仿真图。图14为基于经验知识的神经网络对闭环系统未知动态F_G1的局部准确逼近的仿真图。图15为基于经验知识的神经网络对闭环系统未知动态F_G2的局部准确逼近的仿真图。从图10和图11可知，基于经验知识的控制可以使系统在很短的时间内完成很好的跟踪。

Claims (7)

1.一种基于确定学习理论的机械臂通用控制方法，其特征在于包括如下步骤：

（1）建立机械臂的动态模型：建立以机械臂关节角位移以及关节角速度作为状态变量的机械臂动态模型；

（2）建立期望的周期轨迹：建立期望的周期轨迹，使机械臂完成给定的周期工作，并以期望周期轨迹做为机械臂各个状态变量的跟踪信号；

（3）神经网络的学习：根据步骤（1）建立的机械臂动态模型和步骤（2）建立的期望周期轨迹采用RBF神经网络建立自适应神经网络控制器，根据李亚普诺夫稳定性理论调节RBF神经网络的权值，实现机械臂对期望周期轨迹的跟踪，以及RBF神经网络对机械臂闭环系统中未知动力学模型的局部逼近；

（4）建立常数神经网络：根据确定学习理论，沿机械臂系统轨迹的RBF神经网络的神经元满足持续激励条件，其权值收敛到最优值，取权值收敛后的一段时间内各权值的均值作为学习训练结果，并利用这些结果建立常数RBF神经网络；

（5）利用常数RBF神经网络完成控制任务：采用步骤（3）所述的自适应神经网络控制器，并用步骤（4）所述常数RBF神经网络来代替步骤（3）中自适应神经网络控制器中的RBF神经网络，实现机械臂对期望周期轨迹的跟踪控制，即完成给定的周期工作。

2.根据权利要求1所述的方法，其特征在于步骤（1）中所述模型包括具有强非线性耦合的机械臂动态模型，

机械臂动态模型为:

$\left\{\begin{array}{c}{\stackrel{\·}{X}}_1=X_2\\ {\stackrel{\·}{X}}_2=-M{\left(q\right)}^{-1}(V_m(q,\stackrel{\·}{q})\stackrel{\·}{q}+G\left(q\right)+F\left(\stackrel{\·}{q}\right))+M{\left(q\right)}^{-1}\mathrm{\τ}\end{array}\right.$

其中， $X_1=q,X_2=\stackrel{\·}{q},q={[q_1,\·\·\·,q_n]}^T$ 为关节角位移向量； $\stackrel{\·}{q}={[{\stackrel{\·}{q}}_1,\·\·\·,{\stackrel{\·}{q}}_n]}^T$ 为关节角速度向量；

为摩擦项，τ为控制力矩，M(q)为惯性矩阵，

为向心力矩阵，G(q)为万有引力矢量；均未知。

3.根据权利要求2所述的方法，其特征在于步骤（2）中所述期望的周期轨迹如下：

$\left\{\begin{array}{c}{\stackrel{\·}{X}}_{1d}=X_{2d}\\ {\stackrel{\·}{X}}_{2d}=f_d\left(X_d\right)\end{array}\right.$

其中，X_d=[X_1d,X_2d]^T,X_1d为期望的关节角位移向量，X_2d为期望的关节角速度向量，f_d(X_d)为已知的光滑有界周期函数。

4.根据权利要求3所述的方法，其特征在于步骤（3）中所述自适应神经网络控制器的形式如下：

$\mathrm{\τ}={-K}_{v}r-{\hat{W}}^{T}S\left(X\right)$

其中，K_v=diag(k_vi)为控制增益矩阵，

$r=\stackrel{\·}{e}+\mathrm{\λe}$

e=X₁-X_1d

$\stackrel{\·}{e}=X_2-X_{2d}$

r为定义的滤波器跟踪误差向量，e为角位移跟踪误差向量，

为角速度跟踪误差向量，X=[X₁,X₂]^T为RBF神经网络的输入向量，

为局部RBF神经网络，用于逼近闭环系统中的未知动态，

为权值估计向量，N>1为神经网络节点数， $S_i\left(X\right)={[s_{i1}\left(\right||X-{\mathrm{\ξ}}_1|\left|\right),\·\·\·,s_{\mathrm{iN}}\left(\right||X-{\mathrm{\ξ}}_N|\left|\right)]}^T,s_{\mathrm{ij}}(\·)=\exp [-{\left|\right|X-{\mathrm{\ξ}}_j\left|\right|}^2/{\mathrm{\η}}_j^2]$ 为高斯基函数，j=1,…,N，ξ_j为空间中的不同点，称为中心点，η_j为中心宽度。

5.根据权利要求4所述的方法，其特征在于步骤（3）所述RBF神经网络的神经元的中心点均匀分布于机械臂周期跟踪轨迹所在的状态空间内，其初始值均设为零，RBF神经网络权值的调节律如下：

$\stackrel{\·}{\hat{W}}=\mathrm{\ΓS}\left(X\right)r-\mathrm{\σ\Γ}\hat{W}$

其中，Γ=Γ^T>0为设置的表示学习速率的常数矩阵，σ>0为设置的小常数。

6.根据权利要求4所述的方法，其特征在于步骤（3）所述的自适应神经网络控制器根据机械臂对期望周期轨迹的跟踪误差的大小选择控制增益Kv，跟踪误差越大，则所选择的控制增益越大，以使机械臂对期望周期轨迹的跟踪误差保持在设定的范围内。

7.根据权利要求4所述的方法，其特征在于步骤（4）所述常数神经网络的权值选取方式由下式表征：

$\stackrel{\‾}{W}=\underset{t\∈[t_a,t_b]}{\mathrm{mean}}\hat{W}\left(t\right)$

其中，t_b>t_a>T>0代表神经网络权值在完成向其最优值收敛的过渡过程之后的一个时间段，所述常数RBF神经网络是经验知识的表达，能够在沿周期轨迹的局部区域里准确逼近机械臂闭环系统中的未知动态。

Images