CN108029340A - 一种基于自适应神经网络的采摘机器人手臂及其控制方法 - Google Patents

Abstract

本发明公开了一种基于自适应神经网络的采摘机器人手臂及其控制方法，以实现采摘机器人快速采摘为目标，解决采摘机器人手臂控制方法及机器人视觉图像降噪的关键技术，实现采摘机器人的快速采摘。其控制方法采用RBF神经网络控制算法计算干扰，首先建立采摘手臂在理想条件下的动力学模型；然后根据系统存在的不确定项，设计自适应神经网络控制器来修正上述动力学模型；进而通过Lyapunov函数证明了该控制器的稳定性，并给出系统收敛条件；从而对机器人手臂进行负反馈控制和抵消干扰。本发明采摘机器人果实识别定位时间短，采摘效率高；其控制方法抗干扰性和自学习能力强，能够快速准确地估计并补偿模型的不确定项。

Description

一种基于自适应神经网络的采摘机器人手臂及其控制方法

技术领域

本发明涉及一种基于视觉伺服控制、自动化的采摘作业机器人手臂及其控制方法，尤其是一种基于自适应神经网络的采摘机器人手臂及其控制方法。

背景技术

伴随着科技技术的发展，农业机器人技术在科技的驱动下也日趋成熟，使得采摘机器人的发展也达到一个前所未有的高度。视觉系统作为采摘机器人的“眼睛”，用来进行环境感知以及实现果实目标物的识别和定位，能否准确、快速地识别出采摘目标物，直接影响着采摘机器人的可靠性和实时性，即影响着采摘机器人的采摘效率。因此，目标物的识别是采摘机器人的关键环节之一，也吸引着众多的学者关注，并取得了可喜的研究成果。

目前采摘机器人的技术开发主要有基于自主导航的控制方法。其中中国专利申请“一种可自主导航的履带式多手臂苹果采摘机器人”(申请号：2001610147863.0)，其方法是采用机器视觉模块、超声波壁障模块、GPS模块和导航控制模块组成导航系统，由履带式移动平台搭载多手臂，实现自主苹果采摘。上述现有技术的不足主要表现为：

(1)不能满足快速视觉伺服控制的要求。采摘机器人的作业环境相对复杂，采摘机器人视觉系统的精准、快速识别目标果实，仍是研究的难点和重点。为进一步提高采摘机器人果实的识别精度与速度，满足果实采摘作业的实时性需求，需进一步优化识别算法。

(2)不能自主的消除外界干扰。采摘机器人在进行果实采摘时，首先采摘机器人各模块初始化，其手臂靠近果树于适合距离；视频摄像头捕捉并获得目标果实的图像信息，图像处理软件进行背景消除、识别定位等，得出目标果实的位置信息。但果实不会一直处于稳定状态，外界作用力如自然界风力的作用会导致果实振荡的发生，从而不能精确定位。

(3)采摘过程中自身产生干扰。采摘过程中计算机驱动手臂运动，完成果实抓取、果实与果枝分离等采摘动作。然而，在采摘机器人进行果实与果枝分离的过程中，不管采用切断方式还是扭断方式，都会引起果树上其他果实的振荡。

(4)采摘效率不高。外界和自身产生的干扰会使得后续果实的识别定位时间变长，连续采摘间断，进而加长了果实采摘的整体时间，影响采摘机器人的采摘效率。

发明内容

本发明的目的在于针对现有技术的不足之处，提出一种基于自适应神经网络的采摘机器人手臂及其控制方法，它采用RBF神经网络控制算法计算干扰，首先，建立了采摘手臂在理想条件下的动力学模型。然后，根据系统存在的不确定项f，设计了自适应神经网络控制器来修正上述动力学模型。进而，通过Lyapunov函数证明了该控制器的稳定性，并给出了系统收敛条件。从而对机器人手臂进行负反馈控制，抵消干扰，解决了果实的识别定位时间变长，连续采摘间断，采摘效率不高的问题。

为解决上述技术问题，本发明采用以下技术方案。

本发明的一种基于自适应神经网络的采摘机器人手臂，其特征在于，包括固定在支撑平台的第一伺服电机、与第一伺服电机相邻的第二伺服电机、与第二伺服电机相连的大臂，与大臂相连的第三伺服电机、与第三伺服电机相连的小臂、小臂内联直动关节，位于小臂末端的末端执行器；在末端执行器下设置有一个收集带；所述的第一伺服电机控制手臂左右转动，第二伺服电机控制手臂前后转动，第三伺服电机控制末端执行器上下运动；上述三个伺服电机整体联动实现末端执行器在工作空间中进退任意方向；末端执行器用于采摘果实并放入收集带。

所述的小臂内部设置有直动关节，用于伸长末端执行器。

所述的末端执行器包括视觉传感器和扭转电机；视觉传感器安装在末端执行器手心内，是一种单目视觉系统，用于采集果实图像；所述的扭转电机可驱动末端执行器取下果实。

本发明的一种基于自适应神经网络的采摘机器人手臂控制方法，包括以下步骤：

(1)控制系统进行初始化；

(2)控制手臂各关节运动：在此过程中，采用RBF神经网络控制算法计算和补偿外界干扰，并建立采摘手臂在理想条件下的动力学模型；根据控制系统存在的不确定项f，设计自适应神经网络控制器修正所述动力学模型；通过Lyapunov函数证明自适应神经网络控制器的稳定性，并给出系统收敛条件；从而对采摘机器人手臂进行负反馈控制并抵消干扰，解决了果实的识别定位时间变长，连续采摘间断，采摘效率不高的问题。

(3)检测各关节驱动电机，即第一、第二、第三伺服电机的状态，并确认各电机都停止转动；若未停止则重新检测电机状态；

(4)在确保上述电机停止后，传输果实图像数据并更新目标果实与图像中心的偏差；

(5)若偏差在阈值范围内，则说明末端执行器距离目标果实很近，可结束手臂运动过程；若偏差很大，则需要再次进行步骤(1)-(5)。

在所述的RBF神经网络控制算法中，其自适应神经网络控制器参数的选取如下：ΔD、ΔC和ΔG的变化量为20％，反馈增益矩阵k_v＝6eye(7)，k_p＝9eye(7)，γ＝20，k₁＝0.001，高斯基函数的中心值及基宽度参数初始值分别取为0.6和3.0。

对于采摘机器人手臂，考虑外界干扰的情况下其动力学模型可表示为：

式中：D(q)为手臂的7×7阶正定惯性矩阵，为7×1阶离心力和哥氏力矢量，G(q)为7×1阶重力矢量，和q分别为7×1阶加速度、速度、位置矢量，τ为7×1阶控制输入力矩，d为7×1阶外界干扰项；

进一步的，所述的RBF神经网络控制算法可以表示为：

φ_i＝g(||x-c_i||²/b_i ²),i＝1,2,…,n (5)

上述公式(5)为RBF函数，其中:x和y分别为网络的输入、输出矢量，为径向基矢量，其中φ_i为高斯基函数，c_i＝[c_i1,c_i2,…,c_in]为网络第i个节点的中心矢量，b_i为节点i的基宽度参数，θ为网络的权矢量，T表示转置向量。

与现有技术相比，本发明具有以下优点和有益效果：

①提高了果实及障碍物识别定位的准确性和实时性，目标信息获取的误差和时延大幅减少；

②加强了多照度环境图像采集及预处理能力，以满足各种光照条件，特别是夜间机器采摘作业的需要；

③改进了视觉伺服控制方法，视觉伺服系统的控制更加快速准确；

④提高了避障及采摘路径规划的快速性，减少了机器采摘的无效作业时间。

附图说明

图1a是本发明的基于自适应神经网络的采摘机器人手臂的一种实施例结构示意图。

图1b是本发明基于自适应神经网络的采摘机器人手臂的一种实施例结构简图。

图2是本发明一种实施例的末端执行器中传感器分布图。

图3是本发明一种实施例的电气系统连接框图。

图4是本发明的基于自适应神经网络的采摘机器人手臂控制方法的一种实施例流程图。

图5本发明一种实施例手臂的空间运动仿真图。

图6是本发明一种实施例的末端执行器位置跟踪曲线图。

其中，1第一伺服电机，2第二伺服电机，3大臂，4第四伺服电机，5小臂，6小臂内联直动关节，7末端执行器，8收集带。

具体实施方式

本发明以实现采摘机器人快速采摘为目标，对采摘机器人机械手控制方法及机器人视觉图像降噪技术等关键问题进行研究，实现采摘机器人的快速采摘。与现有设备相比，该控制系统具有较好的抗干扰性和自学习能力，并且能够快速准确地估计并补偿模型的不确定项f。

本发明的一种基于自适应神经网络的采摘机器人手臂及其控制方法，其采摘机器人包括：行走装置、视觉系统、具有末端执行器的采摘机器人手臂和伺服控制系统，其中视觉系统是基础，主要用于实现目标和障碍物的识别和定位；末端执行器是采摘机器人的关键执行部件，是避开障碍物，实现果实采摘及其他附加功能的装置；视觉伺服控制系统主要用于对整个系统的控制；整个机器人的采摘速度与上述各部分工作性能密切相关。采用开放式控制系统的要求，采用标准化、模块化硬件构成采摘机器人控制系统。

其控制方法采用RBF神经网络控制算法计算干扰，首先，建立了采摘手臂在理想条件下的动力学模型。然后，根据系统存在的不确定项f，设计了自适应神经网络控制器来修正上述动力学模型。进而，通过Lyapunov函数证明了该控制器的稳定性，并给出了系统收敛条件。从而对机器人手臂进行负反馈控制，抵消干扰，解决了果实的识别定位时间变长，连续采摘间断，采摘效率不高的问题。

下面结合附图对本发明做进一步详细说明。

图1a是本发明的基于自适应神经网络的采摘机器人手臂的一种实施例结构示意图。图1b是本发明基于自适应神经网络的采摘机器人手臂的一种实施例结构简图。

如图所示，本发明实施例的基于自适应神经网络的采摘机器人手臂包括：固定在支撑平台的第一伺服电机1、与第一伺服电机1相邻的第二伺服电机2、与第二伺服电机2相连的大臂3，与大臂相连的第三伺服电机4、与第三伺服电机4相连的小臂5、小臂内联直动关节6，位于小臂末端的末端执行器7、在末端执行器下装有一个收集带8。其中第一伺服电机1控制手臂左右转动，第二伺服电机2控制手臂前后转动，第三伺服电机4控制末端执行器7上下运动，小臂内联直动关节6可伸长末端执行器7，各伺服电机整体联动下实现末端执行器7在工作空间中进退任意方向。末端执行器7用于采摘果实，采摘的果实放入收集带8。

该采摘机器人由于在机械结构上采用了直动关节6，从而在采摘过程中可以先在二维平面方向上调节手臂，使用直动关节6调节深度方向。这种独特的采摘方法可以避免求解雅可比矩阵，减少计算量，加快速度，同时也避免了伺服过程中容易进入其奇异点(由公式可推导出的点，但在实际情况中机器手臂无法完成)的状况。此外，末端执行器7采用大开度的类球形开合机构，可以适度补偿目标果实及机械本体的位置误差，旋转式果柄切割装置可以不用检测果实果柄的位置进而调整末端执行器的姿态即可让果实脱离树枝完成采摘，这样可以减少相应算法的复杂度，进一步减少系统计算量，加快速度。

图2是本发明一种实施例的末端执行器中传感器分布图。其末端执行器包括视觉传感器9、扭转电机10。末端执行器具有视觉感知能力，以使其能够处理目标物位置不确定的物理特性。视觉传感器采用Eye-in-hand安装方式，用来采集果实图像。末端执行器手心装有朝向前方的视觉传感器中，是一种单目视觉系统；工作时，控制系统首先根据单目视觉系统获取的目标果实二维位置信息调节手臂，实现图像中心向目标果实质心的运动。当末端执行器与目标果实接的距离满足条件时，扭转电机工作驱动末端执行器取下果实。

图3是本发明一种实施例的电气系统连接框图。视觉传感器的摄像头采集视觉信息传给控制系统，控制系统分析图像信息后控制第一伺服电机1、第二伺服电机2、第三伺服电机4、直动关节6、扭动电机10工作。

图4是本发明的基于自适应神经网络的采摘机器人手臂控制方法的一种实施例流程图。该实施例方法包括以下步骤：

①首先系统进行初始化，

②控制手臂各关节运动，

③检测各关节驱动电机(伺服电机1、2、4)的状态确认各电机都停止转动，如果未停止则重新检测电机状态，

④在确保电机停止后传输图像数据并更新目标果实与图像中心的偏差，

⑤若偏差在阈值范围内则说明手爪距离目标果实很近，便结束手臂运动过程，若偏差很大则需要再次进行该流程。

本发明实施例在上述步骤②中，采用RBF神经网络控制算法来补偿外界干扰。

本发明的控制器参数的选取如下：ΔD、ΔC和ΔG的变化量为20％，反馈增益矩阵k_v＝6eye(7)，k_p＝9eye(7)，γ＝20，k₁＝0.001，高斯基函数的中心值及基宽度参数初始值分别取为0.6和3.0。

对于采摘机器人手臂，考虑外界干扰的情况下其动力学模型可表示为：

式中：D(q)为手臂的7×7阶正定惯性矩阵，为7×1阶离心力和哥氏力矢量，G(q)为7×1阶重力矢量，和q分别为7×1阶加速度、速度、位置矢量，τ为7×1阶控制输入力矩，d为7×1阶外界干扰项。

假设采摘手臂的模型建模精确，且外界干扰d＝0，则力矩控制器可设计为：

式中：q_d为期望的位置矢量，误差矢量e＝q-q_d，k_v和k_p为反馈增益向量。

然而在现实应用中，采摘手臂的精确模型难以获得，即无法获知准确的D、C、G，只能间接地通过理想的名义模型来代替，即分别用D₀、C₀、G₀表示上述动力学模型。针对名义模型的控制器设计为：

将上式代入式中得：

式中：ΔD＝D₀-D，ΔC＝C₀-C，ΔG＝G₀-G。由式(4)可见，由于模型建模的不精确会产生不确定项f，导致不能得到稳定的闭环系统，从而使得控制性能下降。因此，需要对不确定项f进行估计。采取RBF神经网络对不确定项f进行自适应估计，以便实现在控制器中对其补偿。

RBF神经网络控制算法可以表示为：

φ_i＝g(||x-c_i||²/b_i ²),i＝1,2,…,n (5)

上述公式(5)为RBF函数，x和y分别为网络的输入、输出矢量，为径向基矢量，其中φ_i为高斯基函数，c_i＝[c_i1,c_i2,…,c_in]为网络第i个节点的中心矢量，b_i为节点i的基宽度参数，θ为网络的权矢量，T表示转置向量。

因此，采摘手臂中的不确定项f用RBF神经网络估计可设计为：

式中：为f(x)的RBF神经网络估计量，θ^*为f(x)的理想估计权矢量，η为神经网络的估计误差且有上界

将控制器修正为：

τ＝τ₁+τ₂ (9)

式中：τ₁为式(3)中所定义的名义模型的力矩控制器，τ₂为补偿控制器，定义如下：

式中：为θ*的估计值。将式(9)代入式(1)中，并结合式(3)和式(10)整理后可得：

将上式改写成误差状态方程，可描述为：

式中：

定义Lyapunov函数为：

式中：γ＞0，矩阵P为对称正定矩阵，且满足Lyapunov方程PA+A^TP＝-Q，其中Q≥0。对式(13)取导，并结合式(12)整理后得：

取自适应律为：

式中：k₁＞0。将上式代入式(14)得：

根据F范数的性质^[19]，有如下不等式成立：

由于||η^T||≤||η₀||，||B||＝1，且θ^*有界，取||θ^*||_F≤θ_max，则式(16)可继续化简为：

式中：λ_min(Q)为矩阵Q的最小特征值，λ_max(P)为矩阵P的最大特征值。

要使需要满足以下条件：

或

即收敛条件为：

或

从上述收敛条件可分析出：x的收敛半径的大小取决于Q、P的特征值以及建模误差的上界值η₀和θ_max，即当Q的特征值较大而P的特征值较小时，保证建模误差的上界值η₀和θ_max越小，x的收敛半径将越小，跟踪效果则越佳；同时，所采取的自适应律解决了神经网络权值的有界收敛性问题。根据RBF神经网络的局部逼近特性可知，本发明所提出的控制方案，不仅避免了局部极小值出现的问题，而且很大程度上提升了学习速度，因而适合于实时控制的要求，并且通过与自适应控制律相结合，也有效提高了系统的精度和鲁棒性。

本发明的技术方案经过实验验证，采摘机器人手臂的期望运动轨迹为：x_d(t)＝1+0.2cos(πt)，y_d(t)＝1，z_d(t)＝1+0.2sin(πt)。该轨迹是一个半径为0.2m、圆心在(1,1)的圆。初始条件时，手臂的末端执行器在圆的中心，且速度为零。手臂在实际运动过程中会受到四种外界干扰：

1)无干扰；

2)正弦干扰。正弦函数取d_i＝0.5sin t；

3)阶跃干扰。阶跃函数取d_i＝0.5δ(t-1)；

4)斜坡干扰：斜坡函数取d_i＝t。

图5本发明一种实施例手臂的空间运动仿真图。图6是本发明一种实施例的末端执行器位置跟踪曲线图。分别对上述工况在0～15秒时间内进行仿真分析后，如图5和6所示，可以看出本发明的控制系统在达到稳定状态后的误差较小，说明采用自适应神经网络控制方法，手臂能较好地实现轨迹控制，因此本发明抗干扰性能较好。

Claims (7)

1.一种基于自适应神经网络的采摘机器人手臂，其特征在于，包括固定在支撑平台的第一伺服电机、与第一伺服电机相邻的第二伺服电机、与第二伺服电机相连的大臂，与大臂相连的第三伺服电机、与第三伺服电机相连的小臂、小臂内联直动关节，位于小臂末端的末端执行器；在末端执行器下设置有一个收集带；所述的第一伺服电机控制手臂左右转动，第二伺服电机控制手臂前后转动，第三伺服电机控制末端执行器上下运动；上述三个伺服电机整体联动实现末端执行器在工作空间中进退任意方向；末端执行器用于采摘果实并放入收集带。

2.根据权利要求1所述的一种基于自适应神经网络的采摘机器人手臂，其特征在于，所述的小臂内部设置有直动关节，用于伸长末端执行器。

3.根据权利要求1所述的一种基于自适应神经网络的采摘机器人手臂，其特征在于，所述的末端执行器包括视觉传感器和扭转电机；视觉传感器安装在末端执行器手心内，是一种单目视觉系统，用于采集果实图像；所述的扭转电机可驱动末端执行器取下果实。

4.一种基于自适应神经网络的采摘机器人手臂控制方法，其特征在于，包括以下步骤：

(1)控制系统进行初始化；

(2)控制手臂各关节运动：在此过程中，采用RBF神经网络控制算法计算和补偿外界干扰，并建立采摘手臂在理想条件下的动力学模型；根据控制系统存在的不确定项f，设计自适应神经网络控制器修正所述动力学模型；通过Lyapunov函数证明自适应神经网络控制器的稳定性，并给出系统收敛条件；从而对采摘机器人手臂进行负反馈控制并抵消干扰，解决果实的识别定位时间变长，连续采摘间断，采摘效率不高的问题；

(3)检测各关节驱动电机，即第一、第二、第三伺服电机的状态，并确认各电机都停止转动；若未停止则重新检测电机状态；

(4)在确保上述电机停止后，传输果实图像数据并更新目标果实与图像中心的偏差；

(5)若偏差在阈值范围内，则说明末端执行器距离目标果实很近，可结束手臂运动过程；若偏差很大，则需要再次进行步骤(1)-(5)。

5.根据权利要求4所述的一种基于自适应神经网络的采摘机器人手臂控制方法，其特征是，在所述的RBF神经网络控制算法中，其自适应神经网络控制器参数的选取如下：ΔD、ΔC和ΔG的变化量为20％，反馈增益矩阵k_v＝6eye(7)，k_p＝9eye(7)，γ＝20，k₁＝0.001，高斯基函数的中心值及基宽度参数初始值分别取为0.6和3.0。

6.根据权利要求4所述的一种基于自适应神经网络的采摘机器人手臂控制方法，其特征是，在所述的RBF神经网络控制算法中，对于采摘机器人手臂，考虑外界干扰的情况下其动力学模型可表示为：

<mrow> <mi>D</mi> <mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo> </mrow> <mover> <mi>q</mi> <mo>&amp;CenterDot;&amp;CenterDot;</mo> </mover> <mo>+</mo> <mi>C</mi> <mrow> <mo>(</mo> <mi>q</mi> <mo>,</mo> <mover> <mi>q</mi> <mo>&amp;CenterDot;</mo> </mover> <mo>)</mo> </mrow> <mover> <mi>q</mi> <mo>&amp;CenterDot;</mo> </mover> <mo>+</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;tau;</mi> <mo>+</mo> <mi>d</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

式中：D(q)为手臂的7×7阶正定惯性矩阵，为7×1阶离心力和哥氏力矢量，G(q)为7×1阶重力矢量，和q分别为7×1阶加速度、速度、位置矢量，τ为7×1阶控制输入力矩，d为7×1阶外界干扰项。

7.根据权利要求4所述的一种基于自适应神经网络的采摘机器人手臂控制方法，其特征是，所述的RBF神经网络控制算法可以表示为：

<mrow> <msub> <mi>&amp;phi;</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>g</mi> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>/</mo> <msubsup> <mi>b</mi> <mi>i</mi> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>n</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

上述公式(5)为RBF函数，x和y分别为网络的输入、输出矢量，为径向基矢量，其中φ_i为高斯基函数，c_i＝[c_i1,c_i2,…,c_in]为网络第i个节点的中心矢量，b_i为节点i的基宽度参数，θ为网络的权矢量，T表示转置向量。