CN115122325A - 一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法 - Google Patents

Abstract

本发明公开了一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法，通过安装在机器人手腕的相机传感器采集工件上的二维码图像并发送给工控机；工控机实时识别图像特征以及生成7DOF机器人控制信号，并将该控制信号发送给机器人，完成对视觉特征点的跟踪；模仿人类7自由度手臂结构定义7DOF拟人机械臂的肩、肘和腕关节，计算臂角；将障碍李雅普诺夫函数与臂角相结合设计具有仿人特性的视觉伺服视场约束控制器，间接约束跟踪过程中特征点轨迹保留在相机视场范围内，同时机械臂能够实现基于臂角旋转的仿人运动，设计滑模力矩控制器驱动机器人到达期望特征位置，最后约束特征点不超出相机视野范围，提高视觉伺服任务成功率，以及实现仿人的臂角旋转运动。

Description

一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法

技术领域

本发明涉及机器人视觉引导技术领域，特别是涉及一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法。

背景技术

针对视觉伺服任务过程中视觉特征丢失问题的研究工作已经提出许多。一些研究工作试图使用路径规划来避免图像特征轨迹超出相机FOV。有学者设计了在虚拟图像平面中定义的图像矩的轨迹，以解决四旋翼飞行器的基于图像的控制任务。还有学者通过对相机的速度旋量进行参数化，并通过所提出的深度估计技术提供精确的初始深度，从而克服了视觉伺服的缺点，开发了一种轨迹规划算法。混合视觉伺服方案也被应用于约束特征点不超出相机视场范围。有学者设计了一个控制框架，该框架结合了基于位置和基于图像的视觉伺服的优势，以控制配备机械臂的飞行器，而不会在操作过程中丢失特征。有学者针对移动机器人的视觉伺服提出了一种新的无线混合控制算法，该混合算法利用基于位置的视觉伺服(PBVS)方法进行全局路由，利用IBVS方法进行精细导航。上述策略可以保证视觉伺服任务过程中的视场约束，但存在大量的在线非线性优化问题，其在机器人系统中的实时可行性值得怀疑。

障碍李雅普诺夫函数近年来被广泛用于约束非线性系统的性能，在李雅普诺夫稳定性分析过程中直接给出了控制律。有学者采用BLF来确保单输入输出非线性系统保持在输出约束范围内。受这些想法的启发，为解决上述缺陷并保证视觉伺服任务的成功，考虑将BLF与基于图像的视觉伺服相结合，以约束图像特征点停留在FOV内并保证视觉伺服系统的稳定性。

另一个问题是由于机器人系统建模不准确而导致的系统动力学不确定性，影响了视觉伺服控制系统的稳定性和控制精度。针对这个问题已经提出了各种解决方案，滑模控制是提高控制系统鲁棒性的可行方法。有学者提出一种结合滑模控制(SMC)和Takagi-Sugeno模糊系统模型的控制方法，可以有效补偿机器人系统的非线性扰动和不确定性。有学者设计了一种快速集成终端滑模控制，以处理机器人机械手的系统不确定性。在这项研究中，提出了与IBVS相结合的SMC控制定律，以处理7-DOF冗余机器人操纵器的不确定性。

针对现有技术中视觉伺服存在视觉特征丢失从而导致视觉引导任务失败，以及系统建模带来的不确定性问题，提出本申请的专利。

发明内容

针对以上技术问题，本发明提供了一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法。

本发明解决其技术问题采用的技术方案是：

一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法，方法包括以下步骤：

步骤S100：利用N点法对视觉伺服系统进行标定，得到相机与末端坐标系之间的转换关系；

步骤S200：结合机械臂动态模型、视觉系统动态模型以及相机与末端坐标系之间的转换关系建立机器人视觉伺服系统整体动态模型；

步骤S300：相机实时获取工件上的二维码图像，将二维码图像发送至工控机，工控机提取二维码图像的四个角点作为当前特征点，根据当前特征点和预设的期望特征点得到特征点位置误差向量；

步骤S400：模仿7DOF人类手臂的特点选择机械臂的肩关节、肘关节以及腕关节，计算臂角的大小，利用零空间投影将臂角投影到机械臂零空间，通过臂角与零空间关节角速度之间的映射关系得出零空间关节角速度，根据零空间关节角速度和特征点位置误差向量，结合障碍李雅普诺夫函数设计具有仿人特性的视觉伺服视场约束控制器，得到期望关节角速度；

步骤S500：获取当前关节角速度，根据期望关节角速度和当前关节角速度得到关节角速度误差向量，根据期望关节角速度和当前关节角速度误差向量，结合障碍李雅普诺夫函数设计机器人力矩控制器，并引入滑模控制对机器人模型未知参数变量进行补偿，得到控制信号；

步骤S600：将控制信号发送给机器人，驱动机器人到达期望特征点位置并保证特征点轨迹不超出相机视场范围，机械臂在视觉引导过程中同时进行模仿人类臂角的旋转运动。

优选地，步骤S100包括：

步骤S110：准备一个带有N个点的标定板；

步骤S120：将标定板随机姿态放置在摄像头下方；

步骤S130：利用RealSense相机拍摄标定板图像；

步骤S140：计算图像中N个圆点的圆心像素坐标；

步骤S150：以四元数形式记录此时Sawyer机械臂末端执行器的三维位姿；

步骤S160：重复步骤S120-S150一共12次；

步骤S170：解算2D-3D数据，求出一组标定板与相机之间的坐标转换关系^cT_o；

步骤S180：根据^cT_o，计算相机与机械臂末端坐标系的转换关系，具体为：

^BT_e2×^eT_c2×^c2T_o＝^BT_e1×^eT_c1×^c1T_o

其中，^BT_e1和^BT_e2分别为机械臂两组末端位姿相对于机械臂基座的坐标转换关系矩阵，^c1T_o和^c2T_o分别为机械臂两组不同末端位姿下相机与标定板之间的坐标转换关系，^eT_c1和^eT_c2分别为所求的机械臂末端执行器与相机之间的坐标转换关系，满足^eT_c1＝^eT_c2；

步骤S190：根据坐标变换关系等式求出机械臂末端与相机坐标系之间的转换关系^eT_c具体为：

优选地，步骤S200包括：

步骤S210：通过机械臂末端与相机坐标系之间的转换关系求出相机速度与末端速度之间转换关系矩阵，具体为：

步骤S220：特征点速度与相机速度之间存在如下关系：

其中，

为特征点速度，L为图像交互矩阵，V_c为相机速度；

机械臂关节角速度与末端速度存在转换关系，具体为：

其中，V_e为机械臂末端执行器速度，J_q∈R^6×n为机械臂雅可比矩阵；通过机械臂末端与相机之间的速度转换矩阵W_ce，有V_c＝W_ceV_e，可以得到视觉系统动态模型，具体为：

其中，J_s＝LW_ceJ_q为任务雅可比矩阵；

步骤S230：N连杆的刚性机器人系统的动力学模型，具体为：

其中，

分别表示关节角位置、关节角速度和关节角加速度变量，τ∈Rⁿ是转矩控制输入变量，M(q)∈R^n×n是机器人的惯性矩阵，

是向心力和科氏力矩阵，G(q)∈Rⁿ表示引力矩阵；

机械臂动态模型可表示为：

步骤S240：结合视觉系统动态模型，得到视觉伺服系统整体动态模型，具体为：

其中z为相机到特征点的深度信息；

优选地，步骤S300中根据当前特征点和预设的期望特征点得到特征点位置误差向量，具体为：

z₁＝s-s_d

s＝(u_i,v_i)^T,s_d＝(u_id,v_id)^T,i＝1,2,...,m

其中，z₁为特征点位置误差向量，s为当前特征点，s_d为期望特征点。

优选地，步骤S400包括：

步骤S410：选取障碍李雅普诺夫候选函数V₁为：

其中，k_a1＝[k_a11,k_a12,...,k_a1i]^T，i＝1,2,...,2m为图像特征点误差向量z₁＝[z₁₁,z₁₂,...,z_1v]^T∈R^v,v＝2m的约束边界；

步骤S420：对V₁进行对时间的微分，得到：

特征点z₁误差关于时间的导数为

带入

并引入图像特征位置约束，设计α为：

其中，

为任务雅可比矩阵J_s的Moore-Penrose伪逆形式，k₁＝[k₁₁,k₁₂,...,k_1i]^T,i＝1,2,...,n为正常数；

步骤S430：选取Sawyer七自由度拟人机械臂的关节1为肩关节(S)，关节3为肘关节(E)，关节6为腕关节(W)，计算臂角ψ：

其中，

表示从机械臂的基座到肩部的矢量，

是机械臂从肩部到肘部的矢量，

是机械臂从肩部到手腕的矢量，

是从机器人的肘部到手腕的矢量；

步骤S440：计算步骤S430所提到的三个关节组成的臂角平面线速度方向向量l_ψ∈R^3×1，具体为：

步骤S450：利用臂角与零空间关节角速度的映射关系J_E，得到零空间关节角速度

表达式：

其中，J_E∈R^3×3表示臂角与零空间关节速度之间的映射关系，该映射关系J_E是从机器人的肘部到底座计算的，

是臂角ψ的微分；

步骤S460：通过机器人雅可比矩阵的零空间投影关系，得到具有臂角运动的视觉伺服视场约束控制器，将视觉伺服视场约束控制器α重写为：

其中，I∈R^6×n为单位矩阵；

优选地，步骤S500包括：

步骤S510：选取障碍李雅普诺夫候选函数V₂如下：

步骤S520：对V₂进行时间的微分，得到

表达式以便分析系统稳定性与后续设计力矩控制器：

步骤S530：根据期望关节角速度和当前关节角速度误差向量，结合障碍李雅普诺夫函数设计机器人力矩控制器τ使系统稳定：

步骤S540：利用基于视觉伺服的滑模控制补偿力矩控制器中机器人未知参数项

增强系统鲁棒性，基于视觉伺服视场约束控制器设计滑模面，滑模力矩控制器设计为：

其中，

和k₂＝[k₂₁,k₂₂,...,k_2i]^T,i＝1,2,...,n为正常数。

上述一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法，相机传感器用于采集工件上的二维码图像并发送给工控机；工控机实时识别图像特征以及生成7DOF机器人控制信号，并将该控制信号通过局域网络发送给机器人，完成对于视觉特征点的跟踪；为了让机械臂具备仿人特性，模仿人类7自由度手臂结构，定义7DOF拟人机械臂的肩关节、肘关节以及腕关节，计算臂角；将障碍李雅普诺夫函数与臂角相结合设计具有仿人特性的视觉伺服视场约束控制器，间接约束跟踪过程中特征点轨迹保留在相机视场范围内，同时机械臂能够实现基于臂角旋转的仿人运动；设计滑模(SMC)力矩控制器驱动机器人到达期望特征位置，滑模控制用于处理机器人建模以及相机系统模型重建带来的系统不确定性，增强系统的鲁棒性；本发明最后能够约束特征点不超出相机视野范围，提高视觉伺服任务成功率，以及实现仿人的臂角旋转运动，为人机协作提供更多可能性。

附图说明

图1为本发明一实施例中一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法流程图；

图2为本发明一实施例中视觉伺服系统软硬件平台架构图；

图3为本发明一实施例中定义在Sawyer机器人上的臂角示意图；

图4为本发明一实施例中视觉伺服视野约束控制方法执行效果示意图，其中，图(a)是经典视觉伺服控制方法与PID控制方法下的执行效果，图(b)是视觉伺服视场约束控制器与滑模力矩控制器下的执行效果；

图5为本发明一实施例中臂角值变化曲线。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

在一个实施例中，如图1所示，一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法，方法包括以下步骤：

步骤S100：利用N点法对视觉伺服系统进行标定，得到相机与末端坐标系之间的转换关系。

在一个实施例中，步骤S100包括：

步骤S110：准备一个带有N个点的标定板；

步骤S120：将标定板随机姿态放置在摄像头下方；

步骤S130：利用RealSense相机拍摄标定板图像；

步骤S140：计算图像中N个圆点的圆心像素坐标；

步骤S150：以四元数形式记录此时Sawyer机械臂末端执行器的三维位姿；

步骤S160：重复步骤S120-S150一共12次；

步骤S170：解算2D-3D数据，求出一组标定板与相机之间的坐标转换关系^cT_o；

步骤S180：根据^cT_o，计算相机与机械臂末端坐标系的转换关系，具体为：

^BT_e2×^eT_c2×^c2T_o＝^BT_e1×^eT_c1×^c1T_o

其中，^BT_e1和^BT_e2分别为机械臂两组末端位姿相对于机械臂基座的坐标转换关系矩阵，^c1T_o和^c2T_o分别为机械臂两组不同末端位姿下相机与标定板之间的坐标转换关系，^eT_c1和^eT_c2分别为所求的机械臂末端执行器与相机之间的坐标转换关系，满足^eT_c1＝^eT_c2。

步骤S190：根据坐标变换关系等式求出机械臂末端与相机坐标系之间的转换关系^eT_c，具体为：

进一步地，在步骤S100之前，还包括步骤S000：搭建视觉伺服系统软硬件平台。具体如图2所示，Sawyer机器人的末端执行器配备了RealSenseD435i摄像头，采用眼在手结构。视觉部分包含RealSenseD435i摄像头、AprilTag二维码和视觉伺服平台(ViSP)。AprilTag图像由RealSenseD435i摄像头在线捕获并发送到ViSP。ViSP对标签进行解码，提取AprilTag的角点坐标作为特征点，计算视觉部分控制律。Sawyer机器人的力矩水平控制器是通过Intera_SDK实现。Intera_SDK和ViSP在配备Ubuntu18.04和ROSmelodic的计算机上运行。由于编程语言不兼容，因此使用ROS话题来传输两个编程平台之间交互的数据。

步骤S200：结合机械臂动态模型、视觉系统动态模型以及相机与末端坐标系之间的转换关系建立机器人视觉伺服系统整体动态模型。

在一个实施例中，步骤S200包括：

步骤S210：通过机械臂末端与相机坐标系之间的转换关系求出相机速度与末端速度之间转换关系矩阵，具体为：

步骤S220：特征点速度与相机速度之间存在如下关系：

其中，

为特征点速度，L为图像交互矩阵，V_c为相机速度；

机械臂关节角速度与末端速度存在转换关系，具体为：

其中，V_e为机械臂末端执行器速度，J_q∈R^6×n为机械臂雅可比矩阵；通过机械臂末端与相机之间的速度转换矩阵W_ce，有V_c＝W_ceV_e，可以得到视觉系统动态模型，具体为：

其中，J_s＝LW_ceJ_q为任务雅可比矩阵；

步骤S230：N连杆的刚性机器人系统的动力学模型，具体为：

其中，

分别表示关节角位置、关节角速度和关节角加速度变量，τ∈Rⁿ是转矩控制输入变量，M(q)∈R^n×n是机器人的惯性矩阵，

是向心力和科氏力矩阵，G(q)∈Rⁿ表示引力矩阵；

机械臂动态模型可表示为：

步骤S240：结合视觉系统动态模型，得到视觉伺服系统整体动态模型，具体为：

其中，z为相机到特征点的深度信息；

步骤S300：相机实时获取工件上的二维码图像，将二维码图像发送至工控机，工控机提取二维码图像的四个角点作为当前特征点，根据当前特征点和预设的期望特征点得到特征点位置误差向量。

在一个实施例中，步骤S300中根据当前特征点和预设的期望特征点得到特征点位置误差向量，具体为：

z₁＝s-s_d

s＝(u_i,v_i)^T,s_d＝(u_id,v_id)^T,i＝1,2,...,m其中，z₁为特征点位置误差向量，s为当前特征点，s_d为期望特征点。

具体地，z₁＝[z₁₁,z₁₂,...,z_1v]^T∈R^v,v＝2m，其中z_1(v-1)＝u_m-u_md,z_1v＝v_m-v_md，因此s＝(u_i,v_i)^T的维数为m，z的维数为2m。

相机视野下拍摄的二维码图像，利用VISP视觉伺服算法库处理AprilTag图像，提取二维码四个角点为特征点。

步骤S400：模仿7DOF人类手臂的特点选择机械臂的肩关节、肘关节以及腕关节，计算臂角的大小，利用零空间投影将臂角投影到机械臂零空间，通过臂角与零空间关节角速度之间的映射关系得出零空间关节角速度，根据零空间关节角速度和特征点位置误差向量，结合障碍李雅普诺夫函数设计具有仿人特性的视觉伺服视场约束控制器，得到期望关节角速度。

在一个实施例中，步骤S400包括：

步骤S410：选取障碍李雅普诺夫候选函数V₁为：

其中，k_a1＝[k_a11,k_a12,...,k_a1i]^T，i＝1,2,...,2m为图像特征点误差向量z₁＝[z₁₁,z₁₂,...,z_1v]^T∈R^v,v＝2m的约束边界。

具体地，为了推动约束IBVS任务的过程，应用障碍李雅普诺夫函数设计IBVS控制策略并选择BLF候选函数。

步骤S420：对V₁进行对时间的微分，得到：

特征点z₁误差关于时间的导数为

带入

并引入图像特征位置约束，设计α为：

其中，

为任务雅可比矩阵J_s的Moore-Penrose伪逆形式，k₁＝[k₁₁,k₁₂,...,k_1i]^T,i＝1,2,...,n为正常数；

步骤S430：选取Sawyer七自由度拟人机械臂的关节1为肩关节(S)，关节3为肘关节(E)，关节6为腕关节(W)，计算臂角ψ：

其中，

表示从机械臂的基座到肩部的矢量，

是机械臂从肩部到肘部的矢量，

是机械臂从肩部到手腕的矢量，

是从机器人的肘部到手腕的矢量。

具体地，图3为臂角示意图，为了冗余机械臂完成具有FOV约束的视觉伺服任务时同时具备仿人特性，采用臂角来完成仿人控制。臂角ψ由实际平面(SEW)和参考平面(BSW)围绕轴

所成的夹角组成。

步骤S440：计算步骤S430所提到的三个关节组成的臂角平面线速度方向向量l_ψ∈R^3×1，具体为：

步骤S450：利用臂角与零空间关节角速度的映射关系J_E，得到零空间关节角速度

表达式：

其中，J_E∈R^3×3表示臂角与零空间关节速度之间的映射关系，该映射关系J_E是从机器人的肘部到基座计算的，

是臂角ψ的微分。

针对视觉伺服任务，提出视觉伺服视场约束控制器

来跟踪所需的特征点坐标并将其限制在相机FOV中，其表示为：

其中，k₁＝[k₁₁,k₁₂,...,k_1i]^T,i＝1,2,...,n为正常数，

表示驱动机械臂达到指定位置所需的关节速度。

步骤S460：通过机器人雅可比矩阵的零空间投影关系，得到具有臂角运动的视觉伺服视场约束控制器，将视觉伺服视场约束控制器α重写为：

其中，I∈R^6×n为单位矩阵；具体地，设计了具备仿人臂角运动的视觉伺服视场约束控制器如上，可稳定视觉伺服系统并约束相机视场中的图像特征点，并引入了仿人的臂角旋转运动。

步骤S500：获取当前关节角速度，根据期望关节角速度和当前关节角速度得到关节角速度误差向量，根据期望关节角速度和当前关节角速度误差向量，结合障碍李雅普诺夫函数设计机器人力矩控制器，并引入滑模控制对机器人模型未知参数变量进行补偿，得到控制信号。

具体地，根据期望关节角速度和当前关节角速度得到关节角速度误差向量，具体为：

其中，

为当前关节角速度，α为期望关节角速度，z₂为关节角速度误差向量。

在一个实施例中，步骤S500包括：

步骤S510：选取障碍李雅普诺夫候选函数V₂如下：

步骤S520：对V₂进行时间的微分，得到

表达式以便分析系统稳定性与后续设计力矩控制器：

步骤S530：根据期望关节角速度和关节角速度误差向量，结合障碍李雅普诺夫函数设计机器人力矩控制器τ使系统稳定：

具体地，力矩控制器中的

项未知，会导致控制性能差。存在一种基于机器人机械手的参数矢量，以满足

其中，

是已知联合变量的回归矩阵，存在上限

满足

是描述机械臂质量的未知常数参数矢量，上限

满足

为了克服这个问题并提高控制精度，定义

作为滑模面。

步骤S540：利用基于视觉伺服的滑模控制补偿力矩控制器中机器人未知参数项

增强系统鲁棒性，基于视觉伺服视场约束控制器设计滑模面为

滑模力矩控制器设计为：

其中，

和k₂＝[k₂₁,k₂₂,...,k_2i]^T,i＝1,2,...,n为正常数。

步骤S600：将控制信号发送给机器人，驱动机器人到达期望特征点位置并保证特征点轨迹不超出相机视场范围，机械臂在视觉引导过程中同时进行模仿人类臂角的旋转运动。

具体地，根据所设计的控制器在工控机中编写相关程序，计算控制变量。首先将提取出的当前特征点图像坐标以及图像交互矩阵L打包为ROS话题的形式发送到Intera_SDK编程平台，编写具有仿人行为的视觉伺服视场约束控制器与滑模力矩控制器，调试机器人找到合适的控制参数以及约束边界，最终将控制量通过局域网发送给机械臂控制机器人到达期望特征点位置，并同时完成仿人臂角旋转运动。

图4是实验效果展示，图4(a)代表经典视觉伺服与PID力矩控制器进行视觉伺服引导实验，虚线框代表相机视场范围，可以看出特征点1和2都超出了视场范围，代表视觉伺服任务失败，图4(b)是本发明的验证结果，所有特征点都被约束在相机的视场范围内，验证了本发明的有效性。图5为臂角运动过程中臂角的值变化曲线。

与现有技术相比，本发明的优点在于：(1)开发与基于图像的视觉伺服(IBVS)控制相结合的仿人控制算法，通过机械臂运动学实现类似人手臂的旋转运动，使人机协作能够用于大多数典型的工业串行机械手；(2)障碍李雅普诺夫函数被创新地引入设计视觉伺服控制。使用视场约束控制器，视觉伺服系统的控制变量在满足视场(FOV)约束的同时，全部限制在BLF形成的约束范围内，提高了视觉伺服任务的成功率；(3)本发明针对7自由度冗余机械臂系统存在的动态不确定性，在提高视觉伺服系统稳定性的同时，提出一种IBVS组合滑模控制律，提高了机器人视觉伺服系统的鲁棒性。

本发明公开了一种适用于具有视场约束和臂角运动的拟人化机械手鲁棒视觉伺服控制方法，该系统由7自由度(DOF)机械手和安装在末端执行器上的相机传感器(眼在手)以及工控机组成，相机传感器用于采集工件上的二维码图像并发送给工控机；工控机实时识别图像特征以及生成7DOF机器人控制信号，并将该控制信号通过局域网络发送给机器人，完成对于视觉特征点的跟踪；为了让机械臂具备仿人特性，模仿人类7自由度手臂结构，定义7DOF拟人机械臂的肩关节、肘关节以及腕关节，计算臂角；将障碍李雅普诺夫函数与臂角相结合设计具有仿人特性的视觉伺服视场约束控制器，间接约束跟踪过程中特征点轨迹保留在相机视场范围内，同时机械臂能够实现基于臂角旋转的仿人运动；设计滑模(SMC)力矩控制器驱动机器人到达期望特征位置，滑模控制用于处理机器人建模以及相机系统模型重建带来的系统不确定性，增强系统的鲁棒性；本发明最后能够约束特征点不超出相机视野范围，提高视觉伺服任务成功率，以及实现仿人的臂角旋转运动，为人机协作提供更多可能性。

以上对本发明所提供的一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法，其特征在于，所述方法包括以下步骤：

步骤S100：利用N点法对视觉伺服系统进行标定，得到相机与末端坐标系之间的转换关系；

步骤S200：结合机械臂动态模型、视觉系统动态模型以及所述相机与末端坐标系之间的转换关系建立机器人视觉伺服系统整体动态模型；

步骤S300：相机实时获取工件上的二维码图像，将所述二维码图像发送至工控机，所述工控机提取所述二维码图像的四个角点作为当前特征点，根据所述当前特征点和预设的期望特征点得到特征点位置误差向量；

步骤S400：模仿7DOF人类手臂的特点选择机械臂的肩关节、肘关节以及腕关节，计算臂角的大小，利用零空间投影将所述臂角投影到机械臂零空间，通过所述臂角与零空间关节角速度之间的映射关系得出零空间关节角速度，根据所述零空间关节角速度和所述特征点位置误差向量，结合障碍李雅普诺夫函数设计具有仿人特性的视觉伺服视场约束控制器，得到期望关节角速度；

步骤S500：获取当前关节角速度，根据所述期望关节角速度和所述当前关节角速度得到关节角速度误差向量，根据所述期望关节角速度和所述当前关节角速度误差向量，结合障碍李雅普诺夫函数设计机器人力矩控制器，并引入滑模控制对机器人模型未知参数变量进行补偿，得到控制信号；

步骤S600：将所述控制信号发送给机器人，驱动机器人到达期望特征点位置并保证特征点轨迹不超出相机视场范围，机械臂在视觉引导过程中同时进行模仿人类臂角的旋转运动。

2.根据权利要求1所述的方法，其特征在于，步骤S100包括：

步骤S110：准备一个带有N个点的标定板；

步骤S120：将标定板随机姿态放置在摄像头下方；

步骤S130：利用RealSense相机拍摄标定板图像；

步骤S140：计算图像中N个圆点的圆心像素坐标；

步骤S150：以四元数形式记录此时Sawyer机械臂末端执行器的三维位姿；

步骤S160：重复步骤S120-S150一共12次；

步骤S170：解算2D-3D数据，求出一组标定板与相机之间的坐标转换关系^cT_o；

步骤S180：根据所述^cT_o，计算相机与机械臂末端坐标系的转换关系，具体为：

^BT_e2×^eT_c2×^c2T_o＝^BT_e1×^eT_c1×^c1T_o

其中，^BT_e1和^BT_e2分别为机械臂两组末端位姿相对于机械臂基座的坐标转换关系矩阵，^c1T_o和^c2T_o分别为机械臂两组不同末端位姿下相机与标定板之间的坐标转换关系，^eT_c1和^eT_c2分别为所求的机械臂末端执行器与相机之间的坐标转换关系，满足^eT_c1＝^eT_c2；

步骤S190：根据坐标变换关系等式求出机械臂末端与相机坐标系之间的转换关系^eT_c，具体为：

3.根据权利要求1所述的方法，其特征在于，步骤S200包括：

步骤S210：通过所述机械臂末端与相机坐标系之间的转换关系求出相机速度与末端速度之间转换关系矩阵，具体为：

步骤S220：特征点速度与相机速度之间存在如下关系：

其中，

为特征点速度，L为图像交互矩阵，V_c为相机速度；

机械臂关节角速度与末端速度存在转换关系，具体为：

其中，V_e为机械臂末端执行器速度，J_q∈R^6×n为机械臂雅可比矩阵；通过机械臂末端与相机之间的速度转换矩阵W_ce，有V_c＝W_ceV_e，可以得到视觉系统动态模型，具体为：

其中，J_s＝LW_ceJ_q为任务雅可比矩阵；

步骤S230：N连杆的刚性机器人系统的动力学模型，具体为：

其中，q,

分别表示关节角位置、关节角速度和关节角加速度变量，τ∈Rⁿ是转矩控制输入变量，M(q)∈R^n×n是机器人的惯性矩阵，

是向心力和科氏力矩阵，G(q)∈Rⁿ表示引力矩阵；

机械臂动态模型可表示为：

步骤S240：结合所述视觉系统动态模型，得到视觉伺服系统整体动态模型，具体为：

其中z为相机到特征点的深度变量。

4.根据权利要求3所述的方法，其特征在于，步骤S300中根据所述当前特征点和预设的期望特征点得到特征点位置误差向量，具体为：

z₁＝s-s_d

s＝(u_i,v_i)^T,s_d＝(u_id,v_id)^T,i＝1,2,...,m

其中，z₁为特征点位置误差向量，s为当前特征点，s_d为期望特征点。

5.根据权利要求4所述的方法，其特征在于，步骤S400包括：

步骤S410：选取障碍李雅普诺夫候选函数V₁为：

其中，k_a1＝[k_a11,k_a12,...,k_a1i]^T，i＝1,2,...,2m为图像特征点误差向量z₁＝[z₁₁,z₁₂,...,z_1v]^T∈R^v,v＝2m的约束边界；

步骤S420：对V₁进行对时间的微分，得到：

特征点z₁误差关于时间的导数为

带入

并引入图像特征位置约束，设计α为：

其中

为任务雅可比矩阵J_s的Moore-Penrose伪逆形式，k₁＝[k₁₁,k₁₂,...,k_1i]^T,i＝1,2,...,n为正常数；

步骤S430：选取Sawyer七自由度拟人机械臂的关节1为肩关节(S)，关节3为肘关节(E)，关节6为腕关节(W)，计算臂角ψ：

其中，

表示从机械臂的基座到肩部的矢量，

是机械臂从肩部到肘部的矢量，

是机械臂从肩部到手腕的矢量，

是从机器人的肘部到手腕的矢量；

步骤S440：计算步骤S430所提到的三个关节组成的臂角平面线速度方向向量l_ψ∈R^3×1，具体为：

步骤S450：利用臂角与零空间关节角速度的映射关系J_E，得到零空间关节角速度

表达式：

其中，J_E∈R^3×3表示臂角与零空间关节速度之间的映射关系，该映射关系J_E是从机器人的肘部到底座计算的，

是臂角ψ的微分；

步骤S460：通过机器人雅可比矩阵的零空间投影关系，得到具有臂角运动的视觉伺服视场约束控制器，将视觉伺服视场约束控制器α重写为：

其中，I∈R^6×n为单位矩阵。

6.根据权利要求5所述的方法，其特征在于，步骤S500包括：

步骤S510：选取障碍李雅普诺夫候选函数V₂如下：

步骤S520：对V₂进行时间的微分，得到

表达式以便分析系统稳定性与后续设计力矩控制器：

步骤S530：根据所述期望关节角速度和所述当前关节角速度误差向量，结合障碍李雅普诺夫函数设计机器人力矩控制器τ使系统稳定：

步骤S540：利用基于视觉伺服的滑模控制补偿力矩控制器中机器人未知参数项

增强系统鲁棒性，基于视觉伺服视场约束控制器设计滑模面，滑模力矩控制器设计为：

其中，

和k₂＝[k₂₁,k₂₂,...,k_2i]^T,i＝1,2,...,n为正常数。

Images