CN111258267B - 一种人机协作搬运系统及其混合视触控制方法 - Google Patents

Abstract

本发明提供一种人机协作搬运系统及其混合视触控制方法，通过获取协作机器人的机械臂与当前搬运物体之间的交互力信息，使用导纳控制生成当前搬运物体的期望位置；获取当前搬运物体的图像信息，利用视觉伺服控制生成当前搬运物体的期望姿态和高度；并基于径向基函数神经网络生成跟踪控制器，以控制协作机器人跟踪期望位置和期望姿态，令协作机器人协助操作者搬运物体。本发明能够令机器人在协作过程中具备决策与调整的能力，提高人机协作搬运的效率，降低操作者执行任务的专注度并节省操作者体力，提升工作效率。

Description

一种人机协作搬运系统及其混合视触控制方法

技术领域

本发明涉及自动控制技术领域，特别是指一种人机协作搬运系统及其混合视触控制方法。

背景技术

近些年来，智能机器人产业开始迅速发展，已经开始被广泛地应用于服务、娱乐、医疗等领域。越来越多的任务需要人与机器人协作完成，所以人机协作的相关问题得到了许多科研人员的高度重视，人机协作的相关问题如今已经成为了智能机器人控制领域的一个重要研究方向。

人机协作控制相比于传统机器人控制的一大难点就是既要借助机器人的功能特点来提高人机协作的工作效率，同时还要保证人与机器人交互过程的柔顺性、安全性和智能性。因此对人机协作过程中智能控制方法的研究尤为重要。

现有的人机协作控制方法中主要依靠于触觉信息(交互力/力矩)来实现人机协作任务，可以令机器人保持良好的柔顺性与安全性。然而这种单一的控制方法只能保证机器人可以跟随操作者的意图一起将物体协作移动到指定位置，在协作过程中机器人并不具备主动调整任务状态的能力，因此该种控制方法不够智能，并且现有的用于实现位置控制的控制器的控制效果还不够理想。这些问题都导致了机器人在人机协作过程中效率低下。

发明内容

本发明要解决的技术问题是提供一种人机协作搬运系统及其混合视触控制方法，以解决现有人机协作搬运系统在协作过程中机器人并不具备主动调整任务状态的能力，机器人在人机协作过程中效率低下的问题。

为解决上述技术问题，本发明提供如下技术方案：

一种人机协作搬运系统，所述人机协作搬运系统包括协作机器人，所述协作机器人上设置有深度摄像头和六维力/力矩传感器；所述协作机器人、深度摄像头和六维力/力矩传感器分别与控制装置通信连接；

其中，所述协作机器人用于利用机械臂与操作者协作搬运物体；所述六维力/力矩传感器用于获取所述机械臂与当前搬运物体之间的交互力信息；所述深度摄像头用于获取当前搬运物体的图像信息；

所述控制装置用于根据所述交互力信息和图像信息，生成当前搬运物体的期望位置和期望姿态；并基于径向基函数神经网络生成跟踪控制器，以控制协作机器人跟踪所述期望位置和期望姿态，令协作机器人协助操作者搬运物体。

进一步地，所述深度摄像头设置在所述协作机器人的头部，所述六维力/力矩传感器设置在所述协作机器人的腕关节处；所述控制装置包括第一计算机和第二计算机；所述深度摄像头与所述第一计算机通信连接；所述协作机器人和所述六维力/力矩传感器分别与所述第二计算机通信连接；所述第一计算机和所述第二计算机通信连接。

进一步地，所述第二计算机用于根据所述交互力信息，基于预设导纳模型，使用导纳控制生成当前搬运物体在选定坐标系的X轴和Y轴方向的期望坐标；

所述第一计算机用于根据所述图像信息，获取当前搬运物体上预设参照点的位置信息，并根据所述预设参照点的位置信息，利用视觉伺服控制生成当前搬运物体的期望姿态和当前搬运物体在所述选定坐标系的Z轴方向的期望坐标，并结合当前搬运物体在选定坐标系的X轴和Y轴方向的期望坐标，得到当前搬运物体在选定坐标系中的期望位置；

所述第二计算机还用于基于径向基函数神经网络生成跟踪控制器，以控制协作机器人跟踪所述期望位置和期望姿态，令协作机器人协助操作者搬运物体。

进一步地，所述第二计算机中加载的导纳模型的表现形式如下：

其中，p、

分别表示所述协作机器人当前的位置、速度和加速度；p_d、

分别表示想要得到的期望位置、速度和加速度；f_e表示所述机械臂与当前搬运物体之间的交互力；I、D、K为所述导纳模型的预设参数，分别表示所述导纳模型的惯性参数、阻尼参数和刚度参数。

进一步地，所述第一计算机具体用于：

通过所述深度摄像头获取当前搬运物体的彩色图像信息和深度图像信息；

将所述彩色图像信息和深度图像信息进行像素点映射，保证每个彩色像素点对应到其在深度图像上的信息，得到相应像素点在图片坐标系下的坐标位置；

通过图片坐标系与选定坐标系之间的映射与转换，得到彩色图像上任意一个像素点在所述选定坐标系下的位置信息；

根据所述预设参照点在所述选定坐标系下的位置信息，生成当前搬运物体的期望姿态和当前搬运物体在所述选定坐标系的Z轴方向的期望坐标，如下：

其中，φ_yd表示相对于初始平衡位置应该调整的当前搬运物体绕所述选定坐标系的Y轴旋转的角度；z_d表示相对于初始平衡位置应该调整的当前搬运物体在所述选定坐标系的Z轴方向的坐标；k_px、k_dx、k_py、k_dy为预设控制参数；x_b、y_b分别为所述预设参照点在所述选定坐标系的X轴和Y轴上的坐标；x_c、y_c分别为当前搬运物体的中心在所述选定坐标系的X轴和Y轴上的坐标。

进一步地，基于径向基函数神经网络生成的跟踪控制器的表现形式如下：

其中，f为对所述机械臂输入的控制力；z₁＝r₁-p_d，r₁＝p，p为所述协作机器人当前的位置，p_d为所述协作机器人的期望位置；K₂为控制增益矩阵；z₂＝r₂-α，

为所述协作机器人当前的速度，α为虚拟控制量；

为径向基函数神经网络；f_e为所述机械臂与当前搬运物体之间的交互力。

相应地，为解决上述技术问题，本发明还提供如下技术方案：

一种人机协作搬运系统混合视触控制方法，所述混合视触控制方法包括：

获取协作机器人的机械臂与当前搬运物体之间的交互力信息和当前搬运物体的图像信息；其中，所述图像信息包括彩色图像信息和深度图像信息；

根据交互力信息和图像信息，生成当前搬运物体的期望位置和期望姿态；

基于径向基函数神经网络生成跟踪控制器，以控制所述协作机器人跟踪所述期望位置和期望姿态，令所述协作机器人协助操作者搬运物体。

进一步地，所述生成当前搬运物体的期望位置和期望姿态，包括：

根据所述交互力信息，基于预设导纳模型，使用导纳控制生成当前搬运物体在选定坐标系的X轴和Y轴方向的期望坐标；其中，所述导纳模型如下：

其中，p、

分别表示所述协作机器人当前的位置、速度和加速度；p_d、

分别表示想要得到的期望位置、速度和加速度；f_e表示所述机械臂与当前搬运物体之间的交互力；I、D、K为所述导纳模型的预设参数，分别表示所述导纳模型的惯性参数、阻尼参数和刚度参数。

进一步地，所述生成当前搬运物体的期望位置和期望姿态，还包括：

将所述彩色图像信息和深度图像信息进行像素点映射，保证每个彩色像素点对应到其在深度图像上的信息，得到相应像素点在图片坐标系下的坐标位置；

通过图片坐标系与选定坐标系之间的映射与转换，得到彩色图像上任意一个像素点在所述选定坐标系下的位置信息；

根据所述预设参照点在所述选定坐标系下的位置信息，生成当前搬运物体的期望姿态和当前搬运物体在所述选定坐标系的Z轴方向的期望坐标，如下：

其中，φ_yd表示相对于初始平衡位置应该调整的当前搬运物体绕所述选定坐标系的Y轴旋转的角度；z_d表示相对于初始平衡位置应该调整的当前搬运物体在所述选定坐标系的Z轴方向的坐标；k_px、k_dx、k_py、k_dy为预设控制参数；x_b、y_b分别为所述预设参照点在所述选定坐标系的X轴和Y轴上的坐标；x_c、y_c分别为当前搬运物体的中心在所述选定坐标系的X轴和Y轴上的坐标；

结合当前搬运物体在所述选定坐标系的X轴和Y轴方向的期望坐标，得到当前搬运物体在选定坐标系中的期望位置。

进一步地，基于径向基函数神经网络生成的跟踪控制器的表现形式如下：

其中，f为对所述机械臂输入的控制力；z₁＝r₁-p_d，r₁＝p，p为所述协作机器人当前的位置，p_d为所述协作机器人的期望位置；K₂为控制增益矩阵；z₂＝r₂-α，

为所述协作机器人当前的速度，α为虚拟控制量；

为径向基函数神经网络；f_e为所述机械臂与当前搬运物体之间的交互力。

本发明的上述技术方案的有益效果如下：

1、本发明基于协作机器人，并搭配深度摄像头与六维力/力矩传感器搭建的人机协作搬运系统提高了协作机器人在协作过程中获取外界信息的能力，使得协作机器人具备了完成更加复杂协作任务的硬件基础；

2、本发明将传统的导纳控制与视觉伺服控制相结合设计的混合视触控制方法结合了这两种控制方法的优势，解决了特定的人机协作搬运任务下的人机协作搬运问题，提高了协作机器人的决策能力与适应能力；

3、本发明的混合视触控制方法相比传统的控制方法，利用径向基函数神经网络估计协作机器人的机械臂未知动力学模型，从而设计的位置跟踪控制方法对于协作机器人这种非线性控制系统具有良好的控制性能；

4、本发明的人机协作搬运系统及其混合视触控制方法使得协作机器人在协作搬运过程中主动调整当前搬运物的位置与姿态，从而保持当前搬运物体的稳定性，可以降低操作者执行任务的专注度并节省体力，提升工作效率。

附图说明

图1为本发明提供的人机协作搬运系统的系统框图；

图2为本发明提供的人机协作搬运系统的硬件装置结构示意图；

图3为本发明提供的人机协作搬运系统混合视触控制方法的逻辑流程图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

第一实施例

请参阅图1和图2，本实施例提供一种人机协作搬运系统，该系统包括协作机器人，该协作机器人的头部设置有深度摄像头，其机械臂的腕关节处设置有六维力/力矩传感器；其中，深度摄像头与第一计算机通信连接；协作机器人和六维力/力矩传感器分别与第二计算机通信连接；第一计算机和第二计算机之间通过User Datagram Protocol(UDP)协议进行通信。

具体地，本实施例中的协作机器人采用Baxter机器人，深度摄像头采用Kinect摄像头，六维力/力矩传感器采用Robotiq力/力矩传感器；利用3D打印技术做出可以连接各个设备之间的连接机构，并分别将Kinect摄像头以及Robotiq力/力矩传感器安装到Baxter机器人的头部与腕关节上。

其中，第一计算机用于控制Kinect摄像头，第二计算机用于同时控制Baxter机器人和Robotiq力/力矩传感器；Baxter机器人用于利用其机械臂与操作者协作搬运物体；Robotiq力/力矩传感器用于获取机械臂与当前搬运物体之间的交互力(触觉)信息；Kinect摄像头用于获取当前搬运物体的图像信息，包括彩色图像信息和深度图像信息；Baxter机器人和Robotiq力/力矩传感器使用Linux操作系统以及Robot Operating System(ROS操作系统)控制，可以随时接收Baxter机器人的末端位置信息与搬运过程中的交互力信息，并且可以实时对Baxter机器人发送命令消息。Kinect摄像头使用Windows系统以及OpenCV计算机视觉库控制，可以实时获取当前搬运物体的位置信息。

具体地，本实施例根据Robotiq力/力矩传感器采集到的交互力信息，基于预设导纳模型，使用导纳控制生成当前搬运物体在选定坐标系的期望位置；其中，用于生成机器人期望位置的导纳模型是根据任务要求事先设定好的，并且只生成当前搬运物体在选定坐标系的X轴和Y轴方向的期望位置。

与此同时，本实施例还根据Kinect摄像头采集到的图像信息，获取当前搬运物体上预设参照点的位置信息，并根据预设参照点的位置信息，利用视觉伺服控制生成当前搬运物体的期望姿态和期望高度；其中，视觉伺服控制只生成当前搬运物体在选定坐标系的Z轴方向的期望位置以及当前搬运物体绕选定坐标系的Y轴旋转的期望角度，并结合上述的当前搬运物体在选定坐标系的X轴和Y轴方向的期望坐标，得到当前搬运物体在选定坐标系中的期望位置；用于调整木板的位置与姿态以保证“板-球”系统在搬运过程中的稳定性。

最后基于径向基函数神经网络生成跟踪控制器，以控制协作机器人跟踪上述得到的期望位置和期望姿态，令协作机器人协助操作者搬运物体，并在搬运过程中防止木板上的球掉落，保证“板-球”系统的稳定性。

本实施例基于协作机器人，并搭配深度摄像头与六维力/力矩传感器搭建的人机协作搬运系统提高了协作机器人在协作过程中获取外界信息的能力，使得协作机器人具备了完成更加复杂协作任务的硬件基础；通过结合导纳控制与视觉伺服控制这两种控制方法，解决了特定的人机协作搬运任务下的人机协作搬运问题，提高了协作机器人的决策能力与适应能力。

第二实施例

如图3所示，本实施例提供一种人机协作搬运系统混合视触控制方法，该控制方法的应用场景为：通过机器人和操作者进行协作，对木板进行搬运，并且在木板上放置有一个圆球，圆球与木板之间为非固定关系，也即圆球可在木板上随意滚动(以下简称该系统为“板-球”系统)；基于此，本方法包括：

S101，获取协作机器人的机械臂与当前搬运物体之间的交互力信息和当前搬运物体的图像信息；其中，图像信息包括彩色图像信息和深度图像信息；

S102，根据交互力信息和图像信息，生成当前搬运物体的期望位置和姿态；

其中，需要说明的是，机器人在针对“板-球”系统进行协作搬运任务时应顺应操作者的移动意图。导纳控制可根据协作过程中的交互力和位置信息产生顺应操作者的期望位置。因此，S102使用导纳控制来实现柔顺交互的目的。

具体地，S102包括：根据交互力信息，基于预设导纳模型，使用导纳控制生成木板在机器人坐标系的X轴和Y轴方向的期望坐标；其中，需事先根据任务要求设定导纳模型的形式与参数，导纳模型的表现形式如下：

其中，p＝[x,y,z]^T、

分别表示协作机器人当前(X轴，Y轴与Z轴)的位置、速度和加速度；p_d＝[x_d,y_d,z_d]^T、

分别表示想要得到的期望位置、速度和加速度；f_e表示机械臂与当前搬运物体之间的交互力；I、D、K为导纳模型的参数，分别表示导纳模型的惯性参数、阻尼参数和刚度参数。

导纳控制可以令机器人在人机交互时表现出类似于弹簧的性质，不同的表达式和不同的参数设定可以实现不同的任务需求；实施过程中，利用Python语言进行编程，根据Robotiq力/力矩传感器获取到的交互力f_e、机器人反馈的当前位置p、速度

加速度

以及根据任务要求设定好的纳模型的参数I、D、K，就可以生成顺应操作者移动的期望位置(x_d,y_d,z_d)。其中，本实施例的导纳控制只产生在X轴(机器人坐标系)与Y轴(机器人坐标系)方向的期望位置，足以保证协作机器人可以跟随操作者柔顺地移动。

而在机器人跟随操作者移动的同时，为了使得在搬运过程中，机器人能够主动保持球在木板之上，本实施例的S102还包括以下过程：

将深度摄像头采集的彩色图像信息和深度图像信息进行像素点映射，保证每个彩色像素点对应到其在深度图像上的信息，得到相应像素点在图片坐标系下的坐标位置；通过对摄像头的标定来取得摄像机内参(f_x,f_y,c_x,c_y)；

通过摄像机图片坐标系到相机坐标系的转换公式(2)，得到相机坐标系下对应像素点的坐标信息：

其中，(u,v)为映射后像素点在深度图上的位置，z_d为该像素点的深度信息。

接下来再通过标定，获得相机坐标系与机器人坐标系的转换矩阵如下：

其中(x_i,y_i,z_i),i＝1,2,3,4为四个在机器人坐标系下并不具备线性关系的坐标点，(x_vi,y_vi,z_vi),i＝1,2,3,4为与上述相同的并不具备线性关系的四个在相机坐标系下的坐标点。通过这个矩阵T可以将得到的相机坐标系下的三维位置坐标(x_v,y_v,z_v)转换到机器人坐标系下的位置坐标(x,y,z)。

通过以上对不同坐标系之间的映射与转换，可以得到彩色图像上任何一个像素点在机器人坐标系下的位置信息(x,y,z)。

接下来就需要在图像中识别出球心的像素点，这样就可以通过以上步骤得到球的中心在机器人坐标系下的位置信息。

因为球在图片上每一个角度都近似于圆，所以本实施例对OpenCV计算机视觉库中的霍夫圆检测方法加以改进，在图像上识别出球所形成的圆的半径以及圆心位置信息，再通过已经得到的几个坐标系之间的映射关系，在搬运过程中实时获取到球在机器人坐标系下的位置信息。

在搬运过程中，Baxter机器人可以实时反馈机械臂的末端位置信息，再根据木板与机械臂末端之间的位置关系进行一个简单的转换，即可实时获取木板中心在机器人坐标系下的位置坐标(x_c,y_c,z_c)；

接下来即可得到球相对于木板中心的位置误差，根据搬运过程中小球相对于木板中心的误差，通过视觉伺服控制方法产生木板的期望高度(Z轴(机器人坐标系))与绕Y轴旋转的期望角度(机器人坐标系)如下：

其中，(x_b,y_b)为通过识别与定位获取到的球的中心位置坐标，k_px、k_dx、k_py、k_dy为预设控制参数；φ_yd与z_d为控制输出且分别为相对于初始平衡位置应该调整的木板高度与角度；视觉伺服控制的目的在于使得机器人可以主动调整木板的位置与姿态，保持球在木板之上，保证“板-球”系统的稳定性。

S103，基于径向基函数神经网络生成跟踪控制器，以控制协作机器人跟踪期望位置和期望姿态，令协作机器人协助操作者搬运物体。

径向基函数神经网络可以用来近似任意连续函数，正适合解决机器人这种非线性控制系统位置控制问题中的模型不确定性问题；通过上述S102生成了机器人的期望位置(x_d,y_d,z_d)与角度φ_yd，S103则是利用径向基函数神经网络设计一种位置跟踪控制器，利用径向基函数神经网络估计机械臂未知动力学模型，补偿控制器中的未知项，实现良好的跟踪控制效果，其实现原理如下：

n自由度的机器人系统在笛卡尔空间的动力学模型可表示为如下的公式:

其中，M(q)是正定对称惯性矩阵，

是向心力和科里奥利力矩阵，G(q)是重力矩阵，它们都是机器人动力学模型参数。q，

分别表示机器人运动的关节位置、关节速度和加速度，f是对机械臂输入的控制力，f_e代表交互力，当机器人和人以及环境之间无接触时，f_e为零。

令r₁＝p，

则此机器人系统的动力学模型可以描述为：

分别定义位置和速度的误差变量为z₁＝r₁-p_d和

其中p_d为机器人的期望位置。再定义一个误差变量z₂＝r₂-α，其中α为一个虚拟控制量，且定义

其中K₁是一个控制增益矩阵。通过复杂的设计与分析，将机器人的跟踪控制器设计为如下形式：

其中K₂也是一个控制增益矩阵，

是用于估计机械臂未知动力学模型的径向基函数神经网络，其中

为神经网络的输入向量，

为神经网络的实际估计权重，S(Z)为径向基函数如下：

其中μ_k为神经网络接受域的中心，η_k为高斯函数的宽度，l为神经网络的节点数。神经网络的估计形式表示如下：

其中，W^*是理想情况下的神经网络的估计权重，o为神经网络的估计误差。设计神经网络自适应率如下：

其中，σ_i是为了保证系统稳定而设定的很小的正常数。通过分析与实验可以保证本实施例中所设计的神经网络控制器具有良好的跟踪控制效果，可以对导纳控制与视觉伺服控制生成的期望位置与角度实现高精度跟踪。

本实施例通过导纳控制与视觉伺服控制相结合生成机器人在协作搬运过程中的期望位置与角度，再通过神经网络控制器对产生的期望位置与角度进行高精度位置跟踪，即可实现针对于“板-球”系统的人机协作搬运任务。

本实施例的控制方法结合了导纳控制、视觉伺服控制以及神经网络控制，对于人机协作搬运“板-球”系统的任务，本实施例的控制方法不仅满足了机器人协同操作者柔顺地搬运物体的要求，而且使得机器人在搬运过程中能够主动防止木板之上的球掉落，保证了“板-球”系统的稳定性。相比于传统的人机协作控制方法，本实施例的方法能够令机器人更加智能，令机器人在协作过程中具备决策与调整的能力，提高了人机协作搬运的效率，提升了机器人的主动性和参与度，降低操了作者执行任务的专注度并节省体力，提升了工作效率。

此外，需要说明的是，本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (2)

1.一种人机协作搬运系统，其特征在于，所述人机协作搬运系统包括协作机器人，所述协作机器人上设置有深度摄像头和六维力/力矩传感器；所述协作机器人、深度摄像头和六维力/力矩传感器分别与控制装置通信连接；

其中，所述协作机器人用于利用机械臂与操作者协作搬运物体；所述六维力/力矩传感器用于获取所述机械臂与当前搬运物体之间的交互力信息；所述深度摄像头用于获取当前搬运物体的图像信息；

所述控制装置用于根据所述交互力信息和图像信息，生成当前搬运物体的期望位置和期望姿态；并基于径向基函数神经网络生成跟踪控制器，以控制协作机器人跟踪所述期望位置和期望姿态，令协作机器人协助操作者搬运物体；

所述深度摄像头设置在所述协作机器人的头部，所述六维力/力矩传感器设置在所述协作机器人的腕关节处；所述控制装置包括第一计算机和第二计算机；所述深度摄像头与所述第一计算机通信连接；所述协作机器人和所述六维力/力矩传感器分别与所述第二计算机通信连接；所述第一计算机和所述第二计算机通信连接；

所述第二计算机用于根据所述交互力信息，基于预设导纳模型，使用导纳控制生成当前搬运物体在选定坐标系的X轴和Y轴方向的期望坐标；

所述第一计算机用于根据所述图像信息，获取当前搬运物体上预设参照点的位置信息，并根据所述预设参照点的位置信息，利用视觉伺服控制生成当前搬运物体的期望姿态和当前搬运物体在所述选定坐标系的Z轴方向的期望坐标，并结合当前搬运物体在选定坐标系的X轴和Y轴方向的期望坐标，得到当前搬运物体在选定坐标系中的期望位置；

所述第二计算机还用于基于径向基函数神经网络生成跟踪控制器，以控制协作机器人跟踪所述期望位置和期望姿态，令协作机器人协助操作者搬运物体；

所述第二计算机中加载的导纳模型的表现形式如下：

其中，p、

分别表示所述协作机器人当前的位置、速度和加速度；p_d、

分别表示想要得到的期望位置、速度和加速度；f_e表示所述机械臂与当前搬运物体之间的交互力；I、D、K为所述导纳模型的预设参数，分别表示所述导纳模型的惯性参数、阻尼参数和刚度参数；

所述第一计算机具体用于：

通过所述深度摄像头获取当前搬运物体的彩色图像信息和深度图像信息；

将所述彩色图像信息和深度图像信息进行像素点映射，保证每个彩色像素点对应到其在深度图像上的信息，得到相应像素点在图片坐标系下的坐标位置；

通过图片坐标系与选定坐标系之间的映射与转换，得到彩色图像上任意一个像素点在所述选定坐标系下的位置信息；

根据所述预设参照点在所述选定坐标系下的位置信息，生成当前搬运物体的期望姿态和当前搬运物体在所述选定坐标系的Z轴方向的期望坐标，如下：

其中，φ_yd表示相对于初始平衡位置应该调整的当前搬运物体绕所述选定坐标系的Y轴旋转的角度；z_d表示相对于初始平衡位置应该调整的当前搬运物体在所述选定坐标系的Z轴方向的坐标；k_px、k_dx、k_py、k_dy为预设控制参数；x_b、y_b分别为所述预设参照点在所述选定坐标系的X轴和Y轴上的坐标；x_c、y_c分别为当前搬运物体的中心在所述选定坐标系的X轴和Y轴上的坐标；

基于径向基函数神经网络生成的跟踪控制器的表现形式如下：

其中，f为对所述机械臂输入的控制力；z₁＝r₁-p_d，r₁＝p，p为所述协作机器人当前的位置，p_d为所述协作机器人的期望位置；K₂为控制增益矩阵；z₂＝r₂-α，

为所述协作机器人当前的速度，α为虚拟控制量；

为径向基函数神经网络；f_e为所述机械臂与当前搬运物体之间的交互力。

2.一种人机协作搬运系统混合视触控制方法，其特征在于，包括：

获取协作机器人的机械臂与当前搬运物体之间的交互力信息和当前搬运物体的图像信息；其中，所述图像信息包括彩色图像信息和深度图像信息；

根据交互力信息和图像信息，生成当前搬运物体的期望位置和期望姿态；

基于径向基函数神经网络生成跟踪控制器，以控制所述协作机器人跟踪所述期望位置和期望姿态，令所述协作机器人协助操作者搬运物体；

所述生成当前搬运物体的期望位置和期望姿态，包括：

根据所述交互力信息，基于预设导纳模型，使用导纳控制生成当前搬运物体在选定坐标系的X轴和Y轴方向的期望坐标；其中，所述导纳模型如下：

其中，p、

分别表示所述协作机器人当前的位置、速度和加速度；p_d、

分别表示想要得到的期望位置、速度和加速度；f_e表示所述机械臂与当前搬运物体之间的交互力；I、D、K为所述导纳模型的预设参数，分别表示所述导纳模型的惯性参数、阻尼参数和刚度参数；

所述生成当前搬运物体的期望位置和期望姿态，还包括：

将所述彩色图像信息和深度图像信息进行像素点映射，保证每个彩色像素点对应到其在深度图像上的信息，得到相应像素点在图片坐标系下的坐标位置；

通过图片坐标系与选定坐标系之间的映射与转换，得到彩色图像上任意一个像素点在所述选定坐标系下的位置信息；

根据所述预设参照点在所述选定坐标系下的位置信息，生成当前搬运物体的期望姿态和当前搬运物体在所述选定坐标系的Z轴方向的期望坐标，如下：

其中，φ_yd表示相对于初始平衡位置应该调整的当前搬运物体绕所述选定坐标系的Y轴旋转的角度；z_d表示相对于初始平衡位置应该调整的当前搬运物体在所述选定坐标系的Z轴方向的坐标；k_px、k_dx、k_py、k_dy为预设控制参数；x_b、y_b分别为所述预设参照点在所述选定坐标系的X轴和Y轴上的坐标；x_c、y_c分别为当前搬运物体的中心在所述选定坐标系的X轴和Y轴上的坐标；

结合当前搬运物体在所述选定坐标系的X轴和Y轴方向的期望坐标，得到当前搬运物体在选定坐标系中的期望位置；

基于径向基函数神经网络生成的跟踪控制器的表现形式如下：

其中，f为对所述机械臂输入的控制力；z₁＝r₁-p_d，r₁＝p，p为所述协作机器人当前的位置，p_d为所述协作机器人的期望位置；K₂为控制增益矩阵；z₂＝r₂-α，

为所述协作机器人当前的速度，α为虚拟控制量；

为径向基函数神经网络；f_e为所述机械臂与当前搬运物体之间的交互力。

Images