CN110355754B - 机器人手眼系统、控制方法、设备及存储介质 - Google Patents

Abstract

本发明提出了一种机器人手眼系统、控制方法、设备及存储介质，系统包括机械臂、扫描器处理单元和控制单元。机械臂的自由端设有用于对目标物件进行操作；扫描器安装在机械臂上，用于扫描目标物件以获取目标物件在第二坐标系下的三维点云数据；处理单元，根据目标物件的三维点云数据及第一坐标系和第二坐标系的转换关系获取所述操作件基于第一坐标系的移动目标位置；控制单元根据目标物件的目标位置，控制机械臂带动操作件移动到目标位置，并控制操作件对目标物件进行操作。本发明技术方案免去了通过二维图像推算三维位姿的复杂运算和局限性，简化了视觉引导的计算量，提升了视觉引导的可靠性，拓展了应用领域。

Description

机器人手眼系统、控制方法、设备及存储介质

技术领域

本发明涉及机器人控制技术领域，尤其涉及一种机器人手眼系统、控制方法、设备及存储介质。

背景技术

早在1960年，有很多美国科学家提出了机器视觉技术，并进行了深入的研究，最有代表性的美国学者是L.R.罗伯兹，提出了利用机器技术来进行缺陷检测，创建模板进行建模、匹配等技术。从20世纪80年代起，机器人视觉技术才正式地被众多学者研究，试图开发新视觉技术使机器人具体良好的对环境的感知能力，通过获取所处环境信息来配合完成工作。

现有的机器人视觉引导技术采用的是二维摄像头，根据一个或多个摄像头成像的数据识别物体，并计算物体的位姿，二维摄像头成像的数据不具备深度信息，要求解物体的位姿只能对多个角度的成像数据进行复杂的相机标定；此外，二维摄像头识别物体依赖于成像数据中像素值的差异，这就要求物体与背景在成像数据中必须有显著不同的明暗对比或颜色差异，否则就可能分辨不出物体轮廓或发生误判，特别是对不便于修改颜色和环境光线的场景，更难于可靠地识别物体并进行视觉引导。

发明内容

本发明的目的在于提供一种机器人手眼系统、控制方法、设备及存储介质，以解决现有技术中采用二维摄像头难以可靠地识别物体并进行视觉引导的问题。

为了解决上述问题，本发明提供一种机器人手眼系统，系统包括：

机械臂，其具有第一坐标系；上述机械臂的自由端设有操作件，上述操作件用于对目标物件进行操作；

扫描器，安装在机械臂上，上述扫描器具有第二坐标系；上述扫描器用于扫描目标物件以获取上述目标物件在上述第二坐标系下的三维点云数据；

处理单元，根据上述目标物件的三维点云数据及第一坐标系和第二坐标系的转换关系获取所述操作件基于第一坐标系的移动目标位置；

控制单元，用于根据上述目标物件的上述目标位置，控制上述机械臂带动上述操作件移动到上述目标位置，并控制上述操作件对上述目标物件进行操作。

在一个实施例中，上述处理单元获取上述操作件基于第一坐标系的移动目标位置的方式为：

上述处理单元将上述目标物件基于上述第二坐标系的三维点云数据转换成基于上述第一坐标系的三维点云数据，再根据转换坐标系后的三维点云数据获取上述操作件的移动目标位置；或

上述处理单元根据上述目标物件基于上述第二坐标系的三维点云数据获取上述操作件基于第二坐标系的移动目标位置，再根据上述第一坐标系和上述第二坐标系的转换关系，将上述操作件基于第二坐标系的移动目标位置转换成基于第一坐标系的移动目标位置。

在一个实施例中，上述操作件为抓握器，用于对上述目标物件进行抓握动作。

在一个实施例中，装在上述机械臂上。

在一个实施例中，上述处理单元将坐标转换前或坐标转换后的上述目标物件的三维点云数据转换成空间姿态图像，以获得上述抓握器的抓握位置。

在一个实施例中，上述目标物件为圆筒，上述处理单元根据上述空间姿态图像获取上述目标物件的顶点坐标和轴线向量，上述处理单元根据上述顶点坐标和上述轴线向量计算出上述抓握器的平移量和旋转角度，上述控制单元根据上述平移量和上述旋转角度控制上述抓握器进行移动，以对上述目标物件进行抓握。

本发明还提供另一种机器人手眼系统，系统包括：

机械臂；

扫描器，与上述第一坐标系的原点相对静止，上述扫描器用于扫描目标物件以获取上述目标物件在第二坐标系下的图像数据；

抓握器，固定在上述机械臂末端，上述抓握器用于抓握上述目标物件；

处理单元，用于将上述目标物件在第二坐标系下的图像数据转换成在上述第一坐标系下的图像数据，上述处理单元将转换后的上述目标物件的图像数据拟合成上述目标物件的空间姿态图像，获取上述目标物件在上述第一坐标系下的具体抓握参数；

控制单元，用于根据上述目标物件的上述具体抓握参数，控制上述抓握器移动到抓握位置，并控制上述抓握器对上述目标物件进行抓握动作。

在一个实施例中，上述目标物件为轴对称物体，上述抓握参数包括上述目标物件在上述第一坐标系下的顶点坐标及轴线向量。

在一个实施例中，上述处理单元根据上述顶点坐标和上述轴线向量计算出上述抓握器的平移量和旋转角度，上述控制单元根据上述平移量和上述旋转角度控制上述抓握器进行移动，以对上述目标物件件进行抓握。

本发明还提供一种机器人手眼系统的控制方法，方法包括：

通过上述扫描器获取目标物件的基于第二坐标系的三维点云数据，上述第二坐标系为扫描器的坐标系；

将上述三维点云数据中的点坐标转换成第一坐标系下的点坐标，上述第一坐标系为机械臂的坐标系；

根据上述目标物件在上述第一坐标系下的点坐标获取上述目标物件的抓握参数；

根据上述抓握参数获取上述抓握器的平移量和旋转角度，并根据上述平移量和上述旋转角度控制上述抓握器进行移动，以对上述目标物件进行抓握。

在一个实施例中，上述抓握目标为圆管，上述抓握器为圆管抓握装置。

在一个实施例中，上述机器人手眼系统的控制方法还包括：

将上述抓握器的轴线设置成与上述第一坐标系中的x轴平行；

将上述抓握器的轴线上的瞄准点设置为机械臂的工具中心点。

在一个实施例中，上述第二坐标系和第一坐标系是通过变换矩阵转换，包括：

根据变换矩阵通过以下公式将上述目标物件的三维点云数据中的每一个点坐标转换成上述第一坐标系下的点坐标：

b＝M·a；

其中，M为变换矩阵，a为三维点云数据中每一个点的齐次坐标，b为第一坐标系下每一个点的齐次坐标。

在一个实施例中，上述抓握参数包括上述目标物件的顶点坐标和轴线向量，根据上述目标物件在上述第一坐标系下的点坐标获取上述目标物件的顶点坐标和轴线向量，包括：

对上述目标物件在上述第一坐标系下的点坐标进行姿态拟合，得到上述目标物件的顶点坐标和轴线向量。

本发明还提供一种计算机设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其特征在于，上述处理器执行上述计算机程序时实现如上述方法的步骤。

本发明还提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，其特征在于，上述计算机程序被处理器执行时实现上述方法的步骤。

根据本发明的再一方面，提供一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述机器人手眼系统控制方法的步骤。

根据本发明的又一方面，提供一种计算机存储介质，包括至少一条可执行指令，上述可执行指令是处理器执行上述机器人手眼系统控制方法对应的操作。

本发明技术方案运用可扫描三维点云数据的三维扫描器来替代二维摄像头作为机器人的视觉引导系统，能够通过单个角度扫描就获得具有深度信息的三维点云，将目标物件的三维点云数据进行特征拟合，得到目标物件的位姿等三维特征量，直接作为机器人可执行的运动指令，通过执行该运动指令即可以准确抓握目标物件，本发明技术方案免去了通过二维图像推算三维位姿的复杂运算和局限性，简化了视觉引导的计算量，提升了视觉引导的可靠性，拓展了应用领域，特别是在医疗手术领域中进行广泛的应用。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种机器人手眼系统的结构示意图；

图2是本发明实施例一提供的一种机器人手眼系统的元件关系图；

图3是本发明实施例二提供的一种机器人手眼系统的结构图；

图4是本发明实施例二提供的一种机器人手眼系统的元件关系图；

图5是图3中的机器人手眼系统的标定示意图；

图6是图3中的机器人手眼系统的抓握器位置移动过程图；

图7是图3中的机器人手眼系统的抓握器抓握动作的示意图；

图8是本发明提供的一种机器人手眼系统的控制方法的流程图；

图9是本发明提供的一种机器人手眼系统的控制方法的另一流程图；

图10是图9中的步骤S10的子流程图；

图11是图9中的步骤S10的另一子流程图；

图12是本发明实施例三提供的种机器人控制装置的结构示意图；

图13是本发明实施例四提供的种机器人控制装置的又一结构示意图；

图14为本发明实施例五提供的计算机设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明的技术方案，下面通过具体实施例来进行说明。

图1是本发明实施例一提供的一种机器人手眼系统的结构示意图机器人。

图2是本发明实施例一提供的一种机器人手眼系统的元件关系图。请参照图1和图2，手眼系统包括机械臂1、操作件3、3D扫描器4、处理单元6和控制单元7。机械臂1具有第一坐标系。操作件3固定在机械臂1的自由端用于对目标物件8进行操作。在本实施例中，操作件3为抓握器，对目标物件8进行抓握操作。操作件3也可以是钻刀、刺针等，对目标物件8进行钻孔、穿刺等操作。

扫描器4，安装在机械臂1上，其具有第二坐标系；扫描器4用于扫描目标物件8以获取上述目标物件8在第二坐标系下的三维点云数据。扫描器4可以为激光扫描器，通过以扫描器4为中心，向通过激光脉冲测距的方法测量目标物件上目标点到扫描仪中心点的距离，进而获取目标物件在扫描器坐标系下的三维点云数据，例如，当通过控制扫描器4对目标物件进行激光扫描，并检测到目标物件中可以区分属于每一帧激光线的激光数据点，可以将三维点云数据以二维数组的形式存储，并且使每个激光点和灰度图的像素点一一对应；将获得的激光三维点云数据存入二维数组中，使得二维数组的每一列激光点属于同一帧激光线。

处理单元6，根据目标物件8的三维点云数据及第一坐标系和第二坐标系的转换关系获取操作件3的移动目标位置。处理单元获取操作件基于第一坐标系的移动目标位置的一种方式为：处理单元将目标物件基于第二坐标系的三维点云数据转换成基于第一坐标系的三维点云数据，再根据转换坐标系后的三维点云数据获取操作件的移动目标位置。

处理单元获取操作件基于第一坐标系的移动目标位置的另一种方式为：处理单元根据目标物件基于第二坐标系的三维点云数据获取操作件基于第二坐标系的移动目标位置，再根据第一坐标系和第二坐标系的转换关系，将操作件基于第二坐标系的移动目标位置转换成基于第一坐标系的移动目标位置。处理单元将坐标转换前或坐标转换后的目标物件的三维点云数据转换成空间姿态图像，以获得抓握器的抓握位置。

控制单元7，用于根据目标物件8的目标位置，控制机械臂1带动操作件3移动到目标位置，并控制操作件3对目标物件8进行操作。

本实施例的机器人手眼系统，运用可扫描三维点云数据的三维扫描器来替代二维摄像头作为机器人的视觉引导系统，能够通过单个角度扫描就获得具有深度信息的三维点云数据，将目标物件的三维点云数据进行特征拟合，得到目标物件的位姿等空间姿态图像，直接作为机械臂可执行的运动指令，通过执行该运动指令即可以准确抓握目标物件，免去了通过二维图像推算三维位姿的复杂运算和局限性，简化了视觉引导的计算量，提升了视觉引导的可靠性，拓展了应用领域。

在一个实施例中，机器人手眼系统应用到医疗设备领域，机械臂1的自由端还设有穿刺针或者粒子束流针，目标物件为套管针。扫描器获取套管针的基于第二坐标系的三维点云数据。处理单元根据套管针的三维点云数据及第一坐标系和第二坐标系的转换关系，获取抓握器的抓握位置(目标位置)。控制单元接收处理单元处理结果后，控制机械臂带动抓握器到达抓握位置(抓握位置)抓握套管针。

图3是本发明实施例二提供的一种机器人手眼系统的结构图。图4是本发明实施例二提供的一种机器人手眼系统的元件关系图。请同时参照图3和图4，机器人手眼系统包括：

机械臂1，其具有一连接部及机械臂坐标系(第一坐标系)；

扫描器4，安装在机械臂1上，扫描器4具有扫描器坐标系(第二坐标系)。扫描器4用于扫描目标物件以获取目标物件在扫描器坐标系下的三维点云数据，扫描器坐标系与机械臂坐标系通过转换矩阵转换坐标；

抓握器3，固定在机械臂1的连接部，抓握器3用于抓握目标物件；

处理单元6，用于将目标物件在扫描器坐标系下的三维点云数据转换成在机械臂坐标系下的三维点云数据，处理单元6将转换后的目标物件的三维点云数据转换成目标物件的空间姿态图像，获取目标物件在机械臂坐标系下的具体抓握参数；

控制单元7，用于根据目标物件的具体抓握参数，控制抓握器3移动到抓握位置，并控制抓握器3对目标物件进行抓握动作。

其中，扫描器4安装在机械臂1上，扫描器4可以为激光扫描器，通过以扫描器4为中心，向通过激光脉冲测距的方法测量目标物件上目标点到扫描仪中心点的距离，进而获取目标物件在扫描器坐标系下的三维点云数据，例如，当通过控制扫描器4对目标物件进行激光扫描，并检测到目标物件中可以区分属于每一帧激光线的激光数据点，可以将三维点云数据以二维数组的形式存储，并且使每个激光点和灰度图的像素点一一对应；将获得的激光三维点云数据存入二维数组中，使得二维数组的每一列激光点属于同一帧激光线。

其中，抓握器3固定在机械臂1的连接部，可以通过机械臂1带动抓握器3运动到指定位置，抓握器3可以根据控制信号执行夹紧动作，进而抓握目标物件。

其中，处理单元6用于对扫描器坐标系和机械臂坐标系进行坐标变换，可以采用转换矩阵在扫描器坐标系与机械臂坐标系之间转换坐标。请参照图5，转换矩阵可以是按转换规则预先设置的也可以采用标定件来获取转换矩阵，标定件可以是包括三个及以上标定特征的标定件，优选地，标定特征为圆球等形状对称规则物体。处理单元6根据转换矩阵将扫描器4所获取的目标物件在扫描器坐标系下的三维点云数据转换成在机械臂1工具坐标系下的三维点云数据，对目标物件在机械臂坐标系下的点坐标进行姿态拟合得到目标物件的空间姿态图像，再根据空间姿态图像的位置坐标与机械臂1的中心点坐标进行计算即可得到目标物件在机械臂坐标系下的具体抓握参数。

其中，在获取目标物件的具体抓握参数后，控制单元7根据具体抓握参数控制机械臂1带动抓握器3执行相应的平移和旋转指令后，使抓握器3移动到抓握位置，并控制抓握器3对目标物件进行抓握动作以抓取目标物件。

机器人手眼系统，运用可扫描三维点云数据的三维扫描器来替代二维摄像头作为机器人的视觉引导系统，能够通过单个角度扫描就获得具有深度信息的三维点云数据，将目标物件的三维点云数据进行特征拟合，得到目标物件的位姿等空间姿态图像，直接作为机械臂可执行的运动指令，通过执行该运动指令即可以准确抓握目标物件，免去了通过二维图像推算三维位姿的复杂运算和局限性，简化了视觉引导的计算量，提升了视觉引导的可靠性，拓展了应用领域，特别是在医疗手术领域中进行广泛的应用。

作为一种实施方式，如图3所示，连接部为机械臂1的末端法兰2，抓握器3固定在机械臂1的末端法兰2上，机械臂1坐标系为机械臂1末端法兰坐标系，机械臂1运动时，扫描器4相对机械臂1静止，扫描器4固定安装在机械臂1上，也可以通过抓握器3安装在机械臂1上。

请参照图6和图7，进一步的，抓握器3的轴线与法兰坐标系的x轴平行，抓握器3的瞄准点为机械臂1的工具中心点，进而可以根据机械臂1的工具中心点和获取机械臂1末端法兰坐标系中目标物件的位置坐标获取具体抓握参数。

进一步的，目标物件为轴对称物体，抓握参数包括目标物件在法兰坐标系下的顶点坐标及轴线向量。

具体的，对目标物件在机械臂1工具坐标系下的点坐标进行姿态拟合，得到目标物件的顶点坐标和方向向量。

其中，根据目标物件在机械臂1工具坐标系下的点坐标获取面方程，根据面方程获取目标物件的顶点坐标和方向向量，例如，当目标物件为圆柱体时，进行圆柱拟合获取圆柱的曲面方程，根据曲面方程获取圆柱体的顶点坐标和轴线向量。

进一步的，处理单元6根据顶点坐标和轴线向量计算出抓握器3的平移量和旋转角度，控制单元7根据平移量和旋转角度控制抓握器3进行移动，以对目标物件进行抓握。

具体的，请参照图6和图7，根据以下公式计算抓握器3在机械臂1工作坐标系下沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C：

其中，t_x、t_y、t_z为圆柱的顶点坐标，S_x、S_y、S_z为工具中心点坐标，V_x、V_y、V_z为圆柱的轴线向量。

根据平移量X、Y、Z和旋转角度A、B、C形成运动指令(X，Y，Z，A，B，C)。

执行运动指令，以对目标物件进行抓握，根据抓握器3的平移量和旋转角度生成运动指令，根据该运动指令先对抓握器3及扫描器4进行旋转运动指令中的角度后，在根据运动指令中的平移量沿某个坐标轴进行平移，即可以将抓握器3移动到目标物件的位置，再控制抓握器3执行抓握动作，可以夹紧目标物件。

本发明实施例三提供一种机器人手眼系统，请一并参考图3、图4和图5所示，机器人手眼系统包括：

机械臂1，具有机械臂坐标系(第一坐标系)；

扫描器4，与机械臂坐标系的原点相对静止，扫描器4用于扫描目标物件以获取目标物件在扫描器坐标系(第二坐标系)下的图像数据；

抓握器3，固定在机械臂1末端，抓握器3用于抓握目标物件；

处理单元6，用于将目标物件在扫描器坐标系下的图像数据转换成在机械臂坐标系下的图像数据，处理单元6将转换后的目标物件的图像数据拟合成目标物件的空间姿态图像，获取目标物件在法兰坐标系下的具体抓握参数；

控制单元7，用于根据目标物件的具体抓握参数，控制抓握器3移动到抓握位置，并控制抓握器3对目标物件进行抓握动作。

其中，扫描器4与机械臂1分离设置，并与机械臂坐标系的原点相对静止，扫描器4获取目标物件在扫描器坐标系下的图像数据，通过提取图像数据的特征点进而获取目标物件在扫描器坐标系下的三维点云数据，可以将三维点云数据以二维数组的形式存储。

其中，抓握器3固定在机械臂1末端，可以通过机械臂1带动抓握器3运动到指定位置，抓握器3可以根据控制信号执行夹紧动作，进而抓握目标物件。

其中，处理单元6用于对扫描器坐标系和机械臂1工具坐标系进行坐标变换，可以采用转换矩阵在扫描器坐标系与机械臂坐标系之间转换坐标，转换矩阵可以按预设规则设置好也可以采用标定件获取转换矩阵，标定件可以是包括三个及以上标定特征的标定件，优选地，标定特征为圆球等形状对称规则物体。处理单元6根据转换矩阵将扫描器4所获取的目标物件在扫描器坐标系下的三维点云数据转换成在机械臂1工具坐标系下的三维点云数据，对目标物件在机械臂1工具坐标系下的点坐标进行姿态拟合得到目标物件的空间姿态图像，再根据空间姿态图像的位置坐标与机械臂1的中心点坐标进行计算即可得到目标物件在机械臂坐标系下的具体抓握参数。

其中，在获取目标物件的具体抓握参数后，控制单元7根据抓握参数控制机械臂1带动抓握器3执行相应的平移和旋转指令后，使抓握器3移动到抓握位置，并控制抓握器3对目标物件进行抓握动作以夹取目标物件。

本发明实施例提供一种机器人手眼系统，运用扫描器获取目标物件的图像数据，对图像数据进行特征点提取获取目标物件的三维点云数据，将目标物件的三维点云数据进行特征拟合，得到目标物件的位姿等空间姿态图像，直接作为机械臂可执行的运动指令，通过执行该运动指令即可以准确抓握目标物件，免去了通过二维图像推算三维位姿的复杂运算和局限性，简化了视觉引导的计算量，提升了视觉引导的可靠性，拓展了应用领域，特别是在医疗手术领域中进行广泛的应用。

作为一种实施方式，连接部为机械臂1的末端法兰，抓握器3固定在机械臂1的末端法兰，机械臂1工作坐标系为机械臂1末端法兰坐标系，机械臂1运动时，扫描器4相对机械臂1静止。

进一步的，抓握器3的轴线与法兰坐标系的x轴平行，抓握器3的瞄准点为机械臂1的工具中心点，进而可以根据机械臂1的工具中心点和获取机械臂1末端法兰坐标系中目标物件的位置坐标获取具体抓握参数。

进一步的，目标物件为轴对称物体，抓握参数包括目标物件在法兰坐标系下的顶点坐标及轴线向量。

具体的，对目标物件在机械臂1工具坐标系下的点坐标进行姿态拟合，得到目标物件的顶点坐标和轴线向量。

其中，根据目标物件在机械臂1工具坐标系下的点坐标获取面方程，根据面方程获取目标物件的顶点坐标和方向向量，例如，当目标物件为圆柱体时，进行圆柱拟合获取圆柱的曲面方程，根据曲面方程获取圆柱体的顶点坐标和轴线向量。

进一步的，处理单元6根据顶点坐标和轴线向量计算出抓握器3的平移量和旋转角度，控制单元7根据平移量和旋转角度控制抓握器3进行移动，以对目标物件件进行抓握。

具体的，根据以下公式计算抓握器3在机械臂1工作坐标系下沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C：

其中，t_x、t_y、t_z为圆柱的顶点坐标，S_x、S_y、S_Z为工具中心点坐标，V_x、V_y、V_Z为圆柱的轴线向量。

根据平移量X、Y、Z和旋转角度A、B、C形成运动指令(X，Y，Z，A，B，C)。

执行运动指令，以对目标物件进行抓握，根据抓握器3的平移量和旋转角度生成运动指令，根据该运动指令先对抓握器3及扫描器4进行旋转运动指令中的角度后，在根据运动指令中的平移量沿某个坐标轴进行平移，即可以将抓握器3移动到目标物件的位置，再控制抓握器3执行抓握动作，可以夹紧目标物件。

本发明提供一种机器人手眼系统的控制方法，如图8所示，控制方法包括：

步骤S20.通过扫描器获取目标物件的三维点云数据。

在步骤S20中，通过控制机械臂或者扫描器对目标物件进行激光扫描，当检测到目标物件的边缘在扫描器的有效视野覆盖范围外时，继续调整机械臂或者扫描器或者提示用户将目标物件移动至扫描器的有效视野覆盖范围内，通过扫描器对目标物件进行激光扫描，激光扫描器可以和控制系统之间进行数据通信，激光扫描器采集将目标物件的三维点云数据信息，三维点云数据可以区分属于每一帧激光线的激光数据点，控制系统可以将三维点云数据以二维数组的形式存储，并且使每个激光点和灰度图的像素点一一对应；将获得的激光三维点云数据存入二维数组中，使得二维数组的每一列激光点属于同一帧激光线。

进一步的，如图9所示，步骤S20之前还包括：

步骤S10.设置第二坐标系和第一坐标系，并获取第二坐标系和第一坐标系之间的变换矩阵。

在步骤S10中，抓握器3设置在机械臂1的末端法兰2上，扫描器4可以设置在抓握器3上，也可以设置在机械臂1上，例如，将扫描器3设置在机械臂的末端关节上，扫描器4的位置在此不做具体限定，获取变换矩阵需要设置标定件，标定件可以为各种具有中心点的规则物体，例如圆球、正方体、圆锥体等，可以将该具有中心点的规则物体设置在标定器上，标定件也可以为光点，光点可以投射在标定器上，也可以悬浮在空中，无论标定器选择为何种类型，其在第一坐标系下的坐标是预先可知的，例如，将标定件设置在标定器上，根据标定器与机械臂末端法兰的相对位置以及标定件在标定器上的位置可得出标定件在第一坐标系下的坐标。

在步骤S10中，作为一种方式，如图10所示，步骤S10中的设置第二坐标系和第一坐标系，包括：

步骤S101.将抓握器的轴线设置成与第一坐标系的x轴平行。

步骤S102.将抓握器的轴线上的瞄准点设置为机械臂的工具中心点。

在上述步骤S101和步骤S102中，首先将三维点云扫描器(简称扫描器)和圆管抓握装置(简称抓握器)固定于六轴机械臂(简称机械臂)末端，使扫描器、抓握器与机械臂末端法兰在运动中保持相对静止，则扫描器和抓握器二者构成机器人手眼系统，然后将抓握器的轴线设置成与第一坐标系(简称第一坐标系)的x轴平行，将抓握器的瞄准点设置为机械臂的工具中心点(Tool Central Point，TCP)，并记该点在第一坐标系下的位置为S(sx,sy,s_z)。

在步骤S10中，作为一种方式，参照图9、图10和图11，步骤S10中的获取第二坐标系和第一坐标系之间的变换矩阵，包括：

步骤S103.将标定器安装到机械臂末端；其中，标定器满足以下条件：含有三个圆球；这三个圆球的球心组成的三角形的三条边长互不相等；能够稳固地安装于机械臂末端，并且与机械臂末端法兰保持相对静止；安装后这三个圆球的球心坐标在第一坐标系中是已知的；在扫描器对标定器进行扫描时，三个圆球必须都在扫描器的有效视野内，并且相互不发生遮挡。

步骤S104.根据标定器与机械臂末端法兰的相对位置，获取标定器上的标定件在第一坐标系下的中心坐标，具体的，得到三个圆球在第一坐标系下的球心坐标向量，记为该坐标均为3×1向量。

步骤S105.通过扫描器获取标定件的三维点云数据，对标定件的三维点云数据进行球面拟合，获取标定件在第二坐标系下的中心坐标。

具体的，分别对三个圆球的三维点云数据进行球面拟合，得到三个圆球在第二坐标系下的球心坐标向量，记为该坐标均为3×1向量。

步骤S106.分别计算标定件在第一坐标系下的中心坐标和标定件在第二坐标系下的中心坐标的重心平移向量；

具体的，对三个圆球在第一坐标系下的球心坐标向量和三个圆球在第二坐标系下的球心坐标向量/>分别计算算术平均值，得到三个圆球在第一坐标系下的重心坐标向量/>和三个圆球在第二坐标系下的重心坐标向量/>

根据以下公式计算球心坐标向量的重心平移向量/>

根据以下公式计算球心坐标向量的重心平移向量/>

步骤S107.将重心平移向量按照奇异值分解法计算得到第二坐标系和第一坐标系之间的变换矩阵，具体包括：

将重心平移向量转换成3×3矩阵X₀:

将重心平移向量转换成3×3矩阵Y₀:

计算矩阵并对矩阵H作奇异值分解/>其中，U的列为H·H^T的特征向量，V的列为H^T·H的特征向量，H·H^T与H^T·H有相同的特征值，将特征值设为λ₁,...,λ_r，r表示矩阵H的秩；Λ中对角线元素/>i＝1,...r，且Λ中对角线元素按降序排列，Λ中其余元素为0；

根据以下公式获取第二坐标系和第一坐标系之间的旋转矩阵R和平移矩阵T：

根据旋转矩阵R和平移矩阵T得到第二坐标系和第一坐标系之间的变换矩阵。

即得到变矩阵

步骤S30.将三维点云数据中的点坐标转换成第一坐标系下的点坐标。

作为一种实施方式，步骤S30包括：

根据变换矩阵通过以下公式将目标物件的三维点云数据中的每一个点坐标转换成第一坐标系下的点坐标：

b＝M·a

其中，M为变换矩阵，a为三维点云数据中每一个点的齐次坐标，b为第一坐标系下每一个点的齐次坐标。

步骤S40.根据目标物件在第一坐标系下的点坐标获取目标物件的抓握参数；

在步骤S40中，作为一种实施方式，步骤S40包括：

对目标物件在第一坐标系下的点坐标进行姿态拟合，得到目标物件的顶点坐标和方向向量。

其中，根据目标物件在第一坐标系下的点坐标获取面方程，根据面方程获取目标物件的顶点坐标和方向向量，例如，当目标物件为圆柱体时，进行圆柱拟合获取圆柱的曲面方程，根据曲面方程获取圆柱体的顶点坐标和轴线向量。

步骤S50.根据抓握参数获取抓握器的平移量和旋转角度，并根据平移量和旋转角度控制抓握器进行移动，以对目标物件进行抓握。

在步骤S50中，作为一种实施方式，步骤S50包括：

步骤S501.根据以下公式计算抓握器在机械臂工作坐标系下沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C：

其中，t_x、t_y、tz为圆柱的顶点坐标，Sx、S_y、S_Z为工具中心点坐标，V_x、V_y、V_Z为圆柱的轴线向量。

步骤S502.根据平移量X、Y、Z和旋转角度A、B、C形成运动指令(X，Y，Z，A，B，C)。

步骤S503.执行运动指令，以对目标物件进行抓握。

在上述步骤S501至步骤S503中，如图6和图7所示，根据抓握器的平移量和旋转角度生成运动指令，根据该运动指令先对抓握器及扫描器进行旋转运动指令中的角度后，在根据运动指令中的平移量沿某个坐标轴进行平移，即可以将抓握器移动到目标物件的位置，再控制抓握器执行抓握动作，可以夹紧目标物件。图6中，箭头所指方向为执行工具相对运动指令(X，Y，Z，A，B，C)标号601是目标圆管。图7中，箭头所示方向为执行沿机械臂工具坐标系X轴平移指令，再收紧抓握器。图6和图7中的坐标系为机械臂工具坐标系各轴方向。

关于图9的进一步说明，请参考如下内容。

图9所示的步骤S10另一种实施方式可以是设置扫描器坐标系和机械臂工具坐标系，并获取扫描器坐标系和机械臂工具坐标系之间的交换矩阵。

图9所示的步骤S20另一种实施方式可以是使待抓握目标位于扫描器的有效视野范围内，并通过扫描器获取待抓握目标的点云数据。

图9所示的步骤S30另一种实施方式可以是根据变换矩阵将待抓握目标的点云数据中的每一个点坐标转换为机械臂工具坐标系下的坐标点。

图9所示的步骤S40另一种实施方式可以是根据待抓握目标在机械臂工具坐标系的点坐标获取待抓握目标的顶点坐标和轴线向量。

图9所示的步骤S50另一种实施方式可以是根据顶点坐标和轴线向量获取抓握器的平移量和旋转角度，并根据平移量和旋转角度控制抓握器进行移动，以对待抓握目标进行抓握。

本发明技术方案运用可扫描三维点云数据的三维扫描器来替代二维摄像头作为机器人的视觉引导系统，能够通过单个角度扫描就获得具有深度信息的三维点云，将目标物件的三维点云数据进行特征拟合，得到目标物件的位姿等三维特征量，直接作为机器人可执行的运动指令，通过执行该运动指令即可以准确抓握目标物件，本发明免去了通过二维图像推算三维位姿的复杂运算和局限性，简化了视觉引导的计算量，提升了视觉引导的可靠性，拓展了应用领域，特别是在医疗手术领域中进行广泛的应用。

图12是本发明实施例三提供的一种机器人控制装置60，机器人包括扫描器、抓握器以及机械臂，抓握器和扫描器设置在机械臂的末端，如图12所示，机器人控制装置包括：

三维点云数据获取单元602，用于扫描器获取目标物件的三维点云数据；

坐标转换单元603，用于根据变换矩阵将三维点云数据中的每一个点坐标转换成第一坐标系下的点坐标；

目标信息获取单元604，用于根据目标物件在第一坐标系下的点坐标获取目标物件的顶点坐标和轴线向量；

移动信息获取单元605，用于根据顶点坐标和轴线向量获取抓握器的平移量和旋转角度；

移动控制单元606，用于根据平移量和旋转角度控制抓握器进行移动，以对目标物件进行抓握。

在第四实施例中，如图13所示，机器人控制装置还包括：

变换矩阵获取单元601，用于设置第二坐标系和机械臂末端法兰坐标系，并获取第二坐标系和机械臂末端法兰坐标系之间的变换矩阵。

进一步的，变换矩阵获取单元601还用于：

将抓握器的轴线设置成与第一坐标系的x轴平行；

将抓握器的轴线上的瞄准点设置为机械臂的工具中心点。

进一步的，坐标转换单元603具体用于：

根据变换矩阵通过以下公式将目标物件的三维点云数据中的每一个点坐标转换成第一坐标系下的点坐标：

b＝M·a；

其中，M为变换矩阵，a为三维点云数据中每一个点的齐次坐标，b为第一坐标系下每一个点的齐次坐标。

目标信息获取单元具体用于对目标物件在第一坐标系下的点坐标进行圆柱拟合，得到圆柱的顶点坐标和轴线向量。

移动信息获取单元具体用于：

根据以下公式计算抓握器在机械臂工作坐标系下沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C：

其中，t_x、t_y、t_z为圆柱的顶点坐标，S_x、S_y、S_Z为工具中心点坐标，V_x、V_y、V_Z为圆柱的轴线向量；

根据沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C形成运动指令(X，Y，Z，A，B，C)；

执行运动指令，以对目标物件进行抓握。

本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例1中一种机器人控制方法，为避免重复，这里不再赘述。

图14是本发明实施例五中计算机设备的示意图。如图14所示，计算机设备6包括处理器63、存储器61以及存储在存储器61中并可在处理器63上运行的计算机程序62。处理器63执行计算机程序62时实现上述实施例中一种机器人控制方法的各个步骤，例如图5所示的步骤S20、S30、S40、S50。或者，处理器63执行计算机程序62时实现上述实施例中一种机器人控制装置。

示例性的，计算机程序62可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器61中，并由处理器63执行，以完成本发明的数据处理过程。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该指令段用于描述计算机程序62在计算机设备6中的执行过程。

终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括，但不仅限于，处理器63、存储器61。本领域技术人员可以理解，图14仅仅是终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。

处理器63可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器61可以是终端设备6的内部存储单元，例如终端设备6的硬盘或内存。存储器61也可以是终端设备6的外部存储设备，例如终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器61还可以既包括终端设备6的内部存储单元也包括外部存储设备。存储器61用于存储计算机程序以及终端设备所需的其他程序和数据。存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (11)

1.一种机器人手眼系统，其特征在于，所述机器人手眼系统包括：

机械臂，其具有第一坐标系；所述机械臂的自由端设有操作件，所述操作件用于对目标物件进行操作，所述操作件为抓握器，用于对所述目标物件进行抓握动作,所述目标物件为圆柱体；

扫描器，安装在机械臂上，所述扫描器具有第二坐标系；所述扫描器用于扫描目标物件以获取所述目标物件在所述第二坐标系下的三维点云数据,当通过扫描器对目标物件进行激光扫描，并检测到目标物件中区分属于每一帧激光线的激光数据点时，将三维点云数据以二维数组的形式存储，并且使每个激光点和灰度图的像素点一一对应，将获得的激光三维点云数据存入二维数组中，使得二维数组的每一列激光点属于同一帧激光线；

处理单元，根据所述目标物件的三维点云数据及第一坐标系和第二坐标系的转换关系获取所述操作件基于第一坐标系的移动目标位置；

所述处理单元将坐标转换前或坐标转换后的所述目标物件的三维点云数据转换成空间姿态图像，以获得所述抓握器的抓握位置；

所述目标物件为圆筒，所述处理单元根据所述空间姿态图像获取所述目标物件的顶点坐标和轴线向量，所述处理单元根据所述顶点坐标和所述轴线向量计算出所述抓握器的平移量和旋转角度；

控制单元，用于根据所述目标物件的所述目标位置，控制所述机械臂带动所述操作件移动到所述目标位置，并控制所述操作件对所述目标物件进行操作；

所述控制单元根据所述平移量和所述旋转角度控制所述抓握器进行移动，以对所述目标物件进行抓握；根据以下公式计算抓握器在机械臂工作坐标系下沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C：

其中，t_x、t_y、t_z为圆柱的顶点坐标，S_x、S_y、S_z为工具中心点坐标，V_x、V_y、V_z为圆柱的轴线向量。

2.如权利要求1所述的机器人手眼系统，其特征在于，所述处理单元获取所述操作件基于第一坐标系的移动目标位置的方式为：

所述处理单元将所述目标物件基于所述第二坐标系的三维点云数据转换成基于所述第一坐标系的三维点云数据，再根据转换坐标系后的三维点云数据获取所述操作件的移动目标位置；或

所述处理单元根据所述目标物件基于所述第二坐标系的三维点云数据获取所述操作件基于第二坐标系的移动目标位置，再根据所述第一坐标系和所述第二坐标系的转换关系，将所述操作件基于第二坐标系的移动目标位置转换成基于第一坐标系的移动目标位置。

3.如权利要求1所述的机器人手眼系统，其特征在于，所述扫描器固定安装在所述机械臂上。

4.一种机器人手眼系统，其特征在于，所述机器人手眼系统包括：

机械臂，其具有第一坐标系；

扫描器，安装在机械臂上，所述扫描器具有第二坐标系,与所述第一坐标系的原点相对静止，所述扫描器用于扫描目标物件以获取所述目标物件在第二坐标系下的图像数据；

抓握器，固定在所述机械臂末端，所述抓握器用于抓握所述目标物件；

处理单元，用于将所述目标物件在第二坐标系下的图像数据转换成在所述第一坐标系下的图像数据，所述处理单元将转换后的所述目标物件的图像数据拟合成所述目标物件的空间姿态图像，获取所述目标物件在所述第一坐标系下的具体抓握参数；

控制单元，用于根据所述目标物件的所述具体抓握参数，控制所述抓握器移动到抓握位置，并控制所述抓握器对所述目标物件进行抓握动作，所述目标物件为轴对称物体，所述具体抓握参数包括所述目标物件在所述第一坐标系下的顶点坐标及轴线向量，所述目标物件为圆柱体；

所述处理单元根据所述顶点坐标和所述轴线向量计算出所述抓握器的平移量和旋转角度，所述控制单元根据所述平移量和所述旋转角度控制所述抓握器进行移动，以对所述目标物件进行抓握；

所述控制单元根据所述平移量和所述旋转角度控制所述抓握器进行移动，以对所述目标物件进行抓握；根据以下公式计算抓握器在机械臂工作坐标系下沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C：

其中，t_x、t_y、t_z为圆柱的顶点坐标，S_x、S_y、S_z为工具中心点坐标，V_x、V_y、V_z为圆柱的轴线向量。

5.一种机器人手眼系统的控制方法，其特征在于，应用于权利要求4所述的机器人手眼系统，所述控制方法包括：

通过所述扫描器获取目标物件的基于第二坐标系的三维点云数据，所述第二坐标系为扫描器的坐标系，所述目标物件为圆柱体；

将所述三维点云数据中的点坐标转换成第一坐标系下的点坐标，所述第一坐标系为机械臂的坐标系；

根据所述目标物件在所述第一坐标系下的点坐标获取所述目标物件的抓握参数；

根据以下公式计算抓握器在机械臂工作坐标系下沿x、y、z轴方向的平移量X、Y、Z和绕z、y、x轴方向的旋转角度A、B、C：

其中，t_x、t_y、t_z为圆柱的顶点坐标，S_x、S_y、S_z为工具中心点坐标，V_x、V_y、V_z为圆柱的轴线向量；

根据平移量X、Y、Z和旋转角度A、B、C形成运动指令(X，Y，Z，A，B，C)；

执行运动指令，以对目标物件进行抓握。

6.如权利要求5所述的控制方法，其特征在于，所述抓握器抓握的目标物件为圆管，所述抓握器为圆管抓握装置。

7.如权利要求6所述的控制方法，其特征在于，还包括：

将所述抓握器的轴线设置成与所述第一坐标系中的x轴平行；

将所述抓握器的轴线上的瞄准点设置为机械臂的工具中心点。

8.如权利要求6所述的控制方法，其特征在于，所述第二坐标系和第一坐标系是通过变换矩阵转换，包括：

根据变换矩阵通过以下公式将所述目标物件的三维点云数据中的每一个点坐标转换成所述第一坐标系下的点坐标：

b＝M·a；

其中，M为变换矩阵，a为三维点云数据中每一个点的齐次坐标，b为第一坐标系下每一个点的齐次坐标。

9.如权利要求6所述的控制方法，其特征在于，所述抓握参数包括所述目标物件的顶点坐标和轴线向量，根据所述目标物件在所述第一坐标系下的点坐标获取所述目标物件的顶点坐标和轴线向量，包括：

对所述目标物件在所述第一坐标系下的点坐标进行姿态拟合，得到所述目标物件的顶点坐标和轴线向量。

10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求5至9任一项所述方法的步骤。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求5至9任一项所述方法的步骤。