CN110751691B - 一种基于双目视觉的管件自动抓取方法 - Google Patents

Abstract

本发明涉及一种基于双目视觉的管件自动抓取方法，使用的装置包括上位机、六自由度机械臂装置，以及由左相机和右相机组成的双目相机系统，该方法首先通过图像差分运算获取管件伸出端部特征，然后通过立体视觉获取视差信息，解算出管件伸出端部在相机坐标系中的三维位置，最后将相机坐标系下的管件伸出端的位置坐标转换到机械臂坐标系中，最终引导六自由度机械臂装置抓取目标管件的伸出端部。与现有技术相比，本发明利用双目视觉模拟人眼的优点，可通过视觉获取空间点的三维信息，通过视觉测量的方法指导机械臂运动，实现工业产品加工流程的自动化。

Description

一种基于双目视觉的管件自动抓取方法

技术领域

本发明涉及工业自动化领域，尤其是涉及一种基于双目视觉的管件自动抓取方法。

背景技术

工业机器人模仿人或生物的机理构造，具备高度集成化、灵活度高、协同作业能力强、精度高等诸多优点，其衍生出的相关技术早已成为国内外的热门研究方向。现如今，工业机器人广泛应用在焊接、货物分拣、产品装配、农产品采摘等自动化操作中，极大地节约了人力、物力和财力。双目视觉测量是一种非接触、高精度的深度感知技术，其模仿人眼的构造，以两台相机获取不同视角下的二维图像信息。通过三角测量方法，可以将左右两幅图像的视差信息转换成深度信息，进而获取空间点的三维坐标。双目视觉理论经过几十年的发展，在许多领域具有较高的应用价值，如操作系统的位姿检测、机器人的导航与航测、三维测量和虚拟现实等。

但是现有基于双目视觉的抓取方法对于细长型的管件类产品无法进行有效的识别和抓取。如图1所示，为细长型的管件盘绕放置在箩筐里的示意图，管件互相缠绕难以实现自动分辨和抓取。

如中国发明专利CN105459136B提供了一种机器人视觉抓取方法，可以控制机器人对静止状态下的产品执行抓取动作。该方法在待抓取产品上布置产品信息标签，通过图像获取装置获取产品及标签的图像，可以处理得出待抓取产品的位置信息和尺寸信息，以及标签在产品上的位置信息。该方法需要在每个产品表面上预先布置标签，而对于管件由于盘绕造成形状和尺寸都无法标准化，因此无法添加标签进行实施。

在先技术(翟敬梅等,“基于视觉引导的工业机器人定位抓取系统设计”,机械设计与研究,2014,30(05):45-49.)设计了一套基于视觉引导的工业机器人定位抓取系统。该系统选用NI Vision的软件开发包在C#环境下进行二次开发。通过CCD相机获取传送带上的工件图像，并在二次开发的软件中执行双目视觉测量所需要的图像处理操作，最终实现识别出工件位置的功能并引导机械臂动态地改变抓取动作。该方法主要适用于流水线平面上的工件抓取操作，无法实现三维空间中目标物的抓取。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于双目视觉深度感知的自动抓取方法。

本发明的目的可以通过以下技术方案来实现：

一种基于双目视觉的管件自动抓取方法，使用的装置包括由左相机和右相机组成的双目相机系统、上位机，以及六自由度机械臂装置。左相机和右相机完成视觉测量所需的图像采集功能；左相机和右相机的视轴之间保持有35～50度的角度，两个相机之间的基线距不小于40厘米，以保证待抓取管件位于两相机之间的公共视场范围内。

该方法首先通过图像差分运算获取管件的伸出端部特征，然后通过立体视觉获取视差信息，解算出管件伸出端部在相机坐标系中的三维位置，最后将相机坐标系下的管件伸出端的位置坐标转换到机械臂坐标系中，最终引导六自由度机械臂装置抓取目标管件的伸出端。

进一步地，具体步骤如下：

S1、分别对左相机和右相机进行标定，获取左相机和右相机的内参数，包括内参数矩阵和畸变参数；并且根据左相机和右相机的外参数获取两个相机之间的位置参数T_C；

S2、对六自由度机械臂装置中的机械臂位置进行标定，获取机械臂坐标相对于左相机或右相机的坐标系的位置关系T_R；

S3、左相机和右相机分别采集有伸出端部的管件放置在箩筐内的目标场景图片，记为左图像和右图像；

S4、将左图像和右图像分别和其各自的预设模板图像进行差分运算，并且通过图像处理算法提取出管件伸出端部的图像信息；

S5、提取出左图像和右图像中管件伸出端部的共有图像特征点；图像特征点包括角点特征、圆点特征、轮廓特征和SIFT特征，通过基于特征的立体匹配算法，得出多个图像特征点的三维坐标；

S6、基于步骤S5中图像特征点的三维坐标，解算出管件伸出端部的姿态信息；

S7、将位姿信息传递给六自由度机械臂装置，六自由度机械臂装置执行抓取管件伸出端部的动作，然后按设定的路径移动至下一个工位。

进一步地，所述的步骤S1中，标定方法为张正友相机标定、Tsai两步标定、Kruppa方程自标定或神经网络标定。

进一步地，所述的步骤S2采用眼到手的方式进行标定。

进一步地，所述的预设模板图像为左相机和右相机分别拍摄管件端部未伸出箩筐的场景图片。

进一步地，所述的步骤S4中，将左图像和右图像分别和其各自的预设模板图像进行差分运算，并且通过图像处理算法提取出管件伸出端部的轮廓。

进一步地，所述的步骤S5中，具体包括：

S51、通过直线拟合算法将管件伸出端部的轮廓的像素点集合拟合成直线，分别为直线l₁与l₂，并提取出轮廓的质心(u_l,v_l)与(u_r,v_r)；

S52、使用步骤S1中标定得到的畸变参数对管件伸出端部的轮廓进行去畸变处理；

S53、根据左相机和右相机的内参数矩阵通过三角测量方法，将二维平面的直线l₁与l₂，轮廓的质心(u_l,v_l)与(u_r,v_r)转换为三维空间的直线和质心；

S54、采集三维空间的直线上的多个点，使用POSIT姿态提取算法获取管件伸出端部的三维姿态(α_c,β_c,γ_c)。

进一步地，所述的步骤S6中，具体包括：

S61、根据步骤S1中双相机之间位置参数T_c和步骤S2中的位置关系T_R将步骤S53中的三维空间的质心和步骤S54中的三维姿态从相机坐标系下转换到机械臂坐标系下；位置姿态信息即为机械臂坐标系下管件伸出端部的质心和三维姿态信息。

与现有技术相比，本发明具有以下优点：

1、本发明利用双目视觉模拟人眼的优点，可通过视觉获取空间点的三维信息，通过视觉测量的方法指导机械臂运动，实现工业产品加工流程的自动化。

2、本发明通过背景差分法和质心定位法实现了对管件伸出端部的识别和抓取，并且背景差分法抗干扰能力强，在背景较为复杂的工况下也可以分离出前景图像，对于管件的伸出端部的识别精度高。

附图说明

图1为工业现场的铜管布置示意图。

图2为实施例的装置示意图。

图3为图像处理过程的效果图。

图4为计算机双目立体视觉测量原理图。

图5为管件伸出端部的拟合三维坐标曲线。

图6为管件抓取的示意图。

图7为实施例的流程示意图。

附图标记：1、左相机，2、右相机，3、支撑架，4、三脚架，5、管件，6、箩筐，7、六自由度机械臂。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例以放置在箩筐内的盘旋状管件自动化抓取为例，具体实施工业场景如图1所示。如图2所示，本实例使用的装置包括双目相机系统(由左相机1、右相机2、支撑架3、三角架4、及其数据传输线组成)，以及六自由度机械臂7(及其相应的数据传输装置)。盘旋状管件5放置在圆形箩筐6内，管件5的单侧末端伸出于箩筐6之外。为了建立管件-相机-机械臂之间的坐标转换关系，在图2中分别建立相机坐标系X_CY_CZ_C、世界坐标系X_WY_WZ_W和机械臂坐标系X_RY_RZ_R。其中相机坐标系X_CY_CZ_C原点位于左相机光心，机械臂坐标系X_RY_RZ_R原点位于机械臂底部回转轴，世界坐标系X_WY_WZ_W可视具体应用场景灵活设置以简化运算。左相机1和右相机2的视轴之间保持有35～50度的角度，以确保目标管件6的被抓取部分应完全位于两个相机的视场范围之内，在本实施例具体采用40度夹角。两个相机之间的基线距不小于40厘米，以保证两幅图像之间有足够的视差来感知待抓取部位的深度，本实施例采用40厘米。待抓取管件应位于六自由度机械臂末端的工作空间内，本实施例中通过吊机等装置预先调整管件和机械臂末端的相对位置。本实施例基于双目视觉的管件自动抓取方法，运用双目视觉和机械臂控制的相关理论，实现对管件的自动化抓取。

如图7所示，本实施例的具体抓取步骤如下：

步骤S1：分别对左相机和右相机进行标定，采用的方法为张正友棋盘格标定法，得到左相机1和右相机2的内参数，包括内参数矩阵M_l、M_r，相机的畸变参数k_1l、k_2l、k₁r、k_2r等。另外采用双目标定的方法获得相机相对位置T_C。

步骤S2：对六自由度机械臂装置中的机械臂位置进行标定，获得机械臂坐标相对于左相机的坐标系的相对位置关系T_R。

步骤S3、左相机和右相机分别采集有伸出端部的管件放置在箩筐内的目标场景图片，记为左图像和右图像，如图3(c)和3(d)所示。

步骤S4、将左图像和右图像分别和其各自的预设模板图像进行差分运算，其中的预设模板图像为左相机和右相机分别拍摄管件端部未伸出箩筐的场景图片，记为左模板图像和右模板图像，如图3(a)和3(b)所示。

差分运算后的结果如图3(e)和3(f)所示。并且通过图像增强、图像分割等图像处理算法提取出管件伸出端的轮廓，提取后到的轮廓如图3(g)和3(h)所示。然后使用步骤1中标定得到的左右相机畸变参数k_1l、k_2l、k₁r、k_2r等对轮廓图像进行去畸变处理。

步骤S5：利用Opencv图像处理库中已有的直线拟合算法将伸出端轮廓的像素点集合拟合成直线l₁与l₂，并提取出轮廓的质心(u_l,v_l)与(u_r,v_r)。

步骤S6：根据步骤S1中标定得到两个相机的内参数M_l和M_r，使用双目视觉技术中的三角测量方法，将二维平面的直线l₁与l₂和质心(u_l,v_l)与(u_r,v_r)转换为三维空间的直线和质心，分别记为l和(x_cp,y_cp,z_cp)。

以空间中的一个点P为例来介绍三角测量方法。如图4所示，左相机和右相机为两个完全相同的工业相机。建立左相机坐标系O_ClX_ClY_ClZ_Cl和右相机坐标系O_CrX_CrY_CrZ_Cr。两个相机的成像平面分别为O_lx_ly_l和O_rx_ry_r。空间点P在左右摄像机的成像平面上的投影点分别为p_l和p_r，该点即位于空间直线O_Clp_l上，又位于空间直线O_Crp_r上，因此点P是空间直线O_Clp_l和空间直线O_Crp_r的交点，可以通过直线O_Clp_l方程和直线O_Crp_r方程确定P点坐标。

在左右图像的匹配点p_l和p_r已经确定，且两台工业相机的内外部参数(分别构成投影矩阵M_l和M_r)都已知的情况下，有：

其中：(u_l,v_l,1)和(u_r,v_r,1)分别为空间点P在左右摄像机的成像平面上的投影点p_l和p_r的像素齐次坐标；(x_w,y_w,z_w,1)为P点在世界坐标系下的齐次坐标。上面矩阵一共包含6个方程，消去Z_Cl和Z_Cr，可得到关于x_w、y_w、z_w的四个线性方程：

取：

则有：

利用最小二乘法得到空间点P在世界坐标系下的坐标(x_w,y_w,z_w)为：

步骤S7：采集空间直线l上足够数量的点(≥4)，使用POSIT姿态提取算法获取管件伸出端部的三维姿态(α_c,β_c,γ_c)。

步骤S8：根据步骤S1中双相机之间位置参数T_C和步骤S2中的位置关系T_R将步骤S6中的三维空间的质心(x_cp,y_cp,z_cp)和步骤S7中的三维姿态(α_c,β_c,γ_c)从相机坐标系下转换到机械臂坐标系下，转换后分别为(x_rp,y_rp,z_rp)和(α_r,β_r,γ_r)，机械臂坐标系下的伸出端拟合直线如图5所示。

步骤S9：将位姿信息(x_rp,y_rp,z_rp)和(α_r,β_r,γ_r)导入机械臂的控制程序，使六自由度机械臂移动到指定的位置姿态下，以完成机械臂对管件的自动抓取。

如图6所示，在知道了管件伸出端的六自由度(位置信息x，y，z以及姿态信息α，β，γ)，可以控制机械臂抓取管件送至下一工位。在实施抓取作业时，所采用夹具的宽度w一般要大于管件的直径d。且只要满足抓取中心P_catch(x,y,z)位于伸出端质心P(x_p,y_p,z_p)的临近区域，机械臂就能成功抓取管件。该区域的长度视具体作业对象所定，本实施例中设为ε。因此机械臂末端抓取中心P_catch(x,y,z)在满足下式的情况下，可完成对管件的抓取。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种基于双目视觉的管件自动抓取方法，使用的装置包括上位机、六自由度机械臂装置，以及由左相机和右相机组成的双目相机系统，其特征在于，该方法首先通过图像差分运算获取管件伸出端部特征，然后通过立体视觉获取视差信息，解算出管件伸出端部在相机坐标系中的三维位置，最后将相机坐标系下的管件伸出端的位置坐标转换到机械臂坐标系中，最终引导六自由度机械臂装置抓取目标管件的伸出端部，具体步骤如下：

S1、分别对左相机和右相机进行标定，获取左相机和右相机的内参数，包括内参数矩阵和畸变参数；并且根据左相机和右相机的外参数获取两个相机之间的位置参数T_C；

S2、对六自由度机械臂装置中的机械臂位置进行标定，获取机械臂坐标相对于左相机或右相机的坐标系的位置关系T_R；

S3、左相机和右相机分别采集有伸出端部的管件放置在箩筐内的目标场景图片，记为左图像和右图像；

S4、将左图像和右图像分别和其各自的预设模板图像进行差分运算，并且通过图像处理算法提取出管件伸出端部的轮廓；

S5、提取出左图像和右图像中管件伸出端部的共有图像特征点，通过基于特征的立体匹配算法，得出多个图像特征点的三维坐标，具体包括：

S51、通过直线拟合算法将管件伸出端部的轮廓的像素点集合拟合成直线，分别为直线l₁与l₂，并提取出轮廓的质心(u_l,v_l)与(u_r,v_r)；

S52、使用步骤S1中标定得到的畸变参数对管件伸出端部的轮廓进行去畸变处理；

S53、根据左相机和右相机的内参数矩阵通过三角测量方法，将二维平面的直线l₁与l₂，轮廓的质心(u_l,v_l)与(u_r,v_r)转换为三维空间的直线和质心；

S54、采集三维空间的直线上的多个点，使用POSIT姿态提取算法获取管件伸出端部的三维姿态(α_c,β_c,γ_c)；

S6、基于步骤S5中图像特征点的三维坐标，解算出管件伸出端部的姿态信息；

S7、将位姿信息传递给六自由度机械臂装置，六自由度机械臂装置执行抓取管件伸出端部的动作。

2.根据权利要求1所述的基于双目视觉的管件自动抓取方法，其特征在于，所述的步骤S5中，图像特征点包括角点特征、圆点特征、轮廓特征和SIFT特征。

3.根据权利要求1所述的基于双目视觉的管件自动抓取方法，其特征在于，所述的步骤S6中，具体包括：

S61、根据步骤S1中双相机之间位置参数T_C和步骤S2中的位置关系T_R将步骤S53中的三维空间的质心和步骤S54中的三维姿态从相机坐标系下转换到机械臂坐标系下；位置姿态信息即为机械臂坐标系下管件伸出端部的质心和三维姿态信息。

4.根据权利要求1所述的基于双目视觉的管件自动抓取方法，其特征在于，所述的预设模板图像为左相机和右相机分别拍摄管件端部未伸出箩筐的场景图片。

5.根据权利要求1所述的基于双目视觉的管件自动抓取方法，其特征在于，左相机和右相机的视轴之间保持有35～50度的角度，两个相机之间的基线距不小于40厘米。

6.根据权利要求1所述的基于双目视觉的管件自动抓取方法，其特征在于，所述的步骤S1中，标定方法为张正友相机标定、Tsai两步标定、Kruppa方程自标定或神经网络标定。

7.根据权利要求1所述的基于双目视觉的管件自动抓取方法，其特征在于，所述的步骤S2采用眼到手的方式进行标定。

Images