CN106530276A - 一种用于非标准件抓取的机械手定位方法以及定位系统 - Google Patents

Abstract

本发明提供了一种用于非标准件抓取的机械手定位方法以及定位系统，所述定位方法包括如下步骤：a、利用棋盘格标定板对摄像机标定；b、提取抓取目标在图像中的二维坐标；c、利用步骤b中所述的抓取目标在左右图像中的二维像素坐标，通过立体匹配得到抓取目标在摄像机下坐标系下的三维坐标；d、将步骤c中所述的抓取目标在摄像机下坐标系下的三维坐标转换到抓取目标在机械臂坐标空间下目标三维坐标，控制机械手对抓取目标进行抓取。本发明提供的机械手定位方法以及定位系统能够在静态工作台以及动态皮带流水线等场景下对非标准件准确抓取。

Description

一种用于非标准件抓取的机械手定位方法以及定位系统

技术领域

本发明涉及智能机器人技术领域，特别涉及一种用于非标准件抓取的机械手定位方法以及定位系统。

背景技术

工业机械手是模仿人手的部分动作，按给定程序、轨迹和要求实现自动抓取、搬运或操作的自动机械装置。工业机械手的出现和应用，对实现工业生产自动化，推动工业生产的进一步发展起着重要作用，在现代工业生产中的应用非常广泛，可以实现抓取搬物、装配、切割、喷染等功能。然而，当前市场中传统的工业机械手设备普遍存在定位精度不高、实时性低、只能针对标准工件定制定位抓取方案等缺点，同时目前的机械手在抓取工件时只能对静态或者动态中的一种情况进行抓取，难以实现对静态和动态工件同时抓取的功能，因此优化工业机械手性能、提高机械手智能化程度是目前需要迫切解决的技术难题。

因此，需要一种能有效地对静态和动态非标准工件实现准确抓取的用于非标准件抓取的机械手定位方法以及定位系统

发明内容

本发明的一个方面在于提供一种用于非标准件抓取的机械手定位方法，所述定位方法包括如下步骤：

a、利用棋盘格标定板对摄像机标定：a1、制定棋格标定板，拍摄多对标定板图像；a2、获取标定板图像的特征点坐标与实际标定板的坐标关系；a3、通过a2中所述的坐标关系得到摄像机的内部参数和外部参数；

b、提取抓取目标在图像中的二维坐标：

b1、采集抓取目标的图像，通过摄像机左右两个视角获取机械手要抓取目标的左右图像；

b2、提取基准图像和抓取目标的图像特征点，利用KNN算法以及比率测试去除误匹配点；

b3、根据所述特征点在基准图像中所处的位置关系，为每一个所述抓取目标的图像特征点定位一个抓取目标轮廓，完成初步定位抓取目标的位置；

b4、步骤b3中所述的抓取目标轮廓重叠面积大于预设阈值时，通过均值漂移算法对所述目标轮廓进行迭代，提取所述抓取目标在左右图像中的二维像素坐标；

c、利用步骤b4中所述的抓取目标在左右图像中的二维像素坐标，通过立体匹配得到抓取目标在摄像机下坐标系下的三维坐标；

d、将步骤c中所述的抓取目标在摄像机下坐标系下的三维坐标转换到抓取目标在机械臂坐标空间下目标三维坐标，控制机械手对抓取目标进行抓取。

优选地，所述特征点包括对图像的颜色特征、纹理特征、形状特征以及空间位置特征的一种或多种。

优选地，所述阈值设置为所述抓取目标轮廓的重叠面积的80％。

优选地，由所述步骤a2中所述的坐标关系满足如下变换矩阵：

其中f为摄像机焦距，c_x、c_y为左摄像机中心像素位置，c’_x为右摄像机像素中心横坐标，T_x为左右摄像机水平位移。

优选地，所述立体匹配是采用线性约束的方法将抓取目标在左右图像中的二维像素坐标转换为抓取目标在摄像机下坐标系下的三维坐标。

优选地，所述抓取目标在摄像机下坐标系下的三维坐标通过下式计算：

其中计算得到的三维坐标为：(X/W,Y/W,Z/W)。

优选地，所述步骤d中通过摄像机的位置参数与抓取目标在摄像机坐标空间下目标三维坐标的关系得到抓取目标在机械臂坐标下的三维坐标。

本发明的另一个方面在于提供一种用于非标准件抓取的机械手定位系统，所述定位系统包括像摄像机标定模块、采集模块、图像处理模块、机械手定位模块以及机械手控制模块，其中

摄像机标定模块，用于获取摄像机的内部参数和外部参数；

图像采集模块，用于采集抓取目标的图像，从而得到所述抓取目标图像所在场景的图像；

图像处理模块，对采集到的图像进行处理，获取所述抓取目标在图像中的二位像素坐标，以及

将所述抓取目标在图像中的二位像素坐标转换为在摄像机坐标下的三维坐标；

机械手定位模块，用于获取所述抓取目标在机械手坐标空间下的三维坐标；

机械手控制模块，控制机械手对所述抓取目标进行抓取。

优选地，所述内部参数包括摄像机的几何光学特性，所述外部参数包括摄像机在世界坐标系中的几何位置。

本发明提供的机械手定位方法以及定位系统能够在静态工作台以及动态皮带流水线等场景下对非标准件准确抓取，具有定位精度高、实时性强、硬件成本低等优点。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示意性示出本发明用于非标准件抓取的机械手定位方法的流程图；

图2示出了本发明用于非标准件抓取的机械手定位系统的模块框图；

图3示出了本发明摄像机标定过程流程图；

图4示出了本发明标定摄像机的棋盘格标定板的示意图；

图5示出了本发明抓取目标在图像中的二维坐标的提取过程流程图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

现代工业生产中加工工件存在大量的非标准件，然而以往机械手通过固定程序对机械手进行控制抓取需要加工的标准工件。本实施例中将详细说明本发明用于非标准件抓取的机械手定位方法以及定位系统，如图1所示本发明用于非标准件抓取的机械手定位方法的流程图，以工业流水线中的非标准工件为例进行详细说明，机械手包括抓取部件、运动部件和控制部件，本实施例中抓取部件前端设置两个摄像机，所述摄像机通过信号传递线路将采集的图像传递至机械手的相应模块进行处理，本实施例中用于非标准件抓取的机械手定位方法包括如下整体步骤：

步骤101、利用棋盘格标定板对摄像机标定；

步骤102、提取抓取目标在图像中的二维坐标：

步骤103、获取抓取目标在摄像机坐标系下的三维坐标；

步骤104、获取抓取目标在机械手坐标系下的三维坐标；

步骤105、控制机械手抓取抓取目标。

为了更加清楚的说明本发明的用于非标准件抓取的机械手定位方法，本实施例中示意性给出了所述用于非标准件抓取的机械手定位方法的定位系统，如图2所示本发明用于非标准件抓取的机械手定位系统的模块框图，所述定位系统包括机摄像机标定模块201、图像采集模块202、图像处理模块203、机械手定位模块204以及机械手控制模块205，其中

摄像机标定模块201，用于对摄像机进行标定，包括获取摄像机的内部参数和外部参数，其中内部参数为摄像机的几何光学参数，其包括但不限图像中心和焦距，这里的几何光学参数应当是本领域技术人员能够理解的所有摄像机几何光学参数。

图像采集模块202，用于采集需要用于采集抓取目标的图像，从而得到所述抓取目标图像所在场景的图像。

图像处理模块203，用于对采集到的图像进行处理，获取所述抓取目标在图像中的二位像素坐标，以及将所述抓取目标在图像中的二位像素坐标转换为在摄像机坐标下的三维坐标。

机械手定位模块204，用于将抓取目标在摄像机坐标系下的三维坐标转换至的抓取目标在机械手坐标空间下的三维坐标。

机械手控制模块205，控制机械手运动部件和按照抓取目标在机械手坐标系下的三维坐标的定位对抓取目标进行抓取。

本实施例中根据上述步骤完成机械手对非标准件抓取目标的准确抓取，下文中详细对每个步骤进行说明。

摄像机标定

如图3所示本发明摄像机标定过程流程图，本实施例中采用的两个摄像机其分辨率为2048×1536，在一些实施例中，摄像机分辨率由具体的工作场所所决定，这里不做具体的限定。本实施例中所采用的两个摄像机在机械手前端的两侧布置，便于能够清楚的获取抓取目标的具有较大的视眼。具体的摄像机标定过程为：

步骤301、制定棋格标定板，如图4所示本发明标定摄像机的棋盘格标定板的示意图，标定板由13×11个方格组成的棋盘，每个方格的边长为10mm；拍摄多对标定板图像，多对标定板图像从不同的角度进行拍摄，使能够在下文中所求得到的参数更加精确。

步骤302、获取标定板图像的特征点坐标与实际标定板的坐标关系；根据标定的已知规格，计算在步骤301中拍摄的每一张标定板图像，具体算法在每张标定板上记录特征点(x_i、y_i、z_i)，对应的标定板拍摄图像坐标为(u_i、v_i)，i＝1、2、3...，本实施例中i为标记点的个数，每张标定板上标记点的个数可以任意确定。对标定板拍摄拍摄图像的局部通过角点检测进行精确后得到其满足：

M为关系矩阵

通过通过多组标定板特征点坐标与对应的每张标定板图像坐标，求取所述矩阵M，得到标定板图像的特征点坐标与实际标定板的坐标关系，其中所得到的坐标关系满足如下变换矩阵：

其中f为摄像机焦距，c_x、c_y为左摄像机中心像素位置，c’_x为右摄像机像素中心横坐标，T_x为左右摄像机水平位移。

步骤303、通过步骤302中所述的坐标关系得到摄像机的内部参数和外部参数，将拍摄的多附图得到标定板图像特征点坐标与实际标定板坐标关系叠加，构造比例因子，通过Cholesky矩阵分解算法从而求出摄像机内部参数和外部参数，其中，内部参数包括摄像机的几何光学特性，所述外部参数包括摄像机在世界坐标系中的几何位置；更进一步地，本实施例中内部参数包括摄像机焦距f，左摄像机中心像素位置c_x、c_y，右摄像机像素中心横坐标c’_x，外部参数包括左右摄像机水平位移T_x。

提取抓取目标在图像中的二维坐标

根据已经标定的摄像机对需要加工的工件进行抓取，所述的工件包括静态下的工件和动态下的工件，具体地，如图5所示本发明抓取目标在图像中的二维坐标的提取过程流程图，摄像机提取抓取目标在图像中的二维坐标包括如下步骤：

步骤501、采集抓取目标的图像，通过摄像机左右两个视角获取机械手要抓取目标的左右图像。

步骤502、提取基准图像和抓取目标的图像特征点，利用KNN算法以及比率测试去除误匹配点，其中所述特征点包括对图像的颜色特征、纹理特征、形状特征以及空间位置特征的一种或多种。

步骤503、根据所述特征点在基准图像中所处的位置关系，为每一个所述抓取目标的图像特征点定位一个抓取目标轮廓，完成初步定位抓取目标的位置。

步骤504、步骤503中所述的抓取目标轮廓重叠面积大于预设阈值时，通过均值漂移算法对所述目标轮廓进行迭代，提取所述抓取目标在左右图像中的二维像素坐标。优选地，本实施例中阈值设置为所述抓取目标轮廓的重叠面积的80％，在一些实施实属例中可以选择抓取目标轮廓的重叠面积大于80％，为了保证抓取目标的准确性，选择抓取目标轮廓的重叠面积应当不小于70％。

提取抓取目标在摄像机坐标系下的三维坐标

利用步骤504中所述的抓取目标在左右图像中的二维像素坐标，通过立体匹配得到抓取目标在摄像机下坐标系下的三维坐标；具体地，立体匹配采用线性约束的方法将抓取目标在左右图像中的二维像素坐标转换为抓取目标在摄像机下坐标系下的三维坐标，得到的抓取目标在摄像机下坐标系下的三维坐标通过下式计算：

其中，计算得到的三维坐标为：(X/W,Y/W,Z/W)。

提取抓取目标在机械手标系下的三维坐标对抓取目标抓取

本实施例在获取了抓取目标在摄像机坐标系下的三维坐标，需要将抓取目标转换为机械手坐标系下的三维坐标，从而通过控制系统控制机械手按照抓取目标在机械手坐标系下的三维坐标实施准确抓取，应当理解的是，实施例中所述的机械手坐标系是指抓取目标在相对于机械手的位置的空间坐标系。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (9)

1.一种用于非标准件抓取的机械手定位方法，其特征在于，所述定位方法包括如下步骤：

a、利用棋盘格标定板对摄像机标定：a1、制定棋格标定板，拍摄多对标定板图像；a2、获取标定板图像的特征点坐标与实际标定板的坐标关系；a3、通过a2中所述的坐标关系得到摄像机的内部参数和外部参数；

b、提取抓取目标在图像中的二维坐标：

b1、采集抓取目标的图像，通过摄像机左右两个视角获取机械手要抓取目标的左右图像；

b2、提取基准图像和抓取目标的图像特征点，利用KNN算法以及比率测试去除误匹配点；

b3、根据所述特征点在基准图像中所处的位置关系，为每一个所述抓取目标的图像特征点定位一个抓取目标轮廓，完成初步定位抓取目标的位置；

b4、步骤b3中所述的抓取目标轮廓重叠面积大于预设阈值时，通过均值漂移算法对所述目标轮廓进行迭代，提取所述抓取目标在左右图像中的二维像素坐标；

c、利用步骤b4中所述的抓取目标在左右图像中的二维像素坐标，通过立体匹配得到抓取目标在摄像机下坐标系下的三维坐标；

d、将步骤c中所述的抓取目标在摄像机下坐标系下的三维坐标转换到抓取目标在机械臂坐标空间下目标三维坐标，控制机械手对抓取目标进行抓取。

2.根据权利要求1所述的定位方法，其特征在于，所述特征点包括对图像的颜色特征、纹理特征、形状特征以及空间位置特征的一种或多种。

3.根据权利要求1所述的定位方法，其特征在于，所述阈值设置为所述抓取目标轮廓的重叠面积的80％。

4.根据权利要求1所述的定位方法，其特征在于，由所述步骤a2中所述的坐标关系满足如下变换矩阵：

$Q=\left[\begin{array}{cccc}1& 0& 0& -c_x\\ 0& 1& 0& -c_y\\ 0& 0& 0& f\\ 0& 0& \frac{-1}{T_x}& \frac{c_{x-}{c}_x^{,}}{T_x}\end{array}\right]$

其中f为摄像机焦距，c_x、c_y为左摄像机中心像素位置，c’_x为右摄像机像素中心横坐标，T_x为左右摄像机水平位移。

5.根据权利要求1所述的定位方法，其特征在于，所述立体匹配是采用线性约束的方法将抓取目标在左右图像中的二维像素坐标转换为抓取目标在摄像机下坐标系下的三维坐标。

6.根据权利要求1或5所述的定位方法，其特征在于，所述抓取目标在摄像机下坐标系下的三维坐标通过下式计算：

$Q\left[\begin{array}{c}x\\ y\\ d\\ 1\end{array}\right]=\left[\begin{array}{c}x-c_x\\ y-x_y\\ f\\ \frac{-d+c_x-c_x^{,}}{T_x}\end{array}\right]=\left[\begin{array}{c}X\\ Y\\ Z\\ W\end{array}\right]$

其中计算得到的三维坐标为：(X/W,Y/W,Z/W)。

7.根据权利要求1所述的定位方法，其特征在于，所述步骤d中通过摄像机的位置参数与抓取目标在摄像机坐标空间下目标三维坐标的关系得到抓取目标在机械臂坐标下的三维坐标。

8.一种用于权利要求1至7任一权利要求所述的机械手定位方法的定位系统，其特征在于，所述定位系统包括像摄像机标定模块、采集模块、图像处理模块、机械手定位模块以及机械手控制模块，其中

摄像机标定模块，用于获取摄像机的内部参数和外部参数；

图像采集模块，用于采集抓取目标的图像，从而得到所述抓取目标图像所在场景的图像；

图像处理模块，对采集到的图像进行处理，获取所述抓取目标在图像中的二位像素坐标，以及

将所述抓取目标在图像中的二位像素坐标转换为在摄像机坐标下的三维坐标；

机械手定位模块，用于获取所述抓取目标在机械手坐标空间下的三维坐标；

机械手控制模块，控制机械手对所述抓取目标进行抓取。

9.根据权利要求8所述的定位系统，其特征在于，所述内部参数包括摄像机的几何光学特性，所述外部参数包括摄像机在世界坐标系中的几何位置。