CN113119108B - 一种二指机械臂抓取方法、系统、装置及存储介质 - Google Patents

Abstract

本发明公开了一种二指机械臂抓取方法、系统、装置及存储介质，方法包括：获取目标区域的第一图像信息，采用目标检测技术提取出待抓取物的第二图像信息；对第二图像信息进行图像分割处理得到前景图像和背景图像，确定前景图像的中心点坐标和边界点坐标；根据中心点坐标和边界点坐标确定多个边界点对，采用多项式曲线拟合方法确定第一边界曲线方程和第二边界曲线方程；根据中心点坐标、第一边界曲线方程以及第二边界曲线方程确定满足力封闭条件的最优边界点对；根据中心点坐标和最优边界点对确定抓取点和抓取角度，进而控制二指机械臂进行抓取。本发明提高了抓取的准确度，降低了对系统算力的要求，提高了抓取效率，可广泛应用于机械臂技术领域。

Description

一种二指机械臂抓取方法、系统、装置及存储介质

技术领域

本发明涉及机械臂技术领域，尤其是一种二指机械臂抓取方法、系统、装置及存储介质。

背景技术

机械臂抓取技术根据驱动方式可以分为数据型驱动抓取以及分析型驱动抓取。数据型驱动抓取即利用类似机器学习或者深度学习等技术从大量的正确抓取位姿中学习针对某个待抓取物的正确抓取位姿。分析型驱动抓取一般是基于夹持器与物体之间的某种几何关系、运动学等方法来生成合适的抓取位姿。

由于深度学习技术在诸多领域取得的成功，因此基于数据型驱动方式的机械臂抓取方法被广泛的使用，但是使用这种方法的缺陷如下：

1)需准备大量带有正确抓取位姿与非正确抓取位姿的数据集，这些数据集有时需要通过实际的机器人抓取动作来获取，因此制作带标签的数据集的过程十分繁琐。且端到端的抓取位姿生成方式对于数据集的质量要求较高，有时需要针对收集的数据集进行必要的清洗。整个过程费时费力，效率不高。

2)抓取动作本身对于抓取位姿是否能够满足力封闭或形封闭有精确要求，使用基于深度神经网络的端到端的数据型驱动的抓取位姿生成方法对以下几种组成部分变动时所导致的误差较敏感：训练数据集、网络框架、损失函数、训练次数等，这会导致其在陌生的待抓取物上生成的抓取位姿不满足力封闭或形封闭的条件从而导致抓取失败。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供一种二指机械臂抓取方法，该方法通过目标检测技术和图像分割处理，确定待抓取物的中心点坐标和边界点坐标，然后选取与中心点坐标在同一直线的多个边界点对，并采用多项式曲线拟合方法确定各个边界点对的边界曲线方程，进而根据中心点坐标和边界曲线方程确定满足力封闭条件的最优边界点对，再根据中心点坐标确定抓取点、根据最优边界点对确定抓取角度，从而可以根据抓取点和抓取角度控制二指机械臂进行抓取。

本发明实施例的另一个目的在于提供一种二指机械臂抓取系统。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了一种二指机械臂抓取方法，包括以下步骤：

获取目标区域的第一图像信息，采用目标检测技术在所述第一图像信息中提取出待抓取物的第二图像信息；

对所述第二图像信息进行图像分割处理得到前景图像和背景图像，并确定所述前景图像的中心点坐标和边界点坐标；

根据所述中心点坐标和所述边界点坐标确定多个边界点对，所述边界点对包括第一边界点和第二边界点，采用多项式曲线拟合方法确定所述第一边界点的第一边界曲线方程和所述第二边界点的第二边界曲线方程；

根据所述中心点坐标、所述第一边界曲线方程以及所述第二边界曲线方程确定满足力封闭条件的最优边界点对；

根据所述中心点坐标确定抓取点，并根据所述最优边界点对确定抓取角度，进而根据所述抓取点和所述抓取角度控制二指机械臂进行抓取。

进一步地，在本发明的一个实施例中，所述获取目标区域的第一图像信息，采用目标检测技术在所述第一图像信息中提取出待抓取物的第二图像信息这一步骤，其具体包括：

采用深度相机获取目标区域的第一图像信息；

利用预先训练好的Faster R-CNN神经网络对所述第一图像信息进行目标检测，得到包含待抓取物的感兴趣区域；

根据所述感兴趣区域确定所述第二图像信息。

进一步地，在本发明的一个实施例中，所述对所述第二图像信息进行图像分割处理得到前景图像和背景图像，并确定所述前景图像的中心点坐标和边界点坐标这一步骤，其具体包括：

对所述第二图像信息进行灰度均值化处理得到第三图像信息；

采用OTSU算法对所述第三图像信息进行图像分割处理得到前景图像和背景图像；

根据所述前景图像和所述背景图像对所述第三图像信息进行二值化处理得到第四图像信息；

根据所述第四图像信息确定所述前景图像的中心点坐标和边界点坐标。

进一步地，在本发明的一个实施例中，所述根据所述第四图像信息确定所述前景图像的中心点坐标这一步骤，其具体包括：

根据所述第四图像信息确定第一连续长度和第二连续长度，所述第一连续长度为各行像素点灰度值不为0的连续长度，所述第二连续长度为各列像素点灰度值不为0的连续长度；

当第一连续长度的最大值大于等于第二连续长度的最大值，在竖直方向上确定第一分割线，使得所述第一分割线左侧像素点的总灰度值与所述第一分割线右侧像素点的总灰度值相等，进而在所述第一分割线上确定所述中心点坐标，使得所述第一分割线上位于所述中心点坐标上侧的像素点的总灰度值与位于所述中心点坐标下侧的像素点的总灰度值相等；

当第一连续长度的最大值小于第二连续长度的最大值，在水平方向上确定第二分割线，使得所述第二分割线上侧像素点的总灰度值与所述第二分割线下侧像素点的总灰度值相等，进而在所述第二分割线上确定所述中心点坐标，使得所述第二分割线上位于所述中心点坐标左侧的像素点的总灰度值与位于所述中心点坐标右侧的像素点的总灰度值相等。

进一步地，在本发明的一个实施例中，所述根据所述中心点坐标和所述边界点坐标确定多个边界点对，所述边界点对包括第一边界点和第二边界点，采用多项式曲线拟合方法确定所述第一边界点的第一边界曲线方程和所述第二边界点的第二边界曲线方程这一步骤，其具体包括：

选取与中心点坐标位于同一直线的第一边界点和第二边界点作为边界点对；

选取与所述第一边界点的距离小于等于预设阈值的边界点坐标加入第一边界点集合，并选取与所述第二边界点的距离小于等于预设阈值的边界点坐标加入第二边界点集合；

对所述第一边界点集合中的边界点坐标进行多项式曲线拟合得到第一边界曲线方程，并对所述第二边界点集合中的边界点坐标进行多项式曲线拟合得到第二边界曲线方程。

进一步地，在本发明的一个实施例中，所述根据所述中心点坐标、所述第一边界曲线方程以及所述第二边界曲线方程确定满足力封闭条件的最优边界点对这一步骤，其具体包括：

确定所述第一边界曲线方程在所述第一边界点处的第一切线，并确定所述第二边界曲线方程在所述第二边界点处的第二切线；

计算所述第一切线与中心线的第一夹角以及所述第二切线与中心线的第二夹角，其中，所述中心线为第一边界点与第二边界点的连线；

确定所述第一夹角与直角的第一差值，并确定所述第二夹角与直角的第二差值，进而确定所述第一差值与所述第二差值的平方和；

选取数值最小的平方和对应的第一边界点和第二边界点作为最优边界点对。

进一步地，在本发明的一个实施例中，所述根据所述中心点坐标确定抓取点，并根据所述最优边界点对确定抓取角度，进而根据所述抓取点和所述抓取角度控制二指机械臂进行抓取这一步骤，其具体包括：

将所述中心点坐标作为抓取点；

据所述最优边界点对的连线与水平线的夹角确定抓取角度；

根据所述抓取点和所述抓取角度确定二指机械臂的末端位姿，进而确定二指机械臂各个电机的旋转角度；

根据所述旋转角度控制二指机械臂各个电机运转，从而完成抓取。

第二方面，本发明实施例提供了一种二指机械臂抓取系统，包括：

目标检测模块，用于获取目标区域的第一图像信息，采用目标检测技术在所述第一图像信息中提取出待抓取物的第二图像信息；

中心点和边界点确定模块，用于对所述第二图像信息进行图像分割处理得到前景图像和背景图像，并确定所述前景图像的中心点坐标和边界点坐标；

边界曲线方程拟合模块，用于根据所述中心点坐标和所述边界点坐标确定多个边界点对，所述边界点对包括第一边界点和第二边界点，采用多项式曲线拟合方法确定所述第一边界点的第一边界曲线方程和所述第二边界点的第二边界曲线方程；

最优边界点对确定模块，用于根据所述中心点坐标、所述第一边界曲线方程以及所述第二边界曲线方程确定满足力封闭条件的最优边界点对；

抓取控制模块，用于根据所述中心点坐标确定抓取点，并根据所述最优边界点对确定抓取角度，进而根据所述抓取点和所述抓取角度控制二指机械臂进行抓取。

第三方面，本发明实施例提供了一种二指机械臂抓取装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种二指机械臂抓取方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的一种二指机械臂抓取方法。

本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：

本发明实施例实时获取待抓取物的图像信息，通过目标检测技术和图像分割处理，确定待抓取物的中心点坐标和边界点坐标，然后选取与中心点坐标在同一直线的多个边界点对，并采用多项式曲线拟合方法确定各个边界点对的边界曲线方程，进而根据中心点坐标和边界曲线方程确定满足力封闭条件的最优边界点对，再根据中心点坐标确定抓取点、根据最优边界点对确定抓取角度，从而可以根据抓取点和抓取角度控制二指机械臂进行抓取。本发明实施例相较现有技术而言，一方面基于边界曲线方程和力封闭条件确定抓取位姿，提高了抓取的准确度与成功率；另一方面无需准备包含大量抓取位姿的数据集进行机器学习，降低了对系统算力的要求，提高了抓取效率；同时，本发明可以自主确定待抓取物的位置，并计算最优的抓取位姿，一定程度上提升了机械臂抓取的自动化程度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面对本发明实施例中所需要使用的附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1为本发明实施例提供的一种二指机械臂抓取方法的步骤流程图；

图2为本发明实施例提供的深度相机采集到的深度图的示例；

图3为本发明实施例提供的手眼标定过程中各个坐标系关系的示意图；

图4为本发明实施例提供的机械臂抓取时的数学模型的示意图；

图5为本发明实施例提供的中心点坐标的具体计算流程示意图；

图6为本发明实施例提供的抓取角度的具体计算流程示意图；

图7(a)为本发明实施例提供的确定边界点集合的第一种方法的流程示意图；

图7(b)为本发明实施例提供的确定边界点集合的第二种方法的流程示意图；

图8为本发明实施例提供的一种二指机械臂抓取系统的结构框图；

图9为本发明实施例提供的一种二指机械臂抓取装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

在本发明的描述中，多个的含义是两个或两个以上，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。

在详细描述本发明实施例前，首先对本发明实施例涉及的设备、理论以及数学模型等进行说明。

本发明实施例采用深度传感器获取待抓取物的图像信息，深度传感器可以是Microsoft开发的一款可以感知深度信息的视觉传感器Kinect V2.0，该传感器包含两种相机：深度相机与彩色相机(RGB相机)，RGB相机采集的图像的分辨率为1920×1080像素，深度图像的分辨率为512×424像素。深度相机的工作原理是通过计算红外发射器发出红外光线的飞行时间来判断距离，即红外发射器在发射红外脉冲之后，如果遇到障碍物，则会反射到传感器，通过时间来判断深度信息。深度传感器所计算的深度信息有效距离为0.5m至4.5m，超出这个范围的距离会被传感器判定为无效。本发明实施例所使用的Kinect V2.0深度传感器包括深度相机与普通的RGB相机，两种分别采集深度图和彩色图，而深度图可以反应其采集的图像像素点距离深度相机的距离，彩色相机采集的是普通三通道图像。如图2所示为提供的深度相机采集到的深度图的示例，由图2可以看到，桌面上待抓取物的深度信息与桌面有明显不同。

下面介绍两种相机的像素匹配理论。设某点P在RGB相机坐标系下坐标为P_c，p_c是该点在RGB相机像素坐标系上的投影点坐标，K_c是RGB相机内参矩阵，根据小孔成像原理，有如下关系成立：

Z_c·p_c＝K_c·P_c (1)

上式中，Z_c表示的是点P_c在RGB相机坐标系中距离X_cO_cY_c平面的垂直距离。同理，点P在深度相机坐标系下坐标为P_d，p_d是该点在深度相机像素坐标系上的投影点坐标，K_d是深度相机内参矩阵，也有如下关系成立：

Z_d·p_d＝K_d·P_d (2)

对于上述点P，深度相机与RGB相机之间可以使用下述关系联系起来：

P_c＝R·P_d+T (3)

上式中，R代表深度相机坐标系与RGB相机坐标系的旋转变换矩阵，T则代表两坐标系之间的平移变换矩阵。假设点P在世界坐标系下的坐标为P_w，那么如下式子成立：

上式中，

分别为世界坐标系到RGB相机坐标系与世界坐标系到深度相机坐标系的旋转矩阵，

分别为世界坐标系到RGB相机坐标系与世界坐标系到深度相机坐标系的平移矩阵。这四个参数被称为两相机的外参数，是描述相机坐标系与外部坐标系的映射关系。这些参数同样可以使用标定板作为工具，使用张正友标定法来确定。通过式(4)可以得到：

结合式(3)和式(5)，可得：

再将式(1)、(2)、(6)代入式(3)可得：

在上式中，K_c、K_d是RGB相机与深度相机的内参矩阵，可以使用标定板通过张正友标定法计算得到。Z_c、Z_d分别是点P距离RGB相机坐标系{O_cX_cY_cZ_c}的X_cO_cY_c平面与深度相机坐标系{O_dX_dY_dZ_d}的X_dO_dY_d平面垂直距离，

是RGB相机与深度相机的外参数。

由上文可知，式(7)中除了p_c与p_d即RGB相机与深度相机像素坐标之外，其他的值都是可以求解的。故式(7)建立了从RGB相机像素坐标到深度相机像素坐标的映射关系。

任何一个带有视觉系统的机器人，都需要建立相机与机器人之间的映射关系。而建立这个映射关系的过程就是手眼标定。手眼标定可以根据相机的安装位置分成两种形式，分别是眼在手上(eye-in-hand)、眼在手外(eye-to-hand)。前者意味着相机需要安装在机械臂上，且会随着机械臂的移动而移动。后者则是相对机械臂的基座标系独立，不随着机械臂的移动而移动。

本发明实施例选择眼在手外的方法进行机械臂与相机的标定。在机械臂与相机的标定过程中会涉及到以下几个坐标系：O、C、K、M。它们分别是机器人基座标系、相机坐标系、标定板坐标系以及机器人末端坐标系，如图3所示为本发明实施例提供的手眼标定过程中各个坐标系关系的示意图。

手眼标定的目的是为了求出坐标系O与C的映射关系，设点P为世界坐标系中坐标，该点在C、O坐标系中的坐标分别设为P_c，P_o，那么映射关系可以表述为：

上式中，

与

分别为从机器人基座标系映射到相机坐标系的旋转矩阵与平移矩阵，为了求取式(8)中的

与

可以寻找若干存在于世界坐标系的点集：

式(9)对应点在机器人基座标系中的坐标为：

式(9)对应点在相机坐标系中的坐标为：

式(10)和(11)中的N表示的是点的数量，那么求取式8中的

与

就可以转化为求取下式：

式(12)是采用最小二乘法获得两个坐标系之间的关系，可以转换为求解矩阵的奇异值分解问题。

下面介绍本发明实施例的二指机械臂抓取时的数学模型，与部分工业机器人的抓取方式类似，本发明实施例的机械臂抓取方法较适合垂直水平面进行抓取，具体数学模型如图4所示。

设像素坐标系为{XOY},一个机械臂末端的抓取位姿可被两个参数约束：基于像素坐标系{XOY}的抓取点坐标P(x,y)以及抓取时机器人末端从{XOY}坐标系的X轴正方向出发绕垂直水平面的轴线逆时针旋转的角度θ。因此可以用下式表示抓取时的数学模型：

g＝{x,y,θ} (13)

在机械臂垂直向下进行抓取时，式(13)可以完全约束一个机械臂末端的位姿。对于一个具有N自由度的机械臂而言，当机械臂垂直向下进行抓取时，可以将机械臂基座标系(X₀Y₀Z₀)与机械臂末端坐标系(X_NY_NZ_N)的坐标变换简单的描述为：首先X₀Y₀Z₀绕自身Y轴逆时针旋转π，然后绕自身Z轴逆时针旋转式(13)中的θ得到，因此坐标的旋转变换矩阵为：

机械臂的末端坐标系与基座标系的变换是4×4的矩阵：

主要部分是旋转变换矩阵：

以及平移变换矩阵；

平移变换矩阵在本发明实施例中即抓取点相对机械臂基座标系的三维坐标。当求解出式(13)中的参数θ之后可以求解出式(16)，当求解出式(13)中的(x,y)之后利用式(7)与式(12)可以求出式(17)，那么机械臂在执行抓取时其末端位姿矩阵就求解出来了，利用位姿矩阵和N自由度机械臂的逆运动学计算方法就可以求解出各个关节角度旋转值执行抓取动作。

因此，本发明实施例的侧重点就在于如何正确求解出式(13)中的抓取点(x,y)与抓取角度θ。

参照图1，本发明实施例提供了一种二指机械臂抓取方法，具体包括以下步骤：

S101、获取目标区域的第一图像信息，采用目标检测技术在第一图像信息中提取出待抓取物的第二图像信息；

具体地，获取目标区域的第一图像信息，并利用基于深度学习的目标检测技术，使用矩形框感兴趣区域在第一图像信息中标注出待抓取物的位置，即得到第二图像信息，便于后续计算抓取点和抓取角度。步骤S101包括以下步骤：

S1011、采用深度相机获取目标区域的第一图像信息；

S1012、利用预先训练好的Faster R-CNN神经网络对第一图像信息进行目标检测，得到包含待抓取物的感兴趣区域；

S1013、根据感兴趣区域确定第二图像信息。

具体地，本发明实施例中使用Faster R-CNN网络进行目标检测。Faster R-CNN网络是以深度神经网络为基础的一种解决目标检测问题的算法，其深度神经网络中含有大量参数，这些参数需要使用已经手动标记待抓取物位置的原数据集进行多次迭代，得到最优解。该过程称为神经网络的训练过程。具体的训练过程即最小化如下的全局损失函数：

上述公式是该Faster R-CNN网络的全局损失函数，网络训练的过程即优化参数的过程，通过基于梯度下降算法来最小化全局损失函数从而优化整个神经网络中的参数。该损失函数可以分为两个部分：

与

分别是分类损失与回归损失。当Faster R-CNN算法能够在输入的原数据集中(含有待抓取物)将待抓取物的检测并标记出，可理解为该Faster R-CNN经过了充分的迭代训练。

S102、对第二图像信息进行图像分割处理得到前景图像和背景图像，并确定前景图像的中心点坐标和边界点坐标。

具体地，本发明实施例基于物体深度与背景深度的不同，对第二图像信息进行前景背景(即待抓取物与背景)分割，由于背景和待抓取物在深度相机向下采集时其深度不同，因此采集的深度图在经过灰度均值化处理后可以区分出待抓取物与背景，进而在包含待抓取物的前景图像中确定一个中心点坐标和多个边界点坐标。步骤S102具体包括以下步骤：

S1021、对第二图像信息进行灰度均值化处理得到第三图像信息；

S1022、采用OTSU算法对第三图像信息进行图像分割处理得到前景图像和背景图像；

S1023、根据前景图像和背景图像对第三图像信息进行二值化处理得到第四图像信息；

S1024、根据第四图像信息确定前景图像的中心点坐标和边界点坐标。

具体地，对第二图像信息进行灰度均质化处理得到第三图像信息，利用OTSU算法对第三图像信息进行图像分割处理得到前景图像和背景图像，随后将前景图像的灰度值设为1，将背景图像的灰度值设为0，通过二值化处理得到第四图像信息，由此深度图像就可以变成易处理的01矩阵。由于几何形状比较规则、质量分布比较均匀的待抓取物的抓取点一般是其几何中心，因此抓取点的确定实际上就是在二值化处理之后的图像中寻找几何中心点。

可以理解的是，边界点坐标即为第四图像信息中灰度值为1的区域的边缘点的坐标，通过01矩阵可以容易得到。

进一步作为可选的实施方式，根据第四图像信息确定前景图像的中心点坐标这一步骤，其具体包括：

A1、根据第四图像信息确定第一连续长度和第二连续长度，第一连续长度为各行像素点灰度值不为0的连续长度，第二连续长度为各列像素点灰度值不为0的连续长度；

A2、当第一连续长度的最大值大于等于第二连续长度的最大值，在竖直方向上确定第一分割线，使得第一分割线左侧像素点的总灰度值与第一分割线右侧像素点的总灰度值相等，进而在第一分割线上确定中心点坐标，使得第一分割线上位于中心点坐标上侧的像素点的总灰度值与位于中心点坐标下侧的像素点的总灰度值相等；

A3、当第一连续长度的最大值小于第二连续长度的最大值，在水平方向上确定第二分割线，使得第二分割线上侧像素点的总灰度值与第二分割线下侧像素点的总灰度值相等，进而在第二分割线上确定中心点坐标，使得第二分割线上位于中心点坐标左侧的像素点的总灰度值与位于中心点坐标右侧的像素点的总灰度值相等。

具体地，本发明实施例的中心点坐标的具体计算流程如图5所示，首先确定第四图像信息中各行和各列的像素点灰度值不为0的连续长度，当水平方向上像素点灰度值不为0的连续长度大于等于竖直方向上时，确定一条竖直的第一分割线，该分割线可以将第四图像信息的总灰度值平均分割，然后在该分割线上找到可以将该分割线上下两部分的灰度值均分的中心点，该中心点即为待抓取物的几何中心；当水平方向上像素点灰度值不为0的连续长度小于竖直方向上时，同理也可以得到待抓取物的几何中心。

可以理解的是，图5所示的中心点坐标的计算流程仅为本发明的一种实施方式，在相同的思路下还有其他可以求取中心点坐标的具体计算指令，在此不做赘述。

S103、根据中心点坐标和边界点坐标确定多个边界点对，边界点对包括第一边界点和第二边界点，采用多项式曲线拟合方法确定第一边界点的第一边界曲线方程和第二边界点的第二边界曲线方程；

具体地，第一边界曲线方程和第二边界曲线方程用于确定符合力封闭条件的边界点对。

步骤S103具体包括以下步骤：

S1031、选取与中心点坐标位于同一直线的第一边界点和第二边界点作为边界点对；

S1032、选取与第一边界点的距离小于等于预设阈值的边界点坐标加入第一边界点集合，并选取与第二边界点的距离小于等于预设阈值的边界点坐标加入第二边界点集合；

S1033、对第一边界点集合中的边界点坐标进行多项式曲线拟合得到第一边界曲线方程，并对第二边界点集合中的边界点坐标进行多项式曲线拟合得到第二边界曲线方程。

具体地，以第一边界点集合为例，在确定第一边界点之后，接下来需要遍历所有的边界点，并寻找该边界点周围以M个像素长度为直径的圆内其他边界点的像素坐标。如图7所示为本发明实施例提供的确定边界点集合的两种方法的流程示意图，可根据边界点的多少可以选择不同的方案。

当边界点总数目小于等于以第一边界点p_i(i＝1,2,…,N)为中心，以M个固定像素为直径范围内的所有像素点个数时，采用如图7(a)所示的方法确定第一边界点集合，具体为通过遍历依次确定各个与第一边界点距离小于M个像素的边界点加入第一边界点集合。

当边界点总数目大于以第一边界点p_i(i＝1,2,…,N)为中心，以M个固定像素为直径范围内的所有像素点个数时，采用广度优先搜索(Breadth First Search)算法确定第一边界点集合，如图7(b)所示，A点为初始边界点，(1)方向为第一次寻找的方向，(2)和(3)方向分别为第二次和第三次的寻找方向。当遇到边界点时，会将该点保存在第一边界点集合中，当遇到已经遍历过得像素时跳过。利用这种算法可以在一定程度上节约寻找范围内边界点坐标的时间。

最后将这个集合中的边界点通过多项式曲线拟合形成曲线并计算曲线方程，曲线拟合的详细过程如下：

设存在多项式函数：

使用式(19)拟合本发明实施例中的边界点坐标系，令

r_i＝f_i(x)-y_i(i＝1,2,…,k) (20)

上式中，r_i表示残差，为拟合的误差，一般情况下r_i≠0。这里需要使用最小二乘法，确定式(19)中的参数变量的值，即求解使得残差r_i的平方和最小的a_i(i＝1,2,…,n)，如下式

需要求解式(21)的函数取最小值时，a_i(i＝1,2,…,n)的值。实际上，F(a₀,a₁,…,a_n)是一个多元函数，求解式(21)的最小值，即求解：

式(22)是求取多元函数极值的必要条件。因此上述的求取最小值的最小二乘问题转换为求取多元函数极值问题。

在求解最小二乘曲线拟合问题时，若式(19)中的n大于等于某值时，会出现求解方程组的病态问题。例如在n≥7时，其中系数矩阵或者方程组右端项的微小扰动都可能导致解函数出现很大的误差。由于本发明实施例中曲线拟合为像素坐标系中的坐标作为数据进行拟合，因此在计算的过程中，使用不同的拟合阶数对于结果的影响很大。

可以使用下表1表示的各阶拟合的残差平方和对拟合效果进行评价，其中残差平方和的表达式为

表1

根据表1可以看出，当阶次为7阶时，多项式拟合的残差急剧增大，随着阶次增加误差会因为扰动而变得越来越大，即方程组的病态性越严重，此时的曲线已经不能正确拟合边界坐标点的变化趋势。从表中可以看出，3阶和5阶可以较好的拟合坐标点的变化趋势，由于3阶拟合和5阶拟合的残差平方和处于同一数量级，为了使得拟合结果更加精确平滑以及计算成本更低，本发明实施例选择的多项式曲线拟合阶数为3阶。

S104、根据中心点坐标、第一边界曲线方程以及第二边界曲线方程确定满足力封闭条件的最优边界点对。

具体地，力封闭指的是如果待抓取物因一组施加在物体上的力约束而不能发生任何位姿(旋转或者移动)上的变化，而这组约束完全由机器人末端施加在物体的力决定的，这种状态就构成了力封闭。由于不规则物体或者质量分布不均匀的物体力封闭条件难以满足，因此本发明实施例优先考虑物体边缘相对规则的情况。步骤S104具体包括以下步骤：

S1041、确定第一边界曲线方程在第一边界点处的第一切线，并确定第二边界曲线方程在第二边界点处的第二切线；

S1042、计算第一切线与中心线的第一夹角以及第二切线与中心线的第二夹角，其中，中心线为第一边界点与第二边界点的连线；

S1043、确定第一夹角与直角的第一差值，并确定第二夹角与直角的第二差值，进而确定第一差值与第二差值的平方和；

S1044、选取数值最小的平方和对应的第一边界点和第二边界点作为最优边界点对。

具体地，由基于二指末端的力封闭原则可知，在两指施加在待抓取物上的力F₁等于F₂且两力的方向垂直或接近垂直于接触点的切线的情况下，待抓取物无法在该力约束时下进行任何位姿上的改变，可以认为系统满足力封闭的条件，此时使用二指末端执行器进行抓取可认为抓取成功。本发明实施例需要在所有边界点对中寻找一对最优边界点对，使得这两个点与抓取点的连线构成的线段能够满足上述的力封闭条件。

以第一边界曲线方程为例，确定第一边界曲线方程在第一边界点处的切线，通过该切线与该点和抓取点构成连线计算出第一夹角θ₁，同理使用相同的方法计算相应的第二边界点的与抓取点构成线段与第二边界曲线方程在第二边界点处切线的第二夹角θ₂。遍历所有的边界点对，计算两夹角与90°的最小误差对应的两边界点，即为最优边界点对。根据最优边界点对可以确定抓取角度。

如图6所示本发明实施例提供的抓取角度的具体计算流程示意图，其中确定最优边界点对的判定条件如下：

使得上式中α_error取值最小的边界点对即为最优边界点对，连接这两个边界点所成线段与图像像素坐标系的x轴构成的角度即式(13)描述的抓取角度。

S105、根据中心点坐标确定抓取点，并根据最优边界点对确定抓取角度，进而根据抓取点和抓取角度控制二指机械臂进行抓取。

具体地，根据前面介绍的机械臂抓取时的数学模型可知，中心点坐标即为本发明实施例的抓取点，最优边界点连线与图像像素坐标系的x轴构成的角度即为本发明实施例的抓取角度。步骤S105具体包括以下步骤：

S1051、将中心点坐标作为抓取点；

S1052、根据最优边界点对的连线与水平线的夹角确定抓取角度；

S1053、根据抓取点和抓取角度确定二指机械臂的末端位姿，进而确定二指机械臂各个电机的旋转角度；

S1054、根据旋转角度控制二指机械臂各个电机运转，从而完成抓取。

可选地，将抓取点像素坐标系转换成基于彩色相机的三维坐标系(式(7)可以确定彩色像素坐标系与深度像素坐标系的映射关系，可通过采集的深度图得知深度像素坐标系任意点的深度值，由于相机垂直向下，因此可知式(1)中的Z_c，那么通过式(1)就可知抓取点相对彩色相机坐标系的三维坐标)，通过上述描述的手眼标定法可得知机械臂基座标系与彩色相机的旋转和平移矩阵可将抓取点转换成基于机械臂基座标系的三维坐标系，在机械臂末端执行器进行垂直抓取时根据抓取点与抓取角度计算出此时末端的位姿矩阵进而推导出各个电机的旋转角度，最后完成抓取。

以上对本发明实施例的方法步骤进行了说明。本发明实施例实时获取待抓取物的图像信息，通过目标检测技术和图像分割处理，确定待抓取物的中心点坐标和边界点坐标，然后选取与中心点坐标在同一直线的多个边界点对，并采用多项式曲线拟合方法确定各个边界点对的边界曲线方程，进而根据中心点坐标和边界曲线方程确定满足力封闭条件的最优边界点对，再根据中心点坐标确定抓取点、根据最优边界点对确定抓取角度，从而可以根据抓取点和抓取角度控制二指机械臂进行抓取。首先，由于本发明实施例使用基于分析型驱动方法进行研究，因此本发明实施例能够极大的增加基于二指机械臂抓取时的成功率，并避免了使用数据型驱动时的各种弊端；其次，本发明实施例可以自主确定待抓取物的位置，并自行计算合理的抓取位姿，因此能一定程度上提升机械臂抓取的自动化程度；最后，本发明实施例所使用的方法计算复杂度不高，可以在一些常见中应用到机械臂的实际抓取中，加快这些机械臂抓取时的智能化程度与效率。

此外，传统的OTSU算法在处理RGB图像时，由于前景背景图像色彩有重合之处，会导致该算法无法寻找到合适的阈值使得前景背景的类间方差最大，从而导致分割方法不佳。本发明实施例是使用KinectV2.0深度相机所拍摄的深度图像为基础进行图像分割——深度相机采集到的图像只会在深度层面体现前景背景的不同(因为相机垂直向下采集图像，因此前景即待抓取物和背景所在的深度不同)，会自动忽略色彩带来的影响，在此基础上采用OTSU算法进行图像分割，就可以取得较好的分割效果。

参照图8，本发明实施例提供了一种二指机械臂抓取系统，包括：

目标检测模块，用于获取目标区域的第一图像信息，采用目标检测技术在第一图像信息中提取出待抓取物的第二图像信息；

中心点和边界点确定模块，用于对第二图像信息进行图像分割处理得到前景图像和背景图像，并确定前景图像的中心点坐标和边界点坐标；

边界曲线方程拟合模块，用于根据中心点坐标和边界点坐标确定多个边界点对，边界点对包括第一边界点和第二边界点，采用多项式曲线拟合方法确定第一边界点的第一边界曲线方程和第二边界点的第二边界曲线方程；

最优边界点对确定模块，用于根据中心点坐标、第一边界曲线方程以及第二边界曲线方程确定满足力封闭条件的最优边界点对；

抓取控制模块，用于根据中心点坐标确定抓取点，并根据最优边界点对确定抓取角度，进而根据抓取点和抓取角度控制二指机械臂进行抓取。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

参照图9，本发明实施例提供了一种二指机械臂抓取装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当上述至少一个程序被上述至少一个处理器执行时，使得上述至少一个处理器实现上述的一种二指机械臂抓取方法。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，该处理器可执行的程序在由处理器执行时用于执行上述一种二指机械臂抓取方法。

本发明实施例的一种计算机可读存储介质，可执行本发明方法实施例所提供的一种二指机械臂抓取方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或上述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，上述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印上述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得上述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种二指机械臂抓取方法，其特征在于，包括以下步骤：

获取目标区域的第一图像信息，采用目标检测技术在所述第一图像信息中提取出待抓取物的第二图像信息；

对所述第二图像信息进行图像分割处理得到前景图像和背景图像，并确定所述前景图像的中心点坐标和边界点坐标；

根据所述中心点坐标和所述边界点坐标确定多个边界点对，所述边界点对包括第一边界点和第二边界点，采用多项式曲线拟合方法确定所述第一边界点的第一边界曲线方程和所述第二边界点的第二边界曲线方程；

根据所述中心点坐标、所述第一边界曲线方程以及所述第二边界曲线方程确定满足力封闭条件的最优边界点对；

根据所述中心点坐标确定抓取点，并根据所述最优边界点对确定抓取角度，进而根据所述抓取点和所述抓取角度控制二指机械臂进行抓取；

所述根据所述中心点坐标、所述第一边界曲线方程以及所述第二边界曲线方程确定满足力封闭条件的最优边界点对这一步骤，其具体包括：

确定所述第一边界曲线方程在所述第一边界点处的第一切线，并确定所述第二边界曲线方程在所述第二边界点处的第二切线；

计算所述第一切线与中心线的第一夹角以及所述第二切线与中心线的第二夹角，其中，所述中心线为第一边界点与第二边界点的连线；

确定所述第一夹角与直角的第一差值，并确定所述第二夹角与直角的第二差值，进而确定所述第一差值与所述第二差值的平方和；

选取数值最小的平方和对应的第一边界点和第二边界点作为最优边界点对。

2.根据权利要求1所述的一种二指机械臂抓取方法，其特征在于，所述获取目标区域的第一图像信息，采用目标检测技术在所述第一图像信息中提取出待抓取物的第二图像信息这一步骤，其具体包括：

采用深度相机获取目标区域的第一图像信息；

利用预先训练好的Faster R-CNN神经网络对所述第一图像信息进行目标检测，得到包含待抓取物的感兴趣区域；

根据所述感兴趣区域确定所述第二图像信息。

3.根据权利要求1所述的一种二指机械臂抓取方法，其特征在于，所述对所述第二图像信息进行图像分割处理得到前景图像和背景图像，并确定所述前景图像的中心点坐标和边界点坐标这一步骤，其具体包括：

对所述第二图像信息进行灰度均值化处理得到第三图像信息；

采用OTSU算法对所述第三图像信息进行图像分割处理得到前景图像和背景图像；

根据所述前景图像和所述背景图像对所述第三图像信息进行二值化处理得到第四图像信息；

根据所述第四图像信息确定所述前景图像的中心点坐标和边界点坐标。

4.根据权利要求3所述的一种二指机械臂抓取方法，其特征在于，所述根据所述第四图像信息确定所述前景图像的中心点坐标这一步骤，其具体包括：

根据所述第四图像信息确定第一连续长度和第二连续长度，所述第一连续长度为各行像素点灰度值不为0的连续长度，所述第二连续长度为各列像素点灰度值不为0的连续长度；

当第一连续长度的最大值大于等于第二连续长度的最大值，在竖直方向上确定第一分割线，使得所述第一分割线左侧像素点的总灰度值与所述第一分割线右侧像素点的总灰度值相等，进而在所述第一分割线上确定所述中心点坐标，使得所述第一分割线上位于所述中心点坐标上侧的像素点的总灰度值与位于所述中心点坐标下侧的像素点的总灰度值相等；

当第一连续长度的最大值小于第二连续长度的最大值，在水平方向上确定第二分割线，使得所述第二分割线上侧像素点的总灰度值与所述第二分割线下侧像素点的总灰度值相等，进而在所述第二分割线上确定所述中心点坐标，使得所述第二分割线上位于所述中心点坐标左侧的像素点的总灰度值与位于所述中心点坐标右侧的像素点的总灰度值相等。

5.根据权利要求1所述的一种二指机械臂抓取方法，其特征在于，所述根据所述中心点坐标和所述边界点坐标确定多个边界点对，所述边界点对包括第一边界点和第二边界点，采用多项式曲线拟合方法确定所述第一边界点的第一边界曲线方程和所述第二边界点的第二边界曲线方程这一步骤，其具体包括：

选取与中心点坐标位于同一直线的第一边界点和第二边界点作为边界点对；

选取与所述第一边界点的距离小于等于预设阈值的边界点坐标加入第一边界点集合，并选取与所述第二边界点的距离小于等于预设阈值的边界点坐标加入第二边界点集合；

对所述第一边界点集合中的边界点坐标进行多项式曲线拟合得到第一边界曲线方程，并对所述第二边界点集合中的边界点坐标进行多项式曲线拟合得到第二边界曲线方程。

6.根据权利要求1至5中任一项所述的一种二指机械臂抓取方法，其特征在于，所述根据所述中心点坐标确定抓取点，并根据所述最优边界点对确定抓取角度，进而根据所述抓取点和所述抓取角度控制二指机械臂进行抓取这一步骤，其具体包括：

将所述中心点坐标作为抓取点；

根据所述最优边界点对的连线与水平线的夹角确定抓取角度；

根据所述抓取点和所述抓取角度确定二指机械臂的末端位姿，进而确定二指机械臂各个电机的旋转角度；

根据所述旋转角度控制二指机械臂各个电机运转，从而完成抓取。

7.一种二指机械臂抓取系统，其特征在于，包括：

目标检测模块，用于获取目标区域的第一图像信息，采用目标检测技术在所述第一图像信息中提取出待抓取物的第二图像信息；

中心点和边界点确定模块，用于对所述第二图像信息进行图像分割处理得到前景图像和背景图像，并确定所述前景图像的中心点坐标和边界点坐标；

边界曲线方程拟合模块，用于根据所述中心点坐标和所述边界点坐标确定多个边界点对，所述边界点对包括第一边界点和第二边界点，采用多项式曲线拟合方法确定所述第一边界点的第一边界曲线方程和所述第二边界点的第二边界曲线方程；

最优边界点对确定模块，用于根据所述中心点坐标、所述第一边界曲线方程以及所述第二边界曲线方程确定满足力封闭条件的最优边界点对；

抓取控制模块，用于根据所述中心点坐标确定抓取点，并根据所述最优边界点对确定抓取角度，进而根据所述抓取点和所述抓取角度控制二指机械臂进行抓取；

所述最优边界点对确定模块具体用于：

确定所述第一边界曲线方程在所述第一边界点处的第一切线，并确定所述第二边界曲线方程在所述第二边界点处的第二切线；

计算所述第一切线与中心线的第一夹角以及所述第二切线与中心线的第二夹角，其中，所述中心线为第一边界点与第二边界点的连线；

确定所述第一夹角与直角的第一差值，并确定所述第二夹角与直角的第二差值，进而确定所述第一差值与所述第二差值的平方和；

选取数值最小的平方和对应的第一边界点和第二边界点作为最优边界点对。

8.一种二指机械臂抓取装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至6中任一项所述的一种二指机械臂抓取方法。

9.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1至6中任一项所述的一种二指机械臂抓取方法。

Images