CN113246130B - 一种工件抓取和拨动干预方法及系统 - Google Patents

Abstract

本发明公开了一种工件抓取和拨动干预方法及系统。所述方法包括：S1，获取堆叠场景中工件的图像信息，S2，根据图像信息对工件进行识别，获取堆叠场景中可抓取的候选工件数量，S3，若候选工件数量≤设定值时，则触发拨动干预策略对堆叠工件进行拨动动作，S4，重复步骤S2、S3，直至候选工件数量≥设定值+1，则进行工件抓取作业。本发明通过网格法实现拨动路径规划，并且协调优化识别和抓取动作，为工件堆叠识别和抓取的应用场景，在有效拨动提升抓取效率这个方向上，提供了系统化的解决方案。

Description

一种工件抓取和拨动干预方法及系统

技术领域

本发明属于机器人抓取技术领域，具体涉及一种工件抓取和拨动干预方法及系统。

背景技术

基于二维/三维视觉的机器人抓取技术，已经在物流快递、仓库搬运、拆码垛等简单场景中广泛应用，视觉引导的机器人增强了面对复杂环境的感知能力。在工业抓取场景中，二维图像能够提供致密丰富的纹理信息，经过图像处理和识别，获取被抓取工件的位置(二维坐标)，但无法获取深度信息。三维图像能够提供抓取场景中的距离信息。两类数据具有较好的互补性，融合两种模态的数据，可以对工件抓取场景进行更全面的感知。近年来，随着工件6D姿态估计算法的研究日趋增加，设备的计算能力日益提高，机器人抓取系统已经在工件无序散乱堆叠、无序工件装配、柔性抓取等相关领域取得创造性的突破。

其中，在面向小工件无序散乱堆叠的场景中，基于可见光相机设备进行对场景内的工件进行有效的拨动干预，是提高工件识别抓取效率和机器人环境感知能力的一个关键核心技术问题。从技术的角度来看，三维点云数据与二维图像属于不同模态的数据，如何巧妙的融合两者的数据，并根据抓取场景内工件的散乱堆叠情况分析出可靠的几何特征，最后为机器人提供一条合理有效的工件拨动轨迹路线，是国内外科技工作者着力探索一个研究方向。

现有的机器人工件抓取和拨动干预方法，根据实现原理的差异，大致可分为以下两类：强化学习法、线性拨动法。第一类强化学习法，通常使用Q-Learning算法，通过完全试错的方式进行自我监督，拨动后的成功抓取给予奖励，从而实现拨动和抓取动作的协同作业。强化学习法随着时间的推移需要不断的使用更多的数据来学习，时间周期较长且泛化性不强，不太适用于高效率的工业场景。第二类线性拨动法，通过处理图像信息，得到线性的方向矢量，再结合数据的合成，得出线性的拨动策略方法。文献(Hermans T，Rehg JM，Bobick A.Guided Pushing for Object Singulation[C]//IEEE/RSJ InternationalConference on Intelligent Robots&Systems.IEEE，2012.)提出了一种在工件堆中随机选择一个对象和方向，然后在选定对象的质心沿选定方向拨动固定长度的准基线拨动策略。Danielczuk M等在文献(Danielczuk M，Mahler J，Correa C，et al.Linear PushPolicies to Increase Grasp Access for Robot Bin Picking[C]//2018IEEE 14thInternational Conference on Automation Science and Engineering(CASE).IEEE，2018.)中，总结了准随机基线策略、切边界策略、自由空间策略、最大间隙策略、集群扩散策略等五种线性拨动策略。此几类方法共有的不足在于：它们都是基于对象识别后的处理策略。而在相互遮挡的场景中，能够识别出的对象相对较少，因此以上五类拨动策略不太适用于小工件堆叠遮挡的场景。

因此，如何提供一种适用于小工件堆叠遮挡的场景的机器人工件抓取和拨动干预方法，是一个急需解决的问题。

发明内容

本发明的主要目的在于提供一种工件抓取和拨动干预方法系统，从而克服现有技术的不足。

本发明的另一目的在于提供一种工件抓取和拨动干预系统。

为实现前述发明目的，本发明采用的技术方案包括：

本发明实施例提供了一种工件抓取和拨动干预方法，所述方法包括：

S1，获取堆叠场景中工件的图像信息；

S2，根据所述图像信息对工件进行识别，获取堆叠场景中可抓取的候选工件数量；

S3，若所述候选工件数量≤设定值时，则触发拨动干预策略对堆叠工件进行拨动动作；

S4，重复步骤S2、S3，直至候选工件数量≥设定值+1，则进行工件抓取作业。

在一优选实施例中，所述S1包括：获取堆叠场景中工件的2D图像和3D图像。

在一优选实施例中，所述S1包括：采用2D相机对堆叠场景中工件进行拍照，获得所述2D图像，及采用3D相机对堆叠场景中工件进行拍照，获得所述3D图像。

在一优选实施例中，所述S2包括：

S21，对工件进行识别，记录识别出的识别工件数量，并获取工件位姿信息；

S22，对识别出的工件进行碰撞检测，剔除重叠率大于设定百分比的工件，得到堆叠场景中可抓取的所述候选工件数量。

在一优选实施例中，所述S21包括：由所述图像信息获取到工件的3D点云数据，基于点云匹配算法对工件进行识别，记录识别出的识别工件数量，并通过6D位姿估计算法获取工件位姿信息。

在一优选实施例中，所述点云匹配算法为PPF点云匹配算法。

在一优选实施例中，所述S22包括：先基于碰撞检测算法对识别出的工件与工件之间进行碰撞检测，然后对识别出的工件和机器人夹爪之间进行碰撞测试，剔除重叠率大于20％的工件，得到堆叠场景中可抓取的所述候选工件数量。

在一优选实施例中，所述碰撞检测算法为FCL碰撞检测算法。

在一优选实施例中，所述拨动干预策略包括：

S31，对2D图像进行处理，在X-Y二维平面内生成拨动轨迹；

S32，由3D图像获取到工件的3D点云数据，根据所述3D点云数据得到机器臂的拨动深度；

S33，控制机器臂在所述拨动深度下，基于所述拨动轨迹对工件进行拨动动作。

在一优选实施例中，所述S31包括：

S311，基于Sobel函数的边缘检测，对2D图像进行预处理；

S312，基于Harris检测算法，对预处理后的2D图像进行角点检测；

S313，对角点检测后的2D图像进行n²格网格的特征空间区域划分，并基于均值漂移算法，在划分的区域内，反复迭代寻找样本点最密集的区域，形成中心点集及相应的n²类分组，其中，n为大于等于1的自然数；

S314，将中心点集中的各点，通过直线段按序依次连接，形成直线轨迹，并基于贝塞尔公式对所述直线轨迹进行优化，形成所述拨动轨迹。

在一优选实施例中，所述贝塞尔公式为：

其中，i表示每个中心点集中的点，n表示中心点集中点的数量，Pi表示中心点集中点i的坐标位置，t为[0，1]之间的可变参数。

在一优选实施例中，所述S32包括：根据每个3D点云数据在Z轴的坐标信息排序，选取机器臂的拨动深度。

本发明实施例提供了一种工件抓取和拨动干预系统，其包括：

图像获取装置，用于获取堆叠场景中工件的图像信息；

工件识别装置，用于根据所述图像信息对工件进行识别，获取堆叠场景中可抓取的候选工件数量；

拨动干预策略触发装置，用于在所述候选工件数量≤设定值时，触发拨动干预策略对堆叠工件进行拨动动作；

工件抓取装置，用于在候选工件数量≥设定值+1，进行工件抓取作业。

与现有技术相比较，本发明的有益效果至少在于：

本发明在小工件散乱堆叠的抓取场景中，规避了跨模态数据特征提取及匹配难题，同时避免了过于复杂的数据处理计算。通过网格法实现拨动路径规划，并且协调优化识别和抓取动作，为工件堆叠识别和抓取的应用场景，在有效拨动提升抓取效率这个方向上，提供了系统化的解决方案。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施方式中方法的流程示意图；

图2是本发明一实施方式中步骤S2的流程示意图；

图3是本发明一实施方式中步骤S3的流程示意图；

图4是本发明一实施方式中步骤S31的流程示意图；

图5是本发明一实施例中系统的结构框图；

图6是本发明一实施例中网格法划分特征空间区域示意图；

图7是本发明一实施例中均值漂移聚类点集示意图；

图8是本发明一实施例中拨动轨迹生成示意图。

具体实施方式

通过应连同所附图式一起阅读的以下具体实施方式将更完整地理解本发明。本文中揭示本发明的详细实施例；然而，应理解，所揭示的实施例仅具本发明的示范性，本发明可以各种形式来体现。因此，本文中所揭示的特定功能细节不应解释为具有限制性，而是仅解释为权利要求书的基础且解释为用于教示所属领域的技术人员在事实上任何适当详细实施例中以不同方式采用本发明的代表性基础。

结合图1～图4所示，本发明实施例所揭示的一种工件抓取和拨动干预方法包括以下步骤：

S1，获取堆叠场景中工件的图像信息。

具体地，本实施例中，图像信息包括2D图像和3D图像，具体采用2D可见光相机对堆叠场景中工件进行拍照，获得2D图像，及采用3D可见光相机对堆叠场景中工件进行拍照，获得3D图像。

S2，根据图像信息对工件进行识别，获取堆叠场景中可抓取的候选工件数量。

步骤S2具体包括以下步骤：

S21，对工件进行识别，记录识别出的识别工件数量，并获取工件位姿信息。

具体地，本实施例中，由3D图像获取到工件的3D点云数据，基于PPF点云匹配算法对工件进行识别，记录识别出的识别工件数量M，并通过6D位姿估计算法获取工件位姿信息。

S22，对识别出的工件进行碰撞检测，剔除重叠率大于设定百分比的工件，得到堆叠场景中可抓取的所述候选工件数量。

具体地，本实施例中，先基于FCL碰撞检测算法线对识别出的工件与工件之间进行碰撞检测，然后对识别出的工件和机器人夹爪之间进行碰撞测试，剔除存在严重碰撞的工件，如重叠率大于20％的工件，得到堆叠场景中可抓取的候选工件数量m。之后再通过候选决策网络对候选工件的工件位姿信息进行排序，排序越靠前，能够抓取的工件位姿信息最好，最适合抓取，得到最优抓取工件数量。

S3，若候选工件数量≤设定值时，则触发拨动干预策略对堆叠工件进行拨动动作。

具体地，本实施例中，若候选工件数量m≤设定值，如设定值为2，即候选工件数量m≤2时，则会影响整体工件的抓取效率，此时触发拨动干预策略对堆叠工件进行拨动动作。反之，若候选工件数量m≥设定值+1时，则不触发拨动干预策略，继续判断候选工件中是否存在最优抓取工件，若存在，则直接控制机械臂进行工件抓取作业，若不存在，则触发拨动干预策略对堆叠工件进行拨动动作。

步骤S3具体包括以下步骤：

S31，对2D图像进行处理，在X-Y二维平面内生成拨动轨迹。

具体地，本实施例中，步骤S31包括以下步骤：

S311，基于Sobel函数的边缘检测，对2D图像进行预处理。

S312，基于Harris检测算法，对预处理后的2D图像进行角点检测。

S313，对角点检测后的2D图像进行n²格网格的特征空间区域划分，如图6所示，并基于均值漂移(Meanshift)算法，在划分的区域内，反复迭代寻找样本点最密集的区域，形成中心点集及相应的n²类分组，其中，n为大于等于1的自然数，如图7所示。本实施例中，n取3。

S314，将中心点集中的各点，通过直线段按序(如可依次按照1～n²的顺序)依次连接，形成直线轨迹，并基于贝塞尔公式：

其中，i表示每个中心点集中的点，n表示中心点集中点的数量，Pi表示中心点集中点i的坐标位置，t为[0，1]之间的可变参数。

对直线轨迹进行优化，最终优化出的效果，即为需要的理想的拨动轨迹B(t)，如图8所示。

S32，由3D图像获取到工件的3D点云数据，根据3D点云数据得到机器臂的拨动深度。

本实施例中，步骤S32具体包括：由3D图像获取到工件的3D点云数据，根据点云场景中每个3D点云数据在Z轴的坐标信息排序，选取机器臂的拨动深度H。由于点云场景中存在杂波干扰，所以本实施例中，选择排序后第10-100中任意点P的Z坐标Hp作为拨动最高点，最低点为箱体底部平面高度H0，因此夹爪拨动的深度区域范围为(H0-Hp)，从该深度区域范围中选用一定的深度值H。这里的箱体底部为安装好相机后，根据实际场景，首先对空箱体进行拍摄，测定箱体底部基于相机的Z坐标H0。

S33，控制机器臂在拨动深度下，基于拨动轨迹对工件进行拨动动作。

本实施例中，控制机械臂在Z坐标为拨动深度H的高度下，基于拨动轨迹B(t)对工件进行拨动动作，即完成了整个拨动干预的过程。

S4，重复步骤S2、S3，直至候选工件数量≥设定值+1，则进行工件抓取作业。

本实施例中，若可抓取的候选工件数量≥3时，则可以进行正常的工件抓取作业。

如图5所示，本发明所揭示的一种工件抓取和拨动干预系统包括：

图像获取装置，用于获取堆叠场景中工件的图像信息。

其中，图像获取装置包括2D图像获取单元和3D图像获取单元，2D图像获取单元用于采用2D相机对堆叠场景中工件进行拍照，获得2D图像。3D图像获取单元用于采用3D相机对堆叠场景中工件进行拍照，获得3D图像。

工件识别装置，用于根据图像信息对工件进行识别，获取堆叠场景中可抓取的候选工件数量。

其中，工件识别装置包括工件识别单元和碰撞检测单元，工件识别单元用于对工件进行识别，记录识别出的识别工件数量，并获取工件位姿信息，具体原理可参照上述步骤S21的描述。碰撞检测单元用于通过候选决策网络对工件位姿信息进行排序，同时对识别出的工件进行碰撞检测，剔除重叠率大于设定百分比的工件，得到堆叠场景中可抓取的候选工件数量，具体原理可参照上述步骤S22的描述。

拨动干预策略触发装置，用于在候选工件数量≤设定值时，触发拨动干预策略对堆叠工件进行拨动动作。

其中，拨动干预策略触发装置包括拨动轨迹生成单元和拨动深度获得单元，拨动轨迹生成单元用于对2D图像进行处理，在X-Y二维平面内生成拨动轨迹，具体原理可参照上述步骤S31的描述。拨动深度获得单元用于由3D图像获取到工件的3D点云数据，根据3D点云数据得到机器臂的拨动深度，具体原理可参照上述步骤S32的描述。

工件抓取装置，用于在候选工件数量≥设定值+1，进行工件抓取作业。

本发明所揭示的一种工件抓取和拨动干预方法及系统，在小工件散乱堆叠的抓取场景中，规避了跨模态数据特征提取及匹配难题，同时避免了过于复杂的数据处理计算。通过网格法实现拨动路径规划，并且协调优化识别和抓取动作，为工件堆叠识别和抓取的应用场景，在有效拨动提升抓取效率这个方向上，提供了系统化的解决方案。

尽管已参考说明性实施例描述了本发明，但所属领域的技术人员将理解，在不背离本发明的精神及范围的情况下可做出各种其它改变、省略及/或添加且可用实质等效物替代所述实施例的元件。另外，可在不背离本发明的范围的情况下做出许多修改以使特定情形或材料适应本发明的教示。因此，本文并不打算将本发明限制于用于执行本发明的所揭示特定实施例，而是打算使本发明将包含归属于所附权利要求书的范围内的所有实施例。

Claims (6)

1.一种工件抓取和拨动干预方法，其特征在于包括：

S1,获取堆叠场景中工件的图像信息，所述图像信息包括2D图像和3D图像；

S2,根据所述图像信息对工件进行识别，获取堆叠场景中可抓取的候选工件数量；

S3,若所述候选工件数量≤设定值时，则触发拨动干预策略对堆叠工件进行拨动动作，所述拨动干预策略包括：

S31,对2D图像进行处理，在X-Y二维平面内生成拨动轨迹，具体包括：

S311，基于Sobel函数的边缘检测，对2D图像进行预处理；

S312，基于Harris检测算法，对预处理后的2D图像进行角点检测；

S313，对角点检测后的2D图像进行n²格网格的特征空间区域划分，并基于均值漂移算法，在划分的区域内，反复迭代寻找样本点最密集的区域，形成中心点集及相应的n²类分组，其中，n为大于等于1的自然数；

S314，将中心点集中的各点，通过直线段按序依次连接，形成直线轨迹，并基于贝塞尔公式对所述直线轨迹进行优化，在X-Y二维平面内生成拨动轨迹；

S32,由3D图像获取到工件的3D点云数据，根据每个3D点云数据在Z轴的坐标信息排序，选取机器臂的拨动深度；

S33,控制机器臂在所述拨动深度下，基于所述拨动轨迹对工件进行所述拨动动作；

S4,重复步骤S2、S3，直至候选工件数量≥设定值+1，则进行可抓取的候选工件的抓取作业。

2.根据权利要求1所述的工件抓取和拨动干预方法，其特征在于，所述S1包括：采用2D相机对堆叠场景中工件进行拍照，获得所述2D图像，及采用3D相机对堆叠场景中工件进行拍照，获得所述3D图像。

3.根据权利要求1所述的工件抓取和拨动干预方法，其特征在于，所述S2包括：

S21，对工件进行识别，记录识别出的识别工件数量，并获取工件位姿信息；

S22，对识别出的工件进行碰撞检测，剔除重叠率大于设定百分比的工件，得到堆叠场景中可抓取的所述候选工件数量。

4.根据权利要求3所述的工件抓取和拨动干预方法，其特征在于，所述S21包括：由所述图像信息获取到工件的3D点云数据，基于点云匹配算法对工件进行识别，记录识别出的识别工件数量，并通过6D位姿估计算法获取工件位姿信息。

5.根据权利要求3所述的工件抓取和拨动干预方法，其特征在于，所述S22包括：先基于碰撞检测算法对识别出的工件与工件之间进行碰撞检测，然后对识别出的工件和机器人夹爪之间进行碰撞测试，剔除重叠率大于20%的工件，得到堆叠场景中可抓取的所述候选工件数量。

6.一种工件抓取和拨动干预系统，其特征在于包括：

图像获取装置，用于获取堆叠场景中工件的图像信息，所述图像信息包括2D图像和3D图像；

工件识别装置，用于根据所述图像信息对工件进行识别，获取堆叠场景中可抓取的候选工件数量；

拨动干预策略触发装置，用于在所述候选工件数量≤设定值时，触发拨动干预策略对堆叠工件进行拨动动作，所述拨动干预策略包括：

S31,对2D图像进行处理，在X-Y二维平面内生成拨动轨迹，具体包括：

S311，基于Sobel函数的边缘检测，对2D图像进行预处理；

S312，基于Harris检测算法，对预处理后的2D图像进行角点检测；

S313，对角点检测后的2D图像进行n²格网格的特征空间区域划分，并基于均值漂移算法，在划分的区域内，反复迭代寻找样本点最密集的区域，形成中心点集及相应的n²类分组，其中，n为大于等于1的自然数；

S314，将中心点集中的各点，通过直线段按序依次连接，形成直线轨迹，并基于贝塞尔公式对所述直线轨迹进行优化，在X-Y二维平面内生成拨动轨迹；

S32,由3D图像获取到工件的3D点云数据，根据每个3D点云数据在Z轴的坐标信息排序，选取机器臂的拨动深度；

S33,控制机器臂在所述拨动深度下，基于所述拨动轨迹对工件进行所述拨动动作；

工件抓取装置，用于在候选工件数量≥设定值+1，进行可抓取的候选工件的抓取作业。

Images