CN109702741B - 基于自监督学习神经网络的机械臂视觉抓取系统及方法 - Google Patents

Abstract

本公开提供了一种基于自监督学习神经网络的机械臂视觉抓取系统，包括：景深摄像头、实例分割模块、位姿估计神经网络模块、立体位姿获取模块及机械臂控制模块，其中，所述景深摄像头输出色彩图像到实例分割模块，输出景深图像到立体位姿获取模块；所述实例分割模块将分类、框体或分割信息的至少一种输入位姿估计神经网络模块；所述位姿估计神经网络模块再输出平面位姿到立体位姿获取模块，与所述景深图像融合，获取立体位姿；机械臂控制模块获取所述立体位姿，并根据所述立体位姿实现机械臂抓取操作。本公开不仅可以识别出所需抓取物体的大致轮廓位置，而且利用带全连接层的神经网络进一步进行精确抓取位置和抓取角度的计算。

Description

基于自监督学习神经网络的机械臂视觉抓取系统及方法

技术领域

本公开涉及机械臂技术领域，尤其涉及一种基于自监督学习神经网络的机械臂视觉抓取系统及方法。

背景技术

机械臂是能模仿人手和臂的某些动作功能，用以按固定程序抓取，搬运物件或者操作工具的自动操作装置。机械臂可以代替人的繁重劳动以实现生产的机械化和自动化，能在有害环境下操作以保护人身安全，因而广泛应用与机械制造，冶金，轻工和原子能等领域。

工业上，机械臂抓取操作大多采用传统示教的方式。然而对于一个全新的操作物体或者一个全新的操作环境，就需要对机械臂重新进行人工示教。随着机器视觉的发展与应用，越来越多基于视觉的智能化机械臂抓取位姿计算方法被提出。这些方法大体上可以分为两类，第一类方法基于机器学习，第二类方法则基于模板匹配。

基于机器学习的计算方法通过学习的方式处理视觉图像中的特征，对抓取的位姿做出估计。该类方法依赖于被抓取物体的表面纹理信息，对于纹理信息丰富的物体具有较好的抓取位姿计算结果。然而，该方法在遇到表面缺少纹理信息的抓取物体时效果显然不理想。而基于模板匹配的方法则是将被抓取物体的轮廓信息与模板库中的模板轮廓进行匹配，从而根据最佳匹配模板的抓取位姿来估计被抓取物体的位姿。此类方法不再基于物体表面的纹理信息，只需物体的轮廓即可。因此，该类方法能够改善纹理缺失的物体抓取，却对于轮廓部分受遮挡的物体易出现错误估计的情况。此外，现有的方法仅基于机器视觉，却没有考虑到被抓取物体的实际质量分布这一实际抓取中的重要影响因素。

发明内容

(一)要解决的技术问题

本公开提供了一种基于自监督学习神经网络的机械臂视觉抓取系统及方法，以至少部分解决以上所提出的技术问题。

(二)技术方案

根据本公开的一个方面，提供了一种基于自监督学习神经网络的机械臂视觉抓取系统，包括：景深摄像头、实例分割模块、位姿估计神经网络模块、立体位姿获取模块及机械臂控制模块，其中，

所述景深摄像头输出色彩图像到实例分割模块，输出景深图像到立体位姿获取模块；

所述实例分割模块将分类、框体或分割信息的至少一种输入位姿估计神经网络模块；

所述位姿估计神经网络模块再输出平面位姿到立体位姿获取模块，与所述景深图像融合，获取立体位姿；

机械臂控制模块获取所述立体位姿，并根据所述立体位姿实现机械臂抓取操作。

在一些实施例中，所述实例分割模块主要采用ResNet-101的残差神经网络为骨架来提取视觉图像所对应的特征图，并将建议框生成网络生成的建议框映射到特征图中对应的区域特征，对该区域特征进行回归，得到该区域特征中物体的位置信息；该区域特征的另一分支则通过特征金字塔网络后实现图像在一预定分辨率上的分割，代表被抓取物体在图像中的具体轮廓信息。

在一些实施例中，所述位姿估计神经网络模块包括由五层卷积层和两层全连接层组成的位姿估计神经网络，其输入为实例分割模块得到的具体轮廓信息，所述位姿估计神经网络模块将所述具体轮廓内的像素点作为抓取位置进行采样。

在一些实施例中，所述位姿估计神经网络对以抓取位置为中心的固定尺寸的图像进行特征提取。

在一些实施例中，所述位姿估计通过得分函数来获得最佳抓取位姿。

根据本公开的另一个方面，提供了一种基于自监督学习神经网络的机械臂视觉抓取方法，包括：

S1，景深摄像头获取视觉图像，将其中的色彩图像输入实例分割模块进行实例分割，获取被抓取物体的分类、框体或分割信息的至少一种；

S2，将被抓取物体的分类、框体或分割信息的至少一种输入位姿估计神经网络模块，得到被抓取物体的平面位姿；

S3，景深摄像头获取视觉图像中的景深图像输入立体位姿获取模块，与所述平面位姿融合，获取立体位姿；

S4，将立体位姿输入所述机械臂控制模块，并根据所述立体位姿实现机械臂的抓取操作。

在一些实施例中，所述步骤S1中，景深摄像头获取视觉图像后，实例分割模块对其中的色彩图像进行实例分割，通过卷积神经网络识别并筛选出所需抓取的物体，对图像进行分割得到物体的被抓取物体的轮廓信息。

在一些实施例中，所述步骤S2中，将物体的轮廓作为位姿估计神经网络模块的输入，把轮廓内的像素点作为抓取位置进行采样；对以抓取位置为中心的固定尺寸的图像进行特征提取，并在每个抓取位置对抓取角度从0°到170°，以10°为步长进行采样，并通过softmax损失函数来选择最高得分所对应的抓取位置和抓取角度作为抓取的具体位姿。

在一些实施例中，所述位姿估计神经网络模块中的神经网络由机械臂自监督学习训练，训练所用数据由机械臂实际抓取标注，所训练的网络考虑被抓取物体的实际质量分布。

在一些实施例中，所述步骤S3中，得到平面位姿后，融合景深图像得到被抓取物体的立体位姿，在不同坐标系下的位姿转化后，输出立体位姿，提供给机械臂控制模块。

(三)有益效果

从上述技术方案可以看出，本公开基于自监督学习神经网络的机械臂视觉抓取系统及方法至少具有以下有益效果其中之一：

(1)本公开的方法不仅可以识别出所需抓取物体的大致轮廓位置，而且利用带全连接层的神经网络进一步进行精确抓取位置和抓取角度的计算；

(2)本公开的神经网络由机械臂自监督学习训练，所训练的神经网络考虑了被抓取物体的实际质量分布这一抓取的重要特征，以提高抓取的成功率；

(3)本公开将第一个神经网络的输出，即所需抓取物体的大致轮廓位置作为第二个网络的输入，在物体轮廓内进行抓取位置的采样，通过函数进行打分，选取得分最高的采样结果，能够提供精确的抓取位姿。

附图说明

图1为本公开实施例基于自监督学习神经网络的机械臂视觉抓取系统的拓扑结构示意图。

图2为本公开实施例基于自监督学习神经网络的机械臂视觉抓取系统的实例分割模块结构示意图。

图3为本公开实施例基于自监督学习神经网络的机械臂视觉抓取方法的流程图。

具体实施方式

本公开提供了一种基于自监督学习神经网络的机械臂视觉抓取系统及方法，包括获取需要抓取物体的视觉图像，神经网络回归抓取物体的大致位置以及抓取姿态的精确估计。卷积神经网络首先识别物体并回归得到抓取物体在视觉图像中的大致轮廓位置。然后，在物体轮廓内采样不同的抓取位置以及抓取角度，通过神经网络的全连接层后对各个位置角度进行打分，将得分最高所对应的位置与角度作为机械臂抓取物体所选取的精确姿态。其中，神经网络的权重由机械臂自监督训练得到，考虑了被抓取物体的实际密度分布。利用该机械臂抓取方法，可以有效减小抓取采样的范围，克服被抓取物体部分遮挡和纹理缺失的问题，提高实际抓取精度。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

本公开某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本公开的各种实施例可以由许多不同形式实现，而不应被解释为限于此处所阐述的实施例；相对地，提供这些实施例使得本公开满足适用的法律要求。

在本公开的一个示例性实施例中，提供了一种基于自监督学习神经网络的机械臂视觉抓取系统，以机械臂、景深摄像头为工具，实现机械臂对摄像头视野范围内的物体进行识别，定位以及抓取。图1为本公开实施例基于自监督学习神经网络的机械臂视觉抓取系统的拓扑结构示意图。如图1所示，本公开基于自监督学习神经网络的机械臂视觉抓取系统包括：景深摄像头、实例分割模块、位姿估计神经网络模块、立体位姿获取模块及机械臂控制模块。其中，所述景深摄像头输出色彩图像到实例分割模块，输出景深图像到立体位姿获取模块，所述实例分割模块将分类/框体/分割信息输入位姿估计神经网络模块，所述位姿估计神经网络模块再输出平面位姿到立体位姿获取模块，与所述景深图像融合，获取立体位姿，输入到机械臂控制模块。

本公开的方法不仅可以识别出所需抓取物体的大致轮廓位置，而且利用带全连接层的神经网络进一步进行精确抓取位置和抓取角度的计算。

具体地，本公开平面位姿的获取主要由实例分割和位姿估计两个神经网络完成。图2为本公开实施例基于自监督学习神经网络的机械臂视觉抓取系统的实例分割模块结构示意图。如图2所示，实例分割模块主要采用ResNet-101的残差神经网络为骨架来提取视觉图像所对应的特征图，并将建议框生成网络生成的建议框映射到特征图中对应的区域，再通过ROIAlign网络将该区域对应的特征图转化为向量，所述ROIAlign网络输出的向量分为两路，一路对该区域特征向量进行回归，得到该区域中物体的类别和用框体表示的位置信息；该区域特征向量的另一路则通过特征金字塔网络后实现图像在某一分辨率上的分割，代表被抓取物体在图像中的具体轮廓信息。

实例分割模块得到的具体轮廓信息作为输入提供给位姿估计神经网络模块，位姿估计神经网络模块在轮廓内进行像素采样，将以采样点为中心的一块图像区域输入到由五层卷积层和两层全连接层组成的神经网络。该神经网络还对每个采样点从从0°到170°，以10°为步长对抓取角度进行采样，因此该网络也可以视为对每个抓取位置进行了一个18类的分类的操作。使用softmax损失函数对结果进行打分，最终选取所有采样结果中得分最高所对应的抓取位置和角度作为机械臂操作的精准位姿。

本公开的系统将第一个神经网络的输出，即所需抓取物体的大致轮廓位置作为第二个网络的输入，在物体轮廓内进行抓取位置的采样，通过函数进行打分，选取得分最高的采样结果作为精确的抓取位姿。

立体位置获取模块得到平面位姿后，融合景深图像可得到被抓取物体的立体位姿，在不同坐标系下的位姿转化后，将输出的位姿提供给机械臂控制模块，即可实现机械臂的具体抓取操作。

在本公开的一个示例性实施例中，提供了一种基于自监督学习神经网络的机械臂视觉抓取方法。图3为本公开实施例基于自监督学习神经网络的机械臂视觉抓取方法的流程图。如图3所示，所述方法包括：

S1，景深摄像头获取视觉图像，将其中的色彩图像输入实例分割模块进行实例分割，获取被抓取物体的分类/框体/分割信息；

S2，将被抓取物体的分类/框体/分割信息输入位姿估计神经网络模块，得到被抓取物体的平面位姿；

S3，景深摄像头获取视觉图像中的景深图像输入立体位姿获取模块，与所述平面位姿融合，获取立体位姿；

S4，将立体位姿输入所述机械臂控制模块，对机械臂抓取操作进行控制。

具体地，所述步骤S1中，景深摄像头获取视觉图像后，实例分割模块对其中的色彩图像进行实例分割，通过卷积神经网络识别并筛选出所需抓取的物体，对图像进行分割得到物体的被抓取物体的轮廓信息。

所述步骤S2中，将物体的轮廓作为位姿估计神经网络模块的输入，把轮廓内的像素点作为抓取位置进行采样。对以抓取位置为中心的固定尺寸的图像进行特征提取，并在每个抓取位置对抓取角度从0°到170°，以10°为步长进行采样，即将角度估计视为一个18类的分类问题，通过一个打分函数来选择最高得分所对应的抓取位置和抓取角度作为抓取的具体位姿。位姿估计神经网络模块包含卷积层和全连接层，通过得分函数来获得最佳抓取位姿。

在本发明中，训练所用数据并非人工标注，而是由机械臂实际抓取标注，因此可认为整个过程为自监督学习。由于本发明的神经网络由机械臂自监督学习训练，所训练的网络考虑了被抓取物体的实际质量分布这一抓取的重要特征，可以提高抓取的成功率。

所述步骤S3中，得到平面位姿后，融合景深图像可得到被抓取物体的立体位姿，在不同坐标系下的位姿转化后。

所述步骤S4中，将输出的位姿提供给机械臂控制模块，即可实现机械臂的具体抓取操作。

为了达到简要说明的目的，上述实施例1中任何可作相同应用的技术特征叙述皆并于此，无需再重复相同叙述。

至此，已经结合附图对本公开实施例进行了详细描述。需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

还需要说明的是，实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本公开的保护范围。贯穿附图，相同的元素由相同或相近的附图标记来表示。在可能导致对本公开的理解造成混淆时，将省略常规结构或构造。

并且图中各部件的形状和尺寸不反映真实大小和比例，而仅示意本公开实施例的内容。另外，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。

除非有所知名为相反之意，本说明书及所附权利要求中的数值参数是近似值，能够根据通过本公开的内容所得的所需特性改变。具体而言，所有使用于说明书及权利要求中表示组成的含量、反应条件等等的数字，应理解为在所有情况中是受到「约」的用语所修饰。一般情况下，其表达的含义是指包含由特定数量在一些实施例中±10％的变化、在一些实施例中±5％的变化、在一些实施例中±1％的变化、在一些实施例中±0.5％的变化。

再者，单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。

此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的内容，并且上面对特定语言所做的描述是为了披露本公开的最佳实施方式。

本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开实施例的相关设备中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。并且，在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。

类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (8)

1.一种基于自监督学习神经网络的机械臂视觉抓取系统，包括：景深摄像头、实例分割模块、位姿估计神经网络模块、立体位姿获取模块及机械臂控制模块，其中，

所述景深摄像头输出色彩图像到实例分割模块，输出景深图像到立体位姿获取模块；

所述实例分割模块将分类、框体或分割信息的至少一种输入位姿估计神经网络模块；

所述实例分割模块采用ResNet-101的残差神经网络为骨架来提取视觉图像所对应的特征图，并将建议框生成网络生成的建议框映射到特征图中对应的区域，再通过ROIAlign网络将该区域对应的特征图转化为向量，并对区域特征进行回归，得到该区域特征中物体的位置信息；该区域特征的另一分支则通过特征金字塔网络后实现图像在一预定分辨率上的分割，代表被抓取物体在图像中的具体轮廓信息；

所述位姿估计神经网络模块包括由五层卷积层和两层全连接层组成的位姿估计神经网络；

所述位姿估计神经网络对以抓取位置为中心的固定尺寸的图像进行特征提取；

所述位姿估计神经网络模块中的神经网络由机械臂自监督学习训练，训练所用数据由机械臂实际抓取标注；

所述位姿估计神经网络模块再输出平面位姿到立体位姿获取模块，与所述景深图像融合，获取立体位姿；

机械臂控制模块获取所述立体位姿，并根据所述立体位姿实现机械臂抓取操作。

2.根据权利要求1所述的机械臂视觉抓取系统，所述位姿估计神经网络的输入为实例分割模块得到的具体轮廓信息，所述位姿估计神经网络模块将所述具体轮廓内的像素点作为抓取位置进行采样。

3.根据权利要求1所述的机械臂视觉抓取系统，其中，所述位姿估计通过得分函数来获得最佳抓取位姿。

4.一种基于自监督学习神经网络的机械臂视觉抓取方法，包括：

S1，景深摄像头获取视觉图像，将其中的色彩图像输入实例分割模块进行实例分割，获取被抓取物体的分类、框体或分割信息的至少一种；

S2，将被抓取物体的分类、框体或分割信息的至少一种输入位姿估计神经网络模块，将物体的轮廓作为位姿估计神经网络模块的输入，把轮廓内的像素点作为抓取位置进行采样；对以抓取位置为中心的固定尺寸的图像进行特征提取，以得到被抓取物体的平面位姿；

S3，景深摄像头获取视觉图像中的景深图像输入立体位姿获取模块，与所述平面位姿融合，获取立体位姿；

S4，将立体位姿输入所述机械臂控制模块，并根据所述立体位姿实现机械臂的抓取操作。

5.根据权利要求4所述的机械臂视觉抓取方法，所述步骤S1中，景深摄像头获取视觉图像后，实例分割模块对其中的色彩图像进行实例分割，通过卷积神经网络识别并筛选出所需抓取的物体，对图像进行分割得到物体的被抓取物体的轮廓信息。

6.根据权利要求5所述的机械臂视觉抓取方法，所述步骤S2中，在每个抓取位置对抓取角度从0°到170°，以10°为步长进行采样，并通过softmax损失函数来选择最高得分所对应的抓取位置和抓取角度作为抓取的具体位姿。

7.根据权利要求6所述的机械臂视觉抓取方法，所述位姿估计神经网络模块中的神经网络由机械臂自监督学习训练，训练所用数据由机械臂实际抓取标注，所训练的网络考虑被抓取物体的实际质量分布。

8.根据权利要求7所述的机械臂视觉抓取方法，所述步骤S3中，得到平面位姿后，融合景深图像得到被抓取物体的立体位姿，在不同坐标系下的位姿转化后，输出立体位姿，提供给机械臂控制模块。

Images