CN108510062A - 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法 - Google Patents

Abstract

本发明涉及一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，首先构建位置‑姿态由粗到细的级联式两阶段卷积神经网络模型，第一阶段采用基于区域的全卷积网络（R‑FCN）实现抓取定位以及抓取角度的粗估计，第二阶段通过构造一种新的Angle‑Net模型实现抓取角度精确计算；其次采集当前含待抓物体的场景图像作为待训练的原始现场图像样本，借助迁移学习机制对两阶段卷积神经网络模型进行训练，然后在线运行中将采集的每一帧单目彩色图像输入到级联式两阶段卷积神经网络模型，最后以所得抓取位置和姿态驱动机器人末端执行器进行物体抓取控制。本方法的抓取检测精度高，有效加快了机器人非规则物体抓取位姿的检测速度，提高了抓取姿态检测算法运行的实时性。

Description

一种基于级联卷积神经网络的机器人非规则物体抓取位姿快 速检测方法

技术领域

本发明涉及一种机器人自主抓取姿态检测的方法，具体地说是一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，属于机器人视觉技检测与抓取控制技术领域。

背景技术

在机器人分拣、搬运等抓取作业任务中，包括顶抓（Top-grasp）和侧抓（Side-grasp）两种方式的平面抓取（Planar Grasp）是机器人最为常用的抓取策略。对于任意姿态的未知不规则物体，在光照不均、背景复杂的场景下，如何利用低成本的单目相机实现快速可靠的机器人自主抓取姿态检测具有很大的挑战。

机器人自主抓取姿态规划方法根据感知信息的不同可分为两类：一类是基于物体模型的抓取姿态估计，一类是不依赖物体模型的抓取姿态检测。基于模型的方法需要给定精确、完整的物体三维模型, 然而低成本相机成像噪声大,很难扫描建立精确模型。另外,基于三维模型的方法计算复杂,难以适应机器人实时抓取判断的需求。

不依赖物体模型的方法借助机器学习技术,其实质是将抓取位姿检测问题转化成目标识别问题。机器学习方法的出现令抓取检测不局限于已知物体。早期的学习方法（见“Jiang Y, Moseson S, Saxena A, Efficient grasping from RGBD images: Learningusing a new rectangle representation, IEEE ICRA 2011”）需要人为针对特定物体设定特定的视觉特征，不具备灵活性。近年来，深度学习发展迅速，其优越性正在于可自主提取与抓取位姿有关的特征。

机器人抓取检测问题包括两个部分：抓取位置确定和抓取姿态估计。传统的位置检测方法根据二值化的图像计算物体重心作为抓取位置，但可抓取位置不在重心处的物体甚多。通常采用滑动窗口法（见“Lenz I, Lee H, Saxena A. Deep learning fordetecting robotic grasps. The International Journal of Robotics Research,2015”）解决抓取点不在重心上的问题，但此方法以遍历搜索获得最优解，时间代价大。一种改进方法（见“杜学丹, 蔡莹皓, 鲁涛等. 一种基于深度学习的机械臂抓取方法. 机器人,2017”）是通过缩小搜索区域范围并减少搜索窗旋转次数以实现时间的优化。在抓取姿态估计方面，一些最新的方法（见“Guo D, Sun F, Liu H, et al. A hybrid deeparchitecture for robotic grasp detection, IEEE ICRA 2017”）将最优搜索窗的旋转角度作为抓取角度，但这些属于粗估计方法，低精度的抓取角度可导致机器人在实际抓取时因受力点错误而抓取失败。因此，减少抓取定位时间消耗和提升姿态估计精度是机器人在线抓取检测时亟待解决的两个问题。

深度神经网络用于机器人抓取位姿检测的另一个问题是, 已有公开模型都是在封闭大数据集上训练所得，通常需要随机器人部署而扩展关于实际特定抓取对象的小样本数据集。迁移学习为特定任务小样本集下深度网络模型训练提供了方法。自建的数据集规模虽小，但可在已经过百万级封闭数据集训练并具有基本特征提取能力的模型上微调训练，令在特定小样本集下训练的模型仍具有卓越的性能。这样不仅缩短训练周期，还可提升整个系统的拓展性。

目前已有一些专利申请采用深度神经网络解决机器人视觉SLAM、物体识别等基本问题，尚未有用于机器人物体抓取姿态检测。例如刘国良等人申请了申请号为2017100184615且名称为“基于卷积神经网络特征描述子的机器人帧间位姿估计方法”的中国发明专利，使用卷积神经网络特征描述子来进行机器人帧间位姿估计。段勇等人申请了申请号为2016106172180且名称为“基于深层卷积神经网络的机器人工作场景识别方法”的中国发明专利，也是将深度神经网络用于场景分类。

总之，目前深度学习技术已经在机器人领域得到了初步应用，但是尚未很好地用于解决机器人抓取姿态检测问题，尤其是如何减少抓取定位时间消耗、提高抓取姿态估计精度是机器人在线抓取检测时亟待解决的重要问题。

发明内容

本发明的目的在于提供一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，该方法是针对任意姿态的未知不规则物体，其鲁棒性和稳定性强，且能够泛化适应未训练过的新物体，解决了无须针对特定物体实例进行人工训练的快速、准确机器人抓取位置姿态检测。

为了实现上述目的，本发明采用的技术方案为，一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，包括以下步骤：

（1）构建位置-姿态由粗到细的级联式两阶段卷积神经网络模型，第一阶段采用基于区域的全卷积网络（R-FCN）实现抓取定位以及抓取角度的粗估计，第二阶段通过构造一种新的Angle-Net模型实现抓取角度精确计算；

（2）控制机器人通过全局俯视的单目彩色相机采集当前含待抓物体的场景图像，作为待训练的原始现场图像样本，借助迁移学习机制对两阶段卷积神经网络模型进行训练，得到具有一定泛化能力的抓取点位置和姿态估计器；

（3）在线运行中，将全局俯视相机采集的每一帧单目彩色图像输入到前述步骤建立的级联式两阶段卷积神经网络模型，其中第一阶段输出为抓取位置候选边界框及抓取角度粗估计结果，第二阶段得到以为分辨率的最终抓取姿态角；

（4）以所得抓取位置和姿态驱动机器人末端执行器进行物体抓取控制。

作为本发明的一种改进， 所述抓取定位是指级联式两阶段卷积神经网络模型提取图像中物体待抓取位置的候选边界框（Bounding-box）及其相应的可靠性分数，抓取角度的粗估计是指级联式两阶段卷积神经网络模型同时也输出了抓取角度的粗分类结果。

作为本发明的一种改进，为提高检测速度且尽可能降低对检测结果的影响，抓取位置候选边界框只选取300 个，通过筛选和排序确定候选边界框中可靠性最高的边界框，该边界框的中心点就是应驱动机器人末端手爪到达的抓取位置。抓取角度的粗分类包括四种情况：（对应水平抓取）、 （对应右下或左上抓取）、（对应竖直抓取）、 （对应左下或右上抓取）。

作为本发明的一种改进，所述Angle-Net模型的输入为上一级输出的抓取位置，输出为图像平面下分辨率为的抓取角度。Angle-Net模型输出的角度是对阶段一中粗估计角度的精确化，鉴于R-FCN的稳定性，采用阶段一中的粗估计角度对Angle-Net模型计算的结果进行监督，提高Angle-Net模型输出的容错性。

作为本发明的一种改进， 所述Angle-Net模型包括4 个卷积层和2 个全连接层，其中，卷积层的卷积核个数分别为16、32、64、128，全连接层的神经元个数均为4096。

作为本发明的一种改进， 所述Angle-Net模型的损失函数采用L1-范数函数，并且为了防止过拟合，在损失函数的基础上加上正则化项。

作为本发明的一种改进，所述的借助迁移学习机制对两阶段卷积神经网络模型进行训练，是控制机器人通过全局俯视的单目彩色相机采集当前含待抓物体的场景图像，包含多种非规则物体实例、可抓取角度为的少量训练图像，作为待训练的m张原始现场图像样本。具体训练包括相应的两个训练阶段：

Ⅰ）R-FCN模型的训练，得到抓取点位置估计器和姿态粗估计器；

Ⅱ）Angle-Net模型的训练，得到抓取姿态细估计器。

作为本发明的一种改进，所述R-FCN模型的训练步骤是，对m张原始现场图像样本人工用边界框标注可抓取位置，并通过旋转变换将现场图像样本进行扩充，得到72*m张扩充样本；另外，借助迁移学习机制对在封闭大数据集上已训练过的通用深度网络模型R-FCN进行微调，得到适应当前待抓取物体特征的抓取点定位和姿态粗估计器。

作为本发明的一种改进，所述Angle-Net模型的训练步骤是，对m张原始样本再次进行扩充，先以的间隔将图像围绕基础图片数据中正方形框中心旋转一周，再截取标注框内的图片（即可抓取位置的信息）作为新的样本，并通过随机改变图片亮度和对比度的方法进行数据增强，最终生成360*m张不同抓取角度的图像，每张样本对应一个抓取角度；把这些样本图片大小重新设置成后用于训练Angle-Net模型，参数初始化选择采用截断正态分布法；为了加速训练，对抓取角度归一化即，训练完成后得到抓取姿态细估计器。

作为本发明的一种改进，所述在线运行，是采集一帧全局俯视的单目彩色相机图像输入到前述步骤建立的级联式两阶段卷积神经网络模型。第一阶段先对抓取点定位与姿态粗估计，第二阶段对抓取姿态进行细估计，得到以为分辨率的最终抓取姿态角。将图像坐标系中得到的抓取位置和姿态变换到机器人基坐标系下并对应为机器人末端手爪的位置和姿态，采用机器人运动学求逆与路径规划，驱动机器人末端到达该位置进行抓取。

相对于现有技术，本发明的优点至少包括如下几点，1）本方法中建立了一种两阶段级联式抓取位姿检测模型——位置-姿态由粗到细的级联式两阶段卷积神经网络模型，该模型第一阶段先以基于区域的全卷积网络R-FCN为基础提取少量且可靠候选抓取位置，再对候选结果筛选排序确定最优抓取位置，第二阶段为Angle-Net在定位的局部图像下计算抓取角度，从而加快了检测速度，有效提高了抓取姿态检测算法运行的实时性。2）提出了一种抓取姿态细估计的卷积神经网络模型Angle-Net，该模型能够直接输出精确到的抓取姿态角，大大提高了抓取检测精度。3）在模型训练过程中采用了迁移学习方法，从而在保证数据集可动态扩展的同时又缩短了训练周期，有效克服场景光照变化对抓取位姿检测的影响，并且对未训练样本也具有一定泛化能力。

附图说明

图1为本发明实施例中采用的机器人与摄像头的配置示意图。

图2为本发明实施例中坐标系的定义关系图。

图3为本发明实施例的位置-姿态由粗到细的级联式两阶段卷积神经网络模型整体结构图。

图4为本发明实施例的抓取姿态细估计模型Angle-Net的内部结构示意图。

图5为本发明实施例中采集用于生成训练样本的原始图像样本示例。

图6为本发明实施例中经过旋转扩增后的训练图像样本示例。

图7为本发明实施例中某具体实例物体的抓取位姿检测结果。

具体实施方式

为了加深对本发明的理解和认识，下面结合附图和实施例对本发明作进一步描述和介绍。

一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，具体包括以下步骤：

（1）构建位置-姿态由粗到细的级联式两阶段卷积神经网络模型，第一阶段采用基于区域的全卷积网络（R-FCN）实现抓取定位以及抓取角度的粗估计，第二阶段通过构造一种新的Angle-Net模型实现抓取角度精确计算；

（2）控制机器人通过全局俯视的单目彩色相机采集当前含待抓物体的场景图像，作为待训练的原始现场图像样本，借助迁移学习机制对两阶段卷积神经网络模型进行训练，得到具有一定泛化能力的抓取点位置和姿态估计器；

（3）在线运行中，将全局俯视相机采集的每一帧单目彩色图像输入到前述步骤建立的级联式两阶段卷积神经网络模型，其中第一阶段输出为抓取位置候选边界框及抓取角度粗估计结果，第二阶段得到以为分辨率的最终抓取姿态角；

（4）以所得抓取位置和姿态驱动机器人末端执行器进行物体抓取控制。

实施例：

在实施例中所采用的机器人与摄像头配置如图1所示，包括一台低成本俯视彩色相机（分辨率），一台已经过手眼标定的UR5机器人。模型训练以及实验实施所用计算机配置为Intel(R) Core(TM) i7 3.40GHz CPU， NVIDIA GeForce GTX 1080TI显卡，16GB内存，操作系统为Ubuntu 16.04。

图2中给出了各坐标系的定义关系。为便于抓取检测结果与机器人手抓位姿对应，图像下抓取位姿检测结果采用简化的“点线法”表示。图像中的抓取位置中心点在图像坐标系下记作，对应机器人末端执行器两指连线的中点；图像中的抓取中心线对应机器人末端执行器的两指连线，图像上角度为该线顺时针旋转时与x 轴正方向的夹角，对应机器人末端执行器在机器人基坐标系下绕其z轴的偏转角，。抓取中心线线长对应机器人末端执行器尝试抓取时的两指开度，通过手眼标定可映射出实际的张开尺寸。

针对上述研究目标和相关定义，机器人抓取检测问题可描述如下：

时刻机器人获取目标维度特征序列, 有

(1)

其中，为级联机器人平面抓取位姿检测模型，为“点线法”表示的抓取检测结果。

如图3所示，为本发明所述的位置-姿态由粗到细的级联式两阶段卷积神经网络模型整体结构图。

第一阶段采用基于区域的全卷积网络（R-FCN）实现抓取定位以及抓取角度的粗估计，第二阶段通过构造一种新的Angle-Net模型实现抓取角度精确计算。

其中第一阶段是采用基于区域的全卷积网络（R-FCN）实现抓取定位以及抓取角度的粗估计。抓取定位是指该模型提取图像中物体待抓取位置的候选边界框（Bounding-box）及其相应的可靠性分数。为提高检测速度且尽可能降低对检测结果的影响，抓取位置候选边界框只选取300个，通过筛选和排序确定候选边界框中可靠性最高的边界框，该边界框的中心点就是应驱动机器人末端手爪到达的抓取位置。抓取角度的粗估计是指，该模型同时也输出了抓取角度的粗分类结果，其取值为四类情况：（对应水平抓取）、 （对应右下或左上抓取）、（对应竖直抓取）、（对应左下或右上抓取）。

R-FCN 遵循先区域建议再区域分类的策略，针对检测应对目标的平移做出准确响应的需求，采用全卷积网络(FCN)，用专门的卷积层构建位置敏感分数图 (Position-sensitive Score Maps)。 每个空间敏感地图编码感兴趣区域的相对空间位置信息，并在FCN上面增加1个位置敏感感兴趣区域（即抓取位置候选区域，RoI）池化层来监管这些分数图。R-FCN的结构由基础卷积网络、区域建议网络、位置敏感的分数图和在RoI 池化后的决策层共四个部分组成。

设待输出的姿态粗分类共有C类，在本发明实施中C=4。结构中的基础卷积网络基于ResNet101，采用ResNet的前100层并在其最后接一个的全卷积层。基础卷积网络用于特征提取输出特征图。区域建议网络沿用更快R-CNN 中的RPN网络，生成多个RoI，每个RoI被分成块。位置敏感分数图作为R-FCN中最后一层卷积层，其功能是输出用于分类的结果。R-FCN中对RoI的块进行位置敏感的池化操作定义为式(2)：

(2)

其中，表示块对第C类的池化响应；是分数图中的一个，表示RoI的左上角像素坐标；表示的是每一块当中的像素值，为待学习参数。

池化操作后输出个位置敏感的分数图，利用式(3)和式(4)得到每一类最终的分数，用于计算损失。

(3)

(4)

为实现边界框(Bounding-box)回归，在基础卷积网络的输出后接通道的卷积层，在该的图(Map)上进行位置敏感的RoI池化操作，每个RoI对应一个的向量，再通过平均投票（Average Vote）操作生成4维的向量，即为边界框的参数。

所述的位置-姿态由粗到细的级联式两阶段卷积神经网络模型，其中第二阶段是通过构造一种新的Angle-Net模型实现抓取角度精确计算。Angle-Net的输入为上一级输出的抓取位置，输出为图像平面下分辨率为的抓取角度。

Angle-Net 的核心思想是用模型直接输出角度值替代角度分类标签值，从而实现更高精度的抓取姿态估计，结构由图4所示。Angle-Net 由4 个卷积层和2 个全连接层组成。卷积层的卷积核个数分别为16、32、64、128，全连接层的神经元个数均为4096。 损失函数（Loss Function）作为模型预测值与真实值差异程度的估量函数，决定了模型的训练的收敛速度和最终效果。Angle-Net的损失函数采用L1-范数函数，为防止过拟合，须在损失函数的基础上加上正则化项，定义如式(5)：

(5)

其中为期望的抓取角度，为正则化项，为模型权值参数。

Angle-Net输出的角度是对阶段一中粗估计角度的精确化，鉴于R-FCN的稳定性，采用阶段一中的粗估计角度对Angle-Net计算的结果进行监督，提高Angle-Net输出的容错性。为增强模型的容错性并进一步提高抓取检测的检测率和实际抓取的成功率，最终反馈给机器人的抓取角度由公式(6)确定：

(6)

、为容错阈值，根据角度粗分类间隔确定，分别取值、。

采用借助迁移学习机制对两阶段卷积神经网络模型进行训练。控制机器人通过全局俯视的单目彩色相机采集当前含待抓物体的场景图像，包含多种非规则物体实例、可抓取角度为的m张图像作为原始现场图像样本，如图5所示。具体训练包括相应的两个训练阶段：

R-FCN模型的训练，得到抓取点位置估计器和姿态粗估计器；

Angle-Net模型的训练，得到抓取姿态细估计器。

其中用于R-FCN模型训练的样本生成步骤是：对m张原始现场图像样本人工用边界框标注可抓取位置，通过旋转变换将现场图像样本进行扩充，得到72*m张扩充样本。具体实施实例中，原始现场图像为m=100张不同的不规则物体在场景中可抓取角度为时的图像。人工用边界框标注可抓取位置，通过旋转变换将数据扩充至7200 张，部分样本如图6所示。具体的旋转扩充及标签方法如下：

(1)围绕边界框的中心点将边界框扩充成边长为原矩形框长宽之和的正方形；

(2)以的间隔将图像以正方形的中心为圆心旋转一周。既可保证抓取位置在图片中央，便于神经网络的感受野提取特征，又可省去修改边界框的繁琐步骤。考虑到平行二指爪的对称性，生成新的可抓取角度为、、 、；

(3)为减少第一阶段定位耗时，将图片类别合并缩减为、、、。

其中用于Angle-Net模型训练的样本生成步骤是：对m张原始样本再次进行扩充，先以的间隔将图像围绕基础图片数据中正方形框中心旋转一周，再截取标注框内的图片（即可抓取位置的信息）作为新的样本，最终生成360*m张不同抓取角度的图像，每张样本对应一个抓取角度。在具体实施实例中，原始现场图像为m=100张，则用于Angle-Net训练的样本共计生成了3.6万张不同抓取角度的图像。

利用如上所述的样本，分别对级联的两段模型进行独立训练。对于R-FCN模型的训练，因样本数据规模较小且模型内部层数多而复杂，故使用在微软COCO数据集训练好的R-FCN模型参数作为初始值，在此基础上进行微调（Fine-tuning）训练。学习优化采用动量法（Momentum），其优点在于当面对小而连续的梯度但含有很多噪声时可加速学习。在训练Angle-Net时，样本图片大小重新设置成，并通过随机改变图片亮度和对比度的方法进行数据增强。参数初始化选择采用截断正态分布法。为加速训练，对抓取角度归一化即。

在线运行时采集一帧全局俯视的单目彩色相机图像，输入到前述步骤建立的级联式两阶段卷积神经网络模型。第一阶段先对抓取点定位与姿态粗估计，第二阶段对抓取姿态进行细估计，得到以为分辨率的最终抓取姿态角。图7为某实例物体的抓取位姿检测结果。

将图像坐标系中得到的抓取位置和姿态变换到机器人基坐标系下并对应为机器人末端手爪的位置和姿态。图像坐标系与机器人基坐标系之间的关系如式：

(7)

为空间中的一点在相机坐标系下的z轴坐标值，即对应的深度值。为在机器人基坐标系下的坐标，、为通过手眼标定获得的相机坐标系和机器人基坐标系间的转换关系，为相机在针孔相机模型下的内参矩阵，通过实验测得。由式（7）可求解得抓取点在机器人基坐标系下的坐标。根据相机与机器人的位置关系，将抓取检测得到的姿态角转换为机器人基坐标系下的四元数形式。

(8)

在获得机器人基坐标系下的抓取位姿后，根据以下流程驱动UR5机器人执行目标抓取任务：

(1)初始化机械臂位姿及夹持器开度，设机械臂在笛卡儿空间下的初始位姿为，夹持器开度为 (与抓取检测结果的线宽相对应)；

(2)控制机械臂令末端执行器到达抓取点的正上方，并将末端执行器旋转至检测结果的姿态角度；

(3)下移末端执行器并闭合夹持器以抓取物体；

(4)控制机械臂将目标物体放置在指定位置后返回初始位姿。

需要说明的是以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于：包括以下步骤：

（1）构建位置-姿态由粗到细的级联式两阶段卷积神经网络模型，第一阶段采用基于区域的全卷积网络实现抓取定位以及抓取角度的粗估计，第二阶段通过构造一种新的Angle-Net模型实现抓取角度精确计算；

（2）控制机器人通过全局俯视的单目彩色相机采集当前含待抓物体的场景图像，作为待训练的原始现场图像样本，借助迁移学习机制对两阶段卷积神经网络模型进行训练，得到具有一定泛化能力的抓取点位置和姿态估计器；

（3）在线运行中，将全局俯视相机采集的每一帧单目彩色图像输入到前述步骤建立的级联式两阶段卷积神经网络模型，其中第一阶段输出为抓取位置候选边界框及抓取角度粗估计结果，第二阶段得到以为分辨率的最终抓取姿态角；

（4）以所得抓取位置和姿态驱动机器人末端执行器进行物体抓取控制。

2.如权利要求1所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，所述抓取定位是指级联式两阶段卷积神经网络模型提取图像中物体待抓取位置的候选边界框及其相应的可靠性分数，抓取角度的粗估计是指级联式两阶段卷积神经网络模型同时也输出了抓取角度的粗分类结果。

3.如权利要求2所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，待抓取位置的候选边界框选取300个，通过筛选和排序确定候选边界框中可靠性最高的边界框，该边界框的中心点就是应驱动机器人末端手爪到达的抓取位置，抓取角度的粗分类包括四种情况：、 、、。

4.如权利要求3所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，所述Angle-Net模型的输入为上一级输出的抓取位置，输出为图像平面下分辨率为的抓取角度，所述Angle-Net模型包括4 个卷积层和2 个全连接层，其中，卷积层的卷积核个数分别为16、32、64、128，全连接层的神经元个数均为4096。

5.如权利要求4所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，所述Angle-Net模型的损失函数采用L1-范数函数，并在损失函数的基础上加上正则化项。

6.如权利要求5所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，R-FCN 遵循先区域建议再区域分类的策略，R-FCN的结构由基础卷积网络、区域建议网络、位置敏感的分数图和在RoI 池化后的决策层共四个部分组成。

7.如权利要求6所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，所述的借助迁移学习机制对两阶段卷积神经网络模型进行训练，是控制机器人通过全局俯视的单目彩色相机采集当前含待抓物体的场景图像，包含多种非规则物体实例、可抓取角度为的少量训练图像，作为待训练的m张原始现场图像样本；具体训练包括相应的两个训练阶段：

Ⅰ）R-FCN模型的训练，得到抓取点位置估计器和姿态粗估计器；

Ⅱ）Angle-Net模型的训练，得到抓取姿态细估计器。

8.如权利要求7所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，所述R-FCN模型的训练步骤是，对m张原始现场图像样本人工用边界框标注可抓取位置，并通过旋转变换将现场图像样本进行扩充，得到72*m张扩充样本；另外，借助迁移学习机制对在封闭大数据集上已训练过的通用深度网络模型R-FCN进行微调，得到适应当前待抓取物体特征的抓取点定位和姿态粗估计器。

9.如权利要求8所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，所述Angle-Net模型的训练步骤是，对m张原始样本再次进行扩充，先以的间隔将图像围绕基础图片数据中正方形框中心旋转一周，再截取标注框内的图片作为新的样本，并通过随机改变图片亮度和对比度的方法进行数据增强，最终生成360*m张不同抓取角度的图像，每张样本对应一个抓取角度；把这些样本图片大小重新设置成后用于训练Angle-Net模型，参数初始化选择采用截断正态分布法；训练完成后得到抓取姿态细估计器。

10.如权利要求9所述的一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法，其特征在于，将图像坐标系中得到的抓取位置和最终抓取姿态角变换到机器人基坐标系下并对应为机器人末端手爪的位置和姿态，采用机器人运动学求逆与路径规划，驱动机器人末端到达该位置进行抓取。