CN112295933B - 一种机器人快速分拣货物的方法 - Google Patents

Abstract

本发明公开一种机器人快速分拣货物的方法，包括以下步骤：步骤1：在真实环境下搭建机器人货物分拣平台；步骤2：相机1采集待分拣箱货物图像，并通过启示图方法快速定位待分拣箱中的可抓取货物及抓取点；步骤3：机器人抓取货物，并将机器人末端抓取机构移动至相机2视野内；步骤4：相机2采集机器人末端抓取机构图像，若机器人成功抓取到货物，则通过深度学习方法或小样本学习方法对货物进行分类识别并继续执行步骤5，若抓取失败则机器人复位并重新执行步骤2；步骤5：机器人根据识别结果将所抓取货物放置到指定的收纳箱中；步骤6：重复执行步骤2至步骤5，直至待分拣箱货物分拣完成。本发明所提出的“先抓取、后识别”的两阶段方法能够有效提高货物分拣的速度和成功率。

Description

一种机器人快速分拣货物的方法

技术领域

本发明涉及一种机器人快速分拣货物的方法，属于机器人应用技术领域。

背景技术

近年来，研究人员对工业领域的分拣机器人进行了广泛的研究，如零件分拣，通过在工业机器人的基础上增加机器视觉系统，使机器人具有主动感知的能力，能够检测到待分拣对象的位置和类别，自适应的控制机器人到相应的位置执行抓取和分类动作，打破了传统的工业机器人只能通过示教或编程的方式到固定位置执行动作的限制。分拣机器人的应用不仅可以将人从繁重的流水线工作中解放出来，而且提高了生产效率。

在货物生产、运输和销售的环节中，需要对混杂在一起的货物进行分拣。但种类繁多的货物被随意混杂的堆放在分拣箱中，货物之间相互遮挡，构成了复杂的非结构化分拣场景。这严重影响了机器人视觉系统对货物的准确识别和定位，给机器人的自动化分拣工作带来了困难。在货物分拣时存在细类分拣和大类分拣两种情况，细类分拣即按照货物的细分属性进行分拣，大类分拣并不在意商品的细分属性，在不同行业的商品生产和销售中，大类分拣和细类分拣均存在很大的应用需求量。

目前，货物的分拣工作主要是由人工完成，然而长期高强度、高重复性的工作会让工作人员疲劳，工作效率下降。在涉及到食物、药物等货物的分拣时，容易发生安全事故。随着人口红利的消失，大量的雇佣工人对货物进行人工分拣会增加企业的生产和运营成本。因此，急需开发出一种高效准确快速的机器人分拣货物方法，提高机器人抓取的成功率和识别的准确率，从而实现货物的机器人智能化快速分拣。

发明内容

发明目的：针对于现有工业分拣机器人无法适用于密集混杂货物分拣的问题以及人工分拣工作强度大、效率低的问题，本发明提供了一种机器人快速分拣货物的方法，能够在密集混杂的货物分拣箱中对重叠遮挡的货物准确的定位抓取，然后对抓取到的货物进行识别分类，从而实现货物的机器人快速分拣。

上述的目的通过以下技术方案实现：

一种机器人快速分拣货物的方法，该方法包括如下步骤：

步骤1.在真实环境下搭建机器人货物分拣平台，该分拣平台包括含有末端抓取机构吸盘的机器人设备、固定在工作台正上方的相机1、固定在工作台面上的相机2、待分拣箱；

步骤2.相机1采集待分拣箱图像，并通过启示图方法定位待分拣箱中的可抓取货物及抓取点；

步骤3.机器人根据步骤2中的定位信息抓取货物，并将机器人末端抓取机构吸盘移动至相机2视野内；

步骤4.相机2采集机器人末端抓取机构图像，并通过深度学习方法或小样本学习方法判断机器人是否抓取到货物，若抓取成功则对货物进行识别并继续执行步骤5，若抓取失败则机器人复位并重新执行步骤2；

步骤5.机器人根据步骤4中的识别结果，将所抓取货物放置到指定的收纳箱中；

步骤6.重复执行步骤2至步骤5，直至待分拣箱货物分拣完成。

进一步地，步骤1具体包括：

步骤1-1.含有末端抓取机构吸盘的机器人设备固定在工作台上，末端抓取机构吸盘能够随机器人的机械臂移动并进行抓取；

步骤1-2.将相机1和相机2分别固定在工作台的正上方和工作台上，待分拣箱放置在工作台上并位于相机1的正下方，此时，待分拣箱位于相机1视野的中心位置，并且相机1视野与待分拣箱尺寸大小相同，使得机器人抓取工作空间被限定在该区域内；

步骤1-3.将机器人的机械臂、吸盘、相机1和相机2分别与计算服务器相连和通信；

步骤1-4.将随机混杂摆放有待分拣的若干多品种货物的分拣箱，放置在工作台上相机1的视野内。

进一步地，步骤2具体包括：

步骤2-1.通过相机1采集待分拣箱中全部货物的整体RGB图像和深度图像信息；

步骤2-2.基于改进的全卷积神经网络生成启示图，该网络包含编码和解码两个部分；编码阶段以步骤2-1所得的RGB图像作为输入，采用ResNet网络作为提取图像中深层抽象特征的网络，在编码阶段，将ResNet网络中第4层和第5层的下采样过程去除，同时采用了空洞卷积来提高卷积网络的感受野；在该部分最后引入了空洞空间金字塔池化模块，从多个尺度对特征进行采样；在解码阶段，设计了一个特征融合的模块，在该模块中将编码阶段的浅层特征与深层特征进行融合，采用注意力机制，在通道维度上进行加权融合，不同的特征采用不同的权重；最后采用双线性插值对特征图进行上采样，得到与输入图像尺寸相同的单通道图像，该图像即为待分拣箱中全部货物的整体启示图；

步骤2-3.利用步骤2-2所得的启示图生成一个拟优先抓取的货物的最佳定位信息，其中货物定位信息包括货物抓取点在图像坐标系中的坐标(x,y)和相机到该抓取点的深度信息h，启示图方法是将抽象的货物抓取功用性映射为启示图的像素表示，启示图中的每个像素点代表机器人使用吸盘在该位置抓取货物的成功率，颜色越深，抓取的成功率越高，则具有启示图像素最大值的点作为当前拟抓取的货物的最佳抓取点；

求取启示图像素最大值公式为：

argmax Q

其中Q为启示图图像中的像素值；

步骤2-4.判断货物抓取点在图像坐标系中的坐标(x,y)是否超出了所述的机器人抓取工作空间，若超出，则定位失败，重新执行步骤2；若没有超出，则认为定位成功，执行步骤3。

进一步地，步骤3具体包括：

步骤3-1.将货物定位信息中的货物抓取点在图像坐标系中的坐标(x,y)通过坐标变换转换到机器人坐标系下；

步骤3-2.机器人根据转换后的货物定位信息，将吸盘移动至货物抓取点正上方25cm处；

步骤3-3.机器人根据货物定位信息中的深度信息，将吸盘下降到抓取点位置，抓取货物；

步骤3-4.机器人将抓取到的货物移动至相机2的视野内。

进一步地，步骤4具体包括：

步骤4-1.通过相机2采集机器人末端抓取机构吸盘的图像；

步骤4-2.通过深度学习方法或小样本学习方法对相机2采集到的图像信息进行识别；

步骤4-3.若识别的结果为机器人的末端抓取机构吸盘，则机器人本次没有抓取到货物，对机器人进行复位，移出相机1的图像采集范围，执行步骤2；若识别的结果为某类货物，则机器人抓取到了货物并成功识别出货物的类别，然后执行步骤5。

进一步地，所述深度学习方法采用YOLOv3算法对货物的细分类识别，具体步骤包括：

首先采用LabelImg标注软件制作待抓取货物的图像数据集，其次采用CutMix方法对数据集样本进行了数据增强，之后在Pytorch框架下搭建YOLOv3网络模型，并在服务器上

对YOLOv3网络模型进行训练；

CutMix方法是将图像数据集样本的一部分区域剪切掉，但不填充0像素，而是随机填充训练集中的其他数据的区域像素值，分类结果按一定的比例分配，该方法在训练过程中不会出现非信息像素；其核心公式如下：

x_A和x_B是两个不同的训练样本，y_A和y_B是两个训练样本x_A和x_B对应的标签值，CutMix方法需要生成的是新的训练样本

和对应标签

M是对剪切掉区域进行填充的像素值的二进制掩码，⊙表示逐项相乘，1是所有元素都为1的二进制掩码，λ属于Beta分布：λ～Beta(α,α)，令α＝1，则λ服从(0,1)的均匀分布。

进一步地，所述小样本学习方法是基于原型网络的小样本分类算法——PMN算法，对货物进行大类分类识别，PMN算法利用卷积神经网络和双向长短期记忆网络构建相应的特征空间，通过计算平均值的方式对每个类别样本的特征向量进行压缩，以获得每个类别对应的原型；然后利用注意力长短期记忆网络对测试样本和各类别原型进行特征关系匹配，得到带有类别权重的特征向量；最后通过计算加权后的测试样本特征向量与各类别原型之间的余弦相似度，对测试样本进行分类预测；

PMN算法具体步骤包括：首先将货物粗粒度地划分成若干大类，采用LabelImg标注软件为每个大类制作各种货物的图像样本5～10张；然后在服务器上采用K-way N-shot方式训练PMN网络，即每轮训练随机从总的货物类别中抽取K个类别，K值通常取5或20，K值越大表示需要识别的种类越多，分类的难度越大，每个类别包含N个样本，N值通常取1、5或10，N值越小表示可供训练的样本数量越少，分类难度越大，由K×N个样本组成支持集，计算每个类别对应的原型；再从K个类别剩余的数据中抽取一批样本组成查询集，该查询集与支持集中的样本不重复，利用原型与查询集样本之间的相似程度对查询集样本进行分类预测，并采用交叉熵损失函数计算分类损失，优化网络参数。

进一步地，步骤5具体包括：

步骤5-1.在分拣任务开始前，将每种货物名称和拟盛放货物的收纳箱对应起来，制作成映射表；

步骤5-2.使用步骤4中识别到的货物类别查询映射表，确定机器人抓取到的当前货物所属的收纳箱，控制机器人将货物放置到相应的收纳箱中；

步骤5-3.机器人复位，完成一次分拣任务。

有益效果：本发明能够实现密集混杂货物的机器人快速分拣，相比于人工分拣，具有工作效率高、安全性高的特点。在分拣过程中，机器人首先通过启示图方法将货物从分拣箱中取出，将货物从密集杂乱的背景环境中分离出来，这一抓取过程中无需考虑货物的类别，从而取得抓取的快速性；然后在相对简单的背景下近距离地对所抓取的单个货物进行识别分类，以取得相比密集杂乱多货物背景下的识别准确率。通过这一先抓取、后识别的分拣方法，既实现了对货物准确的抓取和分类识别，又取得了更高的分拣的效率。本发明在密集混杂多品种货物的分拣实验中，细类分拣的抓取成功率为92.5％，分类准确率为95.4％，平均耗时10.7秒；大类分拣的抓取成功率为92.5％，分类准确率为98.7％，平均耗时10.8秒。

附图说明

图1是本发明机器人快速分拣货物方法的流程图；

图2是本发明涉及到的机器人货物分拣系统CAD结构图；

图3是本发明涉及到的识别货物时机器人姿态的CAD示意图；

附图2中标记说明：1为相机1，2为相机2，3为6轴机器人，4为末端执行器吸盘，5为盛放货物的待分拣箱，6为工作平台。

附图3中标记说明：1为相机1，2为相机2，3为6轴机器人，4为抓取到货物时的末端执行器吸盘，5为盛放货物的待分拣箱，6为工作平台。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。

如图1所示，本发明提供的一种机器人快速分拣货物的方法，该方法包括如下步骤：

步骤1.在真实环境下搭建机器人货物分拣平台，该分拣平台包括机器人设备，含末端抓取机构吸盘，两台相机及一个待分拣箱和多个收纳箱；

步骤2.相机1采集待分拣箱图像，并通过启示图方法定位待分拣箱中的可抓取货物及抓取点；

步骤3.机器人根据步骤2中的定位信息抓取货物，并将机器人末端抓取机构吸盘移动至相机2视野内；

步骤4.相机2采集机器人末端抓取机构图像，并通过深度学习方法或小样本学习方法判断机器人是否抓取到货物，若抓取成功则对货物进行识别并继续执行步骤5，若抓取失败则机器人复位并重新执行步骤2；

步骤5.机器人根据步骤4中的识别结果，将所抓取货物放置到指定的收纳箱中；

步骤6.重复执行步骤2至步骤5，直至待分拣箱货物分拣完成。

所述的一种机器人快速分拣货物的方法，步骤1具体包括：

步骤1-1.含有末端抓取机构吸盘的机器人设备固定在工作台上，末端抓取机构吸盘能够随机器人的机械臂移动并进行抓取；

步骤1-2.将相机1和相机2分别固定在工作台的正上方和工作台上，待分拣箱放置在工作台上并位于相机1的正下方，此时，待分拣箱位于相机1视野的中心位置，并且相机1视野与待分拣箱尺寸大小相同，使得机器人抓取工作空间被限定在该区域内；

步骤1-3.将机器人的机械臂、吸盘、相机1和相机2分别与计算服务器相连和通信；

步骤1-4.将若干多品种物品作为待分拣货物，密集混杂的放置在待分拣箱中。

所述的一种机器人快速分拣货物的方法，步骤2具体包括：

步骤2-1.通过相机1采集待分拣箱中全部货物的整体RGB图像和深度图像信息；

步骤2-2.基于改进的全卷积神经网络生成启示图，该网络主要包括特征提取网络、空洞卷积、池化模块以及特征融合模块；

特征提取网络采用ResNet-101网络，网络特征提取部分主要包含5层结构，第1层由卷积层(Conv)、批量归一化层(BN)、ReLU激活层和最大池化层(Max Pool)组成，第2到5层具有相似的网络结构，都是由Conv Block块和多个Res Block块组成；

空洞卷积是一种优化图像分割效果的技术，通过在普通卷积核中添加空洞，扩大卷积核与图像作用的范围，增强网络提取图像中上下文信息的能力，二维的空洞卷积与图像作用的公式如下：

其中M和N为图像的尺寸大小，ω表示带有空洞的卷积核，x[m,n]为卷积层的输入，y[m,n]为卷积层的输出，i和j表示卷积核的大小，r表示空洞卷积的膨胀率，即卷积核中空洞的大小；

池化模块在ResNet特征提取网络之后，引入空洞空间金字塔池化模块，从多个尺度对特征进行采样，进一步扩大网络的感受野，提高对大尺寸货物目标抓取启示图的预测能力。空洞空间金字塔池化模块从五个不同的尺度对ResNet的特征输出进行处理，其中包括一个1*1的卷积层，三个3*3的卷积层，每个卷积核的空洞率不同，分别为6、12和18，空洞率不同所能提供的感受野也不同，从而能够捕获图像中多个尺度的特征信息，提高了特征表征能力；然后将5个不同尺度的特征进行叠加，通过卷积核为1*1的卷积层对多个尺度特征进行整合，输出维度为256的特征，作为后续的解码网络的特征输入；

特征融合模块采用的是一种基于注意力机制的特征融合方式，该模块的输入包含两个部分，一部分是将空洞空间金字塔池化模块输出的特征通过双线性插值进行两倍上采样得到的特征，另一部分是ResNet特征提取网络第2层输出的特征，两个特征的尺寸都为原图像的1/4；特种融合模块将两个不同层次的特征向量在通道维度进行相连，然后经过一个卷积核为1*1的卷积层进行初步的融合得到特征F₁，然后采用注意力机制对初步融合的特征F₁进行增强处理；

注意力机制分为3个步骤，首先需要获取初步融合的特征F₁中各个通道与所有通道之间的权值W₁，然后使用Softmax函数σ()对权值进行归一化操作，最后将归一化得到权值与特征F₁发生作用，并采用残差结构得到融合后的特征F₂，公式如下：

F₂＝F₁+σ(W₁)

特征F₂通过卷积核为1*1的卷积层生成大小为原图像1/4的特征图，最后经过Dropout和双线性上采样得到与原图像尺寸相同的启示图；

步骤2-3.通过启示图方法生成最优的货物定位信息，其中定位信息包括货物抓取点在图像坐标系中的坐标(x,y)和相机到该抓取点的深度h，启示图方法是将抽象的货物抓取功用性映射为启示图的像素表示，启示图中的每个像素点代表机器人使用吸盘在该位置抓取货物的成功率，颜色越深，抓取的成功率越高，则具有启示图像素最大值的点作为当前拟抓取的货物的最佳抓取点；

求取启示图像素最大值公式为：

argmax Q

其中Q为启示图图像中的像素值；

步骤2-4.判断坐标(x,y)是否超出了所述的机器人抓取工作空间，若超出，则定位失败，重新执行步骤2；若没有超出，则认为定位成功，执行步骤3。

所述的一种机器人快速分拣货物的方法，步骤3具体包括：

步骤3-1.将货物定位信息中的货物抓取点在图像坐标系中的坐标(x,y)通过坐标变换转换到机器人坐标系下；

步骤3-2.机器人根据转换后的货物定位信息，将吸盘移动至货物抓取点正上方25cm处；

步骤3-3.机器人根据货物定位信息中的深度信息，将吸盘下降到抓取点位置，抓取货物；

步骤3-4.机器人将抓取到的货物移动至相机2的视野内。

所述的一种机器人快速分拣货物的方法，步骤4具体包括：

步骤4-1.通过相机2采集机器人末端抓取机构的图像；

步骤4-2.通过深度学习方法或小样本学习方法对相机2采集到的图像信息进行识别；

步骤4-3.若识别的结果为机器人的末端执行器吸盘，则机器人本次没有抓取到货物，对机器人进行复位，移出相机1的图像采集范围，执行步骤2；若识别的结果为某类货物，则机器人抓取到了货物并成功识别出货物的类别，然后执行步骤5。

所述的一种机器人快速分拣货物的方法，步骤4中深度学习方法具体是：采用高实时性的YOLOv3算法对货物的细分类识别，主要步骤包括：首先采用LabelImg标注软件制作待抓取货物的图像数据集，其次采用CutMix方法对数据集样本进行了数据增强，之后在Pytorch框架下搭建YOLOv3网络模型，并在服务器上对YOLOv3网络模型进行训练；

CutMix方法是将图像数据集样本的一部分区域剪切掉，但不填充0像素，而是随机填充训练集中的其他数据的区域像素值，分类结果按一定的比例分配，该方法在训练过程中不会出现非信息像素；其核心公式如下：

x_A和x_B是两个不同的训练样本，y_A和y_B是对应的标签值，CutMix方法需要生成的是新的训练样本

和对应标签

M是对剪切掉区域进行填充的像素值的二进制掩码，⊙表示逐项相乘，1是所有元素都为1的二进制掩码，λ属于Beta分布：λ～Beta(α,α)，令α＝1，则λ服从(0,1)的均匀分布。

所述的一种机器人快速分拣货物的方法，步骤4中小样本学习方法具体是：基于原型网络的小样本分类算法——PMN算法对货物进行大类分类识别，PMN算法将经典的小样本学习算法Prototypical Network(PN)与Matching Network(MN)的优势相结合，利用卷积神经网络(CNN)和双向长短期记忆网络(BiLSTM)构建相应的特征空间，通过计算平均值的方式对每个类别样本的特征向量进行压缩，以获得每个类别对应的原型；然后利用注意力长短期记忆网络(AttLSTM)对测试样本和各类别原型进行特征关系匹配，得到带有类别权重的特征向量；最后通过计算加权后的测试样本特征向量与各类别原型之间的余弦相似度，对测试样本进行分类预测；这一方法充分利用了MN算法强大的特征匹配能力，并解决了MN算法无法对稀有类别进行准确分类的问题；

PMN算法具体步骤包括：首先将货物粗粒度地划分成若干大类，采用LabelImg标注软件为每个大类制作各种货物的图像样本5～10张；然后在服务器上采用K-way N-shot方式训练PMN网络，即每轮训练随机从总的货物类别中抽取K个类别(K值通常取5或20，K值越大表示需要识别的种类越多，分类的难度越大)，每个类别包含N个样本(N值通常取1，5或10，N值越小表示可供训练的样本数量越少，分类难度越大)，由K×N个样本组成支持集，计算每个类别对应的原型；再从K个类别剩余的数据中抽取一批样本组成查询集(与支持集中的样本不重复)，利用原型与查询集样本之间的相似程度对查询集样本进行分类预测，并采用交叉熵损失函数计算分类损失，优化网络参数。

所述的一种机器人快速分拣货物的方法，步骤5具体包括：

步骤5-1.在分拣任务开始前，将每种货物名称和盛放货物的分拣箱对应起来，制作成映射表；

步骤5-2.使用步骤4中识别到的货物类别查询映射表，获取当前机器人抓取到的货物所属的分拣箱，控制机器人将货物放置到相应的分拣箱中；

步骤5-3.机器人复位，完成一次分拣任务。

实验一：在实验中分别采用YOLOv3、Faster RCNN及本发明“先抓取，后识别”方法对货物进行识别分类和抓取定位，从抓取成功率、分类准确率以及平均耗时三个方面对三种货物分拣方法进行评估，其中各个指标定义如下：

分拣实验结果如下表所示：

表1分拣策略与效果比较(细类)

该对比实验中，本发明中采用“先抓取，后识别”方法，即：机器人先根据相机1的定位信息抓取货物，并将机器人末端抓取机构吸盘移动至相机2视野内；相机2采集机器人末端抓取机构图像，并通过深度学习方法或小样本学习方法判断机器人是否抓取到货物。抓取定位步骤采用启示图方法，识别分类步骤采用YOLOv3方法。

从表1中可以看出“先抓取，后识别”分拣方法的抓取成功率为92.5％，远远超过了两种目标检测算法的抓取成功率，抓取阶段采用的是基于启示图定位的方法，启示图能够较好的反映待分拣货物可抓取的功用性，避免将货物形变严重的位置确定为抓取点，而目标检测算法则直接将目标中心位置作为抓取点，没有对货物特点进行充分的考虑。“先抓取，后识别”方法具有高达95.4％的分类准确率，主要原因是机器人将货物从密集混杂的分拣箱中抓取出来，放置于单一固定的场景中进行识别，减少了其他相似货物的影响。基于YOLOv3的分拣方法直接在密集混杂的场景中对货物进行识别，准确率仅为88.5％，充分证明了本发明所提出的“先抓取，后识别”货物分拣策略的能够在识别算法不变的情况下，有效的提高分类准确率。平均耗时反映的是分拣方法的效率，耗时越小，分拣效率越高，基于YOLOv3和Faster RCNN的分拣方法对货物同时进行识别和定位，平均耗时分别为14.3s和13.5s，“先抓取，后识别”方法则将分拣流程分成两步，但平均耗时仅为10.7s，分拣效率高于以上两种分拣方法，说明了“先抓取，后识别”的分拣策略能够通过减少抓取和识别的失误率来提高分拣的效率。

实验二：在采用小样本学习方法对货物进行识别的实验中，本专利在数据集RPC-S上对原型网络进行训练，训练采用的是10-way 5-shot方式，每个episode随机从RPC-S数据集中选择10类商品，然后从每类商品样本中随机抽取5个样本组成训练的支持集；再从每类剩余的样本中随机抽取10个样本组成查询集。原型网络训练共进行2000轮次，然后使用训练好的模型在测试集上进行测试。测试采用4种不同的K-way N-shot组合，分别为5-way 1-shot、5-way 5-shot、20way 1-shot以及20way 5-shot，查询集与训练时一致，从每类商品的剩余的样本中选择10个样本。测试100个episode后进行数据统计，使用准确率Accuracy评价原型网络对货物的识别性能。实验结果见表2。

表2基于原型网络的货物大类识别结果

从表2中可以看出，对于待识别货物，原型网络能够在仅提供1张或5张样本图片的条件下，实现超过90％的识别准确率，最高可达到98.7％，而基于大规模数据集的识别算法远远达不到这种效果，充分表明了原型网络强大的泛化性能，在不重新训练网络的情况下，能够解决货物的识别问题；通过对实验数据进一步分析可以发现，使用原型网络对5种或20种货物识别时，5-shot情况下的识别准确率要高于1-shot情况下的识别准确率，这说明通过提供更多的货物样本，原型网络能够提取货物更多的特征，在此基础上构建更加稳定的特征空间，从而实现更高的识别准确率；通过对比相同N-shot情况下的数据可以发现，随着识别种类的增加，识别准确率降低，主要原因是类别增加需要网络拥有更多的参数来拟合非线性的类别信息，而网络在训练完成后参数固定，因此当增加货物时，网络拟合能力下降，进而导致了识别准确率下降。

实验三：当“先抓取，后识别”分拣策略的第一阶段抓取定位采用启示图方法，第二阶段识别分类采用小样本学习方法时，参照实验一及实验二的思路和数据，在5-way 5-shot组合情况下，可以得到此时的抓取成功率、分类准确率、分拣成功率，通过实验得到该情况下的平均耗时。

表3基于原型网络(5-way 5-shot)的大类识别与分拣效果

从表3中可以看出，在“先抓取，后识别”的分拣策略中，当第一阶段抓取定位采用启示图方法，第二阶段识别分类采用小样本学习方法即原型网络(5-way 5-shot)方法时，在货物的大类识别与分拣中，可以实现92.5％的抓取成功率、98.7％的分类准确率和91.3％的分拣成功率，且平均耗时仅为10.8s。参照实验一细类的分拣效果，可以看出实验三大类分拣的抓取成功率、分类准确率和分拣成功率都达到或超过了细类分拣时的最佳效果。

以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。

Claims (6)

1.一种机器人快速分拣货物的方法，其特征在于，该方法包括如下步骤：

步骤1.在真实环境下搭建机器人货物分拣平台，该分拣平台包括含有末端抓取机构吸盘的机器人设备、固定在工作台正上方的相机1、固定在工作台面上的相机2、待分拣箱、收纳箱；

步骤2.相机1采集待分拣箱图像，并通过启示图方法定位待分拣箱中的可抓取货物及抓取点；

步骤3.机器人根据步骤2中的定位信息抓取货物，并将机器人末端抓取机构吸盘移动至相机2视野内；

步骤4.相机2采集机器人末端抓取机构图像，并通过深度学习方法或小样本学习方法判断机器人是否抓取到货物，若抓取成功则进一步对货物进行识别并继续执行步骤5，若抓取失败则机器人复位并重新执行步骤2；

步骤5.机器人根据步骤4中的识别结果，将所抓取货物放置到指定的收纳箱中；

步骤6.重复执行步骤2至步骤5，直至待分拣箱货物分拣完成；

步骤1具体包括：

步骤1-1.含有末端抓取机构吸盘的机器人设备固定在工作台上，末端抓取机构吸盘能够随机器人的机械臂移动并进行抓取；

步骤1-2.将相机1和相机2分别固定在工作台的正上方和工作台上，待分拣箱放置在工作台上并位于相机1的正下方，此时，待分拣箱位于相机1视野的中心位置，并且相机1视野与待分拣箱尺寸大小相同，使得机器人抓取工作空间被限定在该区域内；

步骤1-3.将机器人的机械臂、吸盘、相机1和相机2分别与计算服务器相连和通信；

步骤1-4.将随机混杂摆放有待分拣的若干多品种货物的待分拣箱，放置在工作台上相机1的视野内；

步骤2具体包括：

步骤2-1.通过相机1采集待分拣箱中全部货物的整体RGB图像和深度图像信息；

步骤2-2.基于改进的全卷积神经网络生成启示图，该网络包含编码和解码两个部分；编码阶段以步骤2-1所得的RGB图像作为输入，采用ResNet网络作为提取图像中深层抽象特征的网络，在编码阶段，将ResNet网络中第4层和第5层的下采样过程去除，同时采用了空洞卷积来提高卷积网络的感受野；在该部分最后引入了空洞空间金字塔池化模块，从多个尺度对特征进行采样；在解码阶段，设计了一个特征融合的模块，在该模块中将编码阶段的浅层特征与深层特征进行融合，采用注意力机制，在通道维度上进行加权融合，不同的特征采用不同的权重；最后采用双线性插值对特征图进行上采样，得到与输入图像尺寸相同的单通道图像，该图像即为待分拣箱中全部货物的整体启示图；

步骤2-3.利用步骤2-2所得的启示图生成一个拟优先抓取的货物的最佳定位信息，其中货物定位信息包括货物抓取点在图像坐标系中的坐标(x,y)和相机到该抓取点的深度信息h，启示图方法是将抽象的货物抓取功用性映射为启示图的像素表示，启示图中的每个像素点代表机器人使用吸盘在该位置抓取货物的成功率，颜色越深，抓取的成功率越高，则具有启示图像素最大值的点作为当前拟抓取的货物的最佳抓取点；

求取启示图像素最大值公式为：

argmax Q

其中Q为启示图图像中的像素值；

步骤2-4.判断货物抓取点在图像坐标系中的坐标(x,y)是否超出了所述的机器人抓取工作空间，若超出，则定位失败，重新执行步骤2；若没有超出，则认为定位成功，执行步骤3。

2.根据权利要求1所述的一种机器人快速分拣货物的方法，其特征在于，步骤3具体包括：

步骤3-1.将货物定位信息中的货物抓取点在图像坐标系中的坐标(x,y)通过坐标变换转换到机器人坐标系下；

步骤3-2.机器人根据转换后的货物定位信息，将吸盘移动至货物抓取点正上方；

步骤3-3.机器人根据货物定位信息中的深度信息，将吸盘下降到抓取点位置，抓取货物；

步骤3-4.机器人将抓取到的货物移动至相机2的视野内。

3.根据权利要求1所述的一种机器人快速分拣货物的方法，其特征在于，步骤4具体包括：

步骤4-1.通过相机2采集机器人末端抓取机构吸盘的图像；

步骤4-2.通过深度学习方法或小样本学习方法对相机2采集到的图像信息进行识别；

步骤4-3.若识别的结果为机器人的末端抓取机构吸盘，则机器人本次没有抓取到货物，对机器人进行复位，移出相机1的图像采集范围，执行步骤2；若识别的结果为某类货物，则机器人抓取到了货物并成功识别出货物的类别，然后执行步骤5。

4.根据权利要求3所述的一种机器人快速分拣货物的方法，其特征在于，所述深度学习方法采用YOLOv3算法对货物的细分类识别，具体步骤包括：首先采用LabelImg标注软件制作待抓取货物的图像数据集，其次采用CutMix方法对数据集样本进行了数据增强，之后在Pytorch框架下搭建YOLOv3网络模型，并在服务器上对YOLOv3网络模型进行训练。

5.根据权利要求3所述的一种机器人快速分拣货物的方法，其特征在于，所述小样本学习方法是基于原型网络的小样本分类算法——PMN算法，对货物进行大类分类识别，PMN算法利用卷积神经网络和双向长短期记忆网络构建相应的特征空间，通过计算平均值的方式对每个类别样本的特征向量进行压缩，以获得每个类别对应的原型；然后利用注意力长短期记忆网络对测试样本和各类别原型进行特征关系匹配，得到带有类别权重的特征向量；最后通过计算加权后的测试样本特征向量与各类别原型之间的余弦相似度，对测试样本进行分类预测；

PMN算法具体步骤包括：首先将货物粗粒度地划分成若干大类，采用LabelImg标注软件为每个大类制作各种货物的图像样本5～10张；然后在服务器上采用K-way N-shot方式训练PMN网络，即每轮训练随机从总的货物类别中抽取K个类别，每个类别包含N个样本，由K×N个样本组成支持集，计算每个类别对应的原型；再从K个类别剩余的数据中抽取一批样本组成查询集，该查询集与支持集中的样本不重复，利用原型与查询集样本之间的相似程度对查询集样本进行分类预测，并采用交叉熵损失函数计算分类损失，优化网络参数。

6.根据权利要求1所述的一种机器人快速分拣货物的方法，其特征在于，步骤5具体包括：

步骤5-1.在分拣任务开始前，将每种货物名称和盛放货物的收纳箱对应起来，制作成映射表；

步骤5-2.使用步骤4中识别到的货物类别查询映射表，确定机器人抓取到的当前货物所属的收纳箱，控制机器人将货物放置到相应的收纳箱中；

步骤5-3.机器人复位，完成一次分拣任务。

Images