CN112170233A - 基于深度学习的小型零件分拣方法及其分拣系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的小型零件分拣系统及其分拣方法，零件分拣系统包括传送带、光电开关、工业相机、计算机和机械臂，传送带负责运送零件，光电开关负责检测零件是否到达图像采集区域，工业相机负责采集零件的图像，计算机对采集的图像进行处理，得到图中零件的类别和坐标位置；机械臂完成对确定类别和位置的零件的抓取分拣。分拣包括：S1、基于YOLOv4目标检测网络训练零件识别模型，通过训练好的零件识别模型检测图片中的零件，输出图中零件的类别名和坐标信息；S2、将零件图像的像素坐标转化为世界坐标；S3、将零件抓取至对应分拣箱内。该方法及装置通过模型预测得到零件的坐标位置，零件识别准确率更高，识别速度更快。

Description

基于深度学习的小型零件分拣方法及其分拣系统

技术领域

本发明涉及一种基于深度学习的小型零件分拣方法及其分拣系统，属于智能制造中的工业自动化领域。

背景技术

随着工业4.0和人工智能时代的到来，工业生产的任务逐渐交由由机器人来完成，在大幅度提高生产力的同时又减少了成本，同时将人从繁重枯燥且极具重复性的任务中解放出来。

早期生产线上零件的分拣大多由人来完成，这样生产的人工成本高、效率低且人工分拣无法保证长时间工作后分拣的效率和准确率。传统机器视觉的零件分拣主要基于人工设计的特征，利用特征点、最小外接矩形和模板匹配配等方法来识别零件。这种算法对于生产线上的姿态各异、形状较复杂的零件往往无法达到令人满意的效果。

针对传统机器视觉算法识别分拣零件时对外部环境变化适应能力弱、抗扰动能力差且对于复杂不规则零件的识别效率低等问题，本发明选用基于深度学习的目标检测方法来完成生产线上各种零件的识别，提高分拣的准确率。

发明内容

本发明的目的是提供一种基于深度学习的小型零件分拣方法及其分检系统，提高生产线上形态各异的、不规则的复杂零件的分拣速度和分拣准确率，提高分拣效率，从而提高生产力。

一种基于深度学习的小型零件分拣系统的分拣方法，主要包括以下步骤：

S1、基于YOLO v4目标检测网络训练零件识别模型，通过训练好的零件识别模型检测图片中的零件，输出图中零件的类别名和坐标信息，具体步骤为：

S11、对样本数据进行采集和扩充；S12、对样本图片进行标注：使用图像标注软件对样本数据进行标注，框选出各图中的零件并标记各零件的名称，保存并输出标注文件，之后划分数据集，训练集和测试集的比例为9:1；S13、零件检测模型的训练：针对生产线上的零件分拣问题，搭建基于深度学习YOLO v4目标检测网络的零件识别网络，以CSPDarknet53网络框架作为骨干网络，空间金字塔池化SPP作为网络颈部的附加模块，路径聚合网络PAN作为网络颈部的特征融合模块，YOLOv3作为网络头部；将YOLO v3边界框回归损失中的均方误差MSE替换为考虑预测框与真实框中心点的标准化距离和长宽比信息的重叠度损失CIOU，CIOU损失定义如下：

L_CIOU＝1-IOU(A,B)+ρ²(A_ctr,B_ctr)/c²+α.v (1)

其中，IOU(A,B)为预测框A与真实框B的重叠度损失IOU，ρ²(A_ctr,B_ctr)/c²为对中心点距离的惩罚项，A_ctr、B_ctr分别为预测框、真实框的中心点坐标，ρ(.)计算两点间的欧式距离，c为A、B最小包围框的对角线长度，α.v为长宽比的惩罚项，α为正数，v衡量长宽比的一致性，具体如下：

其中，w^gt、h^gt分别为真实框的宽和高，w、h分别为预测框的宽和高；

最后通过训练得到效果好的零件识别模型；

S2、将零件图像的像素坐标转化为世界坐标，具体步骤为：

S21、将图像的像素坐标(u,v)转化为物理坐标系(x,y)，转化关系如下：

其中，(u₀,v₀)为图像平面的中心点坐标，dx、dy分别为x、y轴上一个像素点的大小；

S22、图像的物理坐标(x,y)转化为相机坐标(xc,yc,zc)，转化关系如下:

其中，f为相机的焦距，zc大小为相机到传送带的距离；

S23、将相机坐标系下的坐标(xc,yc,zc)转换为世界坐标系下的坐标(xw,yw,zw)，转化关系如下：

其中，R为旋转正交变换矩阵，T为平移变化矩阵；

结合表达式(5)-(9)表达式，可得

S3、将零件抓取至对应分拣箱内，具体步骤为：

S31、读取待分拣零件的个数、类别名及其对应的零件坐标和目标分拣箱的坐标；S32、对识别的n个零件进行依次分拣，分拣完成后机械臂归位，传送带启动，进行下一组零件的识别。

优选地，所述S11中，样本数据的采集为：使用工业相机采集1000张样本零件的图片；样本数据的扩充方式为：通过调整图像亮度、对比度、色度、饱和度、加入噪声，以及随机旋转、旋转、翻转和裁剪对样本进行扩充。

优选地，所述S13中，通过训练的零件识别模型同时预测图中零件的类别和位置坐标。

一种基于深度学习的小型零件分拣方法的小型零件分拣系统，其包括运动控制模块、图像采集处理模块和机械控制模块，所述运动控制模块包括传送带和光电开关，传送带负责运送零件，光电开关负责检测零件是否到达图像采集区域；所述图像采集处理模块包括工业相机和计算机，工业相机负责采集零件的图像，计算机对采集的图像进行处理，得到图中零件的类别和坐标位置；所述机械控制模块为机械臂，完成对确定类别和位置的零件的抓取分拣。

优选地，零件的分拣过程为：当系统启动时，传送带启动，开始运送零件，当零件运送到指定位置时，光电开关检测到零件，传送带停止；然后，工业相机开始采集图像，计算机通过训练好的模型预测图片中零件的类别和位置；最后，机械臂开始分拣识别的零件，分拣完成后机械臂归位，传送带启动，继续运送零件，直到下一组零件到达指定位置，开始下一次识别分拣。

与现有技术相比，本发明具有以下有益效果：

(1)零件识别准确率更高，识别速度更快；

(2)通过模型预测得到零件的坐标位置；

(3)零件分拣速度快，准确率高。

附图说明

图1是小型零件分拣方法整体流程图；

图2是零件识别模型训练过程流程图；

图3是零件坐标转换流程图；以及

图4是零件抓取流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的为，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

下面结合附图与具体实施方式对本发明提出的基于深度学习的小型零件分拣方法及其分检系统及检测装置作进一步详细说明。

如图1所示，本发明的基于深度学习的小型零件分拣方法的小型零件分拣系统主要包括运动控制模块、图像采集处理模块及机械控制模块。运动控制模块主要包括传送带和光电开关，传送带负责运送零件，光电开关负责检测零件是否到达图像采集区域；图像采集处理模块主要为工业相机和计算机，工业相机负责采集零件的图像，计算机对采集的图像进行处理，得到图中零件的类别和坐标位置；机械控制模块主要为机械臂，负责对确定类别和位置的零件进行抓取分拣。系统启动时，传送带启动，开始运送零件，当零件运送到指定位置时，光电开关检测到零件，传送带停止；工业相机开始采集图像，计算机通过训练好的模型预测图片中零件的类别和位置；之后机械臂开始分拣识别的零件，分拣完成后机械臂归位，传送带启动，继续运送零件，直到下一组零件到达指定位置，开始下一次识别分拣。

一种基于深度学习的小型零件分拣系统的分拣方法，包括S1、零件识别模型的训练；S2、零件坐标转换；S3、零件抓取至目标分拣箱。

S1、零件识别模型训练的具体过程如图2所示，主要包括如下步骤：

本发明基于YOLO v4目标检测网络训练零件识别模型，通过训练好的模型检测图片中的零件，输出图中零件的类别名和坐标信息。

S11、样本数据的采集和扩充：首先利用工业相机、传送带、光电开关等搭建视觉检测平台，采集1000张样本零件的图片，之后对数据进行扩充，增加输入图像的可变性，使训练出的识别模型具有更高的鲁棒性。

扩充方式：一方面分别调整采集图像的亮度、对比度、色度、饱和度，并随机加入噪声，另一方面对采集的图像进行随机缩放、裁剪、翻转和旋转。最终共得到5000张样本图片。

S12、样本图片的标注：使用图像标注软件labeling对样本图片中的零件进行ROI区域的标注，框选出图中的零件，并标注相应的类别。标注完所有图片后，输出xml文件，保存标注信息。之后划分训练集和测试集，训练集和测试集的比例为9:1，之后将xml文件转换成txt文件。

S13、零件检测模型的训练：YOLO系列目标检测网络的第4版-YOLO v4目标检测网络是在YOLO系列目标检测网络的第3版-YOLO v3的基础上进行改进得来的，相比YOLO v3，YOLO v4的AP和FPS分别提高了10％和12％；在取得同等性能的情况下，YOLO v4的速度是EfficientDet的两倍；YOLO v4在MS COCO数据集上获得了43.5％的AP值(65.7％、AP50)，在Tesla V100上实现了大约65FPS的实时速度，YOLO v4在保证检测速度的基础上，大幅提高了模型的检测精度，在目标检测领域较YOLO v3更具优势。

针对生产线上的零件分拣问题，搭建基于深度学习YOLO v4的零件识别网络，以CSPDarknet53网络框架作为骨干网络，空间金字塔池化SPP作为网络颈部Neck的附加模块，路径聚合网络PAN作为网络颈部Neck的特征融合模块，YOLOv3作为网络头部Head；将YOLOv3边界框回归损失中的均方误差MSE替换为考虑预测框与真实框中心点的标准化距离和长宽比信息的重叠度损失CIOU，CIOU损失定义如下：

L_CIOU＝1-IOU(A,B)+ρ²(A_ctr,B_ctr)/c²+α.v (1)

其中，IOU(A,B)为预测框A与真实框B的重叠度损失IOU损失，ρ²(A_ctr,B_ctr)/c²为对中心点距离的惩罚项，A_ctr、B_ctr分别为预测框、真实框的中心点坐标，ρ(.)计算两点间的欧式距离，c为A、B最小包围框的对角线长度，α.v为长宽比的惩罚项，α为正数，v衡量长宽比的一致性，具体定义如下：

其中，w^gt、h^gt分别为真实框的宽和高，w、h分别为预测框的宽和高。本发明针对生产线上的小型零件识别问题，设置初始化参数，训练周期train steps＝100000，批次大小batch size＝16，学习率learning rate＝0.00261，动量momentum＝0.949，预测框和真实框的IOU阈值IOU threshold＝0.213，训练网络，最后输出训练好的网络模型。

一种基于深度学习的小型零件分检系统的分拣方法，其S2中零件坐标转换流程如图3所示，主要包括如下步骤：

机械臂实现抓取零件的前提是知道零件的位置信息，因此在机械臂抓取零件前需要对模型识别的坐标结果进行坐标转换从而得到所需的坐标信息。

S21、图像的像素坐标转化为物理坐标系：

模型识别的坐标结果为图像的像素坐标(u,v)，其对应的物理坐标为(x,y)，像素坐标和物理坐标的转化关系如下：

其中，(u0,v0)为图像平面的中心点坐标，dx、dy分别为x、y轴上一个像素点的大小。

S22、图像的物理坐标转化为相机坐标：图像的物理坐标(x,y)与相机坐标(xc,yc,zc)的转化关系如下:

其中，f为相机的焦距，zc大小为相机到传送带的距离。

S23、相机坐标转化为世界坐标：相机坐标(xc,yc,zc)与世界坐标(xw,yw,zw)的转化关系如下:

其中，R为旋转正交变换矩阵，T为平移变化矩阵。

结合上面表达式(5)-(9)，可得

一种基于深度学习的小型零件分检系统的分拣方法，其S3中零件抓取流程如图4所示，主要包括如下步骤：

S31、零件类别名、坐标信息以及目标分拣箱坐标的获取：读取零件识别结果中的零件个数n、各零件的类别名及其对应的坐标转化后的位置信息和类别所对应的目标分拣箱的位置信息。

S32、机械臂抓取零件：机械臂抓取第i个零件到其对应的分拣箱，之后i加1，判断i是否大于n。i不大于n时，还有零件未分拣，继续抓取下一个零件；i大于n时，零件全部分拣完毕，机械臂归位，传送带启动，进行下一组零件的分拣。

本发明的实例在Intel CORE i7-9750H，2.60GHz处理器、24.0G内存、64位Windows操作系统的计算机上进行仿真实验。实验所用相机为大恒水星MER-500-14GC-P工业相机，分辨率为2592×1944，帧率为14FPS。机械臂为ABB公司的六轴机器人IRB6620，其工作范围最大可达±300度，最大负载可达150kg。实验所用零件为5种不同的小型零件。

零件图片样本数据通过工业相机采集1000张原始图片，通过随机旋转、裁剪、调整亮度等方式将样本图片扩充到5000张。使用图像标注软件labeling对样本进行标注，将训练集与测试集的比例划分为9:1。

使用Windows系统下的TensorFlow平台对基于YOLO v4的目标检测网络进行训练，得到零件识别模型。通过训练好的模型对相机采集的图像进行零件类型和位置的预测。

最后通过机械臂对识别的零件进行逐一抓取分拣。

以上所述各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应该理解：其依然能对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于深度学习的小型零件分拣系统的分拣方法，其特征在于，其包括以下步骤：

S1、基于YOLO v4目标检测网络训练零件识别模型，通过训练好的零件识别模型检测图片中的零件，输出图中零件的类别名和坐标信息，具体步骤为：

S11、对样本数据进行采集和扩充；

S12、对样本图片进行标注：使用图像标注软件对样本数据进行标注，框选出各图中的零件并标记各零件的名称，保存并输出标注文件，之后划分数据集，训练集和测试集的比例为9:1；

S13、零件检测模型的训练：针对生产线上的零件分拣问题，搭建基于深度学习YOLO v4目标检测网络的零件识别网络，以CSPDarknet53网络框架作为骨干网络，空间金字塔池化SPP作为网络颈部的附加模块，路径聚合网络PAN作为网络颈部的特征融合模块，YOLOv3作为网络头部；将YOLO v3边界框回归损失中的均方误差MSE替换为考虑预测框与真实框中心点的标准化距离和长宽比信息的重叠度损失CIOU，CIOU损失定义如下：

L_CIOU＝1-IOU(A,B)+ρ²(A_ctr,B_ctr)/c²+α.v (1)

其中，IOU(A,B)为预测框A与真实框B的重叠度损失IOU，ρ²(A_ctr,B_ctr)/c²为对中心点距离的惩罚项，A_ctr、B_ctr分别为预测框、真实框的中心点坐标，ρ(.)计算两点间的欧式距离，c为A、B最小包围框的对角线长度，α.v为长宽比的惩罚项，α为正数，v衡量长宽比的一致性，具体如下：

其中，w^gt、h^gt分别为真实框的宽和高，w、h分别为预测框的宽和高；

最后通过训练得到效果好的零件识别模型；

S2、将零件图像的像素坐标转化为世界坐标，具体步骤为：

S21、将图像的像素坐标(u,v)转化为物理坐标系(x,y)，转化关系如下：

其中，(u₀,v₀)为图像平面的中心点坐标，dx、dy分别为x、y轴上一个像素点的大小；

S22、图像的物理坐标(x,y)转化为相机坐标(xc,yc,zc)，转化关系如下:

其中，f为相机的焦距，zc大小为相机到传送带的距离；

S23、将相机坐标系下的坐标(xc,yc,zc)转换为世界坐标系下的坐标(xw,yw,zw)，转化关系如下：

其中，R为旋转正交变换矩阵，T为平移变化矩阵；

结合表达式(5)-(9)表达式，可得

S3、将零件抓取至对应分拣箱内，具体步骤为：

S31、读取待分拣零件的个数、类别名及其对应的零件坐标和目标分拣箱的坐标；

S32、对识别的n个零件进行依次分拣，分拣完成后机械臂归位，传送带启动，进行下一组零件的识别。

2.根据权利要求1所述的基于深度学习的小型零件分拣系统的分拣方法，其特征在于，所述S11中，样本数据的采集为：使用工业相机采集1000张样本零件的图片；样本数据的扩充方式为：通过调整图像亮度、对比度、色度、饱和度、加入噪声，以及随机旋转、旋转、翻转和裁剪对样本进行扩充。

3.根据权利要求1所述的基于深度学习的小型零件分拣系统的分拣方法，其特征在于，所述S13中，通过训练的零件识别模型同时预测图中零件的类别和位置坐标。

4.一种根据权利要求1所述基于深度学习的小型零件分拣方法的小型零件分拣系统，其包括运动控制模块、图像采集处理模块和机械控制模块，其特征在于，所述运动控制模块包括传送带和光电开关，传送带负责运送零件，光电开关负责检测零件是否到达图像采集区域；所述图像采集处理模块包括工业相机和计算机，工业相机负责采集零件的图像，计算机对采集的图像进行处理，得到图中零件的类别和坐标位置；所述机械控制模块为机械臂，完成对确定类别和位置的零件的抓取分拣。

5.根据权利要求4所述的基于深度学习的小型零件分拣方法的小型零件分拣系统，其特征在于，所述对确定类别和位置的零件的抓取分拣为：

当系统启动时，传送带启动，开始运送零件，当零件运送到指定位置时，光电开关检测到零件，传送带停止；

然后，工业相机开始采集图像，计算机通过训练好的模型预测图片中零件的类别和位置；

最后，机械臂开始分拣识别的零件，分拣完成后机械臂归位，传送带启动，继续运送零件，直到下一组零件到达指定位置，开始下一次识别分拣。

Images