CN106934425B - 一种基于深度学习的工业产品清点方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的工业产品清点方法，属于机器视觉与视频图像处理技术领域。本发明为了能够检测被遮挡的产品，首先采用碎片化训练学习产品局部的特征，然后将图片放入网络中设定得分阈值，将得分大于得分阈值的子候选框保留，最后将所有子候选框的质心进行水平投影和垂直投影并进行聚类得到产品的大致质心，通过计算子候选框的质心和产品质心的欧氏距离将子候选框进行融合得到完整的产品的候选框。本发明不受环境变化的影响，不需要对图片进行预处理，具有非常高的检测精度。

Description

一种基于深度学习的工业产品清点方法

技术领域

本发明涉及机器视觉与视频图像处理技术领域，更具体地说，涉及一种基于深度学习的工业产品清点方法。

背景技术

工业产品在打包装箱的过程中有可能会出现油瓶漏装、产品缺失等缺陷，因此有必要对装箱的结果进行检测。人工检测需要每条生产线一个质检员，全天候地对流水线上经过的装箱进行检查，容易视觉疲劳，质量得不到有效的保证，而且需要投入巨大的人力物力。

传统的基于图像特征的机器视觉技术可以从流水线上方拍摄装箱内的图片，然后基于图像的轮廓特征进行判断是否有缺陷，这在一定程度上减轻了人的工作量。然而由于现场环境复杂多变，光照环境的变化、产品上的遮挡物、产品色彩的变化、产品拍摄不完整、产品相连等都会极大地影响这种方法的准确率，造成过多的漏判和误判，仍然需要人工进行二次检测。

随着深度学习理论的不断发展，其在实际工业生产中的应用也越来越可靠。从机器学习的角度考虑工业产品清点问题，可视为一个目标检测问题。在深度学习领域，RossGirshick等曾提出了基于Caffe框架的深度学习网络用于目标检测，该网络极大地提高了目标检测算法的鲁棒性，对光照和色彩变化都具有较强的适应能力，检测准确率得到很大的提高，该方法还具有参数少、更新方便的优点，遇到新的情况重新训练，替换训练模型即可。近来也有相关学者对其进一步改进以应用于不同的场景。但是对于存在遮挡的情况，由于目标不完整，相应的特征缺失，经过前向传输后得分偏低，该网络容易漏检，传统的方法也无法检测。

经检索，中国专利申请号201610024953.0，申请日为2016年1月13日，发明创造名称为：基于局部特征学习的目标跟踪方法；该申请案将目标物体和背景分解成大量的具有尺度和形状不变性的局部单元，将其作为目标和背景分类模型的训练样本，采用深度学习的方式，从训练样本中学习出目标物体以及背景的局部表达。再判断出图像中每个特定区域属于目标物体的置信度，实现目标物体的准确定位。因由大量样本学习得出的局部表达具有高度的目标识别能力，该方法对目标形变、目标遮挡等情况具有较高的适应能力。但该申请案算法较复杂，且普遍适用性不强，并不能很好的应用到流水线上产品装箱检测。

发明内容

1.发明要解决的技术问题

本发明要解决的问题是：现有通过机器视觉进行工业产品清点的方法易受现场环境变化的影响，容易造成过检和漏检，检测精度很低。而基于深度学习的目标检测网络不能检测被遮挡和拍摄不完整的产品，提供了一种基于深度学习的工业产品清点方法，本发明创新地提出采用碎片化训练的方法得到目标的局部特征，然后在检测阶段通过聚类得到目标的完整候选框，不受环境变化的影响，不需要对图片进行预处理，具有非常高的检测精度。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种基于深度学习的工业产品清点方法，包括碎片化训练、产品检测和子候选框融合三个步骤：碎片化训练阶段将标注的产品平均分成若干相同的子候选框；在产品检测阶段设定一个得分阈值，得分大于该阈值的候选框被认为是产品的一个子候选框；在子候选框融合阶段，通过对子候选框质心水平投影和垂直投影并聚类得到产品的质心，根据子候选框的质心和产品质心的欧氏距离来融合所有的子候选框，得到产品的个数。

更进一步地，本发明的一种基于深度学习的工业产品清点方法，其步骤为：

步骤一、碎片化训练：对训练集图片中的产品进行人工标注，图片上一个产品对应一个候选框，将一个候选框平均分成若干个相同的子候选框，每个子候选框都代表产品的一个部分的特征，将标注好的训练图片集送入网络进行训练；

步骤二、产品检测：将待清点的产品图片输入网络中进行前向传输，识别出当前图像中的所有子候选框，并获得每个候选框的得分，保留大于所设得分阈值的子候选框；

步骤三、子候选框融合：对所有步骤二保留的子候选框的质心进行水平投影和垂直投影，根据质心在x轴和y轴上的投影结果进行聚类，得到产品质心的大致坐标；再通过计算子候选框和产品质心的欧氏距离，确定子候选框属于的产品。

更进一步地，步骤一中碎片化训练获取子候选框的过程为：在准备训练集时，将原来人工标注的候选框平均分成4个子候选框，子候选框生成方法为：

上式中，矩阵的每个元素代表得到的新的候选框左上角和右下角的坐标，即(x₁,y₁)为原候选框左上角坐标，(x₂,y₂)为原候选框右下角坐标，矩阵中为从大候选框得到的四个子候选框的左上角和右下角坐标。

更进一步地，步骤二中根据softmax分类器的分类结果返回子候选框的得分。

更进一步地，步骤二中设定得分阈值为0.8。

更进一步地，步骤三中子候选框融合时将子候选框的质心进行水平投影和垂直投影，根据质心在x轴和y轴上的投影结果进行聚类，聚类后得到两个x轴坐标和两个y轴坐标，通过排列组合得到四个产品的质心坐标，通过计算子候选框质心和产品质心的欧氏距离，确定子候选框属于哪个产品。

更进一步地，步骤三中采用欧氏距离计算聚类中心时，算法终止条件的目标函数为最小化对象到其簇质心的距离的平方和：

式中，K为待聚类的点的个数，C_i为待聚类的点集；

通过计算子候选框质心和产品质心的欧氏距离，得到每个子候选框属于哪个产品；最小欧氏距离计算方法为：

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

本发明的一种基于深度学习的工业产品清点方法，在检测得到子候选框的基础上，针对属于同一产品的子候选框离产品的质心近的特点，采用水平投影和垂直投影并聚类的方法对子候选框进行融合，克服了网络不能检测被遮挡产品的缺陷，实现将网络应用到工业产品清点。得益于碎片化的训练方法，在检测时能够将产品以部分的形式检测出来，经过融合从而得到完整的产品，检测准确率高达100％。其创新主要在于：1)针对一般网络训练完整产品不能检测不完整产品的缺点，提出一种碎片化的训练方法，使得不完整的产品可以检测出来，不受环境变化的影响，不需要对图片进行预处理，具有非常高的检测精度。2)提出使子候选框融合的方法来清点装箱的产品数，使用聚类的方法确定产品的大致质心。

附图说明

图1为本发明基于深度学习进行工业产品清点的流程框图；

图2中的(a)～(d)为本发明实施例1中待清点产品图像；

图3中的(a)～(d)为本发明实施例1中子候选框检测结果图；

图4中的(a)和(b)为本发明实施例1子候选框质心聚类原理图；

图5中的(a)～(d)为本发明实施例1工业产品清点结果图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例1

结合图1，本实施例的一种基于深度学习的工业产品清点方法，采用碎片化训练的网络，包括碎片化训练、产品检测和子候选框融合三个步骤。碎片化训练阶段将标签的产品平均分成若干相同的子候选框；在产品检测阶段设定一个得分阈值，得分大于该得分阈值的候选框被认为是产品的一个子候选框；在子候选框融合阶段，通过对子候选框质心水平投影和垂直投影并聚类得到产品的质心，根据子候选框的质心和产品质心的欧氏距离来融合所有的子候选框，得到产品的个数。

本实施例的具体实施过程如下：

1、碎片化训练阶段

网络训练之前需要准备训练集，具体为待训练的图片和图片上产品的候选框。一般的训练集中包括的是目标的完整候选框。这样训练出来的网络不能检测不完整的产品。本实施例提出基于Faster-RCNN的碎片化的训练方法，参看图2，本实施例在准备训练集时，对训练集图片中的产品进行人工标注，图片上一个产品对应一个候选框。并将一个产品的候选框平均分成4个相同大小的子候选框，每个子候选框保留了产品的一部分特征。子候选框生成方法为：

上式中，矩阵的每个元素代表得到的新的候选框左上角和右下角的坐标，即(x₁,y₁)为原候选框左上角坐标，(x₂,y₂)为原候选框右下角坐标，矩阵中为从大候选框得到的四个子候选框。

本实施例一张图片中每个候选框可以生成4个子候选框，整张图片可以得到16个待训练的样本，使得训练集的样本数量是原来的4倍。通过这种方式不但能够检测不完整的产品，而且对于光线原因不容易区分出来的目标至少有一个子候选框能被检测出来，所以对于光线较弱的场景本算法也能检测，从而提高检测精度。

2、产品检测阶段

将标注好的训练图片集送入网络进行训练，再将拍到的待检测产品图片送入训练好的网络中进行前向传输，根据softmax分类器的分类结果返回子候选框的得分；根据具体的使用场景设定得分阈值(本实施例设定得分阈值为0.8)，将得分大于得分阈值的子候选框保留。得到初步的检测结果，每个产品由若干个子候选框组成，子候选框之间会有相互重叠。

3、子候选框融合阶段

检测得到的子候选框为产品各个部分的候选框，需要将子候选框进行融合得到完整的产品。本实施例通过将子候选框的质心进行水平投影和垂直投影(参看图4)。根据质心在x轴和y轴上的投影结果进行聚类，聚类后得到两个x轴坐标和两个y轴坐标，通过排列组合得到四个产品的质心坐标。通过计算子候选框和产品质心的欧氏距离，确定子候选框属于的产品。具体过程为：

采用欧氏距离计算聚类中心时，算法终止条件的目标函数为最小化对象到其簇质心的距离的平方和：

式中，K为待聚类的点的个数，Ci为待聚类的点集。

通过计算子候选框质心和产品质心的欧氏距离，可以得到每个子候选框属于哪个产品。最小欧氏距离计算方法为：

通过将子候选框融合可以得到待检测的产品数。

图2、3、4、5为本实施例实施效果图，其中得分阈值为0.8。图3中的(a)、(b)、(c)、(d)为检测出来的子候选框，图4中的(a)和(b)为子候选框质心投影和聚类的原理图，图5为子候选框融合后的检测结果图。从图中可以看出，本本实施例方法所采用的碎片化训练能够很好地检测出不完整的产品且不受环境干扰的影响。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的方式及实施例，均应属于本发明的保护范围。

Claims (5)

1.一种基于深度学习的工业产品清点方法，其特征在于，其步骤为：

步骤一、碎片化训练：对训练集图片中的产品进行人工标注，图片上一个产品对应一个候选框，将一个候选框平均分成若干个相同的子候选框，每个子候选框都代表产品的一个部分的特征，将标注好的训练图片集送入Faster-RCNN网络进行训练；其中碎片化训练获取子候选框的过程为：在准备训练集时，将原来人工标注的候选框平均分成4个子候选框，子候选框生成方法为：

上式中，矩阵的每个元素代表得到的新的候选框左上角和右下角的坐标，即(x₁,y₁)为原候选框左上角坐标，(x₂,y₂)为原候选框右下角坐标，矩阵中为从大候选框得到的四个子候选框的左上角和右下角坐标；

步骤二、产品检测：将待清点的产品图片输入Faster-RCNN网络中进行前向传输，识别出当前图像中的所有子候选框，并获得每个候选框的得分，保留大于所设得分阈值的子候选框；

步骤三、子候选框融合：对所有步骤二保留的子候选框的质心进行水平投影和垂直投影，根据质心在x轴和y轴上的投影结果进行聚类，得到产品质心的坐标；再通过计算子候选框和产品质心的欧氏距离，确定子候选框属于的产品。

2.根据权利要求1所述的一种基于深度学习的工业产品清点方法，其特征在于：步骤二中根据softmax分类器的分类结果返回子候选框的得分。

3.根据权利要求2所述的一种基于深度学习的工业产品清点方法，其特征在于：步骤二中设定得分阈值为0.8。

4.根据权利要求3所述的一种基于深度学习的工业产品清点方法，其特征在于：步骤三中子候选框融合时将子候选框的质心进行水平投影和垂直投影，根据质心在x轴和y轴上的投影结果进行聚类，聚类后得到两个x轴坐标和两个y轴坐标，通过排列组合得到四个产品的质心坐标，通过计算子候选框质心和产品质心的欧氏距离，确定子候选框属于哪个产品。

5.根据权利要求4所述的一种基于深度学习的工业产品清点方法，其特征在于：步骤三中采用欧氏距离计算聚类中心时，算法终止条件的目标函数为最小化对象到其簇质心的距离的平方和：

式中，K为待聚类的点的个数，C_i为待聚类的点集；

通过计算子候选框质心和产品质心的欧氏距离，得到每个子候选框属于哪个产品；最小欧氏距离计算方法为：