CN110047063B - 一种物料掉落的检测方法、装置、设备及存储介质 - Google Patents
一种物料掉落的检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110047063B CN110047063B CN201910218007.3A CN201910218007A CN110047063B CN 110047063 B CN110047063 B CN 110047063B CN 201910218007 A CN201910218007 A CN 201910218007A CN 110047063 B CN110047063 B CN 110047063B
- Authority
- CN
- China
- Prior art keywords
- image
- detection
- area
- detected
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 202
- 239000000463 material Substances 0.000 title claims abstract description 144
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003706 image smoothing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 235000006679 Mentha X verticillata Nutrition 0.000 description 2
- 235000002899 Mentha suaveolens Nutrition 0.000 description 2
- 235000001636 Mentha x rotundifolia Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009699 differential effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Sorting Of Articles (AREA)
Abstract
一种物料掉落的检测方法、装置、设备及存储介质，首先获取待检测工位的检测图像及所述检测图像的检测区域，然后计算所述检测图像与其对应的模板图像之间的差分，得到差分图像，对所述差分图像进行分割，获取物料掉落区域，在所述物料掉落区域与所述检测图像的检测区域重合面积高于预设阈值时，确定所述待检测工位掉落物料，准确性高，能避免误检，在工位上刚性部件多且背景复杂时，也能将物料与背景区域分开来。
Description
技术领域
本发明涉及检测领域，具体涉及一种物料掉落的检测方法、装置、设备及存储介质。
背景技术
随着电子行业的迅速发展，FPC(Flexible Printed Circuit，柔性电路板)的需求量越来越大，线路板厂在生产完FPC柔性线路板产品之后，往往都需要对FPC柔性线路板进行质量检测，从而确保线路板的品质，FPC柔性线路板的质量检测是电子行业中不可或缺的环节。在检测设备投入运行初期，由于电气模块不够稳定，时常会将FPC柔性线路板产品掉在载板上，此时需要操作人员打开柜门，取出载板上的产品，否则当检测下一片FPC柔性线路板产品，检测设备的天板下压时，会压坏物料掉落，造成FPC柔性线路板物料的浪费。
在进行物料掉落的检测时，通过将机器视觉技术应用到工业检测领域，为每一个工位配备一台相机，根据相机拍摄的图片判断是否有物料掉落，如果发现物料掉落机台自动停机并提示操作员取出产品，可以避免物料浪费，降低生产成本，提高生产效率。
发明人在研究物料掉落检测时，发现现有方法基于传统Blob分析进行物料掉落的检测，其通过对图片进行二值化、形态学运算和形状选择将掉落的物料从背景中分割出来，进而判断是否存在物料掉落，其依赖打光，易受灯光变化，人影窜动，机械手动作等造成的光照变化的影响，从而造成误检，依赖物料的形状，在工位上刚性部件多，背景复杂时，无法将物料与背景区域分开来，导致检测失败。
综上所述，现在亟需一种适用于工业生产的刚性背景物上的物料掉落的检测方法。
发明内容
本发明主要解决的技术问题是提供适用于工业生产的刚性背景物上的物料掉落的检测方案，以避免在工位上刚性部件多，背景复杂时，无法将物料与背景区域分开来，导致检测失败。
根据本申请的第一方面，一种物料掉落的检测方法，其特征在于，包括：
获取待检测工位的检测图像；
获取所述检测图像的检测区域；
计算所述检测图像与其对应的模板图像之间的差分，得到差分图像；
对所述差分图像进行分割，获取物料掉落区域；
在所述物料掉落区域与所述检测图像的检测区域重合面积高于预设阈值时，确定所述待检测工位掉落物料。
在一种实施方式中，所述获取所述检测图像的检测区域包括：
将所述检测图像输入预先建立的一形状匹配模型中，以定位所述检测图像的检测区域；
在定位失败时，确定所述待检测工位掉落物料；
在定位成功时，得到所述检测图像的检测区域。
在另一种实施方式中，所述形状匹配模型通过以下方式建立：
获取训练集，其中，所述训练集为所述待检测工位无物料遮挡的图像集合；
基于所述训练集，获取各个标识轮廓及各个标识轮廓之间的相对位置；
基于各个标识轮廓之间的相对位置，建立轮廓搜索树；
基于所述轮廓搜索树，定位出所述检测区域，完成所述形状匹配模型的训练。
在另一种实施方式中，所述基于所述训练集，获取各个标识轮廓及各个标识轮廓之间的相对位置包括：
使用模板匹配算法，逐个定位各个标识轮廓在其对应图像中的位置，以获取各个标识轮廓；
将其一标识轮廓确定为根节点，基于所述根节点，使用水平、垂直偏移及旋转角范围中的一种或多种来描述各个标识轮廓的相对位置。
在另一种实施方式中，所述计算所述检测图像与所述模板图像之间的差分，得到差分图像包括：
将所述检测图像的角点与所述模板图像的角点进行投影匹配，计算出单应性矩阵；
使用所述单应性矩阵将所述模板图像配准到所述检测图像，并计算所述检测图像和配准后的所述模板图像之间的差分，得到差分图像。
在另一种实施方式中，所述对所述差分图像进行分割，获取物料掉落区域，包括：
对差分结果取绝对值，并进行滤波去噪；
使用区域生长算法或基于固定阈值、均值、最大值乘以一比例作为阈值、最大类间方差法中的任一种方法的二值化算法对所述差分图像进行分割，获取二值图；
对所述二值图进行翻转获得前景区域，以得到所述物料掉落区域。
在另一种实施方式中，还包括：分别对所述检测图像和所述模板图像进行预处理，其中，所述预处理包括：图像降采样、颜色空间转换、直方图均衡化、图像平滑滤波中的任一种或多种。
根据本申请的第二方面，本申请提供一种物料掉落的检测装置，其特征在于,包括：
摄像单元，用于对待检测工位进行图像采集；
处理器，用于获取检测图像和模板图像，计算所述检测图像与所述模板图像之间的差分，得到差分图像，对所述差分图像进行分割，获取物料掉落区域，在所述物料掉落区域与所述检测图像的检测区域重合面积高于预设阈值时，确定所述待检测工位掉落物料。
根据本申请的第三方面，本申请提供一种物料掉落的检测设备，其特征在于,包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如上所述的物料掉落的检测方法。
根据本申请的第四方面，本申请提供一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如上所述的物料掉落的检测方法。
本申请的有益效果是：
本申请提供的一种物料掉落的检测方法、装置、设备及介质，首先获取待检测工位的检测图像及所述检测图像的检测区域，然后计算所述检测图像与其对应的模板图像之间的差分，得到差分图像，对所述差分图像进行分割，获取物料掉落区域，在所述物料掉落区域与所述检测图像的检测区域重合面积高于预设阈值时，确定所述待检测工位掉落物料，准确性高，能避免误检，在工位上刚性部件多，背景复杂时，也能将物料与背景区域分开来；且只针对检测区域进行检测，检测速度快。
附图说明
图1是本发明实施例一提供的一种物料掉落的检测方法流程示意图；
图2是本发明实施例一提供的一种物料掉落的检测方法示意图；
图3是本发明实施例一提供的另一种物料掉落的检测方法示意图；
图4是本发明实施例一提供的形状匹配模型建立方法流程示意图；
图5是各个轮廓相对位置描述示意图；
图6是轮廓搜索树建立的示意图；
图7是配准前的模板图像；
图8是配准后的模板图像；
图9是A点有四个邻域的示意图；
图10是A点有八个邻域的示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
在现有技术中，基于传统Blob分析进行物料掉落的检测中，其往往是依赖物料形状，发明人在研究传统基于Blob分析进行物料掉落检测时发现，形状选择是通过连通域的长、宽、面积、与外接矩形的重叠度、高阶矩等特征实现，不同形状的物料需要不同的筛选条件，检测某一种物料的筛选条件无法用于检测另一种形状不同的物料。如果背景复杂，单一阈值无法将物料和背景区分开来，检测算法将会失败。虽然可以将图片划分为多个区域，为每个区域设一个阈值，或者使用动态阈值算法，但是随着算法复杂度的增加，实时性将下降。二值化算法中阈值的选取与连通域分析时所得连通域的数目是密切相关的，如果工位上的刚性部件多且图像背景复杂，不改变二值化算法，那么连通域分析得到的连通区域就会多，很难通过形状选择准确高效地检测出掉落的物料。由此，在现有技术进行物料掉落检测中，存在工位上刚性部件多，背景复杂无法将物料与背景区域分开，容易误检的问题。
在现有技术中，还有一种基于深度学习中的卷积神经网络进行物料掉落检测的方法，通过收集有掉料和没有掉料的图片并进行标注，之后使用卷积神经网络进行训练和判断。但是该方法不仅需要收集大量图片，而且需要GPU来保证实时识别，造成硬件成本的增加。
在本发明实施例中，针对上述问题，提出来一种物料掉落的检测方法，在计算出检测图像与其对应的模板图像之间的差分后，对所得差分图像进行分割，以获取得到物料掉落区域，根据所述物料掉落区域与所述检测图像的检测区域确定待检测工位是否掉落物料。可以有效地在工位上刚性部件多，背景复杂时，将物料与背景区域分开来，且无须采集大量图片进行训练，开发周期短，通用性好。
实施例一
请参考图1，图1是本发明实施例一提供的一种物料掉落的检测方法流程示意图。
一种物料掉落的检测方法，包括步骤S11到步骤S15，下面具体说明。
步骤S11、获取待检测工位的检测图像。
在本发明实施例中，步骤S11获取待检测工位的检测图像，其可以是摄像单元实时地对待检测工位进行拍摄，由摄像单元获得的图像，也可以是在进行掉料检测前期，由摄像单元对待检测工位进行拍摄后存储到存储器中，从存储器中获取得到的所述待检测工位的检测图像，本发明对此不作具体限定。
步骤S12、获取所述检测图像的检测区域。
在本发明实施例中，获取的所述检测图像的检测区域指的是所述待检测工位上的载板区域，在对刚性背景载板区域进行掉料检测时，则将检测图像中的载板区域选取为检测区域。在定位出检测区域时，也可以定位出一些忽略区域。检测区域的定位是为了消除图片中干扰物的影响。由于检测图像中除了刚性背景物如载板之外，可能在图像边缘处会有一些刚性干扰物如随着机台的运动会发生振动的螺钉以及一些非刚性干扰物，如果不消除此类物品造成的干扰，将会极大地降低算法的准确性。除此之外，在某些情况下，刚性背景物的一些小部件会上下运动，因其位置相对背景物固定，面积相对物料较小，直接忽略这些小部件所在区域即可，不会影响是否掉料的判断，因此需要定位这些刚性小部件，将其所在位置列为忽略区域。请参照图2，无论小部件是平放在载板区域还是竖直放在载板区域，都将检测图像中的小部件干扰物所在区域确定为忽略区域。需要选择刚性背景物上稳定清晰的一个或多个轮廓作为标识，通过定位这些标识来确定刚性背景物和/或干扰物小部件在图中的位置，并由此限定检测区域和忽略区域。示例性的，小部件干扰物的轮廓相对较小，在确定出了忽略区域后，即可由检测图像的整体区域获得检测区域。
步骤S13、计算所述检测图像与其对应的模板图像之间的差分，得到差分图像。
在本发明实施例中，步骤S13计算所述检测图像与其对应的模板图像之间的差分得到差分图像，示例性的，获取得到了待检测工位A的检测图像B，则相应获取所述待检测工位A的模板图像C，也就是检测图像B对应的模板图像C，然后基于背景差分，计算出所述检测图像B与所述模板图像C之间的差分，得到差分图像D。
需要说明的是，计算所述检测图像与其对应的模板图像之间的差分得到差分图像的方法除了背景差分，还有帧差分法和光流场法等目标检测方法，本发明对此不作具体限定。
需要说明的是，为每一个待检测工位拍摄一张没有掉料的背景图作为模板图像。模板图像是整个算法稳定工作的关键，因此在实际工业应用中，模板图像的更换应当方便快捷，可在物料掉落检测装置的用户界面上设有一键更换按钮，这样随着时间的推移，如果出现了背景物磨损甚至更换的情况，检测图像和模板图像不再匹配，或检测图像的白平衡等光学参数和模板图像相差太远导致判断结果错误，通过按下所述更换按钮，即可重新拍摄一张没有掉料的图片替换旧模板图像，可使恢复设备正常运行。
进一步地，可选择性地分别对所述检测图像和所述模板图像进行预处理，其中，所述预处理包括：图像降采样、颜色空间转换、直方图均衡化、图像平滑滤波中的任一种或多种。示例性的，对获取到的检测图像和模板图像均进行预处理，如将RGB彩图转换成灰度图，为了保证算法的实时性，在不影响准确性的前提下使用了灰度图进行检测；或转换到其它颜色空间后选择物料和背景具有高对比度的颜色分量；或图片降采样，如长宽缩小4倍以加快检测速度；或直方图均衡化，以降低光照强度变化对差分结果的影响，本发明对此不作具体限定。
步骤S14、对所述差分图像进行分割，获取物料掉落区域。
在本发明实施例中，步骤S14对所述差分图像进行分割，获取物料掉落区域，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等，本发明对此不作具体限定。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像索赋予相同的编号。图像分割获取前景区域与背景区域，背景区域在差分图像中的灰度值为0，在进行图像分割后，所述背景区域不会出现在此时的前景区域中，得到的前景区域就是物料掉落的区域。
步骤S15、在所述物料掉落区域与所述检测图像的检测区域重合面积高于预设阈值时，确定所述待检测工位掉落物料。
在本发明实施例中，步骤S15在所述物料掉落区域与所述检测图像的检测区域重合面积高于预设阈值时，确定所述待检测工位掉落物料，请参照图3，统计检测区域内即为载板区域内除了忽略区域的异物面积，或在将整个检测图像的有效区域确定为检测区域时，统计所述检测图像的有效区域内的异物面积，所述异物面积即进行步骤S14后得到的前景区域的面积，如果超过某一阈值则判定掉料，就能保证当物料掉落在刚性背景物边缘时也能准确检测出。阈值的选取是根据物料在图片中所占面积和实验经验确定的，一般情况下无掉料图片和有掉料图片时的异物面积相差很远，所述阈值可在无掉料图像时的异物面积与物料整个都在图像中的面积的取值范围中选一个中间值或者更大一些的值以免漏检或漏检，本发明对此不作具体限定。
依上述实施例的一种物料掉落的检测方法，其主要特点在于：
本申请提供的一种物料掉落的检测方法，首先获取待检测工位的检测图像及所述检测图像的检测区域，然后计算所述检测图像与其对应的模板图像之间的差分，得到差分图像，对所述差分图像进行分割，获取物料掉落区域，在所述物料掉落区域与所述检测图像的检测区域重合面积高于预设阈值时，确定所述待检测工位掉落物料，准确性高，能避免误检，在工位上刚性部件多，背景复杂时，也能将物料与背景区域分开来。且只针对检测区域进行检测，检测速度快。
实施例二：
在实施例一的基础上，所述获取所述检测图像的检测区域包括：
将所述检测图像输入预先建立的一形状匹配模型中，以定位所述检测图像的检测区域；
在定位失败时，确定所述待检测工位掉落物料；
在定位成功时，获取所述检测图像的检测区域。
在本发明实施例中，将所述检测图像输入预先建立的一形状匹配模型中，以定位所述检测图像的检测区域，在定位失败时，很可能是由于检测区域被掉料遮挡，无法定位出检测区域，因为考虑到获取得到的检测图像和模板图像很少有拍摄模糊的情况发生，由此可以直接判定有掉料而返回即可。
进一步地，参照图4，一实施例中所述形状匹配模型可以通过以下步骤S21到步骤S24来建立。
S21、获取训练集，其中，所述训练集为所述待检测工位无物料遮挡的图像集合。
S22、基于所述训练集，获取各个标识轮廓及各个标识轮廓之间的相对位置。在一实施例中，步骤S22基于所述训练集，获取各个标识轮廓及各个标识轮廓之间的相对位置可以包括步骤S31和步骤S32。
S31、使用模板匹配算法，逐个定位各个标识轮廓在其对应图像中的位置，以获取各个标识轮廓；
S32、将其一标识轮廓确定为根节点，基于所述根节点，使用水平、垂直偏移及旋转角范围中的一种或多种来描述各个标识轮廓的相对位置。
需要说明的是，可以直接使用多通道图片进行彩色边缘检测，轮廓提取，模板匹配，从而定位检测区域或忽略区域，而不需进行图像预处理，本发明不作具体限定。
S23、基于各个标识轮廓之间的相对位置，建立轮廓搜索树。
S24、基于所述轮廓搜索树，定位出所述检测区域，完成所述形状匹配模型的训练。
在本发明实施例中，建立形状匹配模型时可以根据实际需要选择相应的算法，对此不作具体限定。下面将详述一形状匹配模型建立过程：
首先，获取训练集，获取无物料遮挡、图像细节显示清楚，可用于获取完整标识轮廓的图像作为训练集。示例性的，在所述待检测工位上有大于一个标识轮廓的情况下，由于拍摄角度的不同及刚性背景物的加工公差的存在，标识轮廓在不同图片上的相对位置也不同，需使用多张无掉料的图像作为训练集，以估计各标识轮廓的相对位置。然后进行轮廓提取，基于所述训练集，获取各个标识轮廓及各个标识轮廓之间的相对位置，具体的，使用模板匹配算法，逐个定位各个标识轮廓在其对应图像中的位置，以获取各个标识轮廓，将其一标识轮廓确定为根节点，基于所述根节点，使用水平、垂直偏移及旋转角范围中的一种或多种来描述各个标识轮廓的相对位置。然后基于各个标识轮廓之间的相对位置，建立轮廓搜索树，示例性的，将面积较大的轮廓作为树的根节点，在相对位置变化较小的标识轮廓之间建立层级关系，使用模板匹配定位待检测区域和忽略区域之前，需建立的轮廓搜索树，示例性的，参照图5和图6，x代表水平偏移，y代表垂直偏移，θ代表旋转角度，由于载板存在加工公差，相机拍摄有畸变，因此x、y和θ各有一个范围，使用水平、垂直偏移及旋转角范围中的一种或多种来描述各个标识轮廓的相对位置。在确定了所述面积较大的轮廓A为根节点，确定较小的轮廓B、C及D为叶子节点，由A为根节点，B、C及D为叶子节点，建立轮廓搜索树。然后使用图像金字塔加快搜索速度，可以根据标识轮廓大小为每一个标识轮廓设定合理的图像金字塔层数，其中，可以将相对位置的变化范围设得略大一些，提高形状匹配模型的适应能力，基于所述轮廓搜索树，由根节点到叶节点进行逐层查找，定位出所述检测区域，同时也可以定位出忽略区域，完成所述形状匹配模型的训练。
在本发明实施例中，由于可能存在标识轮廓被掉料遮挡，或者图片拍摄模糊等情况，部分标识轮廓可能定位失败，此时可根据实际需求选择停止搜索或根据父节点的位置继续查找，本发明对此不作具体限定。
在本发明实施例中，当检测图中某一轮廓的匹配得分大于某一阈值，遮挡程度小于某一阈值，即确定单个标识轮廓匹配成功。如果用于定位待检测区域的标识轮廓匹配成功了，就可以确定待检测区域；如果用于定位忽略区域的标识轮廓匹配成功了，就可以确定忽略区域；如果待检测区域的标识轮廓匹配失败，很可能是因为标识轮廓被掉料遮挡；如果是忽略区域的标识轮廓匹配失败，可能是非刚性小部件的运动导致的，根据具体情况确定是否有掉料，或者判定忽略区域为空，继续执行本申请方法流程，本发明对此不作具体限定。
依上述实施例的一种物料掉落的检测方法，其主要特点在于：
将所述检测图像输入预先建立的一形状匹配模型中，以定位所述检测图像的检测区域，在定位失败时，就可以根据轮廓定位的失败检测初步预测出载板上有掉落的物料，由此加快检测效率；使用模板匹配算法进行轮廓定位，可以快速定位出相应的轮廓，并定位出检测区域与忽略区域，将检测的范围缩小，在加快检测效率下，检测更精准；在建立完成所述形状匹配模型时，只需要采集适量的无物料遮挡的图像，相对于现有技术的基于深度学习中的卷积神经网络进行物料掉落检测，无须收集大量图片，相较下前期的工作量少；通过建立的形状匹配模型，其可以依据轮廓搜索树使用图像金字塔加快搜索速度，保证了检测的效率与实时性，且基于所述根节点，使用水平、垂直偏移及旋转角范围中的一种或多种来描述各个标识轮廓的相对位置，能保证轮廓检测的准确性。
实施例三
在实施例一的基础上，所述计算所述检测图像与所述模板图像之间的差分，得到差分图像包括：
将所述检测图像的角点与所述模板图像的角点进行投影匹配，计算出单应性矩阵；
使用所述单应性矩阵将所述模板图像配准到所述检测图像，并计算所述检测图像和配准后的所述模板图像之间的差分，得到差分图像。
需要说明的是，可以不使用实施例二所述的模板匹配法定位图中的检测区域或忽略区域，则默认所述模板图像通过透视变换配准后的有效区域为所述检测区域，而忽略区域为空，直接对检测区域进行检测，本发明对此不作具体限定。
示例性的，可以采用以下的实施方式获取所述差分图像：
首先检测角点，所述角点即图像中在两个正交方向上都有明显导数的点。角点检测算法可以为Harris角点检测算法、Shi-Tomasi角点检测算法、FAST角点检测算法、Foerstner角点检测算法等，本发明对此不作具体限定。以Harris角点为例，其基本思想是使用一个固定大小的窗口在图像上进行滑动，比较滑动前后窗口中所有像素的灰度变化，如果存在两个及以上方向上的滑动会导致较大灰度变化，那么认为该窗口的中心点是角点。以下简略描述其检测过程，基于使用高斯核平滑处理过的输入图像的导数图像：
其中x，y，c分别代表输入图像中一点的行、列、通道坐标，n是图像通道数，例如对于RGB彩色图像，n＝3。M代表输入图像中任意一点的角点判别矩阵。Ix,c和Iy,c分别代表该点在通道c中x和y方向上的一阶偏导数。G代表检测滑窗，一般选用高斯滤波器，“*”是卷积。这里高斯滤波器的卷积对象并不是2*2的角点判别矩阵，而是与原图等大的导数图像
和Dxy，其中
在算法实现时，需要先生成三种偏导数图，然后使用高斯滤波器进行卷积，最后在计算图像中任意一点的角点判别矩阵时，根据该点的行列索引获取对应位置的偏导数即可。值得一提的是，如果在预处理时使用了直方图均衡化，在检测角点时，需要选择较大的高斯平滑系数，以消除噪声点带来的影响。除此之外，在计算一阶偏导数图像时，以x方向偏导数为例，通常其计算可以通过Ix(x,y)＝f(x+1,y)-f(x,y)得到，其中f(x，y)是点(x，y)处灰度值，但是这种方法只使用了包含其自身在内的两个点的信息，容易受到图像中局部信号的干扰。根据线性尺度空间理论，对一个函数求导，等于函数与高斯函数导数的卷积，即
通过将高斯模板内所有的点的信息都包含进来，可以有效减小计算误差。
当检测滑窗在图像上发生[u，v]移动时，滑动前后窗口中的像素点灰度变化之和为
其中(u，v)是窗口的偏移量，(x，y)是窗口内的像素的坐标。w(x，y)是窗口函数，通常使用高斯窗。使用泰勒公式对函数进行一阶展开，则
因此可以通过计算Det(M)-Alpha*(Trace(M))2度量图中任意一点处的角点响应，选择其中的局部极大值点作为检测得到的角点。其中Det(M)代表矩阵M的行列式，Trace(M)代表矩阵M的迹，Alpha是人工设定的参数，一般取值为0.04～0.06。在必要情况下可以设定最小响应阈值，只取响应大于该阈值的点作为角点。然后将所述检测图像上的角点与所述模板图像上的角点使用RANSAC法进行投影匹配，计算从所述模板图像到所述检测图像的单应性矩阵。如果所述模板图像与所述检测图像的匹配点数目小于某一阈值，常见于更换刚性背景物如载板后未更新模板图，或掉料面积太大挡住了大多数角点等情况，则估计的单应性矩阵不可信，无法将模板图与检测图进行配准，此时需要抛出异常，提示更换模板或取出掉料。如果构成匹配的角点个数过少，可以直接判断掉料或模板不匹配，请更换模板图像；如果匹配点数目超过某一阈值，通过透视变换将所述模板图像和所述检测图像进行配准，匹配点阈值的选取随图片大小以及无掉料时检测到的角点多少而定，可适当选大一些，保证估计的单应性矩阵的可靠性。在所述模板图与检测图匹配成功，通过透视变换将所述模板图像配准到所述检测图像后，计算差分图片，并对差分结果取绝对值，得到所述差分图像。请参照图7和图8，需要注意的是将所述模板图像通过透视变换配准到所述检测图像得到的所述配准图像的有效区域不再是整张图片，而是配准后的模板图像的有效区域，而所述差分图像的有效区域与配准后的模板图像的有效区域一致，图7是配准前的模板图像，图8是配准后的模板图像。
进一步地，所述对所述差分图像进行分割，获取物料掉落区域，包括：
对差分结果取绝对值，并进行滤波去噪；
使用区域生长算法或基于固定阈值、均值、最大值乘以一比例作为阈值、最大类间方差法中的任一种方法的二值化算法对所述差分图像进行分割，获取二值图；
对所述二值图进行翻转获得前景区域，以得到所述物料掉落区域。
在本发明实施例中，从所述差分图像中分割掉料，可以使用但不限于区域生长算法，对于差分效果好的高质量图片，可使用固定阈值、均值、最大值乘以某一比例作为阈值，或使用最大类间方差法进行二值化。示例性的，使用区域生长算法时，其基本原理与现有技术相似，本发明对此进行简单介绍。区域生长首先从一组种子点开始，如果与种子点位置相邻的像素，也具有与种子点相似的性质，如灰度值相近，那么将该像素加入到种子点所在区域中。相似性准则，即区域生长条件，除了选择点积外，还可以选择简单差值，如：MinT≤|f(x,y)-f(p,q)|≤MaxT，其中MinT和MaxT是人工设定的阈值，f(x，y)代表差分图片中点(x，y)处的灰度值，(p,q)∈δ(x,y)，δ(x,y)代表(x，y)的4邻域或8邻域内像素点的集合，请参照图9和图10，图9是A点的4邻域示意图，图10是A点的8邻域示意图。对于n通道图片，也可以选择n范数作为生长条件，如：
其中c为通道索引；或选择相关性作为生长条件，如：
示例性的，可以采用以下的实施时方式进行图像分割：
差分图像中通常存在噪声，首先使用均值滤波去除噪声，然后使用区域生长算法对差分图像进行分割。对于n通道图片，选择区域生长条件：
种子点的选取从图片的左上角开始，如果邻域内的某一点不满足生长条件，自动将该点设为新区域的种子点。区域生长算法执行结束后，提取面积大于某一阈值的区域。这一过程分割的是图中的黑色区域，即背景区域，需要通过图片反转获取图中的前景区域，以得到物料掉落的位置区域。二值图片反转后，将忽略的区域置为背景灰度，并执行连通域分析，通过形状选择去除面积较小的噪声区域。
需要说明的是，可以直接使用多通道图片进行角点检测，根据模板图和检测图上的角点估计单应性矩阵；可以直接使用多通道图片进行配准，并计算多通道差分图片；可以在多通道差分图片上使用区域生长算法进行图像分割，获取掉料区域。在另一些实际应用场合，可能物料和背景在灰度图中对比度较低，可以先将彩色图片从RGB颜色空间转成YUV、HSV等颜色空间，然后选择颜色空间中物料和背景的对比度最高的某一分量或全部分量进行检测，本发明对此不作具体限定。
需要说明的是，在图片的预处理阶段使用了直方图均衡化，因此光照强度的变化对本方法的影响较小，至于外来无关事件，如人走过造成的阴影，由于使用了区域生长算法，当阴影覆盖区与非覆盖区无明显边界时，算法依旧能够准确识别，而现有技术基于传统Blob分析还做不到。
依上述实施例的一种物料掉落的检测方法，其主要特点在于：
在对差分结果取绝对值后，使用中值滤波降噪，再使用区域生长算法对差分图进行二值化分割背景，对二值图进行翻转获得前景，将图中忽略区域置为背景灰度值，然后使用连通域分析，去除面积较小的干扰区域，统计检测区域内的异物面积，如果超过某一阈值则判定掉料，并选择与检测区域重合度高于某一阈值的前景区域作为异常区域返回。
实施例四
本申请提供一种物料掉落的检测装置，包括：
摄像单元，用于对待检测工位进行图像采集；
处理器，用于获取检测图像和模板图像，计算所述检测图像与所述模板图像之间的差分，得到差分图像，对所述差分图像进行分割，获取物料掉落区域，在所述物料掉落区域与所述检测图像的检测区域重合面积高于预设阈值时，确定所述待检测工位掉落物料。
实施例五
本申请提供一种物料掉落的检测设备，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如上实施例所述的物料掉落的检测方法。
实施例六
本申请提供一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如上实施例所述的物料掉落的检测方法。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (8)
1.一种物料掉落的检测方法，其特征在于，包括：
获取待检测工位的检测图像；
获取所述检测图像的检测区域；
计算所述检测图像与其对应的模板图像之间的差分，得到差分图像；
对所述差分图像进行分割，获取物料掉落区域；
在所述物料掉落区域与所述检测图像的检测区域重合面积高于预设阈值时，确定所述待检测工位掉落物料；
所述获取所述检测图像的检测区域包括：
将所述检测图像输入预先建立的一形状匹配模型中，以定位所述检测图像的检测区域；
在定位失败时，确定所述待检测工位掉落物料；
在定位成功时，得到所述检测图像的检测区域；
所述形状匹配模型通过以下方式建立：
获取训练集，其中，所述训练集为所述待检测工位无物料遮挡的图像集合；
基于所述训练集，获取各个标识轮廓及各个标识轮廓之间的相对位置；
基于各个标识轮廓之间的相对位置，建立轮廓搜索树；
基于所述轮廓搜索树，定位出所述检测区域，完成所述形状匹配模型的训练。
2.如权利要求1所述的物料掉落的检测方法，其特征在于，所述基于所述训练集，获取各个标识轮廓及各个标识轮廓之间的相对位置包括：
使用模板匹配算法，逐个定位各个标识轮廓在其对应图像中的位置，以获取各个标识轮廓；
将其一标识轮廓确定为根节点，基于所述根节点，使用水平、垂直偏移及旋转角范围中的一种或多种来描述各个标识轮廓的相对位置。
3.如权利要求1所述的物料掉落的检测方法，其特征在于，所述计算所述检测图像与所述模板图像之间的差分，得到差分图像包括：
将所述检测图像的角点与所述模板图像的角点进行投影匹配，计算出单应性矩阵；
使用所述单应性矩阵将所述模板图像配准到所述检测图像，并计算所述检测图像和配准后的所述模板图像之间的差分，得到差分图像。
4.如权利要求1-3任一项所述的物料掉落的检测方法，其特征在于，所述对所述差分图像进行分割，获取物料掉落区域，包括：
对差分结果取绝对值，并进行滤波去噪；
使用区域生长算法或基于固定阈值、均值、最大值乘以一比例作为阈值、最大类间方差法中的任一种方法的二值化算法对所述差分图像进行分割，获取二值图；
对所述二值图进行翻转获得前景区域，以得到所述物料掉落区域。
5.如权利要求1-3任一项所述的物料掉落的检测方法，其特征在于，还包括：
分别对所述检测图像和所述模板图像进行预处理，其中，所述预处理包括：图像降采样、颜色空间转换、直方图均衡化、图像平滑滤波中的任一种或多种。
6.一种物料掉落的检测装置，其特征在于，包括：
摄像单元，用于对待检测工位进行图像采集；
处理器，用于获取检测图像和模板图像，计算所述检测图像与所述模板图像之间的差分，得到差分图像，对所述差分图像进行分割，获取物料掉落区域，在所述物料掉落区域与所述检测图像的检测区域重合面积高于预设阈值时，确定所述待检测工位掉落物料；
所述检测图像的检测区域通过以下方式获取：将所述检测图像输入预先建立的一形状匹配模型中，以定位所述检测图像的检测区域；在定位失败时，确定所述待检测工位掉落物料；在定位成功时，得到所述检测图像的检测区域；
所述形状匹配模型通过以下方式建立：获取训练集，其中，所述训练集为所述待检测工位无物料遮挡的图像集合；基于所述训练集，获取各个标识轮廓及各个标识轮廓之间的相对位置；基于各个标识轮廓之间的相对位置，建立轮廓搜索树；基于所述轮廓搜索树，定位出所述检测区域，完成所述形状匹配模型的训练。
7.一种物料掉落的检测设备，其特征在于,包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-5任一项所述的物料掉落的检测方法。
8.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-5任一项所述的物料掉落的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910218007.3A CN110047063B (zh) | 2019-03-21 | 2019-03-21 | 一种物料掉落的检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910218007.3A CN110047063B (zh) | 2019-03-21 | 2019-03-21 | 一种物料掉落的检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110047063A CN110047063A (zh) | 2019-07-23 |
| CN110047063B true CN110047063B (zh) | 2023-05-16 |
Family
ID=67274920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910218007.3A Active CN110047063B (zh) | 2019-03-21 | 2019-03-21 | 一种物料掉落的检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110047063B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686930B (zh) * | 2019-10-18 | 2024-07-30 | 顺丰科技有限公司 | 包裹分拣检测方法、装置、计算机设备和存储介质 |
| CN111242240B (zh) * | 2020-02-13 | 2023-04-07 | 深圳市联合视觉创新科技有限公司 | 物料检测方法、装置及终端设备 |
| CN111784718B (zh) * | 2020-07-11 | 2021-09-10 | 吉林大学 | 一种离散物料堆积状态智能在线预测装置及预测方法 |
| CN112150544B (zh) * | 2020-09-24 | 2024-03-19 | 西门子（中国）有限公司 | 吊钩到位检测方法、装置和计算机可读介质 |
| CN112446896B (zh) * | 2021-02-01 | 2021-05-11 | 苏州澳昆智能机器人技术有限公司 | 一种基于图像识别的输送物料掉落监控方法、装置及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102169540A (zh) * | 2011-03-28 | 2011-08-31 | 汉王科技股份有限公司 | 基于拍摄仪的点读定位方法和装置 |
| CN104134213A (zh) * | 2014-09-02 | 2014-11-05 | 武汉华目信息技术有限责任公司 | 一种数字图像中的目标定位方法以及装置 |
| CN107203990A (zh) * | 2017-04-02 | 2017-09-26 | 南京汇川图像视觉技术有限公司 | 一种基于模板匹配与图像质量评估的标贴破损检测方法 |
| CN108280846A (zh) * | 2018-01-16 | 2018-07-13 | 中国科学院福建物质结构研究所 | 基于几何图形匹配的目标跟踪修正方法及其装置 |
| CN109360195A (zh) * | 2018-09-28 | 2019-02-19 | 长沙湘计海盾科技有限公司 | 一种瓶装溶液中异物颗粒的视觉检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514435A (zh) * | 2012-06-29 | 2014-01-15 | 富士通株式会社 | 手检测方法和装置 |
-
2019
- 2019-03-21 CN CN201910218007.3A patent/CN110047063B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102169540A (zh) * | 2011-03-28 | 2011-08-31 | 汉王科技股份有限公司 | 基于拍摄仪的点读定位方法和装置 |
| CN104134213A (zh) * | 2014-09-02 | 2014-11-05 | 武汉华目信息技术有限责任公司 | 一种数字图像中的目标定位方法以及装置 |
| CN107203990A (zh) * | 2017-04-02 | 2017-09-26 | 南京汇川图像视觉技术有限公司 | 一种基于模板匹配与图像质量评估的标贴破损检测方法 |
| CN108280846A (zh) * | 2018-01-16 | 2018-07-13 | 中国科学院福建物质结构研究所 | 基于几何图形匹配的目标跟踪修正方法及其装置 |
| CN109360195A (zh) * | 2018-09-28 | 2019-02-19 | 长沙湘计海盾科技有限公司 | 一种瓶装溶液中异物颗粒的视觉检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于边缘盒与低秩背景的图像显著区域检测算法;申瑞杰;《计算机科学》;20171231;第298-303页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110047063A (zh) | 2019-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110047063B (zh) | 一种物料掉落的检测方法、装置、设备及存储介质 | |
| CN109785316B (zh) | 一种芯片表观缺陷检测方法 | |
| CN109636732B (zh) | 一种深度图像的空洞修复方法以及图像处理装置 | |
| CN109801267B (zh) | 基于特征点检测与svm分类器的巡检目标缺陷检测方法 | |
| CN109409355B (zh) | 一种新型变压器铭牌识别的方法及装置 | |
| CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
| JP2011238228A (ja) | スクリーン領域検知方法及びシステム | |
| CN113850749B (zh) | 训练缺陷侦测器的方法 | |
| CN115082466B (zh) | 一种pcb表面焊点缺陷检测方法及系统 | |
| CN106447701A (zh) | 用于图像相似性确定、对象检测和跟踪的方法和装置 | |
| CN112419260A (zh) | 一种pcb文字区域缺陷检测方法 | |
| CN111476804B (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
| CN116503388B (zh) | 缺陷检测方法、装置及存储介质 | |
| CN110648330B (zh) | 摄像头玻璃的缺陷检测方法 | |
| CN113283439B (zh) | 基于图像识别的智能计数方法、装置及系统 | |
| CN110390677A (zh) | 一种基于滑动自匹配的缺陷定位方法及系统 | |
| CN111340749A (zh) | 图像质量的检测方法、装置、设备及存储介质 | |
| CN111161295A (zh) | 一种菜品图像背景剥离方法 | |
| WO2024016632A1 (zh) | 亮点定位方法、亮点定位装置、电子设备及存储介质 | |
| CN110288040B (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
| CN113822836B (zh) | 标记图像的方法 | |
| CN113192061A (zh) | Led封装外观检测图像的提取方法、装置、电子设备和存储介质 | |
| CN111882575A (zh) | 一种视频图像去噪和前景分割方法和装置 | |
| CN108898584B (zh) | 一种基于图像分析的全自动贴面电容装焊极性判别方法 | |
| CN110276260B (zh) | 一种基于深度摄像头的商品检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |