CN117474902B - 一种桶面料包的缺包检测方法、系统、设备和存储介质 - Google Patents
一种桶面料包的缺包检测方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN117474902B CN117474902B CN202311785564.6A CN202311785564A CN117474902B CN 117474902 B CN117474902 B CN 117474902B CN 202311785564 A CN202311785564 A CN 202311785564A CN 117474902 B CN117474902 B CN 117474902B
- Authority
- CN
- China
- Prior art keywords
- image
- surface area
- pixel
- standard
- bucket
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000004744 fabric Substances 0.000 title claims abstract description 29
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 238000010586 diagram Methods 0.000 claims abstract description 164
- 238000001514 detection method Methods 0.000 claims abstract description 129
- 239000000463 material Substances 0.000 claims abstract description 89
- 230000011218 segmentation Effects 0.000 claims abstract description 46
- 238000009826 distribution Methods 0.000 claims abstract description 41
- 238000001914 filtration Methods 0.000 claims description 53
- 230000000877 morphologic effect Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002787 reinforcement Effects 0.000 claims description 6
- 239000010421 standard material Substances 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 9
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 abstract description 3
- 235000013312 flour Nutrition 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 235000008446 instant noodles Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明涉及图像数据处理技术领域，具体为一种桶面料包的缺包检测方法、系统、设备和存储介质，该检测方法通过获取生产线上桶面的图像，并基于检测点、标准检测基点、标准边缘点等定位确定感兴趣区域，缩小料包的检测范围，减小外部环境因素对检测结果的干扰；随后，根据感兴趣区域的像素分布情况，灵活选择适合的图像增强处理方式，并基于颜色通道的融合或关闭，获取料包纹理突出，特征显著的待检桶面区域图；最后，可选择基于二值化分割或像素梯度检测处理的方法，对待检桶面区域图进行分类，实现了自动化料包缺包检测，节省了人力成本，提高了检测效率，提升了料包缺包检测质量的稳定性。
Description
技术领域
本发明涉及图像数据处理技术领域，具体为一种桶面料包的缺包检测方法、系统、设备和存储介质。
背景技术
桶装方便面自动化生产线上，除面饼之外，还需要投放叉子，另外一般还有3到4种料包需要投放，酸菜包、油包、菜包、料包等。目前产线中基本都使用自动投包机，将料包卷进行准确切断为单包并按照产线布局工位进行理包，当面桶到达位置后进行对应料包的投放动作。
在实际生产过程中，投包机有可能会出现切刀坏等原因而造成卡包、连包、堵包等的故障，或者理料机构故障造成对应工位的桶面料包缺失的情况，这些故障致使面桶投包失败，从而造成桶面缺少料包的质量事故。
目前常使用肉眼进行方便面料包的缺包检测，劳动强度大，成本高，而且检测效率低，检测质量还容易不稳定。
发明内容
本发明的目的是提供一种桶面料包的缺包检测方法、系统、设备和存储介质。
本发明技术方案如下：
一种桶面料包的缺包检测方法，包括如下操作：
S1、获取桶面图像，所述桶面图像经定位处理，得到感兴趣区域；
具体为：将所述桶面图像中的检测点，与标准面桶图像的标准检测基点对齐，得到对齐桶面图像；将所述对齐桶面图像中，预设检测范围内的区域图像，作为第一区域图像；将所述第一区域图像内，以标准中心点在所述第一区域图像中的对应位置点为圆心，所述圆心与标准边缘点在第一区域图像中的对应位置点的距离为半径，得到的圆区域，作为所述感兴趣区域；
S2、所述感兴趣区域经图像增强处理，得到增强桶面区域图；
S3、所述增强桶面区域图经形态学滤波处理后，进行颜色通道增强处理，得到待检桶面区域图；
所述颜色通道增强处理的操作具体为：
将经所述形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道融合为一个颜色通道后，更新所述滤波桶面区域图，得到所述待检桶面区域图；
或将经所述形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道关闭后，更新所述滤波桶面区域图，得到所述待检桶面区域图；
S4、所述待检桶面区域图经分类处理，得到缺包检测结果。
所述S1中得到对齐桶面图像的操作之后还包括 ：判断所述检测点与标准中心点在第一区域图像中的对应位置点的连线，是否与标准检测基点和标准中心点的连线重合；若重合，执行将对齐桶面图像中，预设检测范围内的区域图像，作为第一区域图像的操作；若未重合，基于标准检测基点和标准中心点的连线，对所述对齐桶面图像进行角度校准处理，得到校准桶面图像；将所述校准桶面图像中，预设检测范围内的区域图像，作为所述第一区域图像。
所述S2中图像增强的操作具体为：获取所述感兴趣区域与标准感兴趣区域对应位置处的像素残差值，得到像素残差分布图；获取所述像素残差分布图中，邻域残差梯度超过标准邻域残差梯度阈值的像素点，作为欠增强像素点，所有的欠增强像素点形成了欠增强像素点集；判断所述欠增强像素点集中，欠增强像素点的数量是否超过第一数量阈值；若超过，所述感兴趣区域经直方图均衡化处理，得到所述增强桶面区域图；若未超过，将所述欠增强像素点集中，每个欠增强像素点的邻居像素点的像素值，更改为对应欠增强像素点的所有邻居像素点的像素均值，得到所述增强桶面区域图。
所述S4中分类的操作具体为：所述待检桶面区域图经图像二值化分割处理，得到分割桶面区域图；所述分割桶面区域图经连通域分析处理，得到连通桶面区域图；获取所述连通桶面区域图，与标准桶面区域图的特征相似度，判断所述特征相似度是否超过特征阈值；若超过，所述连通桶面区域图内存在料包，缺包检测结果为不缺料包；若未超过，所述连通桶面区域图内不存在料包，缺包检测结果为缺料包。
获取特征相似度的操作之前，还包括：删除所述连通桶面区域图内，区域面积小于标准分割面积的白色分割区域，得到优化连通桶面区域图，所述优化连通桶面区域图用于执行所述获取特征相似度的操作。
所述特征相似度为：所述连通桶面区域图中白色分割区域面积，占标准连通桶面区域图中白色分割区域面积的比值；或所述连通桶面区域图中白色分割区域的高度或宽度，分别占标准连通桶面区域图中白色分割区域的高度或宽度的比值。
所述S4中分类的操作具体为：所述待检桶面区域图经像素梯度扫描处理，得到料包潜在区域；获取所述料包潜在区域的像素分布，与标准料包区域像素分布的相似度，得到像素分布相似度；判断所述像素分布相似度是否超过分布相似度阈值；若超过，所述待检桶面区域图内存在料包，缺包检测结果为不缺料包；若未超过，所述待检桶面区域图内不存在料包，缺包检测结果为缺料包。
一种桶面料包的缺包检测系统，包括 ：
感兴趣区域生成模块，用于获取桶面图像，所述桶面图像经定位处理，得到感兴趣区域；具体为：将所述桶面图像中的检测点，与标准面桶图像的标准检测基点对齐，得到对齐桶面图像；将所述对齐桶面图像中，预设检测范围内的区域图像，作为第一区域图像；将所述第一区域图像内，以标准中心点在所述第一区域图像中的对应位置点为圆心，所述圆心与标准边缘点在第一区域图像中的对应位置点的距离为半径，得到的圆区域，作为所述感兴趣区域；
增强桶面区域图生成模块，用于所述感兴趣区域经图像增强处理，得到增强桶面区域图；
待检桶面区域图生成模块，用于所述增强桶面区域图经形态学滤波处理后，进行颜色通道增强处理，得到待检桶面区域图；所述颜色通道增强处理的操作具体为：将经所述形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道融合为一个颜色通道后，更新所述滤波桶面区域图，得到所述待检桶面区域图；或将经所述形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道关闭后，更新所述滤波桶面区域图，得到所述待检桶面区域图；
缺包检测结果生成模块，用于所述待检桶面区域图经分类处理，得到缺包检测结果。
一种桶面料包的缺包检测设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的桶面料包的缺包检测方法。
一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的桶面料包的缺包检测方法。
本发明的有益效果在于：
本发明提供的一种桶面料包的缺包检测方法，通过获取生产线上桶面的图像，并基于检测点、标准检测基点、标准边缘点等定位确定感兴趣区域，缩小料包的检测范围，减小外部环境因素对检测结果的干扰；随后，根据感兴趣区域的像素分布情况，灵活选择适合的图像增强处理方式，并基于颜色通道的融合或关闭，获取料包纹理突出，特征显著的待检桶面区域图；最后，可选择基于二值化分割或像素梯度检测处理的方法，对待检桶面区域图进行分类，实现了自动化料包缺包检测，节省了人力成本，提高了检测效率，提升了料包缺包检测质量的稳定性。
附图说明
通过阅读下文优选实施方式的详细描述，本申请的方案和优点对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
在附图中：
图1为实施例中，缺包检测方法的流程示意图；
图2为实施例中，连通桶面区域图的示意图。
具体实施方式
下面将结合附图更详细地描述本公开的示例性实施方式。
本实施例提供了一种桶面料包的缺包检测方法，参见图1，包括如下操作：
S1、获取桶面图像，所述桶面图像经定位处理，得到感兴趣区域；
具体为：将所述桶面图像中的检测点，与标准面桶图像的标准检测基点对齐，得到对齐桶面图像；将所述对齐桶面图像中，预设检测范围内的区域图像，作为第一区域图像；将所述第一区域图像内，以标准中心点在所述第一区域图像中的对应位置点为圆心，所述圆心与标准边缘点在第一区域图像中的对应位置点的距离为半径，得到的圆区域，作为所述感兴趣区域；
S2、所述感兴趣区域经图像增强处理，得到增强桶面区域图；
S3、所述增强桶面区域图经形态学滤波处理后，进行颜色通道增强处理，得到待检桶面区域图；
所述颜色通道增强处理的操作具体为：
将经所述形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道融合为一个颜色通道后，更新所述滤波桶面区域图，得到所述待检桶面区域图；
或将经所述形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道关闭后，更新所述滤波桶面区域图，得到所述待检桶面区域图；
S4、所述待检桶面区域图经分类处理，得到缺包检测结果。
S1、获取桶面图像，桶面图像经定位处理，得到感兴趣区域；具体为：将桶面图像中的检测点，与标准面桶图像的标准检测基点对齐，得到对齐桶面图像；将对齐桶面图像中，预设检测范围内的区域图像，作为第一区域图像；将第一区域图像内，以标准中心点在第一区域图像中的对应位置点为圆心，圆心与标准边缘点在第一区域图像中的对应位置点的距离为半径，得到的圆区域，作为感兴趣区域。
获取桶面图像。将面桶放置在输送线上，按正常生产输送方式，面桶到达对应相机的拍照位置时，输送线停止，面桶正上方的相机开始静态采集图片，得到面桶图像。具体为，以2排5列平均排列的10个面桶为例，两个相机并排均布于面桶的正上方，每次各采图1张，每张图片分别包含10个面桶的图像，得到面桶图像。
相机采集各种可能姿态的面桶图像后，需要对面桶图像进行定位处理，便于后续根据标准图像（模板图像）进行缺包检测。定位处理的操作为：将桶面图像中的检测点，与标准面桶图像的标准检测基点对齐后，得到对齐桶面图像；将对齐桶面图像中，预设检测范围内的区域图像，作为第一区域图像；将第一区域图像内，以标准中心点在第一区域图像中的对应位置点为圆心，圆心与标准边缘点在第一区域图像的对应位置点的距离为半径，得到的圆区域，作为感兴趣区域。
具体为，将面桶图像中，右上方输送线机器的右上角顶点，作为桶面图像中的检测点，将检测点与标准面桶图像的标准检测基点（标准面桶图像中右上方输送线机器的右上角顶点）进行对齐重合，得到对齐桶面图像。
接着，将对齐桶面图像中，检测点与备选检测点（对齐桶面图像中左下方输送线机器的左下角顶点）组成的矩形框，作为预设检测范围，因此将对齐桶面图像中，以检测点为顶点的矩形框（预设检测范围）内的区域图像，作为第一区域图像。
然后，标注出标准面桶图像中面桶的中心，以及面桶边缘上的任意一点，分别作为标准中心点与标准边缘点，随后将第一区域图像内，标准中心点在第一区域图像中对应位置点为圆心，圆心至标准边缘点在第一区域图像中对应位置点的距离为半径，得到的圆区域，即为感兴趣区域，由此可以确定出面桶图像中，面桶的具体位置，进一步缩小料包的检测范围，有利于提升后续检测的效率和准确度。
上述检测点包括但不仅限于为面桶图像中右上方输送线机器的右上角顶点；同样地，上述备选检测点包括但不仅限于为对齐桶面图像中左下方输送线机器的左下角顶点，可根据实际生产情况，进行灵活选择。
为使桶面图像的尺寸格式更接近标准面桶图像，便于计算检测，得到对齐桶面图像的操作之后还包括：判断检测点与标准中心点在第一区域图像中的对应位置点的连线，是否与标准检测基点和标准中心点的连线重合；若重合，执行将对齐桶面图像中，预设标准检测范围内的区域图像，作为第一区域图像的操作；若未重合，基于标准检测基点和标准中心点的连线，对对齐桶面图像进行角度校准处理，使检测点与标准中心点在第一区域图像中的对应位置点的连线，与标准检测基点和标准中心点的连线重合，得到校准桶面图像；将校准桶面图像中，预设检测范围内的区域图像，作为第一区域图像。
S2、感兴趣区域经图像增强处理，得到增强桶面区域图。
将感兴趣区域进行图像增强处理，可以使感兴趣区域中料包特征更加明显，有利于提高检测结果的准确度。
图像增强处理的操作可以为：将感兴趣区域进行直方图均衡化处理，得到增强桶面区域图。直方图均衡化为现有技术，为节省篇幅，因此不在此多叙述。
图像增强处理的操作还可以为：将感兴趣区域进行伽马变换处理，得到增强桶面区域图。伽马变换为现有技术，为节省篇幅，因此不在此多叙述。
图像增强处理的操作还可以为：获取感兴趣区域与标准感兴趣区域对应位置处的像素残差值，得到像素残差分布图；获取像素残差分布图中，邻域残差梯度超过标准邻域残差梯度阈值的像素点，作为欠增强像素点，所有的欠增强像素点形成了欠增强像素点集；判断所述欠增强像素点集中，欠增强像素点的数量是否超过第一数量阈值；若超过，感兴趣区域经直方图均衡化处理，得到增强桶面区域图；若未超过，将欠增强像素点集中，每个欠增强像素点的邻居像素点的像素值，更改为对应欠增强像素点的所有邻居像素点的像素均值，得到增强桶面区域图。
具体为，首先，分别获取感兴趣区域和标准感兴趣区域中每个位置点的像素值，得到感兴趣区域像素分布图和标准感兴趣区域像素分布图；将感兴趣区域像素分布图和标准感兴趣区域像素分布图，进行对应位置处理的像素作差处理，得到感兴趣区域与标准感兴趣区域每个对应位置处的像素残差值，形成了像素残差分布图。
接着，获取像素残差分布图中，每个位置点邻域范围内的所有残差值的均值，与对应位置点的残差值的差值，作为邻域残差梯度，或将每个位置点邻域范围内的残差值最大值与残差值最小值的差值，作为邻域残差梯度，用以判断感兴趣区域是否因光线等其他原因造成过亮或过暗。
然后，获取像素残差分布图中，邻域邻域残差梯度超过了标准邻域残差梯度阈值的像素点，作为欠增强像素点，这些欠增强像素点可能会影响料包的特征表达，从而影响缺包检测结果的准确度，因此将这些像素点记录起来形成欠增强像素点集。
最后，判断欠增强像素点集，欠增强像素点的总数量是否超过第一数量阈值。若超过，说明感兴趣区域欠增强像素点较多，需要统一进行图像增强处理，此时，选用直方图均衡化方法将感兴趣区域进行全局增强处理，得到增强桶面区域图。
若未超过，说明感兴趣区域内欠增强像素点较少，局部区域需要进行图像增强处理，因此，获取每个欠增强像素点邻域范围内所有邻居像素点的像素均值，并将像素均值替换掉，对应欠增强像素点的每个邻居像素点的像素值，更新感兴趣区域，得到增强桶面区域图。
图像增强处理的操作之前还包括对感兴趣区域进行降噪处理，降噪处理的操作可通过形态学去噪方法实现。
S3、增强桶面区域图经形态学滤波处理后，进行颜色通道增强处理，得到待检桶面区域图；颜色通道增强处理的操作具体为：将经形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道融合为一个颜色通道后，更新滤波桶面区域图，得到待检桶面区域图；或将经形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道关闭后，更新滤波桶面区域图，得到待检桶面区域图。
为使料包特征更明显，将增强桶面区域图进行形态学滤波处理，形态学滤波处理的操作为：将增强桶面区域图进行开运算（先腐蚀后膨胀）处理，得到滤波桶面区域图。
形态学滤波处理后的操作之前，还包括，对增强桶面区域图进行面域旋转处理，得到面域旋转桶面区域图。具体为，将增强桶面区域图进行旋转，旋转至增强桶面区域图中，像素值处于标准料包像素值范围内的所有像素点，形成的封闭区域的一条边，是水平的，得到面域旋转桶面区域图，这样方便后续与标准料包图像进行对比，提高检测效率和检测结果的准确度。
为进一步使得滤波桶面区域图中料包特征更加明显，将滤波桶面区域图中，任意两个颜色通道融合为一个颜色通道后，更新滤波桶面区域图，得到的双通道灰色图像，作为待检桶面区域图；或是将滤波桶面区域图中，任意两个颜色通道关闭后，更新滤波桶面区域图，得到的单通道灰度图，作为待检桶面区域图。
S4、待检桶面区域图经分类处理，得到缺包检测结果。
分类的操作可以为：待检桶面区域图经图像二值化分割处理，得到分割桶面区域图；分割桶面区域图经连通域分析处理，得到连通桶面区域图；获取连通桶面区域图，与标准桶面区域图的特征相似度，判断特征相似度是否超过特征阈值；若超过，连通桶面区域图内存在料包，缺包检测结果为不缺料包；若未超过，连通桶面区域图内不存在料包，缺包检测结果为缺料包。
特征相似度为：连通桶面区域图中白色分割区域面积，占标准桶面区域图中白色分割区域面积的比值；或连通桶面区域图中白色分割区域的高度或宽度，分别占标准桶面区域图中白色分割区域高度或宽度的比值。
具体为，首先，对待检桶面区域图进行图像二值化分割处理，二值化分割处理的操作为：根据预设二值化像素值划分范围，将待检桶面区域图中，处于预设二值化像素值划分范围中第一像素值划分范围的像素点标记为白色，将处于预设二值化像素值划分范围中第二像素值划分范围的像素点标记为黑色，得到仅含有白色像素点和黑色像素点的分割桶面区域图。
接着，对分割桶面区域图进行连通域分析处理，连通域分析处理的操作为：统计分割桶面区域图中，所有标记为白色的像素点以及标记为黑色的像素点，分别得到白色分割像素点集和黑色分割像素点集；分别对白色分割像素点集和黑色分割像素点集进行基于mask区域的开闭运算处理，实现白色分割像素点集中所有白色分割像素点的连通闭合，以及黑色分割像素点集中所有黑色分割像素点的连通闭合，得到含有白色分割区域和黑色分割区域的连通桶面区域图，参见图2中2排5列的白色分割区域（料包区域）。
然后，获取连通桶面区域图中白色分割区域面积，占标准桶面区域图中白色分割区域面积（料包区域面积）的比值，得到特征相似度；或是获取连通桶面区域图中白色分割区域的宽度，占标准桶面区域图中白色分割区域宽度（料包区域宽度）的比值，得到特征相似度；或是获取连通桶面区域图中白色分割区域的高度，占标准桶面区域图中白色分割区域高度（料包区域高度）的比值，得到特征相似度。
最后，将特征相似度与预设的特征阈值进行对比；若特征相似度超过特征阈值，则连通桶面区域图内存在料包，缺包检测结果为不缺料包；若特征相似度未超过特征阈值，连通桶面区域图内不存在料包，缺包检测结果为缺料包。
另外，由于受外部环境（机器或其他反光）影响，待检桶面区域图中可能会出现一些像素值与料包像素相似的亮斑区域（参见图2中，从左到右第二列上部感兴趣区域内中的亮斑），导致二值化分割处理的过程中，这些亮斑区域被分类为与料包一样的白色分割区域，这些亮斑会影响特征相似度的精确度，从而影响分类检测结果的准确度。
因此，为解决该技术问题，获取特征相似度的操作之前，还包括：删除连通桶面区域图内，区域面积小于标准分割面积的白色分割区域，得到优化连通桶面区域图，优化连通桶面区域图用于执行获取特征相似度的操作。
分类的操作还可以为：待检桶面区域图经像素梯度检测处理，得到料包潜在区域；获取料包潜在区域的像素分布，与标准桶面区域图中料包区域像素分布的相似度，得到像素分布相似度；判断像素分布相似度是否超过分布相似度阈值，若超过，所述待检桶面区域图内存在料包，缺包检测结果为不缺料包；若未超过，所述待检桶面区域图内不存在料包，缺包检测结果为缺料包。
具体为，将待检桶面区域图进行像素梯度检测处理，像素梯度检测处理的操作为：以待检桶面区域图的标准中心点，至待检桶面区域图的四周边缘为像素扫描方向；在像素扫描方向上，获取前一位置点与后一位置点的像素差，得到待检桶面区域像素差分布图；获取待检桶面区域像素差分布图中，像素差大于标准像素差的位置点，经曲线拟合后，进行曲线封闭处理，得到料包潜在区域。
接着，获取料包潜在区域内每个位置点的像素值，得到料包潜在区域像素分布图；获取料包潜在区域像素分布图，与标准料包区域像素分布图的像素分布相似度；判断所述像素分布相似度是否超过分布相似度阈值，若超过，则待检桶面区域图内存在料包，缺包检测结果为不缺料包；若未超过，则待检桶面区域图内不存在料包，缺包检测结果为缺料包。
标准料包区域可通过将获取的桶面图像进行标注，圈出料包区域得到。
分类的操作还可以为：将待检桶面区域图进行边缘梯度尺寸处理，得到缺包检测结果。边缘梯度尺寸处理为现有技术，为节省篇幅，因此不在此过多叙述。
最后，将缺包检测结果为不存在料包的对应桶面，进行料包补包处理。
本实施例还提供了一种桶面料包的缺包检测系统，包括 ：
感兴趣区域生成模块，用于获取桶面图像，桶面图像经定位处理，得到感兴趣区域；具体为：将桶面图像中的检测点，与标准面桶图像的标准检测基点对齐，得到对齐桶面图像；将对齐桶面图像中，预设检测范围内的区域图像，作为第一区域图像；将第一区域图像内，以标准中心点在第一区域图像中的对应位置点为圆心，圆心与标准边缘点在第一区域图像中的对应位置点的距离为半径，得到的圆区域，作为感兴趣区域；
增强桶面区域图生成模块，用于感兴趣区域经图像增强处理，得到增强桶面区域图；
待检桶面区域图生成模块，用于增强桶面区域图经形态学滤波处理后，进行颜色通道增强处理，得到待检桶面区域图；颜色通道增强处理的操作具体为：将经形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道融合为一个颜色通道后，更新滤波桶面区域图，得到待检桶面区域图；或将经形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道关闭后，更新滤波桶面区域图，得到待检桶面区域图；
缺包检测结果生成模块，用于待检桶面区域图经分类处理，得到缺包检测结果。
本实施例还提供了一种桶面料包的缺包检测设备，包括处理器和存储器，其中，处理器执行存储器中保存的计算机程序时实现上述的桶面料包的缺包检测方法。
本实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时实现上述的桶面料包的缺包检测方法。
本实施例提供的一种桶面料包的缺包检测方法，通过获取生产线上桶面的图像，并基于检测点、标准检测基点、标准边缘点等定位确定感兴趣区域，缩小料包的检测范围，减小外部环境因素对检测结果的干扰；随后，根据感兴趣区域的像素分布情况，灵活选择适合的图像增强处理方式，并基于颜色通道的融合或关闭，获取料包纹理突出，特征显著的待检桶面区域图；最后，可选择基于二值化分割或像素梯度检测处理的方法，对待检桶面区域图进行分类，实现了自动化料包缺包检测，节省了人力成本，提高了检测效率，提升了料包缺包检测质量的稳定性。
Claims (9)
1.一种桶面料包的缺包检测方法，其特征在于，包括如下操作：
S1、获取桶面图像，所述桶面图像经定位处理，得到感兴趣区域；
具体为：将所述桶面图像中的检测点，与标准面桶图像的标准检测基点对齐，得到对齐桶面图像；将所述对齐桶面图像中，预设检测范围内的区域图像，作为第一区域图像；将所述第一区域图像内，以标准中心点在所述第一区域图像中的对应位置点为圆心，所述圆心与标准边缘点在第一区域图像中的对应位置点的距离为半径，得到的圆区域，作为所述感兴趣区域；
所述得到对齐桶面图像的操作具体为：将所述面桶图像中，右上方输送线机器的右上角顶点，作为桶面图像中的检测点，将检测点与标准面桶图像的标准检测基点进行对齐重合，得到所述对齐桶面图像；所述标准检测基点为标准面桶图像中右上方输送线机器的右上角顶点；
S2、所述感兴趣区域经图像增强处理，得到增强桶面区域图；
所述图像增强的操作具体为：获取所述感兴趣区域与标准感兴趣区域对应位置处的像素残差值，得到像素残差分布图；获取所述像素残差分布图中，邻域残差梯度超过标准邻域残差梯度阈值的像素点，作为欠增强像素点，所有的欠增强像素点形成了欠增强像素点集；判断所述欠增强像素点集中，欠增强像素点的数量是否超过第一数量阈值；若超过，所述感兴趣区域经直方图均衡化处理，得到所述增强桶面区域图；若未超过，将所述欠增强像素点集中，每个欠增强像素点的邻居像素点的像素值，更改为对应欠增强像素点的所有邻居像素点的像素均值，得到所述增强桶面区域图；
S3、所述增强桶面区域图经形态学滤波处理后，进行颜色通道增强处理，得到待检桶面区域图；
所述颜色通道增强处理的操作具体为：
将经所述形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道融合为一个颜色通道后，更新所述滤波桶面区域图，得到所述待检桶面区域图；
或将经所述形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道关闭后，更新所述滤波桶面区域图，得到所述待检桶面区域图；
S4、所述待检桶面区域图经分类处理，得到缺包检测结果。
2.根据权利要求1所述的桶面料包的缺包检测方法，其特征在于，所述S1中得到对齐桶面图像的操作之后还包括：
判断所述检测点与标准中心点在第一区域图像中的对应位置点的连线，是否与标准检测基点和标准中心点的连线重合；
若重合，执行将对齐桶面图像中，预设检测范围内的区域图像，作为第一区域图像的操作；
若未重合，基于标准检测基点和标准中心点的连线，对所述对齐桶面图像进行角度校准处理，得到校准桶面图像；将所述校准桶面图像中，预设检测范围内的区域图像，作为所述第一区域图像。
3.根据权利要求1所述的桶面料包的缺包检测方法，其特征在于，所述S4中分类的操作具体为：
所述待检桶面区域图经图像二值化分割处理，得到分割桶面区域图；
所述分割桶面区域图经连通域分析处理，得到连通桶面区域图；
获取所述连通桶面区域图，与标准桶面区域图的特征相似度，判断所述特征相似度是否超过特征阈值；
若超过，所述连通桶面区域图内存在料包，缺包检测结果为不缺料包；
若未超过，所述连通桶面区域图内不存在料包，缺包检测结果为缺料包。
4.根据权利要求3所述的桶面料包的缺包检测方法，其特征在于，获取特征相似度的操作之前，还包括：
删除所述连通桶面区域图内，区域面积小于标准分割面积的白色分割区域，得到优化连通桶面区域图，所述优化连通桶面区域图用于执行所述获取特征相似度的操作。
5.根据权利要求3所述的桶面料包的缺包检测方法，其特征在于，所述特征相似度为：
所述连通桶面区域图中白色分割区域面积，占标准连通桶面区域图中白色分割区域面积的比值；
或所述连通桶面区域图中白色分割区域的高度或宽度，分别占标准连通桶面区域图中白色分割区域的高度或宽度的比值。
6.根据权利要求1所述的桶面料包的缺包检测方法，其特征在于，所述S4中分类的操作具体为：
所述待检桶面区域图经像素梯度扫描处理，得到料包潜在区域；
获取所述料包潜在区域的像素分布，与标准料包区域像素分布的相似度，得到像素分布相似度；判断所述像素分布相似度是否超过分布相似度阈值；
若超过，所述待检桶面区域图内存在料包，缺包检测结果为不缺料包；
若未超过，所述待检桶面区域图内不存在料包，缺包检测结果为缺料包。
7.一种桶面料包的缺包检测系统，其特征在于，包括：
感兴趣区域生成模块，用于获取桶面图像，所述桶面图像经定位处理，得到感兴趣区域；具体为：将所述桶面图像中的检测点，与标准面桶图像的标准检测基点对齐，得到对齐桶面图像；将所述对齐桶面图像中，预设检测范围内的区域图像，作为第一区域图像；将所述第一区域图像内，以标准中心点在所述第一区域图像中的对应位置点为圆心，所述圆心与标准边缘点在第一区域图像中的对应位置点的距离为半径，得到的圆区域，作为所述感兴趣区域；所述得到对齐桶面图像的操作具体为：将所述面桶图像中，右上方输送线机器的右上角顶点，作为桶面图像中的检测点，将检测点与标准面桶图像的标准检测基点进行对齐重合，得到对齐桶面图像；所述标准检测基点为标准面桶图像中右上方输送线机器的右上角顶点；
增强桶面区域图生成模块，用于所述感兴趣区域经图像增强处理，得到增强桶面区域图；所述图像增强的操作具体为：获取所述感兴趣区域与标准感兴趣区域对应位置处的像素残差值，得到像素残差分布图；获取所述像素残差分布图中，邻域残差梯度超过标准邻域残差梯度阈值的像素点，作为欠增强像素点，所有的欠增强像素点形成了欠增强像素点集；判断所述欠增强像素点集中，欠增强像素点的数量是否超过第一数量阈值；若超过，所述感兴趣区域经直方图均衡化处理，得到所述增强桶面区域图；若未超过，将所述欠增强像素点集中，每个欠增强像素点的邻居像素点的像素值，更改为对应欠增强像素点的所有邻居像素点的像素均值，得到所述增强桶面区域图；
待检桶面区域图生成模块，用于所述增强桶面区域图经形态学滤波处理后，进行颜色通道增强处理，得到待检桶面区域图；所述颜色通道增强处理的操作具体为：将经所述形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道融合为一个颜色通道后，更新所述滤波桶面区域图，得到所述待检桶面区域图；或将经所述形态学滤波处理后的滤波桶面区域图中，任意两个颜色通道关闭后，更新所述滤波桶面区域图，得到所述待检桶面区域图；
缺包检测结果生成模块，用于所述待检桶面区域图经分类处理，得到缺包检测结果。
8.一种桶面料包的缺包检测设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-7任一项所述的桶面料包的缺包检测方法。
9.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的桶面料包的缺包检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311785564.6A CN117474902B (zh) | 2023-12-25 | 2023-12-25 | 一种桶面料包的缺包检测方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311785564.6A CN117474902B (zh) | 2023-12-25 | 2023-12-25 | 一种桶面料包的缺包检测方法、系统、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117474902A CN117474902A (zh) | 2024-01-30 |
| CN117474902B true CN117474902B (zh) | 2024-03-12 |
Family
ID=89623887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311785564.6A Active CN117474902B (zh) | 2023-12-25 | 2023-12-25 | 一种桶面料包的缺包检测方法、系统、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117474902B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002181709A (ja) * | 2000-12-13 | 2002-06-26 | Fuji Photo Film Co Ltd | 画像解析方法および装置 |
| KR20130007950A (ko) * | 2011-07-11 | 2013-01-21 | 광주과학기술원 | 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
| CN104981105A (zh) * | 2015-07-09 | 2015-10-14 | 广东工业大学 | 一种快速精确获得元件中心和偏转角度的检测及纠偏方法 |
| CN105865570A (zh) * | 2016-06-15 | 2016-08-17 | 天津大学 | 一种基于机器视觉的玻璃瓶液位检测方法 |
| CN110097532A (zh) * | 2019-01-15 | 2019-08-06 | 云南安视智能设备有限公司 | 一种子弹外观缺陷检测的方法 |
| WO2020133046A1 (zh) * | 2018-12-27 | 2020-07-02 | 深圳配天智能技术研究院有限公司 | 一种缺陷检测方法及装置 |
| CN112686858A (zh) * | 2020-12-29 | 2021-04-20 | 熵智科技(深圳)有限公司 | 一种手机充电器视觉缺陷检测方法、装置、介质及设备 |
| CN113665904A (zh) * | 2021-09-07 | 2021-11-19 | 钟放鸿 | 基于tof技术的条盒香烟缺包检测方法 |
| WO2022089236A1 (zh) * | 2020-11-02 | 2022-05-05 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像处理方法、装置、计算机设备和存储介质 |
| CN114782415A (zh) * | 2022-06-16 | 2022-07-22 | 长春融成智能设备制造股份有限公司 | 一种基于机器视觉的灌装桶面异常状态实时监测方法 |
| CN114792369A (zh) * | 2022-06-29 | 2022-07-26 | 上海启迪睿视智能科技有限公司 | 基于光投影的烟条盒填充状态检测方法及系统 |
| CN115631117A (zh) * | 2022-12-21 | 2023-01-20 | 中科慧远视觉技术(北京)有限公司 | 缺陷检测用的图像增强方法、装置、检测系统及存储介质 |
| CN115797872A (zh) * | 2023-01-31 | 2023-03-14 | 捷易(天津)包装制品有限公司 | 基于机器视觉的包装缺陷识别方法、系统、设备及介质 |
| CN116443362A (zh) * | 2023-06-15 | 2023-07-18 | 山东明佳科技有限公司 | 桶装泡面产线料包检测控制方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9036693B2 (en) * | 2009-01-08 | 2015-05-19 | Sri International | Method and system for providing region-of-interest video compression |
| ITTO20130940A1 (it) * | 2013-11-20 | 2015-05-21 | St Microelectronics Srl | Kit per analisi biochimiche e metodo per eseguire un processo biochimico di tipo migliorato |
| US11561221B2 (en) * | 2018-05-02 | 2023-01-24 | Trustees Of Boston University | Dynamic tracking of captured targets for enhanced digital biosensing |
-
2023
- 2023-12-25 CN CN202311785564.6A patent/CN117474902B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002181709A (ja) * | 2000-12-13 | 2002-06-26 | Fuji Photo Film Co Ltd | 画像解析方法および装置 |
| KR20130007950A (ko) * | 2011-07-11 | 2013-01-21 | 광주과학기술원 | 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
| CN104981105A (zh) * | 2015-07-09 | 2015-10-14 | 广东工业大学 | 一种快速精确获得元件中心和偏转角度的检测及纠偏方法 |
| CN105865570A (zh) * | 2016-06-15 | 2016-08-17 | 天津大学 | 一种基于机器视觉的玻璃瓶液位检测方法 |
| WO2020133046A1 (zh) * | 2018-12-27 | 2020-07-02 | 深圳配天智能技术研究院有限公司 | 一种缺陷检测方法及装置 |
| CN110097532A (zh) * | 2019-01-15 | 2019-08-06 | 云南安视智能设备有限公司 | 一种子弹外观缺陷检测的方法 |
| WO2022089236A1 (zh) * | 2020-11-02 | 2022-05-05 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像处理方法、装置、计算机设备和存储介质 |
| CN112686858A (zh) * | 2020-12-29 | 2021-04-20 | 熵智科技(深圳)有限公司 | 一种手机充电器视觉缺陷检测方法、装置、介质及设备 |
| CN113665904A (zh) * | 2021-09-07 | 2021-11-19 | 钟放鸿 | 基于tof技术的条盒香烟缺包检测方法 |
| CN114782415A (zh) * | 2022-06-16 | 2022-07-22 | 长春融成智能设备制造股份有限公司 | 一种基于机器视觉的灌装桶面异常状态实时监测方法 |
| CN114792369A (zh) * | 2022-06-29 | 2022-07-26 | 上海启迪睿视智能科技有限公司 | 基于光投影的烟条盒填充状态检测方法及系统 |
| CN115631117A (zh) * | 2022-12-21 | 2023-01-20 | 中科慧远视觉技术(北京)有限公司 | 缺陷检测用的图像增强方法、装置、检测系统及存储介质 |
| CN115797872A (zh) * | 2023-01-31 | 2023-03-14 | 捷易(天津)包装制品有限公司 | 基于机器视觉的包装缺陷识别方法、系统、设备及介质 |
| CN116443362A (zh) * | 2023-06-15 | 2023-07-18 | 山东明佳科技有限公司 | 桶装泡面产线料包检测控制方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于局部处理的X射线图像裂纹缺陷自动检测;娄联堂;何慧玲;石胜平;;中南民族大学学报(自然科学版);20200205(01);正文全文 * |
| 基于感兴趣区域和HOG-CTH特征的交通标志检测;孙露霞;张尤赛;李永顺;张硕;;计算机与数字工程;20180620(06);正文全文 * |
| 基于机器视觉的粒料智能检测计数算法研究;吴君胜;叶邦彦;;单片机与嵌入式系统应用;20200801(08);正文全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117474902A (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102175700B (zh) | 数字x射线图像焊缝分割和缺陷检测方法 | |
| US20230005130A1 (en) | Method and device for detecting display panel defect | |
| CN113034488B (zh) | 一种喷墨印刷品的视觉检测方法 | |
| CN113781486B (zh) | Ic卡图像缺陷检测方法 | |
| CN110648330B (zh) | 摄像头玻璃的缺陷检测方法 | |
| CN115908415B (zh) | 基于边缘的缺陷检测方法、装置、设备及存储介质 | |
| CN110567965A (zh) | 一种智能手机玻璃盖板边缘视觉缺陷检测方法 | |
| CN109886954A (zh) | 一种印刷品缺陷检测方法 | |
| CN115222736B (zh) | 一种基于霍夫空间的钢管生产质量检测方法 | |
| CN111861990A (zh) | 一种产品不良外观检测的方法、系统及存储介质 | |
| CN106228541A (zh) | 视觉检测中屏幕定位的方法及装置 | |
| CN111275700A (zh) | 基于深度学习的端子缺陷检测方法及系统 | |
| CN112164050A (zh) | 用于流水线上产品表面缺陷的检测方法、设备及存储介质 | |
| CN114359253A (zh) | 基于卷积神经网络的影像脏污检测方法及系统 | |
| CN115752969A (zh) | 一种铝箔封口密封性检测方法及系统和设备 | |
| CN106780437A (zh) | 一种快速qfn芯片塑封图像获取与放大方法 | |
| EP2973223B1 (en) | Enhanced analysis for image-based serpentine belt wear evaluation | |
| CN113392819B (zh) | 一种批量化学术图像自动分割标注装置和方法 | |
| CN117474902B (zh) | 一种桶面料包的缺包检测方法、系统、设备和存储介质 | |
| CN111598851B (zh) | 一种基于形态学图像处理的太阳能电池破片检测方法 | |
| CN117589770A (zh) | Pcb贴片板检测方法、装置、设备及介质 | |
| CN113569859B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN115809999A (zh) | 器件上目标对象检测方法、装置、电子设备及存储介质 | |
| CN112991284B (zh) | 一种温控器导向架缺陷检测方法及系统 | |
| CN115239595A (zh) | 一种包装印刷品二维码合格性检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |