CN115330702A - 一种基于深度视觉的饮料瓶灌装缺陷识别方法 - Google Patents
一种基于深度视觉的饮料瓶灌装缺陷识别方法 Download PDFInfo
- Publication number
- CN115330702A CN115330702A CN202210914873.8A CN202210914873A CN115330702A CN 115330702 A CN115330702 A CN 115330702A CN 202210914873 A CN202210914873 A CN 202210914873A CN 115330702 A CN115330702 A CN 115330702A
- Authority
- CN
- China
- Prior art keywords
- image
- bottle
- detection
- bottle body
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013361 beverage Nutrition 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000011049 filling Methods 0.000 title claims abstract description 33
- 230000007547 defect Effects 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 239000007788 liquid Substances 0.000 claims abstract description 47
- 238000005507 spraying Methods 0.000 claims abstract description 43
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 230000002159 abnormal effect Effects 0.000 claims abstract description 14
- 238000007789 sealing Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000003213 activating effect Effects 0.000 claims abstract description 4
- 238000012216 screening Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 108091028051 Numt Proteins 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000003014 reinforcing effect Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 13
- 230000002950 deficient Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 8
- 235000013305 food Nutrition 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000566145 Otus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 235000015203 fruit juice Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
- G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Filling Of Jars Or Cans And Processes For Cleaning And Sealing Jars (AREA)
Abstract
本发明公开了一种基于深度视觉的饮料瓶灌装缺陷识别方法，该方法包括以下步骤：S1、基于机器视觉系统获取饮料瓶瓶体图像数据；S2、对所述瓶体图像数据进行预处理；S3、对所述瓶体图像数据进行背景分割，输出瓶体分割图像；S4、构建液位检测网络模型，输出液位检测数据；S5、构建封盖识别网络模型，输出封盖状态信息；S6、构建封标检测网络模型，输出封标状态信息；S7、构建喷码检测网络模型，输出喷码检测信息；S8、根据预设标准检测与筛选异常数据；S9、通过所述异常数据激活报警指示灯，驱动剔除装置将异常饮料瓶剔除。通过深度视觉的饮料分装缺陷品识别算法进行外观缺陷综合检测，大幅提高生产效率和产品质量。
Description
技术领域
本发明涉及饮料瓶灌装加工检测技术领域，具体来说，涉及一种基于深度视觉的饮料瓶灌装缺陷识别方法。
背景技术
随着人民生活水平的提高，巨大的市场需求使矿泉水、果汁、牛奶等各种各样的灌装产品生产行业保持着平稳快速的发展，与此同时，产品的质量成为了生产厂商和消费者共同关注的问题，而对灌装产品来说，封装质量的好坏直接或间接影响到其内部产品的质量。
灌装、封盖、套标、喷码是饮品包装的四道关键工序。在灌装工序，可能会出现漏灌、灌装不到位、灌装液位过高等情况；在封盖工序，可能会出现瓶盖缺失、盖歪、松盖、瓶盖破损等情况；在套标和贴标工序，可能会出现标签被套歪、漏套、标签塑封偏高、标签塑封偏低等情况；在喷码工序，由于喷码机的偶然故障，导致码的漏喷和错喷等情况。
在这些异常情况中，轻微的会导致产品外观的不美观，严重的会导致饮料内部质量发生变化。由于食品质量密切关系着人们的生命健康，所以食品管理部门及食品制造厂商对食品的检测要求也越来越严格。为了减少不合格品的数量，各个环节的检测成为了必备工序。
目前大部分企业采用人工检测的方式，然而人工检测一方面受到工人工作状态所影响，容易发生漏检误检的情况，另一方面，工人检测速度难以跟上机器的生产速度，为此工厂不得不扩大质检人员规模，日益上升的人力资源成本逐渐成为企业痛点。
专利CN101858768A公开了一种饮料灌装后液位检测装置及方法，该方法通过处理工业相机获取的图像，检测饮料灌装后的液位信息。其中算法包括液位扫描单元，液位获取单元，质量判别单元三个部分，通过液位所在区域的灰度变化来达到检测液位的目的，实现检测液位测量精度高，实时性好，且对人体不会造成任何伤害。但该方法存在一定的缺陷，如检测类别低，仅能对瓶内液位值进行检测，不能有效提高饮料灌装检测的效率，并且检测过程与算法较复杂。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于深度视觉的饮料瓶灌装缺陷识别方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于深度视觉的饮料瓶灌装缺陷识别方法，该方法包括以下步骤：
S1、基于机器视觉系统获取饮料瓶瓶体图像数据；
S2、对所述瓶体图像数据进行预处理；
S3、对所述瓶体图像数据进行背景分割，输出瓶体分割图像；
S4、构建液位检测网络模型，输出液位检测数据；
S5、构建封盖识别网络模型，输出封盖状态信息；
S6、构建封标检测网络模型，输出封标状态信息；
S7、构建喷码检测网络模型，输出喷码检测信息；
S8、根据预设标准检测与筛选异常数据；
S9、通过所述异常数据激活报警指示灯，驱动剔除装置将异常饮料瓶剔除。
进一步的，所述瓶体图像数据包括瓶身前侧图像、瓶身后侧图像及瓶顶俯视图像；
所述基于机器视觉系统获取饮料瓶瓶体图像数据，包括以下步骤：
S11、实时获取饮料瓶在传送装置中位置，运动至检测点时触发一次拍摄指令；
S12、打开两侧平行背光源，同时抓拍获取瓶身前侧图像与瓶身后侧图像；
S13、打开上方碗形阵列光源，拍摄获取瓶顶俯视图像。
进一步的，所述对所述瓶体图像数据进行预处理，包括以下步骤：
S21、采用子块部分重叠直方图均衡算法进行所述瓶体图像数据对比度的增强；
S22、采用中值滤波算法降低所述瓶体图像数据的噪声。
进一步的，所述对所述瓶体图像数据进行背景分割，输出瓶体分割图像，包括以下步骤：
S31、提取所述瓶体图像数据中的红色分量图像、绿色分量图像及蓝色分量图像，并对三种分量图像进行算术运算得到一级运算图像，运算表达式为：
I1(x,y)＝aR(x,y)+bG(x,y)+cB(x,y)
其中，I1(x,y)表示一级运算图像；
R(x,y)表示红色分量图像；
G(x,y)表示绿色分量图像；
B(x,y)表示蓝色分量图像；
a、b、c均表示权重参数；
x、y均表示图像像素值；
S32、使用结构元素对所述一级运算图像进行开运算，得到二级运算图像，运算表达式为：
其中，I2表示二级运算图像；
I1表示一级运算图像；
S表示矩形结构元素；
⊙表示腐蚀运算；
S33、利用线性空间滤波对所述二级运算图像进行掩模处理，得到三级运算图像，运算表达式为：
其中，I3(x,y)表示三级运算图像；
w表示滤波掩模，x、y均表示三级运算图像像素值；
s、t表示滤波掩模扫过区域的相应像素值；
p、q表示滤波器系数；
S34、利用大津阈值分割法将三级运算图像处理成二值图像；
S35、将所述二值图像分别对红色分量图像、绿色分量图像及蓝色分量图像作像素点运算，得到所述瓶体图像数据的红色分量、绿色分量及蓝色分量；
S36、合并所述瓶体图像数据的红色分量、绿色分量及蓝色分量，获得背景为黑色的切割图像；
S37、去除所述切割图像中的黑色背景，获得瓶体分割图像；
其中，所述瓶体分割图像包括瓶身前分割图像、瓶身后分割图像及瓶顶分割图像。
进一步的，所述构建液位检测网络模型，输出液位检测数据，包括以下步骤：
S41、获取标准液位的瓶身前分割图像作为训练样本，建立训练模型数据集，并将所述训练模型数据集输入第一卷积网络模型中进行训练，得到权重文件；
S42、将所述权重文件输入第二卷积网络模型中，得到每层卷积网络对应的特征图；
S43、基于所述特征图中瓶身下边界中心为原点建立平面坐标系，形成利用向量表示的特征模板，并计算下边界至上边界的纵向坐标跨度；
S44、输入待检测的所述瓶身前分割图像并建立平面坐标系，确定上边界两端点坐标信息，并计算待检测饮料瓶内的实际液位高度；
S45、所述液位高度作为液位检测数据进行上传。
进一步的，所述计算待检测饮料瓶内的实际液位高度的公式为：
其中，Height表示待检测饮料瓶的实际液位高度；
Height0表示特征模板中对应的实际液位高度；
H0表示特征模板中纵向坐标跨度；
(X1T,Y1T)表示待检测瓶体上边界的起点坐标；
(XnumT,YnumT)表示待检测瓶体上边界的终点坐标。
进一步的，所述构建封盖识别网络模型，输出封盖状态信息，包括以下步骤：
S51、获取历史瓶身前分割图像作为训练集，对预设的封盖识别网络模型进行训练；
S52、采用非极大值抑制算法消除小于阈值的检测框；
S53、采集含有瓶盖缺失、瓶盖歪斜及瓶盖破损的图像，进行数据扩展建立数据集；
S54、将80％所述数据集作为训练集进行模型训练，20％所述数据集作为测试集用于训练模型的输入；
S55、得到训练与迭代形成最终的封盖识别网络模型；
S56、输入待检测的瓶身前分割图像进行识别检测，输出封盖状态信息。
进一步的，所述物体检测模型的损失函数表达式为：
其中，N表示默认框数量；
α表示权重系数；
c表示置信度；
g表示真实框；
l表示预测框；
x表示变量；
Lconf(x，c)表示分类置信度损失；
Lloc(x，l，g)表示回归损失。
进一步的，所述构建喷码检测网络模型，输出喷码检测信息，包括以下步骤：
S71、输入瓶顶分割图像；
S72、检测与提取所述瓶顶分割图像中的喷码子区域；
S73、利用旋转差分矫正法对喷码子区域进行角度矫正；
S74、对喷码子区域内的字符轮廓进行强化；
S75、对所述字符进行阈值过滤与轮廓提取过滤；
S76、对字符中的单个字符进行轮廓定位，并进行字符垂直分割，获取单字符子区域列表；
S77、将所述单字符子区域输入喷码检测网络模型进行检测，输出喷码检测信息。
进一步的，所述旋转差分矫正法的计算公式为：
其中，x(i，j)其表示喷码子区域中第i行、第j列的像素值；
y(i)像表示水平查分投影图中第i行的投影值；
M表示喷码子区域的高度；
W表示喷码子区域的宽度。
本发明的有益效果为：通过深度学习和机器视觉结合的饮料分装缺陷品识别算法进行外观缺陷综合检测，能够识别灌装产品分装过程中的各种外观缺陷问题，并将引导自动化机构将瑕疵品从包装生产线上剔除，从而大幅提高生产效率和产品质量，解决人工方法效率低、速度慢，以及受检测人员主观性制约等不确定因素带来的误检及漏检；避免人工干预带来的产品污染风险，能有效提高生产流水线的检测速度和精度，显著提生产量和质量，降低人工成本，同时防止因为人眼疲劳而产生的误判。
通过对饮料瓶三面立体的图像捕捉，能够获取多面的外观信息，同时实现瓶体内液位、封盖、套标及喷码的一体化检测，配合各独立设置的缺陷识别与检测模型，保证单项缺陷检测的精确性与及时性，从而大幅提高生产线的传输与检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于深度视觉的饮料瓶灌装缺陷识别方法的流程图；
图2是根据本发明实施例的一种基于深度视觉的饮料瓶灌装缺陷识别方法的逻辑图；
图3是根据本发明实施例的一种基于深度视觉的饮料瓶灌装缺陷识别方法中瓶体图像数据分隔示意图之一；
图4是根据本发明实施例的一种基于深度视觉的饮料瓶灌装缺陷识别方法中瓶体图像数据分隔示意图之二。
具体实施方式
根据本发明的实施例，提供了一种基于深度视觉的饮料瓶灌装缺陷识别方法。
现结合附图和具体实施方式对本发明进一步说明，如图1-2所示，根据本发明实施例的基于深度视觉的饮料瓶灌装缺陷识别方法，该方法包括以下步骤：
S1、基于机器视觉系统获取饮料瓶瓶体图像数据；
其中，所述瓶体图像数据包括瓶身前侧图像、瓶身后侧图像及瓶顶俯视图像，且获取饮料瓶瓶体图像数据包括以下步骤：
S11、实时获取饮料瓶在传送装置中位置，运动至检测点时触发一次拍摄指令；
S12、打开两侧平行背光源，同时抓拍获取瓶身前侧图像与瓶身后侧图像；
S13、打开上方碗形阵列光源，拍摄获取瓶顶俯视图像。
相较于传统检测方式，采用机器视觉系统的优点有：
1、非接触测量，对于观测者与被观测者都不会产生任何损伤，从而提高系统的可靠性；
2、具有较宽的光谱响应范围，例如使用人眼看不见的红外测量，扩展了人眼的视觉范围；
3、长时间稳定工作，人类难以长时间对同一对象进行观察，而机器视觉则可以长时间地作测量、分析和识别任务。
S2、对所述瓶体图像数据进行预处理，包括以下步骤：
S21、采用子块部分重叠直方图均衡算法进行所述瓶体图像数据对比度的增强；
其中，子块重叠局部直方图均衡算法是一种有效的图像细节增强算法。它是将大幅红外图像分解为多个小幅图像，并对每个小幅图像进行单独的直方图增强，然后通过“叠加”等处理，解决不同局部模块直方图增强后的“块效应”，提高整体视觉效果，足够大地增强图像的对比度，充分再现数字图像的局部细节。具体优势可总结为：
(1)由于子块部分重叠方式减少了相邻子块间的均衡函数形状差异，使块效应基本得以消除对于子块边界可能出现的少量块效应，通过设计块效应消除滤波器(BERF)，可以视觉上克服这种边界上的少量块效应。
(2)由于子块均衡总次数比子块重叠方式少得多，计算效率大幅度提高。
(3)图像细节的增强能力与子块重叠算法相近。
S22、采用中值滤波算法降低所述瓶体图像数据的噪声。
中值滤波会选取数字图像或数字序列中像素点及其周围临近像素点(一共有奇数个像素点)的像素值，将这些像素值排序，然后将位于中间位置的像素值作为当前像素点的像素值，让周围的像素值接近真实值，从而消除孤立的噪声点。
S3、对所述瓶体图像数据进行背景分割，输出瓶体分割图像，如图3-4所示，包括以下步骤：
S31、提取所述瓶体图像数据中的红色分量图像、绿色分量图像及蓝色分量图像，并对三种分量图像进行算术运算得到一级运算图像，运算表达式为：
I1(x,y)＝aR(x,y)+bG(x,y)+cB(x,y)
其中，I1(x,y)表示一级运算图像；
R(x,y)表示红色分量图像；
G(x,y)表示绿色分量图像；
B(x,y)表示蓝色分量图像；
a、b、c均表示权重参数；
x、y均表示图像像素值；
S32、使用结构元素对所述一级运算图像进行开运算，得到二级运算图像，运算表达式为：
其中，I2表示二级运算图像；
I1表示一级运算图像；
S表示矩形结构元素；
⊙表示腐蚀运算；
S33、利用线性空间滤波对所述二级运算图像进行掩模处理，得到三级运算图像，运算表达式为：
其中，I3(x,y)表示三级运算图像；
w表示滤波掩模，x、y均表示三级运算图像像素值；
s、t表示滤波掩模扫过区域的相应像素值；
p、q表示滤波器系数；
S34、利用大津阈值分割法(Otus方法)将三级运算图像处理成二值图像；
S35、将所述二值图像分别对红色分量图像、绿色分量图像及蓝色分量图像作像素点运算，得到所述瓶体图像数据的红色分量、绿色分量及蓝色分量；
S36、合并所述瓶体图像数据的红色分量、绿色分量及蓝色分量，获得背景为黑色的切割图像；
S37、去除所述切割图像中的黑色背景，获得瓶体分割图像；
其中，所述瓶体分割图像包括瓶身前分割图像、瓶身后分割图像及瓶顶分割图像。
S4、构建液位检测网络模型，输出液位检测数据，包括以下步骤：
S41、获取标准液位的瓶身前分割图像作为训练样本，建立训练模型数据集，并将所述训练模型数据集输入第一卷积网络模型中进行训练，得到权重文件；
S42、将所述权重文件输入第二卷积网络模型中，得到每层卷积网络对应的特征图；
S43、基于所述特征图中瓶身下边界中心为原点建立平面坐标系，形成利用向量表示的特征模板，并计算下边界至上边界的纵向坐标跨度；
S44、输入待检测的所述瓶身前分割图像并建立平面坐标系，确定上边界两端点坐标信息，并计算待检测饮料瓶内的实际液位高度；
其中，所述计算待检测饮料瓶内的实际液位高度的公式为：
其中，Height表示待检测饮料瓶的实际液位高度；
Height0表示特征模板中对应的实际液位高度；
H0表示特征模板中纵向坐标跨度；
(X1T,Y1T)表示待检测瓶体上边界的起点坐标；
(XnumT,YnumT)表示待检测瓶体上边界的终点坐标。
S45、所述液位高度作为液位检测数据进行上传。
S5、构建封盖识别网络模型，输出封盖状态信息，包括以下步骤：
S51、获取历史瓶身前分割图像作为训练集，对预设的封盖识别网络模型进行训练；
其中，所述物体检测模型的损失函数表达式为：
其中，N表示默认框数量；
α表示权重系数；
c表示置信度；
g表示真实框；
l表示预测框；
x表示变量；
Lconf(x，c)表示分类置信度损失；
Lloc(x，l，g)表示回归损失。
S52、采用非极大值抑制算法消除小于阈值的检测框；
S53、采集含有瓶盖缺失、瓶盖歪斜及瓶盖破损的图像，进行数据扩展建立数据集；
其中，将采集的缺陷图像进行数据扩展并建立数据集，主要的数据扩展操作为旋转、水平迁移、垂直迁移和缩放4种方式。
S54、将80％所述数据集作为训练集进行模型训练，20％所述数据集作为测试集用于训练模型的输入；
S55、得到训练与迭代形成最终的封盖识别网络模型；
S56、输入待检测的瓶身前分割图像进行识别检测，输出封盖状态信息。
其中，封盖状态信息包括瓶盖正常、瓶盖缺失、瓶盖歪斜及瓶盖破损。
S6、构建封标检测网络模型，输出封标状态信息；
封标的检测采用与液位检测相同的算法，在此步骤中需要输入瓶体后分割图像，在瓶身中检测到标签的位置，通过建立相关的检测识别模型，构建标签坐标系，利用标签边界点的坐标，判断标签的位置状态。
S7、构建喷码检测网络模型，输出喷码检测信息，包括以下步骤：
S71、输入瓶顶分割图像；
S72、检测与提取所述瓶顶分割图像中的喷码子区域；
S73、利用旋转差分矫正法对喷码子区域进行角度矫正；
其中，所述旋转差分矫正法的计算公式为：
其中，x(i，j)其表示喷码子区域中第i行、第j列的像素值；
y(i)像表示水平查分投影图中第i行的投影值；
M表示喷码子区域的高度；
W表示喷码子区域的宽度。
S74、对喷码子区域内的字符轮廓进行强化；
S75、对所述字符进行阈值过滤与轮廓提取过滤；
S76、对字符中的单个字符进行轮廓定位，并进行字符垂直分割，获取单字符子区域列表；
S77、将所述单字符子区域输入喷码检测网络模型进行检测，输出喷码检测信息。
S8、根据预设标准检测与筛选异常数据；
其中，异常数据包括灌装液位过低、灌装液位过高、瓶盖缺失、瓶盖歪斜、瓶盖破损、标签歪曲、标签漏标、标签过低、标签过高、喷码漏喷及喷码错喷。
S9、通过所述异常数据激活报警指示灯，驱动剔除装置将异常饮料瓶剔除。
综上所述，借助于本发明的上述技术方案，通过深度学习和机器视觉结合的饮料分装缺陷品识别算法进行外观缺陷综合检测，能够识别灌装产品分装过程中的各种外观缺陷问题，并将引导自动化机构将瑕疵品从包装生产线上剔除，从而大幅提高生产效率和产品质量，解决人工方法效率低、速度慢，以及受检测人员主观性制约等不确定因素带来的误检及漏检；避免人工干预带来的产品污染风险，能有效提高生产流水线的检测速度和精度，显著提生产量和质量，降低人工成本，同时防止因为人眼疲劳而产生的误判。
通过对饮料瓶三面立体的图像捕捉，能够获取多面的外观信息，同时实现瓶体内液位、封盖、套标及喷码的一体化检测，配合各独立设置的缺陷识别与检测模型，保证单项缺陷检测的精确性与及时性，从而大幅提高生产线的传输与检测效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于深度视觉的饮料瓶灌装缺陷识别方法，其特征在于，该方法包括以下步骤：
S1、基于机器视觉系统获取饮料瓶瓶体图像数据；
S2、对所述瓶体图像数据进行预处理；
S3、对所述瓶体图像数据进行背景分割，输出瓶体分割图像；其中，所述对所述瓶体图像数据进行背景分割，输出瓶体分割图像，包括以下步骤：
S31、提取所述瓶体图像数据中的红色分量图像、绿色分量图像及蓝色分量图像，并对三种分量图像进行算术运算得到一级运算图像，运算表达式为：
I1(x,y)＝aR(x,y)+bG(x,y)+cB(x,y)
其中，I1(x,y)表示一级运算图像；
R(x,y)表示红色分量图像；
G(x,y)表示绿色分量图像；
B(x,y)表示蓝色分量图像；
a、b、c均表示权重参数；
x、y均表示图像像素值；
S32、使用结构元素对所述一级运算图像进行开运算，得到二级运算图像，运算表达式为：
其中，I2表示二级运算图像；
I1表示一级运算图像；
S表示矩形结构元素；
S33、利用线性空间滤波对所述二级运算图像进行掩模处理，得到三级运算图像，运算表达式为：
其中，I3(x,y)表示三级运算图像；
w表示滤波掩模，x、y均表示三级运算图像像素值；
s、t表示滤波掩模扫过区域的相应像素值；
p、q表示滤波器系数；
S34、利用大津阈值分割法将三级运算图像处理成二值图像；
S35、将所述二值图像分别对红色分量图像、绿色分量图像及蓝色分量图像作像素点运算，得到所述瓶体图像数据的红色分量、绿色分量及蓝色分量；
S36、合并所述瓶体图像数据的红色分量、绿色分量及蓝色分量，获得背景为黑色的切割图像；
S37、去除所述切割图像中的黑色背景，获得瓶体分割图像；
其中，所述瓶体分割图像包括瓶身前分割图像、瓶身后分割图像及瓶顶分割图像；
S4、构建液位检测网络模型，输出液位检测数据；
S5、构建封盖识别网络模型，输出封盖状态信息；
S6、构建封标检测网络模型，输出封标状态信息；
S7、构建喷码检测网络模型，输出喷码检测信息；
S8、根据预设标准检测与筛选异常数据；
S9、通过所述异常数据激活报警指示灯，驱动剔除装置将异常饮料瓶剔除。
2.根据权利要求1所述的一种基于深度视觉的饮料瓶灌装缺陷识别方法，其特征在于，所述瓶体图像数据包括瓶身前侧图像、瓶身后侧图像及瓶顶俯视图像；
所述基于机器视觉系统获取饮料瓶瓶体图像数据，包括以下步骤：
S11、实时获取饮料瓶在传送装置中位置，运动至检测点时触发一次拍摄指令；
S12、打开两侧平行背光源，同时抓拍获取瓶身前侧图像与瓶身后侧图像；
S13、打开上方碗形阵列光源，拍摄获取瓶顶俯视图像。
3.根据权利要求1所述的一种基于深度视觉的饮料瓶灌装缺陷识别方法，其特征在于，所述对所述瓶体图像数据进行预处理，包括以下步骤：
S21、采用子块部分重叠直方图均衡算法进行所述瓶体图像数据对比度的增强；
S22、采用中值滤波算法降低所述瓶体图像数据的噪声。
4.根据权利要求1所述的一种基于深度视觉的饮料瓶灌装缺陷识别方法，其特征在于，所述构建液位检测网络模型，输出液位检测数据，包括以下步骤：
S41、获取标准液位的瓶身前分割图像作为训练样本，建立训练模型数据集，并将所述训练模型数据集输入第一卷积网络模型中进行训练，得到权重文件；
S42、将所述权重文件输入第二卷积网络模型中，得到每层卷积网络对应的特征图；
S43、基于所述特征图中瓶身下边界中心为原点建立平面坐标系，形成利用向量表示的特征模板，并计算下边界至上边界的纵向坐标跨度；
S44、输入待检测的所述瓶身前分割图像并建立平面坐标系，确定上边界两端点坐标信息，并计算待检测饮料瓶内的实际液位高度；
S45、所述液位高度作为液位检测数据进行上传。
5.根据权利要求4所述的一种基于深度视觉的饮料瓶灌装缺陷识别方法，其特征在于，所述计算待检测饮料瓶内的实际液位高度的公式为：
其中，Height表示待检测饮料瓶的实际液位高度；
Height0表示特征模板中对应的实际液位高度；
H0表示特征模板中纵向坐标跨度；
(X1T,Y1T)表示待检测瓶体上边界的起点坐标；
(XnumT,YnumT)表示待检测瓶体上边界的终点坐标。
6.根据权利要求1所述的一种基于深度视觉的饮料瓶灌装缺陷识别方法，其特征在于，所述构建封盖识别网络模型，输出封盖状态信息，包括以下步骤：
S51、获取历史瓶身前分割图像作为训练集，对预设的封盖识别网络模型进行训练；
S52、采用非极大值抑制算法消除小于阈值的检测框；
S53、采集含有瓶盖缺失、瓶盖歪斜及瓶盖破损的图像，进行数据扩展建立数据集；
S54、将80％所述数据集作为训练集进行模型训练，20％所述数据集作为测试集用于训练模型的输入；
S55、得到训练与迭代形成最终的封盖识别网络模型；
S56、输入待检测的瓶身前分割图像进行识别检测，输出封盖状态信息。
7.根据权利要求6所述的一种基于深度视觉的饮料瓶灌装缺陷识别方法，其特征在于，所述物体检测模型的损失函数表达式为：
其中，N表示默认框数量；
α表示权重系数；
c表示置信度；
g表示真实框；
l表示预测框；
x表示变量；
Lconf(x，c)表示分类置信度损失；
Lloc(x，l，g)表示回归损失。
8.根据权利要求1所述的一种基于深度视觉的饮料瓶灌装缺陷识别方法，其特征在于，所述构建喷码检测网络模型，输出喷码检测信息，包括以下步骤：
S71、输入瓶顶分割图像；
S72、检测与提取所述瓶顶分割图像中的喷码子区域；
S73、利用旋转差分矫正法对喷码子区域进行角度矫正；
S74、对喷码子区域内的字符轮廓进行强化；
S75、对所述字符进行阈值过滤与轮廓提取过滤；
S76、对字符中的单个字符进行轮廓定位，并进行字符垂直分割，获取单字符子区域列表；
S77、将所述单字符子区域输入喷码检测网络模型进行检测，输出喷码检测信息。
9.根据权利要求8所述的一种基于深度视觉的饮料瓶灌装缺陷识别方法，其特征在于，所述旋转差分矫正法的计算公式为：
其中，x(i，j)其表示喷码子区域中第i行、第j列的像素值；
y(i)像表示水平查分投影图中第i行的投影值；
M表示喷码子区域的高度；
W表示喷码子区域的宽度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210914873.8A CN115330702A (zh) | 2022-08-01 | 2022-08-01 | 一种基于深度视觉的饮料瓶灌装缺陷识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210914873.8A CN115330702A (zh) | 2022-08-01 | 2022-08-01 | 一种基于深度视觉的饮料瓶灌装缺陷识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115330702A true CN115330702A (zh) | 2022-11-11 |
Family
ID=83919247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210914873.8A Pending CN115330702A (zh) | 2022-08-01 | 2022-08-01 | 一种基于深度视觉的饮料瓶灌装缺陷识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115330702A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309296A (zh) * | 2022-12-31 | 2023-06-23 | 中山市天柏包装制品有限公司 | 一种包装箱缺陷的智能检测方法及检测系统 |
| CN117437224A (zh) * | 2023-12-20 | 2024-01-23 | 山东特联信息科技有限公司 | 基于人工智能的气瓶缺陷图像数据处理系统及方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104156731A (zh) * | 2014-07-31 | 2014-11-19 | 成都易默生汽车技术有限公司 | 基于人工神经网络的车牌识别系统与方法 |
| CN105488501A (zh) * | 2015-11-26 | 2016-04-13 | 南京富士通南大软件技术有限公司 | 基于旋转投影的车牌倾斜矫正的方法 |
| CN205463256U (zh) * | 2016-03-25 | 2016-08-17 | 天津鼎鸿智创科技有限公司 | 一种饮料瓶封装缺陷自动检测及剔除装置 |
| CN108830824A (zh) * | 2018-04-16 | 2018-11-16 | 中北大学 | 输液液面视觉检测报警系统及其检测方法 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
| CN109871938A (zh) * | 2019-01-21 | 2019-06-11 | 重庆大学 | 一种基于卷积神经网络的零部件喷码检测方法 |
| CN111754498A (zh) * | 2020-06-29 | 2020-10-09 | 河南科技大学 | 一种基于YOLOv3的传送带托辊检测方法 |
| CN211927018U (zh) * | 2020-06-08 | 2020-11-13 | 杭州电子科技大学信息工程学院 | 一种新型液位测量装置 |
| CN112989901A (zh) * | 2020-03-25 | 2021-06-18 | 长扬科技（北京）有限公司 | 基于深度学习的液位仪读数的识别方法 |
| WO2021232613A1 (zh) * | 2020-05-22 | 2021-11-25 | 五邑大学 | 酒瓶表面缺陷检测方法、电子装置及存储介质 |
| CN114511516A (zh) * | 2022-01-17 | 2022-05-17 | 利晶微电子技术(江苏)有限公司 | 一种基于无监督学习的MicroLED缺陷检测方法 |
-
2022
- 2022-08-01 CN CN202210914873.8A patent/CN115330702A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104156731A (zh) * | 2014-07-31 | 2014-11-19 | 成都易默生汽车技术有限公司 | 基于人工神经网络的车牌识别系统与方法 |
| CN105488501A (zh) * | 2015-11-26 | 2016-04-13 | 南京富士通南大软件技术有限公司 | 基于旋转投影的车牌倾斜矫正的方法 |
| CN205463256U (zh) * | 2016-03-25 | 2016-08-17 | 天津鼎鸿智创科技有限公司 | 一种饮料瓶封装缺陷自动检测及剔除装置 |
| CN108830824A (zh) * | 2018-04-16 | 2018-11-16 | 中北大学 | 输液液面视觉检测报警系统及其检测方法 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
| CN109871938A (zh) * | 2019-01-21 | 2019-06-11 | 重庆大学 | 一种基于卷积神经网络的零部件喷码检测方法 |
| CN112989901A (zh) * | 2020-03-25 | 2021-06-18 | 长扬科技（北京）有限公司 | 基于深度学习的液位仪读数的识别方法 |
| WO2021232613A1 (zh) * | 2020-05-22 | 2021-11-25 | 五邑大学 | 酒瓶表面缺陷检测方法、电子装置及存储介质 |
| CN211927018U (zh) * | 2020-06-08 | 2020-11-13 | 杭州电子科技大学信息工程学院 | 一种新型液位测量装置 |
| CN111754498A (zh) * | 2020-06-29 | 2020-10-09 | 河南科技大学 | 一种基于YOLOv3的传送带托辊检测方法 |
| CN114511516A (zh) * | 2022-01-17 | 2022-05-17 | 利晶微电子技术(江苏)有限公司 | 一种基于无监督学习的MicroLED缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| WEIXIN_33958585: "彩色图像与二值图像（mask）点乘", pages 312, Retrieved from the Internet <URL:《https://blog.csdn.net/weixin_33958585/article/details/93285955》> * |
| 陆国栋，张树有等著: "工程图样数字化转换与智能理解", 《哈尔滨工业大学出版社》, pages: 312 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309296A (zh) * | 2022-12-31 | 2023-06-23 | 中山市天柏包装制品有限公司 | 一种包装箱缺陷的智能检测方法及检测系统 |
| CN117437224A (zh) * | 2023-12-20 | 2024-01-23 | 山东特联信息科技有限公司 | 基于人工智能的气瓶缺陷图像数据处理系统及方法 |
| CN117437224B (zh) * | 2023-12-20 | 2024-03-29 | 山东特联信息科技有限公司 | 基于人工智能的气瓶缺陷图像数据处理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115330702A (zh) | 一种基于深度视觉的饮料瓶灌装缺陷识别方法 | |
| CN111444809B (zh) | 一种基于改进YOLOv3的输电线路异常目标检测方法 | |
| CN104537651B (zh) | 一种路面图像中裂缝比例检测方法及系统 | |
| CN112507865B (zh) | 一种烟雾识别方法及识别装置 | |
| CN103761529A (zh) | 一种基于多色彩模型和矩形特征的明火检测方法和系统 | |
| CN115311294B (zh) | 基于图像处理的玻璃瓶瓶身瑕疵识别检测方法 | |
| CN113658131B (zh) | 一种基于机器视觉巡游式环锭纺断纱检测方法 | |
| CN112053317A (zh) | 一种基于级联神经网络的工件表面缺陷检测方法 | |
| CN103226106A (zh) | 基于机器视觉的轴承防尘盖品质监测系统 | |
| CN112414623A (zh) | 一种基于人工智能的零件气密性泄漏缺陷检测方法及系统 | |
| CN116049756B (zh) | 一种食品加工设备智能监测管理系统及方法 | |
| CN112488998B (zh) | 一种基于条纹投影的苹果果梗和花萼检测方法 | |
| CN112926563A (zh) | 一种钢卷喷印标记故障诊断系统 | |
| CN111951218A (zh) | 一种混合深度学习模型的口红质检系统 | |
| Haoran et al. | Egg crack detection based on support vector machine | |
| CN114998205A (zh) | 基于光学手段的液体灌装过程瓶中异物检测方法 | |
| CN113962929A (zh) | 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线 | |
| CN117115171A (zh) | 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法 | |
| CN111008960A (zh) | 基于机器视觉的铝电解电容底部外观检测方法及装置 | |
| CN116206155A (zh) | 基于YOLOv5网络的废钢分类识别方法 | |
| CN115937555A (zh) | 一种基于标准化流模型的工业缺陷检测算法 | |
| CN113222947B (zh) | 一种非金属材料焊接缺陷智能检测方法及系统 | |
| CN115330868A (zh) | 一种基于深度学习与深度信息融合的葡萄采摘方法 | |
| CN113504244A (zh) | 一种新能源汽车电池探伤检测方法与装置 | |
| CN111189826A (zh) | 用于pH试纸测量待测溶液pH值的智能评分实验设备及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221111 |