CN107944444B - 一种瓶装液体异物检测方法及系统 - Google Patents

一种瓶装液体异物检测方法及系统 Download PDF

Info

Publication number
CN107944444B
CN107944444B CN201711166666.4A CN201711166666A CN107944444B CN 107944444 B CN107944444 B CN 107944444B CN 201711166666 A CN201711166666 A CN 201711166666A CN 107944444 B CN107944444 B CN 107944444B
Authority
CN
China
Prior art keywords
image
matrix
gray
rank
abnormal detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711166666.4A
Other languages
English (en)
Other versions
CN107944444A (zh
Inventor
李伟
邓潇雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN201711166666.4A priority Critical patent/CN107944444B/zh
Publication of CN107944444A publication Critical patent/CN107944444A/zh
Application granted granted Critical
Publication of CN107944444B publication Critical patent/CN107944444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Abstract

本发明提供了一种瓶装液体异物检测方法及系统，该方法在进入生产线前将瓶装液体进行倒置，在生产线上两个不同位置放置两台图像采集装置对相同区域进行成像，基于稀疏表征的方法对采集的图像中的异常进行检测。本发明提供的技术方案，能将异常从复杂的背景完整地检测出来，抗噪性能好，更加利于实际生产中复杂、干扰大的环境。本发明采用的基于稀疏表征的序列图像瓶装液体异物检测检测精度高，抗噪性好，且对设备要求不高，降低了检测系统的成本，为生产线上瓶装液体异物检测自动化的实现提供了技术支持。

Description

一种瓶装液体异物检测方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种瓶装液体异物检测方法及系统。
背景技术
近年来，为了满足广大消费者的巨大需求，啤酒、注射液及饮料等瓶装液体产品生产行业平稳而快速发展。只有采用新科技才能够提高产品质量，降低生产成本，提高企业的竞争力。随着生产的现代化，产品的生产和包装设备的自动化程度越来越高。目前，瓶装液体生产厂家均采用机械设备对产品进行灌装、自动封口，这种生产方式虽然效率高，但是存一定的弊端，自动封装过程中瓶口的材料以及灌装容器的沉淀等可能会落入瓶中污染液体。这些液体中包含的异物会极大地影响产品质量，同时也会带来安全问题。因此，生产厂家需要采取一定的检测手段对已经封口的瓶装液体进行检测，将包含异物的不合格产品找到并剔除。此外，在实际生产过程中，为了节约成本，实现绿色生产，会对旧瓶进行回收利用，这时瓶身上的划痕与瑕疵就会对检测带来干扰，增加检测难度。
目前，传统的瓶装液体异物检测方法为人工灯检法。人工灯检法是指人工将封装好的瓶装液体成品从生产线上取下，通过轻微的晃动或倒置，将其对准一定的特殊光源，观察其中是否含有悬浮的异物，并将含有异物的不合格产品从生产线上剔除。但是，长期工作会产生视觉疲劳，检测精度会降低，并且，人工灯检法速度慢，因此，传统的人工灯检法并不适用于现代化大型生产。
近年来，随着图像处理技术的发展，基于图像处理的瓶装液体异物检测方法利用成像技术对生产线上的瓶装液体成像，并将采集到的图像利用图像技术处理，找到含有异物的产品将其自动剔除。基于图像处理的方法在检测效果、检测成本等方面有着明显的优势。而基于图像处理的检测方法主要分为基于单帧图像的方法、基于视频序列图像的方法。基于单帧图像的检测法在静态的情况下完成图像的采集，进而利用图像处理算法实现产品的检测，该方法的操作难度较小，但对算法要求高，且不能克服瓶身上的划痕与瑕疵。基于视频序列图像的方法将待检测产品进入高速旋转的状态后急停，然后连续拍摄，获取多序列图像，然后对序列图像进行检测实现产品的检测，该种方法检测效果虽好，但是对机械设备的要求很高，检测系统比较昂贵。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种瓶装液体异物检测方法及系统，以解决现有技术中无法克服瓶身上的划痕与瑕疵，导致瓶装液体异物检测精度低的问题。
为实现以上目的，本发明采用如下技术方案：
一种瓶装液体异物检测方法，在生产线的不同位置分别设置第一图像采集装置和第二图像采集装置后，执行以下步骤：
步骤S1、分别读取第一图像采集装置和第二图像采集装置拍摄的第一彩色图像和第二彩色图像，并将所述第一彩色图像和第二彩色图像分别转换为第一灰度图像和第二灰度图像；其中，所述第一彩色图像和第二彩色图像为生产线上同一倒置瓶装液体在不同时刻的彩色图像；
步骤S2、分别对所述第一灰度图像和第二灰度图像进行有效检测区域的标定；
步骤S3、分别对第一灰度图像中的有效检测区域和第二灰度图像中的有效检测区域进行稀疏表征，得到第一异常检测图像和第二异常检测图像；
步骤S4、分别对所述第一异常检测图像和第二异常检测图像进行二值化，得到二值化的第一异常检测图像和二值化的第二异常检测图像；
步骤S5、分别对二值化的第一异常检测图像和二值化的第二异常检测图像中的不同连通域进行标记；
步骤S6、删除二值化的第一异常检测图像和二值化的第二异常检测图像中重合的连通域所对应的图像，判定剩余的连通域为瓶装液体异物。
优选地，所述步骤S2包括：
步骤S21、将灰度图像Hi按列等分为两个子灰度图像Hi1和Hi2，其中，i＝1,2，i＝1时，H1为第一灰度图像；i＝2时，H2为第二灰度图像；
步骤S22、根据公式
Figure BDA0001476426350000031
计算子灰度图像Hi1的每列像素灰度值Si1(l)，根据公式
Figure BDA0001476426350000032
计算Hi2的每列像素灰度值Si2(l)；
其中，m为灰度图像Hi像素的总行数，m≥1，为正整数；n为灰度图像Hi像素的总列数，n≥2，为正整数；I(m,l)为第m行第l列像素的灰度值；
步骤S23、求Si1(l)的最小值minSi1(l)和Si2(l)的最小值minSi2(l)，并将minSi1(l)所在的列和minSi2(l)所在的列之间的区域标定为有效检测区域。
优选地，所述步骤S3包括：
步骤S31、将有效检测区域所对应的灰度图像Hi转换为二维矩阵Xi；
步骤S32、将二维矩阵Xi近似分解为低秩矩阵Li与稀疏矩阵Si之和：Xi～Li+Si,rank(Li)≤r,rank(Si)≤k；其中，rank(Li)为低秩矩阵Li的秩，r为rank(Li)的最大值；card(Si)为稀疏矩阵Si的非零元素的个数，k为card(Si)的最大值；
步骤S33、将二维矩阵Xi赋值给Li，将零矩阵赋值给Si，以初始化低秩矩阵Li和稀疏矩阵Si；
步骤S34、计算第t次相对分解误差
Figure BDA0001476426350000033
其中t≥1；
步骤S35、当第t次相对分解误差
Figure BDA0001476426350000034
时，对低秩矩阵Li和稀疏矩阵Si进行更新迭代，直到
Figure BDA0001476426350000035
其中，ε为最大允许相对分解误差，
Figure BDA0001476426350000036
||·||F是矩阵的F范数；Sit为第t次迭代得到的稀疏矩阵，Lit为第t次迭代得到的低秩矩阵；
步骤S36、标定
Figure BDA0001476426350000037
对应的图像为异常检测图像。
优选地，所述步骤S35中，对所述低秩矩阵Li和稀疏矩阵Si进行更新迭代，具体为：
步骤S351、构造奇异值下降快的低秩矩阵
Figure BDA0001476426350000041
Figure BDA0001476426350000042
步骤S352、利用随机矩阵
Figure BDA0001476426350000043
和
Figure BDA0001476426350000044
对
Figure BDA0001476426350000045
进行投影得到Y1与Y2：
Figure BDA0001476426350000046
其中，
Figure BDA0001476426350000047
和
Figure BDA0001476426350000048
为实数集，x＝二维矩阵Xi的列数，y＝二维矩阵Xi的行数；
步骤S353、对矩阵Y1与Y2进行QR分解：Y1＝Q1R1，Y2＝Q2R2；
步骤S354、对低秩矩阵
Figure BDA0001476426350000049
进行秩为r的估计，得到低秩矩阵Lit：
Figure BDA00014764263500000410
其中，q为非负整数，由用户预先设定；
步骤S355、利用Lit对Sit进行更新：Sit＝PΩ(Xi-Lit)。PΩ(·)是指将矩阵投影到集合Ω上，Ω是|X-Lit|前k个最大元素组成集合的非空子集，k≥1。
优选地，所述步骤S4具体为：
利用固定阈值分割法，分别对所述第一异常检测图像和第二异常检测图像进行二值化，得到二值化的第一异常检测图像和二值化的第二异常检测图像。
优选地，所述步骤S5具体为：
分别对二值化的第一异常检测图像和二值化的第二异常检测图像中的不同连通域进行标记，用不同的数值作为每个连通域的标记值；
根据不同的标记值依次找到二值化的第一异常检测图像中连通域所在的位置，并判断二值化的第二异常检测图像相应位置是否也存在连通域，若是，则将所述连通域所在区域标记值赋值为0，去除所述连通域。
一种瓶装液体异物检测系统，包括设置在生产线的不同位置的第一图像采集装置和第二图像采集装置，还包括：
图像读取单元，用于分别读取第一图像采集装置和第二图像采集装置拍摄的第一彩色图像和第二彩色图像，并将所述第一彩色图像和第二彩色图像分别转换为第一灰度图像和第二灰度图像；其中，所述第一彩色图像和第二彩色图像为生产线上同一倒置瓶装液体在不同时刻的彩色图像；
检测区域标定单元，用于分别对所述第一灰度图像和第二灰度图像进行有效检测区域的标定；
稀疏表征单元，用于分别对第一灰度图像中的有效检测区域和第二灰度图像中的有效检测区域进行稀疏表征，得到第一异常检测图像和第二异常检测图像；
二值化单元，用于分别对所述第一异常检测图像和第二异常检测图像进行二值化，得到二值化的第一异常检测图像和二值化的第二异常检测图像；
连通域标记单元，用于分别对二值化的第一异常检测图像和二值化的第二异常检测图像中的不同连通域进行标记；
判定单元，用于删除二值化的第一异常检测图像和二值化的第二异常检测图像中重合的连通域所对应的图像，判定剩余的连通域为瓶装液体异物。
优选地，所述检测区域标定单元包括：
等分单元，用于将灰度图像Hi按列等分为两个子灰度图像Hi1和Hi2，其中，i＝1,2，i＝1时，H1为第一灰度图像；i＝2时，H2为第二灰度图像；
第一计算单元，用于根据公式
Figure BDA0001476426350000051
计算子灰度图像Hi1的每列像素灰度值Si1(l)，根据公式
Figure BDA0001476426350000052
计算Hi2的每列像素灰度值Si2(l)；
其中，m为灰度图像Hi像素的总行数，m≥1，为正整数；n为灰度图像Hi像素的总列数，n≥2，为正整数；I(m,l)为第m行第l列像素的灰度值；
第二计算单元，用于求Si1(l)的最小值minSi1(l)和Si2(l)的最小值minSi2(l)，并将minSi1(l)所在的列和minSi2(l)所在的列之间的区域标定为有效检测区域。
优选地，所述稀疏表征单元包括：
转换单元，用于将有效检测区域所对应的灰度图像Hi转换为二维矩阵Xi；
分解单元，用于将二维矩阵Xi近似分解为低秩矩阵Li与稀疏矩阵Si之和：Xi～Li+Si,rank(Li)≤r,rank(Si)≤k；其中，rank(Li)为低秩矩阵Li的秩，r为rank(Li)的最大值；card(Si)为稀疏矩阵Si的非零元素的个数，k为card(Si)的最大值；
赋值单元，用于将二维矩阵Xi赋值给Li，将零矩阵赋值给Si，以初始化低秩矩阵Li和稀疏矩阵Si；
第三计算单元，用于计算第t次相对分解误差
Figure BDA0001476426350000061
其中t≥1；
更新迭代单元，用于当第t次相对分解误差
Figure BDA0001476426350000062
时，对低秩矩阵Li和稀疏矩阵Si进行更新迭代，直到
Figure BDA0001476426350000063
其中，ε为最大允许相对分解误差，
Figure BDA0001476426350000064
||·||F是矩阵的F范数；Sit为第t次迭代得到的稀疏矩阵，Lit为第t次迭代得到的低秩矩阵；
异常检测图像标定单元，用于标定
Figure BDA0001476426350000065
时Sit对应的图像为异常检测图像。
优选地，所述更新迭代单元对所述低秩矩阵Li和稀疏矩阵Si进行更新迭代，具体为：
构造奇异值下降快的低秩矩阵
Figure BDA0001476426350000066
利用随机矩阵
Figure BDA0001476426350000067
和
Figure BDA0001476426350000068
对
Figure BDA0001476426350000069
进行投影得到Y1与Y2：
Figure BDA00014764263500000610
其中，
Figure BDA00014764263500000611
和
Figure BDA00014764263500000612
为实数集，x＝二维矩阵Xi的列数，y＝二维矩阵Xi的行数；
对矩阵Y1与Y2进行QR分解：Y1＝Q1R1，Y2＝Q2R2；
对低秩矩阵
Figure BDA00014764263500000613
进行秩为r的估计，得到低秩矩阵Lit：
Figure BDA00014764263500000614
其中，q为非负整数，由用户预先设定；
利用Lit对Sit进行更新：Sit＝PΩ(Xi-Lit)。PΩ(·)是指将矩阵投影到集合Ω上，Ω是|X-Lit|前k个最大元素组成集合的非空子集，k≥1。
本发明采用以上技术方案，至少具备以下有益效果：
由上述技术方案可知，本发明一实施例提供的一种瓶装液体异物检测方法及系统，在进入生产线前将瓶装液体进行倒置，在生产线上两个不同位置放置两台图像采集装置(例如摄像机)对相同区域进行成像，将采集到的序列图像(生产线上同一倒置瓶装液体在不同时刻的彩色图像)进行处理：
首先，利用图像中的灰度特性进行有效检测区域的标定：将采集到的图像进行灰度化及去噪处理，有效检测区域的边界处灰度值局部最小，利用这一特性进行有效检测区域的标定，消除边界区域对检测结果带来的干扰，能够减少计算时间。
其次，基于稀疏表征的方法对图像中的异物进行检测。稀疏表征的方法将图像分为低秩部分和稀疏部分，稀疏部分是含有异常的部分。基于稀疏表征的方法用于瓶装液体异物检测能适应于复杂的背景，能将异常从复杂的背景完整的检测出来，抗噪性能好，更加利于实际生产中复杂、干扰大的环境。本发明采用的基于稀疏表征的序列图像瓶装液体异物检测检测精度高，抗噪性好，且对设备要求不高，降低了检测系统的成本，为生产线上瓶装液体异物检测自动化的实现提供了技术支持。
再者，本发明只对倒置后的瓶装液体采集两个不同时刻的彩色图像，基于序列图像消除了瓶身上划痕与瑕疵所带来的干扰，且解决了实际生产中回收利用的废瓶中异物检测困难的问题，且降低了对设备的要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种瓶装液体异物检测方法的流程示意图；
图2A～图2B分别为本发明一实施例提供的第一异常检测图像和第二异常检测图像；
图3为本发明一实施例提供的消除瓶身上的划痕与瑕疵干扰，输出的瓶装液体异物检测结果；
图4为本发明一实施例提供的一种瓶装液体异物检测系统的示意框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
参见图1，本发明一实施例提供的一种瓶装液体异物检测方法，在生产线的不同位置分别设置第一图像采集装置和第二图像采集装置后，执行以下步骤：
步骤S1、分别读取第一图像采集装置和第二图像采集装置拍摄的第一彩色图像和第二彩色图像，并将所述第一彩色图像和第二彩色图像分别转换为第一灰度图像和第二灰度图像；其中，所述第一彩色图像和第二彩色图像为生产线上同一倒置瓶装液体在不同时刻的彩色图像；
步骤S2、分别对所述第一灰度图像和第二灰度图像进行有效检测区域的标定；
参见图2A～图2B，步骤S3、分别对第一灰度图像中的有效检测区域和第二灰度图像中的有效检测区域进行稀疏表征，得到第一异常检测图像和第二异常检测图像；
步骤S4、分别对所述第一异常检测图像和第二异常检测图像进行二值化，得到二值化的第一异常检测图像和二值化的第二异常检测图像；
步骤S5、分别对二值化的第一异常检测图像和二值化的第二异常检测图像中的不同连通域进行标记；
参见图3，步骤S6、删除二值化的第一异常检测图像和二值化的第二异常检测图像中重合的连通域所对应的图像，判定剩余的连通域为瓶装液体异物。
由上述技术方案可知，本发明一实施例提供的一种瓶装液体异物检测方法，在进入生产线前将瓶装液体进行倒置，在生产线上两个不同位置放置两台图像采集装置(例如摄像机)对相同区域进行成像，将采集到的序列图像(生产线上同一倒置瓶装液体在不同时刻的彩色图像)进行处理：
首先，利用图像中的灰度特性进行有效检测区域的标定：将采集到的图像进行灰度化及去噪处理，有效检测区域的边界处灰度值局部最小，利用这一特性进行有效检测区域的标定，消除边界区域对检测结果带来的干扰，能够减少计算时间。
其次，基于稀疏表征的方法对图像中的异物进行检测。稀疏表征的方法将图像分为低秩部分和稀疏部分，稀疏部分是含有异常的部分。基于稀疏表征的方法用于瓶装液体异物检测能适应于复杂的背景，能将异常从复杂的背景完整的检测出来，抗噪性能好，更加利于实际生产中复杂、干扰大的环境。本发明采用的基于稀疏表征的序列图像瓶装液体异物检测检测精度高，抗噪性好，且对设备要求不高，降低了检测系统的成本，为生产线上瓶装液体异物检测自动化的实现提供了技术支持。
再者，本发明只对倒置后的瓶装液体采集两个不同时刻的彩色图像，基于序列图像消除了瓶身上划痕与瑕疵所带来的干扰，且解决了实际生产中回收利用的废瓶中异物检测困难的问题，且降低了对设备的要求。
在具体实践中，利用本发明提供的这种瓶装液体异物检测方法对生产线上的一瓶瓶身带有划痕的啤酒为实验对象进行异物检测，图2A～图2B为利用稀疏表征方法得到的同一瓶装液体在不同时刻的第一异常检测图像和第二异常检测图像，可以看出稀疏表征方法可以完整检测出所有的异常(包含瓶身的异常)，参见图3为消除瓶身上的划痕与瑕疵干扰，输出的瓶装液体异物检测结果。由实验经过可以看出，本发明提供的这种瓶装液体异物检测方法，能够准确检测出瓶装液体中真正含有的异物，检测精度高。
优选地，所述步骤S2包括：
步骤S21、将灰度图像Hi按列等分为两个子灰度图像Hi1和Hi2，其中，i＝1,2，i＝1时，H1为第一灰度图像；i＝2时，H2为第二灰度图像；
步骤S22、根据公式
Figure BDA0001476426350000091
计算子灰度图像Hi1的每列像素灰度值Si1(l)，根据公式
Figure BDA0001476426350000092
计算Hi2的每列像素灰度值Si2(l)；
其中，m为灰度图像Hi像素的总行数，m≥1，为正整数；n为灰度图像Hi像素的总列数，n≥2，为正整数；I(m,l)为第m行第l列像素的灰度值；
步骤S23、求Si1(l)的最小值minSi1(l)和Si2(l)的最小值minSi2(l)，并将minSi1(l)所在的列和minSi2(l)所在的列之间的区域标定为有效检测区域。
优选地，所述步骤S3包括：
步骤S31、将有效检测区域所对应的灰度图像Hi转换为二维矩阵Xi；
步骤S32、将二维矩阵Xi近似分解为低秩矩阵Li与稀疏矩阵Si之和：Xi～Li+Si,rank(Li)≤r,rank(Si)≤k；其中，rank(Li)为低秩矩阵Li的秩，r为rank(Li)的最大值；card(Si)为稀疏矩阵Si的非零元素的个数，k为card(Si)的最大值；
步骤S33、将二维矩阵Xi赋值给Li，将零矩阵赋值给Si，以初始化低秩矩阵Li和稀疏矩阵Si；
步骤S34、计算第t次相对分解误差
Figure BDA0001476426350000101
其中t≥1；
步骤S35、当第t次相对分解误差
Figure BDA0001476426350000102
时，对低秩矩阵Li和稀疏矩阵Si进行更新迭代，直到
Figure BDA0001476426350000103
其中，ε为最大允许相对分解误差，
Figure BDA0001476426350000104
||·||F是矩阵的F范数；Sit为第t次迭代得到的稀疏矩阵，Lit为第t次迭代得到的低秩矩阵；
步骤S36、标定
Figure BDA0001476426350000105
时Sit对应的图像为异常检测图像。
优选地，所述步骤S35中，对所述低秩矩阵Li和稀疏矩阵Si进行更新迭代，具体为：
步骤S351、构造奇异值下降快的低秩矩阵
Figure BDA0001476426350000106
Figure BDA0001476426350000107
步骤S352、利用随机矩阵
Figure BDA0001476426350000108
和
Figure BDA0001476426350000109
对
Figure BDA00014764263500001010
进行投影得到Y1与Y2：
Figure BDA00014764263500001011
其中，
Figure BDA00014764263500001012
和
Figure BDA00014764263500001013
为实数集，x＝二维矩阵Xi的列数，y＝二维矩阵Xi的行数；
步骤S353、对矩阵Y1与Y2进行QR分解：Y1＝Q1R1，Y2＝Q2R2；
步骤S354、对低秩矩阵
Figure BDA00014764263500001014
进行秩为r的估计，得到低秩矩阵Lit：
Figure BDA00014764263500001015
其中，q为非负整数，由用户预先设定；
步骤S355、利用Lit对Sit进行更新：Sit＝PΩ(Xi-Lit)。PΩ(·)是指将矩阵投影到集合Ω上，Ω是|X-Lit|前k个最大元素组成集合的非空子集，k≥1。
优选地，所述步骤S4具体为：
利用固定阈值分割法，分别对所述第一异常检测图像和第二异常检测图像进行二值化，得到二值化的第一异常检测图像和二值化的第二异常检测图像。
优选地，所述步骤S5具体为：
分别对二值化的第一异常检测图像和二值化的第二异常检测图像中的不同连通域进行标记，用不同的数值作为每个连通域的标记值；
根据不同的标记值依次找到二值化的第一异常检测图像中连通域所在的位置，并判断二值化的第二异常检测图像相应位置是否也存在连通域，若是，则将所述连通域所在区域标记值赋值为0，去除所述连通域。
参见图4，本发明还提出了一种瓶装液体异物检测系统100，包括设置在生产线的不同位置的第一图像采集装置101和第二图像采集装置102，还包括：
图像读取单元103，用于分别读取第一图像采集装置和第二图像采集装置拍摄的第一彩色图像和第二彩色图像，并将所述第一彩色图像和第二彩色图像分别转换为第一灰度图像和第二灰度图像；其中，所述第一彩色图像和第二彩色图像为生产线上同一倒置瓶装液体在不同时刻的彩色图像；
检测区域标定单元104，用于分别对所述第一灰度图像和第二灰度图像进行有效检测区域的标定；
稀疏表征单元105，用于分别对第一灰度图像中的有效检测区域和第二灰度图像中的有效检测区域进行稀疏表征，得到第一异常检测图像和第二异常检测图像；
二值化单元106，用于分别对所述第一异常检测图像和第二异常检测图像进行二值化，得到二值化的第一异常检测图像和二值化的第二异常检测图像；
连通域标记单元107，用于分别对二值化的第一异常检测图像和二值化的第二异常检测图像中的不同连通域进行标记；
判定单元108，用于删除二值化的第一异常检测图像和二值化的第二异常检测图像中重合的连通域所对应的图像，判定剩余的连通域为瓶装液体异物。
优选地，所述检测区域标定单元104包括：
等分单元，用于将灰度图像Hi按列等分为两个子灰度图像Hi1和Hi2，其中，i＝1,2，i＝1时，H1为第一灰度图像；i＝2时，H2为第二灰度图像；
第一计算单元，用于根据公式
Figure BDA0001476426350000111
计算子灰度图像Hi1的每列像素灰度值Si1(l)，根据公式
Figure BDA0001476426350000121
计算Hi2的每列像素灰度值Si2(l)；
其中，m为灰度图像Hi像素的总行数，m≥1，为正整数；n为灰度图像Hi像素的总列数，n≥2，为正整数；I(m,l)为第m行第l列像素的灰度值；
第二计算单元，用于求Si1(l)的最小值minSi1(l)和Si2(l)的最小值minSi2(l)，并将minSi1(l)所在的列和minSi2(l)所在的列之间的区域标定为有效检测区域。
优选地，所述稀疏表征单元105包括：
转换单元，用于将有效检测区域所对应的灰度图像Hi转换为二维矩阵Xi；
分解单元，用于将二维矩阵Xi近似分解为低秩矩阵Li与稀疏矩阵Si之和：Xi～Li+Si,rank(Li)≤r,rank(Si)≤k；其中，rank(Li)为低秩矩阵Li的秩，r为rank(Li)的最大值；card(Si)为稀疏矩阵Si的非零元素的个数，k为card(Si)的最大值；
赋值单元，用于将二维矩阵Xi赋值给Li，将零矩阵赋值给Si，以初始化低秩矩阵Li和稀疏矩阵Si；
第三计算单元，用于计算第t次相对分解误差
Figure BDA0001476426350000122
其中t≥1；
更新迭代单元，用于当第t次相对分解误差
Figure BDA0001476426350000123
时，对低秩矩阵Li和稀疏矩阵Si进行更新迭代，直到
Figure BDA0001476426350000124
其中，ε为最大允许相对分解误差，
Figure BDA0001476426350000125
||·||F是矩阵的F范数；Sit为第t次迭代得到的稀疏矩阵，Lit为第t次迭代得到的低秩矩阵；
异常检测图像标定单元，用于标定
Figure BDA0001476426350000126
时Sit对应的图像为异常检测图像。
优选地，所述更新迭代单元对所述低秩矩阵Li和稀疏矩阵Si进行更新迭代，具体为：
构造奇异值下降快的低秩矩阵
Figure BDA0001476426350000127
利用随机矩阵
Figure BDA0001476426350000128
和
Figure BDA0001476426350000129
对
Figure BDA00014764263500001210
进行投影得到Y1与Y2：
Figure BDA00014764263500001211
其中，
Figure BDA00014764263500001212
和
Figure BDA00014764263500001213
为实数集，x＝二维矩阵Xi的列数，y＝二维矩阵Xi的行数；
对矩阵Y1与Y2进行QR分解：Y1＝Q1R1，Y2＝Q2R2；
对低秩矩阵
Figure BDA00014764263500001214
进行秩为r的估计，得到低秩矩阵Lit：
Figure BDA0001476426350000131
其中，q为非负整数，由用户预先设定；
利用Lit对Sit进行更新：Sit＝PΩ(Xi-Lit)。PΩ(·)是指将矩阵投影到集合Ω上，Ω是|X-Lit|前k个最大元素组成集合的非空子集，k≥1。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

Claims (8)

1.一种瓶装液体异物检测方法，其特征在于，在生产线的不同位置分别设置第一图像采集装置和第二图像采集装置后，执行以下步骤：
步骤S1、分别读取第一图像采集装置和第二图像采集装置拍摄的第一彩色图像和第二彩色图像，并将所述第一彩色图像和第二彩色图像分别转换为第一灰度图像和第二灰度图像；其中，所述第一彩色图像和第二彩色图像为生产线上同一倒置瓶装液体在不同时刻的彩色图像；
步骤S2、分别对所述第一灰度图像和第二灰度图像进行有效检测区域的标定；
步骤S3、分别对第一灰度图像中的有效检测区域和第二灰度图像中的有效检测区域进行稀疏表征，得到第一异常检测图像和第二异常检测图像；
步骤S4、分别对所述第一异常检测图像和第二异常检测图像进行二值化，得到二值化的第一异常检测图像和二值化的第二异常检测图像；
步骤S5、分别对二值化的第一异常检测图像和二值化的第二异常检测图像中的不同连通域进行标记；
步骤S6、删除二值化的第一异常检测图像和二值化的第二异常检测图像中重合的连通域所对应的图像，判定剩余的连通域为瓶装液体异物；
其中，所述步骤S2包括：
步骤S21、将灰度图像Hi按列等分为两个子灰度图像Hi1和
Figure FDA0002375290480000013
其中，i＝1,2，i＝1时，H1为第一灰度图像；i＝2时，H2为第二灰度图像；
步骤S22、根据公式
Figure FDA0002375290480000011
计算子灰度图像Hi1的每列像素灰度值Si1(l)，根据公式
Figure FDA0002375290480000012
计算
Figure FDA0002375290480000014
的每列像素灰度值Si2(l)；
其中，m为灰度图像Hi像素的总行数，m≥1，为正整数；n为灰度图像Hi像素的总列数，n≥2，为正整数；I(m,l)为第m行第l列像素的灰度值；
步骤S23、求Si1(l)的最小值min Si1(l)和Si2(l)的最小值min Si2(l)，并将min Si1(l)所在的列和min Si2(l)所在的列之间的区域标定为有效检测区域。
2.根据权利要求1所述的瓶装液体异物检测方法，其特征在于，所述步骤S3包括：
步骤S31、将有效检测区域所对应的灰度图像Hi转换为二维矩阵Xi；
步骤S32、将二维矩阵Xi近似分解为低秩矩阵Li与稀疏矩阵Si之和：Xi～Li+Si,rank(Li)≤r,card(Si)≤k；其中，rank(Li)为低秩矩阵Li的秩，r为rank(Li)的最大值；card(Si)为稀疏矩阵Si的非零元素的个数，k为card(Si)的最大值；
步骤S33、将二维矩阵Xi赋值给Li，将零矩阵赋值给Si，以初始化低秩矩阵Li和稀疏矩阵Si；
步骤S34、计算第t次相对分解误差
Figure FDA0002375290480000021
其中t≥1；
步骤S35、当第t次相对分解误差
Figure FDA0002375290480000022
时，对低秩矩阵Li和稀疏矩阵Si进行更新迭代，直到
Figure FDA0002375290480000023
其中，ε为最大允许相对分解误差，
Figure FDA0002375290480000024
s.t.rank(Li)≤r,card(Si)≤k，||·||F是矩阵的F范数；
Figure FDA00023752904800000215
为第t次迭代得到的稀疏矩阵，
Figure FDA00023752904800000216
为第t次迭代得到的低秩矩阵；
步骤S36、标定
Figure FDA0002375290480000025
时
Figure FDA00023752904800000217
对应的图像为异常检测图像。
3.根据权利要求2所述的瓶装液体异物检测方法，其特征在于，所述步骤S35中，对所述低秩矩阵Li和稀疏矩阵Si进行更新迭代，具体为：
步骤S351、构造奇异值下降快的低秩矩阵L～it：
Figure FDA0002375290480000026
步骤S352、利用随机矩阵
Figure FDA0002375290480000027
和
Figure FDA0002375290480000028
对
Figure FDA0002375290480000029
进行投影得到Y1与Y2：
Figure FDA00023752904800000210
其中，
Figure FDA00023752904800000211
和
Figure FDA00023752904800000212
为实数集，x＝二维矩阵Xi的列数，y＝二维矩阵Xi的行数；
步骤S353、对矩阵Y1与Y2进行QR分解：Y1＝Q1R1，Y2＝Q2R2；
步骤S354、对低秩矩阵
Figure FDA00023752904800000213
进行秩为r的估计，得到低秩矩阵Lit：
Figure FDA00023752904800000214
其中，q为非负整数，由用户预先设定；
步骤S355、利用Lit对
Figure FDA00023752904800000218
进行更新：Sit＝PΩ(Xi-Lit)，PΩ(·)是指将矩阵投影到集合Ω上，Ω是|X-Lit|前k个最大元素组成集合的非空子集，k≥1。
4.根据权利要求1所述的瓶装液体异物检测方法，其特征在于，所述步骤S4具体为：
利用固定阈值分割法，分别对所述第一异常检测图像和第二异常检测图像进行二值化，得到二值化的第一异常检测图像和二值化的第二异常检测图像。
5.根据权利要求4所述的瓶装液体异物检测方法，其特征在于，所述步骤S5具体为：
分别对二值化的第一异常检测图像和二值化的第二异常检测图像中的不同连通域进行标记，用不同的数值作为每个连通域的标记值；
根据不同的标记值依次找到二值化的第一异常检测图像中连通域所在的位置，并判断二值化的第二异常检测图像相应位置是否也存在连通域，若是，则将所述连通域所在区域标记值赋值为0，去除所述连通域。
6.一种瓶装液体异物检测系统，其特征在于，包括设置在生产线的不同位置的第一图像采集装置和第二图像采集装置，还包括：
图像读取单元，用于分别读取第一图像采集装置和第二图像采集装置拍摄的第一彩色图像和第二彩色图像，并将所述第一彩色图像和第二彩色图像分别转换为第一灰度图像和第二灰度图像；其中，所述第一彩色图像和第二彩色图像为生产线上同一倒置瓶装液体在不同时刻的彩色图像；
检测区域标定单元，用于分别对所述第一灰度图像和第二灰度图像进行有效检测区域的标定；
稀疏表征单元，用于分别对第一灰度图像中的有效检测区域和第二灰度图像中的有效检测区域进行稀疏表征，得到第一异常检测图像和第二异常检测图像；
二值化单元，用于分别对所述第一异常检测图像和第二异常检测图像进行二值化，得到二值化的第一异常检测图像和二值化的第二异常检测图像；
连通域标记单元，用于分别对二值化的第一异常检测图像和二值化的第二异常检测图像中的不同连通域进行标记；
判定单元，用于删除二值化的第一异常检测图像和二值化的第二异常检测图像中重合的连通域所对应的图像，判定剩余的连通域为瓶装液体异物；
其中，所述检测区域标定单元包括：
等分单元，用于将灰度图像Hi按列等分为两个子灰度图像Hi1和
Figure FDA00023752904800000412
其中，i＝1,2，i＝1时，H1为第一灰度图像；i＝2时，H2为第二灰度图像；
第一计算单元，用于根据公式
Figure FDA0002375290480000041
计算子灰度图像Hi1的每列像素灰度值Si1(l)，根据公式
Figure FDA0002375290480000042
计算
Figure FDA00023752904800000413
的每列像素灰度值Si2(l)；
其中，m为灰度图像Hi像素的总行数，m≥1，为正整数；n为灰度图像Hi像素的总列数，n≥2，为正整数；I(m,l)为第m行第l列像素的灰度值；
第二计算单元，用于求Si1(l)的最小值min Si1(l)和Si2(l)的最小值min Si2(l)，并将min Si1(l)所在的列和min Si2(l)所在的列之间的区域标定为有效检测区域。
7.根据权利要求6所述的瓶装液体异物检测系统，其特征在于，所述稀疏表征单元包括：
转换单元，用于将有效检测区域所对应的灰度图像Hi转换为二维矩阵Xi；
分解单元，用于将二维矩阵Xi近似分解为低秩矩阵Li与稀疏矩阵Si之和：Xi～Li+Si,rank(Li)≤r,card(Si)≤k；其中，rank(Li)为低秩矩阵Li的秩，r为rank(Li)的最大值；card(Si)为稀疏矩阵Si的非零元素的个数，k为card(Si)的最大值；
赋值单元，用于将二维矩阵Xi赋值给Li，将零矩阵赋值给Si，以初始化低秩矩阵Li和稀疏矩阵Si；
第三计算单元，用于计算第t次相对分解误差
Figure FDA0002375290480000043
其中t≥1；
更新迭代单元，用于当第t次相对分解误差
Figure FDA0002375290480000044
时，对低秩矩阵Li和稀疏矩阵Si进行更新迭代，直到
Figure FDA0002375290480000045
其中，ε为最大允许相对分解误差，
Figure FDA0002375290480000046
s.t.rank(Li)≤r,card(Si)≤k，||·||F是矩阵的F范数；
Figure FDA00023752904800000414
为第t次迭代得到的稀疏矩阵，
Figure FDA00023752904800000415
为第t次迭代得到的低秩矩阵；异常检测图像标定单元，用于标定
Figure FDA0002375290480000047
时
Figure FDA00023752904800000416
对应的图像为异常检测图像。
8.根据权利要求7所述的瓶装液体异物检测系统，其特征在于，所述更新迭代单元对所述低秩矩阵Li和稀疏矩阵Si进行更新迭代，具体为：
构造奇异值下降快的低秩矩阵
Figure FDA0002375290480000048
利用随机矩阵
Figure FDA0002375290480000049
和
Figure FDA00023752904800000410
对
Figure FDA00023752904800000411
进行投影得到Y1与Y2：
Figure FDA0002375290480000051
其中，
Figure FDA0002375290480000052
和
Figure FDA0002375290480000053
为实数集，x＝二维矩阵Xi的列数，y＝二维矩阵Xi的行数；
对矩阵Y1与Y2进行QR分解：Y1＝Q1R1，Y2＝Q2R2；
对低秩矩阵
Figure FDA0002375290480000054
进行秩为r的估计，得到低秩矩阵Lit：
Figure FDA0002375290480000055
其中，q为非负整数，由用户预先设定；
利用Lit对
Figure FDA0002375290480000056
进行更新：Sit＝PΩ(Xi-Lit)，PΩ(·)是指将矩阵投影到集合Ω上，Ω是|X-Lit|前k个最大元素组成集合的非空子集，k≥1。
CN201711166666.4A 2017-11-21 2017-11-21 一种瓶装液体异物检测方法及系统 Active CN107944444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711166666.4A CN107944444B (zh) 2017-11-21 2017-11-21 一种瓶装液体异物检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711166666.4A CN107944444B (zh) 2017-11-21 2017-11-21 一种瓶装液体异物检测方法及系统

Publications (2)

Publication Number Publication Date
CN107944444A CN107944444A (zh) 2018-04-20
CN107944444B true CN107944444B (zh) 2020-07-28

Family

ID=61930406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711166666.4A Active CN107944444B (zh) 2017-11-21 2017-11-21 一种瓶装液体异物检测方法及系统

Country Status (1)

Country Link
CN (1) CN107944444B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109143393B (zh) * 2018-08-01 2020-06-30 哈尔滨工业大学 瓶装透明药液异物检测同步跟踪视觉补偿方法
CN109433641B (zh) * 2018-09-30 2021-03-16 南通大学 基于机器视觉的片剂胶囊灌装遗漏智能检测方法
CN110426745B (zh) * 2019-01-30 2021-01-05 西安电子科技大学 基于块混合高斯低秩矩阵分解的毫米波图像异物检测方法
CN110132985A (zh) * 2019-05-30 2019-08-16 中国科学院长春光学精密机械与物理研究所 基于低轶稀疏分解的瓶装液体可见异物检测方法及其系统
CN112818875B (zh) * 2021-02-04 2024-02-02 成都理工大学 一种基于低秩稀疏分解的易燃液体检测信号去噪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427296A (zh) * 2015-11-11 2016-03-23 北京航空航天大学 一种基于超声图像低秩分析的甲状腺病灶图像识别方法
CN105427300A (zh) * 2015-12-21 2016-03-23 复旦大学 一种基于低秩表示和学习字典的高光谱图像异常探测算法
CN105930308A (zh) * 2016-04-14 2016-09-07 中国科学院西安光学精密机械研究所 基于低秩恢复的非负矩阵分解方法
CN106096571A (zh) * 2016-06-22 2016-11-09 北京化工大学 一种基于emd特征提取和稀疏表示的细胞分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427296A (zh) * 2015-11-11 2016-03-23 北京航空航天大学 一种基于超声图像低秩分析的甲状腺病灶图像识别方法
CN105427300A (zh) * 2015-12-21 2016-03-23 复旦大学 一种基于低秩表示和学习字典的高光谱图像异常探测算法
CN105930308A (zh) * 2016-04-14 2016-09-07 中国科学院西安光学精密机械研究所 基于低秩恢复的非负矩阵分解方法
CN106096571A (zh) * 2016-06-22 2016-11-09 北京化工大学 一种基于emd特征提取和稀疏表示的细胞分类方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Combined sparse and collaborative representation for hyperspectral target detection;Wei Li等;《Pattern Recognition》;20150606;第3904-3916页 *
Hyperspectral Image Classification by Fusing Collaborative and Sparse Representations;Wei Li等;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;20160930;第9卷(第9期);第4178-4187页 *
Single and Multiple Object Tracking Using a Multi-Feature Joint Sparse Representation;Weiming Hu等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20150430;第37卷(第4期);第816-833页 *
Sparse and Low-Rank Graph for Discriminant Analysis of Hyperspectral Imagery;Wei Li等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20160731;第54卷(第7期);第4094-4105页 *
基于稀疏表示的高光谱图像分类和异常检测研究;刘佳彬;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第03期);刘佳彬 *
基于自适应混合模型的药液异物视觉检测;李小迷等;《计算机工程》;20110228;第37卷(第2期);第212-213页 *
瓶装液体杂质检测系统的研究;刘学雨;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150615(第6期);I138-702 *

Also Published As

Publication number Publication date
CN107944444A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107944444B (zh) 一种瓶装液体异物检测方法及系统
EP3937128A3 (en) Image defect detection method and apparatus, electronic device, storage medium and product
Zhou et al. Automated visual inspection of glass bottle bottom with saliency detection and template matching
CN106934800B (zh) 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置
CN106839976B (zh) 一种检测镜头中心的方法及装置
CN108344743A (zh) 一种基于机器视觉药品泡罩包装缺陷检测方法及系统
CN111932501A (zh) 一种基于语义分割的密封圈表面缺陷检测方法
CN113240642A (zh) 图像缺陷检测方法及装置、电子设备、存储介质
CN106841212B (zh) 一种基于局部pca和bp神经网络的瓶口缺陷检测方法
CN108805862B (zh) 一种基于改进结构相似度的标签鉴别方法
CN104118609A (zh) 贴标质量检测方法和装置
US11315229B2 (en) Method for training defect detector
Uluişik et al. Image processing based machine vision system for tomato volume estimation
CN112132796A (zh) 以反馈数据自主学习提升检测精度的视觉检测方法和系统
CN113538603B (zh) 一种基于阵列产品的光学检测方法、系统和可读存储介质
CN109932369A (zh) 一种异形显示面板检测方法及装置
CN114998314B (zh) 一种基于计算机视觉的pcb电路板缺陷检测方法
Felipe et al. Vision-based liquid level detection in amber glass bottles using OpenCV
CN115752969A (zh) 一种铝箔封口密封性检测方法及系统和设备
JP7298176B2 (ja) 欠点検査装置および学習済みモデル
Han et al. SSGD: A smartphone screen glass dataset for defect detection
Sharma et al. Empty and filled bottle inspection system
Kumchoo et al. Detection of loose cap and safety ring for pharmaceutical glass bottles
CN115797324A (zh) 一种玻璃瓶口缺陷检测方法、装置、电子设备以及存储介质
Xu et al. Research on real-time quality inspection of PET bottle caps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant