CN101819164B - 一种饮料灌装后杂质检测装置及方法 - Google Patents

Abstract

本发明公开了一种饮料灌装后杂质检测装置及方法，通过摄像机或照相机获取检测目标的连续帧图像后采用此方法分析图像中存在的可见物运动方向，包括以下步骤：区域分割，提取连通域结构信息，通过连通域匹配获取目标运动轨迹，最后根据得到的连通域运动轨迹描述和连通域本身的结构特性判别连通域的性质，达到饮料灌装后杂质检测的效果。本发明采用的图像处理方法可对可见物目标进行良好的分割和跟踪，可完全代替人工检测，节约了成本。

Description

一种饮料灌装后杂质检测装置及方法

技术领域

本发明涉及一种饮料灌装后杂质检测装置及方法。

背景技术

  在饮料灌装和封盖过程中，由于过滤不佳、容器清洗不净、封装时碰撞等原因，会使饮料中存在固体沉淀、悬浮物、毛发、玻璃碎片等异物，这些可见异物的存在极大影响了产品质量。目前国内多采用人工灯检的方法鉴别可见异物，通过人眼目测判断，若存在异物将其手动剔除，人工检测不可避免的存在效率低、漏检率高，精度低等问题，且长期从事人工灯检还给工作人员的健康带来危害。

   机器视觉检测技术已经成功应用于很多行业，例如啤酒瓶的空瓶检测，集成电路的检测等领域，机器视觉检测代替人工检测成为一种发展方向。

       检测灌装后饮料中的杂质是灌装后饮料质量检测的关键环节，杂质检测需要解决以下问题：首先必须分离前景与背景，实现区域分离，由于异质形成的区域图像往往与背景灰度相近，采用阈值法很难得到信息量完全的图像，故我们选用先进行边缘检测再进行区域填充的方法实现区域分割；其次必须提取分离出能代表区域特性的区域结构特征，因为预处理过程中采用的高斯滤波，区域分割中采用的区域填充都容易使距离较近的可见物连成一块，所以必须进行连通域的修正，我们对可疑连通域最小外接矩形区域所对应的预处理前图像进行分析辨别区域粘连现象，如判别为区域粘连，则对该连通域信息进行更改修正；再次，必须根据每个连通域的结构特征寻找连通域在连续图像中的运动轨迹，寻找连通域运动轨迹我们采用竞争的匹配算法；最后，获得连通域运动轨迹后根据连通域运动方向辨别可见物是气泡还是异物。

发明内容

为实现上述发明目的，采用如下技术方案：

一种饮料灌装后杂质检测装置，该装置包括光源和相机，所述光源和相机与待检品相配合；所述相机连接到处理装置的目标分割单元；所述处理装置的目标分割单元、信息提取单元、信息匹配单元、轨迹获取单元和产品质量分析单元依次连接；所述产品分析单元还与处理装置外的控制设备连接。

一种饮料灌装后杂质检测方法，该杂质检测方法如下：

Step1：采集待检品图像并进行备份；

Step2：图像预处理：对采集的待检品图像增强其对比度并进行滤波；

Step3：区域填充及分割：对预处理后的图像进行边缘检测后，进行区域填充及分割；

Step4：连通域分析及修正：对分割出来的前景区域进行连通域分析及修正；

Step5：连通域修正后进行判断：连通域修正后需要检测待检品图像是否采集完，如还有未完成的帧需要采集，则等待下一帧图像的到来，否则继续进行下一步处理；

Step6：匹配连通域信息：对采集的若干帧图像提取得到的连通域信息进行匹配，通过匹配连通域信息，获得可见物的连通域轨迹；

Step7：结合连通域信息和连通域轨迹，判断出每个连通域的性质，根据连通域的性质判断灌装后饮料中是否存在杂质。

在所述的step1或step2中，所述待检品图像是用相机提取的饮料灌装后瓶身图像，且图像为灰度图像或经过灰度化的彩色图像。

在所述的step3中区域填充的方法包括以下步骤：

a．对边缘检测后的图像进行逐行扫描，填充每行中存在的距离小于最大填充距离s的边缘信息；

b．对边缘检测后的图像进行逐列扫描，填充每列中存在的距离小于最大填充距离s的边缘信息。

在所述的step4中，所述连通域分析步骤如下：

a．运用区域生长法提取每个连通域信息；

b．分析每个连通域信息，将面积小于设定的最小分析区域面积al并且周长平方与面积比例大于设定的系数p的区域予以删除；

c．将符合条件的连通域信息进行编号，并将每个连通域匹配状态标记为未匹配。

在所述的step4中，所述连通域修正步骤如下：

a．寻找最小外接矩形宽或高大于设定最小值rl并且宽和高均小于设定最大值r2的原连通域信息，如找不到，转到步骤f；

b．提取原连通域最小外接矩形区域的预处理前图像数据；

c．运用最大类间方差法计算步骤b中提取的图像阈值对图像进行区域分割；

d．运用区域生长法提取新连通域信息，如连通域个数为1转到步骤a；

e．用新的连通域信息更新原连通域信息，转到步骤a；

f．结束连通域修正。

所述连通域信息包括连通域的面积、周长、周长平方与面积比和最小外接矩形的左右上下位置。

在所述的step6中，所述匹配连通域的具体匹配步骤如下：

a．寻找第n帧中没有找到匹配的区域，其中n为大于零小于N的自然数，n初始值为1，如能找到则进入步骤b），否则进入步骤e）；

b．对第n帧中未匹配的连通域a，计算与第n+1帧所有连通域的匹配系数，并将匹配系数存入匹配系数数组，数组中每项记录的是匹配系数和连通域编号，匹配系数factor的计算公式为：

factor= wfactor+hfactor+whfactor+denfactor+areafactor+distancefactor；

其中，wfactor 连通域宽度比对系数，hfactor 连通域高度比对系数、whfactor 连通域宽高比例比对系数、denfactor连通域周长平方面积比比对系数、areafactor连通域面积比对系数、distancefactor连通域距离系数；

wfactor=min(wn,wn1)/max(wn,wn1);式中wn为连通域a的宽度，wn1为第n+1帧中连通域x的宽度，min(wn,wn1)表示wn与wn1的最小值，max(wn,wn1) 表示wn与wn1的最大值；

hfactor=min(hn,hn1)/max(hn,hn1); 式中hn为连通域a的高度，hn1为第n+1帧中连通域x的高度；

whfactor=min(min(wn,hn)/max(wn,hn),min(wn1,hn1)/max(wn1,hn1))/max(min(wn,hn)/max(wn,hn),min(wn1,hn1)/max(wn1,hn1));

denfactor= min(densityn, densityn 1)/max(densityn , densityn 1);

其中

densityn=girthn*girthn/arean; 式中girthn为连通域a的周长，arean为连通域a的面积；

densityn1=girthn1*girthn1/arean1; 式中girthn1为第n+1帧中连通域x的周长，arean1为第n+1帧中连通域x的面积；

areafactor=min(arean,arean1)/max(arean,arean1);

distancefactor=(MAX_DISTANCE-distance)/MAX_DISTANCE; 式中 MAX_DISTANCE为可见物的最大活动距离，distance为连通域a与第n+1帧中连通域x的最小外接矩形中心距离；

c．寻找在匹配系数数组内中找到的与连通域a匹配系数最大的连通域x1；

d．如找到的最大匹配系数小于限定的最小合理匹配系数f则将此连通域a的后帧匹配状态标记为已匹配，返回步骤a；如连通域x1是首次被匹配则更新连通域a和连通域x1的匹配信息，将连通域a和连通域x1匹配状态改为已匹配，记录匹配连通域编号和匹配系数，返回步骤a）；如连通域x1之前被第n帧中的连通域b匹配，则比较此次匹配与之前存储的匹配系数，如此次匹配系数大于之前存储的匹配系数，则更新连通域x1的匹配连通域和匹配信息，将连通域a的匹配信息修改为已匹配，匹配连通域为连通域x1，记录匹配系数，并将连通域b的后帧匹配状态修改为未匹配，返回步骤a）；如此次匹配系数小于或者等于之前存储的匹配系数，则将连通域a与连通域x1的匹配系数撤出匹配系数数组并返回步骤c）继续寻找合理的匹配；

e．将n的数值加1，如n>N-1则结束匹配，否则返回步骤a。

在所述的step7中，所述连通域的性质为连通域的圆形度或运动方向。 

本发明的有益效果：本发明采用的图像处理方法可对可见物目标进行良好的分割和跟踪，并能根据可见物的运动轨迹判断可见物性质，从而确定产品质量，可完全代替人工检测，节约了成本，并提高了检测质量。

附图说明

图1饮料灌装后杂质检测系统结构图；

图2为本发明的技术方案整体步骤图；

图3为本发明中的连通域修正流程图；

图4为本发明中的连通域匹配流程图；

其中，1光源，2待检品，3相机，4目标分割单元，5信息提取单元，6信息匹配单元，7轨迹获取单元，8产品质量分析单元，9处理装置，10控制设备。

具体实施方案

下面结合附图对本发明进行进一步的详细的说明：

如图1所示，一种饮料灌装后杂质检测装置，该装置包括光源1和相机3，所述光源1和相机3与待检品2相配合；所述相机3连接到处理装置9的目标分割单元4；所述处理装置9的目标分割单元4、信息提取单元5、信息匹配单元6、轨迹获取单元7和产品质量分析单元8依次连接；所述产品分析单元8还与处理装置9外的控制设备10连接。

图像采集来自于用工业相机提取的若干帧经机械装置翻转过的饮料灌装后瓶身图像，照明方案为背光照明，图像为灰度图像或经过灰度化处理的彩色图像。

设系统中每个待检品2采集的图像总帧数为N。

如附图2中所示，图像处理模块接收到一帧图像后对图像进行预处理的第一步：增强对比度。值得注意的是对图像进行最初的处理之前要对图像进行一次原图备份，方便之后进行连通域修正。

增强对比度采用的方案：

a．提取每行图像的像素灰度信息，包括最大灰度值与最小灰度值；

b．分析每行图像的灰度信息，对灰度最大值和灰度最小值差异很小的行不进行处理；

c．分析每行图像的灰度信息，对最小灰度与前一行最小灰度差异较大的行取最小灰度值为上一行图像的最小灰度值；

d．对需要处理的行采用直方图拉伸算法增强对比度。

增强对比度处理后图像检测区域中的可见物变得更加明显，不过图像中仍然存在很多干扰，为了消除图像中的干扰必须对图像进行滤波处理，本发明采用高斯滤波。

如附图2所示，图像滤波后进行区域分割，采用边缘检测后图像填充区域的方法，边缘检测采用canny边缘检测，边缘检测后图像为二值图像，图像填充区域的方法包括以下步骤：

a．取提取边缘后的图像中的边缘区域为前景，其他区域为背景；

b．对图像检测区域进行逐行扫描，填充每行中存在的距离小于最大填充距离s的边缘信息间的区域为前景，其余区域作为背景；

c．对图像检测区域进行逐列扫描，填充每列中存在的距离小于最大填充距离s的边缘信息间的区域为前景，其余区域作为背景。

填充区域后的图像中存在很多代表可见物的连通域，本发明采用区域生长法提取连通域面积，周长和最小外接矩形位置信息，并进行存储，因为预处理过程中采用的高斯滤波，区域分割中采用的区域填充都容易使距离较近的可见物连成一块，所以必须进行连通域的修正。附图3绘制的是连通域修正的算法流程。

连通域分析步骤如下：

a．采用区域生长法对图像检测区域进行连通域分析，提取存在的连通域信息，包括面积，周长，最小外接矩形的左右上下位置；

b．分析每个连通域的信息，面积小于设定的最小分析区域面积al并且周长平方与面积比例大于设定的系数p的区域（检测液体中存在的气泡具有面积小，圆度大的特点）不进行存储，信息予以删除；

c．将其他连通域的信息（包括面积，周长平方与面积比，区域最小外接矩形二维坐标）编号后存入帧连通域信息中，并将每个连通域匹配状态标记为未匹配。

连通域修正步骤如下：

a．寻找符合连通域修正条件（最小外接矩形宽或高大于设定最小值rl并且宽和高均小于设定最大值r2）的原连通域信息，如找不到，转到步骤f；

       b．提取原连通域最小外接矩形区域的预处理前图像数据；

c．运用最大类间方差法提取图像阈值对图像进行区域分割；

d．运用种子法和区域增长法提取新连通域信息，如连通域个数为1转到步骤a；

e．用新的连通域信息更新原连通域信息，转到步骤a；

f．结束连通域修正。

连通域修正后将得到所有可见物在图像中的呈现的连通域信息。

连通域修正后检测待检品2图像是否采集完，如还有未完成的帧需要采集则等待下一帧图像的到来，否则，如已经采集了N帧图像，则对采集的N帧图像提取得到的连通域结构信息进行匹配，附图4匹配流程图。

匹配之前将所有连通域的匹配信息记录为未匹配，匹配系数为零，匹配系数记录了每个连通域与前后帧中连通域的匹配情况，包括与前帧连通域是否匹配，与后帧连通域是否匹配，与前帧连通域匹配系数和匹配连通域编号，与后帧连通域匹配系数和匹配连通域编号，匹配过程中查询与更新匹配系数时前面的帧查询更新与后帧连通域的匹配情况，后面的帧查询更新与前帧的匹配情况，每个连通域都有自己的的匹配连通域编号 。

具体匹配步骤如下(n为大于零小于N的自然数，n初始值为1)：

a．寻找第n帧中没有找到匹配的区域，如能找到则进入步骤b），否则进入步骤e）；

b．对第n帧中未匹配的连通域a，计算与第n+1帧所有连通域的匹配系数，并将匹配系数存入匹配系数数组，数组中每项记录的是匹配系数和连通域编号，匹配系数factor的计算公式为：

factor= wfactor+hfactor+whfactor+denfactor+areafactor+distancefactor；

其中wfactor 连通域宽度比对系数，hfactor 连通域高度比对系数、whfactor 连通域宽高比例比对系数、denfactor连通域周长平方面积比比对系数、areafactor连通域面积比对系数、distancefactor连通域距离系数；

wfactor=min(wn,wn1)/max(wn,wn1);式中wn为连通域a的宽度，wn1为第n+1帧中连通域x的宽度，min(wn,wn1)表示wn与wn1的最小值，max(wn,wn1) 表示wn与wn1的最大值；

hfactor=min(hn,hn1)/max(hn,hn1); 式中hn为连通域a的高度，hn1为第n+1帧中连通域x的高度；

whfactor=min(min(wn,hn)/max(wn,hn),min(wn1,hn1)/max(wn1,hn1))/max(min(wn,hn)/max(wn,hn),min(wn1,hn1)/max(wn1,hn1));

denfactor= min(densityn, densityn 1)/max(densityn , densityn 1);

其中

densityn=girthn*girthn/arean; 式中girthn为连通域a的周长，arean为连通域a的面积；

densityn1=girthn1*girthn1/arean1; 式中girthn1为第n+1帧中连通域x的周长，arean1为第n+1帧中连通域x的面积；

       areafactor=min(arean,arean1)/max(arean,arean1);

       distancefactor=(MAX_DISTANCE-distance)/MAX_DISTANCE; 式中 MAX_DISTANCE为连通域最大活动距离，distance为连通域a与第n+1帧中连通域x的最小外接矩形中心距离；

c．寻找在匹配系数数组内中找到的与连通域a匹配系数最大的连通域x1；

d．如找到的最大匹配系数小于限定的最小合理匹配系数f则将此连通域a的后帧匹配状态标记为已匹配，返回步骤a；如连通域x1是首次被匹配则更新连通域a和连通域x1的匹配信息，将连通域a和连通域x1匹配状态改为已匹配，记录匹配连通域编号和匹配系数，返回步骤a）；如连通域x1之前被第n帧中的连通域b匹配，则比较此次匹配与之前存储的匹配系数，如此次匹配系数大于之前存储的匹配系数，则更新连通域x1的匹配连通域和匹配信息，将连通域a的匹配信息修改为已匹配，匹配连通域为连通域x1，记录匹配系数，并将连通域b的后帧匹配状态修改为未匹配，返回步骤a）；如此次匹配系数小于或者等于之前存储的匹配系数，则将连通域a与连通域x1的匹配系数撤出匹配系数数组并返回步骤c）继续寻找合理的匹配；

e．将n的数值加1，如n>N-1则结束匹配，否则返回步骤a。

匹配完成后本发明利用匹配结果（匹配结果记录了每个连通域在前后帧中的匹配连通域编号和匹配系数）寻找每个连通域在每帧中的位置，根据二维位置坐标来表示连通域运动轨迹，具体实施步骤如下：（假设采集总帧数N为3）：

a．寻找第一帧中某个未寻找轨迹的连通域a1在第二帧中的匹配连通域a2，用二维坐标将连通域a1和第二帧中的连通域a2的位置记录到连通域a1的轨迹表达数组中；

b．寻找第二帧中连通域a2在第三帧中的匹配连通域a3，用二维坐标将第三帧中连通域a3的位置记录到连通域a1轨迹表达数组中；

c．如第一帧中所有连通域轨迹已经寻找完则结束，否则返回步骤a。

获得可见物在图像中所呈现的连通域轨迹后，求出可见物形成的连通域的周长平方与面积比，其中circular表示连通域的周长平方与面积比，s表示连通域周长，d表示连通域面积。

 circular=s*s/d

利用连通域结构信息和运动轨迹来辨别可见物性质，辨别标准如下：

（1）    连通域圆形度大于最大气泡周长面积比mcircular，则判别此连通域代表的可见物为异物；

（2）    连通域运动方向飘忽不定，判别此连通域代表的可见物为异物；

（3）    连通域运动方向与气泡方向相反，则判别此连通域代表的可见物为异物；

最后根据待检品2所有可见物的性质判别待检品2的合格性，如可见物中有异物存在，则判定待检品2不合格，否则判定待检品2合格，最后将检测结果交给现场中的控制设备10，由控制设备10完成不合格品的剔除。

Claims (2)

1.一种饮料灌装后杂质检测方法，其特征是，该杂质检测方法如下：

Step1：采集待检品图像并进行备份；

Step2：图像预处理：对采集的待检品图像增强其对比度并进行滤波；

Step3：区域填充及分割：对预处理后的图像进行边缘检测后，进行区域填充及分割；

Step4：连通域分析及修正：对分割出来的前景区域进行连通域分析及修正；

Step5：连通域修正后进行判断：连通域修正后需要检测待检品图像是否采集完，如还有未完成的帧需要采集，则等待下一帧图像的到来，否则继续进行下一步处理；

Step6：匹配连通域信息：对采集的若干帧图像提取得到的连通域信息进行匹配，通过匹配连通域信息，获得可见物的连通域轨迹；

Step7：结合连通域信息和连通域轨迹，判断出每个连通域的性质，根据连通域的性质判断灌装后饮料中是否存在杂质；

其中：

所述step1或step2中，所述待检品图像是用工业相机提取的饮料灌装后瓶身图像，且图像为灰度图像或经过灰度化的彩色图像；

所述step3中区域填充的方法包括以下步骤：

a．对边缘检测后的图像进行逐行扫描，填充每行中存在的距离小于最大填充距离s的边缘信息；

b．对边缘检测后的图像进行逐列扫描，填充每列中存在的距离小于最大填充距离s的边缘信息；

所述step4中，连通域分析步骤如下：

a．运用区域生长法提取每个连通域信息；

b．分析每个连通域信息，将面积小于设定的最小分析区域面积al并且周长平方与面积比例大于设定的系数p的区域予以删除；

c．将符合条件的连通域信息进行编号，并将每个连通域匹配状态标记为未匹配；

所述step4中，连通域修正步骤如下：

a．寻找最小外接矩形宽或高大于设定最小值rl并且宽和高均小于设定最大值r2的原连通域信息，如找不到，转到步骤f；

b．提取原连通域最小外接矩形区域的预处理前图像数据；

c．运用最大类间方差法计算步骤b中提取的图像阈值对图像进行区域分割；

d．运用区域生长法提取新连通域信息，如连通域个数为1转到step4中的连通域修正步骤中的步骤a；

e．用新的连通域信息更新原连通域信息，转到step4的连通域修正步骤中的步骤a；

f．结束连通域修正；

所述step6中，匹配连通域的具体匹配步骤如下：

a）．寻找第n帧中没有找到匹配的区域，其中n为大于零小于N的自然数，n初始值为1，如能找到则进入步骤b），否则进入步骤e）；

b）．对第n帧中未匹配的连通域a，计算与第n+1帧所有连通域的匹配系数，并将匹配系数存入匹配系数数组，数组中每项记录的是匹配系数和连通域编号，匹配系数factor的计算公式为：

factor= wfactor+hfactor+whfactor+denfactor+areafactor+distancefactor；

其中，wfactor 连通域宽度比对系数，hfactor 连通域高度比对系数、whfactor 连通域宽高比例比对系数、denfactor连通域周长平方面积比比对系数、areafactor连通域面积比对系数、distancefactor连通域距离系数；

wfactor=min(wn,wn1)/max(wn,wn1)；式中wn为连通域a的宽度，wn1为第n+1帧中连通域x的宽度，min(wn,wn1)表示wn与wn1的最小值，max(wn,wn1) 表示wn与wn1的最大值；

hfactor=min(hn,hn1)/max(hn,hn1)；式中hn为连通域a的高度，hn1为第n+1帧中连通域x的高度；

whfactor=min(min(wn,hn)/max(wn,hn),min(wn1,hn1)/max(wn1,hn1))/max(min(wn,hn)/max(wn,hn),min(wn1,hn1)/max(wn1,hn1))；

denfactor= min(densityn, densityn 1)/max(densityn , densityn 1)；

其中

densityn=girthn*girthn/arean； 式中girthn为连通域a的周长，arean为连通域a的面积；

densityn1=girthn1*girthn1/arean1；式中girthn1为第n+1帧中连通域x的周长，arean1为第n+1帧中连通域x的面积；

    areafactor=min(arean,arean1)/max(arean,arean1)；

    distancefactor=(MAX_DISTANCE-distance)/MAX_DISTANCE； 式中 MAX_DISTANCE为可见物的最大活动距离，distance为连通域a与第n+1帧中连通域x的最小外接矩形中心距离；

c）．寻找匹配系数数组中最大的匹配系数，并且根据最大匹配系数位置确定与连通域a匹配系数最大的连通域x1；

d）．如找到的最大匹配系数小于限定的最小合理匹配系数f则将此连通域a的后帧匹配状态标记为已匹配，返回步骤a）；如连通域x1是首次被匹配则更新连通域a和连通域x1的匹配信息，将连通域a和连通域x1匹配状态改为已匹配，记录匹配连通域编号和匹配系数，返回步骤a）；如连通域x1之前被第n帧中的连通域b匹配，则比较此次匹配与之前存储的匹配系数，如此次匹配系数大于之前存储的匹配系数，则更新连通域x1的匹配连通域和匹配信息，将连通域a的匹配信息修改为已匹配，匹配连通域为连通域x1，记录匹配系数，并将连通域b的后帧匹配状态修改为未匹配，返回步骤a）；如此次匹配系数小于或者等于之前存储的匹配系数，则将连通域a与连通域x1的匹配系数撤出匹配系数数组并返回步骤c）继续寻找合理的匹配；

e）．将n的数值加1，如n>N-1则结束匹配，否则返回步骤a）；

所述step7中，连通域的性质为连通域的圆形度或运动方向。

2.如权利要求1所述的一种饮料灌装后杂质检测方法，其特征是，所述连通域信息包括连通域的面积、周长、周长平方与面积比、最小外接矩形的左右上下位置。

Images