CN102020036A - 一种条烟外包装透明纸缺陷的视觉检测方法 - Google Patents

Abstract

本发明公开了一种条烟外包装透明纸缺陷视觉检测方法，旨在提高对条烟外包装透明纸缺陷视觉检测的效率。其技术要点是：通过拍摄的条烟数字图像进行灰度变换，滤波去除噪声，从而对图像进行预处理；对预处理过的图像做边缘检测，提取边缘图像；对边缘图像做二值化处理后，采用投影法在水平方向和垂直方向做灰度值统计，提取条烟图像的边界，从而实现条烟图像的分离；对分离出的条烟图像与模板图像做相似度计算，设定判定阈值；最后根据相似度值与阈值的比较确定条烟图像是否合格，对不合格的条烟图像采用差影法提取出缺陷部分像素图，统计像素值作为缺陷部分的像素面积。

Description

一种条烟外包装透明纸缺陷的视觉检测方法

所属技术领域

本发明涉及一种条烟外包装透明纸缺陷的视觉检测方法，属于计算机视觉领域。

背景技术

随着我国加入WTO，随着人们生活水平的提高，随着国内竞争国际化，透明纸包装应用在香烟、食品、药品和印刷包装等企业的范围越来越广。特别是在香烟企业，消费者对卷烟产品的品质也提出了更为全面的要求，不仅要求其内在品质好，还要求其外观及包装精美。透明纸外包装能起到防潮、美观的作用，但在生产过程中易被划破，造成包装缺陷。传统的条型香烟包装质量检测的方法是利用光纤传感器或位移传感器对条烟进行检测，但均不够完善，只能对条烟的特定部位进行检测，且不能有效地检测出条烟的透明纸外包装缺陷区域。如何实时有效的检测条烟外包装透明纸缺陷成为条烟外型检测的一个难点。

发明内容

本发明解决的技术问题是提供一种条烟外包装透明纸缺陷的视觉检测方法，克服现有通过

光纤传感器等方法只能对特定部位检测以及识别速度较慢等不足，提高条烟外型检测的效率，

并通过对缺陷部分的描述实现改进生产线，以减少条烟外包装透明纸蹭破的几率。

为了解决上述技术问题，本发明提供一种条烟外包装透明纸缺陷的视觉检测方法，其特征包括以下步骤：

a)载入CCD相机拍摄后并通过图像采集卡得到的数字图像；

b)对载入的数字图像进行灰度化处理，得到灰度图像；

c)对灰度图像进行滤波去除噪声；

d)对去噪后的图像进行边缘提取，得到边缘轮廓图像；

e)对边缘图像进行二值化处理，得到二值图像；

f)在水平方向和垂直方向分别投影，统计二值图像的灰度值；

g)通过灰度峰值确定图像内条烟的边界，分离出边界内的条烟图像；

h)载入模板图像，对分离后的边界内的条烟图像和模板图像进行相似度计算；

i)判定相似度大小是否达到设定的阈值？如果是，判定条烟外包装透明纸没有缺陷，即合格，执行步骤k)；如果否，判定条烟外包装透明纸有缺陷，即不合格，执行步骤k)；

j)判定条烟外包装透明纸合格，本次检测结束；

k)判定条烟外包装透明纸不合格，提取条烟外包装透明纸图像的缺陷部分，并计算缺陷部分的面积；

在步骤c)中采用的滤波器是中值滤波器。中值滤波器的输出可写为(其中N(x，y)为(x，y)的领域，对应为模板尺寸)：

$g_{\mathrm{median}}(x,y)=\underset{(s,t)\∈N(s,t)}{\mathrm{median}}\left[f(s,t)\right]$

在步骤d)中边缘提取方法是sobel算子边缘检测，Sobel检测器按如下方式计算：

g＝[G_x ²+G_y ²]^1/2＝{[(z₇+2z₈+z₉)-(z₁-2z₂+z₃)]²+[(z₃+2z₆+z₉)-(z₁+2z₄+z₇)]²}

其中Sobel检测器水平掩模和垂直掩模分别为：

$\left(\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right)\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right)$

在步骤g)中，统计二值图像在水平和垂直方向的投影灰度值，通过在条烟边界上产生峰值来确定条烟矩形框的四个角点坐标，从而实现对条烟边界内的图像进行分离。

其中水平投影定义为：

$f\left(i\right)=\underset{j=1}{\overset{h}{\mathrm{\Σ}}}\mathrm{Image}(i,j)$ 1≤i≤w  1≤j≤h

式中：f(i)表示第i行的水平投影值；i为行号；j为列号。

垂直投影定义为：

$f\left(i\right)=\underset{i=1}{\overset{w}{\mathrm{\Σ}}}\mathrm{Image}(i,j)$ 1≤i≤w  1≤j≤h

式中：f(j)表示第j列的垂直投影值；i为行号；j为列号

在步骤h)中，通过图像对应点的灰度差来定义图像的相似度。设G＝(g_ij)_M×N，C＝(c_ij)_M×N是两个灰度图像，α，β是两个整数，且0≤α＜M-1，0≤β＜N-1，则两个图像的相似度为：

$\mathrm{XSD}(G,C,\mathrm{\α},\mathrm{\β})=1-\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{[c_{\mathrm{ij}+\mathrm{\α}+\mathrm{\β}}-g_{\mathrm{ij}}]}^2}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{g_{\mathrm{ij}}}^2}---(3-5)$

根据上述定义，若图像C与G完全相同，则两个图像相似度为1，即完全相似，此时α＝β＝0c_ij与g_ij差别越大，则两个图像的相似度就越小。在时α＝β＝0，该参量只能从图像对应点的灰度差来反映图像的相似度。通过对预检测的条烟图像与标准的模板图像(通过实验处理得到)做相似度计算，看能否达到设定的阈值(由实验测定，由于噪声因素等影响，阈值不一定等于1)。相似度计算的计算复杂度低，适合在流水线上高精度实时的对条烟缺陷进行判别。

在步骤h)中，载入的条烟模板图像是对合格的条烟图像按照步骤a)、b)、c)、d)、e)、f)、g)顺序处理得到的。

在步骤i)中，设定相似度的阈值在0.95到1之间。

在步骤k)中，缺陷部分的图像提取采用差影法，即通过判定为有缺陷的条烟图像与模板图像相减。

在步骤k)中，缺陷部分的图像面积通过统计二值图像的前景色像素的数量得到。

本发明旨在提高对条烟外包装透明纸缺陷视觉检测的效率。其技术要点是：通过拍摄的条烟数字图像进行灰度变换，滤波去除噪声，从而对图像进行预处理；对预处理过的图像做边缘检测，提取边缘图像；对边缘图像做二值化处理后，采用投影法在水平方向和垂直方向做灰度值统计，提取条烟图像的边界，从而实现条烟图像的分离；对分离出的条烟图像与模板图像做相似度计算，设定判定阈值；最后根据相似度值与阈值的比较确定条烟图像是否合格，对不合格的条烟图像采用差影法提取出缺陷部分像素图，统计像素值作为缺陷部分的像素面积。

本发明提高条烟外型检测的效率，并通过对缺陷部分的描述实现改进生产线，以减少条烟外包装透明纸蹭破的几率。

附图说明

下面结合附图和实例对本发明进一步说明。

图1为本发明的条烟缺陷检测结构示意图。

图2为本发明的条烟外包装透明纸缺陷的视觉检测流程图。

图3为本发明中示例待检测的条烟图像。

图4为本发明的示例灰度化处理后的条烟图像。

图5为本发明中示例去噪处理后的条烟灰度图像。

图6为本发明中示例边缘检测后的条烟轮廓图像。

图7为本发明的示例条烟垂直方向灰度值统计图。

图8为本发明的示例条烟水平方向灰度值统计图。

图9为本发明中示例分离边界后的条烟轮廓图。

图10为本发明的示例预处理过的条烟模板图像。

图11为本发明中示例检测后的条烟缺陷像素部分。

具体实施方式

本发明步骤包括以下：

a)CCD相机对机架上运动的条烟进行拍摄图像并传入到图像采集卡；

b)由图像采集卡将图像以数据的形式存储到工控计算机中；

c)载入工控机中存储的待检测条烟数字图像；

d)对载入的数字图像进行灰度化处理，得到灰度图像；

e)对灰度图像进行滤波去除噪声；

f)对去噪后的图像进行边缘提取，得到边缘轮廓图像；

g)对边缘轮廓图像进行二值化处理，得到二值图像；

h)在水平方向和垂直方向分别投影，统计二值图像的灰度值；

i)通过灰度峰值确定图像内条烟的边界，分离出边界内的条烟图像；

j)载入模板图像，对分离后的边界内的条烟图像和模板图像进行相似度计算；

k)判定相似度大小是否达到设定的阈值？如果是，判定条烟外包装透明纸没有缺陷，即合格，执行步骤l)；如果否，判定条烟外包装透明纸有缺陷，即不合格，执行步骤m)；

l)判定条烟外包装合格，本次检测结束；

m)判定条烟外包装不合格，提取条烟外包装透明纸图像的缺陷部分，并计算缺陷部分的面积，并通过I/O卡、PLC控制器、执行机构将不合格条烟进行剔除。

在上述方案中，步骤e)中采用的滤波器是中值滤波器，中值滤波器的输出可写为(其中N(x，y)为(x，y)的领域，对应为模板尺寸)：

$g_{\mathrm{median}}(x,y)=\underset{(s,t)\∈N(s,t)}{\mathrm{median}}\left[f(s,t)\right]$

在上述方案中，步骤f)中边缘提取方法是sobel算子边缘检测，Sobel检测器按如下方式计算：

g＝[G_x ²+G_y ²]^1/2＝{[(z₇+2z₈+z₉)-(z₁-2z₂+z₃)]²+[(z₃+2z₆+z₉)-(z₁+2z₄+z₇)]²}

其中Sobel检测器水平掩模和垂直掩模分别为：

$\left(\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right)\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right)$

在上述方案中，步骤i)中，统计二值图像在水平和垂直方向的投影灰度值，通过在条烟边界上产生峰值来确定条烟矩形框的四个角点坐标，从而实现对条烟边界内的图像进行分离。其中水平投影定义为：

$f\left(i\right)=\underset{j=1}{\overset{h}{\mathrm{\Σ}}}\mathrm{Image}(i,j)$ 1≤i≤w  1≤j≤h

式中：f(i)表示第i行的水平投影值；i为行号；j为列号。

垂直投影定义为：

$f\left(i\right)=\underset{i=1}{\overset{w}{\mathrm{\Σ}}}\mathrm{Image}(i,j)$ 1≤i≤w  1≤j≤h

式中：f(j)表示第j列的垂直投影值；i为行号；j为列号

在上述方案中，在步骤j)中，载入的条烟模板图像是对合格的条烟图像按照步骤a)、b)、c)、d)、e)、f)、g)、h)、i)顺序处理得到的。

在上述方案中，在步骤k)中，通过图像对应点的灰度差来定义图像的相似度。设G＝(g_ij)_M×N，C＝(c_ij)_M×N是两个灰度图像，α，β是两个整数，且0≤α＜M-1，0≤β＜N-1，则两个图像的相似度为：

$\mathrm{XSD}(G,C,\mathrm{\α},\mathrm{\β})=1-\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{[c_{\mathrm{ij}+\mathrm{\α}+\mathrm{\β}}-g_{\mathrm{ij}}]}^2}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{g_{\mathrm{ij}}}^2}---(3-5)$

根据上述定义，若图像C与G完全相同，则两个图像相似度为1，即完全相似，此时α＝β＝0c_ij与g_ij差别越大，则两个图像的相似度就越小。在时α＝β＝0，该参量只能从图像对应点的灰度差来反映图像的相似度。通过对预检测的条烟图像与标准的模板图像(通过实验处理得到)做相似度计算，看能否达到设定的阈值(由实验测定，由于噪声因素等影响，阈值不一定等于1)。相似度计算的计算复杂度低，适合在流水线上高精度实时的对条烟缺陷进行判别。

在上述方案中，在步骤k)中，设定相似度的阈值在0.95到1之间。

在上述方案中，在步骤m)中，缺陷部分的图像提取采用差影法，即通过判定为有缺陷的条烟图像与模板图像相减。

在上述方案中，在步骤m)中，缺陷部分的图像面积通过统计二值图像的前景色像素的数量得到。

如图1所示，系统采用多个CCD相机对经过机构上的条烟进行拍照，采用外触发模式使各个面的图像分通道进入图像采集卡，采集到的图像以数据形式存储到工控机中，经过本发明的视觉检测方法对条烟外包装图像进行处理，如果发现存在条烟图像存在缺陷，通过I/O卡，PLC控制器给出控制信号，使执行单元在该不合格条烟通过时将其剔除，工控机显示器实时显示各通道图像及其检测结果，并给出缺陷的分析结果。

如图2所示，本发明所涉及的条烟外包装透明纸缺陷的视觉检测方法主要包括以下步骤：

步骤000，载入待检测条烟的数字图像，在步骤000中的数字图像是通过CCD相机拍摄并经图像采集卡存储到工控机中得到，如图3所示。

步骤100，对步骤000中载入的条烟数字图像进行灰度化处理，得到灰度图像，如图4所示。

步骤110，采用中值滤波去除噪声，减少噪声对后面图像处理的干扰，去噪后的图像如图5所示。

步骤120，对步骤110中所得到的图像进行边缘检测，提取图像的边缘，这里采用sobel算子提取，边缘检测得到的轮廓图像如图6所示。

步骤130，对步骤120中的边缘图像进行二值化处理，其中前景色像素值为1，背景色像素值为0。

步骤140，对步骤130中的二值化图像在水平方向和垂直方向分别进行投影，统计水平方向和垂直方向的灰度值，如图7，8所示。

步骤150，在步骤140中统计的灰度值，由于条烟的左右上下边界位置处具有明显的区域最长的直线边缘，所以在边界处会产生灰度值峰值(如图7和图8所示)，从而可以确定条烟矩阵框的四个角点，即确定条烟边界的坐标。

步骤160，从步骤150中确定的条烟边界坐标可以将边界内的条烟图像和背景分离，从而得到边界内的条烟图像，如图9所示。

步骤170，载入预存的条烟模板图像，模板图像由合格的条烟数字图像通过步骤100-110-120-130-140-150-160处理得到。

步骤180，将步骤160中处理过的条烟图像和步骤170中的模板图像进行相似度计算，其中相似度定义为比对图像之间的灰度差，其取值为0到1之间。

步骤190，判断步骤180中计算的相似度值是否达到预设的阈值？其中阈值大小可由实验得到，要求在0.95到1之间，如果是，执行步骤200；如果否，执行步骤210。

步骤200，认为条烟外包装透明纸图像不存在缺陷，产品合格。

步骤210，认为条烟外包装透明纸图像存在缺陷，产品不合格，执行步骤220。

步骤220，将步骤160中分离得到的条烟图像与步骤170中载入的模板图像做差影处理，进而得到缺陷部分的边缘图像，统计前景色的像素值，作为缺陷部分的像素面积，此示例计算缺陷像素面积为245，占条烟整体像素面积的0.112842％。

Claims (9)

1.一种条烟外包装透明纸缺陷的视觉检测方法，其特征包括以下步骤：

a)载入CCD相机拍摄后并通过图像采集卡得到的数字图像；

b)对载入的数字图像进行灰度化处理，得到灰度图像；

c)对灰度图像进行滤波去除噪声；

d)对去噪后的图像进行边缘提取，得到边缘轮廓图像；

e)对边缘图像进行二值化处理，得到二值图像；

f)在水平方向和垂直方向分别投影，统计二值图像的灰度值；

g)通过灰度峰值确定图像内条烟的边界，分离出边界内的条烟图像；

h)载入模板图像，对分离后的边界内的条烟图像和模板图像进行相似度计算；

i)判定相似度大小是否达到设定的阈值？如果是，判定条烟外包装透明纸没有缺陷，即合格，执行步骤k)；如果否，判定条烟外包装透明纸有缺陷，即不合格，执行步骤k)；

j)判定条烟外包装透明纸合格，本次检测结束；

k)判定条烟外包装透明纸不合格，提取条烟外包装透明纸图像的缺陷部分，并计算缺陷部分的面积。

2.根据权利要求1所述的用于条烟外包装透明纸缺陷的视觉检测方法，其特征在于：在步骤c)中采用的滤波器是中值滤波器。中值滤波器的输出可写为(其中N(x，y)为(x，y)的领域，对应为模板尺寸)：

。

3.根据权利要求1所述的用于条烟外包装透明纸缺陷的视觉检测方法，其特征在于：在步骤d)中边缘提取方法是sobel算子边缘检测，Sobel检测器按如下方式计算：

g＝[G_x ²+G_y ²]^1/2＝{[(z₇+2z₈+z₉)-(z₁-2z₂+z₃)]²+[(z₃+2z₆+z₉)-(z₁+2z₄+z₇)]²}

其中Sobel检测器水平掩模和垂直掩模分别为：

。

4.根据权利要求1所述的用于条烟外包装透明纸缺陷的视觉检测方法，其特征在于：在步骤g) 中，统计二值图像在水平和垂直方向的投影灰度值，通过在条烟边界上产生峰值来确定条烟矩形框的四个角点坐标，从而实现对条烟边界内的图像进行分离。

其中水平投影定义为：

1≤i≤w  1≤j≤h

式中：f(i)表示第i行的水平投影值；i为行号；j为列号。

垂直投影定义为：

1≤i≤w  1≤j≤h

式中：f(j)表示第j列的垂直投影值；i为行号；j为列号。

5.根据权利要求1所述的用于条烟外包装透明纸缺陷的视觉检测方法，其特征在于：在步骤h)中，通过图像对应点的灰度差来定义图像的相似度。设G＝(g_ij)_M×N，C＝(c_ij)_M×N是两个灰度图像，α，β是两个整数，且0≤α＜M-1，0≤β＜N-1，则两个图像的相似度为：

根据上述定义，若图像C与G完全相同，则两个图像相似度为1，即完全相似，此时α＝β＝0 c_ij与g_ij差别越大，则两个图像的相似度就越小。在时α＝β＝0，该参量只能从图像对应点的灰度差来反映图像的相似度。通过对预检测的条烟图像与标准的模板图像(通过实验处理得到)做相似度计算，看能否达到设定的阈值(由实验测定，由于噪声因素等影响，阈值不一定等于1)。相似度计算的计算复杂度低，适合在流水线上高精度实时的对条烟缺陷进行判别。

6.根据权利要求1所述的用于条烟外包装透明纸缺陷的视觉检测方法，其特征在于：在步骤h)中，载入的条烟模板图像是对合格的条烟图像按照步骤a)、b)、c)、d)、e)、f)、g)顺序处理得到的。

7.根据权利要求1所述的用于条烟外包装透明纸缺陷的视觉检测方法，其特征在于：在步骤i)中，设定相似度的阈值在0.95到1之间。

8.根据权利要求1所述的用于条烟外包装透明纸缺陷的视觉检测方法，其特征在于：在步骤 k)中，缺陷部分的图像提取采用差影法，即通过判定为有缺陷的条烟图像与模板图像相减。

9.根据权利要求1所述的用于条烟外包装透明纸缺陷的视觉检测方法，其特征在于：在步骤k)中，缺陷部分的图像面积通过统计二值图像的前景色像素的数量得到。 

Images