CN103903265B - 检测工业产品包装破损的方法 - Google Patents

Abstract

本发明涉及一种检测工业产品包装破损的方法，其特征在于，步骤为：在取连续两帧图像的基础上，运用霍夫变换分割出感兴趣区域，将对应的感兴趣区域通过小波变换增强图像边缘，将拉普拉斯能量和对比度作为系数进行图像融合，将彩色图像转化到色调、饱和度、亮度空间，进行阈值分割，判别是否出现破损。本发明的优点是提供了一种能够对绕绳包装进行自动检测的方法。

Description

检测工业产品包装破损的方法

技术领域

本发明涉及一种用于检测包装后呈球形的绕绳包装是否破损的方法。

背景技术

图像处理学作为一门学科大约形成于20世纪70年代末期。从70年代中期开始，人们已开始研究运用计算机系统解释图像，实现类似人类视觉系统理解外部世界。早期图像处理的目的是改善图像的质量，它以人为对象，以改善人的视觉效果为目的。后来随着计算机技术和人工智能、思维科学研究的迅速发展，成为了研究“图像信息获取、传输、存储、显示、理解与综合利用”的一门崭新学科。

图像处理学包含的内容丰富，根据抽象程度不同可以分为三个层次：狭义图像处理、图像分析和图像理解。

狭义图像处理是一个从图像到图像的过程，其强调对图像进行各种操作以改善图像的视觉效果，或对图像进行压缩编码以减少其所需存储空间或传输时间、传输通路的要求。

图像分析主要是对图像中感兴趣的目标进行检测和测量，从而建立对图像的描述。图像分析是一个由图像到数值或符号的过程。

图像理解则是在图像分析的基础上，进一步研究图像中各目标的性质和他们之间的相互联系，得出对图像内容含义的理解以及对原来客观场景的解译，从而指导和规划行动。

图像分析以观察者为中心研究客观世界，图像理解则是在一定程度上以客观世界为中心，借助知识、经验来把握整个客观世界。在本文中，主要运用图像处理增大特征区域的对比度，对进行图像分析，图像理解来进行结果判别。

人眼的分辨率是指人眼在一定距离上能区分开相邻两点的能力，可以用能区分开的最小视角θ之倒数来描述，即式中d表示能区分的两点间的最小距离，l为眼睛和这两点连线的垂直距离。人眼的分辨率和环境照度有关，当照度太低时，只有杆状细胞起作用，则分辨率下降；当照度太高时，可能会引起“炫目”现象。人眼的分辨率还和被观察对象的相对对比度有关。当相对对比度小时，对象和背景亮度接近，因此，分辨率下降。

在现代化的大生产蓬勃发展，各类包装及检测技术日益广泛，诸如烟包包装、药品包装、化妆品包装、食品包装等，为了防水、防潮、防尘、防止气味的挥发，提升产品的档次，都要在产品的包装外加装透明膜。传统的包装质量检测方法是利用光纤传感器、位移传感器或硬件设备对包装进行检测，但均不够完善，而且对于绕绳包装检测，除了包装具有透明性的特性以外，还具有绕绳本身结构、绳团颜色以及绕绳方式的多样性等特点，使得目前在工业中还没有一套全自动化检测设备能对其进行破损检测与识别。而由于其采用热塑的方法进行包装的封装，在热塑封装过程中往往由于热塑不完全造成包装破损现象。目前，工业中的绕绳包装的检验还是借助于人的视觉和主观判断能力，因而占用了大量的人力，加大了公司的成本。而且工人的长时间劳动容易造成视觉疲劳，造成误检，严重影响了出厂产品质量，如果流通出去也会对生产厂商的企业形象造成负面影响。

发明内容

本发明的目的是提供、一种自动检测方法来对于包装过程中出现的破损现象进行检测。

为了达到上述目的，本发明的技术方案是提供了一种检测工业产品包装破损的方法，其步骤为：

第一步、用碗状光源罩住待拍摄的绳团包装产品，碗状光源壁上有R、G、B三色LED光源，事先根据绳团包装产品的颜色调节三色LED光源，使光源色彩与绳团包装产品颜色有较大反差，碗状光源顶部与同轴光源光学透镜系统相连接，广角镜头视频的拍摄，并将数据传送给计算机。计算机提取连续两帧图像进行处理；

第二步、运用霍夫变换对两帧原始图像进行圆分割，提取出两帧原始图像中的感兴趣区域，将提取出的感兴趣区域分别进行小波变换，增加了感兴趣区域中的边缘信息和高频分析，从而得到图像f(x，y)及图像g(x，y)；

第三步、将图像f(x，y)与图像g(x，y)进行图像融合，融合系数由拉普拉斯能量EOL及感兴趣区域局部灰度对比度VI决定，得到融合图像O₁；

第四步、将融合后的RGB图像O₁转化到HSI空间进行阈值处理，利用阈值处理后的图像判别破损。

其中，所述第三步包括：

步骤3.1、将大小为M×N的图像f(x，y)与图像g(x，y)填充为(M+2)×(N+2)的图像，图像f(x，y)与图像g(x，y)的填充形式一致，图像f(x，y)填充部分的像素值为 $\left\{\begin{array}{c}f(1,j)=f(2,j)\\ f(M+2,j)=f(M+1,j)\end{array}\right.,j=\mathrm{1,2},\·\·\·,N+2,\left\{\begin{array}{c}f(i,1)=f(i,2)\\ f(i,M+2)=f(i,M+1)\end{array}\right.,i=\mathrm{2,3},\·\·\·,M+2,$ 将填充后的图像f(x，y)与图像g(x，y)分别记为图像f′(x，y)与图像g′(x，y)；

步骤3.2、将图像f′(x，y)与图像g′(x，y)进行归一化处理后，分别计算图像f′(x，y)与图像g′(x，y)中各个像素点的拉普拉斯能量EOL及感兴趣区域局部灰度对比度VI，得到与图像f′(x，y)相对应的尺寸大小为M×N的由同一图像的所有拉普拉斯能量EOL组成的矩阵E_f及由同一图像的所有感兴趣区域局部灰度对比度VI组成的矩阵V_f，得到与图像g′(x，y)相对应的尺寸大小为M×N的由同一图像的所有拉普拉斯能量EOL组成的矩阵E_g及由同一图像的所有感兴趣区域局部灰度对比度VI组成的矩阵V_g，矩阵E_f、矩阵V_f、矩阵E_g及矩阵V_g中的各点分别记为E_fij、V_fij、E_gij及V_gij，i及j分别为相应矩阵的行坐标与列坐标；

步骤3.3、获得融合图像O₁，O₁＝ω₁g₁+ω₂f₁，ω₁及ω₂为预先设定的系数， $g_1=\underset{i,j\∈g(x,y)}{\mathrm{\Σ}}({\mathrm{\ω}}_1{V}_{\mathrm{fij}}+{\mathrm{\ω}}_2{V}_{\mathrm{gij}}),f_1=\underset{i,j\∈f(x,y)}{\mathrm{\Σ}}({\mathrm{\ω}}_1{E}_{\mathrm{fij}}+{\mathrm{\ω}}_2{E}_{\mathrm{gij}}).$

所述步骤3.2中，计算图像f′(x，y)或图像g′(x，y)中各个像素点的拉普拉斯能量EOL时，选择大小为3×3的窗口ω，窗口ω中心位置处的坐标为(u，v)，其像素值为f(u，v)，则有 $\mathrm{EOL}=\underset{(u,v)\∈\mathrm{\ω}}{\mathrm{\Σ}}{(f_{\mathrm{uu}}+f_{\mathrm{vv}})}^2,$ 其中：

f_uu+f_vv＝-f(u-1，v-1)-4f(u-1，v)-f(u-1，v+1)

-4f(u，v-1)+20f(u，v)-4f(u，v+1)；

-f(u+1，v-1)-4f(u+1，v)-f(u+1，v+1)

在计算图像f′(x，y)或图像g′(x，y)中各个像素点的感兴趣区域局部灰度对比度VI时，选择大小为3×3的窗口ω，窗口ω中心位置处的坐标为(u，v)，其像素值为f(u，v)，则有 $\mathrm{VI}=\frac{1}{N}\underset{(u,v)\∈\mathrm{\ω}}{\mathrm{\Σ}}{\left(\frac{1}{m_k}\right)}^{\mathrm{\α}}\·\frac{|f(u,v)-m_k|}{m_k},$ m_k为窗口ω中所有像素灰度平均值，N为窗口ω中像素总数，α为常数。

本发明主要针对工业破损中的检测，综合考虑了传统的人工检测和硬件检测的优缺点，主要优点如下：

1)与传统检测相比，减少了检测时间，降低了成本，提高了检测效率以及检测的准确性；

2)图像处理首先运用Hough变换提取出圆区域，对于后续的图像处理减少了干扰，较少了运行时间，提高了运行效率；

3)对感兴趣区域进行小波变换，加强了图像的边缘和细节信息，更有利于特征的识别，更有利于孔洞破损的检测；

4)输出图像结合了图像中的拉普拉斯能量和可见度作为加权融合的系数，加强了图像中的特征信息以及边缘细节，使人眼更容易识别，这对于我们将图像检测运用于工业检测具有实际意义；

5)与硬件检测相比较，图像处理系统更具有适应性，当检测环境发生变化时，可以因地制宜来改变检测方法；

6)光源等体积小，都是运用软件进行检测，更有利于为企业节省空间。

附图说明

图1为本发明的流程图；

图2为拍摄环境示意图；

图3为分割后的图像f(x，y)；

图4为分割后的图像g(x，y)；

图5为融合后的图像；

图6为转换为HSI空间的图像；

图7为HSI空间阈值处理后的图像。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

结合图1，本发明提供了的一种检测工业产品包装破损的方法根据拍摄环境和包装薄膜的特征，采用特殊的拍摄光源，取得了比较好的拍摄效果，在进行检测时，提出了运用数字图像处理系统代替传统的硬件检测，同时将霍夫变换变换与小波变换，图像融合相结合，减少了运行时间，提高了执行效率和检测准确性。首先对薄膜进行图像预处理，运用霍夫变换分割出感兴趣区域，运用小波变换增强图像对比度，其次计算各个像素点的拉普拉斯能量EOL及感兴趣区域局部灰度对比度VI，将归一化处理后的值作为图像融合的系数，最后把融合后图像转化到HSI空间，进行阈值分割，进行破损判别，其具体步骤为：

第一步、结合图2，用碗状光源罩住待拍摄的绳团包装产品，碗状光源内璧上有R、G、B三色LED光源，事先根据绳团包装产品颜色调节光源色彩，使光源色彩与绳团包装产品的颜色有较大反差，例如当绳团包装产品颜色为红色时，三色LED光源形成的光源色彩设置为蓝光，当绳团包装产品颜色为蓝色时，三色LED光源形成的光源色彩设置为红光。碗状光源自顶部出后与同轴光源光学透镜系统连接，广角镜头进行视频的拍摄，将数据传送给计算机，计算机取连续的两帧图片进行处理。

第二步、运用霍夫变换对两帧原始图像进行圆分割，提取出两帧原始图像中的感兴趣区域，将提取出的感兴趣区域分别进行小波变换，增加了感兴趣区域中的边缘信息和高频分析，从而得到如图3所示的图像f(x，y)及如图4所示的图像g(x，y)。

霍夫变换是一种在图像中寻找直线、圆等其他符合一定函数关系的方法。霍夫圆变换的基本原理是将影像空间中的曲线变换到参数空间中，通过检测参数空间的极值点，确定出该曲线的描述参数。

在绳团包装产品2的工业检测中，在轴光源光学透镜系统3上方拍摄视频，轴光源光学透镜系统3的可视区域是规则圆形，绳团包装产品2在其圆内，可以运用霍夫变换进行圆分割，提前出感兴趣区域。

对于图像中任意确定的一点均有参数空间的一个三维的锥面与之对应。对于圆周上的任何点集合{(x_i，y_i)}，这些三维锥面构成圆锥面簇。若集合中的点在同一个圆周上，则这些圆锥簇相较于参数空间上的某一点(a₀，b₀，r₀)，这点恰好对应于图像平面的圆心坐标及圆的半径。对于数字图像，则可写为：|(a₀-x_i)²+(b₀-y_i)²-r²|≤ξ，其中ξ是考虑对图像进行数字化和量化的补偿。

小波分析的数学思想形成于20世纪50年代初的纯数学领域。“小”是指其具有衰减性；称之为“波”则是指它具有波动性，其振幅呈正负相间的震荡形式。小波变换有利于增强图像细节，突出其特征区域。将提取出的感兴趣区域进行小波变换，增加了感兴趣区域中的边缘信息和高频分析，更有利于进行特征提取。

第三步、将图像f(x，y)与图像g(x，y)进行图像融合，融合系数由拉普拉斯能量EOL及感兴趣区域局部灰度对比度VI决定，得到如图5所示的融合图像O₁。

图像融合是把从同一场景获得的多幅图像综合成一幅图像的图像处理技术。图像融合可以根据需要有效地突出源图像的共有部分、特征部分，强化融合后图像的对比度信息。在分割出的感兴趣区域中，绳团包装产品2中可能存在的孔洞破损是高频分量，所以应突出高频与背景部分的差异。

在以前的显著性特征中，源图像中像素的梯度能量作为图像融合的系数值。但通过比较分析，拉普拉斯能量EOL比梯度能量更能有效的增加感兴趣区域的清晰度，VI反映了感兴趣区域局部灰度对比度，可见度越大，感兴趣区域的灰度对比度越大。

拉普拉斯能量EOL越大，反应的局部图像越清晰，本发明是以小波变换后的图像为主，利用像素的EOL和VI进行图像融合，其步骤为：

步骤3.1、将大小为M×N的图像f(x，y)与图像g(x，y)填充为(M+2)×(N+2)的图像，图像f(x，y)与图像g(x，y)的填充形式一致，图像f(x，y)填充部分的像素值为 $\left\{\begin{array}{c}f(1,j)=f(2,j)\\ f(M+2,j)=f(M+1,j)\end{array}\right.,j=\mathrm{1,2},\·\·\·,N+2,\left\{\begin{array}{c}f(i,1)=f(i,2)\\ f(i,M+2)=f(i,M+1)\end{array}\right.,i=\mathrm{2,3},\·\·\·,M+2,$ 将填充后的图像f(x，y)与图像g(x，y)分别记为图像f′(x，y)与图像g′(x，y)；

步骤3.2、将图像f′(x，y)与图像g′(x，y)进行归一化处理后，分别计算图像f′(x，y)与图像g′(x，y)中各个像素点的拉普拉斯能量EOL及感兴趣区域局部灰度对比度VI，得到与图像f′(x，y)相对应的尺寸大小为M×N的由同一图像的所有拉普拉斯能量EOL组成的矩阵E_f及由同一图像的所有感兴趣区域局部灰度对比度VI组成的矩阵V_f，得到与图像g′(x，y)相对应的尺寸大小为M×N的由同一图像的所有拉普拉斯能量EOL组成的矩阵E_g及由同一图像的所有感兴趣区域局部灰度对比度VI组成的矩阵V_g，矩阵E_f、矩阵V_f、矩阵E_g及矩阵V_g中的各点分别记为E_fij、V_fij、E_gij及V_gij，i及j分别为相应矩阵的行坐标与列坐标；

在计算图像f′(x，y)或图像g′(x，y)中各个像素点的拉普拉斯能量EOL时，选择大小为3×3的窗口ω，窗口ω如表1所示

(u-1，v+1)	(u，v+1)	(u+1，v+1)
			(u-1，v)	(u，v)	(u+1，v)
(u-1，v-1)	(u，v-1)	(u+1，v-1)

表1

窗口ω中心位置处的坐标为(u，v)，其像素值为f(u，v)，则有 $\mathrm{EOL}=\underset{(u,v)\∈\mathrm{\ω}}{\mathrm{\Σ}}{(f_{\mathrm{uu}}+f_{\mathrm{vv}})}^2,$ 其中：

f_uu+f_vv＝-f(u-1，v-1)-4f(u-1，v)-f(u-1，v+1)

-4f(u，v-1)+20f(u，v)-4f(u，v+1)；

-f(u+1，v-1)-4f(u+1，v)-f(u+1，v+1)

在计算图像f′(x，y)或图像g′(x，y)中各个像素点的感兴趣区域局部灰度对比度VI时，选择大小为3×3的窗口ω，窗口ω中心位置处的坐标为(u，v)，其像素值为f(u，v)，则有 $\mathrm{VI}=\frac{1}{N}\underset{(u,v)\∈\mathrm{\ω}}{\mathrm{\Σ}}{\left(\frac{1}{m_k}\right)}^{\mathrm{\α}}\·\frac{|f(u,v)-m_k|}{m_k},$ m_k为窗口ω中所有像素灰度平均值，N为窗口ω中像素总数，α为常数，0.6≤α≤0.7。

步骤3.3、获得融合图像O₁，O₁＝ω₁g₁+ω₂f₁，ω₁及ω₂为预先设定的系数，ω₁＝ω₂＝0.5， $g_1=\underset{i,j\∈g(x,y)}{\mathrm{\Σ}}({\mathrm{\ω}}_1{V}_{\mathrm{fij}}+{\mathrm{\ω}}_2{V}_{\mathrm{gij}}),f_1=\underset{i,j\∈f(x,y)}{\mathrm{\Σ}}({\mathrm{\ω}}_1{E}_{\mathrm{fij}}+{\mathrm{\ω}}_2{E}_{\mathrm{gij}}).$

第四步、将融合图像O₁转换到HSI空间，得到图像如图6所示，再进行阈值处理，利用如图7所示的阈值处理后的图像进行破损判别。

Claims (2)

1.一种检测工业产品包装破损的方法，其特征在于，步骤为：

第一步、用碗状光源(1)罩住待拍摄的绳团包装产品(2)，碗状光源(1)的壁上有R、G、B三色LED光源，根据绳团包装产品(2)颜色调节三色LED光源形成的光源色彩，使得三色LED光源形成的光源的色彩与绳团包装产品(2)颜色有较大反差，碗状光源(1)的光源自顶部出后与同轴光源光学透镜系统(3)连接，广角镜头作为视频拍摄单元(4)，由视频拍摄单元(4)获得连续拍摄的两帧原始图像；

第二步、运用霍夫变换对两帧原始图像进行圆分割，提取出两帧原始图像中的感兴趣区域，将提取出的感兴趣区域分别进行小波变换，增加了感兴趣区域中的边缘信息和高频分析，从而得到图像f(x，y)及图像g(x，y)；

第三步、将图像f(x，y)与图像g(x，y)进行图像融合，融合系数由拉普拉斯能量EOL及感兴趣区域局部灰度对比度VI决定，得到融合图像O₁；

第四步、将融合后的RGB图像O₁转换到HIS空间，再进行阈值处理，利用阈值处理后的图像进行破损判别，所述第三步包括：

步骤3.1、将大小为M×N的图像f(x，y)与图像g(x，y)填充为(M+2)×(N+2)的图像，图像f(x，y)与图像g(x，y)的填充形式一致，图像f(x，y)填充部分的像素值为将填充后的图像f(x，y)与图像g(x，y)分别记为图像f′(x，y)与图像g′(x，y)；

步骤3.2、将图像f′(x，y)与图像g′(x，y)进行归一化处理后，分别计算图像f′(x，y)与图像g′(x，y)中各个像素点的拉普拉斯能量EOL及感兴趣区域局部灰度对比度VI，得到与图像f′(x，y)相对应的尺寸大小为M×N的由同一图像的所有拉普拉斯能量EOL组成的矩阵E_f及由同一图像的所有感兴趣区域局部灰度对比度VI组成的矩阵V_f，得到与图像g′(x，y)相对应的尺寸大小为M×N的由同一图像的所有拉普拉斯能量EOL组成的矩阵E_g及由同一图像的所有感兴趣区域局部灰度对比度VI组成的矩阵V_g，矩阵E_f、矩阵V_f、矩阵E_g及矩阵V_g中的各点分别记为E_fij、V_fij、E_gij及V_gij，i及j分别为相应矩阵的行坐标与列坐标；

步骤3.3、获得融合图像O₁，O₁＝ω₁g₁+ω₂f₁，ω₁及ω₂为预先设定的系数，

$g_1=\underset{i,j\∈g(x,y)}{\Σ}({\mathrm{\ω}}_1{V}_{fij}+{\mathrm{\ω}}_2{V}_{gij}),f_1=\underset{i,j\∈f(x,y)}{\Σ}({\mathrm{\ω}}_1{E}_{fij}+{\mathrm{\ω}}_2{E}_{gij}).$

2.如权利要求1所述的一种检测工业产品包装破损的方法，其特征在于，在所述步骤3.2中，在计算图像f′(x，y)或图像g′(x，y)中各个像素点的拉普拉斯能量EOL时，选择大小为3×3的窗口ω，窗口ω中心位置处的坐标为(u，v)，其像素值为f(u，v)，则有其中：

f_uu+f_vv＝-f(u-1，v-1)-4f(u-1，v)-f(u-1，v+1)

-4f(u，v-1)+20f(u，v)-4f(u，v+1)

-f(u+1，v-1)-4f(u+1，v)-f(u+1，v+1)

在计算图像f′(x，y)或图像g′(x，y)中各个像素点的感兴趣区域局部灰度对比度VI时，选择大小为3×3的窗口ω，窗口ω中心位置处的坐标为(u，v)，其像素值为f(u，v)，则有m_k为窗口ω中所有像素灰度平均值，N为窗口ω中像素总数，α为常数。