CN105069778A - 基于目标特征显著图构建的工业产品表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于目标特征显著图构建的工业产品表面缺陷检测方法，具体按照以下步骤实施：步骤1、将采集到的彩色图像转换为灰度图像；步骤2、根据灰度图像的表面缺陷面积特征和数目特征分别构建前景目标面积特征显著图和数目特征显著图；步骤3、分别确定阈值，然后根据所确定的阈值分别对面积特征显著图和数目特征显著图进行分割分别获得面积特征二值图和数目特征二值图；步骤4、将面积特征二值图和数目特征二值图融合成为整体二值图；步骤5、根据前景目标面积，确定滤波阈值，滤除小于滤波阈值的噪声和伪目标，大于滤波阈值的即为工业产品表面缺陷。本发明检测方法缺陷检测准确率高，适应性和抗噪性强。

Description

基于目标特征显著图构建的工业产品表面缺陷检测方法

技术领域

本发明属于工业产品质量检测方法技术领域，具体涉及一种基于目标特征显著图构建的工业产品表面缺陷检测方法。

背景技术

制造过程中的工业产品表面缺陷监测是质量在线检测的重要一部分，能够及时发现制造过程中的质量问题，从而为及时改进生产工艺，降低生产成本提供了一种可能性。然而，工业产品表面缺陷检测通常是属于大背景条件下小目标检测问题，传统的人工检测很容易在生理和心理产生疲劳，从而造成漏检和误检，因此不能满足在线检测的需要。

为了解决人工检测不能满足在线检测的要求，基于机器视觉的检测算法已逐渐应用到工业产品表面质量检测中(参考文献[1]:XuK.,XuJ.,ChenY.:On-linesurfacedefectinspectionsystemforcoldrolledstrips[J].BeijingUniver.Sci.Technol.,2002,24(3):329-332.参考文献[2]:LiG.,SuZ.,XiaX.:Algorithmforimspectionofwhiteforeignfibersincottobymachinevisionwithirregularimagingfunction[J].Trans.Chin.Soc.Agric.2010,43(5):164-167.)。然而，基于高斯随机场模型、脉冲耦合神经网络、字典学习等检测算法依赖于参数众多、计算量大计算复杂、对噪声敏感，不适合在线检测的需要(参考文献[3]:CohenFS,FanZ,Attalis.AutomatedInspectionofTextileFabricUsingTextileModels[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1991,13(8):803-808.参考文献[4]:祝双武,郝重阳.一种基于改进型PCNN的织物疵点图像自适应分割方法[J].电子学报,2012,40(3):611-616.参考文献[5]:JianZhouandJunWang.Fabricdefectdetectionusingadaptivedictionaries[J].2013,83(17):1846-1859.)。基于小波变换的检测算法虽然适合表面缺陷检测，但小波的选取、分解层数仍然依赖人工检验；另外，小波变换对于特性与背景接近的缺陷的检测也表现的无能为力(参考文献[6]:管声启,石秀华.基于小波提升格式的织物疵点检测[J].计算机工程与应用,2008,44(25):219-221.)。基于空间域显著图构建的检测算法能够提高缺陷与背景对比度，但其图像分块大小依赖人工经验，并且计算量大，难易摆脱空间域传统算法的固有缺陷(参考文献[7]:GuohuiLi,JingfangShi,HongsenLuo,MiangangTang.Acomputationalmodelofvisionattentionforinspectionofsurfacequalityinproductionline[J].MachineVisionandApplications,2013,24(11):835-844.参考文献[8]:刘洲峰，赵全军，李春雷等.基于局部统计与整体显著性的缺陷检测算法[J].纺织学报，2014,35(11):62-67.)。基于小波域显著图构建的缺陷检测算法，虽然增大缺陷的显著度，但当有视觉搜索任务时，搜索效率往往不高(文献[9]:ShengqiGuanandZhaoyuanGao.Fabricdefectimagesegmentationbasedonthevisualattentionmechanismofthewaveletdomain[J].TextileResearchJournal,2014,84(10):1018-1033.)。

通过上面分析可知，现有的工业产品表面缺陷在线检测算法都是从图像本身数据特点出发，没有考虑检测目标的特点。因此，在广宽的背景中检测小缺陷必然会导致检测准确率不高，分割不准确，适应性不强，抗噪性差，不能满足实际动态检测需要。

发明内容

本发明的目的是提供一种基于目标特征显著图构建的工业产品表面缺陷检测方法，解决了现有技术对工业表面缺陷的检测准确率不高的问题。

本发明所采用的技术方案是，基于目标特征显著图构建的工业产品表面缺陷检测方法，具体按照以下步骤实施：

步骤1、将采集到的彩色图像转换为灰度图像f(x,y)；

步骤2、根据步骤1得到的灰度图像f(x,y)的表面缺陷面积特征和数目特征分别构建前景目标面积特征显著图f₁(x,y)和数目特征显著图f₂(x,y)；

步骤3、在步骤2得到的面积特征显著图f₁(x,y)和数目特征显著图f₂(x,y)上，分别确定阈值，然后根据所确定的阈值分别对面积特征显著图和数目特征显著图进行分割分别获得面积特征二值图[f₁(x,y)]和数目特征二值图[f₂(x,y)]；

步骤4、将步骤3得到的面积特征二值图[f₁(x,y)]和数目特征二值图[f₂(x,y)]融合成为整体二值图F(x,y)；

步骤5、在步骤4获得的整体二值图F(x,y)中，根据前景目标面积，确定滤波阈值，滤除小于滤波阈值的噪声和伪目标，大于滤波阈值的即为工业产品表面缺陷。

本发明的特点还在于：

步骤1具体为：

将彩色图像转换为灰度图像，采用各颜色通道分量加权平均进行灰度化，转换过程如公式(1)所示；

f(x,y)＝0.03R(x,y)+0.59G(x,y)+0.11B(x,y)(1)

其中，R(x,y)为彩色图像在(x,y)处红色分量，G(x,y)为彩色图像在(x,y)处绿色分量，B(x,y)为彩色图像在(x,y)处蓝色分量，f(x,y)为灰度图像在(x,y)处灰度值。

步骤2中构建前景目标面积特征显著图具体为：首先根据灰度图像的表面缺陷面积特征构建前景目标面积权重函数，然后根据面积权重函数曲线提高前景目标区域的显著度；

具体按照以下步骤实施：

前景目标面积权重函数构建

a)构建图像灰度密度函数：

设采集图像的尺寸为M×N，i表示图像灰度级，那么图像的灰度密度函数p(i)构建如公式(2)所示：

$p\left(i\right)=\frac{m\left(i\right)}{M\×N}---\left(2\right)$

其中，i∈[0,255]，m(i)表示在第i个灰度级所有的像素个数；

b)构建图像灰度密度函数梯度：

图像的灰度密度函数一阶梯度构建如公式(3)所示；

$\▿p\left(t\right)=p\left(t\right)-p(t-1)---\left(3\right)$

其中，t∈[1,255]；

c)前景目标面积特征函数：

设图像f(x,y)在(x,y)处的灰度值为t，t₁、t₂分别为灰度密度函数一阶梯度为极大和极小时所对应的灰度值，则前景目标面积特征函数分别如公式(4)、(5)和(6)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=t& 1\≤t\≤t_1\end{array}\\ r_1(x,y)=1-\left|\frac{\▿p\left(t\right)}{\max \[\▿p\left(t\right)\]}\right|\end{array}\right.---\left(4\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=t& t_1<t<t_2\end{array}\\ r_2(x,y)=\frac{\&dtri;p\left(t\right)}{|\max \&lsqb;\&dtri;p\left(t\right)\&rsqb;|}\end{array}\right.---\left(5\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=t& t_2\&le;t\&le;255\end{array}\\ r_3(x,y)=1-\left|\frac{\&dtri;p\left(t\right)}{\max \&lsqb;\&dtri;p\left(t\right)\&rsqb;}\right|\end{array}\right.---\left(6\right)$

其中，当t∈[1,t₁]时，r₁(x,y)值越大，f(x,y)为缺陷的可能性越高；当t∈(t₁,t₂)时，r₂(x,y)值越小，f(x,y)为背景的可能性越高；当t∈[t₂,255]时，r₃(x,y)值越大，f(x,y)为缺陷的可能性越高；

d)前景目标面积特征权重函数：

图像f(x,y)前景目标面积特征函数分别如公式(7)、(8)和(9)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=t& 1\&le;t\&le;t_1\end{array}\\ {\mathrm{rr}}_1(x,y)=1-r_1(x,y)\end{array}\right.---\left(7\right)$

$\left\{\begin{array}{c}\begin{array}{cccc}if& f(x,y)=t& 0\&le;r_2(x,y)<1& t_1<t<t_2\end{array}\\ {\mathrm{rr}}_2(x,y)=r_2(x,y)\\ \begin{array}{cccc}if& f(x,y)=t& -1\&le;r_2(x,y)<0& t_1<t<t_2\end{array}\\ {\mathrm{rr}}_2(x,y)=1+r_2(x,y)\end{array}\right.---\left(8\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=t& t_2\&le;t\&le;255\end{array}\\ {\mathrm{rr}}_3(x,y)=1+r_3(x,y)\end{array}\right.---\left(9\right)$

其中，当t∈[1,t₁]时，rr₁(x,y)值越小，f(x,y)为缺陷的可能性越高；当t∈(t₁,t₂)时，rr₂(x,y)值越小，f(x,y)为背景的可能性越高；当t∈[t₂,255]时，rr₃(x,y)值越大，f(x,y)为缺陷的可能性越高；

前景目标面积特征的前景目标区域显著度提高：

前景目标区域显著度被提高过程，采用公式(10)所示：

根据公式(10)，当1≤t≤t₁且0≤rr₁(x,y)≤1，f₁(x,y)属于缺陷可能性较大，因此f₁(x,y)的特征值被提高；当t₁＜t＜t₂且0≤rr₂(x,y)≤1，f₁(x,y)属于背景可能性较大，因此f₁(x,y)的特征值被降低；当t₂≤t≤255且1≤rr₃(x,y)≤2，f₁(x,y)属于缺陷可能性较大，因此f₁(x,y)的特征值被提高。

步骤2中构建前景目标数目特征显著图具体为：首先根据灰度图像的表面缺陷数目特征构建前景目标数目权重函数，然后根据数目权重函数曲线提高前景目标区域的显著度；

具体按照以下步骤实施：

前景目标数目权重函数构建

a)构建前景目标数目函数n(l)：

前景目标数目n(l)用欧拉数表示，那么前景目标数目函数构建如公式(11)所示：

$\left\{\begin{array}{c}\begin{array}{cc}if& f(x,y)>l\end{array}\\ \begin{array}{cc}then,& f(x,y)=1\end{array}\\ n\left(l\right)=num\&lsqb;f(x,y)\&rsqb;\end{array}\right.l\&Element;\&lsqb;1,255\&rsqb;---\left(11\right)$

其中，n(l)是以灰度级l作为阈值，分割所获得的前景目标数目；

b)构建前景目标数目函数梯度：

前景目标数目函数一阶梯度构建如公式(12)所示：

$\&dtri;n\left(l\right)=n\left(l\right)-n(l-1)---\left(12\right)$

c)前景目标数目特征函数：

设p和q分别为前景目标数目函数一阶梯度的两个极大值所对应的灰度值，则前景目标数目特征函数分别如公式(13)、(14)和(15)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=l& 1\&le;l\&le;p\end{array}\\ s_1(x,y)=1-\left|\frac{\&dtri;n\left(l\right)}{\max \&lsqb;\&dtri;n\left(l\right)\&rsqb;}\right|\end{array}\right.---\left(13\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=l& p<l<q\end{array}\\ s_2(x,y)=\frac{\&dtri;n\left(l\right)}{|\max \&lsqb;\&dtri;n\left(l\right)\&rsqb;|}\end{array}\right.---\left(14\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=l& q\&le;l\&le;255\end{array}\\ s_3(x,y)=1-\frac{\&dtri;n\left(l\right)}{|\max \&lsqb;\&dtri;n\left(l\right)\&rsqb;|}\end{array}\right.---\left(15\right)$

其中，当1≤l≤p时，s₁(x,y)值越大，f(x,y)为缺陷的可能性越高；当p＜l＜q时，s₂(x,y)值越小，f(x,y)为背景的可能性越高；当q≤l≤255时，s₃(x,y)值越大，f(x,y)为缺陷的可能性越高；

d)前景目标数目特征权重函数：

图像f(x,y)前景目标数目特征函数分别如公式(16)、(17)和(18)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=l& 1\&le;l\&le;p\end{array}\\ {\mathrm{ss}}_1(x,y)=1-s_1(x,y)\end{array}\right.---\left(16\right)$

$\left\{\begin{array}{c}\begin{array}{cccc}if& f(x,y)=l,& 0\&le;s_2(x,y)<1,& p<l<q\end{array}\\ {\mathrm{ss}}_2(x,y)=s_2(x,y)\\ \begin{array}{cccc}if& f(x,y)=l,& -1\&le;s_2(x,y)<0,& p<l<q\end{array}\\ {\mathrm{ss}}_2(x,y)=1+s_2(x,y)\end{array}\right.---\left(17\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=l,& q\&le;l\&le;255\end{array}\\ {\mathrm{ss}}_3(x,y)=1+s_3(x,y)\end{array}\right.---\left(18\right)$

其中，当1≤l≤p时，ss₁(x,y)值越小，f(x,y)为缺陷的可能性越高；当p＜l＜q时，ss₂(x,y)值越小，f(x,y)为背景的可能性越高；当q≤l≤255时，ss₃(x,y)值越大，f(x,y)为缺陷的可能性越高；

前景目标数目特征的前景目标区域显著度提高：

前景目标区域显著度被提高过程，采用公式(19)所示：

根据公式(18)，当1≤l≤p且0≤ss₁(x,y)≤1，f₂(x,y)属于缺陷可能性较大，因此f₂(x,y)的特征值被提高；当p＜l＜q且0≤ss₂(x,y)≤1，f₂(x,y)属于背景可能性较大，因此f₂(x,y)的特征值被降低；当q≤l≤255且1≤ss₃(x,y)≤2，f₂(x,y)属于缺陷可能性较大，因此f₂(x,y)的特征值被提高。

步骤3中获得面积特征二值图，具体为：

将步骤2得到的面积特征显著图f₁(x,y)，采用大律法分割获得面积特征二值图[f₁(x,y)]，分割过程如公式(20)所示：

$\left\{\begin{array}{cc}\begin{array}{cc}if& f_1(x,y)>{\mathrm{\&delta;}}_{oust1},\end{array}& \&lsqb;f_1(x,y)\&rsqb;=1\\ else,& \&lsqb;f_1(x,y)\&rsqb;=0\end{array}\right.---\left(20\right)$

其中，δ_oust1为大律法确定的面积特征分割阈值。

步骤3中获得数目特征二值图，具体为：

将步骤2得到的面积特征显著图f₂(x,y)，采用大律法分割获得数目特征二值图[f₂(x,y)]，分割过程如公式(21)所示：

$\left\{\begin{array}{cc}\begin{array}{cc}if& f_2(x,y)>{\mathrm{\&delta;}}_{oust2},\end{array}& \&lsqb;f_2(x,y)\&rsqb;=1\\ else,& \&lsqb;f_2(x,y)\&rsqb;=0\end{array}\right.---\left(21\right)$

其中，δ_oust2为大律法确定的数目特征分割阈值。

步骤4具体为：

将步骤3得到的面积特征二值图[f₁(x,y)]和数目特征二值图[f₂(x,y)]采用相加融合获得整体二值图F(x,y)，如公式(22)所示：

$F(x,y)=\&lsqb;f_1(x,y)\&rsqb;\&CirclePlus;\&lsqb;f_2(x,y)\&rsqb;---\left(22\right)$

其中，表示相加。

步骤5具体为：

将步骤5中获得的整体二值图F(x,y)统计前景各个目标的面积，然后采用大律法确定阈值进行滤波，滤波过程如公式(23)所示：

$\left\{\begin{array}{cc}\begin{array}{cc}if& F(x,y)>s_{oust},\end{array}& F(x,y)=1\\ else,& F(x,y)=0\end{array}\right.---\left(23\right)$

其中，s_oust为由大律法确定的分割阈值面积。

本发明的有益效果是：本发明基于目标特征显著图构建的工业产品表面缺陷检测方法，能够有效提高目标区域的显著度和抑制背景区域的信息，具有较强的抗干扰能力，能够完整分割出工业产品表面缺陷信息，为工业产品表面质量在线检测提供一种的检测方法。

附图说明

图1是本发明检测方法的流程图；

图2是本发明检测方法中构建前景目标面积特征显著图的流程图；

图3是本发明检测方法中构建前景目标数目特征显著图的流程图；

图4是本发明检测方法中基于阈值的工业产品表面缺陷分割的流程图；

图5是本发明检测方法中工业产品表面缺陷信息融合的流程图；

图6是本发明检测方法中生产工业产品表面缺陷的流程图；

图7是本发明检测方法在不同噪声条件下进行工业产品表面缺陷检测的准确率图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

基于目标特征显著图构建的工业产品表面缺陷检测方法，流程图如图1所示，具体按照以下步骤实施：

步骤1、将采集到的彩色图像转换为灰度图像f(x,y)，具体为：

将彩色图像转换为灰度图像，采用各颜色通道分量加权平均进行灰度化，转换过程如公式(1)所示；

f(x,y)＝0.03R(x,y)+0.59G(x,y)+0.11B(x,y)(1)

其中，R(x,y)为彩色图像在(x,y)处红色分量，G(x,y)为彩色图像在(x,y)处绿色分量，B(x,y)为彩色图像在(x,y)处蓝色分量，f(x,y)为灰度图像在(x,y)处灰度值。

步骤2、根据步骤1得到的灰度图像f(x,y)的表面缺陷面积特征构建前景目标面积特征显著图f₁(x,y)具体为，如图2所示：首先根据灰度图像的表面缺陷面积特征构建前景目标面积权重函数，然后根据面积权重函数曲线提高前景目标区域的显著度；

具体按照以下步骤实施：

前景目标面积权重函数构建

a)构建图像灰度密度函数：

设采集图像的尺寸为M×N，i表示图像灰度级，那么图像的灰度密度函数p(i)构建如公式(2)所示：

$p\left(i\right)=\frac{m\left(i\right)}{M\&times;N}---\left(2\right)$

其中，i∈[0,255]，m(i)表示在第i个灰度级所有的像素个数；

b)构建图像灰度密度函数梯度：

图像的灰度密度函数一阶梯度构建如公式(3)所示；

$\&dtri;p\left(t\right)=p\left(t\right)-p(t-1)---\left(3\right)$

其中，t∈[1,255]；

c)前景目标面积特征函数：

设图像f(x,y)在(x,y)处的灰度值为t，t₁、t₂分别为灰度密度函数一阶梯度为极大和极小时所对应的灰度值，则前景目标面积特征函数分别如公式(4)、(5)和(6)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=t& 1\&le;t\&le;t_1\end{array}\\ r_1(x,y)=1-\left|\frac{\&dtri;p\left(t\right)}{\max \&lsqb;\&dtri;p\left(t\right)\&rsqb;}\right|\end{array}\right.---\left(4\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=t& t_1<t<t_2\end{array}\\ r_2(x,y)=\frac{\&dtri;p\left(t\right)}{|\max \&lsqb;\&dtri;p\left(t\right)\&rsqb;|}\end{array}\right.---\left(5\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=t& t_2\&le;t\&le;255\end{array}\\ r_3(x,y)=1-\left|\frac{\&dtri;p\left(t\right)}{\max \&lsqb;\&dtri;p\left(t\right)\&rsqb;}\right|\end{array}\right.---\left(6\right)$

其中，当t∈[1,t₁]时，r₁(x,y)值越大，f(x,y)为缺陷的可能性越高；当t∈(t₁,t₂)时，r₂(x,y)值越小，f(x,y)为背景的可能性越高；当t∈[t₂,255]时，r₃(x,y)值越大，f(x,y)为缺陷的可能性越高；

d)前景目标面积特征权重函数：

图像f(x,y)在(x,y)处的前景目标面积特征函数分别如公式(7)、(8)和(9)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=t& 1\&le;t\&le;t_1\end{array}\\ {\mathrm{rr}}_1(x,y)=1-r_1(x,y)\end{array}\right.---\left(7\right)$

$\left\{\begin{array}{c}\begin{array}{cccc}if& f(x,y)=t& 0\&le;r_2(x,y)<1& t_1<t<t_2\end{array}\\ {\mathrm{rr}}_2(x,y)=r_2(x,y)\\ \begin{array}{cccc}if& f(x,y)=t& -1\&le;r_2(x,y)<0& t_1<t<t_2\end{array}\\ {\mathrm{rr}}_2(x,y)=1+r_2(x,y)\end{array}\right.---\left(8\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=t& t_2\&le;t\&le;255\end{array}\\ {\mathrm{rr}}_3(x,y)=1+r_3(x,y)\end{array}\right.---\left(9\right)$

其中，当t∈[1,t₁]时，rr₁(x,y)值越小，f(x,y)为缺陷的可能性越高；当t∈(t₁,t₂)时，rr₂(x,y)值越小，f(x,y)为背景的可能性越高；当t∈[t₂,255]时，rr₃(x,y)值越大，f(x,y)为缺陷的可能性越高；

前景目标面积特征的前景目标区域显著度提高：

前景目标区域显著度被提高过程，采用公式(10)所示：

根据公式(10)，当1≤t≤t₁且0≤rr₁(x,y)≤1，f₁(x,y)属于缺陷可能性较大，因此f₁(x,y)的特征值被提高；当t₁＜t＜t₂且0≤rr₂(x,y)≤1，f₁(x,y)属于背景可能性较大，因此f₁(x,y)的特征值被降低；当t₂≤t≤255且1≤rr₃(x,y)≤2，f₁(x,y)属于缺陷可能性较大，因此f₁(x,y)的特征值被提高。

根据步骤1得到的灰度图像f(x,y)的表面缺陷数目特征构建前景目标数目特征显著图f₂(x,y)具体为，如图3所示：

首先根据灰度图像的表面缺陷数目特征构建前景目标数目权重函数，然后根据数目权重函数曲线提高前景目标区域的显著度；

具体按照以下步骤实施：

前景目标数目权重函数构建

a)构建前景目标数目函数n(l)：

前景目标数目n(l)用欧拉数表示，那么前景目标数目函数构建如公式(11)所示：

$\left\{\begin{array}{c}\begin{array}{cc}if& f(x,y)>l\end{array}\\ \begin{array}{cc}then,& f(x,y)=1\end{array}\\ n\left(l\right)=num\&lsqb;f(x,y)\&rsqb;\end{array}\right.l\&Element;\&lsqb;1,255\&rsqb;---\left(11\right)$

其中，n(l)是以灰度级l作为阈值，分割所获得的前景目标数目；

b)构建前景目标数目函数梯度：

前景目标数目函数一阶梯度构建如公式(12)所示：

$\&dtri;n\left(l\right)=n\left(l\right)-n(l-1)---\left(12\right)$

c)前景目标数目特征函数：

设p和q分别为前景目标数目函数一阶梯度的两个极大值所对应的灰度值，则前景目标数目特征函数分别如公式(13)、(14)和(15)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=l& 1\&le;l\&le;p\end{array}\\ s_1(x,y)=1-\left|\frac{\&dtri;n\left(l\right)}{\max \&lsqb;\&dtri;n\left(l\right)\&rsqb;}\right|\end{array}\right.---\left(13\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=l& p<l<q\end{array}\\ s_2(x,y)=\frac{\&dtri;n\left(l\right)}{|\max \&lsqb;\&dtri;n\left(l\right)\&rsqb;|}\end{array}\right.---\left(14\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=l& q\&le;l\&le;255\end{array}\\ s_3(x,y)=1-\frac{\&dtri;n\left(l\right)}{|\max \&lsqb;\&dtri;n\left(l\right)\&rsqb;|}\end{array}\right.---\left(15\right)$

其中，当1≤l≤p时，s₁(x,y)值越大，f(x,y)为缺陷的可能性越高；当p＜l＜q时，s₂(x,y)值越小，f(x,y)为背景的可能性越高；当q≤l≤255时，s₃(x,y)值越大，f(x,y)为缺陷的可能性越高；

d)前景目标数目特征权重函数：

图像f(x,y)前景目标数目特征函数分别如公式(16)、(17)和(18)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=l& 1\&le;l\&le;p\end{array}\\ {\mathrm{ss}}_1(x,y)=1-s_1(x,y)\end{array}\right.---\left(16\right)$

$\left\{\begin{array}{c}\begin{array}{cccc}if& f(x,y)=l,& 0\&le;s_2(x,y)<1,& p<l<q\end{array}\\ {\mathrm{ss}}_2(x,y)=s_2(x,y)\\ \begin{array}{cccc}if& f(x,y)=l,& -1\&le;s_2(x,y)<0,& p<l<q\end{array}\\ {\mathrm{ss}}_2(x,y)=1+s_2(x,y)\end{array}\right.---\left(17\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f(x,y)=l,& q\&le;l\&le;255\end{array}\\ {\mathrm{ss}}_3(x,y)=1+s_3(x,y)\end{array}\right.---\left(18\right)$

其中，当1≤l≤p时，ss₁(x,y)值越小，f(x,y)为缺陷的可能性越高；当p＜l＜q时，ss₂(x,y)值越小，f(x,y)为背景的可能性越高；当q≤l≤255时，ss₃(x,y)值越大，f(x,y)为缺陷的可能性越高；

前景目标数目特征的前景目标区域显著度提高：

前景目标区域显著度被提高过程，采用公式(19)所示：

根据公式(18)，当1≤l≤p且0≤ss₁(x,y)≤1，f₂(x,y)属于缺陷可能性较大，因此f₂(x,y)的特征值被提高；当p＜l＜q且0≤ss₂(x,y)≤1，f₂(x,y)属于背景可能性较大，因此f₂(x,y)的特征值被降低；当q≤l≤255且1≤ss₃(x,y)≤2，f₂(x,y)属于缺陷可能性较大，因此f₂(x,y)的特征值被提高。

步骤3、如图4所示，在步骤2得到的面积特征显著图f₁(x,y)和数目特征显著图f₂(x,y)上，分别确定阈值，然后根据所确定的阈值分别对面积特征显著图和数目特征显著图进行分割分别获得面积特征二值图[f₁(x,y)]和数目特征二值图[f₂(x,y)]；

获得面积特征二值图，具体为：

将步骤2得到的面积特征显著图f₁(x,y)，采用大律法分割获得面积特征二值图[f₁(x,y)]，分割过程如公式(20)所示：

$\left\{\begin{array}{cc}\begin{array}{cc}if& f_1(x,y)>{\mathrm{\&delta;}}_{oust1},\end{array}& \&lsqb;f_1(x,y)\&rsqb;=1\\ else,& \&lsqb;f_1(x,y)\&rsqb;=0\end{array}\right.---\left(20\right)$

其中，δ_oust1为大律法确定的面积特征分割阈值。

获得数目特征二值图，具体为：

将步骤2得到的面积特征显著图f₂(x,y)，采用大律法分割获得数目特征二值图[f₂(x,y)]，分割过程如公式(21)所示：

$\left\{\begin{array}{cc}\begin{array}{cc}if& f_2(x,y)>{\mathrm{\&delta;}}_{oust2},\end{array}& \&lsqb;f_2(x,y)\&rsqb;=1\\ else,& \&lsqb;f_2(x,y)\&rsqb;=0\end{array}\right.---\left(21\right)$

其中，δ_oust2为大律法确定的数目特征分割阈值。

步骤4、如图5所示，将步骤3得到的面积特征二值图[f₁(x,y)]和数目特征二值图[f₂(x,y)]采用相加融合获得整体二值图F(x,y)，如公式(22)所示：

$F(x,y)=\&lsqb;f_1(x,y)\&rsqb;\&CirclePlus;\&lsqb;f_2(x,y)\&rsqb;---\left(22\right)$

其中，表示相加。

步骤5、如图6所示，在步骤4获得的整体二值图F(x,y)中，统计前景各个目标的面积，然后采用大律法确定阈值进行滤波，滤波过程如公式(23)所示：

$\left\{\begin{array}{cc}\begin{array}{cc}if& F(x,y)>s_{oust},\end{array}& F(x,y)=1\\ else,& F(x,y)=0\end{array}\right.---\left(23\right)$

其中，s_oust为由大律法确定的分割阈值面积。

滤除小于滤波阈值的噪声和伪目标，大于滤波阈值的即为工业产品表面缺陷。

在工业现场采集织物疵点图像、带钢缺陷图像、刀具磨损图像和齿轮裂纹图像，然后在图像中添加均值μ为0，强度σ分别为0、2、4、8、10及20的高斯噪声，采用本发明检测方法进行检测，检测结果如图7所示；当噪声强度σ为0时，本发明检测方法的各类工业产品缺陷检测准确率在95％—100％之间变化，变化范围小，说明该检测方法准确率高，对工业产品表面各类疵点检测具有普适性；当噪声强度σ分别为2、4、8、10时，本发明检测方法的各类工业产品缺陷检测准确率随着噪声略有下降，但检测准确率都大于93％，说明该检测方法具有较强的抗噪性能，表明适合工业现场在线检测的需要；仅当噪声强度σ大于等于20时，本发明检测方法的检测准确率随着噪声下降较快，在实际检测中强噪声发生概率较小，因此并不影响工业现场在线检测的需要。本发明检测方法之所以能适应工业现场大背景小目标的缺陷检测，主要在于本发明检测方法是根据目标特征，提高目标区域的权重系数，从而构建特征显著图以及根据目标面积进行滤波的缘故，从而提高了检测准确率和抗噪性能。

本发明基于目标特征显著图构建的工业产品表面缺陷检测方法，通过分析所采集图像前景目标面积特征，构建图像灰度密度函数及其梯度函数、前景目标面积特征函数及其权重函数，形成面积特征显著图；通过分析所采集图像前景目标数目特征，构建前景目标数目函数及其梯度函数、前景目标数目特征函数及其权重函数，形成数目特征显著图；然后，对面积特征显著图和数目特征显著图采用大律法进行分割和二值特征图的融合，并通过滤波消除噪声等干扰，最终完成缺陷检测。

本发明的原理为：工业产品表面缺陷检测属于大背景条件下弱小目标的检测，如果能利用目标特性提高前景目标区域的显著度，就能解决弱小目标难以检测的问题。因此，我们通过分析缺陷区域的特征，构建前景目标面积特征和数目特征显著图，提高目标与背景的对比度，实现了缺陷的准确检测和检测适应性；同时采用前景目标面积特征作为选择滤波阈值条件，有效提高了抗噪性能。

本发明的优点在于：

(1)通过工业产品表面缺陷图像面积特征和数目特征分析，然后分别构建前景目标面积特征权重函数和前景目标数目特征权重函数，形成面积特征显著图和数目特征显著图，增大了前景与背景的对比度，避免了小目标检测准确率低的问题；

(2)在工业产品表面缺陷图像滤波时，根据整体二值图中前景目标面积特征选择滤波阈值，有效避免了噪声及伪目标的干扰。

Claims (8)

1.基于目标特征显著图构建的工业产品表面缺陷检测方法，其特征在于，具体按照以下步骤实施：

步骤1、将采集到的彩色图像转换为灰度图像f(x,y)；

步骤2、根据步骤1得到的灰度图像f(x,y)的表面缺陷面积特征和数目特征分别构建前景目标面积特征显著图f₁(x,y)和数目特征显著图f₂(x,y)；

步骤3、在步骤2得到的面积特征显著图f₁(x,y)和数目特征显著图f₂(x,y)上，分别确定阈值，然后根据所确定的阈值分别对面积特征显著图和数目特征显著图进行分割分别获得面积特征二值图[f₁(x,y)]和数目特征二值图[f₂(x,y)]；

步骤4、将步骤3得到的面积特征二值图[f₁(x,y)]和数目特征二值图[f₂(x,y)]融合成为整体二值图F(x,y)；

步骤5、在步骤4获得的整体二值图F(x,y)中，根据前景目标面积，确定滤波阈值，滤除小于滤波阈值的噪声和伪目标，大于滤波阈值的即为工业产品表面缺陷。

2.根据权利要求1所述的基于目标特征显著图构建的工业产品表面缺陷检测方法，其特征在于，所述步骤1具体为：

将彩色图像转换为灰度图像，采用各颜色通道分量加权平均进行灰度化，转换过程如公式(1)所示；

f(x,y)＝0.03R(x,y)+0.59G(x,y)+0.11B(x,y)(1)

其中，R(x,y)为彩色图像在(x,y)处红色分量，G(x,y)为彩色图像在(x,y)处绿色分量，B(x,y)为彩色图像在(x,y)处蓝色分量，f(x,y)为灰度图像在(x,y)处灰度值。

3.根据权利要求1所述的基于目标特征显著图构建的工业产品表面缺陷检测方法，其特征在于，所述步骤2中构建前景目标面积特征显著图具体为：首先根据灰度图像的表面缺陷面积特征构建前景目标面积权重函数，然后根据面积权重函数曲线提高前景目标区域的显著度；

具体按照以下步骤实施：

前景目标面积权重函数构建

a)构建图像灰度密度函数：

设采集图像的尺寸为M×N，i表示图像灰度级，那么图像的灰度密度函数p(i)构建如公式(2)所示：

$p\left(i\right)=\frac{m\left(i\right)}{M\&times;N}---\left(2\right)$

其中，i∈[0,255]，m(i)表示在第i个灰度级所有的像素个数；

b)构建图像灰度密度函数梯度：

图像的灰度密度函数一阶梯度▽p(t)构建如公式(3)所示；

▽p(t)＝p(t)-p(t-1)(3)

其中，t∈[1,255]；

c)前景目标面积特征函数：

设图像f(x,y)在(x,y)处的灰度值为t，t₁、t₂分别为灰度密度函数一阶梯度▽p(t)为极大和极小时所对应的灰度值，则前景目标面积特征函数分别如公式(4)、(5)和(6)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f\left(x,y\right)=t& 1\&le;t\&le;t_1\end{array}\\ r_1(x,y)=1-\left|\frac{\&dtri;p\left(t\right)}{\max \&lsqb;\&dtri;p\left(t\right)\&rsqb;}\right|\end{array}\right.---\left(4\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f\left(x,y\right)=t& t_1<t<t_2\end{array}\\ r_2(x,y)=\frac{\&dtri;p\left(t\right)}{|\max \&lsqb;\&dtri;p\left(t\right)\&rsqb;|}\end{array}\right.---\left(5\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f\left(x,y\right)=t& t_2\&le;t\&le;255\end{array}\\ r_3(x,y)=1-\left|\frac{\&dtri;p\left(t\right)}{\max \&lsqb;\&dtri;p\left(t\right)\&rsqb;}\right|\end{array}\right.---\left(6\right)$

其中，当t∈[1,t₁]时，r₁(x,y)值越大，f(x,y)为缺陷的可能性越高；当t∈(t₁,t₂)时，r₂(x,y)值越小，f(x,y)为背景的可能性越高；当t∈[t₂,255]时，r₃(x,y)值越大，f(x,y)为缺陷的可能性越高；

d)前景目标面积特征权重函数：

图像f(x,y)前景目标面积特征函数分别如公式(7)、(8)和(9)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f\left(x,y\right)=t& 1\&le;t\&le;t_1\end{array}\\ {\mathrm{rr}}_1(x,y)=1-r_1\left(x,y\right)\end{array}\right.---\left(7\right)$

$\left\{\begin{array}{c}\begin{array}{cccc}if& f\left(x,y\right)=t& 0\&le;r_2\left(x,y\right)<1& t_1<t<t_2\end{array}\\ {\mathrm{rr}}_2\left(x,y\right)=r_2\left(x,y\right)\\ \begin{array}{cccc}if& f\left(x,y\right)=t& -1\&le;r_2\left(x,y\right)<0& t_1<t<t_2\end{array}\\ {\mathrm{rr}}_2\left(x,y\right)=1+r_2\left(x,y\right)\end{array}\right.---\left(8\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f\left(x,y\right)=t& t_2\&le;t\&le;255\end{array}\\ {\mathrm{rr}}_3(x,y)=1+r_3\left(x,y\right)\end{array}\right.---\left(9\right)$

其中，当t∈[1,t₁]时，rr₁(x,y)值越小，f(x,y)为缺陷的可能性越高；当t∈(t₁,t₂)时，rr₂(x,y)值越小，f(x,y)为背景的可能性越高；当t∈[t₂,255]时，rr₃(x,y)值越大，f(x,y)为缺陷的可能性越高；

前景目标面积特征的前景目标区域显著度提高：

前景目标区域显著度被提高过程，采用公式(10)所示：

根据公式(10)，当1≤t≤t₁且0≤rr₁(x,y)≤1，f₁(x,y)属于缺陷可能性较大，因此f₁(x,y)的特征值被提高；当t₁＜t＜t₂且0≤rr₂(x,y)≤1，f₁(x,y)属于背景可能性较大，因此f₁(x,y)的特征值被降低；当t₂≤t≤255且1≤rr₃(x,y)≤2，f₁(x,y)属于缺陷可能性较大，因此f₁(x,y)的特征值被提高。

4.根据权利要求1所述的基于目标特征显著图构建的工业产品表面缺陷检测方法，其特征在于，所述步骤2中构建前景目标数目特征显著图具体为：首先根据灰度图像的表面缺陷数目特征构建前景目标数目权重函数，然后根据数目权重函数曲线提高前景目标区域的显著度；

具体按照以下步骤实施：

前景目标数目权重函数构建

a)构建前景目标数目函数n(l)：

前景目标数目n(l)用欧拉数表示，那么前景目标数目函数构建如公式

(11)所示：

$\left\{\begin{array}{c}\begin{array}{cc}if& f\left(x,y\right)>l\end{array}\\ \begin{array}{ccc}then,& f\left(x,y\right)=1& l\&Element;\&lsqb;1,255\&rsqb;\end{array}\\ n\left(l\right)=num\&lsqb;f\left(x,y\right)\&rsqb;\end{array}\right.---\left(11\right)$

其中，n(l)是以灰度级l作为阈值，分割所获得的前景目标数目；

b)构建前景目标数目函数梯度：

前景目标数目函数一阶梯度▽n(l)构建如公式(12)所示：

▽n(l)＝n(l)-n(l-1)(12)

c)前景目标数目特征函数：

设p和q分别为前景目标数目函数一阶梯度的两个极大值所对应的灰度值，则前景目标数目特征函数分别如公式(13)、(14)和(15)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f\left(x,y\right)=l& 1\&le;l\&le;p\end{array}\\ s{1}_{}(x,y)=1-\left|\frac{\&dtri;p\left(l\right)}{\max \&lsqb;\&dtri;n\left(l\right)\&rsqb;}\right|\end{array}\right.---\left(13\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f\left(x,y\right)=l& p<l<q\end{array}\\ s{2}_{}(x,y)=\frac{\&dtri;p\left(l\right)}{|\max \&lsqb;\&dtri;n\left(l\right)\&rsqb;|}\end{array}\right.---\left(14\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f\left(x,y\right)=l& q\&le;l\&le;255\end{array}\\ s{3}_{}(x,y)=1-\frac{\&dtri;p\left(l\right)}{|\max \&lsqb;\&dtri;n\left(l\right)\&rsqb;|}\end{array}\right.---\left(15\right)$

其中，当1≤l≤p时，s₁(x,y)值越大，f(x,y)为缺陷的可能性越高；当p＜l＜q时，s₂(x,y)值越小，f(x,y)为背景的可能性越高；当q≤l≤255时，s₃(x,y)值越大，f(x,y)为缺陷的可能性越高；

d)前景目标数目特征权重函数：

图像f(x,y)前景目标数目特征函数分别如公式(16)、(17)和(18)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f\left(x,y\right)=l& 1\&le;l\&le;p\end{array}\\ ss{1}_{}(x,y)=1-s_1\left(x,y\right)\end{array}\right.---\left(16\right)$

$\left\{\begin{array}{c}\begin{array}{cccc}if& f\left(x,y\right)=l& 0\&le;s_2\left(x,y\right)<1& p<l<q\end{array}\\ {\mathrm{ss}}_2\left(x,y\right)=s_2\left(x,y\right)\\ \begin{array}{cccc}if& f\left(x,y\right)=l& -1\&le;s_2\left(x,y\right)<0& p<l<q\end{array}\\ {\mathrm{ss}}_2\left(x,y\right)=1+s_2\left(x,y\right)\end{array}\right.---\left(17\right)$

$\left\{\begin{array}{c}\begin{array}{ccc}if& f\left(x,y\right)=l,& q\&le;l\&le;255\end{array}\\ ss{3}_{}(x,y)=1+s_3\left(x,y\right)\end{array}\right.---\left(18\right)$

其中，当1≤l≤p时，ss₁(x,y)值越小，f(x,y)为缺陷的可能性越高；当p＜l＜q时，ss₂(x,y)值越小，f(x,y)为背景的可能性越高；当q≤l≤255时，ss₃(x,y)值越大，f(x,y)为缺陷的可能性越高；

前景目标数目特征的前景目标区域显著度提高：

前景目标区域显著度被提高过程，采用公式(19)所示：

根据公式(18)，当1≤l≤p且0≤ss₁(x,y)≤1，f₂(x,y)属于缺陷可能性较大，因此f₂(x,y)的特征值被提高；当p＜l＜q且0≤ss₂(x,y)≤1，f₂(x,y)属于背景可能性较大，因此f₂(x,y)的特征值被降低；当q≤l≤255且1≤ss₃(x,y)≤2，f₂(x,y)属于缺陷可能性较大，因此f₂(x,y)的特征值被提高。

5.根据权利要求1所述的基于目标特征显著图构建的工业产品表面缺陷检测方法，其特征在于，所述步骤3中获得面积特征二值图，具体为：

将步骤2得到的面积特征显著图f₁(x,y)，采用大律法分割获得面积特征二值图[f₁(x,y)]，分割过程如公式(20)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f_1\left(x,y\right)>{\mathrm{\&delta;}}_{oust1},& \&lsqb;f_1\left(x,y\right)\&rsqb;=1\end{array}\\ \begin{array}{cc}else,& \&lsqb;f_1\left(x,y\right)\&rsqb;=0\end{array}\end{array}\right.---\left(20\right)$

其中，δ_oust1为大律法确定的面积特征分割阈值。

6.根据权利要求1所述的基于目标特征显著图构建的工业产品表面缺陷检测方法，其特征在于，所述步骤3中获得数目特征二值图，具体为：

将步骤2得到的面积特征显著图f₂(x,y)，采用大律法分割获得数目特征二值图[f₂(x,y)]，分割过程如公式(21)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& f_2\left(x,y\right)>{\mathrm{\&delta;}}_{oust2},& \&lsqb;f_2\left(x,y\right)\&rsqb;=1\end{array}\\ \begin{array}{cc}else,& \&lsqb;f_2\left(x,y\right)\&rsqb;=0\end{array}\end{array}\right.---\left(21\right)$

其中，δ_oust2为大律法确定的数目特征分割阈值。

7.根据权利要求1所述的基于目标特征显著图构建的工业产品表面缺陷检测方法，其特征在于，所述步骤4具体为：

将步骤3得到的面积特征二值图[f₁(x,y)]和数目特征二值图[f₂(x,y)]采用相加融合获得整体二值图F(x,y)，如公式(22)所示：

$F(x,y)=\&lsqb;f_1(x,y)\&rsqb;\&CirclePlus;\&lsqb;f_2(x,y)\&rsqb;---\left(22\right)$

其中，表示相加。

8.根据权利要求1所述的基于目标特征显著图构建的工业产品表面缺陷检测方法，其特征在于，所述步骤5具体为：

将步骤4中获得的整体二值图F(x,y)统计前景各个目标的面积，然后采用大律法确定阈值进行滤波，滤波过程如公式(23)所示：

$\left\{\begin{array}{c}\begin{array}{ccc}if& F\left(x,y\right)>s_{oust},& F\left(x,y\right)=1\end{array}\\ \begin{array}{cc}else,& F\left(x,y\right)\end{array}=0\end{array}\right.---\left(23\right)$

其中，s_oust为由大律法确定的分割阈值面积。