CN109682839B - 一种金属弧形工件表面缺陷在线检测方法 - Google Patents

Abstract

本发明公开了金属弧形工件表面缺陷在线检测方法，包括以下步骤：首先获取金属弧形工件表面灰度图像并建立数据场，若数据场最大势值小于设定阈值，则金属弧形工件无缺陷，结束检测，否则执行下一步；对图像数据场进行阈值分割获得二值图像B₁W(x,y)，并标记缺陷区域；之后针对每个缺陷区域，根据其外接矩形区域确定对比度阈值T；再求取每个缺陷区域外接矩形内部任意像素点的对比度，并根据对比度与T对灰度图像进行阈值分割，获得二值图像B₂W(x,y)；最后对B₁W(x,y)和B₂W(x,y)取并集并去除噪声，获得最终的缺陷图像，由此检测出缺陷。本发明有效地克服了由金属弧形工件表面反射不均、对比度低、缺陷种类多导致的缺陷检测准确率低的问题，对不同缺陷的检测具有良好的检测精度和鲁棒性。

Description

一种金属弧形工件表面缺陷在线检测方法

技术领域

本发明属于计算机视觉技术领域，特别是一种金属弧形工件表面缺陷在线检测方法。

背景技术

金属弧形工件是军事武器、航空航天、汽车和工业制造等众多领域中不可缺少的基础部件。在工件生产过程中，由于加工工艺、原材料、铸件技术等因素的影响，容易导致其表面出现缺口、凹坑、卷边、凹痕、褶皱等缺陷，在一定程度上会影响产品性能以及下一道工序的生产效率，严重时甚至会引起重大安全事故。

目前，对于半成品的金属弧形工件，由于其缺陷形状各异，国内大多生产厂商仍采用人工检测的形式，而人工检测效率低下、容易受主观因素影响，并且长时间的劳动易使人产生视觉疲劳，出现误检或漏检，甚至漏掉致命缺陷。与此同时，机器视觉缺陷检测技术以其快速、非接触、自动化、高精度等特点弥补了人工检测的不足，在智能制造领域具有广阔的应用前景。

此外，机器视觉技术在磁瓦、磁环、钢轨、圆钢、带钢、轴承、钢球等金属零件的缺陷检测中已引起了学者的广泛关注，各种金属表面缺陷检测方法也相继被提出。如背景差分算法是通过非线性扩散模型平滑金属图像缺陷区域，构建背景图像，利用图像差分法及自适应二值化方法分割出缺陷图像，该方法的检测性能完全取决于背景图像还原的准确程度，对某些缺陷类型不能完全适用；基于目标方差加权的改进Otsu算法(WOV)进行阈值分割，以目标出现的概率作为权重，加权类间方差，使阈值靠近单峰直方图的左边缘，该检测算法对直方图呈单峰分布的钢轨图像有不错的分割效果，但在情况较为复杂的金属表面图像中有效性不高；基于剪切波和小波特征融合的金属缺陷检测方法，是利用小波变换能较好捕捉点奇异性信号的性质提取点缺陷，借助剪切波变换对奇异曲线具有的方向敏感性以及最优逼近性能识别方向性缺陷，并以中厚板、精密铝带和高温铸坯三种金属为对象进行实验，该检测方法对不同类型缺陷检测的适应性比较好，但实验对象多为平面金属，对弧形金属缺陷检测存在一定局限性。

尽管众多学者已经在机器视觉检测方法层面做了很多工作，但是弧形金属表面缺陷检测离实际应用仍有一定差距，主要因为：1)光照变化、反射不均的影响。圆弧形的几何结构导致表面不同位置的反射率不同，中心区域镜面反射光线较多，两侧区域发生漫反射，图像呈现中间亮两边暗的效果。2)缺陷类型较多，形状随机、尺寸较小，且缺陷与背景灰度值区分不明显，导致缺陷区域难以分割。

发明内容

本发明所解决的技术问题在于提供一种数据场与局部矩形对比度结合的金属弧形工件表面缺陷在线检测方法。

实现本发明目的的技术解决方案为：一种金属弧形工件表面缺陷在线检测方法，包括以下步骤：

步骤1、采集金属弧形工件表面图像并将其转为灰度图像，之后建立灰度图像数据场，并统计该数据场的最大势值，若最大势值小于设定阈值，则判定该金属弧形工件无缺陷，结束检测，否则执行步骤2；

步骤2、以步骤1建立的图像数据场为主体，采用Otsu算法计算全局阈值并根据全局阈值分割图像数据场，获得二值图像B₁W(x,y)，其中像素值为255的区域记为缺陷区域；

步骤3、针对步骤2获得的每个缺陷区域，求取其外接矩形的平均像素灰度值作为外接矩形区域灰度均值b(x,y)，并求取其最小凸边形内部区域的平均像素灰度值u和像素强度的标准差σ，之后根据b(x,y)、u、σ确定对比度阈值T；

步骤4、针对所述每个缺陷区域外接矩形内部的任意像素点，求取其对比度，并根据该对比度与步骤3的对比度阈值T对所述灰度图像进行阈值分割，获得二值图像B₂W(x,y)；

步骤5、对步骤2的二值图像B₁W(x,y)和步骤4的二值图像B₂W(x,y)取并集，并去除缺陷区域面积相对小的噪声，获得最终的缺陷图像，由此检测出缺陷。

本发明与现有技术相比，其显著优点为：1)本发明通过建立图像数据场使得背景区域以及缺陷区域的势值均匀，缺陷与背景边界的势值对比度明显，可有效定位到缺陷边界，减弱灰度不均的影响；2)本发明中通过局部矩形对比度从宏观角度分割缺陷内部区域，自适应阈值使其可适用于不同类型缺陷的分割；3)本发明的方法能有效地克服金属弧形工件表面反射不均的缺点，对不同缺陷的检测具有良好的检测精度和鲁棒性。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明金属弧形工件表面缺陷在线检测方法流程图。

图2为本发明实施例中不同场源强度下的图像数据场对比示意图，其中图(a)为原始图像，图(b)为绝对数据场，图(c)为相对数据场，图(d)为灰度对比数据场，图(e)为本发明中建立的数据场。

图3为本发明实施例中局部矩形对比度处理区域示意图。

图4为本发明实施例中不同T₁值下的查全率和查准率曲线图。

图5为本发明实施例中缺陷检测实验结果对比图，其中(a1)～(f1)为缺陷图像，(a2)～(f2)为WOV方法检测结果，(a3)～(f3)为BGD方法检测结果，(a4)～(f4)为IBGD方法检测结果，(a5)～(f5)为本发明方法检测结果。

具体实施方式

结合图1，本发明一种金属弧形工件表面缺陷在线检测方法，包括以下步骤：

步骤1、采集金属弧形工件表面图像并将其转为灰度图像，之后建立灰度图像数据场，并统计该数据场的最大势值，若最大势值小于设定阈值，则判定该金属弧形工件无缺陷，结束检测，否则执行步骤2；

步骤2、以步骤1建立的图像数据场为主体，采用Otsu算法计算全局阈值并根据全局阈值分割图像数据场，获得二值图像B₁W(x,y)，其中像素值为255的区域记为缺陷区域；

步骤3、针对步骤2获得的每个缺陷区域，求取其外接矩形的平均像素灰度值作为外接矩形区域灰度均值b(x,y)，并求取其最小凸边形内部区域的平均像素灰度值u和像素强度的标准差σ，之后根据b(x,y)、u、σ确定对比度阈值T；

步骤4、针对所述每个缺陷区域外接矩形内部的任意像素点，求取其对比度，并根据该对比度与步骤3的对比度阈值T对所述灰度图像进行阈值分割，获得二值图像B₂W(x,y)；

步骤5、对步骤2的二值图像B₁W(x,y)和步骤4的二值图像B₂W(x,y)取并集，并去除缺陷区域面积相对小的噪声，获得最终的缺陷图像，由此检测出缺陷。

进一步地，步骤1中图像数据场为像素间的相互关系，保持了局部邻域空间和灰度信息间的平衡，保留了图像的全局和局部结构信息，其表达式为：

式中，

为像素点q在像素点p处所产生的势值，m^q为q的场源强度，d_p,q为q和p的距离，σ_d为决定像素q的作用范围的影响因子。

进一步地，上述m^q的公式为：

式中，p和q为给定的二维图像空间的任意两个像素点，f(q)和f(p)分别表示q和p的像素灰度值，C为非零常数。

优选地，步骤3中外接矩形区域灰度均值b(x,y)的计算公式为：

式中，g(x',y')为外接矩形区域中某一像素点(x',y')的灰度值，w,h分别为缺陷区域外接矩形的宽和高。

优选地，步骤3中对比度阈值T具有自适应性，根据b(x,y)、u、σ确定对比度阈值T的公式为：

T＝Δu+kσ

式中，Δu为外接矩形区域灰度均值b(x,y)与缺陷区域最小凸边形内部区域平均像素灰度值u差值的绝对值，k为对比度阈值计算系数。

优选地，k的取值范围为[0,1]。

优选地，k的公式为：

优选地，步骤4中针对每个缺陷区域外接矩形内部的任意像素点，求取其对比度，所用公式为：

C(x,y)＝|g(x,y)-b(x,y)|

式中，C(x,y)为外接矩形内部坐标点为(x,y)对应像素点的对比度，g(x,y)为外接矩形内部坐标点为(x,y)对应像素点的灰度值。

优选地，步骤4中根据该对比度与步骤3的对比度阈值T对灰度图像进行阈值分割，获得二值图像B₂W(x,y)，所用公式为：

下面结合实施例对本发明作进一步详细描述。

实施例

本发明实施例中金属弧形工件表面缺陷在线检测方法，该方法包括：

步骤1、采集金属弧形工件表面图像并将其转为灰度图像，之后建立灰度图像数据场，并统计该数据场的最大势值，若最大势值小于设定阈值，则判定该金属弧形工件无缺陷，结束检测，否则执行步骤2。

所建立的图像数据场用于反映两个像素点间的灰度对比情况，其表达式为：

式中，

为像素点q在像素点p处所产生的势值，m^q为q的场源强度，d_p,q为q和p的距离，σ_d为决定像素q的作用范围的影响因子。

同时，为了使得背景和目标的交界处的势值只发生单一的正向突变，而背景内部或者目标内部势值较为接近，从而有利于后续的缺陷检测，因此本发明给出的改进场源强度m^q计算方法为：

式中，p和q为给定的二维图像空间的任意两个像素点，f(q)和f(p)分别表示q和p的像素灰度值，C为非零常数。

为了进一步说明数据场的作用，本实施例中利用一幅带有缺陷的图像如图2所示，展示了m^q取不同计算方法情况时所建立的数据场对比情况(半径为2)。其中，

其中，图2(b)采用灰度信息即绝对数据质量f(q)作为场源强度。

图2(c)为采用相对数据质量表示的场源强度，对应的表达式为：

式中，σ_m表示相对数据质量的影响程度，该种质量计算方式赋予了两像素点间的灰度差以权重。

图2(d)为基于灰度对比度表示的场源强度，对应的计算方法为：

式中，

和

分别表示q和p的邻域灰度均值，用于提高算法的抗噪性能，C为非零常数。

图2(e)为采用本发明方法计算场源强度所建立的图像数据场。

步骤2、针对所建立的图像数据场，采用Otsu算法计算出全局阈值，并应用该阈值分割图像数据场，获得二值图像B₁W(x,y)；

对于步骤1中所建立的图像数据场图2(e)，其背景势值更加平坦，有效地改善了灰度不均的问题，同时目标与背景的边缘处有明显的正向突变，采用Otsu算法即可将突变位置分割出来。但缺陷内部仍然是背景区域，需要与其他分割方法结合才能将缺陷区域完全分割出来。

步骤3、针对分割出的每个缺陷区域，计算其外接矩形的平均像素灰度作为外接矩形区域灰度均值b(x,y)，并计算其最小凸边形内部区域的平均像素灰度值u和像素强度的标准差σ，之后根据b(x,y)、u、σ确定对比度阈值T；

若以缺陷的外接矩形作为背景区域，矩形的厚度确定，则背景像素确定。厚度越大，则背景覆盖的像素越多，相应的计算量会增加。此外，过多的背景信息有可能会对缺陷的分割效果起反作用，因为缺陷内部的像素点只与其相邻的背景对比度较大，如果背景里包含较远的像素点，会影响检测效果。因此，厚度选择应尽可能的小，但背景的长宽必须覆盖整个缺陷区域，否则，部分缺陷像素参与到背景平均强度的计算，会造成局部对比度的误差，本发明实施例中的厚度选择为1。

针对图3所示缺陷区域，外圈的深色矩形即为背景区域，其背景区域灰度均值为：

式中，g(x',y')为外接矩形区域中某一像素点(x',y')的灰度值，w,h分别为缺陷区域外接矩形的宽和高。

从人眼的视觉机制来看，目标的显著性集中在缺陷所在的紧凑范围内，基于局部矩形对比度的检测算法就来源于此。如图3，虚线包围的区域为缺陷，其内部为同质区域，所以灰度波动范围很小，但缺陷区域与其周围背景对比度较大。局部环形对比度就是缺陷区域外接矩形内部的每个像素点灰度与其周围矩形背景平均像素强度的差异大小，差异越大，对比度越大。对于一个缺陷区域而言，仅需计算一次背景强度，实时性校高。如果差值超过设定阈值T，则该点为缺陷点。局部矩形对比度的大小与缺陷的灰度以及背景的灰度均值分布有关，因此，T也必须具有自适应性，其计算方法为：

T＝Δu+kσ

式中，Δu为外接矩形区域灰度均值b(x,y)与缺陷区域最小凸边形内部区域平均像素灰度值u差值的绝对值，k为对比度阈值计算系数。

同时，较大的k会带来欠分割问题，即一部分缺陷被当成了背景区域，而较小的k则导致过分割。当背景像素强度与缺陷像素强度差异较大时，阈值应主要由Δu主导。局部的灰度不均会导致Δu值较小，此时应由标准差主导阈值，经过对样本的统计分析，所建立的k和Δu之间的关系为：

步骤4、针对每个缺陷区域外接矩形内部的任意像素点，计算其对比度，并与步骤3中的对比度阈值T比较，分割得到二值图像B₂W(x,y)；

外接矩形内部任意像素点的对比度计算公式为：

C(x,y)＝|g(x,y)-b(x,y)|

式中，C(x,y)为外接矩形内部坐标点为(x,y)对应像素点的对比度，g(x,y)为外接矩形内部坐标点为(x,y)对应像素点的灰度值。

由于金属表面缺陷的多样性，有些缺陷呈现出暗的特性，如缺口、卷边，有些缺陷由于反光等因素表面出局部高光，如凹痕。如果缺陷最小凸边形区域平均像素强度大于背景区域，表示整体上看该缺陷较亮，则待分割的缺陷为亮缺陷。相反，待分割的缺陷为暗缺陷。分割后的图像以二值形式B₂W(x,y)展现，背景区域为0，缺陷区域标记为255，则二值图像的分割表达式为：

步骤5、对步骤2和步骤4分割出的两幅图像取并集，去除缺陷区域面积较小的噪声，得出最终的缺陷图像，检测出缺陷。

本实施例中的实验验证：

选用一固定的旋转类金属工件，该工件形状由柱体和锥体组成。采用本发明方法作缺口、凹坑、卷边、凹痕、裂纹以及混合缺陷的典型金属弧形工件表面缺陷的分割与检测实验，并与改进Otsu方法、背景差分方法以及改进背景差分方法作对比分析实验。

(1)参数分析

对于缺陷检测系统来说，查全率Rc和查准率Pr是检测性能评估的两个重要指标，其计算表达式分别为：

式中，TP表示缺陷图像被正确识别的个数，FN为缺陷图像被漏检的样例数，FP为无缺陷图像被误检的样例数。

对于本发明所提出的金属弧形工件表面缺陷检测方法，需调节的实验参数是最大势值阈值T₁。而对工件缺陷检测来说，若未能检出缺陷，将造成事故，因此查全率较为重要。但一般来说，查全率越高，查准率将会下降，二者是相互矛盾的指标，即阈值T₁直接关系到检测系统的查全率和查准率。T₁过大，查全率低，漏检率高，相反，T₁过小，查准率低，误检率高。因此，T₁的取值对查准和查全率的平衡至关重要。不同T₁值时缺陷检测的查准和查全率曲线变化情况如图4所示。从中可以看出，T₁＝9.2可以保证二者的平衡。

(2)缺陷分割效果与方法对比

为了验证本发明方法对金属弧形工件表面缺陷的分割效果，实验中采用错误分类误差(MCE)来评价其缺陷性能。其中，MCE表示背景像素点错分成目标，缺陷像素点错分成背景的比例，其定义为：

式中，B_O,F_O分别为标准分割图像的背景和缺陷区域，此处的标准分割图像采用人工标注的方式。B_T,F_T分别为图像处理后的背景和缺陷区域；|·|为取集合内取像素总数操作。

此外，为了进一步验证本发明方法的优异性能，设计了本发明方法与三种典型的金属缺陷分割方法的对比实验。在本实施例对比实验中，选取6幅典型缺陷图像如图5(a1)～(f1)所示，分别对应缺口、凹坑、卷边、凹痕、裂纹以及混合缺陷等典型缺陷。所选取的三种典型的对比方法为：改进Otsu(WOV)、背景差分(Background difference,BGD)以及改进背景差分法(IBGD)。

实验中所得到的各方法的缺陷结果分割如图5所示，定量的MCE指标对比如下表1所示。由图5的实验结果对比可以看出，WOV方法由于对Otsu的类间方差进行了自适应加权，分割阈值偏向直方图左边，导致阈值较小，且基于全局阈值的方法仅能用来分割单一的暗缺陷。对于图5(b1)～(d1)的缺陷图像，WOV无法检测。BGD方法以每列的均值为背景建模，建模方式较为简单，无法完全代表背景，对于反射较为均匀的图5(a1)、图5(c1)检测效果较好，但对于图5(e1)竖条型的缺陷，该方法难以识别出。IBGD采用双边滤波的思想进行背景图像的建模，在平滑的过程中调整不同区域的平滑程度，并采用自适应阈值分割差分图像，对各种类型的缺陷图像均有一定的检测效果，但对于较大的缺陷，如图5(a1)，背景建模时无法完全平滑掉缺陷，导致部分像素点漏检。本发明方法通过建立数据场的方式准确的定位到缺陷的边界，局部矩形对比度的分割方法分割出了较为准确的缺陷内部区域。同样地，从下表1可以看出，本发明方法的分割误差均小于其他三种方法，证明了本发明方法在金属弧形工件的表面缺陷提取中具有优越性。

表1不同检测方法的MCE对比

(3)缺陷检测性能分析与方法对比

在实际应用场景中，MCE不足以完全反映缺陷检测的性能，还需要进一步设计实验分析缺陷检测的性能，实验中得到的详细的缺陷检测性能指标如下表2所示。得益于全局特性，WOV方法表现出较高的实时性，但查全率较低，漏检的缺陷图像很多。BGD方法不能有效提取缺陷，导致查全率较低。IBGD根据图像的灰度和梯度建立背景图像，自适应窗口的方式增加了计算量，实时性较低，缺陷漏检的数量少，但误检样例多，因此查准率很低。本发明方法在缺陷检全率以及查准率指标上均高于其他三种方法，具有良好的检测性能和较高的实用价值。

表2不同方法的检测性能对比

本发明金属弧形工件表面缺陷在线检测方法，建立的图像数据场使得背景区域以及缺陷区域的势值均匀，缺陷与背景边界的势值对比度明显，可有效定位到缺陷边界，减弱灰度不均的影响。同时，局部矩形对比度从宏观角度分割缺陷内部区域，自适应阈值使其可适用于不同类型缺陷的分割。本发明的方法有效地克服了金属弧形工件表面反射不均的缺点，对不同缺陷的检测具有良好的检测精度和鲁棒性。

Claims (7)

1.一种金属弧形工件表面缺陷在线检测方法，其特征在于，包括以下步骤：

步骤1、采集金属弧形工件表面图像并将其转为灰度图像，之后建立灰度图像数据场，并统计该数据场的最大势值，若最大势值小于设定阈值，则判定该金属弧形工件无缺陷，结束检测，否则执行步骤2；

所述图像数据场为像素间的相互关系，其表达式为：

式中，

为像素点q在像素点p处所产生的势值，m^q为q的场源强度，d_p,q为q和p的距离，σ_d为决定像素q的作用范围的影响因子；

所述m^q的公式为：

式中，p和q为给定的二维图像空间的任意两个像素点，f(q)和f(p)分别表示q和p的像素灰度值，C为非零常数；

步骤2、以步骤1建立的图像数据场为主体，采用Otsu算法计算全局阈值并根据全局阈值分割图像数据场，获得二值图像B₁W(x,y)，其中像素值为255的区域记为缺陷区域；

步骤3、针对步骤2获得的每个缺陷区域，求取其外接矩形的平均像素灰度值作为外接矩形区域灰度均值b(x,y)，并求取其最小凸边形内部区域的平均像素灰度值u和像素强度的标准差σ，之后根据b(x,y)、u、σ确定对比度阈值T；

步骤4、针对所述每个缺陷区域外接矩形内部的任意像素点，求取其对比度，并根据该对比度与步骤3的对比度阈值T对所述灰度图像进行阈值分割，获得二值图像B₂W(x,y)；

步骤5、对步骤2的二值图像B₁W(x,y)和步骤4的二值图像B₂W(x,y)取并集，并去除缺陷区域面积相对小的噪声，获得最终的缺陷图像，由此检测出缺陷。

2.根据权利要求1所述的金属弧形工件表面缺陷在线检测方法，其特征在于，步骤3所述外接矩形区域灰度均值b(x,y)的计算公式为：

式中，g(x',y')为外接矩形区域中某一像素点(x',y')的灰度值，w,h分别为缺陷区域外接矩形的宽和高。

3.根据权利要求2所述的金属弧形工件表面缺陷在线检测方法，其特征在于，步骤3所述根据b(x,y)、u、σ确定对比度阈值T的公式为：

T＝Δu+kσ

式中，Δu为外接矩形区域灰度均值b(x,y)与缺陷区域最小凸边形内部区域平均像素灰度值u差值的绝对值，k为对比度阈值计算系数。

4.根据权利要求3所述的金属弧形工件表面缺陷在线检测方法，其特征在于，所述k的取值范围为[0,1]。

5.根据权利要求4所述的金属弧形工件表面缺陷在线检测方法，其特征在于，所述k的公式为：

6.根据权利要求1所述的金属弧形工件表面缺陷在线检测方法，其特征在于，步骤4所述针对每个缺陷区域外接矩形内部的任意像素点，求取其对比度，所用公式为：

C(x,y)＝|g(x,y)-b(x,y)|

式中，C(x,y)为外接矩形内部坐标点为(x,y)对应像素点的对比度，g(x,y)为外接矩形内部坐标点为(x,y)对应像素点的灰度值。

7.根据权利要求1所述的金属弧形工件表面缺陷在线检测方法，其特征在于，步骤4所述根据该对比度与步骤3的对比度阈值T对灰度图像进行阈值分割，获得二值图像B₂W(x,y)，所用公式为：

Images