CN106780486B - 一种钢板表面缺陷图像提取方法 - Google Patents

Abstract

本发明提供一种钢板表面缺陷图像提取方法，其特征在于，包括如下步骤：对钢板表面图像进行ROI检测，剔除无缺陷图像；依次读取缺陷图像，对图像进行预处理，去除噪声和不均匀光照对缺陷分割效果的影响，提高前后景对比度；对预处理后的钢板缺陷图像利用Center‑Surround Difference进行缺陷区域分割提取，最终数据输出。本发明使得图像提取算法效率得到提升，无需占用很大内存空间，便于实时处理，有效弱化噪声的影响，避免图像因光照和亮度不均造成的错误提取，提高对比度，使得缺陷提取效果更加优良，细节更完整。

Description

一种钢板表面缺陷图像提取方法

技术领域

本发明涉及机器视觉与无损检测技术领域，尤其涉及一种在多种缺陷干扰下的钢板表面缺陷图像提取方法。

背景技术

钢材产品广泛应用于建筑、家电、车船、容器制造业、机电业等，几乎涉及衣食住行的各个领域。钢板在生产加工过程中，容易受到原材料、轧制设备、工人操作技术等众多因素的影响，导致孔洞、擦伤、夹杂、划痕、锟印等多种缺陷的产生。这些缺陷的存在影响钢板外观的同时还会对它的抗腐蚀性、耐磨性和疲劳强度等性能造成影响，严重降低钢板质量。因此，如何在生产加工过程中及时、准确的检测出钢板表面缺陷，分析其产生的原因，并能及时准确的消除缺陷产生的根源，成为提升钢板表面质量的关键所。目前，用于表面缺陷图像提取的技术可分为四类：

1)基于边缘的缺陷图像分割方法。利用边缘检测算子提取缺陷目标，如Canny算子、Sobel算子、Prewitt算子等。

2)基于区域的缺陷图像分割方法。根据像素之间的相似性将图像划分为不同区域，进而实现缺陷区域的提取，如区域生长法等。

3)基于阈值的缺陷图像分割方法。根据像素灰度值确定分割阈值，对图像做门限阈值变换，提取缺陷目标区域，如大津法、灰度直方图峰谷法、最大熵自动阈值法等。

4)基于特定理论的缺陷图像分割方法。将上述三种方法的其中一种与已有理论结合，实现缺陷的分割，如基于聚类、小波变换、模糊理论等的图像分割方法。

在提取过程中会存在如下问题，如受照明环境影响以及钢板本身对光线吸收和反射程度的差异，导致部分钢板图像光照不均，丢失部分有用信息，前后景对比度低，增加了缺陷目标提取难度；或者采集到的图像易受背景环境影响，如噪声、纹理等因素的干扰，图像质量低，边缘不明确，目标区域提取困难；再者，缺陷种类较多、形态不一、严重程度不同、部分缺陷图像经图像增强后前后景对比度依然较低，这些因素增加了缺陷提取的难度。这些问题严重降低缺陷区域提取的效率和精度，给后续的缺陷识别造成影响。

发明内容

根据上述提出的技术问题，提供一种钢板表面缺陷图像提取方法。本发明主要利用ROI检测剔除无缺陷图像，再对缺陷图像进行预处理，最后利用带权重的DoG组合滤波器进行过滤、提取Global和Local特征并将两特征融合、背景抑制和前景恢复、自适应阈值分割，从而实现对缺失目标区域的提取。

本发明采用的技术手段如下：

一种钢板表面缺陷图像提取方法，其特征在于，包括如下步骤：

S1、对图像采集设备捕捉到的钢板表面图像进行ROI检测，剔除无缺陷图像；

S2、依次读取缺陷图像，对图像进行预处理，去除噪声和不均匀光照对缺陷分割效果的影响，提高前后景对比度；

S3、对预处理后的钢板缺陷图像利用Center-Surround Difference进行缺陷区域分割提取，最终数据输出。

进一步地，步骤S1中对缺陷图像进行检测提取包括如下步骤：

S11、利用Sobel算子对钢板表面图像进行边缘检测，并将梯度图像进行分块处理，分块数量为n×n；

S12、依次计算每个子图像的方差，并根据方差大小对n×n个方差值进行升序排列，对前m个方差求和并取均值，记为ave；

S13、利用步骤S11和步骤S12对无缺陷钢板图像计算ave值，记为阈值T；

S14、依次计算每幅钢板图像的ave值，并与阈值T进行比较，如果ave＞T，表明存在缺陷，需要进行下一步处理；否则，表明无缺陷存在，将其丢弃。

进一步地，步骤S2中对缺陷图像预处理包括如下步骤：

S21、利用三维块匹配算法，即BM3D算法对缺陷图像进行滤噪，抑制噪声影响；

S22、将单尺度Retinex算法与导向滤波器结合，利用导向滤波器估计光照分量，根据单尺度Retinex算法计算反射分量，得到图像R；

S23、将矫正后图像利用下式进行增强，提高前后景对比度，恢复原始灰度信息，得到图I，

式中，β为比例因子，控制图像增强程度。

进一步地，步骤S3中对缺陷图像分割提取包括如下步骤：

S31、利用带权重的DoG组合滤波器对图像进行滤波，突出图像低频成分在整幅图像中的地位，得到图像I₁，

上式为DoG滤波器，σ₁＞σ₂，滤波带宽由决定，将不同滤波带宽的N个DoG滤波器进行合并得到组合DoG滤波器，如下式所示：

式中，N为单个DoG滤波器个数，为实现低频信息的增强，为每个DoG滤波器配置不同的权重ω_n＝n+1，如下式所示：

S32、在步骤S31的基础上，对图像进行积分；根据图像中每个像素点位置的不同，利用像素点到图像边界的最小距离动态设置对称环绕区域，计算每个像素点对应的环绕区域内灰度均值I_local(x,y)，提取图像的Local特征，得到图像I₂，

I₂(x,y)＝||I₁(x,y)-I_local(x,y)||，

S33、在步骤S31的基础上，将每个像素点的环绕区域设置为整幅图像，计算该图像的灰度均值I_u，提取Global特征，得到图I₃，

I₃(x,y)＝||I₁(x,y)-I_u||，

S34、将步骤S32和步骤S33得到的Local特征图I₂和Global特征图I₃进行线性加权，得到融合后图像I₄；

S35、对融合后图像I₄进行背景抑制，消除冗余干扰，得到图像I₅，

式中，τ＝β×(max(I₄)-min(I₄))-(β-1)×mean(I₄)，β为常系数，将错误抑制的前景区域进行恢复，得到图像I₆，

式中，S为以像素点(x,y)为中心N₁×N₁的邻域范围；

S36、利用自适应阈值T_adp对图像I₆进行阈值分割，得到最终的缺陷提取图像I₇，

式中，κ为比例常数，height×width为图像大小。

本发明由于采取上述技术方案，具有以下优点：

1)对原始钢板图像进行ROI检测，剔除无缺陷图像，使图像提取算法效率得到提升，无需占用很大内存空间，便于实时处理。

2)对检测到的缺陷图像进行预处理，可以弱化噪声的影响，避免图像因光照和亮度不均造成的错误提取，提高对比度，使得缺陷提取效果更加优良。

3)利用带权重的DoG组合滤波器进行滤波，可以突出图像中的低频成分，减少噪声等高频成分的影响。

4)对滤波后图像分别提取局部特征和全局特征，并将提取到的特征图像进行线性融合，融合后的图像目标区域更加突出，细节更完整，对比度有明显提升。

5)将融合后图像进行背景抑制和前景恢复，使背景得到弱化并恢复被错误抑制的缺陷目标区域，利用自适应阈值对图像进行分割，最终实现缺陷目标区域的提取。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程示意图。

图2为本发明对缺陷图像进行检测提取的流程示意图。

图3为本发明对缺陷图像预处理的流程示意图。

图4为本发明对缺陷图像分割提取的流程示意图。

图5为本发明实施例中预处理的原始缺陷图像，其中，(a)擦伤；(b)压入脏物；(c)孔洞；(d)黑点；(e)针孔；(f)划痕。

图6为采用本发明的提取方法提取后的缺陷图像，其中，(a)擦伤；(b)压入脏物；(c)孔洞；(d)黑点；(e)针孔；(f)划痕。

图7为本发明以压入脏物缺陷为实施例的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种钢板表面缺陷图像提取方法，包括如下步骤：

S1、对图像采集设备捕捉到的钢板表面图像进行ROI检测，剔除无缺陷图像，减小内存占用，提升检测速度，具体提取步骤如下(如图2所示)：

S11、利用Sobel算子对钢板表面图像进行边缘检测，并将梯度图像进行分块处理，分块数量为n×n；

S12、依次计算每个子图像的方差，并根据方差大小对n×n个方差值进行升序排列，对前m个方差求和并取均值，记为ave；

S13、利用步骤S11和步骤S12对无缺陷钢板图像计算ave值，记为阈值T；

S14、依次计算每幅钢板图像的ave值，并与阈值T进行比较，如果ave＞T，表明存在缺陷，需要进行下一步处理；否则，表明该钢板图像无缺陷存在，将其丢弃。

S2、依次读取缺陷图像(文件为img格式)，对图像进行预处理，去除噪声和不均匀光照对缺陷分割效果的影响，提高前后景对比度，具体处理步骤如下(如图3所示)：

S21、利用三维块匹配算法，即BM3D算法对缺陷图像进行滤波去噪，抑制噪声影响；

S22、将单尺度Retinex图像增强算法与导向滤波器结合，利用导向滤波器估计光照分量，根据单尺度Retinex算法计算反射分量，得到图像R；

S23、将矫正后图像利用下式进行增强，提高前后景对比度，恢复原始灰度信息，得到图I，

式中，β为比例因子，控制图像增强程度。

S3、对预处理后的钢板缺陷图像利用Center-Surround Difference进行缺陷区域分割提取，最终数据输出，具体处理步骤如下(如图4所示)：

S31、利用带权重的DoG组合滤波器对图像进行滤波，突出图像低频成分在整幅图像中的地位，得到图像I₁，

上式为DoG滤波器，σ₁＞σ₂，滤波带宽由决定，将不同滤波带宽的N个DoG滤波器进行合并得到组合DoG滤波器，如下式所示：

式中，N为单个DoG滤波器个数，为实现低频信息的增强，为每个DoG滤波器配置不同的权重ω_n＝n+1，如下式所示：

S32、在步骤S31的基础上，对图像进行积分；根据图像中每个像素点位置的不同，利用像素点到图像边界的最小距离动态设置对称环绕区域，计算每个像素点对应的环绕区域内灰度均值I_local(x,y)，提取图像的Local特征，得到图像I₂，

I₂(x,y)＝||I₁(x,y)-I_local(x,y)||，

S33、在步骤S31的基础上，将每个像素点的环绕区域设置为整幅图像，计算该图像的灰度均值I_u，提取Global特征，得到图I₃，

I₃(x,y)＝||I₁(x,y)-I_u||，

S34、将步骤S32和步骤S33得到的Local特征图I₂和Global特征图I₃进行线性加权，得到融合后图像I₄；

S35、对融合后图像I₄进行背景抑制，消除冗余干扰，得到图像I₅，

式中，τ＝β×(max(I₄)-min(I₄))-(β-1)×mean(I₄)，β为常系数，将错误抑制的前景区域进行恢复，得到图像I₆，

式中，S为以像素点(x,y)为中心N₁×N₁的邻域范围；

S36、利用自适应阈值T_adp对图像I₆进行阈值分割，得到最终的缺陷提取图像I₇，

式中，κ为比例常数，height×width为图像大小。

实施例

如图5所示，为本发明预处理的原始缺陷图像，其中，(a)擦伤；(b)压入脏物；(c)孔洞；(d)黑点；(e)针孔；(f)划痕。采用本发明的提取方法提取后的缺陷图像如图6所示，其中，(a)擦伤；(b)压入脏物；(c)孔洞；(d)黑点；(e)针孔；(f)划痕。

具体地，再以为采用压入脏物缺陷为例(如图7所示)，参数设置选择如下：在步骤S11中，分块数量为8×8，即n为8；每种缺陷所占面积一般不超过钢板图像面积的20％，故m选取12；步骤S22中，β为比例因子选取0.6；步骤S31中，单个DoG滤波器个数N为4，步骤S35中的β＝0.065；N₁＝3；κ＝0.15。通过图7可见，采用本发明的提取方法使得图像提取算法效率得到提升，无需占用很大内存空间，便于实时处理，有效弱化噪声的影响，避免图像因光照和亮度不均造成的错误提取，提高对比度，使得缺陷提取效果更加优良，细节更完整。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种钢板表面缺陷图像提取方法，其特征在于，包括如下步骤：

S1、对图像采集设备捕捉到的钢板表面图像进行ROI检测，剔除无缺陷图像；其中，对缺陷图像进行检测包括如下步骤：

S11、利用Sobel算子对钢板表面图像进行边缘检测，并将梯度图像进行分块处理，分块数量为n×n；

S12、依次计算每个子图像的方差，并根据方差大小对n×n个方差值进行升序排列，对前m个方差求和并取均值，记为ave；

S13、利用步骤S11和步骤S12对无缺陷钢板图像计算ave值，记为阈值T；

S14、依次计算每幅钢板图像的ave值，并与阈值T进行比较，如果ave＞T，表明存在缺陷，需要进行下一步处理；否则，表明无缺陷存在，将其丢弃；

S2、依次读取缺陷图像，对图像进行预处理，去除噪声和不均匀光照对缺陷分割效果的影响，提高前后景对比度；

S3、对预处理后的钢板缺陷图像利用Center-Surround Difference进行缺陷区域分割提取，最终数据输出。

2.根据权利要求1所述的钢板表面缺陷图像提取方法，其特征在于，步骤S2中对缺陷图像预处理包括如下步骤：

S21、利用三维块匹配算法，即BM3D算法对缺陷图像进行滤噪，抑制噪声影响；

S22、将单尺度Retinex算法与导向滤波器结合，利用导向滤波器估计光照分量，根据单尺度Retinex算法计算反射分量，得到图像R；

S23、将矫正后图像利用下式进行增强，提高前后景对比度，恢复原始灰度信息，得到图I，

式中，β为比例因子，控制图像增强程度。

3.根据权利要求1所述的钢板表面缺陷图像提取方法，其特征在于，步骤S3中对缺陷图像分割提取包括如下步骤：

S31、利用带权重的DoG组合滤波器对图像进行滤波，突出图像低频成分在整幅图像中的地位，得到图像I₁，

上式为DoG滤波器，σ₁＞σ₂，滤波带宽由决定，将不同滤波带宽的N个DoG滤波器进行合并得到组合DoG滤波器，如下式所示：

式中，N为单个DoG滤波器个数，为实现低频信息的增强，为每个DoG滤波器配置不同的权重ω_n＝n+1，如下式所示：

S32、在步骤S31的基础上，对图像进行积分；根据图像中每个像素点位置的不同，利用像素点到图像边界的最小距离动态设置对称环绕区域，计算每个像素点对应的环绕区域内灰度均值I_local(x,y)，提取图像的Local特征，得到图像I₂，

I₂(x,y)＝||I₁(x,y)-I_local(x,y)||，

S33、在步骤S31的基础上，将每个像素点的环绕区域设置为整幅图像，计算该图像的灰度均值I_u，提取Global特征，得到图I₃，

I₃(x,y)＝||I₁(x,y)-I_u||，

S34、将步骤S32和步骤S33得到的Local特征图I₂和Global特征图I₃进行线性加权，得到融合后图像I₄；

S35、对融合后图像I₄进行背景抑制，消除冗余干扰，得到图像I₅，

式中，τ＝β×(max(I₄)-min(I₄))-(β-1)×mean(I₄)，β为常系数，将错误抑制的前景区域进行恢复，得到图像I₆，

式中，S为以像素点(x,y)为中心N₁×N₁的邻域范围；

S36、利用自适应阈值T_adp对图像I₆进行阈值分割，得到最终的缺陷提取图像I₇，

式中，κ为比例常数，height×width为图像大小。