CN114219762A - 基于图像修复的缺陷检测方法 - Google Patents

Abstract

本方法公开了一种基于图像修复的缺陷检测方法，该方法只需要对正样本进行训练，解决了工业生产中正负样本不平衡的问题，通过分块遮掩图片并使用图像修复网络进行修复重建，再由各遮掩块的重构图组合得到最终的无缺陷重构图，保证了异常部分的重建不受其原始值的影响，限制了模型重建异常的能力，从而得到更好的重构效果和更高的缺陷检测精度。

Description

基于图像修复的缺陷检测方法

技术领域

本发明涉及一种缺陷检测方法，尤其是涉及一种基于图像修复的缺陷检测方法。

背景技术

产品表面缺陷检测是工业制造和生产中很重要的一个环节，它的检测准确度会直接影响最终输出产品的优劣。

随着计算机视觉，人工智能的发展，越来越多的产品缺陷检测采用机器视觉的方法来代替传统的人工检测，许多基于深度学习的缺陷检测方法有着优异的表现。然而实际工业制造环境中，无缺陷样本的数量往往要远大于有缺陷样本的数量，正负样本的不平衡会使得需要大量标记数据的模型训练不充分，从而影响检测效果。

近年来图像重建的成功影响了无监督异常检测与分割方法，提出了许多基于重建的异常检测方法，如通过只使用无缺陷正样本对自动编码器，生成对抗网络GAN等进行训练使他们学习到正常无缺陷样本的分布，然后根据输入图像与其重构图像之间的差异来识别和分割缺陷，然而，尽管他们只基于正常样本进行训练，在测试过程中重构图像还是无法完全消除异常图像的缺陷信息。

发明内容

针对现有技术的不足，本发明提出一种基于图像修复的缺陷检测方法，具体技术方案如下：

1.一种基于图像修复的缺陷检测方法，其特征在于，包括以下步骤：

S1：构建基于无缺陷正样本的训练数据集，对数据集中图片进行掩膜遮罩处理。

S2：将经由S1处理的遮掩图片输入图像修复网络模型进行训练，得到重构图，通过最小化重构损失来对模型进行优化。

S3：将待测缺陷图片同样经过S1中所述的掩膜遮罩处理后，输入训练好的图像修复网络得到遮掩部分的重构图。

S4：依次将待测缺陷图片的所有遮掩部分重构图组合得到整张缺陷图像的无缺陷重构图。

S5：计算待测缺陷图像与其重构图像之间的残差图和SSIM评价图像，分别对二者进行阈值分割然后结合得到最后的缺陷识别和定位结果。

进一步的，步骤S1中所述对图片进行掩膜遮罩处理步骤为：

S1.1：将输入图片划分为n×n个具有相同大小图像块的网格图像，n可根据实际需求设定。

S1.2：生成与输入图片尺寸相同的掩膜，所述掩膜是一种二进制掩码，其在被遮掩区域值为1，其它区域值为0。

S1.3：通过输入图片与掩膜依次遮掩一个网格得到n×n个遮掩图片，具体做法为：

输入图片x经过步骤S1.1被分为了n×n个大小相等的网格，位于(i,j)的网格x_(i,j)可以表示为x·m_(i,j)，其中i,j∈{1,2.....n},m(i,j)表示掩膜m在x_(i,j)区域值为1，其它区域为0，因此遮掩图片可以由x·(1-m_(i,j))得到。

进一步的，步骤S2所述图像修复网络为基于U-net并带有跳过连接的编码器解码器网络，引入跳跃连接，将每一层编码器的特征和相应层解码器的特征连接起来，保证了精细的修复重建。

进一步的，步骤S2所述图像修复网络训练过程中的优化目标为遮掩部分与非遮掩部分的重构损失，其由均方和损失与结构相似度SSIM损失得到，具体设计细节如下：

L_re＝βL_unm+(1-β)L_m (1)

式中β为损失平衡超参数，L_re整体重构损失，L_unm为未遮掩区域的重构损失，L_m为遮掩区域的重构损失。

式中，

为输入x经过图像修复网络得到的重构图像，α为损失平衡超参数，m为掩膜，&表示按位相乘。

均方误差(MSE)定义为：

SSIM的算式可表示为：

式中，η_x，η_y分别为待比较的图像x、y的平均灰度值，σ_x，σ_y分别为x、y的灰度标准差，σ_xy为x和y之间的协方差，c₁，c₂是用来维持稳定的常数。

进一步的，步骤S4具体做法如下：

对于输入图片其每个遮掩部分的重构图可表示为：G(x·(1-m_(i,j)))·m_(i,j),其中G代表图像修复网络，依次将所有遮掩部分的重构图组合可得到整个图像的无缺陷重构图x′，表示为：

进一步的,步骤S5实现过程如下：

定义训练集中无缺陷输入图像与其重构图像的重构残差值为:

则待测输入图片与其重构图片的残差图分割阈值可确定为训练样本重构残差的最大值，即：

T₁＝maxv (8)

待测输入与其重构的残差二值图像为:

其中值为0代表为缺陷像素。通过公式(5)计算训练集中无缺陷输入图像与重构图像在以(i,j)为中心点的窗口处的结构相似度定义为S_(i,j)，则SSIM评价图像的分割阈值可确定为：

即所有窗口的结构相似度的均值，SSIM评价图像的二值化图像为：

其中0代表缺陷。最终缺陷分割结果为：

I_result＝I_residual&I_ssim (12)

本发明的有益效果如下：

本方法只需使用无缺陷样本进行无监督训练，无需收集大量缺陷样本，也无需耗费大量的时间人力进行标注工作，对解决实际场景中缺陷样本难以收集，标注缺陷耗时耗力的问题很有现实意义。

对图像进行分块遮掩再由图像修复网络修复重建，抑制了模型重建异常的能力，保证了异常部分的重建不受其原始值的影响，从而得到更好的重构效果和更高的缺陷检测精度。

附图说明

图1为本发明基于图像修复网络的缺陷检测方法流程图。

图2为本发明所用图像修复网络的结构图。

图3为本发明所述缺陷修复重建过程图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的基于图像修复的缺陷检测方法包括以下步骤：将待测输入图片划分为具有相同大小图像块的网格图像；生成与输入图像尺寸相同的掩膜；通过输入图片与掩膜每次遮掩一个网格依次得到遮掩图像；将遮掩图片送入训练好的图片修复网络进行修复重建得到每一个网格的重构图，依次组合每个网格的重构图得到完整的无缺陷重构图片；计算输入与重构图片的残差阈值分割图像和SSIM评价图的阈值图像，结合二者得到最终缺陷检测结果图。本发明对缺陷样本具有很好的无缺陷重构效果，缺陷检测精度高且具有较高的实际应用价值。

作为其中的一种实例，本发明基于图像修复的缺陷检测方法的具体步骤如下：

S1：构建基于无缺陷正样本的训练数据集，对数据集中图片进行掩膜遮罩处理。

本实例中数据集图片大小为256×256，掩膜遮罩处理步骤如下：

S1.1：将输入图片划分为为4×4个大小为64×64的网格图像。

S1.2：生成与输入图片尺寸同为256×256的掩膜，所述掩膜是一种二进制掩码，其在被遮掩区域值为1，其它区域值为0。

S1.3：通过输入图片与掩膜依次遮掩一个网格得到4×4个遮掩图片，具体做法为：

输入图片x经过步骤S1.1被分为了4×4个大小相等的网格，位于(i,j)的网格x_(i,j)可以表示为x·m_(i,j)，其中i,j∈{1,2.....4},m(i,j)表示掩膜m在x_(i,j)区域值为1，其它区域为0，因此遮掩图片可以由x·(1-m_(i,j))得到。

S2：将经由S1处理的遮掩图片输入图像修复网络模型进行训练，得到重构图，通过最小化重构损失来对模型进行优化。

S2.1如图2所示，所述图像修复网络为基于U-net并带有跳过连接的编码器解码器网络，编码过程中图片输入网络后首先经过4次下采样操作，每次下采样图片维度减半，通道数加倍，在解码过程中，经过对应的四次上采样得到重构图像，其中跳过连接的使用将编码过程的特征图与解码时对应层的特征图进行融合，使得解码器在进行上采样时能够获取到更多的高分辨率信息，进而更完善地恢复原始图像中的细节信息，从而保证更精细的重建。

S2.2所述图像修复网络对图片进行修复重建的过程如图3所示，其中网络训练过程中的优化目标为遮掩部分与非遮掩部分的重构损失，其由传统的均方和误差与结构相似度SSIM误差得到，具体设计细节如下：

L_re＝βL_unm+(1-β)L_m (1)

式中β为损失平衡超参数，L_unm为未遮掩区域的重构损失，L_m为遮掩区域的重构损失。

式中，

为输入x经过图像修复网络得到的重构图像，α为损失平衡超参数，&表示按位相乘。

均方误差(MSE)定义为：

SSIM的算式可表示为：

式中，η_x，η_y分别为待比较的图像x、y的平均灰度值，σ_x，σ_y分别为x、y的灰度标准差，σ_xy为x和y之间的协方差，c₁，c₂是用来维持稳定的常数。

S3：将待测缺陷图片同样经过S1中所述的掩膜遮罩处理后，输入训练好的图像修复网络得到遮掩部分的重构图。

S4：依次将待测缺陷图片的所有遮掩部分重构图组合得到整张缺陷图像的无缺陷重构图。

具体做法如下：

对于输入图片其每个遮掩部分的重构图可表示为：G(x·(1-m_(i,j)))·m_(i,j),依次将所有遮掩部分的重构图组合可得到整个图像的无缺陷重构图x′,表示为：

S5：计算待测缺陷图像与其重构图像之间的残差图和SSIM评价图像，分别对二者进行阈值分割然后结合得到最后的缺陷识别和定位结果。

实现过程如下：

定义尺无缺陷输入图像与其重构图像的重构残差值为:

v＝(||x-x′||²)^1/2 (7)

则输入与重构的残差图分割阈值可确定为无缺陷图像重构残差的最大值，即：

T₁＝maxv (8)

输入与重构的残差二值图像为:

其中值为0代表为缺陷像素。通过公式(5)计算无缺陷输入图像与重构图像在以(i,j)为中心点的窗口处的结构相似度定义为S_(i,j)，则SSIM评价图像的分割阈值可确定为：

即所有窗口的结构相似度的均值，SSIM评价图像的二值化图像为：

其中0代表缺陷。最终缺陷分割结果为：

I_result＝I_residual&I_ssim (12)

本方法改进了传统基于重构的缺陷检测方法在测试时无法完全避免缺陷像素也被重构出来的问题，具有较好的无缺陷重构能力和较高的缺陷检测精度。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (6)

1.一种基于图像修复的缺陷检测方法，其特征在于，包括以下步骤：

S1：构建基于无缺陷正样本的训练数据集，对数据集中图片进行掩膜遮罩处理。

S2：将经由S1处理的遮掩图片输入图像修复网络模型进行训练，得到重构图，通过最小化重构损失来对模型进行优化。

S3：将待测缺陷图片同样经过S1中所述的掩膜遮罩处理后，输入训练好的图像修复网络得到遮掩部分的重构图。

S4：依次将待测缺陷图片的所有遮掩部分重构图组合得到整张缺陷图像的无缺陷重构图。

S5：计算待测缺陷图像与其重构图像之间的残差图和SSIM评价图像，分别对二者进行阈值分割然后结合得到最后的缺陷识别和定位结果。

2.根据权利要求1所述的基于图像修复的缺陷检测方法，其特征在于，步骤S1中所述对图片进行掩膜遮罩处理具体步骤为：

S1.1：将输入图片划分为n×n个具有相同大小图像块的网格图像，n可根据实际需求设定。

S1.2：生成与输入图片尺寸相同的掩膜，所述掩膜是一种二进制掩码，其在被遮掩区域值为1，其它区域值为0。

S1.3：通过输入图片与掩膜依次遮掩一个网格得到n×n个遮掩图片，具体做法为：

输入图片x经过步骤S1.1被分为了n×n个大小相等的网格，位于(i,j)的网格x_(i,j)可以表示为x·m_(i,j)，其中i,j∈{1,2.....n},m(i,j)表示掩膜m在x_(i,j)区域值为1，其它区域为0，因此遮掩图片可以由x·(1-m_(i,j))得到。

3.根据权利要求1所述的基于图像修复的缺陷检测方法，其特征在于，步骤S2所述图像修复网络为基于U-net并带有跳过连接的编码器解码器网络，引入跳跃连接，将每一层编码器的特征和相应层解码器的特征连接起来，保证了精细的修复重建。

4.根据权利要求1所述的基于图像修复的缺陷检测方法，其特征在于，步骤S2所述图像修复网络训练过程中的优化目标为遮掩部分与非遮掩部分的重构损失，其由均方和损失与结构相似度SSIM损失得到，具体设计细节如下：

L_re＝βL_unm+(1-β)L_m (1)

式中β为损失平衡超参数，L_re为整体重构损失，L_unm为未遮掩区域的重构损失，L_m为遮掩区域的重构损失。

式中，

为输入x经过图像修复网络得到的重构图像，α为损失平衡超参数，m为掩膜，&表示按位相乘。

均方误差(MSE)定义为：

SSIM的算式可表示为：

式中，η_x，η_y分别为待比较的图像x、y的平均灰度值，σ_x，σ_y分别为x、y的灰度标准差，σ_xy为x和y之间的协方差，c₁，c₂是用来维持稳定的常数。

5.根据权利要求1所述的基于图像修复的缺陷检测方法，其特征在于，步骤S4具体做法如下：

对于输入图片其每个遮掩部分的重构图可表示为：G(x·(1-m_(i,j)))·m_(i,j),其中G代表图像修复网络，依次将所有遮掩部分的重构图组合可得到整个图像的无缺陷重构图x′，表示为：

。

6.根据权利要求1所述的基于图像修复的缺陷检测方法，其特征在于,步骤S5实现过程如下：

定义训练集中无缺陷输入图像与其重构图像的重构残差值为:

则待测输入图片与其重构图片的残差图分割阈值可确定为训练样本重构残差的最大值，即：

T₁＝maxv (8)

待测输入与其重构的残差二值图像为:

其中值为0代表为缺陷像素。通过公式(5)计算训练集中无缺陷输入图像与重构图像在以(i,j)为中心点的窗口处的结构相似度定义为S_(i,j)，则SSIM评价图像的分割阈值可确定为：

即所有窗口的结构相似度的均值，SSIM评价图像的二值化图像为：

其中0代表缺陷。最终缺陷分割结果为：

I_result＝I_residual&I_ssim (12) 。

Images