CN111815601B - 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积自编码器的纹理图像表面缺陷检测方法。采样图像并得到图像块组建训练集和验证集，训练集训练自编码器；将验证集的图像块输入自编码器处理得到分割阈值基准值；按顺序对待检测图像进行采样得到图像块，输入到自编码器得到重建图像块以及输入和重建图像块的特征向量；将重建图像块拼接并差分得到初始分割图像，再对每个输入图像块和对应的重建图像块的特征向量作相似度处理，拼接并插值得到辅助分割图像，对初始和辅助分割图像逐元素相乘并阈值化得到二值分割图像。本发明实现了在少量的正常样本下，训练得到通用性和鲁棒性较高的纹理表面缺陷检测模型，提高了缺陷识别精度。

Description

一种基于深度卷积自编码器的纹理图像表面缺陷检测方法

技术领域

本发明涉及计算机视觉及工业自动化技术领域的表面图像处理检测方法，具体涉及一种基于深度卷积自编码器的纹理图像表面缺陷检测方法。

背景技术

纹理表面缺陷检测是一种通过产品表面纹理图像识别缺陷位置和形状的质量控制技术，在生产实践中有着大量的应用，例如纺织品检测、木材检测等。传统的纹理表面缺陷检测主要以人工目测为主，由经验丰富的技术员完成，这就使得检测人员的主观因素介入到检测工作中，常常表现为检测质量的不稳定，而且人工检测方法往往达不到实时检测的目的。近年来，基于机器视觉的纹理表面缺陷检测发展成熟并逐渐取代了传统的人工检测方法，这种方法以光学镜头代替人的眼睛，以检测算法代替人的大脑，在检测质量和效率上表现出了优越的效果。

纹理表面常常表现为一定形状大小的纹理图元按照某种规则在某些方向上延展排布的图像形式，针对这种图像形式，出现了一系列基于图像处理的检测方法，这里统称为纹理分析方法。这些方法可以分为统计学方法、结构方法、滤波器方法和模型方法四大类。统计学方法通常使用图像区域的灰度分布描述纹理特征，例如基于灰度共生矩阵的纹理分析方法；结构方法的目的在于从重复的纹理模式中寻找最小的纹理图元，这些图元的尺度大小、方向性和亮度直接决定了纹理样式；滤波器方法是应用最广的纹理分析方法，这种方法通过空间变换将图像转换到变化域进行处理，包括空间域、频率域和混合域几类，具体的方法包括傅里叶分析、小波变换、Gabor变换等；而模型方法通过对图像特殊的属性或分布进行建模来描述纹理模式。上述这些经典的纹理分析方法往往在特定的检测场景中可以得到不错的检测效果，但它们通用性不强，针对不同的产品往往需要开发特定的检测算法，而且极容易受到环境变化的影响。

随着深度学习技术的出现，一大批基于卷积神经网络的视觉技术应用在各种场景，在工业检测领域，出现了一些基于深度学习的监督学习方法，利用这些方法得到的检测准确率非常高，而且鲁棒性也很强。但这些方法往往需要大量已标注的训练样本，这其中就包括了一定量的缺陷样本，然而在实际生产中，由于产品质量的不确定性，收集大量的缺陷样本和后续的人工标注即耗费成本又耗费时间。

发明内容

为解决传统纹理分析方法通用性和鲁棒性较低以及目前基于深度学习的纹理表面缺陷检测方法依赖大量的标注样本等不足，本发明提出一种基于深度卷积自编码器的纹理图像表面缺陷检测方法，以解决现有检测方法的上述不足之处。

如图1所示，本发明的技术方案包括以下步骤：

1)采集得到无缺陷纹理图像，利用高斯滤波器对每张无缺陷纹理图像进行模糊处理，再将处理后的图像分割成固定尺寸并互有重叠部分的众多图像块，利用图像块分别组建训练集和验证集；

2)用训练集训练增强型深度卷积自编码器，构建编码解码模型；

3)用训练好的增强型深度卷积自编码器对验证集中的每个图像块进行处理获得各自的原图像块特征向量、重建图像块和重建图像块特征向量，然后进行统计分析得到测试阶段使用的分割阈值基准值；

然后对于一张待检测的缺陷图像，用训练好的增强型深度卷积自编码器和步骤3)得到的分割阈值基准值进行缺陷检测：

4)对于一张待检测的缺陷图像，也分割成和训练集/验证集的图像块同样尺寸大小的无重叠区域的图像块，再将每个图像块输入到训练好的增强型深度卷积自编码器中，得到原图像块特征向量、重建图像块和重建图像块特征向量；

5)对步骤4)得到的所有重建图像块，将按分割时的顺序重新拼接得到完整的等同于原图像大小的重建图像，再对原始的缺陷图像和重建图像进行差异化分析得到初步缺陷分割图像；

6)对步骤4)得到的原图像块特征向量和重建图像块特征向量，求二者的欧式距离作为相似度值，再将每组图像块(原图像块和重建图像块)的相似度值归一化后重新拼接并插值得到原图像大小的辅助缺陷分割图像；

7)对初步缺陷分割图像和辅助缺陷分割图像进行逐元素求积操作得到融合缺陷分割图像，再对融合缺陷分割图像根据分割阈值基准值进行阈值化操作得到缺陷分割二值图像I_mask，最后利用缺陷分割二值图像I_mask对待检测的缺陷图像进行提取获得缺陷的图像区域，从而实现了纹理表面缺陷检测。

本发明的纹理图像具体是指例如纺织品纹理表面的图像，但不限于此。其中的缺陷是指纹理图案的不规律处。

所述步骤1)中，从所有图像块中随机选择一部分组成训练集，剩余部分组成验证集。

所述步骤2)中，增强型深度卷积自编码器主要由第一编码器E₁、第二编码器E₂和解码器D三个模块构成，输入图像块x_i输入到第一编码器E₁处理获得一维的原图像块特征向量f_i，然后将原图像块特征向量f_i输入到解码器D处理获得重建图像块

最后将重建图像块

输入到第二编码器E₂处理获得一维的重建图像块特征向量

其中，i∈(1,…,N)，i表示训练集中图像块的序数，N表示训练集中图像块的总数。

编码器E₁用来提取输入图像块x_i的特征得到一维特征向量的原图像块特征向量f_i，解码器D用来对原图像块特征向量f_i获取重建图像块

第二编码器E₂用来提取重建图像块

的特征得到一维特征向量的重建图像块特征向量

所述步骤2)中，增强型深度卷积自编码器的训练按照训练时序依次分为两个阶段：

第一阶段，由编码器E₁和解码器D组成了深度卷积自编码器，该部分具有重建功能，建立以下目标函数进行训练：

其中，E₁和D分别表示第一编码器和解码器，n表示训练集中图像块的数量，‖·‖¹表示L1范数，即数组中各元素绝对值之和；

第二阶段，由第一编码器E₁、第二编码器E₂和解码器D共同组成增强型深度卷积自编码器，训练将第一编码器E₁和解码器D的参数固定，建立以下目标函数单独训练第二编码器E₂：

其中，E₂表示第二编码器，n表示训练集中图像块的数量，‖·‖²表示L2范数，即数组中各元素平方和的平方根。

所述的第一编码器E₁、第二编码器E₂和解码器D均属于卷积神经网络。

所述步骤3)，进行统计分析得到测试阶段使用的分割阈值基准值，具体为：对于验证集中的每个图像块，输入到训练好的增强型深度卷积自编码器中得到原图像块特征向量和重建图像块特征向量，求原图像块特征向量和重建图像块特征向量之间的欧式距离作为输入图像块和重建图像块的相似度值，然后将所有图像块的相似度值线性映射到[0,1]区间内，取其中的最大值th作为分割阈值基准值。

所述5)中，差异化分析处理具体是进行逐像素求差，再取绝对值：

T₁＝|I-R|

其中，T₁表示初步缺陷分割图像，I和R分别表示输入的待检测缺陷图像和规范化后的重建图像。

所述步骤5)在进行差异化分析之前对重建图像

进行规范化，具体为：

其中，μ(·)和σ(·)分别表示对图像求均值和标准差，R表示规范化后的重建图像，I表示原始的缺陷图像，

表示规范化前的重建图像。

所述步骤6)，将每个图像块的相似度值归一化后重新拼接并插值得到原图像大小的辅助缺陷分割图像，具体为：对于每一个图像块得到原图像块特征向量和重建图像块特征向量，计算二者的欧式距离并归一化后作为相似度值，将得到的每个相似度值按照图像块所在位置排列成二维矩阵，并利用双线性插值的方法放大二维矩阵得到和输入原始图像大小一样的辅助缺陷检测图像T2。

所述步骤7)中，对初步缺陷分割图像和辅助缺陷分割图像进行逐元素求积操作得到融合缺陷分割图像，具体为：

F＝T₁⊙T₂

其中，⊙表示逐元素相乘，T₁和T₂分别表示初步和辅助缺陷检测图像；

所述步骤7)中，再对融合缺陷分割图像进行阈值化操作得到缺陷分割二值图像I_mask，具体为：

其中，th为分割基准值，α为调节系数。

本发明可以分为两个阶段，离线训练阶段和在线实时检测阶段。

离线训练时只需少量无缺陷产品的纹理表面图像，在这些图像上随机采样一定量的图像块作为模型的训练集和验证集。

在线实时检测阶段将输入的待检测图像按照一定的顺序无重叠地采样得到和训练集一样大小地图像块，将这些图像块输入到模型中，得到了重建图像块，输入图像块以及与之对应重建图像块的特征向量；一方面拼接重建图像块并规范化得到重建图像，用输入图像减去重建图像得到初步缺陷检测图像；另一方面求两个特征向量的欧式距离并归一化得到图像中对应位置出现缺陷概率，按照一定顺序拼接这些概率值并经过插值处理得到缺陷检测辅助图像；最后将初步缺陷检测图像和缺陷检测辅助图像相乘并作阈值化处理得到最终的精确缺陷检测图像。

由此本发明的纹理图像表面缺陷检测方法，在训练阶段只需少量的无缺陷图像，通过随机采样得到大量固定尺寸的图像块训练增强型深度卷积自编码器；将验证集中的图像块输入模型并处理得到测试阶段的分割阈值基准值；在测试阶段，按顺序对待检测图像进行采样得到图像块，输入到训练好的模型中得到重建图像块以及输入和重建图像块的特征向量；将所有重建图像块按顺序拼接得到重建图像并对其和输入图像作差分运算得到初始的分割图像，再对每个输入图像块和对应的重建图像块的特征向量作相似度分析，将相似度值按顺序拼接并插值得到辅助分割图像，最后对初始分割图像和辅助分割图像逐元素相乘并阈值化得到最终的分割图像。

本发明能够实现在少量的正常样本下，训练得到通用性和鲁棒性较高的纹理表面缺陷检测模型，并且提高了缺陷识别精度。

本发明的有益效果是：

本发明与传统的纹理分析方法相比，通用性和鲁棒性更强。传统的纹理分析方法针对特定的应用场景基于人工选择的图像特征进行异常识别，不同的应用场景需要更换不同的图像特征因而通用性较差；本发明方法利用深度学习模型固有的特征学习和表示能力，实现了适应不同应用场景的目标，而且通过对训练集的高斯模糊处理，可以改善模型的抗干扰能力。

本发明能实现在只有少量无缺陷样本的情况下对纹理表面进行异常检测。本发明利用深度卷积神经网络的重建特性，通过只对无缺陷样本的训练使得模型拥有对图像异常区域的修复功能，从而使得到的重建图像是输入图像的无缺陷版本，再对输入图像和重建图像进行差异化分析即可得到异常检测的结果。

附图说明

图1为本发明提出的深度学习模型训练图；

图2为本发明提出的纹理表面缺陷检测流程图；

图3为实施例缺陷检测定性结果图；

表1为本发明提出的深度学习模型详细参数；

表2为实施例缺陷检测定量结果值。

具体实施方式

为了更清楚说明本发明的目的和技术方案，以下结合附图，对本发明进行进一步详细说明。

本发明方法实施的实施例如下：

1)采集得到无缺陷纹理图像，利用高斯滤波器对每张无缺陷纹理图像进行模糊处理，再将处理后的图像分割成固定尺寸并互有重叠部分的众多图像块，利用图像块分别组建训练集和验证集。

如图3第一行所示，共采集得到了三种不同纹理图元的图像集，分别是Box型、Dot型和Star型；对于每种纹理图像，从25张256×256无缺陷纹理图像随机采样得到10000张32×32的图像块，其中9000张用来组建训练集，1000张用来组建验证集。

2)用训练集训练增强型深度卷积自编码器；

如图1所示，训练过程分为两个阶段：第一阶段训练由E₁和D组成的拥有图像重建功能的深度卷积自编码器，训练共迭代了15次，小批量样本数为64；第二阶段，由第一编码器E₁、第二编码器E₂和解码器D共同组成增强型深度卷积自编码器，训练时将第一编码器E₁和解码器D的参数固定，该阶段也实施了样本数为64的小批量随机梯度下降优化。

增强型深度卷积自编码器具体参数如下表：

表1

3)用训练好的增强型深度卷积自编码器对验证集中的每个图像块进行处理获得原图像块特征向量、重建图像块和重建图像块特征向量，然后进行统计分析得到测试阶段使用的分割阈值基准值；

将验证集中的1000张图像块依此输入到图1的增强型深度卷积自编码器中，获得对应的原图像块特征向量和重建图像块特征向量，求二者的欧式距离作为相似度值，并对所有相似度值作归一化处理；由于验证集中的图像块均来自无缺陷纹理图像，所以输入图像块和重建图像块基本相似，从二者提取得到的特征向量相似度也很高，取归一化后的相似度值的最大值作为分割阈值基准值。

4)用训练好的增强型深度卷积自编码器和分割阈值基准值进行缺陷检测。对于一张待检测的缺陷图像，首先将其分割成和训练图像块一样尺寸大小的无相互重叠区域的图像块，再将每个图像块输入到训练好的增强型深度卷积自编码器中，得到原图像块特征向量、重建图像块和重建图像块特征向量；

5)对步骤4)得到的所有重建图像块，将其按分割时的顺序重新排布得到完整的等同于原图像大小的重建图像，再对原图像和重建图像进行差异化分析得到初步缺陷分割图像；

6)对步骤4)得到的原图像块特征向量和修复图像块特征向量，求两者的欧式距离作为相似度值，再将每组图像块(输入图像块和重建图像块)的相似度值归一化后重新排布并插值得到原图像大小的辅助缺陷分割图像；

7)对步骤5)和步骤6)得到的初步和辅助缺陷分割图像进行逐元素求积操作得到融合缺陷分割图像，再对融合缺陷分割图像进行阈值化操作得到最终的缺陷分割二值图像。

如图2所示，将待检测缺陷图像分割成同训练集中图像块同样尺寸的32×32的图像块，然后将每个图像块输入到训练好的增强型深度卷积自编码器中，得到原图像块特征向量、重建图像块和重建图像块特征向量；将所有重建图像块按照顺序拼接得到重建图像，对输入图像和重建图像作差分运算得到初步的缺陷分割图像；计算原图像块特征向量和重建图像块特征向量的欧氏距离作为相似度值，将所有相似度值按照顺序拼接并插值得到原图像大小的辅助缺陷分割图像；最后对初始分割图像和辅助分割图像逐元素求积并通过阈值化操作得到最终的分割结果图。

从Box型、Dot型和Star型纹理图元的缺陷样本集中各选择两张图像作为测试样本，利用本发明方法对其进行缺陷检测，结果如图3所示，其中第一行(a)表示输入的待检测缺陷图像，第二行(b)表示对应的ground truth二值图像，白色像素表示缺陷区域，第三行(c)表示对应的重建图像，第四行(d)表示对应的融合缺陷检测图像，第五行(e)表示最终的缺陷分割图像。

如第五行(e)的检测结果所示，本发明方法实现了对不同纹理样式的图像以及不同类型的缺陷的异常检测。

为了更好的展示本发明的优势，本发明实施了对图3中6个缺陷样本检测效果的定量计算，具体考察了三个指标，分别为召回率(Recall)、精度(Precision)和综合指标(F1_Measure)，它们的计算方法如下：

其中，TP表示原图像的缺陷被正确识别为缺陷的像素个数，FN表示原图像的缺陷被错误识别为正常背景的像素个数，FP表示原图像的正常背景被错误识别为缺陷的像素个数；三个指标的取值范围均为[0,1]，数值越大表示检测效果越好；如下表2所示。

表2

由此可见，本发明对六个实施例图像进行缺陷检测的F1_Measure指标平均在80％，可以较准确的识别图像中缺陷的位置。

Claims (7)

1.一种基于深度卷积自编码器的纹理图像表面缺陷检测方法，其特征在于：方法包括以下步骤：

1)采集得到无缺陷纹理图像，利用高斯滤波器对每张无缺陷纹理图像进行模糊处理，再将处理后的图像分割成固定尺寸并互有重叠部分的众多图像块，利用图像块分别组建训练集和验证集；

2)用训练集训练增强型深度卷积自编码器，构建编码解码模型；

3)用训练好的增强型深度卷积自编码器对验证集中的每个图像块进行处理获得各自的原图像块特征向量、重建图像块和重建图像块特征向量，然后进行统计分析得到分割阈值基准值；

4)对于一张待检测的缺陷图像，也分割成和训练集/验证集的图像块同样尺寸大小的无重叠区域的图像块，再将每个图像块输入到训练好的增强型深度卷积自编码器中，得到原图像块特征向量、重建图像块和重建图像块特征向量；

5)对步骤4)得到的所有重建图像块，将按分割时的顺序重新拼接得到完整的重建图像，对重建图像

进行规范化，具体为：

其中，μ(·)和σ(·)分别表示对图像求均值和标准差，R表示规范化后的重建图像，I表示原始的缺陷图像，

表示规范化前的重建图像；

再对原始的缺陷图像和重建图像进行差异化分析得到初步缺陷分割图像；

6)对原图像块特征向量和重建图像块特征向量，求二者的欧式距离作为相似度值，再将每组图像块的相似度值归一化后重新拼接并插值得到原图像大小的辅助缺陷分割图像；

7)对初步缺陷分割图像和辅助缺陷分割图像进行逐元素求积操作得到融合缺陷分割图像，再对融合缺陷分割图像根据分割阈值基准值进行阈值化操作得到缺陷分割二值图像I_mask，最后利用缺陷分割二值图像I_mask对待检测的缺陷图像进行提取获得缺陷的图像区域。

2.如权利要求1所述的一种基于深度卷积自编码器的纹理图像表面缺陷检测方法，其特征在于：所述步骤1)中，从所有图像块中随机选择一部分组成训练集，剩余部分组成验证集。

3.如权利要求1所述的一种基于深度卷积自编码器的纹理图像表面缺陷检测方法，其特征在于：所述步骤2)中，增强型深度卷积自编码器主要由第一编码器E₁、第二编码器E₂和解码器D三个模块构成，输入图像块x_i输入到第一编码器E₁处理获得一维的原图像块特征向量f_i，然后将原图像块特征向量f_i输入到解码器D处理获得重建图像块

最后将重建图像块

输入到第二编码器E₂处理获得一维的重建图像块特征向量

其中，i∈(1，...，N)，i表示训练集中图像块的序数，N表示训练集中图像块的总数。

4.如权利要求3所述的一种基于深度卷积自编码器的纹理图像表面缺陷检测方法，其特征在于：所述步骤2)中，增强型深度卷积自编码器的训练按照训练时序依次分为两个阶段：

第一阶段，由编码器E₁和解码器D组成了深度卷积自编码器，该部分具有重建功能，建立以下目标函数进行训练：

其中，E₁和D分别表示第一编码器和解码器，n表示训练集中图像块的数量，||·||¹表示L1范数，即数组中各元素绝对值之和；

第二阶段，由第一编码器E₁、第二编码器E₂和解码器D共同组成增强型深度卷积自编码器，训练将第一编码器E₁和解码器D的参数固定，建立以下目标函数单独训练第二编码器E₂：

其中，E₂表示第二编码器，n表示训练集中图像块的数量，||·||²表示L2范数，即数组中各元素平方和的平方根。

5.如权利要求1所述的一种基于深度卷积自编码器的纹理图像表面缺陷检测方法，其特征在于：所述步骤3)，进行统计分析得到分割阈值基准值，具体为：对于验证集中的每个图像块，输入到训练好的增强型深度卷积自编码器中得到原图像块特征向量和重建图像块特征向量，求原图像块特征向量和重建图像块特征向量之间的欧式距离作为输入图像块和重建图像块的相似度值，然后将所有图像块的相似度值线性映射到[0，1]区间内，取其中的最大值th作为分割阈值基准值。

6.如权利要求1所述的一种基于深度卷积自编码器的纹理图像表面缺陷检测方法，其特征在于：所述5)中，差异化分析处理具体是进行逐像素求差，再取绝对值：

T₁＝|I-R|

其中，T₁表示初步缺陷分割图像，I和R分别表示输入的待检测缺陷图像和规范化后的重建图像。

7.如权利要求1所述的一种基于深度卷积自编码器的纹理图像表面缺陷检测方法，其特征在于：所述步骤7)中，具体为：

对初步缺陷分割图像和辅助缺陷分割图像进行逐元素求积操作得到融合缺陷分割图像：

F＝T₁⊙T₂

其中，⊙表示逐元素相乘，T₁和T₂分别表示初步和辅助缺陷检测图像；

再对融合缺陷分割图像进行阈值化操作得到缺陷分割二值图像I_mask：

其中，th为分割基准值，α为调节系数。

Images