CN110796637A

CN110796637A - 图像缺陷检测模型的训练、测试方法、装置及存储介质

Info

Publication number: CN110796637A
Application number: CN201910933293.1A
Authority: CN
Inventors: 徐明亮; 高志敏; 刘启东; 张晨民; 闫杰; 李丙涛; 栗芳
Original assignee: Zhengzhou Jinhui Computer System Engineering Co Ltd
Current assignee: Zhengzhou Jinhui Computer System Engineering Co Ltd
Priority date: 2019-09-29
Filing date: 2019-09-29
Publication date: 2020-02-14

Abstract

本发明涉及工件表面缺陷检测的技术领域，具体涉及一种图像缺陷检测模型训练、测试方法、装置及存储介质。该训练方法包括将某一高分辨率图像分解为由多个正常训练图像块构成的正常训练图像块集合；在正常训练图像块集合中添加随机噪声和人工合成缺陷得到人工缺陷训练图像块集合；将人工缺陷训练图像块集合中的各个图像块输入生成器，生成器对随机噪声和人工合成缺陷进行修复得到由修复训练图像块组成的修复训练图像块集合；将修复训练图像块集合中的修复训练图像块和正常训练图像块集合中的正常训练图像块分别输入判别器，判别器判断所接收的图像块是否属于正常训练图像块，并输出属于正常训练图像块的无缺陷概率矩阵；根据无缺陷概率矩阵训练SVM分类器。

Description

图像缺陷检测模型的训练、测试方法、装置及存储介质

技术领域

本发明涉及工件表面缺陷检测的技术领域，具体涉及一种图像缺陷检测模型的训练、测试方法、装置及存储介质。

背景技术

在工业制造生产过程中，产品表面缺陷的产生不可避免，不同产品表面的缺陷类型也各不相同。表面缺陷不仅会对产品的外观和舒适度带来影响，也会不同程度的影响使用性能,所以及时检测发现产品的表面缺陷并加以控制对工业制造非常重要。人工对产品表面缺陷进行检测存在抽检率、准确率低和效率低、实时性差，以及劳动强度大等缺点，而基于机器视觉的缺陷检测方法可以极大的改善以上缺点,在现代工业中的研究和应用越来越广发。

传统的基于视觉的工业产品表面缺陷检测方法主要包含四类，分别是统计法、结构法、滤波法和模型法。统计法采用例如图像直方图、灰度共生矩阵和局部二值模式(LBP)等低级特征从统计学角度分析产品表面的纹理；结构法采用图像边缘和形态学等特征表达图像并检测缺陷，但结构法只适合于产品表面纹理规则的图像，不适用于结构变化大、随机性较强的纹理图像；滤波法采用傅里叶变换、小波变换、Gabor滤波器等将图像纹理转到变换域，结合空域和频域提取特征并分类缺陷图像，但该类方法计算量大；模型法采用如Markov随机场和分形模型等描述图像的纹理特征，但模型参数估计困难且计算量大。

近年来深度学习发展迅速,使用深度卷积神经网络等模型,可以对图像自动学习到高级的特征表达，提高视觉识别任务的性能，因此被很多研究者用于产品表面缺陷检测任务。文献《An Unsupervised-Learning-Based Approach for Automated DefectInspection on Textured Surfaces》(Mei S,Yang H,Yin Z,IEEE Transactions onInstrumentation and Measurement,2018)设计了一种多尺度高斯金字塔的卷积自编码器(Convolutional Autoencoder,CAE)网络对正常样本进行重建，对图像的重建残差图进行阈值分割来检测缺陷。但该方法仅在具有重复性纹理的图像取得较好的效果，而且该方法对高斯金字塔的不同尺度分别学习CAE模型，计算复杂度高，难以在对实时性要求高的工业检测实际场景中应用。

发明人在实践中，发现上述现有技术存在以下缺陷：

根据上述现有技术结合在工业实际中的情况，发现当数据源图像为超高清摄像头采集的超高分辨率图像时，例如大小为8192x 9020的气缸套图像，任意形状的缺陷在图像中所占的像素比例较小，上述方法的缺陷检测模型对图像进行在线缺陷检测时的检测精度和效率较低。

发明内容

为了解决上述技术问题，本发明提供了一种图像缺陷检测模型的训练、测试方法、装置及存储介质，所采用的技术方案具体如下：

第一方面，本发明实施例提供了一种图像缺陷检测模型的训练方法，该训练方法包括以下步骤：

将某一高分辨率图像分解为由多个正常训练图像块构成的正常训练图像块集合；

在所述正常训练图像块集合中添加随机噪声和人工合成缺陷得到人工缺陷训练图像块集合；

将所述人工缺陷训练图像块集合中的各个图像块输入生成器，所述生成器对所述随机噪声和人工合成缺陷进行修复得到由修复训练图像块组成的修复训练图像块集合；

将所述修复训练图像块集合中的修复训练图像块和所述正常训练图像块集合中的正常训练图像块分别输入判别器，所述判别器判断所接收的图像块是否属于所述正常训练图像块，并输出属于所述正常训练图像块的无缺陷概率矩阵；

根据所述无缺陷概率矩阵训练SVM分类器。

进一步，所述对所述随机噪声和人工合成缺陷进行修复得到修复训练图像块的步骤包括：

将所述图像块作为输入特征图输入生成器；

所述输入特征图通过多个交替设置的3×3卷积层和2×2最大池化层进行编码，得到编码图像；

所述编码图像通过多个交替设置的3×3反卷积层和3×3卷积层进行解码，该解码器的最后一层采用1×1卷积，得到解码后的修复训练图像块，该修复训练图像块与所述输入特征图的大小相同。

进一步，所述SVM分类器采用One-class SVM模型。

进一步，所述高分辨率图像为正常样本中的某一个体。

第二方面，本发明实施例提供了一种图像缺陷检测模型的测试方法，该测试方法包括以下步骤：

将待测高分辨率图像分解为由多个图像块构成的图像块集合，并保留每个图像块对应于所述待测高分辨率图像的位置信息；

将所述图像块集合中的每个所述图像块输入判别器得到由每个所述图像块为正常样本的无缺陷概率矩阵组成的无缺陷概率集合；

SVM分类器根据所述无缺陷概率矩阵对输入的所述多个图像块进行筛选，筛选出疑似缺陷图像块；

通过生成器对所述疑似缺陷图像块进行修复得到修复图像块；

根据所述位置信息，将所述修复图像块进行空间位置还原得到无缺陷图像；

将所述无缺陷图像与所述待测高分辨率图像进行对比，进而定位缺陷的位置信息。

进一步，所述缺陷的定义如下：

M＝{|x-G(x)|≥α}

其中，|x-G(x)|为原图像与修复图像的对比差异，α为正常样本的图像修复残差阈值，该阈值可从正常样本的残差中学到。

第三方面，本发明实施例提供了一种图像缺陷检测模型的训练装置，该训练装置包括：

分解训练模块，用于将某一高分辨率图像分解为由多个正常训练图像块构成的正常训练图像块集合；

添加人工缺陷训练模块，用于在所述正常训练图像块集合中添加随机噪声和人工合成缺陷得到人工缺陷训练图像块集合；

修复缺陷训练模块，用于将所述人工缺陷训练图像块集合中的各个图像块输入生成器，所述生成器对所述随机噪声和人工合成缺陷进行修复得到由修复训练图像块组成的修复训练图像块集合；

判别训练模块，用于将所述修复训练图像块集合中的修复训练图像块和所述正常训练图像块集合中的正常训练图像块分别输入判别器，所述判别器判断所接收的图像块是否属于所述正常训练图像块，并输出属于所述正常训练图像块的无缺陷概率矩阵；

分类器训练模块，用于根据所述无缺陷概率矩阵训练SVM分类器。

进一步，所述修复缺陷训练模块包括：

编码器模块，用于将所述图像块作为输入特征图输入生成器；所述输入特征图通过多个交替设置的3×3卷积层和2×2最大池化层进行编码，得到编码图像；

解码器模块，用于将所述编码图像通过多个交替设置的3×3反卷积层和3×3卷积层进行解码，该解码器的最后一层采用1×1卷积，得到解码后的修复训练图像块，该修复训练图像块与所述输入特征图的大小相同。

第四方面，本发明实施例提供了一种图像缺陷检测模型的测试装置，该测试装置包括：

分解模块，用于将待测高分辨率图像分解为由多个图像块构成的图像块集合，并保留每个图像块对应于所述待测高分辨率图像的位置信息；

判别模块，用于将所述图像块集合中的每个所述图像块输入判别器得到由每个所述图像块为正常样本的无缺陷概率矩阵组成的无缺陷概率矩阵集合；

分类器筛选模块，用于SVM分类器根据所述无缺陷概率矩阵对输入的所述多个图像块进行筛选，筛选出疑似缺陷图像块；

缺陷修复模块，用于通过生成器对所述疑似缺陷图像块的缺陷区域进行修复得到修复图像块；

位置还原模块，用于根据所述位置信息，将所述修复图像块进行空间位置还原得到无缺陷图像；

缺陷定位模块，用于将所述无缺陷图像与所述待测高分辨率图像进行对比，进而定位缺陷的位置信息。

第五方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质可存储有程序，该程序执行时采用上述任意一种图像缺陷检测模型的训练方法。

本发明具有如下有益效果：

本发明实施例公开了一种图像缺陷检测模型的训练方法，该缺陷训练方法首先将所采集到的正常样本中的高分辨率图像作为正常训练样本，并分解为多个图像块，所分解的多个图像块组成图像块集合；在缺陷检测模型的训练阶段，在正常训练样本的图像块集合中添加随机噪声和人工合成缺陷得到人工缺陷训练样本，并将各个图像块输入GAN网络中的生成器进行训练，生成器对所加入的噪声和人工合成缺陷进行修复得到修复训练图像，将该修复训练图像块和正常训练图像块分别输入判别器进行训练，判别器输出所判断得到的属于正常训练图像块的概率矩阵，根据该概率矩阵训练SVM分类器。本发明通过对正常样本进行人工合成缺陷来训练GAN网络进而训练SVM分类器，克服了缺陷样本较少、不同种类的缺陷样本较难获得的技术问题；通过将高分别率图像分解为由多个图像块组成的图像块的集合的方式，解决了缺陷区域在图像中所占的像素比例较小，利用现有的缺陷检测方法检测的效率较低的技术问题。

附图说明

图1为本发明一个实施例提供的一种图像缺陷检测模型的训练方法的流程图；

图2为本发明一个实施例提供的一种图像缺陷检测模型的检测训练方法的流程框图；

图3为本发明一个实施例提供的关于生成器的模型结构；

图4为本发明一个实施例提供的关于判别器的模型结构；

图5为本发明一个实施例提供的一种图像缺陷检测模型的测试方法的流程图；

图6为本发明一个实施例提供的一种图像缺陷检测模型的测试方法的流程框图；

图7为本发明实施例还提供了一种图像缺陷检测模型的训练装置的结构框图；

图8为本发明实施例还提供了一种图像缺陷检测模型的测试装置的结构框图；

图9为本发明另一个实施例提供的一种图像缺陷检测模型的训练装置的结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种图像缺陷检测模型训练、测试方法、装置及存储介质，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的属于只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面结合附图具体的说明本发明所提供的一种图像缺陷检测模型的训练、测试方法、装置及存储介质的具体方案。

请参阅图1和图2，其中图1示出了本发明一个实施例提供的一种图像缺陷检测模型的检测训练方法流程图，图2示出了本发明一个实施例提供的一种图像缺陷检测模型的检测训练方法的流程框图。由于在实际工业中很容易获得大量正常样本图像，不同种类的缺陷样本较难获得，而且生产线随着时间的消耗，会产生新的未知类型缺陷，因此本方案采用人工合成的方式来克服现有的技术缺陷。该缺陷训练包括人工合成缺陷样本，并通过生成对抗网络中的生成器对缺陷样本进行修复，并将修复的图像与正常样本输入判别器，根据判别器的判别结果得到图像的无缺陷概率矩阵，并利用该概率矩阵训练SVM分类器。具体的，该图像缺陷检测模型的检测训练的步骤如下：

步骤S001，将某一高分辨率图像分解为由多个正常训练图像块构成的正常训练图像块集合。

为了克服缺陷样本少并且不同种类的缺陷样本较难获得的缺陷，本发明实施例采用正常样本进行GAN网络(生成对抗网络)的训练。在所采集到的正常样本中选择高分辨率图像作为正常训练样本。利用这些正常训练样本对GAN网络(生成对抗网络)进行训练，以便为检测阶段提供有力的数据支撑。

由于在实际的工业检测中，当源图像为超高分辨率图像时，例如分辨率几千万、占存储达几十兆甚至上百兆的高分辨率图像；例如大小为8192x 9020的气缸套图像，缺陷区域在图像中所占的像素比例较小，利用现有的缺陷检测方法检测的效率较低，难以满足实际工业缺陷检测的实时性要求。因此本发明为了达到能够快速、准确对这类图像进行缺陷检测，提高检测效率的目的，采用滑动窗口方式对原图进行分块处理。

具体的，设源图像大小为W×L,滑动窗口矩形的大小为w×l，滑动步长为s(s＜w，l)，其中W为源图像宽度，L为源图像高度，W表示图像块宽度，l表示图像块高度。

从一幅源图像中能够提取出的大小为w×l的图像块的数量为：

步骤S002，在正常训练图像块集合中添加随机噪声和人工合成缺陷得到人工缺陷训练图像块集合。

在训练GAN网络的过程中，需要对输入图像x进行预处理，通过对输入图像x加入随机噪声和人工合成的缺陷，得到人工缺陷训练图像块。其中，人工合成的缺陷包括在任意位置随机生成的任意大小或形状的斑点和划痕等。具体的，对正常训练图像块集合中的一个正常训练图像块x加入随机噪声如下所示：

(x～P_d)+γ(ε～N(0,σ²I))

其中，P_d表示训练正常样本图像的数据分布，ε表示服从高斯分布的噪声，γ∈R表示用来调整图像被噪声污染程度的参数，I表示单位矩阵，用

表示加入噪声和人工合成缺陷之后的人工缺陷训练图像块。

步骤S003，将人工缺陷训练图像块集合中的各个人工缺陷训练图像块输入生成器，该生成器对人工缺陷训练图像块中所加入的随机噪声和人工合成缺陷进行修复得到由修复训练图像块组成的修复训练图像块集合。

将步骤002中所得到的人工缺陷训练图像块

输入生成器G。生成器的目的是通过训练学习正常样本图像的数据分布P_d，对输入缺陷图像生成修复训练图像块期望该修复训练图像块能够通过判别器的判别，也就是使

服从于正常样本图像的数据分布P_d，即

步骤S004，将步骤003中的修复训练图像块集合中的修复训练图像块和步骤001中正常训练图像块集合中的正常训练图像块分别输入判别器，该判别器判断所接收的图像块是否属于步骤001中的正常训练图像块，并输出属于正常训练图像块的无缺陷概率矩阵。

判别器D的目的是正确识别所接收的图像是生成器产生的修复训练图像块还是正常训练图像块，该正常训练图像块是原无缺陷的真实图像。训练GAN网络的总体目标函数由图像重建损失L1距离函数和生成器、判别器损失函数组成，其目的是训练判别器和生成器，使得判别器能够尽可能的识别出“真伪”，同时使得生成器生成的修复训练图像块能够最大限度的欺骗判别器并且能够使得修复训练图像块与正常训练图像块尽可能的一致。总体目标函数的公式如下所示：

其中，

n₁为判别器输出的概率矩阵的宽度、n₂为判别器输出的概率矩阵的高度，λ为图像重建损失在总体目标函数中占的权重，P_f表示人工生成的缺陷训练图像的数据分布，D(x)表示正常图像块x输入判别器后的输出，

表示人工缺陷训练图像块

输入生成器和判别器后的输出，L_GAN(G,D)表示GAN损失函数，L_Recons(G)表

示图像重建损失函数。

在其他实施例中，生成器G将输入的图像修复为正样本图像，采用的是卷积编码器-解码器网络U-Net的变种。如图3所示，它由编码器模块和解码器模块组成，编码器模块是一个卷积网络，它包含交替的3×3卷积层和2×2最大池化层，各层下面的数字表示该层包含的特征图(通道)数量。解码器模块由交替的3×3反卷积层和3×3卷积层组成，每个反卷积层产生的特征图与编码器对应层的特征图进行级联后输入下一层，该解码器模块的最后一层采用1×1卷积使特征图的大小不变，并使输出图像的通道数与生成器输入图像通道数一致。网络的激活函数采用典型的rectified linear unit(ReLU)。请再次参阅图2，将输入的图像块作为输入特征图，输入特征图的通道数为3，在经过多个交替的3×3卷积层(3×3conv,ReLU)和2×2最大池化层(3×3max-pool)进行编码之后，通道数由3依次变化为64、128、256和512，在经过该编码器模块进行编码之后得到通道数为512的编码图像，该编码图像在经过多个交替的3×3反卷积层(3×3up-conv,ReLU)和级联的3×3卷积层(3×3conv,ReLU)进行解码，该解码器模块的最后一层采用1×1卷积层(1×1conv,ReLU)进行解码恢复之后，其通道数依次从512变化为256、128、64、32和3，得到解码后的修复训练图像块的通道数为3，将该解码图像作为输出特征图，其输出特征图的通道数与输入特征图的通道数相同。

在其他实施例中，判别器D采用的是全卷积网络(FCN)，它不包含减小图像特征图大小的池化层，以便保留图像更多的空间和纹理信息。如图4所示，它由6个卷积层组成，每个卷积层的结构由

描述，C₁和C₂表示某一卷积层的输入特征图(通道)数量和输出特征图(通道)数量，k×k表示卷积核的大小，s为卷积步长，每个卷积层采用ReLU激活函数；以第一个卷积层Conv1为例，它的输入为三通道的图像，经过大小为5×5卷积核和卷积步长为3的卷积后输出96个特征图。采用FCN可得到输入图像的局部区域不属于缺陷的概率值，以辅助表面缺陷的判别。

对于一个输入图像块，其对应判别器的输出是一个该输入为正常训练图像块的概率矩阵n₁和n₂为概率矩阵的宽度和高度，其中矩阵O在位置(i,j)的一个元素O(i，j)是图像中对应位置区域的输出，表示该区域没有缺陷的概率，元素O(i，j)在图像中的位置可由网络各层感受野计算得到。

步骤S005，根据步骤004中无缺陷概率矩阵训练SVM分类器。

当GAN模型训练稳定后，利用判别器产生的属于正常训练图像块概率矩阵O训练SVM分类器。

在本实施例中，SVM分类器采用One-class SVM分类器。

综上所述，本发明实施例公开了一种图像缺陷检测模型的训练方法，该缺陷训练方法首先将所采集到的正常样本中的高分辨率图像作为正常训练样本，并分解为多个图像块，所分解的多个图像块组成图像块集合；在缺陷检测模型的训练阶段，在正常训练样本的图像块集合中添加随机噪声和人工合成缺陷得到人工缺陷训练样本，并将各个图像块输入GAN网络中的生成器进行训练，生成器对所加入的噪声和人工合成缺陷进行修复得到修复训练图像，将该修复训练图像块和正常训练图像块分别输入判别器进行训练，判别器输出所判断得到的属于正常训练图像块的概率矩阵，根据该概率矩阵训练SVM分类器。本发明通过对正常样本进行人工合成缺陷来训练GAN网络进而训练SVM分类器，克服了缺陷样本较少、不同种类的缺陷样本较难获得的技术问题；通过将高分别率图像分解为由多个图像块组成的图像块的集合的方式，解决了缺陷区域在图像中所占的像素比例较小，利用现有的缺陷检测方法检测的效率较低的技术问题。本发明聚焦于工业产品的高分辨率图像表面缺陷检测，以具有适用范围广、精度高、不受检测件外形轮廓影响和检测效率高的机器视觉检测方法为设计基础。在此状况下，基于正常样本的缺陷检测方法可以克服模型受非平衡样本数量误导和无法检测未知类型缺陷的缺点。

请参阅图5和图6所示，其中，图5示出了本发明一个实施例提供的一种图像缺陷检测模型的测试方法流程图，图6示出了本发明一个实施例提供的一种图像缺陷检测模型的测试方法的流程框图。缺陷检测的测试阶段用于对高分辨率图像的图像块进行是否存在缺陷快速判别，筛选并保留存在缺陷图像块，首先，利用判别器产生的正常样本概率矩阵对图像的局部区域进行缺陷判别并保存存在缺陷的缺陷图像块；然后，利用生成器对这些缺陷图像块的缺陷区域进行像素级别缺陷修复；最后，通过各子图像块在源图像的空间位置还原，比较修复图像和源图像后，通过阈值对缺陷进行定位。具体的，该图像缺陷检测模型的训练的步骤如下：

步骤501，将待测高分辨率图像分解为由多个图像块构成的图像块集合，并保留每个图像块对应于待测高分辨率图像的位置信息。

对待检测高分辨率图像进行预处理，具体的，将待检测高分辨率图像分解为图像块集合，并保留每个图像块对应于待检测高分辨率图像的位置信息。生成图像块的大小和数量可视实际情况，按在线检测速度和精度的需求适应性调整滑动窗口步长s。

步骤502，将图像块集合中的每个图像块输入判别器得到由每个图像块为正常样本的无缺陷概率矩阵组成的无缺陷概率矩阵集合。

将步骤501中所得到的图像块，利用GAN网络中的判别器计算其输出的正常样本概率图：O＝D(x)，即各个图像块的无缺陷概率矩阵。将该无缺陷概率矩阵输入SVM分类器。在本实施例中，该SVM分类器采用One-class SVM分类器。

步骤503，SVM分类器根据无缺陷概率矩阵对输入的多个图像块进行筛选，筛选出疑似缺陷图像块。

该SVM分类器筛除分类结果中无缺陷的子图像块，对剩下的疑似缺陷图像块的输出正常样本概率矩阵O进行保留，留待步骤504进行进一步缺陷鉴别。

步骤504，通过生成器对疑似缺陷图像块进行修复得到修复图像块。

使用GAN网络中的生成器对步骤503所保留的疑似缺陷图像块的输出O中为疑似缺陷区域进行像素级别的图像修复，修复为与正常样本分布一致的图片。

缺陷修复阶段只对每个疑似缺陷图像块内的疑似有缺陷的区域进行修复，图像块内其它区域将不进行图像修复阶段，这样可以大大提高缺陷检测的速度。

步骤505，根据位置信息，将修复图像块进行空间位置还原得到无缺陷图像。

利用步骤501保留的各个图像块在原待测高分辨率图像中的位置信息将步骤504中得到的修复图像块还原为整图，并与原图像进行对比定位缺陷，非规则缺陷宏观定义如下：

M＝{|x-G(x)|≥α}

在缺陷位置进行定位后，完成对缺陷的检测工作。

综上所述，本发明实施例公开的一种图像缺陷检测模型的测试方法，本测试方法通过判别器产生的正常样本概率矩阵对图像块的局部区域级别进行缺陷判别并定位，然后利用生成器对这些存在缺陷图像块的缺陷区域进行缺陷修复；最后通过各图像块在原待检测高分辨率图像的空间位置还原，比较修复图像和原待检测高分辨率图像后通过阈值对缺陷进行定位检测。本方法通过联合GAN的生成器和判别器，并使用One-class SVM对高分辨率图像的缺陷子图像块快速筛选，判别器输出的正常样本概率矩阵进一步快速定位图像块的缺陷区域，这种层次化对缺陷进行检测的方法，在大大优化在线检测效率与合理性的前提下尽可能保证了缺陷检测的可靠性。

请参阅附图7，其示出了本发明实施例还提供了一种图像缺陷检测模型的训练装置的结构框图，该训练装置包括：分解训练模块701、添加人工缺陷训练模块702、修复缺陷训练模块703、判别训练模块704和分类器训练模块705，具体的：

分解训练模块701，用于将某一高分辨率图像分解为由多个正常训练图像块构成的正常训练图像块集合；

添加人工缺陷训练模块702，用于在所述正常训练图像块集合中添加随机噪声和人工合成缺陷得到人工缺陷训练图像块集合；

修复缺陷训练模块703，用于将所述人工缺陷训练图像块集合中的各个图像块输入生成器，所述生成器对所述随机噪声和人工合成缺陷进行修复得到由修复训练图像块组成的修复训练图像块集合；

判别训练模块704，用于将所述修复训练图像块集合中的修复训练图像块和所述正常训练图像块集合中的正常训练图像块分别输入判别器，所述判别器判断所接收的图像块是否属于所述正常训练图像块，并输出属于所述正常训练图像块的无缺陷概率矩阵；

分类器训练模块705，用于根据所述无缺陷概率矩阵训练SVM分类器。

优选的，所述修复缺陷训练模块包括编码器模块和解码器模块，具体的，编码器模块用于将所述图像块作为输入特征图输入生成器；所述输入特征图通过多个交替设置的3×3卷积层和2×2最大池化层进行编码，得到编码图像；解码器模块用于将所述编码图像通过多个交替设置的3×3反卷积层和3×3卷积层进行解码，该解码器的最后一层采用1×1卷积，得到解码后的修复训练图像块，该修复训练图像块与所述输入特征图的大小相同。

综上所述，本发明实施例提供的一种图像缺陷检测模型的训练装置，通过分解训练模块将图像分解为多个正常训练图像块，通过添加人工缺陷训练模块将该正常训练图像块添加随机噪声和人工合成缺陷得到人工缺陷训练图像块，再通过修复缺陷训练模块对人工缺陷训练图像块进行修复，将修复后的图像和正常训练图像块发送给判别训练模块，由该判别训练模块输出属于所述正常训练图像块的无缺陷概率矩阵，最后，利用分类器训练模块训练分类器。本发明实施例通过对正常样本进行人工合成缺陷来训练GAN网络进而训练SVM分类器，克服了缺陷样本较少、不同种类的缺陷样本较难获得的技术问题；通过将高分辨率图像分解为由多个图像块组成的图像块集合的方式，解决了缺陷区域在图像中所占的像素比例较小，利用现有的缺陷检测方法检测的效率较低的技术问题。

请参阅附图8，其示出了本发明实施例还提供了一种图像缺陷检测模型的测试装置的结构框图，该测试装置包括：分解模块801、判别模块802、分类器筛选模块803、缺陷修复模块804、位置还原模块805和缺陷定位模块806，具体的：

分解模块801，用于将待测高分辨率图像分解为由多个图像块构成的图像块集合，并保留每个图像块对应于所述待测高分辨率图像的位置信息；

判别模块802，用于将所述图像块集合中的每个所述图像块输入判别器得到由每个所述图像块为正常样本的无缺陷概率矩阵组成的无缺陷概率矩阵集合；

分类器筛选模块803，用于SVM分类器根据所述无缺陷概率矩阵对输入的所述多个图像块进行筛选，筛选出疑似缺陷图像块；

缺陷修复模块804，用于通过生成器对所述疑似缺陷图像块的缺陷区域进行修复得到修复图像块；

位置还原模块805，用于根据所述位置信息，将所述修复图像块进行空间位置还原得到无缺陷图像；

缺陷定位模块806，用于将所述无缺陷图像与所述待测高分辨率图像进行对比，进而定位缺陷的位置信息。

综上所述，本发明实施例提供的一种图像缺陷检测模型的测试装置，首先通过分解模块将待测的高分辨率图像分解为多个图像块，将图像块输入判别模块得到无缺陷概率矩阵，并由分类器筛选模块筛选出疑似缺陷图像块，由缺陷修复模块对所述疑似缺陷图像块的缺陷区域进行修复，并将修复后的图像进行空间位置还原，并将还原后的图像与原待测高分辨率图像进行对比，进而定位缺陷的位置信息。本发明实施例在图像修复阶段仅对缺陷图像块的缺陷区域进行修复，大大提高了缺陷检测的速度。

请参阅附图9，基于同一发明构思，本发明实施例提供一种图像缺陷检测模型的训练装置，所述缺陷训练装置包括处理器901、存储器902和图像采集单元903。

图像采集单元903用于采集图像，并将所采集的图像发送给处理器。

存储器902用于存储处理器执行任务所需的指令。

处理器901用于执行存储器存储的指令，在进行训练时，根据采集单元所发送的高分辨率图像进行训练，首先将某一高分辨率图像分解为由多个正常训练图像块构成的正常训练图像块集合；在所述正常训练图像块集合中添加随机噪声和人工合成缺陷得到人工缺陷训练图像块集合；将所述人工缺陷训练图像块集合中的各个图像块输入生成器，所述生成器对所述随机噪声和人工合成缺陷进行修复得到由修复训练图像块组成的修复训练图像块集合；将所述修复训练图像块集合中的修复训练图像块和所述正常训练图像块集合中的正常训练图像块分别输入判别器，所述判别器判断所接收的图像块是否属于所述正常训练图像块，并输出属于所述正常训练图像块的无缺陷概率矩阵；根据所述无缺陷概率矩阵训练SVM分类器。

可选的，本发明实施例中，处理器对所述随机噪声和人工合成缺陷进行修复得到修复训练图像块，具体包括：将所述图像块作为输入特征图输入生成器；所述输入特征图通过多个交替设置的3×3卷积层和2×2最大池化层进行编码，得到编码图像；所述编码图像通过多个交替设置的3×3反卷积层和3×3卷积层进行解码，该解码器的最后一层采用1×1卷积，得到解码后的修复训练图像块，该修复训练图像块与所述输入特征图的大小相同。

优选的，在本发明实施例中，该处理器901用于执行存储器存储的指令，该指令还包括，在进行测试时，将待测高分辨率图像分解为由多个图像块构成的图像块集合，并保留每个图像块对应于所述待测高分辨率图像的位置信息；将所述图像块集合中的每个所述图像块输入判别器得到由每个所述图像块为正常样本的无缺陷概率矩阵组成的无缺陷概率集合；SVM分类器根据所述无缺陷概率矩阵对输入的所述多个图像块进行筛选，筛选出疑似缺陷图像块；通过生成器对所述疑似缺陷图像块进行修复得到修复图像块；根据所述位置信息，将所述修复图像块进行空间位置还原得到无缺陷图像；将所述无缺陷图像与所述待测高分辨率图像进行对比，进而定位缺陷的位置信息。

基于同一发明构思，本发明实施例提供一种图像缺陷检测模型的测试装置，该训练装置和测试装置为同一设备，所述缺陷测试装置包括处理器、存储器和图像采集单元。

图像采集单元用于采集图像，并将所采集的图像发送给处理器。

存储器用于存储处理器执行任务所需的指令。

处理器用于执行存储器存储的指令，在进行测试时，将待测高分辨率图像分解为由多个图像块构成的图像块集合，并保留每个图像块对应于所述待测高分辨率图像的位置信息；将所述图像块集合中的每个所述图像块输入判别器得到由每个所述图像块为正常样本的无缺陷概率矩阵组成的无缺陷概率矩阵集合；SVM分类器根据所述无缺陷概率矩阵对输入的所述多个图像块进行筛选，筛选出疑似缺陷图像块；通过生成器对所述疑似缺陷图像块进行修复得到修复图像块；根据所述位置信息，将所述修复图像块进行空间位置还原得到无缺陷图像；将所述无缺陷图像与所述待测高分辨率图像进行对比，进而定位缺陷的位置信息。

本发明实施例还提供了一种计算机存储介质，所述计算机存储介质可存储有程序，该程序执行包括上述实施例所提供的一种图像缺陷检测模型的训练方法和/一种图像缺陷检测模型的测试方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种图像缺陷检测模型的训练方法，其特征在于，该训练方法包括以下步骤：

根据所述无缺陷概率矩阵训练SVM分类器。

2.根据权利要求1所述的一种图像缺陷检测模型的训练方法，其特征在于，所述对所述随机噪声和人工合成缺陷进行修复得到修复训练图像块的步骤包括：

将所述图像块作为输入特征图输入生成器；

3.根据权利要求1所述的一种图像缺陷检测模型的训练方法，其特征在于，所述SVM分类器采用One-class SVM模型。

4.根据权利要求1所述的一种图像缺陷检测模型的训练方法，其特征在于，所述高分辨率图像为正常样本中的某一个体。

5.一种图像缺陷检测模型的测试方法，其特征在于，该测试方法包括以下步骤：

6.根据权利要求1所述的一种图像缺陷检测模型的测试方法，其特征在于，所述缺陷的定义如下：

M＝{|x-G(x)|≥α}

7.一种图像缺陷检测模型的训练装置，其特征在于，该训练装置包括：

8.根据权利要求1所述的一种图像缺陷检测模型的训练装置，其特征在于，所述修复缺陷训练模块包括：

9.一种图像缺陷检测模型的测试装置，其特征在于，该测试装置包括：

10.一种计算机存储介质，其特征在于，所述计算机存储介质可存储有程序，该程序执行时包括如权利要求1至4任意一项所述的方法。