CN110796174A

CN110796174A - 多类型虚拟样本的生成方法、装置、电子设备及存储介质

Info

Publication number: CN110796174A
Application number: CN201910934402.1A
Authority: CN
Inventors: 徐明亮; 郭毅博; 王海迪; 张晨民; 闫杰; 李丙涛; 樊冠杰
Original assignee: Zhengzhou Jinhui Computer System Engineering Co Ltd
Current assignee: Zhengzhou Jinhui Computer System Engineering Co Ltd
Priority date: 2019-09-29
Filing date: 2019-09-29
Publication date: 2020-02-14

Abstract

本发明涉及工业表面缺陷检测技术领域，具体涉及一种多类型虚拟样本的生成方法、装置、电子设备及存储介质，该生成方法包括以下步骤向生成器中加入噪声，所述生成器生成虚拟缺陷图像；将所述虚拟缺陷图像输入分类器，所述分类器生成与所述虚拟缺陷图像对应的缺陷类型标签；将所述缺陷类型标签和所述虚拟缺陷图像输入判别器，判别器将判别结果反馈给所述生成器和分类器；迭代上述步骤，在达到预设界限时，停止迭代。本发明在生成器、分类器和判别器的共同作用下能够根据需求获取到特定缺陷类型的虚拟样本。

Description

多类型虚拟样本的生成方法、装置、电子设备及存储介质

技术领域

本发明涉及工业表面缺陷检测技术领域，具体涉及一种多类型虚拟样本的生成方法、装置、电子设备及存储介质。

背景技术

缺陷检测通常是指对物品表面缺陷的检测，表面缺陷检测是采用先进的机器视觉检测技术，对工件表面的斑点、凹坑、划痕、色差、缺损等缺陷进行检测。工业表面缺陷检测存在样本数量稀少、类型单一的问题。传统图像特征提取算子在复杂场景变化下不够明显，且由于训练样本人工标记昂贵、缺陷样本稀少，难以利用当前效果较好的数据驱动的方法。

专利公布号为CN109583474A的专利公开了一种用于工业大数据处理的训练样本生成方法，其特征在于，包括如下步骤：1)构建各类工业图像数据集，并根据各类工业图像数据集中的数据量划分出大样本数据集与小样本数据集；2)构建工业图像生成对抗网络cycleD2GAN，包括两个工业图像生成器和四个工业图像鉴别器，分别为小样本图像生成器G、大样本图像生成器F、小样本图像鉴别器D1s、小样本图像鉴别器D2s、大样本图像鉴别器D1b和大样本图像鉴别器D2b；3)构建工业图像生成对抗网络的优化目标函数，并基于优化目标函数分别对两个图像生成器和四个图像鉴别器进行迭代训练，以训练获得小样本生成参数模型，其中小样本图像生成器G的训练与小样本图像鉴别器D1s和D2s的训练为一组对抗过程，大样本图像生成器F的训练与大样本图像鉴别器D1b和D2b的训练为一组对抗过程；4)将步骤1)中大样本数据集中的大样本图像输入训练获得的小样本生成参数模型中以生成小样本图像，以此完成训练样本的生成。

发明人在实践中发现，上述现有技术存在以下缺陷：

上述技术方案生成样本图像，但是在工业生产中，往往是需要不同种类的缺陷类型来训练缺陷检测网络，例如细长划痕的缺陷样本、组合划痕的缺陷样本、污点缺陷样本等。现有的生成网络所生成的类型是不确定的，无法满足实际需求。

发明内容

为了解决上述技术问题，本发明提供了一种多类型虚拟样本的生成方法、装置、电子设备及存储介质，采用如下技术方案：

第一方面，一种多类型虚拟样本的生成方法，该生成方法包括以下步骤：

向生成器中加入噪声，所述生成器生成虚拟缺陷图像；

将所述虚拟缺陷图像输入分类器，所述分类器生成与所述虚拟缺陷图像对应的缺陷类型标签；

将所述缺陷类型标签和所述虚拟缺陷图像输入判别器，判别器将判别结果反馈给所述生成器和分类器；

迭代上述步骤，在达到预设界限时，停止迭代。

进一步，在向生成器中加入噪声，所述生成器生成虚拟缺陷图像之前，还包括训练由所述生成器、分类器和判别器组成的生成网络模型，该训练步骤包括：

将缺陷图像和缺陷类型标签输入判别器，所述判别器得到所述缺陷图像属于真实图像的概率矩阵，并利用目标函数更新判别器网络；

向生成器输入噪声和所述缺陷类型标签，所述生成器生成虚拟缺陷图像并更新生成器网络；

在对所述生成器进行训练的同时，向分类器输入所述缺陷图像，所述分类器输出与所述缺陷图像所对应的缺陷类型标签并更新分类器网络。

进一步，在训练所述生成模型之前，还包括数据预处理，所述数据预处理的步骤包括：

截取原始图像中的缺陷区域，并保存为缺陷图像；

根据所述缺陷图像所属的缺陷类型，为所述缺陷图像分配相对应的缺陷类型标签；

保存缺陷类型标签，以及所述缺陷类型标签所对应的缺陷图像。

进一步，所述截取原始图像中的缺陷区域，还包括：

在所述缺陷区域小于等于最小预设阈值时，对所述缺陷区域直接截取，并保存为缺陷图像；

在所述缺陷区域大于等于最大预设阈值时，对所述缺陷区域采取截断缺陷区域的方式，并分别保存为不同的缺陷图像；或者

在所述缺陷区域大于最小预设阈值小于最大预设阈值时，对所述缺陷区域进行多次多形态截取，并分别保存为不同的缺陷图像。

第二方面，一种多类型虚拟样本的生成装置，该生成装置包括：

虚拟缺陷图像生成模块，用于向生成器中加入噪声，所述生成器生成虚拟缺陷图像；

缺陷类型标签判别模块，用于将所述虚拟缺陷图像输入分类器，所述分类器生成与所述虚拟缺陷图像对应的缺陷类型标签；

判别模块，用于将所述缺陷类型标签和所述虚拟缺陷图像输入判别器，判别器将判别结果反馈给所述生成器和分类器；

迭代判断模块，用于判断是否达到预设界限，若否，则继续迭代；若是，则停止迭代。

进一步，所述生成装置还包括：

判别器训练模块，用于将缺陷图像和缺陷类型标签输入判别器，所述判别器得到所述缺陷图像属于真实图像的概率矩阵，并利用目标函数更新判别器网络；

生成器训练模块，用于向生成器输入噪声和所述缺陷类型标签，所述生成器生成虚拟缺陷图像并更新生成器网络；

分类器训练模块，用于在对所述生成器进行训练的同时，向分类器输入所述缺陷图像，所述分类器输出与所述缺陷图像所对应的缺陷类型标签并更新分类器网络。

进一步，所述生成装置还包括数据预处理模块，所述数据预处理模块包括：

缺陷截取模块，用于截取原始图像中的缺陷区域，并保存为缺陷图像；

分配标签模块，用于根据所述缺陷图像所属的缺陷类型，为所述缺陷图像分配相对应的缺陷类型标签；

保存模块，用于保存缺陷类型标签，以及所述缺陷类型标签所对应的缺陷图像。

进一步，所述缺陷截取模块还包括：

直接截取模块，用于在所述缺陷区域小于等于最小预设阈值时，对所述缺陷区域直接截取，并保存为缺陷图像；

截断截取模块，用于在所述缺陷区域大于等于最大预设阈值时，对所述缺陷区域采取截断截取缺陷区域的方式，并分别保存为不同的缺陷图像；或者

多形态截取模块，用于在所述缺陷区域大于最小预设阈值小于最大预设阈值时，对所述缺陷区域进行多次多形态截取，并分别保存为不同的缺陷图像。

第三方面，一种电子设备，包括存储器和处理器，其中：

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求1至4中任意一项所述的生成方法。

第四方面，一种存储介质，所述存储介质存储有计算机可读的程序，该程序执行时实现如权利要求1至4任意一项所述的生成方法。

本发明具有如下有益效果：

本发明实施例公开了一种多类型虚拟样本的生成方法，通过生成器生成虚拟缺陷图像，并通过分类器判断该虚拟缺陷图像的缺陷类型标签，将该虚拟缺陷图像和缺陷类型标签输入判别器进行判别。该生成方法采用分类器、生成器和判别器三者相互博弈可以生成多种特定类型的虚拟样本。

附图说明

图1为本发明实施例所提供的一种多类型虚拟样本的生成方法的方法流程图；

图2为本发明实施例所公开的关于训练生成网络模型的方法流程图；

图3为本发明实施例关于采取截断缺陷区域方式的举例示意图；

图4为本发明实施例关于截取原始图像中的缺陷区域的流程图；

图5为本发明实施例提供的一种多类型虚拟样本的生成装置的结构框图；

图6为本发明实施例关于训练模块的结构框图；

图7为本发明实施例提供的一种电子设备的结构框图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种多类型虚拟样本的生成方法、装置、电子设备及存储介质，其具体实施方式、结构、特征及其功效，详细说明如后。在下述说明中，不同的“一实施例”或“实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的属于只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的属于“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面结合附图和具体的实施例来详细的说明本发明所公开的提出的一种多类型虚拟样本的生成方法、装置、电子设备及存储介质的具体方案。

请参阅附图1，其示出了本发明实施例所提供的一种多类型虚拟样本的生成方法的方法流程图，通过该方法生成指定缺陷类型的虚拟样本，具体的，该虚拟样本的生成方法包括以下步骤：

步骤S001，向生成器中加入噪声，生成器生成虚拟缺陷图像。

生成器网络是一种条件生成模型，输入为随机噪音z和标签y，生成结果为图像。

请参阅表1，生成器网络由反卷积神经网络实现，共6层，分别是：输入数据处理层、3层反卷积网络层、激活函数tanh()处理层和输出层。另外，将该反卷积神经网络的输入作为输入层。反卷积神经网络实质上也是做卷积计算，卷积核的大小为5*5，步长为1。网络前几层卷积后的激活函数为relu()，在生成器的最后采用tanh激活函数，将结果规范到[-1,1]。最后得到生成数据。

表1生成器的反卷积神经网络

Layer	Operation in the generator
		1	Input{z,y}
2	{linear()+relu()+BN}
		3	{reshape()+concat()}
4	{deconv(256)+relu()+BN+concat()}
		5	{deconv(128)+relu()+BN+concat()}
6	{deconv(1)+tanh()}
		7	Output{x}

步骤S002，将虚拟缺陷图像输入分类器，分类器生成与虚拟缺陷图像对应的缺陷类型标签。

分类器网络是一种条件分类模型，输入为图像，输出预测的缺陷类型标签。

请参阅表2，分类器网络采用卷积神经网络实现，共13层，分别是：3层卷积网络、最大池化层、3层卷积网络、最大池化层、卷积层、全局平均池化层、展平层、线性处理层和输出层。另外，将该卷积神经网络的输入作为输入层。卷积神经网络对输入图片进行卷积计算，详细设置为：卷积核的大小为3*3，步长为1；最大池化层的核大小为2*2，步长为2，在2*2大小的方框中，取4个值中的最大值；激活函数使用relu()和lrelu()。由于全连接层的参数较多，为了减少参数设置，优化算法的复杂度，使用全局平均池化替换掉传统的全连接层，能够达到与使用全连接层相同的效果。线性处理最后得到图片对应的预测标签。

表2分类器的卷积神经网络

Layer	Operation in the classifier
		1	Input{x}
2	{conv(128)+lrelu()}*3
		5	{max_pooling+dropout()}
6	{conv(256)+lrelu()}*3
		9	{max_pooling()+dropout()}
10	{conv(512)+lrelu()+linear()}
		11	{global_average_pooling()}
12	{flatten()}
		13	{lineae()}
14	Output{x}

步骤S003，将缺陷类型标签和虚拟缺陷图像输入判别器，判别器将判别结果反馈给生成器和分类器。

判别器网络本质上是一种二分类网络，输入为图像和缺陷类型标签对，输出为(0,1)之间的值，用于鉴别输入图像是真实的还是生成的。

请参阅表3，判别器网络采用卷积神经网络实现，共11层，分别是：6层卷积层，全局平均池化层、展平层、线性处理层、sigmoid()激活函数处理层和输出层。另外，将该卷积神经网络的输入作为输入层。使用卷积神经网络，卷积核大小为3*3，步长为2。网络前几层卷积后的激活函数为lrelu()，最后一层为sigmoid()激活函数，最后得出真假结果。

表3判别器的卷积神经网络

Layer	Operation in the discriminator
		1	Input{x,y}
2	{conv(32)+lrelu()+concat()}*2
		4	{conv(64)+lrelu()+concat()+dropout()}*2
6	{conv(128)+lrelu()+concat()}*2
		8	{global_average_pooling()}
9	{flatten()+mlp_concat()}
		10	{linear()}
11	{sigmoid()}
		12	Output{out,x_logit,x}

步骤S004，迭代上述步骤，在达到预设界限时，停止迭代。

综上所述，本发明公开了一种多类型虚拟样本的生成方法，通过生成器生成虚拟缺陷图像，并通过分类器判断该虚拟缺陷图像的缺陷类型标签，将该虚拟缺陷图像和缺陷类型标签输入判别器进行判别。分类器、生成器和判别器三者相互博弈可以生成多种特定类型的虚拟样本。在该生成方法中，分类器为判别器提供标签信息，解决了判别器遗忘标签信息的问题，同时，给出生成样本所属类别。由于在实际应用中，造成缺陷的原因具有多样性，导致缺陷的类型具有多样性，利用本发明所公开的生成方法获得的虚拟样本较容易确定缺陷类别。

请参阅图2，其示出了本发明实施例所公开的关于训练生成网络模型的方法流程图，在向生成器中加入噪声，生成器生成虚拟缺陷图像之前，训练由生成器、分类器和判别器组成的生成网络模型，该训练步骤包括：

步骤S201，将缺陷图像和缺陷类型标签输入判别器，所述判别器得到所述缺陷图像属于真实图像的概率矩阵，并利用目标函数更新判别器网络。其中，判别器输出0-1之间的值作为相似概率，值越接近于1表示生成器生成的图片越逼真。

步骤S202，向生成器输入噪声和缺陷类型标签，生成器生成虚拟缺陷图像并更新生成器网络。

其中，向生成器输入的噪声是高斯噪声。

步骤S203，在对生成器进行训练的同时，向分类器输入缺陷图像，分类器输出与缺陷图像所对应的缺陷类型标签并更新分类器网络。

其中，生成器和分类器的训练是并行进行的。

优选的，在训练生成模型之前，还包括数据预处理，数据预处理的步骤包括：截取原始图像中的缺陷区域，并保存为缺陷图像；根据缺陷图像所属的缺陷类型，为缺陷图像分配相对应的缺陷类型标签；保存缺陷类型标签，以及缺陷类型标签所对应的缺陷图像。

具体的，由于在本实施例中所涉及到的原始图片相对较大，分辨率为8192*9020，且缺陷样本少，采用人工处理方法截取缺陷区域部分，保存为512*512分辨率的目标图片。

在本实施例中，缺陷类型包括细长划痕、污点、组合划痕、其它缺陷和正常样本，共5类。将[细长划痕,污点,组合划痕,其它缺陷,正常样本]与缺陷类型标签[0,1,2,3,4]相对应。将缺陷类型标签与其所对应的缺陷图像保存。

优选的，关于截取原始图像中的缺陷区域。在实践中，工业表面缺陷检测存在样本数量稀少、类型单一，因此，需要在数据预处理的过程中对样本数量进行增广，由于在本发明实施例中所针对的原图片太大，不能满足网络输入的要求；因此，需要对原图片裁剪按照缺陷的不同位置，可以得到不同的图片；若在样本图像中的缺陷类型是横向的细长划痕缺陷的情况，则通过旋转原图片将缺陷变为竖向划痕、倾斜划痕等，然后再进行切割，以增广样本图像的数量。

请参阅图4，其示出了本发明实施例关于截取原始图像中的缺陷区域的流程图，该方法包括：

(a)、在缺陷区域小于等于最小预设阈值时，对缺陷区域直接截取，并保存为缺陷图像。

具体的，由于缺陷太小，在工业表面缺陷检测中很可能出现漏检情况。在此情况下，直接截取缺陷位置，保存为规定图片大小，将该图片添加到用于数据增广的数据集之中。

(b)、在缺陷区域大于等于最大预设阈值时，对缺陷区域采取截断缺陷区域的方式，并分别保存为不同的缺陷图像；

具体的，由于缺陷过大，在工业表面缺陷检测中，此类缺陷较容易被检测到。在此情况下，采取截断缺陷区域方式，使缺陷在图片中具有不同位置，不同状态，并保存为规定图片大小。例如，请参阅图3，图3a表示原始图片，图3b、图3c、图3d和图3e表示截取后的目标图片，将这些目标图片添加到用于数据增广的数据集之中。

(c)、在缺陷区域大于最小预设阈值小于最大预设阈值时，对缺陷区域进行多次多形态截取，并分别保存为不同的缺陷图像。

具体的，在缺陷适中时，对该缺陷实现多次截取，每次截取的结果是缺陷相对于规定图片在不同位置之上。例如：对于污点缺陷，使该缺陷位于图片的左上方，右上方，左下方，右下方等不同位置，目的是相同缺陷得到其不同方位、不同状态图片，并将该图片添加到用于数据增广的数据集之中。

在其他实施例中，还包括验证生成样本的阶段，该验证的方法包括：

不同缺陷数据集的收集：采用多个数据集进行验证，其目的是证明本方法可以适用于不同数据集。将收集到的数据集进行预处理，该数据集可以是纺织、陶瓷数据集。

缺陷检测验证：采用降噪自动编码缺陷检测方法对样本进行缺陷检测，降噪自动编码器(DAE)对缺陷样本检测具有较高的准确性，并且噪声对检测结果影响不大。将该方法生成的样本输入DAE中，验证生成的样本是否符合工业表面缺陷检测。

请参阅附图5，其示出了本发明实施例提供的一种多类型虚拟样本的生成装置的结构框图，该生成装置包括虚拟缺陷图像生成模块501、缺陷类型标签判别模块502、判别模块503和迭代判断模块504，具体的:

虚拟缺陷图像生成模块501，用于向生成器中加入噪声，生成器生成虚拟缺陷图像；

缺陷类型标签判别模块502，用于将虚拟缺陷图像输入分类器，分类器生成与虚拟缺陷图像对应的缺陷类型标签；

判别模块503，用于将缺陷类型标签和虚拟缺陷图像输入判别器，判别器将判别结果反馈给生成器和分类器；

迭代判断模块504，用于判断是否达到预设界限，若否，则继续迭代；若是，则停止迭代。

请参阅附图6，其示出了本发明实施例关于训练模块的结构框图，该训练模块包括判别器训练模块601、生成器训练模块602和分类器训练模块603，具体的：

判别器训练模块601，用于将缺陷图像和缺陷类型标签输入判别器，该判别器得到缺陷图像属于真实图像的概率矩阵，并利用目标函数更新判别器网络；

生成器训练模块602，用于向生成器输入噪声和缺陷类型标签，生成器生成虚拟缺陷图像并更新生成器网络；

分类器训练模块603，用于在对生成器进行训练的同时，向分类器输入缺陷图像，分类器输出与缺陷图像所对应的缺陷类型标签并更新分类器网络。

优选的，生成装置还包括数据预处理模块，数据预处理模块包括缺陷截取模块、分配标签模块和保存模块，具体的：

缺陷截取模块，用于截取原始图像中的缺陷区域，并保存为缺陷图像。

分配标签模块，用于根据缺陷图像所属的缺陷类型，为缺陷图像分配相对应的缺陷类型标签。

保存模块，用于保存缺陷类型标签，以及缺陷类型标签所对应的缺陷图像。

优选的，缺陷截取模块还包括直接截取模块、截断截取模块和多形态截取模块，具体的：

直接截取模块，用于在缺陷区域小于等于最小预设阈值时，对缺陷区域直接截取，并保存为缺陷图像；

截断截取模块，用于在缺陷区域大于等于最大预设阈值时，对缺陷区域采取截断截取缺陷区域的方式，并分别保存为不同的缺陷图像；或者

多形态截取模块，用于在缺陷区域大于最小预设阈值小于最大预设阈值时，对缺陷区域进行多次多形态截取，并分别保存为不同的缺陷图像。

请参阅图7，基于同一发明构思，其示出了本发明一个实施例提供的电子设备的结构示意图，该电子设备包括存储器701和处理器702，其中：

存储器701用于存储处理器702执行任务所需的指令。

处理器702用于执行存储器701存储的指令，在进行检测时，向生成器中加入噪声，所述生成器生成虚拟缺陷图像；将所述虚拟缺陷图像输入分类器，所述分类器生成与所述虚拟缺陷图像对应的缺陷类型标签；将所述缺陷类型标签和所述虚拟缺陷图像输入判别器，判别器将判别结果反馈给所述生成器和分类器；迭代上述步骤，在达到预设界限时，停止迭代。

在其他实施例中，该电子设备还包括通信接口703，用于执行主体与其他设备或通信网络通信。

优选的，处理器702用于执行存储器701存储的指令，在进行检测时，执行上述实施例中所提供的任意一种多类型虚拟样本的生成方法。

本发明实施例还提供了一种存储介质，该存储介质可存储有计算机可读的程序，该程序执行时执行上述任意一个实施例所提供的一种多类型虚拟样本的生成方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种多类型虚拟样本的生成方法，其特征在于，该生成方法包括以下步骤：

向生成器中加入噪声，所述生成器生成虚拟缺陷图像；

迭代上述步骤，在达到预设界限时，停止迭代。

2.根据权利要求1所述的一种多类型虚拟样本的生成方法，其特征在于，在向生成器中加入噪声，所述生成器生成虚拟缺陷图像之前，还包括训练由所述生成器、分类器和判别器组成的生成网络模型，该训练步骤包括：

3.根据权利要求2所述的一种多类型虚拟样本的生成方法，其特征在于，在训练所述生成模型之前，还包括数据预处理，所述数据预处理的步骤包括：

截取原始图像中的缺陷区域，并保存为缺陷图像；

4.根据权利要求3所述的一种多类型虚拟样本的生成方法，其特征在于，所述截取原始图像中的缺陷区域，还包括：

5.一种多类型虚拟样本的生成装置，其特征在于，该生成装置包括：

6.根据权利要求5所述的一种多类型虚拟样本的生成装置，其特征在于，所述生成装置还包括：

7.根据权利要求6所述的一种多类型虚拟样本的生成装置，其特征在于，所述生成装置还包括数据预处理模块，所述数据预处理模块包括：

8.根据权利要求7所述的一种多类型虚拟样本的生成装置，其特征在于，所述缺陷截取模块还包括：

9.一种电子设备，其特征在于，包括存储器和处理器，其中：

10.一种存储介质，其特征在于，所述存储介质存储有计算机可读的程序，该程序执行时实现如权利要求1至4任意一项所述的生成方法。