CN111652297A - 用于图像检测模型训练的故障图片生成方法 - Google Patents

Abstract

一种用于图像检测模型训练的故障图片生成方法，属于图像处理技术领域。本发明针对现有故障图片样本数据采用人工方法获得，效率低且无法保证故障形态多样性的问题。包括：由采集获得的设备待检测部件的真故障图片进行提取，获得真故障素材；再采用生成器根据随机生成的噪声数据生成假故障素材；采用判别器对真故障素材和假故障素材进行比较，获得假故障素材的判别结果，将判别结果达到设定阈值的假故障素材作为样本故障素材；所述生成器在生成假故障素材的过程中，同步根据判别器的当前判别结果进行优化；将样本故障素材融合至设备待检测部件的正常图片中，获得样本故障图片。本发明用于生成设备待检测部件的故障图片。

Description

用于图像检测模型训练的故障图片生成方法

技术领域

本发明涉及用于图像检测模型训练的故障图片生成方法，属于图像处理技术领域。

背景技术

对设备的故障状态进行检测，可以通过成像装置获取设备待检测部位的图像，然后对图像进行处理，判断待检测部位是否发生故障。

目前，采用图像实现故障检测的主流方法包括深度学习法。在深度学习领域中，准备足够多的故障样本数据集是首要的一步，也是最重要的一个环节。故障样本数据的好坏决定着检测模型的检测上限，其通常包括原始图片和故障图片。

由于在设备实际运行过程中收集故障图片的难度较大，因此能够直接获取的故障图片较少。目前获得故障图片的方法为：工作人员在相关图形处理软件(PS—AdobePhotoshop)上对原始图片进行修改，将原始图片转换成故障图片，以满足模型训练的需要。而模型训练通常需要有大量的、故障形态各异的图片，才会获得更好的训练结果。因此，需要耗费大量的人工通过PS的方法获得足够多的故障图片，其故障图片的多样性完全由工作人员的主观决定，故实质上故障图片的多样性无法得到保证。

发明内容

针对现有故障图片样本数据采用人工方法获得，效率低且无法保证故障形态多样性的问题，本发明提供一种用于图像检测模型训练的故障图片生成方法。

本发明的一种用于图像检测模型训练的故障图片生成方法，包括：

由采集获得的设备待检测部件的真故障图片进行提取，获得真故障素材；

再采用生成器根据随机生成的噪声数据生成假故障素材；

采用判别器对真故障素材和假故障素材进行比较，获得假故障素材的判别结果，将判别结果达到设定阈值的假故障素材作为样本故障素材；所述生成器在生成假故障素材的过程中，同步根据判别器的当前判别结果进行优化；

将样本故障素材融合至设备待检测部件的正常图片中，获得样本故障图片。

根据本发明的用于图像检测模型训练的故障图片生成方法，所述真故障图片的获得方法包括：

对设备待检测部件进行拍摄，得到二维图片；对所述二维图片进行图像增强，得到多张真故障图片，由所述真故障图片中提取获得真故障素材；所述真故障素材为像素大小为300*300的白底图片；

所述图像增强的方法包括：

对二维图片进行图像扩增，包括旋转和/或平移。

根据本发明的用于图像检测模型训练的故障图片生成方法，所述假故障素材的生成方法包括：

将100维度的噪声数据经过权值矩阵运算转化为二维向量输入生成器；

生成器的结构包括：采用卷积核大小为4x4，步长为1的转置卷积层进行填充，在每层转置卷积层的输出侧增加BN层和ReLu层，输出层包括Tanh函数；

所述生成器对二维向量进行处理后，由Tanh函数激活，获得像素归一化到-1～1的假故障素材。

根据本发明的用于图像检测模型训练的故障图片生成方法，所述判别器的结构包括：

进行超参数设置：Batch_size设置为16，学习率设置为0.0002，激活函数选择Leaky ReLu；每层卷积的输出侧设置批量规范化处理层；

设置五层网络层数；每层采用5*5及3*3大小的卷积核进行网络搭建，步长为1；第五层包括非线性分类器Sigmod函数。

根据本发明的用于图像检测模型训练的故障图片生成方法，获得假故障素材判别结果的过程包括：

采用判别器将真故障素材和假故障素材归一化到64*64像素大小，并进行比较，再通过非线性分类器Sigmod函数输出假故障素材的判别结果，将判别结果达到设定阈值的假故障素材作为样本故障素材。

根据本发明的用于图像检测模型训练的故障图片生成方法，所述生成器的优化过程包括：根据相邻前一次假故障素材的判别结果，得到损失函数，采用损失函数反向传播更新生成器的卷积核，直到损失函数达到目标值。

根据本发明的用于图像检测模型训练的故障图片生成方法，将样本故障素材融合至设备待检测部件的正常图片的过程包括：

选择要模拟的设备待检测部件的正常图片，并确定故障素材生成区域；

去除样本故障素材的白底信息，将样本故障素材粘贴至故障素材生成区域得到模拟故障图片。

根据本发明的用于图像检测模型训练的故障图片生成方法，将样本故障素材融合至设备待检测部件的正常图片的过程包括：

选择要模拟的设备待检测部件的正常图片，并确定多个故障素材生成区域；

去除样本故障素材的白底信息，将样本故障素材分别粘贴至不同故障素材生成区域，获得批量模拟故障图片。

根据本发明的用于图像检测模型训练的故障图片生成方法，所述将样本故障素材粘贴至故障素材生成区域的过程包括：

对正常图片的故障素材生成区域的像素值进行调整，构建调整模型F(x,y)：

F(x,y)＝m*(g(x,y)/255)+(1-m)*(z(x,y)/255)，

F(x+R,y+R)＝g(x+R,y+R)+D(R)，

式中m为调节系数，g(x,y)为故障素材生成区域边缘的像素信息，z(x,y)为样本故障素材边缘的像素信息；x,y为位置坐标；

R为0～10之间的随机数，D(R)为模拟噪声；

通过改变调节系数m的取值，改变正常图片与样本故障素材相对应位置的像素均衡比；通过模拟噪声D(R)对故障素材生成区域的周边像素值进行调整，得到模拟故障图片。

根据本发明的用于图像检测模型训练的故障图片生成方法，获得样本故障图片的过程包括：

调整模拟故障图片的以下至少一种参数：

膨胀参数、腐蚀参数、亮度参数、置位参数、边缘保留参数以及像素保留参数，产生不同的模拟故障图片；将得到的多个模拟故障图片作为样本故障图片。

本发明的有益效果：本发明方法可结合配置的软件程序在计算机上操作实现，从而减少对工作人员自身技能的依赖。

本发明方法采用生成对抗网络生成故障素材，故障图片的多样性得以保证，避免了人员主观因素的影响。并且实现了故障图片的批量生成，可以在短时间内生产大量故障图片。

附图说明

图1是本发明所述用于图像检测模型训练的故障图片生成方法的流程图；

图2是生成模型网络的结构图；

图3是判别模型网络的结构图；

图4是样本故障素材的示意图；

图5是样本故障图片的生成示意图；

图6是实现本发明的操作界面示意图；图中ChoosePath表示选择路径按键；

图7是生成器的优化过程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

具体实施方式一、结合图1所示，本发明提供了一种用于图像检测模型训练的故障图片生成方法，包括：

由采集获得的设备待检测部件的真故障图片进行提取，获得真故障素材；

再采用生成器根据随机生成的噪声数据生成假故障素材；

采用判别器对真故障素材和假故障素材进行比较，获得假故障素材的判别结果，将判别结果达到设定阈值的假故障素材作为样本故障素材；所述生成器在生成假故障素材的过程中，同步根据判别器的当前判别结果进行优化；

将样本故障素材融合至设备待检测部件的正常图片中，获得样本故障图片。

本实施方式针对故障检测中需要故障样本的需求，提供了获得样本故障图片的方法。所述生成器可以采用生成网络模型实现，判别器可以采用判别网络模型实现，二者共同组成生成对抗网络模型。所述生成器用于生成不同大小，形状各异的故障素材。

进一步，所述真故障图片的获得方法包括：

对设备待检测部件进行拍摄，得到二维图片；对所述二维图片进行图像增强，得到多张真故障图片，由所述真故障图片中提取获得真故障素材；所述真故障素材为像素大小为300*300的白底图片。

在创建生成对抗网络之前，需要对训练网络所需要的真故障素材进行收集。

作为示例，可利用固定设备搭载照相机或者摄像机，对要检测的部件进行拍摄，得到二维图片。

再进一步，所述图像增强的方法包括：

对二维图片进行图像扩增，包括旋转和/或平移。

本实施方式通过图像增强的方法，对图像进行扩增，增强样本的多样性。并从中挑选出故障图片。通过PS软件，对故障图片中故障素材进行提取并保存，作为真故障素材。

再进一步，结合图2所示，所述假故障素材的生成方法包括：

将100维度的噪声数据经过权值矩阵运算转化为二维向量输入生成器；

生成器的结构包括：采用卷积核大小为4x4，步长为1的转置卷积层进行填充，在每层转置卷积层的输出侧增加BN层和ReLu层，输出层包括Tanh函数；

所述生成器对二维向量进行处理后，由Tanh函数激活，获得像素归一化到-1～1的假故障素材。将假故障素材传入判别模型进行优化。

再进一步，结合图3所示，所述判别器的结构包括：

进行超参数设置：Batch_size设置为16，学习率设置为0.0002，激活函数选择Leaky ReLu；每层卷积的输出侧设置批量规范化处理层(Batch Normalization，BN)；

设置五层网络层数；每层采用5*5及3*3大小的卷积核进行网络搭建，步长为1；第五层包括非线性分类器Sigmod函数。

再进一步，结合图4所示，获得假故障素材判别结果的过程包括：

采用判别器将真故障素材和假故障素材归一化到64*64像素大小，并进行比较，再通过非线性分类器Sigmod函数输出假故障素材的判别结果，将判别结果达到设定阈值的假故障素材作为样本故障素材。

生成对抗网络模型包括两个子网络，生成网络和判别网络。判别网络的作用是对生成网络生成出的图片进行检测，检测结果为0～1之间的概率。0代表是随机生成的图片，1代表真实存在的图片。而生成网络的作用是通过输入的一组随机数据，不断学习优化，期望生成出的图片使得判别器输出结果为1。

作为示例，所述设定阈值选择0.5。

设置五层网络层数来代替大卷积核。采用5*5，3*3的卷积核大小进行网络搭建，逐层卷积进行特征提取，步长为1，最大限度的保持每个卷积核的相关性。判别器采用非线性分类器Sigmod函数进行分类，输出为二分类的结果，即样本故障素材和假故障素材。

结合图4所示，进行卷积核与步长的参数选择：图4中两个箭头之间的高度记为素材的高度，大小为10像素。根据感受野相同时，多层小卷积核可以代替大卷积核，且参数减少的原则建立如下数学模型。

假设M，N分别为卷积核的大小。M，N为奇数：

M*N>10，

F(M,N)＝M*M+N*N，

使F(M,N)最小，求得M＝5，N＝3。

根据故障素材的高度值，建立数学模型，得出适宜的卷积核大小。避免了资源的浪费。

再进一步，结合图7所示，所述生成器的优化过程包括：根据相邻前一次假故障素材的判别结果，得到损失函数，采用损失函数反向传播更新生成器的卷积核，直到损失函数达到目标值。

再进一步，结合图5和图6所示，将样本故障素材融合至设备待检测部件的正常图片的过程包括：

选择要模拟的设备待检测部件的正常图片，并确定故障素材生成区域；

去除样本故障素材的白底信息，将样本故障素材粘贴至故障素材生成区域。

本实施方式的具体实施，可在计算机上配置人机交互界面实现，例如通过点击鼠标实现故障素材生成区域的选择，并完成正常图片到样本故障图片的转化。

图5中(A)原图表示正常图片，(B)素材图表示样本故障素材，(C)PS故障图表示样本故障图片。

再进一步，结合图5和图6所示，所述将样本故障素材粘贴至故障素材生成区域的过程包括：

对正常图片的故障素材生成区域的像素值进行调整，构建调整模型F(x,y)：

F(x,y)＝m*(g(x,y)/255)+(1-m)*(z(x,y)/255)，

F(x+R,y+R)＝g(x+R,y+R)+D(R)，

式中m为调节系数，g(x,y)为故障素材生成区域边缘的像素信息，z(x,y)为样本故障素材边缘的像素信息；x,y为位置坐标；

R为0～10之间的随机数，D(R)为模拟噪声；

通过改变调节系数m的取值，改变正常图片与样本故障素材相对应位置的像素均衡比；通过模拟噪声D(R)对故障素材生成区域的周边像素值进行调整，得到模拟故障图片。

再进一步，结合图5和图6所示，获得样本故障图片的过程包括：

调整模拟故障图片的以下至少一种参数：

膨胀参数、腐蚀参数、亮度参数、置位参数、边缘保留参数以及像素保留参数，产生不同的模拟故障图片；将得到的多个模拟故障图片作为样本故障图片。

下面对生成样本故障图片的过程进行详细的说明：

通过生成对抗网络模型，得到样本故障素材，其可以满足大小不一，形状多变的特点。通过图像处理算法，将样本故障素材与正常图片进行结合，得到样本故障图片如图5所示。

结合图6所示，算法具体融合过程：

步骤一：故障素材生成区域确立：

可结合配置好的软件程序，通过鼠标点击Choosepic(选择图片)按键，选择要模拟的正常图片。点击Show(显示)按钮弹出图片，通过在图片上画矩形框，来确立故障素材生成区域；

步骤二：故障素材提取：

通过鼠标，点击模板图片路径所对应的Choosepic按键，通过图像处理算法，去除白底信息。

步骤三：图片融合：

将步骤二中提取的素材信息，粘贴到步骤一所确立的区域。针对不对素材与不同原始图片直接粘贴会产生图片过于生硬，与真实故障图像差异较大的问题。构建调整模型F(x,y)。

m的取值范围为0～1，改变m，可以改变素材图像与原始图像在同一位置的像素均衡比。在实际故障发生时，往往故障周边像素值也会发生改变，通过D(R)来模拟随机噪声，对周边像素值进行微小调整，得到最终的模拟故障图片。通过在图片发生故障附近模拟随机噪声，使得生成故障图片与真实故障图片更加接近。

为了更好的调节故障图片的生成效果，可对膨胀参数、腐蚀参数、亮度参数、置位参数、边缘保留参数以及像素保留参数进行调整，具体如下：

其中膨胀参数的大小，决定了结构元素B的大小。结构元素B可以看作一个卷积模板，其膨胀是以集合运算为基础的，卷积是以算术运算为基础的：

用结构元素B，扫描图像A(原模拟故障图片)的每一个像素；

用结构元素B与其覆盖的二值图像做“或”操作；若均为0，则最终图像中该像素为0。否则为1。

亮度参数大小，决定了故障图片的灰度值。设计如下亮度调节公式：

L(x,y)＝G(x,y)+Z；

Z为亮度调节系数，取值范围为整数。通过调节Z来达到改变故障图片灰度值的效果。

式中L(x,y)表示调整后故障图片上某点的像素值，G(x,y)表示原故障图片上某点的像素值。

置位参数：由于亮度参数的改变有可能使得最终该点的亮度值不在0～255之间。与实际图片情况不符。因此设置了置位参数，当亮度值小于0，置为0；当亮度值大于255，置为255。

边缘保留参数与像素保留参数：在做图片融合的过程中，需要对图像的边缘轮廓与原图进行融合处理。边缘保留参数，即不仅保留最外层边缘，还加了保留边缘的厚度。像素保留参数则是对故障图片进行二值化处理，参数值即为二值化阈值，像素值小于阈值，则像素值保留，大于阈值将该像素值设置为像素保留参数的值。

批量生成样本故障图片：

结合图5所示，可以调节膨胀腐蚀系数，亮度值，来产生不同的故障图片，增加图片的多样性。在实际过程中，在对图像需求量比较大，时间比较紧急的时候，可以通过批量生成的功能来完成大规模的故障图片生成。

本实施方式进一步提供批量生成功能：

本实施方式中，还可以批量生成模拟故障图片，包括：

将样本故障素材融合至设备待检测部件的正常图片的过程包括：

选择要模拟的设备待检测部件的正常图片，并确定多个故障素材生成区域；

去除样本故障素材的白底信息，将样本故障素材分别粘贴至不同故障素材生成区域，获得批量模拟故障图片。

记录故障可能出现的所有位置信息，使得样本故障素材的左上角坐标在正常图片的目标区域内部随机产生。这样设置随机系数，实现软件执行一次，量产故障素材的效果。这种方法在同一张正常图片上分别进行故障P图得到多张样本故障图片。还可以通过样本故障素材与正常图片的对应随机粘贴，实现批量生产的多样性。

批量生成的模拟故障图片同样可以通过改变调节系数m的取值，改变正常图片与样本故障素材相对应位置的像素均衡比；再通过模拟噪声D(R)对故障素材生成区域的周边像素值进行调整；

批量生成的模拟故障图片同样可以调整以下至少一种参数，获得更多的样本故障图片：

膨胀参数、腐蚀参数、亮度参数、置位参数、边缘保留参数以及像素保留参数。

本发明方法通过多参数调节，增加了故障素材的多样性，以及与原始图像(正常图片)的融合效果。调节系数m的设置，增强了故障素材与原始图片的融合度。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (10)

1.一种用于图像检测模型训练的故障图片生成方法，其特征在于包括：

由采集获得的设备待检测部件的真故障图片进行提取，获得真故障素材；

再采用生成器根据随机生成的噪声数据生成假故障素材；

采用判别器对真故障素材和假故障素材进行比较，获得假故障素材的判别结果，将判别结果达到设定阈值的假故障素材作为样本故障素材；所述生成器在生成假故障素材的过程中，同步根据判别器的当前判别结果进行优化；

将样本故障素材融合至设备待检测部件的正常图片中，获得样本故障图片。

2.根据权利要求1所述的用于图像检测模型训练的故障图片生成方法，其特征在于，

所述真故障图片的获得方法包括：

对设备待检测部件进行拍摄，得到二维图片；对所述二维图片进行图像增强，得到多张真故障图片，由所述真故障图片中提取获得真故障素材；所述真故障素材为像素大小为300*300的白底图片；

所述图像增强的方法包括：

对二维图片进行图像扩增，包括旋转和/或平移。

3.根据权利要求1所述的用于图像检测模型训练的故障图片生成方法，其特征在于，

所述假故障素材的生成方法包括：

将100维度的噪声数据经过权值矩阵运算转化为二维向量输入生成器；

生成器的结构包括：采用卷积核大小为4x4，步长为1的转置卷积层进行填充，在每层转置卷积层的输出侧增加BN层和ReLu层，输出层包括Tanh函数；

所述生成器对二维向量进行处理后，由Tanh函数激活，获得像素归一化到-1～1的假故障素材。

4.根据权利要求1所述的用于图像检测模型训练的故障图片生成方法，其特征在于，

所述判别器的结构包括：

进行超参数设置：Batch_size设置为16，学习率设置为0.0002，激活函数选择LeakyReLu；每层卷积的输出侧设置批量规范化处理层；

设置五层网络层数；每层采用5*5及3*3大小的卷积核进行网络搭建，步长为1；第五层包括非线性分类器Sigmod函数。

5.根据权利要求4所述的用于图像检测模型训练的故障图片生成方法，其特征在于，

获得假故障素材判别结果的过程包括：

采用判别器将真故障素材和假故障素材归一化到64*64像素大小，并进行比较，再通过非线性分类器Sigmod函数输出假故障素材的判别结果，将判别结果达到设定阈值的假故障素材作为样本故障素材。

6.根据权利要求1所述的用于图像检测模型训练的故障图片生成方法，其特征在于，

所述生成器的优化过程包括：根据相邻前一次假故障素材的判别结果，得到损失函数，采用损失函数反向传播更新生成器的卷积核，直到损失函数达到目标值。

7.根据权利要求1所述的用于图像检测模型训练的故障图片生成方法，其特征在于，

将样本故障素材融合至设备待检测部件的正常图片的过程包括：

选择要模拟的设备待检测部件的正常图片，并确定故障素材生成区域；

去除样本故障素材的白底信息，将样本故障素材粘贴至故障素材生成区域得到模拟故障图片。

8.根据权利要求1所述的用于图像检测模型训练的故障图片生成方法，其特征在于，

将样本故障素材融合至设备待检测部件的正常图片的过程包括：

选择要模拟的设备待检测部件的正常图片，并确定多个故障素材生成区域；

去除样本故障素材的白底信息，将样本故障素材分别粘贴至不同故障素材生成区域，获得批量模拟故障图片。

9.根据权利要求7或8所述的用于图像检测模型训练的故障图片生成方法，其特征在于，

所述将样本故障素材粘贴至故障素材生成区域的过程包括：

对正常图片的故障素材生成区域的像素值进行调整，构建调整模型F(x,y)：

F(x,y)＝m*(g(x,y)/255)+(1-m)*(z(x,y)/255)，

F(x+R,y+R)＝g(x+R,y+R)+D(R)，

式中m为调节系数，g(x,y)为故障素材生成区域边缘的像素信息，z(x,y)为样本故障素材边缘的像素信息；x,y为位置坐标；

R为0～10之间的随机数，D(R)为模拟噪声；

通过改变调节系数m的取值，改变正常图片与样本故障素材相对应位置的像素均衡比；通过模拟噪声D(R)对故障素材生成区域的周边像素值进行调整，得到模拟故障图片。

10.根据权利要求7或8所述的用于图像检测模型训练的故障图片生成方法，其特征在于，

获得样本故障图片的过程包括：

调整模拟故障图片的以下至少一种参数：

膨胀参数、腐蚀参数、亮度参数、置位参数、边缘保留参数以及像素保留参数，产生不同的模拟故障图片；将得到的多个模拟故障图片作为样本故障图片。

Images