CN109741328A - 一种基于生成式对抗网络的汽车表观质量检测方法 - Google Patents

Abstract

本发明是一种基于生成式对抗网络的汽车表观质量检测方法，包括以下步骤：获取下线车辆的表面坑包、划痕、几何尺寸间隙及面差等表观缺陷图像数据；考虑到实际缺陷表面存在泥点、雨点、油渍等遮挡物，将获取的缺陷数据进行随机二进制掩码等效处理，完成基于无监督学习的图像修复任务；将修复后的缺陷数据与未经处理的缺陷数据用于训练生成式对抗网络，完成基于半监督学习的缺陷识别分类任务；用区间优化算法优化生成式对抗网络训练过程中的权重参数。本发明提供的生成式对抗网络的网络结构，用于无监督判别真伪辅助完成修复图像任务。最终能够同时进行缺陷去遮挡物完成图像修复以及汽车表观缺陷识别分类多任务。

Description

一种基于生成式对抗网络的汽车表观质量检测方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于生成式对抗网络的汽车表观质量检测方法。

背景技术

随着生活水平的提高，人们对汽车好坏的评判标准不再仅仅停留在功能性的使用上面，更讲求一种外观的美感。表观外观是否合格，直接影响消费者的购买欲望，越来越多的汽车制造商想方设法的提高其汽车外观表面的质量。表观外观缺陷主要包括以下几种：车辆表面坑包、划痕、表观几何间隙或者面差等，一旦出现这些缺陷，设计人员就要重新精修或者将模具交回厂家返修，无论哪种方式，都会造成时间和成本上极大的浪费。但在实际应用中，采集到的缺陷图像往往存在泥点、油渍、雨点等局部遮挡障碍物，干扰特征的提取，影响判别的准确性。

深度学习可以自主学习所建模数据的潜在分布的多层表征。深度学习可以利用低层特征，组合得到更为抽象的高层特征表示，以得出数据的分布式特征表示，深度学习在特征学习及分类任务中表现优异。

生成式对抗网络(Generative adversarial networks,简称GAN)作为深度学习中的新秀，可以自主学习输入样本中的特征信息，因此利用GAN处理带有遮挡物的缺陷图像对其进行修复，并分类识别汽车外观缺陷是十分必要的。

发明内容

针对现有存在的技术问题，本发明提供一种基于生成式对抗网络的汽车表观质量检测方法。此方法网络模型做了调整，能够同时进行缺陷去遮挡物完成图像修复以及汽车表观缺陷识别分类。

为了达到上述目的，本发明采用的主要技术方案如下：

一种基于生成式对抗网络的汽车表观质量检测方法，包括以下步骤：

获取下线车辆的表观缺陷图像数据，进行整理分类、尺寸标准化、制作标签预处理；表观缺陷图像数据包括表面坑包、划痕、几何尺寸间隙及面差；

考虑到实际缺陷表面存在泥点、雨点、油渍遮挡物，将获取的缺陷图像采样进行二进制掩码等效处理，完成基于无监督学习的图像修复任务；

将图像修复后的缺陷数据与未经处理的缺陷数据用于训练生成式对抗网络，完成基于半监督学习的缺陷识别分类任务；

用区间优化算法优化生成式对抗网络训练过程中的权重参数。

将获取下线车辆的表观缺陷图像数据,整理分类，从每个分类缺陷中获取等量样本集Y；考虑到实际表观缺陷可能会覆盖有泥点、雨点、油渍遮挡物，妨碍神经网络对缺陷进行识别，由于目前没有一个通用的、成熟的遮挡缺陷数据集，于是通过在样本的随机位置进行二进制掩码M处理来等效模拟缺陷的随机遮挡，即将样本集Y中的每个样本元素和M中的对应元素相乘得到Hadamard积M*Y，即获得带遮挡物的缺陷图像。

生成式对抗网络的网络结构：生成器G不做改变，以批量的随机噪声向量z作为输入，中间经过4层反卷积层，除最后一层激活函数使用tanh其余层激活函数均使用relu函数，批量输出64×64大小的图像；判别器设置为两个，两个网络的结构基本一致，都经过4层卷积层和1层全连接层，每层卷积层都加了归一化层，另外每一层的激活函数使用leakrelu，在最后全连接层稍作区别，第一经过全连接层输出为一个loss值，用于基于无监督学习的二分类，判别数据来源于真实数据还是生成数据，辅助修复图像；第二经过全连接层输出为K+1维向量，其中K为输入缺陷类别数，多出的那一类是判别输入是否是生成器G生成的图像，即用于基于半监督学习的分类。

还包括如下步骤：

步骤一：无监督图像修复训练过程；

训练：将随机噪声输入生成器G，生成伪图像G(z)，判别器D1接收真实样本Y和伪数据G(z)，对二者来源进行判别；

损失：(1)语境损失：采用MSE作为对填充图像G(z)与真实图像Y之间对应位置像素的误差衡量函数：contextual_loss＝MSE(M*G(z)-M*Y)；

(2)对抗损失：为迷惑判别器，使修复图像看起来是真实的，引入原始GAN对抗损失函数：

总体损失函数定义为：loss(z)＝contextual_loss+λadversarial_loss；λ是权重因子，用于平衡语境损失和对抗损失的比重；

对loss(z)自动进行梯度▽loss(z)下降，迭代得到伪图像G(z)；

重构：得到修复图像Y'＝M*Y+(1-M)*G(z)；

步骤二：半监督缺陷识别训练过程；

数据处理：将步骤一得到的修复图像与总缺陷图像混合得到半监督分类任务的缺陷图像；

训练：生成器G接收随机变量生成伪图像G(z)，判别器D2接收上述缺陷数据和伪数据G(z)，对缺陷进行识别；

损失：发生器损失是对抗损失与特征匹配损失的组合，后者惩罚训练数据上一组特征的平均值与生成样本中这组特征的平均值之间的平均绝对误差，前者表示为后者表示为G_loss2＝MSE(D_real_features-D_fake_features)；

判别器损失分为：(1)无监督损失unsupervised_loss：只需要输出真假，

(2)有监督损失supervised_loss：将实际标签附加为零来准备整个批次的扩展标签，标记数据馈送时，输出为0；未标记数据的判别器损失可以被认为是对抗损失，表示为判别器总损失为D_loss＝supervised_loss+unsupervised_loss。

用区间算法优化权重参数，以区间变量代替点变量，先找到判别网络的权重的区间全局最优解；进一步将真实数据张量、生成器的生成数据张量矩阵、三个模型的权值均替换为区间变量，确定GAN的区间全局最优解，尤其避免判别器的输入噪声对判别结果的影响。

本发明的优点及有益效果是：

本发明对GAN的网络结构做了调整，判别器设置为两个，分别用于无监督判别真伪，辅助修复损失图像和半监督分类；生成器就是一个四层反卷积网络，负责从输入噪声数据中生成图像。整个网络能够同时进行缺陷去遮挡物完成图像修复以及汽车表观缺陷识别分类。最后考虑用区间优化算法对网络模型的权重参数进行优化，即对权重点值寻求全局区间最优值，尤其避免判别器的输入噪声(比如缺陷图像的像素点值差异、缺陷原图像与修复图像之间的特征差异)对判别结果的影响。

附图说明

图1为本发明一种基于生成式对抗网络的汽车表观质量检测方法的流程示意图；

图2为原始GAN的网络结构示意图；

图3为本发明的GAN生成器和判别器的结构示意图；

图4为使用区间算法优化GAN的流程示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图1-4及具体实施方式，对本发明作详细说明。

如图1所示：本实施例公开了一种基于生成式对抗网络的汽车表观质量检测方法，包括以下步骤：

步骤一、获取下线车辆的表面坑包、划痕、几何尺寸间隙(零部件之间的缝隙大小)及面差(同一水平面两个零件高出、低进位置之差)等表观缺陷图像数据，进行分类、尺寸标准化、标签等预处理。

步骤一的具体步骤为获取裂纹(Cr)、凹痕(Ps)、划痕(Sc)、间隙(Ga)、面差(Sg)5种汽车表观缺陷图像数据，包括2000个灰度图像，每种400个样本，将所有图像处理为64×64统一大小，后将统一大小的图像经过翻转、对折操作，将样本容量扩大三倍。

步骤二、从每类缺陷中获取等量样本集Y，考虑到实际表观缺陷可能会覆盖有泥点、雨点、油渍等遮挡物，妨碍神经网络对缺陷进行识别，另由于目前没有一个通用的、成熟的遮挡缺陷数据集，于是通过在样本的随机位置进行二进制掩码M处理来等效模拟缺陷的随机遮挡，即将样本集Y中的每个样本元素和M中的对应元素相乘得到Hadamard积M*Y，即获得带遮挡物的缺陷图像，用于完成基于无监督学习的图像修复任务。

步骤三、设计本发明的生成式对抗网络的网络结构如图3所示，生成器G不做改变，以批量(batch_size＝50)的随机噪声向量z(大小位于区间[-1,1]内)作为输入，中间经过4层反卷积层，除最后一层激活函数使用tanh其余层激活函数均使用relu函数，批量输出64×64大小的图像。判别器设置为两个，两个网络的结构基本一致(均经过4层卷积层和1层全连接层，每层卷积层都加了归一化层，另外每一层的激活函数使用leakrelu)，仅在最后全连接层稍作区别，其一经过全连接层输出为一个loss值，用于基于无监督学习的二分类即判别数据来源于真实数据还是生成数据，辅助修复带遮挡物的缺陷图像；其二经过全连接层输出为K+1维向量，其中K为输入缺陷类别数，具体地K＝5，多出的那一类是判别输入是否是生成器G生成的图像，即用于基于半监督学习的分类。

步骤四、(一)无监督图像修复训练过程：将随机噪声输入生成器G，生成伪图像G(z)，判别器D1接收真实样本Y和伪数据G(z)，对二者来源进行判别。

损失包括(1)语境损失：采用MSE(Mean Squared Error)作为对填充图像G(z)与真实图像Y之间对应位置像素的误差衡量函数：contextual_loss＝MSE(M*G(z)-M*Y)。(2)对抗损失：为迷惑判别器，使修复图像看起来是真实的，引入原始GAN对抗损失函数：

总体损失函数定义为：loss(z)＝contextual_loss+λadversarial_loss。λ是权重因子，用于平衡语境损失和对抗损失的比重。

对loss(z)自动进行梯度▽loss(z)下降，迭代得到伪图像G(z)。重构得到修复图像Y'＝M*Y+(1-M)*G(z)。

(二)半监督缺陷识别训练过程：将一得到的修复图像(少量、无标签)与总缺陷图像(带标签与无标签图像样本比例为1：5)混合得到半监督分类任务的缺陷图像。生成器G接收随机变量生成伪图像G(z)，判别器D2接收上述缺陷数据和伪数据G(z)，对缺陷进行识别。

损失：发生器损失是对抗损失与特征匹配损失的组合，后者惩罚训练数据上一组特征的平均值与生成样本中这组特征的平均值之间的平均绝对误差，前者表示为后者表示为G_loss2＝MSE(D_real_features-D_fake_features)。

判别器损失分为(1)无监督损失unsupervised_loss：只需要输出真假，(2)有监督损失supervised_loss：将实际标签附加为零来准备整个批次的扩展标签，标记数据馈送时，输出为0；未标记数据的判别器损失可以被认为是对抗损失，表示为判别器总损失为D_loss＝supervised_loss+unsupervised_loss。

步骤五、用区间算法优化权重参数，以区间变量代替点变量，先找到判别网络的权重的区间全局最优解；进一步将真实数据张量、生成器的生成数据张量矩阵、三个模型的权值均替换为区间变量，确定GAN的区间全局最优解，尤其避免判别器的输入噪声(比如缺陷图像的像素点值差异、缺陷原图像与修复图像之间的特征差异)对判别结果的影响。

具体地，区间优化算法是以区间分析为基础，按照区间运算规则用区间变量代替点变量进行区间计算，来实现对数据的存储与运算。区间算法是一种确定性的全局优化方法，它能够有效定界函数范围并提供数学意义上严格的运算结果，另外区间可以表示数据的不确定性，很适于解决控制理论中的某些非线性和参数不确定性问题。

GAN是Open AI的Goodfellow等人在2014年提出的一种生成式模型，网络结构示意图如图2所示，其目标函数可以描述如下：

其中，G(z)为由生成模型G生成的尽量服从真实数据分布p_data的样本。如果判别模型的输入来自于真实数据，标注为1；如果输入样本为G(z)，标注为0。这里判别模型D的目标是实现对数据来源的二分类判别：真(来源于真实数据的分布)或者伪(来源于生成器的伪数据)，而G的目标是使自己生成的伪数据G(z)在D上表现D(G(z))和真实数据x在D上的表现G(x)一致，这两个互相对抗并且迭代优化的过程使得D和G的性能不断提升，当最终D的判别能力提升到一定程度，并且无法正确判断数据来源时，可以认为这个生成器G已经学到了真实数据的分布。总之，对于GAN的学习过程，我们需要训练判别模型D来最大化判别数据来源于真实数据或者伪数据分布的准确率，同时训练模型G来最小化log(1-D(G(z)))。

将两者结合谈GAN算法的优化问题，简略流程图如图4所示。GAN的优化问题是一个极小极大化问题，用区间优化算法优化GAN，以区间变量代替点变量，先将判别网络的权重用区间形式表示，确定GAN训练过程的全局最优解；进一步将真实数据、生成器的生成数据、两个模型的权值均替换为区间变量，确定生成器判别器的全局最优解，生成器学习到真实数据的分布，可以在一定精度范围内避免不确定因素对系统的影响，尤其避免判别器的输入噪声(比如缺陷图像的像素点值差异、缺陷原图像与修复图像之间的特征差异)对判别结果的影响。

综上所述，本发明提供的一种基于生成式对抗网络的汽车表观质量检测方法，能够同时进行缺陷去遮挡物完成图像修复以及汽车表观缺陷识别分类。并考虑用区间优化算法对网络模型的权重参数进行优化，即对权重点值寻求全局区间最优值，尤其避免判别器的输入噪声(比如缺陷图像的像素点值差异、缺陷原图像与修复图像之间的特征差异)对判别结果的影响。

最后应说明的是，以上所述的各实施例仅限于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述实施例记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于生成式对抗网络的汽车表观质量检测方法，其特征在于，包括以下步骤：

获取下线车辆的表观缺陷图像数据，进行整理分类、尺寸标准化、制作标签预处理；表观缺陷图像数据包括表面坑包、划痕、几何尺寸间隙及面差；

考虑到实际缺陷表面存在泥点、雨点、油渍遮挡物，将获取的缺陷图像采样进行二进制掩码等效处理，完成基于无监督学习的图像修复任务；

将图像修复后的缺陷数据与未经处理的缺陷数据用于训练生成式对抗网络，完成基于半监督学习的缺陷识别分类任务；

用区间优化算法优化生成式对抗网络训练过程中的权重参数。

2.如权利要求1所述的汽车表观质量检测方法，其特征在于，

将获取下线车辆的表观缺陷图像数据,整理分类，从每个分类缺陷中获取等量样本集Y；考虑到实际表观缺陷可能会覆盖有泥点、雨点、油渍遮挡物，妨碍神经网络对缺陷进行识别，由于目前没有一个通用的、成熟的遮挡缺陷数据集，于是通过在样本的随机位置进行二进制掩码M处理来等效模拟缺陷的随机遮挡，即将样本集Y中的每个样本元素和M中的对应元素相乘得到Hadamard积M*Y，即获得带遮挡物的缺陷图像。

3.如权利要求1所述的汽车表观质量检测方法，其特征在于，

生成式对抗网络的网络结构：生成器G不做改变，以批量的随机噪声向量z作为输入，中间经过4层反卷积层，除最后一层激活函数使用tanh其余层激活函数均使用relu函数，批量输出64×64大小的图像；判别器设置为两个，两个网络的结构基本一致，都经过4层卷积层和1层全连接层，每层卷积层都加了归一化层，另外每一层的激活函数使用leakrelu，在最后全连接层稍作区别，第一经过全连接层输出为一个loss值，用于基于无监督学习的二分类，判别数据来源于真实数据还是生成数据，辅助修复图像；第二经过全连接层输出为K+1维向量，其中K为输入缺陷类别数，多出的那一类是判别输入是否是生成器G生成的图像，即用于基于半监督学习的分类。

4.如权利要求3所述的汽车表观质量检测方法，其特征在于，

还包括如下步骤：

步骤一：无监督图像修复训练过程；

训练：将随机噪声输入生成器G，生成伪图像G(z)，判别器D1接收真实样本Y和伪数据G(z)，对二者来源进行判别；

损失：(1)语境损失：采用MSE作为对填充图像G(z)与真实图像Y之间对应位置像素的误差衡量函数：contextual_loss＝MSE(M*G(z)-M*Y)；

(2)对抗损失：为迷惑判别器，使修复图像看起来是真实的，引入原始GAN对抗损失函数：

总体损失函数定义为：loss(z)＝contextual_loss+λadversarial_loss；λ是权重因子，用于平衡语境损失和对抗损失的比重；

对loss(z)自动进行梯度下降，迭代得到伪图像G(z)；

重构：得到修复图像Y'＝M*Y+(1-M)*G(z)；

步骤二：半监督缺陷识别训练过程；

数据处理：将步骤一得到的修复图像与总缺陷图像混合得到半监督分类任务的缺陷图像；

训练：生成器G接收随机变量生成伪图像G(z)，判别器D2接收上述缺陷数据和伪数据G(z)，对缺陷进行识别；

损失：发生器损失是对抗损失与特征匹配损失的组合，后者惩罚训练数据上一组特征的平均值与生成样本中这组特征的平均值之间的平均绝对误差，前者表示为后者表示为G_loss2＝MSE(D_real_features-D_fake_features)；

判别器损失分为：(1)无监督损失unsupervised_loss：只需要输出真假，

(2)有监督损失supervised_loss：将实际标签附加为零来准备整个批次的扩展标签，标记数据馈送时，输出为0；未标记数据的判别器损失可以被认为是对抗损失，表示为判别器总损失为D_loss＝supervised_loss+unsupervised_loss。

5.如权利要求4所述的汽车表观质量检测方法，其特征在于，

用区间算法优化权重参数，以区间变量代替点变量，先找到判别网络的权重的区间全局最优解；进一步将真实数据张量、生成器的生成数据张量矩阵、三个模型的权值均替换为区间变量，确定GAN的区间全局最优解，尤其避免判别器的输入噪声对判别结果的影响。