CN110263192B - 一种基于条件生成对抗网络的磨粒形貌数据库创建方法 - Google Patents

Abstract

一种基于条件生成对抗网络的磨粒形貌数据库创建方法，将三维磨粒图像经深度映射后成为二维图像，并将这些二维图像作为训练样本中的输出目标图像；根据真实磨粒图像进行磨粒模型构造，主要包括磨粒轮廓、磨粒颜色填充以及表面纹理代表符号，将构造好的磨粒模型作为CGAN训练样本的输入图像；将成对的输入图像与目标图像作为CGAN的样本输入网络进行训练，进而CGAN会产生一个用于扩充样本的生成器；最后利用输入图像作为输入进行网络的测试，利用判别器统计生成图像与目标图像的误差，最终用于判别图像是目标图像还是生成图像；本发明提高损失函数评价的有效性的同时，也提高了网络输出图像的准确性，使网络输出的图像与真实图像具有很高的相似度。

Description

一种基于条件生成对抗网络的磨粒形貌数据库创建方法

技术领域

本发明属于机器磨损状态监测领域的磨粒分析技术领域，特别涉及一种基于条件生成对抗网络的磨粒形貌数据库创建方法，在图形变换基础上基于条件生成对抗网络的三维磨粒样本数据库创建方法。

背景技术

为满足智能、自动、实时地监测设备运行状态，智能算法已经逐渐应用于磨粒类型识别，为判断设备磨损情况以及磨损机理提供了新的方法。然而在使用智能算法进行磨粒类型识别时，大量的磨粒样本是训练各种智能算法或网络、优化智能算法各个参数的基础，并且样本越多，算法或网络的准确度越高。

目前，利用铁谱仪不但可以获取包含轮廓信息、颜色信息等二维信息的磨粒二维图像，还可以通过共聚焦显微镜等设备获取磨粒三维形貌图。磨粒三维形貌图不仅包含磨粒轮廓、颜色等信息，还包含表面纹理深度、等效圆度直径等三维信息，可以为磨损辨别提供更大丰富的信息，进而提高磨损分析的准确度。随着计算机设备硬件性能的不断提升，借助计算机智能算法不仅可以实现磨粒三维特征的自动提取，还可以实现磨粒类型的快速、智能化辨识，对于提高磨粒识别准确率，减轻分析人员的工作量等方面具有重要的意义。

磨粒类型智能识别算法，主要是通过学习大量磨粒图像样本的输入和输出之间的关系，从而学习磨粒的特征，不断对网络中的参数进行优化，直到将整个算法优化到误差要求范围内为止。然而，磨粒类型智能识别算法中面临一个重大的问题——缺少三维磨粒样本，磨粒样本的缺少造成大量智能算法或网络没有办法进行训练，无法优化算法或网络中的参数，进而无法保证网络的可用性。在实际企业中，故障磨粒数量较少，严重滑动磨粒、切削磨粒等一般都出现在设备严重磨损期，一旦出现该类磨粒设备将会被更换或维修，因此典型磨粒样本较少，从而无法采集到大量的磨粒三维形貌参数特征作为样本，造成大多数计算机智能算法存在训练样本不足、学习不充分、磨粒类型辨别误差偏大等缺点，而使得这些算法无法应用于磨粒类型识别中，阻碍了磨粒类型自动化识别技术以及铁谱技术的进一步发展。

发明内容

为了解决因样本不足而无法将计算机智能算法应用于磨粒类型识别中的缺陷，本发明的目的在于提供了一种基于条件生成对抗网络的磨粒形貌数据库创建方法，在基本的图像变换上采用条件生成对抗网络(Conditional Generative Adversarial Networks,CGAN)进行典型磨粒样本扩充，进而衍生大量新的典型磨粒图像；CGAN算法需要成对的训练样本，一幅图像为输入图像，一幅图像为目标图像，经训练后的网络，希望测试后的生成图像与真实目标磨粒图像具有高的相似度，本发明将三维磨粒图像经深度映射后成为二维图像，并将这些二维图像作为训练样本中的输出目标图像；根据真实磨粒图像进行磨粒模型构造，主要包括磨粒轮廓、磨粒颜色填充以及表面纹理代表符号，将构造好的磨粒模型作为CGAN训练样本的输入图像，将成对的输入图像与目标图像作为CGAN的样本输入网络进行训练，进而CGAN会产生一个用于扩充样本的生成器；最后利用输入图像作为输入进行网络的测试，利用判别器统计生成图像与目标图像的误差，最终用于判别图像是目标图像还是生成图像，当生成图像与目标图像具有很高相识度，证明网络训练成功，此时生成的磨粒图像便可以作为磨粒识别算法的样本。

为实现上述目的，本发明采用如下技术方案：

一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，包括以下步骤：

步骤1，基于简单图形变换进行样本的扩充：

将原始磨粒图像样本经表面三维形貌变换，进行样本的初步扩充，每幅图像代表一个磨粒，进而获取原始磨粒三维形貌图像；

步骤2，三维磨粒形貌二维化：

将三维磨粒的表面形貌通过深度映射转化为二维深度图像，作为训练样本中的目标图像；

步骤3，基于二维深度磨粒图像制作网络训练的磨粒标签样本；

步骤4，构建条件对抗生成网络CGAN：

该网络通过学习得到一个生成模型，在这个过程中使用一个判别器，得到一个判别值用于识别上述结果到底是来自模型的预测还是来自真实结果；对抗学习的目的就是尽量让生成模型产生的结果与需要的真实结果越发接近，而判别网络则是判断生成结果与真实结果的相似程度，统计差异；

步骤5，训练CGAN算法；

步骤6，测试网络并生成三维磨粒样本：

随机进行磨粒标签的构建，将构建好的磨粒标签输入到已经训练好的CGAN算法中，进而获取大量的二维深度磨粒图像样本；通过反深度变化，将获取的二维深度磨粒图像样本恢复为磨粒三维形貌图像，进而实现三维磨粒样本数据库的扩充与创建。

所述步骤1具体为：

S1：在图像HSV颜色空间中，通过磨粒三维形貌变换进而改变磨粒的表面高度，实现样本的初步扩充；将原始磨粒三维形貌图像，通过对每个像素的饱和度S和亮度V分量进行指数运算，来改变S和V分量，保持色调H不变，以增加光照变化，实则实现磨粒各点高度的改变；

S2：通过对原始磨粒图像添加噪声点来对改变磨粒表面某区域高度的突增或突减，实现训练样本的扩充；对原始磨粒图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声；对应出现噪声点的区域，像素值出现突变，对应于三维磨粒中则表现为磨粒表面某区域高度的突增；

S3：通过对原始磨粒图像去除噪声点来消除磨粒表面某区域突变的高度，进而实现训练样本的扩充；对原始磨粒图像的每个像素RGB进行噪声去除与滤波，常用的噪声模式是高斯去噪、中值滤波与线性空间滤波；对原始磨粒图像进行去噪，使得领域内具有像素值突变的点消失，对应于三维磨粒形貌中，则表现为磨粒表面突然凸出或凹下去的尖点消失，实质改变的为磨粒三维形貌的高度值；

S4：按比例对原始磨粒图像进行缩放变换来增加或压缩磨粒表面的高度；对原始磨粒图像按照一定的比例因子放大或者缩小图像，改变磨粒轮廓大小的同时也使对应区域内的像素值发生了变化，与三维磨粒而言则是磨粒表面高度值的变化。

步骤2具体为：

将三维磨粒的表面形貌通过深度映射转化为二维深度图像，作为训练样本中的目标图像；深度图是通过采集场景实物到摄像机成像平面距离构成的灰度图像，选择深度图作为磨粒形貌二维映射的方法，具体映射关系如公式(1)所示：

公式(1)：

其中：H代表三维磨粒表面不同地方的高度值；X为深度映射系数，要求为0≦H/X≦255；p为深度映射后二维磨粒图像上的像素点值，经过映射后，二维磨粒图像上像素点的值实际是三维磨粒图像上高度值在二维图像上的映射，磨粒区域内灰度值较大的区域即亮区域对应磨粒较高的区域，磨粒区域内灰度值较小的区域即暗区域对应磨粒较低的区域。

步骤3具体为：

S1：将步骤2中获取的二维深度磨粒图像经过自适应二值化处理后，背景呈现白色，磨粒呈现黑色；使用边缘检测算法提取磨粒边缘并用红色标记，之后经图像处理将非红色像素点全部转化为白色，实现磨粒边缘轮廓的提取，进而获取磨粒边缘；

S2：在红色轮廓的封闭区域内进行颜色的填充以代表磨粒区域；由于磨粒材质不同，其颜色不同，此处用黄色填充表示铜磨粒，用白色填充表示铁磨粒；由于铁磨粒在运行中可能会发生高温氧化或长期暴露在空气中会出现生锈现象，此处用黑色标记高温氧化部位，用棕色表示生锈部位；

S3：在磨粒区域内进行表面纹理的标记；利用若干条线代表磨粒表面的划痕，其中磨粒较高的区域用绿色线条标记，磨粒较低的区域用蓝色线条标记，线的粗细代表磨痕的宽度，长短代表磨痕的长度；疲劳产生的凹坑用橙色实心圆标记，圆圈的大小代表实际凹坑的大小；参照对应的二维深度磨粒图像，给对应的磨粒区域进行磨痕以及凹坑等特征的标记，从而完磨粒标签的构造；

S4：将完成的磨粒标签分别与相对应的二维深度磨粒图像组成一对，完成网络训练的样本，每一对训练样本包含一幅磨粒标签，包含一幅对应的原始二维深度磨粒图像；

步骤4具体为：

S1：构建生成器并嵌入卷积层，为了使生成器能够绕过瓶颈层，CGAN采用了U-Net的网络形式，U-Net网络结构由三部分组成，包含一个深度卷积网络和一个深度反卷积网络，以及长跳跃结构；在深度卷积网络中，每两个3×3的卷积层后会跟一个2×2的最大池化层；每个卷积层后面采用Leaky ReLu激活函数来对原始图片进行降采样操作，每一次降采样都会增加一杯通道数；在深度反卷积网络中，也有4级计算层，每层包含1个2×2反卷积层和2个3×3普通卷积层，反卷积层用于上采样特征，于此同时，每一步的升采样都会加入来自相对应收缩路径的特征图；

为了使磨粒图像可作为CGAN算法的训练样本，在生成器前加入卷积层，将磨粒图像转化为256×256大小的图像，在生成器结尾加入反卷积层，将256×256大小的磨粒图像恢复为512×512的大小；

S2：构建判别器；

判别器只对高频结构进行建模的约束，增加生成的彩色图像的清晰度，判别器模型结构采用了PatchGAN，判别器模型尽力地区分每张图像中N×N大小的每一块是否真实，然后平均所有响应作为最终输出；

判别器的网络结构只由编码器组成，也就是一个深度卷积网络；在最后一层后面是一个卷积计算，用于匹配一维输出，接下来是Sigmoid函数；需要特殊处理的是，C64层不使用批正规化处理；判别器模型中使用的所有ReLU激活函数类型都是斜率为0.2的LeakyReLU；

判别器的编码器由四个卷积层和两个全连接层组成，每个4×4的卷积层激活函数为Leaky ReLU，四个卷积层卷积数逐次以64的倍数增加，分别为64、128、256、512；

S3：目标函数与损失函数的选取；

CGAN是要学习到观察图像x、随机噪声向量z与输出向量y之间的映射关系，即G：{x，z}→y；生成器G接收1幅输入图像，然后转换成自然图像，将生成的自然图像输入到判别器中；判别器D会接收2幅图像，1幅是输入图像，另1幅是未知图像,其目标是识别未知图像是不是生成器生成的图像；该网络中，CGAN的目标函数为：

公式(2)：

其中V_CGAN(G，D)＝E_{x，y～(x，y)}[logD(x，y)]+E_{x～p(x)，z～p(z)}[log(1-D(x，G(x，z)))]生成器G要最小化该目标函数；与之相反，判别器D为最大化该目标函数；

为了进一步提升网络的有效性，使得生成图像不仅像真实图像，也更接近于输入图像，选用的损失函数为均方根误差函数；该函数是观测值与真值偏差的平方和观测次数比值的平方根，具体形式如公式(3)所见：

公式(3)：

其中：N为Patch参数，N值将会在网络训练时给定合适的值。

步骤5具体为：

S1：交替训练生成器和判别器；训练判别器时，需要生成器生成一幅图像，输出到判别器中；根据“输入/目标图像对”和“输入/输出图像对”，判别器判定生成器给的图像在多大程度上是真实的；判别器根据输入/目标图像对和输入/输出图像对的分类误差来调整自身的权重；训练生成器时，根据判别器的判别结果和输出图像与目标图像之间的差异来调整生成器的权重；

S2：在网络训练的过程中，选取并优化Patch参数N；

Patch参数N是均方根误差函数中的重要参数，对最终图像的判断相似程度具有决定性的作用；图像是由像素点组成的，在使用损失函数进行比较两幅图的差异时，需要比较对应像素点对应值之间的误差，以N×N的块为单位进行像素点值的比较，可以加快运算；此处，N便是Patch参数，在选择参数N时，为了获取最优的数值，需要选取不同的N值，人为进行像比较以获取最优参数N；

训练过程中，选择不同的N值，利用生成器生成的图像与目标图像采用均方根误差函数比较，选取N值越接近512时，图像相似程度越高，选取N初值为256，然后将生成的图像与目标图像比较，若生层图像与目标图像有较高相似度，则接下的N值取1～256中点128，否则取256～512中点384，以此比较类推，最终获取合适的N值，该N值要求数值尽量较小的同时还确保较高的相似度。

本发明应用于机械设备磨损状态监测领域，具有以下有益效果：

(1)该发明使用条件生成对抗网络可以实现三维磨粒样本数据库创建。通过人为创建磨粒模型，可以获取实际企业中难以获取的疲劳、切削、严重滑动等磨粒的三维形貌，实现磨粒样本数据库的扩充与创建，丰富磨粒样本类型。基于创建的三维磨粒样本数据库，可以作为各种磨粒类型识别智能算法的训练样本，使智能算法可以广泛应用于磨粒识别中。

(2)该发明采用图像深度映射方法，将三维磨粒形貌图像映射为二维深度磨粒图像，使二维深度磨粒图像上各像素值代表磨粒的高度，不仅可以使二维磨粒图像具有三维形貌的含义，还可以将CGAN算法获取的二维磨粒图像经过反深度映射获取大量三维磨粒形貌样本。

(3)该发明应用均方根误差函数作为网络的损失函数，同时通过亲自实践与检验选取了合适的Patch参数，提高损失函数评价的有效性的同时，也提高了网络输出图像的准确性，使网络输出的图像与真实图像具有很高的相似度。为了使网络适用于各种分辨率大小的图像，在CGAN算法前加入卷积层，在CGAN算法末尾加入反卷积层，增强了CGAN算法的适用范围。

附图说明

图1为磨粒表面形貌深度映射图。

图2为两对CGAN训练样本对。

图3为判别器结构。

图4为CGAN工作过程原理图。

图5为CGAN测试结果图。

具体实施方式

下面结合附图，对本发明作进一步说明。

一种在图形变换基础上基于条件生成对抗网络的三维磨粒样本数据库创建方法，包括以下步骤：

步骤1，基于形貌变换进行样本的初步扩充：

由于磨粒图像数量较少，为了使网络有足量的训练样本，将21幅原始磨粒图像(每幅图像代表一个磨粒)样本经表面三维形貌变换进行样本的初步扩充，进而获取105幅原始磨粒三维形貌图像。

S1：在图像HSV颜色空间中，通过磨粒三维形貌变换进而改变磨粒的表面高度，实现样本的初步扩充。将21幅原始磨粒三维形貌图像，通过对每个像素的饱和度S和亮度V分量进行指数运算(指数因子在0.25到4之间)来改变S和V分量，保持色调H不变，以增加光照变化，实则实现磨粒各点高度的改变。

S2：通过对原始磨粒图像添加噪声点来对改变磨粒表面某区域高度的突增或突减，实现训练样本的扩充。对21幅原始磨粒图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声；对应出现噪声点的区域，像素值出现突变，对应于三维磨粒中则表现为磨粒表面某区域高度的突增。

S3：通过对原始磨粒图像去除噪声点来消除磨粒表面某区域突变的高度，进而实现训练样本的扩充。对21幅原始磨粒图像的每个像素RGB进行噪声去除与滤波，常用的噪声模式是高斯去噪、中值滤波与线性空间滤波；对原始磨粒图像进行去噪，使得领域内具有像素值突变的点消失，对应于三维磨粒形貌中，则表现为磨粒表面突然凸出或凹下去的尖点消失，实质改变的为磨粒三维形貌的高度值。

S4：按一定的比例对原始磨粒图像进行缩放变换来增加或压缩磨粒表面的高度。对21幅原始磨粒图像按照一定的比例因子放大或者缩小图像，改变磨粒轮廓大小的同时也使对应区域内的像素值发生了变化，与三维磨粒而言则是磨粒表面高度值的变化。

步骤2，三维磨粒形貌二维化：

将105幅三维磨粒的表面形貌通过深度映射转化为二维深度图像，作为训练样本中的目标图像。

深度图是通过采集场景实物到摄像机成像平面距离构成的灰度图像，不同于纹理图像，它并不用于视觉观看，而是在解码端利用深度图绘制技术(DIBR)，以此来体现多视点的立体效果。深度图的每个像素点灰度值表征场景中的每一点离相机的远近。深度图大部分区域是很平滑的，小部分有着较复杂的纹理。深度图能够以较高的精度表现磨粒表面形貌的细节变化，更适合后续的磨粒类型辨识，因此选择深度图作为磨粒形貌二维映射的方法。具体映射关系如公式(1)所示：

公式(1)：

其中：H代表三维磨粒表面不同地方的高度值；X为深度映射系数，要求为0≦H/X≦255；p为深度映射后二维磨粒图像上的像素点值，经过映射后，二维磨粒图像上像素点的值实际是三维磨粒图像上高度值在二维图像上的映射，磨粒区域内灰度值较大的区域(亮区域)对应磨粒较高的区域，磨粒区域内灰度值较小的区域(暗区域)对应磨粒较低的区域。

按照公式(1)，将105幅原始三维磨粒的表面形貌图像的每个像素点除深度映射系数X后，每个像素的值为p，此时获取的图像为二维深度图像，并将这105幅二维深度图像作为训练样本中的目标图像。

经过映射后，如图1所示，二维磨粒图像上像素点的值实际是三维磨粒图像上高度值在二维图像上的映射，磨粒区域内灰度值较大的区域(亮区域)对应磨粒较高的区域，磨粒区域内灰度值较小的区域(暗区域)对应磨粒较低的区域。

步骤3，基于二维深度磨粒图像制作网络训练的磨粒标签样本：

基于步骤2中所获取的105幅二维深度磨粒图像构造磨粒标签，磨粒标签包括磨粒轮廓特征、颜色特征以及表面纹理特征，之后将构建的磨粒标签(输入图像)与对应的二维深度磨粒图像作为一对网络训练样本。

S1：将步骤2中获取的105幅二维深度磨粒图像经过自适应二值化处理后，背景呈现白色，磨粒呈现黑色。使用边缘检测算法提取磨粒边缘并用红色标记，之后经图像处理将非红色像素点全部转化为白色，实现磨粒边缘轮廓的提取，进而获取105个磨粒边缘。

S2：在红色轮廓的封闭区域内进行颜色的填充以代表磨粒区域。由于磨粒材质不同，其颜色不同，此处用黄色填充表示铜磨粒，用白色填充表示铁磨粒。由于铁磨粒在运行中可能会发生高温氧化或长期暴露在空气中会出现生锈现象，此处用黑色标记高温氧化部位，用棕色表示生锈部位。

S3：在磨粒区域内进行表面纹理的标记；利用若干条线代表磨粒表面的划痕，其中磨粒较高的区域用绿色线条标记，磨粒较低的区域用蓝色线条标记，线的粗细代表磨痕的宽度，长短代表磨痕的长度；疲劳产生的凹坑用橙色实心圆标记，圆圈的大小代表实际凹坑的大小。参照对应的二维深度磨粒图像，给对应的磨粒区域进行磨痕以及凹坑等特征的标记，从而完成105个磨粒标签的构造。

S4：将完成的105个磨粒标签分别与相对应的二维深度磨粒图像组成一对，完成105组网络训练的样本，如图2所示为两对网络训练样本，每一对训练样本包含一幅磨粒标签，包含一幅对应的原始二维深度磨粒图像。

步骤4，构建条件对抗生成网络CGAN：

该网络通过学习得到一个生成模型(例如CNN)，使它在一个输入数据集上得到的输出结果尽可能与真实结果一致。在这个过程中使用一个判别器，它可以得到一个判别值用于识别上述结果到底是来自模型的预测还是来自真实结果。对抗学习的目的就是尽量让生成模型产生的结果与需要的真实结果越发接近，而判别网络则是判断生成结果与真实结果的相似程度，统计他们的差异。

S1：构建生成器并嵌入卷积层。

为了使生成器能够绕过瓶颈层，CGAN采用了U-Net的网络形式，U-Net网络结构主要由三部分组成，包含一个深度卷积网络和一个深度反卷积网络，以及长跳跃结构。在深度卷积网络中，每两个3×3的卷积层(unpadded convolutional layers)后会跟一个2×2的最大池化层(Maxpooling layer,步长为2)；每个卷积层后面采用Leaky ReLu激活函数来对原始图片进行降采样操作，带泄露修正线性单元(Leaky ReLu)函数是经典的ReLu激活函数的变体，该函数输出对负值输入有很小的坡度，收敛速度快，可以通过简单的阈值来进行判断，适合用于图像处理中，并且该函数导数总是不为零，减少了静默神经元的出现，允许基于梯度的学习，解决了ReLu函数进入负区间后，导致神经元不学习的问题；除此之外，每一次降采样都会增加一杯通道数(Double the number of feature channel)。在深度反卷积网络中，也有4级计算层，每层包含1个2×2反卷积层(激活函数为Relu)和2个3×3普通卷积层，反卷积层用于上采样特征，于此同时，每一步的升采样都会加入来自相对应收缩路径的特征图(经裁剪以保持相同的形状)。

本发明中所使用的CGAN网络的训练样本为256×256大小的图像，而为了更清楚的表现磨粒的细节特征，我们需要较高清晰度的图片，此处选用512×512的磨粒图像。为了使512×512的磨粒图像可作为CGAN算法的训练样本，我们在生成器前加入卷积层，将512×512的磨粒图像转化为256×256大小的图像，在生成器结尾加入反卷积层，将256×256大小的磨粒图像恢复为512×512的大小。

S2：构建判别器。

判别器只对高频结构进行建模的约束，增加生成的彩色图像的清晰度。此外，为了对高频建模，判别器模型结构采用了PatchGAN，这样能够只以块的规模来惩罚结构。判别器模型尽力地区分每张图像中N×N大小的每一块是否真实，然后平均所有响应作为最终输出。

判别器网络结构与生成器的网络结构略有不同，判别器的网络结构只由编码器组成，也就是一个深度卷积网络。在最后一层后面是一个卷积计算，用于匹配一维输出，接下来是Sigmoid函数。需要特殊处理的是，C64层不使用批正规化处理。判别器模型中使用的所有ReLU激活函数类型都是斜率为0.2的LeakyReLU。

该发明中所使用的判别器由四个卷积层和两个全连接层组成，结构如图3所示。每个4×4的卷积层激活函数为Leaky ReLU，四个卷积层卷积数逐次以64的倍数增加，分别为64、128、256、512。

S3：目标函数与损失函数的选取。

CGAN是要学习到观察图像x、随机噪声向量z与输出向量y之间的映射关系，即G：{x，z}→y。CGAN工作过程原理图如图4所示，生成器G接收1幅输入图像，然后转换成自然图像，将生成的自然图像输入到判别器中；判别器D会接收2幅图像，1幅是输入图像，另1幅是未知图像,其目标是识别未知图像是不是生成器生成的图像。

该网络中，CGAN的目标函数为：

公式(2)：

其中V_CGAN(G，D)＝E_{x，y～(x，y)}[logD(x，y)]+E_{x～p(x)，z～p(z)}[log(1-D(x，G(x，z)))]生成器G要最小化该目标函数。与之相反，判别器D为最大化该目标函数。

为了进一步提升网络的有效性，使得生成图像不仅像真实图像，也更接近于输入图像，该发明中所选用的损失函数为均方根误差函数。该函数是观测值与真值偏差的平方和观测次数比值的平方根，对一组测量中的特大或特小误差反映非常敏感，所以，均方根误差能够很好地反映出测量的精密度，用来衡量观测值同真值之间的偏差。具体形式如公式(3)所见：

公式(3)：

其中：N为Patch参数，N值将会在网络训练时给定合适的值。

步骤5，训练CGAN算法：

S1：交替训练生成器和判别器700次。训练判别器时，需要生成器生成一幅图像，输出到判别器中。根据“输入/目标图像对”和“输入/输出图像对”，判别器判定生成器给的图像在多大程度上是真实的。判别器根据输入/目标图像对和输入/输出图像对的分类误差来调整自身的权重。训练生成器时，根据判别器的判别结果和输出图像与目标图像之间的差异来调整生成器的权重。

S2：在网络训练的过程中，Patch参数N的选择至关重要。

Patch参数N是均方根误差函数中的重要参数，对最终图像的判断相似程度具有决定性的作用。图像是由像素点组成的，在使用损失函数进行比较两幅图的差异时，需要比较对应像素点对应值之间的误差，以N×N的块为单位进行像素点值的比较，可以加快运算。此处，N便是Patch参数。然而，当N太小时，会造成图像相似度比较失败，无法达到预期效果，因此在选择参数N时，为了获取最优的数值，需要选取不同的N值，人为进行像比较以获取最优参数N。

训练过程中，选择不同的N值，利用生成器生成的图像与目标图像采用均方根误差函数比较。为了加快寻找到合适的N值，在此处采用二分法寻找合适的Patch参数N。训练样本图像大小为512×512，选取N值为1时，生成图像与目标图像完全不同，选取N值为512时，生成图像与目标图像完全相同，所以选取N值越接近512时，图像相似程度越高。选取N初值为256，然后将生层的图像与目标图像比较，若生层图像与目标图像有较高相似度，则接下的N值取1～256中点128，否则取256～512中点384，以此比较类推，最终获取合适的N值，该N值要求数值尽量较小的同时还可以确保较高的相似度。

步骤6，测试网络并生成磨粒三维形貌样本：

随机进行磨粒标签的构建，如图5(a)所示的标签，该标签包含磨粒轮廓、颜色、表面纹理等特征，将构建好的磨粒标签输入到已经训练好的CGAN算法中，进而获取大量的二维深度磨粒图像样本。将生成的二维深度磨粒图像的每一个像素点乘以深度映射系数X后，每个像素的值变为H，此时获取的图像便是如图5(b)所示的三维磨粒表面形貌图像，该图像便可以作为三维磨粒样本数据库的样本数据，图5(c)为三维磨粒的正视图，图5(d)为三维磨粒的斜视图。

Claims (6)

1.一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，包括以下步骤：

步骤1，基于简单图形变换进行样本的扩充：

将原始磨粒图像样本经表面三维形貌变换进行样本的初步扩充，每幅图像代表一个磨粒，进而获取原始磨粒三维形貌图像；

步骤2，三维磨粒形貌二维化：

将三维磨粒的表面形貌通过深度映射转化为二维深度图像，作为训练样本中的目标图像；

步骤3，基于二维深度磨粒图像制作网络训练的磨粒标签样本：

步骤4，构建条件对抗生成网络CGAN：

该网络通过学习得到一个生成模型，在这个过程中使用一个判别器，得到一个判别值用于识别上述结果到底是来自模型的预测还是来自真实结果；对抗学习的目的就是尽量让生成模型产生的结果与需要的真实结果越发接近，而判别网络则是判断生成结果与真实结果的相似程度，统计差异；

步骤5，训练CGAN算法；

步骤6，测试网络并生成三维磨粒样本：

随机进行磨粒标签的构建，将构建好的磨粒标签输入到已经训练好的CGAN算法中，进而获取大量的二维深度磨粒图像样本；通过反深度变化，将获取的二维深度磨粒图像样本恢复为磨粒三维形貌图像，进而实现三维磨粒样本数据库的扩充与创建。

2.根据权利要求1所述的一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，

步骤1具体为：

S1：在图像HSV颜色空间中，通过磨粒三维形貌变换进而改变磨粒的表面高度，实现样本的初步扩充；将原始磨粒三维形貌图像，通过对每个像素的饱和度S和亮度V分量进行指数运算，来改变S和V分量，保持色调H不变，以增加光照变化，实则实现磨粒各点高度的改变；

S2：通过对原始磨粒图像添加噪声点来对改变磨粒表面某区域高度的突增或突减，实现训练样本的扩充；对原始磨粒图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声；对应出现噪声点的区域，像素值出现突变，对应于三维磨粒中则表现为磨粒表面某区域高度的突增；

S3：通过对原始磨粒图像去除噪声点来消除磨粒表面某区域突变的高度，进而实现训练样本的扩充；对原始磨粒图像的每个像素RGB进行噪声去除与滤波，常用的噪声模式是高斯去噪、中值滤波与线性空间滤波；对原始磨粒图像进行去噪，使得领域内具有像素值突变的点消失，对应于三维磨粒形貌中，则表现为磨粒表面突然凸出或凹下去的尖点消失，实质改变的为磨粒三维形貌的高度值；

S4：按比例对原始磨粒图像进行缩放变换来增加或压缩磨粒表面的高度；对原始磨粒图像按照一定的比例因子放大或者缩小图像，改变磨粒轮廓大小的同时也使对应区域内的像素值发生了变化，与三维磨粒而言则是磨粒表面高度值的变化。

3.根据权利要求1所述的一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，

步骤2具体为：

将三维磨粒的表面形貌通过深度映射转化为二维深度图像，作为训练样本中的目标图像；深度图是通过采集场景实物到摄像机成像平面距离构成的灰度图像，选择深度图作为磨粒形貌二维映射的方法，具体映射关系如公式(1)所示：

公式(1)：

其中：H代表三维磨粒表面不同地方的高度值；X为深度映射系数，要求为0≦H/X≦255；p为深度映射后二维磨粒图像上的像素点值，经过映射后，二维磨粒图像上像素点的值实际是三维磨粒图像上高度值在二维图像上的映射，磨粒区域内灰度值较大的区域即亮区域对应磨粒较高的区域，磨粒区域内灰度值较小的区域即暗区域对应磨粒较低的区域。

4.根据权利要求1所述的一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，

步骤3具体为：

S1：将步骤2中获取的二维深度磨粒图像经过自适应二值化处理后，背景呈现白色，磨粒呈现黑色；使用边缘检测算法提取磨粒边缘并用红色标记，之后经图像处理将非红色像素点全部转化为白色，实现磨粒边缘轮廓的提取，进而获取磨粒边缘；

S2：在红色轮廓的封闭区域内进行颜色的填充以代表磨粒区域；由于磨粒材质不同，其颜色不同，此处用黄色填充表示铜磨粒，用白色填充表示铁磨粒；由于铁磨粒在运行中可能会发生高温氧化或长期暴露在空气中会出现生锈现象，此处用黑色标记高温氧化部位，用棕色表示生锈部位；

S3：在磨粒区域内进行表面纹理的标记；利用若干条线代表磨粒表面的划痕，其中磨粒较高的区域用绿色线条标记，磨粒较低的区域用蓝色线条标记，线的粗细代表磨痕的宽度，长短代表磨痕的长度；疲劳产生的凹坑用橙色实心圆标记，圆圈的大小代表实际凹坑的大小；参照对应的二维深度磨粒图像，给对应的磨粒区域进行磨痕以及凹坑特征的标记，从而完磨粒标签的构造；

S4：将完成的磨粒标签分别与相对应的二维深度磨粒图像组成一对，完成网络训练的样本，每一对训练样本包含一幅磨粒标签，包含一幅对应的原始二维深度磨粒图像。

5.根据权利要求1所述的一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，

步骤4具体为：

S1：构建生成器并嵌入卷积层，为了使生成器能够绕过瓶颈层，CGAN采用了U-Net的网络形式，U-Net网络结构由三部分组成，包含一个深度卷积网络和一个深度反卷积网络，以及长跳跃结构；在深度卷积网络中，每两个3×3的卷积层后会跟一个2×2的最大池化层；每个卷积层后面采用Leaky ReLu激活函数来对原始图片进行降采样操作，每一次降采样都会增加一杯通道数；在深度反卷积网络中，也有4级计算层，每层包含1个2×2反卷积层和2个3×3普通卷积层，反卷积层用于上采样特征，于此同时，每一步的升采样都会加入来自相对应收缩路径的特征图；

为了使磨粒图像可作为CGAN算法的训练样本，在生成器前加入卷积层，将磨粒图像转化为256×256大小的图像，在生成器结尾加入反卷积层，将256×256大小的磨粒图像恢复为512×512的大小；

S2：构建判别器；

判别器只对高频结构进行建模的约束，增加生成的彩色图像的清晰度，判别器模型结构采用了PatchGAN，判别器模型区分每张图像中N×N大小的每一块是否真实，然后平均所有响应作为最终输出；

判别器的网络结构只由编码器组成，也就是一个深度卷积网络；在最后一层后面是一个卷积计算，用于匹配一维输出，接下来是Sigmoid函数；需要特殊处理的是，C64层不使用批正规化处理；判别器模型中使用的所有ReLU激活函数类型都是斜率为0.2的LeakyReLU；

判别器的编码器由四个卷积层和两个全连接层组成，每个4×4的卷积层激活函数为Leaky ReLU，四个卷积层卷积数逐次以64的倍数增加，分别为64、128、256、512；

S3：目标函数与损失函数的选取；

CGAN是要学习到观察图像x、随机噪声向量z与输出向量y之间的映射关系，即G：{x，z}→y；生成器G接收1幅输入图像，然后转换成自然图像，将生成的自然图像输入到判别器中；判别器D会接收2幅图像，1幅是输入图像，另1幅是未知图像，其目标是识别未知图像是不是生成器生成的图像；该网络中，CGAN的目标函数为：

公式(2)：

其中V_CGAN(G，D)＝E_{x，y～(x，y)}[logD(x，y)]+E_{x～p(x)，z～p(z)}[log(1-D(x，G(x，z)))]生成器G要最小化该目标函数；与之相反，判别器D为最大化该目标函数；

为了进一步提升网络的有效性，使得生成图像不仅像真实图像，也更接近于输入图像，选用的损失函数为均方根误差函数；该函数是观测值与真值偏差的平方和观测次数比值的平方根，具体形式如公式(3)所见：

公式(3)：

其中：N为Patch参数，N值将会在网络训练时给定合适的值。

6.根据权利要求1所述的一种基于条件生成对抗网络的磨粒形貌数据库创建方法，其特征在于，

步骤5具体为：

S1：交替训练生成器和判别器；训练判别器时，需要生成器生成一幅图像，输出到判别器中；根据“输入/目标图像对”和“输入/输出图像对”，判别器判定生成器给的图像在多大程度上是真实的；判别器根据输入/目标图像对和输入/输出图像对的分类误差来调整自身的权重；训练生成器时，根据判别器的判别结果和输出图像与目标图像之间的差异来调整生成器的权重；

S2：在网络训练的过程中，选取并优化Patch参数N；

Patch参数N是均方根误差函数中的重要参数，对最终图像的判断相似程度具有决定性的作用；图像是由像素点组成的，在使用损失函数进行比较两幅图的差异时，需要比较对应像素点对应值之间的误差，以N×N的块为单位进行像素点值的比较，可以加快运算；此处，N便是Patch参数，在选择参数N时，为了获取最优的数值，需要选取不同的N值，人为进行像比较以获取最优参数N；

训练过程中，选择不同的N值，利用生成器生成的图像与目标图像采用均方根误差函数比较，选取N值越接近512时，图像相似程度越高，选取N初值为256，然后将生成的图像与目标图像比较，若生成图像与目标图像有较高相似度，则接下的N值取1～256中点128，否则取256～512中点384，以此比较类推，最终获取合适的N值，该N值要求数值较小的同时还确保较高的相似度。

Images