CN113962360B - 一种基于gan网络的样本数据增强方法及系统 - Google Patents

Abstract

本发明公开一种基于GAN网络的样本数据增强方法及系统，方法具体为：构建利用N个GAN网络结构组成的金字塔形状的GAN网络学习模型；基于Coarse‑to‑Fine思想的对GAN网络学习模型进行训练和测试，对输入图像从粗略的分辨率开始进行多次迭代；迭代结果收敛时，添加附加的卷积层来增加生成器的大小，从原始的上采样特征到新添加卷积层的输出间添加残差连接，直到图像的分辨率达到设定的输出分辨率；基于满足输出分辨率的图像生成虚拟样本，将所述虚拟样本与小样本数据集混合，得到增强后的完成样本数据；解决了工业过程中老化样本数据十分稀缺的问题，相对传统的数据增强方法而言效率更高，降低了数据成本；生成的图像在符合原始分布的基础上更加多样。

Description

一种基于GAN网络的样本数据增强方法及系统

技术领域

本发明属于GAN网络模型技术领域，具体说是一种基于GAN网络的样本数据增强方法及系统。

背景技术

高分子材料的老化已成为一个非常重要的问题，实际造成的危害要比人们想象的严重得多，尤其是在苛刻环境条件下，常导致设备过早失效、材料大量流失，不但在经济上受到很大损失，导致资源的浪费，甚至因材料的失效分解造成对环境的污染。然而，高分子材料在加工、贮存和使用过程中，在光、热、水、化学与生物侵蚀等内外因素的综合作用下，产生降解，表现为性能逐渐下降，从而部分丧失或丧失其使用价值。

对老化样本进行研究，就需要大量的老化样本数据，然而老化样本数据少，难收集，这时候往往需要对老化样本进行数据增强。常用的数据增强方法有：翻转，旋转，裁剪，缩放，平移，抖动等等，但是这些数据增强方法仅仅能对单张图像进行小规模数据增强，且改变了他们的位置特征，但是我们对于某一时刻的老化样本往往需要大规模的样本数据，这要求我们能够对样本进行大规模的数据增强，且不改变它的总体特征分布。

发明内容

为了对老化样本进行大规模数据增强，本发明的目的在于提供一种基于GAN网络的样本数据增强方法，本发明使用多个GAN结构分别学习了不同尺度下分辨率的图像块的分布，并从粗糙到细致、从低分辨率到高分辨率逐步生成真实图像，进而实现对单张图像进行大规模数据增强。

本发明采用如下技术方案：一种基于GAN网络的样本数据增强方法，包含如下步骤：

采集初始样本数据集，初始样本数据集包括多张输入图像；

构建利用N个GAN网络结构组成的金字塔形状的GAN网络学习模型；

基于Coarse-to-Fine思想的对GAN网络学习模型进行训练和测试，对输入图像从粗略的分辨率开始进行多次迭代，迭代结果收敛时，添加附加的卷积层来增加生成器的大小，从原始的上采样特征到新添加卷积层的输出间添加残差连接，重复此过程，直到图像的分辨率达到设定的输出分辨率，生成输出分辨率的图像；

基于满足输出分辨率的图像生成虚拟样本，将所述虚拟样本与小样本数据集混合，得到增强后的完成样本数据。

GAN网络学习模型包括金字塔结构的生成器{G₀，...，G_N}，训练图像金字塔x：{x₀，...，x_N}，其中x_n是图像x的下采样版本，采样因子为rⁿ，r＞1，每个生成器G_N负责生成对应x_n的图像样本。

基于Coarse-to-Fine思想的对GAN网络学习模型进行训练和测试时，图像样本的生成从最粗尺度开始，然后顺序地通过所有的生成器逐渐生成最好尺度图像，每个尺度都输入噪声图像，所有的生成器和判别器具有相同的感受野，随着生成过程的进行，捕捉更细尺寸的结构。

最粗尺度下，是纯生成过程，即G_N将空间高斯白噪声z_N映射为一个图像样本更细尺度的每个生成器G_N(n＜N)为GAN网络模型加入之前尺度下没有生成的细节特征，除了空间噪声之外，每个生成器G还接收较粗尺度生成图像的上采样样本作为输入。

S4中：

从最粗到最细顺序地训练多尺度结构，当每个GAN训练好，就固定，第n个GAN的训练损失包括对抗损失L_adv和重建损失L_rec，如下：

α为超参数，对于对抗损失，每个生成器G_n都设有一个对应的马尔可夫判别器D_n来判别真假，使用WGAN-GP损失，以增加训练稳定性，如下：

λ为超参数，最终判别分数是patch D判别图谱上的平均值，D_n的结构与ψ_n网络相同，其中，为生成器生成的图像特征；

重建损失为其中z^φ是固定的噪声图谱，用/>表示用所述噪声图谱生成第n尺度的生成图像，

对于n＜N，用公式

对于n＝N，L_rec＝||G_N(z^φ)-x_N||²。

采集小样本数据集时，对于老化样品，将样品进行预设温度范围内纯氧老化和热氧老化，间隔时间取出若干片样品并采集其特征图像作为小样本数据集。

迭代结果收敛时，添加附加的卷积层来增加生成器的大小，从原始的上采样特征到新添加卷积层的输出间添加残差连接，重复此过程，直到图像的分辨率达到设定的输出分辨率时，分辨率在阶段变化的学习尺寸通过下式得到：

x_n＝x_N×r^{((N-1)/log(N))*log(N-n)+1}

n＝0，...，N-1。

一种样本数据增强系统，包括初始样本采集模块、模型构建模块、训练测试模块以及生成样本模块；

其中，初始样本采集模块，采集初始样本数据集，初始样本数据集包括多张输入图像；

模型构建模块，构建利用N个GAN网络结构组成的金字塔形状的GAN网络学习模型；

训练测试模块，基于Coarse-to-Fine思想的对GAN网络学习模型进行训练和测试，对输入图像从粗略的分辨率开始进行多次迭代，迭代结果收敛时，添加附加的卷积层来增加生成器的大小，从原始的上采样特征到新添加卷积层的输出间添加残差连接，重复此过程，直到图像的分辨率达到设定的输出分辨率，生成输出分辨率的图像；

生成样本模块，基于满足输出分辨率的图像生成虚拟样本，将所述虚拟样本与小样本数据集混合，得到增强后的完成样本数据。

一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现本发明所述基于GAN网络的样本数据增强方法。

一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于GAN网络的样本数据增强方法。

与现有技术相比，本发明具有如下有益效果：

本发明使用多个GAN结构分别学习了样本图像不同尺度下分辨率的图像块的分布，并从粗糙到细致、从低分辨率到高分辨率逐步生成真实图像，生成的图像符合原始图像的分布，不改变它的纹理结构特征；传统的数据增强方法增强生成的数量有限，本发明能够在生成图像符合原始分布的基础上尽可能的生成多样化的图像，同时也能够对单张图像使用GAN网络进行数据增强，而且产生的虚拟样本数量更多。综上所述，本发明能够对单张图像进行大规模的数据增强，而且生成的图像在符合原始分布的基础上更加多样。,

附图说明

图1为本发明基于GAN网络对老化样本进行数据增强网络结构图。

图2为本发明单尺度生成过程示例图。

图3为本发明实施例中多阶段不同分辨率生成示例。

图4为本发明实施例中老化样本数据增强样例。

具体实施方式

以下结合附图和具体实方法对本发明作进一步的详细说明。

如图1所示，本发明基于GAN网络对老化样本进行数据增强，包含如下步骤：

S1，进行小样本老化样本采集：

将绝缘样品从定子线棒上进行剥离，获取单层或多层堆叠的绝缘片材，将绝缘片材放在玻璃皿中进行热氧老化，每隔一段时间取出若干老化样品，采集老化样本的图像；

S2，构建利用N个GAN网络结构组成的金字塔形状的GAN网络学习模型；

模型结构包含金字塔结构的生成器{G₀，...，G_N}，训练图像金字塔x：{x₀，...，x_N}，其中x_n是图像x的下采样版本，采样因子为rⁿ，r＞1，每个生成器G_N负责生成对应x_n的真实图像样本，在第n个尺度上，G_n网络的输入是：第n+1个G_n+1网络的生成图像经过上采样后与对应随机噪声相加的结果，G_n网络学习生成图像样本，而D网络判断生成图像样本的真假。

S3，GAN网络学习模型训练时对输入图像从粗略的分辨率开始进行多次迭代，

从训练到测试，基于Coarse-to-Fine思想，由下到上，尺度逐渐由粗糙到精细，图像样本的生成从最粗尺度开始，然后顺序地通过所有的生成器逐渐生成最好尺度图像，每一级尺度都输入噪声图像；所有的生成器和判别器具有相同的感受野，随着生成过程的进行，可以捕捉更细尺寸的结构。在最粗尺度下，是纯生成过程，即G_N，将空间高斯白噪声z_N映射为一个图像样本而不需要真实图像，如以下公式：

这一尺度的有效感受野通常是图像高度的1/2，G_N可以生成图像的整体布局和目标的全局结构。更细尺度的每个生成器G_N(n＜N)为模型添加上一级尺度下没有生成的细节特征，除了空间高斯白噪声之外，每个生成器G还接收较粗尺度生成图像的上采样样本作为输入，如以下公式

所有生成器G具有相似的结构，具体而言，噪声z_n与图像作为输入给一系列卷积层，生成/>中缺少的细节特征，G_N的操作如下式：

其中ψ_n是一个由3×3卷积BN-LeakyReLU组成的5层全卷积网络，在最粗尺度使用32个卷积核(即卷积操作的输出通道数是32)，然后每四个尺度增加两倍，生成器是全卷积的，所以在测试时可以通过改变噪声图像的维度以任意尺寸和纵横比生成图像。

如图2所示，在第n个阶段的尺度下，来自第n+1个阶段尺度的生成图像上采样后加到输入噪声图像z_n，然后送给5个卷积层，输出一个残差图像，再加上/> 即为G_N的输出。

S4，一旦第n个阶段的训练收敛，通过添加三个附加的卷积层来增加生成器的大小，从原始的上采样特征，到新添加卷积层的输出间添加残差连接，重复此过程N次，直到达到所需的输出分辨率；

从最粗到最细顺序地训练多尺度结构，当每个GAN网络学习模型训练好，就会被固定。第n个GAN网络学习模型的训练损失包括对抗损失L_adv和重建损失L_rec，如以下公式

对于对抗损失，每个生成器G_n都有一个对应的马尔可夫判别器D_n来判别图像样本的真假。本发明使用WGAN-GP损失，α为超参数，如以下公式

以增加训练稳定性，最终判别分数是patch D判别图谱上的平均值。D_n的结构与ψ_n网络相同，λ为超参数。

对于重建损失，为了确保使模型存在可以生成原始图像x的特定噪声图谱集合，选择其中z^φ是一些固定的噪声图谱，用/>表示用这些噪声图谱生成第n尺度的生成图像：

对于n＜N用公式

对于n＝N，使用L_rec＝||G_N(z^φ)-x_N||²。

作为上述技术方案的补充，S4中：以缩放因子η对学习率δ(0.1)进行缩放，例如，对于在n阶段的生成器G_n，使用的学习率是δ⁰ _η，对于在n-1阶段的生成器G_n-1，使用的学习率是δ¹ _η。同时在低分辨率(小于60pix)下往往得不到足够的阶段数去训练。在高分辨率图像上进行训练时，全局布局已经“确定”，此时仅纹理信息比较重要，因为判别器的感受野始终为初始的感受野；因此，要实现全局图像布局，需要一定数量的阶段(通常至少三个)以较低的分辨率去学习，而无需要太多的高分辨率学习，故提出分辨率在阶段变化的学习尺寸为如下公式：

x_n＝x_N×r^{((N-1)/log(N))*log(N-n)+1}

n＝0，...，N-1

实施例

本实施例基于GAN网络的样本数据增强方法，包括如下步骤：

步骤一，采集老化样本小样本数据集

将绝缘样品从定子线棒上进行剥离，获取单层或多层堆叠的绝缘片材。将绝缘片材裁剪为1cm×1cm的样品。将样品进行老化，得到117张老化样本数据集作为输入图像。

步骤二，构建利用N个GAN网络结构组成的金字塔形状的GAN网络学习模型；

模型包括金字塔结构的GAN，训练和推论都是由粗到细进行的。在每个尺度上，G_n学习生成图像样本，而判别器D_n无法区分所有重桑的图像块和下采样的训练图像块x_n；随着金字塔的上升，有效图像块尺寸减小(原图中的黄色区域)。G_n的输入是随机噪声图像z_n，来自上一尺度的生成图像是上采样到当前分辨率(除了最低尺度)。在尺度n的生成过程包含所有生成器{G₀，...，G_N}和所有噪声图像{z₀，...，z_N}。

步骤三，训练时对输入图像从粗略的分辨率开始进行多次迭代，实际示例如图3；

步骤四，一旦阶段n的训练收敛，通过添加三个附加的卷积层来增加生成器的大小，从原始的上采样特征，到新添加卷积层的输出间添加残差连接，重复此过程N次，直到达到所需的输出分辨率；

低分辨率(小于60pix)下往往得不到足够的阶段数去训练。在高分辨率图像上进行训练时，全局布局已经“确定”，此时仅纹理信息比较重要，因为判别器的感受野始终为11×11。因本发明采取五个阶段以较低的分辨率去学习，而无需要太多的高分辨率学习，这样一来，在缩放r＝0.55的情况下，分辨率变化变成了25×34，32×42，42×56，63×84，126×167，188×250。

步骤五，达到训练要求后，利用生成器生成虚拟样本，选取与实际相符的样本与初始小样本数据混合，完成数据增强。

对117张照片分别单独进行训练，得到了117个模型，每个模型对应一张照片进行数据增强，每个模型生成100张照片，筛选出符合实际的样本，加上初始照片，一共得到了8917张图像。增强图像示例如图4所示。

本发明提供一种样本数据增强系统，包括初始样本采集模块、模型构建模块、训练测试模块以及生成样本模块；

其中，初始样本采集模块，采集初始样本数据集，初始样本数据集包括多张输入图像；

模型构建模块，构建利用N个GAN网络结构组成的金字塔形状的GAN网络学习模型；

训练测试模块，基于Coarse-to-Fine思想的对GAN网络学习模型进行训练和测试，对输入图像从粗略的分辨率开始进行多次迭代；迭代结果收敛时，添加附加的卷积层来增加生成器的大小，从原始的上采样特征到新添加卷积层的输出间添加残差连接，重复此过程，直到图像的分辨率达到设定的输出分辨率，生成输出分辨率的图像；

生成样本模块，基于满足输出分辨率的图像生成虚拟样本，将所述虚拟样本与小样本数据集混合，得到增强后的完成样本数据。

本发明还可以提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现本发明所述基于GAN网络的样本数据增强方法。

另一方面，本发明提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于GAN网络的样本数据增强方法。

所述计算机设备可以采用笔记本电脑、桌面型计算机或工作站。

处理器可以是中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)或现成可编程门阵列(FPGA)。

对于本发明所述存储器，可以是笔记本电脑、桌面型计算机或工作站的内部存储单元，如内存、硬盘；也可以采用外部存储单元，如移动硬盘、闪存卡。

计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM，Resistance Random Access Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。

Claims (6)

1.一种基于GAN网络的样本数据增强方法，其特征在于，包含如下步骤：

采集初始样本数据集，初始样本数据集包括多张输入图像；

构建利用N个GAN网络结构组成的金字塔形状的GAN网络学习模型；

基于Coarse-to-Fine思想的对GAN网络学习模型进行训练和测试，对输入图像从粗略的分辨率开始进行多次迭代，迭代结果收敛时，添加附加的卷积层来增加生成器的大小，从原始的上采样特征到新添加卷积层的输出间添加残差连接，重复此过程，直到图像的分辨率达到设定的输出分辨率，生成输出分辨率的图像；基于Coarse-to-Fine思想的对GAN网络学习模型进行训练和测试时，图像样本的生成从最粗尺度开始，然后顺序地通过所有的生成器逐渐生成最好尺度图像，每个尺度都输入噪声图像，所有的生成器和判别器具有相同的感受野，随着生成过程的进行，捕捉更细尺寸的结构；

最粗尺度下，是纯生成过程，即G_N将空间高斯白噪声z_N映射为一个图像样本更细尺度的每个生成器G_N(n<N)为GAN网络模型加入之前尺度下没有生成的细节特征，除了空间噪声之外，每个生成器G还接收较粗尺度生成图像的上采样样本作为输入；

从最粗到最细顺序地训练多尺度结构，当每个GAN训练好，就固定，第n个GAN的训练损失包括对抗损失L_adv和重建损失L_rec，如下：

α为超参数，对于对抗损失，每个生成器G_n都设有一个对应的马尔可夫判别器D_n来判别真假，使用WGAN-GP损失，以增加训练稳定性，如下：

λ为超参数，最终判别分数是patch D判别图谱上的平均值，D_n的结构与ψ_n网络相同，其中，为生成器生成的图像特征；

重建损失为其中z^φ是固定的噪声图谱，用/>表示用所述噪声图谱生成第n尺度的生成图像，

对于n<N，用公式

对于n＝N，

迭代结果收敛时，添加附加的卷积层来增加生成器的大小，从原始的上采样特征到新添加卷积层的输出间添加残差连接，重复此过程，直到图像的分辨率达到设定的输出分辨率时，分辨率在阶段变化的学习尺寸通过下式得到：

x_n＝x_N×r^{((N-1)/log(N))*log(N-n)+1}

n＝0,…,N-1；

基于满足输出分辨率的图像生成虚拟样本，将所述虚拟样本与小样本数据集混合，得到增强后的完成样本数据。

2.根据权利要求1所述的基于GAN网络的样本数据增强方法，其特征在于，GAN网络学习模型包括金字塔结构的生成器{G₀,…,G_N},训练图像金字塔x:{x₀,…,x_N},其中x_n是图像x的下采样版本，采样因子为rⁿ,r>1，每个生成器G_N负责生成对应x_n的图像样本。

3.根据权利要求1所述的基于GAN网络的样本数据增强方法，其特征在于，采集小样本数据集时，对于老化样品，将样品进行预设温度范围内纯氧老化和热氧老化，间隔时间取出若干片样品并采集其特征图像作为小样本数据集。

4.一种样本数据增强系统，其特征在于，包括初始样本采集模块、模型构建模块、训练测试模块以及生成样本模块；

其中，初始样本采集模块，采集初始样本数据集，初始样本数据集包括多张输入图像；

模型构建模块，构建利用N个GAN网络结构组成的金字塔形状的GAN网络学习模型；

训练测试模块，基于Coarse-to-Fine思想的对GAN网络学习模型进行训练和测试，对输入图像从粗略的分辨率开始进行多次迭代；迭代结果收敛时，添加附加的卷积层来增加生成器的大小，从原始的上采样特征到新添加卷积层的输出间添加残差连接，重复此过程，直到图像的分辨率达到设定的输出分辨率，生成输出分辨率的图像；基于Coarse-to-Fine思想的对GAN网络学习模型进行训练和测试时，图像样本的生成从最粗尺度开始，然后顺序地通过所有的生成器逐渐生成最好尺度图像，每个尺度都输入噪声图像，所有的生成器和判别器具有相同的感受野，随着生成过程的进行，捕捉更细尺寸的结构；

最粗尺度下，是纯生成过程，即G_N将空间高斯白噪声z_N映射为一个图像样本更细尺度的每个生成器G_N(n<N)为GAN网络模型加入之前尺度下没有生成的细节特征，除了空间噪声之外，每个生成器G还接收较粗尺度生成图像的上采样样本作为输入；

从最粗到最细顺序地训练多尺度结构，当每个GAN训练好，就固定，第n个GAN的训练损失包括对抗损失L_adv和重建损失L_rec，如下：

α为超参数，对于对抗损失，每个生成器G_n都设有一个对应的马尔可夫判别器D_n来判别真假，使用WGAN-GP损失，以增加训练稳定性，如下：

λ为超参数，最终判别分数是patch D判别图谱上的平均值，D_n的结构与ψ_n网络相同，其中，为生成器生成的图像特征；

重建损失为其中z^φ是固定的噪声图谱，用/>表示用所述噪声图谱生成第n尺度的生成图像，

对于n<N，用公式

对于n＝N，

迭代结果收敛时，添加附加的卷积层来增加生成器的大小，从原始的上采样特征到新添加卷积层的输出间添加残差连接，重复此过程，直到图像的分辨率达到设定的输出分辨率时，分辨率在阶段变化的学习尺寸通过下式得到：

x_n＝x_N×r^{((N-1)/log(N))*log(N-n)+1}

n＝0,…,N-1；

生成样本模块，基于满足输出分辨率的图像生成虚拟样本，将所述虚拟样本与小样本数据集混合，得到增强后的完成样本数据。

5.一种计算机设备，其特征在于，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现权利要求1～3中任一项所述基于GAN网络的样本数据增强方法。

6.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现如权利要求1～3中任一项所述的基于GAN网络的样本数据增强方法。