CN114004295A - 一种基于对抗增强的小样本图像数据拓展方法 - Google Patents

Abstract

本发明公开了一种基于对抗增强的小样本图像数据拓展方法。本发明使用新颖的生成对抗网络来学习数据增强的表示和过程，展示来自单个新的数据点的真实数据增强样本，结合辅助图重构器及多层图表示门获取增强图像与验证域图像的多层级表示聚合向量，利用源域图像构建多类原型图，将验证域图像的多层级表示聚合向量与对应类原型图之间的欧式距离作为相似度阈值，保留多层级表示聚合向量与对应类原型图之间的欧式距离小于或等于相似度阈值的增强图像，作为拓展结果。本发明在数据量少的情况下使用增强样本对小样本进行训练并进行评估，结果表明，使用增强样本可以提高标准分类器的性能，所有任务的泛化性能都有显著提高。

Description

一种基于对抗增强的小样本图像数据拓展方法

技术领域

本发明涉及小样本学习领域，尤其是一种基于对抗增强的小样本图像数据拓展方法。

背景技术

样本数据量充足一直是深度学习邻域一个重要条件，而仅从小样本数据来训练出一个理想的模型是一项艰巨的任务，由于样本数据量不足和质量不高，深度神经网络会过拟合训练集并在测试集上产生较差的泛化。

随着深度学习的发展，为解决上述问题诞生了数据增强技术，该技术可以通过将各种变换应用于原始数据集，从现有数据生成更多数据，进而减少模型过拟合的情况。而基于对抗网络的数据增强技术显著提高了对各任务的泛化性。

发明内容

本发明所要解决的技术问题是克服上述现有技术在数据量不足质量较低的情况下，深度神经网络会过拟合训练集并在测试集上产生较差泛化的问题。本发明提供一种基于对抗增强的小样本图像数据拓展方法，以突破现有技术对数据集拓展质量较差的限制，显著提高了对各任务的泛化性。

本发明采用的技术方案如下：

一种基于对抗增强的小样本图像数据拓展方法，如下步骤：

1)通过残差卷积编码器，提取包含样本图像语义信息的样本图像特征向量，所述的残差卷积编码器包含编码卷积神经网络与残差映射；

2)利用标准高斯分布采样得到噪声样本信息，并通过线性映射，生成标准高斯噪声向量；

3)将步骤1)得到的样本图像特征向量与步骤2)得到的标准高斯噪声向量传入多层感知机，得到最终编码向量；

4)根据步骤3)得到的最终编码向量，通过逆残差卷积解码器解码生成增强图像，构成增强图像集，所述的逆残差卷积解码器包含解码卷积神经网络与逆残差映射；

5)对增强图像集中的图像进行评估筛选，将筛选后的图像作为数据拓展结果。

进一步的，所述的步骤5)具体为：

5.1)通过辅助图重构器重构增强图像的图像语义，生成增强图像集特征向量；

5.2)利用多层图表示门，对步骤5.1)得到的增强图像集特征向量提取多层语义，并聚合多层语义得到每一张增强图像的多层级表示聚合向量；

5.3)将原始样本图像分为源域和验证域，首先针对源域图像进行类结构化处理，生成K类关系结构，每一类图像利用原型图神经网络处理，得到对应的原型图；

针对验证域图像，重复步骤5.1)至5.2)，提取验证域图像的多层级表示聚合向量，根据图像类别划分相对应的K类关系结构，计算验证域图像聚合向量与源域图像相对应关系结构的原型图之间的欧氏距离，取均值作为该类关系结构的相似性阈值；

5.4)计算步骤5.2)得到的每一张增强图像的多层级表示聚合向量与源域图像相对应关系结构的欧式距离d，保留欧式距离d小于或等于阈值的增强图像作为数据拓展结果。

本发明使用新颖的生成对抗网络来学习数据增强的表示和过程，展示来自单个新的数据点的真实数据增强样本，结合辅助图重构器及多层图表示门获取增强图像与验证域图像的多层级表示聚合向量，利用源域图像构建多类原型图，将验证域图像的多层级表示聚合向量与对应类原型图之间的欧式距离作为相似度阈值，保留多层级表示聚合向量与对应类原型图之间的欧式距离小于或等于相似度阈值的增强图像，作为拓展结果。本发明在数据量少的情况下使用增强样本对小样本进行训练并进行评估，结果表明，使用增强样本可以提高标准分类器的性能，所有任务的泛化性能都有显著提高。

附图说明

图1是本发明一种基于对抗增强的小样本图像数据拓展方法的数据增强过程流程示意图；

图2是本发明一种基于对抗增强的小样本图像数据拓展方法的数据评估过程流程示意图。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步阐述和说明。

如图1、图2所示，本发明为一种基于对抗增强的小样本图像数据拓展方法，包括如下步骤：

步骤一：提取图片的语义特征：通过残差卷积编码器，提取包含样本图像语义信息的样本图像特征向量，所述的残差卷积编码器包含编码卷积神经网络与残差映射。

本实施例中，对初始样本图像进行批标准化处理，通过交叉熵增损失函数的编码卷积神经网络对其进行卷积操作，所述的编码卷积神经网络的结构为四层3*3卷积层，每一层卷积层的输出连接下采样层，将第i层下采样层的输出记为y_i。

小样本图像数据拓展方法将编码卷积神经网络第i层卷积层的输入x_i通过残差映射，得到与每层输出维度相等的残差输出r_i，其中残差映射计算式为r_i＝x_i·w^k·j，k为编码卷积神经网络第i层输入的维度，j为编码卷积神经网络第i层输出的维度，w为残差映射矩阵。

将残差输出r_i加和至当前卷积层对应的下采样层输出y_i，作为下一层卷积层的输入x_i+1＝y_i+r_i；直至得到最后一层卷积层对应的下采样层输出，作为编码卷积神经网络最终输出的样本图像特征向量f。

步骤二：生成标准高斯噪声向量：利用标准高斯分布采样得到噪声样本信息，并通过线性映射，生成标准高斯噪声向量；

本实施例中，通过标准高斯变换z＝n(0，1)，得到随机标准高斯噪声z；将得到的随机标准高斯噪声z通过线性映射变换z＝z·w^1·d，得到标准高斯噪声向量Z，其中d为编码卷积神经网络最终输出的向量维度。

步骤三：将包含明确语义信息的样本图像特征向量与标准高斯噪声向量传入多层感知机，得到最终编码向量。

本实施例中，所述的多层感知机采用全连接神经网络，用于将编码卷积神经网络最终输出的样本图像特征向量与标准高斯噪声向量按维度连接，得到最终编码向量e。

步骤四：将最终编码向量e，通过逆残差卷积解码器解码生成增强图像，构成增强图像集，所述的逆残差卷积解码器包含解码卷积神经网络与逆残差映射。

本实施例中，利用解码卷积神经网络对得到的最终编码向量进行反卷积操作，所述的解码卷积神经网络由四层3*3反卷积层构成，每一层反卷积层的输出连接上采样层；

将解码卷积神经网络第i层反卷积层的输入X_i通过逆残差映射，得到与每层输出维度相等的逆残差输出R_i，其中逆残差映射计算式为R_i＝X_i·W^K·J，K为解码卷积神经网络第i层输入的维度，J为解码卷积神经网络第i层输出的维度，W为逆残差映射矩阵；

将逆残差输出R_i加和至当前反卷积层对应的上采样层输出Y_i，作为下一层反卷积层的输入X_i+1＝Y_i+R_i；直至得到最后一层反卷积层对应的下采样层输出，经Tanh激活函数处理后作为解码卷积神经网络最终输出的增强图像v。其中，上采样采用bilinear双线性插值法。

如图1所示，每一层卷积层或者反卷积层，就可采用多层网络结构的形式实现，每一层网络结构后均采用Leaky ReLU激活函数和批规范化处理。

步骤五：对步骤四得到的增强图像集中的图像进行评估筛选，将筛选后的图像作为数据拓展结果。

本实施例中，如图2所示，首先，将生成的一系列增强图像通过辅助图重构器重构增强图像的图像语义，生成增强图像集特征向量；利用多层图表示门，对得到的增强图像集特征向量提取多层语义，并聚合多层语义得到每一张增强图像的多层级表示聚合向量。

辅助图重构器采用三层卷积神经网络，用于获取增强图像的图像语义。

所述的多层图表示门，具体为：

1)将得到的增强图像集特征向量经softmax函数处理，然后利用图神经网络(GNN)得到一个不同层次的图像特征表达集合

其中，

表示增强图像集特征向量中的第i个增强图像特征向量第R维度的映射，R表示第i个增强图像特征向量的维度；

2)对图像特征表达集合

进行聚合，得到每一张增强图像的多层级表示聚合向量，聚合公式为：

其中，h_i表示第i张增强图像的多层级表示聚合向量，AGG_mean(.)表示取均值，

表示第i个增强图像特征向量第r维度的映射。

其次，将原始样本图像分为源域和验证域，首先针对源域图像进行类结构化处理，生成K类关系结构，每一类图像利用原型图神经网络(PGNN)处理，得到对应的原型图，计算公式为：

其中，

表示源域S中第k类第i张图像，f_θ(.)表示图关系结构编码，

是第k类中第i张图的关系结构，

表示原型图神经网络，j表示图中的第j个节点，[.]起标识作用，不参与实际计算，

表示第k类第i张图像中的节点数量；Pool(.)表示最大或平均池化操作；

表示第k类第i张图像对应的网络输出。类结构化处理可采样K-means聚类法实现，将源域中的原始样本图像聚为K类。

针对每一类关系结构，将所属该类的网络输出形成原型图，将第k类的原型图表示为

其中

表示第k类第n_k张图像对应的网络输出，n_k表示对应第k类的原始图像数量。

针对验证域图像，重复辅助图重构器和多层图表示门的处理步骤，提取验证域图像的多层级表示聚合向量，根据图像类别划分相对应的K类关系结构，计算验证域图像聚合向量与源域图像相对应关系结构的原型图之间的欧氏距离，取均值作为该类关系结构的相似性阈值。所述的相似性阈值是指针对每一类关系结构，计算验证域中所属该类的图像对应的多层级表示聚合向量与该类原型图之间的欧式距离，取所有图像的欧氏距离均值作为相似性阈值。例如，若验证域中所属第k类的原始样本图像有m张，分别计算每一张图片的聚合向量与原型图

之间的距离，取m张图片的均值作为第k类关系结构的相似性阈值θ_k。

最后，计算每一张增强图像的多层级表示聚合向量与源域图像相对应关系结构的欧式距离d，利用度量关系d评估数据集质量，保留欧式距离d小于或等于阈值的增强图像作为数据拓展结果。例如，若某一张增强图像属于第k类，则计算该增强图像的聚合向量与原型图

之间的距离d，计算d与θ_k之间的关系，若d大于θ_k，则证明该增强图像与原始样本图像之间的相似性较低，图像质量较差，需将其剔除；若d小于或者等于θ_k，则保留该增强图像。

实施例

将本发明提出的基于对抗增强的生成对抗网络模型称为FSGAN，对该模型的性能进行验证。

本发明采用了数据集：EMNIST和VGG-Faces。每个数据集随机分为源域集，验证域集和测试域集。EMNIST源域集包括类0-34，验证域集包括类35-42，测试域集包括类42-47。由于EMNIST数据集每个类有数千个样本，因此每个类只选择了100个样本，将任务设置为低数据。对于VGG-Faces数据集，首先从每个包含100张未损坏图片的类中随机挑选100个样本，导致全部2622个类中只有2396个类可以被使用。源域集包括前1802个类，测试域集包括类1803-2300，验证域集包括类2300-2396。

本发明使用的残差卷积生成器是UNet和ResNet的组合，总共有8个模块，每个模块具有4个卷积层和一个下采样层或上采样层。下采样层(模块1-4)具有步幅为2的卷积变换，然后是leaky relu激活函数、批标准化和dropout。上采样层是步幅为1/2的复制器，然后是卷积变换、leaky relu激活函数、批标准化和dropout。对于EMNIST数据集，所有层都有64个过滤器。对于VGG-Faces数据集，编码器的前2个模块和解码器的最后2个模块具有64个过滤器，并且编码器的最后2个模块和解码器前2个模块具有128个过滤器。

本发明使用的DenseNet鉴别器，由4个Dense Block和4个Transition Layer组成。每个Dense Block内有4个卷积层，最后一个卷积层使用了dropout，增长率k＝64。

本发明使用的DenseNet分类器，由4个Dense Block和4个Transition Layer组成，增长率k＝64，每个Dense Block具有3个卷积层，最后一个卷积层的dropout为0.5。分类器总共17层(16层和1个softmax层)。使用标准数据增强方式训练分类器：将随机高斯噪声添加到图像中(概率为50％)，沿x和y轴随机移位(概率为50％)，随机90度旋转(所有选择概率相等)。

本发明的FSGAN模型训练500个epoch，学习率为0.0001，Adam优化器参数β₁＝0和β₂＝0.9。分类器训练200个epoch，学习率为0.001，Adam优化器参数β₁＝0.9和β₂＝0.99。

本发明采用FSGAN模型用于生成增强样本，基于FSGAN增强样本进行训练并进行评估。评估结果如下表1所示。

表1拓展数据集低数据分类准确率

实验标识	每类样本	测量精度
			EMNIST_标准	15	0.699353
EMNIST_FSGAN_增强	15	0.748845
			EMNIST_标准	25	0.783539
EMNIST_FSGAN_增强	25	0.832336
			VGG-face_标准	15	0.393291
VGG-face_FSGAN_增强	15	0.470957
			VGG-face_标准	25	0.479942
VGG-face_FSGAN_增强	25	0.535739

结果表明，在每种情况下，数据增强都提高了分类器性能。FSGAN模型可以更好的在有限的数据集情况下进行数据增强，所有任务的泛化性能都有显著提高。

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (10)

1.一种基于对抗增强的小样本图像数据拓展方法，其特征在于，如下步骤：

1)通过残差卷积编码器，提取包含样本图像语义信息的样本图像特征向量，所述的残差卷积编码器包含编码卷积神经网络与残差映射；

2)利用标准高斯分布采样得到噪声样本信息，并通过线性映射，生成标准高斯噪声向量；

3)将步骤1)得到的样本图像特征向量与步骤2)得到的标准高斯噪声向量传入多层感知机，得到最终编码向量；

4)根据步骤3)得到的最终编码向量，通过逆残差卷积解码器解码生成增强图像，构成增强图像集，所述的逆残差卷积解码器包含解码卷积神经网络与逆残差映射；

5)对增强图像集中的图像进行评估筛选，将筛选后的图像作为数据拓展结果。

2.根据权利要求1所述的基于对抗增强的小样本图像数据拓展方法，其特征在于，所述的步骤5)具体为：

5.1)通过辅助图重构器重构增强图像的图像语义，生成增强图像集特征向量；

5.2)利用多层图表示门，对步骤5.1)得到的增强图像集特征向量提取多层语义，并聚合多层语义得到每一张增强图像的多层级表示聚合向量；

5.3)将原始样本图像分为源域和验证域，首先针对源域图像进行类结构化处理，生成K类关系结构，每一类图像利用原型图神经网络处理，得到对应的原型图；

针对验证域图像，重复步骤5.1)至5.2)，提取验证域图像的多层级表示聚合向量，根据图像类别划分相对应的K类关系结构，计算验证域图像聚合向量与源域图像相对应关系结构的原型图之间的欧氏距离，取均值作为该类关系结构的相似性阈值；

5.4)计算步骤5.2)得到的每一张增强图像的多层级表示聚合向量与源域图像相对应关系结构的欧式距离d，保留欧式距离d小于或等于阈值的增强图像作为数据拓展结果。

3.根据权利要求1所述的基于对抗增强的小样本图像数据拓展方法，其特征在于，步骤1)所述的残差卷积编码器，具体为：

对初始样本图像进行批标准化处理，通过交叉熵增损失函数的编码卷积神经网络对其进行卷积操作，所述的编码卷积神经网络的结构为四层3*3卷积层，每一层卷积层的输出连接下采样层，将第i层下采样层的输出记为y_i；

小样本图像数据拓展方法将编码卷积神经网络第i层卷积层的输入x_i通过残差映射，得到与每层输出维度相等的残差输出r_i，其中残差映射计算式为r_i＝x_i·w^k·j，k为编码卷积神经网络第i层输入的维度，j为编码卷积神经网络第i层输出的维度，w为残差映射矩阵；

将残差输出r_i加和至当前卷积层对应的下采样层输出y_i，作为下一层卷积层的输入x_i+1＝y_i+r_i；直至得到最后一层卷积层对应的下采样层输出，作为编码卷积神经网络最终输出的样本图像特征向量f。

4.根据权利要求1所述的基于对抗增强的小样本图像数据拓展方法，其特征在于，步骤2)中所述的生成标准高斯噪声向量，具体为：

2.1)通过标准高斯变换z＝n(0,1)，得到随机标准高斯噪声z；

2.2)将步骤2.1)得到的随机标准高斯噪声z通过线性映射变换Z＝z·w^1·d，得到标准高斯噪声向量Z，其中d为编码卷积神经网络最终输出的向量维度。

5.根据权利要求1所述的基于对抗增强的小样本图像数据拓展方法，其特征在于，步骤3)所述的多层感知机采用全连接神经网络，用于将编码卷积神经网络最终输出的样本图像特征向量与标准高斯噪声向量按维度连接，得到最终编码向量。

6.根据权利要求1所述的基于对抗增强的小样本图像数据拓展方法，其特征在于，步骤4)所述的逆残差卷积解码器，具体为：

利用解码卷积神经网络对步骤3)得到的最终编码向量进行反卷积操作，所述的解码卷积神经网络由四层3*3反卷积层构成，每一层反卷积层的输出连接上采样层；

将解码卷积神经网络第i层反卷积层的输入X_i通过逆残差映射，得到与每层输出维度相等的逆残差输出R_i，其中逆残差映射计算式为R_i＝X_i·W^K·J，K为解码卷积神经网络第i层输入的维度，J为解码卷积神经网络第i层输出的维度，W为逆残差映射矩阵；

将逆残差输出R_i加和至当前反卷积层对应的上采样层输出y_i，作为下一层反卷积层的输入X_i+1＝Y_i+R_i；直至得到最后一层反卷积层对应的下采样层输出，作为解码卷积神经网络最终输出的增强图像。

7.根据权利要求2所述的基于对抗增强的小样本图像数据拓展方法，其特征在于，所述的辅助图重构器采用多层卷积神经网络，用于获取增强图像的图像语义。

8.根据权利要求2所述的基于对抗增强的小样本图像数据拓展方法，其特征在于，步骤5.2)所述的多层图表示门，具体为：

5.2.1)将步骤5.1)得到的增强图像集特征向量经softmax函数处理，然后利用GNN网络得到一个不同层次的图像特征表达集合

其中，

表示增强图像集特征向量中的第i个增强图像特征向量第R维度的映射，R表示第i个增强图像特征向量的维度；

5.2.2)对图像特征表达集合

进行聚合，得到每一张增强图像的多层级表示聚合向量，聚合公式为：

其中，h_i表示第i张增强图像的多层级表示聚合向量，AGG_mean(.)表示取均值，

表示第i个增强图像特征向量第r维度的映射。

9.根据权利要求2所述的基于对抗增强的小样本图像数据拓展方法，其特征在于，步骤5.3)所述的原型图，具体为：

根据图像类别将源域中的原始样本图像划分为K类关系结构，利用原型图神经网络处理源域中每一类关系结构中的每一张原始样本图像：

其中，

表示源域S中第k类第i张图像，f_θ(.)表示图关系结构编码，

是第k类中第i张图的关系结构，

表示原型图神经网络，j表示图中的第j个节点，[.]起标识作用，不参与实际计算，

表示第k类第i张图像中的节点数量；Pool(.)表示最大或平均池化操作；

表示第k类第i张图像对应的网络输出；

针对每一类关系结构，将所属该类的网络输出形成原型图，将第k类的原型图表示为

其中

表示第k类第n_k张图像对应的网络输出，n_k表示对应第k类的原始图像数量。

10.根据权利要求9所述的基于对抗增强的小样本图像数据拓展方法，其特征在于，步骤5.3)所述的相似性阈值是指针对每一类关系结构，计算验证域中所属该类的图像对应的多层级表示聚合向量与该类原型图之间的欧式距离，取所有图像的欧氏距离均值作为相似性阈值。

Images