CN112766334A - 一种基于伪标签域适应的跨域图像分类方法 - Google Patents

Abstract

一种基于伪标签域适应的跨域图像分类方法，涉及图像处理。包括步骤：A、预训练深度模型；B、生成目标域图像伪标签；C、训练及优化深度模型。方法简单有效，能在多个自然图像数据集上获得较好效果。避免错误伪标签的影响，将伪标签样本加入训练集进一步训练网络可提高模型在目标域的辨别性，提高模型在目标域的泛化性能。通过交替给目标域打伪标签和采用伪标签样本训练网络，充分利用无标签的目标域数据，有效提升模型在目标域上的识别性能。改善利用深度学习模型进行自然图像识别时的泛化性能，提高跨数据库测试时的准确率和召回率，实用性强，可移植性强，能够满足域差异大、类别不均衡等情况下弱监督学习的需求。

Description

一种基于伪标签域适应的跨域图像分类方法

技术领域

本发明涉及图像处理，尤其是涉及可改善利用深度学习模型进行自然图像识别时的泛化性能，提高跨数据库测试时准确率和召回率的一种基于伪标签域适应的跨域图像分类方法。

背景技术

深度卷积网络将特征提取器和分类器结合在一起，通过端到端的训练方式学习到辨别性的特征。近年来，随着计算机计算能力和机器学习理论的快速发展，自然图像的识别准确率迅速提升，在大规模数据集(例如ImageNet数据集)(Deng J,Dong W,Socher R,etal.Imagenet:A large-scale hierarchical image database[C]//2009IEEE conferenceon computer vision and pattern recognition.Ieee,2009:248-255)上深度卷积网络的识别性能远超越传统算法，甚至超越人类。然而深度学习服从独立同分布准则，当测试数据的分布与训练数据不同时，深度学习模型的性能会大幅度下降甚至没有辨别能力。在实际应用中，针对每个分布均收集数据，并且人工打标签，这是代价昂贵的，在很多的情况下甚至是不符合实际的；因此在训练数据上学习到一个模型，并且能够很好的泛化到不同分布的测试数据上的需求对于深度学习落地是十分迫切的。

针对训练数据(源域)和测试数据(目标域)分布不匹配的问题，域适应从源域上学习具有辨别性的特征知识，并且将学习到的知识应用到目标域中。目前主流的方法(GaninY,Ustinova E,Ajakan H,et al.Domain-adversarial training of neural networks[J].The Journal of Machine Learning Research,2016,17(1):2096-2030)通过对抗学习拉近源域和目标域的特征分布，从而降低源域和目标域的域差异。一方面小的域差异是泛化能力强的必要条件，降低源域和目标域的域差异并不代表能够学习到一个泛化能力强的模型；另外一方面，对抗学习训练不稳定，很容易出现模式崩溃的问题，因此需要大量调参才能获得较好的性能，这在实际应用中是困难的。

发明内容

本发明的目的在于针对现有技术存在的获取数据困难、标注数据昂贵等实际问题，提供可改善利用深度学习模型进行自然图像识别时的泛化性能，提高跨数据库测试时准确率和召回率的一种基于伪标签域适应的跨域图像分类方法。本发明通过交替给目标域打伪标签和采用伪标签样本训练网络，能够充分利用无标签的目标域数据，有效提升模型在目标域上的识别性能。

本发明包括以下步骤：

A、预训练深度模型；

B、生成目标域图像伪标签；

C、训练及优化深度模型。

在步骤A中，所述预训练深度模型的具体步骤可为：首先将通用模型改造为符合特定任务的模型，将通用模型的最后一层1000分类全连接层替换成重新初始化的C分类全连接层，将最后一层的学习率调整为前面层的10倍，然后采用源域样本训练改造后的模型，直至收敛；所述通用模型包括AlexNet、VGG、ResNet等。

在步骤B中，所述生成目标域图像伪标签的具体步骤可为：

(1)将目标域D_T送入模型，得到相应的预测

其中

是C维向量；

(2)若已知目标域的标签分布Q，则重新校准目标域的预测：

其中，

表示点除，Normalization()表示L1归一化，进一步得到预测类别

和对应的置信度

若目标域的标签分布Q不可知，则采用源域的标签分布或者均匀分布代替；

(3)从目标域样本筛选出置信度最高的k％的目标域样本作为伪标签样本，k＝min(k₀+r*dk，k_max),其中k₀为初始筛选比例、r为当前训练的回合数、dk为每回合增加的筛选比例、k_max是最大筛选比例；随着回合数的增加，筛选更多的目标域样本作为伪标签样本。

在步骤C中，所述训练及优化深度模型的具体步骤可为：

(1)对源域样本进行数据增扩，所述数据增扩的方法包括将图像的大小调整为256×256、随机水平翻转图像、从图像中随机裁剪出224×224的图像块等；

(2)在训练过程中对伪标签样本采用mixup的数据增扩方式，对两张伪标签样本进行凸组合，同时将对应的标签进行凸组合，作为合成图像的标签；

(3)采用源域样本和合成样本训练模型，在训练过程中，采用交叉熵作为损失函数。

为了应对目标域在源域训练好的模型上泛化性能差等难题，本发明从目标域中筛选出一部分高置信度的样本，将模型预测结果作为对应样本的伪标签，然后将伪标签样本加入到训练集训练网络；交替地打伪标签和训练网络，逐步学习目标域的辨别性特征，进一步提高模型在目标域的泛化能力。本发明首先在源域上进行预训练，然后通过交替打伪标签和训练模型的过程增强模型对于目标域的泛化性能。

与现有技术相比，本发明具有以下突出的优点：

(1)不同于传统的对抗域适应方法，本发明提出了一种基于伪标签域适应方法，这种方法简单有效，简单的经验参数设定就能在多个自然图像数据集上获得较好的效果。

(2)本发明采用多种方法来避免错误伪标签的影响，包括步骤B中对目标域样本的预测的重新校正，筛选置信度最高的预测作为伪标签，域差异导致一部分的目标域样本的预测出现较大的偏差，本发明提出重新校正的方法来提高预测的准确率；步骤C中采用mixup的数据增扩方式，将伪标签样本加入训练集进一步训练网络可以提高模型在目标域的辨别性，进一步提高模型在目标域的泛化性能。

(3)本发明通过交替给目标域打伪标签和采用伪标签样本训练网络，充分利用无标签的目标域数据，有效提升模型在目标域上的识别性能。改善利用深度学习模型进行自然图像识别时的泛化性能，提高跨数据库测试时的准确率和召回率，实用性强，可移植性强，能够满足域差异大、类别不均衡等情况下弱监督学习的需求。

附图说明

图1为本发明实施例的训练过程框架。

图2为本发明实施例步骤C中mixup数据增扩示意图。

图3为预训练(左一)与本发明域适应方法(右一)特征分布的TSNE可视化示意图。

图4为预训练(左一)与本发明域适应方法(右一)混淆矩阵示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下实施例结合附图对本发明的实施方式作进一步地描述。

应对目标域在源域训练好的模型上泛化性能差的难题，本发明从目标域中筛选出一部分高置信度的样本，将模型预测结果作为对应样本的伪标签，然后将伪标签样本加入到训练集训练网络。如此交替地打伪标签和训练网络，能够逐步地学习到目标域的辨别性特征，进一步提高模型在目标域的泛化能力。训练过程如图1，本发明首先在源域上进行预训练，然后通过交替打伪标签和训练模型的过程增强模型对于目标域的泛化性能。定义经历伪标签生成和模型训练一次为一个回合。为了更加清晰地描述后续内容，定义源域

目标域

源域和目标域的类别数相同，均为C类。

本发明实施例包括以下步骤：

A、深度模型预训练；虽然源域和目标域存在域差异，但是两者仍然具有一定的相似性。因此采用源域样本进行预训练，对于域差异比较小的目标域样本具有较好的识别性能。首先将通用模型(例如AlexNet、VGG、ResNet)改造为符合特定任务的模型，将通用模型的最后一层1000分类全连接层替换成重新初始化的C分类全连接层，将最后一层的学习率调整为前面层的10倍，然后采用源域训练改造后的模型，直至收敛。

B、目标域图像伪标签生成；由于深度模型具有很强的拟合能力，因此模型很容易拟合错误的标签。希望能够筛选更加准确预测的样本作为伪标签样本，避免模型在后续的训练中过拟合于错误伪标签。已有的工作(Zou Y,Yu Z,Kumar B V K V,et al.DomainAdaptation for Semantic Segmentation via Class-Balanced Self-Training[J].2018)揭示具有高置信度预测的样本准确率更高。在该步骤中，本发明筛选出高置信度预测的目标域样本作为伪标签样本。另一方面域差异导致一部分的目标域样本的预测出现较大的偏差，提出重新校正的方法来提高预测的准确率。该步骤的具体如下：

第一步：将目标域D_T送入模型，得到相应的预测

其中

是C维向量。

第二步：在域差异比较大的情况下，目标域的预测不准确；因此通过对预测进行重新校正，以提高预测的准确率。在已知目标域的标签分布Q的情况下(如果目标域的标签分布Q不可知，可采用源域的标签分布或者均匀分布代替)，重新校准目标域的预测

其中，

表示点除，Normalization()表示L1归一化。进一步可得到预测类别

和对应的置信度

第三步：为了提升伪标签的准确率，从目标域样本筛选出置信度最高的k％的目标域样本作为伪标签样本。在这里k＝min(k₀+r*dk，k_max),其中k₀为初始筛选比例、r为当前训练的回合数、dk为每回合增加的筛选比例、k_max是最大筛选比例。随着回合数的增加，筛选更多的目标域样本作为伪标签样本。为了避免过低置信度的错误伪标签影响网络的泛化性能，设置一个最大筛选比例k_max。

C、深度模型的训练及优化；将伪标签样本加入训练集进一步训练网络可以提高模型在目标域的辨别性，进一步提高模型在目标域的泛化性能；同时为了防止模型过拟合于错误伪标签，在训练过程中采用mixup的数据增扩方式。该步骤的具体子步骤如下：

第一步：首先本发明对源域样本进行数据增扩，其目的在于提高模型的泛化能力。采用的数据增扩方法包括：将图像的大小调整为256×256；随机水平翻转图像；从图像中随机裁剪出224×224的图像块。

第二步：为了进一步避免错误伪标签的影响，在训练过程中对伪标签样本采用mixup的数据增扩方式。具体示意图如图2所示，图中W是由Beta(α，α)分布采样得到的,在本发明中，α取经验值0.4。样本一(S1)和样本二(S2)为随机筛选的样本，示意图中为打印机和笔记本。增扩得到的新样本为样本一和样本二的根据权重W的凸组合：W*S1+(1-W)*S2。

第三步：本发明采用源域样本和合成样本训练模型。在训练过程中，采用交叉熵作为损失函数。

在步骤A中，本实施例将优化器的学习率设定为0.0005，在后续步骤C的训练中，将学习率设定为0.00015。

在步骤B中，本实施例设定初始筛选比例k₀＝0.2，每回合增加的筛选比例dk＝0.05，最大筛选比例k_max＝0.9，总共的回合数为20个回合。即在第一个回合中，筛选置信度最高的20％的目标域样本作为伪标签样本；随后每增加一个回合，伪标签样本比例增加5％；直至达到90％之后，筛选比例不再增加。

在步骤C中，为了模型能够拟合于伪标签样本，本实施例设置每次步骤C迭代1000次。

为了验证本发明能够学习到更具有辨别性的特征，本发明实施例将Office-31数据集中的Amazon数据集作为源域数据集，Webcam数据集作为目标域数据集。采用预训练和本发明域适应方法进行训练，用TSNE画出倒数第二层输出的特征可视化图，如图3所示，深色点为源域特征分布，浅色点为目标域特征分布，可以看出采用预训练得到的模型进行测试，浅色点簇之间区分性不强，可以说明无法学习到目标域的辨别性特征，采用本发明训练得到的模型进行测试，浅色点簇之间分布距离大，可以说明本发明能够更好地学习到目标域辨别性特征。

为了验证本发明能够提到目标域识别的泛化性能，本发明将Office-31数据集中的Webcam数据集作为源域数据集，Amazon数据集作为目标域数据集。采用预训练和本发明域适应方法进行训练，画出在目标域进行测试的混淆矩阵。如图4所示，可以看出右图对角线的颜色要比左图深，可以说明本发明域适应方法能够提高目标域识别的泛化性能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于伪标签域适应的跨域图像分类方法，其特征在于包括以下步骤：

A、预训练深度模型；

B、生成目标域图像伪标签；

C、训练及优化深度模型。

2.如权利要求1所述一种基于伪标签域适应的跨域图像分类方法，其特征在于在步骤A中，所述预训练深度模型的具体步骤为：首先将通用模型改造为符合特定任务的模型，将通用模型的最后一层1000分类全连接层替换成重新初始化的C分类全连接层，将最后一层的学习率调整为前面层的10倍，然后采用源域样本训练改造后的模型，直至收敛。

3.如权利要求2所述一种基于伪标签域适应的跨域图像分类方法，其特征在于所述通用模型包括AlexNet、VGG、ResNet。

4.如权利要求1所述一种基于伪标签域适应的跨域图像分类方法，其特征在于在步骤B中，所述生成目标域图像伪标签的具体步骤为：

(1)将目标域D_T送入模型，得到相应的预测

其中

是C维向量；

(2)若己知目标域的标签分布Q，则重新校准目标域的预测：

其中，

表示点除，Normalization()表示L1归一化，进一步得到预测类别

和对应的置信度

若目标域的标签分布Q不可知，则采用源域的标签分布或者均匀分布代替；

(3)从目标域样本筛选出置信度最高的k％的目标域样本作为伪标签样本，k＝min(k₀+r*dk，k_max)，其中k₀为初始筛选比例、r为当前训练的回合数、dk为每回合增加的筛选比例、k_max是最大筛选比例；随着回合数的增加，筛选更多的目标域样本作为伪标签样本。

5.如权利要求1所述一种基于伪标签域适应的跨域图像分类方法，其特征在于在步骤C中，所述训练及优化深度模型的具体步骤为：

(1)对源域样本进行数据增扩；

(2)在训练过程中对伪标签样本采用mixup的数据增扩方式，对两张伪标签样本进行凸组合，同时将对应的标签进行凸组合，作为合成图像的标签；

(3)采用源域样本和合成样本训练模型，在训练过程中，采用交叉熵作为损失函数。

6.如权利要求5所述一种基于伪标签域适应的跨域图像分类方法，其特征在于在步骤(1)中，所述数据增扩的方法包括将图像的大小调整为256×256、随机水平翻转图像、从图像中随机裁剪出224×224的图像块。

Images