CN111144565A - 基于一致性训练的自监督领域自适应深度学习方法 - Google Patents

Abstract

本发明公开了一种基于一致性训练的自监督领域自适应深度学习方法。该方法首先构建一个数据增强变换集合，对每一个变换定义一个标签。针对源域样本和其对应的类别标签，构建分类任务；对源域和目标域样本应用所述数据增强变换，通过最小化预测该变换类别的误差，构建自监督学习任务；针对源域和目标域样本，通过最小化变换后的样本和原始样本在分类任务上的输出的KL散度(Kullback‑Leibler Divergence)，构建一致性训练任务；构建一个多任务学习网络，将所述的分类、自监督学习和一致性训练任务进行联合训练。该方法无需对目标域样本进行标注，能有效地学习目标域特征表示，提升目标域上样本分类和识别的性能。本申请还公开了一种领域自适应深度学习可读存储介质，同样具有上述有益效果。

Description

基于一致性训练的自监督领域自适应深度学习方法

技术领域

本发明属于新一代信息技术领域，具体涉及领域自适应深度学习方法及可读存储介质。

背景技术

机器学习特别是深度学习模型通常需要大量的标注样本来进行监督学习，比如图像、文本等的分类和识别需要收集大量的样本，同时还需要标注每一个样本的对应的类别。当模型在标注数据上训练完成之后，将其应用到测试数据上。当测试数据与训练数据具有相同的分布时，监督学习是一种非常有效的方法。然而实际应用中通常会出现测试数据与训练数据分布不同的情况，从而使得模型在测试数据集上的性能急剧下降。

领域自适应(domain adaptation)是解决上述由于训练和测试数据分布差异引起模型性能下降问题的一类技术方法。通常将训练数据集称为源领域，测试数据集称为目标领域。源领域的数据是带有标注信息的，而目标领域的数据通常是没有标注信息的。领域自适应技术旨在将源领域的监督信息迁移到目标领域，提升目标领域上任务的性能。目前基于深度神经网络的领域自适应学习大多数是通过领域对抗训练来学习跨领域不变的特征表示，从而提升目标领域上的任务的性能的。然而领域对抗训练需要优化一对相互对抗的目标函数，训练过程的收敛比较困难，很难得到最优的模型。

发明内容

本发明要解决的技术问题是领域对抗训练时优化一对相互对抗的目标函数，训练过程的收敛困难，难以获取适合的模型。

本发明为解决上述技术问题，提供基于一致性训练的自监督领域自适应深度学习方法，该方法提供一种非对抗式的训练方法，以提高目标领域上任务的性能，具体的技术方案如下：

S1：构建一个多任务学习深度神经网络，包含一个参数为θ_e的特征提取网E，参数为θ_m主分类网M，以及参数为θ_p的数据增强变换预测网P；

S2：将源域样本x^s和其类别标签y组成分类任务训练集D^s＝{(x^s,y)|y∈[0,C]}，其中C是类别数；

S3：构建一组数据增强变换集合G＝{g(x,r)|r∈[0,R)}，每一个数据增强变换g(x,r)对应一个变换类别标签r；

S31：对源域样本x^s应用数据增强变换得到源域自监督训练集D^s*＝{(x^s*,r)|x^s*＝g(x^s,r)}，以及源域一致性训练集D^cs＝{(x^s,x^s*)|x^s*∈D^s*}；

S32：对目标域样本x^t应用数据增强变换得到目标域自监督训练集D^t*＝{(x^t*,r)|x^t*＝g(x^t,r)}，以及目标域一致性训练集D^ct＝{(x^t,x^t*)|x^t*∈D^t*}；

S4：将步骤S31中的源域自监督训练集D^s*＝{(x^s*,r)|x^s*＝g(x^s,r)}和步骤S32中的目标域自监督训练集D^t*＝{(x^t*,r)|x^t*＝g(x^t,r)}合并得到总的自监督训练集D^*＝D^s*∪D^t*；

S5：将步骤S31中的源域一致性训练集D^cs＝{(x^s,x^s*)|x^s*∈D^s*}和步骤S32中的目标域一致性训练集D^ct＝{(x^t,x^t*)|x^t*∈D^t*}合并得到总的一致性训练集D^c＝D^cs∪D^ct；

S6：针对步骤S2中分类任务训练集D^s以及步骤S1中的特征提取网E和主分类网M，构建有监督学习任务，其训练损失函数为：

S7：针对步骤S4中自监督学习训练集D^*以及步骤S1中的特征提取网E和数据据增强变换预测网P，构建自监督学习任务，其训练损失函数为：

S8：针对步骤S5中一致性训练集D^c以及步骤S1中的特征提取网E和主分类网M，构建一致性学习任务，通过KL散度(Kullback-Leibler Divergence)距离构建其训练损失函数：

其中D_KL为KL散度距离；

S9：将步骤S6、S7以及S8中的损失函数加权求和，得到总的训练损失函数：

L_total＝L_M+λ₁L_P+λ₂L_C (4)

其中λ₁和λ₂为加权系数，可通过交叉验证选取合适的值；

S10：通过最小化步骤S9中的损失函数L_total，得到训练后优化的参数θ_e、θ_p以及θ_m；

S11：对目标域测试样本，使用步骤S10中优化后的参数，通过公式

得到其预测的样本类别，实现深度学习模型在目标域上的领域自适应。

本发明还提供一种可读存储介质，该可读存储介质上存储有程序，当该程序被处理器执行时能够实现步骤S1-S11的基于一致性训练的自监督领域自适应深度学习方法。

相对于现有技术，本发明的有效收益如下：

1、本发明提供的领域自适应深度学习方法，通过数据增强来构建一致性训练和自监督训练，通过多任务学习框架联合源领域标注样本的监督学习来学习适应目标领域的特征表示，从而实现领域自适应。

2、本发明该不依赖人工标注来构建目标领域训练集，通过目标域样本的一致性训练和自监督学习，建立适应目标领域任务的特征表示，从而提高目标领域上任务的性能。

3、本发明还提供一种领域自适应深度学习可读存储介质，该可读存储介质上存储有程序，当该程序被处理器执行时同样具有上述有益效果。

附图说明

图1是本发明实施例的基于一致性训练的自监督领域自适应深度学习训练过程的流程示意图。

具体实施方式

以下结合说明书附图和图像分类领域自适应学习实例对本发明作进一步的详细描述，但并不因此而限制本发明的保护范围。

图1给出了本发明实施例的基于一致性训练的自监督领域自适应深度学习训练流程示意图。以图像分类领域自适应学习主要包括以下步骤：

S1：构建一个多任务学习深度神经网络，包含一个参数为θ_e的特征提取网E，参数为θ_m图像分类网M，以及参数为θ_p的数据据增强变换预测网P；

本实施例中S1中的数据增强变换采用图像旋转操作。

S2：将源域图像x^s和其类别标签y组成分类任务训练集D^s＝{(x^s,y)|y∈[0,C]}，其中C是图像类别数目；

S3：构建一组基于图像旋转的数据增强变换集合G＝{g(x,r)|r∈[0,R)}，每一个数据增强变换g(x,r)对应一个变换类别标签r，本实例采用三种不同角度旋转(即R＝3)，分别为90°、180°和270°旋转，对应的变换标签为0,1和2；

S31：对源域图像x^s应用图像旋转数据增强变换得到源域自监督训练集D^s*＝{(x^s*,r)|x^s*＝g(x^s,r)}，以及源域一致性训练集D^cs＝{(x^s,x^s*)|x^s*∈D^s*}；

S32：对目标域图像x^t应用图像旋转数据增强变换得到目标域自监督训练集D^t*＝{(x^t*,r)|x^t*＝g(x^t,r)}，以及目标域一致性训练集D^ct＝{(x^t,x^t*)|x^t*∈D^t*}；

S4：将步骤S31中的源域自监督训练集D^s*＝{(x^s*,r)|x^s*＝g(x^s,r)}和步骤S32中的目标域自监督训练集D^t*＝{(x^t*,r)|x^t*＝g(x^t,r)}合并得到总的自监督训练集D^*＝D^s*∪D^t*；

S5：将步骤S31中的源域一致性训练集D^cs＝{(x^s,x^s*)|x^s*∈D^s*}和步骤S32中的目标域一致性训练集D^ct＝{(x^t,x^t*)|x^t*∈D^t*}合并得到总的一致性训练集D^c＝D^cs∪D^ct；

S6：针对步骤S2中分类任务训练集D^s以及步骤S1中的特征提取网E和主分类网M，构建有监督学习任务，其训练损失函数为：

S7：针对步骤S4中自监督学习训练集D^*以及步骤S1中的特征提取网E和基于图像旋转的数据据增强变换预测网P，构建自监督学习任务，其训练损失函数为：

S8：针对步骤S5中一致性训练集D^c以及步骤S1中的特征提取网E和主分类网M，构建一致性学习任务，通过KL散度(Kullback-Leibler Divergence)距离构建其训练损失函数：

其中D_KL为KL散度距离；

S9：将步骤S6、S7以及S8中的损失函数加权求和，得到总的训练损失函数：

L_total＝L_M+λ₁L_P+λ₂L_C (4)

其中λ₁和λ₂为加权系数，可通过交叉验证选取合适的值，本实例种λ₁和λ₂分别为0.7和1.0；

S10：通过SGD或Adam等优化算法最小化步骤S9中的损失函数L_total，得到训练后优化的参数θ_e、θ_p以及θ_m；

S11：对目标域测试图像，使用步骤S10中优化后的参数，通过公式

得到其预测的样本类别，从而实现深度学习模型在目标域上的领域自适应。

下面对本申请实施例提供的可读存储介质进行介绍，下文描述的可读存储介质与上文描述的领域自适应深度学习方法可相互对应参照。

本申请公开的一种可读存储介质，其上存储有程序，程序被处理器执行时实现领域自适应深度学习方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的可读存储介质中程序的流程，可以参考前述方法实施例中的对应过程，在此不再赘述。

为了更好地说明本发明的技术效果，以图像分类任务为例，发明人在PACS数据集上进行了图像分类领域自适应学习的实验。PACS是一个公开数据集，包含来自4个域(ArtPaintings、Cartoon、Sketches以及Photo)的图像，每个域包含7个类别。测试结果如下所示：

表1：

	Art paint.	cartoon	sketches	photo	Avg.
						SRC	79.3	76.8	64.4	96.4	79.2
Jigsaw	84.9	83.9	69.0	93.9	82.9
						Rot	88.7	86.4	74.9	98.0	87.0
Ours	89.9	87.7	75.1	97.9	87.7

表1中从第二列到最第五列，每一列分别表示以该列列名对应的域作为目标域，其他三个域合并作为源域，最后一列Avg.表示平均分类准确率。表1对比了三种方法，包括只采用源领域样本训练的方法SRC，以及两种基于自监督的领域自适应学习方法Jigsaw和Rot。从表1中可以看出，只采用源领域样本训练的方法，由于没有做领域自适应学习，在目标域上性能最差。采用基于自监督学习的领域自适应学习，可以得到较好的自适应学习效果。本发明通过一致性训练的自监督学习，进一步提高了领域自适应性能，得到了更适应目标领域的特征表示，因此在目标领域上的分类准确率达到了最高。

虽然本发明已通过优选实施例进行了描述，然而本发明并非局限于这里描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims (2)

1.基于一致性训练的自监督领域自适应深度学习方法，其特征在于，该方法包括：

S1：构建一个多任务学习深度神经网络，包含一个参数为θ_e的特征提取网E，参数为θ_m主分类网M，以及参数为θ_p的数据增强变换预测网P；

S2：将源域样本x^s和其类别标签y组成分类任务训练集D^s＝{(x^s,y)|y∈[0,C]}，其中C是类别数；

S3：构建一组数据增强变换集合G＝{g(x,r)|r∈[0,R)}，每一个数据增强变换g(x,r)对应一个变换类别标签r；

S31：对源域样本x^s应用数据增强变换得到源域自监督训练集

以及源域一致性训练集

S32：对目标域样本x^t应用数据增强变换得到目标域自监督训练集

以及目标域一致性训练集

S4：将步骤S31中的源域自监督训练集

和步骤S32中的目标域自监督训练集

合并得到总的自监督训练集

S5：将步骤S31中的源域一致性训练集

和步骤S32中的目标域一致性训练集

合并得到总的一致性训练集D^c＝D^cs∪D^ct；

S6：针对步骤S2中分类任务训练集D^s以及步骤S1中的特征提取网E和主分类网M，构建有监督学习任务，其训练损失函数为：

S7：针对步骤S4中自监督学习训练集D^*以及步骤S1中的特征提取网E和数据据增强变换预测网P，构建自监督学习任务，其训练损失函数为：

S8：针对步骤S5中一致性训练集D^c以及步骤S1中的特征提取网E和主分类网M，构建一致性学习任务，通过KL散度(Kullback-Leibler Divergence)距离构建其训练损失函数：

其中D_KL为KL散度距离；

S9：将步骤S6、S7以及S8中的损失函数加权求和，得到总的训练损失函数：

L_total＝L_M+λ₁L_P+λ₂L_C (4)

其中λ₁和λ₂为加权系数，可通过交叉验证选取合适的值；

S10：通过最小化步骤S9中的损失函数L_total，得到训练后优化的参数θ_e、θ_p以及θ_m；

S11：对目标域测试样本，使用步骤S10中优化后的参数，通过公式

得到其预测的样本类别，实现深度学习模型在目标域上的领域自适应。

2.一种可读存储介质，该可读存储介质上存储有程序，其特征在于，当该程序被处理器执行时能够实现如权利要求1所述的基于一致性训练的自监督领域自适应深度学习方法。

Images