CN112836795B - 一种多源非均衡域自适应方法 - Google Patents

Abstract

本发明公开了一种多源非均衡域自适应方法，具体包括如下步骤：步骤1，对各个源域的图像数据进行预处理；步骤2，计算源域数据和目标域数据之间的Wasserstein距离；步骤3：构建多源域自适应网络，确定多源域自适应过程中各源域自适应损失权重λ_i；步骤4：构建多源非均衡域自适应网络框架，确定各源域整体在多源域自适应过程的非平衡因子；步骤5：在多源域自适应过程中为各源域整体加入动态调节因子，使目标域数据的平均识别准确率超过96％。本发明解决了现有技术在多源域自适应过程中，均衡地采用各个源域的特征信息所产生的负迁移现象，进而导致训练的图像分类器准确率不高的问题。

Description

一种多源非均衡域自适应方法

技术领域

本发明属于多源域深度迁移学习中的域自适应技术领域，涉及一种多源非均衡域自适应方法。

背景技术

目前，深度学习算法成功的主要因素在于其拥有大量的有标注的数据样本，同时深度学习要求其训练数据集和测试数据集必须满足来自同一分布的假设前提。迁移学习可以从其他领域的标注信息去学习知识，降低了深度学习中测试数据与训练数据同分布的要求，有效地在相似的领域或任务之间进行信息的共享和迁移。研究者将迁移学习的方法引入到深度学习当中，提出了深度迁移学习算法，弥补了深度学习算法的不足，同时利用深度学习的优点来学习迁移学习中的域不变特征，取得了比传统迁移学习更好的分类识别能力。因此，深度迁移学习成为了当前的研究热点。

当前，深度迁移学习算法已经取得了巨大成功，研究者大多数都是在研究单个源域到目标域的学习，即单源域深度迁移学习。然而在实际生活中，源域数据通常是通过各种渠道获得的，不同渠道得到的源域数据与目标域数据在数据分布上相似但是相似程度不同，而且不同渠道得到的源域数据在数据分布上也会存在差异。单源域深度迁移学习算法在解决这种实际情况时将会产生一个较差的性能，因此，多源域深度迁移学习逐渐成为了研究的热点。

多源域深度迁移学习主要是利用多个源域学习到的知识对目标域中的数据进行正确分类。目前，多源域深度迁移学习方法存在以下不足：它们平等地对待各个源域，均衡地进行域自适应处理，没有考虑到将各源域与目标域特征分布之间的差异信息加入到网络的迭代训练过程中，当有多个源域与目标域的差异较大时，这种处理就会产生负迁移现象，从而导致训练的图像分类器准确率不高。

发明内容

本发明的目的是提供一种多源非均衡域自适应方法，解决了现有技术在多源域自适应过程中，均衡地采用各个源域的特征信息所产生的负迁移现象，进而导致训练的图像分类器准确率不高的问题。

本发明所采用的技术方案是，一种多源非均衡域自适应方法，具体包括如下步骤：

步骤1，对各个源域的图像数据进行预处理；

步骤2，将经步骤1处理的各个源域的图像数据分别与目标域数据放进预训练好的单源域自适应网络中做前向传播，通过网络迭代，计算源域数据和目标域数据之间的Wasserstein距离；

步骤3：构建基于Wasserstein度量准则的多源域自适应网络，将经步骤1处理的源域数据输入到该多源域自适应网络中，确定多源域自适应过程中各源域自适应损失权重λ_i；

步骤4：在步骤3的基础上，构建基于Wasserstein度量准则的多源非均衡域自适应网络框架，再次将经步骤1处理的源域数据输入到网络中，确定各源域整体在多源域自适应过程的非平衡因子；

步骤5：在多源域自适应过程中为各源域整体加入动态调节因子，对步骤4构建的多源非均衡域自适应网络进行训练，当目标域平均识别准确率达到96％时，调节网络参数，再次进行多源非均衡域自适应网络的训练，使目标域数据的平均识别准确率超过96％。

本发明的特点还在于：

步骤1的具体过程为：

将各源域与目标域的图像处理成统一的大小，并将各源域图像进行归一化处理。

步骤2的具体过程为：

步骤2.1，固定AlexNet网络的第7层全连接层，在第7层全连接层后加入领域判别器；

步骤2.2，设置网络的损失函数为：

Loss_total＝L_clf+λ(L_wdβL_grad) (1)；

公式(1)中，L_clf为源域数据的分类损失项，L_wd表示Wassertein距离，并L_wd设置为领域判别损失项，L_grad表示领域判别器参数的梯度惩罚项，λ，β为超参数；

L_clf定义为：

表示源域样本真实的概率分布；

y_i的定义为：

y_i表示深度网络将源域样本估计为第i个类别的概率值；表示源域数据通过神经元计算得到其属于第i类的数值，/>表示源域数据通过神经元计算得到其属于各个类的数值，/>表示将所有的/>相加所得的数值：

L_wd表达式为：

公式(4)中，x_s和x_t分别表示各源域与目标域的数据，n^s和n^t分别表示各源域与目标域数据的总量，f_g为网络前五层卷积层作为特征提取器的函数，f_w为领域判别器的学习函数；

L_grad的表达式为：

公式(5)中，f_w(h)为领域判别器学习的一个函数，f_w(h)表示将特征提取器f_g计算得到的数据特征h转化为一个具体的数字，表示h梯度，h表示利用特征提取器f_g计算得到的数据特征；

步骤2.3，将各源域数据分别与目标域数据输入到单源域自适应网络中做前向传播，通过网络迭代，最大化L_wd-βL_grad来训练领域判别器，最小化网络损失函数，当步骤2.2中的网络损失函数拟合时，利用L_wd评估各源域与目标域特征分布之间的Wasserstein距离。

步骤3的具体过程为：

步骤3.1，构建基于Wasserstein度量准则的多源域自适应网络，该网络是基于Alexnet卷积神经网络设计的多源域深度迁移学习网络框架，该网络包含5层卷积层、3层全连接层、n个判别器；

步骤3.2,设计多源域自适应网络的损失函数为：

公式(6)中，表示第i个源域的分类损失，即交叉熵损失，/>表示第i个源域与目标域特征分布之间的Wasserstein距离损失，λ_i则表示第i源域与目标域自适应损失项的权重；

步骤3.3，将经步骤1处理后的各源域数据及目标域数据共同输入到步骤3.1构建的多源域自适应网络中，进行若干次网络迭代，直到损失函数拟合，并且当目标域数据平均识别准确率大于等于95％时，记录各源域自适应损失项权重λ_i。

步骤4的具体过程为：

步骤4.1，基于步骤3.1构建的多源域自适应网络，在该网络基础上为各源域整体加入非平衡因子，构建基于Wasserstein度量准则的多源非均衡域自适应网络；

步骤4.2，设置多源非均衡域自适应网络损失函数为：

公式(7)中，α_i表示多源非均衡域自适应网络为各源域添加的非平衡因子；

步骤4.3，基于步骤2.3得到的各源域与目标域之间的Wasserstein距离，将这些Wasserstein距离数值进行排序；

步骤4.4，将Wasserstein距离数值最大时对应的非平衡因子α_i设置为最小值1，将Wasserstein距离数值最小时对应的非平衡因子α_i设置为最大值10，位于Wasserstein距离最大值与Wasserstein距离最小值之间的其余源域非平衡因子α_i，根据步骤4.3中Wasserstein距离数值的排序，依据Wasserstein距离数值越大，多源非均衡域自适应网络为与该Wasserstein距离对应的源域设置一个越小的非平衡因子α_i的原则，设置非平衡因子α_i数值，其余源域非平衡因子α_i的初始设置范围均为1～10之间；

步骤4.5，将经步骤1处理的所有源域数据及目标域数据共同输入到步骤4.1构建的基于Wasserstein度量准则的多源非均衡域自适应网络中，手动调节步骤4.4中各源域整体的非平衡因子α_i，通过网络的迭代，最小化步骤4.2中的损失函数，当目标域数据平均识别准确率达到95.5％时，记录各源域整体的非平衡因子α_i，该平衡因子α_i即各源域整体的权重。

步骤5的具体过程为：

步骤5.1，根据步骤4.5所得到的各源域权重，多源非均衡域自适应网络基于正态分布原理为各源域添加动态调节因子δ_i，如下公式(8)所示：

公式(8)中，θ_i表示动态调节因子的超参数；

步骤5.2：基于步骤5.1所得的动态调节因子，重新设置多源非均衡域自适应网络损失函数为：

步骤5.3：将经步骤1处理的源域数据及目标域数据共同输入到步骤4.1构建的基于Wasserstein度量准则的多源非均衡域自适应网络中，最小化步骤5.2中的网络损失函数，当网络损失函数拟合时，并且目标域平均识别准确率达到96％，调节动态调节因子的超参数θ_i、λ_i、β，使目标域平均识别准确率超过96％。

本发明的有益效果是，本发明提出的一种多源非均衡域自适应方法，在其网络训练迭代过程中，非均衡地借鉴各源域的特征信息，充分利用各源域的有效特征信息，提高了目标域的识别准确率。

附图说明

图1是本发明一种多源非均衡域自适应方法的流程图；

图2是本发明一种多源非均衡域自适应方法中基于Wasserstein度量准则的多源域自适应网络框架图；

图3是本发明一种多源非均衡域自适应方法中基于Wasserstein度量准则的多源非均衡域自适应网络框架图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种多源非均衡域自适应方法，如图1所示，包括如下步骤：

步骤1，对各个源域的图像数据进行预处理；

步骤1具体按照以下步骤实施：

将各源域与目标域的图像处理成统一的大小，并将图片进行归一化处理；

步骤2，将经步骤1处理的各个源域的图像数据分别与目标域数据放进预训练好的单源域自适应网络中做前向传播，通过网络迭代，计算源域数据和目标域数据之间的Wasserstein距离；

步骤2中所涉及到的单源域自适应网络为在ImageNet上训练好的AlexNet网络模型，该网络由5层卷积层和3层全连接层组成；

步骤2具体按照以下步骤实施：

步骤2.1：固定AlexNet网络的第7层全连接层，在第7层全连接层后加入域自适应层来减小领域之间的差异，即加入领域判别器；

步骤2.2：设置网络的损失函数为：

Loss_total＝L_clf+λ(L_wd-βL_grad) (1)

公式(1)中L_clf为源域数据的分类损失项，L_wd表示Wassertein距离，将L_wd设置为领域判别损失项，L_grad表示领域判别器参数的梯度惩罚项，λ，β为超参数；

步骤2.2公式(1)中，L_clf定义为：

公式(2)中，表示源域样本真实的概率分布，y_i的定义为：

公式(3)中，y_i表示深度网络将源域样本估计为第i个类别的概率值，表示源域数据通过神经元计算得到其(其指源域数据)属于第i类的数值，/>表示源域数据通过神经元计算得到其(其指源域数据)属于各个类别的数值，/>表示将所有的/>相加所得的数值。

步骤2.2公式(1)中，L_wd表达式为：

公式(4)中，x_s和x_t分别表示各源域与目标域的数据，和n^s n^t分别表示各源域与目标域数据的总量，f_g为网络前五层卷积层作为特征提取器的函数表示，f_g学习领域不变特征表示，f_w为领域判别器学习的一个函数，f_w将特征提取器f_g计算得到的源域数据特征表示h^s＝f_g(x^s)以及目标域数据特征表示h^t＝f_g(x^t)转化为一个具体的数字，用来计算源域及目标域特征分布之间的Wassertein距离；

步骤2.2公式(1)中，L_grad表示领域判别器参数的梯度惩罚,为网络添加梯度惩罚，避免了梯度消失以及梯度爆炸，其表达式为：

公式(5)中，L_grad表示领域判别器参数的梯度惩罚，f_w(h)为领域判别器学习的一个函数，它表示将特征提取器f_g计算得到的数据特征表示h转化为一个具体的数字，表示h梯度，h表示利用特征提取器f_g计算得到的数据特征表示；

步骤2.3：将各源域数据分别与目标域数据输入到单源域自适应网络中做前向传播，通过网络迭代，最大化L_wd-βL_grad来训练领域判别器，最小化网络损失函数，当网络损失函数拟合时，利用L_wd评估各源域与目标域特征分布之间的Wasserstein距离；

步骤3：构建基于Wasserstein度量准则的多源域自适应网络，将经步骤1处理的源域数据输入到该多源域自适应网络中，确定多源域自适应过程中各源域自适应损失权重λ_i；

步骤3具体按照以下步骤实施：

步骤3.1：构建基于Wasserstein度量准则的多源域自适应网络，如图2所示，该网络是基于Alexnet卷积神经网络设计的多源域深度迁移学习网络框架，该网络包含5层卷积层(Conv1-5)、3层全连接层(Fc6-Fc8)、多个判别器(源域总个数n)，前5层卷积层负责提取各源域与目标域数据的图像特征，在第7层全连接层后加入领域判别器来减小领域之间的差异，最后一层全连接层负责计算各源域的分类损失；

步骤3.2：设计多源域自适应网络的损失函数为：

公式(6)中表示第i个源域的分类损失，即交叉熵损失，/>表示第i个源域与目标域特征分布之间的Wasserstein距离损失，λ_i则表示第i源域与目标域自适应损失项的权重，λ_i设置为相同数值，β实验设置为固定值，L_grad表示领域判别器参数的梯度惩罚，具体公式在步骤2.2中已说明。

步骤3.3：将各源域与目标域的数据共同输入到多源域自适应网络中，通过网络迭代，最小化损失函数，直到损失函数拟合，并且当目标域数据平均识别准确率超过95％时，记录各源域自适应损失项权重λ_i的数值。

步骤4：在步骤3的基础上，构建基于Wasserstein度量准则的多源非均衡域自适应网络框架，再次将经步骤1处理的源域数据输入到网络中，确定各源域整体在多源域自适应过程的非平衡因子(非平衡因子即各源域整体的权重)；

步骤4具体按照以下步骤实施：

步骤4.1：基于步骤3.1图2所构建的多源域自适应网络，在该网络基础上为各源域整体加入非平衡因子(各源域整体的权重)，如图3所示，构建基于Wasserstein度量准则的多源非均衡域自适应网络；

步骤4.2：设置多源非均衡域自适应网络损失函数为：

公式(7)中，α_i表示多源非均衡域自适应网络为各源域添加的权重(非平衡因子)，表示第i个源域的分类损失，/>表示第i个源域与目标域特征分布之间的Wasserstein距离损失，λ_i则表示第i源域与目标域自适应损失项的权重，具体公式细节已于步骤2.2说明。

步骤4.3：基于步骤2.3得到的各源域与目标域之间的Wasserstein距离，将这些Wasserstein距离数值进行排序；

步骤4.4：将Wasserstein距离数值最大的对应源域权重α_i设置为最小值1，将Wasserstein距离数值最小的对应源域权重α_i设置为最大值10，其他源域权重根据步骤4.3中Wasserstein距离数值的排序，Wasserstein距离数值越大的，网络为其对应的源域添加一个较小的权重，反之亦然，其他源域权重初始设置范围均为1～10之间；

步骤4.5：将所有源域与目标域数据共同输入到网络中，手动微调步骤4.4中各源域整体的权重，通过网络的迭代，最小化步骤4.2中的损失函数，当目标域数据平均识别准确率达到95.5％时，记录各源域整体的非平衡因子(各源域整体的权重)；

步骤5：在多源域自适应过程中为各源域整体加入动态调节因子，对步骤4构建的多源非均衡域自适应网络进行训练，当目标域平均识别准确率达到96％时，调节网络参数，再次进行多源非均衡域自适应网络的训练，使目标域数据的平均识别准确率超过96％。

步骤5具体按照以下步骤实施：

步骤5.1：根据步骤4.5所得到的各源域权重，为各源域设置动态调节因子，如图3所示，多源非均衡域自适应网络基于正态分布原理为各源域添加动态调节因子，且该因子的数值应在步骤4.5效果较佳的实验范围之中，动态调节因子设置为：

将步骤4.2公式(7)中各源域权重α_i替换成公式(8)中的动态调节因子δ_i，公式(8)中，θ_i表示动态调节因子的超参数，用来调整δ_i的取值范围；

步骤5.2：本发明最终提出的基于Wasserstein度量准则的多源非均衡域自适应网络(Multi-sources Unbalanced Domain Adaptation，MUBDA)框架，如图3所示，该网络包含5层卷积层作为特征提取器(Conv1-5)、3层全连接层(Fc6-Fc8)、多个领域判别器(源域总个数n)，该网络为各源域整体在多源域自适应过程中添加动态调节因子，基于步骤5.1，重新设置该网络损失函数为：

具体公式已于前面步骤说明，其中δ_i为各源域的动态调节因子。

步骤5.3：将所有源域数据以及目标域数据共同输入到本发明提出的基于Wasserstein度量准则的多源非均衡域自适应网络(Multi-sources Unbalanced DomainAdaptation，MUBDA)，最小化网络损失函数，当网络损失函数拟合时，并且目标域平均识别准确率达到96％，微调动态调节因子的超参数θ_i，λ_i，β，使目标域平均识别准确率超过96％。

实施例

本发明最终采用office-caltech10数据集来验证该方法的有效性，该数据集包含Amazon(A)、Dslr(D)、Webcam(W)、Caltech(C)4个子数据集，各子数据集均包含相同的10类数据，选取其中3个子数据集作为源域。本发明的方法与当前多源域自适应技术做对比，包含深度鸡尾酒网络(DCTN),矩匹配网络(M³SDA)，对比结果如下表1所示：

表1

实验中的具体参数α_i根据步骤4.4得到的各源域整体的权重进行调节，使其在一定范围内，本实例中α_i最终取值范围均在1到5之间，θ_i取值为10²²，λ_i在确定具体数值后进行微调，其取值如下表示，β取值为15，当源域为Amazon、dslr、caltech或者webcam、caltech10、dslr时网络参数batch size设置为150，当源域为dslr，amazon，webcam或amazon，webcam，caltech时网络参数bach size设置为120。

Claims (3)

1.一种多源非均衡域自适应方法，其特征在于：具体包括如下步骤：

步骤1，对各个源域的图像数据进行预处理；

步骤2，将经步骤1处理的各个源域的图像数据分别与目标域数据放进预训练好的单源域自适应网络中做前向传播，通过网络迭代，计算源域数据和目标域数据之间的Wasserstein距离；

步骤3：构建基于Wasserstein度量准则的多源域自适应网络，将经步骤1处理的源域数据输入到该多源域自适应网络中，确定多源域自适应过程中各源域自适应损失权重λ_i；

所述步骤3的具体过程为：

步骤3.1，构建基于Wasserstein度量准则的多源域自适应网络，该网络是基于Alexnet卷积神经网络设计的多源域深度迁移学习网络框架，该网络包含5层卷积层、3层全连接层、n个判别器；

步骤3.2,设计多源域自适应网络的损失函数为：

公式(1)中，表示第i个源域的分类损失，即交叉熵损失，/>表示第i个源域与目标域特征分布之间的Wasserstein距离损失，λ_i则表示第i源域与目标域自适应损失项的权重；

步骤3.3，将经步骤1处理后的各源域数据及目标域数据共同输入到步骤3.1构建的多源域自适应网络中，进行若干次网络迭代，直到损失函数拟合，并且当目标域数据平均识别准确率大于等于95％时，记录各源域自适应损失项权重λ_i；

步骤4：在步骤3的基础上，构建基于Wasserstein度量准则的多源非均衡域自适应网络框架，再次将经步骤1处理的源域数据输入到网络中，确定各源域整体在多源域自适应过程的非平衡因子；

步骤4的具体过程为：

步骤4.1，基于步骤3.1构建的多源域自适应网络，在该网络基础上为各源域整体加入非平衡因子，构建基于Wasserstein度量准则的多源非均衡域自适应网络；

步骤4.2，设置多源非均衡域自适应网络损失函数为：

公式(2)中，α_i表示多源非均衡域自适应网络为各源域添加的非平衡因子；

步骤4.3，基于步骤2.3得到的各源域与目标域之间的Wasserstein距离，将这些Wasserstein距离数值进行排序；

步骤4.4，将Wasserstein距离数值最大时对应的非平衡因子α_i设置为最小值1，将Wasserstein距离数值最小时对应的非平衡因子α_i设置为最大值10，位于Wasserstein距离最大值与Wasserstein距离最小值之间的其余源域非平衡因子α_i，根据步骤4.3中Wasserstein距离数值的排序，依据Wasserstein距离数值越大，多源非均衡域自适应网络为与该Wasserstein距离对应的源域设置一个越小的非平衡因子α_i的原则，设置非平衡因子α_i数值，其余源域非平衡因子α_i的初始设置范围均为1～10之间；

步骤4.5，将经步骤1处理的所有源域数据及目标域数据共同输入到步骤4.1构建的基于Wasserstein度量准则的多源非均衡域自适应网络中，手动调节步骤4.4中各源域整体的非平衡因子α_i，通过网络的迭代，最小化步骤4.2中的损失函数，当目标域数据平均识别准确率达到95.5％时，记录各源域整体的非平衡因子α_i，该平衡因子α_i即各源域整体的权重；

步骤5：在多源域自适应过程中为各源域整体加入动态调节因子，对步骤4构建的多源非均衡域自适应网络进行训练，当目标域平均识别准确率达到96％时，调节网络参数，再次进行多源非均衡域自适应网络的训练，使目标域数据的平均识别准确率超过96％；

步骤5的具体过程为：

步骤5.1，根据步骤4.5所得到的各源域权重，多源非均衡域自适应网络基于正态分布原理为各源域添加动态调节因子δ_i，如下公式(3)所示：

公式(3)中，θ_i表示动态调节因子的超参数；

步骤5.2：基于步骤5.1所得的动态调节因子，重新设置多源非均衡域自适应网络损失函数为：

步骤5.3：将经步骤1处理的源域数据及目标域数据共同输入到步骤4.1构建的基于Wasserstein度量准则的多源非均衡域自适应网络中，最小化步骤5.2中的网络损失函数，当网络损失函数拟合时，并且目标域平均识别准确率达到96％，调节动态调节因子的超参数θ_i、λ_i、β，使目标域平均识别准确率超过96％。

2.根据权利要求1所述的一种多源非均衡域自适应方法，其特征在于：所述步骤1的具体过程为：

将各源域与目标域的图像处理成统一的大小，并将各源域图像进行归一化处理。

3.根据权利要求2所述的一种多源非均衡域自适应方法，其特征在于：所述步骤2的具体过程为：

步骤2.1，固定AlexNet网络的第7层全连接层，在第7层全连接层后加入领域判别器；

步骤2.2，设置网络的损失函数为：

Loss_total＝L_clf+λ(L_wd-βL_grad) (5)；

公式(5)中，L_clf为源域数据的分类损失项，L_wd表示Wassertein距离，将L_wd设置为领域判别损失项，L_grad表示领域判别器参数的梯度惩罚项，λ，β为超参数；

L_clf定义为：

表示源域样本真实的概率分布；

y_i的定义为：

yi表示深度网络将源域样本估计为第i个类别的概率值；表示源域数据通过神经元计算得到其属于第i类的数值，/>表示源域数据通过神经元计算得到其属于各个类的数值，/>表示将所有的/>相加所得的数值：

L_wd表达式为：

公式(8)中，x_s和x_t分别表示各源域与目标域的数据，n^s和n^t分别表示各源域与目标域数据的总量，f_g为网络前五层卷积层作为特征提取器的函数，f_w为领域判别器的学习函数；

L_grad的表达式为：

L _grad(h)＝(||▽_h f_w(h)||₂-1)² (9)；

公式(9)中，f_w(h)为领域判别器学习的一个函数,f_w(h)表示将特征提取器f_g计算得到的数据特征h转化为一个具体的数字,▽_h表示h梯度，h表示利用特征提取器f_g计算得到的数据特征；

步骤2.3，将各源域数据分别与目标域数据输入到单源域自适应网络中做前向传播，通过网络迭代，最大化L_wd-βL_grad来训练领域判别器，最小化网络损失函数，当步骤2.2中的网络损失函数拟合时，利用L_wd评估各源域与目标域特征分布之间的Wasserstein距离。