CN115082725B - 基于可靠样本选择和双分支动态网络的多源域自适应方法 - Google Patents

Abstract

本发明公开了一种基于可靠样本选择和双分支动态网络的多源域自适应方法，首先构建了双分支动态网络，通过感知不同域的输入和不同实例输入来动态调整网络参数，得到域感知和实例感知结合的特征表示。在此基础上，对目标域无标记的数据，通过选择模型的分类预测结果的熵小于预先设定阈值的样本来作为可靠样本，并为可靠样本分配伪标签作为监督信息，来参与网络的训练过程，在训练过程中不断增大阈值以使得更多可靠样本被选择，模型达到收敛时，对于目标域无标记样本的分类结果即为最终结果。本发明能一定程度减小噪声伪标签的影响，进一步提升模型的分类效果。

Description

基于可靠样本选择和双分支动态网络的多源域自适应方法

技术领域

本发明属于图像处理技术领域，具体涉及一种多源域自适应方法。

背景技术

目前深度学习广泛应用在各行各业实际生活场景中，传统深度学习的前提是训练和测试数据服从独立同分布的假设，但在实际应用场景中，由于数据标注成本高，因此会存在某些场景中图片的标注数据比较少甚至没有标注数据，而另外一个相同任务的不同场景中有着充足的标注数据。域适应技术广泛应用于解决此类训练和测试数据分布不一致的深度学习场景，并且已取得不错的分类效果。传统域适应方法只利用单个源域的知识，效果有限而且可能会得到局部最优解。实际应用场景中会存在多个有充足标签的源域，有效利用多个源域的知识，迁移到目标域，来缓解目标域无标签的困境，即多源域自适应方法，逐渐受到国内外学者的广泛关注。文献“Ruijia Xu,Ziliang Chen,Wangmeng Zuo,Junjie Yan,and Liang Lin.Deep cocktail network:Multi-source unsupervised domainadaptation with category shift.In IEEE Conference on Computer Vision andPattern Recognition(CVPR),pages 3964–3973,(2018)”，通过多个域判别器和多个分类头的加权融合机制来实现多域知识迁移。文献“Yunsheng Li,Lu Y uan, Yinpeng Chen,Pei Wang,and NunoV asconcelos.Dynamic transfer for multi-source domainadaptation.In IEEE Conference on Computer Vision and Pattern Recognition(CVPR),pages 10998–11007,2021”，将所有源域数据进行混合，在训练过程中目标域只需和混合后源域进行部分分布对齐，并利用动态网络对不同输入数据来动态改变模型参数。第一篇文献通过静态网络学习无偏表示，面对复杂跨域迁移场景，适应能力有限，第二篇文献虽然考虑到动态迁移，但是忽略了域标识，无法正确感知不同的域迁移，并且两者都没有考虑属于同域中同类的样本之间存在的实例偏差，上述问题限制了多源域适应方法的分类精度。

发明内容

为了克服现有技术的不足，本发明提供了一种基于可靠样本选择和双分支动态网络的多源域自适应方法，首先构建了双分支动态网络，通过感知不同域的输入和不同实例输入来动态调整网络参数，得到域感知和实例感知结合的特征表示。在此基础上，对目标域无标记的数据，通过选择模型的分类预测结果的熵小于预先设定阈值的样本来作为可靠样本，并为可靠样本分配伪标签作为监督信息，来参与网络的训练过程，在训练过程中不断增大阈值以使得更多可靠样本被选择，模型达到收敛时，对于目标域无标记样本的分类结果即为最终结果。本发明能一定程度减小噪声伪标签的影响，进一步提升模型的分类效果。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：构建数据集；

对于N个源域，定义数据集为其中D_i表示第i个源域数据集，/>表示第i个源域数据集训练样本总数，/>表示第i个源域中第j个图片数据，/>表示第i个源域中第j个图片数据的one-hot真实类别标签，d_j表示第j条图片数据对应的整数类型的域标签，对于源域，d_j＝1,2,...N；对于无标记样本的目标域，定义训练数据集为/>其中t作为下标或上标时表示该变量属于目标域，对于目标域，d_j＝N+1，/>表示目标域数据集训练样本总数，/>表示第j条目标域的训练数据；

步骤2：构建双分支动态网络；

步骤2-1：所述双分支动态网络由特征提取器和分类器组成；

特征提取器部分由四层具有相同结构的网络模块组成，每一个网络模块包含三个并行的网络分支，即基础卷积特征分支、动态实例感知特征分支和动态域感知特征分支；

将批次形式的图像数据或特征X作为每一层网络模块的输入，其中b为批次数据样本总个数，x_i代表第i个图像数据或特征，对于第一层网络模块， x_i代表图像数据，对于后面三层网络模块x_i代表前一层的输出特征；

步骤2-2：在每一个网络模块中，X首先输入到基础卷积特征分支，依次经过一个二维卷积层Conv层、BN层、Relu层，得到基础卷积特征F_base；与此同时，X同时输入到动态实例感知特征分支，依次经过二维平均池化层、MLP模块、Softmax 层，得到未加权的实例特征F_ins；然后将基础卷积特征F_base并行通过K个二维卷积操作k＝1,2,..K，得到F_ins的K个权重向量/>然后利用/>对F_ins进行加权，得到最终的动态实例感知特征/>另一方面，对于动态域感知特征分支，此分支输入数据为域级别的平均特征表示/>是根据输入数据中包含的域标签d_i将当前批次中每个域所有特征取平均得到的；如式(1)所示，其中表示当前批次数据中包含d_i这个域的数据个数：

计算得到的作为输入，依次经过二维平均池化层、MLP模块、Softmax层，得到未加权的域感知特征F_d，然后将基础卷积特征F_base并行通过K个二维卷积操作/>k＝1,2,..K，得到F_d的K个权重向量/>然后利用对/>对F_d进行加权，得到最终的动态域感知特征

步骤2-3：将三个网络分支得到的特征进行矩阵对应元素相加的操作融合成F_all，如式(2)所示：

其中conv表示需要将开始得到的F_base再经过一层卷积层操作之后，再进行融合；最后将融合后的特征F_all依次经过BN层、Relu层、二维卷积Conv层、BN层，其结果再和原始的输入X相加，得到的结果再通过Relu激活函数激活，得到最终该层的输出该层的特征输出组成下一层的输入，重复上述单个网络层特征提取过程，最后一层的特征输出作为特征提取器最终输出的特征；

步骤2-4：分类器部分，包含两个相同结构的并行全连接层分类器，对于每个全连接层分类器，包含3个全连接层，对于前两个全连接层，每层之后加上BN层，并用Relu 激活，最后一个全连接层，只加上softmax层；分类器把特征提取器提取的特征映射到标签空间，得到分类预测结果；两个分类器得到的分类预测结果都参与训练过程，并且两个分类器参数不共享；

步骤3：基于熵指导的可靠目标域样本选择方法；

步骤2构建的网络有两个分类器，因此一条图像数据会得到两个分类器输出p_j和q_i，即会得到两个熵，选用两者中较小的熵H_i来和预先设定的熵阈值λ进行对比，如式(3)所示，根据比较结果，将目标域训练数据D_t分为：不可靠的目标域无标记训练样本集合T₁和可靠的目标域样本集合T₂，即D_t＝T₁+T₂，具体规则如式(4)所示：

其中，p_i,j表示第一个分类器对第i个样本的输出向量中第j个分量，即预测为属于第j 个类的概率，q_i,j表示第二个分类器对第i个样本的输出向量中第j个分量，即预测为属于第j个类的概率，C表示总的类别数目；

步骤4：双分支动态网络的对抗训练；

双分支动态网络的参数更新是利用反向传播算法求解式(5)到式(8)的子优化问题，实现网络的对抗训练，得到适应于目标域的最优参数；

第一部分：对于源域有标记数据，通过标准的分类交叉熵损失函数，有监督的训练网络，如式(5)所示：

其中，N^S表示当前批次训练数据中包含的源域样本个数，表示当前批次训练数据中第i条源域样本的真实类别标签，带上标S表示该变量属于源域；Φ₁,Φ₂和Ψ分别表示两个分类器参数和特征提取器参数；

第二部分：对不可靠的目标域样本集合T₁，通过式(6)使得两分类器对同一样本输出差异最大化：

其中，表示批次训练样本中包含的不可靠目标域样本个数，带上标T₁,T₂分别表示该变量属于不可靠的目标域训练样本集合和可靠的目标域样本集合；

第三部分：对不可靠的目标域样本集合T₁，通过式(7)使得两分类器对同一样本输出差异最小化：

第四部分：对基于熵指导挑选出的目标域可靠样本集合T₂，通过式(8)得到分类交叉熵损失指导网络训练：

其中，表示批次训练样本中包含的可靠目标域样本个数，带上标T₂表示该变量属于可靠的目标域训练样本集合；

在训练过程中不断增大熵阈值λ以使得更多可靠样本被选择，模型达到收敛时，对于目标域无标记样本的分类结果即为最终结果。

本发明的有益效果如下：

本发明由于在基础卷积特征基础上，融合实例感知特征和域感知特征，模型能快速适应不同的域，且能感知同类不同实例之间的差异，能有效解决静态网络对多域数据特征提取能力有限，从而导致多源域适应性能瓶颈的问题。另外由于加入基于熵指导的可靠样本选择方法，能一定程度减小噪声伪标签的影响，其可靠样本提供的监督信息能进一步提升模型的分类效果。

具体实施方式

下面结合实施例对本发明进一步说明。

一种基于可靠样本选择和双分支动态网络的多源域自适应方法，具体发明内容包含三个部分，即双分支动态网络的构建，基于熵指导可靠目标域样本选择方法，以及基于前两部分的双分支动态网络的对抗训练方法：

步骤1：构建数据集；

对于N个源域，定义数据集为其中D_i表示第i个源域数据集，/>表示第i个源域数据集训练样本总数，/>表示第i个源域中第j个图片数据，/>表示第i个源域中第j个图片数据的one-hot真实类别标签，d_j表示第j条图片数据对应的整数类型的域标签，对于源域，d_j＝1,2,...N；对于无标记样本的目标域，定义训练数据集为/>对于目标域，其中t作为下标或上标时表示该变量属于目标域，，d_j＝N+1，/>表示目标域数据集训练样本总数，/>表示第j条目标域的训练数据；

步骤2：构建双分支动态网络；

步骤2-1：所述双分支动态网络由特征提取器和分类器组成；

特征提取器部分由四层具有相同结构的网络模块组成，每一个网络模块包含三个并行的网络分支，即基础卷积特征分支、动态实例感知特征分支和动态域感知特征分支；

将批次形式的图像数据或特征X作为每一层网络模块的输入，其中b为批次数据样本总个数，x_i代表第i个图像数据或特征，对于第一层网络模块， x_i代表图像数据，对于后面三层网络模块x_i代表前一层的输出特征(第一个网络模块输入的是图像数据，第二三四个网络模块输入的是前一层输出的特征表示)；

步骤2-2：在每一个网络模块中，X首先输入到基础卷积特征分支，依次经过一个二维卷积层Conv层、BN层、Relu层，得到基础卷积特征F_base；与此同时，X同时输入到动态实例感知特征分支，依次经过二维平均池化层、MLP模块(依次包含 FC层，Relu层，FC层,Softmax层)、Softmax层，得到未加权的实例特征F_ins；然后将基础卷积特征F_base并行通过K个二维卷积操作k＝1,2,..K，得到F_ins的K 个权重向量/>然后利用/>对F_ins进行加权，得到最终的动态实例感知特征/>另一方面，对于动态域感知特征分支，此分支输入数据为域级别的平均特征表示/> 是根据输入数据中包含的域标签d_i将当前批次中每个域所有特征取平均得到的；如式(1)所示，其中/>表示表示当前批次数据中域标签等于d_i的数据个数：

计算得到的作为输入，依次经过二维平均池化层、MLP模块(包含FC层，Relu层，FC层,Softmax层)、Softmax层，得到未加权的域感知特征F_d，然后将基础卷积特征F_base并行通过K个二维卷积操作/>k＝1,2,..K，得到F_d的K个权重向量/>然后利用对/>对F_d进行加权，得到最终的动态域感知特征/>

步骤2-3：将三个网络分支得到的特征进行矩阵对应元素相加的操作融合成F_all，如式(2)所示：

其中conv表示需要将开始得到的F_base再经过一层卷积层操作之后，再进行融合；最后将融合后的特征F_all依次经过BN层、Relu层、二维卷积Conv层、BN层，其结果再和原始的输入X相加，得到的结果再通过Relu激活函数激活，得到最终该层的输出该层的特征输出组成下一层的输入，重复上述单个网络层特征提取过程，最后一层的特征输出作为特征提取器最终输出的特征；

步骤2-4：分类器部分，包含两个相同结构的并行全连接层分类器，对于每个全连接层分类器，包含3个全连接层，对于前两个全连接层，每层之后加上BN层，并用Relu 激活，最后一个全连接层，只加上softmax层；分类器把特征提取器提取的特征映射到标签空间，得到分类预测结果；两个分类器得到的分类预测结果都参与训练过程，并且两个分类器参数不共享；

步骤3：基于熵指导的可靠目标域样本选择方法；

由于目标域缺乏真实类别标签，本发明通过选择分类器输出的熵小于某一阈值λ的目标域样本作为可靠样本，将模型对这类可靠样本的分类器预测结果作为其伪标签，来提供监督信息参与网络训练。步骤2构建的网络有两个分类器，因此一条图像数据会得到两个分类器输出p_j和q_i，即会得到两个熵，选用两者中较小的熵H_i来和预先设定的熵阈值λ进行对比，如式(3)所示，根据比较结果，将目标域训练数据D_t分为：不可靠的目标域无标记训练样本集合T₁和可靠的目标域样本集合T₂，即D_t＝T₁+T₂，具体规则如式(4)所示：

步骤4：双分支动态网络的对抗训练；

双分支动态网络的参数更新是利用反向传播算法求解式(5)到式(8)的子优化问题，实现网络的对抗训练，得到适应于目标域的最优参数；

第一部分：对于源域有标记数据，通过标准的分类交叉熵损失函数，有监督的训练网络，如式(5)所示：

其中，带上标S表示该变量属于源域；Φ₁,Φ₂和Ψ分别表示两个分类器参数和特征提取器参数；

第二部分：对目标域无标记样本集合T₁，通过式(6)使得两分类器对同一样本输出差异最大化：

其中，带上标T₁,T₂分别表示该变量属于不可靠的目标域训练样本集合和可靠的目标域样本集合；

第三部分：对目标域无标记样本集合T₁，通过式(7)使得两分类器对同一样本输出差异最小化：

第四部分：对基于熵指导挑选出的目标域可靠样本集合T₂，通过式(8)得到分类交叉熵损失指导网络训练：

在训练过程中不断增大熵阈值λ以使得更多可靠样本被选择，模型达到收敛时，对于目标域无标记样本的分类结果即为最终结果。

步骤5：模型测试

对于测试样本将其输入训练好的网络，分别得到两个分类器的预测结果p_j和q_j，并分别找到向量p_j和q_j元素最大的索引作为预测标签/>和/>然后采用如下规则，选择/>或者/>来作为最终的预测标签/>

其中，表示向量p_j的第/>个元素，公式(9)表示从两分类器的预测结果中选择预测为该标签且预测概率较大的作为最终预测结果。最后，通过计算/>和真实标签y_j的一致的样本数所占测试集总数的比例即准确率来作为评价指标。

在多源域单个目标域的跨域图像分类任务设定情况下，本发明方法能获得较好的分类表现。以DomainNet数据集为例，相比于非动态网络和没有利用熵进行可靠样本选择的多源域适应方法，本发明方法的平均分类准确率可以提高3.0％。

Claims (1)

1.一种基于可靠样本选择和双分支动态网络的多源域自适应方法，其特征在于，包括如下步骤：

步骤1：构建数据集；

对于N个源域，定义数据集为其中D_i表示第i个源域数据集，/>表示第i个源域数据集训练样本总数，/>表示第i个源域中第j个图片数据，表示第i个源域中第j个图片数据的one-hot真实类别标签，d_j表示第j条图片数据对应的整数类型的域标签，对于源域，d_j＝1,2,...N；对于无标记样本的目标域，定义训练数据集为/>其中t作为下标或上标时表示该变量属于目标域，对于目标域，d_j＝N+1，/>表示目标域数据集训练样本总数，/>表示第j条目标域的训练数据；

步骤2：构建双分支动态网络；

步骤2-1：所述双分支动态网络由特征提取器和分类器组成；

特征提取器部分由四层具有相同结构的网络模块组成，每一个网络模块包含三个并行的网络分支，即基础卷积特征分支、动态实例感知特征分支和动态域感知特征分支；

将批次形式的图像数据或特征X作为每一层网络模块的输入，其中b为批次数据样本总个数，x_i代表第i个图像数据或特征，对于第一层网络模块，x_i代表图像数据，对于后面三层网络模块x_i代表前一层的输出特征；

步骤2-2：在每一个网络模块中，X首先输入到基础卷积特征分支，依次经过一个二维卷积层Conv层、BN层、Relu层，得到基础卷积特征F_base；与此同时，X同时输入到动态实例感知特征分支，依次经过二维平均池化层、MLP模块、Softmax层，得到未加权的实例特征F_ins；然后将基础卷积特征F_base并行通过K个二维卷积操作得到F_ins的K个权重向量/>然后利用/>对F_ins进行加权，得到最终的动态实例感知特征/>另一方面，对于动态域感知特征分支，此分支输入数据为域级别的平均特征表示/>是根据输入数据中包含的域标签d_i将当前批次中每个域所有特征取平均得到的；如式(1)所示，其中/>表示当前批次数据中包含d_i这个域的数据个数：

计算得到的作为输入，依次经过二维平均池化层、MLP模块、Softmax层，得到未加权的域感知特征F_d，然后将基础卷积特征F_base并行通过K个二维卷积操作/>得到F_d的K个权重向量/>然后利用对/>对F_d进行加权，得到最终的动态域感知特征/>

步骤2-3：将三个网络分支得到的特征进行矩阵对应元素相加的操作融合成F_all，如式(2)所示：

其中conv表示需要将开始得到的F_base再经过一层卷积层操作之后，再进行融合；最后将融合后的特征F_all依次经过BN层、Relu层、二维卷积Conv层、BN层，其结果再和原始的输入X相加，得到的结果再通过Relu激活函数激活，得到最终该层的输出该层的特征输出组成下一层的输入，重复上述单个网络层特征提取过程，最后一层的特征输出作为特征提取器最终输出的特征；

步骤2-4：分类器部分，包含两个相同结构的并行全连接层分类器，对于每个全连接层分类器，包含3个全连接层，对于前两个全连接层，每层之后加上BN层，并用Relu激活，最后一个全连接层，只加上softmax层；分类器把特征提取器提取的特征映射到标签空间，得到分类预测结果；两个分类器得到的分类预测结果都参与训练过程，并且两个分类器参数不共享；

步骤3：基于熵指导的可靠目标域样本选择方法；

步骤2构建的网络有两个分类器，因此一条图像数据会得到两个分类器输出p_j和q_i，即会得到两个熵，选用两者中较小的熵H_i来和预先设定的熵阈值λ进行对比，如式(3)所示，根据比较结果，将目标域训练数据D_t分为：不可靠的目标域无标记训练样本集合T₁和可靠的目标域样本集合T₂，即D_t＝T₁+T₂，具体规则如式(4)所示：

其中，p_i,j表示第一个分类器对第i个样本的输出向量中第j个分量，即预测为属于第j个类的概率，q_i,j表示第二个分类器对第i个样本的输出向量中第j个分量，即预测为属于第j个类的概率，C表示总的类别数目；

步骤4：双分支动态网络的对抗训练；

双分支动态网络的参数更新是利用反向传播算法求解式(5)到式(8)的子优化问题，实现网络的对抗训练，得到适应于目标域的最优参数；

第一部分：对于源域有标记数据，通过标准的分类交叉熵损失函数，有监督的训练网络，如式(5)所示：

其中，N^S表示当前批次训练数据中包含的源域样本个数，表示当前批次训练数据中第i条源域样本的真实类别标签，带上标S表示该变量属于源域；Φ₁,Φ₂和Ψ分别表示两个分类器参数和特征提取器参数；

第二部分：对不可靠的目标域样本集合T₁，通过式(6)使得两分类器对同一样本输出差异最大化：

其中，表示批次训练样本中包含的不可靠目标域样本个数，带上标T₁,T₂分别表示该变量属于不可靠的目标域训练样本集合和可靠的目标域样本集合；

第三部分：对不可靠的目标域样本集合T₁，通过式(7)使得两分类器对同一样本输出差异最小化：

第四部分：对基于熵指导挑选出的目标域可靠样本集合T₂，通过式(8)得到分类交叉熵损失指导网络训练：

其中，表示批次训练样本中包含的可靠目标域样本个数，带上标T₂表示该变量属于可靠的目标域训练样本集合；

在训练过程中不断增大熵阈值λ以使得更多可靠样本被选择，模型达到收敛时，对于目标域无标记样本的分类结果即为最终结果。