CN114863176A - 基于目标域移动机制的多源域自适应方法 - Google Patents

基于目标域移动机制的多源域自适应方法 Download PDF

Info

Publication number
CN114863176A
CN114863176A CN202210516703.4A CN202210516703A CN114863176A CN 114863176 A CN114863176 A CN 114863176A CN 202210516703 A CN202210516703 A CN 202210516703A CN 114863176 A CN114863176 A CN 114863176A
Authority
CN
China
Prior art keywords
domain
source domain
source
data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210516703.4A
Other languages
English (en)
Inventor
吴兰
王涵
李斌全
郭鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202210516703.4A priority Critical patent/CN114863176A/zh
Publication of CN114863176A publication Critical patent/CN114863176A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开基于目标域移动机制的多源域自适应方法，涉及分类技术领域，包括以下步骤：通过公共特征提取器对第一源域数据进行公共特征提取；通过第一源域特征提取器对第一源域数据进行第一源域局部自适应得到第一源域局部自适应数据；将第一源域局部自适应数据送入第一源域分类器获取第一源域目标域样本；对第一源域目标域样本和第二源域数据通过第二源域特征提取器提取第二源域网络进行第二源域局部自适应得到第二源域局部自适应数据；将第二源域局部自适应数据送入第二源域分类器获取第二源域目标域样本；将第三源域和第二源域目标域样本自适应输出目标域标签信息。本发明通过目标域的移动串行地与每一个源域进行局部域自适应，提高其分类精度。

Description

基于目标域移动机制的多源域自适应方法
技术领域
本发明涉及分类技术领域，具体为基于目标域移动机制的多源域自适应方法。
背景技术
迁移学习现在面临的主要问题是域间的概率分布具有很大的差异性。如何在这种域间概率分布不一致的情况下进行学习是迁移学习的一大挑战，域自适应可以有效缓解这一项挑战。现有的域自适应方法按照源域个数分类可以分为：单源域自适应和多源域自适应。
单源无监督域自适应只关注单一源域中的标签知识迁移到目标域的场景。现有的方法在单源场景中取得了一定的研究进展，如通过深度神经网络训练大量的源域标记数据和目标域未标记数据，明确地减少了域间差异，增强了样本特征地可迁移性；为了学习好的特征表示，提出迁移成分分析寻找这种表示；为了取得更好的对齐效果，提出了一种新的基于核的方法来利用许多视觉数据集固有的低维结构，缓解源域的训练分类器与目标域的应用分类器之间的严重不匹配；一种新的CNN架构来利用未标记和稀疏标记的目标域数据，同时对域不变性进行优化，以方便域迁移；用线性变换对源和目标分布的二阶统计量进行对齐；通过两个任务：1)对带有标签信息的源域数据进行分类；2)对无标记的目标域数据进行重建，从而能学习到它们的共享编码表示；在考虑不同样本权重的情况下，缩减源域和目标域中相关子域的分布差异。但现实场景中,找到唯一合适的源域进行迁移是困难的,我们通常需要访问多个源的数据。
多源无监督域自适应指通过学习多个源域的知识为目标域提供丰富、多视角的知识。单源场景与多源场景对比图如图1所示。目前的多源域自适应方法主要分为两类：一类是目标域通过聚合多个源的信息去学习泛化能力较强的分类器，通过设置每个源域的权重进行源域聚合，使得与目标域相似性较大的源域占比更大；通过注意力机制问题去设置源域的权重进行源域聚合；通过构造域之间的知识图进行域自适应。一类是将对抗思想引入到多源框架，通过对抗学习有效训练出目标域分类器。由于多个源间或源域与目标域之间的样本的不同容易产生类别迁移的问题，提出了一个深度网络(DCTN)来对抗多个源域之间的领域和类别迁移；提出了对抗性神经网络的有效学习策略，通过优化任务泛化边界来实现域适应；设计了一个以端到端的方式进行训练的一个多源对抗领域聚合网络解决多源框架下语义分割问题；对于来自多个源域的数据，运用循环一致的对抗性学习去进行处理；同时设置分支网络和指导网络将目标域与每个单源配对；提出一种基于生成对抗性网络的多源域适应方法实现图片到图片的翻译；提出了基于对抗性训练的多源无监督域适应方法对情绪进行分析；通过不断地学习源域样本，选取得到与目标分布最匹配的样本。随着机器学习的不断更新发展,不同的多源域自适应方法也随之出现。提出了一种具有两个对齐阶段的多源无监督域自适应方法；通过利用矩匹配对齐条件分布，同时对于没有标签信息的目标域使用伪标签；在单源场景下的域适应和多源场景下的知识蒸馏之间交替进行，实现域间迁移；提出了多源教师网络去解决多源域自适应问题；通过动态地调整源域和目标域特征分布的矩，从而实现多源和目标域之间的迁移；通过研究多个源与目标之间的不同距离和源样本与目标样本的不同相似性，将多源的知识迁移到目标域中。尽管这些多源域自适应方法取得了不错的效果，但是源域个数不断增加时，域间的数据分布差异性也随之增大，导致提取公共特征的困难性增大，使得现有的方法的模型难以取得较好的分类结果。
发明内容
本发明针对上述现有技术存在的不足，提供基于目标域移动机制的多源域自适应方法。
为了解决上述技术问题，本发明提供了如下的技术方案：
基于目标域移动机制的多源域自适应方法，包括以下步骤：
在目标域移动机制下的多源场景中，包括源域数据、公共特征提取器、源域特征提取器、源域分类器；
通过公共特征提取器对第一源域数据进行公共特征提取；
通过第一源域特征提取器对第一源域数据进行第一源域局部自适应得到第一源域局部自适应数据；
将第一源域局部自适应数据送入第一源域分类器获取第一源域目标域样本；
对第一源域目标域样本和第二源域数据通过第二源域特征提取器提取第二源域网络进行第二源域局部自适应得到第二源域局部自适应数据；
将第二源域局部自适应数据送入第二源域分类器获取第二源域目标域样本；
将第三源域和第二源域目标域样本自适应输出目标域标签信息。
作为本发明的进一步技术方案为，所述源域数据表示为：
Figure BDA0003639952610000041
指源域数据相应的标签信息；将目标域中的数据表示为：
Figure BDA0003639952610000042
将公共特征提取器表示为F,并为每个源域设置单独的特征提取器，可表示为：Hj，每个源域的分类器可表示为：Cj。
作为本发明的进一步技术方案为，所述通过公共特征提取器对第一源域数据进行公共特征提取；具体为：
所有域的样本经过公共特征提取器F后，A域和T域经过特定于A域的特征提取网络HA，进行局部域自适应，送入第一个源域的分类器CA得到此时的目标域样本
Figure BDA0003639952610000043
然后
Figure BDA0003639952610000044
和B域经过特定于B域的特征提取网络HB，进行局部域自适应，再经过B域的分类器CB输出此时的T域样本
Figure BDA0003639952610000045
最后C域和
Figure BDA0003639952610000046
进行域自适应以后进行输出目标域标签信息。
作为本发明的进一步技术方案为，所述将第一源域局部自适应数据送入第一源域分类器获取第一源域目标域样本，具体为：
各个源域中,通过公共特征提取器F得到的具有标签信息的各源域数据，将其送入到特定于各源域的特征提取器Hj进行分类器Cj训练；各源域分类损失
Figure BDA0003639952610000047
可表示为：
Figure BDA0003639952610000048
作为本发明的进一步技术方案为，还包括多域特征局部对齐，具体为：通过细粒度信息提取对特征局部对齐，设局部最大平均差异可表示为：
Figure BDA0003639952610000049
其中，
Figure BDA00036399526100000410
和
Figure BDA00036399526100000411
是
Figure BDA00036399526100000412
和Dt中的样本实例，p(c)和q(c)是两个域中第c个类别的数据分布；H表示的是是具有特征核κ的再生核希尔伯特空间(RKHS)；φ(·)表示的是将原始样本映射到再生核希尔伯特空间(RKHS)的特征映射；核κ表示的是
Figure BDA0003639952610000051
<·，·>表示的是向量的内积；
假设每个样本属于每个类别的权重为ωc，则公式(5)的无偏估计可以表示为：
Figure BDA0003639952610000052
其中，
Figure BDA0003639952610000053
表示的是第j个源域中第i个样本即
Figure BDA0003639952610000054
属于类别c的权重，源域样本使用真实标签作为one-hot向量进行计算；
Figure BDA0003639952610000055
表示样本
Figure BDA0003639952610000056
属于类别c的权重，目标域样本采用经深度神经网络训练得到的伪标签信息进行计算；每个样本的权重ωc,i可以表示为：
Figure BDA0003639952610000057
其中，yic指向量yi的第c个entry；
为简单计算φ(·)，因此公式(6)可以写为：
Figure BDA0003639952610000058
其中，ns表示源域中的标记样本，nt表示目标域中无标记样本，Zl指第l层的激活。
作为本发明的进一步技术方案为，还包括域间分类器对齐，通过前后两个源域对目标域的分类结果相减再取平均值，保证前后源域间对目标域具有相同的决策结果；其中，域间差异损失可以表示为：
Figure BDA0003639952610000061
其中，N表示源域的数量。
作为本发明的进一步技术方案为，所述源域分类器还包括权重因子自适应调节，其中权重因子自适应调节具体为：利用源域分类器输出结果使模型自适应设置权重因子达到平衡样本的效果，其中，权重因子公示为：
Figure BDA0003639952610000062
其中，
Figure BDA0003639952610000063
指源域分类器结果的均值，yi指源域分类器的分类结果。
作为本发明的进一步技术方案为，所述源域数据包括损失函数，所述损失函数包括源域分类损失和局部最大平均差异损失和域间差异损失，假设第一个源域D1 s中的特定于域的特征提取器是H1,分类器为C1.其中第一个源域的损失函数可以表示为：
Figure BDA0003639952610000064
第二个源域D2 s中的特定于域的特征提取器是H2,分类器为C2.第二个源域的损失函数可以表示为；
Figure BDA0003639952610000065
其中，
Figure BDA0003639952610000066
指第二个源域与经过第一个源域迁移以后的目标域之间的局部最大平均差异，ldis(x；H1,H2,C1,C2)指第一个源域与第二个源域之间的域间差异。
第n个源域Dn s中的特定于域的特征提取器是Hn,分类器为Cn.则第n个源域的损失函数可以表示为；
Figure BDA0003639952610000071
其中，
Figure BDA0003639952610000072
指第n个源域与经过前n-1个源域迁移后的目标域之间的最大平均差异，ldis(x；H1,...Hn,C1,...Cn)指第n个源域和前n-1个源域之间的域间差异损失；
面对样本不均衡的场景，添加权重因子以后的总体优化损失函数可表示为：
Figure BDA0003639952610000073
本发明的有益效果是：
1、本发明提出了一种目标域移动机制下的多源域自适应方法，通过目标域的移动串行地与每一个源域进行局部域自适应，并输出最终的目标域分类器结果，提高其分类精度。
2、通过域间样本分布差异性得到源域重要性的描述度量标准，并以此标准实现目标域的移动，避免了目标域不同顺序的串行移动下迁移性能差异性较大的问题。
3、通过样本权重因子的自适应调节策略，有效平衡了样本，使得模型对丰富类和稀有类更加公平,从而提高分类精度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明提出的单源场景与多源场景结构图；
图2为本发明提出的基于目标域移动机制的多源域自适应方法流程图；
图3为本发明提出的基于目标域移动机制的多源域自适应框架结构图；
图4为本发明提出的总体损失函数框架结构图；
图5a为发明实施例一数据集样本样例图；
图5b为发明实施例一数据集样本样例图；
图5c为发明实施例一数据集样本样例图；
图6a是各部分损失对图像CLEF-DA数据集的分析图；
图6b是各部分损失对Office-31数据集的分析图；
图6c是各部分损失对of的性能分析大厦家庭数据集图；
图7a为目标域运动机制下最优运动顺序ImageCLEF-DA数据集分析图；
图7b为目标域运动机制下最优运动顺序Office-31数据集分析图；
图7c为目标域运动机制下最优运动顺序Office-Home数据集图；
图8a为样本权重因子自适应调整策略验证ImageCLEF-DA数据集分析图；
图8b为样本权重因子自适应调整策略验证Office-31数据集分析图；
图8c为样本权重因子自适应调整策略验证Office-Home数据集图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明通过源域重要性的描述度量标准去判断目标域的移动顺序，解决了目标域不同移动顺序下分类性能差异较大的问题；引入局部域自适应思想到多源场景下，解决了现有全局分布对齐中迁移性能不高的问题；设置权重因子解决样本不均衡下分类精度较低的问题。
对于两个不同分布的样本，通过寻找在样本空间上的连续函数f，求解出样本具有不同分布时在连续函数f上的函数值的均值，然后把两个均值作差可以得到两个分布对应于连续函数的均值差异。寻找一个连续函数使得这个均值差异有最大值，就得到了MMD。取MMD作为检验统计量，从而判断两个分布是否相同。如果这个值足够小，就认为两个分布相同，否则就认为它们不相同。再生核希尔伯特空间(RKHS)中，每个连续函数对应一个特征映射。基于特征映射，在p和q两种分布平均嵌入存在的条件下，MMD的平方可以表示如下：
Figure BDA0003639952610000091
在给定了核函数之后，这个MMD的平方可以表示：
MMD2[f,p,q]＝Ex,x'[k(x,x')]-2Ex,y[k(x,y)]+Ex,y'[k(x,y')] (2)
其中，x和x'分别表示两个服从于p分布的随机变量，y和y'分别表示服从q分布的随机变量。对于上面的一个统计估计可以表示为：
Figure BDA0003639952610000092
参见图2，基于目标域移动机制的多源域自适应方法，包括以下步骤：
在目标域移动机制下的多源场景中，包括源域数据、公共特征提取器、源域特征提取器、源域分类器；
步骤101，通过公共特征提取器对第一源域数据进行公共特征提取；
步骤102，通过第一源域特征提取器对第一源域数据进行第一源域局部自适应；
步骤103，将第一源域局部自适应送入第一源域分类器获取第一源域目标域样本；
步骤104，对第一源域目标域样本和第二源域数据通过第二源域特征提取器提取第二源域网络进行第二源域局部自适应；
步骤105，将第二源域局部自适应数据送入第二源域分类器获取第二源域目标域样本；
步骤106，将第三源域和第二源域目标域样本自适应输出目标域标签信息。
本发明实施例中，在目标域移动机制下的多源场景中，将源域数据表示为：
Figure BDA0003639952610000101
Figure BDA0003639952610000102
指源域数据相应的标签信息；将目标域中的数据表示为：
Figure BDA0003639952610000103
将公共特征提取器表示为F,并为每个源域设置单独的特征提取器，可表示为：Hj，每个源域的分类器可表示为：Cj。
本发明的整体框架如图3所示。首先，所有域的样本经过公共特征提取器F后，A域和T域经过特定于A域的特征提取网络HA，进行局部域自适应，送入第一个源域的分类器CA得到此时的目标域样本
Figure BDA0003639952610000104
然后
Figure BDA0003639952610000105
和B域经过特定于B域的特征提取网络HB，进行局部域自适应，再经过B域的分类器CB输出此时的T域样本
Figure BDA0003639952610000106
最后C域和
Figure BDA0003639952610000107
进行域自适应以后进行输出目标域标签信息。
进一步地，所述源域分类器，具体为：
各个源域中,通过公共特征提取器F得到的具有标签信息的各源域数据，将其送入到特定于各源域的特征提取器Hj进行分类器Cj训练；各源域分类损失
Figure BDA0003639952610000111
可表示为：
Figure BDA0003639952610000112
进一步地，还包括多域特征局部对齐，通过细粒度信息提取对特征局部对齐，设局部最大平均差异可表示为：
Figure BDA0003639952610000113
其中，
Figure BDA0003639952610000114
和
Figure BDA0003639952610000115
是
Figure BDA0003639952610000116
和Dt中的样本实例，p(c)和q(c)是两个域中第c个类别的数据分布。H表示的是是具有特征核κ的再生核希尔伯特空间(RKHS)；φ(·)表示的是将原始样本映射到再生核希尔伯特空间(RKHS)的特征映射；核κ表示的是
Figure BDA0003639952610000117
<·，·>表示的是向量的内积。
假设每个样本属于每个类别的权重为ωc，则公式(5)的无偏估计可以表示为：
Figure BDA0003639952610000118
其中，
Figure BDA0003639952610000119
表示的是第j个源域中第i个样本即
Figure BDA00036399526100001110
属于类别c的权重，源域样本使用真实标签作为one-hot向量进行计算；
Figure BDA00036399526100001111
表示样本
Figure BDA00036399526100001112
属于类别c的权重，目标域样本采用经深度神经网络训练得到的伪标签信息进行计算；每个样本的权重ωc,i可以表示为：
Figure BDA00036399526100001113
其中，yic指向量yi的第c个entry；
为简单计算φ(·)，因此公式(6)可以写为：
Figure BDA0003639952610000121
其中，ns表示源域中的标记样本，nt表示的是目标域中无标记样本，Zl指第l层的激活。
全局分布对齐的主要问题是模型经过对齐训练后难以识别出样本间的不相关性。为了解决全局分布对齐导致的不相关数据过于接近，进而影响迁移性能的问题，本文基于细粒度思想，提出了多域特征局部对齐法则。多域局部特征对齐法在各类别中挖掘大量的细粒度信息，学习到更多可迁移特征，不仅减少了域间间隙，同时也减少了域内间隙，提高域间的迁移性能。
进一步地，还包括域间分类器对齐，通过前后两个源域对目标域的分类结果相减再取平均值，保证前后源域间对目标域具有相同的决策结果。
其中，域间差异损失可以表示为：
Figure BDA0003639952610000122
其中，N表示的是源域的数量。
由于目标域移动机制下会导致各源域之间决策边界的分类差异，从而影响目标域的分类性能。为此，本文进行了域间分类器的对齐，通过前后两个源域对目标域的分类结果相减再取平均值，保证前后源域间对目标域具有相同的决策结果。
现有的方法大多并没有探讨在多源框架中类别不均衡的问题。训练模型侧重样本数目较多的类别，而“轻视”样本数目较少类别，导致测试数据上的泛化能力较差。为此，基于少样本大权重的原则，本文提出了样本权重因子的自适应调节策略，利用源域分类器输出结果使模型自适应设置权重因子达到平衡样本的效果，进一步提高模型的迁移性能。其中，权重因子公示为：
Figure BDA0003639952610000131
其中，
Figure BDA0003639952610000132
指源域分类器结果的均值，yi指源域分类器的分类结果。
参见图4，为本发明提出的整体损失函数框架结构图，假设第一个源域D1 s中的特定于域的特征提取器是H1,分类器为C1.第一个源域的损失函数由源域分类损失以及局部最大平均差异损失组成，此后的源域由三部分组成：分类损失、局部最大平均差异损失以及以上所有域间差异损失。第一个源域的损失函数可以表示为：
Figure BDA0003639952610000133
第二个源域D2 s中的特定于域的特征提取器是H2,分类器为C2.第二个源域的损失函数可以表示为；
Figure BDA0003639952610000134
其中，
Figure BDA0003639952610000135
指第二个源域与经过第一个源域迁移以后的目标域之间的局部最大平均差异，ldis(x；H1,H2,C1,C2)指第一个源域与第二个源域之间的域间差异。
第n个源域Dn s中的特定于域的特征提取器是Hn,分类器为Cn.则第n个源域的损失函数可以表示为；
Figure BDA0003639952610000136
其中，
Figure BDA0003639952610000141
指第n个源域与经过前n-1个源域迁移后的目标域之间的最大平均差异，ldis(x；H1,...Hn,C1,...Cn)指第n个源域和前n-1个源域之间的域间差异损失。
面对样本不均衡的场景，添加权重因子以后的总体优化损失函数可表示为：
Figure BDA0003639952610000142
本发明使用三个广泛运用的数据集，即Office-31，Imagine CLEF-DA和Office-Home。三个数据集的样本如图5a、5b、5c所示。Office-31数据集由4652幅图像组成，包含A(Amazon)、D(Dslr)、W(Webcam)三个领域，每个领域中包含31个类别。Imagine CLEF-DA来自图像CLEF2014域适应挑战，它包含600幅图像，由I(Image NetILSVRC2012)，P(PascalVOC2012)，C(Caltech-256)三个域组成，每个域包含12个类别(飞机、自行车，鸟，船，瓶子，公共汽车，汽车，狗，马，监视器，摩托车和人)。Office-Home由15588幅图像组成，比Office-31和Image CLEF-DA大得多，它由四个不同领域的图像组成：艺术图像(A)、剪辑艺术(C)、产品图像(P)和真实世界图像(R)，每个域中包含65个类别。
实验设置：本文主要从三个方面对模型性能进行了分析。1)与现有主流方法进行精度对比分析：在Image CLEF-DA数据集中，设置了三组实验：IC--P、IP--C和PC--I,分别与Revgard、DAN、RTN、DCTN几个主流方法进行了对比分析；在office-31数据集中，设置了三组实验：AW--D、AD--W和DW--A,分别与TCA、GFK、DDC、DRCN、RevGard、DAN、RTN、DCTN几个主流方法进行了对比分析；在office-home数据集中，设置了四组实验：CPR--A、APR--C、ACR--P和ACP--R,分别与ReaNet、DDC、RevGard、DAN、D-CORAL几个主流方法进行了对比分析。2)对目标域不同移动顺序下分类精度差异对比分析。在Image CLEF-DA数据集中，设置了六组实验：IC--P、CI--P、IP--C、PI--C、CP--I和PC--I；在Office-31数据集中，设置了四组实验：AW--D、WA--D、AD--W和DA--W；在Office-Home数据集中，设置了三组实验：ACP--R、CAP--R、PCA--R。3)在多源框架下的样本不均衡场景中，对添加权重因子前后的分类精度进行对比分析，所设置任务均与2)相同。
采用Pytorch作为深度神经网络的编程框架，使用resnet50作为公共特征提取层，为每个源域设计一个子特征提取器。图片输入大小为224*224，初始学习率设置为0.01，batch size均为16，同时使用SGD优化器。
实验在三个数据集中与现有的主流方法进行了对比分析，实验结果分别如表1，表2，表3所示。其中，Single best代表单源域到单目标域的迁移，Source combine代表将源域数据聚合在一起向目标域迁移，Multi-source指现有的主流方法。从三个表格中可看出，源域聚合下的分类精度高于单源迁移，是由于多源域聚合下会提取到更多的可迁移特征，现有的主流方法精度又有所提高，是因为多源域聚合下，域间的分布差异性会导致提取域不变特征困难，影响分类精度，且本文的算法精度最高。实验结果表明：本文方法所提出的模型的有效性，它能够在目标域的移动机制下选取最优迁移顺序，并且捕获更多细粒度信息，减少了域间类别间隙，提高了目标域的分类器的泛化能力和分类性能。
表1Image CLEF-DA数据集上分类精度对比分析
Figure BDA0003639952610000161
表2：office-31数据集上分类精度对比分析
Figure BDA0003639952610000162
表3：office-home数据集上分类精度对比分析
Figure BDA0003639952610000163
在Image CLEF-DA数据集上，设置两种不同情况，一种是将源域和目标域数据同时减少至340张图片，一种是只将源域数据减少至340张图片，并与原始的分类精度以及现有多源域自适应方法进行了对比分析，实验结果表2所示。从表格中可以观察到，样本量减少时，本文所提的算法精度比现有的主流方法仍有所提高。实验结果表明：模型在训练中学习到了更多的可迁移特征提升了分类性能。
表4域间\内数量减少时，Image CLEF-DA数据集上分类性能对比分析
Figure BDA0003639952610000171
本文对各部分损失函数对模型的影响进行了分析，结果如图6a、6b、6c所示。图6a是对图像CLEF-DA数据集的分析图，图6b是对Office-31数据集的分析图，图6c是对of的性能分析大厦家庭数据集图；三种数据集中，本文所提方法的分类精度最高，其余缺失损失函数的分类精度相对较低。例如：在IC-P这一组任务中，本文算法的精度比无域间损失时的精度高2.5％，比无局部均值差异时高2.2％，比二者损失均无时高2.7％。从以上对比结果可以看出，每一组任务中，本文所提方法的精度相对较高，证明各部分损失函数对模型优化的有效性。局部最大平均差异是对源域和目标域进行类别对齐，域间差异损失是对各源域决策边界进行优化，二者均不存在时的精度最低，此结果表明：局部最大平均差异与域间损失对对齐以及优化的有效性，缺失两种损失函数会对模型性能造成较差的影响。
本发明实施例中，对全局对齐以及局部对齐对分类精度的影响进行了分析，结果如表5所示。OURlmmd代表本文使用的是全局对齐，OUR代表模型使用的是局部对齐。从结果中可以看出，三种数据集下，局部对齐下的分类精度最高。结果表明：全局对齐主要集中于源域和目标域的全局分布对齐，而没有考虑不同域中的同一类别中之间的关系。但全局对齐可能会导致一些不相关的数据过于接近，反而降低分类精度。同一类别中样本的相关性更强，因此细粒度信息的变多会使得分类精度提高。
表5ImageCLEF-DA数据集上全局对齐的比较
Figure BDA0003639952610000181
表6Office-31数据集上全局对齐的比较
Figure BDA0003639952610000182
表7Office-Home数据集上全局对齐的比较
Figure BDA0003639952610000183
本发明实施例中，在移动机制下的多源域自适应场景中，通过改变目标域移动顺序，对源域数量和域间数据分布差异性对模型的分类性能的影响进行分析。其中，在office-home数据集中，A域有2492个样本，C域有4430个样本，P域有4504个样本，R域有4422个样本，为了能够更清晰地表示出对比效果，将A域删减至888个样本。在0ffice-31数据集中，A域有2817个样本，D域有498个样本，W域有795个样本。在Image CLEF-DA数据集上，将各域内样本数量进行了删改，以创造出样本不均衡的条件，并对添加权重因子前后的性能对比分析。P域将前四个类别中样本量均删减至10；C域内将中间四个类别样本量删减至10；I域内将后四个类别中样本量均删减至10。
目标域运动机制下最优运动顺序在三个数据集上的验证参见图7a、图7b、图7c，其中，图7a为ImageCLEF-DA数据集分析图，图7b为Office-31数据集分析图，图7c为Office-Home数据集图。从图7(a)中，可以看出，源域样本数量为少-多-多时，准确率最高；源域样本数量为多-少-多时，准确率较低；源域样本数量为多-多-少时，准确率最低。从图7(b)中，可得到：当源域和目标域数据分布差异较大时且位于最后一个移动顺序下，分类精度较低；当源域和目标域数据分布差异较小时且位于最后一个移动顺序时，分类精度相对较高。从图7(c)中，可得到：六组任务中，各个任务准确率大致相同。结果表明：本文将域间数量差异和域间分布差异当作两个变量对目标域移动顺序进行描述。分类器最终输出与目标域的最后移动息息相关，随着源域样本的不断减少，模型学习到的特征也随之减少，导致分类准确率最低.所以当数量差异较大时，样本量越多的源域顺序排列靠后。目标域在最终移动时若域间差异性较大，会导致分类性能较差，故当分布差异较大时，与目标域差异性较小的源域顺序排列靠后。当数量差异与分布差异均较小时，目标域可随意移动。
本发明在移动机制下的多源域自适应场景中，设置样本不均衡的条件，并对添加权重前后的分类性能进行对比分析。其中，各个数据集样本数量与目标域移动顺序所描述的一致。其中，图8a为ImageCLEF-DA数据集分析图，图8b为Office-31数据集分析图，图8c为Office-Home数据集性能分析图，从图8a、图8b、图8c中可以看出，加入权重后的样本分类精度均大于没有权重时的精度。实验结果表明：样本不均衡将导致样本量少的类别所包含的特征过少，并很难从中提取规律，即使得到分类模型，也容易产生过度依赖数量较多的的样本而导致过拟合问题。当模型应用到新的数据上时，模型的性能达不到理想效果。而在使用本文提出的权重因子的自适应调节策略后，有效地平衡了样本，使得模型对丰富类和稀有类更加公平,解决了特征较少时难以提取规律的问题，从而提高分类精度。
本发明针对域间数据分布差异较大导致公共特征提取困难从而造成分类精度较差的问题，本文提出了一种目标域移动机制下的多源域自适应方法。首先，通过源域重要性的描述度量标准去判断目标域的移动顺序，解决了目标域不同移动顺序下分类性能差异较大的问题；其次，引入局部域自适应思想到多源场景下，解决了现有全局分布对齐中迁移性能不高的问题；再次，设置权重因子解决样本不均衡下分类精度较低的问题。通过实验表明在三种数据集上与现有的主流方法相比均取得了良好的效果。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于目标域移动机制的多源域自适应方法，其特征在于，包括以下步骤：
在目标域移动机制下的多源场景中，包括源域数据、公共特征提取器、源域特征提取器、源域分类器；
通过公共特征提取器对第一源域数据进行公共特征提取；
通过第一源域特征提取器对第一源域数据进行第一源域局部自适应得到第一源域局部自适应数据；
将第一源域局部自适应数据送入第一源域分类器获取第一源域目标域样本；
对第一源域目标域样本和第二源域数据通过第二源域特征提取器提取第二源域网络进行第二源域局部自适应得到第二源域局部自适应数据；
将第二源域局部自适应数据送入第二源域分类器获取第二源域目标域样本；
将第三源域和第二源域目标域样本自适应输出目标域标签信息。
2.根据权利要求1所述的方法，其特征在于，所述源域数据表示为：
Figure FDA0003639952600000011
Figure FDA0003639952600000012
指源域数据相应的标签信息；将目标域中的数据表示为：
Figure FDA0003639952600000013
将公共特征提取器表示为F,并为每个源域设置单独的特征提取器，可表示为：Hj，每个源域的分类器可表示为：Cj。
3.根据权利要求1所述的方法，其特征在于，所述通过公共特征提取器对第一源域数据进行公共特征提取；具体为：
所有域的样本经过公共特征提取器F后，A域和T域经过特定于A域的特征提取网络HA，进行局部域自适应，送入第一个源域的分类器CA得到此时的目标域样本
Figure FDA0003639952600000021
然后
Figure FDA0003639952600000022
和B域经过特定于B域的特征提取网络HB，进行局部域自适应，再经过B域的分类器CB输出此时的T域样本
Figure FDA0003639952600000023
最后C域和
Figure FDA0003639952600000024
进行域自适应以后进行输出目标域标签信息。
4.根据权利要求1所述的方法，其特征在于，所述将第一源域局部自适应数据送入第一源域分类器获取第一源域目标域样本，具体为：
各个源域中,通过公共特征提取器F得到的具有标签信息的各源域数据，将其送入到特定于各源域的特征提取器Hj进行分类器Cj训练；各源域分类损失
Figure FDA0003639952600000025
可表示为：
Figure FDA0003639952600000026
5.根据权利要求1所述的方法，其特征在于，还包括多域特征局部对齐，具体为：通过细粒度信息提取对特征局部对齐，设局部最大平均差异可表示为：
Figure FDA0003639952600000027
其中，
Figure FDA0003639952600000028
和
Figure FDA0003639952600000029
是
Figure FDA00036399526000000210
和Dt中的样本实例，p(c)和q(c)是两个域中第c个类别的数据分布；H表示的是是具有特征核κ的再生核希尔伯特空间(RKHS)；φ(·)表示的是将原始样本映射到再生核希尔伯特空间(RKHS)的特征映射；核κ表示的是
Figure FDA00036399526000000211
<·，·>表示的是向量的内积；
假设每个样本属于每个类别的权重为ωc，则公式(5)的无偏估计可以表示为：
Figure FDA00036399526000000212
其中，
Figure FDA0003639952600000031
表示的是第j个源域中第i个样本即
Figure FDA0003639952600000032
属于类别c的权重，源域样本使用真实标签作为one-hot向量进行计算；
Figure FDA0003639952600000033
表示样本
Figure FDA0003639952600000034
属于类别c的权重，目标域样本采用经深度神经网络训练得到的伪标签信息进行计算；每个样本的权重ωc,i可以表示为：
Figure FDA0003639952600000035
其中，yic指向量yi的第c个entry；
为简单计算φ(·)，因此公式(6)可以写为：
Figure FDA0003639952600000036
其中，ns表示源域中的标记样本，nt表示目标域中无标记样本，Zl指第l层的激活。
6.根据权利要求1所述的方法，其特征在于，还包括域间分类器对齐，通过前后两个源域对目标域的分类结果相减再取平均值，保证前后源域间对目标域具有相同的决策结果；其中，域间差异损失可以表示为：
Figure FDA0003639952600000037
其中，N表示源域的数量。
7.根据权利要求1所述的方法，其特征在于，所述源域分类器还包括权重因子自适应调节，其中权重因子自适应调节具体为：利用源域分类器输出结果使模型自适应设置权重因子达到平衡样本的效果，其中，权重因子公示为：
Figure FDA0003639952600000038
其中，
Figure FDA0003639952600000041
指源域分类器结果的均值，yi指源域分类器的分类结果。
8.根据权利要求1所述的方法，其特征在于，所述源域数据包括损失函数，所述损失函数包括源域分类损失和局部最大平均差异损失和域间差异损失，假设第一个源域D1 s中的特定于域的特征提取器是H1,分类器为C1.其中第一个源域的损失函数可以表示为：
Figure FDA0003639952600000042
第二个源域D2 s中的特定于域的特征提取器是H2,分类器为C2.第二个源域的损失函数可以表示为；
Figure FDA0003639952600000043
其中，
Figure FDA0003639952600000044
指第二个源域与经过第一个源域迁移以后的目标域之间的局部最大平均差异，ldis(x；H1,H2,C1,C2)指第一个源域与第二个源域之间的域间差异。
第n个源域Dn s中的特定于域的特征提取器是Hn,分类器为Cn.则第n个源域的损失函数可以表示为；
Figure FDA0003639952600000045
其中，
Figure FDA0003639952600000046
指第n个源域与经过前n-1个源域迁移后的目标域之间的最大平均差异，ldis(x；H1,...Hn,C1,...Cn)指第n个源域和前n-1个源域之间的域间差异损失；
面对样本不均衡的场景，添加权重因子以后的总体优化损失函数可表示为：
Figure FDA0003639952600000051
CN202210516703.4A 2022-05-12 2022-05-12 基于目标域移动机制的多源域自适应方法 Pending CN114863176A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210516703.4A CN114863176A (zh) 2022-05-12 2022-05-12 基于目标域移动机制的多源域自适应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210516703.4A CN114863176A (zh) 2022-05-12 2022-05-12 基于目标域移动机制的多源域自适应方法

Publications (1)

Publication Number Publication Date
CN114863176A true CN114863176A (zh) 2022-08-05

Family

ID=82638188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210516703.4A Pending CN114863176A (zh) 2022-05-12 2022-05-12 基于目标域移动机制的多源域自适应方法

Country Status (1)

Country Link
CN (1) CN114863176A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304905A (zh) * 2023-02-03 2023-06-23 中国人民解放军92942部队 一种在多负载工况下的永磁同步电机退磁故障诊断方法
CN116738299A (zh) * 2023-08-16 2023-09-12 西南交通大学 一种高速列车蛇行状态识别与峰值预测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304905A (zh) * 2023-02-03 2023-06-23 中国人民解放军92942部队 一种在多负载工况下的永磁同步电机退磁故障诊断方法
CN116304905B (zh) * 2023-02-03 2024-01-23 中国人民解放军92942部队 一种在多负载工况下的永磁同步电机退磁故障诊断方法
CN116738299A (zh) * 2023-08-16 2023-09-12 西南交通大学 一种高速列车蛇行状态识别与峰值预测方法
CN116738299B (zh) * 2023-08-16 2023-10-20 西南交通大学 一种高速列车蛇行状态识别与峰值预测方法

Similar Documents

Publication Publication Date Title
Shu et al. Transferable curriculum for weakly-supervised domain adaptation
Kim et al. Attract, perturb, and explore: Learning a feature alignment network for semi-supervised domain adaptation
CN110837850B (zh) 一种基于对抗学习损失函数的无监督域适应方法
Qi et al. A novel unsupervised camera-aware domain adaptation framework for person re-identification
Shen et al. Wasserstein distance guided representation learning for domain adaptation
CN110321926B (zh) 一种基于深度残差修正网络的迁移方法及系统
Bergamo et al. Exploiting weakly-labeled web images to improve object classification: a domain adaptation approach
CN112446423B (zh) 一种基于迁移学习的快速混合高阶注意力域对抗网络的方法
CN110956185A (zh) 一种图像显著目标的检测方法
WO2020114378A1 (zh) 视频水印的识别方法、装置、设备及存储介质
Ding et al. Robust multi-view representation: A unified perspective from multi-view learning to domain adaption
CN113420775B (zh) 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法
CN114863176A (zh) 基于目标域移动机制的多源域自适应方法
CN110555060A (zh) 基于成对样本匹配的迁移学习方法
CN113076994B (zh) 一种开集域自适应图像分类方法及系统
CN111783521B (zh) 基于低秩先验引导的域不变信息分离的行人重识别方法
CN111126464A (zh) 一种基于无监督域对抗领域适应的图像分类方法
CN110598018A (zh) 一种基于协同注意力的草图图像检索方法
Wu et al. Dual adversarial co-learning for multi-domain text classification
CN110659663A (zh) 一种无监督的双向重建领域自适应方法
CN113378981B (zh) 基于域适应的噪音场景图像分类方法及系统
CN116824216A (zh) 一种无源无监督域适应图像分类方法
Zhang et al. Learning robust shape-based features for domain generalization
CN115761408A (zh) 一种基于知识蒸馏的联邦域适应方法及系统
CN113011523A (zh) 一种基于分布对抗的无监督深度领域适应方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination