CN114444374A - 一种基于相似性度量的多源到多目标域自适应的方法 - Google Patents
一种基于相似性度量的多源到多目标域自适应的方法 Download PDFInfo
- Publication number
- CN114444374A CN114444374A CN202111430388.5A CN202111430388A CN114444374A CN 114444374 A CN114444374 A CN 114444374A CN 202111430388 A CN202111430388 A CN 202111430388A CN 114444374 A CN114444374 A CN 114444374A
- Authority
- CN
- China
- Prior art keywords
- domain
- source
- target
- similarity
- domains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000009826 distribution Methods 0.000 claims abstract description 48
- 238000011524 similarity measure Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000013508 migration Methods 0.000 claims description 35
- 230000005012 migration Effects 0.000 claims description 35
- 230000006978 adaptation Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 24
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 8
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000004931 aggregating effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000006116 polymerization reaction Methods 0.000 description 3
- 238000010835 comparative analysis Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000013140 knowledge distillation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/06—Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种自适应方法，尤其为一种基于相似性度量的多源到多目标域自适应的方法，包括相似性度量、域间对齐以及互学习；所述相似性度量为：各域数据经过公共特征提取器以后，在送入到特定于源域的特征提取层，根据源域和目标域的任务及分布间的相似性得到可迁移性较强的源域；所述域间对齐为得到的源域与目标域进行类别对齐；所述互学习为以所提取的特征为对象，在源域间、目标域间进行相互学习对模型进行优化，本发明对多个源域与目标域进行相似性度量得到可迁移源域,并实施域间互学习以对模型对齐进行优化。
Description
技术领域
本发明涉及一种自适应方法，尤其是一种基于相似性度量的多源到多目标域自适应的方法。
背景技术
迁移学习是指利用数据和领域之间存在的相似性关系，把之前学习到的知识，应用于新的未知领域。迁移学习的主要挑战是找到新领域和旧领域之间的相似性，然后可以顺利地实现知识的迁移。域自适应可以有效缓解这一主要挑战，且根据域数量的不同，可以分为单源域自适应、多源域自适应、多目标域自适应和多源到多目标域自适应。
现有的大多数方法均是在单源场景下实现的,并都取得了不错的研究进展。单源无监督域自适应中，通过学习两个域的域不变特征，将含有标签信息的单个源域分类器推广到没有标签信息的目标域。如：LONG M,CAO Y,WANG J,et al.Learning transferablefeatures with deep adaptation networks[C]//International conference onmachine learning.PMLR,2015:97-105.将所有任务特定层的隐藏表示嵌入到一个再生的核希尔伯特空间中，其中不同域分布的平均嵌入可以显式地匹配，利用最优多核选择方法进一步减少了域差异。TZENG E,HOFFMAN J,SAENKO K,et al.Adversarialdiscriminative domain adaptation[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2017:7167-7176.提出了一个不附带条件权重共享和GAN损失的对抗域自适应框架去解决域移位问题；GANIN Y,LEMPITSKYV.Unsupervised domain adaptation by backpropagation[C]//Internationalconference on machine learning.PMLR,2015:1180-1189.提出了一种新的深度体系结构域适应方法，可以训练来自源域的大量标记数据和来自目标域的大量未标记数据；LONG M,ZHU H,WANG J,et al.Deep transfer learning with joint adaptation networks[C]//International conference on machine learning.PMLR,2017:2208-2217.通过基于联合最大均值差异(JMMD)准则来调整多个特定领域层的联合分布来学习迁移网络；SAITO K,WATANABE K,USHIKU Y,et al.Maximum classifier discrepancy for unsuperviseddomain adaptation[C]//Proceedings of the IEEE conference on computer visionand pattern re通过利用特定于任务的决策边界来调整源的分布和目标的分布，大限度地提高两个分类器输出之间的差异，以检测出非源支持的目标样本。
多源无监督域自适应主要有两种方法:一种是通过聚合多个域的信息对目标域进行正确分类。Wen,R Greiner,Schuurmans D,Domain aggregation networks for multi-source domain adaptation,in:International Conference on Machine Learning,PMLR,2020,pp.10214-10224在训练过程中聚合多个域的同时有效地调整每个源域的权重,以确保相关域在适应中得到更多的重视；X Cui,D Bollegala,Multi-source Attentionfor Unsupervised Domain Adaptation,arXiv preprint arXiv:2004.06608.将源选择建模视为一个注意学习问题,学习不同源域的权重,用于聚合特定于源的模型；H Wang,M Xu,B Ni,et al,Learning to Combine:Knowledge Aggregation for Multi-SourceDomainAdaptation,in:European Conference on Computer Vision.Springer,Cham,2020,pp.727-744.在多个域的原型上构造一个知识图,以实现语义相邻表示之间的信息传播。一种是将对抗域自适应引入多源场景下。R Xu,Z Chen,W Zuo,et al,Deep cocktailnetwork:Multi-source unsupervised domain adaptation with category shift,in:Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,2018,pp.3964-3973提出了一个深度网络(DCTN)来对抗多个来源之间的领域和类别转移；H Zhao,S Zhang,G Wu,et al,Adversarial multiple source domainadaptation,Advances in neural information processing systems,31(2018)8559-8570.提出了对抗性神经网络的有效学习策略；S Zhao,B Li,X Yue,et al,Multi-sourcedomain adaptation for semantic segmentation,in:Advances in Neural InformationProcessing Systems,2019,pp.7287-7300.设计了一个多源对抗领域聚合网络,以端到端的方式进行训练；C Lin,S Zhao,L Meng,et al,Multi-source domain adaptation forvisual sentiment classification,in:Proceedings of the AAAI Conference onArtificial Intelligence,34(03)(2020)2661-2668.通过循环一致的对抗性学习去处理来自多个源域的数据,并学会找到一个统一的情感潜在空间。Z Li,Z Zhao,Y Guo,H Shen,J Ye,Mutual Learning Network for Multi-Source Domain Adaptation,arXivpreprint arXiv:2003.12944.将目标域与每个单源配对,以训练条件对抗性域自适应网络作为分支网络,同时以组合多源域和目标域的对抗性自适应网络作为指导网络；S Roy,ASiarohin,E Sangineto,et al,TriGAN:Image-to-Image Translation for Multi-SourceDomain
Adaptation,arXiv preprint arXiv:2004.08769.提出一种基于生成对抗性网络的多源域适应方法实现图片到图片的翻译；Y Dai,J Liu,X-C Ren,Z-L Xu,AdversarialTraining Based Multi-Source Unsupervised Domain Adaptation for SentimentAnalysis,arXiv preprint arXiv:2006.05602.提出了基于对抗性训练的多源无监督域适应情绪分析方法；L Yang,Y Balaji,S-N Lim,A Shrivastava,Curriculum Manager forSource Selection in Multi-Source Domain Adaptation,arXiv preprint arXiv:2007.01261.提出了一种对抗性代理,用于学习源样本的动态课程,以选择最适合的样本,以便与目标特征分布相一致。随着多源迁移的不断发展,也有一些不同于以上两种的迁移方法。Y Zhu,F Zhuang,D Wang,Aligning domain-specific distribution andclassifier for cross-domain classification from multiple sources,in:Proceedings of the AAAI Conference on Artificial Intelligence,33(2019)5989-5996.提出了一种具有两个对齐阶段的多源无监督域自适应方法；S Lee,H Jeon,U Kang,Ensemble Multi-Source Domain Adaptation with Pseudolabels,arXivpreprintarXiv:2009.14248.提出了一种伪标记集多源域适应框架,利用基于标签的矩匹配来对齐条件分布,同时对不可用目标标签使用伪标签；[19]D Kothandaraman,R Chandra,DManocha,BoMuDA:Boundless Multi-Source Domain Adaptive Segmentation inUnconstrained Environments,arXiv preprint arXiv:2010.03523.在单源域适应和多源蒸馏之间交替进行,也在建立临时成本函数和优化之间交替进行；O Amosy,G Chechik,Teacher-Student Consistency For Multi-Source Domain Adaptation,arXiv preprintarXiv:2010.10054.提出了多源教师网络去解决多源问题；X Peng,Q Bai,X Xia,et al,Moment matching for multi-source domain adaptation,in:Proceedings of the IEEEInternational Conference on Computer Vision,2019,pp.1406-1415.提出了一种新的深度学习方法,即多源域适应的动量匹配,其目的是通过动态地调整其特征分布的矩,将从多个标记源域学习到的知识传递到未标记的目标域；S Zhao,G Wang,S Zhang,et al,Multi-source distilling domain adaptation,in:Proceedings of the AAAIConference on Artificial Intelligence,34(07)(2020)12975-12983.提出了一种新的多源提取域自适应(MDDA)网络,它不仅考虑了多个源与目标之间的不同距离,而且研究了源样本与目标样本的不同相似性。
多目标域自适应方法是指将标记的源域知识迁移到多个未标记的目标域当中。JWen,R Greiner,D Schuurmans.Domain aggregation networks for multi-sourcedomain adaptation,in:International Conference on Machine Learning.PMLR,2020,pp.10214-10224.通过模型参数字典的自适应学习进行源域向目标域的迁移；X Cui,DBollegala,Multi-source Attention for Unsupervised Domain Adaptation,arXivpreprint arXiv:2004.06608通过一个共享的潜在空间使得潜在表示和观察数据之间建立更强的联系，同时考虑私有的、特定领域的因素，从而实现迁移；J Xie,W Hu,S-C Zhu,etal,Learning sparse FRAME models for natural image patterns,InternationalJournal of Computer Vision,114(2-3)(2015)91-112.依赖于多教师知识蒸馏(KD)迭代地从多个教师网络中提取目标领域知识给一个普通的学生，每个老师训练学生如何为一个特定的目标执行UDA，最后，知识在教师之间交替使用，从而保持每个目标的特异性以适应学生；R Gopalan,R Li,R Chellappa,Domain adaptation for object recognition:Anunsupervised approach,in:2011international conference on computervision.IEEE,2011,pp.999-1006.提出了使用双分类器的课程图协同教学(CGCT)，其中之一是图卷积网络(GCN)，它聚合来自跨域的相似样本，并开发了一种与双分类器头的联合教学策略，防止分类器在其自身嘈杂的伪标签上过度拟合；Y Zhu,F Zhuang,D Wang,Aligning domain-specific distribution and classifier for cross-domainclassification from multiple sources,in:Proceedings of the AAAI Conference onArtificial Intelligence,33(2019)5989-5996.首先对每对源和目标训练一个无监督的域自适应专家模型，并进一步鼓励它们相互合作在不同目标域之间建立桥梁，并同时学习一个学生模型，以获得一个跨多个目标领域工作的单一模型。
单源域到单目标域的迁移是现有大多数文献的研究方向，但是现实场景中找到适合目标域的唯一源域是困难的，通常需要研究多源域场景下的迁移。多源域迁移近年来也得到了不错的研究进展，当目标域数量增多时，它不能训练适用于多个目标域的分类器，且由于多个源域数据分布差异较大导致公共特征提取困难会造成分类性能较差。在多目标域迁移下，无法解决多源到多目标域的问题，由于各目标域数据分布差异较大导致训练适用于多个目标域模型困难。多源到多目标域的迁移是通过学习多个源域的知识去训练适合多个目标域的模型，若源域和目标域的任务及分布之间存在差异，域间的迁移模型性能较差，且若使用与目标域相似度较小的源域进行迁移会导致负迁移的现象，因此，需要找到可迁移性较强的源域，并优化多源场景中以及多目标域场景中所面对的困难。
基于此,本文提出了一种基于相似性度量的多源到多目标域自适应的方法。
发明内容
本发明的一个目的是通过提出一种基于相似性度量的多源到多目标域自适应的方法，以解决上述背景技术中提出的缺陷。
本发明采用的技术方案如下：包括相似性度量、域间对齐以及互学习；
所述相似性度量为：各域数据经过公共特征提取器以后，在送入到特定于源域的特征提取层，根据源域和目标域的任务及分布间的相似性得到可迁移性较强的源域；
所述域间对齐为得到的源域与目标域进行类别对齐；
所述互学习为以所提取的特征为对象，在源域间、目标域间进行相互学习对模型进行优化。
作为本发明的一种优选技术方案：所述相似性度量还包括计算源域分类器以及适用于目标域的分类器之间的距离作为任务相似性，公式为：
作为本发明的一种优选技术方案：所述相似性度量还包括度量源域和目标域间样本特征分布的相似性，公式为：
其中，m,n分别指的是源域和目标域的个数。
作为本发明的一种优选技术方案：所述相似性度量还包括：融合域间的任务相似性以及分布相似性设置阈值，根据阈值判断源域是否适合进行迁移，阈值设置公式为：
进行源域筛选以后，对得到的源域进行添加权重，权重可以表示为：
则，得到的源域分类损失可表示为：
作为本发明的一种优选技术方案：所述域间对齐还包括将局部最大平均值差异损失定义为：
其中，
和
是
和Dt中的样本实例，p(c)和q(c)是两个域中第c个类别的数据分布；H表示的是是具有特征核κ的再生核希尔伯特空间；φ(·)表示的是将原始样本映射到再生核希尔伯特空间的特征映射；核κ表示的是
<·，·〉表示的是向量的内积。
作为本发明的一种优选技术方案：所述互学习包括源域之间互学习和目标域之间互学习。
作为本发明的一种优选技术方案：所述源域之间互学习中，包括最小化所有分类器之间的差异，公式为：
作为本发明的一种优选技术方案：所述目标域之间互学习中，目标域相互学习损失函数公式可以表示为：
本发明的有益效果是：
1.为解决多源到多目标域的迁移问题，本文提出了基于相似性度量的多源到多目标域适应的框架：该框架包含三个部分：域间相似性度量、域间类别对齐和域间互学习。该框架通过域间类别对齐后得到的域分类器度量任务相似性，并融合由源域和目标域的特征得到的分布相似性，判断得到相似性较强的源域，在此基础上进行源域间以及目标域间的相互学习，获取最终的目标域标签信息。
2.在迁移学习的研究中，不仅域间样本分布的相似度难衡量，且由于无法判断域之间任务分布的相关性会造成负迁移，为解决以上两个问题，本文提出了相似性度量机制。基于样本特征去衡量域间的相似度，并通过域分类器判断域间相关性，利用相似度以及相关性的融合判断源域是否可迁移。
3.为解决多域下公共类别的分类差异，本文提出了域间互学习机制。以提取到的特征为对象，在训练得到的源域分类器间和目标域间使用距离函数进行计算，以达到相互学习的目的，使得源域和目标域在子域对齐的基础上减少域间决策边界的分类差异，提高分类性能。
附图说明
图1为本发明优选实施例的总体框架图；
图2为本发明优选实施例中域间相似性度量机制原理图；
图3为本发明优选实施例中域间对齐原理图；
图4为本发明优选实施例中域间互学习机制原理图；
图5为本发明优选实施例中三种数据集样本图示；
图6为本发明优选实施例中三种数据集中损失函数图示；
图7为本发明优选实施例中数据集中学习率图示；
图8为本发明优选实施例中三种数据集中相似性度量分析图；
图9为本发明优选实施例中三种数据集中度量机制下时间分析图；
图10为本发明优选实施例中Office-caltech10数据集中权重设置情况图；
图11为本发明优选实施例中三种数据集中对域间互学习机制分析图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-11，本发明优选实施例提供了一种基于相似性度量的多源到多目标域自适应的方法。
最大平均差异，最先提出是用于双样本的检测问题，用于判断两个分布P和Q是否相同。它的基本假设是：如果对于所有以分布生成的样本空间为输入的函数f，如果两个分布生成的足够多的样本在f上的对应的像的均值都相等，那么可以认为这两个分布是同一个分布。现在一般用于度量两个分布之间的相似性，迁移学习中经常用其来衡量源领域和目标领域的差异性。
对于两个不同分布的样本，通过寻找在样本空间上的连续函数f，求解出样本具有不同分布时在连续函数f上的函数值的均值，然后把两个均值作差可以得到两个分布对应于连续函数的均值差异。寻找一个连续函数使得这个均值差异有最大值，就得到了MMD。取MMD作为检验统计量，从而判断两个分布是否相同。如果这个值足够小，就认为两个分布相同，否则就认为它们不相同。
再生核希尔伯特空间(RKHS)中，每个连续函数对应一个特征映射。基于特征映射，在p和q两种分布平均嵌入存在的条件下，MMD的平方可以表示如下：
在给定了核函数之后，这个MMD的平方可以表示：
MMD2[f,p,q]＝Ex,x'[k(x,x')]-2Ex,y[k(x,y)]+Ex,y'[k(x,y')] (2)
其中，x和x′分别表示两个服从于p分布的随机变量，y和y′分别表示服从q分布的随机变量。对于上面的一个统计估计可以表示为：
最大平均差异主要集中于源域和目标域的全局分布对齐，而没有考虑不同域中的同一类别中之间的关系。它对源域和目标域进行了全局域变换，经过调整后，源域和目标域的全局分布基本一致。但是，全局对齐可能会导致一些不相关的数据过于接近，无法准确分类。而同一类别中样本的相关性更强，分类精度相对较高。故在多源到多目标域迁移的场景中，本实施例采用局部域适应进行域间的对齐，利于分类精度的提高。
在多源到多目标域的场景中，本文将多个带有标签信息的源域数据表示为Ds j＝{xs i,j,ys i,j}，xs i,j指的是源域中的数据样本，ys i,j指的是源域中的样本标签；将目标域中的无标签数据表示为Dk t＝{xk t}，其中，j表示第j个源域，k表示第k个目标域；将公共特征提取器表示为F，每个源域的子网络表示为：Hj，源域分类器表示为Cs j，最终得到的目标域分类器可表示为Ck，源域相对于目标域所得到的分类器可表示为：Cj-k
本实施例的整体框架包括相似性度量部分、域间对齐部分以及互学习部分。具体框架图如图1所示。相似性度量部分指的是各域数据经过公共特征提取器以后，在送入到特定于源域的特征提取层，根据源域和目标域的任务及分布间的相似性得到可迁移性较强的源域；域间对齐部分指的是得到的源域与目标域进行类别对齐；互学习部分指的是以所提取的特征为对象，在源域间、目标域间进行相互学习对模型进行优化。
在迁移学习的研究中，不仅域间样本分布的相似度难衡量，且由于无法判断域之间任务的相关性会造成负迁移。为此，通过度量源域和目标域之间的任务相似性以及分布相似性，判断源域是否适合进行迁移，其原理图如图2所示。图像分类下，各域的任务是分配标签，度量任务之间的相似性即判断标签之间的相似性，为了利于计算，本实施例计算了源域分类器以及适用于目标域的分类器之间的距离作为任务相似性，公式可以表示为：
此外，发明人也度量了源域和目标域间样本特征分布的相似性，公式可表示为：
其中，m,n分别指的是源域和目标域的个数。
然后，融合域间的任务相似性以及分布相似性设置阈值，根据阈值判断源域是否适合进行迁移，阈值设置公式可以表示为：
进行源域筛选以后，对得到的源域进行添加权重，权重可以表示为：
则，得到的源域分类损失可表示为：
为了解决全局分布对齐易出现迁移性能较差的问题，本实施例采用局部域自适应，有效地将细粒度与多源到多目标域的场景结合起来去解决域对齐问题，其原理图如图3所示。为了使相关子域的对齐(本实施例中将子域定义为类别)，将局部最大平均值差异损失定义为：
其中，
和
是
和Dt中的样本实例，p(c)和q(c)是两个域中第c个类别的数据分布。H表示的是是具有特征核κ的再生核希尔伯特空间(RKHS)。φ(·)表示的是将原始样本映射到再生核希尔伯特空间(RKHS)的特征映射。核κ表示的是
<·，·〉表示的是向量的内积。
在本实施例中，假设每个样本属于每个类别的权重为ωc，则公式(6)的无偏估计可以表示为：
其中，
表示的是第j个源域中第i个样本即
属于类别c的权重，
分别表示样本xt属于类别c的权重。每个样本的权重ωc,i可以表示为:
其中，yic指的是向量yi的第c个entry。本实施例中，源域样本使用真实标签作为one-hot向量去计算权重；因为所设定的场景为目标域没有监督信息，故使用经网络训练得到的目标域伪标签去计算得到目标域的样本权重。
因为φ(·)不能直接计算，因此公式(10)可以写为：
其中，ns表示源域中的标记样本，nt表示的是目标域中无标记样本。Zl指的是第l层的激活。
多源到多目标域迁移的场景中，各源域决策边界附近的目标样本更有可能被从源样本中学习的分类器错误分类,由于分类器是在不同的源域上训练的,因此它们在目标样本的预测上可能存在误差,但事实上不同分类器预测的相同目标样本应该得到相同的预测.因此,为了减小分类差异需要最小化所有分类器之间的差异.公式可以表示为：
由于目标域之间差异过大，导致无法训练一个适用于多个目标域的模型。本实施例设置了目标域相互学习损失函数，避免目标域分布差异过大导致模型性能较差的问题。目标域相互学习损失函数公式可以表示为：
实验数据：本实施例采用Office-Caltech10数据集、Imagine CLEF-DA数据集和Office-Home数据集进行实验。Office-Caltech10包含了2533张图片，分别有四个不同的领域：Amazon、Dslr、Webcam和Caltech，每个域由10个类别组成，分别包含958、157、295和1123张图片.本实施例将四个域分别标记为A、D、W和C,任选其中三个为源域,一个为目标域进行实验.Imagine CLEF-DA来自图像CLEF2014域适应挑战，它包含600幅图像，由I(ImageNetILSVRC2012)，P(PascalVOC2012)，C(Caltech-256)三个域组成，每个域包含12个类别(飞机、自行车，鸟，船，瓶子，公共汽车，汽车，狗，马，监视器，摩托车和人)。Office-Home由15588幅图像组成，比Office-31和Image CLEF-DA大得多，它由四个不同领域的图像组成：艺术图像(A)、剪辑艺术(C)、产品图像(P)和真实世界图像(R)，每个域中包含65个类别。其中，各数据集样本如图5所示。
实验设置：本实施例从三个方面对所提模型进行分析。(1)通过与源域聚合时、目标域聚合时、源域和目标域均聚合时的分类精度对比分析。(2)从分类精度以及时间两个方面，对模型中的域间相似性度量机制进行分析。(3)从分类精度出发对域间相互学习机制分析。
本实施例采用torch框架，使用resnet50作为公共特征提取层，图像输入大小为256*256，初始学习率为0.01，使用SGD优化器，batch大小均为16.Office-Caltech10数据集中，迭代10000次，Imagine CLEF-DA数据集中，迭代10000次，Office-Home数据集中，迭代15000次。其中，各参数设置如表1所示。
表1各参数设置
为了验证本实施例所提算法的有效性，本实施例与三种场景下的模型精度对比分析，实验结果如表2、表3、表4所示。在各个表格中，源域聚合指的是将各个源域样本聚合到同一个域中，构成目标域向单个源域学习标签信息的场景；目标域聚合指的是源域直接对聚合后的目标域进行迁移；源域、目标域均聚合指的是源域和目标域分别聚合在一起，转换为单源到单目标域的迁移。从表中可以看出，本实施例算法在三种数据集中的表现良好，与其他三个情况比较下，本实施例方法的精度最高。当源域和目标域均聚合时，由于各域间均存在较大分布差异，提取公共特征困难，难以训练适用于目标域的分类器，导致分类精度较低。源域聚合时，数据分布差异过大，聚合后的源域均会难以提取到公共特征，导致迁移困难或产生负迁移，模型分类精度不高。目标域聚合时，模型难以训练合适的模型适用于所有的目标域，迁移性能较差。本实施例算法所得到的精度最高，表明本实施例模型不仅解决了多源聚合中提取公共特征困难的问题以及产生负迁移的情况，同时也解决了多个目标域间彼此不同造成难以训练一个适用于目标域模型的问题，并通过互学习机制有效优化了模型，提高了分类性能。
表2 Imagine-CLEF DA数据集中精度对比分析
| 标准 | BC-PI | BP-CI | BI-PC | CI-PB | CP-BI | IP-BC | AVG |
| 目标域聚合 | 77 | 94 | 85 | 71 | 78 | 78 | 80.5 |
| 源域聚合 | 84 | 93 | 86.5 | 70.5 | 76 | 77 | 81.16 |
| 源域、目标域均聚合 | 83 | 93 | 87 | 68 | 78 | 77 | 81 |
| OUR(MSMT) | 85 | 94.5 | 87.5 | 71.5 | 79.5 | 79.5 | 82.9 |
表3 Office_caltech10数据集中精度对比分析
表4 Office-Home数据集中精度对比分析
每个数据集中，选取单个任务，观察其损失函数变化，损失函数图如图6所示。三个数据集选取相同的学习率，学习率变化如图7所示。其中，图6左是Office-caltech10数据集的损失，中是Imagine CLEF-DA数据集的损失，右是Office-Home数据集的损失。iter指的是迭代次数，Loss指的是损失函数，lr指的是学习率。Office-caltech10数据集中，观察DW-AC的损失函数变化，Imagine CLEF-DA数据集中，观察BC-PI的损失函数变化，Office-Home数据集中，观察AC-PR的损失函数变化。从图6中可以看出，三种数据集中，迭代10000次之后，损失函数均达到最优状态，模型整体呈收敛状态。Office-Home数据集中损失函数的收敛速度最慢，这是因为此数据集中数据量最大且类别个数最多，模型跑完全部数据样本需要的迭代次数较多，故相同迭代次数下，收敛速度较慢。图7中可以看出，三种数据集中，学习率随着迭代次数的增加呈现下降趋势，初始学习率为0.01，最终学习率在0.002处趋于稳定。
为了证明域间相似性度量机制的有效性，本实施例从分类精度方面对模型进行了分析。实验结果如图8所示。其中，左为Office-Caltech10数据集精度对比，中为ImagineCLEF-DA数据集的精度对比，右为Office-Home数据集的精度对比，每个图中纵坐标表示分类精度，横坐标表示数据集中的每个迁移任务。三个数据集中，通过保留数据集中某个域内一半的原始样本，并添加一半与其不相关的样本，以充作与目标域不相似的源域S。实验中，根据公式(4)和公式(5)计算出源域和目标域之间的任务及分布间的相似性，并与阈值(公式(6))进行比较，大于阈值的视为相似性较大，作为可迁移较强的源域，并根据公式(7)对其设置权重，而相似度较低的源域直接舍去。实验结果中，不加入相似性度量时的精度最低，加入权重后的精度相对最高。若模型中不加入相似性度量，源域S直接参与训练，由于存在相似性较低的样本，会导致模型难以提取到可迁移特征，产生负迁移，导致迁移性能较差。加入相似性度量以后，模型在度量相似性后与阈值进行比较，源域S不参与训练优化，实验结果会将其舍去，故精度会有所提高。在度量相似性的基础上设置权重参数，增加了与目标域有益的源域的权重，增加了源域对目标域分类的准确率，提高分类精度。
为了证明域间相似性度量机制可得到相似性较高的源域迁移，减少模型的计算量，本实施例从时间方面对此进行了分析，每个数据集中均选取其中一个任务进行实验，实验结果如下图9所示。其中，左为Office-Caltech10数据集中DW-AC和SAW-AC的时间对比分析，中为Imagine CLEF-DA数据集中BC-PI和SBC-PI的时间对比分析，右为Office-Home数据集中AP-CR和SAP-CR的时间对比分析，每幅图中横坐标iter表示迭代的次数，纵坐标seconds表示的是训练的时间。从图中可以观察到，三种数据集中，随着迭代次数的增加，时间是呈线性增加的趋势，加入相似性度量后的时间相对较少。在Imagine CLEF-DA数据集和Office-Home数据集中，随着在迭代4000次之后，时间差异开始突显，并逐步增大，在整个数据样本迭代结束后，时间差异最大。模型中加入相似性度量机制后，会筛选出相似性较低的源域S，不参与训练优化与最终分类结果输出，减少了模型的计算量，使时间变短。
为了有效观察源域间的权重设置，选取了其中Office-Caltech10数据集中的SWD-AC任务中的权重设置进行分析，实验结果如图所示。其中，左图为三个源域与两个目标域A和B的相似性度量，右图为筛选出相似性较低的源域后进行权重设置的图示。从图中可以观察到，S域和目标域A和B之间的相似性在阈值(公式(6))之下，故在权重设置的时候将其舍去。D域和W域与目标域的相似性较高，且相似性越高的源域会得到更高的权重数值。
域间互学习机制包括源域间的相互学习和目标域间的相互学习。为了验证域间互学习机制对模型优化的有效性，本实施例通过组合互学习机制中不同的损失函数对模型进行分析，实验结果如图11所示。其中，左为Office-Caltech10数据集的模型分析，中为Imagine CLEF-DA数据集的模型分析，右为Office-Home数据集的模型分析。NO s-s指的是域间互学习机制中不包含源域间的相互学习，NO t-t指的是域间互学习机制中不包含目标域间的相互学习，our指的是本实施例所提算法模型，图中横坐标表示的是分类精度，纵坐标表示的各个数据集中的分类任务。源域互学习是对源域分类器间进行优化，使得域决策边界分类错误减少，目标域互学习是对目标域间分布差异进行优化，使模型能够训练出适用于所有目标域的分类器。从三个图中，均可以观察到本实施例所提算法的分类性能最高，表明两种损失函数对于优化模型的有效性。若模型不包括源域间的互学习，多个源域对相同目标域进行标签学习时，决策边界的分类误差会影响迁移性能导致分类精度较低；在不包含目标域之间的互学习时，目标域间的分布差异会使得源域难以训练唯一合适的分类模型；而源域间、目标域间互学习均存在时，不仅可以优化多个域间决策边界的分类差异，也通过减少目标分布间分类差异而训练出适合目标域的模型。
针对多源到多目标域场景下，解决方法较少以及源域和目标域间相似性较小而导致的负迁移问题，本实施例提出了一种基于相似性度量的多源到多目标域自适应方法.本实施例对多个源域与目标域进行相似性度量得到可迁移源域,并实施域间互学习以对模型对齐进行优化；与多个主流方法进行了仿真实验比较验证下,本实施例的方法都取得较好的结果,证明本实施例的方法的可行性.在未来的工作中,可以讨论开集场景下的多源到多目标域迁移的问题。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (8)
1.一种基于相似性度量的多源到多目标域自适应的方法，其特征在于：包括相似性度量、域间对齐以及互学习；
所述相似性度量为：各域数据经过公共特征提取器以后，在送入到特定于源域的特征提取层，根据源域和目标域的任务及分布间的相似性得到可迁移性较强的源域；
所述域间对齐为得到的源域与目标域进行类别对齐；
所述互学习为以所提取的特征为对象，在源域间、目标域间进行相互学习对模型进行优化。
2.根据权利要求1所述的基于相似性度量的多源到多目标域自适应的方法，其特征在于：所述相似性度量还包括计算源域分类器以及适用于目标域的分类器之间的距离作为任务相似性，公式为：
3.根据权利要求1所述的基于相似性度量的多源到多目标域自适应的方法，其特征在于：所述相似性度量还包括度量源域和目标域间样本特征分布的相似性，公式为：
其中，m,n分别指的是源域和目标域的个数。
4.根据权利要求1所述的基于相似性度量的多源到多目标域自适应的方法，其特征在于：所述相似性度量还包括：融合域间的任务相似性以及分布相似性设置阈值，根据阈值判断源域是否适合进行迁移，阈值设置公式为：
进行源域筛选以后，对得到的源域进行添加权重，权重可以表示为：
则，得到的源域分类损失可表示为：
5.根据权利要求1所述的基于相似性度量的多源到多目标域自适应的方法，其特征在于：所述域间对齐还包括将局部最大平均值差异损失定义为：
其中，
和
是
和Dt中的样本实例，p(c)和q(c)是两个域中第c个类别的数据分布；H表示的是是具有特征核κ的再生核希尔伯特空间；φ(·)表示的是将原始样本映射到再生核希尔伯特空间的特征映射；核κ表示的是
<·，·〉表示的是向量的内积。
6.根据权利要求1所述的基于相似性度量的多源到多目标域自适应的方法，其特征在于：所述互学习包括源域之间互学习和目标域之间互学习。
7.根据权利要求6所述的基于相似性度量的多源到多目标域自适应的方法，其特征在于：所述源域之间互学习中，包括最小化所有分类器之间的差异，公式为：
8.根据权利要求1所述的基于相似性度量的多源到多目标域自适应的方法，其特征在于：所述目标域之间互学习中，目标域相互学习损失函数公式可以表示为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111430388.5A CN114444374A (zh) | 2021-11-29 | 2021-11-29 | 一种基于相似性度量的多源到多目标域自适应的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111430388.5A CN114444374A (zh) | 2021-11-29 | 2021-11-29 | 一种基于相似性度量的多源到多目标域自适应的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114444374A true CN114444374A (zh) | 2022-05-06 |
Family
ID=81364674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111430388.5A Pending CN114444374A (zh) | 2021-11-29 | 2021-11-29 | 一种基于相似性度量的多源到多目标域自适应的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114444374A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998712A (zh) * | 2022-08-03 | 2022-09-02 | 阿里巴巴（中国）有限公司 | 图像识别方法、存储介质及电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170220951A1 (en) * | 2016-02-02 | 2017-08-03 | Xerox Corporation | Adapting multiple source classifiers in a target domain |
| CN109034080A (zh) * | 2018-08-01 | 2018-12-18 | 桂林电子科技大学 | 多源域自适应的人脸识别方法 |
| CN109376578A (zh) * | 2018-08-27 | 2019-02-22 | 杭州电子科技大学 | 一种基于深度迁移度量学习的小样本目标识别方法 |
| CN110348579A (zh) * | 2019-05-28 | 2019-10-18 | 北京理工大学 | 一种领域自适应迁移特征方法及系统 |
| CN110503134A (zh) * | 2019-07-29 | 2019-11-26 | 沈阳大学 | 一种基于流行距离核的迁移谱聚处理方法 |
| CN111610768A (zh) * | 2020-06-10 | 2020-09-01 | 中国矿业大学 | 基于相似度多源域迁移学习策略的间歇过程质量预测方法 |
| CN111860592A (zh) * | 2020-06-16 | 2020-10-30 | 江苏大学 | 一种少样本条件下太阳能电池片缺陷分类检测方法 |
| US10839269B1 (en) * | 2020-03-20 | 2020-11-17 | King Abdulaziz University | System for fast and accurate visual domain adaptation |
| WO2021052159A1 (zh) * | 2019-09-20 | 2021-03-25 | 五邑大学 | 基于对抗迁移学习的人脸美丽预测方法及装置 |
| CN113010013A (zh) * | 2021-03-11 | 2021-06-22 | 华南理工大学 | 一种基于Wasserstein距离的运动想象脑电迁移学习方法 |
-
2021
- 2021-11-29 CN CN202111430388.5A patent/CN114444374A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170220951A1 (en) * | 2016-02-02 | 2017-08-03 | Xerox Corporation | Adapting multiple source classifiers in a target domain |
| CN109034080A (zh) * | 2018-08-01 | 2018-12-18 | 桂林电子科技大学 | 多源域自适应的人脸识别方法 |
| CN109376578A (zh) * | 2018-08-27 | 2019-02-22 | 杭州电子科技大学 | 一种基于深度迁移度量学习的小样本目标识别方法 |
| CN110348579A (zh) * | 2019-05-28 | 2019-10-18 | 北京理工大学 | 一种领域自适应迁移特征方法及系统 |
| CN110503134A (zh) * | 2019-07-29 | 2019-11-26 | 沈阳大学 | 一种基于流行距离核的迁移谱聚处理方法 |
| WO2021052159A1 (zh) * | 2019-09-20 | 2021-03-25 | 五邑大学 | 基于对抗迁移学习的人脸美丽预测方法及装置 |
| US10839269B1 (en) * | 2020-03-20 | 2020-11-17 | King Abdulaziz University | System for fast and accurate visual domain adaptation |
| CN111610768A (zh) * | 2020-06-10 | 2020-09-01 | 中国矿业大学 | 基于相似度多源域迁移学习策略的间歇过程质量预测方法 |
| CN111860592A (zh) * | 2020-06-16 | 2020-10-30 | 江苏大学 | 一种少样本条件下太阳能电池片缺陷分类检测方法 |
| CN113010013A (zh) * | 2021-03-11 | 2021-06-22 | 华南理工大学 | 一种基于Wasserstein距离的运动想象脑电迁移学习方法 |
Non-Patent Citations (5)
| Title |
|---|
| ZHU Y 等: "Aligning domain-specific distribution and classifier for cross-domain classification from multiple sources", 《PROCEEDINGS OF THE AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 * |
| 刘振等: "基于域相关性与流形约束的多源域迁移学习分类算法", 《计算机应用研究》 * |
| 娄晓光 等: "基于多源域迁移学习的脑电情感识别", 《计算机工程与设计》 * |
| 孙俏: "基于相似度的迁移学习源领域的选择策略研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 闫美阳 等: "多源域混淆的双流深度迁移学习", 《中国图象图形学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998712A (zh) * | 2022-08-03 | 2022-09-02 | 阿里巴巴（中国）有限公司 | 图像识别方法、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109753992B (zh) | 基于条件生成对抗网络的无监督域适应图像分类方法 | |
| CN110569886B (zh) | 一种双向通道注意力元学习的图像分类方法 | |
| CN109063724B (zh) | 一种增强型生成式对抗网络以及目标样本识别方法 | |
| EP3767536A1 (en) | Latent code for unsupervised domain adaptation | |
| CN111814854A (zh) | 一种无监督域适应的目标重识别方法 | |
| CN112766386B (zh) | 一种基于多输入多输出融合网络的广义零样本学习方法 | |
| CN113326731A (zh) | 一种基于动量网络指导的跨域行人重识别算法 | |
| CN111445548B (zh) | 一种基于非配对图像的多视角人脸图像生成方法 | |
| Wu et al. | Enhancing TripleGAN for semi-supervised conditional instance synthesis and classification | |
| Kastaniotis et al. | Attention-aware generative adversarial networks (ATA-GANs) | |
| CN110598759A (zh) | 一种基于多模态融合的生成对抗网络的零样本分类方法 | |
| CN111126464A (zh) | 一种基于无监督域对抗领域适应的图像分类方法 | |
| CN110659663A (zh) | 一种无监督的双向重建领域自适应方法 | |
| CN114863176A (zh) | 基于目标域移动机制的多源域自适应方法 | |
| Xu et al. | Graphical modeling for multi-source domain adaptation | |
| CN114444374A (zh) | 一种基于相似性度量的多源到多目标域自适应的方法 | |
| CN111259923A (zh) | 一种基于改进三维r-cnn算法的多目标检测方法 | |
| CN110705713A (zh) | 一种基于生成对抗网络的领域特有特征对齐方法 | |
| Liu et al. | Handling inter-class and intra-class imbalance in class-imbalanced learning | |
| CN113011523A (zh) | 一种基于分布对抗的无监督深度领域适应方法 | |
| CN111797935A (zh) | 基于群体智能的半监督深度网络图片分类方法 | |
| He et al. | CPSPNet: Crowd counting via semantic segmentation framework | |
| CN115019342A (zh) | 一种基于类关系推理的濒危动物目标检测方法 | |
| CN115481215A (zh) | 一种基于时态合作者知识图谱的合作者预测方法和预测系统 | |
| Xue et al. | Diversified point cloud classification using personalized federated learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220506 |
|
| RJ01 | Rejection of invention patent application after publication |