CN113822353A - 一种基于类相关矩阵特征值分解的域自适应方法 - Google Patents

一种基于类相关矩阵特征值分解的域自适应方法 Download PDF

Info

Publication number
CN113822353A
CN113822353A CN202111079811.1A CN202111079811A CN113822353A CN 113822353 A CN113822353 A CN 113822353A CN 202111079811 A CN202111079811 A CN 202111079811A CN 113822353 A CN113822353 A CN 113822353A
Authority
CN
China
Prior art keywords
class
domain
classifier
probability
weighted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111079811.1A
Other languages
English (en)
Other versions
CN113822353B (zh
Inventor
樊敏
蔡子贇
张腾飞
王保云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202111079811.1A priority Critical patent/CN113822353B/zh
Publication of CN113822353A publication Critical patent/CN113822353A/zh
Application granted granted Critical
Publication of CN113822353B publication Critical patent/CN113822353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于类相关矩阵特征值分解的域自适应方法。该种域自适应方法，解决了源域和目标域之间的欠适配和不平等问题，使得对参数的选择敏感度降低，而收敛度更高分类精度更加准确。该种域自适应方法，与现有的经典分类方法相比，能够做出更准确的判断。本发明方法并没有使用过于繁杂的函数设计，使得网络的训练时间大大缩短。本发明方法使用基于对抗性的方法，使得特征提取器和分类器能够自动学习目标域和源域之间的度量区别。而不是通过人为定义，避免了可能出现的人工偏差。

Description

一种基于类相关矩阵特征值分解的域自适应方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于类相关矩阵特征值分解的域自适应方法。
背景技术
在科技日益发达的今天，机器学习为我们增添了许多便利。但是机器学习的应用需要良好的标注数据，如果使用人工标注那将花费大量的时间与金钱，并且因为人与人之间的区别可能导致一些模棱两可的标注出现。为了避免这一现象，很多研究人员提出了迁移学习。迁移学习是指将一个领域学习到的知识迁移到另一个领域使用，并且能够起到良好效果。而域自适应属于迁移学习中的一个特殊情况，它要求两个领域的任务是一致的。
域自适应的问题定义为：给定两个域，分别为源域Ds和目标域Dt，各自的分布为P(Ys|Xs)和P(Yt|Xt)，源域和目标域的分布是不同的。给定有标注的源域数据(Xs，Ys)和无标注的目标域数据Xt，目标是对目标域数据进行良好分类。
如果不考虑域自适应，直接使用在源域数据上训练出的分类网络，将会导致一定程度的性能下降，这是由于源域和目标域存在一定程度的分布差异。而域自适应就是为了降低由于源域和目标域存在一定程度的分布差异而给分类网络带来的损耗。
发明内容
本发明所要解决的技术问题是克服现有技术的不足，提供一种基于类相关矩阵特征值分解的域自适应方法，使用基于对抗性的方法，使得特征提取器和分类器能够自动学习目标域和源域之间的度量区别，避免了可能出现的人工偏差。
本发明提供一种基于类相关矩阵特征值分解的域自适应方法，包括如下步骤，
步骤S1、设定一个源域Ds＝(Xs，Ys)和目标域Dt＝(Xt)；
步骤S2、基于GANs利用对抗性训练同时训练特征提取器F和域分类器D，最后通过标签分类器G对样本进行分类；
步骤S3、用Resnet50作为特征提取器，将源域样本xs和目标域样本xt输入Resnet50提取出的特征分别记为fs和ft，fg和ft再输入标签分类器G得到gs和gt；将整个网络公式化为具有两个竞争误差项的极小极大优化问题，第一，E(G)是最小化标签分类器G上的源域分类风险；第二，E(D，G)在D上最小化，但在特征提取器F和标签分类器G上最大化，则，
Figure BDA0003263504380000021
Figure BDA0003263504380000022
在式中，L(·)代表交叉熵损失函数，总的优化目标为：
minGE(G)-λE(d，G)，
minDE(D，G)；
通过联合变量h＝(f，g)在标签分类器的预测g上调节域鉴别器D；
步骤S4、目标域上的分类器输出为
Figure BDA0003263504380000023
其中B是目标数据的批量大小，|C|是源类的数量，F是特征提取器，G是标签分类器；第i个实例属于第j类的概率Yij为
Figure BDA0003263504380000024
其中Zij是分类器层的logit输出，T是用于概率缩放的温度超参数。由于Yij揭示了第i个实例和第j类之间的关系，将两个类第j类和第j′类之间的类相关性初步定义为
Figure BDA0003263504380000025
其中，y·j′为每个批次中的B个示例来自第j类的概率，
对主对角线上的值进行加权操作，并基于信息熵对类相关性进行加权操作，则，
Figure BDA0003263504380000031
其中，wii为量化第i个示例对类混淆建模的重要性的概率，W是对角矩阵；所以加权后的类相关矩阵为；
Figure BDA0003263504380000032
然后对加权后的类相关矩阵进行特征值分解，得到特征值的和，以特征值的和的均值作为标签分类器损失。
作为本发明的进一步技术方案，还包括步骤S4、对标签分类器G加以限制，将目标域上的分类器输出表示为
Figure BDA0003263504380000033
其中B是目标数据的批量大小，|C|是源类的数量，F是特征提取器，G是标签分类器；使用温度参数，第i个实例属于第j类的概率Yij为
Figure BDA0003263504380000034
其中，Zij为分类器层的logit输出，T为用于概率缩放的温度超参数；由于Yij揭示了第i个实例和第j类之间的关系；
将两个类第j类和第j′类之间的类相关性初步定义为
Figure BDA0003263504380000035
y·j′为每个批次中的B个示例来自第j类的概率；
对主对角线上的值进行加权操作，则
Figure BDA0003263504380000036
其中，熵是对不确定性的度量，
Figure BDA0003263504380000037
其中Wii是量化第i个示例对类混淆建模的重要性的概率，W是相应的对角矩阵。所以加权后的类相关矩阵为：
Figure BDA0003263504380000038
对加权后的类相关矩阵进行特征值分解，得到特征值的和，以特征值的和的均值作为标签分类器损失。
本发明的优点在于，
1、解决了源域和目标域之间的欠适配和不平等问题，使得对参数的选择敏感度降低，而收敛度更高分类精度更加准确。
2、与现有的经典分类方法相比，能够做出更准确的判断。
3、该方法并没有使用过于繁杂的函数设计，使得网络的训练时间大大缩短。
4、该方法使用基于对抗性的方法，使得特征提取器和分类器能够自动学习目标域和源域之间的度量区别。而不是通过人为定义，避免了可能出现的人工偏差。
附图说明
图1为本发明的网络结构示意图；
具体实施方式
请参阅图1，本实施例提供本发明基于类相关矩阵特征值分解的域自适应方法，包括以下步骤，
S1、给定一个源域Ds＝(Xs，Ys)和目标域Dt＝(Xt)，本例中使用OFFICE-31数据集；
S2、我们基于GANs的思想利用对抗性训练同时训练特征提取器F和域分类器D，最后通过标签分类器G对样本进行分类；
S3、我们采用Resnet50作为特征提取器，将源域样本xs和目标域样本xt输入Resnet50提取出的特征分别记为fs和ft，fs和ft再输入标签分类器G得到gs和gt。我们将整个网络公式化为具有两个竞争误差项的极小极大优化问题：第一：E(G)是最小化标签分类器G上的源域分类风险；第二：E(D，G)，它在D上最小化，但在特征提取器F和标签分类器G上最大化：
Figure BDA0003263504380000041
Figure BDA0003263504380000051
式中，L(·)代表交叉熵损失函数，总的优化目标为：
minGE(G)-λE(D，G)
minDE(D，G)
式中，λ是源域分类风险和域分类的两个目标之间的超参数。我们通过联合变量h＝(f，g)在标签分类器的预测g上调节域鉴别器D。D的一个简单情况是
Figure BDA0003263504380000055
我们将向量
Figure BDA0003263504380000056
中的特征表示和分类器预测连接起来，并将其提供给条件域鉴别器D。这种条件策略被现有的条件GAN广泛采用。
S4、我们继续对标签分类器G加以限制，我们需要找到一个合适的标准来衡量目标域上的成对类混淆。与之前关注特征的CORAL等方法不同，我们扩展了类别预测。将目标域上的分类器输出表示为
Figure BDA0003263504380000052
其中B是目标数据的批量大小，|C|是源类的数量，F是特征提取器，G是标签分类器。在我们的方法中，我们专注于分类器预测并为了清楚起见省略了域下标t。使用温度参数，第i个实例属于第j类的概率Yij可以表示为
Figure BDA0003263504380000053
在式中，Zij是分类器层的logit输出，T是用于概率缩放的温度超参数。由于Yij揭示了第i个实例和第j类之间的关系，我们将两个类第j类和第j′类之间的类相关性初步定义为
Figure BDA0003263504380000054
要注意的是，y·j′表示每个批次中的B个示例来自第j类的概率。类别相关性衡量分类器同时将B个样本分类为第j类和第j′类类别的可能性。这种成对的类相关性是相对安全的，高度自信的错误预测对类相关性的影响可以忽略不计。因为式(17)还是个粗略的定义，我们希望主对角线上的值为1而其他地方的值为0，所以对主对角线上的值进行加权操作。我们基于信息熵对类相关性进行加权操作。
Figure BDA0003263504380000061
在式中，熵是对不确定性的度量，
Figure BDA0003263504380000062
但我们想要的是一种概率分布，它将更大的概率放在具有更大类别预测确定性的示例上。其中Wii是量化第i个示例对类混淆建模的重要性的概率，W是相应的对角矩阵。所以加权后的类相关矩阵为：
Figure BDA0003263504380000063
然后对加权后的类相关矩阵进行特征值分解，得到特征值的和，以特征值的和的均值作为标签分类器损失。该方法能够通过对抗性训练使得通过源域中已知的类别为目标域中未知的类别勾画一个准确的边界。在OFFICE-31数据集上，在各个域自适应任务上性能如下表1所示。
方法 A2W D2W W2D A2D D2A W2A AVG
DANN 91.4 97.9 100.0 83.6 73.3 70.4 86.1
DAN 84.2 98.4 100.0 87.3 66.9 65.2 83.7
CDAN 93.8 98.5 100.0 89.9 73.4 70.4 87.7
AFN 94.0 98.9 100.0 94.4 72.9 71.1 88.6
OURs 94.0 99.0 100.0 92.0 76.7 73.1 89.1
表1自适应任务性能表
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。

Claims (2)

1.一种基于类相关矩阵特征值分解的域自适应方法，其特征在于，包括如下步骤，
步骤S1、设定一个源域Ds＝(Xs，Ys)和目标域Dt＝(Xt)；
步骤S2、基于GANs利用对抗性训练同时训练特征提取器F和域分类器D，最后通过标签分类器G对样本进行分类；
步骤S3、用Resnet50作为特征提取器，将源域样本xg和目标域样本xt输入Resnet50提取出的特征分别记为fs和ft，fs和ft再输入标签分类器G得到gs和gt；将整个网络公式化为具有两个竞争误差项的极小极大优化问题，第一，E(G)是最小化标签分类器G上的源域分类风险；第二，E(D,G)在D上最小化，但在特征提取器F和标签分类器G上最大化，则，
Figure FDA0003263504370000011
Figure FDA0003263504370000012
在式中，L(·)代表交叉熵损失函数，总的优化目标为：
minGE(G)-λE(D，G)，
minDE(D，G)；
通过联合变量h＝(f,g)在标签分类器的预测g上调节域鉴别器D；
步骤S4、目标域上的分类器输出为
Figure FDA0003263504370000013
其中B是目标数据的批量大小，|C|是源类的数量，F是特征提取器，G是标签分类器；第i个实例属于第j类的概率Yij为
Figure FDA0003263504370000014
其中Zij是分类器层的logit输出，T是用于概率缩放的温度超参数。由于Yij揭示了第i个实例和第j类之间的关系，将两个类第j类和第j′类之间的类相关性初步定义为
Figure FDA0003263504370000015
其中，y.j′为每个批次中的B个示例来自第j类的概率，
对主对角线上的值进行加权操作，并基于信息熵对类相关性进行加权操作，则，
Figure FDA0003263504370000021
其中，Wii为量化第i个示例对类混淆建模的重要性的概率，W是对角矩阵；所以加权后的类相关矩阵为；
Figure FDA0003263504370000022
然后对加权后的类相关矩阵进行特征值分解，得到特征值的和，以特征值的和的均值作为标签分类器损失。
2.根据权利要求1所述的一种基于类相关矩阵特征值分解的域自适应方法，其特征在于，还包括步骤S4、对标签分类器G加以限制，将目标域上的分类器输出表示为
Figure FDA0003263504370000023
其中B是目标数据的批量大小，|C|是源类的数量，F是特征提取器，G是标签分类器；使用温度参数，第i个实例属于第j类的概率Yij为
Figure FDA0003263504370000024
其中，Zij为分类器层的logit输出，T为用于概率缩放的温度超参数；由于Yij揭示了第i个实例和第j类之间的关系；
将两个类第j类和第j′类之间的类相关性初步定义为
Figure FDA0003263504370000025
y.j′为每个批次中的B个示例来自第j类的概率；
对主对角线上的值进行加权操作，则
Figure FDA0003263504370000026
其中，熵是对不确定性的度量,
Figure FDA0003263504370000027
其中Wii是量化第i个示例对类混淆建模的重要性的概率，W是相应的对角矩阵。
所以加权后的类相关矩阵为：
Figure FDA0003263504370000028
对加权后的类相关矩阵进行特征值分解，得到特征值的和，以特征值的和的均值作为标签分类器损失。
CN202111079811.1A 2021-09-15 2021-09-15 一种基于类相关矩阵特征值分解的域自适应方法 Active CN113822353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111079811.1A CN113822353B (zh) 2021-09-15 2021-09-15 一种基于类相关矩阵特征值分解的域自适应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111079811.1A CN113822353B (zh) 2021-09-15 2021-09-15 一种基于类相关矩阵特征值分解的域自适应方法

Publications (2)

Publication Number Publication Date
CN113822353A true CN113822353A (zh) 2021-12-21
CN113822353B CN113822353B (zh) 2024-05-17

Family

ID=78922506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111079811.1A Active CN113822353B (zh) 2021-09-15 2021-09-15 一种基于类相关矩阵特征值分解的域自适应方法

Country Status (1)

Country Link
CN (1) CN113822353B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170220897A1 (en) * 2016-02-02 2017-08-03 Xerox Corporation Domain adaptation by multi-noising stacked marginalized denoising encoders
CN110781970A (zh) * 2019-10-30 2020-02-11 腾讯科技（深圳）有限公司 分类器的生成方法、装置、设备及存储介质
CN112084887A (zh) * 2020-08-19 2020-12-15 北京影谱科技股份有限公司 一种基于注意力机制的自适应视频分类方法及系统
CN112183581A (zh) * 2020-09-07 2021-01-05 华南理工大学 基于自适应迁移神经网络的半监督机械故障诊断方法
CN113011456A (zh) * 2021-02-05 2021-06-22 中国科学技术大学 用于图像分类的基于类别自适应模型的无监督域适应方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170220897A1 (en) * 2016-02-02 2017-08-03 Xerox Corporation Domain adaptation by multi-noising stacked marginalized denoising encoders
CN110781970A (zh) * 2019-10-30 2020-02-11 腾讯科技（深圳）有限公司 分类器的生成方法、装置、设备及存储介质
CN112084887A (zh) * 2020-08-19 2020-12-15 北京影谱科技股份有限公司 一种基于注意力机制的自适应视频分类方法及系统
CN112183581A (zh) * 2020-09-07 2021-01-05 华南理工大学 基于自适应迁移神经网络的半监督机械故障诊断方法
CN113011456A (zh) * 2021-02-05 2021-06-22 中国科学技术大学 用于图像分类的基于类别自适应模型的无监督域适应方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许夙晖;慕晓冬;张雄美;柴栋;: "结合对抗网络与辅助任务的遥感影像无监督域适应方法", 测绘学报, no. 12 *

Also Published As

Publication number Publication date
CN113822353B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
WO2021143396A1 (zh) 利用文本分类模型进行分类预测的方法及装置
CN109325231B (zh) 一种多任务模型生成词向量的方法
CN107092918B (zh) 一种基于语义特征和有监督哈希的图像检索方法
CN111127364B (zh) 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN111460200B (zh) 基于多任务深度学习的图像检索方法、模型及其构建方法
CN111581466B (zh) 特征信息存在噪声的偏多标记学习方法
Zhao et al. Fair meta-learning for few-shot classification
CN110516950A (zh) 一种面向实体解析任务的风险分析方法
WO2018083804A1 (ja) 分析プログラム、情報処理装置および分析方法
CN111753995A (zh) 一种基于梯度提升树的局部可解释方法
CN113590819A (zh) 一种大规模类别层级文本分类方法
CN116310585A (zh) 一种多标记分类模型构建方法、分类方法、分类装置、电子设备及存储介质
Sun et al. Non-negative matrix factorization based modeling and training algorithm for multi-label learning
Khan et al. Unsupervised domain adaptation using fuzzy rules and stochastic hierarchical convolutional neural networks
CN114048314A (zh) 一种自然语言隐写分析方法
CN107993311B (zh) 一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法
Platanios et al. Learning from imperfect annotations
Tian et al. Self-adaptive label filtering learning for unsupervised domain adaptation
Hein et al. A Comparison of Uncertainty Quantification Methods for Active Learning in Image Classification
CN117972122A (zh) 基于相关性匹配的跨模态图文检索方法
CN116956228A (zh) 一种技术交易平台的文本挖掘方法
CN116630714A (zh) 多标签识别的类别自适应标签发现与噪声拒绝方法及设备
CN113822353A (zh) 一种基于类相关矩阵特征值分解的域自适应方法
US20230196733A1 (en) Method of unsupervised domain adaptation in ordinal regression
CN114020920A (zh) 一种基于图卷积网络的多标签文本分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant