CN110659663A - 一种无监督的双向重建领域自适应方法 - Google Patents

一种无监督的双向重建领域自适应方法 Download PDF

Info

Publication number
CN110659663A
CN110659663A CN201910219985.XA CN201910219985A CN110659663A CN 110659663 A CN110659663 A CN 110659663A CN 201910219985 A CN201910219985 A CN 201910219985A CN 110659663 A CN110659663 A CN 110659663A
Authority
CN
China
Prior art keywords
domain
reconstruction
data
subspace
unsupervised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910219985.XA
Other languages
English (en)
Inventor
张磊
付静茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201910219985.XA priority Critical patent/CN110659663A/zh
Publication of CN110659663A publication Critical patent/CN110659663A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无监督的双向重建领域自适应方法，它包括步骤：1、构建域适应模型，模型包含三部分：1、特征对齐项：利用MMD构建域间的条件概率和边际概率以达到两个域在距离上的相近；2、互重构项：利用双向的重构来达到两个域数据结构上的混淆；3、正则化项：包含源域重构系数和目标域重构系数，对重构系数的正则化来保留源域的全局信息和目标域的局部信息；2、域适应模型的求解，求解模型得到学习特征的子空间/映射P；3、域适应模型的测试。本发明的技术效果是：能够充分混淆源域和目标域，又保留两个域之间的判别信息，获得新的子空间，由此训练分类器，提高了分类器的识别性能。

Description

一种无监督的双向重建领域自适应方法
技术领域
本发明属于基于计算机视觉的迁移学习(域适应)领域。
背景技术
传统机器学习算法是在假设训练和测试数据位于具有独立同分布的相同特征空间(i.i.d.)的情况下建立的。但是，这种假设通常不适用于许多现实的场景。在计算机视觉领域，由于摄像机设备参数、照片亮度、拍摄角度以及背景等各种因素，视觉数据集会显示出严重的分布不匹配或域移位，使得传统的机器学习方法的识别性能急剧下降。实现精确识别的一般策略是在特定域中收集大量数据并训练广义分类器，经过前人数据的积累，我们已经拥有很多高质量的已标记数据集，例如，超过1400万图像的ImageNet数据集。
然而，在特定领域中收集大量数据会消耗大量人力资源，并且随着在许多领域中无标签数据的爆炸式增长，这种收集资源的方式的效率低，甚至是不现实的。因此，如何通过利用另一个不同但语义相关的分布(如ImageNet)来实现新的领域的学习正成为一个越来越重要的课题。已经提出的迁移学习/域适应正是解决这种域间分布不匹配问题，其主要目的是在跨域迁移任务中将丰富的知识从源域(训练集)迁移到目标域(测试集)并能够提高识别性能。
根据目标域数据是否有标记，域适应可以分为有监督和无监督。有监督域适应需要一部分有标记的目标域样本，而无监督域适应则使用无标记的目标域样本，这更具挑战性并且更接近现实。因此，本发明关注于无监督场景下的迁移学习/域适应问题。迁移学习/域适应通常要学习一个适应不同分布的分类器，或者学习域不变的表达。域不变的表达能够适应不同分类器，故得到了更多学者的关注。
现有解决域适应问题的思路是充分混淆两个域(源域和目标域)以达到获取域不变特征的目的，同时希望保留判别信息来保证识别性能。然而如何更充分地混淆两个域，以最大程度较小分布差异并且保证识别性能，仍然是一个具有挑战性的问题。
现有技术采用“联合分布适配”，简称JDA，根据文献“Transfer Feature Learningwith Joint Distribution Adaptation”，Long M,Wang J,Ding G,et al.Proceedings ofthe 2013IEEE International Conference on Computer Vision.IEEE,2013.(“迁移特征学习的联合分布适配”，Long M,Wang J,Ding G,et al.2013届国际计算机视觉大会)的记载：构建两个域数据间的MMD(Maximum Mean Discrepancy最大均值差异)距离，利用MMD衡量两个域之间的边际概率和条件概率，并引入了目标域伪标签来描述目标域的条件概率，JDA能够充分利用源域已有的判别信息。但是该技术的缺点是：它是基于距离的方法，忽略了数据的结构性，即数据之间的关系，所以不能充分混淆两个域，识别性能较差。
发明内容
针对现有技术存在的问题，本发明所要解决的技术问题就是提供一种无监督的双向重建领域自适应方法，它能在距离和数据结构上同时减小源域和目标域的分布差异，同时，通过减小两个域之间的条件概率和对重构系数进行稀疏和低秩约束来保留判别信息，以提高分类器的识别性能。
本发明所要解决的技术问题是通过这样的技术方案实现的，它包括以下步骤：
步骤1、构建域适应模型
利用源域标签和数据以及目标域数据构建模型，模型包含三部分：1、特征对齐项：利用MMD构建域间的条件概率和边际概率以达到两个域在距离上的相近；2、互重构项：利用双向的重构来达到两个域数据结构上的混淆；3、正则化项：包含源域重构系数和目标域重构系数，对重构系数的正则化来保留源域的全局信息和目标域的局部信息；
步骤2、域适应模型的求解
求解模型得到学习特征的子空间/映射P；
步骤3、域适应模型的测试
在测试阶段，利用子空间/映射P将源域和目标域的数据同时映射到新的子空间，并利用新子空间中的源域特征建造分类器，用来预测新的目标域特征。
特别地，步骤1中，构建域适应模型为：
Figure BDA0002003282440000021
s.t.PTXHXTP＝I
式中，C表示类别数；tr(·)表示矩阵的迹；‖P‖F表示Frobenius范数，
Figure BDA0002003282440000031
为要学习的子空间/映射，D为数据的维度，d为映射后的子空间维度；Xs、Xt分别代表源域和目标域的数据集合，即
Figure BDA0002003282440000032
xs i为第i个维度为D的源域数据，
Figure BDA0002003282440000033
xt j为第j个维度为D的目标域域数据，
Figure BDA0002003282440000034
为所有数据的集合，n＝ns+nt为源域数据总数与目标域数据总数之和；上标“T”表示矩阵的转置，
Figure BDA0002003282440000035
是一个常数矩阵；
Zt为源域重构矩阵，Zs为目标域重构矩阵，‖Zs‖1表示矩阵Zs的1范数，‖Zt‖*为矩阵Zt的核范数；
Figure BDA0002003282440000036
为单位矩阵，
Figure BDA0002003282440000038
为全1的矩阵；α，β，λ表示正则项参数。
本发明的技术效果是：
由于本发明引入了互重构项，该互重构项不仅采用了源域到目标域的重构，还采用了目标域到源域的重构，双向的重构方式能够充分地混淆两个域，另一方面，该互重构项引入两个重构系数，对源域重构系数采用低秩约束保留全局信息，对目标域重构系数采用稀疏约束保留局部信息。所以本方法发明能够充分混淆源域和目标域，又保留两个域之间的判别信息，获得新的子空间，由此训练分类器，提高了分类器的识别性能。
具体实施方式
下面结合实施例对本发明作进一步说明：
子空间学习(subspace learning)是一种具有特定性质的子空间/映射。本发明采用子空间学习的思路求得一个子空间/映射P，通过P将源域和目标域的特征映射到一个共同的子空间中，使子空间的数据具有域不变的特性以实现域适应。本发明应用于无监督的域适应问题，有以下定义：
存在两个域分别为源域
Figure BDA0002003282440000039
和目标域
源域有
Figure BDA00020032824400000311
其中源域数据
Figure BDA00020032824400000312
的对应标签为
Figure BDA00020032824400000313
ns为源域数据总数。
目标域有nt为目标域数据总数。
其问题是如何利用已标记的源域
Figure BDA00020032824400000315
训练分类器f：来预测未标记的目标域(xt是目标域内的元素，yt是分类器f预测的对应的标签)。
本发明采用子空间学习解决上述任务，本发明的构思是：
1、准备数据，准备带标签的源域数据和不带标签的目标域数据，并且两个域间不同但语义相关。
2、利用准备好的数据建立模型，模型能够求得一个子空间/映射P，通过P能够将两个域映射到共同的子空间。在共同子空间中要求两个域能够充分混淆以获得域不变特征，并且保持判别信息来保证识别性能。
3、在测试过程中，利用映射后的域不变源域特征建立分类器，去预测映射后的目标域特征，最终得到分类精确度来表示学习效果。
本发明使用了JDA的基础公式，由MMD构造边际分布和条件分布，即损失
Figure BDA00020032824400000410
利用MMD衡量域之间的边际概率分布和条件概率分布。因为JDA基于距离的构造方式是在边际概率分布与条件概率分布之间对齐两个域，本发明申请称为“特征对齐项”：
式(1)中，C表示类别数；tr(·)表示矩阵的迹；‖P‖F表示Frobenius范数，λ表示正则项参数；
Figure BDA0002003282440000042
为要学习的子空间/映射，D为数据的维度，d为映射后的子空间维度；Xs、Xt分别代表源域和目标域的数据集合，即
Figure BDA0002003282440000044
xs i为第i个维度为D的源域数据，
Figure BDA0002003282440000045
xt j为第j个维度为D的目标域域数据，
Figure BDA0002003282440000046
为所有数据的集合，n＝ns+nt为源域数据总数与目标域数据总数之和；上标“T”表示矩阵的转置。
是一个常数矩阵，可以分成c＝0时的M0和其他情况的Mc两种情况，下标“i、j”表示矩阵的第i行和第j列：
Figure BDA0002003282440000048
在构造Mc时需要知道目标域的标签信息，然而无监督迁移学习场景下目标域的标签信息无法获得，所以JDA采用伪标签作为目标域的标签。JDA利用源域数据训练现有分类器(如SVM)，并利用训练好的分类器为目标域打标签，得到的目标域标签可能是不准确的，故称之为伪标签；JDA采用迭代更新P和伪标签的方式进一步增加伪标签的正确率。
本发明提供的一种无监督的双向重建领域自适应方法，包括以下步骤：步骤1、构建域适应模型
建立模型的目的是利用子空间学习的方式混淆两个域得到域不变的特征，并且能够保证识别性能。模型包含三部分组成，分别为特征对齐项、互重构项和正则化项。在获取伪标签时采用JDA中使用现有的分类器打伪标签和迭代求解伪标签和P。
1、特征对齐项
Figure BDA0002003282440000053
通过特征对齐项使得两个域(源域和目标域)数据在映射后的空间中能够减小两个域的边际分布和条件分布的MMD距离；特征对齐项是依据式(1)取得。
2、互重构项
Figure BDA0002003282440000054
重构是用一个域的数据构建另外一个域的数据。利用重构将数据之间的关系建立起来，不仅仅是利用S域的数据重构T域数据，也用T域的数据重构S域数据，利用双向重构的方式使得两个域的数据充分交织，定义互重构损失为：
Figure BDA0002003282440000051
式(4)中，为要学习的子空间/映射；Zt为源域重构矩阵，它表示利用S域重构T域的系数，又称源域重构系数矩阵；Zs为目标域重构矩阵，它表示利用T域重构S域的系数，又称目标域重构系数矩阵。
3、正则化项
Figure BDA0002003282440000055
是重构系数矩阵的正则化项(正则化项是损失函数，用于约束重构系数矩阵)。目标域中的样本往往位于多个潜在的子空间中，并且在新的共同子空间中相同语意下的分布应该位于相同的流形空间中，即要求源域中相邻的数据能够重构目标域数据，故本发明对源域重构系数矩阵Zt采用了低秩约束来找寻子空间的潜在结构；对于目标域，在重构源域时要求保留数据的局部结构，即源域数据能够被少量更相关的目标域数据所重构，故本发明对目标域重构系数矩阵Zs采用了稀疏约束。这两个约束也更能反映出无监督域适应的特点，即面对信息量更全的源域时充分利用其全局特性，而面对不知道标签的目标域时利用其最有效的局部信息。目标函数定义为：
Figure BDA0002003282440000069
其中，‖Zs‖1＝Σi,j|Zs|表示矩阵Zs的1范数；定义σi(Z)为矩阵Zt的第i个奇异值，为矩阵Zt的核范数。
为了避免非平凡的解，则考虑最大化两个域的方差。所以构建的总模型定义为：
Figure BDA0002003282440000062
s.t.PTXHXTP＝I (5)
式(5)中，
Figure BDA0002003282440000063
其中
Figure BDA0002003282440000064
为单位矩阵，
Figure BDA0002003282440000065
为全1的矩阵；α，β表示正则项参数，衡量了对应项的重要性。
步骤2、域适应模型的求解
目标函数(5)是非凸的。目标函数中不止一个变量，本步骤采用变量交替的方式分别求解各个变量，即求解某个变量时将其他变量看作常数，并利用非精准增广拉格朗日乘子法(IALM)求解模型。
首先在构建的域适应模型中，引入两个辅助变量Ls和Lt，则目标函数转换为：
Figure BDA0002003282440000066
s.t.PTXHXTP＝I,Zs＝Ls，Zt＝Lt (6)
利用交替求解策略，分别求解以下：
1、更新P：
固定其他无关项，求解P即为求解如下模型：
Figure BDA0002003282440000067
s.t.PTXHXTP＝I (7)
由式(4)化简得：
Figure BDA0002003282440000068
其中Z＝ZS+ZT，ZS和ZT为：
Figure BDA0002003282440000071
且
Figure BDA0002003282440000072
令
Figure BDA0002003282440000073
(α是式(5)中mutual项前的参数)则满足上述目标函数的子空间/映射P可由广义特征值问题求解出：
(XQXT+λI)p＝ηXHXTp (8)
式(8)中，η为第i个最小特征值，为对应P的第i列，i∈[1,D]，D为数据的维度。
更新其他参数时，将P固定为常数，利用增广拉格朗日乘子法(ALM)求解余下问题，ALM函数为：
Figure BDA0002003282440000075
式(9)中，Y1和Y2表示拉格朗日乘子，μ为惩罚参数。
2、更新Zs：
Figure BDA0002003282440000076
求导设为0，能求得闭合解为：
3、更新Zt：
求导设为0，能求得闭合解为：
Figure BDA0002003282440000079
4、更新Ls：
Figure BDA00020032824400000710
利用shrinkage operator求解上式，参见文献“Robust recovery of subspacestructures by low-rank representation，G.Liu,Z.Lin,S.Yan,J.Sun,Y.Yu,and Y.Ma,IEEE Trans.Pattern Anal.Mach.Intell.,vol.35,no.1,pp.171–184,Jan.2013”(“子空间结构的鲁棒复原通过低秩表达”，G.Liu,Z.Lin,S.Yan,J.Sun,Y.Yu,and Y.Ma,IEEE模式分析与机器智能汇刊，2013年35卷第1期171-184页)。
上述问题有闭合解：
5、更新Lt：
Figure BDA0002003282440000082
求解上式参见文献“Discriminative transfer subspace learning via low-rank and sparse representation，Y.Xu,X.Fang,J.Wu,X.Li,and D.Zhang,IEEETrans.IP,vol.25,no.2,pp.850–863,2016.”(“判别迁移子空间学习通过低秩稀疏表达”，Y.Xu,X.Fang,J.Wu,X.Li,and D.Zhang，IEEE图像处理汇刊，2016年25卷第2期850-863页)。
上述问题有闭合解：
Figure BDA0002003282440000083
式(13)中，θτ(M)＝USτ(Σ)VT定义为奇异值τ的thresholding operator；其中Sτ(Σij)＝sign(Σij)max(0,|Σij-τ|)为soft-thresholding operator；而M＝UΣVT为M的奇异值分解。具体处理如下：
1)、先将M进行奇异值分解得到U、Σ、V，它们三个是通过svd算法对M进行奇异值分解得到的，U里面的向量是正交的，U里面的向量称为左奇异向量，Σ除了对角线的元素都是0，对角线上的元素称为奇异值，V里面的向量也是正交的，V里面的向量称为右奇异向量。
2)、对Σ做计算：sign(Σij)max(0,|Σij-λ|))得到Sλ(Σij)；
3)、计算θτ(M)＝USτ(Σ)VT。
6、乘子Y1和Y2以及惩罚参数μ的更新：
Figure BDA0002003282440000084
式(14)中，ρ为步长，μmax为最大μ取值，两者都是常数。步长ρ一般设置为比1大一点的常数。
求解P的算法见表1：
表1
Figure BDA0002003282440000091
总的算法见表2：在JDA方法中，总的算法利用了伪标签，迭代更新映射P和伪标签以进一步提高伪标签的正确率，同时又在学习更好的映射P，所以总算法就是在迭代更新伪标签和映射P，更好的伪标签得到更好的映射P，更好的映射P得到更好的伪标签，这样相互增强。
表2
Figure BDA0002003282440000092
Figure BDA0002003282440000093
用于构建Mc，实施P的更新，算法1是求解P的子算法。
步骤3、域适应模型的测试
在求得到最优解P后，利用P将源域和目标域的数据同时映射到新的子空间，在新的子空间特征上利用源域数据训练分类器(如SVM(Support Vector Machine：支持向量机))用于预测新的目标域特征。识别准确率为：
Figure BDA0002003282440000094
上式中，I(a)为指示函数，即a为真时为1，否则为0。
识别准确率用来反映学习效果，识别准确率越高模型的效果越好。
实施例：
1、数据集
使用4DA数据集，数据集中包含Office数据和Caltech-256数据。Office数据包含三个真实世界对象域，分别为Amazon、Webcam和DSLR。4DA数据集将Caltech-256和Office中共享语意的10个类别提取出来组成了4个域：A(Amazon)、C(Caltech)、D(DSLR)和W(Webcam)。4DA数据集是迁移学习/域适应问题的经典数据集，比较适合用来测试域适应效果。
本实施例使用了SURF特征来作为输入特征。参见文献“Geodesic flow kernelfor unsupervised domain adaptation，B.Gong,Y.Shi,F.Sha,and K.Grauman,in CVPR,2012”(“用于无监督域适应的测地流核”，B.Gong,Y.Shi,F.Sha,and K.Grauman,2012届国际计算机视觉与模式识别会议)，通过将成对域部署为源域和目标域，可以构建总共12个跨域任务。
2、实验设置
实验中采用了SVM分类器作为获取目标域伪标签的分类器，并且设置超参数子空间的维度d＝20，T＝10；模型的参数α，β，λ从范围[10-1,100,101]内调节选取最优结果作为最终结果。
3、训练测试方法
训练阶段：将两个域数据输入模型并求解得到最优子空间/映射P。
测试阶段：用得到的最优子空间/映射P将两个域同时映射到共同子空间，并得到各自的新的表达，用源域的新特征训练SVM分类器，用来预测目标域的新特征，计算识别准确率。
4、识别准确率比较
为了验证本方法发明的有效性，本发明一方面与JDA进行了对比，另一方面与其他现有先进的域适应算法做了对比，主要有GFK、JGSA和LDADA三个方法。
GFK方法：引自“Geodesic flow kernel for unsupervised domain adaptation，B.Gong,Y.Shi,F.Sha,and K.Grauman,in CVPR,2012”(“用于无监督域适应的测地流核”，B.Gong,Y.Shi,F.Sha,and K.Grauman,2012届国际计算机视觉与模式识别会议)；
JGSA方法：引自“Joint Geometrical and Statistical Alignment for VisualDomain Adaptation,Zhang J,Li W,Ogunbona P.2017 IEEE Conference on ComputerVision and Pattern Recognition(CVPR).IEEE,2017.”(“联合几何和统计对齐的视觉域适应”，Zhang J,Li W,Ogunbona P,2017届国际计算机视觉与模式识别会议)；
LDADA方法：引自“An Embarrassingly Simple Approach to Visual DomainAdaptation.Lu H,Shen C,Cao Z,et al.IEEE Transactions on Image Processing,2018,27(7):3403-3417.”(“一种令人尴尬的简单的视觉域适应方法。”，Lu H,Shen C,CaoZ,et al.,IEEE图像处理汇刊，2018年27卷第7期3403-3417页)。
比较的结果见表3：
表3
任务 SVM GFK JGSA LDADA JDA 本发明
C-A 50.1 56.6 55.1 54.8 <u>59.0</u> 60.4
C-W 43.1 48.1 49.7 60.2 50.2 <u>57.0</u>
C-D 47.8 42.9 46.0 41.5 <u>49.0</u> 57.3
A-C 42.8 44.3 40.8 38.4 <u>45.2</u> 46.5
A-W 37.0 42.7 59.0 49.3 45.4 <u>46.1</u>
A-D 37.2 39.9 49.4 39.1 44.6 49.7
W-C 29.5 32.0 29.7 31.7 <u>37.5</u> 39.5
W-A 34.2 38.3 34.6 35.1 <u>40.5</u> 46.8
W-D 80.6 78.7 78.5 74.6 86.0 <u>82.8</u>
D-C 30.1 30.8 30.2 29.9 <u>31.7</u> 33.8
D-A 32.1 40.4 39.0 40.6 <u>40.9</u> 43.8
D-W 72.2 80.3 75.1 74.7 84.4 <u>84.1</u>
平均 44.7 47.9 48.9 47.5 51.2 54.0
表3的说明：C为域Caltech，A为域Amazon，D为域DSLR，W为域Webcam，数据是识别准确率。
从表3看出：本发明的结果要好于其他方法，证明了本发明的有效性。
损失函数的消融分析见表4：
表4
任务 OUR_1/JDA OUR_12 OUR_123
C-A 59.0 59.8 60.4
C-W 50.2 56.6 57.0
C-D 49.0 51.6 57.3
A-C 45.2 46.1 46.5
A-W 45.4 43.7 46.1
A-D 44.6 44.6 49.7
W-C 37.5 39.6 39.5
W-A 40.5 45.9 46.8
W-D 86.0 82.2 82.8
D-C 31.7 33.6 33.8
D-A 40.9 41.9 43.8
D-W 84.4 83.1 84.1
平均 51.2 52.4 54.0
表4中的数字1、2、3分别对应着三项损失例如OUR_12代表有第一损失函数
Figure BDA0002003282440000122
和第二个损失函数
Figure BDA0002003282440000123
而没有第三个损失函数
Figure BDA0002003282440000121
OUR_1就是JDA；OUR_123就是本发明。
实验结果显示包含三项损失的识别准确率达到最高54.0％，即本发明的三项损失每一项都必不可少，验证了本发明所用损失的有效性。

Claims (8)

1.一种无监督的双向重建领域自适应方法，其特征是，包括以下步骤：
步骤1、构建域适应模型
利用源域标签和数据以及目标域数据构建模型，模型包含三部分：1、特征对齐项：利用MMD构建域间的条件概率和边际概率以达到两个域在距离上的相近；2、互重构项：利用双向的重构来达到两个域数据结构上的混淆；3、正则化项：包含源域重构系数和目标域重构系数，对重构系数的正则化来保留源域的全局信息和目标域的局部信息；
步骤2、域适应模型的求解
求解模型得到学习特征的子空间/映射P；
步骤3、域适应模型的测试
在测试阶段，利用子空间/映射P将源域和目标域的数据同时映射到新的子空间，并利用新子空间中的源域特征建造分类器，用来预测新的目标域特征。
2.根据权利要求1所述的无监督的双向重建领域自适应方法，其特征是：在步骤1中，构建域适应模型为：
Figure FDA0002003282430000011
s.t.PTXHXTP＝I
式中，C表示类别数；tr(·)表示矩阵的迹；‖P‖F表示Frobenius范数，
Figure FDA0002003282430000012
为要学习的子空间/映射，D为数据的维度，d为映射后的子空间维度；Xs、Xt分别代表源域和目标域的数据集合，即
Figure FDA0002003282430000013
xs i为第i个维度为D的源域数据，
Figure FDA0002003282430000014
xt j为第j个维度为D的目标域域数据，
Figure FDA0002003282430000015
为所有数据的集合，n＝ns+nt为源域数据总数与目标域数据总数之和；上标“T”表示矩阵的转置，
Figure FDA0002003282430000016
是一个常数矩阵；
Zt为源域重构矩阵，Zs为目标域重构矩阵，‖Zs‖1表示矩阵Zs的1范数，‖Zt‖*为矩阵Zt的核范数；
Figure FDA0002003282430000017
为单位矩阵，
Figure FDA0002003282430000018
为全1的矩阵；α，β，λ表示正则项参数。
3.根据权利要求2所述的无监督的双向重建领域自适应方法，其特征是：在步骤2中，在构建的域适应模型中，引入两个辅助变量Ls和Lt，则：
Figure FDA0002003282430000021
s.t.PTXHXTP＝I,Zs＝Ls，Zt＝Lt
求解某个变量时将其他变量看作常数，采用变量交替的方式分别求解各个变量。
4.根据权利要求3所述的无监督的双向重建领域自适应方法，其特征是，求解P的方法为：
输入：源域{Xs，ys}；目标域{Xt}；参数α，β，λ；子空间维度d；
初始化：Zs、Ls、Y1，Zt、Lt、Y2，最大惩罚参数μmax，步长ρ；收敛条件；
步骤1)、更新P；
步骤2)、更新Zs，Ls；
步骤3)、更新Zt，Lt；
步骤4)、更新Y1，Y2和μ：；
返回步骤1，直到满足收敛条件结束，输出P。
5.根据权利要求4所述的无监督的双向重建领域自适应方法，其特征是，所述步骤1)中，P的更新式为：
(XQXT+λI)p＝ηXHXTp
式中，
Figure FDA0002003282430000022
其中Z＝ZS+ZT，ZS和ZT为：
η为第i个最小特征值，为对应P的第i列，i∈[1,D]。
6.根据权利要求5所述的无监督的双向重建领域自适应方法，其特征是，所述步骤2)中，Zs的更新式为：
Figure FDA0002003282430000025
Ls的更新式为：
式中，Y1和Y2表示拉格朗日乘子，μ为惩罚参数。
7.根据权利要求6所述的无监督的双向重建领域自适应方法，其特征是，所述步骤3)中，Zt的更新式为：
Figure FDA0002003282430000031
Lt的更新式为：
Figure FDA0002003282430000032
式中，θτ(M)＝USτ(Σ)VT定义为奇异值τ的thresholding operator；Sτ(Σij)＝sign(Σij)max(0,|Σij-τ|)为soft-thresholding operator；M＝UΣVT为M的奇异值分解。
8.根据权利要求7所述的无监督的双向重建领域自适应方法，其特征是，所述步骤4)中，Y1，Y2和μ的更新式为：
Figure FDA0002003282430000033
式中，ρ为步长，μmax为最大μ取值，两者都是常数。
CN201910219985.XA 2019-03-22 2019-03-22 一种无监督的双向重建领域自适应方法 Pending CN110659663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910219985.XA CN110659663A (zh) 2019-03-22 2019-03-22 一种无监督的双向重建领域自适应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910219985.XA CN110659663A (zh) 2019-03-22 2019-03-22 一种无监督的双向重建领域自适应方法

Publications (1)

Publication Number Publication Date
CN110659663A true CN110659663A (zh) 2020-01-07

Family

ID=69028506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910219985.XA Pending CN110659663A (zh) 2019-03-22 2019-03-22 一种无监督的双向重建领域自适应方法

Country Status (1)

Country Link
CN (1) CN110659663A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733970A (zh) * 2021-03-31 2021-04-30 腾讯科技（深圳）有限公司 图像分类模型处理方法、图像分类方法及装置
CN113240030A (zh) * 2021-05-24 2021-08-10 哈尔滨理工大学 一种基于交互表示的域自适应子空间学习方法
CN116167288A (zh) * 2023-04-19 2023-05-26 中国科学技术大学 一种ua2ft半监督迁移学习建模方法、介质及设备
CN116777004A (zh) * 2023-06-29 2023-09-19 中国人民解放军国防科技大学 融入分布对齐信息的非凸判别迁移子空间学习方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733970A (zh) * 2021-03-31 2021-04-30 腾讯科技（深圳）有限公司 图像分类模型处理方法、图像分类方法及装置
CN112733970B (zh) * 2021-03-31 2021-06-18 腾讯科技（深圳）有限公司 图像分类模型处理方法、图像分类方法及装置
CN113240030A (zh) * 2021-05-24 2021-08-10 哈尔滨理工大学 一种基于交互表示的域自适应子空间学习方法
CN113240030B (zh) * 2021-05-24 2022-06-28 哈尔滨理工大学 一种基于交互表示的域自适应子空间学习方法
CN116167288A (zh) * 2023-04-19 2023-05-26 中国科学技术大学 一种ua2ft半监督迁移学习建模方法、介质及设备
CN116167288B (zh) * 2023-04-19 2023-07-11 中国科学技术大学 一种ua2ft半监督迁移学习建模方法、介质及设备
CN116777004A (zh) * 2023-06-29 2023-09-19 中国人民解放军国防科技大学 融入分布对齐信息的非凸判别迁移子空间学习方法
CN116777004B (zh) * 2023-06-29 2024-02-06 中国人民解放军国防科技大学 融入分布对齐信息的非凸判别迁移子空间学习方法

Similar Documents

Publication Publication Date Title
Kim et al. Attract, perturb, and explore: Learning a feature alignment network for semi-supervised domain adaptation
Jiménez-Sánchez et al. Capsule networks against medical imaging data challenges
Yao et al. Deep learning from noisy image labels with quality embedding
CN110659663A (zh) 一种无监督的双向重建领域自适应方法
Wu et al. Geometric knowledge embedding for unsupervised domain adaptation
CN112446423B (zh) 一种基于迁移学习的快速混合高阶注意力域对抗网络的方法
CN110555060A (zh) 基于成对样本匹配的迁移学习方法
Yu et al. Multi-target unsupervised domain adaptation without exactly shared categories
Liu et al. Coupled local–global adaptation for multi-source transfer learning
CN113420775B (zh) 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法
CN111985538A (zh) 基于语义辅助注意力机制的小样本图片分类模型及方法
Yang et al. Cross-domain visual representations via unsupervised graph alignment
Yan et al. A hybrid convolutional and recurrent deep neural network for breast cancer pathological image classification
CN111126464A (zh) 一种基于无监督域对抗领域适应的图像分类方法
Zhang et al. Tensor-based multi-view label enhancement for multi-label learning.
Pang et al. Camera invariant feature learning for unsupervised person re-identification
Wang et al. Data augmentation with norm-AE and selective pseudo-labelling for unsupervised domain adaptation
CN112861929A (zh) 一种基于半监督加权迁移判别分析的图像分类方法
Dong et al. Generic training set based multimanifold discriminant learning for single sample face recognition
Shi et al. Global-and local-aware feature augmentation with semantic orthogonality for few-shot image classification
CN112990340B (zh) 一种基于特征共享的自学习迁移方法
CN114863176A (zh) 基于目标域移动机制的多源域自适应方法
Zhang et al. Close-set camera style distribution alignment for single camera person re-identification
Lu et al. Cross-domain structure learning for visual data recognition
Wang et al. Task-dependent and query-dependent subspace learning for cross-modal retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200107