CN107273927B - 基于类间匹配的无监督领域适应分类方法 - Google Patents

基于类间匹配的无监督领域适应分类方法 Download PDF

Info

Publication number
CN107273927B
CN107273927B CN201710442276.9A CN201710442276A CN107273927B CN 107273927 B CN107273927 B CN 107273927B CN 201710442276 A CN201710442276 A CN 201710442276A CN 107273927 B CN107273927 B CN 107273927B
Authority
CN
China
Prior art keywords
field
target
samples
matrix
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710442276.9A
Other languages
English (en)
Other versions
CN107273927A (zh
Inventor
魏巍
张艳宁
张磊
张锦阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201710442276.9A priority Critical patent/CN107273927B/zh
Publication of CN107273927A publication Critical patent/CN107273927A/zh
Application granted granted Critical
Publication of CN107273927B publication Critical patent/CN107273927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于类间匹配的无监督领域适应分类方法，用于解决现有不同领域间图像分类方法分类性能差的技术问题。技术方案是根据源图像领域和目标图像领域的样本，建立面向类别的最大平均差异模型。利用线性投影方法，构建领域迁移的特征表示模型，将源领域样本和目标领域样本投影到同一潜在的特征空间。联合考虑源领域样本的监督信息和目标领域内样本间潜在的低秩结构特点，建立鲁棒的目标领域分类模型，标记目标领域内所有的无标签样本。建立以最小化领域间相同类别分布差异为目标的联合优化模型，并利用交替最小化优化方法，交替迭代优化特征表示模型和分类模型，直至收敛，最终得到最优的目标领域分类结果，分类性能好。

Description

基于类间匹配的无监督领域适应分类方法
技术领域
本发明涉及一种不同领域间图像分类方法，特别是涉及一种基于类间匹配的无监督领域适应分类方法。
背景技术
随着视觉数据的激增，计算机视觉通常会面临源图像领域(训练数据)的特征分布与目标领域(测试数据)特征不匹配的情况。领域适应方法，旨在减少源领域中训练的分类器应用到目标领域上的性能损失。其中，最具挑战的任务是无监督的领域适应方法，在目标领域中的所有样本都是无样本标记的，为了有效消除领域间的分布差异，大多数的方法主要通过描述不同领域的数据特征，试图最小化全局领域特征分布间的差异。
文献“M.Baktashmotlagh,M.T.Harandi,B.C.Lovell,andM.Salzmann.Unsupervised domain adaptation by domain invariant projection.IEEEProceedings of International Conference on Computer Vision(ICCV),pages 769–776,2013.”公开了一种不同领域间图像分类方法。该方法试图通过最小化全局领域特征分布间的最大平均差异(Maximum Mean Discrepancy，MMD)，来学习领域间的不变特征表示。然而，这类面向全局领域特征分布差异的方法存在两方面的问题，首先，全局领域中数据空间结构的高维复杂化使得全局分布的建模困难；其次，直接最小化全局的数据分布差异忽略了领域间的类别结构，容易造成类间数据的混叠。这两方面的问题都会导致目标领域的分类性能下降。
发明内容
为了克服现有不同领域间图像分类方法分类性能差的不足，本发明提供一种基于类间匹配的无监督领域适应分类方法。该方法根据源图像领域和目标图像领域的样本，建立面向类别的最大平均差异模型。利用线性投影方法，构建领域迁移的特征表示模型，将源领域样本和目标领域样本投影到同一潜在的特征空间。联合考虑源领域样本的监督信息和目标领域内样本间潜在的低秩结构特点，建立鲁棒的目标领域分类模型，标记目标领域内所有的无标签样本。建立以最小化领域间相同类别分布差异为目标的联合优化模型，并利用交替最小化优化方法，交替迭代优化特征表示模型和分类模型，直至收敛，最终得到最优的目标领域分类结果，分类性能好。
本发明解决其技术问题所采用的技术方案是：一种基于类间匹配的无监督领域适应分类方法，其特点是包括以下步骤：
步骤一、对于给定的N个带标签的源图像领域的数据
Figure BDA0001320297970000021
表示第i个数据的标签是
Figure BDA0001320297970000022
对于给定的M个无标签目标图像领域的数据
Figure BDA0001320297970000023
假定对于
Figure BDA0001320297970000024
和
Figure BDA0001320297970000025
数据有明显的分布差异，但共享一个类别空间。
定义源图像领域的样本矩阵
Figure BDA0001320297970000026
对应的标签向量为
Figure BDA0001320297970000027
目标图像领域的样本矩阵为
Figure BDA0001320297970000028
设计一个前馈的模型结构，学习源领域和目标领域样本的迁移特征，并利用鲁棒的分类器，给无标记的目标领域样本Xt赋予标签yt。对于一个未标记的样本
Figure BDA0001320297970000029
通过一个映射函数f(·)学习迁移特征
Figure BDA00013202979700000210
实现领域间相同类别的自适应匹配。该过程表示为
Figure BDA00013202979700000211
其中，P表示映射函数f(·)中的参数矩阵。基于学习得到的特征
Figure BDA00013202979700000212
通过分类器c(·)得到目标领域样本
Figure BDA00013202979700000213
的标签
Figure BDA00013202979700000214
该过程表示为
Figure BDA00013202979700000215
其中，Z表示分类器中的参数矩阵。通过定义如下的优化模型，联合学习参数矩阵P，Z：
Figure BDA00013202979700000216
其中，
Figure BDA00013202979700000217
表示面向类别的最大平均差异模型，
Figure BDA00013202979700000218
分别表示P和Z的特征空间，下面分别定义模型
Figure BDA00013202979700000219
函数f(·)和函数c(·)。
步骤二、面向类别的最大平均差异模型。
根据源图像领域和目标图像领域的样本，建立面向类别的最大平均差异模型
Figure BDA00013202979700000220
来衡量不同领域间相同类别的数据分布差异。通过分类器得到伪标签，通过伪标签逐步优化分类器。对给定的伪标签yt，源图像领域和目标图像领域的样本分别定义为
Figure BDA00013202979700000221
其中，
Figure BDA00013202979700000222
表示来自
Figure BDA00013202979700000223
和
Figure BDA00013202979700000224
的第l类样本的第i个，nl,ml分别表示在源图像领域和目标图像领域的第l类样本的个数，通过如下的公式来定义两个不同领域中，相同类对应的最大平均差异分布：
Figure BDA0001320297970000031
其中，φ(·)表示希尔伯特空间的映射函数，
Figure BDA0001320297970000032
表示参数为σ的高斯核函数。当函数
Figure BDA0001320297970000033
时，不同领域中对应的两个相同类的分布是相等的，通过如下的公式来定义模型：
Figure BDA0001320297970000034
步骤三、领域迁移的特征表示模型。
定义一个函数f(·)，通过线性投影来学习分类特征，定义如下：
Figure BDA0001320297970000035
其中，
Figure BDA0001320297970000036
表示线性投影矩阵，I是一个单位阵，δ是一个预定义的标量。为了防止优化器收敛到一个退化解，确保P是行正交的，并且对P进行归一化处理，使得PPT＝I。考虑到任意正交可能破坏数据在Xt上的可辨别性，在此基础上添加了一个类似主成分分析的约束，使
Figure BDA0001320297970000037
该约束确保了在投影空间保留Xt的主要特征，其中，‖·‖F是一个弗罗贝尼乌斯范式。正交约束和类PCA约束确保了P在
Figure BDA0001320297970000038
空间内的有效性。
步骤四、无监督的目标领域分类模型。
在设计分类器时引入目标图像领域的低秩成分，将源图像领域
Figure BDA0001320297970000039
中的样本Xs看做一个字典，用这个字典线性的表示目标领域
Figure BDA00013202979700000310
中的样本Ft：
Ft＝XsZ+E, (5)
其中，
Figure BDA00013202979700000311
表示系数矩阵，
Figure BDA00013202979700000312
代表残差项。因为Ft中，相同列属于同一类，相同列总表现出相似的特征，所以系数矩阵Z与之关联的列也表现出相似的特征。在源图像领域和目标图像领域中，相同类别的样本表现出相似的特征，不同类别的差异比较明显，来自特定类Ft中的样本容易被来自同一类的源样本重构，即只有与Z中的该类对应的行将被分配重要系数，所以，矩阵Z表现出明显的低秩属性。使用如下的公式来估计Z：
Figure BDA00013202979700000313
其中，核范数‖·‖*用来减小Z的秩，
Figure BDA0001320297970000041
范数用来描述稀疏表示的误差，λ是一个预定义的均衡系数。当在整个Xs上表示
Figure BDA0001320297970000042
时，
Figure BDA0001320297970000043
将会被源图像领域中属于
Figure BDA0001320297970000044
的那个类别构建，将
Figure BDA0001320297970000045
分配给用最小误差来构建
Figure BDA0001320297970000046
的那个类别。对第l个类别，对于
Figure BDA0001320297970000047
的构建误差定义为
Figure BDA0001320297970000048
其中，Zl表示源图像领域
Figure BDA0001320297970000049
中，第i类样本对应的系数矩阵。对于给定的矩阵Z，通过如下的分类器来给样本
Figure BDA00013202979700000410
赋予对应的标签
Figure BDA00013202979700000411
Figure BDA00013202979700000412
用一个概率函数将
Figure BDA00013202979700000413
转化输出为每个类别对应的概率值。
步骤五、联合优化模型构建与求解。
通过公式(3)、(4)、(6)、(7)，对公式(1)进行如下定义：
Figure BDA00013202979700000414
将公式(8)的优化问题转化成两个子问题，迁移特征学习和分类器学习，利用交替最小化优化方法，交替迭代优化特征表示模型和分类模型，直至收敛，最终得到最优的目标领域分类结果。
迁移特征学习：
对于一个伪标签yt，投影矩阵P通过如下的一个优化问题解决：
Figure BDA00013202979700000415
给定一个适当的松弛系数γ，对公式(9)进行如下定义：
Figure BDA00013202979700000416
这个问题相当于一个基于正交约束的标准优化问题：
Figure BDA00013202979700000417
该问题使用基于正交约束的标准优化工具包得到解决。
分类器学习：
有了固定的投影矩阵P，通过公式Ft＝PXt得到目标领域中样本的迁移特征。为了让目标图像领域中样本标签尽可能准确，首先要解决公式(6)中的一个标准低秩问题，来优化对应的系数矩阵Z，该问题通过标准低秩问题的工具包得到解决。然后使用公式(7)得到每一个目标领域样本的标签yt。
整个算法的流程可以总结如下：
输入：
Figure BDA0001320297970000051
领域中带标签ys的样本Xs，
Figure BDA0001320297970000052
领域中无标签的样本Xt，参数σ,λ,γ
经过T次迭代：
分类器增强：
通过公式(6)得到矩阵Z。
通过公式(7)得到分类器标签yt。
迁移特征学习：
通过公式(11)得到投影矩阵P。
输出：目标领域样本标签yt。
经过T次迭代，每次迭代中，分类器增强和迁移特征学习的问题交替被解决。
本发明的有益效果是：该方法根据源图像领域和目标图像领域的样本，建立面向类别的最大平均差异模型。利用线性投影方法，构建领域迁移的特征表示模型，将源领域样本和目标领域样本投影到同一潜在的特征空间。联合考虑源领域样本的监督信息和目标领域内样本间潜在的低秩结构特点，建立鲁棒的目标领域分类模型，标记目标领域内所有的无标签样本。建立以最小化领域间相同类别分布差异为目标的联合优化模型，并利用交替最小化优化方法，交替迭代优化特征表示模型和分类模型，直至收敛，最终得到最优的目标领域分类结果，分类性能好。
本发明通过最小化领域间相同类别分布差异，降低了分布建模的难度，也有效的回避了类间数据的混叠现象。在目标领域的分类模型中，既考虑了源图像领域的标记信息，也考虑到目标图像领域的低秩结构，提升了分类器的鲁棒性。经测试，在三个标准领域适应的数据集上，均取得了最好的结果。在Office-Caltech10数据集上，平均准确率提高了2.2％；在Office31数据集上，平均准确率提高了3.2％；在Satellite-Scene数据集上，平均准确率提高了4.9％。
下面结合具体实施方式对本发明作详细说明。
具体实施方式
本发明基于类间匹配的无监督领域适应分类方法具体步骤如下：
步骤一、对于给定的N个带标签的源图像领域的数据
Figure BDA0001320297970000061
表示第i个数据的标签是
Figure BDA0001320297970000062
对于给定的M个无标签目标图像领域的数据
Figure BDA0001320297970000063
假定对于
Figure BDA0001320297970000064
和
Figure BDA0001320297970000065
数据有明显的分布差异，但共享一个类别空间。
定义源图像领域的样本矩阵
Figure BDA0001320297970000066
对应的标签向量为
Figure BDA0001320297970000067
目标图像领域的样本矩阵为
Figure BDA0001320297970000068
我们旨在设计一个前馈的模型结构，学习源领域和目标领域样本的迁移特征，并利用鲁棒的分类器，给无标记的目标领域样本Xt赋予标签yt。具体的，对于一个未标记的样本
Figure BDA0001320297970000069
通过一个映射函数f(·)，来学习迁移特征
Figure BDA00013202979700000610
实现领域间相同类别的自适应匹配。该过程可以表示为
Figure BDA00013202979700000611
其中，P表示映射函数f(·)中的参数矩阵。基于学习得到的特征
Figure BDA00013202979700000612
通过分类器c(·)得到目标领域样本
Figure BDA00013202979700000613
的标签
Figure BDA00013202979700000614
该过程可以表示为
Figure BDA00013202979700000615
其中，Z表示分类器中的参数矩阵。通过定义如下的优化模型，来联合学习参数矩阵P，Z：
Figure BDA00013202979700000616
其中，
Figure BDA00013202979700000617
表示面向类别的最大平均差异模型，
Figure BDA00013202979700000618
分别表示P和Z的特征空间，下面分别定义模型
Figure BDA00013202979700000619
函数f(·)和函数c(·)。
步骤二、面向类别的最大平均差异模型。
根据源图像领域和目标图像领域的样本，建立面向类别的最大平均差异模型
Figure BDA00013202979700000620
来衡量不同领域间相同类别的数据分布差异。在源图像领域，通过标签可以对样本分类，然而，我们处理的是无样本标记的数据。为了解决这个问题，通过分类器得到伪标签，通过伪标签逐步优化分类器。伪标签在初始准确率不高，但分类器性能会随着迭代不断提升。对给定的伪标签yt，源图像领域和目标图像领域的样本分别定义为
Figure BDA00013202979700000621
其中，
Figure BDA00013202979700000622
表示来自
Figure BDA00013202979700000623
和
Figure BDA00013202979700000624
的第l类样本的第i个，nl,ml分别表示在源图像领域和目标图像领域的第l类样本的个数，通过如下的公式来定义两个不同领域中，相同类对应的最大平均差异分布：
Figure BDA0001320297970000071
其中，φ(·)表示希尔伯特(Hilbert)空间的映射函数，
Figure BDA0001320297970000072
表示参数为σ的高斯核函数。可以证明，当函数
Figure BDA0001320297970000073
时，不同领域中对应的两个相同类的分布是相等的，所以通过如下的公式来定义模型：
Figure BDA0001320297970000074
步骤三、领域迁移的特征表示模型。
线性投影可以将不同领域的样本投影到同一潜在的特征空间，受此启发，我们定义了一个函数f(·)，通过线性投影来学习分类特征，定义如下：
Figure BDA0001320297970000075
其中，
Figure BDA0001320297970000076
表示线性投影矩阵，I是一个适当大小的单位阵，δ是一个预定义的标量。为了防止优化器收敛到一个退化解，确保P是行正交的，并且对P进行归一化处理，使得PPT＝I。考虑到任意正交可能破坏数据在Xt上的可辨别性，在此基础上添加了一个类似主成分分析(PCA)的约束，使
Figure BDA0001320297970000077
该约束确保了在投影空间保留Xt的主要特征，其中，‖·‖F是一个弗罗贝尼乌斯(Frobenius)范式。正交约束和类PCA约束确保了P在
Figure BDA0001320297970000078
空间内的有效性。
步骤四、无监督的目标领域分类模型。
许多其他方法，可迁移特征的学习和分类器设计是分离的，它们直接将从源图像领域学习到的特征迁移使用到目标图像领域，这样的分类器只考虑到了源图像领域中的监督信息，忽略目标图像领域中的信息，我们将这两者结合起来。分类器的性能由它学习到的特征决定，特征又反过来影响分类器的性能，如果次优的特征被学习到，那就说明源图像领域中带标签的数据不足以为目标图像领域训练一个鲁棒的分类器。为了减轻这一限制，在设计分类器时引入目标图像领域的低秩成分，将源图像领域
Figure BDA0001320297970000079
中的样本Xs看做一个字典，用这个字典线性的表示目标领域
Figure BDA00013202979700000710
中的样本Ft：
Ft＝XsZ+E, (5)
其中，
Figure BDA0001320297970000081
表示系数矩阵，
Figure BDA0001320297970000082
代表残差项。因为Ft中，相同列属于同一类，相同列总表现出相似的特征，所以系数矩阵Z与之关联的列也表现出相似的特征。在源图像领域和目标图像领域中，相同类别的样本表现出相似的特征，不同类别的差异比较明显，来自特定类Ft中的样本容易被来自同一类的源样本重构，即只有与Z中的该类对应的行将被分配重要系数，所以，矩阵Z表现出明显的低秩属性。受此启发，使用如下的公式来估计Z：
Figure BDA0001320297970000083
其中，核范数‖·‖*用来减小Z的秩，
Figure BDA0001320297970000084
范数用来描述稀疏表示的误差，λ是一个预定义的均衡系数。当在整个Xs上表示
Figure BDA0001320297970000085
时，
Figure BDA0001320297970000086
将会被源图像领域中属于
Figure BDA0001320297970000087
的那个类别构建，所以将
Figure BDA0001320297970000088
分配给可以用最小误差来构建
Figure BDA0001320297970000089
的那个类别。对第l个类别，对于
Figure BDA00013202979700000810
的构建误差定义为
Figure BDA00013202979700000811
其中，Zl表示源图像领域
Figure BDA00013202979700000812
中，第i类样本对应的系数矩阵。所以，对于给定的矩阵Z，可以通过如下的分类器来给样本
Figure BDA00013202979700000813
赋予对应的标签
Figure BDA00013202979700000814
Figure BDA00013202979700000815
也可以用一个概率函数来将
Figure BDA00013202979700000816
转化输出为每个类别对应的概率值。初始不是一个最优的特征，但是提取了目标图像领域无监督的低秩成分可以使分类器学习到更有效的特征。
步骤五、联合优化模型构建与求解。
通过公式(3)、(4)、(6)、(7)，对公式(1)进行如下定义：
Figure BDA00013202979700000817
公式(8)的优化问题包含一些未知的参数，这使得直接进行优化变得困难。我们使用一个替换的方案，将原始问题转化成两个子问题，分别是迁移特征学习和分类器学习，利用交替最小化优化方法，交替迭代优化特征表示模型和分类模型，直至收敛，最终得到最优的目标领域分类结果。
迁移特征学习：
对于一个伪标签yt，投影矩阵P可以通过如下的一个优化问题解决：
Figure BDA0001320297970000091
给定一个适当的松弛系数γ，公式(9)可以进行如下定义：
Figure BDA0001320297970000092
这个问题相当于一个基于正交约束的标准优化问题：
Figure BDA0001320297970000093
该问题可以使用基于正交约束的标准优化工具包得到有效解决。
分类器学习：
有了固定的投影矩阵P，可以通过公式Ft＝PXt得到目标领域中样本的迁移特征。为了让目标图像领域中样本标签尽可能准确，首先要解决公式(6)中的一个标准低秩问题，来优化对应的系数矩阵Z，该问题可以通过标准低秩问题的工具包得到有效解决。然后使用公式(7)得到每一个目标领域样本的标签yt。
整个算法的流程可以总结如下：
输入：
Figure BDA0001320297970000095
领域中带标签ys的样本Xs，
Figure BDA0001320297970000094
领域中无标签的样本Xt，参数σ,λ,γ
经过T次迭代：
分类器增强：
通过公式(6)得到矩阵Z。
通过公式(7)得到分类器标签yt。
迁移特征学习：
通过公式(11)得到投影矩阵P。
输出：目标领域样本标签yt。
经过T次迭代，每次迭代中，分类器增强和迁移特征学习的问题交替被解决，这是一个良性循环，正确的输出可以在之后学习到更好地迁移特征，更好地迁移特征又可以增强分类器的效果，这两步的迭代，可以不断减小模型的误差，确保模型能很好收敛，并取得一个好的分类结果。

Claims (1)

1.一种基于类间匹配的无监督领域适应分类方法，其特征在于包括以下步骤：
步骤一、对于给定的N个带标签的源图像领域的数据
Figure FDA0002584311510000011
表示第j个数据的标签是
Figure FDA0002584311510000012
对于给定的M个无标签目标图像领域的数据
Figure FDA0002584311510000013
对于
Figure FDA0002584311510000014
和
Figure FDA0002584311510000015
数据有明显的分布差异，但共享一个类别空间；
定义源图像领域的样本矩阵
Figure FDA0002584311510000016
对应的标签向量为
Figure FDA0002584311510000017
目标图像领域的样本矩阵为
Figure FDA0002584311510000018
设计一个前馈的模型结构，学习源领域和目标领域样本的迁移特征，并利用鲁棒的分类器，给无标记的目标领域样本Xt赋予标签yt；对于一个未标记的样本
Figure FDA0002584311510000019
通过一个映射函数f(·)学习迁移特征
Figure FDA00025843115100000110
实现领域间相同类别的自适应匹配；该过程表示为
Figure FDA00025843115100000111
其中，P表示映射函数f(·)中的参数矩阵；基于学习得到的特征
Figure FDA00025843115100000112
通过分类器c(·)得到目标领域样本
Figure FDA00025843115100000113
的标签
Figure FDA00025843115100000114
该过程表示为
Figure FDA00025843115100000115
其中，Z表示分类器中的参数矩阵；通过定义如下的优化模型，联合学习参数矩阵P，Z：
Figure FDA00025843115100000116
其中，
Figure FDA00025843115100000117
表示面向类别的最大平均差异模型，
Figure FDA00025843115100000118
分别表示P和Z的特征空间，下面分别定义模型
Figure FDA00025843115100000119
函数f(·)和函数c(·)；
步骤二、面向类别的最大平均差异模型；
根据源图像领域和目标图像领域的样本，建立面向类别的最大平均差异模型
Figure FDA00025843115100000120
来衡量不同领域间相同类别的数据分布差异；通过分类器得到标签，通过标签逐步优化分类器；对给定的标签yt，源图像领域和目标图像领域的样本分别定义为
Figure FDA00025843115100000121
其中，
Figure FDA00025843115100000122
表示来自
Figure FDA00025843115100000123
和
Figure FDA00025843115100000124
的第l类样本的第p个和q个，nl,ml分别表示在源图像领域和目标图像领域的第l类样本的个数，通过如下的公式来定义两个不同领域中，相同类对应的最大平均差异分布：
Figure FDA00025843115100000125
其中，φ(·)表示希尔伯特空间的映射函数，
Figure FDA0002584311510000021
表示参数为σ的高斯核函数；当函数
Figure FDA0002584311510000022
时，不同领域中对应的两个相同类的分布是相等的，通过如下的公式来定义模型：
Figure FDA0002584311510000023
步骤三、领域迁移的特征表示模型；
定义一个函数f(·)，通过线性投影来学习分类特征，定义如下：
Figure FDA0002584311510000024
其中，
Figure FDA0002584311510000025
表示线性投影矩阵，I是一个单位阵，δ是一个预定义的标量；为了防止优化器收敛到一个退化解，确保P是行正交的，并且对P进行归一化处理，使得PPT＝I；考虑到任意正交可能破坏数据在Xt上的可辨别性，在此基础上添加了一个类似主成分分析的约束，使
Figure FDA0002584311510000026
该约束确保了在投影空间保留Xt的主要特征，其中，‖·‖F是一个弗罗贝尼乌斯范式；正交约束和类PCA约束确保了P在
Figure FDA0002584311510000027
空间内的有效性；
步骤四、无监督的目标领域分类模型；
在设计分类器时引入目标图像领域的低秩成分，将源图像领域
Figure FDA0002584311510000028
中的样本Xs看做一个字典，用这个字典线性的表示目标领域
Figure FDA0002584311510000029
中的样本Ft：
Ft＝XsZ+E, (5)
其中，
Figure FDA00025843115100000210
表示系数矩阵，
Figure FDA00025843115100000211
代表残差项；因为Ft中，相同列属于同一类，相同列总表现出相似的特征，所以系数矩阵Z与之关联的列也表现出相似的特征；在源图像领域和目标图像领域中，相同类别的样本表现出相似的特征，不同类别的差异比较明显，来自特定类Ft中的样本容易被来自同一类的源样本重构，即只有与Z中的该类对应的行将被分配重要系数，所以，矩阵Z表现出明显的低秩属性；使用如下的公式来估计Z：
Figure FDA00025843115100000212
其中，核范数‖·‖*用来减小Z的秩，l1范数用来描述稀疏表示的误差，λ是一个预定义的均衡系数；当在整个Xs上表示
Figure FDA0002584311510000031
时，
Figure FDA0002584311510000032
将会被源图像领域中属于
Figure FDA0002584311510000033
的那个类别构建，将
Figure FDA0002584311510000034
分配给用最小误差来构建
Figure FDA0002584311510000035
的那个类别；对第l个类别，对于
Figure FDA0002584311510000036
的构建误差定义为
Figure FDA0002584311510000037
其中，Zl表示源图像领域
Figure FDA0002584311510000038
中，第l类样本对应的系数矩阵；对于给定的矩阵Z，通过如下的分类器来给样本
Figure FDA0002584311510000039
赋予对应的标签
Figure FDA00025843115100000310
Figure FDA00025843115100000311
用一个概率函数将
Figure FDA00025843115100000312
转化输出为每个类别对应的概率值；
步骤五、联合优化模型构建与求解；
通过公式(3)、(4)、(6)、(7)，对公式(1)进行如下定义：
Figure FDA00025843115100000313
将公式(8)的优化问题转化成两个子问题，迁移特征学习和分类器学习，利用交替最小化优化方法，交替迭代优化特征表示模型和分类模型，直至收敛，最终得到最优的目标领域分类结果；
迁移特征学习：
对于一个标签yt，投影矩阵P通过如下的一个优化问题解决：
Figure FDA00025843115100000314
给定一个适当的松弛系数γ，对公式(9)进行如下定义：
Figure FDA00025843115100000315
这个问题相当于一个基于正交约束的标准优化问题：
Figure FDA00025843115100000316
该问题使用基于正交约束的标准优化工具包得到解决；
分类器学习：
有了固定的投影矩阵P，通过公式Ft＝PXt得到目标领域中样本的迁移特征；为了让目标图像领域中样本标签尽可能准确，首先要解决公式(6)中的一个标准低秩问题，来优化对应的系数矩阵Z，该问题通过标准低秩问题的工具包得到解决；然后使用公式(7)得到每一个目标领域样本的标签yt；
整个算法的流程总结如下：
输入：
Figure FDA0002584311510000041
领域中带标签ys的样本Xs，
Figure FDA0002584311510000042
领域中无标签的样本Xt，参数σ,λ,γ
经过T次迭代：
分类器增强：
通过公式(6)得到矩阵Z；
通过公式(7)得到分类器标签yt；
迁移特征学习：
通过公式(11)得到投影矩阵P；
输出：目标领域样本标签yt；
经过T次迭代，每次迭代中，分类器增强和迁移特征学习的问题交替被解决。
CN201710442276.9A 2017-06-13 2017-06-13 基于类间匹配的无监督领域适应分类方法 Active CN107273927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710442276.9A CN107273927B (zh) 2017-06-13 2017-06-13 基于类间匹配的无监督领域适应分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710442276.9A CN107273927B (zh) 2017-06-13 2017-06-13 基于类间匹配的无监督领域适应分类方法

Publications (2)

Publication Number Publication Date
CN107273927A CN107273927A (zh) 2017-10-20
CN107273927B true CN107273927B (zh) 2020-09-22

Family

ID=60067159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710442276.9A Active CN107273927B (zh) 2017-06-13 2017-06-13 基于类间匹配的无监督领域适应分类方法

Country Status (1)

Country Link
CN (1) CN107273927B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944472B (zh) * 2017-11-03 2019-05-28 北京航空航天大学 一种基于迁移学习的空域运行态势计算方法
CN108765313B (zh) * 2018-05-02 2021-09-07 西北工业大学 基于类内低秩结构表示的高光谱图像去噪方法
CN109117859A (zh) * 2018-06-15 2019-01-01 国网浙江省电力有限公司 用于计算机视觉的多标签聚类方法
CN109348229B (zh) * 2018-10-11 2020-02-11 武汉大学 基于异构特征子空间迁移的jpeg图像失配隐写分析方法
CN109800780B (zh) * 2018-12-05 2021-04-27 天津大学 基于非监督流形对齐的域自适应遥感图像分类算法
CN109919209B (zh) * 2019-02-26 2020-06-19 中国人民解放军军事科学院国防科技创新研究院 一种领域自适应深度学习方法及可读存储介质
CN110020674B (zh) * 2019-03-13 2021-01-29 清华大学 一种提升局部类别区分度的跨领域自适应图像分类方法
CN109934304B (zh) * 2019-03-25 2022-03-29 重庆邮电大学 一种基于超限隐特征模型的盲领域图像样本分类方法
CN110489753B (zh) * 2019-08-15 2022-06-14 昆明理工大学 改进特征选择的神经结构对应学习跨领域情感分类方法
CN113128530B (zh) * 2019-12-30 2023-11-03 上海高德威智能交通系统有限公司 一种数据分类方法及装置
CN111259941B (zh) * 2020-01-10 2023-09-26 中国科学院计算技术研究所 基于细粒度领域自适应的跨领域图像分类方法及系统
CN111488928B (zh) * 2020-04-09 2023-09-01 北京百度网讯科技有限公司 用于获取样本的方法及装置
CN112233016B (zh) * 2020-10-21 2022-09-09 中国计量大学 基于自组织图约束直推式非负矩阵分解的未见图像特征迁移方法
CN113782121B (zh) * 2021-08-06 2024-03-19 中国中医科学院中医药信息研究所 随机分组方法、装置、计算机设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310230A (zh) * 2013-06-17 2013-09-18 西北工业大学 联合解混及自适应端元提取的高光谱图像分类方法
CN103413143A (zh) * 2013-07-29 2013-11-27 西北工业大学 基于动态稀疏投影的视频目标跟踪方法
CN103544507A (zh) * 2013-10-15 2014-01-29 中国矿业大学 一种基于成对约束判别分析-非负稀疏散度的高光谱数据降维方法
CN104143088A (zh) * 2014-07-25 2014-11-12 电子科技大学 一种基于图像检索和特征权重学习的人脸识别方法
CN105787513A (zh) * 2016-03-01 2016-07-20 南京邮电大学 多示例多标记框架下基于域适应迁移学习设计方法和系统
CN105938544A (zh) * 2016-04-05 2016-09-14 大连理工大学 基于综合型线性分类器和解析型字典的行为识别方法
CN106326871A (zh) * 2016-08-26 2017-01-11 中国计量大学 一种基于字典分解和稀疏表示的鲁棒人脸识别方法
CN106326886A (zh) * 2016-11-07 2017-01-11 重庆工商大学 基于卷积神经网络的手指静脉图像质量评估方法及评估系统
CN106650830A (zh) * 2017-01-06 2017-05-10 西北工业大学 基于深层模型和浅层模型决策融合的肺结节ct图像自动分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776606B2 (en) * 2013-09-22 2020-09-15 The Regents Of The University Of California Methods for delineating cellular regions and classifying regions of histopathology and microanatomy

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310230A (zh) * 2013-06-17 2013-09-18 西北工业大学 联合解混及自适应端元提取的高光谱图像分类方法
CN103413143A (zh) * 2013-07-29 2013-11-27 西北工业大学 基于动态稀疏投影的视频目标跟踪方法
CN103544507A (zh) * 2013-10-15 2014-01-29 中国矿业大学 一种基于成对约束判别分析-非负稀疏散度的高光谱数据降维方法
CN104143088A (zh) * 2014-07-25 2014-11-12 电子科技大学 一种基于图像检索和特征权重学习的人脸识别方法
CN105787513A (zh) * 2016-03-01 2016-07-20 南京邮电大学 多示例多标记框架下基于域适应迁移学习设计方法和系统
CN105938544A (zh) * 2016-04-05 2016-09-14 大连理工大学 基于综合型线性分类器和解析型字典的行为识别方法
CN106326871A (zh) * 2016-08-26 2017-01-11 中国计量大学 一种基于字典分解和稀疏表示的鲁棒人脸识别方法
CN106326886A (zh) * 2016-11-07 2017-01-11 重庆工商大学 基于卷积神经网络的手指静脉图像质量评估方法及评估系统
CN106650830A (zh) * 2017-01-06 2017-05-10 西北工业大学 基于深层模型和浅层模型决策融合的肺结节ct图像自动分类方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Robust Transfer Metric Learning for Image Classification;Zhengming Ding 等;《IEEE Transactions on Image Processing》;20170228;第26卷(第2期);第660-670页 *
Spectral Unmixing for Hyperspectral Image Classification with an Adaptive Endmember Selection;Qingjie Meng 等;《International Conference on Intelligent Science and Big Data Engineering》;20131231;第359-367页 *
Unsupervised Domain Adaptation by Domain Invariant Projection;Mahsa Baktashmotlagh 等;《2013 IEEE International Conference on Computer Vision》;20131231;第769-776页 *
基于无监督迁移分量分析的语种识别;徐嘉明 等;《清华大学学报（自然科学版）》;20131231;第53卷(第6期);第800-803页 *
基于最大均值差异的多标记迁移学习算法;姜海燕 等;《基于最大均值差异的多标记迁移学习算法》;20161231;第45卷(第4期);第463-470、478页 *
基于深度学习的图像分类技术研究;屈冰欣;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315;第2017年卷(第3期);第I138-5534页 *

Also Published As

Publication number Publication date
CN107273927A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN107273927B (zh) 基于类间匹配的无监督领域适应分类方法
He et al. Data-dependent label distribution learning for age estimation
CN109308485B (zh) 一种基于字典域适应的迁移稀疏编码图像分类方法
CN112446423B (zh) 一种基于迁移学习的快速混合高阶注意力域对抗网络的方法
Yu et al. Multi-target unsupervised domain adaptation without exactly shared categories
CN112766386B (zh) 一种基于多输入多输出融合网络的广义零样本学习方法
CN111552807A (zh) 一种短文本多标签分类方法
CN111461157A (zh) 一种基于自学习的跨模态哈希检索方法
CN109348229B (zh) 基于异构特征子空间迁移的jpeg图像失配隐写分析方法
CN111126464A (zh) 一种基于无监督域对抗领域适应的图像分类方法
Kim et al. Transformatcher: Match-to-match attention for semantic correspondence
Zhang et al. Tensor-based multi-view label enhancement for multi-label learning.
CN110659663A (zh) 一种无监督的双向重建领域自适应方法
CN115147607A (zh) 一种基于凸优化理论的抗噪声零样本图像分类方法
CN112861929A (zh) 一种基于半监督加权迁移判别分析的图像分类方法
Ramasinghe et al. A context-aware capsule network for multi-label classification
Xu et al. Graphical modeling for multi-source domain adaptation
CN109657693B (zh) 一种基于相关熵和迁移学习的分类方法
Singh et al. Towards combined matrix and tensor factorization for universal schema relation extraction
Cheng et al. Graph neural networks with triple attention for few-shot learning
Zhu et al. Multi-kernel low-rank dictionary pair learning for multiple features based image classification
Shi et al. Unsupervised domain adaptation based on adaptive local manifold learning
Zhao et al. A cross-media heterogeneous transfer learning for preventing over-adaption
CN109815889B (zh) 一种基于特征表示集的跨分辨率人脸识别方法
Li et al. Discriminative transfer feature learning based on robust-centers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant