CN107273927A - 基于类间匹配的无监督领域适应分类方法 - Google Patents
基于类间匹配的无监督领域适应分类方法 Download PDFInfo
- Publication number
- CN107273927A CN107273927A CN201710442276.9A CN201710442276A CN107273927A CN 107273927 A CN107273927 A CN 107273927A CN 201710442276 A CN201710442276 A CN 201710442276A CN 107273927 A CN107273927 A CN 107273927A
- Authority
- CN
- China
- Prior art keywords
- sample
- mrow
- field
- msubsup
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于类间匹配的无监督领域适应分类方法，用于解决现有不同领域间图像分类方法分类性能差的技术问题。技术方案是根据源图像领域和目标图像领域的样本，建立面向类别的最大平均差异模型。利用线性投影方法，构建领域迁移的特征表示模型，将源领域样本和目标领域样本投影到同一潜在的特征空间。联合考虑源领域样本的监督信息和目标领域内样本间潜在的低秩结构特点，建立鲁棒的目标领域分类模型，标记目标领域内所有的无标签样本。建立以最小化领域间相同类别分布差异为目标的联合优化模型，并利用交替最小化优化方法，交替迭代优化特征表示模型和分类模型，直至收敛，最终得到最优的目标领域分类结果，分类性能好。
Description
技术领域
本发明涉及一种不同领域间图像分类方法，特别是涉及一种基于类间匹配的无监督领域适应分类方法。
背景技术
随着视觉数据的激增，计算机视觉通常会面临源图像领域(训练数据)的特征分布与目标领域(测试数据)特征不匹配的情况。领域适应方法，旨在减少源领域中训练的分类器应用到目标领域上的性能损失。其中，最具挑战的任务是无监督的领域适应方法，在目标领域中的所有样本都是无样本标记的，为了有效消除领域间的分布差异，大多数的方法主要通过描述不同领域的数据特征，试图最小化全局领域特征分布间的差异。
文献“M.Baktashmotlagh,M.T.Harandi,B.C.Lovell,andM.Salzmann.Unsupervised domain adaptation by domain invariant projection.IEEEProceedings of International Conference on Computer Vision(ICCV),pages 769–776,2013.”公开了一种不同领域间图像分类方法。该方法试图通过最小化全局领域特征分布间的最大平均差异(Maximum Mean Discrepancy，MMD)，来学习领域间的不变特征表示。然而，这类面向全局领域特征分布差异的方法存在两方面的问题，首先，全局领域中数据空间结构的高维复杂化使得全局分布的建模困难；其次，直接最小化全局的数据分布差异忽略了领域间的类别结构，容易造成类间数据的混叠。这两方面的问题都会导致目标领域的分类性能下降。
发明内容
为了克服现有不同领域间图像分类方法分类性能差的不足，本发明提供一种基于类间匹配的无监督领域适应分类方法。该方法根据源图像领域和目标图像领域的样本，建立面向类别的最大平均差异模型。利用线性投影方法，构建领域迁移的特征表示模型，将源领域样本和目标领域样本投影到同一潜在的特征空间。联合考虑源领域样本的监督信息和目标领域内样本间潜在的低秩结构特点，建立鲁棒的目标领域分类模型，标记目标领域内所有的无标签样本。建立以最小化领域间相同类别分布差异为目标的联合优化模型，并利用交替最小化优化方法，交替迭代优化特征表示模型和分类模型，直至收敛，最终得到最优的目标领域分类结果，分类性能好。
本发明解决其技术问题所采用的技术方案是：一种基于类间匹配的无监督领域适应分类方法，其特点是包括以下步骤：
步骤一、对于给定的N个带标签的源图像领域的数据表示第i个数据的标签是对于给定的M个无标签目标图像领域的数据假定对于和数据有明显的分布差异，但共享一个类别空间。
定义源图像领域的样本矩阵对应的标签向量为目标图像领域的样本矩阵为设计一个前馈的模型结构，学习源领域和目标领域样本的迁移特征，并利用鲁棒的分类器，给无标记的目标领域样本Xt赋予标签yt。对于一个未标记的样本通过一个映射函数f(·)学习迁移特征实现领域间相同类别的自适应匹配。该过程表示为其中，P表示映射函数f(·)中的参数矩阵。基于学习得到的特征通过分类器c(·)得到目标领域样本的标签该过程表示为其中，Z表示分类器中的参数矩阵。通过定义如下的优化模型，联合学习参数矩阵P，Z：
其中，表示面向类别的最大平均差异模型，分别表示P和Z的特征空间，下面分别定义模型函数f(·)和函数c(·)。
步骤二、面向类别的最大平均差异模型。
根据源图像领域和目标图像领域的样本，建立面向类别的最大平均差异模型来衡量不同领域间相同类别的数据分布差异。通过分类器得到伪标签，通过伪标签逐步优化分类器。对给定的伪标签yt，源图像领域和目标图像领域的样本分别定义为其中，表示来自和的第l类样本的第i个，nl,ml分别表示在源图像领域和目标图像领域的第l类样本的个数，通过如下的公式来定义两个不同领域中，相同类对应的最大平均差异分布：
其中，φ(·)表示希尔伯特空间的映射函数，表示参数为σ的高斯核函数。当函数时，不同领域中对应的两个相同类的分布是相等的，通过如下的公式来定义模型：
步骤三、领域迁移的特征表示模型。
定义一个函数f(·)，通过线性投影来学习分类特征，定义如下：
其中，表示线性投影矩阵，I是一个单位阵，δ是一个预定义的标量。为了防止优化器收敛到一个退化解，确保P是行正交的，并且对P进行归一化处理，使得PPT＝I。考虑到任意正交可能破坏数据在Xt上的可辨别性，在此基础上添加了一个类似主成分分析的约束，使该约束确保了在投影空间保留Xt的主要特征，其中，‖·‖F是一个弗罗贝尼乌斯范式。正交约束和类PCA约束确保了P在空间内的有效性。
步骤四、无监督的目标领域分类模型。
在设计分类器时引入目标图像领域的低秩成分，将源图像领域中的样本Xs看做一个字典，用这个字典线性的表示目标领域中的样本Ft：
Ft＝XsZ+E, (5)
其中，表示系数矩阵，代表残差项。因为Ft中，相同列属于同一类，相同列总表现出相似的特征，所以系数矩阵Z与之关联的列也表现出相似的特征。在源图像领域和目标图像领域中，相同类别的样本表现出相似的特征，不同类别的差异比较明显，来自特定类Ft中的样本容易被来自同一类的源样本重构，即只有与Z中的该类对应的行将被分配重要系数，所以，矩阵Z表现出明显的低秩属性。使用如下的公式来估计Z：
其中，核范数‖·‖*用来减小Z的秩，范数用来描述稀疏表示的误差，λ是一个预定义的均衡系数。当在整个Xs上表示时，将会被源图像领域中属于的那个类别构建，将分配给用最小误差来构建的那个类别。对第l个类别，对于的构建误差定义为其中，Zl表示源图像领域中，第i类样本对应的系数矩阵。对于给定的矩阵Z，通过如下的分类器来给样本赋予对应的标签
用一个概率函数将转化输出为每个类别对应的概率值。
步骤五、联合优化模型构建与求解。
通过公式(3)、(4)、(6)、(7)，对公式(1)进行如下定义：
将公式(8)的优化问题转化成两个子问题，迁移特征学习和分类器学习，利用交替最小化优化方法，交替迭代优化特征表示模型和分类模型，直至收敛，最终得到最优的目标领域分类结果。
迁移特征学习：
对于一个伪标签yt，投影矩阵P通过如下的一个优化问题解决：
给定一个适当的松弛系数γ，对公式(9)进行如下定义：
这个问题相当于一个基于正交约束的标准优化问题：
该问题使用基于正交约束的标准优化工具包得到解决。
分类器学习：
有了固定的投影矩阵P，通过公式Ft＝PXt得到目标领域中样本的迁移特征。为了让目标图像领域中样本标签尽可能准确，首先要解决公式(6)中的一个标准低秩问题，来优化对应的系数矩阵Z，该问题通过标准低秩问题的工具包得到解决。然后使用公式(7)得到每一个目标领域样本的标签yt。
整个算法的流程可以总结如下：
输入：领域中带标签ys的样本Xs，领域中无标签的样本Xt，参数σ,λ,γ
经过T次迭代：
分类器增强：
通过公式(6)得到矩阵Z。
通过公式(7)得到分类器标签yt。
迁移特征学习：
通过公式(11)得到投影矩阵P。
输出：目标领域样本标签yt。
经过T次迭代，每次迭代中，分类器增强和迁移特征学习的问题交替被解决。
本发明的有益效果是：该方法根据源图像领域和目标图像领域的样本，建立面向类别的最大平均差异模型。利用线性投影方法，构建领域迁移的特征表示模型，将源领域样本和目标领域样本投影到同一潜在的特征空间。联合考虑源领域样本的监督信息和目标领域内样本间潜在的低秩结构特点，建立鲁棒的目标领域分类模型，标记目标领域内所有的无标签样本。建立以最小化领域间相同类别分布差异为目标的联合优化模型，并利用交替最小化优化方法，交替迭代优化特征表示模型和分类模型，直至收敛，最终得到最优的目标领域分类结果，分类性能好。
本发明通过最小化领域间相同类别分布差异，降低了分布建模的难度，也有效的回避了类间数据的混叠现象。在目标领域的分类模型中，既考虑了源图像领域的标记信息，也考虑到目标图像领域的低秩结构，提升了分类器的鲁棒性。经测试，在三个标准领域适应的数据集上，均取得了最好的结果。在Office-Caltech10数据集上，平均准确率提高了2.2％；在Office31数据集上，平均准确率提高了3.2％；在Satellite-Scene数据集上，平均准确率提高了4.9％。
下面结合具体实施方式对本发明作详细说明。
具体实施方式
本发明基于类间匹配的无监督领域适应分类方法具体步骤如下：
步骤一、对于给定的N个带标签的源图像领域的数据表示第i个数据的标签是对于给定的M个无标签目标图像领域的数据假定对于和数据有明显的分布差异，但共享一个类别空间。
定义源图像领域的样本矩阵对应的标签向量为目标图像领域的样本矩阵为我们旨在设计一个前馈的模型结构，学习源领域和目标领域样本的迁移特征，并利用鲁棒的分类器，给无标记的目标领域样本Xt赋予标签yt。具体的，对于一个未标记的样本通过一个映射函数f(·)，来学习迁移特征实现领域间相同类别的自适应匹配。该过程可以表示为其中，P表示映射函数f(·)中的参数矩阵。基于学习得到的特征通过分类器c(·)得到目标领域样本的标签该过程可以表示为其中，Z表示分类器中的参数矩阵。通过定义如下的优化模型，来联合学习参数矩阵P，Z：
其中，表示面向类别的最大平均差异模型，分别表示P和Z的特征空间，下面分别定义模型函数f(·)和函数c(·)。
步骤二、面向类别的最大平均差异模型。
根据源图像领域和目标图像领域的样本，建立面向类别的最大平均差异模型来衡量不同领域间相同类别的数据分布差异。在源图像领域，通过标签可以对样本分类，然而，我们处理的是无样本标记的数据。为了解决这个问题，通过分类器得到伪标签，通过伪标签逐步优化分类器。伪标签在初始准确率不高，但分类器性能会随着迭代不断提升。对给定的伪标签yt，源图像领域和目标图像领域的样本分别定义为其中，表示来自和的第l类样本的第i个，nl,ml分别表示在源图像领域和目标图像领域的第l类样本的个数，通过如下的公式来定义两个不同领域中，相同类对应的最大平均差异分布：
其中，φ(·)表示希尔伯特(Hilbert)空间的映射函数，表示参数为σ的高斯核函数。可以证明，当函数时，不同领域中对应的两个相同类的分布是相等的，所以通过如下的公式来定义模型：
步骤三、领域迁移的特征表示模型。
线性投影可以将不同领域的样本投影到同一潜在的特征空间，受此启发，我们定义了一个函数f(·)，通过线性投影来学习分类特征，定义如下：
其中，表示线性投影矩阵，I是一个适当大小的单位阵，δ是一个预定义的标量。为了防止优化器收敛到一个退化解，确保P是行正交的，并且对P进行归一化处理，使得PPT＝I。考虑到任意正交可能破坏数据在Xt上的可辨别性，在此基础上添加了一个类似主成分分析(PCA)的约束，使该约束确保了在投影空间保留Xt的主要特征，其中，‖·‖F是一个弗罗贝尼乌斯(Frobenius)范式。正交约束和类PCA约束确保了P在空间内的有效性。
步骤四、无监督的目标领域分类模型。
许多其他方法，可迁移特征的学习和分类器设计是分离的，它们直接将从源图像领域学习到的特征迁移使用到目标图像领域，这样的分类器只考虑到了源图像领域中的监督信息，忽略目标图像领域中的信息，我们将这两者结合起来。分类器的性能由它学习到的特征决定，特征又反过来影响分类器的性能，如果次优的特征被学习到，那就说明源图像领域中带标签的数据不足以为目标图像领域训练一个鲁棒的分类器。为了减轻这一限制，在设计分类器时引入目标图像领域的低秩成分，将源图像领域中的样本Xs看做一个字典，用这个字典线性的表示目标领域中的样本Ft：
Ft＝XsZ+E, (5)
其中，表示系数矩阵，代表残差项。因为Ft中，相同列属于同一类，相同列总表现出相似的特征，所以系数矩阵Z与之关联的列也表现出相似的特征。在源图像领域和目标图像领域中，相同类别的样本表现出相似的特征，不同类别的差异比较明显，来自特定类Ft中的样本容易被来自同一类的源样本重构，即只有与Z中的该类对应的行将被分配重要系数，所以，矩阵Z表现出明显的低秩属性。受此启发，使用如下的公式来估计Z：
其中，核范数‖·‖*用来减小Z的秩，范数用来描述稀疏表示的误差，λ是一个预定义的均衡系数。当在整个Xs上表示时，将会被源图像领域中属于的那个类别构建，所以将分配给可以用最小误差来构建的那个类别。对第l个类别，对于的构建误差定义为其中，Zl表示源图像领域中，第i类样本对应的系数矩阵。所以，对于给定的矩阵Z，可以通过如下的分类器来给样本赋予对应的标签
也可以用一个概率函数来将转化输出为每个类别对应的概率值。初始不是一个最优的特征，但是提取了目标图像领域无监督的低秩成分可以使分类器学习到更有效的特征。
步骤五、联合优化模型构建与求解。
通过公式(3)、(4)、(6)、(7)，对公式(1)进行如下定义：
公式(8)的优化问题包含一些未知的参数，这使得直接进行优化变得困难。我们使用一个替换的方案，将原始问题转化成两个子问题，分别是迁移特征学习和分类器学习，利用交替最小化优化方法，交替迭代优化特征表示模型和分类模型，直至收敛，最终得到最优的目标领域分类结果。
迁移特征学习：
对于一个伪标签yt，投影矩阵P可以通过如下的一个优化问题解决：
给定一个适当的松弛系数γ，公式(9)可以进行如下定义：
这个问题相当于一个基于正交约束的标准优化问题：
该问题可以使用基于正交约束的标准优化工具包得到有效解决。
分类器学习：
有了固定的投影矩阵P，可以通过公式Ft＝PXt得到目标领域中样本的迁移特征。为了让目标图像领域中样本标签尽可能准确，首先要解决公式(6)中的一个标准低秩问题，来优化对应的系数矩阵Z，该问题可以通过标准低秩问题的工具包得到有效解决。然后使用公式(7)得到每一个目标领域样本的标签yt。
整个算法的流程可以总结如下：
输入：领域中带标签ys的样本Xs，领域中无标签的样本Xt，参数σ,λ,γ
经过T次迭代：
分类器增强：
通过公式(6)得到矩阵Z。
通过公式(7)得到分类器标签yt。
迁移特征学习：
通过公式(11)得到投影矩阵P。
输出：目标领域样本标签yt。
经过T次迭代，每次迭代中，分类器增强和迁移特征学习的问题交替被解决，这是一个良性循环，正确的输出可以在之后学习到更好地迁移特征，更好地迁移特征又可以增强分类器的效果，这两步的迭代，可以不断减小模型的误差，确保模型能很好收敛，并取得一个好的分类结果。
Claims (1)
1.一种基于类间匹配的无监督领域适应分类方法，其特征在于包括以下步骤：
步骤一、对于给定的N个带标签的源图像领域的数据表示第i个数据的标签是 对于给定的M个无标签目标图像领域的数据假定对于和数据有明显的分布差异，但共享一个类别空间；
定义源图像领域的样本矩阵对应的标签向量为目标图像领域的样本矩阵为设计一个前馈的模型结构，学习源领域和目标领域样本的迁移特征，并利用鲁棒的分类器，给无标记的目标领域样本Xt赋予标签yt；对于一个未标记的样本通过一个映射函数f(·)学习迁移特征实现领域间相同类别的自适应匹配；该过程表示为其中，P表示映射函数f(·)中的参数矩阵；基于学习得到的特征通过分类器c(·)得到目标领域样本的标签该过程表示为其中，Z表示分类器中的参数矩阵；通过定义如下的优化模型，联合学习参数矩阵P，Z：
其中，表示面向类别的最大平均差异模型，分别表示P和Z的特征空间，下面分别定义模型函数f(·)和函数c(·)；
步骤二、面向类别的最大平均差异模型；
根据源图像领域和目标图像领域的样本，建立面向类别的最大平均差异模型来衡量不同领域间相同类别的数据分布差异；通过分类器得到伪标签，通过伪标签逐步优化分类器；对给定的伪标签yt，源图像领域和目标图像领域的样本分别定义为其中，表示来自和的第l类样本的第i个，nl,ml分别表示在源图像领域和目标图像领域的第l类样本的个数，通过如下的公式来定义两个不同领域中，相同类对应的最大平均差异分布：
其中，φ(·)表示希尔伯特空间的映射函数，表示参数为σ的高斯核函数；当函数时，不同领域中对应的两个相同类的分布是相等的，通过如下的公式来定义模型：
步骤三、领域迁移的特征表示模型；
定义一个函数f(·)，通过线性投影来学习分类特征，定义如下：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>F</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<mo>&lsqb;</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mn>1</mn>
</msubsup>
<mo>,</mo>
<mi>P</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mi>M</mi>
</msubsup>
<mo>,</mo>
<mi>P</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>=</mo>
<mo>&lsqb;</mo>
<msubsup>
<mi>Px</mi>
<mi>t</mi>
<mi>i</mi>
</msubsup>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msubsup>
<mi>Px</mi>
<mi>t</mi>
<mi>M</mi>
</msubsup>
<mo>&rsqb;</mo>
<mo>=</mo>
<msub>
<mi>RX</mi>
<mi>t</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<msup>
<mi>PP</mi>
<mi>T</mi>
</msup>
<mo>=</mo>
<mi>I</mi>
<mo>,</mo>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>P</mi>
<mi>T</mi>
</msup>
<msub>
<mi>PX</mi>
<mi>t</mi>
</msub>
<mo>-</mo>
<msub>
<mi>X</mi>
<mi>t</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo><</mo>
<mi>&delta;</mi>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，表示线性投影矩阵，I是一个单位阵，δ是一个预定义的标量；为了防止优化器收敛到一个退化解，确保P是行正交的，并且对P进行归一化处理，使得PPT＝I；考虑到任意正交可能破坏数据在Xt上的可辨别性，在此基础上添加了一个类似主成分分析的约束，使该约束确保了在投影空间保留Xt的主要特征，其中，‖·‖F是一个弗罗贝尼乌斯范式；正交约束和类PCA约束确保了P在空间内的有效性；
步骤四、无监督的目标领域分类模型；
在设计分类器时引入目标图像领域的低秩成分，将源图像领域中的样本Xs看做一个字典，用这个字典线性的表示目标领域中的样本Ft：
Ft＝XsZ+E, (5)
其中，表示系数矩阵，代表残差项；因为Ft中，相同列属于同一类，相同列总表现出相似的特征，所以系数矩阵Z与之关联的列也表现出相似的特征；在源图像领域和目标图像领域中，相同类别的样本表现出相似的特征，不同类别的差异比较明显，来自特定类Ft中的样本容易被来自同一类的源样本重构，即只有与Z中的该类对应的行将被分配重要系数，所以，矩阵Z表现出明显的低秩属性；使用如下的公式来估计Z：
<mrow>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<mi>z</mi>
<mo>,</mo>
<mi>E</mi>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>Z</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mo>*</mo>
</msub>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>E</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>,</mo>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<mo>,</mo>
<msub>
<mi>F</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<msub>
<mi>X</mi>
<mi>s</mi>
</msub>
<mi>Z</mi>
<mo>+</mo>
<mi>E</mi>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，核范数‖·‖*用来减小Z的秩，范数用来描述稀疏表示的误差，λ是一个预定义的均衡系数；当在整个Xs上表示时，将会被源图像领域中属于的那个类别构建，将分配给用最小误差来构建的那个类别；对第l个类别，对于的构建误差定义为其中，Zl表示源图像领域中，第i类样本对应的系数矩阵；对于给定的矩阵Z，通过如下的分类器来给样本赋予对应的标签
<mrow>
<msubsup>
<mi>y</mi>
<mi>t</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mi>l</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>f</mi>
<mi>t</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>X</mi>
<mi>s</mi>
<mi>l</mi>
</msubsup>
<msup>
<mi>Z</mi>
<mi>l</mi>
</msup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>.</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
用一个概率函数将转化输出为每个类别对应的概率值；
步骤五、联合优化模型构建与求解；
通过公式(3)、(4)、(6)、(7)，对公式(1)进行如下定义：
将公式(8)的优化问题转化成两个子问题，迁移特征学习和分类器学习，利用交替最小化优化方法，交替迭代优化特征表示模型和分类模型，直至收敛，最终得到最优的目标领域分类结果；
迁移特征学习：
对于一个伪标签yt，投影矩阵P通过如下的一个优化问题解决：
给定一个适当的松弛系数γ，对公式(9)进行如下定义：
这个问题相当于一个基于正交约束的标准优化问题：
该问题使用基于正交约束的标准优化工具包得到解决；
分类器学习：
有了固定的投影矩阵P，通过公式Ft＝PXt得到目标领域中样本的迁移特征；为了让目标图像领域中样本标签尽可能准确，首先要解决公式(6)中的一个标准低秩问题，来优化对应的系数矩阵Z，该问题通过标准低秩问题的工具包得到解决；然后使用公式(7)得到每一个目标领域样本的标签yt；
整个算法的流程总结如下：
输入：领域中带标签ys的样本Xs，领域中无标签的样本Xt，参数σ,λ,γ
经过T次迭代：
分类器增强：
通过公式(6)得到矩阵Z；
通过公式(7)得到分类器标签yt；
迁移特征学习：
通过公式(11)得到投影矩阵P；
输出：目标领域样本标签yt；
经过T次迭代，每次迭代中，分类器增强和迁移特征学习的问题交替被解决。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710442276.9A CN107273927B (zh) | 2017-06-13 | 2017-06-13 | 基于类间匹配的无监督领域适应分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710442276.9A CN107273927B (zh) | 2017-06-13 | 2017-06-13 | 基于类间匹配的无监督领域适应分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107273927A true CN107273927A (zh) | 2017-10-20 |
| CN107273927B CN107273927B (zh) | 2020-09-22 |
Family
ID=60067159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710442276.9A Active CN107273927B (zh) | 2017-06-13 | 2017-06-13 | 基于类间匹配的无监督领域适应分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107273927B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944472A (zh) * | 2017-11-03 | 2018-04-20 | 北京航空航天大学 | 一种基于迁移学习的空域运行态势计算方法 |
| CN108765313A (zh) * | 2018-05-02 | 2018-11-06 | 西北工业大学 | 基于类内低秩结构表示的高光谱图像去噪方法 |
| CN109117859A (zh) * | 2018-06-15 | 2019-01-01 | 国网浙江省电力有限公司 | 用于计算机视觉的多标签聚类方法 |
| CN109348229A (zh) * | 2018-10-11 | 2019-02-15 | 武汉大学 | 基于异构特征子空间迁移的jpeg图像失配隐写分析方法 |
| CN109800780A (zh) * | 2018-12-05 | 2019-05-24 | 天津大学 | 基于非监督流形对齐的域自适应遥感图像分类算法 |
| CN109919209A (zh) * | 2019-02-26 | 2019-06-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种领域自适应深度学习方法及可读存储介质 |
| CN109934304A (zh) * | 2019-03-25 | 2019-06-25 | 重庆邮电大学 | 一种基于超限隐特征模型的盲领域图像样本分类方法 |
| CN110020674A (zh) * | 2019-03-13 | 2019-07-16 | 清华大学 | 一种提升局部类别区分度的跨领域自适应图像分类方法 |
| CN110489753A (zh) * | 2019-08-15 | 2019-11-22 | 昆明理工大学 | 改进特征选择的神经结构对应学习跨领域情感分类方法 |
| CN111259941A (zh) * | 2020-01-10 | 2020-06-09 | 中国科学院计算技术研究所 | 基于细粒度领域自适应的跨领域图像分类方法及系统 |
| CN111488928A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 用于获取样本的方法及装置 |
| CN112233016A (zh) * | 2020-10-21 | 2021-01-15 | 中国计量大学 | 基于自组织图约束非负矩阵分解的未见图像特征迁移方法 |
| CN113128530A (zh) * | 2019-12-30 | 2021-07-16 | 上海高德威智能交通系统有限公司 | 一种数据分类方法及装置 |
| CN113782121A (zh) * | 2021-08-06 | 2021-12-10 | 中国中医科学院中医药信息研究所 | 随机分组方法、装置、计算机设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103310230A (zh) * | 2013-06-17 | 2013-09-18 | 西北工业大学 | 联合解混及自适应端元提取的高光谱图像分类方法 |
| CN103413143A (zh) * | 2013-07-29 | 2013-11-27 | 西北工业大学 | 基于动态稀疏投影的视频目标跟踪方法 |
| CN103544507A (zh) * | 2013-10-15 | 2014-01-29 | 中国矿业大学 | 一种基于成对约束判别分析-非负稀疏散度的高光谱数据降维方法 |
| CN104143088A (zh) * | 2014-07-25 | 2014-11-12 | 电子科技大学 | 一种基于图像检索和特征权重学习的人脸识别方法 |
| US20150110381A1 (en) * | 2013-09-22 | 2015-04-23 | The Regents Of The University Of California | Methods for delineating cellular regions and classifying regions of histopathology and microanatomy |
| CN105787513A (zh) * | 2016-03-01 | 2016-07-20 | 南京邮电大学 | 多示例多标记框架下基于域适应迁移学习设计方法和系统 |
| CN105938544A (zh) * | 2016-04-05 | 2016-09-14 | 大连理工大学 | 基于综合型线性分类器和解析型字典的行为识别方法 |
| CN106326871A (zh) * | 2016-08-26 | 2017-01-11 | 中国计量大学 | 一种基于字典分解和稀疏表示的鲁棒人脸识别方法 |
| CN106326886A (zh) * | 2016-11-07 | 2017-01-11 | 重庆工商大学 | 基于卷积神经网络的手指静脉图像质量评估方法及评估系统 |
| CN106650830A (zh) * | 2017-01-06 | 2017-05-10 | 西北工业大学 | 基于深层模型和浅层模型决策融合的肺结节ct图像自动分类方法 |
-
2017
- 2017-06-13 CN CN201710442276.9A patent/CN107273927B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103310230A (zh) * | 2013-06-17 | 2013-09-18 | 西北工业大学 | 联合解混及自适应端元提取的高光谱图像分类方法 |
| CN103413143A (zh) * | 2013-07-29 | 2013-11-27 | 西北工业大学 | 基于动态稀疏投影的视频目标跟踪方法 |
| US20150110381A1 (en) * | 2013-09-22 | 2015-04-23 | The Regents Of The University Of California | Methods for delineating cellular regions and classifying regions of histopathology and microanatomy |
| CN103544507A (zh) * | 2013-10-15 | 2014-01-29 | 中国矿业大学 | 一种基于成对约束判别分析-非负稀疏散度的高光谱数据降维方法 |
| CN104143088A (zh) * | 2014-07-25 | 2014-11-12 | 电子科技大学 | 一种基于图像检索和特征权重学习的人脸识别方法 |
| CN105787513A (zh) * | 2016-03-01 | 2016-07-20 | 南京邮电大学 | 多示例多标记框架下基于域适应迁移学习设计方法和系统 |
| CN105938544A (zh) * | 2016-04-05 | 2016-09-14 | 大连理工大学 | 基于综合型线性分类器和解析型字典的行为识别方法 |
| CN106326871A (zh) * | 2016-08-26 | 2017-01-11 | 中国计量大学 | 一种基于字典分解和稀疏表示的鲁棒人脸识别方法 |
| CN106326886A (zh) * | 2016-11-07 | 2017-01-11 | 重庆工商大学 | 基于卷积神经网络的手指静脉图像质量评估方法及评估系统 |
| CN106650830A (zh) * | 2017-01-06 | 2017-05-10 | 西北工业大学 | 基于深层模型和浅层模型决策融合的肺结节ct图像自动分类方法 |
Non-Patent Citations (6)
| Title |
|---|
| MAHSA BAKTASHMOTLAGH 等: "Unsupervised Domain Adaptation by Domain Invariant Projection", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| QINGJIE MENG 等: "Spectral Unmixing for Hyperspectral Image Classification with an Adaptive Endmember Selection", 《INTERNATIONAL CONFERENCE ON INTELLIGENT SCIENCE AND BIG DATA ENGINEERING》 * |
| ZHENGMING DING 等: "Robust Transfer Metric Learning for Image Classification", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 姜海燕 等: "基于最大均值差异的多标记迁移学习算法", 《基于最大均值差异的多标记迁移学习算法》 * |
| 屈冰欣: "基于深度学习的图像分类技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 徐嘉明 等: "基于无监督迁移分量分析的语种识别", 《清华大学学报（自然科学版）》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944472B (zh) * | 2017-11-03 | 2019-05-28 | 北京航空航天大学 | 一种基于迁移学习的空域运行态势计算方法 |
| CN107944472A (zh) * | 2017-11-03 | 2018-04-20 | 北京航空航天大学 | 一种基于迁移学习的空域运行态势计算方法 |
| CN108765313A (zh) * | 2018-05-02 | 2018-11-06 | 西北工业大学 | 基于类内低秩结构表示的高光谱图像去噪方法 |
| CN109117859A (zh) * | 2018-06-15 | 2019-01-01 | 国网浙江省电力有限公司 | 用于计算机视觉的多标签聚类方法 |
| CN109348229B (zh) * | 2018-10-11 | 2020-02-11 | 武汉大学 | 基于异构特征子空间迁移的jpeg图像失配隐写分析方法 |
| CN109348229A (zh) * | 2018-10-11 | 2019-02-15 | 武汉大学 | 基于异构特征子空间迁移的jpeg图像失配隐写分析方法 |
| CN109800780B (zh) * | 2018-12-05 | 2021-04-27 | 天津大学 | 基于非监督流形对齐的域自适应遥感图像分类算法 |
| CN109800780A (zh) * | 2018-12-05 | 2019-05-24 | 天津大学 | 基于非监督流形对齐的域自适应遥感图像分类算法 |
| CN109919209A (zh) * | 2019-02-26 | 2019-06-21 | 中国人民解放军军事科学院国防科技创新研究院 | 一种领域自适应深度学习方法及可读存储介质 |
| CN110020674A (zh) * | 2019-03-13 | 2019-07-16 | 清华大学 | 一种提升局部类别区分度的跨领域自适应图像分类方法 |
| CN109934304A (zh) * | 2019-03-25 | 2019-06-25 | 重庆邮电大学 | 一种基于超限隐特征模型的盲领域图像样本分类方法 |
| CN109934304B (zh) * | 2019-03-25 | 2022-03-29 | 重庆邮电大学 | 一种基于超限隐特征模型的盲领域图像样本分类方法 |
| CN110489753A (zh) * | 2019-08-15 | 2019-11-22 | 昆明理工大学 | 改进特征选择的神经结构对应学习跨领域情感分类方法 |
| CN110489753B (zh) * | 2019-08-15 | 2022-06-14 | 昆明理工大学 | 改进特征选择的神经结构对应学习跨领域情感分类方法 |
| CN113128530A (zh) * | 2019-12-30 | 2021-07-16 | 上海高德威智能交通系统有限公司 | 一种数据分类方法及装置 |
| CN113128530B (zh) * | 2019-12-30 | 2023-11-03 | 上海高德威智能交通系统有限公司 | 一种数据分类方法及装置 |
| CN111259941A (zh) * | 2020-01-10 | 2020-06-09 | 中国科学院计算技术研究所 | 基于细粒度领域自适应的跨领域图像分类方法及系统 |
| CN111259941B (zh) * | 2020-01-10 | 2023-09-26 | 中国科学院计算技术研究所 | 基于细粒度领域自适应的跨领域图像分类方法及系统 |
| CN111488928A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 用于获取样本的方法及装置 |
| CN111488928B (zh) * | 2020-04-09 | 2023-09-01 | 北京百度网讯科技有限公司 | 用于获取样本的方法及装置 |
| CN112233016A (zh) * | 2020-10-21 | 2021-01-15 | 中国计量大学 | 基于自组织图约束非负矩阵分解的未见图像特征迁移方法 |
| CN113782121A (zh) * | 2021-08-06 | 2021-12-10 | 中国中医科学院中医药信息研究所 | 随机分组方法、装置、计算机设备及存储介质 |
| CN113782121B (zh) * | 2021-08-06 | 2024-03-19 | 中国中医科学院中医药信息研究所 | 随机分组方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107273927B (zh) | 2020-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107273927A (zh) | 基于类间匹配的无监督领域适应分类方法 | |
| Shu et al. | Transferable curriculum for weakly-supervised domain adaptation | |
| Chen et al. | Symmetric variational autoencoder and connections to adversarial learning | |
| Tanaka et al. | Joint optimization framework for learning with noisy labels | |
| Agarwal et al. | Are image-agnostic universal adversarial perturbations for face recognition difficult to detect? | |
| Bilen et al. | Weakly supervised object detection with posterior regularization | |
| Pan et al. | Transfer learning in collaborative filtering with uncertain ratings | |
| Li et al. | Learning balanced and unbalanced graphs via low-rank coding | |
| CN112488241B (zh) | 一种基于多粒度融合网络的零样本图片识别方法 | |
| Yu et al. | Label-noise robust domain adaptation | |
| Atanov et al. | Semi-conditional normalizing flows for semi-supervised learning | |
| CN109348229A (zh) | 基于异构特征子空间迁移的jpeg图像失配隐写分析方法 | |
| Tian et al. | Learning context-aware classifier for semantic segmentation | |
| Zhang et al. | Semi-detr: Semi-supervised object detection with detection transformers | |
| Yang et al. | Discriminative semi-supervised dictionary learning with entropy regularization for pattern classification | |
| Li et al. | Dtg-ssod: Dense teacher guidance for semi-supervised object detection | |
| Guo et al. | Dual-view ranking with hardness assessment for zero-shot learning | |
| Chen et al. | Adaptive noise dictionary construction via IRRPCA for face recognition | |
| Fan et al. | Discriminative fisher embedding dictionary transfer learning for object recognition | |
| Chen et al. | Soft transfer learning via gradient diagnosis for visual relationship detection | |
| Zhuo et al. | Uncertainty modeling for robust domain adaptation under noisy environments | |
| Qiao et al. | Dimensionality reduction with adaptive graph | |
| Duan et al. | Few-shot defect image generation via defect-aware feature manipulation | |
| Liu et al. | Boosting few-shot text classification via distribution estimation | |
| Li et al. | Robust multi-label semi-supervised classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |