CN103729648A - 领域自适应模式识别方法及系统 - Google Patents

领域自适应模式识别方法及系统 Download PDF

Info

Publication number
CN103729648A
CN103729648A CN201410006653.0A CN201410006653A CN103729648A CN 103729648 A CN103729648 A CN 103729648A CN 201410006653 A CN201410006653 A CN 201410006653A CN 103729648 A CN103729648 A CN 103729648A
Authority
CN
China
Prior art keywords
source
aiming field
territory
sample
public subspace
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410006653.0A
Other languages
English (en)
Other versions
CN103729648B (zh
Inventor
阚美娜
山世光
吴俊婷
陈熙霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201410006653.0A priority Critical patent/CN103729648B/zh
Publication of CN103729648A publication Critical patent/CN103729648A/zh
Application granted granted Critical
Publication of CN103729648B publication Critical patent/CN103729648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请公开了一种领域自适应模式识别方法,该方法通过将源域样本表示为目标域样本的线性组合来将其转换到目标域上,然后利用转换后的样本训练监督模型,并利用训练好的监督模型来进行目标域上的模式识别。该方法在源域与目标域的公共子空间中求解所述线性组合系数,保证了源域到目标域转换的可靠性和稳定性;同时,在原始样本空间应用所求得的重构系数进行目标域化,保留了目标域特定的信息,更有利于目标域上识别模型的学习。该方法既能有效利用源域与目标域共性以建立源域到目标域迁移的桥梁,又能充分挖掘目标域的特性,进一步提升目标域上任务的性能。

Description

领域自适应模式识别方法及系统
技术领域
本发明属于模式识别领域,尤其涉及无监督领域自适应技术。
背景技术
模式识别的重要任务之一是实现对特定物体或现象的辨认、分类和解释。其中统计模式识别方法是模式识别技术的主流方法之一。基于统计的分类方法,通常需要在大量的训练数据上学习模型,然后将其应用到测试数据上。当测试数据与训练数据具有相同的分布时,这是一种非常有效的方法。然而在实际当中通常会出现测试数据与训练数据的分布不相同的情况,从而使得在训练数据上学习的模型性能下降。
领域自适应(domain adaptation)技术正是为了解决“训练数据与测试数据分布不同导致的模型性能下降”这一问题而提出来的。通常将目标任务所在的域称为目标域,与目标域相关但不同的训练数据所在的域称为源域。在无监督领域自适应场景下,源域上的训练数据是有类别标注信息的,而目标域上的训练数据通常是没有类别标注信息的。由于源域与目标域分布不同,直接将源域上得到的模型应用到目标域上通常无法得到令人满意的性能,因而领域自适应技术旨在将源域的监督信息迁移到目标域上,以提升目标域上任务的性能。
领域自适应的关键在于如何在两个分布不同的领域(即源域和目标域)之间建立起信息迁移的桥梁,大致包含三类技术方法。较为简单的场景下,源域和目标域具有相同的支撑集(support),则可以通过对源域的数据进行重采样以使得重采样之后的源域与目标域具有相同的分布。较复杂的场景下,可以采用在源域和目标域之间共享模型参数的方法来将源域的监督知识迁移到目标域上,但这类方法通常需要一定的先验知识来设计模型共享的形式。一种更易于操作且行之有效的方法则是直接建模源域与目标域之间的共性,如学习可以降低领域差异的公共特征表示或共同子空间。这类方法只考虑了利用源域与目标域的共性来实现源域知识到目标域的迁移,但没有考虑目标域的特性,对于目标域上的任务并不是最优的。
发明内容
因此,本发明的目的在于克服上述现有技术的缺陷,提供一种新的领域自适应模式识别方法,以提升目标域上任务的性能。
本发明的目的是通过以下技术方案实现的:
一方面,本发明提供了一种领域自适应模式识别方法,所述方法包括:
步骤1)通过将源域样本表示为目标域样本的线性组合来将其转换到目标域上,其中用于所述线性组合的系数是在源域样本与目标域样本的公共子空间中得到;
步骤2)利用转换后的样本训练监督模型,并利用训练好的监督模型来进行目标域上的模式识别。
上述方法中,所述步骤1)可包括:
步骤1-1)获取源域样本与目标域样本的公共子空间;
步骤1-2)在该公共子空间中求解用于由公共子空间中目标域数据重构公共子空间中每个源域数据的线性组合系数;
步骤1-3)根据所述线性组合系数将源域样本表示为目标域样本的线性组合,从而源域样本转换到目标域上。
上述方法中,所述步骤1-1)获取所述公共子空间的目标函数可以为最大化源域与目标域的散度的同时最小化源域与目标域相互重构的误差。
上述方法中,所述步骤1-2)可包括:
a)将源域样本投影到公共子空间,以得到公共子空间中源域数据;
b)将目标域样本投影到公共子空间,以得到公共子空间中目标域数据;
c)将公共子空间中源域数据的每一个样本表示为公共子空间中目标域数据的线性组合;
d)基于公共子空间中源域数据和公共子空间中目标域数据求解所述线性组合系数。
上述方法中,所述步骤d)中所述线性组合系数可以是通过最小二乘回归法、稀疏表示法或者底秩表示法进行求解得到的。
又一方面,本发明提供了一种领域自适应模式识别系统,该系统包括:
样本转换模块,用于通过将源域样本表示为目标域样本的线性组合来将其转换到目标域上,其中用于所述线性组合的系数是在源域样本与目标域样本的公共子空间中得到;
模式识别模块,用于利用转换后的样本训练监督模型,并利用训练好的监督模型来进行目标域上的模式识别。
上述系统中,所述样本转换模块可以被配置为:
获取源域样本与目标域样本的公共子空间;
在该公共子空间中求解用于由公共子空间中目标域数据重构公共子空间中每个源域数据的线性组合系数;
根据所述线性组合系数将源域样本表示为目标域样本的线性组合,从而源域样本转换到目标域上。
上述系统中,获取所述公共子空间的目标函数可以为最大化源域与目标域的散度的同时最小化源域与目标域相互重构的误差。
上述系统中,所述样本转换模块还可被配置为:
将源域样本投影到公共子空间,以得到公共子空间中的源域数据;
将目标域样本投影到公共子空间,以得到公共子空间中的目标域数据;
将公共子空间中每一个源域数据表示为公共子空间中目标域数据的线性组合;
基于公共子空间中源域数据和公共子空间中目标域数据求解所述线性组合系数。
与现有技术相比,本发明的优势在于:
通过将源域样本表示为目标域样本的线性组合从而将其转换到目标域上,实现了源域的监督知识到目标域的迁移。其中目标域化的线性组合系数是在源域与目标域的公共子空间中得到,从而保证了重构系数的稳定性和可靠性;同时,在原始样本空间应用求得的重构系数进行目标域化,保留了目标域特定的信息,更有利于目标域上识别模型的学习。该方法既能有效利用源域与目标域共性以建立源域到目标域迁移的桥梁,又能充分挖掘目标域的特性,进一步提升目标域上任务的性能。
附图说明
以下参照附图对本发明实施例作进一步说明,其中:
图1为根据本发明实施例的无监督领域自适应模式识别方法的流程示意图。
具体实施方式
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1给出了根据本发明实施例的领域自适应模式识别方法的流程示意图。该方法主要包括下列步骤:步骤1)将源域样本转换到目标域上;步骤2)利用转换后的样本训练监督模型,并利用训练好的监督模型来进行目标域上的模式识别。
现参考图1,在步骤1)将源域样本转换到目标域上。该过程也称为源域样本的目标域化。在一个实施例中,通过将源域样本表示为目标域样本的线性组合从而将其转换到目标域上,以实现源域的监督知识到目标域的迁移。其中,用于所述线性组合的系数是在源域与目标域的公共子空间中得到。结合图1而言,源域与目标域既有共性的部分(称为公共部分)也有各自特异性的部分(称为特定部分)。共性部分所在的子空间可称为公共子空间。首先,例如,可通过两个投影矩阵Ws和Wt分别将源域数据Xs和目标域数据Xt投影到一个公共子空间中,即
Figure BDA0000453862110000041
其中Zs、Zt为源域数据和目标域数据在公共子空间中的表示(下文也可以分别称为公共子空间中源域数据和公共子空间中目标域数据)。获取源域与目标域的公共子空间实际上就是求取源域和目标域到公共子空间的投影矩阵Ws和Wt。可以采用很多方式来获得源域与目标域的公共子空间。例如,可以通过最大化源域和目标域的散度同时最小化相互重构的误差、学习公共特征表示等方法得到源域与目标域的公共子空间。
获得了源域与目标域的公共子空间,也就可以获得源域数据集和目标域数据集在公共子空间中的表示Zs、Zt。接着,可以在公共子空间中将源域数据集Zs表示为目标域数据集Zt的线性组合,例如,
Figure BDA0000453862110000042
其中
Figure BDA0000453862110000043
表示公共子空间中第i个源域数据;
Figure BDA0000453862110000044
表示第i个源域数据相应的线性组合系数,其实际上是一个多维向量,该向量的维数为目标域数据的个数。然后,基于公共空间中的源域数据集Zs和目标域数据集Zt,求解用来目标域化源域数据的线性组合系数,得到每个源域数据对应的线性组合系数,例如,最终求解得到的第i个源域数据相应的线性组合系数为由于在公共子空间的源域数据集Zs与目标域数据集Zt具有相同的分布,所以任意的可重构以及线性表示方法如最小二乘回归、稀疏表示、底秩表示等,都可以用来基于已知Zs、Zt求解该线性组合的系数,也就是获得在公共子空间中目标域数据重构源域数据的线性组合系数。最后,根据在公共子空间中所获得的线性组合系数,将原始的源域样本表示为原始目标域样本的线性组合,从而将源域样本转换到目标域上,即得到目标域化的源域样本。例如,如图1所示,将原始的第i个源域样本转换到目标域上,得到目标域化的第i个源域数据
Figure BDA0000453862110000051
i=1,2,…,ns,ns表示源域样本的个数,其中, x i s → t = X t v i s * .
这样,由于对源域样本进行目标域化的线性组合系数是在源域与目标域的公共子空间中得到,从而保证了重构系数的稳定性和可靠性;同时,在原始样本空间应用求得的重构系数进行目标域化,保留了目标域特定的信息,更有利于目标域上识别模型的学习。
在一个优选实施例中,采用源域与目标域相互稀疏重构的误差来约束源域与目标域的距离,以使公共子空间中源域与目标域的差异尽量小;同时采用最大化数据散度来在公共子空间中尽量保持数据在原始空间中的结构。因此在该实施例中,求解公共子空间的整体目标为最大化源域与目标域的散度同时最小化源域与目标域相互稀疏重构的误差,具体的形式化为:
( W s * , W t * , V s * , V t * ) = arg max W s , W t , V s , V t Tr ( 1 n s W s T X s X s T W s + 1 n t W t T X t X t T W t ) 1 n s | | W s T X s - W t T X t V s | | 2 + 1 n t | | W t T X t - W s T X s V t | | 2 s . t . , | v i s | 0 < &tau; , | v i t | 0 < &tau; - - - ( 1 )
其中,Vs和Vt分别为目标域重构源域、源域重构目标域的稀疏组合系数,τ是控制稀疏程度的参数,ns和nt分别是源域和目标域的样本数,Tr(·)表示矩阵的迹,|·|0表示一个向量的零范数即向量中非零元素的个数,
Figure BDA0000453862110000054
表示通过优化等号右边的目标函数得到的Ws,Wt,Vs,Vt的最优值。分子表示的是源域与目标域的散度,分母第一项表示的是目标域样本稀疏重构源域样本的误差,第二项表示的是源域样本稀疏重构目标域样本的误差。概括来讲,公式(1)的含义在于保持源域与目标域各自分布结构的同时,通过Ws和Wt去除源域与目标域差异性的部分,以保留共性的部分,即公共子空间。
上述公式对于Ws,Wt,Vs,Vt是非凸的,因而无法解析求解,这里采用下面的迭代的方式进行求解,即迭代求解Ws,Wt和Vs,Vt
(a)给定Ws,Wt,求解Vs,Vt
从公式(1)可以看出,给定Ws,Wt的情况下,Vs,Vt是相互独立的,可以分别对它们进行求解。对于Vs可以求解如下:
V s * = arg min V s | | W s T X s - W t T X t V s | | 2 , s . t . | v i s | 0 < &tau; , i = 1,2 , &CenterDot; &CenterDot; &CenterDot; , n s - - - ( 2 )
进一步可以看到公式(2)中的
Figure BDA00004538621100000615
是相互独立的,可以分别对它们进行求解,即:
v i s * = arg min v i s | | W s T x i s - W t T X t v i s | | 2 , s . t . | v i s | 0 < &tau; - - - ( 3 )
其中,
Figure BDA0000453862110000062
表示目标域样本重构源域样本的线性组合系数
Figure BDA0000453862110000063
的最优值,即通过优化公式(3)中等号右边的目标函数得到的最优解。
同时为了使得两个领域尽可能相近,希望尽可能利用不同的目标域样本重构源域不同的样本,因此引入了一个指示向量
Figure BDA0000453862110000064
来标识目标域每个样本可以被选择用于重构源域样本的可用性程度,即hs(i)越小,则表示第i个样本已经被用于重构其它源域样本,再次被选择的可能性较低。hs被初始化为全1的向量。因此,公式(3)被转换为:
v i s * = arg min v i s | | W s T x i s - W t T X t v i s | | 2 + &lambda; | | 1 - h s T v i s | | , s . t . | v i s | 0 < &tau; - - - ( 4 )
其中,λ是平衡系数。得到重构系数
Figure BDA0000453862110000066
之后,更新指示向量hs以降低被选择用于重构的样本再次被选中的可能性:
h s = h s - 0.5 max ( | v i s * | ) | v i s * | - - - ( 5 )
其中max(·)表示取向量中元素的最大值。可以利用最小主夹角回归(Leastangle regression)对公式(5)进行求解。同理,Vt的列向量也可以利用如下公式进行求解:
v i t * = arg min v t | | W t T x i t - W s T X s v i t | | 2 + &lambda; | | 1 - h t T v i t | | , s . t . | v i t | 0 < &tau; - - - ( 6 )
得到重构系数
Figure BDA0000453862110000069
之后,更新指示向量ht以降低被选择用于重构的样本再次被选中的可能性:
h t = h t - 0.5 max ( | v i t * | ) | v i t * | - - - ( 7 )
(b)给定Vs,Vt,求解Ws,Wt
给定Vs,Vt即可忽略公式(1)中的稀疏约束,将其变换为:
( W s * , W t * ) = arg max W s , W t , V s , V t Tr ( 1 n s W s T X s X s T W s + 1 n t W t T X t X t T W t ) 1 n s | | W s T X s - W t T X t V s | | 2 + 1 n t | | W t T X t - W s T X s V t | | 2 - - - ( 8 )
将Ws,Wt拼接成一个大向量 W = W s T W t T T , 则可以继续将公式(8)转化为下述形式:
W / = arg max W Tr ( W&Sigma; b W T ) Tr ( W&Sigma; w W T ) - - - ( 9 )
其中∑b和∑w定义如下:
&Sigma; b = 1 n s X s X s T 0 0 1 n t X t X t T , &Sigma; w = X s ( 1 n s + V t V t T n t ) X s T - X s ( V s T n s + V t n t ) X t T - X t ( V t T n t + V s n s ) X s T X t ( 1 n t + V s V s T n s ) X s T - - - ( 10 )
公式(10)可以利用奇异值分解进行求解。
通过上述求解,即可得到投影矩阵
Figure BDA0000453862110000071
Figure BDA0000453862110000072
以及在公共子空间中目标域重构源域的稀疏组合系数
Figure BDA0000453862110000073
源域重构目标域的稀疏组合系数
Figure BDA0000453862110000074
其中,也可以约束
Figure BDA0000453862110000075
从而简化求解过程。
然后,基于在公共子空间中目标域数据重构源域数据的稀疏组合系数将原始的源域样本表示为目标域样本的线性组合,从而得到目标域化的源域样本,即将源域样本转换到目标域上。
如上文所提到的,还可以采用很多方式来获得源域与目标域的公共子空间,即求取源域和目标域到公共子空间的投影矩阵Ws和Wt。在又一个实施例中,首先,例如,可以利用KL散度来度量两个领域之间的差异并通过最小化两个领域之间的差异来获得公共子空间,在该实施例中,求解公共子空间的整体目标函数可以表示为:
( W s * , W t * ) = arg min W S , W t KL ( X s , X t ) - Tr ( 1 n s W s T X s X s T W s + 1 n t W t T X t X t T W t ) .
在求得两个投影矩阵
Figure BDA0000453862110000078
Figure BDA0000453862110000079
后,就可以得到源域数据和目标域数据在公共子空间中的表示了,即
Figure BDA00004538621100000710
接着,如上文所提到的,在公共子空间中,源域数据Zs与目标域数据Zt具有相同的分布,所以,可以采用多种可重构以及线性表示方法如最小二乘回归、稀疏表示、底秩表示等,来获得在公共子空间中目标域数据重构源域数据的组合系数。例如,在一个实施例中,在公共子空间中,将所得到公共子空间中源域数据Zs表示为公共子空间中目标域数据的线性组合,可以利用最小二乘回归来得到该线性组合系数,即:
Figure BDA00004538621100000711
在得到了所述公共子空间中目标域数据重构公共子空间中源域数据的组合系数(即所得到的线性组合系数)之后,利用该系数将原始的源域样本表示为原始的目标域样本的线性组合。为了保留目标域特定信息,将该系数应用到原始的源域样本空间中,从而将源域的每个样本转换到目标域上,并记为 x i s &RightArrow; t , i = 1,2 , &CenterDot; &CenterDot; &CenterDot; , n s , 即有:
x i s &RightArrow; t = X t v i s * X s &RightArrow; t = X t V s * - - - ( 11 )
其中,表示变换到目标域上的源域样本,
Figure BDA00004538621100000715
这样变换到目标域上的源域样本是具有类别信息并且具有与目标域相同的分布,可以利用任意监督学习方法学习识别模型
继续参考图1,在步骤2)利用转换后的样本训练监督模型,并利用训练好的监督模型来进行目标域上的模式识别。
源域样本在变换到目标域之后,它的标注信息是保持不变的。由于转换到目标域上的源域样本是有类别标注信息的,因此可以直接基于这组标注的样本,采用任意监督学习方法训练针对目标域任务的模型,从而得到针对目标域任务的识别模型。这里可以采用任意的监督学习方法,比如可以采用Fisher线性判别分析进行建模,以公式(12)来获取所建立的模型 W fld * :
W fld * = arg min W Tr ( w T s b w w T s t w ) - - - ( 12 )
其中sb是基于Xs→t计算得到的类间散度矩阵,st则可以是基于Xt计算得到的总体散度矩阵。
在又一个实施例中,还提供了一种领域自适应模式识别系统,所述系统包括样本转换模块和模式识别模块。其中,样本转换模块可以采用上文所述的方法将源域样本转换到目标域上。模式识别模块利用转换后的样本训练监督模型,以及利用训练好的监督模型来进行目标域上的模式识别。所述样本转换模块被配置为通过将源域样本表示为目标域样本的线性组合来将其转换到目标域上。如上文所提到的,用于所述线性组合的系数是在源域与目标域的公共子空间中得到。
为了更好地说明本发明的技术效果,发明人还进行了下列实验:
实验1:MultiPIE数据库上不同姿态间的迁移
该实验是在CMU于2007年发布的MultiPIE人脸数据库上进行的,该数据库包含了337人在多个视角、光照、表情条件下的图像。此实验中,采用337人在7个姿态(-45°,-30°,-15°,0°,15°,30°,45°)、3种表情(中性、微笑、厌恶)、4个采集周期下的14,450幅图像进行实验,所有图像均按手工标注的眼睛位置裁剪成32x40大小,其中200人的图像用于训练,其余137人每人随机选取1幅图像作为注册图像(gallery),其余作为探测图像(probe)。该实验中,选取一个姿态下的图像作为源域,另外一个姿态下的图像作为目标域。选定源域与目标域之后,模型的训练依据不同的方法分别可以在源域的训练集、目标域的训练集、源域训练集+目标域训练集上进行;而模型的测试则是在目标域的测试集即gallery和probe上进行,评测指标为第一识别率。所谓第一识别率指的是:通过将Probe中的每幅图像识别为Gallery中与之最为相似的人并识别正确的图像的比例。此处测试了多种不同的方法包括:只利用目标域数据的主成份分析方法(PCA),只利用源域数据的线性判别分析方法(FLD),同时源域与目标域数据的领域自适应方法如迁移维数约简(TDR)、测地流采样(SGF)、信息理论学习(ITL)、以及本发明提出的目标域化源域样本(TSC)等。测试结果如表1所示。
表1
Figure BDA0000453862110000091
从表1中可以看出,目标域上主成份分析方法(PCA),虽然数据分布与测试数据相同,但由于没有任何监督信息,性能最差。源域上的线性判别分析方法(FLD)虽有监督信息,但由于其训练数据分布与测试数据不同,因而性能也不佳。测地流采样(SGF)、信息理论学习(ITL)均采用了公共特征表示的思想,可以得到稍好的性能。迁移维数约简(TDR)综合考虑了源域与目标域的信息而不仅仅是共性信息,因而取得了较好的效果,但该方法只是简单将源域与目标域的散度矩阵混合到一起。本发明的目标域化源域样本的方法(TSC)通过源域与目标域的共性来求解源域与目标与之间的重构关系,更加稳定可靠,进一步将其应用到原始样本空间,保留目标域特定的信息,因此在目标域上取得了显著的性能提升。
实验2:不同种族间的迁移
该实验在高加索人和蒙古人之间进行迁移学习。蒙古人数据来自于西安交通大学发布的OFD数据库,包含800个人,每人4幅图像。其中400人用于训练,400人用于测试,每人1幅图像用作gallery、3幅用作probe。高加索人数据来自于英国萨里大学发布的XM2VTS数据库,包含400个人,每人8幅图像。其中每人4幅图像用于训练,1幅用作gallery,3幅用作probe。所有图像均按手工标注的眼睛位置裁剪成64x80大小。该实验中,分别选取一个种族下的图像作为源域,另外一个种族下的图像作为目标域,测试结果如表2所示。
表2
Figure BDA0000453862110000101
从表2中可以得到和表1类似的结论,即领域自适应的方法可以取得优于源域模型的性能,进而得益于既考虑了源域与目标域的共性,又保留了目标域的特性,本发明取得了优异的性能。
通过上述实施例可以看出,本发明的方法在源域与目标域的公共子空间中求解目标域数据重构源域每个数据的稀疏重构系数,保证了系数的稳定性和可靠性,并将该重构系数应用到原始样本空间,从而将源域的样本转换到目标域上,保留了目标域特定的信息。基于目标域化的源域样本即可利用任意监督的学习方法学习识别模型,实现目标域上的识别任务。
虽然本发明已经通过优选实施例进行了描述,然而本发明并非局限于这里所描述的实施例,在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (9)

1.一种领域自适应模式识别方法,所述方法包括:
步骤1)通过将源域样本表示为目标域样本的线性组合来将其转换到目标域上,其中用于所述线性组合的系数是在源域样本与目标域样本的公共子空间中得到;
步骤2)利用转换后的样本训练监督模型,并利用训练好的监督模型来进行目标域上的模式识别。
2.根据权利要求1的方法,所述步骤1)中包括:
步骤1-1)获取源域样本与目标域样本的公共子空间;
步骤1-2)在该公共子空间中求解用于由公共子空间中目标域数据重构公共子空间中每个源域数据的线性组合系数;
步骤1-3)根据所述线性组合系数将源域样本表示为目标域样本的线性组合,从而源域样本转换到目标域上。
3.根据权利要求2所述的方法,所述步骤1-1)获取所述公共子空间的目标函数为最大化源域与目标域的散度的同时最小化源域与目标域相互重构的误差。
4.根据权利要求2所述的方法,所述步骤1-2)包括:
a)将源域样本投影到公共子空间,以得到公共子空间中的源域数据;
b)将目标域样本投影到公共子空间,以得到公共子空间中的目标域数据;
c)将公共子空间中源域数据的每一个样本表示为公共子空间中目标域数据的线性组合;
d)基于公共子空间中源域数据和公共子空间中目标域数据求解所述线性组合系数。
5.根据权利要求4所述的方法,所述步骤d)中所述线性组合系数是通过最小二乘回归法、稀疏表示法或者底秩表示法进行求解得到的。
6.一种领域自适应模式识别系统,所述系统包括:
样本转换模块,用于通过将源域样本表示为目标域样本的线性组合来将其转换到目标域上,其中用于所述线性组合的系数是在源域样本与目标域样本的公共子空间中得到;
模式识别模块,用于利用转换后的样本训练监督模型,并利用训练好的监督模型来进行目标域上的模式识别。
7.根据权利要求1的系统,所述样本转换模块被配置为:
获取源域样本与目标域样本的公共子空间;
在该公共子空间中求解用于由公共子空间中目标域数据重构公共子空间中每个源域数据的线性组合系数;
根据所述线性组合系数将源域样本表示为目标域样本的线性组合,从而源域样本转换到目标域上。
8.根据权利要求7所述的系统,其中获取所述公共子空间的目标函数为最大化源域与目标域的散度的同时最小化源域与目标域相互重构的误差。
9.根据权利要求7的系统,其中,所述样本转换模块还被配置为:
将源域样本投影到公共子空间,以得到公共子空间中的源域数据;
将目标域样本投影到公共子空间,以得到公共子空间中的目标域数据;
将公共子空间中每一个源域数据表示为公共子空间中目标域数据的线性组合;
基于公共子空间中源域数据和公共子空间中目标域数据求解所述线性组合系数。
CN201410006653.0A 2014-01-07 2014-01-07 领域自适应模式识别方法及系统 Active CN103729648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410006653.0A CN103729648B (zh) 2014-01-07 2014-01-07 领域自适应模式识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410006653.0A CN103729648B (zh) 2014-01-07 2014-01-07 领域自适应模式识别方法及系统

Publications (2)

Publication Number Publication Date
CN103729648A true CN103729648A (zh) 2014-04-16
CN103729648B CN103729648B (zh) 2017-01-04

Family

ID=50453712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410006653.0A Active CN103729648B (zh) 2014-01-07 2014-01-07 领域自适应模式识别方法及系统

Country Status (1)

Country Link
CN (1) CN103729648B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408401A (zh) * 2014-10-28 2015-03-11 中国科学院自动化研究所 一种时敏目标的在轨检测方法
CN105606363A (zh) * 2016-01-29 2016-05-25 济南大学 一种基于域自适应的轴承故障诊断方法
CN105929113A (zh) * 2016-04-20 2016-09-07 重庆大学 一种带子空间投影的电子鼻信号误差自适应学习方法
CN106326936A (zh) * 2016-08-29 2017-01-11 重庆大学 一种基于稀疏预设子空间迁移的图像分类方法
CN106683666A (zh) * 2016-12-23 2017-05-17 上海语知义信息技术有限公司 一种基于深度神经网络的领域自适应方法
CN107045640A (zh) * 2017-03-31 2017-08-15 南京邮电大学 一种用于图像识别的基于邻域保持和核子空间对齐的方法
CN107153888A (zh) * 2017-04-26 2017-09-12 浙江大学 一种基于极限学习机的最优化连锁店选址方法
CN107204193A (zh) * 2017-06-12 2017-09-26 山东师范大学 基于直方图统计和池化算法的音频场景识别方法及装置
CN107644212A (zh) * 2017-10-19 2018-01-30 中国地质大学(武汉) 一种高光谱遥感图像分类方法、设备及存储设备
CN109034080A (zh) * 2018-08-01 2018-12-18 桂林电子科技大学 多源域自适应的人脸识别方法
CN110146655A (zh) * 2019-05-31 2019-08-20 重庆大学 一种基于自适应子空间学习范式的抗电子鼻漂移方法
CN111144565A (zh) * 2019-12-27 2020-05-12 中国人民解放军军事科学院国防科技创新研究院 基于一致性训练的自监督领域自适应深度学习方法
CN111161239A (zh) * 2019-12-27 2020-05-15 上海联影智能医疗科技有限公司 医学图像分析方法、装置、存储介质及计算机设备
CN111611909A (zh) * 2020-05-18 2020-09-01 桂林电子科技大学 多子空间域自适应人脸识别方法
CN111929053A (zh) * 2020-07-07 2020-11-13 中国矿业大学 基于da-rvfln的气动调节阀领域适应故障诊断方法
CN112634048A (zh) * 2020-12-30 2021-04-09 第四范式(北京)技术有限公司 一种反洗钱模型的训练方法及装置
CN113240030A (zh) * 2021-05-24 2021-08-10 哈尔滨理工大学 一种基于交互表示的域自适应子空间学习方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009154977A1 (en) * 2008-05-30 2009-12-23 Optasia Medical, Inc. Methods of and system for detection and tracking of osteoporosis
WO2010037397A1 (en) * 2008-10-01 2010-04-08 Dako Denmark A/S Mhc multimers in cmv immune monitoring
CN101710338A (zh) * 2009-11-24 2010-05-19 清华大学 一种基于公共隐空间的异构网络排序方法
CN101840569A (zh) * 2010-03-19 2010-09-22 西安电子科技大学 基于迁移学习的投影寻踪高光谱图像分割方法
CN103412003A (zh) * 2013-08-21 2013-11-27 电子科技大学 基于半监督领域自适应的气体检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009154977A1 (en) * 2008-05-30 2009-12-23 Optasia Medical, Inc. Methods of and system for detection and tracking of osteoporosis
WO2010037397A1 (en) * 2008-10-01 2010-04-08 Dako Denmark A/S Mhc multimers in cmv immune monitoring
CN101710338A (zh) * 2009-11-24 2010-05-19 清华大学 一种基于公共隐空间的异构网络排序方法
CN101840569A (zh) * 2010-03-19 2010-09-22 西安电子科技大学 基于迁移学习的投影寻踪高光谱图像分割方法
CN103412003A (zh) * 2013-08-21 2013-11-27 电子科技大学 基于半监督领域自适应的气体检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DEMING ZHAI等: "Multiview Metric Learning with Global Consistency and Local Smoothness", 《ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408401B (zh) * 2014-10-28 2017-08-15 中国科学院自动化研究所 一种时敏目标的在轨检测方法
CN104408401A (zh) * 2014-10-28 2015-03-11 中国科学院自动化研究所 一种时敏目标的在轨检测方法
CN105606363B (zh) * 2016-01-29 2017-11-07 济南大学 一种基于域自适应的轴承故障诊断方法
CN105606363A (zh) * 2016-01-29 2016-05-25 济南大学 一种基于域自适应的轴承故障诊断方法
CN105929113A (zh) * 2016-04-20 2016-09-07 重庆大学 一种带子空间投影的电子鼻信号误差自适应学习方法
CN105929113B (zh) * 2016-04-20 2017-10-10 重庆大学 一种带子空间投影的电子鼻信号误差自适应学习方法
CN106326936A (zh) * 2016-08-29 2017-01-11 重庆大学 一种基于稀疏预设子空间迁移的图像分类方法
CN106683666A (zh) * 2016-12-23 2017-05-17 上海语知义信息技术有限公司 一种基于深度神经网络的领域自适应方法
CN106683666B (zh) * 2016-12-23 2019-11-08 云知声(上海)智能科技有限公司 一种基于深度神经网络的领域自适应方法
CN107045640A (zh) * 2017-03-31 2017-08-15 南京邮电大学 一种用于图像识别的基于邻域保持和核子空间对齐的方法
CN107153888A (zh) * 2017-04-26 2017-09-12 浙江大学 一种基于极限学习机的最优化连锁店选址方法
CN107204193A (zh) * 2017-06-12 2017-09-26 山东师范大学 基于直方图统计和池化算法的音频场景识别方法及装置
CN107644212B (zh) * 2017-10-19 2019-12-17 中国地质大学(武汉) 一种高光谱遥感图像分类方法、设备及存储设备
CN107644212A (zh) * 2017-10-19 2018-01-30 中国地质大学(武汉) 一种高光谱遥感图像分类方法、设备及存储设备
CN109034080A (zh) * 2018-08-01 2018-12-18 桂林电子科技大学 多源域自适应的人脸识别方法
CN110146655B (zh) * 2019-05-31 2021-12-21 重庆大学 一种基于自适应子空间学习范式的抗电子鼻漂移方法
CN110146655A (zh) * 2019-05-31 2019-08-20 重庆大学 一种基于自适应子空间学习范式的抗电子鼻漂移方法
CN111144565A (zh) * 2019-12-27 2020-05-12 中国人民解放军军事科学院国防科技创新研究院 基于一致性训练的自监督领域自适应深度学习方法
CN111161239A (zh) * 2019-12-27 2020-05-15 上海联影智能医疗科技有限公司 医学图像分析方法、装置、存储介质及计算机设备
CN111144565B (zh) * 2019-12-27 2020-10-27 中国人民解放军军事科学院国防科技创新研究院 基于一致性训练的自监督领域自适应深度学习方法
CN111161239B (zh) * 2019-12-27 2024-02-27 上海联影智能医疗科技有限公司 医学图像分析方法、装置、存储介质及计算机设备
CN111611909A (zh) * 2020-05-18 2020-09-01 桂林电子科技大学 多子空间域自适应人脸识别方法
CN111929053A (zh) * 2020-07-07 2020-11-13 中国矿业大学 基于da-rvfln的气动调节阀领域适应故障诊断方法
CN111929053B (zh) * 2020-07-07 2022-02-01 中国矿业大学 基于da-rvfln的气动调节阀领域适应故障诊断方法
CN112634048A (zh) * 2020-12-30 2021-04-09 第四范式(北京)技术有限公司 一种反洗钱模型的训练方法及装置
CN112634048B (zh) * 2020-12-30 2023-06-13 第四范式(北京)技术有限公司 一种反洗钱模型的训练方法及装置
CN113240030A (zh) * 2021-05-24 2021-08-10 哈尔滨理工大学 一种基于交互表示的域自适应子空间学习方法
CN113240030B (zh) * 2021-05-24 2022-06-28 哈尔滨理工大学 一种基于交互表示的域自适应子空间学习方法

Also Published As

Publication number Publication date
CN103729648B (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN103729648A (zh) 领域自适应模式识别方法及系统
Rieck et al. Persistent homology for the evaluation of dimensionality reduction schemes
Monahan Nonlinear principal component analysis by neural networks: Theory and application to the Lorenz system
CN103400143A (zh) 一种基于多视角的数据子空间聚类方法
Sinha et al. Structural complexity quantification for engineered complex systems and implications on system architecture and design
BRPI0610739A2 (pt) comparação de imagem por inclusão métrica
Aken et al. Visbert: Hidden-state visualizations for transformers
Moore et al. Analyzing collaboration networks using simplicial complexes: A case study
CN110807520A (zh) 一种卷积神经网络的神经节点的影响因子分析方法及装置
Kapla et al. Fusing sufficient dimension reduction with neural networks
CN105159746B (zh) 面向容错组合web服务的可靠性仿真工具
CN111488460A (zh) 数据处理方法、装置和计算机可读存储介质
CN105913451A (zh) 一种基于图模型的自然图像超像素分割方法
CN110751201A (zh) 基于纹理特征变换的sar装备任务失效成因推理方法
Robertson Bifactor models and factor collapse: A Monte Carlo study
CN110554952A (zh) 一种基于搜索的分层回归测试数据生成方法
CN104392412A (zh) 基于进化正交匹配追踪的压缩感知信号恢复方法
Lebbah et al. Mixed Topological Map.
CN107818325A (zh) 基于集成字典学习的图像稀疏表示方法
Prekopcsák et al. Cross-validation: the illusion of reliable performance estimation
Chen et al. Nonlinear constrained optimization in R and its application for sufficient dimension reduction and variable selection
Iaci et al. The dual central subspaces in dimension reduction
CN103106103B (zh) 请求信息分类方法及装置
Castro Active learning and adaptive sampling for non-parametric inference
CN109635921A (zh) 一种基于深度学习的无监督异常识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant