CN109886419A - 一种基于对称矩阵空间子空间学习的格拉斯曼流形域自适应方法 - Google Patents

Abstract

本发明涉及机器学习领域的域自适应技术，提出了是一种基于对称矩阵空间子空间学习的格拉斯曼流形域自适应方法。为了减少源域和目标域数据概率分布的差异性，本方法首先建立从格拉斯曼流形到对称矩阵空间的映射，之后将源域和目标域的格拉斯曼流形矩阵数据映射到对称矩阵空间，并在此对称矩阵空间构造子空间。对原始数据在此子空间的投影利用均值相近准则，建立子空间学习的目标函数，并进行目标函数的优化求解获得目标子空间，在目标子空间上实现了原始数据在该目标子空间的投影概率分布相匹配，即原始数据经过从格拉斯曼流形到对称矩阵空间，再从对称矩阵空间到其子空间的两次变换，实现了域自适应。

Description

一种基于对称矩阵空间子空间学习的格拉斯曼流形域自适应 方法

技术领域

本发明涉及机器学习领域的域自适应技术，具体是一种格拉斯曼流形上的域自适应方法。

背景技术

传统的图像识别领域的相关应用中，通常假设训练数据(源域)和测试数据(目标域)概率分布相同或相似。但是在实际的应用中，诸如光照、背景、角度等因素的改变会导致源域与目标域的概率分布产生较大的差异，因此由源域数据训练产生的分类器往往不能在目标域数据产生较好的效果。域自适应任务便是期望通过相关算法使得源域目标域数据概率分布尽可能匹配，以解决实际应用中源域目标域数据概率分布不一致的问题。

最初，域自适应任务主要是用于统计机器学习、自然语言处理领域，用作传统机器学习、文本分类、情感分析等任务中，之后Kate Saenko等人(文献1，Adapting VisualCategory Models to New Domains.European Conference on Computer Vision,2010.)首次将域自适应技术应用于目标识别任务，提出了基于跨域变换的域自适应技术，通过学习一个正则的非线性变换，将源域的点映射得与目标域的点更为接近，以减少特征分布中由域变化产生的影响。

在目标识别任务中，以子空间为基础的方法是目前较为成功的域自适应方法。子空间为基础的方法旨在通过数据在单个或多个子空间上的表示，来对域迁移进行建模以挖掘域变换的本质。例如，S.J.Pan等人在最大均值差异准则基础上提出了TCA方法(文献2，Domain adaptation via transfer component analysis.IEEE Transactions on NeuralNetworks,2011.)，其算法本质是发现跨域特征表示，通过在再生核希尔伯特空间中学习跨域的迁移成分，在由这些迁移成分所张成的子空间，数据的性质得到保持，且不同域的数据分布彼此接近。在TCA基础上，相继有更多改进的算法提出，如JDA(文献3，TransferFeature Learning with Joint Distribution Adaptation.IEEE InternationalConference on Computer Vision,2013.)、TJM(文献4，Transfer Joint Matching forUnsupervised Domain Adaptation.IEEE Conference on Computer Vision and PatternRecognition,2014.)、BDA(文献5，Balanced Distribution Adaptation for TransferLearning.IEEE International Conference on Data Mining,2014.)等等，这些算法的本质都是寻找一个投影矩阵，以将数据投影至其对应子空间，获得跨域表示。

R.Gopalan等人受增量学习的启发，提出了SGF算法(文献6，Domain adaptationfor object recognition:Anunsupervised approach.International Conference onComputer Vision,2012.)，将两个域看作是格拉斯曼流形上的点(子空间)，并通过对两个子空间之间的测地线采样以获得中间子空间，创造了两个域数据的中间表示。该种方法取样测地线中有限个子空间，并将这些子空间堆叠起来形成高维度的投影矩阵，这就存在计算复杂度高和需要优化多个参数的问题，于是Gong B等人在这个方法的基础上上加以改进，提出了GFK算法(文献7，Geodesic flow kernel for unsupervised domainadaptation.IEEE Conference on Computer Vision and Pattern Recognition,2012.)。与SGF方法不同的是，GFK是将源域目标域之间测地线的所有中间子空间都考虑进来，通过使用核技巧，建立核矩阵，利用无数多个子空间获得两个域之间几何和统计性质的增量变化。不过两种方法在本质上都是获得中间子空间，以获得数据的中间表示，即域不变特征。

值得注意的是，虽然此类子空间的方法是将源域与目标域看作是格拉斯曼流形上的点，但却并非是对格拉斯曼流形的数据进行域自适应，化为格拉斯曼流形上的点只是这些算法对欧式数据处理的一个步骤。因此，目前的域自适应的方法通常适用于欧式特征空间数据，而对于非欧数据(如格拉斯曼流形数据)的域自适应的方法目前仍较少人触及。

而本发明提出了一个基于对称矩阵空间子空间学习的格拉斯曼流形数据的域自适应方法，通过将源域目标域原始的格拉斯曼流形数据映射到一个对称矩阵空间上，并在此空间构造一个子空间，对原始数据在此子空间的投影利用均值相近准则建立目标模型，进行子空间学习，最终找到一个合适的目标子空间。之后我们便可以在此子空间，对源域和目标域数据在该空间的特征表示利用传统的分类器(如最近邻)进行分类。

发明内容

本发明的目的在于提出一种基于对称矩阵空间子空间学习的格拉斯曼流形的域自适应方法。本发明的技术方案是，把源域和目标域的格拉斯曼流形数据输入样本共同映射到对称矩阵空间，然后在对称矩阵空间构造子空间，在该子空间对源域目标域数据的投影利用均值相近的准则建立子空间学习的模型，通过优化目标函数找到目标子空间，使得数据在该目标子空间上的表示的概率分布相匹配，实现域自适应。具体的步骤如下：

步骤一：源域输入数据和目标域输入数据均为格拉斯曼流形的数据，即每个数据都是D×d维列向量标准正交的矩阵；

步骤二：建立从格拉斯曼流形到对称矩阵空间的映射对任意的X∈G(D,d)，S_D表示对称矩阵空间，对称矩阵空间的元素为D×D维对称矩阵；

步骤三：将源域和目标域的格拉斯曼流形数据与通过步骤二建立的映射，映射到对称矩阵空间，得到

步骤四：利用的线性组合构造对称矩阵空间的r维子空间S_r，子空间的标准正交基表示为子空间由组合系数矩阵W决定，组合系数满足其中I_r为单位矩阵，这便是子空间标准正交基的约束条件；

步骤五：源域和目标域数据经由对称矩阵空间之后均可以投影到S_r，利用源域和目标域数据在此子空间的投影均值相近的原则学习子空间，目标函数为其中与分别为源域与目标域数据在S_r上的投影坐标。

步骤六：优化求解目标函数，求得子空间标准正交基的系数矩阵W，即获得目标子空间。

步骤七：原始数据在该目标子空间的投影概率分布相匹配，可以使用传统机器学习方法进行分类等操作，实现域自适应。

本发明的特点及其意义：

(1)提出了一种对格拉斯曼流形数据进行域自适应的方法。通过建立从格拉斯曼流形到对称矩阵空间的映射，把源域目标域的数据映射到对称矩阵空间，在该对称矩阵空间构造子空间之后，在子空间利用投影均值相近原则建立子空间学习的模型，使得源域与目标域的数据在目标子空间上的投影的分布差异减少。

(2)与其他域自适应方法的输入元数据不同，本发明所处理的数据是格拉斯曼流形矩阵数据而非欧式空间向量数据。

(3)具有简单性的特点。模型构造简单，物理意义直观，计算复杂度较小。

附图说明

图1：基于对称矩阵空间子空间学习的域自适应学习方法流程图。

具体实施方式

本发明旨在提供一种格拉斯曼流形的域自适应方法，基本思想是利用从格拉斯曼流形到对称矩阵空间的映射，使格拉斯曼流形数据转移到对称矩阵空间，并在对称矩阵空间构造子空间，利用源域目标域数据在此子空间的投影均值相近的准则进行子空间学习。下面介绍本发明的具体原理。

令为N_s个源域数据，为N_t个目标域数据，每个数据都是格拉斯曼流形G(D,d)上的矩阵表示，即每个数据都是D×d维列向量标准正交的矩阵。对称矩阵空间表示为S_D，对称矩阵空间的元素为D×D维对称矩阵。

建立从格拉斯曼流形到对称矩阵空间的映射：对任意格拉斯曼流形矩阵表示X，有

将源域和目标域数据均映射到对称矩阵空间，得到利用这组数据构造S_D中一个r维子空间S_r，S_r的标准正交基表示为：

所以我们有

这里

W_iRow是W的行向量，i＝1，…，r。

要求

也就是说，满足该条件的{Ψ₁,…,Ψ_r}构成了子空间S_r的标准正交基。即：

显然，子空间span{Ψ₁,…,Ψ_r}由矩阵W确定，上式就是在S_D子空间学习中W必须满足的约束条件。

我们在对称矩阵空间S_D中把源域数据和目标域数据都投影到子空间S_r里，根据投影定理，这些投影在S_r的标准正交基{Ψ₁,…,Ψ_r}上的坐标为：

于是，利用这些坐标，我们建立基于均值逼近的子空间学习模型为：

进一步，记

这里的前N_s个分量为其他分量为零，而后N_t个分量为其他分量为零，则有：

这里L＝Φ^TΓΓ^TΦ，是一个对称非负定的矩阵。

于是，最终的目标函数可表述为：

之后我们对目标函数进行求解：

对矩阵Φ，我们利用Cholesky分解：Φ＝LL^T

则有：

WΦW^T＝WLL^TW^T＝(WL)(WL)^T＝VV^T＝I_r

tr(WΦ^TΓΓ^TΦW^T)＝tr(WLL^TΓΓ^TLL^TW^T)＝tr((WL)L^TΓΓ^TL(WL)^T)＝tr(VΛV^T)

这里Λ＝L^TΓΓ^TL，V＝WL所以主函数的问题转化为：

即我们将主函数的问题转化为瑞利熵的问题，Λ的前r个最小特征值所对应的特征向量组成的矩阵即为V^T，于是

W＝VL^-1

即得目标子空间。之后我们便可以对与利用传统分类器(如最近邻)进行分类等操作，实现了域自适应。

Claims (1)

1.一种基于对称矩阵空间子空间学习的格拉斯曼流形域自适应方法，其主要特征在于：

A.源域输入数据和目标域输入数据均为格拉斯曼流形的数据，即每个数据都是D×d维列向量标准正交的矩阵；

B.通过映射G(D,d)→S_D将格拉斯曼流形数据映射到对称矩阵空间，即对任意的X∈G(D,d)，S_D表示对称矩阵空间，对称矩阵空间的元素为D×D维对称矩阵；

C.利用源域和目标域数据在对称矩阵空间上的映射N＝1,...,N_s+N_t的线性组合构造r维子空间S_r，子空间的标准正交基表示为i＝1，…，r，子空间由组合系数矩阵W决定，组合系数满足其中I_r为单位矩阵；

D.源域和目标域数据经由对称矩阵空间之后均可以投影到S_r，利用源域和目标域数据在此子空间的投影均值相近的原则学习子空间，目标函数为其中与分别为源域与目标域数据在S_r上的投影坐标。