CN106408014A - 一种基于流形对齐的半监督分类方法 - Google Patents

Abstract

本发明公开了一种基于流形对齐的半监督分类方法，包括：基于已知的类别信息建立辅助域和目标域的训练数据的类别坐标；基于目标域近邻图得到目标域中各训练数据与测试数据间的相似度及测试数据与测试数据间的相似度；通过挖掘辅助域和目标域数据的关联性，计算辅助域中各训练数据与目标域中测试数据间的相似度；基于半监督模型计算目标域中测试数据的类别坐标；根据测试数据的类别坐标即可得到其类别信息。本发明方法利用辅助域的已知类别数据帮助目标域数据分类，提高目标域的分类精度。

Description

一种基于流形对齐的半监督分类方法

技术领域

本项发明属于模式识别领域，涉及一种基于半监督分类的机器学习方法，特别涉及一种基于实例层面的流形对齐的半监督分类方法。

背景技术

传统的分类算法需要足够的标记数据来训练高精度的分类器，且要求训练数据与目标数据来自同一个数据域。当面对新出现的数据域上的数据的分类时，传统的分类器不能利用已有的数据域上的标记数据对新出现的数据分类。为了得到足够的训练数据，常需要人工对数据进行分析、标注。这样做无疑是对已有的数据信息的浪费，同时需要投入大量的人力、物力和时间，不仅效率低下，而且代价也大。近年来，如何使用相关数据域中已有的标签数据(辅助域)帮助感兴趣的数据域(目标域)习得合适的分类器的问题得到了广大学者们的关注。

一个直接的想法是将辅助域与目标域数据用共同的特征表示，则可以实现辅助域数据与目标域数据之间的直接比较和计算。从而实现辅助域已知类别数据与目标域中已知类别数据同时帮助目标域未知数据分类。近年来，流形对齐在多领域数据联合降维方面得到了广泛应用。流形对齐可以用于提取多流形的共同特征，用这组共同特征重新表示源数据，从而实现来自不同流形的数据的直接比较。

流形对齐的目标是通过挖掘两个流形的相似性将不同的流形投影到一个潜在的共同空间中，同时匹配相应的实例并且保持其几何结构不变。目前对流形对齐的研究都面临着一个共同的问题：挖掘流形间的相似性。对于相似性的表示不当将会导致最终的分类器的分类精度不高。传统的流形对齐大多是基于对应点信息或先验坐标信息挖掘流形间的相似性。但在只有类别信息的数据集之间往往不存在对应点信息或坐标信息，这给流形对齐带来很大挑战。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于流形对齐的半监督分类方法。本发明通过挖掘辅助域和目标域数据的关联性，将辅助域和目标域投影到共同的低维空间，综合利用辅助域和目标域的标注数据，并利用辅助域的已知类别数据帮助目标域数据分类，提高目标域的分类精度。

本发明解决其技术问题所采用的技术方案是：

一种基于流形对齐的半监督分类方法，包括如下步骤：

基于已知的类别信息建立辅助域中训练数据集的类别坐标和目标域中训练数据集的类别坐标；

基于目标域近邻图构造目标域中训练数据与测试数据间的相似度矩阵及测试数据与测试数据间的相似度矩阵；

通过挖掘辅助域和目标域数据的关联性，计算辅助域中训练数据与目标域中测试数据间的相似度，并构造相似度矩阵；

以保持同类别的点被投影到相近的地方同时保持自身局部结构为目标构造目标函数和以已知类别的点在新的潜在空间中类别不变为约束条件，提出半监督模型；

利用拉格朗日乘数法求解用矩阵形式表示的所述半监督模型，获得目标域中测试数据的类别坐标；

获取测试数据的类别坐标中绝对值最大的分量对应的下标作为测试数据的类别。

优选的，所述基于已知的类别信息建立辅助域中训练数据集的类别坐标和目标域中训练数据集的类别坐标，包括：

基于类别信息，用c维向量表示训练数据的类别坐标，其中c表示总的类别个数；

若某训练数据属于第i类，则其类别坐标向量的第i个分量为1，其余分量为0，其中1≤i≤c；

获得辅助域上训练数据集X的类别坐标S＝(s₁,…,s_l)和目标域Y上训练数据集Y₁的类别坐标T₁＝(t₁,…,t_l)。

优选的，基于目标域近邻图构造目标域中训练数据与测试数据间的相似度矩阵及测试数据与测试数据间的相似度矩阵，具体包括：

用k-近邻算法构造目标域的邻域图，设目标域为Y＝(Y₁,Y₂)，其中Y₁＝(y₁,…,y_l)表示目标域中的训练数据集，Y₂＝(y_t1,…y_tn)表示目标域中的测试数据集；当目标域中任一训练数据y_i与任一测试数据y_tj是近邻点时，令其相似度否则令并根据构造出目标域中训练数据与测试数据间的相似度矩阵W₁，其中y_i∈Y₁，y_tj∈Y₂，1≤i≤l，1≤j≤n；当目标域中任意两个测试数据y_tj与y_tk是近邻点时，令其相似度否则令并根据构造出目标域中测试数据与测试数据间的相似度矩阵W₂，其中y_tj,y_tk∈Y₂，1≤j≤n，1≤k≤n。

优选的，通过挖掘辅助域和目标域数据的关联性，计算辅助域中训练数据与目标域中测试数据间的相似度，并构造相似度矩阵，包括：

设辅助域中的训练数据集为X＝(x₁,...,x_l)；

构造辅助域中训练数据与目标域中测试数据间的相似度函数W^ij，如下：

其中，x_i∈X，分别表示辅助域X上的训练数据x_i的重构向量和目标域Y上的测试数据y_tj的重构向量，1≤i≤l，1≤j≤n；

根据W^ij构造出辅助域中训练数据与目标域中测试数据间的相似度矩阵W。

优选的，所述半监督模型用如下公式表示：

s.t.(S,T₁)＝Z₁

其中和表示对于两个数据点其相似度越大，越有可能是同一类别，则它们的类别坐标应尽量相同；表示目标域Y上的测试数据集Y₂投影到新的类别空间时其局部几何结构应保持不变；u₁，u₂，u₃表示权重参数；s_i∈S，t_i∈T₁，t_tj,t_tk∈T₂；T₂＝(t_t1,...,t_tn)表示目标域Y上测试数据集Y₂的类别坐标。

优选的，所述利用拉格朗日乘数法求解用矩阵形式表示的所述半监督模型，获得目标域中测试数据的类别坐标，包括：

构造矩阵L表示半监督模型，其中Ω₁∈R^{l ×l}，Ω₂∈R^n×n，Ω₁′∈R^l×l，Ω′₂∈R^n×n，D₂∈R^n×n是对角矩阵， L₂＝D₂-W₂,

将矩阵L分块为其中L₁₁∈R^2l×2l，L₁₂∈R^2l×n，L₂₁∈R^n×2l，L₂₂∈R^n×n；

通过计算得到目标域Y上测试数据集Y₂的类别坐标T₂。

优选的，重构向量和用如下公式表示：

其中，δ为自由参数，表示辅助域X上的训练数据x_i到辅助域X上第k类的各特征线的距离中的最小距离，表示目标域Y上的测试数据y_tj到目标域Y上第k类的各特征线的距离中的最小距离，表示辅助域X上的训练数据x_i到辅助域X上第1,2,…,c类的各特征线的距离中的最小距离的平均值即 表示目标域Y上的测试数据y_tj到目标域Y上第1,2,…,c类的各特征线的距离中的最小距离的平均值即

本发明具有如下有益效果：

(1)不只是停留在利用对应点信息挖掘不同数据域间的关联性，可以利用类别信息较准确地计算不同数据域间的相似度，以实现根据辅助域训练数据来为目标域数据分类；

(2)最终可以实现使用共同的特征，表示来自两个不同特征空间的数据点；

(3)可以用于相似领域的文本分类、音频分类、图像分类等，借助辅助域提高目标域的分类精度。

以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种基于流形对齐的半监督分类方法不局限于实施例。

附图说明

图1为本发明方法的流程图；

图2为本发明方法的思维导图；

图3为Mnist手写数字数据集的“0”到“9”的手写数字图片；

图4为Usps手写数字数据集的“0”到“9”的手写数字图片。

具体实施方式

本实施例中，把将要分类的数据集称为目标域，以不同但具有相似类别标签领域的数据集作为辅助域。利用半监督的方法结合辅助域训练数据与目标域已知类别的训练数据联合起来作为新的训练数据，从而帮助目标域未知类别的数据进行分类。下面结合附图对本发明做详细的描述。

如图1和2所示，本发明所提出的基于流形对齐的半监督分类方法具体实现步骤如下：

步骤101，基于已知的类别信息建立辅助域中训练数据集的类别坐标和目标域中训练数据集的类别坐标。

具体的，基于类别信息，用c维向量表示训练数据的类别坐标，其中c表示总的类别个数，若某训练数据属于第i类，则其类别坐标向量的第i个分量为1，其余分量为0。这样表示出所有训练数据的类别坐标，本发明实施例需要求出测试数据的类别坐标。

步骤102，基于目标域近邻图构造目标域中训练数据与测试数据间的相似度矩阵及测试数据与测试数据间的相似度矩阵；

具体的，用k-近邻算法构造目标域的邻域图。设目标域为Y＝(Y₁,Y₂)，其中Y₁＝(y₁,…,y_l)表示目标域中的训练数据集，Y₂＝(y_t1,…y_tn)表示目标域中的测试数据集。其中，下标t表示一个符号标记，如y_tj表示Y2中的第j个样本点，这样表示是便于区分Y2中样本点与Y1中样本点。

当目标域中某训练数据y_i(y_i∈Y₁)与某测试数据y_tj(y_tj∈Y₂)是近邻点时，令其相似度否则进一步的，求出目标域中所有训练数据与所有测试数据之间的相似度，并根据构造出目标域中训练数据与测试数据间的相似度矩阵W₁，其中y_i∈Y₁，y_tj∈Y₂，1≤i≤l，1≤j≤n。

对于目标域中的测试数据y_tj与y_tk(y_tj,y_tk∈Y₂)，如果它们是近邻点，令其相似度否则进一步的，求出目标域中所有的测试数据之间相似度，并根据构造出目标域中测试数据与测试数据间的相似度矩阵W₂，其中y_tj,y_tk∈Y₂，其中1≤j≤n，1≤k≤n。

步骤103，通过挖掘辅助域和目标域数据的关联性，计算辅助域中训练数据与目标域中测试数据间的相似度，并构造相似度矩阵。

具体的，采用余弦距离函数计算辅助域中各训练数据与目标域中测试数据间的相似度，即其中分别表示辅助域X上的训练数据x_i的重构向量和目标域Y上的测试数据y_tj的重构向量。为了减少不同数据集之间的距离尺度的不同，取其中δ是自由参数，表示辅助域X上的训练数据x_i到辅助域X上第k类的各特征线的距离中的最小距离，表示目标域Y上的测试数据y_tj到目标域Y上第k类的各特征线的距离中的最小距离，表示辅助域X上的训练数据x_i到辅助域X上第1,2,…,c类的各特征线的距离中的最小距离的平均值即 表示目标域Y上的测试数据y_tj到目标域Y上第1,2,…,c类的各特征线的距离中的最小距离的平均值即

步骤104，以保持同类别的点被投影到相近的地方同时保持自身局部结构为目标构造目标函数和以已知类别的点在新的潜在空间中类别不变为约束条件，提出半监督模型。

具体的，由步骤101可得辅助域X上训练数据集的类别坐标S＝(s₁,…,s_l)，目标域Y上训练数据集Y₁的类别坐标T₁＝(t₁,…,t_l)。构造以下半监督优化模型：

s.t.(S,T₁)＝Z₁

其中和表示对于两个数据点其相似度越大，越有可能是同一类别，则它们的类别坐标应尽量相同。表示目标域Y上的测试数据集Y₂投影到新的类别空间时其局部几何结构应保持不变。u₁，u₂，u₃表示权重参数，用于衡量各个部分的贡献程度。

步骤105，利用拉格朗日乘数法求解用矩阵形式表示的所述半监督模型，获得目标域中测试数据的类别坐标。

具体的，构造矩阵L表示半监督模型，其中Ω₁∈R^l×l，Ω₂∈R^n×n，Ω₁′∈R^l×l，Ω′₂∈R^n×n，D₂∈R^n×n是对角矩阵， L₂＝D₂-W₂,

将矩阵L分块为其中L₁₁∈R^2l×2l，L₁₂∈R^2l×n，L₂₁∈R^n×2l，L₂₂∈R^n×n；

通过计算得到目标域Y上测试数据集Y₂的类别坐标T₂。

步骤106，获取测试数据的类别坐标中绝对值最大的分量对应的下标作为测试数据的类别。

进一步的，表1直观的方式描述了本发明一种基于流形对齐的半监督分类方法的输入、输出及步骤。

表1

具体的，可将所述基于流形对齐的半监督分类方法应用到手写数字数据集Mnist和Usps。数据集Mnist和Usps都是表示“0”到“9”的手写数字，分别如图3和图4所示，但是它们的维度和特征的表示方式均不相同。其中，Mnist数据集中有60000个训练数据，10000个测试数据，每幅手写数字图像的像素数是28*28。Usps数据集每个手写数字有1100幅图像，每幅图像的像素是16*16。本发明将Mnist数据集作为辅助域。从Usps数据集的每个手写数字中随机挑出200幅，共2000幅图像作为目标域数据，然后在其中选出1000幅图像作为目标域的测试集。

如下表2为在辅助域和目标域中给定不同训练点个数下，本发明提出的方法与现在已有的先降维后分类的算法(如先直接利用拉普拉斯特征映射算法对目标域数据降维，再用最近特征线分类器对目标域数据分类的算法(LE+NFL)；先直接利用局部线性嵌入法对目标域数据降维，再用最近特征线分类器对目标域数据分类的算法(LLE+NFL)；先直接利用局部切空间排列算法对目标域数据降维，再用最近特征线分类器对目标域数据分类的算法(LTSA+NFL))的分类精度的比较。从表1可以看出，本发明的分类效果明显优于仅利用目标域训练数据进行分类的效果。

表2

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于流形对齐的半监督分类方法，其特征在于，包括：

基于已知的类别信息建立辅助域中训练数据集的类别坐标和目标域中训练数据集的类别坐标；

基于目标域近邻图构造目标域中训练数据与测试数据间的相似度矩阵及测试数据与测试数据间的相似度矩阵；

通过挖掘辅助域和目标域数据的关联性，计算辅助域中训练数据与目标域中测试数据间的相似度，并构造相似度矩阵；

以保持同类别的点被投影到相近的地方同时保持自身局部结构为目标构造目标函数和以已知类别的点在新的潜在空间中类别不变为约束条件，提出半监督模型；

利用拉格朗日乘数法求解用矩阵形式表示的所述半监督模型，获得目标域中测试数据的类别坐标；

获取测试数据的类别坐标中绝对值最大的分量对应的下标作为测试数据的类别。

2.根据权利要求1所述的基于流形对齐的半监督分类方法，其特征在于，所述基于已知的类别信息建立辅助域中训练数据集的类别坐标和目标域中训练数据集的类别坐标，包括：

基于类别信息，用c维向量表示训练数据的类别坐标，其中c表示总的类别个数；

若某训练数据属于第i类，则其类别坐标向量的第i个分量为1，其余分量为0，其中1≤i≤c；

获得辅助域上训练数据集X的类别坐标S＝(s₁,…,s_l)和目标域Y上训练数据集Y₁的类别坐标T₁＝(t₁,…,t_l)。

3.根据权利要求2所述的基于流形对齐的半监督分类方法，其特征在于，基于目标域近邻图构造目标域中训练数据与测试数据间的相似度矩阵及测试数据与测试数据间的相似度矩阵，具体包括：

用k-近邻算法构造目标域的邻域图，令目标域为Y＝(Y₁,Y₂)，其中Y₁＝(y₁,…,y_l)表示目标域中的训练数据集，Y₂＝(y_t1,…y_tn)表示目标域中的测试数据集；

当目标域中任一训练数据y_i与任一测试数据y_tj是近邻点时，令其相似度W₁ ^ij＝1，否则令W₁ ^ij＝0，并根据W₁ ^ij构造出目标域中训练数据与测试数据间的相似度矩阵W₁，其中y_i∈Y₁，y_tj∈Y₂，1≤i≤l，1≤j≤n；

当目标域中任意两个测试数据y_tj与y_tk是近邻点时，令其相似度W₂ ^jk＝1，否则令W₂ ^jk＝0，并根据W₂ ^jk构造出目标域中测试数据与测试数据间的相似度矩阵W₂，其中y_tj,y_tk∈Y₂，1≤j≤n，1≤k≤n。

4.根据权利要求3所述的基于流形对齐的半监督分类方法，其特征在于，通过挖掘辅助域和目标域数据的关联性，计算辅助域中训练数据与目标域中测试数据间的相似度，并构造相似度矩阵，包括：

令辅助域中的训练数据集为X＝(x₁,...,x_l)；

构造辅助域中训练数据与目标域中测试数据间的相似度函数W^ij，如下：

$W^{ij}=\frac{\left|{v_{x_i}}^T{v}_{y_{tj}}\right|}{\left|\right|v_{x_i}\left|\right|\left|\right|v_{y_{tj}}\left|\right|}$

其中，x_i∈X，v_xi，v_ytj分别表示辅助域X上的训练数据x_i的重构向量和目标域Y上的测试数据y_tj的重构向量，1≤i≤l，1≤j≤n；

根据W^ij构造出辅助域中训练数据与目标域中测试数据间的相似度矩阵W。

5.根据权利要求4所述的基于流形对齐的半监督分类方法，其特征在于，所述半监督模型用如下公式表示：

$\arg \min u_1\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|s_i-t_{tj}|{|}^2{W}^{ij}+u_2\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}||t_i-t_{tj}|{|}^2{W}_1^{ij}+0.5u_3\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|t_{tj}-t_{tk}|{|}^2{W_2}^{jk}$

s.t.(S,T₁)＝Z₁

其中和表示对于两个数据点其相似度越大，越有可能是同一类别，则它们的类别坐标应尽量相同；表示目标域Y上的测试数据集Y₂投影到新的类别空间时其局部几何结构应保持不变；u₁，u₂，u₃表示权重参数；s_i∈S，t_i∈T₁，t_tj,t_tk∈T₂；T₂＝(t_t1,...,t_tn)表示目标域Y上测试数据集Y₂的类别坐标。

6.根据权利要求5所述的基于流形对齐的半监督分类方法，其特征在于，所述利用拉格朗日乘数法求解用矩阵形式表示的所述半监督模型，获得目标域中测试数据的类别坐标，包括：

构造矩阵L表示半监督模型，其中Ω₁∈R^l×l，Ω₂∈R^n×n，Ω₁′∈R^l×l，Ω′₂∈R^n×n，D₂∈R^n×n是对角矩阵，

将矩阵L分块为其中L₁₁∈R^2l×2l，L₁₂∈R^2l×n，L₂₁∈R^n×2l，L₂₂∈R^n×n；

通过计算得到目标域Y上测试数据集Y₂的类别坐标T₂。

7.根据权利要求4所述的基于流形对齐的半监督分类方法，其特征在于，重构向量和用如下公式表示：

$v_{x_i}=\[e^{-\mathrm{\δ}{(d_1^{i1}/\stackrel{\‾}{d_1^i})}^2},...,e^{-\mathrm{\δ}{(d_1^{ic}/\stackrel{\‾}{d_1^i})}^2}\]$

$v_{y_{tj}}=\[e^{-\mathrm{\δ}{(d_2^{j1}/\stackrel{\‾}{d_2^j})}^2},...,e^{-\mathrm{\δ}{(d_2^{jc}/\stackrel{\‾}{d_2^j})}^2}\]$

其中，δ为自由参数，表示辅助域X上的训练数据x_i到辅助域X上第k类的各特征线的距离中的最小距离，表示目标域Y上的测试数据y_tj到目标域Y上第k类的各特征线的距离中的最小距离，表示辅助域X上的训练数据x_i到辅助域X上第1,2,…,c类的各特征线的距离中的最小距离的平均值即 表示目标域Y上的测试数据y_tj到目标域Y上第1,2,…,c类的各特征线的距离中的最小距离的平均值即