CN103593357B - 一种半监督的特征变换方法和装置 - Google Patents

Abstract

本发明实施例提供一种半监督的特征变换方法和装置，其中，所述方法包括：根据预定的标签数据集中的各个标签数据的标签向量和特征向量，确定每一个标签数据与其他标签数据的关系W_ll；根据预定的非标签数据集中的各个非标签数据的特征向量，确定每一个非标签数据与其他非标签数据的关系W_uu；根据所述预定的标签数据集中的各个标签数据的标签向量和特征向量，以及所述预定的非标签数据集中的各个非标签数据的特征向量，确定每一个标签数据与每一个非标签数据的关系W_lu；根据所述W_ll、W_uu以及W_lu；确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换。通过本发明实施例的方法和装置，提高了特征变换的效率，得到了更有效的特征变换结果。

Description

一种半监督的特征变换方法和装置

技术领域

本发明涉及特征变换，尤其涉及一种半监督的特征变换方法和装置。

背景技术

特征变换是数据分类的关键技术。在数据分类任务中，数据，如图像或文本，通常都是在环绕欧氏空间的子流形上采样得到的，它们的原始特征不适合于在欧氏空间上分析。此外，数据原始特征经常具有较高维度，分类方法将会遇到维数灾（参考文献1）。因此为了得到较好的数据分类结果，一般都需要预先进行特征变换。

然而，大多数特征变换方法需要大量的标签数据，而获取如此多的标签数据费时费力；相比之下，非标签数据更容易获得，利用这些非标签数据以得到更好的特征变换技术显得越来越为重要。

基于子空间的半监督局部保持投影方法（Subspace semi-supervised localitypreserving projection，SSLPP）是最近提出的一种半监督局部保持特征变换方法（参考文献2）。它首先在所有数据上找到一个子空间，然后在子空间上利用标签数据的原始特征和标签信息构建一个标签相邻无向图，并利用所有数据的原始特征和标签数据的标签信息构建一个完全相邻无向图，最后最小化标签相邻无向图和完全相邻无向图的拉普拉斯项以求得投影变换矩阵。

然而，发明人在实现本发明的过程中发现，上述方法并没有充分考虑标签数据与非标签数据之间的相互关系，而且它也不适用于多标签数据。

参考文献1.R.Bellman and R.Kalaba.On adaptive control processes,IRETransactions on Automatic Control,vol.4,1959.

参考文献2.W.Y.Yang,S.W.Zhang,and W.Liang.A graph based subspace semi-supervised learning framework for dimensionality reduction,664-677,2008.

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本发明实施例的主要目的在于提供一种半监督的特征变换方法，以提高特征变换的效率，得到更有效的特征变换结果。

本发明实施例的上述目的是通过如下技术方案实现的：

根据本发明实施例的第一方面，提供了一种半监督的特征变换方法，其中，所述方法包括：

第一确定步骤，其根据预定的标签数据集中的各个标签数据的标签向量和特征向量，确定每一个标签数据与其他标签数据的关系W_ll；

第二确定步骤，其根据预定的非标签数据集中的各个非标签数据的特征向量，确定每一个非标签数据与其他非标签数据的关系W_uu；

第三确定步骤，其根据所述预定的标签数据集中的各个标签数据的标签向量和特征向量，以及所述预定的非标签数据集中的各个非标签数据的特征向量，确定每一个标签数据与每一个非标签数据的关系W_lu；

特征变换步骤，其根据所述W_ll、W_uu以及W_lu，确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换。

根据本发明实施例的第二方面，提供了一种特征变换装置，其中，所述特征变换装置包括：

第一确定单元，其根据预定的标签数据集中的各个标签数据的标签向量和特征向量，确定每一个标签数据与其他标签数据的关系W_ll；

第二确定单元，其根据预定的非标签数据集中的各个非标签数据的特征向量，确定每一个非标签数据与其他非标签数据的关系W_uu；

第三确定单元，其根据所述预定的标签数据集中的各个标签数据的标签向量和特征向量，以及所述预定的非标签数据集中的各个非标签数据的特征向量，确定每一个标签数据与每一个非标签数据的关系W_lu；

特征变换单元，其根据所述W_ll、W_uu以及W_lu，确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换。

根据本发明实施例的第三方面，提供了一种分类器，其中，所述分类器包括前述的特征变换装置。

通过本发明实施例的方法和装置，在特征变换过程中，能保持标签数据中的判别信息，非标签数据中隐含的内在几何结构以及标签数据和非标签数据之间的相互作用，同时考虑了多标签数据中存在的标签关联，由此提高了特征变换的效率，得到了更有效的特征变换结果。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

参照以下的附图可以更好地理解本发明的很多方面。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大或缩小。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。此外，在附图中，类似的标号表示几个附图中对应的部件，并可用于指示多于一种实施方式中使用的对应部件。

在附图中：

图1是本发明实施例的特征变换方法的流程图；

图2是图1的方法中确定标签数据和标签数据之间的关系的方法流程图；

图3是图1的方法中确定非标签数据和非标签数据之间的关系的方法流程图；

图4是图1的方法中确定标签数据和非标签数据之间的关系的方法流程图；

图5是图1的方法中确定特征变换矩阵的方法流程图；

图6是本发明实施例的特征变换装置的组成示意图；

图7是图6中第一确定单元的组成示意图；

图8是图6中第二确定单元的组成示意图；

图9是图6中第三确定单元的组成示意图；

图10是图6中特征变换单元的组成示意图。

具体实施方式

参照附图，通过下面的说明书，本发明实施例的前述以及其它特征将变得明显。这些实施方式只是示例性的，不是对本发明的限制。为了使本领域的技术人员能够容易地理解本发明的原理和实施方式，本发明实施例以半监督的局部保持投影特征变换方法为例进行说明，但可以理解，本发明实施例并不限于上述局部保持投影特征变换，涉及半监督的特征变换方法均包含于本发明的保护范围。下面参照附图对本发明的优选实施方式进行说明。

实施例1

本发明实施例提供了一种半监督的特征变换方法。图1是该方法的流程图，请参照图1，该方法包括：

第一确定步骤101，其根据预定的标签数据集中的各个标签数据的标签向量和特征向量，确定每一个标签数据与其他标签数据的关系W_ll；

第二确定步骤102，其根据预定的非标签数据集中的各个非标签数据的特征向量，确定每一个非标签数据与其他非标签数据的关系W_uu；

第三确定步骤103，其根据所述预定的标签数据集中的各个标签数据的标签向量和特征向量，以及所述预定的非标签数据集中的各个非标签数据的特征向量，确定每一个标签数据与每一个非标签数据的关系W_lu；

特征变换步骤104，其根据所述W_ll、W_uu以及W_lu，确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换。

在本实施例中，给定标签数据集L={(x₁，y₁),(x₂,y₂),…,(x_l，y_l)}（|L|=l）以及非标签数据集U＝{x_l+1,x_l+2,…,x_l+u}（|U=u），其中x_i是一个d维特征向量，它表示第i个数据的原始特征，y_i是一个k维的标签向量（通过0或1表示），它表示第i个数据的标签信息。本发明实施例基于该给定的标签数据集和非标签数据集，通过步骤101确定标签数据与标签数据之间的关系，通过步骤102确定非标签数据与非标签数据之间的关系，通过步骤103确定标签数据与非标签数据之间的关系，通过步骤104求解约束的局部线性保持投影矩阵。由此，在原始特征空间X上找到了一个最优的线性投影矩阵W，基于该W即可进行半监督的局部保持投影的特征变换。

在本实施例中，为了简化说明，将给定的标签数据集中的数据称为标签数据，将给定的非标签数据集中的数据称为非标签数据。其中，如前所述，每一个标签数据包含了特征向量和标签向量，每一个非标签数据仅包含特征向量。另外，前述标签数据也可以是多标签数据，多标签数据包含多个标签向量。因此，在以下的说明中，若无特殊说明，标签数据是指给定的标签数据集中的标签数据，非标签数据是指给定的非标签数据集中的非标签数据。

在本实施例中，各步骤编号的连续性并不代表各步骤的执行顺序，例如，步骤101、102和103可以顺序执行，也可以同时进行，在获得了三个关系矩阵后，再通过步骤104确定特征变换矩阵并实施特征变换。

在步骤101中，确定标签数据和标签数据的关系可以通过图2的方法来实现，请参照图2，该方法包括：

步骤201：确定每一个标签数据的相关标签数据；

其中，每一个标签数据的相关标签数据是指与该标签数据相关的标签数据，可以通过计算标签相似度来确定。

例如，对于每一个标签数据，先根据标签数据的标签向量，计算该标签数据（称为当前标签数据，下同）和各个其他标签数据之间的标签相似度；如果某个其他标签数据与该标签数据的标签相似度大于预定门限，则确定该其他标签数据是该标签数据的相关标签数据。也即，将标签相似度大于预定门限的其他标签数据作为该标签数据的相关标签数据。由此，可以确定每一个标签数据的相关标签数据。另外，由于标签相似度大于预定门限的其他标签数据可能有多个，因此，该标签数据的相关标签数据也可能有多个，在以下的说明中，也称为相关标签数据集。

其中，如果该标签数据为多标签数据，则可以根据标签数据的标签向量和先验标签关联矩阵，计算该标签数据和各个其他标签数据之间的标签相似度。

在一个实施例中，对于任意两个标签数据i和j，它们之间的标签相似度S_l,ij可以根据以下公式计算：

S_l,ij=y′_iCy_j (1)

其中，y_i是第i个标签数据的标签向量，y_j是第j个标签数据的标签向量，C是k·k的标签关联矩阵。对于单标签数据，C=I，对于多标签数据，C可以是单位矩阵I，即标签之间没有关联，也可以通过以下公式计算：

其中，a和b分别是标签的编号，例如，a表示第a个标签，b表示第b个标签。Y_a，Y_b是n维向量，Y_ai=y_ia，Y_bi=y_ib。

上述计算标签相似度的方法只是举例说明，本领域技术人员可以采用现有的其他方法计算标签相似度，例如，使用Cosine或者Euclidean的方法等，本实施例并不以此作为限制。

步骤202：从所述每一个标签数据的相关标签数据中选择第一预定数量的相关标签数据作为当前标签数据的最相关的标签数据；

其中，得到了每一个标签数据的相关标签数据，可以从中选择一定数量的相关标签数据作为该标签数据的最相关的标签数据。

在一个实施例中，可以先根据该标签数据（称为当前标签数据，下同）的相关标签数据与该标签数据的距离，对该标签数据的相关标签数据进行排序，再选择距离最短的一定数量（称为第一预定数量）的相关标签数据作为该标签数据的最相关标签数据。

其中，该标签数据的相关标签数据与该标签数据的距离，可以根据该标签数据的特征向量，利用Euclidean（欧几里德）、Manhattan（曼哈顿）或者Chi-square distance（卡方距离）算法来计算，本实施例并不以此作为限制。

在另一个实施例中，可以先根据标签数据的特征向量，计算该标签数据与该当前标签数据的各个相关标签数据的特征相似度，再按照特征相似度从大到小的顺序，选择第一预定数量（例如前k1个）的相关标签数据作为该标签数据的最相关标签数据。其中，特征相似度可以根据公式（3）来计算，也可以根据现有的其他计算特征相似度的方法来计算，本实施例并不以此作为限制。

步骤203：根据所述每一个标签数据及其最相关的标签数据，确定所述每一个标签数据与其他标签数据的关系W_ll。

在一个实施例中，对于每个标签数据i,通过步骤201，计算其与其他标签数据的标签相似度，与标签数据i的标签相似度大于某阈值Thr的标签数据被认为该标签数据i的相关标签数据，定义N_r(i)是标签数据i的相关标签数据集。通过步骤202，对于每个标签数据i，从它的相关标签数据集N_r(i)中找到前k₁（第一预定数量）个与标签数据i的特征相似度较大的标签数据（也即最相关标签数据），定义N_rk1(i)为这k₁个数据组成的集合。由此可知，标签数据i与N_rk1(i)中的每个标签数据j的关系为标签数据i与标签数据j的特征相似度和标签相似度的线性组合，将标签数据i与剩下的其他标签数据的关系设为0，则每一个标签数据与其他标签数据的关系W_ll可以表示为：

其中，α是一个线性组合参数，0≤α≤1。

由此，通过步骤101的处理，可以得到标签数据和标签数据之间的关系W_ll。

在步骤102中，确定非标签数据和非标签数据的关系可以通过图3所示的方法来实现，请参照图3，该方法包括：

步骤301：确定每一个非标签数据的第二预定数量的最近的非标签数据；

其中，由于非标签数据只有特征向量没有标签向量，因此，在确定每一个非标签数据的第二预定数量的最近的非标签数据时，可以先根据非标签数据的特征向量，计算当前非标签数据和其他非标签数据之间的特征相似度；然后再按照所述特征相似度从大到小的顺序，选择第二预定数量的非标签数据作为当前非标签数据的最近的非标签数据。

在一个实施例中，对于任意两个数据i和j，它们之间的特征相似度S_v,ij可以根据以下公式计算：

其中，x_i是第i个数据的特征向量，x_j是第j个数据的特征向量。

σ=mean(||x_i－x_j||²,1≤i≠j≤n)是在所有两两图像对上计算的平均距离。

在本实施例中，可以根据公式（3）计算两个非标签数据的特征相似度，但本实施例并不以此作为限制，例如，也可以通过现有的其他方法计算特征相似度，例如，使用Cosine或者Euclidean的方法等。

步骤302：根据每一个非标签数据及其最近的非标签数据，确定所述每一个非标签数据与其他非标签数据的关系W_uu。

在一个实施例中，对于每个非标签数据i,由公式(3)计算它与其他非标签数据的特征相似度，找出前k₂（第二预定数量）个具有最大特征相似度的非标签数据，定义为N_vk2(i)，则非标签数据i与N_vk2(i)中的每个非标签数据j的关系为非标签数据i与非标签数据j的特征相似度，将非标签数据i与剩下的其他非标签数据的关系设为0，则每一个非标签数据与其他非标签数据的关系W_uu可以表示为：

由此，通过步骤102的处理，可以得到非标签数据和非标签数据之间的关系W_uu。

在步骤103中，确定标签数据和非标签数据之间的关系可以通过图4所示的方法来实现，请参照图4，该方法包括：

步骤401：确定每一个标签数据的第三预定数量的最近的非标签数据；

其中，由于标签数据具有标签向量和特征向量，但非标签数据只有特征向量没有标签向量，因此，在确定每一个标签数据的第三预定数量的最近的非标签数据时，可以先根据标签数据的特征向量和标签向量，以及非标签数据的特征向量，计算当前标签数据和各个非标签数据之间的特征相似度；然后再按照所述特征相似度从大到小的顺序，选择第三预定数量的非标签数据作为当前标签数据的最近的非标签数据。

在一个实施例中，可以根据公式（3）计算标签数据和非标签数据的特征相似度，但本实施例并不以此作为限制，例如，也可以通过现有的其他方法计算特征相似度，例如，使用Cosine或者Euclidean的方法等。

步骤402：根据每一个标签数据及其最近的非标签数据，确定所述每一个标签数据与每一个非标签数据的关系W_lu。

在一个实施例中，对于每个标签数据i,由公式（3）计算它与其他非标签数据的特征相似度，找出前k₃（第三预定数量）个具有最大特征相似度的非标签数据，定义为N_vk3(i)，则标签数据i与N_vk3(i)中的每个非标签数据j的关系为标签数据i与非标签数据j的特征相似度，将标签数据i与剩下的其他非标签数据的关系设为0，则每一个标签数据与各个非标签数据的关系可以表示为：

由此，通过步骤103的处理，可以得到标签数据与非标签数据之间的关系W_lu。

在另一个实施例中，对于每个非标签数据j，如果存在两个标签数据i₁,i₂，它们与非标签数据j的关系大于0（也即相关），且该两个标签数据i₁,i₂之间的标签相似度大于某阈值Thr1，那么非标签数据j与标签数据i₁的关系以及非标签数据j与标签数据i₂的关系都将增强，例如乘以一个大于1的系数β，该增强的过程可以表示为：

i₂∈L,j∈U,st.W_lu,ilj>0,W_lu,i2j>0,S_l,i1i2>Thr1

ThenW_lu,ilj=βW_lu，ilj,W_lu,i2j=βW_lu,i2j,β>1

也即，对于每一个非标签数据，如果与该非标签数据相关的两个标签数据之间的标签相似度大于预定门限，则对所述关系W_lu中该非标签数据分别与该两个标签数据的关系进行增强处理。

在步骤104中，确定特征变换矩阵以进行特征变换可以通过图5所示的方法来实现，请参照图5，该方法包括：

步骤501：基于局部保持投影方法，利用所述W_ll形成初始目标函数；

步骤502：在所述初始目标函数上加入所述W_uu和所述W_lu所形成的正则项，形成目标函数；

步骤503：根据以上目标函数确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换。

在本实施例中，基于局部保持投影框架，以W_ll作为框架主要组成部分，加入W_uu和W_lu所形成的正则项，所形成的目标函数可以表示为：

其中，

a为所需求的最后变换投影向量；

X_l为所有l个标签数据的原始特征向量组合成的特征矩阵，是一个d*l的矩阵；

X_u为所有u个非标签数据的原始特征向量组合成的特征矩阵，是一个d*u的矩阵；

W_ll为通过步骤101所确定的关系；

D_ll=diag（sum(W_ll)）为对关系矩阵W_ll每行数据求和，得到一个l维的特征向量，根据该特征向量生成的对角矩阵；

L_uu=D_uu-W_uu，其中，W_uu为通过步骤102所确定的关系，D_uu=diag(sum(W_uu))为对关系矩阵W_uu每行数据求和，得到一个u维的特征向量，利用该特征向量所生成的对角矩阵；

W_lu为通过步骤103所确定的关系；

D_l=diag(sum(W_lu))为对关系矩阵W_lu每行数据求和，得到一个l维的特征向量，利用该特征向量所生成的对角矩阵；

为对关系矩阵W_lu每列数据求和，得到一个u维的特征向量，利用该特征向量所生成的对角矩阵。

在本实施例中，对上述目标函数进行变换可以得到如下的目标函数：

求解以上目标函数相当于解一个如下广义特征值问题：

其中，X＝[X_lX_u]，

令a₁,a₂,……,a_m是以上目标函数中按特征值λ₁>λ₂>……>λ_m所对应的特征向量，则所得到的特征变换矩阵A=(a₁,a₂,...,a_m)，其中y_i=A^Tx_i是变换后的特征。

利用该特征变换矩阵A即可进行特征变换。

通过本实施例的方法，针对在有少量标签数据以及大量非标签数据的情形下的特征变换技术，考虑了标签数据的标签信息，并将其应用于构建标签数据之间的关系以及标签数据和非标签数据之间的关系，从而解决了大部分特征变换方法无法适用于多标签数据的问题。此外，本发明实施例提出的特征变换方法通过考虑非标签数据中隐含的内在几何结构和标签数据与非标签数据之间的相互作用，非常有效地利用了非标签数据。并且，本发明实施例提出的特征变换方法既可以保留局部近邻结构又考虑了近邻判别信息，因此它非常适于那些近邻分类算法，如KNN（k-nearest neighbor algorithm，k-最近邻算法）。

本发明实施例还提供了一种特征变换装置，如下面的实施例2所述，由于该特征变换装置解决问题的原理与实施例1的特征变换方法类似，因此，其具体实施时可以参照实施例1的方法的实施例，重复之处不再赘述。

实施例2

本发明实施例提供了一种特征变换装置。图6是该特征变换装置的组成示意图，请参照图6，该特征变换装置包括：

第一确定单元61，其根据预定的标签数据集中的各个标签数据的标签向量和特征向量，确定每一个标签数据与其他标签数据的关系W_ll；

第二确定单元62，其根据预定的非标签数据集中的各个非标签数据的特征向量，确定每一个非标签数据与其他非标签数据的关系W_uu；

第三确定单元63，其根据所述预定的标签数据集中的各个标签数据的标签向量和特征向量，以及所述预定的非标签数据集中的各个非标签数据的特征向量，确定每一个标签数据与每一个非标签数据的关系W_lu；

特征变换单元64，其根据所述W_ll、W_uu以及W_lu，确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换。

其中，如图7所示，所述第一确定单元61包括：

第一确定模块611，其确定每一个标签数据的相关标签数据；

选择模块612，其从所述每一个标签数据的相关标签数据中选择第一预定数量的相关标签数据作为当前标签数据的最相关的标签数据；

第二确定模块613，其根据所述每一个标签数据及其最相关的标签数据，确定所述每一个标签数据与其他标签数据的关系W_ll。

其中，第一确定模块611包括：

第一计算子模块6111，其根据标签数据的标签向量和特征向量，计算该当前标签数据和各个其他标签数据之间的标签相似度；

确定子模块6112，其在所述标签相似度大于预定门限时，确定所述其他标签数据是该当前标签数据的相关标签数据。

其中，如果所述当前标签数据为多标签数据，则所述第一计算子模块6111根据当前标签数据的标签向量和先验标签关联矩阵，计算该当前标签数据和各个其他标签数据之间的标签相似度。

其中，所述选择模块612包括：

排序子模块6121，其根据该当前标签数据的相关标签数据与该当前标签数据的距离，对该当前标签数据的相关标签数据进行排序；

第一选择子模块6122，其选择距离最短的第一预定数量的相关标签数据作为该当前标签数据的最相关标签数据。

其中，如图8所示，所述第二确定单元62包括：

第三确定模块621，其确定每一个非标签数据的第二预定数量的最近的非标签数据；

第四确定模块622，其根据每一个非标签数据及其最近的非标签数据，确定所述每一个非标签数据与其他非标签数据的关系W_uu。

其中，所述第三确定模块621包括：

第二计算子模块6211，根据非标签数据的特征向量，计算当前非标签数据和其他非标签数据之间的特征相似度；

第二选择子模块6212，按照所述特征相似度从大到小的顺序，选择第二预定数量的非标签数据作为当前非标签数据的最近的非标签数据。

其中，如图9所示，所述第三确定单元63包括：

第五确定模块631，其确定每一个标签数据的第三预定数量的最近的非标签数据；

第六确定模块632，其根据每一个标签数据及其最近的非标签数据，确定所述每一个标签数据与每一个非标签数据的关系W_lu。

其中，所述第五确定模块631包括：

第三计算子模块6311，其根据标签数据的特征向量和标签向量以及非标签数据的特征向量，计算该当前标签数据和每一个非标签数据之间的特征相似度；

第三选择子模块6312，其根据所述特征相似度从大到小的顺序，选择第三预定数量的非标签数据作为当前标签数据的最近的非标签数据。

其中，所述第三确定单元63还包括：

增强模块633，其对于每一个非标签数据，在与该非标签数据相关的两个标签数据之间的标签相似度大于预定门限时，对所述关系W_lu中该非标签数据分别与该两个标签数据的关系进行增强处理。

其中，如图10所示，所述特征变换单元64包括：

第一处理模块641，其基于局部保持投影方法，利用所述W_ll形成初始目标函数；

第二处理模块642，其在所述初始目标函数上加入所述W_uu和所述W_lu所形成的正则项，形成目标函数；

特征变换模块643，其根据以上目标函数确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换。

其中，所述第二处理模块642所形成的目标函数为：

其中，所述特征变换模块643根据所述目标函数所确定的特征变换矩阵为：

A=[a₁,a₂,...,a_m]；

其中，

a为所需求的最后变换投影向量；

X_l为所有标签数据的原始特征向量组合成的特征矩阵；

X_u为所有非标签数据的原始特征向量组合成的特征矩阵；

D_ll=diag（sum(W_ll)）；

L_uu=D_uu-W_uu，其中，D_uu=diag(sum(W_uu))；

D_l=diag(sum(W_lu))；

通过本发明实施例的装置，在特征变换过程中，能保持标签数据中的判别信息，非标签数据中隐含的内在几何结构以及标签数据和非标签数据之间的相互作用，同时考虑了多标签数据中存在的标签关联，由此提高了特征变换的效率，得到了更有效的特征变换结果。

本发明实施例还提供了一种分类器，该分类器包括实施例2的特征变换装置，利用实施例2的特征变换装置，可以实现该分类器对各类数据的分类，提高了分类器在分类过程中的计算复杂度。

以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此所附权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。

应当理解，本发明的各部分可以用硬件、软件、固件或者它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可以用本领域共知的下列技术中的任一项或者他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

流程图中或在此以其它方式描述的任何过程或方法描述或框可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程中的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中，可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或者按相反的顺序，来执行功能，这应被本发明所述技术领域的技术人员所理解。

在流程图中表示或者在此以其它方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质例如可以是但不限于电子、磁、光、电磁、红外或半导体系统、装置、设备或传播介质。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或更多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM）（电子装置），只读存储器（ROM）（电子装置），可擦除可编程只读存储器（EPROM或闪速存储器）（电子装置），光纤（光装置），以及便携式光盘只读存储器（CDROM）（光学装置）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其它合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

上述文字说明和附图示出了本发明的各种不同的特征。应当理解，本领域普通技术人员可以准备合适的计算机代码来实现上面描述且在附图中例示的各个步骤和过程。还应当理解，上面描述的各种终端、计算机、服务器、网络等可以是任何类型的，并且可以根据公开内容来准备所述计算机代码以利用所述装置实现本发明。

在此公开了本发明的特定实施方式。本领域的普通技术人员将容易地认识到，本发明在其他环境下具有其他应用。实际上，还存在许多实施方式和实现。所附权利要求绝非为了将本发明的范围限制为上述具体实施方式。另外，任意对于“用于……的装置”的引用都是为了描绘要素和权利要求的装置加功能的阐释，而任意未具体使用“用于……的装置”的引用的要素都不希望被理解为装置加功能的元件，即使该权利要求包括了“装置”的用词。

尽管已经针对特定优选实施方式或多个实施方式示出并描述了本发明，但是显然，本领域技术人员在阅读和理解说明书和附图时可以想到等同的修改例和变型例。尤其是对于由上述要素（部件、组件、装置、组成等）执行的各种功能，除非另外指出，希望用于描述这些要素的术语（包括“装置”的引用）对应于执行所述要素的具体功能的任意要素（即，功能等效），即使该要素在结构上不同于在本发明的所例示的示例性实施方式或多个实施方式中执行该功能的公开结构。另外，尽管以上已经针对几个例示的实施方式中的仅一个或更多个描述了本发明的具体特征，但是可以根据需要以及从对任意给定或具体应用有利的方面考虑，将这种特征与其他实施方式的一个或更多个其他特征相结合。

关于包括以上多个实施例的实施方式，还公开下述的附记。

附记1、一种半监督的特征变换方法，其中，所述方法包括：

第一确定步骤，其根据预定的标签数据集中的各个标签数据的标签向量和特征向量，确定每一个标签数据与其他标签数据的关系W_ll；

第二确定步骤，其根据预定的非标签数据集中的各个非标签数据的特征向量，确定每一个非标签数据与其他非标签数据的关系W_uu；

第三确定步骤，其根据所述预定的标签数据集中的各个标签数据的标签向量和特征向量，以及所述预定的非标签数据集中的各个非标签数据的特征向量，确定每一个标签数据与每一个非标签数据的关系W_lu；

特征变换步骤，其根据所述W_ll、W_uu以及W_lu，确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换。

附记2、根据附记1所述的方法，其中，所述第一确定步骤包括：

确定每一个标签数据的相关标签数据；

从所述每一个标签数据的相关标签数据中选择第一预定数量的相关标签数据作为当前标签数据的最相关的标签数据；

根据所述每一个标签数据及其最相关的标签数据，确定所述每一个标签数据与其他标签数据的关系W_ll。

附记3、根据附记2所述的方法，其中，确定每一个标签数据的相关标签数据的步骤包括：

根据标签数据的标签向量，计算该当前标签数据和各个其他标签数据之间的标签相似度；

如果所述标签相似度大于预定门限，则确定所述其他标签数据是该当前标签数据的相关标签数据。

附记4、根据附记3所述的方法，其中，如果所述当前标签数据为多标签数据，则所述计算该当前标签数据和各个其他标签数据之间的标签相似度的步骤为：

根据当前标签数据的标签向量和先验标签关联矩阵计算该当前标签数据和各个其他标签数据之间的标签相似度。

附记5、根据附记2所述的方法，其中，从所述每一个标签数据的相关标签数据中选择第一预定数量的相关标签数据作为当前标签数据的最相关的标签数据的步骤包括：

根据该当前标签数据的相关标签数据与该当前标签数据的距离，对该当前标签数据的相关标签数据进行排序；

选择距离最短的第一预定数量的相关标签数据作为该当前标签数据的最相关标签数据。

附记6、根据附记1所述的方法，其中，所述第二确定步骤包括：

确定每一个非标签数据的第二预定数量的最近的非标签数据；

根据每一个非标签数据及其最近的非标签数据，确定所述每一个非标签数据与其他非标签数据的关系W_uu。

附记7、根据附记6所述的方法，其中，确定每一个非标签数据的第二预定数量的最近的非标签数据的步骤包括：

根据非标签数据的特征向量，计算当前非标签数据和其他非标签数据之间的特征相似度；

按照所述特征相似度从大到小的顺序，选择第二预定数量的非标签数据作为当前非标签数据的最近的非标签数据。

附记8、根据附记1所述的方法，其中，所述第三确定步骤包括：

确定每一个标签数据的第三预定数量的最近的非标签数据；

根据每一个标签数据及其最近的非标签数据，确定所述每一个标签数据与每一个非标签数据的关系W_lu。

附记9、根据附记8所述的方法，其中，确定每一个标签数据的第三预定数量的最近的非标签数据的步骤包括：

根据标签数据的特征向量以及非标签数据的特征向量，计算当前标签数据和每一个非标签数据之间的特征相似度；

根据所述特征相似度从大到小的顺序，选择第三预定数量的非标签数据作为当前标签数据的最近的非标签数据。

附记10、根据附记8所述的方法，其中，所述第三确定步骤还包括：

对于每一个非标签数据，如果与该非标签数据相关的两个标签数据之间的标签相似度大于预定门限，则对所述关系W_lu中该非标签数据分别与该两个标签数据的关系进行增强处理。

附记11、根据附记1所述的方法，其中，所述特征变换步骤包括：

基于局部保持投影方法，利用所述W_ll形成初始目标函数；

在所述初始目标函数上加入所述W_uu和所述W_lu所形成的正则项，形成目标函数；

根据以上目标函数确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换。

附记12、根据附记11所述的方法，其中，

所述目标函数为：

根据所述目标函数确定的特征变换矩阵为：A=[a₁,a₂,...,a_m]；

其中，

a为所需求的最后变换投影向量；

X_l为所有标签数据的原始特征向量组合成的特征矩阵；

X_u为所有非标签数据的原始特征向量组合成的特征矩阵；

D_ll=diag（sum(W_ll)）；

L_uu=D_uu-W_uu，其中，D_uu=diag(sum(W_uu))；

D_l=diag(sum(W_lu))；

附记13、一种特征变换装置，其中，所述特征变换装置包括：

第一确定单元，其根据预定的标签数据集中的各个标签数据的标签向量和特征向量，确定每一个标签数据与其他标签数据的关系W_ll；

第二确定单元，其根据预定的非标签数据集中的各个非标签数据的特征向量，确定每一个非标签数据与其他非标签数据的关系W_uu；

第三确定单元，其根据所述预定的标签数据集中的各个标签数据的标签向量和特征向量，以及所述预定的非标签数据集中的各个非标签数据的特征向量，确定每一个标签数据与每一个非标签数据的关系W_lu；

特征变换单元，其根据所述W_ll、W_uu以及W_lu，确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换。

附记14、根据附记13所述的特征变换装置，其中，所述第一确定单元包括：

第一确定模块，其确定每一个标签数据的相关标签数据；

选择模块，其从所述每一个标签数据的相关标签数据中选择第一预定数量的相关标签数据作为当前标签数据的最相关的标签数据；

第二确定模块，其根据所述每一个标签数据及其最相关的标签数据，确定所述每一个标签数据与其他标签数据的关系W_ll。

附记15、根据附记14所述的特征变换装置，其中，第一确定模块包括：

第一计算子模块，其根据标签数据的标签向量，计算该当前标签数据和各个其他标签数据之间的标签相似度；

确定子模块，其在所述标签相似度大于预定门限时，确定所述其他标签数据是该当前标签数据的相关标签数据。

附记16、根据附记15所述的特征变换装置，其中，如果所述当前标签数据为多标签数据，则所述计算子模块根据当前标签数据的标签向量和先验标签关联矩阵，计算该当前标签数据和各个其他标签数据之间的标签相似度。

附记17、根据附记14所述的特征变换装置，其中，所述选择模块包括：

排序子模块，其根据该当前标签数据的相关标签数据与该当前标签数据的距离，对该当前标签数据的相关标签数据进行排序；

第一选择子模块，其选择距离最短的第一预定数量的相关标签数据作为该当前标签数据的最相关标签数据。

附记18、根据附记13所述的特征变换装置，其中，所述第二确定单元包括：

第三确定模块，其确定每一个非标签数据的第二预定数量的最近的非标签数据；

第四确定模块，其根据每一个非标签数据及其最近的非标签数据，确定所述每一个非标签数据与其他非标签数据的关系W_uu。

附记19、根据附记18所述的特征变换装置，其中，所述第三确定模块包括：

第二计算子模块，根据非标签数据的特征向量，计算当前非标签数据和其他非标签数据之间的特征相似度；

第二选择子模块，按照所述特征相似度从大到小的顺序，选择第二预定数量的非标签数据作为当前非标签数据的最近的非标签数据。

附记20、根据附记13所述的特征变换装置，其中，所述第三确定单元包括：

第五确定模块，其确定每一个标签数据的第三预定数量的最近的非标签数据；

第六确定模块，其根据每一个标签数据及其最近的非标签数据，确定所述每一个标签数据与每一个非标签数据的关系W_lu。

附记21、根据附记20所述的特征变换装置，其中，所述第五确定模块包括：

第三计算子模块，其根据标签数据的特征向量以及非标签数据的特征向量，计算该当前标签数据和每一个非标签数据之间的特征相似度；

第三选择子模块，其根据所述特征相似度从大到小的顺序，选择第三预定数量的非标签数据作为当前标签数据的最近的非标签数据。

附记22、根据附记20所述的特征变换装置，其中，所述第三确定单元还包括：

增强模块，其对于每一个非标签数据，在与该非标签数据相关的两个标签数据之间的标签相似度大于预定门限时，对所述关系W_lu中该非标签数据分别与该两个标签数据的关系进行增强处理。

附记23、根据附记13所述的特征变换装置，其中，所述特征变换单元包括：

第一处理模块，其基于局部保持投影方法，利用所述W_ll形成初始目标函数；

第二处理模块，其在所述初始目标函数上加入所述W_uu和所述W_lu所形成的正则项，形成目标函数；

特征变换模块，其根据以上目标函数确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换。

附记24、根据附记23所述的特征变换装置，其中，

所述目标函数为：

根据所述目标函数确定的特征变换矩阵为：A=[a₁,a₂,...,a_m]；

其中，

a为所需求的最后变换投影向量；

X_l为所有标签数据的原始特征向量组合成的特征矩阵；

X_u为所有非标签数据的原始特征向量组合成的特征矩阵；

D_ll=diag（sum(W_ll)）；

L_uu=D_uu-W_uu，其中，D_uu=diag(sum(W_uu))；

D_l=diag(sum(W_lu))；

附记25、一种分类器，其中，所述分类器包括附记13-24任一项的特征变换装置。

Claims (8)

1.一种半监督的特征变换方法，其中，所述方法包括：

第一确定步骤，其根据预定的标签数据集中的各个标签数据的标签向量和特征向量，确定每一个标签数据与其他标签数据的关系W_ll；

第二确定步骤，其根据预定的非标签数据集中的各个非标签数据的特征向量，确定每一个非标签数据与其他非标签数据的关系W_uu；

第三确定步骤，其根据所述预定的标签数据集中的各个标签数据的标签向量和特征向量，以及所述预定的非标签数据集中的各个非标签数据的特征向量，确定每一个标签数据与每一个非标签数据的关系W_lu；

特征变换步骤，其根据所述W_ll、W_uu以及W_lu，确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换，

其中，所述特征变换步骤包括：

基于局部保持投影方法，利用所述W_ll形成初始目标函数；

在所述初始目标函数上加入所述W_uu和所述W_lu所形成的正则项，形成目标函数；

根据以上目标函数确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换，

其中，所述目标函数为：

其中，

a为所需求的最后变换投影向量；

α为一个线性组合参数，0≤α≤1；

β为大于1的系数；

X_l为所有标签数据的原始特征向量组合成的特征矩阵；

X_u为所有非标签数据的原始特征向量组合成的特征矩阵；

D_ll＝diag(sum(W_ll))；

L_uu＝D_uu-W_uu，其中，D_uu＝diag(sum(W_uu))；

D_l＝diag(sum(W_lu))；

$D_u=diag\left(sum\right(W_{lu}^T\left)\right).$

2.根据权利要求1所述的方法，其中，所述第一确定步骤包括：

确定每一个标签数据的相关标签数据；

从所述每一个标签数据的相关标签数据中选择第一预定数量的相关标签数据作为当前标签数据的最相关的标签数据；

根据所述每一个标签数据及其最相关的标签数据，确定所述每一个标签数据与其他标签数据的关系W_ll。

3.根据权利要求2所述的方法，其中，确定每一个标签数据的相关标签数据的步骤包括：

根据标签数据的标签向量，或者根据标签数据的标签向量和先验标签关联矩阵，计算当前标签数据和各个其他标签数据之间的标签相似度；

如果所述标签相似度大于预定门限，则确定所述其他标签数据是该当前标签数据的相关标签数据。

4.根据权利要求2所述的方法，其中，从所述每一个标签数据的相关标签数据中选择第一预定数量的相关标签数据作为当前标签数据的最相关的标签数据的步骤包括：

根据该当前标签数据的相关标签数据与该当前标签数据的距离，对该当前标签数据的相关标签数据进行排序；

选择距离最短的第一预定数量的相关标签数据作为该当前标签数据的最相关标签数据。

5.根据权利要求1所述的方法，其中，所述第二确定步骤包括：

确定每一个非标签数据的第二预定数量的最近的非标签数据；

根据每一个非标签数据及其最近的非标签数据，确定所述每一个非标签数据与其他非标签数据的关系W_uu。

6.根据权利要求1所述的方法，其中，所述第三确定步骤包括：

确定每一个标签数据的第三预定数量的最近的非标签数据；

根据每一个标签数据及其最近的非标签数据，确定所述每一个标签数据与每一个非标签数据的关系W_lu。

7.根据权利要求6所述的方法，其中，所述第三确定步骤还包括：

对于每一个非标签数据，如果与该非标签数据相关的两个标签数据之间的标签相似度大于预定门限，则对所述关系W_lu中该非标签数据分别与该两个标签数据的关系进行增强处理。

8.一种特征变换装置，其中，所述特征变换装置包括：

第一确定单元，其根据预定的标签数据集中的各个标签数据的标签向量和特征向量，确定每一个标签数据与其他标签数据的关系W_ll；

第二确定单元，其根据预定的非标签数据集中的各个非标签数据的特征向量，确定每一个非标签数据与其他非标签数据的关系W_uu；

第三确定单元，其根据所述预定的标签数据集中的各个标签数据的标签向量和特征向量，以及所述预定的非标签数据集中的各个非标签数据的特征向量，确定每一个标签数据与每一个非标签数据的关系W_lu；

特征变换单元，其根据所述W_ll、W_uu以及W_lu，确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换，

其中，所述特征变换步骤包括：

第一处理模块，其基于局部保持投影方法，利用所述W_ll形成初始目标函数；

第二处理模块，其在所述初始目标函数上加入所述W_uu和所述W_lu所形成的正则项，形成目标函数；

特征变换模块，其根据以上目标函数确定特征变换矩阵，根据该特征变换矩阵进行半监督的特征变换，

其中，所述目标函数为：

其中，

a为所需求的最后变换投影向量；

α为一个线性组合参数，0≤α≤1；

β为大于1的系数；

X_l为所有标签数据的原始特征向量组合成的特征矩阵；

X_u为所有非标签数据的原始特征向量组合成的特征矩阵；

D_ll＝diag(sum(W_ll))；

L_uu＝D_uu-W_uu，其中，D_uu＝diag(sum(W_uu))；

D_l＝diag(sum(W_lu))；

$D_u=diag\left(sum\right(W_{lu}^T\left)\right).$