CN111898710A - 一种图的特征选择方法及系统 - Google Patents

Abstract

本发明涉及一种图的特征选择方法及系统。所述方法包括根据图的像素点构造自适应近邻图；根据所述图的像素点确定投影矩阵；对所述初始图和所述投影矩阵进行半监督学习，得到半监督特征选择模型；获取待特征选择的图；采用所述半监督特征选择模型对所述待特征选择的图进行特征选择。本发明所提供的一种图的特征选择方法及系统，选取数据的重要特征，降低数据间的冗余性，解决大规模数据降维问题。

Description

一种图的特征选择方法及系统

技术领域

本发明涉及机器学习领域，特别是涉及一种图的特征选择方法及系统。

背景技术

随着时代的进步，社会的发展，海量高维数据的处理是当前大数据时代下不可避免的任务。大量不同媒体源都会产生海量高维形式的数据，如文本数据、图像数据、视频数据、交易数据和基因数据等。降维算法是处理高维数据的有效手段。采用合适的降维算法可以减少存储，降低计算负担，同时也能减少冗余特征。

根据实现方式的不同，降维方法又可以分为特征提取和特征选择。特征提取方法采用合适的映射函数将高维数据映射到低维空间，实现对高维特征的重组，生成新的特征分量形成数据的低维表示。特征选择方法要求不改变原始特征，从中选取出有价值的特征子集。特征选择方法能够保留数据的物理意义，具有重要的研究价值。

根据是否利用类标信息，特征选择方法又可以分为：有监督，无监督和半监督方法。有监督的特征选择方法需要利用大量的类标信息训练模型，往往能取得较好的效果。无监督的特征选择方法不需要任何类标信息，能解决重要的现实问题，但是效果并不一定能达到最佳。半监督特征选择方法利用少量的类标信息和大量的无类标信息共同训练模型，具有重要的现实意义。但是，传统的基于图的半监督特征选择方法一般是输入初始图，然后进行特征选择。图的质量直接影响后续特征选择的结果。既无法解决大规模数据降维问题。

发明内容

本发明的目的是提供一种图的特征选择方法及系统，选取数据的重要特征，降低数据间的冗余性，解决大规模数据降维问题。

为实现上述目的，本发明提供了如下方案：

一种图的特征选择方法，包括：

根据图的像素点构造自适应近邻图；所述自适应近邻图作为初始图；

根据所述图的像素点确定投影矩阵；

对所述初始图和所述投影矩阵进行半监督学习，得到半监督特征选择模型；所述半监督特征选择模型用于进行所述初始图的优化和特征选择；

获取待特征选择的图；

采用所述半监督特征选择模型对所述待特征选择的图进行特征选择。

可选的，所述根据图的像素点构造自适应近邻图，具体包括：

根据所述图的像素点确定相似矩阵；

根据所述相似矩阵构造所述自适应近邻图。

可选的，所述根据所述相似矩阵构造所述自适应近邻图，具体包括：

利用公式

确定所述自适应近邻图的目标函数；其中，

为相似矩阵

的第i行，α是规则化参数，

为规则化项，用于避免出现平凡解，即与像素点x_i距离最近的点成为x_i近邻的概率为1，而其他像素点都不是x_i的近邻；

利用拉格朗日函数法对所述自适应近邻图的目标函数进行求解。

可选的，所述对所述初始图和所述投影矩阵进行半监督学习，得到半监督特征选择模型，具体包括：

利用公式

确定所述半监督特征选择模型的目标函数；其中，W为投影矩阵，α、γ和λ均为规则化参数，γ||W||_2,1为稀疏项用于对W进行稀疏约束，

为平滑项，衡量投影后特征的平滑性，L_S为拉普拉斯矩阵，F为像素点的标签；

采用迭代优化方式对所述半监督特征选择模型的目标函数进行求解。

一种图的特征选择系统，包括：

自适应近邻图构建模块，用于根据图的像素点构造自适应近邻图；所述自适应近邻图作为初始图；

投影矩阵确定模块，用于根据所述图的像素点确定投影矩阵；

半监督特征选择模型确定模块，用于对所述初始图和所述投影矩阵进行半监督学习，得到半监督特征选择模型；所述半监督特征选择模型用于进行所述初始图的优化和特征选择；

待特征选择的图获取模块，用于获取待特征选择的图；

特征选择模块，用于采用所述半监督特征选择模型对所述待特征选择的图进行特征选择。

可选的，所述自适应近邻图构建模块具体包括：

相似矩阵确定单元，用于根据所述图的像素点确定相似矩阵；

自适应近邻图构造单元，用于根据所述相似矩阵构造所述自适应近邻图。

可选的，所述自适应近邻图构造单元具体包括：

自适应近邻图的目标函数确定子单元，用于利用公式

确定所述自适应近邻图的目标函数；其中，

为相似矩阵

的第i行，α是规则化参数，

为规则化项，用于避免出现平凡解，即与像素点x_i距离最近的点成为x_i近邻的概率为1，而其他像素点都不是x_i的近邻；

自适应近邻图的目标函数求解子单元，用于利用拉格朗日函数法对所述自适应近邻图的目标函数进行求解。

可选的，所述半监督特征选择模型确定模块具体包括：

半监督特征选择模型的目标函数确定单元，用于利用公式

确定所述半监督特征选择模

型的目标函数；其中，W为投影矩阵，α、γ和λ均为规则化参数，γ||W||_2,1为稀疏项用于对W进行稀疏约束，

为平滑项，衡量投影后特征的平滑性，L_S为拉普拉斯矩阵，F为像素点的标签；

半监督特征选择模型的目标函数求解单元，用于采用迭代优化方式对所述半监督特征选择模型的目标函数进行求解。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明所提供的一种图的特征选择方法及系统，根据图的像素点构造自适应近邻图，将自适应近邻图作为初始图，再根据像素点确定投影矩阵，将投影矩阵作为半监督学习的目标，进而确定半监督特征选择模型，利用半监督特征选择模型进行所述初始图的优化和特征选择，没有将图学习与特征选择分离开，而是将特征选择和图优化学习同步进行，确保了学习到的投影矩阵和初始图在不断迭代更新，保证了选出的特征更加具有代表性，降低数据间的冗余性，解决大规模数据降维问题。既确保了构图的质量，又实现了特征选择目标。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的一种图的特征选择方法流程示意图；

图2为本发明所提供的一种图的特征选择系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种图的特征选择方法及系统，选取数据的重要特征，降低数据间的冗余性，解决大规模数据降维问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的一种图的特征选择方法流程示意图，如图1所示，本发明所提供的一种图的特征选择方法，包括：

S101，根据图的像素点构造自适应近邻图；所述自适应近邻图作为初始图。根据两点之间的距离越小，成为同一类的概率越大这一基本原则，构造自适应近邻图。

S101具体包括：

根据所述图的像素点确定相似矩阵。

根据所述相似矩阵构造所述自适应近邻图。

所述根据所述相似矩阵构造所述自适应近邻图，具体包括：

利用公式

确定所述自适应近邻图的目标函数；其中，

为相似矩阵

的第i行，α是规则化参数，

为规则化项，用于避免出现平凡解，即与像素点x_i距离最近的点成为x_i近邻的概率为1，而其他像素点都不是x_i的近邻。

利用拉格朗日函数法对所述自适应近邻图的目标函数进行求解。

进一步的，在进行求解之前，将自适应近邻图的目标函数转换成向量形式，具体的过程为：

令

是一个向量，第j个元素为

因此，自适应近邻图的目标函数的向量形式为：

利用拉格朗日函数法求解公式(1)，可得到公式(1)的最终解为：

其中，

k为近邻点个数，

S102，根据所述图的像素点确定投影矩阵。像素点X经过投影变换得到降维后的数据Y，即Y＝W^TX。

S103，对所述初始图和所述投影矩阵进行半监督学习，得到半监督特征选择模型；所述半监督特征选择模型用于进行所述初始图的优化和特征选择。投影矩阵用来实现特征选择，所述初始图用于学习数据的局部结构。因此，同时实现了特征选择和数据的局部结构学习。

根据流形学习的基本理论，一旦获得了相似矩阵S后，就可以寻找原始特征的一个线性组合XW来更好地接近数据的低维表示，

是投影矩阵，其中d和m分别是原始维数和投影后的维数。

S103具体包括：

利用公式

确定所述半监督特征选择模型的目标函数；其中，W为投影矩阵，α、γ和λ均为规则化参数，γ||W||_2,1为稀疏项用于对W进行稀疏约束，

为平滑项，衡量投影后特征的平滑性，L_S为拉普拉斯矩阵，F为像素点的标签。

γ||W||_2,1能够选择出有价值的特征，最小化

范数有助于学习行稀疏投影矩阵W，即W中只有很少的行元素是非零的。利用得到的行稀疏投影矩阵W，只有很少的重要特征在投影中被涉及到。此外，在W中，只有判别特征具有非0权重。因此，每一个新的投影特征是原始判别特征的线性组合。通过这个方式，只有重要的信息得以保留。

其中，将F_l＝Y_l作为一个约束条件。

采用迭代优化方式对所述半监督特征选择模型的目标函数进行求解。在求解得到W后，第i个特征的重要性可以通过w_i2进行衡量。最重要的m个特征可以通过对||w_i||₂进行排序选出，其中m是需要选出的特征数。

具体的求解过程为：

固定S，更新W时，所述半监督特征选择模型的目标函数可以转换为：

根据如下谱分析的基本理论：

其中，

是拉普拉斯矩阵，D是对角矩阵，第i个元素为

用

替换||W||_2,1，所述半监督特征选择模型的目标函数可以转换为：

为了避免当||w_i||₂＝0时，公式(5)不可微，用

替换||w_i||₂，其中ε是一个特别小的常数。公式(5)可以进一步转换为：

采用如下拉格朗日函数法对公式(6)进行求解

其中，Δ为拉格朗日乘子。令L(W,Δ)的导数为0，可以得到:

其中，Q∈R^d×d的第i个元素为：

从公式(9)中可以看出Q也是一个变量，依赖于W的取值。因此，对公式(6)采取迭代算法进行求解。当W固定的时候，通过公式(9)计算Q。当Q固定的时候，可以证明公式(8)等价于求解如下问题：

因此，W的最优解是由(X^TL_SX+γQ)的m个最小特征值对应的m个特征向量构成的。

固定S和W时，更新F时，所述半监督特征选择模型的目标函数可以转换为：

其中，F和L_S可以改写为

因此，公式(11)可以写为：

最优解可以通过求解下式得到：

因此，最终解为：

固定F和W时，更新S时，所述半监督特征选择模型的目标函数可以转换为：

根据公式(4)，公式(15)可以转换为：

由于每一个样本的相似性向量都是独立的，对于第i个样本，需要求解如下问题：

令

定义向量

公式(17)可以简化为：

可以发现公式(18)与公式(1)相似，因此，解也与公式(2)一样

其中，

s_ij的详细解为：

S104，获取待特征选择的图。

S105，采用所述半监督特征选择模型对所述待特征选择的图进行特征选择。

图2为本发明所提供的一种图的特征选择系统结构示意图，如图2所示，本发明所提供的一种图的特征选择系统，包括：自适应近邻图构建模块201、投影矩阵确定模块202、半监督特征选择模型确定模块203、待特征选择的图获取模块204和特征选择模块205。

自适应近邻图构建模块201用于根据图的像素点构造自适应近邻图；所述自适应近邻图作为初始图。

投影矩阵确定模块202用于根据所述图的像素点确定投影矩阵。

半监督特征选择模型确定模块203用于对所述初始图和所述投影矩阵进行半监督学习，得到半监督特征选择模型；所述半监督特征选择模型用于进行所述初始图的优化和特征选择。

待特征选择的图获取模块204用于获取待特征选择的图。

特征选择模块205用于采用所述半监督特征选择模型对所述待特征选择的图进行特征选择。

所述自适应近邻图构建模块201具体包括：相似矩阵确定单元和自适应近邻图构造单元。

相似矩阵确定单元用于根据所述图的像素点确定相似矩阵。

自适应近邻图构造单元用于根据所述相似矩阵构造所述自适应近邻图。

所述自适应近邻图构造单元具体包括：自适应近邻图的目标函数确定子单元和自适应近邻图的目标函数求解子单元。

自适应近邻图的目标函数确定子单元用于利用公式

确定所述自适应近邻图的目标函数；其中，

为相似矩阵

的第i行，α是规则化参数，

为规则化项，用于避免出现平凡解，即与像素点x_i距离最近的点成为x_i近邻的概率为1，而其他像素点都不是x_i的近邻。

自适应近邻图的目标函数求解子单元用于利用拉格朗日函数法对所述自适应近邻图的目标函数进行求解。

所述半监督特征选择模型确定模块203具体包括：半监督特征选择模型的目标函数确定单元和半监督特征选择模型的目标函数求解单元。

半监督特征选择模型的目标函数确定单元用于利用公式

确定所述半监督特征选择模型的目标函数；其中，W为投影矩阵，α、γ和λ均为规则化参数，γ||W||_2,1为稀疏项用于对W进行稀疏约束，

为平滑项，衡量投影后特征的平滑性，L_S为拉普拉斯矩阵，F为像素点的标签。

半监督特征选择模型的目标函数求解单元用于采用迭代优化方式对所述半监督特征选择模型的目标函数进行求解。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种图的特征选择方法，其特征在于，包括：

根据图的像素点构造自适应近邻图；所述自适应近邻图作为初始图；

根据所述图的像素点确定投影矩阵；

对所述初始图和所述投影矩阵进行半监督学习，得到半监督特征选择模型；所述半监督特征选择模型用于进行所述初始图的优化和特征选择；

获取待特征选择的图；

采用所述半监督特征选择模型对所述待特征选择的图进行特征选择。

2.根据权利要求1所述的一种图的特征选择方法，其特征在于，所述根据图的像素点构造自适应近邻图，具体包括：

根据所述图的像素点确定相似矩阵；

根据所述相似矩阵构造所述自适应近邻图。

3.根据权利要求2所述的一种图的特征选择方法，其特征在于，所述根据所述相似矩阵构造所述自适应近邻图，具体包括：

利用公式

确定所述自适应近邻图的目标函数；其中，

为相似矩阵

的第i行，α是规则化参数，

为规则化项，用于避免出现平凡解，即与像素点x_i距离最近的点成为x_i近邻的概率为1，而其他像素点都不是x_i的近邻；

利用拉格朗日函数法对所述自适应近邻图的目标函数进行求解。

4.根据权利要求3所述的一种图的特征选择方法，其特征在于，所述对所述初始图和所述投影矩阵进行半监督学习，得到半监督特征选择模型，具体包括：

利用公式

确定所述半监督特征选择模型的目标函数；其中，W为投影矩阵，α、γ和λ均为规则化参数，γ||W||_2,1为稀疏项用于对W进行稀疏约束，

为平滑项，衡量投影后特征的平滑性，L_S为拉普拉斯矩阵，F为像素点的标签；

采用迭代优化方式对所述半监督特征选择模型的目标函数进行求解。

5.一种图的特征选择系统，其特征在于，包括：

自适应近邻图构建模块，用于根据图的像素点构造自适应近邻图；所述自适应近邻图作为初始图；

投影矩阵确定模块，用于根据所述图的像素点确定投影矩阵；

半监督特征选择模型确定模块，用于对所述初始图和所述投影矩阵进行半监督学习，得到半监督特征选择模型；所述半监督特征选择模型用于进行所述初始图的优化和特征选择；

待特征选择的图获取模块，用于获取待特征选择的图；

特征选择模块，用于采用所述半监督特征选择模型对所述待特征选择的图进行特征选择。

6.根据权利要求5所述的一种图的特征选择系统，其特征在于，所述自适应近邻图构建模块具体包括：

相似矩阵确定单元，用于根据所述图的像素点确定相似矩阵；

自适应近邻图构造单元，用于根据所述相似矩阵构造所述自适应近邻图。

7.根据权利要求6所述的一种图的特征选择系统，其特征在于，所述自适应近邻图构造单元具体包括：

自适应近邻图的目标函数确定子单元，用于利用公式

确定所述自适应近邻图的目标函数；其中，

为相似矩阵

的第i行，α是规则化参数，

为规则化项，用于避免出现平凡解，即与像素点x_i距离最近的点成为x_i近邻的概率为1，而其他像素点都不是x_i的近邻；

自适应近邻图的目标函数求解子单元，用于利用拉格朗日函数法对所述自适应近邻图的目标函数进行求解。

8.根据权利要求7所述的一种图的特征选择系统，其特征在于，所述半监督特征选择模型确定模块具体包括：

半监督特征选择模型的目标函数确定单元，用于利用公式

确定所述半监督特征选择模

s_ij≥0,W^TW＝I,F_l＝Y_l型的目标函数；其中，W为投影矩阵，α、γ和λ均为规则化参数，γ||W||_2,1为稀疏项用于对W进行稀疏约束，

为平滑项，衡量投影后特征的平滑性，L_S为拉普拉斯矩阵，F为像素点的标签；

半监督特征选择模型的目标函数求解单元，用于采用迭代优化方式对所述半监督特征选择模型的目标函数进行求解。

Images