CN105938523A - 一种基于特征辨识度和独立性的特征选择方法及应用 - Google Patents

Abstract

本发明涉及一种基于特征辨识度与独立性的特征选择方法和应用，其是以特征辨识度度量特征的类间判别能力，以特征独立性度量特征间的相关关系，计算出每个特征的重要度值，并按照降序排列，选择重要度远高于其余特征重要度的前k个特征构成类别区分性能高的特征子集，在肿瘤基因表达谱数据应用中所选择的差异表达基因子集获得较好的时间性能和类别区分性能，本发明计算简单，时间复杂度低，选择效率高，为肿瘤等疾病在临床上的诊断和判别提供参考。

Description

一种基于特征辨识度和独立性的特征选择方法及应用

技术领域

本发明涉及基于特征辨识度和独立性的特征选择方法及其在肿瘤基因表达谱数据中的应用，具体涉及针对生物信息学肿瘤表达谱基因数据挖掘分析的预处理技术领域，是一种针对肿瘤基因表达谱的基因选择方法。

背景技术

含有大量冗余和无关特征的高维数据的涌现，给机器学习和数据挖掘算法带来巨大挑战。特征选择在保持数据分类能力不变前提下，从原始特征集中选择与类别高度相关、相互间尽可能不相关且蕴含原始特征集合大部分或全部分类信息的特征构成特征子集，使建立在该特征子集的分类模型更精确和易理解，有较好解释性，泛化能力好，计算效率高，同时降低了“维数灾难”对算法的影响，使数据分析结果可视化成为可能。

微阵列技术一次性可以获取大量的表达基因，为肿瘤等疾病提供了全新的治疗手段。然而，基因表达谱数据具有高维小样本特点，且存在大量冗余和不相关基因，给基因数据集的分类分析和疾病的诊断带来影响。特征(基因)选择可以从成千上万的基因中剔除冗余和与疾病分类不相关的基因，保留具有高类别区分能力的基因，这不但可以提高疾病的分类识别和预测的准确率，降低疾病诊断时间，减少临床诊断费用，并可促进相应药物的研发，具有重要的生物学意义。

特征选择算法研究主要包括两部分：特征子集搜索和特征子集评估。不同特征搜索策略导致了不同特征选择方法。依据特征选择过程与训练分类模型的学习算法的依赖关系，特征选择算法分为Filter方法和Wrapper方法两大类。Filter方法独立于学习过程，直接根据某种特征评价准则定义特征重要度，选择重要特征构成特征子集，该方法计算效率高、泛化性能好，适用于大规模高维度空间的特征选择任务。Relief、CFS(Correlation based Feature Selector)和mRMR(maximal relevance-minimal redundancy)是经典的Filter特征选择方法。由于Filter方法自身的特点，大部分基于Filter方法的特征选择方法在评价特征重要度时，认为每个特征都是孤立的，并没有考虑到特征间的相关或冗余关系，如卡方检验、相似性度量、信息增益、混信息、Relief和AUC等特征评价准则。为了改善Filter方法中的缺陷和不足，同时保留其效率高、泛化性能好的优点，Guyou等人提出最大相关最小冗余的方法，Wang等人基于层次聚类的方法和Song等基于无向完全图的方法等都取得不错的效果。

Wrapper方法依赖于学习过程，特征子集产生过程依据建立在相应特征子集的分类模型在验证集的性能来完成，一般会选择到比Filter方法性能更优、规模更小的特征子集，但需多次训练分类模型，时间开销大，且在小样本数据集上易产生“过拟合”问题。SVM-RFE(SVM Recursive Feature Elimination)和SVM-SFS(SVM Sequential Forward Search)属于Wrapper方法，且在基因数据集上都取得不错分类效果。集成Filter方法的高效和Wrapper方法的准确于一起的混合特征选择方法能得到更优特征子集，且时间复杂度和Filter相近，是特征选择研究的一个热点。

发明内容

本发明针对特征选择方法中现有技术的缺陷和不足以及在高维数据中存在的时间瓶颈问题，提出了一种基于特征辨识度和独立性的特征选择方法，计算时间复杂度低、选择效率高，尤其对高维、小样本的基因表达谱数据具有较好的时间性能和分类效果。

同时将该方法应用到肿瘤基因表达谱数据中，有效选择基因子集，为医学界提供有效的信息参考。

本发明为了实现上述目的所采用的技术方案是该基于特征辨识度与独立性的特征选择方法由以下步骤组成：

(1)计算每个特征的辨识度

根据特征权重计算方法计算出数据集D中每个特征的权重w_i，该数据集表示为D＝{X₁；X₂；…；X_m}∈R^m×n，其中包含m个样本，每个样本的特征数为n，第i个特征为f_i，1≤i≤n；利用权重w_i计算出每个特征的辨识度dis_i，表达为：

dis_i＝w_i；

(2)计算每个特征的独立性

根据步骤(1)所计算的每个特征的辨识度dis_i，利用计算出数据集D中每个特征的独立性ind_i，其中r为特征间Pearson相关系数绝对值，f_i为第i个特征，f_j为第j个特征，1≤j≤n，且j≠i；

(3)计算特征的重要度Score

利用步骤(1)所得每个特征的辨识度dis_i和步骤(2)所得每个特征的独立性ind_i，根据下式计算出每个特征的重要度Score_i；

Score_i＝dis_i×ind_i

(4)确定特征子集

根据每个特征的重要度Score_i，对数据集D中的所有特征的重要度值降序排列，选取其中重要度明显高于其余特征重要度的前k个特征，1＜k＜n，组成包含有k个优选特征的特征子集。

上述步骤(1)中特征权重计算方法具体可以选择以下方法之一：

1)Wilcoxon秩和检验方法

利用计算出数据集D中每个特征的Wilcoxon秩和检验值，其中是判别函数，和分别表示第v1和v个样本的第f_i个特征值，若成立，则取值为1，否则取值0；N₀,N₁分别代表二类数据集中每类样本的个数；

根据所得Wilcoxon秩和检验值利用w_i＝max[N₀*N₁-S(f_i),S(f_i)]计算出每个特征对应的权值w_i；

2)D-Score方法

对数据集D中每个特征的权重计算方法定义为下式：

$D_i=\frac{\underset{j^{\′}=1}{\overset{c}{\Σ}}\frac{{\left({\stackrel{\‾}{x}}_i^{\left(j^{\′}\right)}-{\stackrel{\‾}{x}}_i\right)}^2}{{\stackrel{\‾}{x}}_i}}{\underset{j^{\′}=1}{\overset{c}{\Σ}}\frac{1}{n_{j^{\′}}-1}\underset{v=1}{\overset{n_j}{\Σ}}\frac{{\left(x_{v,i}^{\left(j^{\′}\right)}-{\stackrel{\‾}{x}}_i^{\left(j^{\′}\right)}\right)}^2}{{\stackrel{\‾}{x}}_i^{\left(j^{\′}\right)}}}$

其中，D_i表示数据集D中第f_i个特征的D-Score值，即第f_i个特征的权重，c为数据集的类别个数，分别为第i个特征在整个数据集和第j'类数据集上的均值，为第j'类中第v个样本点在第i个特征的特征值，n_j'表示第j'类数据集上的样本个数；

3)基于互信息的方法

互信息用于评价两个特征之间或特征与类标的相关性，计算公式如下：

I(f_i,Y)＝H(Y)-H(Y|f_i)

其中，Y表示数据集D的类标向量；I(f_i,Y)表示数据集D中每个特征与类标向量Y之间的互信息值，即特征f_i的权重；H(Y)为类标向量Y的信息熵；H(Y|f_i)为在特征f_i取值确定条件下类标向量Y的信息熵；

4)基于对称不确定性的方法

基于对称不确定性方法的计算公式如下：

$SU(f_i,Y)=\frac{2\×I(f_i,Y)}{H\left(f_i\right)+H\left(Y\right)}$

其中，SU(f_i,Y)表示数据集中特征f_i的对称不确定性值，即特征权重；I(f_i,Y)表示数据集D中每个特征与类标向量Y之间的互信息值；H(f_i)和H(Y)分别表示每个特征的信息熵和类标向量的信息熵。

上述步骤(2)中特征间Pearson相关系数绝对值r的计算方法为：

$r\≡\frac{\left|{(X_1-{\stackrel{\‾}{X}}_1)}^T(Y_1-{\stackrel{\‾}{Y}}_1)\right|}{\sqrt{\left|\right|X_1-{\stackrel{\‾}{X}}_1\left|{|}^2\right||Y_1-{\stackrel{\‾}{Y}}_1|{|}^2}}$

式(4)中，X₁,Y₁表示两个待求相关系数的特征向量，是特征向量X₁的均值，表示特征向量Y₁的均值。

上述步骤(3)具体可以是：以步骤(1)所得的辨识度为横坐标，步骤(2)的独立性为纵坐标，确定出每个特征在坐标轴中的位置，即构造特征独立性与辨识度散点图，则每个特征对应的重要度Score_i即为辨识度与独立性所围成的矩形面积，表示为：

Score_i＝dis_i×ind_i。

上述步骤(4)具体可以是：以每个特征的重要度Score_i为纵轴、特征的个数为横轴建立坐标，描绘出每个特征在坐标中的位置，即得到重要度值降序排列所得的特征点集，沿着纵坐标自上而下选取前k个特征点，组成优选特征子集。

上述的基于特征辨识度和独立性的特征选择方法可以在肿瘤基因表达谱数据中的应用，其具体的实现方法包括以下步骤：

(1)将肿瘤基因表达谱数据按照下式的最大最小化方法进行基因标准化，记D＝{X₁；X₂；…；X_m}∈R^m×n，其中包含m个样本，每个样本的基因数为n，第i个基因表示为f_i，1≤i≤n；

$g_{i,v}=\frac{g_{i.v}-min\left(g_i\right)}{max\left(g_i\right)-\min \left(g_i\right)}$

其中，g_i,v表示第i个基因在第v个样本上的表达值，max(g_i)表示第i个基因的最大值，min(g_i)表示第i个基因的最小值；

(2)将标准化后的基因数据集划分为训练集和测试集，用Wilcoxon秩和检验方法度量训练集中每个基因的权值，并用K-means聚类分析，从各类簇中保留权重大于该簇平均特征权重的基因，构成预选择基因子集，即{f₁,f₂,…,f_t,…,f_l}，其中，

(3)根据步骤(2)的预选择基因子集中每个基因对应的权重值计算出每个基因对应的辨识度，表示为：

dis_i＝w_i；

(4)根据步骤(3)所计算的每个基因对应的辨识度dis_i，利用计算出数据集中对应基因的独立性，其中r为特征间Pearson相关系数绝对值，f_i为第i个基因，f_j为第j个基因，1≤j≤n，且j≠i；

(5)利用步骤(3)所得每个特征的辨识度dis_i和步骤(4)所得每个特征的独立性ind_i，根据下式计算出预选择基因子集中每个基因对应的重要度Score_i；

Score_i＝dis_i×ind_i

(6)依据每个基因的重要度值序列{Score₁,Score₂,…,Score_t,…,Score_l}，对其进行降序排序，得到新的基因重要度值序列{Score_p1,Score_p2,…,Score_pt,…,Score_pl}，此时对应的基因重要度序列为{f_p1,f_p2,…,f_pt,…,f_pl}，选取前k个重要度远大于其余基因重要度的优选基因组成基因子集，即{f_p1,f_p2,f_p3,…,f_pk}，其中

上述步骤(6)之后还可以包括步骤(7)，具体是：根据最终基因子集获取降维后的训练数据集将该训练数据集与测试数据集作为SVM分类器的输入数据，测试该最终基因子集分类性能。

步骤(2)中划分基因数据集的方法采用bootstrap方法或k-折交叉验证法。

与已有技术相比，本发明的有益效果主要是：

(1)本发明提出的基于特征辨识度和独立性的特征选择方法，属于特征选择方法中的Filter方法，在克服Filter方法因自身特点而没有考虑特征间冗余和与分类分析任务不相关特征的同时，还保留了该方法效率高的特性。

(2)本发明提出的特征选择方法采用Wilcoxon秩和检验技术度量特征权重，采用K-means聚类技术对特征进行聚类，根据同一类簇内特征相关性高、不同类簇内相关性低的特点，将部分高度冗余特征识别并删除。一方面，可以降低冗余或噪音特征对实验结果的影响，另一方面，可以降低数据维度，加快特征选择过程。

(3)本发明提出的特征选择方法定义特征辨识度来度量特征的类别区分能力，定义特征独立性度量特征间的相关性，并将特征重要度在二维坐标系中以辨识度、独立性与坐标系所围矩形面积来表示，使得任意维度、任意空间分布的特征重要度均可在2维空间展示。

(4)本发明提出的特征选择方法时间复杂度低，解决现有特征选择方法的时间瓶颈问题，尤其对高维、小样本的基因表达谱数据具有较好的时间性能和分类效果，为肿瘤等疾病在临床上的诊断和判别提供参考。

附图说明

图1为本发明特征选择方法在实施例1中数据集上的特征对应所围矩形面积的散点图表示。

图2为本发明特征选择方法在实施例1中数据集上的特征重要度降序排序结果的散点图表示。

图3为本发明提出的基于特征辨识度和独立性的特征选择方法在肿瘤基因表达谱数据中应用的流程图。

图4为本发明特征选择方法在CNS基因数据集上的平均分类准确率曲线图。

图5为本发明特征选择方法在CNS基因数据集上的平均AUC值曲线图。

具体实施方式

以下结合附图和具体实施例对本发明技术方案作进一步说明。

实施例1

本实施例基于特征辨识度和独立性的特征选择方法由如下步骤实现：

(1)随机生成符合正态分布的第一类数据集D₁，表示为D₁＝{X₁；X₂；…；X₁₀}∈R^10×50，随机生成符合正态分布的第二类数据集D₂，表示为D₂＝{X₁₁；X₁₂；…；X₂₀}∈R^10×50，数据集D₁和D₂都分别包含10个样本，每个样本有50个特征。将数据集D₁和D₂合并为数据集D，表示为D＝{X₁；X₂；…；X₂₀}∈R^20×50，其中包含20个样本，分布在2个类别中，每个样本包含有50个特征，之后利用bootstrap方法划分数据集，得到训练集和测试集。

(2)计算每个特征的辨识度

(2.1)利用Wilcoxon秩和检验方法计算出数据集D中每个特征的权重w_i，具体是：

利用公式计算出数据集D中每个特征的Wilcoxon秩和检验值；其中是判别函数，和分别表示第v1和v个样本在第f_i个特征值，若成立，则取值为1，否则取值0；N₀,N₁分别代表二类数据集中每类样本的个数，第i个特征为f_i；

根据所得Wilcoxon秩和检验值利用w_i＝max[N₀*N₁-S(f_i),S(f_i)]计算出每个特征对应的权值w_i，1≤i≤n；

(2.2)根据每个特征的权重w_i计算出每个特征对应的辨识度dis_i，表达为：

dis_i＝w_i；

(3)计算每个特征的独立性

根据步骤(1)所计算的每个特征对应的辨识度dis_i，利用计算出数据集D中每个特征的独立性ind_i，

其中：f_i为第i个特征，f_j为第j个特征，1≤j≤n，且j≠i，r为特征间Pearson相关系数绝对值，其具体的计算方法为：

$r\≡\frac{\left|{(X_1-{\stackrel{\‾}{X}}_1)}^T(Y_1-{\stackrel{\‾}{Y}}_1)\right|}{\sqrt{\left|\right|X_1-{\stackrel{\‾}{X}}_1\left|{|}^2\right||Y_1-{\stackrel{\‾}{Y}}_1|{|}^2}}$

式(4)中，X₁,Y₁表示两个待求相关系数的特征向量，是特征向量X₁的均值，表示特征向量Y₁的均值。

(4)计算特征的重要度Score

以步骤(1)所得的辨识度为横坐标，步骤(2)的独立性为纵坐标，确定出每个特征在坐标轴中的位置，即构造特征独立性与辨识度散点图，如图1，则每个特征对应的重要度Score_i即为辨识度与独立性所围成的矩形面积，表示为：

Score_i＝dis_i×ind_i。

(5)确定特征子集

以每个特征的重要度Score_i为纵轴、特征的个数为横轴建立坐标，描绘出每个特征在坐标中的位置，即图2所示，即得到重要度值降序排列所得的特征点集，沿着纵坐标自上而下选取前k个特征点，组成优选特征子集。

本实施例中，通过度量准则Score度量特征重要性，分类性能好的特征其得分较高，冗余或噪音特征得分较低。将50个特征的重要度Score以其对应的辨识度、独立性与二维坐标系的坐标轴所围矩形面积的散点图表示，其效果图如图1所示。特征重要度的降序排序结果在二维坐标系中的散点图表示如图2所示。如图1图2所示，50个特征中，第48,39和26个特征具有较好的类别区分性能，以此作为最终特征子集。

将得到的最终特征子集对应的训练集和测试集在SVM分类器中训练和测试，可以得到100％完全正确分类的效果，而且当特征子集规模为1(第48个特征)和2(第48和39个特征)时，在SVM分类器中的分类正确率为74.72％和89.81％，说明本发明中提供的特征选择方法所选择的特征子集具有较好的分类性能。

Kruskal Wallis秩和检验是对Wilcoxon秩和检验的扩展，当对于多类的数据集时，可以采用Kruskal Wallis秩和检验法计算特征权重。

实施例2

本实施例的步骤(2)中，数据集D中每个特征的权重w_i的计算方法还可以用D-Score方法进行计算，D-Score是一种基于类内、类间距离的特征权重计算方法，具体计算公式如下：

$D_i=\frac{\underset{j^{\′}=1}{\overset{c}{\Σ}}\frac{{\left({\stackrel{\‾}{x}}_i^{\left(j^{\′}\right)}-{\stackrel{\‾}{x}}_i\right)}^2}{{\stackrel{\‾}{x}}_i}}{\underset{j^{\′}=1}{\overset{c}{\Σ}}\frac{1}{n_{j^{\′}}-1}\underset{v=1}{\overset{n_j}{\Σ}}\frac{{\left(x_{v,i}^{\left(j^{\′}\right)}-{\stackrel{\‾}{x}}_i^{\left(j^{\′}\right)}\right)}^2}{{\stackrel{\‾}{x}}_i^{\left(j^{\′}\right)}}}$

其中，D_i表示数据集D中第f_i个特征的D-Score值，即第f_i个特征的权重，c为数据集的类别个数，分别为第i个特征在整个数据集和第j'类数据集上的均值，为第j'类中第v个样本点在第i个特征的特征值。

其他的步骤与实施例1相同。

实施例3

本实施例的步骤(2)中，数据集D中每个特征的权重w_i的计算方法还可以用基于互信息的方法进行计算，互信息用于评价两个特征之间或特征与类标的相关性，计算公式如下：

I(f_i,Y)＝H(Y)-H(Y|f_i)

其中，Y表示数据集的类标向量；I(f_i,Y)表示数据集中特征f_i与类标向量Y之间的互信息值，即特征f_i的权重；H(Y)为类标向量Y的信息熵；H(Y|f_i)为在特征f_i取值确定条件下类标向量Y的信息熵。

对于连续型特征来说，需提前对其进行离散化。

其他的步骤与实施例1相同。

实施例4

本实施例的步骤(2)中，数据集D中每个特征的权重w_i的计算方法还可以用基于对称不确定性的方法进行计算，对称不确定性方法可以避免在利用互信息方法计算特征权重时会更倾向于选择那些取值点更分散的特征，其计算公式如下：

$SU(f_i,Y)=\frac{2\×I(f_i,Y)}{H\left(f_i\right)+H\left(Y\right)}$

其中，SU(f_i,Y)表示数据集中特征f_i的权重；I(f_i,Y)表示数据集中特征f_i与类标向量Y之间的互信息值；H(f_i)和H(Y)分别表示每个特征的信息熵和类标向量的信息熵。

其他的步骤与实施例1相同。

上述实施例1～4所记载的基于特征辨识度和独立性的特征选择方法可以在肿瘤基因表达谱数据中的应用，具体如下：

本实施例中，将本发明提供的基于特征辨识度和独立性的特征选择方法应用于于肿瘤基因表达谱数据集的分类分析中，具体应用数据集D为二类数据集，其中包括结肠癌Colon、中枢神经系统胚胎细胞瘤CNS(Central Nervous SystemEmbryonal Tumor)、白血病Leukemia、上皮细胞癌Carcinoma和乳腺癌BreastCancer疾病基因数据集，各基因数据集具体信息如表1所示。

表1基因数据集信息描述

下面以数据集CNS为例，参见图3，具体的实现步骤为：

(1)将CNS基因表达谱数据按照下式的最大最小化方法进行基因标准化，记D＝{X₁；X₂；…；X₆₂}∈R^90×7129，其中包含90个样本，每个样本的基因数为7129，第i个基因表示为f_i(1≤i≤7129)。

$g_{i,v}=\frac{g_{i.v}-min\left(g_i\right)}{max\left(g_i\right)-\min \left(g_i\right)}$

其中，g_i,v表示第i个基因在第v个样本上的表达值，max(g_i)表示第i个基因的最大值，min(g_i)表示第i个基因的最小值；

(2)将标准化后的基因数据集使用bootstrap方法划分为训练集和测试集，假设训练集中样本个数为m₁，测试集中样本个数为m₂；用Wilcoxon秩和检验方法度量训练集中每个基因的权值，然后用K-means聚类分析，从各类簇中保留权重大于该簇平均特征权重的基因，构成预选择基因子集，即{f₁,f₂,…,f_t,…,f_l}，其中，

(3)根据步骤(2)的预选择基因子集中每个基因对应的权重值计算出每个基因对应的辨识度，表示为：

dis_i＝w_i；

(4)根据步骤(3)所计算的每个基因对应的辨识度，利用计算出数据集中对应基因的独立性，其中r为特征间Pearson相关系数绝对值，f_i为第i个基因，f_j为第j个基因；

(5)利用步骤(3)所得每个特征的辨识度和步骤(4)所得每个特征的独立性，根据下式计算出预选择基因子集中每个基因对应的重要度值；

Score_i＝dis_i×ind_i

(6)依据每个基因的重要度值序列{Score₁,Score₂,…,Score_t,…,Score_l}，对其进行降序排序，得到新的基因重要度值序列{Score_p1,Score_p2,…,Score_pt,…,Score_pl}，此时对应的基因重要度序列为{f_p1,f_p2,…,f_pt,…,f_pl}，选取前50个具有最大Score的基因作为最终基因子集，即{f_p1,f_p2,f_p3,…,f_p50}，其中

(7)根据最终基因子集获取降维后的训练数据集将该训练数据集与测试数据集作为SVM分类器的输入数据，测试该最终基因子集分类性能。

上述步骤(2)在标准化后的基因数据集还可以采用k-折交叉验证法进行划分，k-折交叉验证法和bootstrap方法均属于常规的数据集划分方法。

为了验证本发明的有益效果，并将本发明提供的基因选择方法与常用的Weight、mRMR、SVM-RFE、Relief和ARCO算法进行比较，其中：

1、Weight是一种基于权重策略与K-means聚类方法的特征选择方法，是集Filter方法和Wrapper方法的混合特征选择方法。

2、mRMR方法基于理想的特征子集，不仅满足特征和类标的相关性尽可能大，而且满足特征子集中的特征之间冗余度尽可能低的思想，利用互信息度量特征与类标和特征之间的相关性来实现特征选择。

3、SVM-RFE是一种典型的Wrapper方法，利用支持向量机权重向量对特征重要性进行评估，并从原始数据集中逐个剔除对分类器贡献小的特征，保留下的特征即为最优特征子集。

4、Relief方法假设相互靠近且同类的样本之间应彼此相似，而相互靠近但不同类的样本应相当不同，是一种特征权重算法，利用各个特征和类别的相关性度量特征不同的权重，权重小于某个阈值的特征将被移除。

5、ARCO是基于AUC最大化与mRMR框架的特征选择方法，使得所选特征子集中特征不仅具有较强的分类性能，且相互之间冗余度低。

将本发明的步骤重复运行100次，基因子集的分类性能以平均正确率和平均AUC(Area under an ROC curve，Receiver operating characteristic curve，ROC)值来评价，得到6种方法随基因子集规模大小而变化的平均正确率Acc和平均AUC曲线图，分别如图4和图5所示。

从图4和图5中实验结果可以看出：本发明提供的基因选择方法在CNS基因数据集的应用上得到了较好的分类效果，在所选基因子集规模大于10时，本发明中的基因选择方法所选基因子集的分类性能最优，当所选基因子集规模小于10时，从图4可见，本发明中基因选择方法所选基因子集的分类性能和对比算法Weight、mRMR和ARCO相当，均优于SVM-RFE和Relief算法；从图5可见，本发明中基因选择方法所选基因子集的分类性能仅次于ARCO算法。

将本发明提供所提供特征选择方法和其它5种方法的平均运行时间进行比较，结果如表2所示。

表2 6种特征选择方法在CNS基因数据集上的平均运行时间比较

从表2本发明中基因选择方法和其它5种对比方法的平均时间对比可见，本发明中基因选择方法在CNS数据集上运行一次的平均时间仅为0.31秒，其效率性能均优于其它对比方法。

综上所述，本发明提出的特征选择方法可以选择出有效的特征区分子集，并且具有较好的时间性能，尤其在肿瘤基因表达谱数据的应用中，其对应的基因子集具有较高的分类效果和时间性能，为肿瘤等疾病的诊断研究和药物研发提供技术支持和理解手段，具有重要的生物学意义。

Claims (9)

1.一种基于特征辨识度与独立性的特征选择方法，其特征在于由以下步骤组成：

(1)计算每个特征的辨识度

根据特征权重计算方法计算出数据集D中每个特征的权重w_i，该数据集表示为D＝{X₁；X₂；…；X_m}∈R^m×n，其中包含m个样本，每个样本的特征数为n，第i个特征为f_i，1≤i≤n；利用权重w_i计算出每个特征的辨识度dis_i，表达为：

dis_i＝w_i；

(2)计算每个特征的独立性

根据步骤(1)所计算的每个特征的辨识度dis_i，利用计算出数据集D中每个特征的独立性ind_i，其中r为特征间Pearson相关系数绝对值，f_i为第i个特征，f_j为第j个特征，1≤j≤n，且j≠i；

(3)计算特征的重要度Score

利用步骤(1)所得每个特征的辨识度dis_i和步骤(2)所得每个特征的独立性ind_i，根据下式计算出每个特征的重要度Score_i；

Score_i＝dis_i×ind_i

(4)确定特征子集

根据每个特征的重要度Score_i，对数据集D中的所有特征的重要度值降序排列，选取其中重要度明显高于其余特征重要度的前k个特征，1＜k＜n，组成包含有k个优选特征的特征子集。

2.根据权利要求1所述的基于特征辨识度和独立性的特征选择方法，其特征在于步骤(1)中所述的特征权重计算方法具体是以下方法之一：

1)Wilcoxon秩和检验方法

利用计算出数据集D中每个特征的Wilcoxon秩和检验值，其中χ(·)是判别函数，和分别表示第v1和v个样本的第f_i个特征值，若成立，则χ(·)取值为1，否则取值0；N₀,N₁分别代表二类数据集中每类样本的个数；

根据所得Wilcoxon秩和检验值利用w_i＝max[N₀*N₁-S(f_i),S(f_i)]计算出每个特征对应的权值w_i；

2)D-Score方法

对数据集D中每个特征的权重计算方法定义为下式：

$D_i=\frac{\underset{j^{\′}=1}{\overset{c}{\Σ}}\frac{{\left({\stackrel{\‾}{x}}_i^{\left(j^{\′}\right)}-{\stackrel{\‾}{x}}_i\right)}^2}{{\stackrel{\‾}{x}}_i}}{\underset{j^{\′}=1}{\overset{c}{\Σ}}\frac{1}{n_{j^{\′}}-1}\underset{v=1}{\overset{n_j}{\Σ}}\frac{{\left(x_{v,i}^{\left(j^{\′}\right)}-{\stackrel{\‾}{x}}_i^{\left(j^{\′}\right)}\right)}^2}{{\stackrel{\‾}{x}}_i^{\left(j^{\′}\right)}}}$

其中，D_i表示数据集D中第f_i个特征的D-Score值，即第f_i个特征的权重，c为数据集的类别个数，分别为第i个特征在整个数据集和第j'类数据集上的均值，为第j'类中第v个样本点在第i个特征的特征值，n_j'表示第j'类数据集上的样本个数；

3)基于互信息的方法

互信息用于评价两个特征之间或特征与类标的相关性，计算公式如下：

I(f_i,Y)＝H(Y)-H(Y|f_i)

其中，Y表示数据集D的类标向量；I(f_i,Y)表示数据集D中每个特征与类标向量Y之间的互信息值，即特征f_i的权重；H(Y)为类标向量Y的信息熵；H(Y|f_i)为在特征f_i取值确定条件下类标向量Y的信息熵；

4)基于对称不确定性的方法

基于对称不确定性方法的计算公式如下：

$SU(f_i,Y)=\frac{2\×I(f_i,Y)}{H\left(f_i\right)+H\left(Y\right)}$

其中，SU(f_i,Y)表示数据集中特征f_i的对称不确定性值，即特征权重；I(f_i,Y)表示数据集D中每个特征与类标向量Y之间的互信息值；H(f_i)和H(Y)分别表示每个特征的信息熵和类标向量的信息熵。

3.根据权利要求1所述的基于特征辨识度和独立性的特征选择方法，其特征在于所述步骤(2)中特征间Pearson相关系数绝对值r的计算方法为：

$r\≡\frac{\left|{(X_1-{\stackrel{\‾}{X}}_1)}^T(Y_1-{\stackrel{\‾}{Y}}_1)\right|}{\sqrt{\left|\right|X_1-{\stackrel{\‾}{X}}_1\left|{|}^2\right||Y_1-{\stackrel{\‾}{Y}}_1|{|}^2}}$

式(4)中，X₁,Y₁表示两个待求相关系数的特征向量，是特征向量X₁的均值，表示特征向量Y₁的均值。

4.根据权利要求1所述的基于特征辨识度和独立性的特征选择方法，其特征在于所述步骤(3)具体是：以步骤(1)所得的辨识度为横坐标，步骤(2)的独立性为纵坐标，确定出每个特征在坐标轴中的位置，即构造特征独立性与辨识度散点图，则每个特征对应的重要度Score_i即为辨识度与独立性所围成的矩形面积，表示为：

Score_i＝dis_i×ind_i。

5.根据权利要求1所述的基于特征辨识度和独立性的特征选择方法，其特征在于所述步骤(4)具体是：以每个特征的重要度Score_i为纵轴、特征的个数为横轴建立坐标，描绘出每个特征在坐标中的位置，即得到重要度值降序排列所得的特征点集，沿着纵坐标自上而下选取前k个特征点，组成优选特征子集。

6.权利要求1所述的基于特征辨识度和独立性的特征选择方法在肿瘤基因表达谱数据中的应用。

7.根据权利要求6所述的基于特征辨识度和独立性的特征选择方法在肿瘤基因表达谱数据中的应用，其具体的实现方法包括以下步骤：

(1)将肿瘤基因表达谱数据按照下式的最大最小化方法进行基因标准化，记D＝{X₁；X₂；…；X_m}∈R^m×n，其中包含m个样本，每个样本的基因数为n，第i个基因表示为f_i，1≤i≤n；

$g_{i,v}=\frac{g_{i,v}-min\left(g_i\right)}{max\left(g_i\right)-\min \left(g_i\right)}$

其中，g_i,v表示第i个基因在第v个样本上的表达值，max(g_i)表示第i个基因的最大值，min(g_i)表示第i个基因的最小值；

(2)将标准化后的基因数据集划分为训练集和测试集，用Wilcoxon秩和检验方法度量训练集中每个基因的权值，并用K-means聚类分析，从各类簇中保留权重大于该簇平均特征权重的基因，构成预选择基因子集，即{f₁,f₂,…,f_t,…,f_l}，其中，l＜＜n；

(3)根据步骤(2)的预选择基因子集中每个基因对应的权重值计算出每个基因对应的辨识度，表示为：

dis_i＝w_i；

(4)根据步骤(3)所计算的每个基因对应的辨识度dis_i，利用计算出数据集中对应基因的独立性，其中r为特征间Pearson相关系数绝对值，f_i为第i个基因，f_j为第j个基因，1≤j≤n，且j≠i；

(5)利用步骤(3)所得每个特征的辨识度dis_i和步骤(4)所得每个特征的独立性ind_i，根据下式计算出预选择基因子集中每个基因对应的重要度Score_i；

Score_i＝dis_i×ind_i

(6)依据每个基因的重要度值序列{Score₁,Score₂,…,Score_t,…,Score_l}，对其进行降序排序，得到新的基因重要度值序列

{Score_p1,Score_p2,…,Score_pt,…,Score_pl}，此时对应的基因重要度序列为

{f_p1,f_p2,…,f_pt,…,f_pl}，选取前k个重要度远大于其余基因重要度的优选基因组成基因子集，即{f_p1,f_p2,f_p3,…,f_pk}，其中k＜＜l。

8.根据权利要求7所述的基于特征辨识度和独立性的特征选择方法在肿瘤基因表达谱数据中的应用，其特征在于，所述步骤(6)之后还包括步骤(7)，具体是：

根据最终基因子集获取降维后的训练数据集将该训练数据集与测试数据集作为SVM分类器的输入数据，测试该最终基因子集分类性能。

9.根据权利要求7所述的基于特征辨识度和独立性的特征选择方法在肿瘤基因表达谱数据中的应用，其特征在于步骤(2)中划分基因数据集的方法采用bootstrap方法或k-折交叉验证法。