CN112966703A - 采用冗余性动态权重的特征选择方法 - Google Patents

Abstract

本发明属于机器学习、特征选择领域，为同时考虑特征的冗余性、相关性和交互性信息，以尽量减少目标函数中有用信息的丢失，提高特征选择算法性能。为此，本发明采取的技术方案是采用冗余性动态权重的特征选择方法，采用动态更新特征权重的方法，在每一轮特征选择之后，计算候选特征与本轮已选特征间的对称不确定性及与类标签间的三路交互信息，生成权重更新系数，通过权重计算特征的目标函数值，并挑选目标函数值最大的候选特征。本发明主要应用于机器学习、特征选择场合。

Description

采用冗余性动态权重的特征选择方法

技术领域

本发明属于机器学习、特征选择领域，涉及一种采用冗余性动态权重的特征选择方法。

背景技术

随着信息技术产业的飞速发展，其在生活各方面的应用愈加广泛，催生了大量具有特定功能的计算机软件的出现，如社交媒体、购物软件以及基于机器学习、深度学习的智能识别应用软件。在此过程中，计算机对于数据的需求量也愈加庞大，数据维度空前增长。然而，高维数据集中往往存在无关特征和冗余特征，它们通常不能为后续的算法提供有效信息，甚至会降低算法的性能。而且，数据维度过大还会增加后期数据处理的难度和时间。因此，如何对特征进行有效地选择，降低数据集的特征维度，提高算法性能成为当前机器学习领域中的一个研究热点。

特征选择的目的是在全部特征中挑选出最具代表性的特征子集，实现数据降维，从而减少后期数据处理所需时间。根据选择策略的不同，特征选择算法可以分为三种：嵌入式(Embedded)、封装式(Wrapper)和过滤式(Filter)。在过滤式算法中，信息理论中的互信息(Mutual Information)是衡量特征关系的常用指标，其中特征间的互信息用于描述特征间的冗余性，特征与类标签间的互信息用于描述特征的相关性，三维互信息(Three-dimensional Mutual Information)用于描述特征与类标签间的交互性。

传统基于互信息的特征选择算法通过消除无关特征和冗余特征实现特征选择，但在此过程中忽略了特征间的交互性，导致算法的目标函数丢失了一部分有效信息，算法性能不够理想。DWFS和IWFS算法采用一种动态更新候选特征权重的方法(a featureselection algorithm based on dynamic weights using redundancy,DWUR)，通过特征与类标签间的三路交互信息(Three-way Interaction Information)度量特征的交互性，取得了不错的结果。但其权重更新系数忽略了对特征间冗余性的考虑，因此算法性能仍有提升空间。

发明内容

为克服现有技术的不足，本发明旨在同时考虑特征的冗余性、相关性和交互性信息，以尽量减少目标函数中有用信息的丢失，提高特征选择算法性能。为此，本发明采取的技术方案是采用冗余性动态权重的特征选择方法，采用动态更新特征权重的方法，在每一轮特征选择之后，计算候选特征与本轮已选特征间的对称不确定性及与类标签间的三路交互信息，生成权重更新系数，通过权重计算特征的目标函数值，并挑选目标函数值最大的候选特征。

具体步骤细化如下：

设X、Y和Z为离散随机变量，候选特征集为F，候选特征f_i∈F，已选特征集为S，已选特征f_s∈S，类标签C，互信息表示随机变量X与Y共同享有的信息量，定义如式(1)所示：

式(1)中，p(x)为概率密度函数，p(x,y)为联合概率密度函数，互信息表示为熵运算的形式如式(2)所示：

I(X；Y)＝H(X)-H(X|Y) (2)

式(2)中，H(X)和H(X|Y)分别为信息熵和条件信息熵；

使用对称不确定性SU(Symmetric Uncertainty)描述候选特征f_i与类标签C间的相关性，称之为候选特征的相关系数，用R(f_i；C)表示，其值越大代表相关性越强，如式(3)所示：

f_i与f_s间的对称不确定性代表特征间冗余性，将其作为候选特征的冗余性系数Redundancy Ratio，用RR(f_i；f_s)表示，其值越大，特征间冗余性越强，其定义如式(4)所示：

三维互信息包括条件互信息、三路交互信息以及联合互信息，条件互信息是指在随机变量Z给定的情况下，X和Y之间的互信息，定义如式(5)所示：

式(5)中，p(x,y,z)表示随机变量X、Y和Z的联合概率密度函数，p(x,y|z)表示当Z给定时X和Y的联合概率密度函数，p(x|z)和p(y|z)表示当Z给定时X和Y的概率密度函数，条件互信息还可以表示成式(6)的形式：

I(X；Y|Z)＝H(X|Z)-H(X|Y,Z) (6)

式(6)中，H(X|Z)和H(X|Y,Z)分别表示当Z和Y、Z给定情况下，X的条件熵；

三路交互信息表示随机变量X、Y和Z共同享有的信息，其与条件互信息具有如下关系：

I(X；Y；Z)＝I(X；Y|Z)-I(X；Y) (7)

基于互信息的特征选择算法将f_i、f_s和C间的三路交互信息InteractionInformation作为评价f_i和f_s间交互性的指标，用II(f_i；f_s)表示：

II(f_i；f_s)＝I(f_i；f_s；C)＝I(f_i；C|f_s)-I(f_i；C) (8)

为方便计算，对式(8)进行归一化，得到特征间的交互性系数Interaction Ratio，用IR(f_i；f_s)表示，其定义如式(9)所示：

当IR(f_i；f_s)取值为正时，f_i和f_s之间存在交互信息，指在f_s给定的情况下，f_i能为分类提供更多有效信息，值越大，交互性越强；为负时，f_i和f_s之间存在冗余；为零时，f_i和f_s间相互独立，互不影响。

在每一轮特征选择中，根据f_i与f_j的交互性和冗余性信息，动态更新候选特征f_i∈F(i＝1,2,...,n)的权重系数，该权重系数限制了对应候选特征在下一轮选择中的表现能力，权重越大表明其与最近已选特征间交互性越强，冗余性越小，特征权重的更新方法如式(10)所示：

W(f_i)^k+1＝W(f_i)^k(1+IR(f_i；f_j))(1-βRR(f_i；f_j))k＝1,2,...,K-1 (10)

其中，W(f_i)^k代表候选特征f_i在第k轮挑选中的权重，W(f_i)^k+1代表候选特征f_i根据第k轮所选特征f_j更新得到的下一轮权重，β为系数项，K代表设定的特征选择数目，RR(f_i；f_j)与IR(f_i；f_j)分别为f_i和f_j间的冗余系数和交互系数，由式(10)可知，更新候选特征权重的目的是提高f_i和f_j间交互性，降低f_i和f_j间的冗余性。

f_i与C间的相关性在特征的目标函数中体现，其定义如式(11)所示：

J_DWUR(f_i)^k＝W(f_i)^kSU(f_i；C)k＝1,2,...,K (11)

上式中，J_DWUR(f_i)^k代表在第k轮挑选中f_i的目标函数值，W(f_i)^k代表f_i在本轮的权重，SU(f_i；C)为f_i与C间的对称不确定性；

在每一轮选择中，算法挑选目标函数值最大的候选特征加入到已选特征集S，并将其作为新的已选特征f_j，继续下一轮的权重更新和特征挑选，直到所有特征被挑选完毕或特征选择数目达到K。最终，算法输出已选特征集S。

本发明的特点及有益效果是：

1)本发明提出了一种采用冗余性动态权重的特征选择算法，与现有一些基于动态权重的特征选择算法相比，本发明提出的算法在特征选择效果上有一定的提升；

2)本发明提出的算法在考虑特征相关性和交互性的基础上，重点考虑了特征间的冗余性，保证算法能够消除大多数冗余特征和无关特征的同时，不会轻易丢弃那些与其他特征具有交互作用的特征，从而使得算法的目标函数尽可能不丢失有用信息；

3)本发明提出的算法采用了一种动态更新候选特征权重的策略，且权重的更新方法使得候选特征子集中的特征权重不仅能保存对应候选特征与最近已选特征间的关系，而且还能保存其与已选特征子集中所有已选特征间的关系，从而保证算法每次迭代挑选的特征能够使得整个已选特征子集具有最强的代表性；

4)本发明提出的特征选择算法有一定的应用价值，该算法可以被应用到如图像处理、文本处理、水下目标检测等诸多领域。

附图说明：

图1给出了本发明所提算法进行特征选择的流程图；

图2给出了本发明所提算法在Mfeat_fac数据集上的特征选择结果。

其中，(a)为C4.5分类器的特征选择结果；(b)为只基于一个最近邻实例(InstanceBase1,IB1)分类器的特征选择结果；(c)为朴素贝叶斯(

Bayesian)分类器的特征选择结果。

具体实施方式

本发明旨在同时考虑特征的冗余性、相关性和交互性信息，以尽量减少目标函数中有用信息的丢失，提高特征选择算法性能。本发明实现了一种采用冗余性动态权重的特征选择算法。

本发明在考虑特征与类标签间相关性和交互性的基础上，进一步利用了特征间的冗余性，提出了一种采用冗余性动态权重的特征选择算法。该算法采用一种动态更新特征权重的方法，在每一轮特征选择之后，计算候选特征与本轮已选特征间的对称不确定性(Symmetric Uncertainty)及与类标签间的三路交互信息，生成权重更新系数。通过权重计算特征的目标函数值，并挑选目标函数值最大的候选特征。在此过程中，算法同时考虑了特征的冗余性、相关性和交互性信息，以尽量减少目标函数中有用信息的丢失。

算法的实施过程中涉及信息理论中的一些基本概念，具体如下：

1.信息理论基础

假设X、Y和Z为离散随机变量，候选特征集为F，候选特征f_i∈F，已选特征集为S，已选特征f_s∈S，类标签C。互信息表示随机变量X与Y共同享有的信息量，定义如下：

式中，p(x)为概率密度函数，p(x,y)为联合概率密度函数。互信息表示为熵运算的形式如下：

I(X；Y)＝H(X)-H(X|Y) (2)

式中，H(X)和H(X|Y)分别为信息熵和条件信息熵。

大多数特征选择算法将互信息作为评价特征相关性的标准，但与类标签互信息值大的特征并不能保证好的分类结果。互信息会使算法倾向于选择多值特征，缺乏选择的公平性，因此本发明设计的算法使用对称不确定性描述候选特征f_i与类标签C间的相关性，得到相关系数，用R(f_i；C)表示，其值越大代表相关性越强，如式(3)所示：

f_i与f_s间的对称不确定性代表特征间冗余系数(Redundancy Ratio)，值越大，特征间冗余性越强。为区别于相关系数，用RR(f_i；f_s)表示：

三维互信息包括条件互信息、三路交互信息以及联合互信息。条件互信息是指在随机变量Z给定的情况下，X和Y之间的互信息，定义如下：

式中，p(x,y,z)表示随机变量X、Y和Z的联合概率密度函数，p(x,y|z)表示当Z给定时X和Y的联合概率密度函数，p(x|z)和p(y|z)表示当Z给定时X和Y的概率密度函数。条件互信息还可以表示成：

I(X；Y|Z)＝H(X|Z)-H(X|Y,Z) (6)

式中，H(X|Z)和H(X|Y,Z)分别表示当Z和Y、Z给定情况下，X的条件熵。

三路交互信息表示随机变量X、Y和Z共同享有的信息，其与条件互信息具有如下关系：

I(X；Y；Z)＝I(X；Y|Z)-I(X；Y) (7)

基于互信息的特征选择算法一般将f_i、f_s和C间的三路交互信息作为评价f_i和f_s间交互性的指标，用II(f_i；f_s)表示：

II(f_i；f_s)＝I(f_i；f_s；C)＝I(f_i；C|f_s)-I(f_i；C) (8)

为方便计算，对上式进行归一化，得到特征间的交互性系数(InteractionRatio)：

当IR(f_i；f_s)取值为正时，f_i和f_s之间存在交互信息，指在f_s给定的情况下，f_i能为分类提供更多有效信息，值越大，交互性越强；为负时，f_i和f_s之间存在冗余；为零时，f_i和f_s间相互独立，互不影响。

2.本发明设计的算法

假设有候选特征集F，f_i∈F(i＝1,2,...,n)为候选特征，已选特征集S，f_j∈S表示已选特征集中最近被选入特征。本文算法在每一轮特征选择中，根据f_i与f_j的交互性和冗余性信息，动态更新候选特征f_i∈F(i＝1,2,...,n)的权重系数，该权重系数限制了对应候选特征在下一轮选择中的表现能力，权重越大表明其与最近已选特征间交互性越强，冗余性越小。特征权重的更新方法如下：

W(f_i)^k+1＝W(f_i)^k(1+IR(f_i；f_j))(1-βRR(f_i；f_j))(k＝1,2,...,K-1) (10)

其中，W(f_i)^k代表候选特征f_i在第k轮挑选中的权重，W(f_i)^k+1代表候选特征f_i根据第k轮所选特征f_j更新得到的下一轮权重，β为系数项，K代表设定的特征选择数目。RR(f_i；f_j)与IR(f_i；f_j)分别为f_i和f_j间的冗余系数和交互系数。由式(10)可知，更新候选特征权重的目的是提高f_i和f_j间交互性，降低f_i和f_j间的冗余性。

f_i与C间的相关性在特征的目标函数中体现，其定义如下：

J_DWUR(f_i)^k＝W(f_i)^kSU(f_i；C)(k＝1,2,...,K) (11)

上式中，J_DWUR(f_i)^k代表在第k轮挑选中f_i的目标函数值，W(f_i)^k代表f_i在本轮的权重，SU(f_i；C)为f_i与C间的对称不确定性。由式(10)和(11)可知，本发明设计的算法在考虑特征相关性和交互性的基础上，同时考虑了特征间的冗余性，保证特征的目标函数能最大程度地保留有用信息，消除冗余信息。

在每一轮选择中，算法挑选目标函数值最大的候选特征加入到已选特征集S，并将其作为新的已选特征f_j，继续下一轮的权重更新和特征挑选，直到所有特征被挑选完毕或特征选择数目达到K。最终，算法输出已选特征集S。

下面结合算法流程图对本发明设计的算法进行详细的描述。本发明伪代码如下：

如图1所示，本发明提供一种采用冗余性动态权重的特征选择算法，该算法的实验平台为matlab R2016b。算法实施的具体步骤如下：

步骤1：输入原始特征集X、类别标签C和特征选择数目阈值K，并调用WEKA软件，使用最小描述长度离散方法对数据特征进行离散化。

步骤2：初始化已选特征集S为空集，候选特征集F为原始特征集X，初始化所有候选特征权重均为1。

步骤3：根据式(3)计算各候选特征与类标签间的对称不确定性，作为候选特征相关性的度量标准。

步骤4：根据式(11)计算各候选特征对应的目标函数值，并从候选特征集F中取出具有最大目标函数值的特征f_j，放入已选特征集S中，并从F中将f_j去除。

步骤5：对于F中每一个候选特征f_i,由式(4)计算其与本轮次挑选的特征即f_j间的冗余性系数R(f_i；f_j)，由式(9)计算其与f_j间的交互性系数IR(f_i；f_j)。

步骤6：根据式(10)动态更新当前每一个候选特征的权重，用于下一轮次目标函数的计算。

步骤7：重复执行步骤4、5和6，直到选取出K个特征。S为该算法选取的特征子集，K为特征子集中的特征数目。实验中，当数据集的特征数大于等于50时，K取50；否则，K取数据集的特征数。特征放入S中的顺序即是该算法特征选择的顺序。

步骤8：基于WEKA软件，利用本发明所提算法在Mfeat_fac数据集进行特征选择，对算法挑选出的特征子集进行分类实验测试，以验证算法的特征选择性能。

步骤8.1：利用WEKA软件，选取S中的前1个、前2个…前N个特征分别组成特征子集。

步骤8.2：采用C4.5分类器和十折交叉验证方法对数据样本进行分类实验，

实验中所用到的特征为各特征子集中的特征。

步骤8.3：分类实验总共进行10次，取其平均值作为最终结果。

步骤8.4：将步骤8.2中的C4.5分类器换为IB1和朴素贝叶斯(

Bayesian)分类器，进行步骤8.1、步骤8.2和步骤8.3。

步骤8.5：由实验结果生成各分类器的分类准确率曲线图，如图2所示。

Claims (3)

1.一种采用冗余性动态权重的特征选择方法，其特征是，采用动态更新特征权重的方法，在每一轮特征选择之后，计算候选特征与本轮已选特征间的对称不确定性及与类标签间的三路交互信息，生成权重更新系数，通过权重计算特征的目标函数值，并挑选目标函数值最大的候选特征。

2.如权利要求1所述的采用冗余性动态权重的特征选择方法，其特征是，具体步骤细化如下：

X、Y和Z为离散随机变量，候选特征集为F，候选特征f_i∈F，已选特征集为S，已选特征f_s∈S，类标签C，互信息表示随机变量X与Y共同享有的信息量，定义如式(1)所示：

式中，p(x)为概率密度函数，p(x,y)为联合概率密度函数，互信息表示为熵运算的形式如下：

I(X；Y)＝H(X)-H(X|Y)， (2)

式中，H(X)和H(X|Y)分别为信息熵和条件信息熵；

使用对称不确定性SU(Symmetric Uncertainty)描述候选特征f_i与类标签C间的相关性，得到相关系数，用R(f_i；C)表示，其值越大代表相关性越强，如式(3)所示：

f_i与f_s间的对称不确定性代表特征间冗余性，将其作为候选特征的冗余性系数Redundancy Ratio，用RR(f_i；f_s)表示，其值越大，特征间冗余性越强，其定义如式(4)所示：

三维互信息包括条件互信息、三路交互信息以及联合互信息，条件互信息是指在随机变量Z给定的情况下，X和Y之间的互信息，定义如式(5)所示：

式中，p(x,y,z)表示随机变量X、Y和Z的联合概率密度函数，p(x,y|z)表示当Z给定时X和Y的联合概率密度函数，p(x|z)和p(y|z)表示当Z给定时X和Y的概率密度函数，条件互信息还可以表示成式(6)的形式：

I(X；Y|Z)＝H(X|Z)-H(X|Y,Z)， (6)

式中，H(X|Z)和H(X|Y,Z)分别表示当Z和Y、Z给定情况下，X的条件熵；

三路交互信息表示随机变量X、Y和Z共同享有的信息，其与条件互信息具有如下关系：

I(X；Y；Z)＝I(X；Y|Z)-I(X；Y)， (7)

基于互信息的特征选择算法将f_i、f_s和C间的三路交互信息Interaction Information作为评价f_i和f_s间交互性的指标，用II(f_i；f_s)表示：

II(f_i；f_s)＝I(f_i；f_s；C)＝I(f_i；C|f_s)-I(f_i；C)， (8)

为方便计算，对上式进行归一化，得到特征间的交互性系数Interaction Ratio：用IR(f_i；f_s)表示，其定义如式(9)所示：

当IR(f_i；f_s)取值为正时，f_i和f_s之间存在交互信息，指在f_s给定的情况下，f_i能为分类提供更多有效信息，值越大，交互性越强；为负时，f_i和f_s之间存在冗余；为零时，f_i和f_s间相互独立，互不影响。

3.如权利要求1所述的采用冗余性动态权重的特征选择方法，其特征是，在每一轮特征选择中，根据f_i与f_j的交互性和冗余性信息，动态更新候选特征f_i∈F(i＝1,2,...,n)的权重系数，该权重系数限制了对应候选特征在下一轮选择中的表现能力，权重越大表明其与最近已选特征间交互性越强，冗余性越小，特征权重的更新方法如下：

W(f_i)^k+1＝W(f_i)^k(1+IR(f_i；f_j))(1-βRR(f_i；f_j))k＝1,2,...,K-1， (10)

其中，W(f_i)^k代表候选特征f_i在第k轮挑选中的权重，W(f_i)^k+1代表候选特征f_i根据第k轮所选特征f_j更新得到的下一轮权重，β为系数项，K代表设定的特征选择数目，RR(f_i；f_j)与IR(f_i；f_j)分别为f_i和f_j间的冗余系数和交互系数，由式(10)可知，更新候选特征权重的目的是提高f_i和f_j间交互性，降低f_i和f_j间的冗余性；

f_i与C间的相关性在特征的目标函数中体现，其定义如式(11)所示：

J_DWUR(f_i)^k＝W(f_i)^kSU(f_i；C)k＝1,2,...,K, (11)

上式中，J_DWUR(f_i)^k代表在第k轮挑选中f_i的目标函数值，W(f_i)^k代表f_i在本轮的权重，SU(f_i；C)为f_i与C间的对称不确定性；

在每一轮选择中，算法挑选目标函数值最大的候选特征加入到已选特征集S，并将其作为新的已选特征f_j，继续下一轮的权重更新和特征挑选，直到所有特征被挑选完毕或特征选择数目达到K。最终，算法输出已选特征集S。

Images