CN108764486A - 一种基于集成学习的特征选择方法及装置 - Google Patents

Abstract

本发明涉及一种基于集成学习的特征选择方法，包括：从原始数据集中抽取训练集和验证集；利用训练集对各个基学习器进行预训练，对特征选择结果进行评估，初始化基学习器的投票权重；基于基学习器的投票权重，利用训练集进行多轮集成学习，其中，每轮集成学习包括：根据基学习器的投票权重，将基学习器的特征选择结果进行加权投票，获取集成后的特征选择结果；利用验证集对特征选择结果进行评估，调节基学习器的投票权重。本发明还提供了一种基于集成学习的特征选择装置，上述方法及装置可针对不同原始数据集调节各个基学习器的投票权重，提升集成特征选择方法的普适性。

Description

一种基于集成学习的特征选择方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于集成学习的特征选择方法及装置。

背景技术

在大数据时代下，对于大规模高维数据集，往往很难直接对其进行下一步运算，并且数据集中往往存在无效的特征，影响后续的工作效果，因此需要设计一些合适的特征选择方法，将对后续工作无用的特征筛选出来，对大规模高维数据集进行降维处理。

在集成学习提出以来，研究人员发现，在同一个问题上，通过集成不同的学习模型能获得更好的效果。集成学习已经被广泛应用于文本分类、图像识别等领域。

近几年，研究人员通过集成多个学习模型来进行特征选择，主要可分为异质性(heterogeneous)方法和同质性(homogeneous)方法。异质性方法通过对不同的基学习器的特征选择结果进行综合排序，返回集成后的特征选择结果，即基学习器不同而各个基学习器的训练数据相同；同质性方法中对数据集进行分割，其一是按照样本对数据集进行分割，其二从特征的角度将数据集进行分割，然后通过投票的方式对特征进行选择，即基学习器相同而各个基学习器的训练数据不同。

目前，基于集成学习的特征选择方法中，尤其是异质性方法，每个不同的基学习器对于特征投票的权重是相同的，若其中存在一个基学习器并不适合处理当前的数据集，其所选择的特征子集将可能对后续的工作产生不良影响，使得对各个基学习器的特征选择结果进行排序时，混入部分不够好的特征，导致集成后的效果差。而采取同质性方法时，针对不同的数据集选择何种特征选择方法，仍需研究人员耗费时间进行判断，该方法对于不同数据集缺乏普适性。

发明内容

本发明的目的是提供一种基于集成学习的特征选择方法，可针对不同数据集调节各个基学习器的投票权重，降低不合适处理当前数据集的基学习器对特征选择结果造成的影响，提升集成特征选择方法的普适性。

为了实现上述目的，本发明提供了一种基于集成学习的特征选择方法，包括：

S1、从原始数据集中抽取训练集和验证集；

S2、利用训练集对各个基学习器进行预训练，对预训练后的特征选择结果进行评估，根据各个基学习器的评估结果，初始化基学习器的投票权重；

S3、基于基学习器的投票权重，利用训练集进行多轮集成学习，其中，每轮集成学习包括：

S3-1、根据基学习器的投票权重，将基学习器的特征选择结果进行加权投票，获取集成后的特征选择结果；

S3-2、利用验证集对集成后的特征选择结果进行评估，根据评估结果调节基学习器的投票权重。

优选地，所述步骤S1从原始数据集中抽取训练集时，使用核密度估算函数对原始数据集进行密度偏差抽样，包括：

S1-1、计算原始数据集的核密度估算函数，获得样本的密度偏差概率，规定抽样样本大小；

S1-2、将各个样本的密度偏差概率映射为每个样本被抽中的概率，按照映射后的样本概率对原始数据集进行抽样。

优选地，所述步骤S2中对预训练后的特征选择结果进行评估，根据各个基学习器的评估结果，初始化基学习器的投票权重，包括：

根据各个基学习器的预训练结果，计算获得各个基学习器的分类准确率；

将基学习器按照其分类准确率进行排序，使得acc₁＞acc₂＞...＞acc_m，其中，m为基学习器的总个数，acc_i为第i个基学习器的分类准确率，i＝1、2、…、m，对于第i个基学习器的初始权重w_i的赋值公式如下：

w_i＝1+α*acc_i；

其中，α∈{+1,-1}，若i≥m/2，则α＝+1，否则，α＝-1。

优选地，当m＝4时，对于i∈{1,2}，α＝+1，对于i∈{3,4}，α＝-1。

优选地，所述步骤S3-2中，利用验证集对集成后的特征选择结果进行评估，根据评估结果调节基学习器的投票权重，包括：

根据集成后的特征选择结果计算获得各个基学习器本轮集成学习最终结果的分类准确率acc_present；

通过以下公式调节基学习器的投票权重：

w′_i＝w_i+(acc_present-acc_previous)γ_i；

其中，acc_previous表示上一轮集成学习最终结果的分类准确率，γ_i表示每轮学习投票权重调整的步长。

优选地，所述步骤S3-2包括：利用验证集对集成后的特征选择结果进行评估，根据评估结果判断能否进入下一轮集成学习，若本轮集成学习的分类准确率低于上一轮的分类准确率，则退出集成学习，返回上一轮的结果；否则，根据评估结果调节基学习器的投票权重，进入下一轮集成学习。

优选地，所述步骤S2和步骤S3-2中，通过以下公式计算分类准确率：

其中，accuracy表示分类准确率，k表示预测正确的样本数，n表示总样本数。

优选地，所述步骤S3-2中调节基学习器的投票权重时，若本轮集成学习为首轮集成学习，acc_previous设置为50％。

优选地，所述步骤S3中经过多轮集成学习后，根据集成后的特征选择结果，取票数最高的前log₂N个返回的特征，其中N表示原始数据集的特征总数。

本发明还提供了一种基于集成学习的特征选择装置，包括：

抽样模块，用于从原始数据集中抽取训练集和验证集；

预训练模块，用于利用训练集对各个基学习器进行预训练，对预训练后的特征选择结果进行评估，根据各个基学习器的评估结果，初始化基学习器的投票权重；

集成学习模块，用于基于基学习器的投票权重，利用训练集进行多轮集成学习，其中，每轮集成学习包括：

根据基学习器的投票权重，将基学习器的特征选择结果进行加权投票，获取集成后的特征选择结果；以及

利用验证集对集成后的特征选择结果进行评估，根据评估结果调节基学习器的投票权重。

本发明的上述技术方案具有如下优点：本发明提供了一种基于集成学习的特征选择方法及装置，从原始数据集中抽取训练集和验证集，利用训练集和验证集经过多轮集成学习训练不断调节、优化各个基学习器的投票权重，达到选取最优特征的目的。本发明能自适应不同的数据集，使得效果较好的基学习器占有更大的投票权重，提升该基学习器在最终结果中的影响，反之，效果较差的基学习器的投票权重更小，但未完全失去对最终结果的影响。与简单投票的bagging集成方法相比，本发明能在尽可能提升效果好的基学习器的投票优势的同时，保留效果较差的基学习器的特征选择结果，从而提升利用本发明得到的特征子集的分类性能。同时，由于是对抽样后的原始数据集进行训练，在保证特征选择效果的前提下，可减少多轮训练造成的时间消耗。

附图说明

图1是本发明实施例一中特征选择方法步骤框图；

图2是本发明实施例一中特征选择方法与其他方法的效果比较图；

图3是本发明实施例五中特征选择装置结构示意图。

图中：100：抽样模块；200：预训练模块；300：集成学习模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1和所示，本发明实施例提供的一种基于集成学习的特征选择方法，包括：

S1、从原始数据集中抽取训练集和验证集；

S2、利用训练集对各个基学习器进行预训练，对预训练后的特征选择结果进行评估，根据各个基学习器的评估结果，初始化基学习器的投票权重；

S3、基于基学习器的投票权重，利用训练集进行多轮集成学习，其中，每轮集成学习包括：

S3-1、根据基学习器的投票权重，将基学习器的特征选择结果进行加权投票，获取集成后的特征选择结果；

S3-2、利用验证集对集成后的特征选择结果进行评估，根据评估结果调节基学习器的投票权重。

优选地，步骤S3-2包括：利用验证集对集成后的特征选择结果进行评估，根据评估结果判断能否进入下一轮集成学习，若当前训练效果低于上一轮的训练效果，即本轮集成学习的分类准确率低于上一轮的集成学习的分类准确率，则退出集成学习，返回上一轮的结果；否则，根据评估结果调节基学习器的投票权重，进入下一轮集成学习可根据测试结果进行判断，判断是否需进行下一轮集成学习。当然，也可以根据实际需要，预先设置具体执行几轮集成学习。

在一个优选的实施例中，采用的基学习器分别为Correlation-based featureselection(CFS)、Fast Correlation-based feature selection(FCBF)、informationgain(IG)和Relief-F，由于IG和Relief-F为特征排序算法，令它们返回的特征数量与CFS返回的特征数量相同。

本发明利用测试集对上述基于集成学习的特征选择方法的效果进行了测试。优选地，可在抽取训练集后，将剩下的原始数据集分为验证集和测试集。单个最优基学习器单独集成的结果，以及bagging集成方法和本发明提供的特征选择方法的结果如图2所示，图中，原始数据集1名称为yeast，原始数据集2名称为spambase，原始数据集3名称为breast-canser，原始数据集4名称为zoo，各个原始数据集选择UCI标准测试数据集，纵坐标表示分类准确率。由图2可知，采用本方法对多个不同的原始数据集进行多轮集成学习训练后，最终集成的效果与单个最优基学习器的效果齐平，甚至更好，且优于简单投票的bagging集成方法。

综上，本发明所提供的特征选择方法能够使得效果较好的基学习器占有更大的投票权重，提升该基学习器在最终结果中的影响，反之，效果较差的基学习器的投票权重更小，但未完全失去对最终结果的影响。该方法通过多轮集成学习，根据不同的数据集自适应调节各个基学习器的投票权重，避免不适合当前数据集的基学习器所选择的特征对结果造成不良影响。同时，由于是对抽样后的原始数据集进行训练，在保证特征选择效果的前提下，能够减少多轮集成学习训练中造成的时间消耗。

实施例二

本实施例二与实施例一基本相同，相同之处不再赘述，不同之处在于：

在步骤S1中对原始数据集进行抽样，抽取训练集时，为选取到具有代表性的样本作为训练集，引入核密度估算函数，使用核密度估算函数对原始数据集进行密度偏差抽样。

优选地，本实施例中使用核密度估算函数对原始数据集进行密度偏差抽样包括：

S1-1、计算原始数据集的核密度估算函数，获得样本的密度偏差概率，规定抽样样本大小。优选地，可利用Python的sklearn包计算原始数据集的核密度估算函数，获得样本点(x_i,y)在当前类别y下的密度估计值KDE_i，即密度偏差概率。

S1-2、将各个样本的密度偏差概率映射为每个样本被抽中的概率，按照映射后的样本概率对原始数据集进行抽样。

根据核密度估算函数对原始数据集进行密度偏差抽样，可提高数据空间中稠密地区的抽样概率，更利于发现更具代表性的样本，降低抽样对特征选择的影响，使得各个基学习器能更高效地选择特征。

实施例三

本实施例三与实施例二基本相同，相同之处不再赘述，不同之处在于：

步骤S2根据对预训练后的特征选择结果进行评估，根据各个基学习器的评估结果初始化基学习器的投票权重，包括：

根据各个基学习器的预训练后的特征选择结果，计算获得各个基学习器的分类准确率，以便后续通过分类准确率对预训练后的特征选择结果进行评估。

获得分类准确率后，将各个基学习器按照其分类准确率进行排序，使得acc₁＞acc₂＞...＞acc_m，其中，m为基学习器的总个数，acc_i为第i个基学习器的分类准确率，i＝1、2、…、m，对于第i个基学习器的初始权重w_i的赋值公式如下：

w_i＝1+α*acc_i；

其中，α∈{+1,-1}，若i≥m/2，则α＝+1，否则，α＝-1，使得初始化时，预训练效果好的基学习器能有更高的投票权重。具体到本实施例中，共有4个基学习器，m＝4，α的取值为：对于i∈{1,2}，α＝+1，对于i∈{3,4}，α＝-1。

优选地，本实施例中对特征选择效果的评估指标为特征选择后分类器对原始数据集的分类准确率，若特征选择后分类准确率高，则反映出特征选择效果好，特征选择方法有效性高。分类准确率的计算公式如下：

其中，accuracy表示分类准确率，k表示预测正确的样本数，n表示总样本数。本实施例中采用抽样而得的训练集作为样本集，n即为训练集中包含的样本数。

实施例四

本实施例四与实施例三基本相同，相同之处不再赘述，不同之处在于：

每完成一轮集成学习，本方法会对集成后的特征选择结果进行评估，评估依然采用分离准确率，得到本轮集成特征选择后的分类准确率，同时还保留上一轮集成特征选择后的分类准确率，通过两轮集成学习训练的分类准确率进行调节权重。

步骤S3-2中，利用验证集对集成后的特征选择结果进行评估，根据评估结果调节基学习器的投票权重，包括：

根据集成后的特征选择结果计算获得各个基学习器本轮集成学习最终结果的分类准确率acc_present。

通过以下公式调节基学习器的投票权重：

w′_i＝w_i+(acc_present-acc_previous)γ_i；

其中，acc_present表示本轮集成学习最终结果的分类准确率，acc_previous表示上一轮集成学习最终结果的分类准确率，γ_i表示每轮学习投票权重调整的步长，可根据需要进行预设。

若本轮集成学习为首轮集成学习，不存在上一轮集成学习最终结果的分类正确率，则将acc_previous设置为50％，带入对本轮集成学习最终结果的分类准确率acc_present进行计算。分类准确率的计算方法在实施例三中已进行说明，在此不再重复。

经过多轮集成学习后，根据集成后的特征选择结果，对返回的特征，取票数最高的前log₂N个返回的特征，其中N表示原始数据集的特征总数。

本发明所采用的特征选择方法在每一次调节权重的过程中将每轮集成学习后的评估结果与上一轮的评估结果比较，能够防止出现过度调节权重的情况。

实施例五

如图3所示，本发明实施例提供的一种基于集成学习的特征选择装置，包括：

抽样模块100，用于从原始数据集中抽取训练集和验证集；

预训练模块200，用于利用训练集对各个基学习器进行预训练，对预训练后的特征选择结果进行评估，根据各个基学习器的评估结果，初始化基学习器的投票权重；

集成学习模块300，用于基于基学习器的投票权重，利用训练集进行多轮集成学习，其中，每轮集成学习包括：

根据基学习器的投票权重，将基学习器的特征选择结果进行加权投票，获取集成后的特征选择结果；以及

利用验证集对集成后的特征选择结果进行评估，根据评估结果调节基学习器的投票权重。

综上所述，本发明提供了一种基于集成学习的特征选择方法及装置，能够根据不同的原始数据集调整基学习器的投票权重，使得效果好的基学习器能有更高的投票权重，降低效果不好的基学习器的投票权重，最终达到选取最优特征的目的。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于集成学习的特征选择方法，其特征在于，包括：

S1、从原始数据集中抽取训练集和验证集；

S2、利用训练集对各个基学习器进行预训练，对预训练后的特征选择结果进行评估，根据各个基学习器的评估结果，初始化基学习器的投票权重；

S3、基于基学习器的投票权重，利用训练集进行多轮集成学习，其中，每轮集成学习包括：

S3-1、根据基学习器的投票权重，将基学习器的特征选择结果进行加权投票，获取集成后的特征选择结果；

S3-2、利用验证集对集成后的特征选择结果进行评估，根据评估结果调节基学习器的投票权重。

2.根据权利要求1所述的特征选择方法，其特征在于，所述步骤S1从原始数据集中抽取训练集时，使用核密度估算函数对原始数据集进行密度偏差抽样，包括：

S1-1、计算原始数据集的核密度估算函数，获得样本的密度偏差概率，规定抽样样本大小；

S1-2、将各个样本的密度偏差概率映射为每个样本被抽中的概率，按照映射后的样本概率对原始数据集进行抽样。

3.根据权利要求1所述的特征选择方法，其特征在于，所述步骤S2中对预训练后的特征选择结果进行评估，根据各个基学习器的评估结果，初始化基学习器的投票权重，包括：

根据各个基学习器的预训练结果，计算获得各个基学习器的分类准确率；

将基学习器按照其分类准确率进行排序，使得acc₁＞acc₂＞...＞acc_m，其中，m为基学习器的总个数，acc_i为第i个基学习器的分类准确率，i＝1、2、…、m，对于第i个基学习器的初始权重w_i的赋值公式如下：

w_i＝1+α*acc_i；

其中，α∈{+1,-1}，若i≥m/2，则α＝+1，否则，α＝-1。

4.根据权利要求3所述的特征选择方法，其特征在于：当m＝4时，对于i∈{1,2}，α＝+1，对于i∈{3,4}，α＝-1。

5.根据权利要求3所述的特征选择方法，其特征在于，所述步骤S3-2中，利用验证集对集成后的特征选择结果进行评估，根据评估结果调节基学习器的投票权重，包括：

根据集成后的特征选择结果计算获得各个基学习器本轮集成学习最终结果的分类准确率acc_present；

通过以下公式调节基学习器的投票权重：

w′_i＝w_i+(acc_present-acc_previous)γ_i；

其中，acc_previous表示上一轮集成学习最终结果的分类准确率，γ_i表示每轮学习投票权重调整的步长。

6.根据权利要求5所述的特征选择方法，其特征在于，所述步骤S3-2包括：利用验证集对集成后的特征选择结果进行评估，根据评估结果判断能否进入下一轮集成学习，若本轮集成学习的分类准确率低于上一轮的分类准确率，则退出集成学习，返回上一轮的结果；否则，根据评估结果调节基学习器的投票权重，进入下一轮集成学习。

7.根据权利要求6所述的特征选择方法，其特征在于：所述步骤S2和步骤S3-2中，通过以下公式计算分类准确率：

其中，accuracy表示分类准确率，k表示预测正确的样本数，n表示总样本数。

8.根据权利要求7所述的特征选择方法，其特征在于：所述步骤S3-2中调节基学习器的投票权重时，若本轮集成学习为首轮集成学习，acc_previous设置为50％。

9.根据权利要求8所述的特征选择方法，其特征在于：所述步骤S3中经过多轮集成学习后，根据集成后的特征选择结果，取票数最高的前log₂N个返回的特征，其中N表示原始数据集的特征总数。

10.一种基于集成学习的特征选择装置，其特征在于，包括：

抽样模块，用于从原始数据集中抽取训练集和验证集；

预训练模块，用于利用训练集对各个基学习器进行预训练，对预训练后的特征选择结果进行评估，根据各个基学习器的评估结果，初始化基学习器的投票权重；

集成学习模块，用于基于基学习器的投票权重，利用训练集进行多轮集成学习，其中，每轮集成学习包括：

根据基学习器的投票权重，将基学习器的特征选择结果进行加权投票，获取集成后的特征选择结果；以及

利用验证集对集成后的特征选择结果进行评估，根据评估结果调节基学习器的投票权重。