CN106650936A - 粗糙集属性约简的方法 - Google Patents

Abstract

本发明涉及一种粗糙集属性约简的方法，属于数据挖掘与知识发现技术领域。本发明提出的属性约简的方法在加强局部搜索能力的同时，保持了全局寻优的特性，保证了所求约简既含较少的属性又保证分类质量，能够获得最佳的搜索效果；该方法缩短了属性约简的计算时间，并提高了决策表属性约简结果的准确性。

Description

粗糙集属性约简的方法

技术领域

本发明涉及数据挖掘与知识发现技术领域，具体涉及一种粗糙集属性约简的方法。

背景技术

Wong S.K.M.和Ziarko在1985年已经证明找出一个信息系统或决策表的最小约简是一个NP-hard问题，这是由数据组合爆炸引起的，不存在统一、规范的高效方法，对大型数据库，最小约简事实上并不存在，得到了只是近似约简。为研究更为有效的约简方法，有效地获取较优的属性约简，并降低实现的时间复杂度，寻求快速的约简方法是目前粗糙集理论的主要研究课题之一。

目前最常见的粗糙集属性约简的方法有：

1)基于区分矩阵的属性约简算法

该算法直观易于理解，但是在处理大量数据集合时，算法的时间复杂度和空间复杂度成指数增长，约简的速度非常慢。

2)基于属性依赖度的约简算法

该算法在对大量数据集合的约简时，效率较高，但是该算法只得到了条件属性的核，并没有得到属性的一个约简，且不适合不相容系统的约简。

3)基于属性重要度的约简算法

该算法和基于属性依赖度的约简算法相比，能够更好的处理属性满足确定性关系，且有强烈因果关系的属性集。但该算法并能不保证一定能够找到信息系统的最优解。

4)基于遗传算法的属性约简算法

遗传约简算法大大提高了决策表约简结果的准确性和算法的高效性，但是该算法不能够处理不相容和不确定关系的信息系统。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何设计一种新的粗糙集属性约简的方法，以便能够提高属性约简准确性和效率，又能够处理不相容和不确定关系的信息系统。

(二)技术方案

为了解决上述技术问题，本发明提供了一种粗糙集属性约简的方法，所述方法包括以下步骤：首先，利用属性核本身的特征确定初始种群，建立适应度函数；然后，利用遗传算法找到条件属性集合中适应值最大的染色体作为遗传的优化解集合；最后，使用所述遗传算法生成初始信息素，利用蚁群算法的局部寻优和正反馈机制得到粗糙集属性约简的最优解。

优选地，所述方法具体包括以下步骤：

S₁：

S₁₁：染色体编码

采用长度为N的二进制串来表示一个染色体，“l”表示该染色体包含对应的条件属性，“0”表示该染色体不包含对应的条件属性；

S₁₂：确定初始种群

利用属性核本身的特征对初始种群进行限制，在每个染色体中，将属性核所在的位置上的基因强制取值为“1”；所述属性核是所有属性约简的交集；

S₁₃：建立适应度函数

定义染色体的适应度函数为：F(v)＝|C|-L_v，其中：v表示一条染色体，即一个个体，|C|是染色体所代表的条件属性集中属性的个数；L_v是染色体中所包含的条件属性的个数；

S₁₄：判断是否满足终止条件

终止条件：如果连续繁殖W代的最优条件属性的适应值没有变化时，则结束，否则转步骤S₁₅；W为整数，是预设阈值；

S₁₅：选择算子

a1)设条件属性集合的长度为N，每个属性的适应度为F_i，i＝1,2,…,N，计算条件属性集合中每个属性在下一代条件属性集合中的期望生存数目

b1)用N_i的整数部分确定各个对应条件属性在下一代条件属性集合中的生存数目，其中表示取不大于N_i的最大整数，从确定下一代条件属性集合中的个属性；

c1)以表示各个条件属性新的适应度，选择算子随机确定下一代条件属性集合中还未确定的个条件属性；

S₁₆：交叉算子

采用多点位单基因交叉的方式，用父代最优解T_max与子代染色体池T进行交叉操作：

a2)在染色体池T中选择进行交叉操作的条件属性集合T_i和属性约简的最优解T_max；

b2)随机生成交叉片段和交叉区域；

c2)将T_i的交叉区域加到T_max前面，删除与交叉区域相同的条件属性，得到一个新的条件属性集合；

d2)将T_max的交叉区域加到T_i前面，删除与交叉区域相同的条件属性，得到另一个新的条件属性集合；

e2)若两个染色体的适应度都小于它们的父代适应度，则用父代染色体替换新生子代染色体；

S₁₇：变异算子

采用基本位变异算子：对条件属性的每一个基因，即二进制的0或1，根据变异概率指定其为变异点，对每一个指定的变异点，条件属性核对应的基因位不发生变异，其它的则对其基因值做取反运算，从而产生出一个新的条件属性集合；

S₁₈：复制算子

在得到新一代条件属性集合之后，如果其中适应值最小的属性集合的适应值小于上一代适应值最大的属性集合的适应值，则用上一代适应值最大的属性集合代替新一代适应值最小的属性集合；

S₂：

选取遗传算法终止时条件属性集合中适应值最大的10％的染色体作为遗传的优化解集合，以从剩余可选条件属性中选择属性i的概率作为蚁群算法初始信息素的一部分，初始化所有属性节点之间的信息素的浓度τ_初始为：

其中，x表示优化解集合中属性j选择属性i的总次数，y表示优化解集合中解的个数，η_i表示属性i对属性j的重要性；

a3)将m个蚂蚁分别置于n个属性节点上，设定最大迭代次数；

b3)若有蚂蚁成功地将属性i添加到属性集合中，则为属性节点间的信息素浓度赋予增量Δτ_i＝C_e×K；否则，若属性i未被添加到属性集合中，则为属性节点间的信息素浓度赋予增量Δτ_i＝C_p×K，其中K表示选择属性所用的时间开销，C_e和C_p表示相应的奖惩因子；

c3)更新所有属性节点之间的信息素浓度τ_i(t)，即τ_i(t)＝τ_i(t)+Δτ_i；

d3)在属性约简中，下一个属性的选择只能由已经选择的属性来决定，设R_k为已选属性的集合，k为迭代次数，i为已选属性，j为待选属性，根据各个属性之间的信息素分布情况，计算蚂蚁在R_k为已选属性的集合情况下，从剩余可选条件属性中选择属性j的概率P(j|R_k)：

其中：集合U表示第k次迭代后剩余可选条件属性；τ_ij表示属性节点i到属性节点j的路径信息素浓度值；η_ij表示属性j对属性i的重要性；α表示两个属性节点(i,j)之间的信息素浓度值的权重；β表示属性j对属性i的重要性的权重，τ_ij ^αη_ij ^β表示属性i对属性j的期望，表示集合R_k对属性j的期望，表示集合R_k从U中选择任何一个可选条件属性的期望值和；

基于得到的最大概率值为每只蚂蚁分别选取下一个属性；

e3)根据所有蚂蚁选取的属性，计算对应的适应度函数F(v)，输出F(v)的最大值及其所对应的属性集合，即最小约简；

f3)若达到最大迭代次数，或者迭代出现退化现象，则当前得到的最优解即为所要求得的属性集合的最小约简；否则，清空所有蚂蚁的蚁集，跳转到步骤b3)。

(三)有益效果

本发明提出的属性约简的方法在加强局部搜索能力的同时，保持了全局寻优的特性，保证了所求约简既含较少的属性又保证分类质量，能够获得最佳的搜索效果；该方法缩短了属性约简的计算时间，并提高了决策表属性约简结果的准确性。

附图说明

图1为本发明实施例的方法总体流程图；

图2为本发明实施例的方法具体流程图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明实施例设计了一种粗糙集属性约简的方法，该方法能够提高属性约简准确性和效率，又能够处理不相容和不确定关系的信息系统。如图1所示，该方法包括以下步骤：首先，利用属性核本身的特征确定初始种群，建立适应度函数；然后，引入遗传算法快速找到条件属性集合中适应值最好的个体作为遗传的优化解集合；最后，使用上述遗传算法生成初始信息素，利用蚁群算法的局部寻优和正反馈机制得到粗糙集属性约简的最优解。本发明提出的属性约简的方法在加强局部搜索能力的同时，保持了全局寻优的特性，保证了所求约简既含较少的属性又保证分类质量，能够获得最佳的搜索效果；该方法缩短了属性约简的计算时间，并提高了决策表属性约简结果的准确性。

具体而言，如图2所示，本发明实施例的方法包括以下步骤：

S₁：

S₁₁：染色体编码

采用长度为N的二进制串来表示一个染色体，“l”表示该染色体包含对应的条件属性，“0”表示该染色体不包含对应的条件属性。

S₁₂：确定初始种群

种群的初始化是遗传算法的关键，传统的遗传算法确定初始种群多半采取随机生成法形成染色体方案，以致于迭代开始就可能形成许多不可行的方案，要进行大量的计算后才能得到优化的方案，这在很大程度上降低了算法的运算效率。

本发明对传统遗传算法进行改进，改进后能够减少随机产生的种群初始值的盲目性，提高算法的效率。改进后的初始种群的产生方式如下：

利用属性核本身的特征(即属性核是所有属性约简的交集)对初始种群进行限制。由于每一种属性的约简都包括了属性核，因此，在每个染色体中，将属性核所在的位置上的基因强制取值为“1”。

S₁₃：建立适应度函数

由属性约简的定义知道，染色体的适应度主要取决于两个方面：所含条件属性的个数(应该尽量少)和区分能力(应尽量强)；因此定义染色体的适应度函数为：F(v)＝|C|-L_v。其中：v表示一条染色体，即一个个体，|C|是染色体所代表的条件属性集中属性的个数；L_v是染色体中所包含的条件属性的个数。

S₁₄：判断是否满足终止条件

算法终止条件：如果当连续繁殖W代的最优条件属性的适应值没有变化时，则算法停止，否则转步骤S₁₅。

S₁₅：选择算子

由于操作简单，传统的遗传算法大多采用“轮盘赌”选择算子。但是该方法一方面容易导致局部最优而无法进化，另一方面无法体现个体优劣，造成搜索精度不够。

本发明对传统遗传算法的“选择算子”进行改进，改进后的选择方式可确保适应度比平均适应度大的一些个体一定能够被遗传到下一代群体中，所以该方法的选择误差较小。具体操作如下：

a)设条件属性集合的长度为N，每个属性的适应度为F_i(i＝1,2,…,N)，计算条件属性集合中每个属性在下一代条件属性集合中的期望生存数目

b)用N_i的整数部分确定各个对应条件属性在下一代条件属性集合中的生存数目，其中表示取不大于N_i的最大整数，这样可确定下一代条件属性集合中的个属性；

c)以为各个条件属性新的适应度，用“轮盘赌”选择算子随机确定下一代条件属性集合中还未确定的个条件属性。

S₁₆：交叉算子

常用的交叉方式有一点交叉、两点交叉、多点交叉和一致交叉等。本文对遗传算法进行改进，采用多点位单基因交叉的方式，用父代最优解T_max与子代染色体池进行交叉操作，该方法能够避免算法过早地丧失进化能力。具体步骤如下：

a)在染色体池T中选择进行交叉操作的条件属性集合T_i和属性约简的最优解T_max；

b)随机生成交叉片段和交叉区域；

c)将T_i的交叉区域加到T_max前面，删除与交叉区域相同的条件属性，得到一个新的条件属性集合；

d)将T_max的交叉区域加到T_i前面，删除与交叉区域相同的条件属性，得到另一个新的条件属性集合；

e)此时计算上述两个染色体的适应度，若它们的适应度都小于它们的父代适应度，则用父代染色体替换新生子代染色体。

S₁₇：变异算子

采用基本位变异算子，其具体执行过程为：对条件属性的每一个基因(二进制的0或者1)，根据变异概率指定其为变异点，对每一个指定的变异点，条件属性核对应的基因位不发生变异，其它则对其基因值做取反运算，从而产生出一个新的条件属性集合。

S₁₈：复制算子

在得到新一代条件属性集合之后，如果其中最坏的属性集合(适应值最小)的适应值小于上一代最好的属性集合(适应值最大)的适应值，则用上一代最好的属性集合代替新一代最坏的属性集合，该方法确保算法收敛。

S₂：

因为蚁群算法在初始时刻比较缺乏信息素，导致寻优速度不理想。因此，先使用上述遗传算法生成初始信息素，提高初期求解的运行速度。遗传算法的求解结果向蚁群算法信息素的转化过程为：

选取遗传算法终止时条件属性集合中适应值最大的10％的染色体作为遗传的优化解集合，以从剩余可选条件属性中选择属性i的概率作为蚁群算法初始信息素的一部分。初始化所有属性节点之间的信息素的浓度τ_初始为：

其中，x表示优化解集合中属性j选择属性i的总次数，y表示优化解集合中解的个数，η_i表示属性i对属性j的重要性。

改进的蚁群算法描述如下：

a)将m个蚂蚁分别置于n个属性节点上，利用上述遗传算法得到初始所有属性之间的信息素浓度，并设定最大迭代次数；

b)若有蚂蚁成功地将属性i添加到属性集合中，则为属性节点间的信息素浓度赋予增量Δτ_i＝C_e×K；否则，若属性i未被添加到属性集合中，则为属性节点间的信息素浓度赋予增量

Δτ_i＝C_p×K。其中K表示选择属性所用的时间开销，C_e和C_p表示相应的奖惩因子；

c)更新所有属性节点之间的信息素浓度τ_i(t)，即τ_i(t)＝τ_i(t)+Δτ_i；

d)在属性约简中，下一个属性的选择只能由已经选择的属性来决定。设R_k为已选属性的集合，k为迭代次数，i为已选属性，j为待选属性。根据各个属性之间的信息素分布情况，计算蚂蚁在R_k为已选属性的集合情况下，从剩余可选条件属性中选择属性j的概率P(j|R_k)：

其中：集合U表示第k次迭代后剩余可选条件属性；τ_ij表示属性节点i到属性节点j的路径信息素浓度值；η_ij表示属性j对属性i的重要性；α表示两个属性节点(i,j)之间的信息素浓度值的权重；β表示属性j对属性i的重要性的权重。因此，τ_ij ^αη_ij ^β可以认为是属性i对属性j的期望，表示集合R_k对属性j的期望，表示集合R_k从U中选择任何一个可选条件属性的期望值和。

基于得到的最大概率值P为每只蚂蚁分别选取下一个属性；

e)根据所有蚂蚁选取的属性，计算对应的目标函数(j即适应度函数)F(v)，输出F(v)的最大值及其所对应的属性集合，即最小约简；

f)若达到最大迭代次数，或者迭代出现退化现象，则当前得到的最优解即为所得的属性集合的最小约简；否则，清空所有蚂蚁的蚁集，跳转到步骤S₂的b)。

改进后的蚁群算法和改进前的蚁群算法相比，在步骤S₂的b)和的c)中引进了奖惩因子C_e和C_p，提高了算法的收敛速度，使最小约简不会陷入局部最优。

可以看出，本发明中的关键点在于：

1、将属性的重要性度量作为启发式信息

以信息系统的核为出发点，根据各个属性重要度，依次选择最重要的属性加入核中，直到该属性集合是一个约简为止。

2、提出一种改进的启发式遗传算法

对经典遗传算法进行改进，对染色体进行编码，确定初始种群，通过构建新的交叉算子和变异算子来引入启发式信息。

3、基于改进的蚁群算法对种群进行修复

对经典蚁群算法进行改进，利用蚁群算法具有全局优化和收敛速度快的特点，将改进后的蚁群算法作为修正算子，在保证可行解的情况下快速得到最优解，并将最优个体复制到下一代种群。

因此，本发明提出的属性约简的方法在加强局部搜索能力的同时，保持了全局寻优的特性，保证了所求约简既含较少的属性又保证分类质量，能够获得最佳的搜索效果；该方法缩短了属性约简的计算时间，并提高了决策表属性约简结果的准确性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (2)

1.一种粗糙集属性约简的方法，其特征在于，所述方法包括以下步骤：首先，利用属性核本身的特征确定初始种群，建立适应度函数；然后，利用遗传算法找到条件属性集合中适应值最好的染色体作为遗传的优化解集合；最后，使用所述遗传算法生成初始信息素，利用蚁群算法的局部寻优和正反馈机制得到粗糙集属性约简的最优解。

2.如权利要求1所述的粗糙集属性约简的方法，其特征在于，所述方法具体包括以下步骤：

S₁：

S₁₁：染色体编码

采用长度为N的二进制串来表示一个染色体，“l”表示该染色体包含对应的条件属性，“0”表示该染色体不包含对应的条件属性；S₁₂：确定初始种群

利用属性核本身的特征对初始种群进行限制，在每个染色体中，将属性核所在的位置上的基因强制取值为“1”；所述属性核是所有属性约简的交集；

S₁₃：建立适应度函数

定义染色体的适应度函数为：F(v)＝|C|-L_v，其中：v表示一条染色体，即一个个体，|C|是染色体所代表的条件属性集中属性的个数；L_v是染色体中所包含的条件属性的个数；

S₁₄：判断是否满足终止条件

终止条件：如果当连续繁殖W代的最优条件属性的适应值没有变化时，则算法停止，否则转步骤S₁₅；W为整数，是预设阈值；

S₁₅：选择算子

a1)设条件属性集合的长度为N，每个属性的适应度为F_i，i＝1,2,…,N，计算条件属性集合中每个属性在下一代条件属性集合中的期望生存数目

$N_i=\frac{N*F_i}{\underset{i=1}{\overset{N}{\Σ}}{F}_i}---\left(1\right)$

b1)用N_i的整数部分确定各个对应条件属性在下一代条件属性集合中的生存数目，其中表示取不大于N_i的最大整数，从确定下一代条件属性集合中的个属性；

c1)以表示各个条件属性新的适应度，选择算子随机确定下一代条件属性集合中还未确定的个条件属性；S₁₆：交叉算子

采用多点位单基因交叉的方式，用父代最优解T_max与子代染色体池T进行交叉操作：

a2)在染色体池T中选择进行交叉操作的条件属性集合T_i和属性约简的最优解T_max；

b2)随机生成交叉片段和交叉区域；

c2)将T_i的交叉区域加到T_max前面，删除与交叉区域相同的条件属性，得到一个新的条件属性集合；

d2)将T_max的交叉区域加到T_i前面，删除与交叉区域相同的条件属性，得到另一个新的条件属性集合；

e2)若两个染色体的适应度都小于它们的父代适应度，则用父代染色体替换新生子代染色体；

S₁₇：变异算子

采用基本位变异算子：对条件属性的每一个基因，即二进制的0或1，根据变异概率指定其为变异点，对每一个指定的变异点，条件属性核对应的基因位不发生变异，其它的则对其基因值做取反运算，从而产生出一个新的条件属性集合；

S₁₈：复制算子

在得到新一代条件属性集合之后，如果其中适应值最小的属性集合的适应值小于上一代适应值最大的属性集合的适应值，则用上一代适应值最大的属性集合代替新一代适应值最小的属性集合；

S₂：

选取遗传算法终止时条件属性集合中适应值最大的10％的染色体作为遗传的优化解集合，以从剩余可选条件属性中选择属性i的概率作为蚁群算法初始信息素的一部分，初始化所有属性节点之间的信息素的浓度τ_初始为：

其中，x表示优化解集合中属性j选择属性i的总次数，y表示优化解集合中解的个数，η_i表示属性i对属性j的重要性；

a3)将m个蚂蚁分别置于n个属性节点上，设定最大迭代次数；

b3)若有蚂蚁成功地将属性i添加到属性集合中，则为属性节点间的信息素浓度赋予增量Δτ_i＝C_e×K；否则，若属性i未被添加到属性集合中，则为属性节点间的信息素浓度赋予增量Δτ_i＝C_p×K，其中K表示选择属性所用的时间开销，C_e和C_p表示相应的奖惩因子；

c3)更新所有属性节点之间的信息素浓度τ_i(t)，即τ_i(t)＝τ_i(t)+Δτ_i；

d3)在属性约简中，下一个属性的选择只能由已经选择的属性来决定，设R_k为已选属性的集合，k为迭代次数，i为已选属性，j为待选属性，根据各个属性之间的信息素分布情况，计算蚂蚁在R_k为已选属性的集合情况下，从剩余可选条件属性中选择属性j的概率P(j|R_k)：

$P\left(j\right|R_k)=\left\{\begin{array}{cc}\frac{{\mathrm{\Σ}}_{i\∈R_k}{{\mathrm{\τ}}_{ij}}^{\mathrm{\α}}{{\mathrm{\η}}_{ij}}^{\mathrm{\β}}}{{\mathrm{\Σ}}_{m\∈U}{\mathrm{\Σ}}_{i\∈R_k}{{\mathrm{\τ}}_{im}}^{\mathrm{\α}}{{\mathrm{\η}}_{im}}^{\mathrm{\β}}},& j\∈U\\ 0,& j\∉U\end{array}\right.---\left(3\right)$

其中：集合U表示第k次迭代后剩余可选条件属性；τ_ij表示属性节点i到属性节点j的路径信息素浓度值；η_ij表示属性j对属性i的重要性；α表示两个属性节点(i,j)之间的信息素浓度值的权重；β表示属性j对属性i的重要性的权重，τ_ij ^αη_ij ^β表示属性i对属性j的期望，表示集合R_k对属性j的期望，表示集合R_k从U中选择任何一个可选条件属性的期望值和；

基于得到的最大概率值为每只蚂蚁分别选取下一个属性；

e3)根据所有蚂蚁选取的属性，计算对应的适应度函数F(v)，输出F(v)的最大值及其所对应的属性集合，即最小约简；

f3)若达到最大迭代次数，或者迭代出现退化现象，则当前得到的最优解即为所要求得的属性集合的最小约简；否则，清空所有蚂蚁的蚁集，跳转到步骤b3)。