CN102262682B - 基于粗糙分类知识发现的快速属性约简方法 - Google Patents

Abstract

一种基于粗糙分类知识发现的快速属性约简方法，涉及数据处理技术领域，所解决的是简化约简原理，最快压缩冗余数据的技术问题。该方法的具体步骤如下：1）在条件属性集中找出核属性组成核属性集，余下的条件属性组成待选属性集；2）判断核属性集是否为数据集的约简解，如果是则属性约简即告完成；3）以决策属性集的分类知识为标准评价各待选属性的分类能力，找出与核属性集组合后的分类知识相对决策属性集的分类知识一致性最高的待选属性移至核属性集；4）判断已选属性集是否为数据集的约简解，如果是则属性约简即告完成，如果不是则转至步骤3。本发明提供的方法，特别适用于高维数据集。

Description

基于粗糙分类知识发现的快速属性约简方法

技术领域

本发明涉及数据处理技术，特别是涉及一种基于粗糙分类知识发现的快速属性约简方法的技术。

背景技术

发现大数据集中潜藏知识的方法主要有以下两种：1）数据统计方法，该方法具有局限性明显的缺陷，在数据集庞大、数据稀疏的情况下其算时较长，而且当数据集属性较多时，其算时会呈指数式上升；2）粗糙理论，该理论提出在保持系统分类知识不变的情况下，可约简不需要的属性和数据，这改进了数据的压缩处理，但该理论在属性数量较多时，仍存在计算量问题。

为了克服发现大数据集中潜藏知识时因属性数量多而产生的计算量问题，产生了多种以粗糙理论为基础的启发式方法来选择数据集需要的属性，这些方法中又以属性重要性启发式方法为最多，即按照某种评价标准排序属性再依次选择。这些启发式方法的启发式规则多要借助其他理论：如信息论、生物计算、矩阵方法等，因此其约简属性的方法原理解释很复杂，一次约简后仍会存在冗余属性，不能确定距最小属性集的距离，具有对数据集适应性不强的缺陷。

发明内容

针对上述现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种能有效克服了大计算量问题，且约简原理明确简单，能使运算快速逼近最小属性组合，最快压缩冗余数据的基于粗糙分类知识发现的快速属性约简方法。

为了解决上述技术问题，本发明所提供的一种基于粗糙分类知识发现的快速属性约简方法，包括待进行属性约简的数据集，所述数据集包含有多个属性，并根据数据集中各个对象的各个属性取值，对数据集中所有对象进行分类，同一属性的取值相同的各个对象，归在该属性分类的同一类，数据集中的属性分为两种，分别为决策属性、条件属性，所述决策属性是整个数据集分类的一种分类标准，各决策属性组成一个决策属性集，各条件属性组成一个条件属性集，其特征在于，该方法的具体步骤如下：

1）在条件属性集中找出必不可少的各个条件属性作为核属性，余下的各个条件属性作为待选属性，各核属性组成一个核属性集，各待选属性组成一个待选属性集；

2）判断核属性集的分类知识与数据集的分类知识是否一致，如果一致则表明核属性集为数据集的约简解，对数据集的属性约简即告完成，如果不一致则转至步骤3；

3）以决策属性集的分类知识为标准评价各待选属性的分类能力，找出与核属性集组合后的分类知识相对决策属性集的分类知识一致性最高的待选属性，并将所找出的待选属性从待选属性集移至核属性集；

其中，待选属性分类能力评价时，先将待选属性集与核属性集进行交运算，再根据该交运算子集对数据集中所有对象进行分类，并将其每个分类，与根据决策属性集对数据集中所有对象进行分类后的每个分类进行比较，一个分类中相同的对象数越多，则表明该交运算子集的分类知识与决策属性集的分类知识一致性越高，反之则表明该交运算子集的分类知识与决策属性集的分类知识一致性越低；

4）判断核属性集的分类知识与数据集的分类知识是否一致，如果一致则表明核属性集为数据集的约简解，对数据集的属性约简即告完成，如果不一致则转至步骤3。

进一步的，所述步骤3中待选属性分类能力评价时，先将待选属性集与核属性集进行交运算，再根据该交运算子集对数据集中所有对象进行分类，并将其每个分类，与根据决策属性集对数据集中所有对象进行分类后的每个分类进行比较，一个分类中相同的对象数越多，则表明该交运算子集的分类知识与决策属性集的分类知识一致性越高，反之则表明该交运算子集的分类知识与决策属性集的分类知识一致性越低。

进一步的，所述步骤3中的待选属性分类能力评价步骤如下：

3.1）将数据集记为：S={U,A,V,f}；

其中，S为数据集，U为对象的非空集合，A=C∪D，C为对象的条件属性集，D为对象的决策属性集，V为属性取值集合，f为U与A间值域的映射函数，有f=U×a→V，a∈C；

将核属性集记为R，待选属性记为c，有c∈C-R；

3.2）根据决策属性集对数据集中的所有对象进行分类，得到决策属性分类集为：

π _D =U/ind(D)={Y ₁，Y ₂，…，Y _d }；

其中，π _D 为决策属性分类集，Y ₁至Y _d 为决策属性分类集中的对象；

3.3）根据核属性集对数据集中的所有对象进行分类，得到核属性分类集为：

π _R =U/ind(R)={U ₁，U ₂，…，U _r }；

其中，π _R 为核属性划分类集，U ₁至U _r 为核属性分类集中的对象；

3.4）得到决策属性分类集与核属性分类集的交运算子集为：

π=π _R ·π _D =U/ind(R∩D)=；

其中，，，，，；

3.5）根据待选属性集对数据集中的所有对象进行分类，得到待选属性分类集为：

π _c =U/c={B ₁，B ₂，…，B _q }；

其中，π _c 为待选属性分类集，B ₁至B _q 为待选属性分类集中的对象；

3.6）用π _c 对π _R 的进行交运算，得到：

π _c ·=；

其中，，，，，，；

3.7）得到待选择属性集的分类积分为：

sig(c)=；

=，；

，，；

其中，sig(c)为待选择属性集的分类积分；

3.8）将待选属性集中分类积分值最高的待选属性移至核属性集；

3.9）根据核属性集对U中的所有对象进行分类，并将独立为一个对象的分类中的对象从U中减去。

本发明提供的基于粗糙分类知识发现的快速属性约简方法，采用了基于粗糙理论的启发式方法，能有效克服大计算量问题，而且其启发规则是完全基于数据集的分类知识建立的，选择属性不仅从个体独立的分类知识，而且考虑选择后的集合分类知识，以及分类的标准以决策分类知识本身为标准，其约简原理明确，符合粗糙约简理论的分类知识不变思想，并根据约简过程和启发式特点，优化处理方法，能使运算快速逼近最小属性组合，最快压缩冗余数据。

附图说明

图1是本发明实施例的基于粗糙分类知识发现的快速属性约简方法的属性约简流程图。

具体实施方式

以下结合附图说明对本发明的实施例作进一步详细描述，但本实施例并不用于限制本发明，凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。

如图1所示，本发明实施例所提供的一种基于粗糙分类知识发现的快速属性约简方法，包括待进行属性约简的数据集，所述数据集包含有多个属性，并根据数据集中各个对象的各个属性取值，对数据集中所有对象进行分类，同一属性的取值相同的各个对象，归在该属性分类的同一类，数据集中的属性分为两种，分别为决策属性、条件属性，所述决策属性是整个数据集分类的一种分类标准，各决策属性组成一个决策属性集，各条件属性组成一个条件属性集，其特征在于，该方法的具体步骤如下：

1）在条件属性集中找出必不可少的各个条件属性作为核属性，余下的各个条件属性作为待选属性，各核属性组成一个核属性集，各待选属性组成一个待选属性集；

2）判断核属性集的分类知识与数据集的分类知识是否一致，如果一致则表明核属性集为数据集的约简解，对数据集的属性约简即告完成，如果不一致则转至步骤3；

3）以决策属性集的分类知识为标准评价各待选属性的分类能力，找出与核属性集组合后的分类知识相对决策属性集的分类知识一致性最高的待选属性，并将所找出的待选属性从待选属性集移至核属性集；

其中，待选属性分类能力评价时，先将待选属性集与核属性集进行交运算，再根据该交运算子集对数据集中所有对象进行分类，并将其每个分类，与根据决策属性集对数据集中所有对象进行分类后的每个分类进行比较，一个分类中相同的对象数越多，则表明该交运算子集的分类知识与决策属性集的分类知识一致性越高，反之则表明该交运算子集的分类知识与决策属性集的分类知识一致性越低；

4）判断核属性集的分类知识与数据集的分类知识是否一致，如果一致则表明核属性集为数据集的约简解，对数据集的属性约简即告完成，如果不一致则转至步骤3。

本发明实施例中，所述步骤3中的待选属性分类能力评价步骤如下：

3.1）将数据集记为：S={U,A,V,f}；

其中，S为数据集，U为对象的非空集合，A=C∪D，C为对象的条件属性集，D为对象的决策属性集，V为属性取值集合，f为U与A间值域的映射函数，有f=U×a→V，a∈C；

将核属性集记为R，待选属性记为c，有c∈C-R；

3.2）根据决策属性集对数据集中的所有对象进行分类，得到决策属性分类集为：

π _D =U/ind(D)={Y ₁，Y ₂，…，Y _d }；

其中，π _D 为决策属性分类集，Y ₁至Y _d 为决策属性分类集中的对象；

3.3）根据核属性集对数据集中的所有对象进行分类，得到核属性分类集为：

π _R =U/ind(R)={U ₁，U ₂，…，U _r }；

其中，π _R 为核属性划分类集，U ₁至U _r 为核属性分类集中的对象；

3.4）得到决策属性分类集与核属性分类集的交运算子集为：

π=π _R ·π _D =U/ind(R∩D)=；

其中，，，，，；

3.5）根据待选属性集对数据集中的所有对象进行分类，得到待选属性分类集为：

π _c =U/c={B ₁，B ₂，…，B _q }；

其中，π _c 为待选属性分类集，B ₁至B _q 为待选属性分类集中的对象；

3.6）用π _c 对π _R 的进行交运算，得到：

π _c ·=；

其中，，，，，，；

3.7）得到待选择属性集的分类积分为：

sig(c)=；

=，；

，，；

其中，sig(c)为待选择属性集的分类积分；

3.8）将待选属性集中分类积分值最高的待选属性移至核属性集；

3.9）根据核属性集对U中的所有对象进行分类，并将独立为一个对象的分类中的对象从U中减去，使U中只留下需要继续分类的对象，使分类知识的评价更为准确。

本发明实施例特别适用于高维数据集。

Claims (2)

1.一种基于粗糙分类知识发现的快速属性约简方法，包括待进行属性约简的数据集，所述数据集包含有多个属性，并根据数据集中各个对象的各个属性取值，对数据集中所有对象进行分类，同一属性的取值相同的各个对象，归在该属性分类的同一类，数据集中的属性分为两种，分别为决策属性、条件属性，所述决策属性是整个数据集分类的一种分类标准，各决策属性组成一个决策属性集，各条件属性组成一个条件属性集，其特征在于，该方法的具体步骤如下：

1)在条件属性集中找出必不可少的各个条件属性作为核属性，余下的各个条件属性作为待选属性，各核属性组成一个核属性集，各待选属性组成一个待选属性集；

2)判断核属性集的分类知识与数据集的分类知识是否一致，如果一致则表明核属性集为数据集的约简解，对数据集的属性约简即告完成，如果不一致则转至步骤3；

3)以决策属性集的分类知识为标准评价各待选属性的分类能力，找出与核属性集组合后的分类知识相对决策属性集的分类知识一致性最高的待选属性，并将所找出的待选属性从待选属性集移至核属性集；

其中，待选属性分类能力评价时，先将待选属性集与核属性集进行交运算，再根据该交运算子集对数据集中所有对象进行分类，并将其每个分类，与根据决策属性集对数据集中所有对象进行分类后的每个分类进行比较，一个分类中相同的对象数越多，则表明该交运算子集的分类知识与决策属性集的分类知识一致性越高，反之则表明该交运算子集的分类知识与决策属性集的分类知识一致性越低；

4)判断核属性集的分类知识与数据集的分类知识是否一致，如果一致则表明核属性集为数据集的约简解，对数据集的属性约简即告完成，如果不一致则转至步骤3。

2.根据权利要求1所述的方法，其特征在于，所述步骤3中的待选属性分类能力评价步骤如下：

2.1)将数据集记为：S＝{U,A,V,f}；

其中，S为数据集，U为对象的非空集合，A＝C∪D，C为对象的条件属性集，D为对象的决策属性集，V为属性取值集合，f为U与A间值域的映射函数，有f＝U×a→V，a∈C；

将核属性集记为R，待选属性记为c，有c∈C-R；

2.2)根据决策属性集对数据集中的所有对象进行分类，得到决策属性分类集为：

π_D＝U/ind(D)＝{Y₁，Y₂，…，Y_d}；

其中，π_D为决策属性分类集，Y₁至Y_d为决策属性分类集中的对象；

2.3)根据核属性集对数据集中的所有对象进行分类，得到核属性分类集为：

π_R＝U/ind(R)＝{U₁，U₂，…，U_r}；

其中，π_R为核属性划分类集，U₁至U_r为核属性分类集中的对象；

2.4)得到决策属性分类集与核属性分类集的交运算子集为：

$\mathrm{\π}={\mathrm{\π}}_R\·{\mathrm{\π}}_D=U/ind(R\∩D)=\left\{\begin{array}{cccc}{A}_{11}& A_{12}& ...& A_{1d}\\ A_{21}& A_{\mathrm{22}}& ...& A_{2d}\\ \·& \·& & \·\\ \·& \·& & \·\\ \·& \·& & \·\\ A_{\mathrm{\γ}1}& A_{\mathrm{\γ}2}& ...& A_{\mathrm{\γ}d}\end{array}\right\};$

其中，A_ij＝U_i∩Y_j，i＝1，2，...，r，j＝1，2，...，d， $U_i=\underset{j=1}{\overset{d}{\∪}}{A}_{ij},Y_i=\underset{i=1}{\overset{\mathrm{\γ}}{\∪}}{A}_{ij};$

2.5)根据待选属性集对数据集中的所有对象进行分类，得到待选属性分类集为：

π_c＝U/c＝{B₁，B₂，…，B_q}；

其中，π_c为待选属性分类集，B₁至B_q为待选属性分类集中的对象；

2.6)用π_c对π_R的U_i进行交运算，得到：

${\mathrm{\π}}_c\·U_i=\left\{\begin{array}{cccc}{A}_{i1}^1& A_{i2}^1& ...& A_{id}^1\\ A_{i1}^2& A_{i2}^2& ...& A_{id}^2\\ \·& \·& & \·\\ \·& \·& & \·\\ \·& \·& & \·\\ A_{i1}^q& A_{i2}^q& ...& A_{id}^q\end{array}\right\};$

其中， $A_{ij}^k=B_k\∩A_{ij},$ i＝1，2，…，r，j＝1，2，…，d，k＝1，2，…，q， $B_k\⊇\underset{j=1}{\overset{d}{\∪}}{A}_{ij}^k,A_{ij}=\underset{k=1}{\overset{q}{\∪}}{A}_{ij}^k;$

2.7)得到待选择属性集的分类积分为：

$sig\left(c\right)=\underset{k=1}{\overset{q}{\mathrm{\Σ}}}\underset{i=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}\underset{j=1}{\overset{d}{\mathrm{\Σ}}}d(B_k,A_{ij},U_i);$

$d(B_k,A_{ij},U_i)=|B_k\∩A_{ij}|\×|{\stackrel{\‾}{A}}_{ij}-{\stackrel{\‾}{A}}_{ij}\∩B_k|,{\stackrel{\‾}{A}}_{ij}=U_i-A_{ij};$

i＝1，2，…，r，j＝1，2，…，d，k＝1，2，…，q；

其中，sig(c)为待选择属性集的分类积分；

2.8)将待选属性集中分类积分值最高的待选属性移至核属性集；

2.9)根据核属性集对U中的所有对象进行分类，并将独立为一个对象的分类中的对象从U中减去。