CN104462020B - 一种基于知识粒度的矩阵增量约简方法 - Google Patents

Abstract

本发明公开了一种基于知识粒度的矩阵增量约简方法，包括如下步骤：首先利用等价关系矩阵计算已有决策表(称为旧决策表)的最小属性约简(RED_U)；接着当一些新对象添加到旧决策表后(称为新决策表)，通过矩阵增量方法计算旧决策表中最小属性约简的知识粒度和新决策表的知识粒度，并判断他们是否相等，如不相等，在新决策表中利用矩阵增量方法计算除RED_U之外所有属性的外部重要性，并依次循环选取其中外部重要性最大的属性添加到RED_U中，再计算RED_U的知识粒度，直到其与新决策表的知识粒度相等为止；最后循环删除RED_U中的冗余属性，得到新决策表的最小属性约简。本发明有效地解决了决策表中对象动态增加时快速求解最小属性约简的问题，从而有助于提高知识发现的效率。

Description

一种基于知识粒度的矩阵增量约简方法

技术领域

本发明涉及人工智能中粒计算和粗糙集理论的技术领域，具体涉及一种基于知识粒度的矩阵增量约简方法。

背景技术

目前随着存储技术的不断发展和广泛应用，实际应用中的信息系统不仅积累了海量的、各种各样的数据，而且这些实时数据每时每刻都会发生变化，用传统批量学习的知识获取方法对复杂数据进行挖掘，需要耗费大量的时间，这使得批量学习算法将很难及时、高效地从动态数据中提取有用的信息及知识。增量学习是一个能够不断从来自环境的新样本中学习到新的知识，并能保留大部分以前已有知识的学习系统。通过使用增量学习技术，可以渐进地进行知识更新，修正和加强以前的知识，而不必重新学习全部数据，这在一定程度更能适应实际需求。

由于经典的知识粒度约简方法是利用集合交与并的方式来实现，计算和表示形式都比较复杂，矩阵理论是一门具有实用价值的数学理论，它是处理大量有限维空间方式与数量关系的强有力工具，已广泛应用于科学研究和工程应用等领域，用矩阵方法解决粗糙集属性约简问题具有重要应用价值。本发明基于知识粒度的矩阵增量约简方法，只涉及到矩阵运算，通过等价关系矩阵的加减计算决策表的知识粒度、决策表的核、条件属性的内部和外部重要性等，由于现有大部分软件工具(如MATLAB等)支持矩阵运算，故本发明提出的基于知识粒度的矩阵增量约简方法可以借助已有工具易于实现。

发明内容

鉴于现有的实时数据每时每刻都会发生变化，传统批量学习的知识获取方法需要耗费大量的时间，很难及时、高效地从动态数据中提取有用的信息，本发明的目的是运用矩阵运算操作简单的优势，有效地解决决策表中对象动态增加时，充分利用旧决策表已经得到的结果，快速求解最小属性约简的问题，避免重复计算，提高约简效率。

本发明的目的是通过如下手段实现：

一种基于知识粒度的矩阵增量约简方法，利用旧决策表计算约简的过程中已经得到的结果—包括旧决策表的知识粒度、属性外部重要性及最小属性约简来计算新决策表的知识粒度、外部重要性及最小属性约简，避免重复计算，具体包括如下步骤：

步骤1：输入旧决策表及其最小属性约简RED_U、C-RED_U中每个属性a相对于RED_U的外部重要性知识粒度GP_U(D|C)、RED_U的知识粒度GP_U(D|RED_U)和增量数据集U_X＝{x_n+1,x_n+2,L,x_n+t}；

步骤2：计算增加对象后新决策表的等价关系矩阵

步骤3：在旧决策表知识粒度GP_U(D|C)和最小属性约简GP_U(D|RED_U)基础上，利用增量方法计算新决策表知识粒度和RED_U的知识粒度如果则跳转到步骤5，否则跳转到步骤4；

步骤4：当在旧决策表属性子集C-RED_U中每个属性a相对于RED_U的外部重要性基础上，通过增量方法计算新决策表属性子集C-RED_U中每个属性a相对于RED_U的外部重要性依次循环选取最大的属性重要性添加到RED_U中，即RED_U←RED_U∪{a₀}，计算增加a₀后RED_U的知识粒度直到其与新决策表的知识粒度相等为止；

步骤5：在新决策表中，从后向前遍历RED_U中的每一个属性a，利用矩阵方法计算RED_U删除属性a后的知识粒度如果则删除属性a，即RED_U←RED_U-{a}。最后得到的RED_U为新决策表的最小属性约简；

步骤6：输出新决策表的最小属性约简

其中GP_U(D|C)为旧决策表的知识粒度，GP_U(D|RED_U)为旧决策表中RED_U的知识粒度，为旧决策表属性子集C-RED_U中属性a相对于RED_U的外部重要性，RED_U为旧决策表的最小属性约简，为新决策表的等价关系矩阵，其中为新决策表的知识粒度，为新决策表中RED_U的知识粒度，为新决策表属性子集C-RED_U中属性a相对于RED_U的外部重要性，为新决策表RED_U除去属性a的知识粒度，为新决策表的最小属性约简。

本发明方法在旧决策表的等价关系矩阵、知识粒度及外部属性重要性的基础上，利用增量方法计算新决策表的等价关系矩阵、知识粒度以及外部属性重要性分别为：

其中为新决策表的等价关系矩阵，为旧决策表的等价关系矩阵，为新决策表的增量等价关系矩阵，是的转置矩阵，为新决策表的条件属性和决策属性的等价关系增量矩阵，为增量数据集的等价关系矩阵，为新决策表的知识粒度，GP_U(D|C)为旧决策表的知识粒度，为增量数据集的知识粒度，|U∪U_X|是新决策表所有对象的个数，|U|是旧决策表所有对象的个数，|U_X|是增量数据集所有对象的个数，是属性子集C-RED_U中属性a相对于RED_U的外部重要性，Sum(·)_t×n为矩阵所有元素的和，|·|²代表对象个数的平方。

本发明提供了一种基于知识粒度的矩阵增量约简方法，该方法通过旧决策表的等价关系矩阵来计算旧决策表的知识粒度、核及其属性内部和外部的重要性等。在此基础上，当一些新对象添加到旧决策表后(称为新决策表)，使用增量学习方法，定义了新决策表的等价关系增量矩阵，以及新决策表的知识粒度和属性内部及外部的重要性的增量更新机理。在旧决策表最小属性约简的基础上，构造了基于知识粒度的矩阵增量约简算法，能够有效地解决决策表中对象动态增加时快速求解最小属性约简的问题。当一些新对象添加到旧决策表后，计算新决策表的最小属性约简，非增量矩阵约简算法每次都需要重新开始计算，找到新的最小属性约简消耗时间巨大；而采用本发明的增量约简算法则是在旧决策表的等价关系、属性外部重要性、知识粒度以及最小属性约简的基础上，计算新决策表的等价关系矩阵、属性外部重要性及知识粒度，能够快速找到新决策表的最小属性约简，所以本算法计算新决策表最小属性约简速度远快于非增量矩阵方法。

与现有技术相比，本发明的积极效果是：

一、区别于经典的知识粒度约简方法，本发明通过等价关系矩阵的加减计算决策表的知识粒度、核及其属性内部和外部的重要性等，计算操作简单，实现容易。

由于经典的知识粒度约简方法是利用集合交与并的方式来实现，计算和表示形式都比较复杂，本发明基于知识粒度的矩阵约简方法，只涉及到矩阵运算。由于现有大部分软件工具(如MATLAB等)支持矩阵运算，故本发明提出的基于知识粒度的矩阵增量约简的方法可以借助已有工具易于实现。

二、区别于经典的矩阵约简方法，本发明在旧决策表增加新对象后可快速找出新决策表的最小属性约简。

目前现有的大多数算法均是以静态决策表为基础而设计的，因而导致不能有效地利用旧决策表中计算约简的过程中产生的大量有用信息，特别是对一些实时性要求较高的场合不太适宜。由于现实中许多决策表中的对象都是动态增加的，本发明通过增量更新方法，在旧决策表的知识粒度、属性外部重要性及最小属性约简的基础上，计算新决策表的知识粒度、属性外部重要性及最小属性约简，避免重复计算，缩减计算时间，能够快速找到新决策表的最小属性约简，提高约简计算效率。

附图说明

图1为本发明针对不同数据集，矩阵增量约简方法和非增量约简方法的计算时间比较结果图

图2为本发明针对增加不同大小的对象集时，矩阵增量约简方法和非增量约简方法的计算时间比较结果图

子图a)为把不同百分比的对象增加到cancer数据集时，矩阵增量约简方法和非增量约简方法的计算时间比较结果图

子图b)为把不同百分比的对象集增加到Kr-vs-kp数据集时，矩阵增量约简方法和非增量约简方法的计算时间比较结果图

子图c)为把不同百分比的对象集增加到Dermatology数据集时，矩阵增量约简方法和非增量约简方法的计算时间比较结果图

子图d)为把不同百分比的对象集增加到Mushroom数据集时，矩阵增量约简方法和非增量约简方法的计算时间比较结果图

子图e)为把不同百分比的对象集增加到Mushroom数据集时，矩阵增量约简方法和非增量约简方法的计算时间比较结果图

子图f)为把不同百分比的对象集增加到Backup-large数据集时，矩阵增量约简方法和非增量约简方法的计算时间比较结果图

图3为本发明基于知识粒度的矩阵增量约简方法框架图

具体实施方式

结合图3具体实施步骤如下所示：

输入：已有决策表(包括对象集U、条件属性集C和决策属性集D以及对象的属性值)(称为旧决策表)，一些新对象(记为增量数据集U_X＝{x_n+1,x_n+2,L,x_n+t})添加到旧决策表后形成的新决策表。

步骤1：利用矩阵的方法计算旧决策表的知识粒度旧决策表的等价关系矩阵 为条件属性等价关系矩阵的算术平均值，为条件属性和决策属性等价关系矩阵的算术平均值；

步骤2：利用矩阵的方法计算旧决策表的核CORE；

旧决策表核的计算方法如下：首先，利用矩阵的方法计算旧决策表属性集C的每个属性a的内部重要性如果为旧决策表的核，即：

步骤3：利用矩阵的方法计算旧决策表核属性的知识粒度判断其与旧决策表的知识粒度是否相等，如果GP_U(D|CORE)＝GP_U(D|C)，核就是旧决策表的最小属性约简，即RED_U←CORE，否则跳转到步骤4；

步骤4：当GP_U(D|CORE)≠GP_U(D|C)，则利用矩阵方法计算旧决策表属性子集C-CORE中每个属性a相对于CORE的外部重要性依次循环选取最大的属性重要性添加到旧决策表核中，CORE＝CORE∪{a₀}，计算增加a₀后的CORE的知识粒度直到其与旧决策表的知识粒度相等为止；

步骤5：在旧决策表中，从后向前遍历CORE中的每一个属性a，利用矩阵方法计算CORE删除属性a后的知识粒度GP_U(D|CORE-{a})，如果GP_U(D|CORE-{a})＝GP_U(D|C)，则删除属性a，即CORE←CORE-{a}。最后得到的CORE为旧决策表的最小属性约简；

步骤6：RED_U←CORE，输出旧决策表的最小属性约简RED_U；

步骤7：当增量数据集U_X＝{x_n+1,x_n+2,…,x_n+t)添加到旧决策表后形成新决策表，计算新决策表等价关系增量矩阵利用步骤1得到增量数据集等价关系矩阵形成新决策表的等价关系矩阵

步骤8：利用步骤1计算增量数据集的知识粒度GP_UX(D|C)和旧决策表RED_U的知识粒度GP_UX(D|RED_U)，在旧决策表的知识粒度GP_U(D|C)和RED_U知识粒度GP_U(D|RED_U)的基础上，通过增量方法计算新决策表的知识粒度和RED_U在新决策表的知识粒度如果则跳转到步骤10，否则跳转到步骤9。

步骤9：在旧决策表属性子集C-RED_U中每个属性a相对于RED_U的外部重要性基础上，通过增量方法计算新决策表属性集C-RED_U中每个属性a相对于RED_U的外部重要性。

依次循环选取最大的属性重要性添加到RED_U中，即RED_U←RED_U∪{a₀}，计算增加a₀后RED_U的知识粒度直到其与新决策表的知识粒度相等为止；

步骤10：在新决策表中，从后向前遍历RED_U中的每一个属性a，利用矩阵方法计算RED_U删除属性a后的知识粒度如果则删除属性a，即RED_U←RED_U-{a}。最后得到的RED_U为新决策表的最小属性约简；

步骤11：输出新决策表的最小属性约简

本发明中设计了一个基于知识粒度的矩阵增量约简方法，需要首先利用等价关系矩阵计算已有决策表(称为旧决策表)的核、核的知识粒度以及旧决策表的知识粒度；然后判断他们是否相等，如相等，核属性就是旧决策表的最小属性约简，否则计算除核之外属性的外部重要性，依次循环选取外部重要性最大的属性添加到核中，并计算该核的知识粒度，直到其与旧决策表的知识粒度相等为止，再循环删除核中的冗余属性，得到旧决策表的最小属性约简(RED_U)；接着当一些新对象添加到旧决策表后(称为新决策表)，通过矩阵增量方法计算旧决策表中最小属性约简的知识粒度和新决策表的知识粒度，并判断他们是否相等，如不相等，在新决策表中利用矩阵增量方法计算除RED_U之外所有属性的外部重要性，依次循环选取其中外部重要性最大的属性添加到RED_U中，并计算RED_U的知识粒度，直到其与新决策表的知识粒度相等为止；最后循环删除RED_U中的冗余属性，得到新决策表的最小属性约简。

为了验证本发明的有效性，本发明从UCI机器学习数据集中，下载了cancer、Tic-tea-toe、Kr-vs-kp、Mushroom、Dermatology、Backup-large 6个数据集作为本发明的验证数据，并使用最小属性约简的结果和计算最小属性约简所花费的时间作为本发明的评估度量。

试验一

为了说明本发明所提出的增量约简算法是有效的，在cancer、Tic-tea-toe、Kr-vs-kp、Mushroom、Dermatology、Backup-large 6个数据集中，把每个数据集的部分数据(这里取50％数据)作为旧决策表，把剩余的数据集作为增量数据集添加到旧决策表，得到新决策表进行试验，并与非增量矩阵约简方法进行了对比，实验结果表明：两种方法所得新决策表最小属性约简的结果相近，其中在有的数据集中求解得到的最小属性约简结果完全一样，但矩阵增量约简方法能够在较短时间内找到新决策表最小属性约简。矩阵增量约简方法和非增量约简方法的计算时间比较结果如图1所示。从图1中可以看出，同矩阵非增量约简方法相比，本发明给出的方法所用计算时间较少，特别是针对较大数据集时，如Kr-vs-kp、Mushroom，本发明所花费时间的优势更加明显。

试验二

随着对象的不断增加，矩阵增量约简的策略是否依然有效呢？为了验证这个问题，本发明给出了增加不同比例对象的矩阵约简实验。本发明以每个数据集的部分数据(这里取50％数据)作为旧决策表，剩余的数据分别选择20％、40％、60％、80％、100％的数据作为增量数据集逐步添加到旧决策表后，得到新的决策表进行试验。相关试验结果如图2所示。从图2中可以看出，随着数据集的增加，本发明提出方法的计算时间远远小于非增量方法的计算时间，这种现象也在某种程度上说明了矩阵增量约简方法在处理动态数据集是合理的。

Claims (3)

1.一种基于知识粒度的矩阵增量约简方法，利用旧决策表计算约简的过程中已经得到的结果—包括旧决策表的知识粒度、属性外部重要性及最小属性约简来计算新决策表的知识粒度、外部重要性及最小属性约简，避免重复计算，具体包括如下步骤：

步骤1：输入旧决策表及其最小属性约简RED_U、C-RED_U中每个属性a相对于RED_U的外部重要性知识粒度GP_U(D|C)、RED_U的知识粒度GP_U(D|RED_U)和增量数据集U_X＝{x_n+1,x_n+2,…,x_n+t}；

步骤2：计算增加对象后新决策表的等价关系矩阵

步骤3：在旧决策表知识粒度GP_U(D|C)和最小属性约简GP_U(D|RED_U)基础上，利用增量方法计算新决策表知识粒度和RED_U的知识粒度如果则跳转到步骤5，否则跳转到步骤4；

步骤4：当在旧决策表属性子集C-RED_U中每个属性a相对于RED_U的外部重要性基础上，通过增量方法计算新决策表属性子集C-RED_U中每个属性a相对于RED_U的外部重要性依次循环选取最大的属性重要性添加到RED_U中，即RED_U←RED_U∪{a₀}，计算增加a₀后RED_U的知识粒度直到其与新决策表的知识粒度相等为止；

步骤5：在新决策表中，从后向前遍历RED_U中的每一个属性a，利用矩阵方法计算RED_U删除属性a后的知识粒度如果则删除属性a，即RED_U←RED_U-{a}，最后得到的RED_U为新决策表的最小属性约简；

步骤6：输出新决策表的最小属性约简

其中C为条件属性集，D为决策属性集，GP_U(D|C)为旧决策表的知识粒度，GP_U(D|RED_U)为旧决策表中RED_U的知识粒度，为旧决策表属性子集C-RED_U中属性a相对于RED_U的外部重要性，RED_U为旧决策表的最小属性约简，为新决策表的等价关系矩阵，其中为新决策表的知识粒度，为新决策表中RED_U的知识粒度，为新决策表属性子集C-RED_U中属性a相对于RED_U的外部重要性，为新决策表中RED_U除去属性a的知识粒度，为新决策表的最小属性约简。

2.根据权利要求1所述的一种基于知识粒度的矩阵增量约简方法，其特征在于：在旧决策表的等价关系矩阵、知识粒度及外部属性重要性的基础上，利用增量方法计算新决策表的等价关系矩阵、知识粒度以及外部属性重要性分别为：

${\left(M_{U\∪U_X}^{R_C}\right)}_{(n+t)\×(n+t)}=\left[\begin{array}{cc}{\left(M_U^{R_C}\right)}_{n\×n}& {\left(Q_{U\∪U_X}^{R_C}\right)}_{t\×n}^T\\ {\left(Q_{U\∪U_X}^{R_C}\right)}_{t\×n}& {\left(Z_{U_X}^{R_C}\right)}_{t\×t}\end{array}\right],$

${\mathrm{GP}}_{U\∪U_X}\left(D\right|C)=\frac{1}{{(U\∪U_X)}^2}\left(\right|U{|}^2{\mathrm{GP}}_U\left(D|C\right)+\left|U_X{|}^2{\mathrm{GP}}_{U_X}\right(D|C)+2Sum{\left(Q_{U\∪U_X}^{R_C}\right)}_{t\×n}-2Sum{\left(Q_{U\∪U_X}^{R_{C\∪D}}\right)}_{t\×n}),$

$\begin{array}{c}{\mathrm{Sig}}_{U\∪U_X}^{outer}(a,{\mathrm{RED}}_U,D)=\frac{1}{{(U\∪U_X)}^2}\left(\right|U{|}^2{\mathrm{Sig}}_U^{outer}(a,{\mathrm{RED}}_U,D)+|U_X{|}^2{\mathrm{Sig}}_{U_X}^{outer}(a,{\mathrm{RED}}_U,D)+2Sum{\left(Q_{U\∪U_X}^{{\mathrm{RED}}_U}\right)}_{t\×n}\\ -2Sum{\left(Q_{U\∪U_X}^{{\mathrm{RED}}_U\∪d}\right)}_{t\×n}+2Sum{\left(Q_{U\∪U_X}^{{\mathrm{RED}}_U\∪\left\{a\right\}}\right)}_{t\×n}-2Sum{\left(Q_{U\∪U_X}^{({\mathrm{RED}}_U\∪\{a\left\}\right)\∪D}\right)}_{t\×n})\end{array},$

其中为新决策表的等价关系矩阵，为旧决策表的等价关系矩阵，为新决策表的增量等价关系矩阵，是的转置矩阵，为新决策表的条件属性和决策属性的等价关系增量矩阵，为增量数据集的等价关系矩阵，为增加对象后旧决策表属性约简的增量等价关系矩阵，为增加对象后旧决策表属性约简和决策属性D的增量等价关系矩阵，为增加对象后旧决策表属性约简和属性a的增量等价关系矩阵，为增加对象后旧决策表属性约简、属性a和决策属性D的增量等价关系矩阵，为新决策表的知识粒度，GP_U(D|C)为旧决策表的知识粒度，为增量数据集的知识粒度，|U∪U_X|是新决策表所有对象的个数，|U|是旧决策表所有对象的个数，|U_X|是增量数据集所有对象的个数，是属性子集C-RED_U中属性a相对于RED_U的外部重要性，Sum(·)_t×n为矩阵所有元素的和，|·|²代表对象个数的平方。

3.根据权利要求1所述的一种基于知识粒度的矩阵增量约简方法，其特征在于：已有决策表，亦称为旧决策表，包括：对象集U、条件属性集C和决策属性集D以及对象的属性值；

新对象，记为增量数据集U_X＝{x_n+1,x_n+2,L,x_n+t}，添加到旧决策表后形成的新决策表。