CN106599924A

CN106599924A - 一种基于三支决策的分类器构建方法

Info

Publication number: CN106599924A
Application number: CN201611170422.9A
Authority: CN
Inventors: 张涛; 李林
Original assignee: Beijing Lingzhong Botong Science & Technology Co Ltd
Current assignee: Beijing Lingzhong Botong Science & Technology Co Ltd
Priority date: 2016-12-16
Filing date: 2016-12-16
Publication date: 2017-04-26

Abstract

本发明涉及一种基于三支决策的分类器构建方法，其步骤：设论域U＝{x₁,...x_n,...,x_N}，x_n是其中的某一对象，A＝{a₁,...,a_d,...,a_D}是对象的D维特征集合，设V＝{V₁,...,V_d,...,V_D}为对象x_n特征集合A的数值集合，其中为x_n的特征a_d的值，设集合类别X＝{X₁,...,X_k,...,X_K}，表示对象类别；将高维数据降维映射到二维平面；对于某一测试数据，以该测试数据在各特征上的数值为中心，选取长度r为判断半径；对于一条待测数据对象x_n，其特征a_d的值为在特征a_d上若以为中心，以长度r为半径，划分判断区间R_d；分别计算该判断区间内属于不同类别的样本的数目c_k，得到特征a_d上该数据属于某一类别X_k的概率；根据概率判断测试数据类别，完成分类。本发明具有较好的可解释性。

Description

一种基于三支决策的分类器构建方法

技术领域

本发明涉及一种分类器构建方法，特别是关于一种基于三支决策的分类器构建方法。

背景技术

三支决策将传统的正域和负域二支决策语义拓展为正域、边界域、负域的三支决策语义，认为在数据信息不充分和获取数据信息代价较高额情况下，边界域决策(延迟决策)是一类可行的决策形式。

经典的分类器，都是二支分类器，只考虑接受或者拒绝两种情况，非此即彼，当信息充分时，二支分类器有很好的分类效果，但在实际应用中，信息常常缺乏精确性和完整性，因此二支分类器就会有较高的误分率。虽然目前有研究将传统二支分类器结合三支决策的思想进行改进，但本质上仍然以二支决策分类器为基础，仍无法克服信息缺乏精确性、完整性及精确度的问题。

发明内容

针对上述问题，本发明的目的是提供一种基于三支决策的分类器构建方法，该方法具有较好的可解释性，在信息不足或者不完备时，不会硬性的做出判断，而是做出第三种选择，即不承诺。

为实现上述目的，本发明采取以下技术方案：一种基于三支决策的分类器构建方法，其特征在于包括以下步骤：1)设论域U＝{x₁,...x_n,...,x_N}，x_n是其中的某一对象，A＝{a₁,...,a_d,...,a_D}是对象的D维特征集合，设V＝{V₁,...,V_d,...,V_D}为对象x_n特征集合A的数值集合，其中为x_n的特征a_d的值，设集合类别X＝{X₁,...,X_k,...,X_K}，表示对象类别；2)将高维数据降维映射到二维平面，降维映射后，每一个数列就表示一个特征，判断区间也变为一维；3)对于某一测试数据，以该测试数据在各特征上的数值为中心，选取长度r为判断半径；4)对于一条待测数据对象x_n，其特征a_d的值为在特征a_d上若以为中心，以长度r为半径，划分判断区间R_d；5)分别计算该判断区间内属于不同类别的样本的数目c_k，0≤c_k≤B，得到在特征a_d上该数据属于某一类别X_k的概率；6)根据概率判断测试数据类别，完成分类。

进一步，所述步骤4)中，判断区间

进一步，所述步骤4)中，判断区间半径r的选取过程如下：4.1)将测试数据归一化后，全部特征的数值都分布在区间[0,1]上，根据实际需求的预设精度，首先将半径r的初始值r_sta设定为0，步进r_stp为0.01个单位，最大r_end为1；4.2)经步骤4.1)计算后，选出分类最高精度P₁，并且得到该精度下的r值：r＝n₁·0.01，式中，1≤n₁≤100；此时有：n₁·0.01≥(n₁-1)·0.01，且n₁·0.01≥(n₁+1)·0.01；4.3)重设初始值r_sta值和最大r_end：

4.4)经步骤4.3)计算后，得出分类最高精度P₂，如果有P₂>P₁，则此时：

r＝(n₁-1)·0.01+n₂·0.001；4.5)根据上述步骤进行迭代，直至P_i+1≤P_i结束，得到最高分类精度P_i和此时半径：

进一步，所述步骤5)中，在特征a_d上该数据属于某一类别X_k的概率为：

式中，B为判断区间内所有类别样本总数。

进一步，所述步骤6)中，具体分类过程如下：6.1)在阈值为[0,1]的情况下，若概率则说明在此种特征上做判断，该数据属于类X_k，对于类X_k而言，判断区间R_d相当于三支决策中的正域；6.2)若概率则说明该数据不属于类别X_k，对于类X_k而言，判断区间R_d相当于三支决策中的负域；6.3)若则不做决断，然后进行下一个特征判断，直到所有对于类X_k，判断区间R_d相当于三支决策中的边界域；等到所有的特征都判断完毕，再分别将各个类别在所有特征上的概率加和：

得到集合P＝[P₁,...，P_k,...P_K]，每一个概率P_k分别对应一个类别X_k，取max[P₁,...，P_k,...，P_K]所对应的类别为最终的判断结果。

进一步，所述步骤6)中，正域POS(X)、负域NEG(X)和边界域BNG(X)确定方法如下：(1)根据三支决策获得接受决策、拒绝决策和延迟决策；(2)根据粗糙集重新设定正域POS(X)、负域NEG(X)和边界域BNG(X)。

进一步，所述步骤(1)中，具体过程为：(1.1)假定论域U为唯一优先非空集合，为论域U上的等价关系；apr＝(U,R)为近似空间，而等价关系R可形成对论域U上的一个划分，记为U/R。设X为论域U的子集，即为集合类别，则U的下近似集apr(X)与上近似集分别为：式中，[x]_R为对象x在等价关系R中的等价类；以下以[x]表示等价类[x]_R；(1.2)根据子集X的上、下近似集，将整个论域U划分为互不相交的正域POS(X)、边界域BND(X)和负域NEG(X)：

(1.3)由正域POS(X)生成一个正则为接受决策，由负域NEG(X)生成的负规则为拒绝决策，由边界域BNG(X)生成的边界规则为延迟决策。

进一步，所述步骤(2)中，正域POS(X)、负域NEG(X)和边界域BNG(X)为：

进一步，所述步骤(2)中，具体设定过程如下：(2.1)粗糙集隶属度的公式如下:

式中，|·|表示一个集合的基数；P(X|[x])表示分类的条件概率，与粗糙隶属度对应；(2.2)根据粗糙集隶属度将正域、负域和边界域改写为：

由此可知，论域U中隶属度的值在0和1之间的对象被划分到了边界域；(2.3)引入一对阈值a和b来代替隶属度中的0和1，得到重新设定后的正域POS(X)、负域NEG(X)和边界域BNG(X)。

本发明由于采取以上技术方案，其具有以下优点：本发明的基于三支决策的分类器构建方法，采用判断区间的概念，对于不同的数据集，三支决策分类器达到了与经典分类器的同水平的分类器效果，并确保了信息的精确性、完整性及精确度。

附图说明

图1是本发明的iris数据集降维示意图；

图2是本发明的iris数据判断区间示意图。

具体实施方式

本发明在三支决策和粗糙集的基础上提出判断区间的概念，此概念是实现三支决策的核心所在。通过综合多特征上判断区间的决策结果来实现最终的决策功能。最后利用UCI数据库的一些数据集进行测试，并且同传统的二支决策分类器进行横向对比，测试结果表明，三支决策分类器在分类性能上达到了与传统分类器相同的水平。下面结合附图和实施例对本发明进行详细的描述。

本发明提供一种基于三支决策的分类器构建方法，其包括以下步骤：

1)设论域U＝{x₁,...x_n,...,x_N}，x_n是其中的某一对象，A＝{a₁,...,a_d,...,a_D}是对象的D维特征集合，设V＝{V₁,...,V_d,...,V_D}为对象x_n特征集合A的数值集合，其中为x_n的特征a_d的值，设集合类别X＝{X₁,...,X_k,...,X_K}，表示对象类别。

2)将高维数据降维映射到二维平面，以iris数据为例，如图1所示。降维映射后，每一个数列就表示一个特征，判断区间也变为一维。

3)对于某一测试数据，以该测试数据在各特征上的数值为中心，选取长度r为判断半径，如图2所示。

4)对于一条待测数据对象x_n，其特征a_d的值为在特征a_d上若以为中心，以长度r为半径，划分判断区间R_d，

5)分别计算该判断区间内属于不同类别的样本的数目c_k，0≤c_k≤B，则在特征a_d上该数据属于某一类别X_k的概率为：

式中，B为判断区间内所有类别样本总数。

6)根据概率判断测试数据类别，完成分类；具体过程如下：

6.1)在阈值为[0,1]的情况下，若概率则说明在此种特征上做判断，该数据属于类X_k，对于类X_k而言，判断区间R_d相当于三支决策中的正域；

6.2)若概率则说明该数据不属于类别X_k，对于类X_k而言，判断区间R_d相当于三支决策中的负域；

6.3)若则不做决断，然后进行下一个特征判断，直到所有对于类X_k，判断区间R_d相当于三支决策中的边界域；等到所有的特征都判断完毕，再分别将各个类别在所有特征上的概率加和：

得到集合P＝[P₁,...，P_k,...P_K]，每一个概率P_k分别对应一个类别X_k，取 max[P₁,...，P_k,...，P_K]所对应的类别为最终的判断结果。

上述步骤4)中，由于在分类器建模时，判断区间半径r的选取直接关系着分类效果。因此，本发明在该分类器r的选择时，采取单位距离步进的方法来选取，通过地毯式的搜索来选取最佳r值。具体过程如下：

4.1)将测试数据归一化后，全部特征的数值都分布在区间[0,1]上，根据实际需求的预设精度，首先将半径r的初始值r_sta设定为0，步进r_stp为0.01个单位，最大r_end为1。

4.2)经步骤4.1)计算后，选出分类最高精度P₁，并且得到该精度下的r值：

r＝n₁·0.01 (3)

式中，1≤n₁≤100。此时有：

n₁·0.01≥(n₁-1)·0.01 (4)

且n₁·0.01≥(n₁+1)·0.01。

4.3)重设初始值r_sta值和最大r_end：

r＝(n₁-1)·0.01+n₂·0.001(6)

4.5)根据上述步骤进行迭代，直至P_i+1≤P_i结束，得到最高分类精度P_i和此时半径：

上述步骤6)中，正域POS(X)、负域NEG(X)和边界域BNG(X)确定方法如下：

(1)根据三支决策获得接受决策、拒绝决策和延迟决策；

(1.1)假定论域U为唯一优先非空集合，为论域U上的等价关系；apr＝(U,R)为近似空间，而等价关系R可形成对论域U上的一个划分，记为U/R。设X为论域U的子集，即为集合类别，则U的下近似集apr(X)与上近似集分别为：

式中，[x]_R为对象x在等价关系R中的等价类；以下以[x]表示等价类[x]_R。

(1.2)根据子集X的上、下近似集，将整个论域U划分为互不相交的正域POS(X)、边界域BND(X)和负域NEG(X)：

(2)根据粗糙集重新设定正域POS(X)、负域NEG(X)和边界域BNG(X)；

(2.1)粗糙集隶属度的公式如下:

式中，|·|表示一个集合的基数；P(X|[x])表示分类的条件概率，与粗糙隶属度对应。

(2.2)根据粗糙集隶属度将式(9)改写为：

由此可知，论域U中隶属度的值在0和1之间的对象被划分到了边界域。

(2.3)为了增加容错率，引入一对阈值a和b来代替隶属度中的0和1，以克服以0和1做隶属度的边界值会因容错率太小而降低效果，则式(11)改写为：

式中，0≤β<α≤1；当α＝1，β＝0时，式(12)即为Pawlak的粗糙集模型；当α＝β＝0.5时，式(12)转化为0.5概率粗糙集模型；当β＝1-α时，式(12)转化为对称变精度粗糙集模型；当β≠1-α时，式(12)转化为非对称性变精度粗糙集模型。

阈值α和β的选取决定了决策结果的风险度，选择高α值和低β值可以减少风险测度；反之选择低α值和高β值会增加风险测度。风险测度过高或者过低都会加大分类错误率，在大多数情况下，α和β都是凭经验设定。

实施例：

为了进一步介绍本发明测试三支决策数据集的性能，选取了机器学习库UCI中的数据集进行性能测试，选取了7个数据集合进行测试，所选数据集如表1所示。

表1实验测试用数据集

表中，PID和LD是维度较低的二分类数据集Iris、Wine、GLS用于多分类的测试。ION和BC的特征维度都在30以上，所以用于多维度的二分类测试。

测试时对全部数据及全部采用留一法进行测试。测试时需要同一些经典的分类器进行横向对比，才能显示出三支决策分类器的分类性能，本发明参考几种比较经典的分类器与三支决策分类器对比，包括LDA、QDA、KNN、SVM。采用留一法，原始TWDC的测试结果如表2所示。

表2三支决策分类器分类精度及判断区间半径

多种分类器对比测试数据如表3所示。

表3多分类器数交叉验证对比实验结果

通过表3可知，对比传统的分类器，三支决策分类器在分类效果同传统的分类器达到同等水平。

综上所述，本发明提出的基于三支决策的分类器构建方法，在分类器的构造过程中，提出判断区间的概念，判断区间半径的计算为三支决策性能的关键所在。测试时选择UCI数据集的一些数据集进行测试，并且横向的同多种经典分类器进行比较。通过横向对比可知，对于不同的数据集，三支决策分类器达到了与经典分类器的同水平的分类器效果，实验结果证明了三支决策分类器的可行性，并确保了信息的精确性、完整性及精确度。

上述各实施例仅用于说明本发明，各部件的结构、尺寸、设置位置及形状都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别部件进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims

1.一种基于三支决策的分类器构建方法，其特征在于包括以下步骤：

1)设论域U＝{x₁,...x_n,...,x_N}，x_n是其中的某一对象，A＝{a₁,...,a_d,...,a_D}是对象的D维特征集合，设V＝{V₁,...,V_d,...,V_D}为对象x_n特征集合A的数值集合，其中为x_n的特征a_d的值，设集合类别X＝{X₁,...,X_k,...,X_K}，表示对象类别；

2)将高维数据降维映射到二维平面，降维映射后，每一个数列就表示一个特征，判断区间也变为一维；

3)对于某一测试数据，以该测试数据在各特征上的数值为中心，选取长度r为判断半径；

4)对于一条待测数据对象x_n，其特征a_d的值为在特征a_d上若以为中心，以长度r为半径，划分判断区间R_d；

5)分别计算该判断区间内属于不同类别的样本的数目c_k，0≤c_k≤B，得到在特征a_d上该数据属于某一类别X_k的概率；

6)根据概率判断测试数据类别，完成分类。

2.如权利要求1所述的一种基于三支决策的分类器构建方法，其特征在于：所述步骤4)中，判断区间

3.如权利要求1所述的一种基于三支决策的分类器构建方法，其特征在于：所述步骤4)中，判断区间半径r的选取过程如下：

4.1)将测试数据归一化后，全部特征的数值都分布在区间[0,1]上，根据实际需求的预设精度，首先将半径r的初始值r_sta设定为0，步进r_stp为0.01个单位，最大r_end为1；

r＝n₁·0.01

式中，1≤n₁≤100；此时有：

n₁·0.01≥(n₁-1)·0.01

且n₁·0.01≥(n₁+1)·0.01；

4.3)重设初始值r_sta值和最大r_end：

r＝(n₁-1)·0.01+n₂·0.001；

4.如权利要求1所述的一种基于三支决策的分类器构建方法，其特征在于：所述步骤5)中，在特征a_d上该数据属于某一类别X_k的概率为：

式中，B为判断区间内所有类别样本总数。

5.如权利要求1所述的一种基于三支决策的分类器构建方法，其特征在于：所述步骤6)中，具体分类过程如下：

得到集合P＝[P₁,...,P_k,...P_K]，每一个概率P_k分别对应一个类别X_k，取max[P₁,...,P_k,...,P_K]所对应的类别为最终的判断结果。

6.如权利要求1所述的一种基于三支决策的分类器构建方法，其特征在于：所述步骤6)中，正域POS(X)、负域NEG(X)和边界域BNG(X)确定方法如下：

(1)根据三支决策获得接受决策、拒绝决策和延迟决策；

(2)根据粗糙集重新设定正域POS(X)、负域NEG(X)和边界域BNG(X)。

7.如权利要求6所述的一种基于三支决策的分类器构建方法，其特征在于：所述步骤(1)中，具体过程为：

式中，[x]_R为对象x在等价关系R中的等价类；以下以[x]表示等价类[x]_R；

8.如权利要求6所述的一种基于三支决策的分类器构建方法，其特征在于：所述步骤(2)中，正域POS(X)、负域NEG(X)和边界域BNG(X)为：

9.如权利要求6或8所述的一种基于三支决策的分类器构建方法，其特征在于：所述步骤(2)中，具体设定过程如下：

(2.1)粗糙集隶属度的公式如下:

式中，|·|表示一个集合的基数；P(X|[x])表示分类的条件概率，与粗糙隶属度对应；

(2.2)根据粗糙集隶属度将正域、负域和边界域改写为：

由此可知，论域U中隶属度的值在0和1之间的对象被划分到了边界域；

(2.3)引入一对阈值a和b来代替隶属度中的0和1，得到重新设定后的正域POS(X)、负域NEG(X)和边界域BNG(X)。