CN104850862B

CN104850862B - 一种基于单位代价收益敏感决策树的分类方法

Info

Publication number: CN104850862B
Application number: CN201510279048.5A
Authority: CN
Inventors: 袁鼎荣; 周美琴; 陈诗旭; 马顺; 刘令强; 展雪梅; 李艳红
Original assignee: Guangxi Normal University
Current assignee: Guangxi Normal University
Priority date: 2015-05-27
Filing date: 2015-05-27
Publication date: 2017-12-12
Anticipated expiration: 2035-05-27
Also published as: CN104850862A

Abstract

本发明公开一种基于单位代价收益敏感决策树的分类方法，首先针对某一应用抽取一定样本；然后由专家给定或经验统计获取代价矩阵和收益矩阵，再用样本去训练UCGS决策树；最后用UCGS决策树进行分类。本发明在代价敏感决策树模型基础上，综合考虑不同决策可能带来的代价以及收益，依据单位代价收益因子进行属性选择，构造单位代价收益敏感决策树，最后给出了依据UCGS决策树进行分类的方法。本发明可用于各种分类、智能控制等领域，为智能决策提供科学依据。

Description

一种基于单位代价收益敏感决策树的分类方法

技术领域

本发明属于人工智能领域，具体涉及一种基于单位代价收益敏感决策树的分类方法。

背景技术

决策树是人工智能领域中重要的研究课题，早期的决策树模型以分类精确性为最高目标，最大限度地减少误分类，此一时期的研究侧重于分裂属性选择方法和优化剪枝策略，可以说决策树模型自ID3算法被提出以来，理论上得以长足发展，应用上也不断地推陈出新。

以ID3为代表的传统的决策树模型必然导致分类器内在的偏向于主要的类，忽略精度影响较小但分类结果影响重大的少数类。例如一只羊被错误地分入一群狼中的代价只是损失一只羊，而一只狼被错误地分入一群羊中的代价则是损失一群羊。因此Elkan等提出代价敏感决策树模型，代价敏感决策树学习算法引起广泛的研究兴趣并取得丰硕的研究成果。

发明内容

本发明所要解决的是现有以ID3为代表的传统决策树模型必然会导致分类器内在的偏向于主要的类，而忽略精度影响较小但对分类结果影响重大的少数类的问题。基于ID3发展起来的代价敏感决策树只侧重于代价的大小忽略了不同代价所带来的收益问题。由此，本发明提供一种基于单位代价收益敏感(UCGS)的决策树分类方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于单位代价收益敏感决策树的分类方法，包括如下步骤：

步骤1、根据专家给定或经验统计获取的不同选择构造决策的代价矩阵和收益矩阵；由代价矩阵获知假正样本代价FP和假反样本代价FN，由收益矩阵获知真正样本的收益TR和真反样本的收益DF；

步骤2、选取构造单位代价收益敏感决策树的训练样本集，并用训练样本集去构造单位代价收益敏感决策树；即

步骤2.1、创建结点N；

步骤2.2、如果训练样本集所有的样本都属于同一个类M，则返回N为叶子结点，其类标记为M；

步骤2.3、如果训练样本集所有的样本不属于同一个类，并且训练样本集的候选属性为空，返回N为叶子结点，其类标号被判为能使单位代价收益UCG最大的类；上述单位代价收益UCG为：

其中，p为训练样本集中正样本结点的个数，q为训练样本集中反例结点的个数，FP为假正样本代价，FN为假反样本代价，TR为真正样本的收益，DF为真反样本的收益；

步骤2.4、如果训练样本集所有的样本不属于同一个类，并且训练样本集的候选属性为A₁,A₂,...,A_n，则选择使分裂属性选择因子ASF取最大值的属性A_i作为结点N的分裂属性,记为A_max，上述i∈{1,2,......,n}；

步骤2.5、对应于分裂属性A_max的每一个属性值Val_j(A_max)，在结点N下生成1个分支；每个分支的样本集合为所有属性值为Val_j(A_max)的训练样本，这样训练样本集就被分为j个子集S_j，上述j为自然数，表示当前属性的属性值个数；

步骤2.6、将每个子集S_j作为新的训练样本集，并循环执行步骤2.2-2.5，直至训练样本集的样本为空或属于相同的类别；

步骤3、对每一个待分类对象，检索步骤2所获得的单位代价收益敏感决策树，待分类对象所对应的树中的结点类则为该待分类对象的类别。

步骤2.4中，若训练样本集的候选属性只有1个候选属性时，则该候选属性直接标记为结点N的分裂属性A_max。

步骤2.4中，结点候选属性A_i的分裂属性选择因子ASF为：

其中，A_i表示属性集A中的第i个属性；Averagegain(A_i)表示属性A_i的平均信息增益，TC(A_i)_normal表示属性A_i的标准化测试成本，Incr_UCG(A_i)表示属性A_i的单位代价收益增加量。

所述基于单位代价收益敏感决策树的分类方法，还进一步包括从应用中抽取一定样本作为测试样本集，并用测试样本集去测试步骤2所获得的单位代价收益敏感决策树的精确性，此过程采用的是十折交叉验证法。

与现有技术相比，本发明在代价敏感决策树模型基础上，综合考虑不同决策可能带来的代价以及收益，依据单位代价收益因子进行属性选择，构造单位代价收益敏感(UnitCost Gain Sensitive简称UCGS)决策树，最后依据UCGS树进行分类的方法。本发明可用于各种分类、智能控制等领域，为智能决策提供科学依据。

附图说明

图1为用属性A进行结点分裂示意图。

图2为基于UCGS决策树模型的分类流程图。

具体实施方式

决策树(decision tree)是一种树结构，从根结点开始到叶子结点之前的每个内部结点表示某一属性类，结点的子结点表示子类。

这里，我们首先给出相关定义，然后构造分裂属性选择因子，最后给出相应算法实现单位代价收益敏感决策树及其分类方法。

一、相关定义。

定义1：测试代价

设训练样本集T中，定义结点分裂属性A_i的测试成本代价为TC(A_i)，标准化表示为：

其中，A_i表示属性集A中第i个属性。

定义2：代价矩阵

设训练样本集T中的结点有n个分裂属性a₁,a₂,...,a_n，有m个不同的类别标识l₁,l₂,...,l_m，m、n均为自然数，且m≤n。给定一个结点P，定义其代价矩阵C为：

C＝(c_ij) (2)

其中，c_ij表示类别为j的结点P被判断为类别i时所产生的代价，i∈{1,2,......,m}，j∈{1,2,......,m}。当i＝j时，为正确分类，此时c_ij＝0，当i≠j时，为错误分类，此时c_ij≠0。

例如，假设一个训练样本集的结点P的类别标识为{0，1，2}，该结点被错误判断为其他类的代价都为10，则该结点的代价矩阵为：

把做出错误选择而付出的代价被称为假正样本代价(False Positive，FP)，拒绝正确选择而付出的代价被称为假反样本代价(False Negative，FN)。我们把FP和FN统称为误分类代价。从理论上讲，错误的标记一个样本的代价应始终大于正确的标记它的代价，同时我们认为正确分类时不会产生误分类代价。

定义3：收益矩阵

设训练样本集T中的结点有n个分裂属性a₁,a₂,...,a_n，有m个不同的类别标识l₁,l₂,...,l_m，m、n均为自然数，且m≤n。给定一个结点P，定义其收益矩阵G为：

G＝(g_ij) (3)

其中，g_ij表示类别为j的结点P被判断为类别i时所产生的收益，i∈{1,2,......,m}，j∈{1,2,......,m}。当i＝j时，为正确分类，g_ij≠0；当i≠j时，为错误分类，g_ij＝0。

例如，假设一个数据集结点P的类别标识为{0，1，2}，该结点被正确判断为对应类的收益都为10，则该结点的收益矩阵为：

把做出正确选择而获得的收益称为真正样本的收益(Take Real，TR)，把拒绝错误选择而获得的收益称为真反样本的收益(Discard False，DF)。TR和DF统称为正确分类收益。TR和DF的具体值由相关领域专家给出。

定义4：单位代价收益(UCG)

设训练样本集T中某结点中有p个正样本，q个反样本。

若判断当前结点为正样本结点(P)，则会产生的误分类代价为q×FP，产生的正确分类收益为p×TP，定义：

规定当q×FP＝0时，取q×FP＝1。

若判断当前结点为反例结点(N)，则会产生的误分类代价为p×FN，产生的正确分类收益为q×DF，定义：

规定当p×FN＝0时，取p×FN＝1。

综合公式(4)与公式(5)得到：

定义5：UCG增加量

定义当前结点选择属性A所带来的UCG的增加量为：

其中，UCG(A_i)为在未选取属性A_i作为分裂属性对当前结点进行分裂时结点N的单位代价收益。表示按分裂属性A_i分裂后的所有子结点的单位代价收益总和，其中A_i是分裂属性A的第i个属性值。

例如，以一个含有332个实例的结点作为当前结点，用属性A将其分裂，如图1，训练集包含332个训练样本，其中正样本230，反样本102，属性A作为分裂属性，可将训练集分成4个不同子集，分别对应根结点的四个子结点。其中第一个子集包含107个正样本，0个反样本；其中第二个子集包含108个正样本，0个反样本；其中第三个子集包含4个正样本，2个反样本；其中第四个子集包含11个正样本，100个反样本。

假设FP＝4，FN＝8，TR＝8，DF＝2，则在用属性A进行分裂前的UCG为：

二、分裂属性选择因子(ASF)构造。

在单位代价收益敏感决策树模型中，为了能使在相同单位代价下的收益最大化，我们构造分裂属性选择因子如下：

设训练样本集为T，结点属性A_i的分裂属性选择因子ASF(Attribute SelectionFactor)表示为：

其中，A_i是分裂属性A的第i个属性值,Averagegain(A_i)表示平均信息增益，TC(A_i)_normal表示标准化测试成本，Incr_UCG(A_i)表示属性A_i的UCG增加量。如数据集的属性标签为A₁,A₂,...A_n，则选择使属性选择因子取最大值的属性为分裂属性。

三、UCGS决策树构造算法。

算法：UCGS_Decision tree(Instances,C,G)

//Instances表示训练样本集；C表示代价矩阵，G表示收益矩阵

输入：Instances；C；G

输出：UCGS决策树

算法描述：

1、创建根结点N；

2、If Instances为空，返回N并且将其标记为Failure；

3、如果所有的样本都属于同一个类M，则返回N作为叶子结点并以类M标记；

4、如果所有的候选属性为空，返回N为叶子结点，其类标号为能使单位代价收益最大的类别；

5、For each候选属性列表attribute_list；

依据公式(8)从候选属性列表attribute_list中选择分裂属性SplitA；

Endfor

6、标记结点N为属性SplitA；

7、For each属性SplitA的值；

由结点N长出一个条件为SplitA＝SplitA_i的分支；

设S_i是训练集中SplitA＝SplitA_i的训练样本的集合；

If S_i为空then；

加上一个树叶，其类标号为能使单位代价收益最大的类别；

else递归调用本算法；

Endfor

8、返回N。

四、基于UCGS决策树的分类方法。

本发明所设计的一种基于单位代价收益敏感决策树的分类方法，如图2所示，其具体包括如下步骤：

首先，初始化代价矩阵和收益矩阵，同时准备好训练样本。即

由专家给定或经验统计获取代价矩阵和收益矩阵。代价矩阵包括做出错误选择而付出的代价(假正样本代价FP)和拒绝正确选择而付出的代价(假反样本代价FN)。收益矩阵包括做出正确决定而获得的收益(真正样本的收益TR)和拒绝错误决定而获得的收益(真反样本的收益DF)。

针对某一应用选取一定样本，采用“十折交叉验证”，将样本划分为训练样本和测试样本，并构造UCGS决策树。其中训练样本用来构造UCGS决策树，测试样本用来测试UCGS决策树的准确性。具体流程为将样本集分成十分，轮流将其中9份作为训练样本，1份作为测试测试，进行试验。每次试验都会得出相应的正确率(或差错率)。10次的结果的正确率(或差错率)的平均值作为对算法精度的估计。

下面以用训练样本训练UCGS决策树为例，对其进行详细说明：

①创建根结点N；

②如果训练样本集所有的样本都属于同一个类M，则返回N为叶子结点，其类标记为M；

③如果训练样本集所有的样本不属于同一个类，并且训练样本集的候选属性为空，返回N为叶子结点，其类标号被判断为能使单位代价收益UCG最大的类；上述单位代价收益UCG为：

④如果训练样本集所有的样本不属于同一个类，并且训练样本集的候选属性为A₁,A₂,...A_n，则根据式(8)计算各候选属性的分裂属性选择因子ASF，并选择使属性选择因子取最大值的属性标记为结点N的分裂属性A_max。当然，如果训练样本集的候选属性只有1个候选属性时，则该候选属性即直接标记为结点N的分裂属性A_max；上述分裂属性选择因子ASF为：

⑤在结点N下生成1个分裂属性为A_max的叶子结点，并返回步骤②，循环执行步骤②-④，直至训练样本集的样本为空或属于相同的类别。

最用，在UCGS决策树中检索待分类样本所属类别，最后输出样本类别。

对每一个待分类对象，依据UCGS决策树，匹配查找待分类对象所对应的树中的结点，则该结点所属类别为待分类对象所属类。

Claims

1.一种基于单位代价收益敏感决策树的分类方法，其特征是，包括如下步骤：

步骤2.1、创建结点N；

步骤2.4、如果训练样本集所有的样本不属于同一个类，并且训练样本集的候选属性为A₁,A₂,...,A_n，则选择使分裂属性选择因子ASF(A_i)取最大值的属性A_i作为结点N的分裂属性,记为A_max，上述i∈{1,2,......,n}；其中结点候选属性A_i的分裂属性选择因子ASF(A_i)为：

其中，A_i表示属性集A中的第i个属性；Averagegain(A_i)表示属性A_i的平均信息增益，TC(A_i)_normal表示属性A_i的标准化测试成本，Incr_UCG(A_i)表示属性A_i的单位代价收益增加量；

2.根据权利要求1所述的一种基于单位代价收益敏感决策树的分类方法，其特征是，步骤2.4中，若训练样本集的候选属性只有1个候选属性时，则该候选属性直接标记为结点N的分裂属性A_max。

3.根据权利要求1所述的一种基于单位代价收益敏感决策树的分类方法，其特征是，还进一步包括从应用中抽取一定样本作为测试样本集，并用测试样本集去测试步骤2所获得的单位代价收益敏感决策树的精确性，此过程采用的是十折交叉验证法。