CN106611184A - 基于资源约束代价敏感决策树构建方法 - Google Patents

基于资源约束代价敏感决策树构建方法 Download PDF

Info

Publication number
CN106611184A
CN106611184A CN201610384135.1A CN201610384135A CN106611184A CN 106611184 A CN106611184 A CN 106611184A CN 201610384135 A CN201610384135 A CN 201610384135A CN 106611184 A CN106611184 A CN 106611184A
Authority
CN
China
Prior art keywords
cost
attribute
node
class
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610384135.1A
Other languages
English (en)
Inventor
金平艳
胡成华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yonglian Information Technology Co Ltd
Original Assignee
Sichuan Yonglian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yonglian Information Technology Co Ltd filed Critical Sichuan Yonglian Information Technology Co Ltd
Priority to CN201610384135.1A priority Critical patent/CN106611184A/zh
Publication of CN106611184A publication Critical patent/CN106611184A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于资源约束代价敏感决策树构建方法，利用EP准则先把训练集多类标识为两类，在条件下，再根据选择属性代价增益率为目标函数：这个准则，越大属性特征越好，则此属性作为结点或是扩展结点。最后形成的决策树，为了避免过度拟合的问题，用后剪支算法优化决策树。本发明用于在决策树建立过程中存在资源约束条件下，获得代价最低以及更优化的决策树模型。

Description

基于资源约束代价敏感决策树构建方法
所属领域
本发明涉及人工智能、机器学习领域。
背景技术
在归纳学习技术中如何尽量减少误分类错误是主要焦点，例如CART和C4.5。在归纳问题上误分类不仅是一个错误。近来，研究工作人员已开始考虑了测试代价和误分类代价的问题。前工作人员假设测试代价和误分类代价在归纳过程中代价影响是相同的。在实际事例中，这两种代价影响是不一样的。不仅如此，在实际应用中，任何资源都是有限的，所以解决任何一个实际问题，都要在一定条件约束下完成。如，对于医疗数据进行训练时，通常假设给定一足够大的数据集，但事实上，这些数据往往不是免费而是要通过一定资源来换取，且训练器所能够担负的资源是有限的，也就是存在了资源约束。那么既然这些情况是不可避免，现就如何在资源约束下，获得相对最优的决策树模型。
发明内容
针对资源约束条件下，同时考虑测试代价以及误分类代价影响因子，本发明提出了一种基于资源约束代价敏感决策树构建方法
本发明所采用技术方案：利用EP准则先把训练集多类标识为两类，在TS＜ω条件下，再根据选择属性代价增益率为目标函数：这个准则，f越大属性特征越好，则此属性作为结点或是扩展结点。最后形成的决策树，为了避免过度拟合的问题，用后剪支算法优化决策树。
本发明的有益效果是：
1，得到的决策树，测试成本低
2，得到的决策树，误分类代价低
3，在缺失值情况下，也可以得到优化的决策树模型。
4，在资源约束条件下，可以获得更优化的决策树模型。
附图说明
图1基于资源约束代价敏感决策树构建流程图
图2基于EP准则实现的两类结点图
具体实施步骤
为解决资源约束条件下，同时又可以获得更好的测试代价和误分类代价，本发明结合图1-图2对本发明进行详细说明：
步骤1.设训练集中有X个样本，属性个数为n，即n＝(s1，s2，…sn),同时分裂属性sr对应了m个类L，其中Li∈(L1，L2…，Lm),r∈(1，2…，n)，i∈(1，2…，m)。相关领域用户设定好误分类代价矩阵C,L利用EP准则对类进行处理得到误分类代价矩阵C′。
步骤2：创建根节点G。
步骤3：如果训练数据集为空，则返回结点G并标记失败。
步骤4：如果训练数据集中所有记录都属于同一类别，则该类型标记结点G。
步骤5：如果候选属性为空，则返回G为叶子结点，标记为训练数据集中最普通的类。
步骤6：根据属性S的代价增益率f函数从候选属性中选择splitS。
目标函数f：
w为总误分类代价函数，TS为选择属性S总代价函数，CS为选择属性S资源损耗代价函数。
在TS＜ω条件下，当选择属性splitS满足f函数越大时，则找到标记结点G。
步骤7：标记结点G为属性splitS。
步骤8：由结点延伸出满足条件为splitS＝splitSi分支。
8.1这里假设Yi为训练数据集中splitS＝splitSi的样本集合。如果Yi为空，加上一个叶子结点，标记为训练数据集中最普通的类。
步骤9：非8.1中情况，则递归调用步骤6至步骤8。
步骤10：利用后剪支技术解决此决策树模型中过度拟合问题。
后剪支目标函数为总测试代价减少率：
用户自定义一个减少率因子α。
其中，TTC是剪支之前的初始树的总平均测试代价，TTC′为剪支之后的总平均测试代价，当r(TTC)越大直到满足以下条件，我们就实施剪支操作：
r(TTC)＞α
其中正数α为用户指定达到的条件，剪枝的条件首先要满足尽可能使代价减损达到用户指定条件，然后满足测试代价降低到用户要求。
步骤11：更新训练数据集，保存新的示例数据。
所述步骤1基于EP准则求解两类节点具体计算过程如下：
1.1误分类代价矩阵C
类别标识个数为m，则该数据的代价矩阵m×m方阵是：
其中cij表示第j类数据分为第i类的代价，如果i＝j为正确分类，则cij＝0,否则为错误分类cij≠0，其值由相关领域用户给定,这里i，j∈(1，2，…，m)。
1.2EP准则
设训练数据集X,其类有m个，假如判定当前结点的类标号为Li,把Li判定为P例，则其他的就为N例。
其中nj表示该属性中类别为Lj样例个数，i，j∈{1，2，…，m}。cij为P例代价，Σj≠ injcij为该结点产生的总P例代价。
同理可得出N例有效代价EP(j)
基于EP的结点类标号判定方法为：
这里我们把m个类用EP准则判定为两类情况，如图2所示。
其中TN代表真正反例，TP代表真正正例，c00与c11为预测正确时产生的代价，此时假设c00、c11都等于1。c01、c10为误分类代价，一般情况下，c10＞c01。
即得误分类代价矩阵C′为：
所述步骤6求解目标函数，即代价增益率f，需求解总误分类代价函数w、总代价函数TS、资源损耗代价函数CS。具体求解过程如下：
步骤6.1：求解总误分类代价函数w
根据EP准则可以得出训练数据集中总的(P，N)分布值,(P，N)满足P+N＝X条件；决策树正例总误分析代价c由相关专家给出，反例总误分析代价为c′,所以：
w＝N×c
步骤6.2：总代价函数TS
TS＝TC(S)+MC(S)
＝[(P1+N1)+(P2+N2)]×c1+(N1×cji+P2×cij)+N0×cji
6.2.1测试代价函数TC(S)
假设当前选择属性S的测试成本为c1,c1由用户根据实际情况估计。把S属性根据类结点划分为三部分，已知值个数(P1，N1)与(P2，N2)，未知值(P0，N0)。
属性S的总样例个数为：
total number＝(P1+N1)+(P2+N2)+(P0+N0)
则属性S的测试代价函数为：
TC(S)＝(P1+N1)+(P2+N2)×c1
上式P1为第1分支正例的个数，N1为第1分支反例的个数；
P2为第2分支正例个数，N2为第2分支反例的个数
6.2.2误分类代价函数MC(S)
假设属性S第一个分支为正例结点，即EP(i)＜EP(j)；则第二分支则为反例结点，即EP(i)＞EP(j)，第三分支未知。
从上述指标可以得出误分类代价指标函数：
MC(S)＝N1×cji+P2×cij
上式cji为第1分支FP代价，cij为第1分支FN代价。cji和cij由用户根据具体情况来自定义。
6.3资源损耗代价函数CS
CS＝[(P1+N1)+(P2+N2)]×c2+(N1×cji′+P2×cij′)+N0×cji′
这里c2为预测的资源测试代价，cji′为第2分支FP代价，cij′为第2分支FN代价。c2、cji′、cij′由用户自定义。
所述步骤10后剪支技术：如果取消当前测试属性可以减少决策树模型的测试代价，那么就剪除当前测试结点。如代价复杂性剪枝和最少描述长度剪枝。代价复杂性剪枝在剪枝过程中因子树被叶节点替代而增加的错误分类样本总数称为代价，剪枝后子树减少的叶节点数称为复杂性。最少描述长度剪枝根据决策树的编码代价大小进行剪枝，目标是使得训练样本的大多数数据符合这棵树，把样本中不符合的数据作为例外编码，使得编码决策树所需的比特最小和编码例外实例所需的比特最小。

Claims (4)

1.基于资源约束代价敏感决策树构建方法，该方法涉及人工智能、机器学习技术领域，其特征是：利用EP准则先把训练集多类标识为两类，在条件下，再根据选择属性代价增益率为目标函数：这个准则,f越大属性特征越好，则此属性作为结点或是扩展结点，最后形成的决策树，为了避免过度拟合的问题，用后剪支算法优化决策树
其具体的实施步骤如下：
步骤1：设训练集中X个样本，属性个数为n，即，同时分裂属性对应了个类，其，，相关领域用户设定好误分类代价矩阵C,L利用EP准则对类进行处理得到误分类代价矩阵；
步骤2：创建根节点G；
步骤3：如果训练数据集为空，则返回结点G并标记失败；
步骤4：如果训练数据集中所有记录都属于同一类别，则以该类型标记结点G；
步骤5：如果候选属性为空，则返回G为叶子结点，标记为训练数据集中最普通的类；
步骤6：根据属性S的代价增益率候选属性中选择；
目标函数f：
为训练集总误分类代价，为选择属性S总代价函数，为选择属性S资源损耗代价函数；
在条件下，当选择属性满足f函数越大时，则找到标记结点G;
步骤7：标记结点G为属性；
步骤8：由结点延伸出满足条件为分支；
步骤8.1：这里假设为训练数据集中的样本集合，如果 为空，加上一个叶子结点，标记为训练数据集中最普通的类；
步骤9：非8.1中情况，则递归调用步骤6至步骤8；
步骤10：利用后剪支技术解决此决策树模型中过度拟合问题，
步骤11：更新训练数据集，保存新的示例数据。
2.根据权利要求1所述的基于资源约束代价敏感决策树构建方法，其特征是：所述步骤1基于EP准则对类进行简化处理方法为：
1、误分类代价矩阵C
类别标识个数为m，则该数据的代价矩阵方阵是：
其中表示第j类数据分为第i类的代价，如果i=j为正确分类，则，否则为错误分类，其值由相关领域用户给定,这里；
2、EP准则
设训练数据集X,其类有m个，假如判定当前结点的类标号为,把判定为P例，则其他的就为N例:
其中表示该属性中类别为样例个数，为P例代价，为该结点产生的总P例代价;
同理可得出N例有效代价
基于EP的结点类标号判定方法为：
m个类用EP准则判定为两类情况，如图2，其中TN代表真正反例，TP代表真正正例，与为预测正确时产生的代价，此时假设、都等于1为误分类代价，一般情况下，;
即得误分类代价矩阵为：
。
3.根据权利要求1所述的基于资源约束代价敏感决策树构建方法，其特征是：所述步骤6计算候选属性的选择因子—代价增益率f,需要求出总误分类代价函数、总代价函数、资源损耗代价函数，具体计算过程如下：
步骤6.1 ：求解总误分类代价函数
根据EP准则可以得出训练数据集中总的（P,N）分布值，（P,N）满足条件；决策树正例总误分析代价c由相关专家给出，反例总误分析代价为,所以：
步骤6.2 ： 求解总代价函数
步骤6.2.1：求解测试代价函数
假设当前选择属性S的测试成本为, 由用户根据实际情况估计，，把S属性根据类结点划分为三部分，已知值个数与，未知值；
属性S的总样例个数为：
则属性S的测试代价函数为：
上式为第1分支正例的个数 ,为第1分支反例的个数；
为第2分支正例个数，为第2分支反例的个数；
步骤6.2.2：求解误分类代价函数
假设属性S第一个分支为正例结点，即; 则第二分支则为反例结点，即，第三分支未知；
从上述指标可以得出误分类代价指标函数：
上式为第1分支FP代价，为第1分支FN代价，和用户根据具体情况来自定义；
步骤6.3 ：资源损耗代价函数
这里为预测的资源测试代价，为第2分支FP代价，为第2分支
支FN代价，用户设定。
4.根据权利要求1所述的基于资源约束代价敏感决策树构建方法，其特征是：所述步骤10后剪支技术为：
后剪支目标函数为总测试代价减少率：
用户自定义一个减少率因子
其中，TTC是剪支之前的初始树的总平均测试代价，为剪支之后的总平均测试代价，当直到满足以下条件，我们就实施剪支操作：
其中正数为用户指定达到的条件，剪枝的条件首先要满足尽可能使代价减损达到用户指定条件，然后满足测试代价降低到用户要求。
CN201610384135.1A 2016-06-01 2016-06-01 基于资源约束代价敏感决策树构建方法 Pending CN106611184A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610384135.1A CN106611184A (zh) 2016-06-01 2016-06-01 基于资源约束代价敏感决策树构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610384135.1A CN106611184A (zh) 2016-06-01 2016-06-01 基于资源约束代价敏感决策树构建方法

Publications (1)

Publication Number Publication Date
CN106611184A true CN106611184A (zh) 2017-05-03

Family

ID=58614786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610384135.1A Pending CN106611184A (zh) 2016-06-01 2016-06-01 基于资源约束代价敏感决策树构建方法

Country Status (1)

Country Link
CN (1) CN106611184A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414567A (zh) * 2019-07-01 2019-11-05 阿里巴巴集团控股有限公司 数据处理方法、装置和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414567A (zh) * 2019-07-01 2019-11-05 阿里巴巴集团控股有限公司 数据处理方法、装置和电子设备
CN110414567B (zh) * 2019-07-01 2020-08-04 阿里巴巴集团控股有限公司 数据处理方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN106503148B (zh) 一种基于多知识库的表格实体链接方法
CN103678431B (zh) 一种基于标准标签和项目评分的推荐方法
CN108875816A (zh) 融合置信度准则和多样性准则的主动学习样本选择策略
CN106709017B (zh) 一种基于大数据的辅助决策方法
CN109218223B (zh) 一种基于主动学习的鲁棒性网络流量分类方法及系统
CN105045927B (zh) 建设工程工料机数据自动编码方法及系统
CN103927394A (zh) 一种基于svm的多标签主动学习分类方法及系统
CN105976048A (zh) 一种基于改进人工蜂群算法的输电网扩展规划方法
CN109165672A (zh) 一种基于渐进式学习的集成分类方法
CN106294738A (zh) 一种智能家居场景配置方法
CN107818328A (zh) 结合局部信息的不完整数据相似性刻画方法
CN103929499B (zh) 一种物联网异构标识识别方法和系统
CN106959967A (zh) 一种链路预测模型的训练及链路预测方法
CN106611188A (zh) 一种标准化的多维尺度代价敏感决策树构建方法
CN106611036A (zh) 一种改进的多维尺度异构代价敏感决策树构建方法
CN106611191A (zh) 基于不确定连续属性的决策树分类器构建方法
CN106611184A (zh) 基于资源约束代价敏感决策树构建方法
CN108198084A (zh) 一种复杂网络重叠社区发现方法
CN106611183A (zh) 基尼指数与误分类代价敏感决策树构建方法
CN116229510A (zh) 一种无监督跨模态行人重识别方法
CN112199287B (zh) 基于强化混合专家模型的跨项目软件缺陷预测方法
CN106611187A (zh) 一种多维尺度的异构代价敏感决策树构建方法
CN103927613A (zh) 流程检索系统及其使用方法
CN106611185A (zh) 多标准误分类代价敏感决策树构建方法
CN114298819A (zh) 一种企业信用风险预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170503