CN109886017A - 一种基于c4.5决策树的手机特征检测优化改进算法 - Google Patents

Abstract

本发明公开了一种基于C4.5决策树的手机特征检测优化改进算法。本发明在C4.5算法基础上，对各个因子计算信息增益和信息增益比的过程中，针对不同因子的划分给予一个权重参数，使得不同因子的信息增益度数据差异相比于之前更大，从而提升机器学习对不同用户使用特征差异性的识别，增加了结果的可信度。本发明通过分析记录手机用户的使用特征，并将当前手机使用者的特征与手机用户的特征进行匹配，从而判断出手机的用户是否合法，使手机不会被第三方用户非法使用。本发明旨在通过改进优化C4.5决策树机器学习算法提升手机特征检测准确率，更加精准识别手机的非法使用操作。

Description

一种基于C4.5决策树的手机特征检测优化改进算法

技术领域

本发明属于电子类机器学习算法领域，具体地说是一种基于C4.5决策树的手机特征检 测优化改进算法。

背景技术

近些年来，随着手机的普及以及手机应用的多样化，手机在人类生活中起着越来越重 要的作用。然而伴随着手机的高速发展，手机所面临的威胁也越来越多。4G网络的大范围 使用，手机功能的日益强大，手机与日常生活的联系日益紧密，这些都是威胁原来越多的 重要原因。截止今年，我国的手机用户已达12.56亿人，已经覆盖了绝大部分人群。同时， 根据中科院2010年的《智能手机用户对手机安全威胁的感知与应对行为》中可以看到，68.6％的手机用户存在着安全威胁，所以大部分用户都面临着手机安全的风险。

由于手机的使用越来越普遍，手机安全也变得越来越重要。研究者们也使用很多方法 来防止手机病毒或者垃圾短信等一些传统的对手机的威胁。而近些年来，手机被盗用已成 为威胁手机安全的重要原因之一，然而现如今可以保护手机免于陌生人使用的方法或工具 很少。

发明内容

本发明所要解决的技术问题是克服上述现有技术存在的缺陷，提供一种基于C4.5决 策树的手机特征检测优化改进算法，其通过分析记录手机用户的使用特征，并将当前手机 使用者的特征与手机用户的特征进行匹配，从而判断出手机的用户是否合法，使手机不会 被第三方用户非法使用。

为此，本发明采用如下的技术方案：一种基于C4.5决策树的手机特征检测优化改进 算法，在C4.5算法基础上，对各个因子计算信息增益和信息增益比的过程中，针对不同因子的划分给予一个权重参数β，定义如下：

对于每一个不同的因子A，假设在按照因子A划分之后得到的n个不同子集对应着n个不同的结果A′＝{A₁,A₂,...,A_n}，于是假设对于因子A的不同结果的权重参数为 A_β＝{β₁,β₂,...β_n}，那么整个因子A的权重参数为β_A＝β₁+β₂+...+β_n；

对于给定的几个S，集合S更新后的熵为：

其中S表示给定的集合，p′_i表示新的子集S_i的样本数量占总样本数量的 比例，m表示S的子集数量，S_i表示S的具体第i个子集，β_i为子集S_i的权重参数；

在按照因子A划分之后，新的划分之后的几个S的熵为：

其中S′_oi＝β_iS′_i，S_o＝∑β_nS_n，S′_i表示根据A因子划分后S的具体第i个子集，S′_oi为根据A因子得到的新的子集乘以权重后的结果，S_o表示所有子集乘以权重之和，n为新的 子集数量，S_n表示集合S的第n个新子集；

所以因子A的信息增益为：

那么因子A的信息增益比为：

其中更新后的集合S按照A因子划分得到的分裂信息度为：

进一步地，在对权重参数β进行训练的过程中，先将β设置成一个默认值，再根据这个β计算得出决策树，之后将训练结果和测试结果进行对比；如果其中有误差生成，训练 得到的分类为m，而实际分类为n，那么就将训练参数β_m向β_n调整一定的幅度γ，使误差 变小。

进一步地，在计算误差的时候，损失函数将设置为：L(S)＝C(S)+α′|S|+α″|β|，防止 β过度拟合而造成实际误差的变大，其中，α′为步进速率，α″为学习速率，C为决策树 的训练误差。

本发明所述方法是通过在现有C4.5算法基础上，针对不同因子的划分给予一个权重参 数，使得不同因子的信息增益度数据差异相比于之前更大，从而提升机器学习对不同用户 使用特征差异性的识别。

相较于现有C4.5算法而言，改进后的算法同的因子划分后的子集之间相比于之前产生 了更大的差异，从而使得不同因子划分得到的信息增益和信息增益比差别变大，增加了结 果的可信度。

本发明旨在通过改进优化C4.5决策树机器学习算法提升手机特征检测准确率，更加 精准识别手机的非法使用操作。

具体实施方式

下面结合实施例来对本发明进行进一步说明，但本发明的保护范围不限于下述实施例。 在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和变更，都落入本发 明的保护范围。

本实施例提供一种基于C4.5决策树的手机特征检测优化改进算法，在现有C4.5算法 基础上，对各个因子计算信息增益和信息增益比的过程中，针对不同因子的划分给予一个 权重参数β，定义如下：

对于每一个不同的因子A，假设在按照因子A划分之后得到的n个不同子集对应着n个不同的结果A′＝{A₁,A₂,...,A_n}，于是假设对于因子A的不同结果的权重参数为 A_β＝{β₁,β₂,...β_n}，那么整个因子A的权重参数为β_A＝β₁+β₂+...+β_n；

对于给定的几个S，集合S更新后的熵为：

其中S表示给定的集合，p′_i表示新的子集S_i的样本数量占总样本数量的 比例，m表示S的子集数量，S_i表示S的具体第i个子集，β_i为子集S_i的权重参数。

在按照因子A划分之后，新的划分之后的几个S的熵为：

其中S′_oi＝β_iS′_i，S_o＝∑β_nS_n，S′_i表示根据A因子划分后S的具体第i个子集，S′_oi为根据A因子得到的新的子集乘以权重后的结果，S_o表示所有子集乘以权重之和，n 为新的子集数量，S_n表示集合S的第n个新子集。

所以因子A的信息增益为：

那么因子A的信息增益比为：

其中更新后的集合S按照A因子划分得到的分裂信息度为：

进一步地，在对权重参数β进行训练的过程中，先将β设置成一个默认值，再根据这个β计算得出决策树，之后将训练结果和测试结果进行对比；如果其中有误差生成，训练 得到的分类为m，而实际分类为n，那么就将训练参数β_m向β_n调整一定的幅度γ，使误差 变小。

进一步地，在计算误差的时候，损失函数将设置为：L(S)＝C(S)+α′|S|+α″|β|，防止 β过度拟合而造成实际误差的变大，其中，α′为步进速率，α″为学习速率，C为决策树 的训练误差。

为了对本发明提出的基于改进的C4.5的手机特征检测决策树算法进行评估，表现出该 方法的优越性，这里选择未修改的C4.5算法和ID3算法作为改进的C4.5算法(即本发明) 的对比算法。C4.5算法为现有的公知算法。ID3算法整体与C4.5算法类似，所不同的是在 进行节点分裂时，C4.5算法选择的是信息增益比最大的特征进行分裂，而ID3算法选择的 是信息增益最大的特征进行分裂，即如果按照A因子对集合S进行划分，那么按照A因 子划分之后的信息增益为G(A)，那么在比较不同因子的信息增益G之后，选择其中最大 的信息增益G(X)所对应的因子X，以该因子X作为该节点划分的特征。实验结果如下表 所示：

三种不同算法的准确率、召回率以及F值对比

从实验结果中可以看出：

1、三种算法的准确率，召回率和F值都要大于0.5，可以得出三种决策树算法都可以 一定程度上有效地对使用手机的用户进行判断，说明决策树算法在手机的特征检测上是可 行的；

2、现有C4.5算法和改进的C4.5算法在准确率、召回率和F值上都要大大高于ID3算法，这说明相比于使用信息增益，使用信息增益比将大大提高模型的精确性。造成这个的原因可能是因为信息增益量并不能完全地体现出不同信息的差异。在本实验中，不同因子之间的差异性十分大，如果只是使用信息增益量，某些因子可能会存在单纯的增益数值增加特别多，而实际上增加比例较少的情况，而这与实际情况可能恰恰相反，最终也许就会造成判断上的错误。所以使用信息增益比来代替信息增益会更加合理，从而使得预测的准确率，召回率和F值大大上升。

3、与现有C4.5算法相比，改进的C4.5算法在准确率、召回率和F值方面有略微提升。 这说明为每个因子增加参数的方法是有效的，相比而言该方法计算得到的熵值会更加准确， 因而信息增益比也会更加准确，最终使得预测精度略微上升。但是C4.5算法和改进的C4.5 算法差异并不大，说明该改进算法也只是略微提升了部分性能，并没有从根本上改进基于 C4.5的决策树模型。

Claims (3)

1.一种基于C4.5决策树的手机特征检测优化改进算法，其特征在于，在C4.5算法基础上，对各个因子计算信息增益和信息增益比的过程中，针对不同因子的划分给予一个权重参数β，定义如下：

对于每一个不同的因子A，假设在按照因子A划分之后得到的n个不同子集对应着n个不同的结果A′＝{A₁,A₂,...,A_n}，于是假设对于因子A的不同结果的权重参数为A_β＝{β₁,β₂,...β_n}，那么整个因子A的权重参数为β_A＝β₁+β₂+...+β_n；

对于给定的几个S，集合S更新后的熵为：

其中S表示给定的集合，p′_i表示新的子集S_i的样本数量占总样本数量的比例，m表示S的子集数量，S_i表示S的具体第i个子集，β_i为子集S_i的权重参数；

在按照因子A划分之后，新的划分之后的几个S的熵为：

其中S′_oi＝β_iS′_i，S_o＝∑β_nS_n，S′_i表示根据A因子划分后S的具体第i个子集，S′_oi为根据A因子得到的新的子集乘以权重后的结果，S_o表示所有子集乘以权重之和，n为新的子集数量，S_n表示集合S的第n个新子集；

所以因子A的信息增益为：

那么因子A的信息增益比为：

其中更新后的集合S按照A因子划分得到的分裂信息度为：

2.根据权利要求1所述的手机特征检测优化改进算法，其特征在于，在对权重参数β进行训练的过程中，先将β设置成一个默认值，再根据这个β计算得出决策树，之后将训练结果和测试结果进行对比；如果其中有误差生成，训练得到的分类为m，而实际分类为n，那么就将训练参数β_m向β_n调整一定的幅度γ，使误差变小。

3.根据权利要求2所述的手机特征检测优化改进算法，其特征在于，在计算误差的时候，损失函数将设置为：L(S)＝C(S)+α′|S|+α″|β|，防止β过度拟合而造成实际误差的变大，其中，α′为步进速率，α″为学习速率，C为决策树的训练误差。