CN105184486A - 一种基于有向无环图支持向量机的电网业务分类方法 - Google Patents

Abstract

本发明涉及一种基于有向无环图支持向量机的电网业务分类方法，包括：将采集数据分为训练集与测试集并采用卡方检验的特征选择算法对所述训练集进行处理，获取所述训练集对应的最优特征集，利用训练集中每两类构造一个SVM二分类器，基于有向无环图支持向量机(Directed？Acyclic？Graphs？Support？Vector？Machine,DAG-SVM)算法对SVM二分类器进行处理，将分类错误概率小的分类器进行分类判决，排除样本属于某类的可能性，而在分类错误概率大的分类器中，不排除样本属于任一类的可能性，将两个类别都保留，并以此为依据调整有向无环图构造的学习结构直至获取测试集样本的分类结果，本发明方法解决了解决传统DAG-SVM算法存在的误差累积问题，能够有效的提高电网业务识别的准确率。

Description

一种基于有向无环图支持向量机的电网业务分类方法

技术领域

本发明涉及电网业务分类领域，具体涉及一种基于有向无环图支持向量机的电网业务分类方法。

背景技术

随着智能电网和“三集五大”建设的深入进行，电网中承载的业务种类日益增多，趋于复杂多变，为更好地对业务进行管控，优化网络资源配置，为不同的业务定制个性化需求，必须对业务进行分类处理。

支持向量机(SupportVectorMachine,SVM)方法在小样本、非线性及高维分类问题上具有优势，支持向量机分类的关键是寻求最优分类超平面。一般将数据分为训练集与测试集，通过训练集确定最优分类边界，得到分类模型，再将测试集输入分类模型中，即可得到分类结果，但是支持向量机分类本质上是解决二分类问题的方法，而电网业务分类是多分类问题，如何将SVM二分类问题有效扩展以解决多分类问题是目前研究的重点之一。Platt等人提出的有向无环图支持向量机(DirectedAcyclicGraphsSupportVectorMachine,DAG-SVM)为解决上述问题提供了一个简单可行的措施：利用有向无环图构造一种学习结构，并以此学习结构对二分类SVM分类器进行选择、组合，最终得到分类结果。但是，DAG-SVM方法存在误差累积的现象，即：某个节点发生的分类错误会延续到下层节点，直至最终分类错误，因此有必要对其加以改进。

发明内容

针对现有技术的不足，本发明提供一种基于有向无环图支持向量机的电网业务分类方法，对传统的DAG‐SVM算法进行了改进，解决了解决传统DAG‐SVM算法存在的误差累积问题，能够有效的提高电网业务识别的准确率。

本发明的目的是采用下述技术方案实现的：

一种基于有向无环图支持向量机的电网业务分类方法，其改进之处在于，所述方法包括：

(1)采集电网数据并对电网数据进行预处理，将预处理后的电网数据分为训练集和测试集；

(2)获取所述训练集的初始特征选择向量；

(3)采用卡方检验的特征选择算法对所述训练集进行处理，获取所述训练集对应的最优特征集ξ，并根据所述训练集对应的最优特征集ξ更新所述训练集；

(4)将所述训练集的类别集a＝[a₁,a₂,....,a_c]中每两类的样本组合为一个训练子集并将该训练子集训练为一个SVM二分类器，共个SVM二分类器，c为所述训练集类别的总数目；

(5)初始化参数i＝1,j＝c，令a_i为SVM二分类器的正类，a_j为SVM二分类器的负类，a_i≠a_j且a_i,a_j∈a，构建SVM二分类器的有向无环图学习结构，设置阈值ε，根据测试集中样本至SVM二分类器的分类超平面距离d逐一排除所述测试集中样本属于类别集a中类别的可能性；

(6)调整所述有向无环图学习结构；

(7)判断是否为i＜j，若是，则返回步骤(5)，若否则执行步骤(8)；

(8)判断所述类别集a中类别数是否未减小，若是，则调整所述阈值ε并返回步骤(5)，若否则执行步骤(9)；

(9)判断所述类别集a中类别数是否为1，若是，则所述类别集a中类别为所述测试集中样本的类别，若否，则返回步骤(5)。

优选的，所述步骤(1)包括：

(1-1)剔除电网数据中错误数据或维度不完整数据；

(1-2)删除电网数据中类的样本数小于30的类；

(1-3)电网数据中类的样本数大于500的类，从该类中选择250个加入训练集；

(1-4)电网数据中类的样本数大于30且小于500的类，从该类中选择一半加入训练集，另一半加入测试集。

优选的，所述步骤(3)包括：

(3-1)根据所述训练集中特征和类别的相关程度χ²获取所述训练集对应的最优特征集ξ，其中，所述训练集的初始特征选择向量L中第m个特征L_m和所述训练集的类别集a中第n个类别a_n的相关程度的计算公式为：

${\mathrm{\χ}}_{\mathrm{mn}}^2=\frac{N{(\mathrm{AD}-\mathrm{BC})}^2}{(A+C)(B+D)(A+B)(C+D)}---\left(1\right)$

式(1)中，N为所述训练数据集中样本总数，A为属于a_n类且包含L_m的样本数，B为不属于a_n类且包含L_m的样本数，C为属于a_n类且包含L_m的样本数，D是不属于a_n类且不包含L_m的样本数，n∈[1,c]，c为所述训练集类别的总数目，m∈[1,t]，t为所述训练集业务流特征数；

(3-2)根据所述训练集对应的最优特征集ξ更新所述训练集的样本集X，公式为：

$X^{\′}=X(:,\mathrm{\ζ})---\left(2\right)$

式(2)中，X′为更新后所述训练集的样本集。

优选的，所述步骤(5)包括：

(5-1)获取所述测试集中样本至SVM二分类器的分类超平面距离d，公式为：

$d\frac{f\left(x\right)}{\left|\right|\mathrm{\ω}\left|\right|}---\left(3\right)$

式(3)中，f(x)为支持向量机决策函数，ω为支持向量机决策函数的系数值，‖ω‖为ω的二范数；

(5-2)若所述测试集中样本至SVM二分类器的分类超平面距离d大于正阈值ε，则删除该SVM二分类器的负类a_j对应所述类别集a中的类别；若所述测试集中样本至SVM二分类器的分类超平面距离d小于负阈值ε，则删除该SVM二分类器的正类a_i对应所述类别集a中的类别；若所述测试集中样本至SVM二分类器的分类超平面距离d大于负阈值ε且小于正阈值ε，则不对所述类别集a进行处理。

优选的，所述步骤(6)包括：

若所述测试集中样本至SVM二分类器的分类超平面距离d大于正阈值ε，则j＝j-1，若所述测试集中样本至SVM二分类器的分类超平面距离d小于负阈值ε，则i＝i+1，若所述测试集中样本至SVM二分类器的分类超平面距离d大于负阈值ε且小于正阈值ε且f(x)＞0，则j＝j-1，若所述测试集中样本至SVM二分类器的分类超平面距离d大于负阈值ε且小于正阈值ε且f(x)＜0，则i＝i+1，j＝length(a)，其中，f(x)为支持向量机决策函数。

优选的，所述步骤(8)中，调整所述阈值ε包括：阈值减半。

与最接近的现有技术相比，本发明具有的有益效果：

本发明提供一种基于有向无环图支持向量机的电网业务分类方法，能够利用DAG-SVM算法，在分类错误概率小的分类器中进行分类判决，排除样本属于某类的可能性，而在分类错误概率大的分类器中的两个类别都保留，并以此为依据调整有向无环图构造的学习结构，对电网采集数据进行处理，直至获取测试集样本的分类结果，解决了解决传统DAG-SVM算法存在的误差累积问题，能够有效的提高电网业务识别的准确率。

附图说明

图1是本发明提供的一种基于有向无环图支持向量机的电网业务分类方法流程图；

图2是调整有向无环图学习结构的具体流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

传统DAG-SVM在每一子层的分类器分类后都会排除样本属于某类的可能性，不考虑分类错误概率，若发生分类错误，下层节点会延续这一错误，导致最终分类错误，本发明提供了一种基于有向无环图支持向量机的电网业务分类方法，如图1所示，在分类错误概率小的情况下，分类器进行分类判决，排除样本属于某类的可能性，而在分类错误概率较大时，虽不改变下一子层的走向，但是并不判断待分类样本不属于哪一类，即将两类类别都保留至下一子层，因此在下面的子层里会有机会纠正上层节点分类发生的错误，具体步骤包括：

(1)采集电网数据并对电网数据进行预处理，将预处理后的电网数据分为训练集和测试集；

(2)获取所述训练集的初始特征选择向量；

(3)采用卡方检验的特征选择算法对所述训练集进行处理，获取所述训练集对应的最优特征集ξ，并根据所述训练集对应的最优特征集ξ更新所述训练集；

(4)将所述训练集的类别集a＝[a₁,a₂,....,a_c]中每两类的样本组合为一个训练子集并将该训练子集训练为一个SVM二分类器，共个SVM二分类器，c为所述训练集类别的总数目；

(5)初始化参数i＝1,j＝c，令a_i为SVM二分类器的正类，a_j为SVM二分类器的负类，a_i≠a_j且a_i,a_j∈a，构建SVM二分类器的有向无环图学习结构，设置阈值ε，根据测试集中样本至SVM二分类器的分类超平面距离d逐一排除所述测试集中样本属于类别集a中类别的可能性；

(6)调整所述有向无环图学习结构；

(7)判断是否为i＜j，若是，则返回步骤(5)，若否则执行步骤(8)；

(8)判断所述类别集a中类别数是否未减小，若是，则调整所述阈值ε并返回步骤(5)，若否则执行步骤(9)；

(9)判断所述类别集a中类别数是否为1，若是，则所述类别集a中类别为所述测试集中样本的类别，若否，则返回步骤(5)。

具体的，所述步骤(1)包括：

(1-1)剔除电网数据中错误数据或维度不完整数据；

(1-2)删除电网数据中类的样本数小于30的类；

(1-3)电网数据中类的样本数大于500的类，从该类中选择250个加入训练集；

(1-4)电网数据中类的样本数大于30且小于500的类，从该类中选择一半加入训练集，另一半加入测试集。

卡方检验的特征选择算法为现有技术中常规的使用方法，可以通过软件weka直接获取训练集对应的最优特征集，所述步骤(3)包括：

(3-1)根据所述训练集中特征和类别的相关程度χ²获取所述训练集对应的最优特征集ξ，其中，所述训练集的初始特征选择向量L中第m个特征L_m和所述训练集的类别集a中第n个类别a_n的相关程度的计算公式为：

${\mathrm{\χ}}_{\mathrm{mn}}^2=\frac{N{(\mathrm{AD}-\mathrm{BC})}^2}{(A+C)(B+D)(A+B)(C+D)}---\left(1\right)$

式(1)中，N为所述训练数据集中样本总数，A为属于a_n类且包含L_m的样本数，B为不属于a_n类且包含L_m的样本数，C为属于a_n类且包含L_m的样本数，D是不属于a_n类且不包含L_m的样本数，n∈[1,c]，c为所述训练集类别的总数目，m∈[1,t]，t为所述训练集业务流特征数；

(3-2)根据所述训练集对应的最优特征集ξ更新所述训练集的样本集X，公式为：

$X^{\′}=X(:,\mathrm{\ζ})---\left(2\right)$

式(2)中，X′为更新后所述训练集的样本集。

本发明引入了样本点到SVM二分类器的分类超平面的距离与分类差错概率之间的关系，由于过学习或者学习不充分等原因，导致分类超平面的选取与最优分类平面有偏差，因此靠近分类超平面的样本点发生分类错误的概率比远离分类超平面的样本点发生分类错误的概率要大，因此，取样本点到分类超平面的距离做为判别依据，现有技术中，样本点到分类超平面的距离其中f(x)＝ωx+b为支持向量机决策函数，ω为支持向量机决策函数的系数值为方便判断样本点分布在分类超平面的哪一侧，所述步骤(5)将样本点到分类超平面的距离进行改进，包括：

(5-1)获取所述测试集中样本至SVM二分类器的分类超平面距离d，公式为：

$d\frac{f\left(x\right)}{\left|\right|\mathrm{\ω}\left|\right|}---\left(3\right)$

式(3)中，f(x)为支持向量机决策函数，ω为支持向量机决策函数的系数值，‖ω‖为ω的二范数；

(5-2)若所述测试集中样本至SVM二分类器的分类超平面距离d大于正阈值ε，则删除该SVM二分类器的负类a_j对应所述类别集a中的类别；若所述测试集中样本至SVM二分类器的分类超平面距离d小于负阈值ε，则删除该SVM二分类器的正类a_i对应所述类别集a中的类别；若所述测试集中样本至SVM二分类器的分类超平面距离d大于负阈值ε且小于正阈值ε，则不对所述类别集a进行处理。

所述步骤(6)，调整所述有向无环图学习结构的具体流程如图2所示，包括：

若所述测试集中样本至SVM二分类器的分类超平面距离d大于正阈值ε，则j＝j-1，若所述测试集中样本至SVM二分类器的分类超平面距离d小于负阈值ε，则i＝i+1，若所述测试集中样本至SVM二分类器的分类超平面距离d大于负阈值ε且小于正阈值ε且f(x)＞0，则j＝j-1，若所述测试集中样本至SVM二分类器的分类超平面距离d大于负阈值ε且小于正阈值ε且f(x)＜0，则i＝i+1，j＝length(a)，其中，f(x)为支持向量机决策函数，length(a)为当前类别集a中剩余类别数。

此外，由于阈值的存在，可能会导致待分类样本在剩余类别组成的所有子分类器中样本点到分类超平面的距离都落在正负阈值之间，在一次循环中，没有类别可以被删去，致使程序陷入死循环，为了防止程序陷入死循环所述步骤(8)中，调整所述阈值ε包括：阈值减半。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于有向无环图支持向量机的电网业务分类方法，其特征在于，所述方法包括：

(1)采集电网数据并对电网数据进行预处理，将预处理后的电网数据分为训练集和测试集；

(2)获取所述训练集的初始特征选择向量；

(3)采用卡方检验的特征选择算法对所述训练集进行处理，获取所述训练集对应的最优特征集ξ，并根据所述训练集对应的最优特征集ξ更新所述训练集；

(4)将所述训练集的类别集a＝[a₁,a₂,....,a_c]中每两类的样本组合为一个训练子集并将该训练子集训练为一个SVM二分类器，共个SVM二分类器，c为所述训练集类别的总数目；

(5)初始化参数i＝1,j＝c，令a_i为SVM二分类器的正类，a_j为SVM二分类器的负类，a_i≠a_j且a_i,a_j∈a，构建SVM二分类器的有向无环图学习结构，设置阈值ε，根据测试集中样本至SVM二分类器的分类超平面距离d逐一排除所述测试集中样本属于类别集a中类别的可能性；

(6)调整所述有向无环图学习结构；

(7)判断是否为i＜j，若是，则返回步骤(5)，若否则执行步骤(8)；

(8)判断所述类别集a中类别数是否未减小，若是，则调整所述阈值ε并返回步骤(5)，若否则执行步骤(9)；

(9)判断所述类别集a中类别数是否为1，若是，则所述类别集a中类别为所述测试集中样本的类别，若否，则返回步骤(5)。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)包括：

(1-1)剔除电网数据中错误数据或维度不完整数据；

(1-2)删除电网数据中类的样本数小于30的类；

(1-3)从电网数据中类的样本数大于500的类中选择250个加入训练集；

(1-4)从电网数据中类的样本数大于30且小于500的类中选择一半加入训练集，另一半加入测试集。

3.如权利要求1所述的方法，其特征在于，所述步骤(3)包括：

(3-1)根据所述训练集中特征和类别的相关程度χ²获取所述训练集对应的最优特征集ξ，其中，所述训练集的初始特征选择向量L中第m个特征L_m和所述训练集的类别集a中第n个类别a_n的相关程度的计算公式为：

${\mathrm{\χ}}_{mn}^2=\frac{N{(AD-BC)}^2}{(A+C)(B+D)(A+B)(C+D)}---\left(1\right)$

式(1)中，N为所述训练数据集中样本总数，A为属于a_n类且包含L_m的样本数，B为不属于a_n类且包含L_m的样本数，C为属于a_n类且包含L_m的样本数，D是不属于a_n类且不包含L_m的样本数，n∈[1,c]，c为所述训练集类别的总数目，m∈[1,t]，t为所述训练集业务流特征数；

(3-2)根据所述训练集对应的最优特征集ξ更新所述训练集的样本集X，公式为：

X′＝X(:,ξ)(2)

式(2)中，X′为更新后所述训练集的样本集。

4.如权利要求1所述的方法，其特征在于，所述步骤(5)包括：

(5-1)获取所述测试集中样本至SVM二分类器的分类超平面距离d，公式为：

$d=\frac{f\left(x\right)}{\left|\right|\mathrm{\ω}\left|\right|}---\left(3\right)$

式(3)中，f(x)为支持向量机决策函数，ω为支持向量机决策函数的系数值，||ω||为ω的二范数；

(5-2)若所述测试集中样本至SVM二分类器的分类超平面距离d大于正阈值ε，则删除该SVM二分类器的负类a_j对应所述类别集a中的类别；若所述测试集中样本至SVM二分类器的分类超平面距离d小于负阈值ε，则删除该SVM二分类器的正类a_i对应所述类别集a中的类别；若所述测试集中样本至SVM二分类器的分类超平面距离d大于负阈值ε且小于正阈值ε，则不对所述类别集a进行处理。

5.如权利要求1所述的方法，其特征在于，所述步骤(6)包括：

若所述测试集中样本至SVM二分类器的分类超平面距离d大于正阈值ε，则j＝j-1，若所述测试集中样本至SVM二分类器的分类超平面距离d小于负阈值ε，则i＝i+1，若所述测试集中样本至SVM二分类器的分类超平面距离d大于负阈值ε且小于正阈值ε且f(x)＞0，则j＝j-1，若所述测试集中样本至SVM二分类器的分类超平面距离d大于负阈值ε且小于正阈值ε且f(x)＜0，则i＝i+1，j＝length(a)，其中，f(x)为支持向量机决策函数。

6.如权利要求1所述的方法，其特征在于，所述步骤(8)中，调整所述阈值ε包括：阈值减半。