CN106408007A - 一种电力通信网流量分类方法及其系统 - Google Patents

Abstract

本申请提供一种电力通信网流量分类方法，包括如下步骤：步骤S1、对IP分组进行预处理获得流包，流包中包含网络流；步骤S2、对流包里的网络流进行特征提取和离散化，获得互相关性较小的流属性集合；步骤S3、根据流属性集合对获得的流包进行分类、聚合。本申请提出的方法改进了流聚合朴素贝叶斯分类方法，在该分类方法基础上改进聚合相关流前的单流分类算法‑朴素贝叶斯算法，提出采用隐朴素贝叶斯方法取代之，考虑了流属性间的相关性，使得在较小训练数据集的条件下获得更大的分类性能增益。

Description

一种电力通信网流量分类方法及其系统

技术领域

本申请涉及电力通信领域，特别的涉及一种电力通信网流量分类方法及其系统。

背景技术

随着智能电网的发展，电力信息通信网络承载了越来越多的业务。不同的业务种类、业务流量的差异以及部署方式的差异对承载网络提出了大带宽、实时性、互动性、智能流量控制、数据和网络的安全性等方面的需求。为了达到这些要求，对网络智能管道的多维感知是非常必要的。作为多维感知技术的重要组成部分，网络流量分类的引入有利于更有效地分配网络资源，提升服务质量。

流量分类中构造分类器的方法很多，常见的有贝叶斯网络、决策树、基于实例的学习、人工神经网络、支持向量机、遗传算法、粗糙集、模糊集等等。其中，贝叶斯网络正以其独特的不确定性知识表达形式、丰富的概率表达能力、综合先验知识的增量学习特性等成为众多方法中最为流行的方法之一。

常见的方法是流聚合朴素贝叶斯分类方法，该方法能在较小训练数据集的条件下提升分类性能。该方法主要实现是将网络相关流打包，先分别对每一个流进行朴素贝叶斯计算，然后采用一种方法如最大值法、求和法、均值法等对相关流组成的包进行分类计算得到分类结果。该方法仿真结果表明求和法的分类性能最佳，能够提升不聚合流的朴素贝叶斯分类方法性能。

发明内容

但是现在广泛使用的上述流聚合朴素贝叶斯分类方法由于在聚合相关流前对单流分析采用了朴素贝叶斯方法，而朴素贝叶斯方法有一定的缺陷，它假设流属性间都是相互独立的，真实流属性并不具备这一特征，因此分类性能会受到限制。

有鉴于此，本申请提供一种电力通信网流量分类方法，该方法，包括如下步骤：

步骤S1、对IP分组进行预处理获得流包，流包中包括网络流；

步骤S2、对流包里的网络流进行特征提取和离散化，获得互相关性较小的流属性集合；

步骤S3、根据流属性集合对获得的流包进行分类、聚合。

其中步骤S1、对IP分组进行预处理获得流包，流包中包括网络流包括如下子步骤：

步骤S11、获得多个IP分组；

步骤S12、对IP分组进行归类，获得多个流；

步骤S13、对多个流进行流聚合，形成多个流包。

其中步骤S3、根据流属性集合对获得的流包进行分类、聚合包括如下子步骤：

步骤S31、对一个流包中的所有相关流采用隐朴素贝叶斯算法，获得每个流针对不同分类的后验概率，最终分类结果是求得一个流包中的所有流的后验概率并求和，选取最大后验概率对应的分类作为流包的分类结果。

其中流包中的单流采用隐朴素贝叶斯算法计算，然后对一个流包中的所有流采用求和法确定最终分类。

其中隐朴素贝叶斯算法是在朴素贝叶斯算法的基础上添加一个隐层。

其中隐朴素贝叶斯算法为：

给定一个流x＝{a₁,…,a_n}，与分类c相关的后验概率为：

P(c|x)＝P(c|a₁,…,a_n) (1)

其中{a₁,…,a_n}是流属性集合{A₁,…,A_n}的一个实例，n为流属性总个数，c是分类结果向量C的一个实例；

由贝叶斯定理得：

考虑属性相关性引入隐层得到：

其中λ＝P(a₁,…,a_n)是比例因子，a_hpi为隐层属性A_hpi的实例；

隐藏的父亲结点A_hpi对其儿子属性结点A_i的依赖关系等于其他所有属性结点A_j(j≠i)对属性结点A_i的依赖关系的加权平均；权值采用属性变量之间的条件互信息来定义，即：

其中，I_p(A_i；A_j|C)为属性变量A_i和属性变量A_j之间的条件相互信息，具体的计算按如下公式：

采用概率估测方法计算P(c)和P(a_i|a_j,c)，计算公式如下：

其中F(·)表示这组属性在训练集中出现的频率，n是训练集的样本数，n_c是分类类别数，n_i是属性A_i的取值数。

其中步骤S3、根据流属性集合对获得的流包进行分类、聚合包括子步骤S32：聚合相关流；

聚合公式可以表示为：

其中Θ是聚合方法。

其中聚合方法使用求和法，采用求和法得到的聚合公式表示为：

所以判定规则为：

assign X→c if

本申请还提供一种电力通信网流量分类系统，包括预处理器，流预处理器以及分类聚合器，其中预处理器：对IP分组进行预处理获得流包，流包中包含网络流。流预处理器：对流包中的网络流进行特征提取和离散化，获得互相关性较小的流属性集合。分类聚合器：根据流属性集合对获得的流包进行分类、聚合。

其中预处理器获得多个IP分组，对IP分组进行归类，获得多个流，并对多个流进行流聚合，形成多个流包。

由以上技术方案可见，本申请提出的方法改进了流聚合朴素贝叶斯分类方法，在该分类方法基础上改进聚合相关流前的单流分类算法-朴素贝叶斯算法，提出采用隐朴素贝叶斯方法取代之，考虑了流属性间的相关性，使得在较小训练数据集的条件下获得更大的分类性能增益。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请电力通信网流量分类系统；

图2是本申请求隐朴素贝叶斯算法所采用的的分类器结构图；

图3是本申请电力通信网流量分类方法。

具体实施方式

本申请采用组合相关流的流量分类方法可以在较小训练数据集的前提下获取更大的分类增益，将单流预测结果通过求和法组合获取分类结果。其中单流分类采用隐朴素贝叶斯算法求得，通过添加隐层将流属性间的相关性考虑进去。

为了使本领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请保护的范围。

下面结合本申请附图进一步说明本申请具体实现。

如图1所示，该电力通信网流量分类系统包括预处理器101，流预处理器103以及分类聚合器104。下面介绍各个组成部分的构造。

预处理器101：对IP分组进行预处理获得流包，流包中包含网络流。即获得多个IP分组，进一步对IP分组进行归类，获得多个流，并对多个流进行流聚合，形成多个流包。

包括获得多个IP分组，其中每个IP分组由一个五元组标识，即(源IP地址、源端口号、目的IP地址、目的端口号、传输协议)；对IP分组进行归类，获得多个流；将具有相同五元组的IP分组归类为一类，作为一个流，即流是具有相同五元组的IP分组。

进一步的预处理器101对多个流进行流聚合，形成多个流包。

即将在一定时间内具有相同目的IP、目的端口和传输协议的相关流聚合成一个流包(BoFs：bag-of-flows)。

流预处理器103：对流包中的网络流进行特征提取和离散化，获得互相关性较小的流属性集合。

该流预处理器103包括n个特征提取器和n个离散化器。其中特征提取器对一个流包中的所有流即相关流进行特征提取，离散化器对相关流的特征进行离散化，从而获得互相关性小的统计特征子集。即获得x＝{a₁,…,a_n}，{a₁,…,a_n}是流属性集合{A₁,…,A_n}的一个实例，A_i是某一个流属性，如包总数、包间隔时间等。不同流量统计特征适用不同流量分类算法，朴素贝叶斯分类算法要求统计特征相互独立，因此选取相关性小的统计特征作为算法输入，特征提取及离散化就是为了获取相关性小的统计特征子集。常用的特征子集例如{流持续时间、流字节数统计量、流内报文到达时间间隔统计量等}。

分类聚合器104包括n个分类器和一个聚合器，根据流属性集合对获得的流包进行分类、聚合。

其中，分类器i对第i个流包中的相关流采用求隐朴素贝叶斯算法，获得每个流针对不同分类的后验概率。最终分类结果是求得一个流包中的所有流的后验概率并求和，选取最大后验概率对应的分类作为流包的分类结果。

流包中的单流采用隐朴素贝叶斯算法计算，然后对一个流包中的所有流采用求和法计算获得流包最终分类。其中隐朴素贝叶斯算法是在朴素贝叶斯算法的基础上添加一个隐层。

该隐朴素贝叶斯算法所采用的的分类器结构图如下图2所示，其中C是类结点，对应于类变量，它是所有属性结点的父亲结点。A₁，A₂，A₃，…，A_n是n个属性结点，对应于n个属性变量。此外，每一个属性结点A_i(i＝1，2，3，…，n)还有一个隐藏的父亲结点，或称为隐层属性Ahpi(i＝1，2，3，…，n)，在图2中隐藏的父亲结点Ahpi和由其发出的有向边201都为虚线，以表示它们和实际存在的结点和有向边的不同。所有的隐藏的父亲结点Ahpi(i＝1，2，3，…，n)构成了朴素贝叶斯算法的隐层。

通过添加隐层而可以进一步考虑流属性间的相关性。由于最大后验分类可以最小化平均分类误差。所以需要计算流属于某个分类的后验概率。给定一个流x＝{a₁,…,a_n}，与分类c相关的后验概率为：

P(c|x)＝P(c|a₁,…,a_n) (1)

其中{a₁,…,a_n}是流属性集合{A₁,…,A_n}的一个实例，n为流属性总个数。c是分类结果向量C的一个实例。

由贝叶斯定理得：

考虑属性相关性引入隐层得到：

其中λ＝P(a₁,…,a_n)是比例因子，a_hpi为隐层属性A_hpi的实例。

隐藏的父亲结点A_hpi对其儿子属性结点A_i的依赖关系等于其他所有属性结点A_j(j≠i)对属性结点A_i的依赖关系的加权平均。权值采用属性变量之间的条件互信息来定义，即：

其中，I_p(A_i；A_j|C)为属性变量A_i和属性变量A_j之间的条件相互信息，具体的计算按如下公式：

采用概率估测方法计算P(c)和P(a_i|a_j,c)，计算公式如下：

其中F(·)表示这组属性在训练集中出现的频率，n是训练集的样本数，n_c是分类类别数，n_i是属性A_i的取值数。

继续看图1，其中该系统的分类聚合器104还包括聚合器，该聚合器聚合流包中的相关流。聚合器使用下述公式工作：

其中x表示一个流，而X表示一个流包，X＝(x₁,x₂,…)，Θ是聚合方法，可以采用求和法、最大值法、中位数法、多数投票法等方法。其中优选的使用求和法，这是由于求和法相较于其他方法具有更高的分类增益。因此本申请采用求和法作为最后的聚合流方法。采用求和法得到的聚合公式表示为：

所以判定规则为：

assign X→c if

以上描述了电力通信网流量分类系统，下面结合图3，描述本申请的分类方法。

如图3所示，是本申请电力通信网流量分类方法，包括如下步骤：

步骤S1、对IP分组进行预处理获得流包，流包中包含网络流。

包括如下子步骤：

步骤S11、获得多个IP分组；

其中每个IP分组由一个五元组标识，即(源IP地址、源端口号、目的IP地址、目的端口号、传输协议)；

步骤S12、对IP分组进行归类，获得多个流；

将具有相同五元组的IP分组归类为一类，作为一个流，即流是具有相同五元组的IP分组。

步骤S13、对多个流进行流聚合，形成多个流包。

即将在一定时间内具有相同目的IP、目的端口和传输协议的相关流聚合成一个流包(BoFs：bag-of-flows)。

步骤S2、对流包里的网络流进行特征提取和离散化，获得互相关性较小的流属性集合。

即获得x＝{a₁,…,a_n}，{a₁,…,a_n}是流属性集合{A₁,…,A_n}的一个实例，A_i是某一个流属性，如包总数、包间隔时间等。不同流量统计特征适用不同流量分类算法，朴素贝叶斯分类算法要求统计特征相互独立，因此选取相关性小的统计特征作为算法输入，特征提取及离散化就是为了获取相关性小的统计特征子集。常用的特征子集例如{流持续时间、流字节数统计量、流内报文到达时间间隔统计量等}。

步骤S3、根据流属性集合对获得的流包进行分类、聚合。

包括如下子步骤：

步骤S31、对一个流包中的所有相关流采用求隐朴素贝叶斯算法，获得得每个流针对不同分类的后验概率。最终分类结果是求得一个流包中的所有流的后验概率并求和，选取最大后验概率对应的分类作为流包的分类结果。

流包中的单流采用隐朴素贝叶斯算法计算，然后对一个流包中的所有流采用求和法确定最终分类。其中隐朴素贝叶斯算法是在朴素贝叶斯算法的基础上添加一个隐层。

该隐朴素贝叶斯算法所采用的的分类器结构图如下图2所示，其中C是类结点，对应于类变量，它是所有属性结点的父亲结点。A₁，A₂，A₃，…，A_n是n个属性结点，对应于n个属性变量。此外，每一个属性结点A_i(i＝1，2，3，…，n)还有一个隐藏的父亲结点，或称为隐层属性Ahpi(i＝1，2，3，…，n)，在图2中隐藏的父亲结点Ahpi和由其发出的有向边201都为虚线，以表示它们和实际存在的结点和有向边的不同。所有的隐藏的父亲结点Ahpi(i＝1，2，3，…，n)构成了朴素贝叶斯算法的隐层。

通过添加隐层而可以进一步考虑流属性间的相关性。由于最大后验分类可以最小化平均分类误差。所以需要计算流属于某个分类的后验概率。给定一个流x＝{a₁,…,a_n}，与分类c相关的后验概率为：

P(c|x)＝P(c|a₁,…,a_n) (1)

其中{a₁,…,a_n}是流属性集合{A₁,…,A_n}的一个实例，n为流属性总个数。c是分类结果向量C的一个实例。

由贝叶斯定理得：

考虑属性相关性引入隐层得到：

其中λ＝P(a₁,…,a_n)是比例因子，a_hpi为隐层属性A_hpi的实例。

隐藏的父亲结点A_hpi对其儿子属性结点A_i的依赖关系等于其他所有属性结点A_j(j≠i)对属性结点A_i的依赖关系的加权平均。权值采用属性变量之间的条件互信息来定义，即：

其中，I_p(A_i；A_j|C)为属性变量A_i和属性变量A_j之间的条件相互信息，具体的计算按如下公式：

采用概率估测方法计算P(c)和P(a_i|a_j,c)，计算公式如下：

其中F(·)表示这组属性在训练集中出现的频率，n是训练集的样本数，n_c是分类类别数，n_i是属性A_i的取值数。

步骤S32、聚合相关流。

聚合公式可以表示为：

其中Θ是聚合方法，可以采用求和法、最大值法、中位数法、多数投票法等方法。其中优选的使用求和法，这是由于求和法相较于其他方法具有更高的分类增益。因此本申请采用求和法作为最后的聚合流方法。采用求和法得到的聚合公式表示为：

所以判定规则为：

assign X→c if

本领域的技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种电力通信网流量分类方法，包括如下步骤：

步骤S1、对IP分组进行预处理获得流包，流包中包含网络流；

步骤S2、对流包里的网络流进行特征提取和离散化，获得互相关性较小的流属性集合；

步骤S3、根据流属性集合对获得的流包进行分类、聚合。

2.如权利要求1所述的方法，其中步骤S1、对IP分组进行预处理获得流包，流包中包括网络流包括如下子步骤：

步骤S11、获得多个IP分组；

步骤S12、对IP分组进行归类，获得多个流；

步骤S13、对多个流进行流聚合，形成多个流包。

3.如权利要求1所述的方法，其中步骤S3、根据流属性集合对获得的流包进行分类、聚合包括如下子步骤：

步骤S31、对一个流包中的所有相关流采用隐朴素贝叶斯算法，获得每个流针对不同分类的后验概率，最终分类结果是求得一个流包中的所有流的后验概率并求和，选取最大后验概率对应的分类作为流包的分类结果。

4.如权利要求3所述的方法，其中流包中的单流采用隐朴素贝叶斯算法计算，然后对一个流包中的所有流采用求和法确定最终分类。

5.如权利要求3所述的方法，其中隐朴素贝叶斯算法是在朴素贝叶斯算法的基础上添加一个隐层。

6.如权利要求3所述的方法，其中隐朴素贝叶斯算法为：

给定一个流x＝{a₁,…,a_n}，与分类c相关的后验概率为：

P(c|x)＝P(c|a₁,…,a_n) (1)

其中{a₁,…,a_n}是流属性集合{A₁,…,A_n}的一个实例，n为流属性总个数，c是分类结果向量C的一个实例；

由贝叶斯定理得：

$P\left(c\right|a_1,...,a_n)=\frac{P\left(c\right)P(a_1,...,a_n|c)}{P(a_1,...,a_n)}---\left(2\right)$

考虑属性相关性引入隐层得到：

$P\left(c\right|x)=\frac{1}{\mathrm{\λ}}P\left(c\right)\underset{i=1}{\overset{n}{\Π}}P\left(a_i\right|a_{hpi},c)---\left(3\right)$

其中λ＝P(a₁,…,a_n)是比例因子，a_hpi为隐层属性A_hpi的实例；

$P\left(a_i\right|a_{hpi},c)=\underset{j=1,j\≠i}{\overset{n}{\Σ}}{W}_{ij}\×P\left(a_i\right|a_j,c)---\left(4\right)$

隐藏的父亲结点A_hpi对其儿子属性结点A_i的依赖关系等于其他所有属性结点A_j(j≠i)对属性结点A_i的依赖关系的加权平均；权值采用属性变量之间的条件互信息来定义，即：

$W_{ij}=\frac{I_p(A_i;A_j|C)}{\underset{j=1,j\≠i}{\overset{n}{\Σ}}{I}_p(A_i;A_j|C)}---\left(5\right)$

其中，I_p(A_i；A_j|C)为属性变量A_i和属性变量A_j之间的条件相互信息，具体的计算按如下公式：

$I_p(A_i;A_j|C)=\underset{a_i,a_j,c}{\mathrm{\Σ}}P\left(a_i\right|a_j,c)\log \frac{P\left(a_i\right|a_j,c)P\left(c\right)}{P\left(a_i\right|c)P\left(a_j\right|c)}---\left(6\right)$

采用概率估测方法计算P(c)和P(a_i|a_j,c)，计算公式如下：

$P\left(c\right)=\frac{F\left(c\right)+1.0/n_c}{n+1.0}---\left(7\right)$

$P\left(a_i\right|a_j,c)=\frac{F(a_i,a_j,c)+1.0/n_i}{F(a_j,c)+1.0}---\left(8\right)$

其中F(·)表示这组属性在训练集中出现的频率，n是训练集的样本数，n_c是分类类别数，n_i是属性A_i的取值数。

7.如权利要求1所述的方法，其中步骤S3、根据流属性集合对获得的流包进行分类、聚合包括子步骤S32：聚合相关流；

聚合公式可以表示为：

其中Θ是聚合方法。

8.如权利要求7所述的方法，其中聚合方法使用求和法，采用求和法得到的聚合公式表示为：

所以判定规则为：

assign X→c if

$\underset{x\∈X}{\Σ}P\left(c\right|x)=\underset{c\∈C}{max}\underset{x\∈X}{\Σ}P\left(c\right|x)---\left(11\right).$

9.一种电力通信网流量分类系统，包括预处理器，流预处理器以及分类聚合器，其特征在于：

预处理器：对IP分组进行预处理获得流包，流包中包含网络流；

流预处理器：对流包中的网络流进行特征提取和离散化，获得互相关性较小的流属性集合；

分类聚合器104：根据流属性集合对获得的流包进行分类、聚合。

10.如权利要求9所述的系统，其中预处理器获得多个IP分组，对IP分组进行归类，获得多个流，并对多个流进行流聚合，形成多个流包。