CN108307231A - 基于遗传算法的网络视频流特征选择与识别方法 - Google Patents

Abstract

本发明属于模式识别与视频业务分类技术领域，具体涉及一种遗传算法的网络视频流特征选择与分类方法，可以快速滤除一些相关度比较低的特征，从而减少后续特征选择过程中的计算开销，然后再从这些特征中选择排名靠前的特征指导遗传算法初始化。本发明采用基于遗传算法的网络视频流特征选择方法相对于同类其它算法以及过滤式算法，分类平均准确率均有所提高，本发明提出了一种新型特征选择算法，即SU‑GA算法，以遗传算法作为特征搜索算法，以对称不确定性作为其适应度评价函数，既考虑了特征与类别之间的相关性，同时又考虑了特征与特征之间的相关性，从而可以选择出最优的特征子集。

Description

基于遗传算法的网络视频流特征选择与识别方法

技术领域

本发明属于模式识别与视频业务分类技术领域，具体涉及一种遗传算法的网络视频流特征选择与分类方法。

背景技术

近年来，由于网络的开放性、互联性、共享性等特点不断凸显，传统的互联网业务如果不进行更新，就满足不了人们越来越多的更为复杂的需求，从而使得新型的网络应用以及各种应用层协议的加速出现。由于这些新应用和新协议的出现，网络流量的动态性、多变性以及异质性不断增强，这就使得网络流量环境变得更加复杂。同时，由于新的加密技术和动态端口技术的广泛应用使得传统的网络流量分类的准确率急剧下降，在如此复杂的网络环境中如何能够合理的分配网络带宽资源和保障网络信息传输的安全成为ISP亟待解决的问题。网络流量分类可以使ISP根据不同的视频应用类型，从而提供相应等级的服务，进而使网络资源分配更加合理。

在特征选择的整个过程中，评价标准在其中扮演着非常重要的角色 ，它是进行特征选择的重要依据。 总的来说，评价标准大致分为两种：一种评价标准是单独地进行衡量单个特征的预测能力，主要是衡量特征与类别之间的相关性；另一种评价标准是评价某一个特征子集在整个特征选择过程中的预测能力。一般在 Filter方法中，不需要具体的分类学习算法进行评价某个特征子集，而是利用统计学和信息论等其它学科的重要思想，依据数据集中内在的一些特性进行评价单个特征的预测性能，进而得出由若干个排名靠前的特征组成的特征子集组合。

一般来说，过滤式方法认为选择出的最优特征组合是由一系列预测性能较强的特征组合而成的。相反 ，在另外一种方法中，即Wrapper 方法，在特征选择过程中，这种包装式方法用后续的分类学习算法嵌入到其中，通过测试选择出的特征组合在这种算法上的预测能力从而判断它的优劣，它却很少关注特征组合中单个特征的预测能力如何。 因此，在第二种评价标准中，它并不要求最终所选择的特征组合中的每个特征的预测性能都是很好的。

但是在Wrapper方法中，一般选取分类学习算法的准确率作为适应度评价函数，常用的分类学习算法有SVM、BayesNet、KNN、RandomForest等。如果采用分类学习算法的准确率作为适应度评价函数，那么整个特征选择过程的时间复杂度将会更高，内存开销相对也会大幅度增加。因此，在特征选择的过程中，如何选择一个效果比较好的适应度评价函数是至关重要的。

发明内容

针对如何选择一个效果比较好的适应度评价函数，提出了基于遗传算法的网络视频流特征选择与分类方法，该方法针对在线直播视频、在线非直播标清视频、在线非直播高清视频、在线非直播超清视频、HTTP下载、即时通信类视频（即QQ视频）、P2P类视频（主要是Kankan视频）七种业务进行分析和研究，提出了一种新型特征选择算法，即SU-GA算法，以遗传算法作为特征搜索算法，以对称不确定性作为其适应度评价函数。经过大量实验结果表明，本发明方法相比现有同类方法可以获得更高的分类准确率。

本发明的技术方案为基于遗传算法的网络视频流特征选择与分类方法，具体包含以下步骤：

（1）：使用网络封包分析软件wireshark进行网络视频业务抓包，从而可以获取所需的原始实验数据，然后对这些数据包进行分析、过滤处理，得到我们需要的数据格式，最后通过一些脚本对这些网络视频业务流数据进行基本的统计特征计算，从而得到我们需要的统计特征，具体步骤如下：

1-1：对原始的数据进行简单预处理，转换成标准的五元组文本格式，分别为数据包到达的时间、源IP地址、目的IP地址、协议类型、数据包分组大小；

1-2：对数据包过滤是指滤除不影响分类结果的数据包；

1-3：对原始视频流的标准五元组文件进行基本的统计特征计算，这些特征包括：下行字节速率和上下行字节数之比、上/下行包大小、上/下行包大小信息熵、上/下行包到达时间时间间隔、下行数据包速率、整体包大小等。

（2）：为了选择一组比较有效的特征组合，可以采用基于遗传算法的网络视频流特征选择方法，具体步骤如下：

2-1：对所采集的数据进行离散化处理；

2-2：利用信息增益算法计算每个特征的权重，即特征与类别之间的关联性；

2-3：根据上一步的排名，去除关联性比较小的特征，选取权重最大的前M个特征，相当于对原始数据进行降维处理，从而减少下面步骤的计算复开销以及时间开销；

2-4：在M个特征中选取N个特征来指导遗传算法进行初始化；

2-5：初始化：设置进化代数计数器t=0，设置最大进化代数T，随机生成M个个体作为初始群体P(0)；

2-6：个体评价：以对称不确定性SU作为其适应度评价函数，计算群体P(t)中各个个体的适应度，若满足2-12的判断终止条件，则输出最佳个体及其最优解，结束，否则，进行下一步；

2-7：依据适应度选择再生个体，适应度高的个体被选中的概率高，适应度低的个体被淘汰；

2-8：选择运算：将选择算子作用于群体。选择的目的是把优化的个体直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代。选择操作是建立在群体中个体的适应度评估基础上的；

2-9：交叉运算：将交叉算子作用于群体。遗传算法中起核心作用的就是交叉算子；

2-10：变异运算：将变异算子作用于群体。即是对群体中的个体串的某些基因座上的基因值作变动；

2-11：群体P(t)经过选择、交叉、变异运算之后得到下一代群体P(t+1)，返回步骤2-6；

2-12：终止条件判断:若满足最大迭代次数，则以进化过程中所得到的具有最大适应度个体作为最优解输出，终止计算。

（3）：经过上一步选择出最优特征子集之后，然后选择分类器对数据进行分类，具体步骤如下：

3-1：经过步骤2的特征选择之后，我们得出最优特征子集，然后对视频业务流进分类，搜索算法采用GeneticSearch、GreedyStepwise以及PSOSearch，对比另外一种使用不一致率作为评估函数的特征选择方法；

3-2：在上一步选择出最优子集之后，采用三种分类器BayesNet、J48以及RandomForest分别进行分类实验，然后对比每种分类器分类之后这两种特征选择算法的优劣；

3-3：经过多组实验对比之后，然后统计分类的结果，从准确率和F测度两个方面分析实验结果，得出结论。

本发明的有益效果：

1、本发明首先采用信息增益（Information Gain）算法对原始特征进行降维处理，可以快速滤除一些相关度比较低的特征，从而减少后续特征选择过程中的计算开销，然后再从这些特征中选择排名靠前的特征指导遗传算法初始化。

2、本发明采用基于遗传算法的网络视频流特征选择方法相对于同类其它算法以及过滤式算法，分类平均准确率均有所提高，本文提出了一种新型特征选择算法，即SU-GA算法，以遗传算法作为特征搜索算法，以对称不确定性作为其适应度评价函数，既考虑了特征与类别之间的相关性，同时又考虑了特征与特征之间的相关性，从而可以选择出最优的特征子集。

附图说明

图1为基于遗传算法的网络视频流特征选择与分类方法的流程框图。

具体实施方式

为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。

如图1所示，本发明提出了一种基于遗传算法的网络视频流特征选择与分类方法，该方法包括视频业务流数据及特征的预处理、于遗传算法的网络视频流特征选择、结合三种分类器进行实验等，包括如下步骤：

（1）：使用网络封包分析软件wireshark进行网络视频业务抓包，从而可以获取所需的原始实验数据，然后对这些数据包进行分析、过滤处理，得到我们需要的数据格式，最后通过一些脚本对这些网络视频业务流数据进行基本的统计特征计算，从而得到我们需要的统计特征，具体步骤如下：

1-1：对原始的数据进行简单预处理，转换成标准的五元组文本格式，分别为数据包到达的时间、源IP地址、目的IP地址、协议类型、数据包分组大小；

1-2：对数据包过滤是指滤除不影响分类结果的数据包；

1-3：对原始视频流的标准五元组文件进行基本的统计特征计算，这些特征包括：下行字节速率和上下行字节数之比、上/下行包大小、上/下行包大小信息熵、上/下行包到达时间时间间隔、下行数据包速率、整体包大小等。

（2）：为了选择一组比较有效的特征组合，可以采用基于遗传算法的网络视频流特征选择方法，具体步骤如下：

2-1：对所采集的数据进行离散化处理；

2-2：利用信息增益算法计算每个特征的权重，即特征与类别之间的关联性；

2-3：根据上一步的排名，去除关联性比较小的特征，选取权重最大的前M个特征，其中M=12本发明中相当于对原始数据进行降维处理，从而减少下面步骤的计算复开销以及时间开销；

2-4：在M个特征中选取N个特征来指导遗传算法进行初始化，其中N=4；

2-5：初始化：设置进化代数计数器t=0，设置最大进化代数T，随机生成P个个体作为初始群体P(0)，其中P=20，T=20；

2-6：个体评价：以对称不确定性SU作为其适应度评价函数，计算群体P(t)中各个个体的适应度，若满足2-12的判断终止条件，则输出最佳个体及其最优解，结束，否则，进行下一步；说明：信息增益可反映属性提供给属性的信息的多少，因此信息增益值越大，那么与的相关度就越高。由于信息增益是一种对称性的测量方法，其缺点是倾向于选择那些有更多取值的属性。因此，为确保各个属性可相互比较， 使不同的属性选择产生相同的效果，需要对信息增益进行归一化。本发明使用对称不确定性作为评估方法；

2-7：依据适应度选择再生个体，适应度高的个体被选中的概率高，适应度低的个体被淘汰；

2-8：选择运算：将选择算子作用于群体。选择的目的是把优化的个体直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代。选择操作是建立在群体中个体的适应度评估基础上的；

2-9：交叉运算：将交叉算子作用于群体。遗传算法中起核心作用的就是交叉算子；

2-10：变异运算：将变异算子作用于群体。即是对群体中的个体串的某些基因座上的基因值作变动；

2-11：群体P(t)经过选择、交叉、变异运算之后得到下一代群体P(t+1)，返回步骤2-6；

2-12：终止条件判断:若满足最大迭代次数，则以进化过程中所得到的具有最大适应度个体作为最优解输出，终止计算。

（3）：经过上一步选择出最优特征子集之后，然后选择分类器对数据进行分类，具体步骤如下：

3-1：经过步骤2的特征选择之后，我们得出最优特征子集，然后对视频业务流进分类，搜索算法采用GeneticSearch、GreedyStepwise以及PSOSearch，对比另外一种使用不一致率作为评估函数的特征选择方法；

3-2：在上一步选择出最优子集之后，采用三种分类器BayesNet、J48以及RandomForest分别进行分类实验，然后对比每种分类器分类之后这两种特征选择算法的优劣；

3-3：经过多组实验对比之后，然后统计分类的结果，从准确率和F测度两个方面分析实验结果，得出结论。

在用两种评价函数，即不一致率和对称不确定性进行特征选择之后，然后分别在三种分类器上进行分类实验，可以看出，本发明提出的方法无论是在准确率还是在F测度方面均优于以不一致作为评估函数的特征选择算法，同时可以看出本文提出的对称不确定性评估算法在遗传搜索算法上表现性能最好。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.基于遗传算法的网络视频流特征选择与分类方法，其特征在于，主要包含以下步骤：

1-1：对原始的数据进行简单预处理，转换成标准的五元组文本格式，分别为数据包到达的时间、源IP地址、目的IP地址、协议类型、数据包分组大小；

1-2：对数据包过滤是指滤除不影响分类结果的数据包；

1-3：对原始视频流的标准五元组文件进行基本的统计特征计算，这些特征包括：下行字节速率和上下行字节数之比、上/下行包大小、上/下行包大小信息熵、上/下行包到达时间时间间隔、下行数据包速率、整体包大小。

2.根据权利要求1所述的基于遗传算法的网络视频流特征选择与分类方法，其特征在于，所述数据、特征预处理以及特征选择步骤如下：

2-1：对所采集的数据进行离散化处理；

2-2：利用信息增益算法计算每个特征的权重，即特征与类别之间的关联性；

2-3：根据上一步的排名，去除关联性比较小的特征，选取权重最大的前M个特征，其中M=12本发明中相当于对原始数据进行降维处理，从而减少下面步骤的计算复开销以及时间开销；

2-4：在M个特征中选取N个特征来指导遗传算法进行初始化，其中N=4；

2-5：初始化：设置进化代数计数器t=0，设置最大进化代数T，随机生成P个个体作为初始群体P(0)，其中P=20，T=20；

2-6：个体评价：以对称不确定性SU作为其适应度评价函数，计算群体P(t)中各个个体的适应度，若满足2-12的判断终止条件，则输出最佳个体及其最优解，结束，否则，进行下一步；说明：信息增益可反映属性提供给属性的信息的多少，因此信息增益值越大，那么与的相关度就越高，由于信息增益是一种对称性的测量方法，其缺点是倾向于选择那些有更多取值的属性，因此，为确保各个属性可相互比较， 使不同的属性选择产生相同的效果，需要对信息增益进行归一化，本发明使用对称不确定性作为评估方法；

2-7：依据适应度选择再生个体，适应度高的个体被选中的概率高，适应度低的个体被淘汰；

2-8：选择运算：将选择算子作用于群体，选择的目的是把优化的个体直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代，选择操作是建立在群体中个体的适应度评估基础上的；

2-9：交叉运算：将交叉算子作用于群体，遗传算法中起核心作用的就是交叉算子；

2-10：变异运算：将变异算子作用于群体，即是对群体中的个体串的某些基因座上的基因值作变动；

2-11：群体P(t)经过选择、交叉、变异运算之后得到下一代群体P(t+1)，返回步骤2-6；

2-12：终止条件判断:若满足最大迭代次数，则以进化过程中所得到的具有最大适应度个体作为最优解输出，终止计算。

3.根据权利要求2所述的遗传算法的网络视频流特征选择与分类方法，其特征在于，所述分类过程具体包括：

3-1：经过步骤2的特征选择之后，我们得出最优特征子集，然后对视频业务流进分类，搜索算法采用GeneticSearch、GreedyStepwise以及PSOSearch，对比另外一种使用不一致率作为评估函数的特征选择方法；

3-2：在上一步选择出最优子集之后，采用三种分类器BayesNet、J48以及RandomForest分别进行分类实验，然后对比每种分类器分类之后这两种特征选择算法的优劣；

3-3：经过多组实验对比之后，然后统计分类的结果，从准确率和F测度两个方面分析实验结果，得出结论。