CN106998322B

CN106998322B - 一种使用视频业务的平均意见分均值特征的流分类方法

Info

Publication number: CN106998322B
Application number: CN201710089907.3A
Authority: CN
Inventors: 董育宁; 易小华
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2017-02-20
Filing date: 2017-02-20
Publication date: 2020-04-14
Anticipated expiration: 2037-02-20
Also published as: CN106998322A

Abstract

本发明公开了一种使用视频业务的平均意见分均值特征的流分类方法，包括数据集预处理和特征提取、计算三种视频业务MOS的PDF均值特征和SVM分类三个步骤。数据集预处理和特征提取首先通过网络封包分析软件抓取所需网络中的视频数据流，将抓取的原始数据流保存成标准文本格式，进行大量的流量统计特征计算，选出下行字节速率作为信息增益率最大的特征。SVM分类将每条视频流的均值特征结合下行字节速率定义为最优特征子集，将特征子集有监督离散化，使用基于SVM十折交叉验证法进行流识别与分类。本发明可以保证客户端观看视频的体验质量，分析三种视频业务MOS值分布情况，也可以配合有效的特征组合，对三种视频进行识别与分类，并能取得较好的分类效果。

Description

一种使用视频业务的平均意见分均值特征的流分类方法

技术领域

本发明属于流识别与分类技术领域，具体涉及一种使用视频业务的平均意见分均值特征的流分类方法。

背景技术

近年来，随着Wifi、LTE、4G和WiMAX等无线通信技术的飞速发展，流媒体视频业务流量急剧增加，同时智能手机、笔记本电脑和平板电脑在人们日常生活中的普及也加速了视频业务的增长。根据中国互联网络发展状况统计报告，截至2016年6月，我国网络视频用户规模达到了5.14亿，较2015年底增加了1000万。互联网视频观看的人数占所有网民总数的比例为72.4％，而且这一数值一直在增长。与此同时，Web视频等多媒体视频业务对传输带宽、延迟以及抖动的要求很高，这势必对视频业务在未来移动通信网中的传输和网络流量的管理方面带来严峻的挑战。因此，为保障用户体验质量(QoE)，如何根据所提供的服务来预测终端客户的体验质量是多媒体服务提供商目前迫切需要解决的问题。另一方面，为了更好地控制和管理网络流量以及保障网络视频的服务质量(QoS)，迫切需要对网络视频业务进行有效地识别和分类。

用户体验质量是描述用户在与服务或者应用交互的过程中，由用户产生的对服务的一种主观感受，用户在一定的客观环境中对所使用的服务或者业务的整体认可程度，在业界被用来评价视频业务的服务质量。平均意见分(MOS，Mean Opinion Score)是一种常用于表示用户对实时多媒体服务尤其是视频应用的感知质量的参数，它能够较好地反映出用户对视频应用质量的感觉。MOS值取值范围是1～5，值越大表明用户对视频质量越满意，反之越小则表明用户对视频质量越不满意。概率密度函数(PDF，Probability DensityFunction)是一个描述某个随机变量的输出值，在某个确定的取值点附近的可能性的函数。

对视频等网络业务流如何进行有效的分类一直是学术界研究的重点。目前，视频等网络业务流分类主要使用的是基于统计特征结合机器学习。基于流量统计特征的分类方法是通过提取网络流的统计特征，将网络流抽象为由一组统计特征值构成的属性向量，实现流量分类。比如Ran D等人通过提取360P、480P、720P三种视频业务M个下行速率峰值，并构成M维属性向量，使用经典的K-means方法进行视频流分类。使用该方法的优势是模型简单，计算过程相对高效，但是该方法的缺点是考虑的特征只有下行速率峰值，选择的特征比较单一，且对未进行训练的样本识别率较低。

发明内容

本发明目的在于针对上述网络视频流进行有效分类的问题，提出一种有效的视频流分类方法，称为一种使用视频业务的平均意见分均值特征的流分类方法。该方法综合考虑了视频业务MOS值PDF的均值和基于CON-GR(Consistency Feature Selection-GainRatio)特征选择方法选出的下行字节速率，采用支持向量机分类器(SVM，SupportVectorMachine)实现了标清、高清和超清三类视频业务的识别与分类。实验结果表明，与现有的视频流分类方法比较，本发明提出的方法获得了较高的分类准确率。为实现上述目的，本发明采取的技术方案是一种使用视频业务的平均意见分均值特征的流分类方法，包括如下步骤：

步骤1：数据集预处理和特征提取：

1.1)通过网络封包分析软件抓取所需网络中的视频数据流，将抓取的原始数据流保存成标准文本格式；

1.2)对原始的视频数据流进行大量的流量统计特征计算，使用CON-GR特征选择方法选出信息增益率最大的特征，即下行字节速率；

步骤2：计算三种视频业务MOS的PDF均值特征：

2.1)将预处理之后的原始数据集截断；

2.2)模拟视频播放原理，将截断之后的数据集作为模拟播放的输入，统计每一条流的特定参数；

2.3)根据步骤2.2中统计出来的参数计算截断数据集中每条视频流基于ITU-TP.1201标准下的MOS值；

2.4)将MOS值进行等份，统计落在每个等份中MOS值的个数，得到原始视频数据集每条视频流的MOS值PDF，计算均值特征；

步骤3：SVM分类：

3.1)将每条视频流的均值特征结合下行字节速率，定义为最优特征子集；

3.2)将特征子集有监督离散化，使用基于SVM十折交叉验证法进行流识别与分类。

进一步，上述CON-GR特征选择方法的基本步骤是先用CON特征选择方法剔除无关特征，然后计算剩余特征和类别之间的信息增益率GR，并降序排列。

作为优选，上述标准文本格式包括包到达时间、源IP地址、目的IP地址、协议类型、数据包大小五列原始信息。

步骤2.2中的所述特定参数可以包括播放中断次数，平均播放中断时间，初始缓冲时间，视频码率。

作为优选，上述步骤2.4中所述等份是将MOS值进行20等份。

上述网络封包分析软件优选为WireShark。

与现有技术相比，本发明的有益效果：

1、本发明能够根据现有的ITU-TP.1201用户感知的媒体流QoE预测模型，计算每条视频流的MOS值，不但可以保证客户端观看视频的体验质量，分析三种视频业务MOS值分布情况，也可以配合有效的特征组合，对三种视频进行识别与分类，并能取得较好的分类效果。

2、本发明方法使用视频业务的MOS值PDF均值特征结合支持向量机分类器的视频业务识别分类技术，与现有的视频流分类技术相比，采用了新的具有较好区分度的特征组合标识原始视频数据，能够取得更高的分类准确性。

附图说明

图1是本发明视频业务特征分析与分类方法的流程框图。

图2是本发明下行字节速率分析图。

图3是本发明视频业务的PDF分析图。

图4是本发明用到的ITU-TP.1201标准QoE整体架构。

具体实施方式

下面结合说明书附图对本发明作进一步的详细说明。

现提供一个实施例，包括如下步骤：

步骤1，数据集与数据预处理：1)通过网络封包分析软件，比如WireShark，在特定的网络，比如校园网环境中，抓取所需的视频数据流，然后将抓取的原始数据流保存成包含五列数据的标准文本格式，其中包括包到达时间(s)、源IP地址、目的IP地址、协议类型、数据包大小五列，定义为原始数据集。2)将原始数据集滤除每条视频流的前5min的数据包，滤除上行数据包，定义为数据集DataSet1。3)将DataSet1每一条视频流按5000个数据包截断，其中标清得到1446个样本流，高清得到2665个样本流，超清得到8324个样本流，定义为数据集DataSet2。

步骤2，计算三种视频业务MOS的PDF的均值特征：1)模拟视频播放原理，将Dataset2作为模拟播放的输入，统计每一条流的播放中断次数，平均播放中断时间，初始缓冲时间，视频码率等QoS参数。2)将DataSet2中视频流统计出的QoS参数按照ITU-TP.1201标准计算标清1446个样本流、高清2665个样本流、超清得到8324个样本流的MOS值。3)将MOS值以间隔为0.2平均分成20个等分，统计步骤2)中标清、高清和超清MOS值落在20个等分中的概率，得到三种视频业务的PDF，并计算其均值定义为Feature1{视频业务PDF均值特征}。

步骤3，特征提取：对于原始数据集，我们计算出三种视频业务的大量的QoS相关统计特征，用于特征选择和最终的分类。对于特征选择，本文采用的是CON-GR方法。我们选取信息增益率最高的特征形成最优特征，定义为Feature2{下行字节速率}，将视频业务流特征Feature1和特征Feature2定义为最优特征子集FeatureSet。

步骤4，SVM分类：1)将原始数据集中每个样本的FeatureSet有监督离散化。2)使用基于SVM十折交叉验证法进行流识别与分类。

如图1所示，本发明提出的一种使用平均意见分均值特征的网络视频流分类方法，该方法包括：视频流的获取及统计特征的计算、统计特征分析和选择、模拟视频播放和计算PDF均值特征、基于SVM分类器进行分类并输出统计结果等。主要具体步骤为：

步骤1，视频流的获取及统计特征的计算：通过网络分析工具WireShark在校园网环境中获取待分析的网络视频数据，其中包括youku标清、youku高清、youku超清、iqiyi标清、iqiyi高清和iqiyi超清六类视频应用，定义为DataSet1。将获取的网络视频流数据保存成TXT文档格式(即为一条流)，其中包含5列，从左至右依次是包到达时间、源IP地址、目的IP地址、协议类型、数据包大小。流是指同种业务在30分钟时间内所抓取的数据包序列，在次称其为一条流，每种业务都抓取60条流来分析问题，总共360条。然后，将原始的视频流输入到我们的网络数据流处理平台，进行统计特征计算，最后得到一些列的网络视频流的QoS相关的统计特征。

步骤2，统计特征分析和选择：对DataSet1本发明选择CON-GR特征选择方法，基本思路是先用CON特征选择方法剔除无关特征，然后计算剩余特征和类别之间的信息增益率GR并降序排列，如表1。选择信息增一律最大的特征定义为Feature1{下行字节速率}。

表1

实验中，本发明对三种视频业务的下行字节速率进行了分析，如图(2)所示，从图中可以观察到超清和高清视频下行字节速率明显高于标清视频，即超清和高清视频平均下行字节速率是大于标清。另外，可以观察到超清视频下行字节速率的峰值个数比高清视频下行字节速率峰值明显要多。

步骤3，将原始数据集滤除每条视频流的前5min的数据包，滤除上行数据包，定义为DataSet1。将DataSet1每一条视频流按5000个数据包截断，其中标清得到1446个样本流，高清得到2665个样本流，超清得到8324个样本流，定义为数据集DataSet2。

步骤4，将DataSet2作为模拟视频播放策略的输入，统计播放中断次数，平均播放中断时间、初始缓冲时间和视频码率四个QoS参数。将DataSet2中每条视频流的四个QoS参数计算其基于ITU-T标准下的MOS值。之后将MOS值以间隔为0.2平均分成20个等分，统计标清、高清和超清MOS值落在20个等份每个等份中的个数，得到三种视频业务的PDF，计算每条视频业务PDF的均值，定义为特征Feature2{视频业务PDF均值}。

试验中，本发明对视频业务的PDF进行了分析。如图3所示，三种分辨率视频业务MOS值在1～2区间的概率都非常小，标清的MOS值主要分布在2.6～3.4之间，高清主要分布在3.2～4.2之间，超清主要分布在3.8～4.8之间。那么，标清、高清、超清三类网络视频业务的MOS值PDF基本可以代表这类视频MOS值分布情况。这种比较MOS值有区分度分布的特点，为流识别提供了依据。

ITU-TP.1201流媒体质量预测模型具体描述如下：

在ITU-TP.1201提出的标准中，如图4所示，我们需要计算单独音频评分O.21、单独视频评分O.23、音视频评分O.32、播放中断和初始缓冲评分O.24和整体视频评分O.41这些基本模型的值。

定义综合的MOS值O.41由如下得到:

O.41＝max(min((O.32-5O.24),5),1) (1)

公式(1)中，O.24是由缓冲区数据包太少造成的播放中断和视频开始播放的初始缓冲带来的体验质量损伤评分，计算公式如(2)：

O.24＝5-max(min((DegStall+DegT0),4),0) (2)

为了计算O.24，我们需要得到视频播放中断所引起的体验质量损伤评分DegStall和初始缓冲带来的视频体验质量损伤评分DegT0。

DegStall＝max(min(s₄+s₁×exp((s₂×L+s₃)×N),4),0) (3)

其中，L是视频平均播放中断持续时间，它不包括初始缓冲时间，单位是s，N是视频播放中断次数，它不包括初始缓冲。

我们用T₀表示视频播放初始缓冲时间，如果T₀>1-(-3.29)＝4.29，则：

DegT0＝max(min(d₁×lg(T₀+d₂),4),0) (4)

如果T₀≤1-(-3.29)＝4.29，则：

DegT0＝0 (5)

公式(1)中，O.32是由音频单独评分O.21和视频单独评分O.23加权平均而得到的。由于我们没有用到音频，所以这里不需要计算O.21。则：

O.32＝AV_MOSC＝V_MOSC (6)

其中：

V_DC是由于视频压缩而产生的视频失真度，计算公式如(8)：

V_NBR是视频的归一化码率，计算公式如(9)：

其中，V_BR是视频码率，单位是kbit/s，videoFrameRate是视频播放帧率。

V_CCF是视频内容复杂度影响因子，表明视频内容的时空复杂度，它的最大值为1.0，初始值为0.5，计算公式如(10)：

公式中参数V_ABIF是平均I帧字节数。为计算方便，这里平均I帧字节数我们根据经验选取合适的值。

视频模拟播放策略具体描述如下：

模拟客户端视频播放过程可以分为播放准备阶段、视频初始缓冲阶段、视频播放阶段和播放中断阶段。在播放准备阶段，我们将视频开始播放的阈值bc设定为视频播放1s所需数据包大小，视频播放速率设定为平均视频码率的0.75倍，视频中断阈值bi设定为平均视频码率的0.1倍。在视频初始缓冲阶段，开始缓冲区的数据包为空，该算法在当前时间间隔内读取其对应的数据包源源不断地加入缓冲区，当缓冲区数据包大小小于视频播放的阈值bc，不执行任何操作，当缓冲区数据包大小大于视频播放阈值bc，开始执行播放视频的功能，并记录下当前数据包到达时间作为初始缓冲时间。在视频播放阶段，一旦视频开始播放，缓冲区数据包以平均视频码率的0.75倍的速率离开缓冲区，同时算法读取文件中的数据加入缓冲区。当缓冲区数据包大小小于视频中断阈值b_i时，此时视频播放中断，记录下播放中断次数+1，并记录当前数据包到达时间间隔作为播放中断时间，与总的播放中断时间相加。在视频播放中断阶段，此时视频播放停止，而算法继续从文件中读取数据包加入缓冲区，缓冲区数据包必须大于b_c才能重新开始播放。当当前视频流数据包全部读取完毕统计该视频流初始缓冲时间、播放中断次数和播放中断时间。等待下一个视频流执行同样的操作，对于每一条要模拟播放的视频流都执行该算法

步骤4，将视频业务流特征Feature1和特征Feature2定义为最优特征子集FeatureSet。将FeatureSet有监督离散化，将FeatureSet1作为SVM分类器的输入数据，采取十折交叉验证法进行流识别与分类。

本发明的实验结果：

为了进一步验证本发明选取的统计特征的有效性，我们使用上述三种清晰度网络视频流数据，利用本发明中提出的使用视频业务的MOS值PDF特征进行识别与分类。主要从衡量网络流分类性能的查准率、查全率和F测度(F-measure)进行对比验证。

其中Original是采用三种视频分辨率下行速率峰值，使用K-Means方法进行网络流量分类的分类结果，Improved是采用本发明提出的使用视频业务MOS值PDF均值特征和基于CON-GR特征选择方法选出的下行字节速率特征组合的分类结果。表2展示了两种算法对于三种网络视频业务的分类效果比较。从表2可以看出本文提出的流分类方法在准确率、召回率、F-测度和整体识别效果较Original提出的流分类方法都有提高。从查准率看，三种视频业务的查准率在95％以上，标清的准确率达到了97.6％，超清准确率达到了96.6％，高清的准确率最低，只有95.8％，这有可能是高清与标清，高清与超清的PDF有部分重叠造成下行字节速率和均值特征无法将高清正确分类。从查全率和F-测度来看，标清的分类结果比高清和超清要好，原因可能是网络状况不够理想，造成视频业务的下行字节速率变小，标清依然能够正确识别，而高清和超清的识别效果受到了影响。

表2

Original使用三种视频业务的M个下行速率峰值，并构成M维属性向量，使用经典的K-means方法进行视频流分类。使用K-means方法的优势是模型简单，计算过程相对高效,但是Original考虑的特征只有下行速率峰值，选择的特征比较单一，且对未进行训练的样本识别率较低。本发明提出的Improved流识别技术通过对三种分辨率视频业务进行CON-GR特征选择，选出信息增益率最大特征进行视频业务分类，针对只使用CON-GR选出的下行字节速率无法正确识别的视频业务，加入MOS值PDF均值特征可以更好的区分三种视频业务。因此，相比于Original，本发明提出的分类方法较好。

需要说明的是，以上所述数据仅为本发明的一个具体实施例所得，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种使用视频业务的平均意见分均值特征的流分类方法，其特征在于，所述方法包括如下步骤：

步骤1：数据集预处理和特征提取：

1.2)对原始的视频数据流进行大量的流量统计特征计算，使用一致性特征选择增益比CON-GR特征选择方法选出信息增益率最大的特征，即下行字节速率；

步骤2：计算360P、480P、720P三种视频业务MOS的PDF均值特征：

2.1)将预处理之后的原始数据集截断；

步骤3：SVM分类：

2.根据权利要求1所述的一种使用视频业务的平均意见分均值特征的流分类方法，其特征在于：所述CON-GR特征选择方法的基本步骤是先用CON特征选择方法剔除无关特征，然后计算剩余特征和类别之间的信息增益率GR，并降序排列。

3.根据权利要求1所述的一种使用视频业务的平均意见分均值特征的流分类方法，其特征在于：所述标准文本格式包括包到达时间、源IP地址、目的IP地址、协议类型、数据包大小五列原始信息。

4.根据权利要求1所述的一种使用视频业务的平均意见分均值特征的流分类方法，其特征在于步骤2.2中的所述特定参数包括播放中断次数，平均播放中断时间，初始缓冲时间，视频码率。

5.根据权利要求1所述的一种使用视频业务的平均意见分均值特征的流分类方法，其特征在于步骤2.4中所述等份为将MOS值进行20等份。

6.根据权利要求1所述的一种使用视频业务的平均意见分均值特征的流分类方法，其特征在于所述网络封包分析软件为WireShark。