CN108696403B - 一种基于网络流特征构造学习的加密视频QoE评测方法 - Google Patents

Abstract

本发明公开了一种基于网络流特征构造学习的加密视频QoE评测方法，特征是通过HAS视频业务数据流特性分析从QoS参数中提取了与数据内容无关的网络数据流特征，在此基础上利用机器学习方法训练建立了“网络数据流特征→视频KQI→用户MOS”的映射模型，在数据采集平台中直接实现了对加密视频QoE的评测。由于本发明在建模过程中所需特征来自于数据采集平台采集获取的视频业务QoS参数，所建立的映射模型不依赖于视频内容，这种基于网络数据流的建模方法广泛地适用于各种基于TCP和UDP协议加密和非加密移动HAS视频业务。

Description

一种基于网络流特征构造学习的加密视频QoE评测方法

技术领域

本发明属于移动通信网络技术领域，具体涉及基于网络数据流特征的适用于加密视频流业务QoE的评测方法。

背景技术

根据2016年美国思科“Cisco visual networking index:Global mobile datatraffic forecast update,2016-2021white paper”统计预测，到2021年移动视频业务所产生的流量将占移动流量的75％以上。因此运营商需要保证移动视频业务的用户体验质量(Quality of Experience，QoE)以提供更好的网络服务，而如何有效地获取并评估其网络中的视频业务的QoE是亟待解决问题。视频业务QoE是指用户对其所观看视频的主观感受。目前普遍采用ITU-T提出的五分制的主观平均意见得分(Mean Opinion Score，MOS)，通过将QoE从坏到好量化为1～5分进而分析。根据研究，影响视频业务QoE的主要因素为一些视频业务关键质量指标(Key Quality Indicator，KQI)，主要包括视频卡顿、清晰度、流畅度和初始缓冲时延。例如，2011年美国SIGCOMM收录的“Understanding the Impact of VideoQuality on User Engagement”指出，视频卡顿和初始缓冲时延两个KQI为用视频业务QoE的主要影响因素。

由于移动网络信道时变性强，内容提供商为了保证更好的视频QoE普遍采用了HTTP自适应视频流(HTTP Adaptive Streaming，HAS)技术。根据2015年IEEE杂志Communications Surveys&Tutorials收录的“A survey on quality of experience ofhttp adaptive streaming”文章，HAS技术在移动视频业务中的应用减少了80％的视频卡顿事件。但由于HAS视频业务的自身特性，包括自适应、渐进式下载策略，研究者无法简单地根据网络质量获取HAS视频的KQI，进而评估视频业务的QoE。

同时，随着人们对用户隐私的重视，越来越多的内容提供商开始对其视频内容进行加密传输，使得传统基于深度包解析(Deep Packet Inspection，DPI)技术的QoE评估方法已不能满足新的需求。因此，加密视频业务的QoE评估面临着新的挑战。例如，2012年日本国际会议“Innovative Mobile and Internet Services”收录的“Passive youtube qoemonitoring for isps”，2014年美国SIGCOMM收录的“Youslow:a performance analysistool for adaptive bitrate video streaming”，首先在中间节点截获视频业务数据，然后通过DPI技术解析视频内容，包括视频帧、码率、HAS分段时长，再结合当时的移动网络质量评估视频KQI。然而，在加密场景下视频帧、码率和HAS分段时长参数均无法通过DPI技术获取，所以目前已有的移动视频业务KQI的评估方法仍不够全面。

发明内容

本发明的目的是提出一种基于网络流特征构造学习的加密视频QoE评测方法，通过数据采集平台获取用户移动终端观看视频过程中的视频网络数据、视频KQI参数以及用户MOS评分，在此基础上进一步建立网络数据流特征、包括初始缓冲和卡顿的视频KQI参数以及MOS评分的映射模型，在数据采集平台中直接实现加密视频业务QoE评测。

本发明基于网络流特征构造学习的加密视频QoE评测方法，包括：对于HTTP(HyperText Transfer Protocol)和HTTPS(HTTP over Secure Socket Layer)的基于TCP，和对于QUIC(Quick UDP Internet Connection)的基于UDP的加密或非加密HAS视频业务的评测方法，从移动网络核心网网关采集HAS视频业务的网络IP数据包，根据HAS播放器模型分析HAS视频业务的网络数据流特点，从网络数据流中提取对视频KQI表征性强的特征，利用机器学习方法对视频QoE评测；其特征在于：通过网络数据流的质量(Quality of Service，QoS)参数以及HAS视频业务特性分析提取与数据内容无关的网络数据流特征，在此基础上利用机器学习方法训练并建立起网络数据流特征与视频KQI和视频KQI与MOS的映射模型；具体操作步骤为：

(1)从数据采集平台获取基于网络流特征构造学习的加密视频QoE评测方法所需的网络QoS参数；网络QoS参数从HAS视频业务的网络数据包中解析获得，基于TCP承载的HAS视频网络QoS参数包括实时下行速率、丢包率和往返时延(Round Trip Time，RTT)，基于UDP承载的HAS视频的网络QoS参数为下行速率；

(2)从数据采集平台获取基于网络流特征构造学习的加密视频QoE评测方法所需的HAS视频KQI参数；KQI参数通过HAS视频播放器播放日志获取，包括初始缓冲延迟和视频播放过程中的卡顿；

(3)从数据采集平台获取基于网络流特征构造学习的加密视频QoE评测方法所需的用户MOS评分；MOS评分为用户根据视频观看体验的主观评分，用户根据观看体验好坏从低到高给出评分量为1～5分；

(4)HAS视频业务的流量特点分析：HAS播放器下载每个视频分段时会产生流量高峰，根据此特性从实时下行速率中提取HAS视频分段；

(5)根据HAS视频业务的初始缓冲阶段数据流量的突发性特点，从下行速率中提取初始缓冲阶段的HAS分段特征；利用这些特征结合视频初始缓冲时延KQI，采用反向传播神经网络(Back Propagation Neural Network，BPNN)和随机森林(Random Forest，RF)实现对视频的初始缓冲时延建模；

(6)根据HAS视频业务的视频平稳播放阶段数据流量相对平稳的特点，提取该阶段的HAS分段特征，结合播放器日志中记录的真实码率，采用BPNN实现对视频的平均码率建模；

(7)利用提取的HAS分段计算一定数量分段时间内平均下行速率，对整个视频过程中网络质量的好坏进行评估，提取网络质量较差处的包括HAS播放器模型参数特征、HAS视频分段特征和网络QoS特征的基于网络数据流的特征；HAS播放器模型参数特征包括根据初缓时延和平均码率估计得到的播放器缓冲区剩余视频量(Buffer Level，BL)和视频量的变化量(Buffer Variation，BV)；HAS视频分段特征为基于HAS视频分段平均速率、间隔、数据量、丢包率和RTT的统计特征；网络QoS特征为基于网络实时速率、丢包率和RTT提取的统计特征；

(8)根据播放器日志将视频按照卡顿次数和时长分为正常视频、多次卡顿的视频和严重卡顿的视频三个类别；正常视频即整个过程中流畅播放的视频，多次卡顿的视频即播放过程中卡顿次数大于1次的视频，严重卡顿的视频即卡顿总时长大于视频播放时长的10％的视频；

(9)根据基于网络质量提取的HAS播放器模型参数特征、HAS视频分段特征和网络QoS特征，结合视频的正常、多次卡顿和严重卡顿三个类别标签，采用机器学习算法随机森林(Random Forest，RF)分类器对其进行分别训练建模，得到视频卡顿、多卡与严重卡顿的检测模型；

(10)在得到视频卡顿和初始缓冲时延KQI的基础上，结合用户MOS体验评分，采用回归的方式建立上述KQI与MOS评分之间的映射模型。

本发明基于网络流特征构造学习的加密视频QoE评测方法，由于采用了结合HAS视频业务数据流量特点的基于HAS视频网络数据流的提取特征方法，建立了不依赖于数据内容的“网络数据流特征→视频KQI→用户MOS”的映射模型；建模所需的特征均来自于数据采集平台中获取的与内容无关的QoS参数，这种不依赖于数据内容的基于网络数据流的建模方案广泛地适用于各种基于TCP和UDP协议加密和非加密移动HAS视频业务；与现有的方案相比其优点体现在：

(1)相较于传统依赖于DPI技术解析数据内容的视频KQI估计，本发明直接利用从数据采集平台获取的网络数据，提取网络数据流特征，实现了对视频KQI的建模；基于网络数据流特的建模方法不依赖于数据内容，适用于基于TCP或者UDP的加密或者非加密场景；

(2)建模过程中充分考虑了HAS视频播放器模型机器数据流量特点，从QoS参数中识别了HAS视频分段，在通过分段评估网络质量的基础上进一步提取了关键的建模特征，利用机器学习算法实现了对视频初始缓冲时延和卡顿两个KQI的建模；这种基于网络质量的加密视频KQI建模方法具有很高的准确性；

(3)本发明在视频KQI的基础上，进一步建立的KQI与MOS的映射模型，通过“网络数据流特征→视频KQI→用户MOS”的建模方式，从视频流的QoS参数中实现了对用户QoE的评估。

附图说明

图1为本发明实施例1的基于TCP协议的网络流特征构造学习的加密视频QoE评测方法流程示意框图。

图2为实施例1中网络数据流特征提取过程框图。

图3为实施例1中HAS视频流数据流量特点示意图。

图4为实施例1中HAS播放器模型示意图。

图5为本发明实施例2的基于UDP协议的HAS视频流业务基于网络质量的QoE评估方法流程示意框图。

具体实施方式

本发明提出的基于网络流特征构造学习的加密视频QoE评测方法适用于基于TCP或者UDP协议的加密和非加密HAS视频流。下面结合附图通过实施例进一步具体介绍和分析说明本发明基于网络流特征构造学习的加密视频QoE评测方法。

实施例1：

本实施例为一种基于TCP协议基于网络流特征构造学习的加密视频QoE评测方法。图1给出了本实施例1的基于TCP协议的网络流特征构造学习的加密视频QoE评测方法流程示意框图。首先从数据采集平台数据集D3中提取分析所需的实验数据集D4，然后进行TCP流特征提取D5，最终实现基于网络质量的QoE评估D6。

数据采集平台主要由终端APP D1和数据采集局域网D2组成，数据集D3为终端APPD1通过据采集局域网D2访问内容提供商D7观看视频过程中所采集的基于TCP协议的HAS视频数据集，包括终端信息、视频信息、用户操作行为、QoE参数、MOS评分和QoS参数。其中终端信息和视频信息为移动终端和视频源的基本信息，用户操作行为包括暂停、向前跳转、向后跳转和停止播放，QoE参数包括视频的初缓时延、视频的卡顿信息、视频分辨率、视频实际播放时长，TCP网络数据的QoS参数包括下行网络速率、下行丢包率和RTT。

实验数据集D4为数据集D3中的部分数据，包括TCP网络QoS参数、视频QoE参数和用户MOS评分D8，数据集D4中的QoE参数为视频初始缓冲时延和卡顿两个KQI参数，TCP网络QoS参数为实时下行速率D9、丢包率和RTT，用户MOS评分为用户根据视频观看体验进行的1～5评分D10。TCP的QoS参数统计间隔为△t，可设置为0.1、0.5或者1秒，△t时间内的下行速率(rate)、丢包率(loss)和往返时延(rtt)统计方法如下：

式中v为△t时间内的下行数据量，lostPkt和N为△t时间内下行丢包和总下行数据包数量，rtt_i为△t时间内第i个下行数据包从发出到被确认的时延。

图2为本实施例1中网络数据流特征提取过程框图。图3为HAS视频流数据流量特点示意图。如图2所示，TCP流特征提取D5过程，首先分析HAS视频业务的流量特点E1，HAS视频业务的流量实施例如图3所示。采用HAS技术的视频业务播放器下载每个视频分段时会产生流量峰值G2，通过分析下行速率可以将HAS的每个极大值的下载时间区分开来，认为在这段时间内播放器下载完成一个HAS视频分段E2，通过这样的方法即可从流量中提取视频分段G1。

HAS播放器模型E3通常可以由α，θ₁，θ₂三个阈值参数刻画。图4为本实施例1中HAS播放器模型示意图。从图4的模型中可以看出上述三个参数的值分别为106s，2.8s和0s。其中θ₁为初始缓冲阈值，θ₂为播放器进入卡顿状态的阈值，α为播放器进入稳定状态的阈值。当播放器缓冲区视频量达到θ₁时，播放器结束初始缓冲进入播放状态，这段时间称为初缓时延，本实施例中初始缓冲时延为2.5s。这个过程中播放器尽可能多地下载视频分段，流量上具有较大的突发性。当播放器缓冲区视频量少于θ₂时，播放器进入卡顿状态。当播放器缓冲区视频量超过α时，播放器进入稳定状态，即播放器仅在一个视频分段播放完成之后才开始下载另一个视频分段，此时视频流量具有较明显的“On-Off”特性。根据HAS播放器模型E3和HAS视频分段E2可以实现初始缓冲估计E5和平均码率估计E6。

初始缓冲估计E5，从图1中的数据集D3中统计得知95％以上的视频在10秒内完成初始缓冲，由于初缓时延仅与初始缓冲阶段的QoS参数相关，所以初始缓冲估计时仅针对前10秒的QoS参数提取特征。最终，用于估计初缓时延的特征为QoS参数中下行速率的统计特征和前3个HAS分段的特征，下行速率特征包括均值、标准差、峰均比、最大值和最小值，分段特征包括分段的峰值时间、峰值结束时间、数据量、最大速率、速率峰均比、平均速率、平均RTT和平均丢包率。在得到特征的基础上，使用机器学习算法随机森林(Random Forest，RF)分类器或人工神经网络，通过建模可以实现对初始缓冲的估计。

平均码率估计E6，首先需要从已识别的HAS分段中定位播放器进入稳定播放的区域，在稳定状态时播放器缓冲区数据的消耗速率和下载速率相当，可以认为视频的码率与平均下行速率几乎相等，那么平均码率估计为稳定播放状态下的平均下行速率。

网络质量评估E4，基于网络质量的QoE评估方法的整体思想是，认为在一次观看过程中网络质量较差的时候更可能出现卡顿。网络质量以每个视频分段为基本单位，通过w个连续视频分段的平均下行速率评估。上述识别的HAS分段集合如下式：

C＝{c₁,c₂,...c_n},c_i＝{t_is,t_ie,t_ip,v_i}

其中nn为其中视频分段的数量，t_is,t_ie,t_ip,v_i分别为分段的开始时间，峰值时间，结束时间和该视频分段所携带的数据量。在窗口为w时第i个分段的网络质量定义如下：

这样就可以得到长度为n-1的时间序列p_i,i＝1,2...n-1。网络质量最差的视频分段的位置可以通过下式求得。

同理可以求得网络质量第二差、第三差的位置，分别为下行平均速率第二小和第三小的位置。

播放器模型参数E7，指的是网络质量较差时缓冲区剩余视频量(BL)和w个分段内缓冲区视频量的变化量(BV)，计算方式如下：

其中I为网络质量较差时候的分段序号，br为估计的平均码率，d为估计的初缓时延，c_w为w个连续分段的集合。

视频分段特征E8为HAS视频分段集合c的整体分段统计特征、网络质量较差时候w个分段的统计特征。分段统计特征包括分段间隔、速率、丢包率、RTT和数据量的均值、标准差、最大值、最小值和峰均比。

QoS统计特征E9为视频过程中总体和网络质量较差时候的速率、丢包率和RTT的统计特征，包括均值、标准差、最大值、最小值和峰均比。

TCP流特征提取D5总结起来包括整体的HAS视频分段特征、整体的QoS特征，网络质量最差、第二差和第三差时的播放器模型参数特征、w个分段的分段特征和QoS特征。

QoE评估D6的关键在于从网络数据流特征中估计视频KQI，上述视频的初始缓冲KQI已经估计，这里对视频卡顿进一步分析。卡顿识别转换为三个分类问题，即视频是否卡顿、视频卡顿是否超过1次和视频卡顿时长占比是否超过10％，即卡顿识别、多卡识别和长卡识别。对于卡顿识别，认为卡顿出现与否与网络质量最差时候的网络性能最相关，所以对于卡顿识别仅选取网络质量最差时的特征和整体分段特征；认为多次卡顿出现与否与网络质量次差时候的网络性能最相关，所以多卡识别选取网络质量第二差时和整体分段特征；而长卡识别选取所有特征。通过数据分析，三个分类器提取特征之时，w大小分别设置为4、4和9。采用RF分类器对三个分类问题进行建模，最终得到卡顿识别准确率超过85％，多卡识别准确率超过80％，长卡识别准确率超过84％。

经过研究发现，卡顿是影响用户QoE的最关键因素，所以这里仅考虑卡顿对MOS建模。通过拟合的方式，最后根据得到非长卡和长卡两种情况下，分别卡顿次数和MOS的关系如下式：

y_MOS＝8.714-4.441*exp(0.1417*x_tall)，r<0.1

y_MOS＝4.474-0.9738*exp(0.7128*x_tall)，r>0.1

其中y_MOS为MOS评分，x_stall为卡顿次数，r为卡顿时长占比。

本发明提出的这种基于网络流特征构造学习的加密视频QoE评测方法的QoE评测过程中，充分了分析了HAS播放器的数据流量特点，并结合HAS播放器模型，从QoS参数中提取包括播放器模型参数、QoS特征和HAS视频分段特征的网络数据流特征，完成了“网络数据流特征→视频KQI→用户MOS”的映射模型建立。从实施过程中可以看出，所有步骤均不涉及数据内容，所以本发明的建模方法广泛地适用于各种基于TCP协议的加密和非加密场景。

实施例2：

本发明实施例2为一种基于UDP协议的一种基于网络流特征构造学习的加密视频QoE评测方法。图5给出了本实施例2的基于UDP协议的HAS视频流业务基于网络质量的QoE评估方法流程示意框图。基于UDP协议的HAS视频流业务的QoE评估方法与实施例1中的过程相同，数据采集平台由终端APPF1、数据采集局域网F2和内容提供商F7组成，通过数据采集局域网F2获得基于UDP协议的数据集F3的基础上，首先从提取分析所需的实验数据集F4，然后从下行速率F9中进行UDP数据流特征提取F5，最终通过建模MOS评分F10模型实现基于网络质量的QoE评估F6。实验数据集F4包括网络QoS参数、视频QoE参数和MOS评分F8。与实施例1的不同之处在于：

实验数据集F4的QoS参数为基于UDP网络QoS参数，由于UDP无法统计RTT和丢包率，所以QoS参数仅包含下行速率。

UDP流特征提取F5与实施例1中的TCP流特征D5不同之处在于，本实施例得到的网络数据流特征的QoS特征、分段特征中不包含丢包率和RTT特征。

QoE评估F6时与实施例1的QoE评估D6一致，采用RF分类器对卡顿、长卡和多卡三个分类问题进行建模，最终得到卡顿识别准确率超过88％，多卡识别准确率超过92％，长卡识别准确率超过91％。在此基础上采用与实施例2相同的方式，可以拟合得到卡顿与MOS的模型。

本发明基于UDP协议的适用于加密HAS视频流业务基于网络质量的QoE评估过程中，充分了分析了HAS播放器的数据流量特点，并结合HAS播放器模型，从QoS参数中提取特征，完成了“网络数据流特征→视频KQI→用户MOS”的映射模型建立。从实施过程中可以看出，所有步骤均不涉及数据内容，所以本发明的建模方法广泛地适用于各种基于UDP协议的加密和非加密场景。

Claims (1)

1.一种基于网络流特征构造学习的加密视频QoE评测方法，包括：对于HTTP和HTTPS的基于TCP，和对于QUIC的基于UDP的加密或非加密HAS视频业务的评测方法，从移动网络核心网网关采集HAS视频业务的网络IP数据包，根据HAS播放器模型分析HAS视频业务的网络数据流特点，从网络数据流中提取对视频KQI表征性强的特征，利用机器学习方法对视频QoE评测；其特征在于：通过网络数据流的质量QoS参数以及HAS视频业务特性分析提取与数据内容无关的网络数据流特征，在此基础上利用机器学习方法训练并建立起网络数据流特征与视频KQI和视频KQI与MOS的映射模型；具体操作步骤为：

(1)从数据采集平台获取基于网络流特征构造学习的加密视频QoE评测方法所需的网络QoS参数；网络QoS参数从HAS视频业务的网络数据包中解析获得，基于TCP承载的HAS视频网络QoS参数包括实时下行速率、丢包率和往返时延RTT，基于UDP承载的HAS视频的网络QoS参数为下行速率；

(2)从数据采集平台获取基于网络流特征构造学习的加密视频QoE评测方法所需的HAS视频KQI参数；KQI参数通过HAS视频播放器播放日志获取，包括初始缓冲延迟和视频播放过程中的卡顿；

(3)从数据采集平台获取基于网络流特征构造学习的加密视频QoE评测方法所需的用户MOS评分；MOS评分为用户根据视频观看体验的主观评分，用户根据观看体验好坏从低到高给出评分量为1～5分；

(4)HAS视频业务的流量特点分析：HAS播放器下载每个视频分段时会产生流量高峰，根据此特性从实时下行速率中提取HAS视频分段；

(5)根据HAS视频业务的初始缓冲阶段数据流量的突发性特点，从下行速率中提取初始缓冲阶段的HAS分段特征；利用这些特征结合视频初始缓冲时延KQI，采用反向传播神经网络BPNN和随机森林RF实现对视频的初始缓冲时延建模；

(6)根据HAS视频业务的视频平稳播放阶段数据流量相对平稳的特点，提取该阶段的HAS分段特征，结合播放器日志中记录的真实码率，采用BPNN实现对视频的平均码率建模；

(7)利用提取的HAS分段计算一定数量分段时间内平均下行速率，对整个视频过程中网络质量的好坏进行评估，提取网络质量较差处的包括HAS播放器模型参数特征、HAS视频分段特征和网络QoS特征的基于网络数据流的特征；HAS播放器模型参数特征包括根据初缓时延和平均码率估计得到的播放器缓冲区剩余视频量BL和视频量的变化量BV；HAS视频分段特征为基于HAS视频分段平均速率、间隔、数据量、丢包率和RTT的统计特征；网络QoS特征为基于网络实时速率、丢包率和RTT提取的统计特征；

(8)根据播放器日志将视频按照卡顿次数和时长分为正常视频、多次卡顿的视频和严重卡顿的视频三个类别；正常视频即整个过程中流畅播放的视频，多次卡顿的视频即播放过程中卡顿次数大于1次的视频，严重卡顿的视频即卡顿总时长大于视频播放时长的10％的视频；

(9)根据基于网络质量提取的HAS播放器模型参数特征、HAS视频分段特征和网络QoS特征，结合视频的正常、多次卡顿和严重卡顿三个类别标签，采用机器学习算法随机森林RF分类器对其进行分别训练建模，得到视频卡顿、多卡与严重卡顿的检测模型；

(10)在得到视频卡顿和初始缓冲时延KQI的基础上，结合用户MOS体验评分，采用回归的方式建立上述KQI与MOS评分之间的映射模型。

Images