CN110855669B - 基于神经网络适用于加密流量的视频QoE指标预测方法 - Google Patents

基于神经网络适用于加密流量的视频QoE指标预测方法 Download PDF

Info

Publication number
CN110855669B
CN110855669B CN201911114586.3A CN201911114586A CN110855669B CN 110855669 B CN110855669 B CN 110855669B CN 201911114586 A CN201911114586 A CN 201911114586A CN 110855669 B CN110855669 B CN 110855669B
Authority
CN
China
Prior art keywords
video
neural network
network model
prediction
qoe index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911114586.3A
Other languages
English (en)
Other versions
CN110855669A (zh
Inventor
沈蒙
张晋鹏
祝烈煌
徐恪
高振波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201911114586.3A priority Critical patent/CN110855669B/zh
Publication of CN110855669A publication Critical patent/CN110855669A/zh
Application granted granted Critical
Publication of CN110855669B publication Critical patent/CN110855669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及基于神经网络适用于加密流量的视频QoE指标预测方法，属于加密网络流量分类以及视频QoE预测技术领域。包括如下步骤：步骤1、抽取视频流中的上行数据包的往返时延信息并构建输入向量；步骤2、构建包含卷积层和全连接层的神经网络模型；步骤3将步骤1输构建的输入向量送入步骤2构建的神经网络模型中，抽取特征、执行全连接层并预测视频QoE指标；步骤4、使用神经网络模型估计视频QoE指标。所述视频QoE指标预测方法，对视频QoE指标进行细粒度预测，相对于原有的预测方法来说，预测粒度更细。

Description

基于神经网络适用于加密流量的视频QoE指标预测方法
技术领域
本发明涉及基于神经网络适用于加密流量的视频QoE指标预测方法，属于加密网络流量分类以及视频QoE预测技术领域。
背景技术
加密视频流量分析依赖于对加密传输协议进行分析，从流量的数据包大小、时间戳、标志位等信息挖掘出对流量分类有用的信息，依赖于机器学习方法等对加密流量进行分类，辅助于网络流量调度、路由规划等。常用的网络流量分类方法包括依赖于时间戳信息的动态时序规整结合K近邻方法、依赖于数据包大小的随机森林分来方法和依赖于数据包标志位的马尔可夫状态链方法等。
视频QoE(Quality of Experience)指的是用户对视频的体验质量，和用户的主观感受相关。目前衡量视频QoE分为主观评估法和客观评估法。主观评估法是基于用户感受的进行量化的方法，客观评估法是根据客观指标如视频的分辨率等映射视频QoE指标。在明文环境下，可以依赖深度数据包检测对视频QoE指标如分辨率、卡顿等进行识别。采用加密协议之后，在数据包中的QoE指标无法通过深度数据包检测获取，需要通过加密流量分析的手段来获取视频的QoE指标。
目前针对加密视频流量进行QoE指标预测方面，可检索到的文献中，有文献提出了使用数据包的包重传、丢包、Bytes-in-flight等信息的统计特征，运用随机森林分类方法估计视频的初始时延、卡顿等QoE指标，然而，此方法需要等整个视频加载完成，不能做到实时预测。另有文献提出了使用数据包长度、数据包的时间戳、标志位等信息，使用决策树分类方法来估计视频的初始时延、卡顿、分辨率等QoE指标。然而，此文献所述方法对初始时延的识别仅可做到该方法对加密视频QoE的预测粒度不够细，不能做到细粒度识别。
综上所述在现有的适用于加密流量的视频QoE指标预测方法存在无法实时预测以及预测粒度不够细等问题。
发明内容
本发明的目的在于解决加密流量的视频QoE指标预测中无法做到实时以及QoE指标的粒度不够细的技术缺陷，提出了一种基于神经网络适用于加密流量的视频QoE指标预测方法，辅助网络服务提供商进行流量优化调度，实现视频QoE指标的实时预测以及细粒度预测。
所述基于神经网络适用于加密流量的视频QoE指标预测方法，包括如下步骤：
步骤1、抽取视频流中的上行数据包的往返时延信息并构建输入向量；
其中，往返时延，即Round-Trip Time，简称RTT；视频流是以五元组定义的，每条视频流中包含n个数据包；输入向量，记为T；
抽取视频流，构建输入向量的具体操作为：
1.A针对启动时延，估计在t秒时间内视频有没有播放需要提取t*s个RTT作为输入向量T，如果RTT个数小于t*s则填充0，至向量个数为t*s；
其中，s的范围为50到100；
1.B对卡顿和视频分辨率来说，构建的输入向量T包含Tf和Ts，分别代表前后两个Tf和Ts时间窗口w内的RTT信息；
其中，Tf和Ts的RTT个数均为s，不足s个的填充0至s，RTT的数量与特征数量相同，均为s；
步骤2、构建包含卷积层和全连接层的神经网络模型；
其中，卷积层的层数为c，c的取值范围为2到5；全连接层的层数为q，q的取值范围为1到3；
步骤3将步骤1输构建的输入向量送入步骤2构建的神经网络模型中，抽取特征、执行全连接层并预测视频QoE指标，具体为：
步骤3.1经神经网络模型中的c个卷积层依次抽取特征，最后一层卷积层输出特征F，具体通过公式(1)实现：
F＝CNN(T，θ) (1)
其中，θ为神经网络模型的超参数，每个卷积层中的卷积操作个数为2；
步骤3.2在卷积层抽取完特征F之后，使用q层全连接层基于公式(2)来计算特征F的表示结果
Figure BDA0002273709490000021
Figure BDA0002273709490000022
其中，Wf和bf代表神经网络模型中全连接层的权重和偏置；Softplus为全连接层的用到激活函数；
步骤3.3使用公式(3)的Softmax函数预测视频QoE指标；
Figure BDA0002273709490000031
其中，视频QoE指标是指启动时延、卡顿和视频分辨率，预测结果用
Figure BDA00022737094900000310
表示；
Hi依照公式(4)计算；
Figure BDA0002273709490000032
其中，Wv和bv代表神经网络模型中全连接层的权重和偏置；
步骤3.3损失函数的定义，损失函数如公式(5)所示：
Figure BDA0002273709490000033
其中，
Figure BDA0002273709490000034
和
Figure BDA0002273709490000035
分别表示交叉熵损失函数和置信度约束损失函数，
Figure BDA0002273709490000036
和
Figure BDA0002273709490000037
的计算方法分别参照公式(6)和公式(7)，α代表权重；
Figure BDA0002273709490000038
其中，yic代表真实的结果，c代表预测结果的指标类别，C代表预测结果的预测范围，|X|代表预测的实例X的数量；
Figure BDA0002273709490000039
步骤4、使用神经网络模型估计视频QoE指标，具体为：将要估计的视频的加密流量的RTT信息放入训练好的神经网络模型中即可进行预测
有益效果
本发明提出的一种基于神经网络适用于加密流量的视频QoE指标预测方法，具有以下有益效果：
1.本发明所述指标预测方法适用于实时根据加密流量进行视频QoE指标预测；
2.本发明所述指标预测方法能够对视频QoE指标进行细粒度预测，相对于原有的预测方法来说，预测粒度更细；
3.通过大量数据证明，本发明所述指标预测方法与现有的预测方法相比，使用深度学习模型的预测结果准确率更高。
附图说明
图1是本发明一种基于神经网络适用于加密流量的视频QoE指标预测方法的整体流程图；
图2是本发明一种一种基于神经网络适用于加密流量的视频QoE指标预测方法中的卷积神经网络示意图。
具体实施方式
下面结合附图和实施例，具体说明本发明“一种基于神经网络适用于加密流量的视频QoE指标预测方法”的过程，并阐述其优点。应当指出，本发明的实施不限于以下实施例，对本发明所做任何形式上的变通或改变将落入本发明保护范围。
实施例1
本实施例是基于发明步骤1到发明步骤4进行的完成的适用于加密流量的视频QoE指标预测，整体流程图如图1所示。图1中的Offline Traffic代表离线流量采集，LabeledData代表对采集好的流量进行打标签，DeepQoE代表步骤1-4中构建的神经网络模型，Real-time Measurement代表应用场景中的实时QoE指标预测。
本发明所述方法具体实施时，通过采集Youtube、Bilibili等使用加密协议传输视频数据的网络流量，抽取流量中的RTT信息，接着使用打好标签的数据训练卷积神经网络模型；
将训练好的卷积神经网络模型放于前述采集视频数据的网络(Youtube、Bilibili)出口处，即可对该网络内的视频进行QoE指标预测。
采集Youtube、Bilibili等使用加密协议传输视频数据的网络流量，以五元组(源端口、目的端口、源IP、目的IP、传输协议)的形式进行分流，具体为：
抽取流中的上行数据包的往返时延RTT信息，对启动时延来说如果需要估计在t秒时间内视频有没有播放需要提取t*50个RTT作为输入向量T，如果RTT个数小于t*50则填充0至向量个数为t*50，此处对应步骤1中的1A。对卡顿和视频分辨率来说，输入向量T的构成包含两部分Tf和Ts，分别代表前后两个时间窗口w内RTT信息，此处即对应发明内容中的步骤1中的1B；其中，Tf和Ts的RTT个数都为150，不足150个的填充0至150特征数量为150。
采集离线的打好标签的数据放入神经网络中进行训练，神经网络的参数通过不断调优获得，训练好的神经网络的模型的参数如表1所示。神经网络的结构如图2所示，包含了四个卷积层和两个全连接层，每个卷积层中包含两个BatchNorm、ReLU一个Max Pooling和一个Dropout。将训练好的神经网放置于网络出口处的服务器，就可以做到实时预测加密流量的视频QoE指标。
表1神经网络参数
Figure BDA0002273709490000051
实施例2
实施例是将本发明所述方法用于加密流量的视频QoE指标预测，与其它QoE指标预测方法对比，以验证本发明的优势及有效性。将本发明所述的基于神经网络适用于加密流量的视频QoE指标预测方法，记为DeepQoE。
要对比的方法包括使用数据包统计特征的J48分类器和只用数据包方向信息作为特征的神经网络分类器(DF)。对比的指标包括精确率(Precision)、召回率(Recall)和F1-Score，用这些指标来评估一个预测模型的好坏。对启动时延、卡顿和分辨率的预测结果分别如表2、表3和表4所示。表中加黑数据为本方法DeepQoE的实验效果，无论Precision、Recall还是F1 Score，本方法的准确率都比其它方法至少高出10％。
表2启动时延不同方法预测效果对比
Figure BDA0002273709490000061
表3卡顿次数不同方法预测效果对比
Figure BDA0002273709490000062
表4分辨率不同方法预测效果对比
Figure BDA0002273709490000063
从表2、表3和表4可以看出，本发明与现有的视频QoE指标预测方法相比，具有明显优势，预测的精确率、召回率和F1-Score都高于其他两种分类方法。本发明对使用加密协议加密后的视频流量可以有效预测视频QoE指标，能够助力于视频流量调度，可以投入实际应用中。
虽然本文结合附图实例描述了本专利的实施方式，但是对于本领域技术人员来说，在不脱离本专利原理的前提下，还可以做出若干改进，这些也是为属于本专利的保护范围。

Claims (5)

1.基于神经网络适用于加密流量的视频QoE指标预测方法，其特征在于：包括如下步骤：
步骤1、抽取视频流中的上行数据包的往返时延信息并构建输入向量；
其中，往返时延，即Round-Trip Time,简称RTT；视频流是以五元组定义的，每条视频流中包含n个数据包；输入向量，记为T；
抽取视频流，构建输入向量的具体操作为：
1.A针对启动时延，估计在t秒时间内视频有没有播放需要提取t*s个RTT作为输入向量T，如果RTT个数小于t*s则填充0，至向量个数为t*s；
其中，s的范围为50到100；
1.B对卡顿和视频分辨率来说，构建的输入向量T包含Tf和Ts,分别代表前后两个Tf和Ts时间窗口w内的RTT信息；
步骤2、构建包含卷积层和全连接层的神经网络模型；
其中，卷积层的层数为c；全连接层的层数为q；
步骤3将步骤1输构建的输入向量送入步骤2构建的神经网络模型中，抽取特征、执行全连接层并预测视频QoE指标，具体为：
步骤3.1经神经网络模型中的c个卷积层依次抽取特征，最后一层卷积层输出特征F，具体通过公式(1)实现：
F＝CNN(T,θ) (1)
其中，θ为神经网络模型的超参数；
步骤3.2在卷积层抽取完特征F之后，使用q层全连接层基于公式(2)来计算特征F的表示结果
Figure FDA0002634057350000011
Figure FDA0002634057350000012
其中，Wf和bf代表神经网络模型中全连接层的权重和偏置；Softplus为全连接层的用到激活函数；
步骤3.3使用公式(3)的Softmax函数预测视频QoE指标；
Figure FDA0002634057350000013
其中，视频QoE指标是指启动时延、卡顿和视频分辨率，预测结果用
Figure FDA0002634057350000014
表示；
Hi依照公式(4)计算；
Figure FDA0002634057350000015
其中，Wv和bv代表神经网络模型中全连接层的权重和偏置；
步骤3.3损失函数的定义，损失函数如公式(5)所示:
Figure FDA0002634057350000021
其中，
Figure FDA0002634057350000022
和
Figure FDA0002634057350000023
分别表示交叉熵损失函数和置信度约束损失函数，
Figure FDA0002634057350000024
和
Figure FDA0002634057350000025
的计算方法分别参照公式(6)和公式(7)，α代表权重；
Figure FDA0002634057350000026
其中，yic代表真实的结果,c代表预测结果的指标类别，C代表预测结果的预测范围，|X|代表预测的实例X的数量；
Figure FDA0002634057350000027
步骤4、使用神经网络模型估计视频QoE指标，具体为：将要估计的视频的加密流量的RTT信息放入训练好的神经网络模型中即可进行预测。
2.根据权利要求1所述的基于神经网络适用于加密流量的视频QoE指标预测方法，其特征在于：1.B中，Tf和Ts的RTT个数均为s，不足s个的填充0至s。
3.根据权利要求1所述的基于神经网络适用于加密流量的视频QoE指标预测方法，其特征在于：1.B中RTT的数量与特征数量相同，均为s。
4.根据权利要求1所述的基于神经网络适用于加密流量的视频QoE指标预测方法，其特征在于：步骤2中，c的取值范围为2到5；q的取值范围为1到3。
5.根据权利要求1所述的基于神经网络适用于加密流量的视频QoE指标预测方法，其特征在于：步骤3.1中每个卷积层中的卷积操作个数为2。
CN201911114586.3A 2019-11-14 2019-11-14 基于神经网络适用于加密流量的视频QoE指标预测方法 Active CN110855669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911114586.3A CN110855669B (zh) 2019-11-14 2019-11-14 基于神经网络适用于加密流量的视频QoE指标预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911114586.3A CN110855669B (zh) 2019-11-14 2019-11-14 基于神经网络适用于加密流量的视频QoE指标预测方法

Publications (2)

Publication Number Publication Date
CN110855669A CN110855669A (zh) 2020-02-28
CN110855669B true CN110855669B (zh) 2020-10-09

Family

ID=69601833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911114586.3A Active CN110855669B (zh) 2019-11-14 2019-11-14 基于神经网络适用于加密流量的视频QoE指标预测方法

Country Status (1)

Country Link
CN (1) CN110855669B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111404751B (zh) * 2020-03-20 2021-05-28 南京大学 一种基于rnn神经网络的rtt预测方法
CN112187774B (zh) * 2020-09-23 2023-03-24 东南大学 一种基于http/2传输特征的加密数据长度还原方法
US20230412893A1 (en) * 2020-11-30 2023-12-21 Telefonaktiebolaget Lm Ericsson (Publ) Identification of Session Boundaries in Encrypted Video Streams

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105897736A (zh) * 2016-05-17 2016-08-24 北京邮电大学 一种tcp视频流业务用户体验质量评估方法及装置
CN108205520A (zh) * 2016-12-20 2018-06-26 华为技术服务有限公司 KPI与QoE回归模型建立方法以及装置
CN109831705A (zh) * 2019-02-22 2019-05-31 西安交通大学 一种针对HTTP视频流业务的主观QoE评估方法
CN109873726A (zh) * 2019-03-07 2019-06-11 西安交通大学 Sdn中基于深度学习的鲁棒服务质量预测与保障方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170019454A1 (en) * 2015-07-17 2017-01-19 King Abdulaziz City For Science And Technology Mobile video quality prediction systems and methods
US20180288454A1 (en) * 2017-03-29 2018-10-04 Kamakshi Sridhar Techniques for estimating http adaptive streaming (has) video quality of experience
CN108390775B (zh) * 2018-02-05 2021-03-30 中南大学 一种基于spice的用户体验质量评价方法及系统
CN108696403B (zh) * 2018-03-23 2020-03-31 中国科学技术大学 一种基于网络流特征构造学习的加密视频QoE评测方法
CN109905696B (zh) * 2019-01-09 2020-12-01 浙江大学 一种基于加密流量数据的视频服务体验质量的识别方法
CN109919087B (zh) * 2019-03-06 2022-03-08 腾讯科技（深圳）有限公司 一种视频分类的方法、模型训练的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105897736A (zh) * 2016-05-17 2016-08-24 北京邮电大学 一种tcp视频流业务用户体验质量评估方法及装置
CN108205520A (zh) * 2016-12-20 2018-06-26 华为技术服务有限公司 KPI与QoE回归模型建立方法以及装置
CN109831705A (zh) * 2019-02-22 2019-05-31 西安交通大学 一种针对HTTP视频流业务的主观QoE评估方法
CN109873726A (zh) * 2019-03-07 2019-06-11 西安交通大学 Sdn中基于深度学习的鲁棒服务质量预测与保障方法

Also Published As

Publication number Publication date
CN110855669A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110855669B (zh) 基于神经网络适用于加密流量的视频QoE指标预测方法
Shafiq et al. A machine learning approach for feature selection traffic classification using security analysis
Huang et al. QARC: Video quality aware rate control for real-time video streaming based on deep reinforcement learning
Gutterman et al. Requet: Real-time qoe detection for encrypted youtube traffic
US11411850B2 (en) Traffic analysis apparatus, method, and program
Fiedler et al. A generic quantitative relationship between quality of experience and quality of service
JP3961849B2 (ja) ネットワークにおけるビットストリーム転送中のネットワーク資源の動的割当て方法およびシステム
EP1727375A1 (en) Assessment of perceived quality of a packetized video stream
CN109873726B (zh) Sdn中基于深度学习的鲁棒服务质量预测与保障方法
US11509539B2 (en) Traffic analysis apparatus, system, method, and program
CN108696403A (zh) 一种基于网络流特征构造学习的加密视频QoE评测方法
CN107454446A (zh) 基于体验质量分析的视频帧管理方法及其装置
CN113242469A (zh) 一种自适应视频传输配置方法和系统
CN103152599A (zh) 基于有序回归的移动视频业务用户体验质量评估方法
CN113395276B (zh) 基于自编码器能量检测的网络入侵检测方法
US20070253337A1 (en) Communication quality evaluation method, derivation device, communication quality evaluation system and computer program
CN104468567B (zh) 一种网络多媒体业务流识别和映射的系统及方法
CN114826776B (zh) 一种用于加密恶意流量的弱监督检测方法及系统
CN109275045A (zh) 基于dfi的移动端加密视频广告流量识别方法
CN102904822A (zh) VoIP网络流量的层次化识别方法
Chen et al. DeeProphet: Improving HTTP Adaptive Streaming for Low Latency Live Video by Meticulous Bandwidth Prediction
CN116170606B (zh) 直播质量评估方法、装置、电子设备及介质
CN115766482A (zh) 基于int和机器学习的服务质量预测方法
Meng et al. Fastconv: Fast learning based adaptive bitrate algorithm for video streaming
Xu et al. Rtd: the road to encrypted video traffic identification in the heterogeneous network environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant