CN105933329A - 基于在线学习的视频流业务码率自适应方法 - Google Patents

Abstract

本发明公开了一种基于在线学习的视频流业务码率自适应方法。本发明首先建立无线视频流业务系统框架，以可伸缩视频编码作为源端编码方式，生成可供选择的不同码率层次；然后建立效用函数，以折扣总MOS值表征QoE，作为码率自适应机制的优化目标；建立行动值函数空间，采用一种在线学习算法进行迭代运算，通过每个周期终端反馈的即时MOS值与丢包率信息更新行动值函数空间与置信度分布函数，并据此选择合适的视频码率进行传输。本发明以QoE作为视频流码率自适应的优化目标，通过在线学习算法迭代逼近码率调整的最优解，能有效缓解链路拥塞，提高用户QoE，且计算复杂度较低。

Description

基于在线学习的视频流业务码率自适应方法

技术领域

本发明属于无线通信技术领域，具体涉及一种基于在线学习算法的视频流业务码率自适应方法。

背景技术

随着移动视频服务的高速发展，网络资源正面临着极大的挑战。视频流业务在传输时，受无线网络中各种不稳定因素的影响，可能造成瓶颈链路的拥塞，从而导致用户观看视频体验质量(Quality of Experience,QoE)的下降。因此，如何有效地对无线视频流传输过程进行控制与优化，对提升QoE而言格外关键。

目前，在无线视频流传输控制领域，已经积累了一些研究成果，包括拥塞控制、码率自适应算法等。传统的无线视频流传输控制的目标主要着眼于QoS指标(如时延、吞吐量、丢包率)的优化，但是QoS仅体现网络的性能，无法直接反映用户的真实感受，即使网络传输部分的QoS指标表现良好，用户的实际体验可能依然很糟糕。因为相比于网络，终端用户更关注视频流业务所带来的主观感受，而这与视频内容特征、缓冲区参数设置、环境等非网络因素密切相关。因此，如何从用户角度出发，通过视频流传输控制方法实现用户体验质量的提升仍然处于探索阶段。

发明内容

本发明的目的是针对现有无线网络视频流传输控制方案的不足，提出一种基于在线学习的视频流业务码率自适应方法。

本发明采用可伸缩视频编码作为源端编码方式，使用平均意见得分(MeanOpinion Score,MOS)对用户的QoE进行量化，并以长时折扣总MOS值作为系统的效用函数，根据每个周期的终端反馈信息，通过在线学习算法自适应地调整视频流码率，从而有效缓解链路拥塞，提高用户QoE。

本发明方法的具体步骤为：

步骤一、建立无线视频流业务系统框架；具体为：

无线网络中存在多个用户，用户标记为n∈{1,2,…}，每个用户包含一个发送节点和一个接收节点，以此建立端到端流媒体连接。源端采用可伸缩视频编码方式编码视频，每段视频生成M个不同层次的码率，其中为可选视频码率的集合，R₁,R₂,...,R_M分别对应不同的可选码率；无线网络中存在部分瓶颈链路，当瓶颈链路发生过载，会导致拥塞丢包，降低用户QoE(用户观看视频体验质量)；以T个往返时延(round-triptime,RTT)作为码率调整周期，周期标记为k∈{1,2,…}。源端根据每个周期从终端用户n传回的丢包率与即时QoE反馈值了解当前网络的拥塞状态和用户的体验质量；其中每个周期的即时QoE反馈值由量化的MOS(平均意见得分)值表征，MOS的评估采用成熟的现有技术，如专利号为201510501626.5、发明名称为“基于支持向量机的无线视频流业务QoE评估方法”中国专利的方法；根据以上信息，源端调整发送的视频流码率，以缓解链路拥塞，实现提高用户QoE的目的。

步骤二、建立效用函数，确定码率自适应机制的优化目标；以折扣总MOS值作为系统的效用函数，计算公式为其中γ为折扣因子，0≤γ≤1，和分别表示用户n在第k个周期的码率和丢包率，表示当码率为和丢包率为时，用户n在第k个周期的MOS反馈值；网络中用户n的目标是通过在每个周期选择最优的码率，使自己的效用函数U_n最大化。

步骤三、通过在线学习算法的迭代计算，对无线视频流业务进行自适应码率调整；源端首先建立行动值函数 将丢包率状态的取值进行量化，映射为从0到1的L档离散值，即其中为所有可选丢包率状态的集合，P₁,P₂,...,P_L分别对应各自不同的丢包率区间；行动值函数的状态空间为

在线学习算法的具体过程为：

第1步、对所有的码率r_n、丢包率p_n，初始化Q(r_n,p_n)＝0；对所有的丢包率p_n，初始化丢包率的置信度函数即

$b_n\left(P_l\right)=\frac{1}{L},l=1,2,...,L;$

第2步、初始化r_n与p_n，随机选取初始化MOS_n＝0；开始视频传输；

第3步、赋值其中和分别表示上一个周期的码率和丢包率；

第4步、以(1-ε)的概率，选择码率否则,随机选择码率进行传输，其中0<ε<1；

第5步、更新行动值函数：

其中α_k为学习速率因子，需满足0≤α_k≤1，

第6步、获得终端反馈的本周期的MOS_n值与丢包率p_n；

第7步、根据每个周期结束时统计的丢包率p_n，更新置信度分布函数b_n(p_n)，设p_n取值属于区间，为丢包率状态的L档离散值中的区间序号，为序号对应的丢包率区间，上一个周期所有丢包率区间的置信度分布为l为丢包率状态的L档离散值中除外的区间序号，其中用分数表示为 用分数表示为则更新后的置信度分布为：

$\{\begin{array}{c}{b}_n\left(P_{\hat{l}}\right)=\frac{X_{\hat{l}}+1}{Y_{\hat{l}}+1},X_{\hat{l}}<Y_{\hat{l}},1\&le;\hat{l}\&le;L\\ b_n\left(P_l\right)=\frac{X_l}{Y_l+1},X_l<Y_l,l=1,2,\mathrm{...}L,l\&NotEqual;\hat{l}\end{array};$

这里 表示当p_n取值属于区间时，如果对应的上一周期的丢包率置信度分布，可以表示成分数的形式，即 分别为正整数，且满足对应相应分数形式的分子和分母，则更新后的置信度分布为：

同理，对于其他的丢包率区间P_l，l＝1,2,...L,即非的区间，如果对应的上一周期的丢包率置信度分布为X_l<Y_l，则更新后的置信度分布为：

第8步、如果视频传输结束，则算法结束；如果视频传输未结束，则重复上述第3步至第7步的过程。

本发明是基于在线学习的视频流业务码率自适应方法，与现有的码率自适应方法相比，其优点体现在：

1、现有的视频流业务码率自适应方法大多仅以提升QoS参数(如时延、吞吐量、丢包率)作为优化目标，但QoS仅体现网络的性能，无法直接反映用户的真实感受；而本发明以长时折扣总MOS值作为码率自适应的目标，从多个历史周期的码率调节与MOS反馈对应规律中进行学习，不断更新码率调整策略，做出最优决策，能更有效地提升用户的实际QoE；

2、传统的视频流业务码率自适应方法大多在每个时隙对视频流码率进行调整切换，这样会导致码率的频繁波动，影响用户QoE。而本发明以T个RTT时长作为一个周期，在每个周期开始时选择合适的码率，周期结束时更新置信分布每个周期内码率和置信分布保持不变，这样避免了因码率频繁调整引起吞吐量波动从而导致的用户QoE下降。

3、与采用贝尔曼动态规划方程求取码率调整最优解的方法相比，本发明采用在线学习算法，能在状态转移概率不可知的情况下，通过每个周期的迭代运算逐渐逼近码率调整的最优解，计算复杂度较低。

附图说明

图1为基于在线学习的视频流业务码率自适应方法的系统结构图。

具体实施方式

以下结合附图并举实施例对本发明做进一步详细说明。

如图1所示，本实例基于HTTP的无线视频流业务，视频序列经可伸缩视频编码与无线网络的传输，最后到达用户终端缓冲区进行播放，每个周期源端会根据终端反馈的丢包率与MOS值，调整发送的视频码率。

本实例具体通过以下步骤实现：

步骤一、建立无线视频流业务系统框架；具体为：

无线网络中存在多个用户，用户标记为n∈{1,2,…}，每个用户包含一个发送节点和一个接收节点，以此建立端到端流媒体连接；采用可伸缩视频编码作为源端编码方式，每段视频生成18个不同层次的码率，其中为可选视频码率的集合，R₁,R₂,...,R₁₈分别对应18个可选码率；无线网络中存在部分瓶颈链路，当瓶颈链路发生过载，会导致拥塞丢包，降低用户QoE；以20个RTT作为码率调整周期，源端根据每个周期从终端用户n传回的丢包率与即时QoE反馈值了解当前网络的拥塞状态和用户的体验质量；其中每个周期的即时QoE反馈值由量化的MOS值表征，MOS的评估采用发明专利“基于支持向量机的无线视频流业务QoE评估方法”中所述模型，专利号为201510501626.5；根据以上信息，源端调整发送的视频流码率，以缓解链路拥塞，实现提高用户QoE的目的。

步骤二、建立效用函数，确定码率自适应机制的优化目标；以折扣总MOS值作为系统的效用函数，计算公式为其中γ为折扣因子，取γ＝0.1，和分别表示用户n在第k个周期的码率和丢包率，表示当码率为和丢包率为时，用户n在第k个周期的MOS反馈值；网络中用户n的目标是通过在每个周期选择最优的码率，使自己的效用函数U_n最大化。

步骤三、通过在线学习算法的迭代计算，对无线视频流业务进行自适应码率调整；源端首先建立行动值函数 将丢包率状态的取值进行量化，映射为从0到1的5档离散值，则其中为所有可选丢包率状态的集合，P₁,P₂,P₃,P₄,P₅分别对应各自不同的丢包率区间，P₁∈[0,0.01]，P₂∈(0.01,0.03]，P₃∈(0.03,0.07]，P₄∈(0.07,0.1]，P₅∈(0.1,1]；行动值函数的状态空间为

在线学习算法的具体过程为：

(1)对所有的码率r_n、丢包率p_n，初始化Q(r_n,p_n)＝0；对所有的丢包率p_n，初始化置信度函数即l＝1,2,...,5；

(2)初始化r_n与p_n，随机选取初始化MOS_n＝0；开始视频传输；

(3)赋值其中和分别表示上一个周期的码率和丢包率；；

(4)以(1-ε)的概率，选择码率否则,随机选择码率进行传输，其中ε＝0.05；

(5)更新行动值函数：

其中α_k为学习速率因子，取可满足0≤α_k≤1，

(6)获得终端反馈的本周期的MOS_n值与丢包率p_n；

(7)根据每个周期结束时统计的丢包率p_n，更新置信度分布函数b_n(p_n)，例如，若第二个周期结束时的丢包率统计结果落在P₃区间，则更新 其中且x≠3，以此类推。

(8)如果视频传输结束，则算法结束；如果视频传输未结束，则重复上述(3)至(7)的过程。

Claims (2)

1.基于在线学习的视频流业务码率自适应方法，其特征在于：该方法采用可伸缩视频编码作为源端编码方式，使用MOS对用户的QoE进行量化，并以折扣总MOS值作为系统的效用函数，根据每个周期的终端反馈信息，通过在线学习算法自适应地调整视频流码率；

所述的MOS为平均意见得分，所述的QoE为用户观看视频体验质量；

该方法的具体步骤是：

步骤一、建立无线视频流业务系统框架；具体为：

无线网络中存在多个用户，用户标记为n∈{1,2,…}，每个用户包含一个发送节点和一个接收节点，以此建立端到端流媒体连接；源端采用可伸缩视频编码方式编码视频，每段视频生成M个不同层次的码率，其中为可选视频码率的集合，R₁,R₂,...,R_M分别对应不同的可选码率；无线网络中存在部分瓶颈链路，当瓶颈链路发生过载，会导致拥塞丢包，降低用户QoE；以T个往返时延作为码率调整周期，周期标记为k∈{1,2,…}；源端根据每个周期从终端用户n传回的丢包率与即时QoE反馈值了解当前网络的拥塞状态和用户的体验质量；其中每个周期的即时QoE反馈值由量化的MOS值表征；根据以上信息，源端调整发送的视频流码率；

步骤二、建立效用函数，确定码率自适应机制的优化目标；以折扣总MOS值作为系统的效用函数，计算公式为其中γ为折扣因子，0≤γ≤1，和分别表示用户n在第k个周期的码率和丢包率，表示当码率为和丢包率为时，用户n在第k个周期的MOS反馈值；网络中用户n的目标是通过在每个周期选择最优的码率，使自己的效用函数U_n最大化；

步骤三、通过在线学习算法的迭代计算，对无线视频流业务进行自适应码率调整；源端首先建立行动值函数 将丢包率状态的取值进行量化，映射为从0到1的L档离散值，即其中为所有可选丢包率状态的集合，P₁,P₂,...,P_L分别对应各自不同的丢包率区间；行动值函数的状态空间为：

2.如权利要求1所述的基于在线学习的视频流业务码率自适应方法，其特征在于，步骤三所述的在线学习算法的具体过程为：

第1步、对所有的码率r_n、丢包率p_n，初始化Q(r_n,p_n)＝0；对所有的丢包率p_n，初始化丢包率的置信度函数即

$b_n\left(P_1\right)=b_n\left(P_2\right)=...=b_n\left(P_L\right)=\frac{1}{L};$

第2步、初始化r_n与p_n，随机选取初始化用户n的平均意见得分MOS_n＝0；开始视频传输；

第3步、赋值其中和分别表示上一个周期的码率和丢包率；

第4步、以(1-ε)的概率，选择码率否则,随机选择码率进行传输，其中0<ε<1；

第5步、更新行动值函数：

其中α_k为学习速率因子，需满足0≤α_k≤1，

第6步、获得终端反馈的本周期的MOS_n值与丢包率p_n；

第7步、根据每个周期结束时统计的丢包率p_n，更新置信度分布函数b_n(p_n)，设p_n取值属于区间，为丢包率状态的L档离散值中的区间序号，为序号对应的丢包率区间，上一个周期所有丢包率区间的置信度分布为l为丢包率状态的L档离散值中除外的区间序号，其中用分数表示为 用分数表示为则更新后的置信度分布为：

$\left\{\begin{array}{c}{b}_n\left(P_{\hat{l}}\right)=\frac{X_{\hat{l}}+1}{{\hat{Y}}_{\hat{l}}+1},X_{\hat{l}}<Y_{\hat{l}},1\&le;\hat{l}\&le;L\\ b_n\left(P_l\right)=\frac{X_l}{Y_l+1},X_l<Y_l,l=1,2,...L,l\&NotEqual;\hat{l}\end{array}\right.;$

第8步、如果视频传输结束，则算法结束；如果视频传输未结束，则重复上述第3步至第7步的过程。