CN114900706B - 基于扩展视频编码的直播视频流传输自适应调度方法 - Google Patents

基于扩展视频编码的直播视频流传输自适应调度方法 Download PDF

Info

Publication number
CN114900706B
CN114900706B CN202210402431.5A CN202210402431A CN114900706B CN 114900706 B CN114900706 B CN 114900706B CN 202210402431 A CN202210402431 A CN 202210402431A CN 114900706 B CN114900706 B CN 114900706B
Authority
CN
China
Prior art keywords
video
layer
coding
segment
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210402431.5A
Other languages
English (en)
Other versions
CN114900706A (zh
Inventor
张彤
陈傲
朱琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210402431.5A priority Critical patent/CN114900706B/zh
Publication of CN114900706A publication Critical patent/CN114900706A/zh
Application granted granted Critical
Publication of CN114900706B publication Critical patent/CN114900706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于扩展视频编码的直播视频流传输自适应调度方法,属于视频传输技术领域,该方法根据可分层视频编码的特征对视频传输片段以及不同分层进行选择,从而完成视频传输码率的在线自适应。本发明所述方法对视频传输的上传部分以及下载部分的传输调度进行了约束以及优化,主要包括以下步骤:先完成视频分层编码的各层设置,并建立网络带宽的预测模型,然后对视频上传部分的传输调度进行约束并完成约束下的优化,最后对视频下载部分的传输调度进行约束并完成约束下的优化。

Description

基于扩展视频编码的直播视频流传输自适应调度方法
技术领域
本发明属于频传输技术,具体涉及一种基于扩展视频编码的直播视频流传输自适应调度方法。
背景技术
直播视频传输技术是对实时生成的视频流进行实时传输的技术。直播视频传输从总体上可以分为两个部分,视频的编码与上传以及视频的下载解码,就使用高级视频编码(Advanced Video Coding,AVC)的视频流来说,直播视频流的传输过程包括以下几个步骤,首先直播发起者获取原始视频流,并对其进行编码以及封装,将封装好的视频块传输至流媒体服务器,流媒体服务器对其进行解码,并重新编码为不用码率的视频块,以应对不同质量需求的视频请求,最后将视频发送至接收端。在这个过程中为了提高视频播放的质量,可以使用视频自适应码率(Adaptive Bitrate,ABR)方法,该方法能够根据网络状态、本地缓存量等因素,选择适当码率的视频块进行下载,实现提升视频质量、减少播放卡顿和码率切换频率之间的权衡和优化。
由于可伸缩视频编码在大幅节约视频服务器存储空间,以及在空间、时间和质量等维度精确控制视频质量等方面的优势,因此面向可伸缩编码视频码率自适应选择方法及系统具备广阔的应用前景。当前面向SVC的码率自适应选择尚处于起步阶段,现有方法引入对编码方式、编码层数的选择,虽然能够在一定程度上提高码率选择的灵活度,并减少转码带来的时间空间损耗,但是并没有能够充分利用SVC带来的决策空间扩大的优势,有待完成ABR方法与SVC的深度融合与优化。
发明内容
发明目的:本发明提供一种基于扩展视频编码的直播视频流传输自适应调度方法,实现对以视频显示质量、视频质量切换以及视频播放卡顿这三个方面为主的视频收看体验的综合提升。
为实现上述发明目的,本发明提供的技术方案如下。
一种基于扩展视频编码的直播视频流传输自适应调度方法,包括以下步骤:
(1)进行视频分层编码的基本设置,包括设置视频流的编码层数,确定基本层码率大小以及各个增强层的码率大小,且建立带宽预测模型,预测系统的可用带宽;
(2)构建视频发送端的视频上传优化模型和约束条件,该模型根据观众选择的延迟信息,从未上传的视频片段中选择待上传的视频段,包括从尚有增强层未发送的视频片段集合中,选出满足带宽约束条件下能使目标函数最大的视频片段增强层;
(3)构建视频接收端的视频下载优化模型和约束条件,对视频接收端进行用户观看综合体验的分析,从视频显示效果、视频质量切换以及视频播放卡顿三个方面对用户视频观看感受进行量化,并以此作为优化目标;
(4)根据视频上传优化模型和视频下载优化模型的优化目标进行调度决策,确定上传与下载的视频块编号以及选择的编码层数。
进一步的,步骤(1)所述的带宽预测模型表达式如下:
Figure BDA0003600774920000021
B(k)表示当前时间的可用带宽,y(k)表示根据信道的状态信息计算的可用带宽,下一个时间周期内的可用带宽B(k+1)由当前时间内的可用带宽B(k)与过程噪声w(k)组成,计算值y(k)与真实的可用带宽B(k)的差异用计算噪声v(k)来表示。
在带宽预测模型中,假设过程噪声w(k)和计算噪声v(k)都为独立的Gauss白噪声,且服从正态概率分布,其方差分别记为:
Q=E[w(k)·w(k)T]
R=E[v(k)·v(k)T]
在当前的时间周期内,根据信道的状态信息计算的可用带宽为y(k),上一个时间周期内预测的可用带宽为B(k|k-1),则当前时间内可用带宽的估计值为:
Figure BDA0003600774920000022
其中:
Figure BDA0003600774920000023
表示实际可使用带宽与预测带宽之间的预测误差,
Figure BDA0003600774920000024
表示利用预测误差对,上一次预测所进行的修正;
修正值与上一次的预测值之和则为当前时间可用带宽的估计值,然后进行下一个时间周期内可用带宽的预测,计算过程如下:
Figure BDA0003600774920000031
权值Km(k)称为Kalman增益,按下式计算:
Figure BDA0003600774920000032
P(k|k-1)是可用带宽预测的误差矩阵,按下列公式进行迭代计算:
P(k|k)=(1-Km(k))P(k|k-1)
P(k+1|k)=P(k|k)+Q。
进一步的,步骤(2)所述视频上传优化模型中,用于表达传输视频段能够获得的视频质量收益的优化目标函数表达式如下:
maximize obj=wfQ(sf)+wgQ(sg)
其中sf表示实时生成的视频片段的基本层,wf表示选择sf时的权重,Q(sf)表示选择si时的带来的视频质量增益,sg表示选择发送的视频片段的增强层。
权重wf为所有观众数量总和,其表达式如下所示:
Figure BDA0003600774920000033
N(t)表示表示观看延迟时间为t的观众人数,权重wg表示观众观看延迟时间不同带来的影响,由观看延迟在sg之后的观众数量总和确定,其表达式如下所示:
Figure BDA0003600774920000034
在上述表达式中,Tu表示当前实时观众观看的时间,Tg表示sg的延迟播放时间;
Q(si)表示选择si时的带来的视频质量增益,其表达式如下:
Q(si)=f(s′i+si)-f(si)
f(si)表示si所拥有视频显示质量,s′i表示已经发送的第i个视频片段,所述方法中,视频显示质量函数表示如下:
Figure BDA0003600774920000035
在上述表达式当中smin表示一个视频片段能够播放的最低质量。
在步骤(2)中,视频上传优化模型的约束条件的数学表达式如下:
H(sf)+β1H(sq1)+β2H(sq2)≤B
一次决策时间内能够发送的比特数记作B,H函数表示选择的视频编码层的大小,其中,视频分为三层编码,选择的增强层视频片段表达式如下:
sq=β1sq12sq2
在上述的表达式中,sq表示选择上传的为第q个视频片段的增强层,sqi表示第q个视频片段的第i增强层,β为二进制数,表示是否选择该层编码上传。
进一步的,步骤(3)所述的视频下载优化模型中,其优化目标函数表示如下:
maximize obj=θ1Q(si)-θ2C(si)+θ3RB(si)
Q(si)表示选择si时的带来的视频质量增益,C函数表示选择的视频片段可能带来的视频质量切换的负增益,RB函数表示该视频片段的传输在减少重新缓冲方面的正向增益。
其中,表示选择的视频片段可能带来的视频质量切换的负增益的C函数表达式如下:
C(si)=|f(s′i+si)-f(s′i-1)|+|f(s′i+si)-f(s′i+1)|
表示该视频片段的传输在减少重新缓冲方面的正向增益的RB函数表达式如下:
Figure BDA0003600774920000041
Tmax表示请求视频片段基本层的最大延迟时间。
所述视频下载优化模型的接受端优化模型的约束条件表示如下:
si∈Sall
si=β0si01si12si2
Figure BDA0003600774920000042
Figure BDA0003600774920000043
β0H(si0)+β1H(si1)+β2H(si2)≤B
Ti>Tu+t+D
其中Sall表示所有未完全下载的视频片段集合,si表示选择下载的为第i个视频片段,而sij表示第i个视频片段的第j层,βj为二进制数,表示是否选择该层编码下载,βj∈{0,1},βj取1则表示选择下载第j层,H函数表示选择的视频编码层的大小,B表示一次决策时间内能够下载的比特数,Ti请求视频的播放时间,Tu表示实时观看观众的播放时间,t表示该观众选择的播放延迟,D表示请求视频的传输延迟,D的计算方法如下:
D=(β0H(si0)+β1H(si1)+β2H(si2))T/B。
更进一步的,步骤(4)中,每一次决策需要确定的内容包括选择上传与下载的视频块编号以及选择的编码层数,且一个片段被组合成一个可行的解决方案,遍历满足约束条件的候选集,并选择具有最高回报值的调度决策,包括以候选集中返回值持续较低且返回值排名最低的片段组合为修剪目标,通过修剪来控制候选集的大小。
有益效果:与现有技术相比,本发明所述方法实质性的特点和显著效果包括如下三个方面:
(1)本发明所述方法通过直播流媒体与SVC的融合,扩大了自适应码率的决策空间;通过与SVC的深度融合,提高了码率自适应的灵活性,能够为用户提供更好的视频观看体验。
(2)本发明能够节约视频在编码和转码过程中产生的存储空间的消耗。
(3)本发明可以和现有的流媒体传输框架相结合,具有很高的实用性,且应用范围广泛。
附图说明
图1为本发明所述方法的流程图;
图2为本发明对应视频码率选择系统的示意图。
具体实施方式
为详细的说明本发明所公开的技术方案,下面结合附图及具体实施例对本发明做进一步的表述。
本发明所提供的是一种基于扩展视频编码的直播视频流传输自适应调度方法,根据可分层视频编码的特征对视频传输片段以及不同分层进行选择,从而完成视频传输码率的在线自适应。该方法对视频传输的上传部分以及下载部分的传输调度进行了约束以及优化,主要包括以下步骤:先完成视频分层编码的基本设置及基本信息采集,由此建立网络带宽的预测模型;然后建立并求解视频发送端的视频发送优化模型,最后是建立并求解视频接收端的视频请求优化模型,据此作出直播视频流传输自适应调度决策。
结合图1,本发明所述方法具体实施步骤及过程如下:
S1、完成视频分层编码的编码设置,设置视频流的编码层数,并确定基本层码率大小以及各个增强层的码率大小。在此基础上进一步估计各个视频层能够带来的质量提升;同时建立带宽预测模型,预测系统的可用带宽。
具体的,步骤(S1)包括如下过程:
步骤S101,完成基础编码设置:
可伸视频缩编码(Scalable Video Coding,SVC)是视频编码标准H.264的扩展部分,能够在原有的视频编码基础上,实现空间域(分辨率)、时间域(帧率)和质量域(信噪比)三个维度的分层编码。对于SVC视频的每一帧,每一维度的基本层E0可支持单独解码,增强层Ei(i=1,2,…n)需要与之前的E0~Ei-1层联合解码。本发明所述方法需要在一开始对视频的编码进行设置,确定视频的编码层数,同时确定视频基本层码率大小以及各个增强层的码率大小。
步骤S102,建立带宽预测模型:
为了支持后续视频传输过程的码率优化模型构建和码率选择问题求解,同样需要对可用带宽进行估计。在最近的动态自适应流媒体研究中,主要有两类预测网络带宽的方法。一类是基于时间序列模型的方法。此方法是根据历史吞吐量数据估计出下一个时间段的带宽数据。另一类方法采用数据驱动的带宽预测方法。在离线阶段,算法对历史会话进行分类并为每个群组构建预测模型。当新会话到来时,算法辨识其群组并使用相应的模型进行预测。
对于自适应视频流来说,带宽预测器需要能够进行快速更新并对新场景有良好适应性。因此,本发明采用时间序列模型来设计预测算法。考虑到ABR算法需要预测器反映带宽演化的稳定变化而过滤掉短暂抖动,一个满足要求的合适方法是卡尔曼滤波器。卡尔曼滤波器利用两个方程来进行预测:(1)状态演化方程,其描述隐含状态(即网络带宽)的动态变化;以及(2)输出方程,其描述测量值(即吞吐量)与隐含状态(网络带宽)间的关系。卡尔曼滤波器的预测模型能够完美地匹配现有工作的结论,即会话内吞吐量的演化含有隐含状态,吞吐量的瞬时值围绕隐含状态服从高斯分布。
在一个小的时间范围内,通信信道的变化是相关的,因此,下一个时间周期内的可用带宽B(k+1)可认为是由当前时间内的可用带宽B(k)与一个过程噪声w(k)组成。当采用信道的状态信息计算可用带宽时,由于信道噪声和干扰等各方面因素的影响,所得的计算结果y(k)与真实的可用带宽B(k)并非完全一致,其差异可以用一个计算噪声v(k)来表示。因此可用带宽的精化估计与预测可用如下的系统模型表示:
Figure BDA0003600774920000071
假设过程噪声w(k)和计算噪声v(k)都为独立的Gauss白噪声,且服从正态概率分布。其方差分别记为Q=E[w(k)·w(k)T]和R=E[v(k)·v(k)T]。基于Kalman滤波算法的可用带宽预测分为3个部分:可用带宽的预测,模型的输入量为可用带宽的计算值y(k);Kalman增益的迭代计算,模型的输入量为计算噪声的方差R;预测误差的计算,模型的输入量为过程噪声的方差Q。
在当前的时间周期内,根据信道的状态信息计算的可用带宽为y(k),上一个时间周期内预测的可用带宽为B(k|k-1),则当前时间内可用带宽的估计值为:
Figure BDA0003600774920000072
其中:
Figure BDA0003600774920000073
表示实际可使用带宽与预测带宽之间的预测误差,
Figure BDA0003600774920000074
表示利用预测误差对,上一次预测所进行的修正。修正值与上一次的预测值之和则为当前时间可用带宽的估计值,用它可进行下一个时间周期内可用带宽的预测:
Figure BDA0003600774920000075
权值Km(k)称为Kalman增益,按下式计算:
Figure BDA0003600774920000076
而P(k|k-1)是可用带宽预测的误差矩阵,可按下列公式进行迭代计算:
P(k|k)=(1-Km(k))P(k|k-1)
P(k+1|k)=P(k|k)+Q
Kalman增益和预测误差都随过程误差和计算误差的变化而变化,因此可用带宽的预测能够动态地适应网络状态的变化,获得更为准确的预测值。
步骤S2,建立并求解视频发送端的视频上传优化模型
视频发送端根据观看视频的观众选择的延迟信息,从未上传的视频片段中选择出特定视频段进行上传,以达到所有观众综合体验的最优化。同时结合步骤(1)中的各项信息分析视频发送端的约束条件,建立处于约束条件下的视频上传优化模型,并对优化模型进行求解。
在直播流视频的传输过程中,首先需要视频产生者,将视频流编码并进行封装上传至服务端。而在实际的直播过程中,通常实时性和视频质量并不兼容,想要高的视频质量必定需要更高的视频码率,在固定的带宽下,码率越高则传输延迟也就越高。对于观看直播的观众来说同样具有不同的观看喜好,部分观众较为偏向降低视频观看质量而追求更低的延迟以提高实时性以及互动性,另一部分观众则更偏向与牺牲一定的实时性而换取更高的视频质量。因此在建立视频发送端的优化模型时需要将延迟观看因素列入综合考虑范围。
具体的,步骤(S2)包括如下过程:
步骤S201,分析视频发送端码率优化模型的优化目标:
在视频发送端,视频流编码后被封装为一个个视频片段,而每一个视频片段由基本层和增强层构成。在一次上传过程中,将可用带宽分为两个部分,一部分用于上传实时片段的基本层,而另一部分用于上传未发送的增强层。为了使选择传输的视频片段能够获得最大的综合收益,我们需要对选择过程建立一个目标函数,表达传输视频段能够获得的视频质量收益。在选择传输时,应当使选择出的视频片段对应的优化目标函数最大。在考虑时传输场景中,每个观众选择的观看延迟不统一,因此选择不同延迟时间的视频片段传输后能够获得收益的观众人数并不相同,例如选择延迟3秒的视频片段,只有观看的延迟时间在3秒以上的观众能够获得收益。综上所述,为了考虑所有观众的综合收益,需要对选择的实时片段以及增强片段的视频质量增益进行关于观看人数的加权。
根据上述分析,构建优化目标函数如下:
maximize obj=wfQ(sf)+wgQ(sg)
其中sf表示实时生成的视频片段的基本层,wf表示选择sf时的权重,Q(sf)表示选择si时的带来的视频质量增益,sg表示选择上传的视频片段的增强层。对于选择的实时视频片段来说,可以对所有延迟的观众带来收益,因此可以将所有观众的数量作为权重,wf的表达式如下所示:
Figure BDA0003600774920000081
对于选择的视频片段增强层,只有在观看延迟在sg之后的观众能够获得收益,权重wg为了体现观众观看延迟时间不同带来的影响,由观看延迟在sg之后的观众数量总和,其表达式如下所示:
Figure BDA0003600774920000082
在上述表达式中,Tu表示当前实时观众观看的时间,Tg表示sg的延迟播放时间,N(t)表示观看延迟时间为t的观众人数。
在目标函数中,Q(si)表示选择si时的带来的视频质量增益,该增益由上传的si和过去已经上传过的视频片段的总体片段的视频质量和过去已上传视频片段的视频质量的差值,其表达式如下:
Q(si)=f(s′i+si)-f(si)
其中f(si)表示si所拥有视频显示质量,s′i表示已经上传的第i个视频片段。在本发明所述方法中,视频显示质量函数表示如下:
Figure BDA0003600774920000091
在上述表达式当中smin表示一个视频片段能够播放的最低质量,也就是仅仅包含基础层编码。
步骤S202,分析视频发送端码率优化模型的约束条件:
在视频的传输过程中,选择的视频片段需要满足一定的条件,在本步骤中,将对优化模型的约束条件进行分析。本步骤中的约束条件主要从网络传输带宽,视频分层编码约束等方面考虑。
在本发明中,选择的基本层都来自于最新生成的视频片段的基本层编码,而选择的增强层视频片段来自于未上传的增强层编码。首先对选择的增强层视频片段以及片段中选择的编码层进行表示。在本发明中,视频分为一个个顺序的视频片段,并根据视频片段的生成顺序对片段编号,而每一个视频分为三层编码,根据分层顺序将基本层定义为第0层,第一增强层和第二增强层分别定义为第1层和第2层。在此基础上,选择的增强层视频片段可以表述如下:
sq=β1sq12sq2
在上述的表达式中,sq表示选择发送的为第q个视频片段的增强层,sq1,sq2分别表示第q个视频片段的第1增强层以及第2增强层。β为一个二进制数,表示是否选择该层编码发送,其取值为0和1。例如β1取1表示选择发送第1层,而β1取0则表示不选择发送第1层编码。
在视频发送的过程中,最重要是发送的视频质量需要符合网络带宽条件。对于网络带宽的约束,使用一次决策时间内能够发送的比特数进行表示,其数学符号记作B。并用H函数表示选择的视频编码层的大小,如H(si0)表示si0的比特数。上述约束条件的数学表达式如下:
H(sf)+β1H(sq1)+β2H(sq2)≤B
步骤S203,视频发送端码率优化模型的求解方法:
在上述分析的优化模型中,每次上传的视频片段分为实时视频片段的基本层以及未上传的增强层编码。其中实时视频片段的基本层在决策过程中无需选择,因此决策目标为选出需要上传的增强层。在本发明中,一次决策选择的增强层仅仅来自于同一个视频片段,而可用带宽大小为可用的总带宽除去基本层传输需要的带宽。综上所诉,本发明可以从尚有增强层未上传的视频片段集合中,选出满足带宽约束条件下能使目标函数最大的视频片段增强层。
步骤S3,建立并求解视频接收端的视频下载优化模型
对视频接收端进行用户观看综合体验的分析,从视频显示效果、视频质量切换以及视频播放卡顿三个方面对用户视频观看感受(QoE)进行量化,并以此作为优化目标。同时结合步骤(1)中的各项信息以及接收端的视频播放情况分析约束条件,建立处于约束条件下的视频下载优化模型,并对优化模型进行求解。
对于观看的观众来说,需要根据自己的网络条件选择下载的视频片段组合,以获得尽可能高的QoE(用户体验)。根据步骤S2所描述的优化模型,下载视频的选择同样可以被定义为一个优化问题。
步骤S301,分析视频接收端码率优化模型的优化目标:
对于接受端的观众来说,下载的视频片段需要给观众带来更高的用户观看体验。一个良好的用户观看体验包括三个部分:更高的视频质量,更少的视频质量切换,更少的重新缓冲。
在该优化模型中,需要使选择的视频片段能够带来更高的用户体验提升。对用户来说,选择的视频片段带来的收益由以下三部分组成:所选片段能带来的视频质量的收益,所选片段可能造成的视频质量切换带来的负收益,以及选择片段带来的减少重新缓冲的收益。综上所述,优化目标函数可以表示如下:
maximize obj=θ1Q(si)-θ2C(si)+θ3RB(si)
其中Q(si)表示选择si时的带来的视频质量增益,其定义同步骤S201中分析的相同,不再赘述。
C函数表示选择的视频片段可能带来的视频质量切换的负增益。在选择传输的视频片段完成传输后,该片段和前一个片段以及后一个片段若是存在质量差,则在播放时会出现质量切换的问题。因此C函数的具体表达方式可以表达如下:
C(si)=|f(s′i+si)-f(s′i-1)|+|f(s′i+si)-f(s′i+1)|
根据步骤S201中的定义,f函数表示视频播放质量,f(s′i+si)表示当前传输的视频段以及该视频段已传输的视频部分的总和的质量。而f(s′i-1)以及f(s′i+1)表示传输视频段的前后视频片段已传输部分的视频质量。
RB函数表示该视频片段的传输在减少重新缓冲方面的正向增益。在本发明中只有播放片段的基本层尚未传送的情况下,才会产生视频卡顿。而重新缓冲的需要考虑的使实时视频片段后的几个视频片段的基本层传输情况,视频片段越接近实时播放视频片段,则重新缓冲的影响越大。结合上述考虑,RB函数可以表示如下:
Figure BDA0003600774920000111
其中u表示当前实时播放的视频片段的编号,仅仅考虑距离实时播放的视频片段4个片段以内的影响。Tmax表示下载视频片段基本层的最大延迟时间。
步骤S302,分析视频接收端码率优化模型的约束条件:
在视频的传输过程中,选择的视频片段需要满足一定的条件,在本步骤中,将对优化模型的约束条件进行分析。本步骤中的约束条件主要从网络传输带宽,视频分层编码约束等方面考虑。
首先对选择的视频片段以及片段中选择的编码层进行表示。在本发明所述方法中,视频分为一个个顺序的视频片段,并根据视频片段的生成顺序对片段编号,而每一个视频分为三层编码,根据分层顺序将基本层定义为第0层,第一基本层和第二基本层分别定义为第1层和第2层。在此基础上,选择的视频片段可以表述如下:
si=β0si0与β1si1与β2si2
在上述的表达式中,si表示选择下载的为第i个视频片段,而si0表示第i个视频片段的第0层,也就是基本层,同理si1,si2分别表示第i个视频片段的第1增强层以及第2增强层。β为一个二进制数,表示是否选择该层编码下载,其取值为0和1。例如β0取1表示选择下载第0层,而β0取0则表示不选择下载第0层编码。
选择下载的视频片段应选自尚有部分编码层未下载的视频片段。定义Sall表示所有已下载部分编码层但未完全下载的视频片段集合。si应选择自Sall,表达式如下:
si∈Sall
根据分层编码的特质,较高层的编码需要在较低层的基础上才能发挥作用,因此若是选择下载高层编码,则需要满足低层编码已下载的条件。上述条件的数学表达如下:
Figure BDA0003600774920000121
在上述表达式当中,Y函数表达选择视频编码层是否已下载,Y函数的值为0和1。若si0已下载,则Y(si0)的值为1,反之值则为0。上述表达式表示在选择下载第1层而没选择下载第0层时,第0层已下载,而在选择下载第2层而没选择下载第0层和第1层时,第1层已下载(第1层已下载同样表示第0层已下载)。
根据上述分层编码的特征,同样需要对一次下载时选择的编码层加以限制,如只选择下载第0层和第2层这种情况将不会出现,因为在不下载第1层的情况下,下载第2层将无法获得实际的收益。上述约束的数学表达式如下:
Figure BDA0003600774920000122
在视频下载的过程中,最重要是下载的视频码率需要符合网络带宽条件。对于网络带宽的约束,我们使用一次决策时间内能够下载的比特数进行表示,其数学符号记作B。并用H函数表示选择的视频编码层的大小,如H(si0)表示si0的比特数。上述约束条件的数学表达式如下:
β0H(si0)+β1H(si1)+β2H(si2)≤B
对于接收端,需要考虑下载的视频片段下载后的播放时间需要在观众的观看时间之前,否则下载的视频片段将无法起到用户体验的增益作用。而下载延迟由下载的视频片段的大小和估计的可用带宽决定的。该约束可以表示如下:
Ti>Tu+t+D
其中Ti表示下载视频的播放时间,Tu表示实时观看观众的播放时间,t表示该观众选择的播放延迟,而D表示下载视频的传输延迟,D的计算方法如下:
D=(β0H(si0)+β1H(si1)+β2H(si2))T/B
接受端优化模型的全部约束表示如下:
si∈Sall
si=β0si01si12si2
Figure BDA0003600774920000123
Figure BDA0003600774920000124
β0H(si0)+β1H(si1)+β2H(si2)≤B
Ti>Tu+t+D
步骤S303,视频接收端码率优化模型的求解方法:
在上述分析的优化模型中,每一次决策需要确定的内容包括,选择下载的视频编号以及选择发送的编码层数。在选定下载的视频片段后,每一个视频片段包括三层编码层,从三层编码层中,选出符合约束条件的选择共6种。如果待下载的视频片段总数为N,那么在一次决策中就有6N种可能的片段组合要下载。而在视频下载的过程中,N是一个有限的实数,所以我们可以使用贪心算法来完成问题的解决。
在一次决策中,一个片段被组合成一个可行的解决方案,通过遍历满足约束条件的候选集,并选择具有最高回报值的可行方案。
如果有旧的视频片段因为回报值太小而没有被下载,并且这些片段的回报值通常会随着时间推移而越来越低,将一直无法被选上,在这样的情况下候选集将无限增长。为了保持算法的速度,可以通过修剪来控制候选集的大小。修剪目标是候选集中返回值持续较低且返回值排名最低的片段组合。

Claims (4)

1.一种基于扩展视频编码的直播视频流传输自适应调度方法,其特征在于,所述方法包括以下步骤:
(1)进行视频分层编码的基本设置,包括设置视频流的编码层数,确定基本层码率大小以及各个增强层的码率大小,且建立带宽预测模型,预测系统的可用带宽;
所述的带宽预测模型表达式如下:
Figure FDA0003974799190000011
B(k)表示当前时间的可用带宽,y(k)表示根据信道的状态信息计算的可用带宽,下一个时间周期内的可用带宽B(k+1)由当前时间内的可用带宽B(k)与过程噪声w(k)组成,计算值y(k)与真实的可用带宽B(k)的差异用计算噪声v(k)来表示;
在带宽预测模型中,假设过程噪声w(k)和计算噪声v(k)为独立的Gauss白噪声,且服从正态概率分布,其方差分别记为:
Q=E[w(k)·w(k)T]
R=E[v(k)·v(k)T]
在当前的时间周期内,根据信道的状态信息计算的可用带宽为y(k),上一个时间周期内预测的可用带宽为B(k|k-1),则当前时间内可用带宽的估计值为:
Figure FDA0003974799190000012
其中:
Figure FDA0003974799190000013
表示实际可使用带宽与预测带宽之间的预测误差,
Figure FDA0003974799190000014
表示利用预测误差对上一次预测所进行的修正;
修正值与上一次的预测值之和则为当前时间可用带宽的估计值,然后进行下一个时间周期内可用带宽的预测,计算过程如下:
Figure FDA0003974799190000015
权值Km(k)称为Kalman增益,按下式计算:
Figure FDA0003974799190000016
P(k|k-1)是可用带宽预测的误差矩阵,按下列公式进行迭代计算:
P(k|k)=(1-Km(k))P(k|k-1)
P(k+1|k)=P(k|k)+Q;
(2)构建视频发送端的视频上传优化模型和约束条件,视频上传优化模型根据观众选择的延迟信息,从未上传的视频片段中确定待上传的视频段,包括从尚有增强层未发送的视频片段集合中,确定满足带宽约束条件下能使目标函数最大的视频片段增强层;
所述视频上传优化模型中,用于表达传输视频段能够获得的视频质量收益的优化目标函数表达式如下:
maximize obj=wfQ(sf)+wgQ(sg)
其中sf表示实时生成的视频片段的基本层,wf表示选择sf时的权重,wg表示选择sg时的权重,Q(sf)表示选择sf时的带来的视频质量增益,sg表示选择发送的视频片段的增强层;
权重wf为所有观众数量总和,其表达式如下所示:
Figure FDA0003974799190000021
N(t)表示观看延迟时间为t的观众人数,权重wg表示观众观看延迟时间不同带来的影响,由观看延迟在sg之后的观众数量总和确定,其表达式如下所示:
Figure FDA0003974799190000022
在上述表达式中,Tu表示当前实时观众观看的时间,Tg表示sg的延迟播放时间;
Q(si)表示选择si时的带来的视频质量增益,其表达式如下:
Q(si)=f(s′i+si)-f(si)
f(si)表示si所拥有视频显示质量,s'i表示已经发送的第i个视频片段,所述方法中,视频显示质量函数表示如下:
Figure FDA0003974799190000023
在上述表达式当中smin表示一个视频片段能够播放的最低质量;
(3)构建视频接收端的视频下载优化模型和约束条件,对视频接收端进行用户观看综合体验的分析,从视频显示效果、视频质量切换以及视频播放卡顿三个方面对用户视频观看感受进行量化,并以此作为优化目标;
所述的视频下载优化模型中,其优化目标函数表示如下:
maximize obj=θ1Q(si)-θ2C(si)+θ3RB(si)
式中,θ13分别表示视频质量增益、视频质量切换的负增益、减少重新缓冲方面的正向增益这三部分的权重,为可调整参数,Q(si)表示选择si时的带来的视频质量增益,C函数表示选择的视频片段可能带来的视频质量切换的负增益,RB函数表示该视频片段的传输在减少重新缓冲方面的正向增益;
表示选择的视频片段可能带来的视频质量切换的负增益的C函数表达式如下:
C(si)=|f(s′i+si)-f(s′i-1)|+|f(s′i+si)-f(s′i+1)|
表示该视频片段的传输在减少重新缓冲方面的正向增益的RB函数表达式如下:
Figure FDA0003974799190000031
Tmax表示请求视频片段基本层的最大延迟时间;
(4)根据视频上传优化模型和视频下载优化模型的优化目标进行调度决策,确定上传与下载的视频块编号以及选择的编码层数。
2.根据权利要求1所述的基于扩展视频编码的直播视频流传输自适应调度方法,其特征在于,视频上传优化模型的约束条件的数学表达式如下:
H(sf)+β1H(sq1)+β2H(sq2)≤B
一次决策时间内能够发送的比特数记作B,H函数表示选择的视频编码层的大小,其中,视频分为三层编码,选择的增强层视频片段表达式如下:
sq=β1sq12sq2
在上述的表达式中,sq表示选择上传的为第q个视频片段的增强层,sqi表示第q个视频片段的第i增强层,β为二进制数,表示是否选择该层编码上传。
3.根据权利要求1所述的基于扩展视频编码的直播视频流传输自适应调度方法,其特征在于,所述视频下载优化模型的接受端优化模型的约束条件表示如下:
si∈Sall
si=θ0si01si12si2
Figure FDA0003974799190000032
Figure FDA0003974799190000033
β0H(si0)+β1H(si1)+β2H(si2)≤B
Ti>Tu+t+D
其中Sall表示所有未完全下载的视频片段集合,si表示选择下载的为第i个视频片段,而sij表示第i个视频片段的第j层,βj为二进制数,表示是否选择该层编码下载,βj∈{0,1},βj取1则表示选择下载第j层,H函数表示选择的视频编码层的大小,Y函数表达选择视频编码层是否已下载,B表示一次决策时间内能够下载的比特数,Ti表示请求视频的播放时间,Tu表示实时观看观众的播放时间,t表示该观众选择的播放延迟,D表示请求视频的传输延迟,D的计算方法如下:
D=(β0H(si0)+β1H(si1)+β2H(si2))T/B。
4.根据权利要求1所述的基于扩展视频编码的直播视频流传输自适应调度方法,其特征在于,步骤(4)中,每一次决策需要确定的内容包括选择上传与下载的视频块编号以及选择的编码层数,且一个片段被组合成一个可行的解决方案,遍历满足约束条件的候选集,并选择具有最高回报值的调度决策,包括以候选集中返回值持续较低且返回值排名最低的片段组合为修剪目标,通过修剪来控制候选集的大小。
CN202210402431.5A 2022-04-18 2022-04-18 基于扩展视频编码的直播视频流传输自适应调度方法 Active CN114900706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210402431.5A CN114900706B (zh) 2022-04-18 2022-04-18 基于扩展视频编码的直播视频流传输自适应调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210402431.5A CN114900706B (zh) 2022-04-18 2022-04-18 基于扩展视频编码的直播视频流传输自适应调度方法

Publications (2)

Publication Number Publication Date
CN114900706A CN114900706A (zh) 2022-08-12
CN114900706B true CN114900706B (zh) 2023-03-03

Family

ID=82717876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210402431.5A Active CN114900706B (zh) 2022-04-18 2022-04-18 基于扩展视频编码的直播视频流传输自适应调度方法

Country Status (1)

Country Link
CN (1) CN114900706B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270646A (zh) * 2014-09-22 2015-01-07 何震宇 一种基于移动流媒体的自适应传输方法和系统
CN105933727A (zh) * 2016-05-20 2016-09-07 中山大学 一种应用于游戏直播平台的视频流转码和分发方法
CN108924667A (zh) * 2018-08-03 2018-11-30 阳雨哲 一种支持QoE最大化的可用带宽自适应视频分片请求方法
CN112672153A (zh) * 2020-12-11 2021-04-16 北方信息控制研究院集团有限公司 融合视频特征分析的可伸缩编码视频码率自适应选择方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271112B2 (en) * 2015-03-26 2019-04-23 Carnegie Mellon University System and method for dynamic adaptive video streaming using model predictive control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270646A (zh) * 2014-09-22 2015-01-07 何震宇 一种基于移动流媒体的自适应传输方法和系统
CN105933727A (zh) * 2016-05-20 2016-09-07 中山大学 一种应用于游戏直播平台的视频流转码和分发方法
CN108924667A (zh) * 2018-08-03 2018-11-30 阳雨哲 一种支持QoE最大化的可用带宽自适应视频分片请求方法
CN112672153A (zh) * 2020-12-11 2021-04-16 北方信息控制研究院集团有限公司 融合视频特征分析的可伸缩编码视频码率自适应选择方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向稳健传输的SVC视频层次自适应选择算法;钱洋 等;《网络空间安全》;20200831;第11卷(第8期);全文 *

Also Published As

Publication number Publication date
CN114900706A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN112953922B (zh) 一种自适应流媒体控制方法、系统、计算机设备及应用
CN109587519B (zh) 基于q学习的异构网络多径视频传输控制系统及方法
CN111669617B (zh) 一种基于智能边缘的直播视频流的传输方法
CN102238433A (zh) 控制数字内容的自适应流传输
CN105393516A (zh) 在自适应流送中用缓冲器和范围约束来进行质量优化
WO2022037228A1 (zh) 一种基于智能边缘的svc视频的传输方法及智能边缘
WO2021097865A1 (zh) 面向多人互动直播的自适应码率调节方法
Mu et al. AMIS: Edge computing based adaptive mobile video streaming
CN113014968B (zh) 一种基于强化学习的多用户动态码率视频传输方法及系统
Wang et al. Adaptive video streaming in multi-tier computing networks: Joint edge transcoding and client enhancement
CN115720237A (zh) 边缘网络自适应比特率视频的缓存和资源调度方法
CN114040257B (zh) 一种自适应视频流传输播放方法、装置、设备及存储介质
CN111447511A (zh) 一种带有用户感知体验质量的带宽分配方法
CN118214890A (zh) 一种面向多个360°视频的在线边缘缓存方法
US20130243082A1 (en) Rate optimisation for scalable video transmission
CN114900706B (zh) 基于扩展视频编码的直播视频流传输自适应调度方法
CN113411628B (zh) 直播视频的码率自适应方法、装置、电子设备及可读介质
CN115955578A (zh) 直播流调度方法及装置
CN114025190A (zh) 多码率调度方法和多码率调度装置
CN112533036A (zh) 一种神经自适应视频流多路径传输结果确定方法及系统
CN113645487A (zh) 网络吞吐量预测方法及码率自适应分配方法
CN111447448A (zh) 一种基于用户体验与终端能耗的dash视频码率选择方法
Farus et al. Dynamic Optimization of Video Streaming Quality Using Network Digital Twin Technology
CN112333456B (zh) 一种基于云边协议的直播视频传输方法
Zhang et al. An Intelligent Learning Approach to Achieve Near-Second Low-Latency Live Video Streaming under Highly Fluctuating Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant