CN103339912A - 用于多媒体流的视频包调度方法 - Google Patents

用于多媒体流的视频包调度方法 Download PDF

Info

Publication number
CN103339912A
CN103339912A CN2012800068751A CN201280006875A CN103339912A CN 103339912 A CN103339912 A CN 103339912A CN 2012800068751 A CN2012800068751 A CN 2012800068751A CN 201280006875 A CN201280006875 A CN 201280006875A CN 103339912 A CN103339912 A CN 103339912A
Authority
CN
China
Prior art keywords
buffer
access point
controller
agency
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800068751A
Other languages
English (en)
Other versions
CN103339912B (zh
Inventor
N·尚古尔
B·萨亚蒂
M·基弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Publication of CN103339912A publication Critical patent/CN103339912A/zh
Application granted granted Critical
Publication of CN103339912B publication Critical patent/CN103339912B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/0231Traffic management, e.g. flow control or congestion control based on communication conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/80Actions related to the user profile or the type of traffic
    • H04L47/801Real time traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416Real-time traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/25Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/30Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/02Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/04Registration at HLR or HSS [Home Subscriber Server]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP

Abstract

一种用于多媒体流的视频包调度方法,所述多媒体流经由包括接入点(11)和代理(3)的传输链去往设有视频解码器(72)的接收器(7),所述代理(3)设有后编码器缓冲器(31)和控制器(32),所述接入点(11)设有低层的缓冲器(4),所述方法包括控制所述接入点(11)中的所述缓冲器(4)的状态和所述代理(3)中的所述后编码器缓冲器(31)的状态的最优化问题的求解步骤。

Description

用于多媒体流的视频包调度方法
技术领域
本发明总体涉及通过有线和无线网络的多媒体流的技术领域。
背景技术
多媒体应用(如手机电视、视频点播、IPTV、视频会议、数字视频广播(DVB)、音频/视频流、双向视频电话、实时游戏等)一直受到欢迎和认可,尤其是在移动用户中。这种发展主要是由于无线网络,所述无线网络延伸至现有的有线基础设施,为端用户提供移动式和便携式便利。因此,出于无条件采用多媒体应用的目的,高度重视服务质量(QoS)需求满意度。
然而,多媒体数据传输尤其受到严重限制欲提供给端用户的QoS的多重制约。与其他类型的应用相比较,这些制约主要与有关多媒体应用的特定性质的几个关键需求(这几个关键需求需被满足以提供可靠和高效的传输)相关:
-容易适应与对于高数据传输率(带宽消耗应用)的需求有关的带宽变化;
-与多媒体应用对包(packet)延迟(时延和抖动)的敏感性和/或对丢包(packet-loss)的容忍(丢包容忍应用)有关的对于数据丢失的鲁棒性。
此外,除了由于用户数量增加引起的带宽不足之外,到无线接收器的多媒体传送还尤其具有挑战性的是:
-无线信道随时间变化的特性(如错误率和带宽);以及
-一些多媒体应用(尤其是诸如视频会议、双向视频电话或移动电视的实时多媒体应用)的传送延迟约束。
为了解决这些问题,已经提出基于反馈机制(即从接收器到源的反馈机制)的实施的各种差错控制策略。该反馈机制负责将与路径特性和(在接收器处估计的)接收器行为有关的信息传送到发送器(即源)。为此,接收器向源发送信道质量测量(例如可用带宽、流路径的状态、丢失率)。实现此特征的常用技术是例如使用:
-像RTCP消息这样的应用反馈(即源自应用层的应用反馈);或者
-媒体访问(MAC)层前向错误校正。
然后,源利用所报告的网络信息来优化多媒体流的传输(在可扩展流的情况中的速率自适应、编码转换、丢包、丢帧或丢层),例如在应用层的基于RTCP的流量编码调整。
在最近的参考书目中会发现利用这些反馈的跨层方法的不同建议。这些方法的目的是通过使层的行为适应所报告的不断变化的反馈来共同地或分别地调整和优化层性能。
但是,另一方面,人们可以提及的是
-如在RFC中所述,应用反馈占据最初计划分配给多媒体内容传输的带宽不可忽略的部分(5%)。因此,反馈消息与多媒体流进行竞争以共享已经稀缺的带宽;
-这些反馈不提供关于流路径状态的即时信息,而且通常以可变延迟被获得。例如,当考虑单播应用时,可以获得来自接收器的各种类型的反馈,例如,在应用层经由RTCP反馈来得到关于在应用层的缓冲器的级别的信息,或者在MAC层经由HARQ ACK/NACK(S.Sesia,I.Toufik,and M.Baker,LTE,The UMTS Long Term Evolution:From Theory to Practice,chapter17,Feb.2009)来得到有关信道条件的信息。这里,主要问题是,利用这样的控制方案,反馈伴随延迟产生。该延迟可以是对于HARQ ACK/NACK消息而言的几十至几百毫秒到对于RTCP包而言的一秒或几秒的级别,这可能导致稳定性问题。显然,该延迟的存在独立于RTCP模式(例如即时反馈模式、早期RTCP模式或定期RTCP模式)。
进一步的问题是关于在多媒体应用的移动接收器与源之间的反馈管理的复杂性。
本发明的一个目的是,在不使用来自接收器的反馈消息的情况下,提高在多媒体应用中的端用户的QoS。
本发明的另一个目的是,利用来自MAC层的反馈来确保多媒体流的可靠传输。
本发明的另一个目的是摆脱应用反馈(例如RTCP)。
本发明的另一个目的是,在没有应用反馈的情况下,估计随时间变化的信道的信道条件。
本发明的另一个目的是,有效使用为在有线和无线网络上传输实时多媒体应用分配的带宽。
本发明的另一个目的是,使得能够在不使用应用反馈的情况下得到所期望的QoS度量。
本发明的另一个目的是,在不使用应用反馈的情况下,提供信道自适应源编码和差错控制方案。
本发明的另一个目的是,提供应付带宽变化和数据损失的信道自适应源编码和差错控制方案。
本发明的另一个目的是,为在各种信道条件的多媒体应用提供改善的QoS。
本发明的另一个目的是,在不使用应用反馈的情况下,控制数据编码率。
本发明的另一个目的是,提供能够改善无线网络上的实时多媒体应用的QoS的机制。
本发明的另一个目的是,提供一种针对在有线和/或无线网络上传输多媒体数据期间减少延迟和丢包率的方法。
发明内容
本发明针对消除一个或多个以上所阐述问题的影响。下面介绍本发明的简要概括,以提供对本发明的一些方面的基本理解。该概括不是本发明的详尽概述。其目的不是确定本发明的决定性因素的关键或者描述本发明的范围。其唯一目的是以简化形式呈现一些概念作为在后面讨论的更详细描述的前序。
本发明涉及一种用于多媒体流的视频包调度方法,所述多媒体流经由包括接入点(11)和代理(3)的传输链去往设有视频解码器的接收器,所述代理设有后编码器缓冲器(post-encoder buffer)和控制器,所述接入点设有低层的缓冲器,所述方法包括控制所述接入点中的缓冲器的状态和所述代理中的后编码器缓冲器的状态的最优化问题的求解步骤。
根据一个主要方面,在控制器中没有为视频包调度考虑从接收器传送的反馈信息。
根据另一个主要方面,在离散时间马尔科夫决策过程的框架中制定所述最优化问题。
本发明还涉及一种用于从后编码器缓冲器到接入点的低层缓冲器调度视频包的控制器,所述视频包流向设有视频解码器的接收器,对所述控制器进行编程以求解控制所述接入点中的所述缓冲器的状态和所述代理服务器中的所述后编码器缓冲器(31)的状态的最优化问题。
本发明还涉及一种计算机程序产品,所述计算机程序产品适合于执行上述方法。
虽然本发明允许各种变型和替代形式,但其具体实施例已通过示例方式在附图中示出。然而,应当理解,本文中的具体实施例的描述的目的不是将本发明限制为所公开的特定形式。
当然也可以理解,在任何这种实际实施例的开发中,应作出针对实现的决定以实现开发人员的具体目标,例如符合与系统有关的和与业务有关的约束。将会理解,这种开发努力可能是耗时的,但对于受益于本公开的本领域的普通技术人员来说仍是常规的。
附图说明
根据以下公开和权利要求,本发明的目的、优点和其它特征会变得更加明显。通过参照附图,仅出于示例的目的给出以下的优选实施例的非限制性描述,在附图中
图1是示出功能性实施例的框图;以及
图2示出说明性的仿真结果。
具体实施方式
图1示出到与无线网络12连接的移动(或无线)站7的视频序列1的流。
视频序列1可以来自不同的源,例如存储设备(诸如数据库、多媒体服务器、视频服务器)或实时摄像头(live camera feed)。
移动站7是任何能够接收和播放多媒体流的用户装置。智能电话、平板计算机、计算机、个人数字助理(PDA)、便携式计算机是这样的移动站7的非限制性示例。
无线网络12可以是无线IP网络、无线个人区域网络、无线局域网络、无线城域网络、无线广域网络,或者更一般的说是可以由超过一个的无线网络的组合产生的任何移动设备网络。
更一般的说,视频序列1经由有线网络10被路由到移动站7,有线网络10包括:
-流服务器2,流服务器2设有可扩展的视频编码器21(例如精细度可扩展(FSG)编码或高级视频编码AVC);
-代理3,代理3通常位于有线网络10的边缘;以及
-通常与代理3位于同处的接入点11(即基站,其可以取决于所实施的通信技术而进行不同的指定,例如用于3G的Node B或用于LTE的eNode-B)。
在流服务器2内,视频序列1被分段为帧,所述帧被编码成:
-在H264SVC的情况中的基本层和一组L-1增强层;和
-在H264AVC的情况中的帧内和帧间。
本领域的技术人员会容易地认识到,在H264AVC的情况中,存在两种帧间(通常表示为P的预测帧和通常表示为B的Bi预测帧),L的数目等于2。另外,H264AVC可以被看作是H264SVC的特定情况,其中使用的可扩展性是时域可扩展性。相应地,在下面出于概括性的原因,使用符号L和术语H264SVC。
在H.264SVC可扩展性方案的情况中,接入单元(AU)是构成基本层和其对应的增强层的基本处理单元、宏模块、分片或帧。
编码参数(量化步长和帧速率等)由流服务器2控制,其独立于传输链的其余部分。每个编码帧的每个可扩展层被分包(例如,被分包成RTP、UDP或IP包),然后经由过量供应的核心网络10传递到位于代理3中的L个后编码器缓冲器31(每层一个)。控制器32在代理3内执行层过滤:对于每一层,包可以被发送、保持或丢弃。
被发送的包在被分段为分组数据单元(PDU)之后被馈送到接入点11中的MAC缓冲器4(或更一般的说被馈送到低层的缓冲器4)。PDU然后被传输到移动站7,移动站7在其自身的MAC缓冲器71中存储被正确接收的PDU。一旦所有相应的PDU被接收,就在移动站7的应用层处的L个缓冲器71中的一个中进行包解封和缓冲。然后,由移动站7的视频解码器72处理完整的或不完整的AU。过期的包在不被解码的情况下被丢弃。
在接入点11的部件中,特别注意其MAC(或低层)缓冲器4。然后应该清楚,假定该接入点11的其余部件(例如MAC调度器5、物理层、无线电前端)是属于信道13的。该信道13还包括无线信道6、移动站7的物理层以及移动站7的MAC缓冲器71(即,管理ACK/NACK过程的MAC层)。
接入点11的MAC缓冲器4将其缓冲器状态作为反馈(图1的链路34)发送到代理3的控制器32。
仅基于从接入点11的MAC缓冲器4报告的反馈,由代理3的控制器32操作的可扩展层过滤过程通过以下方式设计:
-避免MAC缓冲器4的溢出,以防止PDU被丢弃;
-还避免MAC缓冲器4的下溢,以通过最佳和高效的方式利用信道;
-避免后编码器缓冲器31的溢出,以限制由系统引入的延迟;
-还避免后编码器缓冲器31的下溢,尤其是在基本层避免后编码器缓冲器31的下溢,因为这表明与其他层相比赋予基本层太多的重要性。
相应地,在没有对信道13状态的额外观察的任何情况下,控制器32必须仅利用在MAC缓冲器4上进行的观察执行可扩展层过滤(注意,一些可扩展层可能会被丢弃)。作为选择或以结合方式,代替MAC缓冲器4,可以采用其他观察点,如RLC缓冲器或PDPC缓冲器。
换句话说,通过仅观察在无线信道12之前的路径中的最后的缓冲器(即MAC缓冲器4)的充溢度的演变,代理3的控制器32有可能决定传输哪个包/层。也就是说,控制器3在没有从无线站7到代理3的RTCP反馈消息的情况下执行视频包调度算法。仅可以采用由ACK/NACK提供的反馈来获得信道的状态(图1的链路57)。
上述这些项通过在离散时间马尔科夫决策过程(MDP)的框架内用制定的最优化问题的求解来实现。
这样,高效的层过滤过程的设计在离散时间MDP的框架中被转换(R.S Sutton and A.G Barto,Reinforcement Learning:An Introduction,MIT Press,1998)。事实上,4元组(S,A,P,R)的MDP被定义,其中
-S是系统状态集合;
-A是动作集合;
-P(s,s′,a)是当将动作a(A应用到系统时,从在时间t的s(S到在时间t+1的s′(S的转移概率;和
-R(s,s′,a)表示在通过利用动作a获得的从s到s′的转换之后接收到的即时回报(或预期的即时回报)。
然后找到使即时回报(短期策略)或未来回报的折扣和(长期策略(foresighted policy))最大的某一策略((s)(A,s(S。
受控系统的状态包括收集
-后编码器缓冲器31的级别
Figure BDA00003584248100071
-对应于在基站11中的MAC缓冲器4的级别的sm;以及
-表示信道状态的h。
因此,系统的状态是
Figure BDA00003584248100081
信道由具有n个状态的一阶马尔科夫过程利用已知的转移概率p(ht+1|ht)和固定概率p(ht).建模。ht例如能够表示在所考虑的时间间隙期间的可获得率。考虑以下两个与信道状态的获知有关的假设:
-假设1:瞬时信道状态,其中假设当选择在时间t和t+1之间应用动作时ht是可获得的;这只有当反馈具有非常短的延迟为可能时才可实现;
-假设2:未知信道状态,所述未知信道状态是不考虑信道状态反馈的情形。
关于动作a,代理3可以在时间t针对每个层l发送、保持或丢弃包。在时间t和t+1之间针对lth层采取的动作a1(l,t)(A表示从后编码器缓冲器31到MAC缓冲器4传递的包的数量(当al,t>0时),或者被丢弃的包的数量(当al,t<0时)。如果al,t=0,包被保持在后编码器缓冲器31中。聚集所有动作的矢量为a=(a1,…,aL)(AL。
一旦所有的状态S和动作A已经被确认,就必须确定转移概率矩阵P(s,s′,a)。为此,对两种情况区分如下:
-情况1(假设1):当在时间t在状态s中应用动作a时,信道状态ht对于控制器32来说是可获得的。则状态转移矩阵为
P 1 ( s t , s t + 1 , a t ) = Pr ( s t + 1 B , s m , h t + 1 | s t B , s m , h t a t ) - - - ( 1 )
它可以利用p(ht+1|ht)已知的事实被容易地估计。
Figure BDA00003584248100083
是所有后编码器缓冲器31状态的矢量,at是所有动作的矢量。
-情况2(假设1):对控制器32来说没有任何信道状态ht是可获得的。则状态转移矩阵可以写成
Figure BDA00003584248100084
这是由于
Figure BDA00003584248100091
(所有后编码器缓冲器31的矢量)、
Figure BDA00003584248100092
或at(所有动作的矢量)不提供关于ht的额外信息。
为限制这些转移矩阵P1(st,st+1,at)的大小,能够以或多或少粗略的方式来对可以由状态S采用的值进行量化以获得在复杂性和描述准确性之间的折衷。
关于在在时间t的回报函数R(s,s′,a),由控制器31执行的层过滤过程(即,调度算法)选择使在接收器侧(即,在移动站7处)的QoS(尤其是视频质量)最大的动作。为此,使解码帧的平均峰值信噪比(PSNR)最大。
为了避免在对AU进行过滤的时间和在对其进行显示的时间之间的延迟的变化,建立惩罚丢包以及根据系统约束的缓冲器溢出和下溢的回报函数R(s,s′,a),,根据系统的约束,建立。该回报函数表示如下:
R t ( s t , s t + 1 , a t ) = E [ Σ l = 1 L γ l a l , t + Σ l = 1 L α l ρ 1 ( S l , t + 1 B , a l , t ) + β ρ 2 ( S t + 1 m , a l , t ) ] - - - ( 3 )
其中,E[.]表示期望函数。
随着l=1...L,正参数γll和βl权衡各种约束的重要性。回报函数(3)涉及几个部分:第一部分与传输的SNR层的数量关联,其他部分与后编码器缓冲器31和MAC缓冲器4约束关联。回报函数(3)是后编码器缓冲器31的状态和MAC缓冲器4的状态的函数。
假设增加传输包的数量提高接收的质量,则传输回报应有助于使传输包的数量最大化。
与属于增强层的包相比较,参数γl允许给予属于基本层的包更高的优先级。对于后编码器缓冲器31和MAC缓冲器4约束,ρ1(.)和ρ2(.)为令人满意的缓冲器状态提供正值回报,为应被避免的状态提供负值回报。
作为从联合状态到联合动作的映射,在所考虑的系统中的策略π表示要传输的可扩展层的数量,从而知道后编码器缓冲器31和MAC缓冲器4的状态。
最优长期策略在于寻找对应于最优状态值函数的最优平稳马尔科夫策略π-,所述最优状态值函数定义为
Figure BDA00003584248100101
其中0<α<1是折扣因子,其定义现在回报和未来回报的相对重要性。最优长期策略可以通过值或策略迭代算法获得(R.S Sutton and A.GBarto,Reinforcement Learning:An Introduction,MIT Press,1998)。为所有状态s更新和迭代(4)中的值,直到其以左侧等于右侧而收敛(其为针对此问题的贝尔曼(Bellman)方程)。当α=0时得到短期策略,仅使即时回报最大。
相应地,所提出的算法仅在通信链路的发送器侧控制在应用层(图1中的链路57)处和在MAC(图1的链路34)处的缓冲器4的级。隐含使用在MAC层处的反馈,但不考虑来自移动用户(即在应用层)的应用反馈,从而避免使用延迟的测量。
所提出的算法根据跨层控制机制在发送器侧的应用层和MAC层处进行包调度和联合缓冲器管理。
控制器32获取与MAC缓冲器4有关的信息,求解上述MDP最优化问题,然后得出用于物理层和应用层的更新的运行参数。
最佳参数的使用允许
-使传输视频内容1的层的数量最大;
-避免MAC缓冲器4的下溢和溢出状态;
-避免在后编码器缓冲器71中的下溢和溢出状态;
-考虑在帧分包级别处缓冲器的充溢度,从而
-实现可靠的通信,并最使在移动站7侧的QoS最大。
相应地,所提出的方法允许
-增加在无线网络中的上行链路信道的频谱效率(无应用反馈);
-以盲目的方式过滤包,不需要具有应用反馈;
-提高端用户的服务质量;
-通过使基本层/包优先来保持对端用户的特定再现裕度。
所提出的方法是用于AVC或SVC视频流的调度算法,以具有质量感知的自适应性和选择性的帧/包传输。
已经对几个视频序列评价了所提出的层过滤过程的性能。
图2示出了在通过控制器32和不通过控制器32进行自适应的情况下对于仿真的对时间的峰值信噪比(PSNR)性能。然后根据PSNR测量视频质量,从而估计自适应增益方面流的性能。
作为对利用所公开的方法的可获得的增益的说明,图2报告对于以每秒30帧的视频序列“Foreman.Qcif”所获得的结果。H.264SVC编码器使用每帧L=3的SNR可扩展层。
图2绘制五条曲线。从图2的底部到顶部,这些曲线分别表示没有信道状态的PSNR(短期控制)、没有信道状态的PSNR(长期控制)、具有信道状态的PSNR(短期控制)、具有信道状态的PSNR(长期控制)和具有无限带宽的PSNR随时间(帧索引)的演进(以dB为单位)。
在这个说明性的示例中使用的设置是:
-累计的平均速率(以及用于亮度的PSNR)为
74.7 kbits s ( 32.3 dB ) 对于层1;
165.0 kbits s ( 34.7 dB ) 对于层1和层2;并且
327.0 kbits s ( 36.82 dB ) 对于所有层。
-无线信道被建模为2状态的马尔科夫模型(n=2):良好状态ht=1,不良状态ht=0。信道速率为信道状态转移概率为p11=0.9 以及p00=0.8,从而导致的平均信道速率。在每个时间片刻考虑每层四个可能的动作A={-1,0,1,2}。
-为使复杂性最小,所有缓冲器的级被量化成三个可能的值:1表示下溢,2表示满意的级,3表示溢出;
-后编码器缓冲器31假定具有最大的大小(依据包的数量)Se=55;溢出级和下溢级为Semax=50和Semin=10。对于MAC缓冲器4,最大大小为Sm=220的每比特具有相同大小的200bitsPDU对应于44kbits的最大大小,在此认为下溢的级别为Smmin=10Kbits以及溢出的级别为Smmax=25kbits;
-已在回报函数(方程3)中设置用于反映各种约束的重要性的参数值:γ1,2,3={150,60,15,}、λ1,2,3={100,40,10}和β=300。
已经考虑已知的平均的源和编码器特性,从而使得每层中的平均包长度为已知。
在上面考虑的两个情况中,图2表示利用短期策略(α=0)得到的解码序列的PSNR的演变和利用长期策略(α=0.9)得到的解码序列的PSNR的演变。
当使用应用反馈时,与利用短期策略获得1 dB的平均增益相比,利用长期策略获得约1.5 dB的平均增益。该增益主要由于第一增强层的更多包到达接收器。
在不使用应用反馈(本实施例的目标)的情况下,利用短期策略,约46%的时间,MAC缓冲器4处于某段时间超过最大缓冲器大小的溢出状态。该情况导致一些PDU损失,这引起接收到的视频质量的显著下降。利用长期策略,MAC缓冲器约25%的时间处于溢出状态,但从不损失PDU包。
与采用应用反馈策略的情况相比,无应用反馈和利用长期策略导致PSNR中0.5dB的损失。因而,MAC缓冲器4的该状态的可获得性提供信道状态的合理估计,从而允许令人满意地调节接收的视频质量。
因此,当引入所公开的方法时得到最大PSNR,在该示例中,尤其是对于第50个帧之后的帧。
值得一提的是,上述方法针对本领域技术人员已知的传统的编解码器,如H264AVC、H264/SVC及它们的任何进一步的版本或任何等同的编解码器。
上述方法很适合于信道频繁变化的无线网络上的多媒体流,尤其是在流量繁重的条件下,其使得丢包率显著减少。
其他的QoS特征(例如IntServ/DiffServ)和拥塞控制机制,尤其是为在有线网络中的多媒体数据传输设计的其他的QoS特征和拥塞控制机制,可结合本文所述的方法。

Claims (9)

1.一种用于多媒体流的视频包调度方法,所述多媒体流经由包括接入点(11)和代理(3)的传输链去往设有视频解码器(72)的接收器(7),所述代理(3)设有后编码器缓冲器(31)和控制器(32),所述接入点(11)设有低层的缓冲器(4),所述方法包括控制所述接入点(11)中的所述缓冲器(4)的状态和所述代理(3)中的所述后编码器缓冲器(31)的状态的最优化问题的求解步骤。
2.根据权利要求1所述的方法,其中,没有反馈消息从所述接收器(7)的所述视频解码器(72)传递到所述控制器(32)。
3.根据权利要求1或2所述的方法,其中,所述最优化问题在离散时间马尔科夫决策过程的框架中制定。
4.根据权利要求3所述的方法,其中,所述马尔科夫决策过程系统的回报函数如下:
R t ( s t , s t + 1 , a t ) = E [ Σ l = 1 L γ l a l , t + Σ l = 1 L α l ρ 1 ( S l , t + 1 B , a l , t ) + β ρ 2 ( S t + 1 m , a l , t ) ]
E[.]表示期望函数,正参数γlαl和βl随l=1...L权衡与接入点(11)中的缓冲器(4)和代理(3)中的后编码器缓冲器(31)有关的各种约束的重要性。
5.一种用于从后编码器缓冲器(31)到接入点(11)中的低层的缓冲器(4)的视频包调度的控制器(32),所述视频包流向设有视频解码器(72)的接收器(7),对所述控制器进行编程用于对控制所述接入点(11)中的所述缓冲器(4)的状态和所述代理(3)中的所述后编码器缓冲器(31)的状态的最优化问题进行求解。
6.根据权利要求5所述的控制器,其中,没有反馈消息从所述接收器(7)的所述视频解码器(72)传递到所述控制器(32)。
7.根据权利要求5或6所述的控制器,其中,所述最优化问题在离散时间马尔科夫决策过程的框架中制定。
8.根据权利要求7所述的控制器,其中,所述马尔科夫决策过程系统的回报函数如下:
R t ( s t , s t + 1 , a t ) = E [ Σ l = 1 L γ l a l , t + Σ l = 1 L α l ρ 1 ( S l , t + 1 B , a l , t ) + β ρ 2 ( S t + 1 m , a l , t ) ]
E[.]表示期望函数,正参数γll和βl随l=1...L权衡与接入点(11)中的缓冲器(4)和代理(3)中的后编码器缓冲器(31)有关的各种约束的重要性。
9.一种包括存储在计算机和/或专用系统的存储器上的指令的计算机程序,其中,所述计算机程序适合于执行在前述权利要求1至4中所要求保护的所述方法。
CN201280006875.1A 2011-01-31 2012-01-04 用于多媒体流的视频包调度方法 Expired - Fee Related CN103339912B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11290068.3A EP2485441B1 (en) 2011-01-31 2011-01-31 A video packet scheduling method for multimedia streaming
EP11290068.3 2011-01-31
PCT/EP2012/050084 WO2012104108A1 (en) 2011-01-31 2012-01-04 A video packet scheduling method for multimedia streaming

Publications (2)

Publication Number Publication Date
CN103339912A true CN103339912A (zh) 2013-10-02
CN103339912B CN103339912B (zh) 2015-11-25

Family

ID=43899596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280006875.1A Expired - Fee Related CN103339912B (zh) 2011-01-31 2012-01-04 用于多媒体流的视频包调度方法

Country Status (6)

Country Link
US (1) US20140115100A1 (zh)
EP (1) EP2485441B1 (zh)
JP (1) JP5676781B2 (zh)
KR (1) KR101482484B1 (zh)
CN (1) CN103339912B (zh)
WO (1) WO2012104108A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2908850C (en) 2013-04-08 2018-03-27 Arris Technology, Inc. Individual buffer management in video coding
CA3083172C (en) 2014-05-21 2022-01-25 Arris Enterprises Llc Individual buffer management in transport of scalable video
US10205949B2 (en) 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
US10171532B2 (en) * 2014-09-30 2019-01-01 Citrix Systems, Inc. Methods and systems for detection and classification of multimedia content in secured transactions
US20160142510A1 (en) * 2014-11-14 2016-05-19 Futurewei Technologies, Inc. Cache-aware content-based rate adaptation mechanism for adaptive video streaming
US10839302B2 (en) 2015-11-24 2020-11-17 The Research Foundation For The State University Of New York Approximate value iteration with complex returns by bounding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002025951A2 (en) * 2000-09-20 2002-03-28 General Instrument Corporation Method and apparatus for determining a transmission bit rate in a statistical multiplexer
US20020094031A1 (en) * 1998-05-29 2002-07-18 International Business Machines Corporation Distributed control strategy for dynamically encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel
US20060095943A1 (en) * 2004-10-30 2006-05-04 Demircin Mehmet U Packet scheduling for video transmission with sender queue control
CN101674482A (zh) * 2009-09-25 2010-03-17 上海大学 部分可观测马尔可夫决策过程中可伸缩视频流的优化调度方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100592547B1 (ko) * 2003-06-03 2006-06-23 서울시립대학교 산학협력단 스트리밍을 위한 패킷 스케줄링 방법
US7719978B2 (en) * 2003-09-12 2010-05-18 Newsouth Innovations Pty Limited Method for transmitting data over lossy packet-based communication networks
US20070153891A1 (en) * 2003-11-13 2007-07-05 Koninklijke Philips Electronics N.V. Method and apparatus for smoothing overall quality of video transported over a wireless medium
US20070276954A1 (en) * 2006-05-19 2007-11-29 Hong Kong University Of Science And Technology Low-Delay High Quality Video Streaming Using TCP
EP2383999A1 (en) * 2010-04-29 2011-11-02 Irdeto B.V. Controlling an adaptive streaming of digital content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020094031A1 (en) * 1998-05-29 2002-07-18 International Business Machines Corporation Distributed control strategy for dynamically encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel
WO2002025951A2 (en) * 2000-09-20 2002-03-28 General Instrument Corporation Method and apparatus for determining a transmission bit rate in a statistical multiplexer
US20060095943A1 (en) * 2004-10-30 2006-05-04 Demircin Mehmet U Packet scheduling for video transmission with sender queue control
CN101674482A (zh) * 2009-09-25 2010-03-17 上海大学 部分可观测马尔可夫决策过程中可伸缩视频流的优化调度方法

Also Published As

Publication number Publication date
JP5676781B2 (ja) 2015-02-25
CN103339912B (zh) 2015-11-25
EP2485441A1 (en) 2012-08-08
JP2014510438A (ja) 2014-04-24
WO2012104108A1 (en) 2012-08-09
KR101482484B1 (ko) 2015-01-14
KR20130121970A (ko) 2013-11-06
US20140115100A1 (en) 2014-04-24
EP2485441B1 (en) 2014-10-08

Similar Documents

Publication Publication Date Title
Wu et al. Improving multipath video transmission with raptor codes in heterogeneous wireless networks
CN111615006B (zh) 基于网络状态自评估的视频编码转换传输控制系统
US7652993B2 (en) Multi-stream pro-active rate adaptation for robust video transmission
CN103262630B (zh) 多媒体已知无线电和网络自适应的信令技术
US8830896B2 (en) Packet relay method and device
CN102811367A (zh) 基于预测的无线信道状态的自适应视频编码
CN103339912B (zh) 用于多媒体流的视频包调度方法
Lin et al. An access point-based FEC mechanism for video transmission over wireless LANs
KR100924309B1 (ko) 시간확장성과 버퍼상태판단을 통한 품질 적응적 멀티미디어 데이터 스트리밍 방법 및 시스템
US8352992B1 (en) Wireless media streaming
Zhang et al. Network-adaptive rate control with TCP-friendly protocol for multiple video objects
CN113891172B (zh) 一种适于无线Mesh网络的基于RTT的自适应码率控制方法
Zhai et al. Joint source coding and packet classification for real-time video transmission over differentiated services networks
US20050063314A1 (en) Method and system for content aware and energy efficient transmission of videos and images
Miguel et al. Distribution of high-definition video in 802.11 wireless home networks
Changuel et al. Online learning for QoE-based video streaming to mobile receivers
Kalman et al. Techniques for improved rate-distortion optimized video streaming
Changuel et al. Adaptive scalable layer filtering process for video scheduling over wireless networks based on MAC buffer management
Tizon et al. Scalable and media aware adaptive video streaming over wireless networks
Chan et al. Wireless video broadcasting to diverse users
Combernoux et al. Cross-layer optimization of a multimedia streaming system via dynamic programming
Ji et al. Stochastic rate control for scalable VBR video streaming over wireless networks
Ghimire et al. Enhanced the Quality of telemedicine Real-Time Video Transmission and Distortion Minimization in Wireless Network
Zhu et al. QoS-aware multicast for internet video applications
Changuel et al. Class-Based MDP for improved multimedia transmission over LTE

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20200104

CF01 Termination of patent right due to non-payment of annual fee