CN101849378A - 用于流传输可缩放多媒体数据流的方法和装置 - Google Patents

用于流传输可缩放多媒体数据流的方法和装置 Download PDF

Info

Publication number
CN101849378A
CN101849378A CN200780101374A CN200780101374A CN101849378A CN 101849378 A CN101849378 A CN 101849378A CN 200780101374 A CN200780101374 A CN 200780101374A CN 200780101374 A CN200780101374 A CN 200780101374A CN 101849378 A CN101849378 A CN 101849378A
Authority
CN
China
Prior art keywords
layer
index
parts
resource
send
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200780101374A
Other languages
English (en)
Other versions
CN101849378B (zh
Inventor
吴镇宇
刘正晔
艾伦·J·斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101849378A publication Critical patent/CN101849378A/zh
Application granted granted Critical
Publication of CN101849378B publication Critical patent/CN101849378B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/1887—Scheduling and prioritising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6583—Acknowledgement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1812—Hybrid protocols; Hybrid automatic repeat request [HARQ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L2001/0092—Error control systems characterised by the topology of the transmission link
    • H04L2001/0093—Point-to-multipoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

描述了一种方法和装置，其包括接收与层相关联的内容的编码分组；接收关于信道状况的反馈信息；以及应用混合自动重复请求以基于所述反馈信息而递送所述分组。其中应用按层的混合自动重复请求的方法和装置进一步包括：确定资源是否被耗尽；如果资源未被耗尽，则调度用于层的层编码内容分组的递送；确定是否已经发送用于层的全部层编码内容分组；如果未发送用于层的全部层编码内容分组，则前进至所述第一确定步骤；确定是否已经从用户设备接收到确认消息；如果未接收到确认消息，则确定资源是否被耗尽；以及如果资源未被耗尽，则调度层编码前向纠错分组的递送。

Description

用于流传输可缩放多媒体数据流的方法和装置
技术领域
本发明涉及流传输可缩放多媒体数据流，并且具体地涉及在损耗网络上在单播和多播环境二者中流传输多媒体数据流。
背景技术
多媒体流应用典型地在由有线或无线网络提供的实时业务中。诸如多媒体流之类的实时业务的特征在于延迟约束。通常客户端抛弃较晚抵达客户端的多媒体流数据(业务数据)。多媒体流数据典型地具有与数据相关联的期限，这是因为它被在客户端设备处向用户显示。由于诸如网络中的拥塞或信道损坏之类的原因，不能总保证向客户端及时地和正确地递送多媒体流数据。因此，在客户端处，在回放期间可能存在多媒体数据遗失。
由于多媒体数据的大容量，多媒体流应用经常需要大的网络带宽。对于那些带宽受约束的网络来说，经常在这样的应用上施加数据传输率限制。这里，带宽、数据传输率和网络传输率全部被可互换地使用。带宽典型地以赫兹来测量，但在数字通信中，频繁地以比特每秒(bps)来指定带宽，所述比特每秒实际上是传输率。同时，可用于上层应用(例如文件下载和网络浏览)的网络带宽可能取决于诸如网络拥塞、物理层信道断线(outage)等之类的因素而随时间改变。在可用网络带宽小于由多媒体流应用请求的量时，为了减少数据率，流服务器可能被强迫根据一些数据抛弃策略来抛弃多媒体数据。上述原因中的任何原因都可以导致在客户端处发生数据损失，这可能对客户端回放质量产生负面影响。
因此，具有当延迟和/或带宽受约束的多媒体流应用正在损耗网络上递送多媒体数据时改善多媒体回放质量的方法和装置是有利的。如这里所使用的那样，“/”表示用于相同或相似动作或组件的替代名称。
发明内容
多媒体流传输应用经常具有严格的延迟和带宽约束。本发明描述了一种用于使服务器通过提供反馈信道的损耗网络向客户端流传输被可缩放编解码器压缩的多媒体内容。利用本发明，可以改善客户端侧的多媒体回放质量。
描述了一种方法和装置，其包括接收与层相关联的内容的编码分组；接收关于信道状况的反馈信息；以及应用混合自动重复请求以基于所述反馈信息而递送所述分组。其中应用按层的(layer-wise)混合自动重复请求的方法和装置进一步包括：确定资源是否被耗尽；如果资源未被耗尽，则调度用于层的层编码内容分组的递送；确定是否已经发送用于层的全部层编码内容分组；如果尚未发送用于层的全部层编码内容分组，则前进至第一确定步骤；确定是否已经从用户设备接收到确认消息；如果未接收到确认，则确定资源是否被耗尽；以及如果资源未被耗尽，则调度层编码前向纠错分组的递送。
附图说明
在结合附图而阅读以下具体实施方式时，最好地从以下具体实施方式理解本发明。所述附图包括在下面简要描述的以下附图：
图1为在其中本发明以单播而操作的环境的概览。
图2A和2B放在一起为本发明的操作的流程图。
图3为根据本发明的原理的分组调度器的框图。
图4为示例的时间可缩放性编码结构。
图5为在其中本发明以多播而操作的环境的概览。
图6为根据本发明的原理的分组调度器的框图。
具体实施方式
实时多媒体业务需要高的数据可靠性和低的有界(bounded)时间延迟。但是，在其上提供这样的业务的许多网络易于发生错误并且带宽受限。因而，需要恰当的错误控制技术以获得可接受的业务质量。
如这里所使用的那样，“客户端”包括任何用户设备、端设备、移动终端、计算机、处理器、膝上计算机、个人数字助理、双模移动电话、机顶盒或可以用于显示或回放包括音频、视频和多媒体内容的内容的任何其他设备。如这里所使用的那样，源或业务数据包括任何形式的未压缩/压缩内容，包括音频、视频和多媒体数据。
前向纠错(FEC)编码是普遍使用的用以改善损耗网络的吞吐率的错误控制技术。FEC向业务数据添加受控的冗余，并且也在网络上将冗余数据(这里也被称作FEC数据)发送至客户端。每当存在数据损失时，客户端可以利用由FEC数据提供的冗余来检测和恢复损失。但是，为了有效地恢复数据损失，需要根据网络损耗状况来调节FEC的量。但由于许多网络信道(例如无线网络)的时间变化的特性，难以得到这样准确的信息。因此，对于这样的网络来说，不足地提供FEC可以导致FEC失效，而过量地提供FEC可以不必要地降低网络吞吐率，这两种情况都可以导致多媒体回放质量降低。
重发送是在网络提供反馈信道并且客户端能够生成反馈信息时的另一普遍用于损耗网络的技术。为重发送而设计的典型的协议如下工作。在发送器侧，当在网络上发送业务数据时，服务器等待来自客户端而通过网络反馈信道的确认(ACK)。在接收器侧，只在客户端正确地接收全部数据时才由客户端发送ACK。在特定时间段(被称作超时时段)之后，如果服务器未接收到ACK，则它假定数据丢失，并且向客户端再次发送相同的数据。该过程重复，直至服务器接收到来自客户端的对该数据的ACK，并且然后在存在后面的数据的情况下对于后面的数据开始相同的过程。重发送方法通常只再次发送在发送期间丢失的数据，所以它是带宽高效的。但是，服务器必须等待ACK以继续行动，这通常引入对实时多媒体业务来说不合适的长的延迟。并且该方法不能很好地缩放。在客户端的数目大时，ACK的数目将无界限地增长，并且因而可以严重地影响吞吐率。无界限的ACK的问题被称作ACK爆炸(explosion)问题。
第三方法为混合自动重复-请求(ARQ)，其将重发送和FEC二者的益处组合。利用混合ARQ，在发送器侧，服务器向客户端首先发出用户数据，然后发出FEC数据。在该过程期间，在客户端已经接收到全部用户数据或对恢复损失来说足够的FEC数据时，客户端通过由网络提供的反馈信道向服务器发回ACK。一旦服务器接收到ACK，它即停止发送任何更多的数据。因为可以通过ACK根据当前网络状况恰当地调节向客户端发送的FEC数据的量，所以混合ARQ能够维持高带宽效率。但是，在网络经历过多损耗时，服务器可能在它可以接收到ACK之前必须发送大量FEC数据。在FEC数据的量超过数据传输率限制、或FEC递送的持续时间超过延迟约束时，利用混合ARQ方法仍可能发生内容数据损失，这可能降低多媒体回放质量。
可缩放源编码器压缩源内容并且生成可缩放编码比特流，以使得可以按如下方式去除比特流的部分：生成的子比特流形成对给定的解码器来说的另一有效比特流，所述另一有效比特流代表具有与原始比特流相比的降低的重构质量的源内容。存在许多可缩放源编码器，例如用于视频编码的H.264/AVC(时间可缩放性)、SVC(时间、SNR和空间可缩放性)，以及用于图像编码的JPEG2000、SPIHT等。
由前述源编码器生成的可缩放源比特流可以被划分为数个层。第一层包含源的代表，并且是可独立解码的。每个随后的层包含关于源的附加信息，并且必须依赖全部之前的层以进行正确的解码。因此，一般来说，在可缩放比特流的全部层中，第一层在重构原始源方面具有最高的重要性，并且其他层的重要性随着其层索引增加而减少。
以下考虑在具有反馈信道的损耗网络上向客户端单播可缩放比特流的多媒体流应用。该应用具有以下将描述的数据率传输率以及延迟约束。
假定由可缩放源编码器将多媒体内容编码为M个层(M∈N)，以使得层m的重要性随m增加而减少(1≤m≤M，m∈N)。进一步假定来自源层m的比特流被分组化为Km个源分组以进行网络递送。另外，使用诸如Reed-Solomon(RS)码之类的特定FEC码为层m编码Lm个FEC分组。具体地，假定Lm足够大以恢复层m的可能数据损失，而无任何数据传输率或延迟约束。以下，“数据分组”一般地包括源和FEC分组二者。
在计算机网络中并且如这里所使用的那样，带宽经常用于指示数据传输率，并且因而经常被表示为比特每秒。在大多数网络中，通信通道包括沿该通道的各个节点之间的一系列链路。通道的带宽受限于任意两个链路之间的最低带宽。
设B为被分配至该应用的网络传输比特率(以bps为单位)，并且设T为其间该应用被允许发送数据的时隙的持续时间(以秒为单位)。对于每个时隙，BT等于为该应用分配的总比特预算(budget)(在给定时隙中在链路上发送或可以在链路上发送的总比特数目)，并且[d1，d2]递增地表示其中的视频数据的回放期限。
本发明将混合ARQ方法与可缩放源编码属性组合以进行多媒体数据流传输。在其间服务器被允许发送数据的每个时隙的开始，服务器获得关于可缩放比特流的每个层的分组的数目的信息，所述可缩放比特流具有落入[d1，d2]的回放期限。这样的信息通常可以在编码/存储内容数据的内容服务器处获得。网络服务器从内容服务器请求并接收这样的信息。网络服务器然后通过诸如专用信息分组、或通过来自之前的时隙的分组递送的附属(side)信息(例如在分组报头中)之类的手段，向客户端通知该信息。
在发送器侧，一旦向网络服务器保证了客户端对关于层中的源分组的数目的信息的接收，网络服务器即开始发送属于该时隙的数据分组。具体地，网络服务器首先发送来自具有最低层索引(最高优先级)的层的数据分组，并且然后前进至具有递增的更高的层索引的下一层。在每层内，首先发送源分组，随后发送FEC分组。
在接收器侧，客户端接收用于层的数据分组，并且持续地检查它是否已接收到用于该层的全部源分组，或它是否可以使用所接收的FEC分组来恢复任何遗失的源分组。这是可能的，因为客户端知晓它在该时隙中期望的用于每层的源分组的确切数目。一旦对于当前层全部源分组可用，它即通过反馈信道向服务器发送ACK。客户端对于它接收的用于当前层的每个数据分组重复以上过程。
在发送期间，对于服务器可能发生以下三种事件中的一种：
1.来自客户端的ACK抵达。
2.用于时隙的比特预算BT耗尽。
3.对于该时隙已经经过持续时间T。
事件1指示客户端已经接收或能够恢复来自层m的全部视频分组。响应于该事件，服务器停止发送用于层m的数据分组，并且(在m+1≤M时)进而发送来自层m+1的数据分组。在当前层为最高的可用的层的情况中，服务器简单地保持空闲并且等待下一时隙。在事件2或3发生时，它指示该应用已经达到了其数据传输率限制。然后服务器必须等待下一时隙并且重复以上操作。
可以将本发明进一步扩展至向客户端组多播多媒体数据。对于每个层m，在组中的每个客户端已经接收到或能够恢复源层时，每次只向服务器发送回一个ACK。在一个实施例中，在有线/无线网络中存在多个种类的客户端/接收器/用户设备。客户端组被基于它们的信道损耗状况而分类/集簇。因此客户端所属的多播组可能由于单个客户端的信道状况的改变而随时间改变。即，单个客户端可能基于其信道状况而随时间加入或离开一个或更多组。在这样的情况下，组中的客户端在它们之间通信，并且可以在最不能够接收/恢复内容层的单个客户端已经接收/恢复内容层时，对于组发送对应于该内容层的单个ACK。在对重发送的请求的情况中，具有最多需要重发送的分组的单个客户端进行该请求。即，在上述全部情况中，具有最多需要/最差状况的单个客户端是客户端组中唯一对每个内容层进行响应的客户端。这通过使用反馈抑制来处理了ACK爆炸问题。
给定带宽或延迟约束，本发明分配剩余的资源以保证当前源层的正确的递送，从具有最高重要性的数据开始，到具有最低重要性的数据。对于多媒体数据的每个成功递送的层来说，因为混合ARQ的使用，本发明可以对于损耗网络维持高带宽效率。在属于时隙的全部多媒体数据被递送到客户端之前耗尽了给定的资源的情况中，本发明通过利用源比特流的可缩放性属性来保证最小性能损失。因此，本发明可以提供根据网络损耗状况的灵活的比特率适配，并且提供在客户端处的改善的多媒体回放质量。
图1为在其中本发明以单播而操作的环境的概览。服务器105调度用于在损耗网络110上发送至客户端/用户设备的内容。如将在图3中所示的那样，服务器105可以包括两个服务器——内容服务器和网络服务器。网络提供反馈信道以向服务器105通知用户设备/客户端115a、115b接收到所发送的内容、或用户设备接收到对于恢复编码内容的当前层来说足够的分组(内容和FEC)。
图2A和2B放在一起为本发明的分组调度器的操作的流程图。在本发明的该实施例中，以单播向多个客户端/用户设备/接收器发送/分派分组。在205处，分组调度器(图3中所示)接收来自内容服务器(图3中所示)的层编码分组(内容和FEC)。分组调度器还在210处在来自网络服务器(图3中所示)的反馈信道上接收来自客户端/用户设备的反馈。然后分组调度器在步骤215处初始化时隙索引。在220处，分组调度器初始化编码数据层索引。在225处执行测试以确定对于该时隙是否已经耗尽了任何资源。即进行以下确定：确定用于该时隙的比特预算或用于分组递送的期限是否过期。如果已经耗尽了任意资源，那么在260处递增时隙索引。如果未耗尽任何资源，则在230处，分组调度器指令/调度网络服务器发送/分派属于当前编码数据层的下一内容分组。在235处，执行测试以确定是否已经发送/分派了属于当前层的全部内容分组。如果尚未分派属于当前层的全部内容分组，则过程前进至225。如果已经分派/发送了属于当前层的全部内容分组，则在240处执行测试以确定是否已从客户端接收到ACK。如果未从客户端接收到ACK，则在265处执行测试以确定当前层索引是否是最高层索引。如果当前层不是最高层，则过程前进至255，其中分组调度器递增编码数据层索引。然后过程前进至225。如果当前层索引是最高层索引，则在260处递增时隙。如果未从客户端接收到ACK，则在245处执行测试，以确定对于该时隙是否已经耗尽了任何资源。即进行以下确定：确定用于该时隙的比特预算或用于分组递送的期限是否过期。如果已经耗尽了任意资源，则在260处递增时隙索引。如果未耗尽资源，则在250处分组调度器指令/调度网络服务器发送/分派FEC分组。
图3为根据本发明的原理的服务器的框图。图1中所示的服务器105可以被实施为内容服务器305a和网络服务器305b。内容服务器305a负责向网络服务器305b提供层编码视频比特流，以及向分组调度器模块310提供源信息。分组调度器模块从内容服务器接收层编码分组，并且经由网络服务器305b接收来自用户设备/客户端的反馈。如以上参考图2A和2B所讨论的那样，分组调度器模块310向网络服务器305b转发分组调度信息。可以以硬件或软件、或以其组合来实施分组调度器模块310。网络服务器305b通过下行链路信道320向损耗网络315以及在损耗网络315上发送分组(内容和FEC)。损耗网络通过下行链路信道330向客户端/用户设备340发送分组(内容和FEC)。如这里所使用的并且尤其是在多播环境中，客户端/用户设备340可以是多个种类的客户端/接收器/用户设备。损耗网络315通过反馈信道335从客户端/接收器/用户设备接收反馈，损耗网络315将所述反馈通过反馈信道325转发至网络服务器305b。图3示出了单个客户端/用户设备/接收器。在实践中，假定存在多个客户端。但是，图3的要点为：本发明的该实施例是到多个客户端的单播。还应当注意，分组调度器的功能可以如所示的独自在模块(软件或硬件)中，或该功能可以在内容服务器305a和网络服务器305b之间分割、或可以将全部三个单元(内容服务器305a、网络服务器305b和分组调度器310)组合在单个设备中。
图4为使用H.264主规格(main profile)来执行编码的示例时间可缩放性编码结构。H.264是若干可能的编码方案中的一个。图4中的画面集合被称作“画面组”或GOP，所述画面组可以被划分为基层(BL)和多个增强层(EL)。图4示出了沿时间方向的3个EL。BL包括瞬时解码器刷新(IDR)和P/B类型的片(slice)。EL包括分别被表示为Bs和B的、参考和非参考B类型(什么是B类型？)的片。图4中的箭头指示在编码期间的参考依赖性。参考依赖性形成层级运动预测结构。从图4中可以看到，BL是可独立解码的，而EL-n必须依赖于BL和EL-m(其中m＜n)以进行正确的解码。进一步地，因为该预测依赖性，来自EL-m的遗失的画面仅影响来自诸如EL-n的较高层的画面。但是，来自BL的丢失的画面可以影响全部后面的画面，直至接收到下一IDR。结果，在这样的编码结构中，BL通常是最重要的(并且因而是具有最低索引的层)，随后是按照重要性的降序的EL-1、EL-2和EL-3。这样的编码结构满足层内容编码。特别注意到，层混合ARQ还可以与其他内容编码可缩放性维度一同工作。
图5是在其中本发明以多播操作的环境的概览。服务器105和损耗网络110如同上面参考图1所描述的那样。多播组1505是基于它们的信道状况加入了多播组1的一类客户端/用户设备/接收器，其中信道状况经常是与源的距离的函数。多播组2510是基于它们的信道状况加入了多播组2的另一类客户端/用户设备/接收器。在该环境中可以存在附加的多播组。
图6为根据本发明的原理的分组调度器的框图。在本发明的该实施例中，根据本发明的原理的从单播到多播的扩展的描述，分组调度器为客户端组而非单独的客户端执行调度。305a、305b、310-335如同上面参考图3所描述的那样。多播客户端组605a、605b和605c每个可以具有单个客户端或多个客户端。
应当理解，可以以多种形式的硬件、软件、固件、特殊用途处理器或其组合来实施本发明。优选地，作为硬件和软件的组合来实施本发明。此外，优选地将该软件作为在程序存储设备上被实体地具体化的应用程序来实施。该应用程序可以被上载至包括任何合适的架构的机器，并且由所述包括任何合适的架构的机器执行。优选地，在具有诸如一个或更多的中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入输入(“I/O”)接口的硬件的计算机平台上实施该机器。该计算机平台还可以包括操作系统和微指令码。在这里所描述的各种过程和功能可以是经由操作系统执行的微指令码的部分或应用程序的部分(或其组合)。另外，诸如附加数据存储设备和打印设备之类的各种其他周边设备可以与该计算机平台连接。
还应当理解，因为优选地以软件来实施在附图中所描绘的系统构成组件和方法步骤中的一些，所以取决于本发明被编排的方式，系统组件(或过程步骤)之间的实际连接可以是不同的。给定这里的教学，相关领域普通技术人员将能够想到本发明的这些和相似的实施方案或配置。

Claims (18)

1.一种方法，所述方法包括：
接收与层相关联的内容的编码分组；
接收关于信道状况的反馈信息；以及
应用混合自动重复请求以基于所述反馈信息而递送所述分组。
2.根据权利要求1所述的方法，其中应用按层的混合自动重复请求进一步包括：
确定资源是否被耗尽；
如果所述资源未被耗尽，则调度用于层的层编码内容分组的递送；
确定是否已经发送用于所述层的全部层编码内容分组；
如果尚未发送用于层的全部层编码内容分组，则前进至所述第一确定步骤；
确定是否已经从用户设备接收到确认消息；
如果未接收到确认，则确定所述资源是否被耗尽；以及
如果所述资源未被耗尽，则调度层编码前向纠错分组的递送。
3.根据权利要求2所述的方法，其进一步包括：
初始化时隙索引；以及
初始化层索引。
4.根据权利要求3所述的方法，其进一步包括：
如果所述层索引为最高层索引，则递增所述时隙索引；以及
重新初始化所述层索引。
5.根据权利要求3所述的方法，进一步包括：如果所述层索引不是最高层索引，则递增所述层索引。
6.根据权利要求2所述的方法，其中所述资源是带宽受约束的。
7.根据权利要求2所述的方法，其中所述资源是发送时间。
8.根据权利要求2所述的方法，其中所述层编码分组由可缩放编码器生成。
9.根据权利要求2所述的方法，其中所述层编码分组按照由所述层索引指示的所述层编码分组的重要性的顺序而被调度以进行递送，另外，其中所述层索引按照重要性的降序而增加。
10.一种装置，其包括：
用于接收与层相关联的内容的编码分组的部件；
用于接收关于信道状况的反馈信息的部件；以及
用于应用混合自动重复请求以基于所述反馈信息而递送所述分组的部件。
11.根据权利要求10所述的装置，其中所述用于应用按层的混合自动重复请求的部件进一步包括：
用于确定资源是否被耗尽的部件；
用于在所述资源未被耗尽的情况下调度用于层的层编码内容分组的递送的部件；
用于确定是否已经发送用于所述层的全部层编码内容分组的部件；
用于在尚未发送用于层的全部层编码内容分组的情况下前进至所述第一确定步骤的部件；
用于确定是否已经从用户设备接收到确认消息的部件；
用于在未接收到确认的情况下确定所述资源是否被耗尽的部件；以及
用于在所述资源未被耗尽的情况下调度层编码前向纠错分组的递送的部件。
12.根据权利要求11所述的装置，其进一步包括：
用于初始化时隙索引的部件；以及
用于初始化层索引的部件。
13.根据权利要求12所述的装置，其进一步包括：
用于在所述层索引为最高层索引的情况下递增所述时隙索引的部件；以及
用于重新初始化所述层索引的部件。
14.根据权利要求12所述的装置，其进一步包括用于在所述层索引不是最高层索引的情况下递增所述层索引的部件。
15.根据权利要求11所述的装置，其中所述资源是带宽受约束的。
16.根据权利要求11所述的装置，其中所述资源是发送时间。
17.根据权利要求11所述的装置，其中所述层编码分组由可缩放编码器生成。
18.根据权利要求11所述的装置，其中所述层编码分组按照由所述层索引指示的所述层编码分组的重要性的顺序而被调度以进行递送，另外，其中所述层索引按照重要性的降序而增加。
CN2007801013740A 2007-11-01 2007-11-01 用于流传输可缩放多媒体数据流的方法和装置 Expired - Fee Related CN101849378B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2007/023079 WO2009058118A1 (en) 2007-11-01 2007-11-01 A method and apparatus for streaming scalable multimedia data streams

Publications (2)

Publication Number Publication Date
CN101849378A true CN101849378A (zh) 2010-09-29
CN101849378B CN101849378B (zh) 2013-05-08

Family

ID=39739323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007801013740A Expired - Fee Related CN101849378B (zh) 2007-11-01 2007-11-01 用于流传输可缩放多媒体数据流的方法和装置

Country Status (8)

Country Link
US (1) US8395990B2 (zh)
EP (1) EP2206270B1 (zh)
JP (1) JP5562861B2 (zh)
KR (1) KR101389908B1 (zh)
CN (1) CN101849378B (zh)
BR (1) BRPI0722144A2 (zh)
TW (1) TWI390887B (zh)
WO (1) WO2009058118A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358690B2 (en) 2006-12-13 2013-01-22 Viasat, Inc. Predictive adaptive coding and modulation
US7961665B2 (en) 2006-12-13 2011-06-14 Viasat, Inc. Terminal aware multicasting
US8395993B2 (en) 2006-12-13 2013-03-12 Viasat, Inc. Video and data network load balancing with video placeholder
US8411572B2 (en) 2006-12-13 2013-04-02 Viasat, Inc. ACM and fixed coding and modulation of hierarchical layers
US8456986B2 (en) 2006-12-13 2013-06-04 Viasat, Inc. Video and data network load balancing
US8411571B2 (en) 2006-12-13 2013-04-02 Viasat, Inc. Video and data network load balancing with video drop
US8576858B2 (en) 2006-12-13 2013-11-05 Viasat, Inc. Multiple transmission paths for hierarchical layers
US20090041100A1 (en) 2006-12-13 2009-02-12 Viasat, Inc. Link aware mobile data network
US7944872B2 (en) 2006-12-13 2011-05-17 Viasat, Inc. Adaptive coding and modulation aware network load balancing
CN101729228B (zh) * 2008-10-31 2014-04-16 华为技术有限公司 丢包抑制重传的方法、网络节点和系统
KR101196452B1 (ko) * 2010-06-18 2012-11-01 동국대학교 산학협력단 비트스트림 전송 장치 및 방법
TWI411321B (zh) * 2010-10-18 2013-10-01 Univ Nat Pingtung Sci & Tech 多媒體串流傳輸之排程控制方法
US10602523B2 (en) * 2016-12-22 2020-03-24 Verizon Patent And Licensing Inc. Allocation of network resources based on antenna information and/or device type information
CN108803958B (zh) * 2017-04-26 2022-12-16 腾讯科技（深圳）有限公司 文件载入控制、云存储应用中实现上传的交互方法和装置
EP4262218A4 (en) * 2020-12-29 2024-01-24 Huawei Tech Co Ltd METHOD AND DEVICE FOR PROJECTING A WIRELESS SCREEN

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1452825A (zh) * 2000-11-17 2003-10-29 皇家菲利浦电子有限公司 利用各种传输方案在多种网络上有效传递数据的系统和方法
CN1547835A (zh) * 2001-08-24 2004-11-17 无线电通信系统中传输数据的方法
US20050120038A1 (en) * 2002-03-27 2005-06-02 Jebb Timothy R. Data structure for data streaming system
CN1917639A (zh) * 2006-09-01 2007-02-21 北京天地互连信息技术有限公司 使用丢包重传的视频信号增强方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01276939A (ja) * 1988-04-28 1989-11-07 Toshiba Corp ローカルエリアネットワークにおけるパケット送受信方式
US6999432B2 (en) * 2000-07-13 2006-02-14 Microsoft Corporation Channel and quality of service adaptation for multimedia over wireless networks
AU2002214647A1 (en) 2000-10-13 2002-04-22 Astrolink International, Llc A distributed asynchronous transfer mode (atm) switch architecture for satellites
US7095729B2 (en) * 2000-12-22 2006-08-22 Intel Corporation Method for multimedia communication over packet channels
US20040071083A1 (en) 2002-02-22 2004-04-15 Koninklijke Philips Electronics N.V. Method for streaming fine granular scalability coded video over an IP network
EP2393250A1 (en) * 2002-12-04 2011-12-07 Interdigital Technology Corporation Reliability detection of channel quality indicator (CQI) and application to outer loop power control
US8737219B2 (en) 2004-01-30 2014-05-27 Hewlett-Packard Development Company, L.P. Methods and systems that use information about data packets to determine an order for sending the data packets
EP1736004A1 (en) 2004-04-06 2006-12-27 Koninklijke Philips Electronics N.V. Device and method for receiving video data
JP2006033507A (ja) * 2004-07-16 2006-02-02 Sony Corp 遠隔編集システム、主編集装置、遠隔編集装置、編集方法、編集プログラム、及び記憶媒体
US8112075B2 (en) * 2006-03-24 2012-02-07 Nokia Corporation HARQ-aware CQI reporting
KR100940730B1 (ko) * 2007-09-07 2010-02-04 엘지전자 주식회사 무선통신 시스템에서 기준 신호 생성 방법
US20090109912A1 (en) * 2007-10-25 2009-04-30 Interdigital Patent Holdings, Inc. Method and apparatus for pre-allocation of uplink channel resources

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1452825A (zh) * 2000-11-17 2003-10-29 皇家菲利浦电子有限公司 利用各种传输方案在多种网络上有效传递数据的系统和方法
CN1547835A (zh) * 2001-08-24 2004-11-17 无线电通信系统中传输数据的方法
US20050120038A1 (en) * 2002-03-27 2005-06-02 Jebb Timothy R. Data structure for data streaming system
CN1917639A (zh) * 2006-09-01 2007-02-21 北京天地互连信息技术有限公司 使用丢包重传的视频信号增强方法

Also Published As

Publication number Publication date
EP2206270A1 (en) 2010-07-14
US20100246390A1 (en) 2010-09-30
WO2009058118A1 (en) 2009-05-07
JP2011503966A (ja) 2011-01-27
KR101389908B1 (ko) 2014-04-29
EP2206270B1 (en) 2018-01-10
CN101849378B (zh) 2013-05-08
JP5562861B2 (ja) 2014-07-30
TWI390887B (zh) 2013-03-21
US8395990B2 (en) 2013-03-12
KR20100074228A (ko) 2010-07-01
BRPI0722144A2 (pt) 2015-02-10
TW200937902A (en) 2009-09-01

Similar Documents

Publication Publication Date Title
CN101849378B (zh) 用于流传输可缩放多媒体数据流的方法和装置
Shan Cross-layer techniques for adaptive video streaming over wireless networks
CN100375538C (zh) 在分组信道上多媒体通信的方法
US9312989B2 (en) Importance-based FEC-aware error-repair scheduling
CN1248456C (zh) 传输控制参数产生方法及根据分组特性选择性重发的方法
CN100592670C (zh) 一种在iptv网络中动态自适应前向差错控制的系统及方法
EP2437421B1 (en) Method, device and communication system for retransmitting based on forward error correction
US20100296428A1 (en) A robust system and method for wireless data multicasting using superposition modulation
BRPI0621618A2 (pt) transferência de ligação entre células sem interrupção de sessões de difusão seletiva em redes sem fio baseadas em protocolo de internet usando difusão escalonada
CN1860766A (zh) 控制多个通信层的操作的设备和方法
CN1640076A (zh) 媒体流式传输分发系统
KR20070010193A (ko) 데이터 네트워크에서의 컨텐츠의 스케일러블 송신을 위한시스템
CN105340208A (zh) 用于多径流式传输的基于fec的可靠传输控制协议
CN1859579A (zh) 传输多媒体数据流的设备和方法
CN104871546B (zh) 具有应用层前向纠错的增强视频流送
CN102137436A (zh) 无线电通信装置、无线电通信方法、通信控制装置和程序
US20120170523A1 (en) Scalable video sender over multiple links
CN1754385B (zh) 图像数据分发装置、方法及图像数据接收方法
She et al. A framework of cross-layer superposition coded multicast for robust IPTV services over WiMAX
Vivekananda et al. Efficient video transmission technique using clustering and optimisation algorithms in MANETs
Nazir et al. Relay-assisted rateless layered multiple description video delivery
CN102546096A (zh) 一种基于不等错误保护的实时多播自适应优化方法
JP2007074413A (ja) コンテンツ配信装置およびコンテンツ受信装置、ならびにコンテンツ配信システム、コンピュータプログラム
CN1985467A (zh) 数据网络中用于多播和单播混合式传输的方法和装置
Yeow et al. On average packet delay bounds and loss rates of network-coded multicasts over wireless downlinks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190531

Address after: American Delaware

Patentee after: Interactive Digital VC Holding Company

Address before: I Si Eli Murli Nor, France

Patentee before: Thomson Licensing Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130508

Termination date: 20201101