CN101390399A - 可伸缩视频编码中的图片的后向兼容聚合 - Google Patents

可伸缩视频编码中的图片的后向兼容聚合 Download PDF

Info

Publication number
CN101390399A
CN101390399A CNA2007800067368A CN200780006736A CN101390399A CN 101390399 A CN101390399 A CN 101390399A CN A2007800067368 A CNA2007800067368 A CN A2007800067368A CN 200780006736 A CN200780006736 A CN 200780006736A CN 101390399 A CN101390399 A CN 101390399A
Authority
CN
China
Prior art keywords
access unit
primitive
nal unit
scalability information
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800067368A
Other languages
English (en)
Other versions
CN101390399B (zh
Inventor
M·安尼克塞拉
Y-K·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101390399A publication Critical patent/CN101390399A/zh
Application granted granted Critical
Publication of CN101390399B publication Critical patent/CN101390399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种针对SVC文件格式和RTP净荷格式的用于视频编码的间接聚合器NAL单元。本发明的间接聚合器NAL单元使得能够容易地识别比特流内的可伸缩性依赖关系，由此实现了快速和有效的流操作。此外，本发明的间接聚合器NAL单元确保了流的基层仍然能够利用H.264/AVC解码器、AVC文件格式解析器以及H.264/AVC RTP净荷解析器进行处理。

Description

可伸缩视频编码中的图片的后向兼容聚合
技术领域
本发明一般地涉及视频编码。更特别地，本发明涉及可伸缩视频的编码、存储和传送。
背景技术
本章节旨在提供权利要求中记载的发明的背景或上下文。此处的说明包括可以探索但是不一定是已经想到或探索出的概念。由此，除非本文中另有说明，本章节中描述的内容不是本申请的说明书和权利要求书的现有技术，并且不因为包括在本章节中而认为是现有技术。
可伸缩视频编码(SVC)提供可伸缩视频比特流。可伸缩视频比特流包含不可伸缩的基层和一个或多个增强层。增强层可以增强时间分辨率(即帧速率)、空间分辨率或者通过下层或其一部分所表示的视频内容的质量。可伸缩层可以聚合到单个实时传送协议(RTP)流或者独立地传送。
视频编码层(VCL)和网络抽象层(NAL)的概念继承自高级视频编码(AVC)。VLC包含编解码器的信号处理功能；诸如传送、量化、运动补偿预测、环路滤波、层间预测的机制。基层或增强层的编码图片包括一个或多个片段。NAL将VLC生成的每个片段封装进一个或多个NAL单元。
每个SVC层由NAL单元形成，NAL单元表示层的编码的视频比特。仅携带一个层的RTP流将携带仅属于该层的NAL单元。携带完整的可伸缩视频比特流的RTP流将携带基层和一个或多个增强层的NAL单元。SVC规定了这些NAL单元的解码顺序。
通过省略传送和解码全部增强层来缩放视觉内容质量的概念被表示为粗粒度可伸缩性(CGS)。
在某些情况中，可以通过截断来自各个NAL单元的比特来降低给定增强层的比特率。截断导致再生的增强层的视频质量的故障弱化。该概念称为细粒度(颗粒度)可伸缩性(FGS)。
根据H.264/AVC视频编码标准，存取单元包括一个基本编码图片。在某些系统中，对存取单元边界的检测可以通过在比特流中插入存取单元分隔符NAL单元来简化。在SVC中，存取单元可以包括多个基本编码图片，但是至多每一个图片有“依赖性标识符(dependency_id)”、“时间级别(temporal_level)”和“质量级别(quality_level)”的唯一组合。
可伸缩视频编码包括编码具有某个最小质量的“基层”，以及编码提高质量到最大级别的增强信息。SVC流的基层通常是与高级视频编码(AVC)一致的。换言之，AVC解码器能够解码SVC流的基层并且忽略SVC专用的数据。已经通过规定编码片段NAL单元类型实现了这个特征，该类型是SVC专用的，被保留用于在AVC中将来使用，并且根据AVC规范必须被跳过。
至少因为两个目的，识别SVC存取单元内的图片和它们的可伸缩性特性很重要。第一，对于服务器中或者网关中的压缩域流变细，该识别是重要的。由于需要处理大量的数据，这些元件必须尽可能快地识别可移除的图片。第二，对于以期望的质量和复杂度进行流回放，该识别很重要。接收器和播放器应该能够识别可伸缩流中它们不能识别或者不愿解码的那些图片。
能识别介质的网关或者RTP混频器(例如，其可能是多点会议控制单元、电路交换和分组交换视频电话之间的网关、基于蜂窝的一键通(PoC)服务器、数字视频广播-手持(DVB-H)系统中的IP封装器、或者将广播传输本地转发给归属地无线网络的机顶盒)的一个功能是根据主要的下行链路网络条件来控制转发流的比特率。期望能够控制转发数据速率而不需要广泛地处理输入数据，例如，通过简单地丢弃分组或者容易识别的分组部分。对于分层编码，网关应该丢弃不影响解码转发流的全部图片或者图片序列。H.264/AVC RTP净荷规范的交织分组模式允许实际地将任何存取单元的任何NAL单元封装进同一RTP净荷(称为聚合分组)。具体地，不需要将全部编码图片封装进一个RTP净荷，相反，编码图片的NAL单元可以分成多个RTP分组。
尽管这种分组聚合的自由性对于许多应用是受欢迎的，但是它也使得网关操作具有许多复杂性。首先，给定聚合分组，在解析该聚合分组中包含的每个NAL单元的报头之前不知道它的NAL单元属于哪些图片。由此，当对SVC应用了交织分组模式时，在解析分组中的每个NAL单元的报头之前，不知道包含的NAL单元属于哪些层。因此，在决定是否转发分组的任何、所有或某些NAL单元之前，网关必须解析每个NAL单元报头。第二，对于某些NAL单元，例如补充增强信息(SEI)和参数集NAL单元，在接收到同一存取单元的视频编码层(VCL)NAL单元之前，不可能识别它们属于哪个存取单元。由此，网关可能需要维护缓冲器和一些状态信息以解决非-VCL NAL单元到它们的关联图片的映射。
在常规视频编码标准中，图片报头用于分开编码图片。然而，在H.264/AVC标准中和在SVC中，在语法中不包括任何图片报头。另外，尽管解析器可能具有能力以解析流中的每个NAL单元的可伸缩性信息，但是这需要大一些的处理功率量，并且某些解析器可能不具有这种能力。
此外，先前在SVC文件格式验证模型2(MPEG文献M7586)中已经提议了聚合器NAL单元。在该系统中，聚合器NAL单元是一种容器，其净荷中包括关联的NAL单元。聚合器NAL单元具有在H.264/AVC和SVC规范中没有规定的类型，并且在H.264/AVC和SVC解码器中必须被忽略。然而，当根据H.264/AVC标准的基层图片被包括在聚合器NAL单元内时，其不再能利用H.264/AVC解码器进行解码，也不能利用H.264/AVC RTP解净荷器或者AVC文件格式解析器进行解析。
发明内容
本发明提供了一种针对SVC文件格式和RTP净荷格式的间接聚合器NAL单元。本发明的间接聚合器NAL单元使得能够容易地识别比特流内的可伸缩性依赖关系，由此实现了快速和有效的流操作。此外，本发明的间接聚合器NAL单元确保了流的基层仍然能够利用H.264/AVC解码器、AVC文件格式解析器以及H.264/AVC RTP净荷解析器进行处理。
当结合附图阅读下面的详细描述时，本发明的这些和其他优点和特征以及本发明的操作组织和方式将变得明显，在下面的几个附图中类似的参考标号表示类似的元件。
附图说明
图1是能够用作实现本发明的功能性的编码器或解码器的电子设备中包括的电路的示意表示；
图2示出了与本发明一起使用的一般多媒体通信系统；以及
图3示出了IP多播布置，其中每个路由器能够根据其能力剥离比特流。
具体实施方式
本发明提供了一种在可伸缩视频编码中使用的间接聚合器NAL单元，更一般地提供了一种可伸缩性信息基本数据单元。间接聚合器NAL单元不包含任何其他NAL单元。相反，本发明的间接聚合器NAL单元包含将其自身与其他NAL单元关联在一起的机制。这些机制包括但不限于：后续字节的数目、后续NAL单元的数目以及高层帧内的剩余NAL单元的数目。例如，高层帧内的剩余NAL单元在间接聚合器NAL单元也出现在其中的同一RTP净荷中。
本发明的间接NAL单元的结构还包括所有关联NAL单元共有的属性或者特性信息。该公共属性或者特性信息包括但不限于：可伸缩性信息以及关联NAL单元是否形成可伸缩层切换点，在该点不同的可伸缩层可以切换到当前层。可伸缩性信息可以至少包括在SVC规范中规定的“扩展的”NAL单元报头，其包括simple_priority_id(简单优先级标识符)、discardable_flag(可丢弃标记)、dependency_id、temporal_level以及quality_level语法元素。
本发明的间接聚合器NAL单元是从这样的NAL单元类型中选择的，这些类型规定为被仅针对H.264/AVC基层的处理单元忽略的类型。换言之，H.264/AVC解码器、AVC文件格式解析器以及H.264/AVC RTP解净荷器应该忽略本发明的间接聚合器NAL单元。此外，间接聚合器NAL单元可以被SVC解码器忽略，因为它在解码过程中不引起任何标准影响。下面提供针对SVC文件格式的间接聚合器NAL单元的示例语法和语义以及针对SVC RTP净荷格式的另一示例。应该注意，本发明不限于这些特定的封装和编码格式的示例。
根据SVC文件格式，聚合器NAL单元使得NALU映射组(NALU-map-group)条目具有一致性和可重复性。聚合器NAL单元用于将属于同一采样并具有相同可伸缩性信息的SVC NAL单元归为一组。聚合器NAL单元使用与可伸缩的扩展NAL单元(SVCNAL单元)相同的报头，但是是一种新的NAL单元类型。聚合器NAL单元可以包含提取器NAL单元。提取器NAL单元可以参考聚合器NAL单元。
当扫描流时，如果聚合器NALU不被需要(即，它属于不期望的层)，可以容易地丢弃该聚合器NALU及其内容(使用其长度字段)。如果聚合器NALU被需要，则可以容易地丢弃它的报头而保留其内容。
聚合器NAL单元将两个或者更多SVC NAL单元封装进一个新的NAL单元。聚合器NAL单元使用具有与SVC NAL单元相同的语法(如SVC规范中规定的)的NAL单元报头。与任何其他NAL单元类似，聚合器NAL单元存储在采样中。
所有NAL单元以解码顺序保留在聚合器NAL单元内。如果属于相同quality_level的NAL单元被归为一组，则quality_level>0的NAL单元的顺序可以改变。用于聚合器NAL单元的语法如下：
class aligned(8)AggregatorNALUnit(AggregatorNALUnitSize){unsigned int i＝2；
/*NALUnitHeader as specified in the SVC spec(SVC规范中规定的NALUnitHeader)*/
bit(1)forbidden_zero_bit；
bit(2)NAL_ref_idc；
bit(5)NAL_unit_type＝AggregatorNALUnitType＝const(30)；
bit(6)simple_dependency_ID；
bit(1)discardable_flag；
bit(1)extension_flag；
if(extension_flag){
   quality_level＝simple_dependency_ID；
   bit(3)temporal_level；
   bit(3)dependency_ID；
   bit(2)quality_ID；
   i++；
}
/*end of NAL unit header(NAL单元报头的结束)*/
do{
      unsigned int((lengthSizeMinusOne+1)*8)
                            NALUnitLength；
      bit(NALUnitLength*8)SVCNALUnit；
      i+＝(lengthSizeMinusOne+1)+NALUnitLength；
}while(i<AggregatorNALUnitSize)；
}
用于聚合器NAL单元的语义如下：
NALUnitHeader：(8或16位)在SVC规范中规定：
NAL_unit_type被设为聚合器NAL单元类型(type30)。
Scalability information(NAL_ref_idc，simple_dependency_ID，discardable_flag，extended scalability information)应该具有如每个被聚合的NAL单元的报头内的相同的值。
NALUnitLength：规定跟随的NAL单元的大小。该字段的大小用lengthSizeMinusOne(长度大小减一)条目来规定。
SVCNALUnit：SVC NAL unit如SVC规范中所规定的那样，包括SVC NAL单元报头。SVC NAL单元的大小通过NALUnitLength来规定。
假设聚合器NAL单元收集相同可伸缩性层的SVC NAL单元。其还可以将不同层的SVC NAL单元归为一组(例如，将所有质量级别(FGS分段)归为一组，将具有相同dependency_ID的所有NAL单元归为一组)。在该情况下，聚合器NAL单元报头将信号传递SVCNAL单元的可伸缩性信息以及最低dependency_ID和/或temporal_level、quality_ID。
聚合器NAL单元可以用于将属于一个可伸缩性级别(其可能不通过NAL单元报头信号传递)的SVC NAL单元(例如，属于目标区域的SVC NAL单元)归为一组。对这样的聚合器NAL单元的描述可能结合层描述和NAL单元映射组进行。在这样的情况下，不止一个具有相同可伸缩性信息的聚合器NAL单元可以出现在一个采样中。
聚合器NAL单元可以导致每个AU中的每个层具有恒定数目的NAL单元。为了确保恒定的图案，可能出现下面的情况。AVC基层NALU可以归组在一个聚合器NAL单元中(如果用在一个SVC流中)。在该情况下，temporal_level、dependency_ID和quality_ID都被设为0。AVC基层NALU可以通过提取器NAL来参考。出于某些原因，如果在该AU中不存在某个层的NALU，则在该位置可以存在空的聚合器NAL单元。
根据针对SVC视频的RTP净荷格式，净荷内容可伸缩性信息NAL单元通常如下。SVC NAL单元包括一个、两个或三个字节的报头和净荷字节字符串。报头指示NAL单元的类型、NAL单元净荷中是否(潜在)存在比特错误或者语法违犯、关于NAL单元对于解码过程的相关重要性的信息、以及(可选的，在报头是三个字节时)可伸缩层解码依赖性信息。
NAL单元报头共同作为该RTP净荷格式的净荷报头。后面紧跟着NAL单元的净荷。NAL单元报头的语法和语义规定在〔SVC〕中，但是NAL单元报头的基本属性归纳在下面。
NAL单元报头的第一字节具有下述格式：
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|F|NRI|Type|
+---------------+
forbidden_zero_bit(F)：1比特。H.264规范宣布值1表示语法违犯。
nal_ref_idc(NRI)：2比特。值00指明该NAL单元的内容不用于重建用于图片间预测的参考图片。这样的NAL单元可以被丢弃而不会引起影响同层中的参考图片的完整性的风险。大于00的值指明需要解码该NAL单元以维护参考图片的完整性。对于划分NAL单元的片段或者片段数据，NRI值11指明该NAL单元包含关键图片的数据，如〔SVC〕中规定的一样。
信息注释：关键图片的概念已经引进SVC，并且不应该假设比特流中的任何图片遵从符合该规则的2003和2005版的H.264。
nal_unit_type(Type)：5比特。该部分规定NAL单元净荷类型。先前，NAL单元类型20和21(以及其他)被保留用于将来的扩展。SVC使用这两个NAL单元类型。它们指示多于一个字节的存在，从传送观点看该字节是有帮助的。
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|PRID|D|E|
+---------------+
simply_priority_id(PRID)：6比特。该部分规定用于NAL单元的优先级标识符。当extension_flag等于0时，simple_priority_id用于推断dependency_id、temporal_level和quality_level的值。当Simply_priority_id不存在时，它被推断为等于0。
discardable_flag(D)：1比特。值1指明该NAL单元(dependency_id＝currDependencyId(当前依赖性Id))的内容不用于对dependency_id>currDependencyId的NAL单元的解码过程。这样的NAL单元可以被丢弃而不会引起影响具有更大的dependency_id值的更高可伸缩层的完整性的风险。discardable_flag等于0指明必须解码该NAL单元以维护具有更大的dependency_id值的更高可伸缩层的完整性。
extension_flag(E)：1比特。值1指明该NAL单元报头中存在第三字节。当第二字节的E-比特为1时，该NAL单元报头扩展到第三字节：
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|TL|DID|QL|
+---------------+
temporal_level(TL)：3比特。该部分用于指明时间可伸缩性或帧速率。由较小的temporal_level值的图片构成的层具有较小的帧速率。
dependency_id(DID)：3比特。该部分用于指明层间编码依赖性等级。在任何时间位置，具有较小dependency_id值的图片可以用于针对具有较大dependency_id值的图片的编码的层间预测。
Quality_level(QL)：2比特。该部分用于指明FGS层等级。在任何时间位置并且具有相同的dependency_id值，对于层间预测，quality_level值等于QL的FGS图片使用quality_level值等于QL-1的FGS图片或者基本质量图片(当QL-1＝0时非FGS图片)。当QL大于0时，NAL单元包含FGS片段或者其一部分。
在该实施例中，规定了一种新的NAL单元类型，称为净荷内容可伸缩性信息(PACSI)NAL单元。如果存在PACSI NAL单元，则其必须是聚合分组中的第一NAL单元，并且其一定不在其他类型的分组中存在。PACSI NAL单元指明净荷中的所有剩余NAL单元共有的可伸缩性特性，因此使得MANE能够更容易地决定是转发还是丢弃分组。发送器可以创建PACSI NAL单元，并且接收器能够忽略它们。
针对PACSI NAL单元的NAL单元类型是从H.264/AVC规范和RFC3984中没有规定的那些值中选择的。因此，具有H.264/AVC基层并且包括PACSI NAL单元的SVC流可以利用RFC3984接收器和H.264/AVC解码器来处理。
当聚合分组的第一聚合单元包含PACSI NAL单元时，在相同的分组中必须存在至少一个另外的聚合单元。RTP报头字段根据聚合分组中的剩余NAL单元来设置。
当PACSI NAL单元被包括在一个多时间聚合分组中时，必须设置用于PACSI NAL单元的解码顺序号，以指明PACSI NAL单元是在聚合分组中的NAL单元之中的解码顺序中的第一NAL单元，或者PACSI NAL单元具有与在聚合分组中的剩余NAL单元之中的解码顺序中的第一NAL单元相同的解码顺序号。
PACSI NAL单元的结构规定如下：
0                   1                   2
 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|F|NRI|Type|PRID|D|E|TL|DID|QL|
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
PACSI NAL单元中的字段的值必须如下设置。
-如果净荷中的任何剩余NAL单元的F比特等于1，则F比特必须设置为1。否则，F比特必须被设置为0。
-NRI字段必须被设置为净荷中的剩余NAL单元之中的NRI字段的最高值。
-Type字段必须被设置为30。
-PRID字段必须被设置为净荷中的剩余NAL单元之中的PRID字段的最小值。如果PRID字段在净荷中的剩余NAL单元之一中不存在，则PACSI NAL单元中的PRID字段必须被设置为0。
-如果净荷中的任何剩余NAL单元中的D比特等于0，则D比特必须被设置为0。否则，D比特必须被设置为1。
-E比特必须被设置为1。
-TL字段必须被设置为净荷中的剩余NAL单元之中的TL字段的最小值。
-DID字段必须被设置为净荷中的剩余NAL单元之中的DID字段的最小值。
-QL字段必须被设置为净荷中的剩余NAL单元之中的QL字段的最小值。
本发明的间接聚合器NAL单元使得能够容易地识别比特流内的可伸缩性依赖性，由此实现了快速和有效的流操作。间接聚合器NAL单元确保了流的基层仍然能够利用H.264/AVC解码器、AVC文件格式解析器以及H.264/AVC RTP净荷解析器进行处理。
在解码的情况下，应该注意待解码的比特流可能接收自位于实际上任何类型的网络内的远程设备。另外，比特流可以是接收自本地硬件或软件。还应该理解，尽管此处包含的文本和例子具体描述了编码过程，但是本领域技术人员容易理解相同的概念和原理也适用于对应的解码过程，反之亦然。
图1示出了一个可以实现本发明的代表性电子设备12，其既可以在编码侧也可以在解码侧。然而，应该理解，本发明并不旨在限于一种特定类型的电子设备12。图1的电子设备12包括显示器32、小键盘34、麦克风36、耳机38、红外端口42、天线44、根据本发明一个实施例的UICC形式的智能卡46、读卡器48、无线电接口电路52、编解码器电路54、控制器56和存储器58。各个电路和元件都是现有技术中例如诺基亚的移动电话范围内的公知类型。
图2示出了与本发明一起使用的一般性多媒体通信系统。数据源100提供源信号，该源信号是模拟的未压缩的数字格式、或者压缩的数字格式、或者这些格式的任意组合。编码器110将源信号编码到编码的媒体比特流。编码器110可能能够编码不止一种媒体类型，诸如音频和视频，或者可能需要不止一个编码器110来编码不同媒体类型的源信号。编码器110可能还得到综合生成的输入，诸如图片和文本，或者它可能能够生成综合媒体的编码比特流。在下文中，为了简化描述，仅考虑对一种媒体类型的一个编码比特流的处理。然而，应该注意，通常实时广播服务包括若干流(通常至少一个音频、视频和文本字幕流)。还应该注意，系统可以包括多个编码器，但是为了简化描述而不失一般性，在下文中仅描述一个编码器110。
编码的媒体比特流被传送到存储装置120。存储装置120可以包括任何类型的大容量存储器以存储编码的媒体比特流。存储装置120中的编码媒体比特流的格式可以是基本的自包含的比特流格式，或者一个或多个编码的媒体比特流可以被封装到容器文件中。某些系统操作“实况”，即省略存储装置并且将编码的媒体比特流从编码器110直接传送到发送器130。于是，根据需要，编码的媒体比特流被传送到发送器130，也称为服务器。传输中使用的格式可以是基本的自包含的比特流格式、分组流格式，或者一个或多个编码的媒体比特流可以被封装到容器文件中。编码器110、存储装置120和服务器130可以驻留在同一物理设备中或者它们可以被包括在不同的设备中。编码器110和服务器130可以操作“实况”实时内容，在该情况中，编码的媒体比特流通常不会永久存储，而是在内容编码器110和/或服务器130中缓存一小段时间，以平滑处理延迟、传送延迟和编码的媒体比特率方面的变化。
服务器130使用通信协议栈来发送编码的媒体比特流。该栈可以包括但不限于实时传送协议(RTP)、用户数据报协议(UDP)、以及网际协议(IP)。当通信协议栈是面向分组时，服务器130将编码的媒体比特流封装进分组。例如，当使用RTP时，服务器130将编码的媒体比特流根据RTP净荷格式封装进RTP分组。通常，每个媒体类型具有专用的RTP净荷格式。同样应该注意，系统可以包含多于一个服务器130，但是为了简化起见，下面的描述仅考虑一个服务器130。
服务器130可以通过通信网络连接到网关140或者不连接到网关140。网关140可以执行不同类型的功能，诸如将根据一个通信协议栈的分组流翻译到另一通信协议栈，合并和分离数据流，以及根据下行链路和/或接收器能力来操作数据流，诸如根据主要的下行链路网络条件来控制转发流的比特率。网关140的例子包括多点会议控制单元(MCU)、电路交换和分组交换视频电话之间的网关、基于蜂窝的一键通(PoC)服务器、数字视频广播-手持(DVB-H)系统中的IP封装器、或者将广播传输本地转发给归属地无线网络的机顶盒。当使用RTP时，网关140被称为RTP混频器，并且充当RTP连接的端点。
该系统包括一个或多个接收器150，通常能够接收、解调以及解封装传输的信号到编码的媒体比特流。编码的媒体比特流通常被解码器160进一步处理，解码器160的输出是一个或多个未压缩的媒体流。最后，呈现器170可以利用例如扬声器或者显示器来再生未压缩的媒体流。接收器150、解码器160和呈现器170可以驻留在同一物理设备中，或者它们可以被包括在不同的设备中。
对于异类和易出错的环境而言，在比特率、解码复杂度和图片大小方面的可伸缩性是期望的属性。为了抵消诸如比特率、显示器分辨率、网络吞吐量以及接收设备中的计算功率方面的限制，所述属性是合意的。
可伸缩性可以用于改善传输系统中的错误回弹，在所述传输系统中分层编码与传送优先级化相组合。术语“传送优先级化”指用于在传送中提供不同服务质量的各种机制(包括不同的错误保护)，用于提供具有不同错误/丢失率的不同信道的各种机制。取决于它们的特性，数据被不同地分配。例如，基层可以通过具有高的错误保护度的信道来递送，而增强层可以通过较易出错的信道来传输。
在多点和广播多媒体应用中，在编码时，网络吞吐量方面的约束可能是不能预见的。因此，应该使用可伸缩比特流。图3示出了IP多播布置，其中每个路由器可以根据其能力剥离比特流。图3示出了服务器S，其提供比特流给多个客户端C1-C3。比特流通过路由器R1-R3路由到客户端。在该例子中，服务器提供一个片段，其可以伸缩到至少三个比特率，120kbit/s、60kbit/s和28kbit/s。
如果客户端和服务器经由常规单播连接而连接在一起，则服务器可以尝试根据临时的信道吞吐量来调节被传输多媒体片段的比特率。一种解决方案是通过变化传输的增强层的数目来使用分层比特流和适应带宽改变。
在方法步骤的一般上下文中描述了本发明，在一个实施例中本发明可以通过包括可由联网环境中的计算机执行的计算机可执行指令(诸如程序代码)的程序产品来实现。通常，程序模块包括例程、程序、对象、元件、数据结构等，其执行特定任务或者实现特定的抽象数据类型。计算机可执行指令、关联的数据结构和程序模块代表用于执行此处公开的方法的步骤的程序代码的例子。这种可执行指令或关联数据结构的特定序列代表用于实现在这些步骤中描述的功能的对应动作的例子。
本发明的软件和网络实现可以通过标准编程技术利用基于规则的逻辑和其他逻辑来实现，所述逻辑实现各种数据库搜索步骤、关联步骤、比较步骤和判决步骤。还应该注意，此处和权利要求书中的用词“部件”和“模块”旨在包括使用一行或多行软件代码和/或硬件实现和/或用于接收手工输入的设备的各种实现。
已经出于解释和说明的目的陈述了前面的对本发明的实施例的描述。其并不旨在穷举或者将本发明限于公开的精确形式，并且根据上述技术各种修改和变形是可能的，或者根据本发明的实践可以获得各种修改和变形。各实施例是为了解释本发明的原理及其实践应用而选择和描述的，以便使得本领域普通技术人员能够以各种实施例和适用于所考虑的具体应用的各种修改来使用本发明。

Claims (25)

1.一种用于封装可伸缩编码视频信号的方法，所述信号包括可根据第一算法解码的图片的基层和至少一个可根据第二算法解码的图片的增强层，所述方法包括：
将所述基层和所述至少一个增强层编码进存取单元，所述存取单元包括：
用于解码的至少一个基本数据单元，以及
与所述存取单元的至少一部分关联的可伸缩性信息基本数据单元，
其中所述可伸缩性信息基本数据单元被配置为在根据所述第一算法解码期间被忽略。
2.根据权利要求1所述的方法，其中所述可伸缩性信息基本数据单元与所述存取单元中的图片相关联。
3.根据权利要求1所述的方法，其中所述可伸缩性信息基本数据单元包括与所述存取单元的至少一部分有关的信息。
4.根据权利要求3所述的方法，其中所述信息选自包括以下内容的组：优先级、时间级别、依赖性顺序指示符、对与较高的依赖性顺序指示符相关联的基本数据单元是否需要所述存取单元的至少一部分以便解码的指示符、对所述存取单元的至少一部分是否是不同层可以切换到当前层的层切换点的指示符、以及它们的组合。
5.根据权利要求1所述的方法，还包括将所述可伸缩编码视频信号封装进文件。
6.根据权利要求5所述的方法，其中根据ISO基本媒体文件格式、AVC文件格式、SVC文件格式、3GP文件格式以及3G2文件格式中的至少一种文件格式将所述可伸缩编码视频信号封装进所述文件。
7.根据权利要求1所述的方法，还包括将所述可伸缩编码视频信号封装进分组流。
8.根据权利要求7所述的方法，其中所述分组流包括RTP流。
9.根据权利要求1所述的方法，其中所述可伸缩性信息基本数据单元被配置为被H.264/AVC解码器、AVC文件解析器、H.264/AVCRTP解净荷器以及SVC解码器中的至少一个所忽略。
10.根据权利要求1所述的方法，还包括基于所述可伸缩性信息基本数据单元来从所述编码视频信号中移除所述存取单元的相关联部分。
11.根据权利要求1所述的方法，还包括基于所述可伸缩性信息基本数据单元停止对所述编码视频信号中的所述存取单元的相关联部分的处理。
12.一种编码在计算机可读介质上的用于封装可伸缩编码视频信号的计算机程序产品，所述信号包括可根据第一算法解码的图片的基层和至少一个可根据第二算法解码的图片的增强层，所述计算机程序产品包括：
用于将所述基层和所述至少一个增强层编码进存取单元的计算机代码，所述存取单元包括：
用于解码的至少一个基本数据单元，以及
与所述存取单元的至少一部分关联的可伸缩性信息基本数据单元，
其中所述可伸缩性信息基本数据单元被配置为在根据所述第一算法解码期间被忽略。
13.根据权利要求12所述的计算机程序产品，其中所述可伸缩性信息基本数据单元与所述存取单元中的图片相关联。
14.根据权利要求12所述的计算机程序产品，其中所述可伸缩性信息基本数据单元包括与所述存取单元的至少一部分有关的信息。
15.根据权利要求14所述的计算机程序产品，其中所述信息选自包括以下内容的组：优先级、时间级别、依赖性顺序指示符、对与较高的依赖性顺序指示符相关联的基本数据单元是否需要所述存取单元的至少一部分以便解码的指示符、对所述存取单元的至少一部分是否是不同层可以切换到当前层的层切换点的指示符、以及它们的组合。
16.根据权利要求12所述的计算机程序产品，还包括将所述可伸缩编码视频信号封装进文件。
17.根据权利要求16所述的计算机程序产品，其中根据ISO基本媒体文件格式、AVC文件格式、SVC文件格式、3GP文件格式以及3G2文件格式中的至少一种文件格式将所述可伸缩编码视频信号封装进所述文件。
18.根据权利要求12所述的计算机程序产品，还包括将所述可伸缩编码视频信号封装进分组流。
19.根据权利要求18所述的计算机程序产品，其中所述分组流包括RTP流。
20.根据权利要求12所述的计算机程序产品，其中所述可伸缩性信息基本数据单元被配置为被H.264/AVC解码器、AVC文件解析器、H.264/AVC RTP解净荷器以及SVC解码器中的至少一个所忽略。
21.根据权利要求12所述的计算机程序产品，还包括基于所述可伸缩性信息基本数据单元来从所述编码视频信号中移除所述存取单元的相关联部分。
22.根据权利要求12所述的计算机程序产品，还包括基于所述可伸缩性信息基本数据单元停止对所述编码视频信号中的所述存取单元的相关联部分的处理。
23.一种电子设备，包括：
处理器；以及
存储器单元，其通信地连接到所述处理器，并且包括用于封装可伸缩编码视频信号的计算机程序产品，所述信号包括可根据第一算法解码的图片的基层和至少一个可根据第二算法解码的图片的增强层，所述计算机程序产品包括：
用于将所述基层和所述至少一个增强层编码进存取单元的计算机代码，所述存取单元包括：
用于解码的至少一个基本数据单元，以及
与所述存取单元的至少一部分关联的可伸缩性信息基本数据单元，
其中所述可伸缩性信息基本数据单元被配置为在根据所述第一算法解码期间被忽略。
24.一种封装的可伸缩编码视频信号，包括：
存取单元，其包括可根据第一算法解码的图片的基层和至少一个可根据第二算法解码的图片的增强层，所述存取单元包括：
用于解码的至少一个基本数据单元，以及
与所述存取单元的至少一部分关联的可伸缩性信息基本数据单元，
其中所述可伸缩性信息基本数据单元被配置为在根据所述第一算法解码期间被忽略。
25.一种用于解码封装的可伸缩编码视频信号的方法，所述信号包括可根据第一算法解码的图片的基层和至少一个可根据第二算法解码的图片的增强层，所述方法包括：
从存取单元中解码所述基层和所述至少一个增强层，所述存取单元包括：
用于解码的至少一个基本数据单元，以及
与所述存取单元的至少一部分关联的可伸缩性信息基本数据单元，
其中所述可伸缩性信息基本数据单元被配置为在根据所述第一算法解码期间被忽略。
CN2007800067368A 2006-01-11 2007-01-11 可伸缩视频编码中的图片的后向兼容聚合 Active CN101390399B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US75825406P 2006-01-11 2006-01-11
US60/758,254 2006-01-11
PCT/IB2007/000075 WO2007080502A2 (en) 2006-01-11 2007-01-11 Backward-compatible aggregation of pictures in scalable video coding

Publications (2)

Publication Number Publication Date
CN101390399A true CN101390399A (zh) 2009-03-18
CN101390399B CN101390399B (zh) 2010-12-01

Family

ID=38256684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800067368A Active CN101390399B (zh) 2006-01-11 2007-01-11 可伸缩视频编码中的图片的后向兼容聚合

Country Status (13)

Country Link
US (1) US8767818B2 (zh)
EP (1) EP1977604B1 (zh)
JP (1) JP4874343B2 (zh)
KR (1) KR101029854B1 (zh)
CN (1) CN101390399B (zh)
AU (1) AU2007204168B2 (zh)
BR (1) BRPI0707457A2 (zh)
HK (1) HK1127205A1 (zh)
MY (1) MY148628A (zh)
RU (1) RU2409910C2 (zh)
TW (1) TWI432035B (zh)
WO (1) WO2007080502A2 (zh)
ZA (1) ZA200806042B (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011003231A1 (zh) * 2009-07-06 2011-01-13 华为技术有限公司 一种可伸缩视频编码文件的传输方法、接收方法及装置
WO2012034441A1 (zh) * 2010-09-17 2012-03-22 中兴通讯股份有限公司 实现可伸缩视频编码业务协同传输的方法及系统
CN102577308A (zh) * 2009-09-22 2012-07-11 高通股份有限公司 使用可伸缩编码的增强型块请求流送
CN103733623A (zh) * 2011-08-01 2014-04-16 高通股份有限公司 视频译码中用于各种维度的译码参数集
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US8887020B2 (en) 2003-10-06 2014-11-11 Digital Fountain, Inc. Error-correcting multi-stage code generator and decoder for communication systems having single transmitters or multiple transmitters
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9136878B2 (en) 2004-05-07 2015-09-15 Digital Fountain, Inc. File download and streaming system
US9136983B2 (en) 2006-02-13 2015-09-15 Digital Fountain, Inc. Streaming and buffering using variable FEC overhead and protection periods
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
CN105052151A (zh) * 2013-03-29 2015-11-11 高通股份有限公司 改进的有效负载格式设计
US9191151B2 (en) 2006-06-09 2015-11-17 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
US9236976B2 (en) 2001-12-21 2016-01-12 Digital Fountain, Inc. Multi stage code generator and decoder for communication systems
US9236885B2 (en) 2002-10-05 2016-01-12 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
US9246633B2 (en) 1998-09-23 2016-01-26 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
CN105284114A (zh) * 2013-07-07 2016-01-27 韦勒斯标准与技术协会公司 视频信号处理方法及装置
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9264069B2 (en) 2006-05-10 2016-02-16 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient uses of the communications systems
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
CN110445582A (zh) * 2019-08-12 2019-11-12 广东工业大学 一种编码交织方法、系统、装置及计算机可读存储介质

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100878812B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
US8937997B2 (en) * 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US8767836B2 (en) 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
EP3041195A1 (en) 2007-01-12 2016-07-06 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format
AU2008206744B2 (en) 2007-01-18 2011-09-22 Nokia Technologies Oy Carriage of SEI messages in RTP payload format
SG179403A1 (en) * 2007-02-23 2012-04-27 Nokia Corp Backward-compatible characterization of aggregated media data units
KR100937030B1 (ko) * 2007-05-31 2010-01-15 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
CN101796840A (zh) * 2007-08-28 2010-08-04 汤姆森特许公司 无频道改变延迟的交错播送
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR101001024B1 (ko) * 2007-12-18 2010-12-14 한국전자통신연구원 비디오 멀티캐스팅 서비스에서 정보 보안 유지 방법 및장치
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
US20110038386A1 (en) * 2008-04-29 2011-02-17 France Telecom Transmission of a video stream coded by hierarchical coding
WO2010014123A1 (en) * 2008-07-26 2010-02-04 Thomson Licensing A real-time transport protocol (rtp) packetization method for fast channel change applications using scalable video coding (svc)
EP2150060A1 (en) * 2008-07-28 2010-02-03 Alcatel, Lucent Method and arrangement for video encoding
FR2939593B1 (fr) * 2008-12-09 2010-12-31 Canon Kk Procede et dispositif de codage video
KR20100071688A (ko) * 2008-12-19 2010-06-29 한국전자통신연구원 스케일러블 비디오 코딩 기반의 포괄적 비디오 접근을 위한스트리밍 서비스 장치 및 방법
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
US9197677B2 (en) * 2009-03-09 2015-11-24 Arris Canada, Inc. Multi-tiered scalable media streaming systems and methods
IT1398195B1 (it) * 2009-06-25 2013-02-14 St Microelectronics Srl "procedimento e sistema per la distribuzione di contenuti informativi, relativo prodotto informatico"
US8566393B2 (en) 2009-08-10 2013-10-22 Seawell Networks Inc. Methods and systems for scalable video chunking
US8386266B2 (en) 2010-07-01 2013-02-26 Polycom, Inc. Full-band scalable audio codec
US20120250690A1 (en) * 2009-12-01 2012-10-04 Samsung Electronics Co. Ltd. Method and apparatus for transmitting a multimedia data packet using cross layer optimization
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
US8190677B2 (en) * 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
KR20120011774A (ko) * 2010-07-29 2012-02-08 한국전자통신연구원 전송 스케쥴링 방법
JP5640574B2 (ja) * 2010-09-01 2014-12-17 ヤマハ株式会社 端末装置
EP2502155A4 (en) * 2010-11-12 2013-12-04 Polycom Inc HIERARCHICAL AUDIO CODING IN A MULTIPOINT ENVIRONMENT
US9131110B2 (en) * 2012-02-10 2015-09-08 Polycom, Inc. System and method for handling critical packets loss in multi-hop RTP streaming
US9712887B2 (en) 2012-04-12 2017-07-18 Arris Canada, Inc. Methods and systems for real-time transmuxing of streaming media content
US9716892B2 (en) * 2012-07-02 2017-07-25 Qualcomm Incorporated Video parameter set including session negotiation information
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
KR102045073B1 (ko) 2013-01-24 2019-11-14 한국전자통신연구원 유연한 ｍｍｔ 애셋 송수신 방법 및 그 장치
JP6361866B2 (ja) * 2013-05-09 2018-07-25 サン パテント トラスト 画像処理方法および画像処理装置
US9350781B2 (en) * 2013-05-31 2016-05-24 Qualcomm Incorporated Single network abstraction layer unit packets with decoding order number for video coding
US10257527B2 (en) 2013-09-26 2019-04-09 Telefonaktiebolaget Lm Ericsson (Publ) Hybrid codec scalable video
JP5836424B2 (ja) * 2014-04-14 2015-12-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9516147B2 (en) 2014-10-30 2016-12-06 Microsoft Technology Licensing, Llc Single pass/single copy network abstraction layer unit parser
GB2533775B (en) * 2014-12-23 2019-01-16 Imagination Tech Ltd In-band quality data
US20160192018A1 (en) * 2014-12-29 2016-06-30 Microsoft Technology Licensing, Llc Previewing content available at local media sources
JP7337150B2 (ja) 2018-09-25 2023-09-01 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 後方互換性を有するメディアビットストリーム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6263022B1 (en) 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
EP1327360A1 (en) * 2000-10-11 2003-07-16 Koninklijke Philips Electronics N.V. Scalable coding of multi-media objects
WO2003103288A1 (en) * 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
US7010037B2 (en) * 2002-08-06 2006-03-07 Koninklijke Philips Electronics N.V. System and method for rate-distortion optimized data partitioning for video coding using backward adaptation
AU2003267699A1 (en) 2002-10-15 2004-05-04 Koninklijke Philips Electronics N.V. System and method for transmitting scalable coded video over an ip network
WO2004052002A1 (en) * 2002-12-03 2004-06-17 Thomson Licensing S.A. Hybrid scalable encoder, method, and media for standard-definition and high-definition video formats on a single-disc
US8437347B2 (en) * 2003-10-14 2013-05-07 Qualcomm Incorporated Scalable encoding for multicast broadcast multimedia service
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US20050254575A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US20060156363A1 (en) * 2005-01-07 2006-07-13 Microsoft Corporation File storage for scalable media
DE102005001287A1 (de) * 2005-01-11 2006-07-20 Siemens Ag Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
JP2008546238A (ja) * 2005-05-19 2008-12-18 ノキア コーポレイション Ｄｖｂ−ｈ送信システムにおいてプライオリティ表示されたデータグラムに不等のエラー保護を与えるシステム及び方法
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
DE102005033981A1 (de) * 2005-07-20 2007-02-01 Siemens Ag Verfahren zur Speicherung einzelner Datenelemente eines skalierbaren Datenstroms in eine Datei sowie zugehörige Vorrichtung

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9246633B2 (en) 1998-09-23 2016-01-26 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9236976B2 (en) 2001-12-21 2016-01-12 Digital Fountain, Inc. Multi stage code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
US9236885B2 (en) 2002-10-05 2016-01-12 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
US8887020B2 (en) 2003-10-06 2014-11-11 Digital Fountain, Inc. Error-correcting multi-stage code generator and decoder for communication systems having single transmitters or multiple transmitters
US9236887B2 (en) 2004-05-07 2016-01-12 Digital Fountain, Inc. File download and streaming system
US9136878B2 (en) 2004-05-07 2015-09-15 Digital Fountain, Inc. File download and streaming system
US9136983B2 (en) 2006-02-13 2015-09-15 Digital Fountain, Inc. Streaming and buffering using variable FEC overhead and protection periods
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US9264069B2 (en) 2006-05-10 2016-02-16 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient uses of the communications systems
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9628536B2 (en) 2006-06-09 2017-04-18 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9191151B2 (en) 2006-06-09 2015-11-17 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US11477253B2 (en) 2006-06-09 2022-10-18 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
CN102165776B (zh) * 2009-07-06 2012-11-21 华为技术有限公司 一种可伸缩视频编码文件的传输方法、接收方法及装置
WO2011003231A1 (zh) * 2009-07-06 2011-01-13 华为技术有限公司 一种可伸缩视频编码文件的传输方法、接收方法及装置
US9660763B2 (en) 2009-08-19 2017-05-23 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9876607B2 (en) 2009-08-19 2018-01-23 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US11770432B2 (en) 2009-09-22 2023-09-26 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US11743317B2 (en) 2009-09-22 2023-08-29 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US10855736B2 (en) 2009-09-22 2020-12-01 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
CN102577308A (zh) * 2009-09-22 2012-07-11 高通股份有限公司 使用可伸缩编码的增强型块请求流送
US9992555B2 (en) 2010-06-29 2018-06-05 Qualcomm Incorporated Signaling random access points for streaming video data
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9602802B2 (en) 2010-07-21 2017-03-21 Qualcomm Incorporated Providing frame packing type information for video coding
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
CN102404560B (zh) * 2010-09-17 2013-12-18 中兴通讯股份有限公司南京分公司 实现可伸缩视频编码业务协同传输的方法及系统
WO2012034441A1 (zh) * 2010-09-17 2012-03-22 中兴通讯股份有限公司 实现可伸缩视频编码业务协同传输的方法及系统
CN102404560A (zh) * 2010-09-17 2012-04-04 中兴通讯股份有限公司 实现可伸缩视频编码业务协同传输的方法及系统
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
CN103733623B (zh) * 2011-08-01 2017-08-04 高通股份有限公司 视频译码中用于各种维度的译码参数集
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
CN103733623A (zh) * 2011-08-01 2014-04-16 高通股份有限公司 视频译码中用于各种维度的译码参数集
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
CN105052151A (zh) * 2013-03-29 2015-11-11 高通股份有限公司 改进的有效负载格式设计
CN105052150A (zh) * 2013-03-29 2015-11-11 高通股份有限公司 改进的有效负载格式设计
CN105052150B (zh) * 2013-03-29 2018-06-08 高通股份有限公司 改进的有效负载格式设计
CN105284114A (zh) * 2013-07-07 2016-01-27 韦勒斯标准与技术协会公司 视频信号处理方法及装置
CN110445582A (zh) * 2019-08-12 2019-11-12 广东工业大学 一种编码交织方法、系统、装置及计算机可读存储介质
CN110445582B (zh) * 2019-08-12 2020-10-23 广东工业大学 一种编码交织方法、系统、装置及计算机可读存储介质

Also Published As

Publication number Publication date
KR20080092420A (ko) 2008-10-15
WO2007080502A2 (en) 2007-07-19
JP2009537078A (ja) 2009-10-22
TW200742447A (en) 2007-11-01
US8767818B2 (en) 2014-07-01
HK1127205A1 (en) 2009-09-18
BRPI0707457A2 (pt) 2011-05-03
MY148628A (en) 2013-05-15
AU2007204168B2 (en) 2011-02-24
TWI432035B (zh) 2014-03-21
US20070201549A1 (en) 2007-08-30
CN101390399B (zh) 2010-12-01
EP1977604A4 (en) 2010-11-17
RU2409910C2 (ru) 2011-01-20
EP1977604B1 (en) 2014-03-19
AU2007204168A1 (en) 2007-07-19
RU2008128293A (ru) 2010-02-20
JP4874343B2 (ja) 2012-02-15
WO2007080502A3 (en) 2007-10-25
EP1977604A2 (en) 2008-10-08
ZA200806042B (en) 2009-04-29
KR101029854B1 (ko) 2011-04-15

Similar Documents

Publication Publication Date Title
CN101390399B (zh) 可伸缩视频编码中的图片的后向兼容聚合
CN101601305B (zh) 用于可伸缩多媒体的自适应路径的通用指示
CN101444102B (zh) 在可伸缩视频编码中的图像分隔符
TWI463877B (zh) 虛擬解碼參考圖片標記技術與參考圖片表
CN101578884B (zh) 提供和使用译码的媒体流的互操作点的预定信令的系统和方法
KR101037338B1 (ko) 스케일러블 비디오 코딩 및 디코딩
JP5247901B2 (ja) 拡張可能媒体のコード化及び伝送のための多数の相互運用点
KR101021831B1 (ko) 미디어 파일에서 트랙 관계를 표시하는 시스템 및 방법
TWI595787B (zh) 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術
KR101087379B1 (ko) 패킷화 방법 및 장치, 비트스트림 표현 처리 방법 및 장치와 컴퓨터 판독 가능 매체
TWI482498B (zh) 媒體檔案之多重解碼時間發訊技術
JP2012505569A (ja) 多視点メディアデータ
CN101573883A (zh) 用于在可分级视频编码中信令并执行时间级切换的系统和方法
KR100713363B1 (ko) 이동통신 시스템에서 엠펙 전송 장치 및 방법
MX2008009353A (en) Backward-compatible aggregation of pictures in scalable video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1127205

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1127205

Country of ref document: HK

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160206

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj