CN101573883B - 用于在可分级视频编码中信令并执行时间级切换的系统和方法 - Google Patents

用于在可分级视频编码中信令并执行时间级切换的系统和方法 Download PDF

Info

Publication number
CN101573883B
CN101573883B CN200780043819.4A CN200780043819A CN101573883B CN 101573883 B CN101573883 B CN 101573883B CN 200780043819 A CN200780043819 A CN 200780043819A CN 101573883 B CN101573883 B CN 101573883B
Authority
CN
China
Prior art keywords
time stage
labelling
media
nesting
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200780043819.4A
Other languages
English (en)
Other versions
CN101573883A (zh
Inventor
A·埃尔夫瑟里阿迪斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vidyo Inc
Original Assignee
Vidyo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vidyo Inc filed Critical Vidyo Inc
Priority to CN201710165116.4A priority Critical patent/CN106982382B/zh
Publication of CN101573883A publication Critical patent/CN101573883A/zh
Application granted granted Critical
Publication of CN101573883B publication Critical patent/CN101573883B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了用于利用具有时间可分级性的可分级编码来编码的媒体的媒体通信系统和方法。发送端点包括在其所发送媒体中切换信息，以指示解码器处的时间级切换是否能在所发送的经编码媒体的任一帧处进行。

Description

用于在可分级视频编码中信令并执行时间级切换的系统和 方法
相关申请的交叉引用
本申请要求2006年10月16日提交的美国临时专利申请S/N.60/829,609的优先权。此外，本申请与国际专利申请No.PCT/US06/028365、PCT/US06/028366、PCT/US06/061815、PCT/US06/62569、PCT/US07/80089、PCT/US07/062357、PCT/US07/65554、PCT/US07/065003、PCT/US06/028367、以及PCT/US07/63335相关。共同转让的所有这些上述申请的全部内容通过引用结合在本文中。
发明领域
本发明涉及视频通信系统。具体而言，本发明涉及使用时间可分级视频编码、而且其中接收器或中间网关从一个时间级切换至更高或更低的级以满足帧速率、比特率、处理能力、或其它系统需求的通信系统。
发明背景
旨在一般地改善编码效率的新的数字视频和音频“可分级”编码技术具有多种新的结构特征(例如可分级性)。在可分级编码中，原始或源信号使用两个或更多个分层结构化的比特流来表示。分层结构意味着给定比特流的解码取决于在该分层结构中更低层的部分或全部其它比特流的可用性。每一比特流及其所依赖的比特流提供了原始信号在特定时间、保真度(即，在信噪比即SNR方面)、或空间分辨率(对视频而言)下的表示。
应当理解的是，术语“可分级”不是指在数量量值或等级，而是指编码技术提供一组不同的比特流的能力，这些不同的比特流对应于原始或源信号的在不同“等级”的分辨率或其它信号质量下的有效表示。被称为可分级视频编码(SVC)的ITU-T H.264附录G规范是在时间、空间、或保真度维度三者中提供视频编码可分级性的视频编码标准的示例。SVC是H.264标准(也称为高级视频编码即AVC)的扩展。也提供所有这三种类型的可分级性的较早标准的示例是ISO MPEG-2(还公布为ITU-T H.262)。ITUG.729.1(也称为G.729EV)是提供可分级音频编码的标准的示例。
将可分级性的概念引入视频和音频编码作为对流传送和广播中的分发问题的解决方案，且为了使给定的通信系统在不同的接入网络(例如以不同的带宽连接的客户机)的情况下、在不同的网络状况(例如带宽波动)的情况下、以及在各种客户机设备(例如使用大监视器的个人计算机相对于具有小得多的屏幕的手持设备)的情况下工作。
在共同转让的国际专利申请PCT/US06/028365中描述了专门为诸如视频会议之类的交互式视频通信应用设计的可分级视频编码技术。而且，共同转让的国际专利申请PCT/US06/028365描述了被称为可分级视频通信服务器(SVCS)的新型服务器的设计。SVCS能有利地将可分级编码的视频用于高质量和低延迟的视频通信，且相比于传统切换或转码多点控制单元(MCU)具有显著降低的复杂性。同样，共同转让的国际专利申请PCT/US06/62569描述了一种复合可分级视频编码服务器(CSVCS)，其具有与SVCS相同的优点但产生单个已编码输出比特流。此外，国际专利申请PCT/US07/80089描述了一种多播可分级视频编码服务器(MSVCS)，其具有与SVCS相同的优点但利用可用的多播通信信道。可分级视频编码设计和SVCS/CSVCS架构可按照更有利的方法来使用，例如在共同转让的国际专利申请PCT/US06/028367、PCT/US06/027368、PCT/US06/061815、PCT/US07/62357、以及PCT/US07/63335中描述了这些方法。这些申请分别描述了将可分级编码技术和SVCS/CVCS架构用于服务器之间的有效中继(trunking)、减少抖动缓冲延迟、差错复原和随机访问、用来提高编码效率且减小分组丢失的可分级视频比特流的“细化(thinning)”、以及码率控制。另外，共同转让的国际专利申请PCT/US07/65554描述了用于在可分级视频编码格式和其它格式之间转码的技术。
现在考虑的是进一步改进利用可分级视频编码的视频通信系统。在这样的系统中，源可以是编码并在通信网络上发送实时视频的发送端点、发送预编码视频的流传送服务器、或提供对存储在大容量存储器或其它存取设备的访问的软件模块。同样，接收器可以是通过通信网络、或直接从大容量存储器或其它存取设备获得已编码视频或音频比特流的接收端点。该系统中的中间处理实体可以是SVCS或CSVCS。人们开始关注改进通过接收器和中间处理实体在时间级之间切换的效率。
发明概述
提供了可用于在可分级视频通信系统中进行信令和时间级切换的系统和方法。这些系统和方法涉及信令选择信息，这使更低级和更高级的时间级切换能在任意图片位置处进行。该信息在下层视频编解码器的时间预测结构中作为特定限制传达。该信息可在中间处理系统以及接收器中使用以适应不同的系统资源(例如帧速率、比特率、处理能力)。
附图简述
图1是根据本发明原理的通信系统的示例性架构的示意性图解；
图2a-2c是根据本发明原理的无嵌套的时间层预测结构的示例的示意性图解；
图3是根据本发明原理的嵌套时间层预测结构的示例的示意性图解；
图4是根据本发明原理的用于SVC的序列参数集中的时间级嵌套的示例性句法修改的图解；
图5是根据本发明原理的用于SVC的可分级性信息SEI消息中的时间级嵌套的示例性句法修改的图解；
图6是根据本发明原理的处理单元(编码器/服务器、网关、或接收器)的示例性架构的示意性图解；
图7是示出根据本发明原理的NAL滤波单元的示例性操作的流程图。
除非另外指明，否则全部附图中的相同附图标记和字符用来表示所示实施例的相同特征、元素、组件、或部分。而且，当现在将参考附图具体描述本发明时，这一描述是结合说明性实施例来完成的。
本发明的详细描述
提供了用于在使用可分级编码的通信系统中“切换”信号的系统和方法。切换系统和方法是针对具有时间可分级性的通信系统设计的。
图1示出使用可分级编码的通信系统100的示例性架构。通信系统100包括媒体服务器或编码器110(例如流传送服务器或发送端点)，其在网络130上通过媒体网关140与客户机/接收器120传送视频和/或音频信号。
在此利用通信系统100作为示例描述本发明的“切换”系统和方法。为简洁起见，此处的描述限于通信系统100的视频部分。然而，应当理解，切换系统和方法还可用于可分级音频部分，并理解空间可分级性维度不能被提供给音频信号，但多通道编码还可在音频信号编码中使用。此外，此处描述的这些系统和方法还可用于以可分级方式编码的其它多媒体数据(例如图形)。
在通信系统100的优选实施例中，使用H.264SVC编码格式(‘SVC’)来进行视频通信。(参见例如SVC JD7规范，T.Wiegand、G.Sullivan、J.Reichel、H.Schwarz、M.Wien编辑的“联合草案7：可分级视频编码(JointDraft 7：Scalable Video Coding)”，联合视频小组，案卷JVT-T201，克拉根福，2006年7月，其全部内容通过引用结合于本文中)。SVC是H.264AVC视频编码标准的可分级视频编码扩展(附录G)。SVC流的基层通过设计与AVC规范兼容。
经SVC编码的比特流可被结构化成数个分量或层。基层提供在某一基本保真维度或水平下的源信号表示。附加层(增强层)提供在高于基本保真维度的另外的可分级维度下的改善的信号表示的信息。SVC在创建具有数个维度——即空间、时间、以及保真度或质量维度——中的可分级性的比特流结构中提供相当大的灵活性。应当注意的是，AVC标准通过其使用参考图片列表和相关联的参考图片列表重排序命令已经支持时间可分级性。
还应注意的是，已编码比特流的层通常形成为金字塔结构，在该结构中层的解码需要一个或更多个更低层的存在。通常，基层对于解码金字塔结构中的任一增强层都是必需的。然而，不是所有可分级编码技术都具有多个层的金字塔结构。例如，当可分级性通过多个描述编码或同播(simulcasting)提供时，部分或全部层的独立解码也是可能的。尤其对SVC而言，通过将编码器中的所有层间预测模式关闭有可能有效地实现同播。此处描述的切换系统和方法适用于所有可分级格式，既包括金字塔结构又包括非金字塔结构。
可分级性具有用于解决诸如异类网络和/或客户机、时变网络性能、尽力网络递送等等之类的数个系统级挑战的特征。然而，为了能够有效利用可分级性特征，需要使它们可被除视频编码器和解码器之外的系统组件访问。
如上所述，本发明的切换系统和方法涉及具有时间可分级性的通信系统(例如系统100)。应当注意的是，在系统100中使用媒体网关140是可任选的。当使用直接媒体服务器到客户机连接代替媒体网关140时，或者当媒体服务器被大容量存储器或其它存取设备上的用户可直接访问的文件代替时，本发明的切换系统和方法也可直接或间接地(例如通过通信网络的文件访问)应用。还应注意的是，当从媒体服务器或编码器到接收器的路径中存在多于一个媒体网关140时，本发明的系统和方法保持不变。
重新参考图1，考虑简单的工作情形，其中媒体服务器/解码器110(例如流传送服务器或编码器、发送端点编码器)通过媒体网关140向客户机/接收器120传送可分级媒体。此简单的情形需要在媒体服务器和客户机之间建立用于发送协定层集合的连接，该协定层集合例如可以是用远程传输协议(RTP)封装的SVC网络自适应层(NAL)单元。此外，媒体网关140必须被指示、或必须自己决策如何最好地在运行上利用传入的分组(例如所发送的RTP封装的SVC NAL单元)。在其中媒体网关140具有SVCS/CSVCS架构的情况下，此工作决策对应于哪些分组要丢弃以及哪个要转发的决策。此外，为了正确的解码操作，客户机/接收器120必须知道或能够推导哪个层集合应该通过媒体网关140接收。
为了实现这些操作，系统100必须向各个系统组件呈现以及传送所发送的比特流的可分级结构。作为说明性示例，考虑具有两个时间分辨率15和30帧/秒(fps)、以及两个空间分辨率QCIF以及CIF的视频信号。因而，该视频信号具有四层可分级结构：包含15fps的QCIF信号的层L0；包含针对30fps的QCIF信号增强的层L1；包含针对15fps的CIF信号增强的层S0；以及包含针对30fps的CIF信号增强的层S1。在四层可分级结构中的编码相关性例如可以是L0为基层、L1取决于L0、S0取决于L0、以及S1既取决于L1又取决于S0。系统100必须向系统组件描述此四层结构，以使它们能正确地处理该视频信号。
补充增强信息(SEI)消息是包含在SVC比特流中的数据结构，其提供关于已编码视频信号的辅助信息但对于解码过程的操作不是必需的。SVC提供用于通过它的“可分级性信息”SEI消息(SSEI)描述经SVC编码的视频比特流的可分级结构的机制。SVC JD7规范的章节G.10.1.1中的SSEI被设计成允许容量协商(例如在连接建立期间)、流自适应(通过视频服务器或中间媒体网关)、以及低复杂性处理(例如没有基于详细比特流解析的推论)。
在SVC JD7规范的章节G.10.1.1中定义的SSEI包括有关各个层的描述性信息(例如帧速率、概况信息)、以及重要的编码依赖性信息(即给定层依赖于哪些其它层来正确解码)。各个层在比特流的范围内通过唯一的“层id”标识。特定层的编码依赖性信息通过对直接依赖层的数量(num_directly_dependent_layers)以及差值数列(directly_dependent_layer_id_delta)编码来传送，这些值在被添加到特定层的层id时标识该特定层所依赖用于解码的层的层id。
此外，在章节G.10.1.2中定义的“可分级性信息层不存在”SEI消息(SSEI-LNP)、和在章节G.10.1.3中定义的“可分级性信息依赖性改变”SEI消息(SSEI-DC)分别提供所发送的比特流中动态改变的带内或带外信令。前者表示与初始SSEI相比，哪些层从其接收的时刻起在比特流中不存在，而后者表示比特流中的层间预测依赖性改变。国际专利申请No.PCT/US07/065003描述了这些以及用于管理可分级性信息的附加系统和方法。
一般而言，SSEI、SSEI-LNP、以及SSEI-DC消息的设计使得在组合使用时，这些消息允许中间网关或接收器被持续告知有关从服务器/编码器或网关发送的比特流的总体结构，并执行正确的自适应功能。然而，在设计中存在重要的限制，这些限制对可在实时通信系统中使用的不同的可能编码结构的紧密检查之后会变得显而易见。
例如，SVC JD7草案允许时间结构，但该时间结构与分层建立的金字塔结构相矛盾，且在实际应用中会有问题。具体地，SVC JD7施加在时间级上的仅有限制如下：“具有等于currT1的时间级(temporal_level)的任意访问单元的解码应当与具有大于currT1的时间级的所有访问单元无关。”(参见G.7.4.1，NAL单元SVC首部扩展语义，第405页)。此限制确保给定的时间级可在不访问来自更高时间级的信息的情况下被解码。然而，它没有解决在特定时间级内以及相同与更低时间级之间存在的任意依赖性。SVC JD7限制确保从较高时间级向较低时间级的转换可通过仅仅丢弃具有较高时间级的所有访问单元而立即实现。其逆操作，即从较低时间级向较高时间级的切换或转换具有依赖性问题。
该问题可参考图2a和2b理解，图2a和2b示出示例性时间层图片预测结构。图2a示出具有两个时间层即层0和层1的“时间非嵌套”结构200a。第二层(层1)被形成为源于第一帧(层0)的完全独立的“线程”。因为层0的解码不依赖于层1，所以这是依据SVC JD7草案的SVC的有效结构。用此结构从较低时间级向较高时间级的转换问题对于仅接收层0(在帧0、2、4处等等)的接收器而言是显而易见的。接收器不能随意添加层1，因为从层0到层1的依赖性的时间范围跨越层0的多个帧。例如，如果接收器希望在帧2处添加层1，则它不能通过在下一帧(帧3)处开始解码操作(针对帧1)而实现此目的，因为这样的解码操作既需要帧0又需要帧1，而后者还未接收。
图2b示出类似的具有略微更复杂的层0和1的编码结构的时间非嵌套结构200b。接收器/解码器不能在帧2处切换至层1，因为帧3是从帧1预测的。
图2a和2b示出利用结构200和202b从较低时间级向较高时间级转换的问题，为简单起见这些结构各自仅具有两层。应当理解该问题会在任意数量的时间层的情况下存在。图2c示出具有三个时间层即层0-2的示例性结构200c。结构200c呈现出由于层依赖性的时间范围导致的类似的转换问题。
应当注意的是，时间非嵌套层结构200a-200c满足了G.7.4.1的要求，但是时间可分级特征的使用严重受限制。反之，图3示出“时间嵌套的”层结构300，其满足G.7.4.1的要求而且允许从任意层到另一层的时间切换。如图所示，在结构300中没有时间嵌套的实例：对层N的任意帧i而言，在帧i和解码次序中其任一参考图片之间不存在时间级M＜N的帧。等价地，当解码次序中的随后参考图片具有较低时间级值时，没有参考图片用于层间预测。此条件确保附加时间层可在层N的任一帧之后立即添加到层N。
在编码器/服务器、中间网关、或接收器处容易地添加或去除时间级的能力在实时、低延迟通信中是十分重要的，因为帧速率是直接可用于比特流和错误控制的参数之一。应当注意的是在国际专利申请No.PCT/US06/28365、PCT/US06/028366、PCT/US06/061815、以及PCT/US07/63335中描述的示例性时间预测结构均是嵌套的。虽然编码依赖性信息在SSEI(以及SSEI-DC)中被明确地编码，但它没有记录依赖性的时间范围。例如，结构200c和300具有相同的SSEI消息。
本发明的系统和方法在已编码比特流中包括明确的信息，该信息(a)指示时间级的依赖性的时间范围，以及(b)提供实施特定应用域和概况的嵌套操作的能力。
在本发明的一个实施例中，该信息包括一位标记，称作“时间级嵌套标记(temporal_level_nesting_flag)”，其置于SVC的序列参数集中。
图4示出根据本发明原理的JD7文本(章节G.7.3.2，序列参数集SVC句法)的相关章节的经修改句法400。所添加的标记(时间级嵌套标记)是该句法结构中的第一个。时间级嵌套标记的语义(置于JD7文本中的G.7.4.2、即序列参数集SVC扩展语义)定义成使：值0表示如果解码顺序中的随后参考图片具有较低的时间级值，则参考图片不应当用于层间预测；而值1表示没有设置这样的限制。在不会改变对比特流的结构施加的限制的情况下，语义的替代定义也是可能的。
在本发明的第二实施例中，相同的时间级嵌套标记被置于SSEI(SVCJD7，章节G.10.1.1)中，其具有另外的好处，即属于特定SVC比特流的所有可分级性信息存在于单个句法结构中。图5示出针对这种情况的经修改句法500。经修改句法500的语义与可应用于句法400的语义相同。
不论时间级嵌套标记是存在于SSEI还是存在于序列参数集中，媒体服务器或编码器、媒体网关、或接收器/解码器使用时间级嵌套标记涉及相同的操作。因为该操作对所有设备而言在两种情况下都相同，所以为简便起见，所有三类不同的设备在本文中被统称为“处理单元”。
图6示出示例性处理单元600的架构，其涉及NAL滤波。处理单元600在各个输入处接受SVC NAL单元，并在其输出处产生部分或全部输入NAL单元的拷贝。将哪个NAL单元转发至输出的决策在NAL滤波单元610处完成。在优选的架构中，NAL滤波单元610由可存储在RAM中的NAL滤波器配置(NFC)表620控制。NFC 620是三维表，其中三个维度T、D、以及Q对应于NAL的时间级(temporal_level)、依赖性id(dependency_id)、以及质量id(quality_id)。在图6中，表值在通过(PASS)列中示出。具有特定T、D、以及Q值的表条目中的值1表示NAL滤波单元610应当转发在其SVC首部中具有相同T、D、以及Q值的输入NAL单元。反之，值0表示它不应当转发特定输入NAL单元。因此，根据图6中所示的NFC 620，基层(T＝0、D＝0、Q＝0)允许转发至输出，但较高的时间层(T＝1)不允许转发至输出。
在准备期间，处理单元600通过在带内(从SVC比特流)信令或其它手段获得SSEI。SSEI被存储在RAM 640中以用于后来的操作。在获得SSEI之后，NFC 620可获得它的初始配置。例如，初始配置可以使所有NAL单元被传递至输出(未应用滤波)。这取决于特定应用。处理单元600还对存储当前操作时间级的TL存储器630设置初始值。
如图6所示，处理单元600还配备有附加输入，即时间级切换触发器650。此输入向NAL滤波单元610提供有关系统操作的所需时间级的信息。例如，时间级切换触发器650信号可具有正整数值、零、或负整数值，这些值分别表示在当前图片之后时间级应当增大所指示的量、保持不变、或减小所指示的量。
当NAL滤波单元610在特定图片处检测到时间级切换触发信号的负值时，它将此值与TL存储器630中所存储的当前操作时间级值相加，并重新配置NFC表620以反映所需的新的操作时间级。如果相加产生负值，则值0被存储在TL存储器630中。当NAL滤波单元610在特定图片处检测到正时间级切换触发器信号时，它首先检查时间级嵌套标记的值。如果该值是0，则在缺少另外的应用程序专用信息的情况下，NAL滤波单元610不能决定它是否能切换至所需的较高时间级，并且不采取行动。如果时间级嵌套标记的值是1，则时间级切换触发器信号被添加到TL存储器，而且NFC表被重新配置以反映所需的新操作级。如果TL存储器的新值大于比特流中所存在的最大时间级值，如在SSEI中反映的一样，则TL被设置成该最大时间级值。应当注意的是，通过解析在SSEI中包含的所有层信息并存储时间级[i]句法元素的最大值，可从SSEI获得最大时间级值。
图7示出NAL滤波单元610的操作的流程图700。在流程图700中，图例“触发器”指图6的时间级切换触发器650信号的值，而“TL_MAX”指从SSEI获得的最大时间级值。函数NFC(T，D，Q)返回针对T、D、以及Q值的特定组合的NFC 620的值。
应当注意的是，在其中所有组件有意地一起设计的系统中，有可能作出有关比特流结构的先验设想。在这些情况下，如果T、D以及Q值满足特定标准，则时间级向上切换也是可能的。NAL滤波单元610可被配置成当尝试执行时间级向上切换时纳入这样的标准，且选择在后来的图片上执行时间级向上切换，其中假定应用程序专用条件将被满足。
虽然相信已经描述的内容是本发明的优选实施例，但本领域普通技术人员将认识到可作出其它和进一步的改变和修改而不背离本发明的精神，而且目的是要求保护如落入本发明真实范围内的所有这些变化和修改。
应当理解的是，根据本发明，本文中所描述的技术可利用硬件和软件的任意合适组合来实现。用于实现和操作上述码率估计和控制技术的软件(即指令)可在计算机可读介质上提供，这些计算机可读介质可包括但不限于，固件、存储器、存储设备、微控制器、微处理器、集成电路、ASIC、可在线下载的介质、以及其它可用介质。

Claims (18)

1.一种用于通过通信网络在发送端点与一个或多个接收端点之间进行媒体通信的系统，所述系统包括：
在所述发送端点处的编码器或媒体服务器，其发送利用具有时间可分级性的可分级编码来编码的媒体；以及
在所述一个或多个接收端点处的解码器；
其中所述发送端点被配置成发送指示所述解码器处的时间级切换是否能在所发送的经编码媒体的任一帧处进行的切换信息，
其中所述切换信息是一位标记，即时间级嵌套标记(temporal_level_nesting_flag)，该时间级嵌套标记被置于H.264可分级视频编码SVC句法的序列参数集和可分级性信息SEI消息中的一个中，并被定义为：值0表示如果解码顺序中的随后参考图片具有较低的时间级值，则多个参考图片不应当用于层间预测；而值1表示没有设置这样的限制。
2.如权利要求1所述的系统，其特征在于，所述可分级编码遵循H.264SVC规范。
3.如权利要求1所述的系统，其特征在于，还包括调解所述发送端点与所述一个或多个接收端点之间的通信的至少一个可分级视频通信服务器SVCS、复合可分级视频通信服务器CSVCS、或多播可分级视频通信服务器MSVCS，所述至少一个SVCS、CSVCS、或MSVCS具有至所述发送端点、所述一个或多个接收端点、以及所述通信网络中的其它SVCS、CSVCS、或MSVCS的单独管理的连接。
4.如权利要求3所述的系统，其特征在于，所述至少一个SVCS、CSVCS、或MSVCS还被配置成通过以下步骤调解所述发送端点或所述至少一个SVCS、CSVCS、或MSVCS与所述一个或多个接收端点或所述通信网络中的其它SVCS、CSVCS、或MSVCS之间的通信：
检查所包括的指示所述解码器处的时间级切换是否能在所述解码器接收的所述经编码媒体的任一帧处进行的切换信息；以及
选择性地向所述一个或多个接收端点或所述通信网络中的其它SVCS、CSVCS、或MSVCS转发所接收的经编码媒体的具有最高达所需最大时间级的时间级且允许解码器正确解码所输出的经编码媒体信号的那些部分。
5.如权利要求4所述的系统，其特征在于，所述所需最大时间级根据所述通信网络中的可用网络比特率和由所述一个或多个接收端点提供的信息中的至少一个设置。
6.一种用于处理利用具有时间可分级性的可分级编码来编码的媒体的系统，所述系统包括：
接收经编码媒体信号的输入装置；以及
产生经编码媒体信号的输出装置，
其中所述系统被配置成接收指示解码器处的时间级切换是否能在经编码媒体信号的任一帧处进行的切换信息，还接收有关所需最大时间级的信息以包括在所输出的经编码媒体信号中，而且其中所述系统还被配置成在其输出处复制所输入的经编码媒体信号的对应于小于或等于所述所需最大时间级的时间级且允许所述解码器正确解码所输出的经编码媒体信号的那些部分，
其中所述切换信息是一位标记，即时间级嵌套标记(temporal_level_nesting_flag)，该时间级嵌套标记被置于H.264可分级视频编码SVC句法的序列参数集和可分级性信息SEI消息中的一个中，并被定义为：值0表示如果解码顺序中的随后参考图片具有较低的时间级值，则多个参考图片不应当用于层间预测；而值1表示没有设置这样的限制。
7.如权利要求6所述的系统，其特征在于，所述可分级编码遵循H.264SVC规范。
8.一种用于解码利用具有时间可分级性的可分级编码来编码的媒体的系统，所述系统包括：
解码器，
其特征在于，所述系统被配置成接收指示所述解码器处的时间级切换是否能在经编码媒体信号的任一帧处进行的切换信息，还接收有关所需最大时间级的信息以包括在经解码的输出媒体信号中，而且其中所述系统还被配置成解码所输入的经编码媒体信号的对应于小于或等于所述所需最大时间级的时间级且允许所述解码器正确解码所述经编码媒体信号的那些部分，
其中所述切换信息是一位标记，即时间级嵌套标记(temporal_level_nesting_flag)，该时间级嵌套标记被置于H.264可分级视频编码SVC句法的序列参数集和可分级性信息SEI消息中的一个中，并被定义为：值0表示如果解码顺序中的随后参考图片具有较低的时间级值，则多个参考图片不应当用于层间预测；而值1表示没有设置这样的限制。
9.如权利要求8所述的系统，其特征在于，所述可分级编码遵循H.264SVC规范。
10.一种用于通过通信网络在发送端点与一个或多个接收端点之间进行媒体通信的方法，所述方法包括：
在所述发送端点处，
发送利用具有时间可分级性的可分级编码来编码的媒体；以及
将指示时间级切换是否能在所发送的经编码媒体的任一帧处进行的切换信息包括在所述已发送媒体中，
其中所述切换信息是一位标记，即时间级嵌套标记(temporal_level_nesting_flag)，该时间级嵌套标记被置于H.264可分级视频编码SVC句法的序列参数集和可分级性信息SEI消息中的一个中，并被定义为：值0表示如果解码顺序中的随后参考图片具有较低的时间级值，则多个参考图片不应当用于层间预测；而值1表示没有设置这样的限制。
11.如权利要求10所述的方法，其特征在于，所述可分级编码遵循H.264SVC规范。
12.如权利要求10所述的方法，其特征在于，还包括使用至少一个可分级视频通信服务器SVCS、复合可分级视频通信服务器CSVCS、或多播可分级视频通信服务器MSVCS来调解所述发送端点与所述一个或多个接收端点之间的通信，所述至少一个SVCS、CSVCS、或MSVCS具有至所述发送端点、所述一个或多个接收端点、以及所述通信网络中的其它SVCS、CSVCS、或MSVCS的单独管理的连接。
13.如权利要求12所述的方法，其特征在于，所述至少一个SVCS、CSVCS、或MSVCS通过以下步骤调解所述发送端点或所述至少一个SVCS、CSVCS、或MSVCS与所述一个或多个接收端点或所述通信网络中的其它SVCS、CSVCS、或MSVCS之间的通信：
检查所包括的指示所述解码器处的时间级切换是否能在所述解码器接收的所述经编码媒体的任一帧处进行的切换信息；以及
选择性地向所述一个或多个接收端点或所述通信网络中的其它SVCS、CSVCS、或MSVCS转发所接收的经编码媒体的具有最高达所需最大时间级的时间级且允许解码器正确解码所输出的经编码媒体信号的那些部分。
14.如权利要求13所述的方法，其特征在于，还包括根据所述通信网络中的可用网络比特率和由所述一个或多个接收端点提供的信息中的至少一个设置所述所需最大时间级。
15.一种用于处理利用具有时间可分级性的可分级编码来编码的媒体的方法，所述方法包括：
在输入处接收经编码媒体信号；以及
在输出处产生经编码媒体信号，
其中接收经编码媒体信号包括接收指示解码器处的时间级切换是否能在经编码媒体信号的任一帧处进行的切换信息、而且还接收有关所需最大时间级的信息以包括在所输出的经编码媒体信号中，且其中产生经编码媒体信号包括复制所输入的经编码媒体信号的对应于小于或等于所述所需最大时间级且允许所述解码器正确地解码所输出的经编码媒体信号的那些部分，
其中所述切换信息是一位标记，即时间级嵌套标记(temporal_level_nesting_flag)，该时间级嵌套标记被置于H.264可分级视频编码SVC句法的序列参数集和可分级性信息SEI消息中的一个中，并被定义为：值0表示如果解码顺序中的随后参考图片具有较低的时间级值，则多个参考图片不应当用于层间预测；而值1表示没有设置这样的限制。
16.如权利要求15所述的方法，其特征在于，所述可分级编码遵循H.264SVC规范。
17.一种用于解码利用具有时间可分级性的可分级编码来编码的媒体的方法，所述方法包括：
接收指示解码器处的时间级切换是否能在经编码媒体信号的任一帧处进行的切换信息，并接收有关所需最大时间级的信息以包括在经解码输出媒体信号中；以及
解码所输入的经编码媒体信号的对应于小于或等于所述所需最大时间级的时间级且允许所述经编码媒体信号被正确解码的那些部分，
其中所述切换信息是一位标记，即时间级嵌套标记(temporal_level_nesting_flag)，该时间级嵌套标记被置于H.264可分级视频编码SVC句法的序列参数集和可分级性信息SEI消息中的一个中，并被定义为：值0表示如果解码顺序中的随后参考图片具有较低的时间级值，则多个参考图片不应当用于层间预测；而值1表示没有设置这样的限制。
18.如权利要求17所述的方法，其特征在于，所述可分级编码遵循H.264SVC规范。
CN200780043819.4A 2006-10-16 2007-10-12 用于在可分级视频编码中信令并执行时间级切换的系统和方法 Expired - Fee Related CN101573883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710165116.4A CN106982382B (zh) 2006-10-16 2007-10-12 用于在可分级视频编码中信令并执行时间级切换的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US82960906P 2006-10-16 2006-10-16
US60/829,609 2006-10-16
PCT/US2007/081217 WO2008048886A2 (en) 2006-10-16 2007-10-12 Systems and methods for signaling and performing temporal level switching in scalable video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710165116.4A Division CN106982382B (zh) 2006-10-16 2007-10-12 用于在可分级视频编码中信令并执行时间级切换的系统和方法

Publications (2)

Publication Number Publication Date
CN101573883A CN101573883A (zh) 2009-11-04
CN101573883B true CN101573883B (zh) 2017-03-01

Family

ID=39314754

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200780043819.4A Expired - Fee Related CN101573883B (zh) 2006-10-16 2007-10-12 用于在可分级视频编码中信令并执行时间级切换的系统和方法
CN201710165116.4A Active CN106982382B (zh) 2006-10-16 2007-10-12 用于在可分级视频编码中信令并执行时间级切换的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710165116.4A Active CN106982382B (zh) 2006-10-16 2007-10-12 用于在可分级视频编码中信令并执行时间级切换的系统和方法

Country Status (7)

Country Link
US (3) US8594202B2 (zh)
EP (1) EP2080275B1 (zh)
JP (2) JP2010507346A (zh)
CN (2) CN101573883B (zh)
AU (1) AU2007311178A1 (zh)
CA (2) CA2849697A1 (zh)
WO (1) WO2008048886A2 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
WO2007112384A2 (en) * 2006-03-27 2007-10-04 Vidyo, Inc. System and method for management of scalability information in scalable video and audio coding systems using control messages
CN101573883B (zh) * 2006-10-16 2017-03-01 维德约股份有限公司 用于在可分级视频编码中信令并执行时间级切换的系统和方法
KR20100030648A (ko) * 2007-06-26 2010-03-18 노키아 코포레이션 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
EP2025674A1 (de) 2007-08-15 2009-02-18 sanofi-aventis Substituierte Tetrahydronaphthaline, Verfahren zu ihrer Herstellung und ihre Verwendung als Arzneimittel
US8243117B2 (en) * 2008-09-26 2012-08-14 Microsoft Corporation Processing aspects of a video scene
US8804821B2 (en) 2008-09-26 2014-08-12 Microsoft Corporation Adaptive video processing of an interactive environment
KR20100071688A (ko) * 2008-12-19 2010-06-29 한국전자통신연구원 스케일러블 비디오 코딩 기반의 포괄적 비디오 접근을 위한스트리밍 서비스 장치 및 방법
KR101188563B1 (ko) 2009-05-21 2012-10-05 에스케이플래닛 주식회사 비대칭 스케일러블 다운로딩 방법 및 시스템
US8933024B2 (en) 2010-06-18 2015-01-13 Sanofi Azolopyridin-3-one derivatives as inhibitors of lipases and phospholipases
US8530413B2 (en) 2010-06-21 2013-09-10 Sanofi Heterocyclically substituted methoxyphenyl derivatives with an oxo group, processes for preparation thereof and use thereof as medicaments
TW201221505A (en) 2010-07-05 2012-06-01 Sanofi Sa Aryloxyalkylene-substituted hydroxyphenylhexynoic acids, process for preparation thereof and use thereof as a medicament
TW201215388A (en) 2010-07-05 2012-04-16 Sanofi Sa (2-aryloxyacetylamino)phenylpropionic acid derivatives, processes for preparation thereof and use thereof as medicaments
TW201215387A (en) 2010-07-05 2012-04-16 Sanofi Aventis Spirocyclically substituted 1,3-propane dioxide derivatives, processes for preparation thereof and use thereof as a medicament
EP2664075A4 (en) 2011-01-14 2015-08-19 Vidyo Inc ENHANCED NAL UNIT HEADER
US9113172B2 (en) 2011-01-14 2015-08-18 Vidyo, Inc. Techniques for describing temporal coding structure
AU2012205813B2 (en) * 2011-01-14 2016-07-07 Vidyo, Inc. High layer syntax for temporal scalability
WO2012111331A1 (ja) 2011-02-16 2012-08-23 パナソニック株式会社 映像符号化方法および映像復号方法
US20120230409A1 (en) * 2011-03-07 2012-09-13 Qualcomm Incorporated Decoded picture buffer management
CA2829493A1 (en) 2011-03-10 2012-09-13 Vidyo, Inc. Dependency parameter set for scalable video coding
WO2013037390A1 (en) 2011-09-12 2013-03-21 Sanofi 6-(4-hydroxy-phenyl)-3-styryl-1h-pyrazolo[3,4-b]pyridine-4-carboxylic acid amide derivatives as kinase inhibitors
WO2013045413A1 (en) 2011-09-27 2013-04-04 Sanofi 6-(4-hydroxy-phenyl)-3-alkyl-1h-pyrazolo[3,4-b]pyridine-4-carboxylic acid amide derivatives as kinase inhibitors
WO2013106521A2 (en) * 2012-01-10 2013-07-18 Vidyo, Inc. Techniques for layered video encoding and decoding
US9001178B1 (en) 2012-01-27 2015-04-07 Google Inc. Multimedia conference broadcast system
US8908005B1 (en) 2012-01-27 2014-12-09 Google Inc. Multiway video broadcast system
TWI616087B (zh) * 2012-01-31 2018-02-21 Ｖｉｄ衡器股份有限公司 可縮放高效率視訊編碼（ｈｅｖｃ）參考圖集（ｒｐｓ）傳訊
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
CN107566838B (zh) 2012-06-25 2020-03-31 华为技术有限公司 用于发信号通知渐进式时间层访问图片的方法
RU2641470C2 (ru) 2012-06-28 2018-01-17 Сони Корпорейшн Устройство передачи/приема, способ и устройство кодирования/декодирования
SG10201703069TA (en) * 2012-07-03 2017-05-30 Samsung Electronics Co Ltd Method and apparatus for coding video having temporal scalability, and method and apparatus for decoding video having temporal scalability
US20140098868A1 (en) 2012-10-04 2014-04-10 Qualcomm Incorporated File format for video data
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
EP3057330B1 (en) 2013-10-11 2020-04-01 Sony Corporation Transmission device, transmission method, and reception device
US9894370B2 (en) * 2014-03-24 2018-02-13 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
WO2021234132A1 (en) * 2020-05-22 2021-11-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video encoder, video decoder, methods for encoding and decoding and video data stream for realizing advanced video coding concepts
JP2023526661A (ja) 2020-05-22 2023-06-22 バイトダンス インコーポレイテッド 適合出力サブビットストリームの生成技術
EP4150900A4 (en) * 2020-06-09 2023-11-08 ByteDance Inc. SUB-BITSTREAM EXTRACTION OF MULTI-LAYER VIDEO BITSTREAMS
CN113259673B (zh) * 2021-07-05 2021-10-15 腾讯科技（深圳）有限公司 伸缩性视频编码方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6646578B1 (en) * 2002-11-22 2003-11-11 Ub Video Inc. Context adaptive variable length decoding system and method
CN1620820A (zh) * 2002-01-23 2005-05-25 诺基亚有限公司 视频编码中的图像帧编组

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085401B2 (en) 2001-10-31 2006-08-01 Infowrap Systems Ltd. Automatic object extraction
US20030123546A1 (en) 2001-12-28 2003-07-03 Emblaze Systems Scalable multi-level video coding
US6898313B2 (en) * 2002-03-06 2005-05-24 Sharp Laboratories Of America, Inc. Scalable layered coding in a multi-layer, compound-image data transmission system
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
JP3936707B2 (ja) * 2004-05-26 2007-06-27 日本電信電話株式会社 スケーラブル通信会議システム，サーバ装置，スケーラブル通信会議方法，スケーラブル通信会議制御方法，スケーラブル通信会議制御プログラムおよびそのプログラム記録媒体
US7522724B2 (en) 2005-01-07 2009-04-21 Hewlett-Packard Development Company, L.P. System and method of transmission of generalized scalable bit-streams
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
US7110605B2 (en) * 2005-02-04 2006-09-19 Dts Az Research, Llc Digital intermediate (DI) processing and distribution with scalable compression in the post-production of motion pictures
KR101125819B1 (ko) * 2005-10-11 2012-03-27 노키아 코포레이션 효율적인 규모가변적 스트림 조정을 위한 시스템 및 방법
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
CN101573883B (zh) 2006-10-16 2017-03-01 维德约股份有限公司 用于在可分级视频编码中信令并执行时间级切换的系统和方法
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
CN1620820A (zh) * 2002-01-23 2005-05-25 诺基亚有限公司 视频编码中的图像帧编组
US6646578B1 (en) * 2002-11-22 2003-11-11 Ub Video Inc. Context adaptive variable length decoding system and method

Also Published As

Publication number Publication date
JP5640104B2 (ja) 2014-12-10
CN106982382A (zh) 2017-07-25
CA2666601A1 (en) 2008-04-24
WO2008048886A3 (en) 2008-10-16
AU2007311178A1 (en) 2008-04-24
EP2080275B1 (en) 2019-03-20
EP2080275A4 (en) 2010-08-18
US20090116562A1 (en) 2009-05-07
US20140105309A1 (en) 2014-04-17
JP2013128308A (ja) 2013-06-27
CA2849697A1 (en) 2008-04-24
EP2080275A2 (en) 2009-07-22
US8594202B2 (en) 2013-11-26
JP2010507346A (ja) 2010-03-04
US8861613B2 (en) 2014-10-14
US20140133576A1 (en) 2014-05-15
WO2008048886A9 (en) 2008-08-28
WO2008048886A2 (en) 2008-04-24
CN106982382B (zh) 2020-10-16
CA2666601C (en) 2014-08-05
CN101573883A (zh) 2009-11-04

Similar Documents

Publication Publication Date Title
CN101573883B (zh) 用于在可分级视频编码中信令并执行时间级切换的系统和方法
RU2501179C2 (ru) Системы кодирования
CN101390399B (zh) 可伸缩视频编码中的图片的后向兼容聚合
CN101427573B (zh) 用于可缩放视频编码比特流的稀疏化的系统和方法
JP5143830B2 (ja) スケーラブルビデオコーディングされたビットストリームのデコーディング方法及び装置
CN101411080B (zh) 用于使用控制消息管理可缩放视频和音频编码系统中的可缩放性信息的系统和方法
CN105027567A (zh) 用于视频编码和解码的方法和装置
CN107431819A (zh) 用于可伸缩视频编码和解码的层间预测
CN104813660A (zh) 用于视频编码和解码的装置、方法和计算机程序
WO2007112384A2 (en) System and method for management of scalability information in scalable video and audio coding systems using control messages
JP2009540625A6 (ja) スケーラブルビデオコーディングビットストリームのシニングのためのシステムおよび方法
JP7223088B2 (ja) バーサタイルビデオコーディングのトラック符号化
CN116830573A (zh) 交叉随机访问点信令增强
JP7460790B2 (ja) 参照ピクチャ順序の制約
CN116648918A (zh) 视频解码器初始化信息
WO2013109126A1 (ko) 비디오 정보 전송 방법, 비디오 복호화 방법, 비디오 부호화기 및 비디오 복호화기
CN114760476B (zh) 视频解码器初始化信息信令
AU2012201235B2 (en) Systems and methods for signaling and performing temporal level switching in scalable video coding
INAMDAR PERFORMANCE EVALUATION OF GREEDY HEURISTIC
CA2763089A1 (en) System and method for management of scalability information in scalable video and audio coding systems using control messages

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170301

CF01 Termination of patent right due to non-payment of annual fee