CN101601296A - 使用套叠式模式标记的用于可分级视频编码的系统和方法 - Google Patents

使用套叠式模式标记的用于可分级视频编码的系统和方法 Download PDF

Info

Publication number
CN101601296A
CN101601296A CNA2007800393653A CN200780039365A CN101601296A CN 101601296 A CN101601296 A CN 101601296A CN A2007800393653 A CNA2007800393653 A CN A2007800393653A CN 200780039365 A CN200780039365 A CN 200780039365A CN 101601296 A CN101601296 A CN 101601296A
Authority
CN
China
Prior art keywords
prediction
coding unit
layer
control data
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800393653A
Other languages
English (en)
Other versions
CN101601296B (zh
Inventor
D·洪
A·埃尔夫瑟里阿迪斯
O·夏皮罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vidyo Inc
Original Assignee
Vidyo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vidyo Inc filed Critical Vidyo Inc
Publication of CN101601296A publication Critical patent/CN101601296A/zh
Application granted granted Critical
Publication of CN101601296B publication Critical patent/CN101601296B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供了利用特殊的层间预测模式(称为套叠式模式)的用于可分级视频编码的系统和方法。这些模式促进了编码器的具有改善的编码效率的加速操作。

Description

使用套叠式模式标记的用于可分级视频编码的系统和方法
相关申请的交叉引用
本申请要求2006年10月23日提交的美国临时专利申请S/N60/862,510的优先权。此外,本申请与国际专利申请No.PCT/US06/028365、PCT/US06/028366、PCT/US06/028367、PCT/US06/027368、PCT/US06/061815、PCT/US06/62569、PCT/US07/80089、PCT/US07/062357、PCT/US07/65554、PCT/US07/065003、PCT/US07/63335、以及PCT/US07/81217相关。共同转让的所有这些上述申请的全部内容通过引用结合在本文中。
发明领域
本发明涉及视频通信系统。具体而言,本发明涉及使用可分级视频编码技术的通信系统,在可分级视频编码技术中使用两层或更多层来表示按照信号的时域、质量或空域分辨率处于相应的保真水平的给定视频信号。
发明背景
针对编码效率的一般改进的新数字视频编码技术具有多种新结构特性。具体而言,一个重要的新特性是可分级性(scalability)。在可分级编码中,一个特别而重要的新特性是可分级性。在可分级编码中,原始或源信号使用两个或更多分层地结构化的比特流来表示。分层结构意味着给定比特流的解码取决于在该分层结构中更低的某些或所有其它比特流的可用性。每一比特流及其所依赖的比特流提供了对原始信号的在特定时域、质量(即,在信噪比即SNR方面)、或空域分辨率下的表示。
应当理解的是,术语“可分级”不是指在数量方面的量值或数值范围,而是指编码技术提供一组不同的比特流的能力,这些不同的比特流一般对应于原始或源信号的在不同“等级”的分辨率或其它质量下的表示。被称为可分级视频编码(SVC)的ITU-T H.264附录G规范是提供时间、质量、或空间维度三者中的视频编码可分级性的视频编码标准的示例。SVC是H.264标准(也称为高级视频编码即AVC)的扩展。也提供所有这三种类型的可分级性的较早标准的示例是ISO MPEG-2(还公布为ITU-T H.262)。ITU G.729.1(也称为G.729EV)是提供可分级音频编码的标准的示例。在共同转让的国际专利申请PCT/US06/028365中描述了专门为诸如视频会议之类的交互式视频通信应用设计的可分级视频编码技术。
将可分级性的概念引入视频和音频编码中作为对流传送和广播中的分发问题的解决方案,且为了使给定的通信系统与不同的接入网络(例如以不同的带宽连接的客户机)、网络状况(例如带宽波动)、以及客户机设备(例如使用大监视器的个人计算机相对于具有小得多的屏幕的手持设备)一起工作。
共同转让的国际专利申请PCT/US06/028365描述了被称为可分级视频通信服务器(SVCS)的新型服务器的设计。SVCS能有利地将可分级编码的视频用于高质量和低延迟的视频通信,且相比于传统切换或转码多点控制单元(MCU)具有显著降低的复杂程度。同样,共同转让的国际专利申请PCT/US06/62569描述了一种复合可分级视频编码服务器(CSVCS),其具有与SVCS相同的优点但产生单个已编码输出比特流。国际专利申请PCT/US07/80089描述了一种多播可分级视频编码服务器(MSVCS),其具有与SVCS相同的优点但利用可用的多播通信信道。在以下说明中为方便起见,这三种不同类型的服务器(SVCS、CSVCS、以及MSVCS)将共同被称为SVCS,除非另外说明。
可分级视频编码设计和SVCS架构可按照更有利的方法来使用,在共同转让的国际专利申请PCT/US06/028367、PCT/US06/027368、PCT/US06/061815、PCT/US07/062357、以及PCTUS07/063335中描述了这些方法。这些申请分别描述了可分级编码技术和SVCS架构用于服务器之间的有效中继、减少抖动缓冲延迟、误差复原和随机访问、用来提高编码效率且减小分组丢失的可分级视频比特流的“细化(thinning)”、以及码率控制的使用。另外,共同转让的国际专利申请PCT/US07/65554描述了用于在可分级视频编码格式和其它格式之间转码的技术。
典型的可分级视频编码系统中的分层编码过程遵循金字塔设计。第一基本层利用适合于单层编码的基线编码技术来构造。在SVC的情况下,该基本层利用H.264AVC来编码。按此方法编码基本层具有的好处是,最低可分级层与仅能处理不可分级视频的系统后向兼容。附加层(称为增强层)通过对原始信号与较低层的已解码输出之间的差异的进一步编码来构造。该过程类似于对原始信号的连续逼近。
各个附加增强层提高了已编码信号在三个可能的保真维度之一中的保真度:时间、质量(或SNR)、或空间。时间增强在被添加到基本层时提供具有更高的每秒图像或帧数(fps)的信号表示。在质量可分级性中空间或时间分辨率都不会被改变;相反,残差编码误差以更精细的量化来进一步编码。因为更精细的量化将导致更高的SNR,所以这种形式的可分级性通常被称为SNR可分级性。SNR可分级性进一步被划分成粗粒度和细粒度可分级性(分别是CGS和FGS)。它们的差别在于,在后一种情况下使用嵌入的编码方案对残差编码误差编码,从而即使在解码过程中仅使用增强层的一小部分,也能允许较低层SNR的改善。来自FGS层的可用比特越多,对较低层的SNR的改善越好。为此,该技术也被称为“渐进式精细化(progressive refinement)”。在CGS中,整个增强层在解码期间一般都必须可用。最后,空间增强提供较高空间分辨率下的信号表示(例如CIF相对于QCIF)。应当注意的是,为了构造残差编码误差,即原始信号与较低层的已解码输出之间的差异,较低层的输出必须被升采样至原始信号的分辨率。
视频编码中的高编码效率通过利用用于预测图像内容的有效模型,加上所得预测误差的适当变形(例如利用离散余弦变换或整数逼近)、量化、以及对所得量化水平和由预测和编码过程产生的副信息的熵编码来实现。一种用于产生给定视频信号的多个表示的简单机制可以是创建原始信号的相应子集的两个或更多个单独的编码。此技术通常被称为同播(simulcasting)。可分级视频编码通过将较低层用作较高层的编码的预测参考可达到相比于同播更高的编码增益。该层间预测利用了在视频信号的三个维度上存在的固有冗余。因此在可分级视频编码器中,通过附加的预测模式选项使较低层数据可用。这些附加选项在编码器最小化已编码视频信号的失真同时保持给定的比特预算的任务中给予编码器更多的灵活性。同时应当注意的是,因为要检查更多的可能性,所以附加选项会使编码任务更加复杂。
SVC的一个重要特征是使用了单循环解码。这通过将编码器限制为仅将可通过解析比特流直接或的较低层数据用于层间预测来实现。换言之,解码较高层的解码器不需要完全解码较低层(即重构实际像素),而仅需要解析较低层的比特流数据。这显著地降低了解码器的计算要求,而且是相对于诸如MPEG-2中使用的编码设计之类的较早的可分级编码设计的重大改进。
不过即使在单循环解码的情况下,可分级编码中的解码器的任务在计算上要求仍很高,因为对于每一层的每一个宏块(MB)或宏块分区,编码器都必须根据预测模式、运动向量、以及量化器设置作出决策。计算需求在诸如视频会议之类的实时应用中甚至会更加明显,因为图像在视频会议中必须在给定的时间量内以极小延迟来处理。
当前考虑的事项是要改进可分级视频编码系统以便可执行计算上高效的编码。具体而言,所关注的涉及通过在已编码视频信号中对预测模式的适当信令来改进编码效率。
发明概述
提供了利用特别的层间预测模式(称为套叠式模式(telescopic mode))的用于可分级视频编码的系统和方法。这些模式促进了编码器的具有改善的编码效率的加速操作。
一种可分级视频通信系包括适用于或被配置成用于套叠式模式操作的解码器和编码器。解码器接收具有增强目标层和其它层的已编码单元组的可分级数字视频比特流。该数字视频比特流包括与已编码单元组关联的控制数据(包括预测控制数据),以及与各单独的已编码单元相关联的控制(包括预测)、纹理、或运动数据。解码器解码与目标层和至少一个附加层的已编码单元组相关联的控制数据,以及与目标层和至少一个附加层的各单独的已编码单元相关联的控制、纹理、或运动数据。耦合到解码器的预测器如与目标层或至少一个附加层的已编码单元组相关联的预测控制数据用信号通知地、或根据与目标层或至少一个附加层的各单独的已编码单元相关联的预测控制数据,来生成对目标层的多个已编码单元的控制、纹理、或运动数据的预测参考。组合器将所生成的预测参考与相应的与目标层的多个已编码单元相关联的已解码的控制、纹理、或运动数据相组合以产生对应于目标层的多个已编码单元的已解码图像。
与目标层或至少一个附加层的已编码单元组相关联的预测控制数据以及与目标层或至少一个附加层的各单独的已编码单元相关联的预测控制数据包括层间预测控制数据。预测器被配置成当数字视频比特流中不存在与目标层的已编码单元组的各单独的已编码单元相关联的相应层间预测控制数据时使用由与目标层的已编码单元组相关联的层间预测控制数据所指示的值。
编码器接收要发送的数字视频输入图像。可任选的降采样器可生成输入图像的在较低分辨率下的经将采样的图像。耦合至可任选工作的降采样器或输入的第一预测估计器和提供要用作参考图像的多个先前解码的基本层图像的第一组合器生成与该(可任选地经降采样的)图像的多个已编码单元相关联的第一组控制(包括预测)和运动数据预测参考、或与该(可任选地经将采样的)图像的已编码单元组相关联的控制数据(包括预测控制数据),并生成对应于已编码单元的第一预测参考图像的各部分。
耦合至第一预测估计器和可任选将采样器或输入的第一比较器计算(任选地经将采样的)输入图像与第一预测参考图像的各部分之间的差异,并生成与(可任选地经将采样的)输入图像的多个已编码单元相关联的第二组控制(包括预测)和纹理数据、以及与(任选地经将采样的)输入图像的已编码单元组相关联的控制(包括预测)数据。耦合至第一比较器和第一预测估计器的第一组合器将所生成的第二组控制(包括预测)和纹理数据与其在第一预测参考图像中的相应部分相组合以生成新的基本层已解码图像的相应部分。
耦合至输入的第二预测估计器和提供要用作参考图像的多个先前已解码的增强层图像的第二组合器生成与该输入图像的多个已编码单元相关联的第三组控制(包括预测)和运动数据预测参考、或与该输入图像的已编码单元组相关联的控制数据(包括预测控制数据),并生成对应于已编码单元的第二预测参考图像的各部分。
耦合至第二预测估计器和输入的第二比较器计算输入图像与第二预测参考图像的各部分之间的差异,并生成与输入图像的多个已编码单元相关联的第四组控制(包括预测)和纹理数据、以及与输入图像的已编码单元组相关联的控制(包括预测)数据。
耦合至第二比较器和第二预测估计器的第二组合器将所生成的第四组控制(包括预测)和纹理数据与其在第二预测参考图像中的相应部分相组合以生成新的增强层已解码图像的相应部分。
编码器对第一组控制(包括预测)和运动数据以及第二组控制(包括预测)和纹理数据进行编码以产生基本层比特流,对第三组控制(包括预测)和运动数据和第四组控制(包括预测)和纹理数据进行编码以产生增强层比特流,并将这些数据多路复用成单个输出比特流。
第三和第四组控制数据包括层间预测控制数据。第二预测估计器和第二比较器对输入图像的一个或多个已编码单元组中的层间预测控制数据值进行设置,以使输入图像的已编码单元中与输入图像的一个或多个已编码单元组相关联的相应层间预测控制数据值不被发送。
附图简述
图1是可分级视频通信系统的示例性架构的示意性图解。根据本发明的原理,该系统可具有类似于常规系统的设计,但其组件还被配置成提供套叠式模式操作。
图2是AVC单层视频编码器的常规结构的示意性图解。根据本发明的原理,该系统可具有类似于常规系统的块设计,但它还被配置成提供套叠式模式操作。
图3是AVC单层视频解码器的结构的示意性图解。根据本发明的原理,该系统可具有类似于常规系统的块设计,但它还被配置成提供套叠式模式操作。
图4是具有三个质量可分级性层的常规SVC可分级视频编码器的结构的示意性图解。根据本发明的原理,该系统可具有类似于常规系统的块设计,但它还被配置成提供套叠式模式操作。
图5是具有三个空间可分级性层的常规SVC可分级视频编码器的结构的示意性图解;
图6是根据本发明的原理的用于在SVC JD7编解码器中使用自适应预测标记的示例性语法和语义修改的图解;以及
图7是根据本发明的原理的用于在SVC JD8编解码器中提供完整的套叠式模式标记的示例性语法和语义修改的图解。
除非另外指明,否则全部附图中的相同附图标记和符号用来表示所示实施例的相同特征、元素、组件、或部分。而且,当现在将参考附图来具体描述本发明时,这一描述是结合说明性实施例来完成的。
本发明的详细描述
提供了利用特殊的层间预测模式(称为套叠式模式)的用于可分级视频编码的系统和方法。
图1示出使用可分级编码的视频通信系统100的示例性架构。通信系统100包括可分级视频编码器110,其在通信网络120上与可分级视频解码器130通信。在通信系统100的优选实施例中,使用H.264SVC编码格式(‘SVC’)来进行视频通信。(参见例如SVC JD7规范,T.Wiegand、G.Sullivan、J.Reichel、H.Schwarz、M.Wien编辑的“联合草案7:可分级视频编码(Joint Draft 7:Scalable Video Coding)”,联合视频小组,案卷JVT-T201,克拉根福,2006年7月,其全部内容通过引用结合于本文中)。SVC是H.264视频编码标准(“AVC”)的可分级视频编码扩展(附录G)。
经SVC编码的比特流可被结构化成数个分量或层。基本层提供在某一基本保真度下的源信号表示。附加层(增强层)提供在另外的可分级维度(例如时间、质量、或空间)下的改善的信号表示的信息。已编码比特流的层通常以金字塔结构来形成,在该结构中层的解码需要一个或更多个较低层的存在。
应当注意的是,AVC标准通过使用参考图像列表和相关联的参考图像列表重排序(或MMCO)命令已经支持时间可分级性。SVC流的最底层通过设计与AVC规范兼容。
继续参考图1,可分级视频编码器的输出包括两层,层0和层1,其中层0是基本层而层1是增强层。虽然图1为简单起见仅示出两个示例性层,但应能理解本发明可无限制地适用于具有任意数量的空间或质量增强层的情况。同样,虽然图1将两层示为作为单独的流在单个通信网络120上传送,但应能理解对应于这两层的流可按照多种可能的配置在任意数量的实际网络连接上传送。这些可能的配置例如可包括其中所有流都被多路复用到一起以便传送的配置、和其中多于实际数量的空间或质量层在进行数据的进一步多路分解时(例如当使用数据划分时、或当数据基于其低层时间分层被多路分解时)被传送的配置。
图2示出包括块202-218的AVC单层视频编码器200的设计或架构。所示设计是具有运动补偿的基于块的混合编码的典型代表,其基本包括所有的标准视频编解码器,不过在AVC编码器中每一块具有明显更多的操作选项。已编码比特流包括经多路复用的纹理数据(经量化的变换系数)、运动数据、以及针对高编码效率来熵编码的控制数据。纹理数据是在使用运动补偿的或帧内预测之后得到的经量化的残差预测误差,而运动数据是执行经运动补偿的预测所必需的数据(运动向量差值等)。如同任意预测编码方案一样,编码器在其预测循环中包含解码器。在图2中,编码器200的解码器组件(即块206-214)被放置于解码器子单元200A中。
图3示出独立AVC解码器300的设计或架构。AVC解码器300的设计与图2中所示的解码器子单元200A相同,其中仅有的区别是还包括熵解码器/多路分解器310(它在编码器中不是必需的)。应当注意的是,图3中所示的解码器子单元200A的块206-214的位置已被重新安排以便改善可读性。
确定编码器的效率和复杂程度的关键操作单元是它的编码控制和运动估计单元(例如编码器控制单元202和运动估计单元216,图2)。编码器控制单元负责决定合适的操作模式以针对给定比特率最大化质量(或等效地最小化编码失真)。运动估计单元协同编码器控制单元一起工作,这表现在后者影响前者的估计过程。运动估计是视频编码中计算强度最大的运算,尤其是在具有四分之一像素支持的现代编解码器中。
可分级视频编解码器可通过将单层编解码器用作基础利用金字塔结构来构造。在共同转让的国际专利申请PCT/US06/028365中描述了专门为诸如视频会议之类的交互式视频通信应用设计的可分级视频编码技术。在其中SVC被用作可分级视频编解码器的本发明的优选实施例中,增强层同样建立在AVC基本层之上。
图4示意性地示出具有三个质量层的针对质量可分级性的常规SVC编码器400的示例性结构。在SVC编码器400中,最低层与AVC兼容(通过设计)。对于增强层的编码过程可将较低层数据用于层间预测,这在该图中通过标记为“层间预测”的垂直箭头来表示。根据SVC的单循环设计原理,可用于层间预测的数据类型是帧内、运动、和残差数据。所得的增强层纹理和运动数据被类似地编码到基本(AVC)层。虽然图4将不同层数据示为在单个输出比特流中一起多路复用,但不同层比特流可在任意数量(例如,如果使用了数据划分或者如果层还包括时间可分级性分量,则包括大于层数量的数量)的信道上发送。
图5示意性地示出具有三个空间层的针对空间可分级性的SVC编码器500的示例性结构。针对空间可分级性的SVC编码器500不同于针对质量可分级性的SVC编码器400,它与图4仅有的差别是前者的输入被降采样以便构造两个较低的空间层。同样,最低层与AVC兼容,且层间预测过程可使用来自较低层的帧内、运动、和残差数据,这些数据都针对参考层的目标分辨率进行了适当缩放或升采样。对应于图4和图5中所示的编码器400和500的针对质量和空间可分级性的解码器分别与图3中所示的解码器300基本相同,除添加的层间预测模式可用和将升采样/缩放用于空间可分级性中的纹理/运动数据之外。
诸如编码器400和500之类的单层和可分级的视频编码器中的关键工程设计问题是计算复杂程度相对于压缩效率的折衷。在所有视频编码标准中,标准规范仅指定比特流的结构和解码过程;编码过程保留未指定。此外,视频编码标准不提供针对编码器设计中的高效编码策略的任意指导。
本文中所描述的本发明的系统和方法涉及促进可分级的视频编码器的加速操作以及对解码器的适当信令和改善的编码效率。
视频编码器(单层或可分级)在编码图像数据时必须作出数个决策。对于每个宏块(MB),编码器必须作出有关帧内/帧间编码、预测模式选择、运动模式和向量选择、量化器选择等等的决策。在缺少其它制约因素的情况下,编码器的目标是作出这些决策以最小化已编码信号的失真同时将输出比特率保持在给定的约束条件内。此过程被称为认识到编码器寻求对给定码率最小化失真时的码率-失真优化(RDO)。不过,优化问题的维度非常大。通常在有效编码器的设计中使用快速的、次优的算法和试探。应当注意的是,在真实的视频编码系统中,感知因素会规定编码器中的决策以获得对于人类观察者而言更愉悦的结果,但这些决策实际上增加了如按照峰值信噪比(PSNR)来表述的量化失真。这些决策通常是应用专用的。例如,对于针对广播和视频会议应用而调谐的两个编码器可使用不同的配置,因为这两个编码器的主题和工作比特率是极其不同的。
编码过程可由决策树来表示,编码器必须遍历该决策树以针对特定的MB、图像、或图像组作出最终编码决策。具体而言,对于可分级视频编码,该树的大小要显著大于用于单层编码器的决策树的大小,因为不仅必须针对基本层(等效于单层编码器),还须针对存在的每个增强层来作出决策。因此计算需求相当高,而且重要的是提供不具有用于完全考虑所有编码选择的足够计算资源的编码器能够得到合适的简化编码策略的方法。合适的编码策略的实现对于需要实时和低延迟操作的实时、对话服务尤其重要。例如在实况广播编码器的情况下,合适的简化编码策略可认识到编码器必须实时工作,但它的延迟要求要松得多。对于实现同样重要的是编码器必须能够向解码器发信号通知这一简化编码策略的结果而不会不利地影响编码性能。
计算需求通常在编码标准开发中未作为关键设计因素来考虑,且这样的编解码器的开发是利用模拟软件来执行,该模拟软件允许运行所需长的时间以获得优化的编码效率结果(例如每张图像一个小时或更长)。因此,根据这些标准的比特流的常规设计不满足加速编码器决策制定的需要,这表现在简化编码策略中的信令会招致显著的比特率开销。
根据本发明,针对可分级视频编码的特定类型的加速决策制定是在本文中被称为“套叠式(telescopic)”操作的技术。利用此技术,通过摒除对增强层的编码决策的完全优化、并取而代之利用在基本层中作出的决策,实现了加速的编码器操作。虽然对此类决策的进一步精细化可能会实现改善的编码效率,但它们已经表现出非常好的计算复杂度相对于编码效率的折衷。此技术对于场景活动一般较低的视频会议素材尤其有效。
SVC JD7中的编解码器是AVC设计(ITU-T Rec.H.264|ISO/IEC14496-10版本4,“针对一般视听服务的高级视频编码(Advanced videocoding for generic audiovisual services)”,2005,其全部内容通过引用结合在本文中且被称为“AVC规范”)的扩展。AVC规范的文本实际上是SVC JD7的文本的组成部分,而SVC扩展构成AVC规范的新附录G。如较早所述,SVC比特流中的基本层通过设计是与AVC兼容的比特流。AVC规范的章节7.3.3(片首部句法)、7.3.4(片数据句法)、以及7.3.5(宏块层句法),包括其各子部分,定义了已编码图像数据的详细句法。片首部(章节7.3.3)包括影响整个片的参数,诸如片中的第一宏块的地址的指示符(first_mb_in_slice)、片类型(I、P、B、S、或SP)、影响片中的所有宏块的量化器设置(slice_qp_delta)、以及解块滤波器设置、加权表、和参考图像列表重排序命令。片数据(章节7.3.4)句法特别地允许从当前片中跳过多个初始宏块。实际宏块数据在章节7.3.5中描述。该数据包括定义对当前宏块所使用的预测模式的宏块类型(mb_type)、发信号通知对应于当前宏块的多个色度和亮度块的哪一个具有非零变换系数的已编码块模式、以及在当前宏块处开始的有效量化器设置(mb_qp_delta)。
宏块类型是关键的参数,因为它发信号通知编码器已选择多个预测模式的哪一个来对当前宏块编码。SVC JD7表7.11至7.14总结了AVC中可用的宏块类型。例如,对于P片(表7.13),模式1对应于预测模式′P_L0__L016x8′,其中16×16宏块被拆分成两个16×8区,且使用两个运动向量来根据第一参考图像列表(L0)中包含的参考图像预测每一部分。实际运动向量数据(mvd_10,编码为差异)在章节7.3.5.1中示出,且如果所使用的参考图像不是缺省时包括其可任选索引(ref_idx_10)。预测过程的结果是由章节7.3.5.3和相关联的子章节中描述的句法表示的残差数据。
SVC JD7规范中的增强层的相应结构在章节G.7.3.3至G.7.3.7中定义。这些结构类似于AVC中使用的那些结构,但具有针对SVC中存在的增加的选项的附加数据。一般而言,它们的设计使较低层中存在的数据可用于当前层的编码。换言之,已编码比特流参数可通过直接引用它们而不是对其重新编码(层间预测)以在较高层中重复使用。对于单循环解码,这排除了仅能通过完全解码而获得的数据,因为它们会使低于当前层的层的完整解码循环的可用性成为必需从而导致多循环设计。
尤其重要的是片首部参数base_id_plus1(章节G.7.3.4),其标识了在使用层间预测时用于当前层的参考层。应当注意的是,参数base_id_plus1不是指整个比特流的基本层,而仅指用作用于预测当前层的基础或参考的特定层。这些参数按照空间可分级性层、质量可分级性层、以及片段顺序(当使用FGS或渐进细化片时)对参考层的坐标进行联合编码。如果base_id_plus1的值为零时,则不使用层间预测(例如在最低层中)。
当使用层间预测时(即当base_id_plus1不为零时),在比特流中存在参数自适应预测标记(adaptive_prediction_flag)(章节G.7.3.4)。该自适应预测标记通过控制参数基本模式标记(base_mode_flag)的存在和值来影响如何在宏块层中使用层间预测(章节G.7.3.6)。当设置了基本模式标记时,则宏块类型、参考索引、以及运动向量在适用时从相应的参考(基本)层宏块中推断。
片的每一宏块的基本模式标记的存在通过自适应预测标记在片级控制。当未设置自适应预测标记时,则不需要发送基本模式标记。对于基本模式标记推断值1(置位),从而强制所有宏块(在裁剪窗口内,即,当相应的较低层数据在基本层中存在时)使用基本层模式和运动信息。因此通过将自适应预测标记置为零,可实现片宽(slice-wide)套叠式模式预测,其中基本层决策和数据在增强层中被重复使用。基本模式标记的消除还导致对于利用CAVLC熵编码的30fps的CIF序列能节省约12Kbps。
不过,如章节G.7.3.6.3所见,SVC JD7设计的显著缺点是当未设置自适应预测标记时,则残差预测标记(residual_prediction_flag)被推断为对每一宏块都是设置的片宽。与非帧内宏块相关的残差预测标记表示增强残差信号是从基本宏块(或子宏块)的(可能经升采样的)重构的残差信号来预测的。然而,不论是否使用自适应预测都始终强制使用残差预测会降低编码效率。同样,无论是否使用自适应预测都强制残差预测始终关闭的替代方案又会降低给定比特率的质量。
利用标准测试序列的扩展性实验结果指出,对一切情况而言,当在宏块的基础上设置残差预测时的码率-失真曲线始终高于将残差预测设置为始终开或始终关时的相应曲线。等效地,对于给定的比特率且在不使用自适应预测时(自适应预测标记被设置为零),能够自适应地使用残差预测相比于残差预测始终开或始终关的情况能导致更高的PSNR。
实验结果示出要使编码器能使用套叠式模式决策并高效地将其发信号通知给解码器,各种预测模态必须是:a)在片首部发信号通知以便片宽的使用,以及b)通过独立的标记发信号通知以消除不同模态的耦合。片级的信令模式决策允许消除宏块或宏块分区级的相应信令,这将导致压缩效率提高。
在其中使用了SVC JD7的本发明的示例性实施例中,片首部可用新的标记自适应残差预测标记(adaptive_residual_prediction_flag)来扩充。当此标记未被设置时(即设置为零),则对片的每一个宏块采用残差预测标记的默认值。在本发明的示例性实现中的残差预测标记的默认值被设置为1。
图6示出本发明的优选实施例中的应用于SVC JD7编解码器的示例性句法和语义600。对SVC JD7规范的审视同样揭示出运动相关层间预测标记,即运动预测标记10(motion_prediction_flag_10)和运动预测标记11(motion_prediction_flag_11)(章节G.7.3.6.1和G.7.3.6.2)也是加速的编码器操作的可能目标。这些标记(当被设置为1时)表示(可能经缩放的)基本运动向量被用作它(们)所属的宏块(或宏块分区)的(多个)运动向量的列表0(或相应地,列表1)的(多个)运动向量预测器。同样,对于涉及纹理预测的残差预测标记,对于片的所有宏块或宏块分区允许层间运动预测在片级设置是有利的。
为提供编码器针对片中的所有宏块或宏块分区打开或关闭层间预测标记的更多灵活性,在片级对应在相应的标记未在每一宏块或宏块分区中自适应地设置时使用的默认值进行编码是有利的。这样的在片级编码既可应用于基本模式标记又可应用于运动预测标记。不过,当默认基本模式标记被设置为1时,运动预测标记是无用的且不需要被发送。这些标记的组合对编码器和解码器提供完全的套叠式模式支持。
图7示出应用于其中对SVC JD8编解码器(参见T.Wiegand、G.Sullivan、J.Reichel、H.Schwarz、M.Wien编辑的“联合草案8:可分级视频编码(Joint Draft 8:Scalable Video Coding)”,联合视频小组,案卷JVT-U201,杭州,2006年10月,其全部内容通过引用结合于本文中)添加完整的套叠式模式支持的情况的本发明的优选实施例的示例性句法和语义700。为本发明的目的,SVC JD8和JD7之间的主要差别是,在JD8中NAL单元首部标记,即基本层标记(layer_base_flag)指定(当被设置为1时)对当前片段没有使用(编码模式、运动、采样值、和/或残差预测的)层间预测,而且参数base_id_plus1被重新命名为base_id。
作为示例,为了发信号通知解码器增强层是利用基本层信息编码的,自适应预测标记应被设置为0,默认基本模式标记(default_base_mode_flag)应被设置为1,而自适应残差预测标记应被设置为0。标记自适应运动预测标记(adaptive_motion_prediction_flag)和默认运动预测标记(default_motion_prediction_flag)未被使用,且未被编码。增强层片的宏块(使用SVC JD8规范)将仅包含已编码块模式(coded_block_pattern)数据,该数据指示在其相应的亮度或色度块的任一个中不存在非零系数。通过将一附加标记引入片首部可免去发送已编码块模式数据的需要,该附加标记指示对当前片将不发送任何宏块数据,且将使用上述套叠式模式标记配置。
虽然在本文中在SVC视频编码标准的上下文中描述了本发明的技术,但本发明的原理可应用于使用层间预测的任意可分级视频编码方案。另外,本发明的技术可应用于视频比特流的任意已编码单元,诸如图像或图像组,且不仅限于片级。同样,该技术可应用于当对其发信号通知了预测模式的最小已编码单元不同于宏块时的情况(例如包括已编码单元的甚至是任意形状的块或任何其它结构)。
虽然相信已经描述的内容是本发明的优选实施例,但本领域普通技术人员将认识到可作出其它和进一步的改变和修改而不背离本发明的精神,而且目的是要求保护如落入本发明真实范围内的所有这些变化和修改。
应当理解的是,根据本发明,本文中所描述的技术可利用硬件和软件的任意合适的组合来实现。用于实现和操作上述码率估计和控制技术的软件(即指令)可在计算机可读介质上提供,这些计算机可读介质可包括但不限于,固件、存储器、存储设备、微控制器、微处理器、集成电路、ASIC、可在线下载的介质、以及其它可用介质。

Claims (21)

1.一种用于可分级数字视频的解码的系统,所述系统包括:
被配置成接收可分级数字视频比特流的输入,所述可分级数字视频比特流包括质量或空间增强目标层和至少一个附加层的已编码单元组,所述数字视频比特流包括与已编码单元组相关联的控制数据(包括预测控制数据),以及与各单独的已编码单元相关联的控制(包括预测)、纹理、或运动数据;
耦合至所述输入的解码器,其中所述解码器被配置成解码与所述目标层和所述至少一个附加层的已编码单元组相关联的控制数据,以及与所述目标层和所述至少一个附加层的各单独的已编码单元相关联的控制、纹理、或运动数据;
耦合至所述解码器的预测器,其中所述解码器被配置成根据用信号通知的与所述目标层或所述至少一个附加层的已编码单元组相关联的预测控制数据、或根据与所述目标层或所述至少一个附加层的各单独的已编码单元相关联的预测控制数据,来生成对所述目标层的多个已编码单元的控制、纹理、或运动数据的预测参考;以及
耦合至所述预测器的组合器,其中所述组合器被配置成将所生成的预测参考与相应的已解码的与所述目标层的多个已编码单元相关联的控制、纹理、或运动数据相组合,以产生对应于所述目标层的多个已编码单元的已解码图像的各部分,
其中与所述目标层或所述至少一个附加层的已编码单元组相关联的预测控制数据,以及与所述目标层或所述至少一个附加层的各单独的已编码单元相关联的预测控制数据包括层间预测控制数据,且其中所述预测器被配置成当在所述数字视频比特流中不存在与所述目标层的已编码单元组的各单独的已编码单元相关联的相应的层间预测控制数据时,使用由与所述目标层的已编码单元组相关联的层间预测控制数据所指示的值。
2.如权利要求1所述的系统,其特征在于:
接收到的数字视频比特流符合SVC JD8规范,在所述SVD JD8规范中,已编码单元对应于宏块或宏块分区且已编码单元组对应于片,所述SVC JD8规范被扩展以使得:
与宏块或宏块分区相关联的层间预测控制数据包括残差预测标记参数;以及
与片相关联的层间预测控制数据包括自适应残差预测标记参数,
其中所述解码器还被配置成不对未设置所述自适应残差预测标记参数的片的宏块或宏块分区中的残差预测标记参数解码,且其中所述预测器还被配置成对所述片的所有宏块或宏块分区的残差预测标记参数采取默认值。
3.如权利要求1所述的系统,其特征在于:
接收到的数字视频比特流符合SVC JD8规范,在所述SVD JD8规范中,已编码单元对应于宏块或宏块分区且已编码单元组对应于片,所述SVD JD8规范被扩展以使得:
与宏块或宏块分区相关联的层间预测控制数据包括基本模式标记参数;
与片相关联的层间预测控制数据包括自适应预测标记参数和默认基本模式标记参数,其中所述解码器还被配置成不对未设置自适应预测标记参数的片的宏块或宏块分区中的基本模式标记参数解码,并且其中所述预测器还被配置成对该片的所有宏块或宏块分区的基本模式标记参数采取由所述默认基本模式标记参数所指示的值。
4.如权利要求1所述的系统,其特征在于:
接收到的数字视频比特流符合SVC JD8规范,在所述SVD HD8规范中,已编码单元对应于宏块或宏块分区且已编码单元组对应于片,所述SVD JD8规范被扩展以使得:
与宏块或宏块分区相关联的层间预测控制数据包括运动预测标记10参数和运动预测标记11参数;以及
与片相关联的层间预测控制数据包括自适应运动预测标记参数和默认运动预测标记参数,
其中所述解码装置还被配置成不对未设置自适应运动预测标记参数的片的宏块或宏块分区中的运动预测标记10或运动预测标记11参数解码,并且其中,所述预测器还被配置成对该片的所有宏块或宏块分区的运动预测标记10和运动预测标记11参数采取由所述默认运动预测标记参数所指示的值。
5.一种用于数字视频的可分级编码的系统,所述系统包括:
被配置成接收数字视频输入图像的输入;
耦合至所述输入的可任选地工作的降采样器,其中所述降采样器被配置成生成输入图像的较低分辨率下的经降采样的图像;
耦合至所述可任选降采样器或所述输入和提供要用作参考图像的多个先前解码的基本层图像的第一组合器的第一预测估计器,其中所述第一预测估计器被配置成生成与所述(任选地经降采样的)图像的多个已编码单元相关联的第一组控制(包括预测)和运动数据预测参考、或与所述(任选地经降采样的)图像的已编码单元组相关联的控制数据(包括预测控制数据),并生成对应于所述已编码单元的第一预测参考图像的各部分;
耦合至所述第一预测估计器和所述可任选降采样器或所述输入的第一比较器,其中所述第一比较器被配置成计算所述(可任选地经降采样的)输入图像与第一预测参考图像的各部分之间的差异,并生成与所述(可任选地经降采样的)输入图像的多个已编码单元相关联的第二组控制(包括预测)和纹理数据、以及与所述(可任选地经降采样的)输入图像的已编码单元组相关联的控制(包括预测)数据,
耦合至所述第一比较器和所述第一预测估计器的第一组合器,其中所述第一组合器被配置成将所生成的第二组控制(包括预测)和纹理数据与其在所述第一预测参考图像中的相应部分相组合以生成新的基本层已解码图像的相应部分;
耦合至所述输入和提供要用作参考图像的多个先前解码的增强层图像的第二组合器的第二预测估计器,其中所述第二预测估计器被配置成生成与所述输入图像的多个已编码单元相关联的第三组控制(包括预测)和运动数据预测参考、或与所述输入图像的已编码单元组相关联的控制数据(包括预测控制数据),并且还生成对应于所述已编码单元的第二预测参考图像的各部分;
耦合至所述第二预测估计器和所述输入的第二比较器,其中所述第二比较器被配置成计算所述输入图像与所述第二预测参考图像之间的差异,并生成与所述输入图像的多个已编码单元相关联的第四组控制(包括预测)和纹理数据、以及与所述输入图像的已编码单元组相关联的控制(包括预测)数据,
耦合至所述第二比较器和所述第二预测估计器的第二组合器,其中所述第二组合器被配置成将所生成的第四组控制(包括预测)和纹理数据与其在所述第二预测参考图像中的相应部分相组合以生成新的增强层已解码图像的相应部分;以及
编码器,所述编码器被配置成对所述第一组控制(包括预测)和运动数据以及所述第二组控制(包括预测)和纹理数据进行编码以产生基本层比特流,对所述第三组控制(包括预测)和运动数据以及所述第四组控制(包括预测)和纹理数据进行编码以产生增强层比特流,并将所述数据多路复用成单个输出比特流,
其中所述第三和第四组控制数据包括层间预测控制数据,并且其中所述第二预测估计器和所述第二比较器还被配置成对所述输入图像的一个或多个已编码单元组中的层间预测控制数据值进行设置,以使所述输入图像的已编码单元中与所述输入图像的一个或多个已编码单元组相关联的相应的层间预测控制数据值不被发送。
6.如权利要求5所述的系统,其特征在于,所述第一和第二预测估计器、所述第一和第二比较器、以及所述编码器被配置成产生和输出符合SVC JD 8规范的比特流,在所述SVC JD8规范中,已编码单元对应于宏块或宏块分区且已编码单元组对应于片,所述SVD JD8规范被扩展以使得:
与宏块或宏块分区相关联的层间预测控制数据包括残差预测标记参数;
与片相关联的层间预测控制数据包括自适应残差预测标记参数,
其中所述第二预测估计器和所述第二比较器被配置成在一个或多个片中将所述自适应预测标记参数设置为假,所述编码器还被配置成不在其对与所述一个或多个片相关联的宏块或宏块分区的编码中包括所述残差预测标记,并且所述第二预测器和第二比较器还被配置成对所述一个或多个片的所有宏块或宏块分区的残差预测标记参数采取默认值。
7.如权利要求5所述的系统,其特征在于,所述第一和第二预测估计器、所述第一和第二比较器、以及所述编码器被配置成产生和输出符合SVC JD 8规范的比特流,在所述SVC JD8规范中,已编码单元对应于宏块或宏块分区而已编码单元组对应于片,所述SVC JD8规范被扩展以使得:
与宏块或宏块分区相关联的层间预测控制数据包括基本模式标记参数;
与片相关联的层间预测控制数据包括自适应预测标记参数和默认基本模式标记参数,
其中所述第二预测估计器和所述第二比较器被配置成在一个或多个片中将所述自适应预测标记参数设置为假,所述编码器还被配置成不在其对与所述一个或多个片相关联的宏块或宏块分区的编码中包括所述基本模式标记,并且其中,所述第二预测器和第二比较器还被配置成对所述一个或多个片的所有宏块或宏块分区的基本模式标记参数采取由所述默认基本模式标记指示的值。
8.如权利要求5所述的系统,其特征在于,所述第一和第二预测估计器、所述第一和第二比较器、以及所述编码器被配置成产生和输出符合SVC JD 8规范的比特流,在所述SVC JD8规范中,已编码单元对应于宏块或宏块分区且已编码单元组对应于片,所述SVC JD8规范被扩展以使得:
与宏块或宏块分区相关联的层间预测控制数据包括运动预测标记10参数和运动预测标记11参数;
与片相关联的层间预测控制数据包括自适应运动预测标记参数和默认运动预测标记参数,
其中所述第二预测器和所述第二比较器被配置成在一个或多个片中将所述自适应运动预测标记参数设置为假,所述编码器还被配置成不在其对与所述一个或多个片相关联的宏块或宏块分区的编码中包括所述运动预测标记10或运动预测标记11参数,并且其中,所述第二预测器和所述第二比较器还被配置成对所述一个或多个片的所有宏块或宏块分区的运动预测标记10和运动预测标记11参数采取由所述默认运动预测标记指示的值。
9.一种可分级视频通信系统,包括:
如权利要求1所述的系统,其被配置成将可分级数字视频比特流解码成数字视频图像;
如权利要求5所述的系统,其被配置成将数字视频图像编码成数字视频比特流;以及
将所述编码系统的输出连接至所述解码系统的输入的通信网络,
其中所述编码系统的第二预测估计器和第二比较器还被配置成取决于所述通信网络中可用的比特率在所述输入图像的或多或少的已编码单元组中使用套叠式层间预测控制数据值。
10.一种可分级视频通信系统,包括:
通信网络;
如权利要求1所述的系统,其被配置成将可分级数字视频比特流解码成数字视频图像;
如权利要求5所述的系统,其被配置成将数字视频图像编码成数字视频比特流;以及
通过所述通信网络连接至所述编码系统和所述解码系统的SVCS,
其中所述SVCS被配置成在将所述编码系统所接收的一个或多个增强层片转发至所述解码系统之前以仅用信号通知套叠式层间预测且不包含宏块纹理或运动数据的片代替所述编码系统所接收的一个或多个增强层片。
11.一种用于可分级数字视频的解码的方法,所述方法包括:
在输入处接收可分级数字视频比特流,所述可分级数字视频比特流包括质量或空间增强目标层和至少一个附加层的已编码单元组,所述数字视频比特流包括与已编码单元组相关联的控制数据(包括预测控制数据),以及与各单独的已编码单元相关联的控制(包括预测)、纹理、或运动数据;
在解码器处通过对与所述目标层和所述至少一个附加层的已编码单元组相关联的控制数据以及与所述目标层和所述至少一个附加层的各单独的已编码单元相关联的控制、纹理、或运动数据进行解码来对所接收的输入进行解码;
利用耦合至所述解码器的预测器,根据用信号通知的与所述目标层或所述至少一个附加层的已编码单元组相关联的预测控制数据、或根据与所述目标层或所述至少一个附加层的各单独的已编码单元相关联的预测控制数据,生成对所述目标层的多个已编码单元的控制、纹理、或运动数据的预测参考;以及
在耦合至所述预测器的组合器处将所生成的预测参考与相应的已解码的与所述目标层的多个已编码单元相关联的控制、纹理、或运动数据相组合以产生对应于所述目标层的多个已编码单元的已解码图像的各部分,
其中与所述目标层或所述至少一个附加层的已编码单元组相关联的预测控制数据,以及与所述目标层或所述至少一个附加层的各单独的已编码单元相关联的预测控制数据包括层间预测控制数据,并且其中,所述预测器被配置成当在所述数字视频比特流中不存在与所述目标层的已编码单元组的各单独的已编码单元相关联的相应的层间预测控制数据时使用由与所述目标层的已编码单元组相关联的层间预测控制数据所指示的值。
12.如权利要求11所述的方法,其特征在于:
接收到的数字视频比特流符合SVC JD8规范,在所述SVC JD8规范中,已编码单元对应于宏块或宏块分区且已编码单元组对应于片,所述SVC JD8规范被扩展以使得:
与宏块或宏块分区相关联的层间预测控制数据包括残差预测标记参数;以及
与片相关联的层间预测控制数据包括自适应残差预测标记参数,
所述方法还包括在所述解码器处省略对未设置所述自适应残差预测标记参数的片的宏块或宏块分区中的残差预测标记参数的解码,并在所述预测器处为该片的所有宏块或宏块分区的残差预测标记参数采取默认值。
13.如权利要求11所述的方法,其特征在于:
接收到的数字视频比特流符合SVC JD8规范,在所述SVC JD8规范中,已编码单元对应于宏块或宏块分区且已编码单元组对应于片,所述SVC JD8规范被扩展以使得:
与宏块或宏块分区相关联的层间预测控制数据包括基本模式标记参数;
与片相关联的层间预测控制数据包括自适应预测标记参数和默认基本模式标记参数,所述方法还包括在所述解码器处省略对未设置自适应预测标记参数的片的宏块或宏块分区中的基本模式标记参数的解码,并在所述预测器处对该片的所有宏块或宏块分区的基本模式标记参数采取由所述默认基本模式标记参数所指示的值。
14.如权利要求11所述的方法,其特征在于:
接收到的数字视频比特流符合SVC JD8规范,在所述SVC JD8规范中,已编码单元对应于宏块或宏块分区且已编码单元组对应于片,所述SVC JD8规范被扩展以使得:
与宏块或宏块分区相关联的层间预测控制数据包括运动预测标记10参数和运动预测标记11参数;以及
与片相关联的层间预测控制数据包括自适应运动预测标记参数和默认运动预测标记参数,
所述方法还包括在所述解码器处省略对未设置所述自适应运动预测标记参数的片的宏块或宏块分区中的运动预测标记10或运动预测标记11参数的解码,并在所述预测器处对该片的所有宏块或宏块分区的运动预测标记10和运动预测标记11参数采取由所述默认运动预测标记参数指示的值。
15.一种用于数字视频的可分级编码的方法,所述方法包括:
在输入处接收数字视频输入图像;
可任选地操作耦合至所述输入的降采样器以生成输入图像的较低分辨率下的经降采样的图像;
在耦合至所述可任选地工作的降采样器或所述输入和提供要用作参考图像的多个先前解码的基本层图像的第一组合器的第一预测估计器处生成与所述(可任选地经降采样的)图像的多个已编码单元相关联的第一组控制(包括预测)和运动数据预测参考、或与所述(可任选地经降采样的)图像的已编码单元组相关联的控制数据(包括预测控制数据),并生成对应于所述已编码单元的第一预测参考图像的各部分;
在耦合至所述第一预测估计器和所述可任选降采样器或输入的第一比较器处计算所述(可任选地经降采样的)输入图像与第一预测参考图像之间的差异,并生成与所述(可任选地经降采样的)输入图像的多个已编码单元相关联的第二组控制(包括预测)和纹理数据、以及与所述(可任选地经降采样的)输入图像的已编码单元组相关联的控制(包括预测)数据,
在耦合至所述第一比较器和所述第一预测估计器的第一组合器处将所生成的第二组控制(包括预测)和纹理数据与其在所述第一预测参考图像中的相应部分相组合以生成新的基本层已解码图像的相应部分;
在耦合至所述输入和提供要用作参考图像的多个先前解码的增强层图像的第二组合器的第二预测估计器处生成与所述输入图像的多个已编码单元相关联的第三组控制(包括预测)和运动数据预测参考、或与所述输入图像的已编码单元组相关联的控制数据(包括预测控制数据),并生成对应于所述已编码单元的第二预测参考图像的各部分;
在耦合至所述第二预测估计器和所述输入的第二比较器处计算所述输入图像与所述第二预测参考图像之间的差异,并生成与所述输入图像的多已个编码单元相关联的第四组控制(包括预测)和纹理数据、以及与所述输入图像的已编码单元组相关联的控制(包括预测)数据,
在耦合至所述第二比较器和所述第二预测估计器的第二组合器处将所生成的第四组控制(包括预测)和纹理数据与其在所述第二预测参考图像中的相应部分相组合以生成新的增强层已解码图像的相应部分;以及
在编码器处对所述第一组控制(包括预测)和运动数据以及所述第二组控制(包括预测)和纹理数据进行编码以产生基本层比特流,对所述第三组控制(包括预测)和运动数据以及所述第四组控制(包括预测)和纹理数据进行编码以产生增强层比特流,并将所述数据多路复用成单个输出比特流,
其中所述第三和第四组控制数据包括层间预测控制数据,并且在所述第二预测估计器和所述第二比较器处对所述输入图像的一个或多个已编码单元组中的层间预测控制数据值进行设置,以使所述输入图像的已编码单元中与所述输入图像的一个或多个已编码单元组相关联的相应的层间预测控制数据值不被发送。
16.如权利要求15所述的方法,其特征在于,所述第一和第二预测估计器、所述第一和第二比较器、以及所述编码器被配置成产生和输出符合SVC JD8规范的比特流,在所述SVC JD8规范中,已编码单元对应于宏块或宏块分区且已编码单元组对应于片,所述SVC JD8规范被扩展以使得:
与宏块或宏块分区相关联的层间预测控制数据包括残差预测标记参数;
与片相关联的层间预测控制数据包括自适应残差预测标记参数,
所述方法还包括:
在所述第二预测估计器和所述第二比较器处在一个或多个片中将所述自适应预测标记参数设置为假;在所述编码器处在其对与所述一个或多个片相关联的宏块或宏块分区的编码中省略所述残差预测标记,并在所述第二预测器和第二比较器处对所述一个或多个片的所有宏块或宏块分区的残差预测标记参数采取默认值。
17.如权利要求15所述的方法,其特征在于,所述第一和第二预测估计器、所述第一和第二比较器、以及所述编码器被配置成产生和输出符合SVC JD8规范的比特流,在所述SVC JD8规范中,已编码单元对应于宏块或宏块分区且已编码单元组对应于片,所述SVC JD8规范被扩展以使得:
与宏块或宏块分区相关联的层间预测控制数据包括基本模式标记参数;
与片相关联的层间预测控制数据包括自适应预测标记参数和缺省基本模式标记参数,所述方法还包括:
在所述第二预测估计器和所述第二比较器处在一个或多个片中将所述自适应预测标记参数设置为假;在所述编码器处在其对与所述一个或多个片相关联的宏块或宏块分区的编码中省略所述基本模式标记;以及在所述第二预测器和第二比较器处对所述一个或多个片的所有宏块或宏块分区的基本模式标记参数采取由所述默认基本模式标记指示的值。
18.如权利要求15所述的方法,其特征在于,所述第一和第二预测估计器、所述第一和第二比较器、以及所述编码器被配置成产生和输出符合SVC JD8规范的比特流,在所述SVC JD8规范中,已编码单元对应于宏块或宏块分区且已编码单元组对应于片,所述SVC JD8规范被扩展以使得:
与宏块或宏块分区相关联的层间预测控制数据包括运动预测标记10参数和运动预测标记11参数;
与片相关联的层间预测控制数据包括自适应运动预测标记参数和默认运动预测标记参数,
所述方法还包括:
在所述第二预测器和所述第二比较器处在一个或多个片中将所述自适应运动预测标记参数设置为假;
在所述编码器处在其对与所述一个或多个片相关联的宏块或宏块分区的编码中省略所述运动预测标记10或运动预测标记11参数;
以及在所述第二预测器和所述第二比较器处对所述一个或多个片的所有宏块或宏块分区的运动预测标记10和运动预测标记11参数采取由所述默认运动预测标记指示的值。
19.一种可分级视频通信方法,包括:
执行如权利要求11所述的方法以将可分级数字视频比特流解码成数字视频图像;
执行如权利要求15所述的方法以将数字视频图像编码成数字视频比特流;
将所述编码系统的输出连接至所述解码系统的输入;以及
在所述编码系统的第二预测估计器和第二比较器处取决于所述通信网络中可用的比特率在所述输入图像的或多或少的已编码单元组中使用套叠式层间预测控制数据值。
20.一种用于在一系统上的可分级视频通信的方法,所述系统包括:
通信网络;
如权利要求1所述的系统,其被配置成将可分级数字视频比特流解码成数字视频图像;
如权利要求5所述的系统,其被配置成将数字视频图像编码成数字视频比特流;以及
通过所述通信网络连接至所述编码系统和所述解码系统的SVCS,
所述方法包括:在所述SVCS处在将所述编码系统所接收的一个或多个增强层片转发至所述解码系统之前以仅用信号通知套叠式层间预测且不包含宏块纹理或运动数据的片代替所述编码系统所接收的一个或多个增强层片。
21.一种包括用来执行方法权利要求11-20中的至少一项所述的步骤的一组指令的计算机可读介质。
CN200780039365.3A 2006-10-23 2007-10-23 使用套叠式模式标记的用于可分级视频编码的系统和方法 Expired - Fee Related CN101601296B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US86251006P 2006-10-23 2006-10-23
US60/862,510 2006-10-23
PCT/US2007/082269 WO2008051995A2 (en) 2006-10-23 2007-10-23 System and method for scalable video coding using telescopic mode flags

Publications (2)

Publication Number Publication Date
CN101601296A true CN101601296A (zh) 2009-12-09
CN101601296B CN101601296B (zh) 2014-01-15

Family

ID=39325348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780039365.3A Expired - Fee Related CN101601296B (zh) 2006-10-23 2007-10-23 使用套叠式模式标记的用于可分级视频编码的系统和方法

Country Status (7)

Country Link
US (2) US7643560B2 (zh)
EP (1) EP2082576A4 (zh)
JP (2) JP5351761B2 (zh)
CN (1) CN101601296B (zh)
AU (1) AU2007309044B2 (zh)
CA (1) CA2667194C (zh)
WO (1) WO2008051995A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI416961B (zh) * 2010-04-02 2013-11-21 Univ Nat Chiao Tung 用於可調式視訊編碼系統之選擇性移動向量預測方法、移動估測方法及其裝置
CN104685880A (zh) * 2012-10-05 2015-06-03 高通股份有限公司 针对基于高效率视频译码的可缩放译码的运动场升频采样
CN104904202A (zh) * 2012-09-28 2015-09-09 三星电子株式会社 用于使用参考画面信息进行并行视频编码的方法和设备以及用于使用参考画面信息进行并行视频解码的方法和设备

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080002936A (ko) * 2005-04-08 2008-01-04 에이전시 포 사이언스, 테크놀로지 앤드 리서치 하나 이상의 디지털 영상을 인코딩하는 방법, 인코더 및컴퓨터 프로그램 생성물
CA2633819C (en) 2005-12-08 2016-12-06 Vidyo, Inc. Systems and methods for error resilience and random access in video communication systems
US8693538B2 (en) 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
AU2007230602B2 (en) * 2006-03-27 2012-01-12 Vidyo, Inc. System and method for management of scalability information in scalable video and audio coding systems using control messages
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
KR100908062B1 (ko) * 2006-09-07 2009-07-15 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
CA2661981C (en) * 2006-11-09 2013-01-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
WO2008060126A1 (en) * 2006-11-17 2008-05-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
AU2008204833A1 (en) * 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
US20090060035A1 (en) * 2007-08-28 2009-03-05 Freescale Semiconductor, Inc. Temporal scalability for low delay scalable video coding
US20090316775A1 (en) * 2008-06-20 2009-12-24 Chia-Yun Cheng Video encoding and decoding method and system thereof
EP2139179A1 (en) * 2008-06-26 2009-12-30 THOMSON Licensing Method and apparatus for reporting state information
KR101597987B1 (ko) * 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
EP2428042B1 (en) * 2009-05-05 2013-05-01 Telefonaktiebolaget LM Ericsson (publ) Scalable video coding method, encoder and computer program
US8971656B2 (en) * 2009-12-10 2015-03-03 Sk Telecom Co., Ltd. Encoding/decoding method and apparatus using a tree structure
WO2012105959A1 (en) * 2011-02-01 2012-08-09 Vidyo, Inc. Spatial scalability using redundant pictures and slice groups
US8934530B2 (en) 2011-02-01 2015-01-13 Vidyo, Inc. Spatial scalability using redundant pictures and slice groups
US8831108B2 (en) * 2011-05-04 2014-09-09 Cavium, Inc. Low latency rate control system and method
JP2014523695A (ja) * 2011-06-30 2014-09-11 ヴィディオ・インコーポレーテッド スケーラブルビデオ符号化技法
US20130107962A1 (en) * 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
US9001178B1 (en) 2012-01-27 2015-04-07 Google Inc. Multimedia conference broadcast system
US8908005B1 (en) 2012-01-27 2014-12-09 Google Inc. Multiway video broadcast system
EP2842323A1 (en) * 2012-04-24 2015-03-04 Telefonaktiebolaget LM Ericsson (Publ) Identifying a parameter set for decoding a multi-layer video representation
JP6005847B2 (ja) * 2012-06-15 2016-10-12 インテル コーポレイション スケーラブルなビデオコーディングのためのアダプティブフィルタリング
WO2014028838A1 (en) * 2012-08-16 2014-02-20 Vid Scale, Inc. Slice based skip mode signaling for multiple layer video coding
KR102062506B1 (ko) 2012-08-29 2020-01-03 브이아이디 스케일, 인크. 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
US9392268B2 (en) * 2012-09-28 2016-07-12 Qualcomm Incorporated Using base layer motion information
US10085017B2 (en) 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
US9247256B2 (en) 2012-12-19 2016-01-26 Intel Corporation Prediction method using skip check module
US10542286B2 (en) * 2012-12-19 2020-01-21 ARRIS Enterprise LLC Multi-layer video encoder/decoder with base layer intra mode used for enhancement layer intra mode prediction
JP6290924B2 (ja) * 2013-01-07 2018-03-07 ノキア テクノロジーズ オサケユイチア ビデオ・コーディングおよびデコーディングのための方法と装置
US9998735B2 (en) * 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
US11140445B1 (en) 2020-06-03 2021-10-05 Western Digital Technologies, Inc. Storage system and method for storing scalable video

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3189258B2 (ja) * 1993-01-11 2001-07-16 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
US6370192B1 (en) * 1997-11-20 2002-04-09 Hitachi America, Ltd. Methods and apparatus for decoding different portions of a video image at different resolutions
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
JP4779230B2 (ja) * 2001-05-15 2011-09-28 ソニー株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
US20060008002A1 (en) * 2002-09-27 2006-01-12 Koninklijke Philips Electronics N.V. Scalable video encoding
CN1627823A (zh) * 2003-12-10 2005-06-15 皇家飞利浦电子股份有限公司 一种空间分级压缩的方法和装置
KR100885443B1 (ko) * 2005-04-06 2009-02-24 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THOMAS WIEGAND ET AL: "Joint Draft 7 of SVC Amendment(revision 2)", 《JVT-T201》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI416961B (zh) * 2010-04-02 2013-11-21 Univ Nat Chiao Tung 用於可調式視訊編碼系統之選擇性移動向量預測方法、移動估測方法及其裝置
CN104904202A (zh) * 2012-09-28 2015-09-09 三星电子株式会社 用于使用参考画面信息进行并行视频编码的方法和设备以及用于使用参考画面信息进行并行视频解码的方法和设备
CN104685880A (zh) * 2012-10-05 2015-06-03 高通股份有限公司 针对基于高效率视频译码的可缩放译码的运动场升频采样
US10375405B2 (en) 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
CN104685880B (zh) * 2012-10-05 2019-08-06 高通股份有限公司 用于译码视频信息的设备、装置和方法及计算机可读介质

Also Published As

Publication number Publication date
EP2082576A2 (en) 2009-07-29
CA2667194C (en) 2013-06-25
US20080101470A1 (en) 2008-05-01
JP2010507937A (ja) 2010-03-11
JP2013229923A (ja) 2013-11-07
USRE44939E1 (en) 2014-06-10
AU2007309044A1 (en) 2008-05-02
EP2082576A4 (en) 2011-05-04
AU2007309044B2 (en) 2011-04-28
JP5351761B2 (ja) 2013-11-27
CN101601296B (zh) 2014-01-15
JP5592978B2 (ja) 2014-09-17
US7643560B2 (en) 2010-01-05
WO2008051995A3 (en) 2008-12-24
CA2667194A1 (en) 2008-05-02
WO2008051995A2 (en) 2008-05-02

Similar Documents

Publication Publication Date Title
CN101601296B (zh) 使用套叠式模式标记的用于可分级视频编码的系统和方法
CN101601300B (zh) 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
CN102144391B (zh) 用于层间残余视频编码和解码的跳过模式
CN101529911B (zh) 用于对多层比特流数据进行信号指示的方法和系统
CN101336549B (zh) 基于多层的可缩放视频编码方法及装置
US8396134B2 (en) System and method for scalable video coding using telescopic mode flags
CN101558650B (zh) 编码和/或解码视频数据的方法及设备
US8320450B2 (en) System and method for transcoding between scalable and non-scalable video codecs
CN102318202B (zh) 用于可缩放与非可缩放视频编解码器之间的译码的系统和方法
US20060120450A1 (en) Method and apparatus for multi-layered video encoding and decoding
CN104335585A (zh) 图像解码方法和使用其的装置
CN101601299A (zh) 用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备
US11032559B2 (en) Video encoding and decoding method and apparatus using the same
CN104054338A (zh) 位深和颜色可伸缩视频编码
CN105103563A (zh) 在可伸缩视频编码中的量化矩阵信令和表示的方法和装置
KR100834757B1 (ko) 엔트로피 부호화 효율을 향상시키는 방법 및 그 방법을이용한 비디오 인코더 및 비디오 디코더
EP2372922A1 (en) System and method for transcoding between scalable and non-scalable video codecs
KR20130085088A (ko) 스케일러블 비디오 코딩에서의 고속 모드 결정 방법 및 그 장치
AU2011205017B2 (en) System and method for scalable video coding using telescopic mode flags
AU2012201234B2 (en) System and method for transcoding between scalable and non-scalable video codecs
Park et al. Mobile to mobile video communication using DVC framework with channel information transmission

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140115

Termination date: 20171023