CN103281531B - 面向hevc的质量可伸缩层间预测编码 - Google Patents

Abstract

提出了一种面向HEVC的质量可伸缩层间预测编码的方法和装置。在充分借鉴H.264/AVC可伸缩视频编码技术的基础上提出单环解码方案。本方法将质量可伸缩编码的层间预测算法分为三部分，分别是层间帧内预测、层间融合预测和层间运动预测。

Description

面向HEVC的质量可伸缩层间预测编码

联合研究

本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113，No.60903066)，北京市属高等学校人才强教深化计划项目(PHR201008187)；江苏省自然科学基金(BK2011455)，北京市自然科学基金(No.4102049)，教育部新教师基金(No.20090009120006)；国家973计划(2012CB316400)，中央高校基础研究基金(No.2011JBM214)。

技术领域

本发明涉及图像处理领域，更具体而言，涉及用于面向高效视频编码(HEVC)中的质量可伸缩层间预测编码。

背景技术

随着各种视频服务业的飞速增长，为使视频码流能够更好地适应不同的需求，人们追求视频编码高压缩性能这一目标的同时也在重点发展视频可分级技术。在实际应用中，存在不同的网络和不同的用户终端，各种情况下对视频质量的需求不一样。例如，在利用网络传输视频信息时，由于网络带宽限制了数据传输，因此要求当网络带宽较小的时候，只传输基本的视频信号，并根据实际网络的状况决定是否传输增强的视频信息，使视频的质量得到加强。在这样的背景下，利用可伸缩视频编码技术实现一次性编码产生具有不同帧率、质量、分辨率的视频压缩码流，然后根据不同网络带宽、不同的显示设备和终端解码能力选择需要传输的视频信息量，以此实现视频质量的自适应调整。目前，解决这一问题的最好方法就是可伸缩视频编码(ScalableVideoCoding，SVC)，其码流具有良好的鲁棒性及容错性，并可以根据不同的网络和用户的需求在任意点截断。

虽然基于H.264/AVC编码标准的SVC已被提出并应用于实际，但是为进一步应用到高清的视频通信、视频监控、视频会议等领域，基于新一代视频编码标准-高质量视频编码(HighefficiencyVideoCoding，简称HEVC)的可伸缩编码(ScalableHEVC，简称SHVC)也被提上了日程。

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(JointcollaborativeTeamonVideoCoding)，一同开发HEVC标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http://wftp3.itu.int获得。

在HEVC的基础上实现SVC也被认为是未来重要的任务之一，而且许多人在此领域已经做出了卓越的贡献。GlennVanWallendael等人提出了基于HEVC的双环质量可伸缩视频编码，对基本层(BaseLayer，BL)重构图像进行上采样，因此在增强层(EnhancementLayer，EL)重构之前，基本层将被完全解码。ZhongboShi等人提出了基于HEVC的粗精度质量可伸缩视频编码(Coarse-GrainqualityScalability，CGS)，将基本层图像进行重构并作为增强层图像的参考图像，同理，在增强层重构之前也必须将基本层完全解码。这两种方法从本质上说都是双环解码方案，在编解码端都需要对基本层重构，由于需要两次补偿操作所以这两种方法都增加了解码端的复杂度。

本申请中主要参考以下技术文献来实现，这些文献中的JCT-VC可直接从http://wffp3.itu.int获得：

[1]费伟，朱善安.基于H.264的自适应可伸缩编码研究[J]，光电工程，2008(03)，35(3).pp：102-107.

[2]KenMcCann.HM3：HighEfficiencyVideoCoding(HEVC)TestModel3EncoderDescription[R].JCTVC-E602，March，2011.

[3]GlennVanWallendael.Multi-loopQualityScalablebasedonHighEfficiencyVideoCoding[C].PictureCodingSymposium(PCS).May，2012.pp：445-448.

[4]ZhongboShi，XiaoyanSun.CGSQualityScalabilityforHEVC[C].MultimediaSignalProcessing(MMSP)，2011IEEE13thInternationalWorkshopon，2011.pp：1-6.

[5]H.Schwarz，D.Marpe，andT.Wiegand.OverviewoftheScalableVideoCodingextensionoftheH.264/AVCstandard[J].IEEETrans.CircuitsSyst.VideoTechnol.vol.17，no.9.Sep，2007.pp：1103-1120.

[6]T.Wiegand，G.J.Sullivan，G.andA.Luthra.OverviewoftheH.264/AVCvideocodingstandard[J].IEEETrans.CircuitsSyst.VideoTechnol.vol.13，no.7，Jul，2003.pp.560-576.

[7]BenjaminBross.WD4：WorkingDraft4ofHigh-EfficiencyVideoCoding[R].JCTVC-F803.July，2011.pp.14-22.

[8]蔡晓霞，崔岩松，邓中亮，等.下一代视频编码标准关键技术[J].电视技术.2012.36(2).pp：80-84.

[9]Su-WeiTeng，Hsueh-MingHang，Yi-FuChen.FastModeDecisionAlgorithmforResidualQuad-treeCodinginHEVC[C].VisualCommunicationsandImageProcessing(VCIP).2011.pp.1-4.

[10]Chih-MingFu，Ching-YehChen，Yu-WenHuang，etal.SampleAdaptiveOffsetforHEVC[C].MultimediaSignalProcessing(MMSP)，2011.Oct.2011.pp：1-5.

[11]WenhaoZhang，AidongMen，PinhuaChen.AdaptiveInter-layerIntraPredictioninScalableVideoCoding[C].CircuitsandSystems，2009.ISCAS2009.pp：876-879.

[12]HeikoSchwarz，TobiasHinz.ConstrainedInter-LayerPredictionforSingle-LoopDecodinginSpatialScalability[C].ImageProcessing.ICIP，2005.pp：II-870-3.

[13]BenjaminBross.Highefficiencyvideocoding(HEVC)textspecificationdraft8[R].JCTVC-J1003_d7，July2012.pp.11-20.

在以上所给出的现有技术中，并没有充分地利用空间层内部以及空间层间的相关性，而且，也并未考虑到在实际编解码中如何能够灵活地应用空间层内部预测编码以及空间层间预测编码来实现最高效的编码效率。

发明内容

因此本文在充分借鉴H.264/AVC可伸缩视频编码技术的基础上提出单环解码方案。本文所提出的算法将质量可伸缩编码的层间预测算法分为三部分，分别是层间帧内预测、层间融合预测和层间运动预测。该算法在层间帧内预测中会对当前块进行自适应划分，在层间融合预测和层间运动预测中会采用与基本层相同的块分割方法。运用层间融合模式和层间运动模式预测增强层时，通过提取对应基本层的运动矢量和参考索引来预测增强层的视频信息。最后会运用率失真优化技术(Ratedistortionoptimization，简称RDO)自适应地选择其最佳的预测模式和块划分规则。

在一个方面中，提供了一种面向高质量视频编码(HEVC)的质量可伸缩层间预测编码方法，包括：

输入视频流；

基于HEVC编码标准对所述视频流中的一个图片组(GOP)中帧内编码帧(I帧)的块执行基本层的帧内预测编码；

对编码后的基本层块执行重构，并基于原始I帧的块和重构的基本层的块，利用残差四叉树和率失真(RDO)针对一个增强层执行独立于所述基本层的块分割的块分割；

基于所述增强层的独立于所述基本层的块的分割方式的所述块分割来执行针对所述增强层的第一层间帧内预测；

基于所述基本层的块的分割方式来执行对所述增强层的第二层间帧内预测；

基于RDO来选择所述第一层间帧内预测和所述第二层间帧内预测中的一个；

基于HEVC编码标准对所述GOP中的帧间编码帧(P或B帧)的块执行基本层的帧间预测编码，其中对所述帧间编码帧中的块执行运动融合预测和运动矢量预测，并基于RDO选取所述运动融合预测和所述运动矢量预测的结果中的一个；

针对所述增强层，针对所述运动融合预测和所述运动矢量预测采用与基本层相同的选取，并基于所选取的运动融合预测或运动矢量预测中的基本层预测信息和所述基本层的帧间预测编码的块分割来执行层间帧间预测。

在一个方面中，提供了一种装置，包括：

用于输入视频流的模块；

用于基于HEVC编码标准对所述视频流中的一个图片组(GOP)中帧内编码帧(I帧)的块执行基本层的帧内预测编码的模块；

用于对编码后的基本层块执行重构，并基于原始I帧的块和重构的基本层的块，利用残差四叉树和率失真(RDO)针对一个增强层执行独立于所述基本层的块分割的块分割的模块；

用于基于所述增强层的独立于所述基本层的块的分割方式的所述块分割来执行针对所述增强层的第一层间帧内预测的模块；

用于基于所述基本层的块的分割方式来执行对所述增强层的第二层间帧内预测的模块；

用于基于RDO来选择所述第一层间帧内预测和所述第二层间帧内预测中的一个的模块；

用于基于HEVC编码标准对所述GOP中的帧间编码帧(P或B帧)的块执行基本层的帧间预测编码，其中对所述帧间编码帧中的块执行运动融合预测和运动矢量预测，并基于RDO选取所述运动融合预测和所述运动矢量预测的结果中的一个的模块；

用于针对所述增强层，针对所述运动融合预测和所述运动矢量预测采用与基本层相同的选取，并基于所选取的运动融合预测或运动矢量预测中的基本层预测信息和所述基本层的帧间预测编码的块分割来执行层间帧间预测的模块。

在一个方面中，提供了一种用于实现上述方法的计算机程序产品。

在一个方面中，提供了一种编码系统，其包括处理器和耦合到所述处理器的存储器，其中，

所述处理器被配置为对输入的视频流执行如下操作：

基于HEVC编码标准对所述视频流中的一个图片组(GOP)中帧内编码帧(I帧)的块执行基本层的帧内预测编码；

对编码后的基本层块执行重构，并基于原始I帧的块和重构的基本层的块，利用残差四叉树和率失真(RDO)针对一个增强层执行独立于所述基本层的块分割的块分割；

基于所述增强层的独立于所述基本层的块的分割方式的所述块分割来执行针对所述增强层的第一层间帧内预测；

基于所述基本层的块的分割方式来执行对所述增强层的第二层间帧内预测；

基于RDO来选择所述第一层间帧内预测和所述第二层间帧内预测中的一个；

基于HEVC编码标准对所述GOP中的帧间编码帧(P或B帧)的块执行基本层的帧间预测编码，其中对所述帧间编码帧中的块执行运动融合预测和运动矢量预测，并基于RDO选取所述运动融合预测和所述运动矢量预测的结果中的一个；

针对所述增强层，针对所述运动融合预测和所述运动矢量预测采用与基本层相同的选取，并基于所选取的运动融合预测或运动矢量预测中的基本层预测信息和所述基本层的帧间预测编码的块分割来执行层间帧间预测。

在一个方面中，提供了一种视频提供服务器，其用于提供根据权利要求1编码的质量可伸缩的编码视频流。

附图说明

图1示出了HEVC的编码器框图的一个实施例。

图2示出了H.264/AVCSVC层间预测结构的原理示意图。

图3示出了反映本发明的原理的示意图。

图4示出了根据本发明的一个实施例的层间帧内预测块分割方式。

图5示出了根据本发明的一个实施例的层间帧间预测的原理图。

图6示出了用于本发明的原理的示意图。

图7A示出了根据本发明的一个实施例的方法流程图。

图7B示出了根据本发明的另一个实施例的装置框图。

图8示出了根据本发明的一个实施例的装置框图。

具体实施方式

现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。

如在本申请中所使用的，术语“组件”、“模块”、“系统”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地系统、分布式系统中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他系统交互的一个组件的数据。

图1示出了高效视频编码(HEVC)所实现的视频编码器的大致结构图。HEVC的编码器架构与H.264所使用的编码器架构大致相同，主要是针对各个模块中所使用的算法进行了进一步的研究、改进，尤其是针对高分辨率视频序列，其改进的目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

由于HEVC的编码器架构与H.264所使用的编码器架构大致相同，因此不混淆本发明，本申请中不对图1中的整体架构进行描述，而仅关注于基于HEVC的质量可伸缩层间编码。

基于H.264/AVC的SVC是H.264/AVC编码标准的扩展，于2007年7月获得ITU批准。它是以H.264/AVC编码标准为基础，通过H.264/AVC各种编码工具，在时间、空间、质量上实现可伸缩编码，以实现不同帧率、图像分辨率和图像质量等级的自适应调整。SVC充分结合了H.264/AVC混合编码框架、中等精度可伸缩编码(Medium-GrainqualityScalability，MGS)和单环解码方法等具有优良性能的方案。在混合编码框架下，SVC运用帧内预测、基于运动补偿的帧间预测、最大块为16x16的图像分割块变换、环路滤波器、熵编码等H.264/AVC视频标准方法。SVC采用MGS编码结构，通过引入关键帧实现高压缩率并充分抑制漂移效应，使漂移仅仅作用于下一个关键帧之前。在SVC层间预测技术中通过三种层间预测方法消除层间冗余，它们分别是层间帧内预测、层间运动预测和层间残差预测。这三种预测方法达到了压缩层间冗余的目的并贯穿整个SVC实现过程，详细的原理过程图2所示。

如上所述的，HEVC的帧内预测、帧间预测混合编码框架与H.264/AVC基本相同，但HEVC在此框架基础上做了大量的技术创新。HEVC为增强帧内预测的精细度将原H.264/AVC的8种方向预测增加到33种，同时保留原DC预测，并对planar预测方法进行了改进。帧内预测方向的增多使帧内预测更注重视频纹理信息的细节，进而达到最大化地获取视频信息的目的。在视频编码领域，帧间预测是较为成熟的预测技术，而HEVC帧间预测也对此进行了适当的改进。JCT-VC将高精度运动补偿技术，运动融合技术(Merge)和自适应运动矢量预测(AMVP)融入到HEVC帧间预测中，并在HEVC标准提出的后期对相关技术进行整合。在HEVC可伸缩编码扩展中为匹配基本层编码方法会继承基本层相关预测理论和预测工具，比如基于64x64的自适应四叉树分割结构、残差编码结构(RQT)、自适应样点补偿(SAO)、去块滤波器等。自适应四叉树分割结构是对最大编码单元(LCU)利用率失真优化技术(RDO)选择最佳的分块变换算法，兼顾高质量，高压缩编码特点。残差编码结构是HEVC为突破原有变换尺寸限制而采取的一种残差变化方法，它支持4×4至32×32的编码变换，同样也采用四叉树变换结构以变换单元(TU)为基本单元进行变换和量化。自适应样点补偿和去块滤波器是为减少源图像与重构图像之间的失真和块效应而采取的优化工具，层间预测所得到的重构图像也会进行同等优化操作。

对于SHVC质量可伸缩视频编码方案，本文提出三种层间预测算法和单环解码方案来分别消除层间冗余和降低解码复杂度。三种层间预测算法分别是：一，针对基本层为帧内模式编码的层间帧内预测，二，针对帧间以运动融合模式编码的层间融合预测，三，针对帧间以运动矢量模式编码的层间运动矢量预测。这三种预测机制将会在下文中进行详细的叙述。由于双环解码方案和单环解码方案在同等压缩率的情况下，单环解码方案在解码端具有较低的复杂度，因此本文所设计可伸缩视频编码在舍弃一些压缩性能的情况下选择单环解码方案。所谓单环解码方案是指在编码端提取基本层的相关信息来预测增强层，在解码端只需解出目标层即可获取视频图像，也就是说它只进行一次补偿，一层视频解码操作，通过对不同层适当地提取我们就可实现对增强层的重构。另外，SHVC在编码端增强层也会执行HEVC传统帧编码即执行所谓双环控制编码，在传统帧预测编码和层间预测编码之间通过率失真优化做自适应选择。

本文所提出的可伸缩视频编码层间预测结构如图3所示。

在本文提出的可伸缩编码中，基本层是按照HEVC传统编码方式编码形成的码流，增强层是在编码端加入其他层的信息，通过去除层间冗余而使最后的码流同时包含两层乃至多层的视频信息。

层间帧内预测是针对帧内预测特点而执行的一种层间预测方式。我们要获得当前层图像首先将基本层对应块重构，然后对重构信息进行上采样得到残差信号，在增强层只需要传递其变换量化后的残差系数。需要注意的是在上采样之前我们要对基本层重构进行去块滤波，另外，为了保证在解码端进行单环解码，避免在参考层进行运动补偿，要执行受限的层间帧内预测。当编码一组连续帧(GOP)的第一帧也就是I帧时，由于基本层进行了重构并且去块滤波，它与增强层的四叉树结构划分将不完全相同。为更好地获取压缩率较高的残差数据，我们要对一个编码单元(LCU)进行自适应块分割，将残差四叉树编码结构引入层间帧内预测中。增强层的分割结构与重构后基本层的纹理信息密切相关，比如一定区域的纹理信息较平坦，那么变换单元将采用较大的分割变换块，若纹理信息较复杂，那么变换单元将采取较为细致的分割变换块。这一系列分割判断过程都将应用RDO做自适应选择，如图4中，基本层以小块编码，但对应的增强层却以大块形式编码。

本文在重构增强层时会采取不同的层间编码策略，它们分别是层间融合预测和层间运动矢量预测。我们在执行层间预测之前将特别设定增强层的分割方式与基本层相同以兼容基本层分割块的模式匹配。对传统帧间预测而言，HEVC一般会有两种预测技术：一是运动融合技术，二是运动矢量技术。运动融合技术是一种通过相邻预测单元(PU)的运动信息来推导当前PU运动信息的一种预测技术，经压缩传递的数据成员将不会包括具体的运动参数本身，而是由一些当前PU的融合标记(MergeFlag)和融合索引(MergeIndex)组成的标志位参数。这两个参数会指引并寻找当前PU所需要的相邻PU的运动信息，此相邻PU可能是当前PU空间相邻或者对应位置时间相邻的PU。当基本层分割块以融合技术预测帧间单元时，增强层对应块会采取与之对应的层间融合预测。首先提取基本层块的融合标记和融合索引，然后将其作为增强层当前块的融合标记和融合索引，最后通过这一组基本层的融合参数获取增强层预测图像。运动矢量技术是通过运动估计搜索活动块获得空间位置运动偏移量，并且利用运动补偿恢复活动轨迹实现预测的一种帧间预测方法。层间运动矢量预测即是获得基本层的运动参数并将其利用于增强层预测的方法。在解码端，从码流中解出基本层的运动矢量，参考图像索引，运动方向索引，通过这些数据恢复能够获得预测图像的预测环境。由于是空间比例为1∶1的质量可伸缩，SHVC无须对运动数据进行伸缩变换，直接将解码后的参数进行运动补偿得出增强层所需要的预测图像，两种层间预测结构如图5所示，其中A、B、C代表候选PU。

通过针对帧间预测的这两种层间预测方法，经补偿后我们得到了预测图像，下面对原始图像和预测图像的残差数据进行变换量化。在层间预测中我们将Skip模式融入其中，当残差块的变换量化系数均小于1时，残差块会被初始化为全零块，这时Skip模式被设定，编码端将无需再传递残差数据。这样做去除了变换量化过程，有效地降低了解码端的复杂度。通过这两种层间预测算法我们在未重构基本层和未传递额外数据的前提下，仅经过一次运动补偿，实现了增强层的重构。单环解码方案的优势在SHVC中得到了充分的体现。

图6是综合以上原理的来示出本发明的基本概念的原理图。在图6中，基本层具有最低视频质量和最低比特率的视频编码层，增强层是在编码端在基本层的基础上加入其他层的信息，通过去除层间冗余而使最后的码流同时包含两层乃至多层的视频信息。基本层和增强层的概念是公知，因此不再赘述。

另外，在图6中，对于I帧，层间帧内预测是指获得基本层的一个64x64最大块(LCU)重构图像，层间预测时对增强层的64x64进行自适应的残差四叉树分块，分割的每个块都用原始图像减去基本层的相应一致大小块的重构图像并其获得残差，对残差进行压缩编码，利用RDO选择最优的分割方式。

另外，在图6中，基本层的重构的方式是重构图像＝预测图像+残差图像，其中预测图像是通过预测方法(模式)获得的图像，残差图像是原始图像减掉预测图像后的信息。

另外，在图6中，帧内结构信息是指基本层预测中的预测方向、纹理信息、残差信息等。

图7A示出了根据本发明的一个实施例的方法流程图。

在步骤701中，输入待执行质量可伸缩编码的视频流。

在步骤703中，基于HEVC编码标准对视频流中的一个图片组(GOP)中帧内编码帧(I帧)的块执行基本层的帧内预测编码。例如，可以使用HEVC标准中的35种帧内预测模式来针对I帧中的每一个块执行帧内预测。本领域公知的是，这里的块一般表示最大编码单元(LCU)。

在步骤705中，对编码后的基本层块执行重构，并基于原始I帧的块和重构的基本层的块，利用残差四叉树和率失真(RDO)针对一个增强层执行独立于所述基本层的块分割的块分割。如上所述地，残差四叉树是处理残差时对残差进行四叉树编码。比如一个块用四叉树分割后为16x16，那这个16x16的残差可以分成四个8x8，对每个8x8进行残差变换量化处理。

在步骤707中，基于所述增强层的独立于所述基本层的块的分割方式的所述块分割来执行针对所述增强层的第一层间帧内预测，基于所述基本层的块的分割方式来执行对所述增强层的第二层间帧内预测，并且基于RDO来选择所述第一层间帧内预测和所述第二层间帧内预测中的一个。本领域技术人员可以理解，这里将会选择具有最佳RDO的层间帧内预测块分割方式。

在步骤709中，基于HEVC编码标准对所述GOP中的帧间编码帧(P或B帧)的块执行基本层的帧间预测编码，其中对所述帧间编码帧中的块执行运动融合预测和运动矢量预测，并基于RDO选取所述运动融合预测和所述运动矢量预测的结果中的一个。本领域技术人员可以理解，这里将会在所述运动融合预测和所述运动矢量预测的结果之中选择具有最佳RDO的一个作为最终使用的预测方式。

在步骤711中，针对所述增强层，针对所述运动融合预测和所述运动矢量预测采用与基本层相同的选取，并基于所选取的运动融合预测或运动矢量预测中的基本层预测信息和所述基本层的帧间预测编码的块分割来执行层间帧间预测。

本领域技术人员可以理解，在多个增强层的情况下，每一个增强层的层间编码算法都可以采用如以上各个步骤中使用的方式进行。

图7B示出了根据本发明的另一个实施例的装置框图。该装置中的各个组件的功能与图7A中的方法步骤一一对应，因此不再详细阐述。

图8示出了根据本发明的一个实施例的装置800的框图。该装置800包括处理器801和存储器803。其中，存储器803用于存储由处理器执行的代码以及处理前后的数据。处理器801可以执行所述代码，来执行与以上图7A中的方法步骤相对应的操作。

在另一个实施例中，依据本发明所编码的质量可伸缩层间预测编码的编码视频流可以放置在一个连接到广域网或局域网的视频内容服务器中，从而根据实际网络情况或用户选择来提供基本层流和多个增强层流中的一个。

本发明所公开的质量可伸缩层间预测方法可以用软件、硬件、固件等来实现。

当用硬件实现时，视频编码器可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。

当用ASIC、FPGA等硬件电路来实现视频编码器时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个系统上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。

尽管前述公开文件论述了示例性方案和/或实施例，但应注意，在不背离由权利要求书定义的描述的方案和/或实施例的范围的情况下，可以在此做出许多变化和修改。而且，尽管以单数形式描述或要求的所述方案和/或实施例的要素，但也可以设想复数的情况，除非明确表示了限于单数。另外，任意方案和/或实施例的全部或部分都可以与任意其它方案和/或实施例的全部或部分结合使用，除非表明了有所不同。

Claims (6)

1.一种面向高质量视频编码HEVC的质量可伸缩层间预测编码方法，包括：

输入视频流；

基于HEVC编码标准对所述视频流中的一个图片组GOP中帧内编码帧，即I帧，的块执行基本层的帧内预测编码；

对编码后的基本层块执行重构，并基于原始I帧的块和重构的基本层的块，利用残差四叉树和率失真优化RDO针对一个增强层执行独立于所述基本层的块分割的块分割；

基于所述增强层的独立于所述基本层的块的分割方式的所述块分割来执行针对所述增强层的第一层间帧内预测；

基于所述基本层的块的分割方式来执行对所述增强层的第二层间帧内预测；

基于RDO来选择所述第一层间帧内预测和所述第二层间帧内预测中的一个；

基于HEVC编码标准对所述GOP中的帧间编码帧的块执行基本层的帧间预测编码，其中对所述帧间编码帧中的块执行运动融合预测和运动矢量预测，并基于RDO选取所述运动融合预测和所述运动矢量预测的结果中的一个，其中所述帧间编码帧为P或B帧；

针对所述增强层，针对所述运动融合预测和所述运动矢量预测采用与基本层相同的选取，并基于所选取的运动融合预测或运动矢量预测中的基本层预测信息和所述基本层的帧间预测编码的块分割来执行层间帧间预测。

2.如权利要求1所述的方法，其中，所述运动融合预测的基本层预测信息包括融合标记和融合索引，所述运动矢量预测的基本层预测信息包括运动矢量。

3.如权利要求1所述的方法，其中，基于所述增强层的独立于所述基本层的块的分割方式的所述块分割的分块数量通常比基于所述基本层的块分割的数量少。

4.如权利要求1所述的方法，其中，所述增强层的数量为一个或多个。

5.一种装置，包括：

用于输入视频流的模块；

用于基于HEVC编码标准对所述视频流中的一个图片组GOP中帧内编码帧，即I帧，的块执行基本层的帧内预测编码的模块；

用于对编码后的基本层块执行重构，并基于原始I帧的块和重构的基本层的块，利用残差四叉树和率失真优化RDO针对一个增强层执行独立于所述基本层的块分割的块分割的模块；

用于基于所述增强层的独立于所述基本层的块的分割方式的所述块分割来执行针对所述增强层的第一层间帧内预测的模块；

用于基于所述基本层的块的分割方式来执行对所述增强层的第二层间帧内预测的模块；

用于基于RDO来选择所述第一层间帧内预测和所述第二层间帧内预测中的一个的模块；

用于基于HEVC编码标准对所述GOP中的帧间编码帧的块执行基本层的帧间预测编码，其中对所述帧间编码帧中的块执行运动融合预测和运动矢量预测，并基于RDO选取所述运动融合预测和所述运动矢量预测的结果中的一个的模块，其中所述帧间编码帧为P或B帧；

用于针对所述增强层，针对所述运动融合预测和所述运动矢量预测采用与基本层相同的选取，并基于所选取的运动融合预测或运动矢量预测中的基本层预测信息和所述基本层的帧间预测编码的块分割来执行层间帧间预测的模块。

6.一种编码系统，其包括处理器和耦合到所述处理器的存储器，其中，

所述处理器被配置为对输入的视频流执行如下操作：

基于HEVC编码标准对所述视频流中的一个图片组GOP中帧内编码帧，即I帧，的块执行基本层的帧内预测编码；

对编码后的基本层块执行重构，并基于原始I帧的块和重构的基本层的块，利用残差四叉树和率失真优化RDO针对一个增强层执行独立于所述基本层的块分割的块分割；

基于所述增强层的独立于所述基本层的块的分割方式的所述块分割来执行针对所述增强层的第一层间帧内预测；

基于所述基本层的块的分割方式来执行对所述增强层的第二层间帧内预测；

基于RDO来选择所述第一层间帧内预测和所述第二层间帧内预测中的一个；

基于HEVC编码标准对所述GOP中的帧间编码帧的块执行基本层的帧间预测编码，其中对所述帧间编码帧中的块执行运动融合预测和运动矢量预测，并基于RDO选取所述运动融合预测和所述运动矢量预测的结果中的一个，其中所述帧间编码帧为P或B帧；

针对所述增强层，针对所述运动融合预测和所述运动矢量预测采用与基本层相同的选取，并基于所选取的运动融合预测或运动矢量预测中的基本层预测信息和所述基本层的帧间预测编码的块分割来执行层间帧间预测。