CN102740078A - 基于hevc标准的自适应空间可伸缩编码 - Google Patents

Abstract

一种高效视频编码(HEVC)中的自适应空间可伸缩编码方法。在该方法中，通过分析视频序列的特性，并结合HEVC标准中编码单元CU的尺寸，设计合理的下采样方案实现空间可伸缩性；针对视频序列的运动特征，设计不同的预测模式，充分利用层间运动预测降低码率；采用有效的层间残差预测，减少残差的信息量，提高压缩性能；设计合理的判决准则，自适应地选择层间或层内预测编码。

Description

基于HEVC标准的自适应空间可伸缩编码

联合研究

本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113，No.60903066)，北京市属高等学校人才强教深化计划项目(PHR201008187)；江苏省自然科学基金(BK2011455)，北京市自然科学基金(No.4102049)，教育部新教师基金(No.20090009120006)；国家973计划(2012CB316400)，中央高校基础研究基金(No.2011JBM214)。

技术领域

本发明涉及图像处理领域，更具体而言，涉及用于高效视频编码(HEVC)中的自适应空间可伸缩编码方法。

背景技术

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发HEVC标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http://wftp3.itu.int获得。

HEVC标准中所使用的编码单元(CU)的大小将最大可达64x 64，这主要是为了高清视频压缩编码的应用。DCT变换编码将突破8x 8，最大能够达到32x 32。对于帧内预测，预测的方向更佳细化，多达35种帧内预测(intra predication)模式。在熵编码方面，使用了适应性更强的CABAC以及低复杂度的LCEC。

HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。为能够实现本质上的突破，HEVC融合了许多优秀的编码工具和编码算法，比如树状结构预测和残差块的分割，自适应运动矢量的选择，自适应环形滤波等。

现如今，网络技术和多媒体技术的发展异常迅猛，并且基于网络的多媒体也获得了十分广泛的应用。然而多媒体应用环境的网络形式异构性、终端设备的多样性以及多媒体应用的复杂性使得多媒体的应用具有一定的困难和挑战。于是应运而生的可伸缩编码技术从多层子码流提供了时间、空间、质量等各种尺度的可伸缩的性能，相对于传统的单层视频编码具有良好的适应能力。

空间可伸缩编码算法(文献[5])可以给同一比特流提供各种分辨率的视频序列，并且可通过对低图像分辨率序列上进行下采样获得较低的空间分辨率。将每一个空间分辨率作为一个新的空间编码层，每层进行相互独立的编码，分配各自独立的编码参数，并在此基础上实现空间可伸缩。采用可伸缩编码可以更好的满足网络形式的异构性，并且码流也具有灵活的可伸缩性，同时还保证了较高的编码效率。故将空间可伸缩编码算法应用到HEVC中，可在压缩视频数据的前提下，实现码流的可伸缩传输，使HEVC的功能更强大，更符合实际应用的要求。

本申请中主要参考以下技术文献来实现，这些文献中的JCT-VC可直接从http://wftp3.itu.int获得：

[1]JCT-VC，“High Efficiency Video Coding(HEVC)Test Model 1(HM1)Encoder Description”，JCTVC-C402，October 2010.

[2]ITU-T Recommendation H.264/ISO/IEC 14496-10：“Informationtechnology-Coding of audio-visual objects Part 10：Advanced Video Coding”.

[3]JCT-VC，“High Efficiency Video Coding(HEVC)Test Model 5(HM5)Encoder Description”，JCTVC-G1102，November，2011.

[4]T.Wiegand，H.Schwarz，A.Joch，F.Kossentini，and G.J.Sullivan，“Rate-constrained coder control and comparison of video coding standards，”IEEE Trans.Circuits Syst.Video Technol.，vol.13，no.7，pp.688-703，Jul.2003.

[5]A.Segall and G.J.Sullivan，“Spatial scalability，”IEEE Trans.Circuits Syst.Video Technol.，vol.17，no.9，pp.1121-1135，Sep.2007.

在以上所给出的现有技术中，并没有充分地利用空间层内部以及空间层间的相关性，而且，也并未考虑到在实际编解码中如何能够灵活地应用空间层内部预测编码以及空间层间预测编码来实现最高效的编码效率。

发明内容

视频码流(或称视频数据流、视频流)的空间可伸缩性(SpatialScalability)是指该码流支持相同视频内容的多种空间分辨率。本发明借鉴以前的可伸缩标准技术，采用基于分层编码的思想，将不同空间分辨率分成不同空间层(在以下描述中，空间层也简称为“层”)，每一个空间层对应一个空间分辨率。在每一个空间层内使用帧内或帧间预测编码，在两个空间层之间使用层间预测编码。本发明为了充分利用层内和层间的相关性，自适应地选择层间或层内预测编码，从而提高编码效率。具体内容包括：①通过分析视频序列的特性，并结合HEVC标准中编码单元CU的尺寸，设计合理的下采样方案实现空间可伸缩性；②针对视频序列的运动特征，设计不同的预测模式，充分利用层间运动预测降低码率；③采用有效的层间残差预测，减少残差的信息量，提高压缩性能；④设计合理的判决准则，自适应地选择层间或层内预测编码。

附图说明

图1示出了HEVC的编码器框图的一个实施例。

图2示出了根据HEVC的空间分层示意图。

图3示出了根据HEVC的CU的分割方式图示。

图4示出了根据本发明的一个实施例的方法流程图。

图5示出了根据本发明的一个实施例的装置示意图。

图6示出了根据本发明的一个实施例的视频编码器的示意图。

具体实施方式

现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。

如在本申请中所使用的，术语“组件”、“模块”、“系统”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地系统、分布式系统中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他系统交互的一个组件的数据。

图1示出了高效视频编码(HEVC)所实现的视频编码器的大致结构图。HEVC的编码器架构与H.264所使用的编码器架构大致相同，主要是针对各个模块中所使用的算法进行了进一步的研究、改进，尤其是针对高分辨率视频序列，其改进的目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

由于HEVC的编码器架构与H.264所使用的编码器架构大致相同，因此不混淆本发明，本申请中不对图1中的整体架构进行描述，而仅关注于基于HEVC的自适应空间可伸缩编码部分。

图2示出了根据HEVC的空间分层的原理示意图。原始视频序列首先通过一个下采样工具，得到多个具有不同空间分辨率的子视频序列(亦即各个空间层)。每个子视频序列都有一个依赖层标识符D，其中具有最小分辨率的视频序列处于最底层，称为基本层(D＝0)。其他层则都称为增强层，每个增强层从下而上D依次加1。这里，基本层编码完全采用HEVC的编码框架。图中的帧大小可以表示从基本层到最顶部的增强层，各个视频序列的空间分辨率逐步增大，但是图中的帧大小仅用于示意性地表示这种空间分辨率逐步增大，而并非按比例地表示各个空间分辨率之间的比例关系。本领域技术人员可以理解，各个空间分辨率之间的比例关系是在具体实现中根据具体应用而灵活设置的。

图3示出了在HEVC标准中采用规定CU的概念图。CU的概念类似于H.264中的宏块和亚宏块(sub-macroblock)，其长、高采用相同的像素尺寸，但显著差别是CU可以被划分成更多的尺寸大小，最大尺寸为64×64，最小尺寸为8×8，如图3所示。原始视频序列中不同的区域平滑程度不同，其CU的尺寸也不同。越平滑的区域，CU尺寸越大。在图3中，Depth表示深度，split flag是分割标识，N表示CU尺寸。由于本发明的CU划分概念是基于HEVC标准的，因此再次不对其具体内容进行详细论述，以便混淆本发明。

在本发明中，通过分析视频序列的特性，并结合HEVC标准中编码单元CU的尺寸，设计合理的下采样方案实现空间可伸缩性。

具体而言，在进行空间分层时的下采样将基于不同尺寸的CU进行，以便尽可能保持视频序列内在的特性从而获得更好的视频解码重构质量。

在本发明中，针对视频序列的运动特征，设计不同的预测模式，充分利用层间运动预测降低码率。

具体而言，在空间增强层，设计了一种称为BLSkip的新的预测模式，BL即代表了基本层(Base Layer)。当增强层的编码单元采用这种新的预测模式时，由于其对应基本层采用了帧间编码模式，此时就可以对增强层使用层间运动预测模式。具体来说，增强层待编码单元的分割模式、运动矢量和参考帧序号都将直接继承其对应的基本层编码单元的值或尺度伸缩之后的值，所以实际上只需要传递残差信息，从而节省了编码比特数。同时，要在比特流中增加一个标志位(例如但非限定性的，Flag_BLSkip)来区别运动向量预测是来自传统的空间预测还是相应的基本层运动向量乘以相应比例得到的。

在本发明中，采用有效的层间残差预测，减少残差的信息量，提高压缩性能。

具体而言，还将一个标志位(例如但非限定性的，Flag_Residual_Used)加到空间增强层的宏块语法中，标记是否使用了层间残差预测。当该标志位为真时，相应的基本层的残差信号，经过上采样后，可以用来作为增强层的预测残差信号。

在本发明中，设计合理的判决准则，自适应地选择层间或层内预测编码。

具体而言，虽然基本层的重建图像已经可以包含底层的所有信息，但它并不一定是适用于层间预测的最佳选择。例如，对于运动缓慢的区域或是包含有丰富空间细节的区域，用基本层来预测增强层的效果不一定能达到最好。因此，在本发明中，层间预测的结果要跟层内预测的结果进行比较，选择其中效果最佳者作为最终的预测结果，如式(1)所示。这种自适应预测的空间可伸缩HEVC算法，充分利用了视频信号的特性，可以使视频编码的质量达到最佳。

J_l(s，c，m，l|QP，λ_m)＝min{J_l′，J_l″}(1)

在式(1)中，J_l表示当前(增强)层的率失真函数，l代表当前层图像。s是指原始CU的亮度信息；c是指重建CU的亮度信息；m是与l在同一层的参考图像(例如，当在前向预测时，该参考图像在时间域上是l的前一帧；当在后向预测时，该参考图像在时间域上是l的后一帧)，QP是量化参数，λ_m是拉格朗日乘数，“|”是本领域常用的符号，表示后面为公式成立的条件。J_l′表示层间预测的率失真函数，且与QP有关；J_l″表示层内预测的率失真函数。计算公式分别如(2)、(3)所示。

J_l′＝SSD(s，c，m，l-1|QP)+λ_m·R(s，c，m，l-1|QP)(2)

J_l″＝SSD(s，c，m，l|QP)+λ_m·R(s，c，m，l|QP)(3)

其中，QP是量化参数，λ_m是拉格朗日乘数，与QP有关，SSD(·)是原始亮度单元s与重建单元c之间的差值平方和，R(·)是利用HEVC标准的编码模式中的一个所选编码模式进行编码的比特数，(l-1)表示在时间域上同一时刻与l对应的下一层。

图4示出了根据本发明的一个实施例的基于HEVC标准的自适应空间可伸缩编码方法流程图。

在步骤401中，输入视频序列。所述视频序列可以具有当前视频采集技术以及将来的视频采集技术能够实现的任意空间分辨率，例如通常使用的1080p标准的视频序列。

在步骤402中，将所述视频序列在空间域上划分为多个(l+1)空间层，包括具有一个最小空间分辨率的基本层(BL)和多个具有与基本层更大的空间分辨率的增强层，其中所述基本层以及除与所述视频序列的空间分辨率相同的增强层之外的其他增强层都是通过对所述视频序列进行下采样得到的。本领域技术人员可以认识到，所述增强层的数量可以取决于内容提供商的设置。例如，增强层的数量可以使得基本层视频流的播放质量对于观看者而言恰好能够接受(换言之，观察者无法接受空间分辨率低于基本层空间分辨率的视频播放)。

在步骤403中，基于HEVC标准对基本层进行视频编码，以获得基本层码流。显然，基本层码流是具有最低空间分辨率和码率的码流。

在步骤404中，利用层内和层间的相关性，基于基本层码流对各个增强层进行视频编码，以获得多个增强层码流。其中，本领域技术人员可以理解，在实际应用中，这些基本层码流和增强层码流都是实际存在的码流，虽然增强层码流是基于基本层码流的。换言之，当用户选择了增强层时，需要将基本层码流和相应的增强层码流一起作为输出视频码流传输给用户，从而才能在用户侧对该增强层进行视频解码。本领域技术人员可以理解，虽然这里声称基本层码流和增强层码流都是实际存在的码流，但这仅表示这些码流是分开的数据结构，并且这些层并非仅存在于对视频序列进行编码的过程中，而且在对已编码视频进行存储中仍然存在这些层。但是，这绝非表示这些码流必然存储在不同的文件中。实际上，这些码流可以在一个视频文件中存在，而利用本领域常用的各种方式在数据中进行标记。

在步骤405中，基于系统带宽，选择具有合适的码率的层，并依据所述基本层码流和与所选择的层相关的增强层码流产生输出视频码流，以便经由带宽受限的网络发送给用户。

在本发明的一个优选实施例中，在步骤402中所述下采样是基于多种不同尺寸的编码单元(CU)进行的，以便在进行所述基本层和所述增强层的视频编码时能够保持所述视频序列内在的特性。

在本发明的一个优选实施例中，在步骤404中，在对各个增强层进行视频编码时，对于每一个增强层，根据层间预测与层内预测的结果的比较来判断是使用层内预测还是使用层间预测，其中，通过依据层内预测和层间预测率失真函数来进行所述判断，从而使得当前增强层的率失真函数为：

J_l(s，c，m，l|QP，λ_m)＝min{J_l′，J_l″}

其中，J_l表示当前层的率失真函数，l代表当前层，s是指原始CU的亮度信息，c是指重建CU的亮度信息，m是与l在同一层的参考图像，QP是量化参数，λ_m是拉格朗日乘数，“|”是表示后面为本式成立的条件，J_l′表示层间预测的率失真函数，且与QP相关，J_l″表示层内预测的率失真函数，其中：

J_l′＝SSD(s，c，m，l-1|QP)+λ_m·R(s，c，m，l-1|QP)

J_l″＝SSD(s，c，m，l|QP)+λ_m·R(s，c，m，l|QP)

其中，SSD(·)是原始亮度单元s与重建单元c之间的差值平方和，R(·)是利用HEVC标准的编码模式中的一个所选编码模式进行编码的比特数，(l-1)表示在时间域上同一时刻与l对应的下一层。

在本发明的另一优选实施例中，在对所述增强层进行层间预测时，所述增强层的编码单元的分割模式、运动矢量和参考帧序号都将直接继承其对应的基本层编码单元的值或尺度伸缩之后的值，所以只需要传递残差信息。

在本发明的另一优选实施例中，将一个标志位加到所述增强层的宏块语法中，以标记是否使用了层间残差预测，当该标志位为真时，相应的基本层的残差信号，经过上采样后，可以用来作为所述增强层的预测残差信号。

图5示出了根据本发明的一个实施例的装置示意图。该装置的各个组件501-505的功能与以上方法中的步骤401-405类似，因此在此不再赘述。

图6示出了根据本发明的一个实施例的视频编码器的示意图。所述视频编码器600包括：

输入电路，用于输入视频序列；

空间层分割电路，用于将所述视频序列在空间域上划分为多个(l+1)空间层，包括具有一个最小空间分辨率的基本层(BL)和多个具有与基本层更大的空间分辨率的增强层，其中所述基本层以及除与所述视频序列的空间分辨率相同的增强层之外的其他增强层都是通过对所述视频序列进行下采样得到的；

HEVC编码电路，用于基于HEVC标准对基本层进行视频编码，以获得基本层码流，用于基于HEVC标准对进行层内编码的增强层进行视频编码，以获得相应的增强层码流；

层间编码电路，利用层内的相关性，基于基本层码流对各个增强层进行视频编码，以获得相应的增强层码流；

输出电路，其输出所述所述基本层码流和所述多个增强层码流，其中，所述基本层码流和所述多个增强层码流被输出并存储在内容提供商的服务器中的永久性存储器中，所述服务器能够基于系统带宽，选择具有合适的码率的层，并依据所述基本层码流和与所选择的层相关的增强层码流产生输出视频码流，以便经由带宽受限的网络发送给用户，以便经由带宽受限的网络发送给用户，

其中，所述下采样是基于多种不同尺寸的编码单元(CU)进行的，以便在进行所述基本层和所述增强层的视频编码时能够保持所述视频序列内在的特性；

其中，在对各个增强层进行视频编码时，对于每一个增强层，根据层间预测与层内预测的结果的比较来判断是使用层内预测还是使用层间预测，其中，通过依据层内预测和层间预测率失真函数来进行所述判断，从而使得当前增强层的率失真函数为：

J_l(s，c，m，l|QP，λ_m)＝min{J_l′，J_l″}

其中，J_l表示当前层的率失真函数，l代表当前层，s是指原始CU的亮度信息，c是指重建CU的亮度信息，m是与l在同一层的参考图像，QP是量化参数，λ_m是拉格朗日乘数，“|”是表示后面为本式成立的条件，J_l′表示层间预测的率失真函数，且与QP相关，J_l″表示层内预测的率失真函数，其中：

J_l′＝S SD(s，c，m，l-1|QP)+λ_m·R(s，c，m，l-1|QP)

J_l″＝SSD(s，c，m，l|QP)+λ_m·R(s，c，m，l|QP)

其中，SSD(·)是原始亮度单元s与重建单元c之间的差值平方和，R(·)是利用HEVC标准的编码模式中的一个所选编码模式进行编码的比特数，(l-1)表示在时间域上同一时刻与l对应的下一层。

本发明所公开的自适应空间可伸缩编码方法可以用软件、硬件、固件等来实现。

当用硬件实现时，视频编码器可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。

当用ASIC、FPGA等硬件电路来实现视频编码器时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个系统上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。

尽管前述公开文件论述了示例性方案和/或实施例，但应注意，在不背离由权利要求书定义的描述的方案和/或实施例的范围的情况下，可以在此做出许多变化和修改。而且，尽管以单数形式描述或要求的所述方案和/或实施例的要素，但也可以设想复数的情况，除非明确表示了限于单数。另外，任意方案和/或实施例的全部或部分都可以与任意其它方案和/或实施例的全部或部分结合使用，除非表明了有所不同。

Claims (10)

1.一种方法，包括

输入视频序列；

将所述视频序列在空间域上划分为多个(l+1)空间层，包括具有一个最小空间分辨率的基本层(BL)和多个具有与基本层更大的空间分辨率的增强层，其中所述基本层以及除与所述视频序列的空间分辨率相同的增强层之外的其他增强层都是通过对所述视频序列进行下采样得到的；

基于HEVC标准对基本层进行视频编码，以获得基本层码流；

利用层内和层间的相关性，基于基本层码流对各个增强层进行视频编码，以获得多个增强层码流；

基于系统带宽，选择具有合适的码率的层，并依据所述基本层码流和与所选择的层相关的增强层码流产生输出视频码流，以便经由带宽受限的网络发送给用户；

其中，所述下采样是基于多种不同尺寸的编码单元(CU)进行的，以便在进行所述基本层和所述增强层的视频编码时能够保持所述视频序列内在的特性；

其中，在对各个增强层进行视频编码时，对于每一个增强层，根据层间预测与层内预测的结果的比较来判断是使用层内预测还是使用层间预测，其中，通过依据层内预测和层间预测率失真函数来进行所述判断，从而使得当前增强层的率失真函数为：

J_l(s，c，m，l|QP，λ_m)＝min{J_l′，J_l″}

其中，J_l表示当前层的率失真函数，l代表当前层，s是指原始CU的亮度信息，c是指重建CU的亮度信息，m是与l在同一层的参考图像，QP是量化参数，λ_m是拉格朗日乘数，“|”是表示后面为本式成立的条件，J_l′表示层间预测的率失真函数，且与QP相关，J_l″表示层内预测的率失真函数，其中：

J_l′＝SSD(s，c，m，l-1|QP)+λ_m·R(s，c，m，l-1|QP)

J_l″＝SSD(s，c，m，l|QP)+λ_m·R(s，c，m，l|QP)

其中，SSD(·)是原始亮度单元s与重建单元c之间的差值平方和，R(·)是利用HEVC标准的编码模式中的一个所选编码模式进行编码的比特数，(l-1)表示在时间域上同一时刻与l对应的下一层。

2.如权利要求1所述的方法，其中，

在对所述增强层进行层间预测时，所述增强层的编码单元的分割模式、运动矢量和参考帧序号都将直接继承其对应的基本层编码单元的值或尺度伸缩之后的值，所以只需要传递残差信息。

3.如权利要求1或2所述的方法，其中，

将一个标志位加到所述增强层的宏块语法中，以标记是否使用了层间残差预测，当该标志位为真时，相应的基本层的残差信号，经过上采样后，可以用来作为所述增强层的预测残差信号。

4.一种装置，包括

用于输入视频序列的模块；

用于将所述视频序列在空间域上划分为多个(l+1)空间层，包括具有一个最小空间分辨率的基本层(BL)和多个具有与基本层更大的空间分辨率的增强层的模块，其中所述基本层以及除与所述视频序列的空间分辨率相同的增强层之外的其他增强层都是通过对所述视频序列进行下采样得到的；

用于基于HEVC标准对基本层进行视频编码，以获得基本层码流的模块；

用于利用层内和层间的相关性，基于基本层码流对各个增强层进行视频编码，以获得多个增强层码流的模块；

用于基于系统带宽，选择具有合适的码率的层，并依据所述基本层码流和与所选择的层相关的增强层码流产生输出视频码流，以便经由带宽受限的网络发送给用户的模块；

其中，所述下采样是基于多种不同尺寸的编码单元(CU)进行的，以便在进行所述基本层和所述增强层的视频编码时能够保持所述视频序列内在的特性；

其中，在对各个增强层进行视频编码时，对于每一个增强层，根据层间预测与层内预测的结果的比较来判断是使用层内预测还是使用层间预测，其中，通过依据层内预测和层间预测率失真函数来进行所述判断，从而使得当前增强层的率失真函数为：

J_l(s，c，m，l|QP，λ_m)＝min{J_l′，J_l″}

其中，J_l表示当前层的率失真函数，l代表当前层，s是指原始CU的亮度信息，c是指重建CU的亮度信息，m是与l在同一层的参考图像，QP是量化参数，λ_m是拉格朗日乘数，“|”是表示后面为本式成立的条件，J_l′表示层间预测的率失真函数，且与QP相关，J_l″表示层内预测的率失真函数，其中：

J_l′＝S SD(s，c，m，l-1|QP)+λ_m·R(s，c，m，l-1|QP)

J_l″＝SSD(s，c，m，l|QP)+λ_m·R(s，c，m，l|QP)

其中，SSD(·)是原始亮度单元s与重建单元c之间的差值平方和，R(·)是利用HEVC标准的编码模式中的一个所选编码模式进行编码的比特数，(l-1)表示在时间域上同一时刻与l对应的下一层。

5.如权利要求4所述的方法，其中，

在对所述增强层进行层间预测时，所述增强层的编码单元的分割模式、运动矢量和参考帧序号都将直接继承其对应的基本层编码单元的值或尺度伸缩之后的值，所以只需要传递残差信息。

6.如权利要求4或5所述的方法，其中，

将一个标志位加到所述增强层的宏块语法中，以标记是否使用了层间残差预测，当该标志位为真时，相应的基本层的残差信号，经过上采样后，可以用来作为所述增强层的预测残差信号。

7.一种视频编码器，包括：

输入电路，用于输入视频序列；

空间层分割电路，用于将所述视频序列在空间域上划分为多个(l+1)空间层，包括具有一个最小空间分辨率的基本层(BL)和多个具有与基本层更大的空间分辨率的增强层，其中所述基本层以及除与所述视频序列的空间分辨率相同的增强层之外的其他增强层都是通过对所述视频序列进行下采样得到的；

HEVC编码电路，用于基于HEVC标准对基本层进行视频编码，以获得基本层码流，用于基于HEVC标准对进行层内编码的增强层进行视频编码，以获得相应的增强层码流；

层间编码电路，利用层内的相关性，基于基本层码流对各个增强层进行视频编码，以获得相应的增强层码流；

输出电路，其输出所述所述基本层码流和所述多个增强层码流，其中，所述基本层码流和所述多个增强层码流被输出并存储在内容提供商的服务器中的永久性存储器中，所述服务器能够基于系统带宽，选择具有合适的码率的层，并依据所述基本层码流和与所选择的层相关的增强层码流产生输出视频码流，以便经由带宽受限的网络发送给用户，以便经由带宽受限的网络发送给用户，

其中，所述下采样是基于多种不同尺寸的编码单元(CU)进行的，以便在进行所述基本层和所述增强层的视频编码时能够保持所述视频序列内在的特性；

其中，在对各个增强层进行视频编码时，对于每一个增强层，根据层间预测与层内预测的结果的比较来判断是使用层内预测还是使用层间预测，其中，通过依据层内预测和层间预测率失真函数来进行所述判断，从而使得当前增强层的率失真函数为：

J_l(s，c，m，l|QP，λ_m)＝min{J_l′，J_l″}

其中，J_l表示当前层的率失真函数，l代表当前层，s是指原始CU的亮度信息，c是指重建CU的亮度信息，m是与l在同一层的参考图像，QP是量化参数，λ_m是拉格朗日乘数，“|”是表示后面为本式成立的条件，J_l′表示层间预测的率失真函数，且与QP相关，J_l″表示层内预测的率失真函数，其中：

J_l′＝S SD(s，c，m，l-1|QP)+λ_m·R(s，c，m，l-1|QP)

J_l″＝SSD(s，c，m，l|QP)+λ_m·R(s，c，m，l|QP)

其中，SSD(·)是原始亮度单元s与重建单元c之间的差值平方和，R(·)是利用HEVC标准的编码模式中的一个所选编码模式进行编码的比特数，(l-1)表示在时间域上同一时刻与l对应的下一层。

8.一种处理器，其被配置为：

输入视频序列；

将所述视频序列在空间域上划分为多个(l+1)空间层，包括具有一个最小空间分辨率的基本层(BL)和多个具有与基本层更大的空间分辨率的增强层，其中所述基本层以及除与所述视频序列的空间分辨率相同的增强层之外的其他增强层都是通过对所述视频序列进行下采样得到的；

基于HEVC标准对基本层进行视频编码，以获得基本层码流；

利用层内和层间的相关性，基于基本层码流对各个增强层进行视频编码，以获得多个增强层码流；

基于系统带宽，选择具有合适的码率的层，并并依据所述基本层码流和与所选择的层相关的增强层码流产生输出视频码流，以便经由带宽受限的网络发送给用户；

其中，所述下采样是基于多种不同尺寸的编码单元(CU)进行的，以便在进行所述基本层和所述增强层的视频编码时能够保持所述视频序列内在的特性；

其中，在对各个增强层进行视频编码时，对于每一个增强层，根据层间预测与层内预测的结果的比较来判断是使用层内预测还是使用层间预测，其中，通过依据层内预测和层间预测率失真函数来进行所述判断，从而使得当前增强层的率失真函数为：

J_l(s，c，m，l|QP，λ_m)＝min{J_l′，J_l″}

其中，J_l表示当前层的率失真函数，l代表当前层，s是指原始CU的亮度信息，c是指重建CU的亮度信息，m是与l在同一层的参考图像，QP是量化参数，λ_m是拉格朗日乘数，“|”是表示后面为本式成立的条件，J_l′表示层间预测的率失真函数，且与QP相关，J_l″表示层内预测的率失真函数，其中：

J_l′＝S SD(s，c，m，l-1|QP)+λ_m·R(s，c，m，l-1|QP)

J_l″＝SSD(s，c，m，l|QP)+λ_m·R(s，c，m，l|QP)

其中，SSD(·)是原始亮度单元s与重建单元c之间的差值平方和，R(·)是利用HEVC标准的编码模式中的一个所选编码模式进行编码的比特数，(l-1)表示在时间域上同一时刻与l对应的下一层。

9.一种计算机可读介质，在其上记录了由处理器执行的指令，所述指令包括：

用于输入视频序列的指令；

用于将所述视频序列在空间域上划分为多个(l+1)空间层，包括具有一个最小空间分辨率的基本层(BL)和多个具有与基本层更大的空间分辨率的增强层的指令，其中所述基本层以及除与所述视频序列的空间分辨率相同的增强层之外的其他增强层都是通过对所述视频序列进行下采样得到的；

用于基于HEVC标准对基本层进行视频编码，以获得基本层码流的指令；

用于利用层内和层间的相关性，基于基本层码流对各个增强层进行视频编码，以获得多个增强层码流的指令；

用于基于系统带宽，选择具有合适的码率的层，并依据所述基本层码流和所述增强层码流产生输出视频码流，以便经由带宽受限的网络发送给用户的指令；

其中，所述下采样是基于多种不同尺寸的编码单元(CU)进行的，以便在进行所述基本层和所述增强层的视频编码时能够保持所述视频序列内在的特性；

其中，在对各个增强层进行视频编码时，对于每一个增强层，根据层间预测与层内预测的结果的比较来判断是使用层内预测还是使用层间预测，其中，通过依据层内预测和层间预测率失真函数来进行所述判断，从而使得当前增强层的率失真函数为：

J_l(s，c，m，l|QP，λ_m)＝min{J_l′，J_l″}

其中，J_l表示当前层的率失真函数，l代表当前层，s是指原始CU的亮度信息，c是指重建CU的亮度信息，m是与l在同一层的参考图像，QP是量化参数，λ_m是拉格朗日乘数，“|”是表示后面为本式成立的条件，J_l′表示层间预测的率失真函数，且与QP相关，J_l″表示层内预测的率失真函数，其中：

J_l′＝S SD(s，c，m，l-1|QP)+λ_m·R(s，c，m，l-1|QP)

J_l″＝SSD(s，c，m，l|QP)+λ_m·R(s，c，m，l|QP)

其中，SSD(·)是原始亮度单元s与重建单元c之间的差值平方和，R(·)是利用HEVC标准的编码模式中的一个所选编码模式进行编码的比特数，(l-1)表示在时间域上同一时刻与l对应的下一层。

10.一种使用如权利要求1-3中任一项所述的方法产生的输出视频码流。

Images