CN102740079B - 基于hevc标准率失真优化的质量可伸缩编码 - Google Patents

Abstract

本发明借鉴中等粒度质量可伸缩编码中的关键帧思想，设计率失真优化的质量可伸缩编码算法。具体内容包括：引入关键编码单元(Key CU)代替关键帧，实现可伸缩编码的质量与错误漂移的折中；在率失真优化准则下，优化设计编码单元CU的量化参数；针对不同尺寸的变换单元TU，采用不同的打包策略。

Description

基于HEVC标准率失真优化的质量可伸缩编码

联合研究

本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113，No.60903066)，北京市属高等学校人才强教深化计划项目(PHR201008187)；江苏省自然科学基金(BK2011455)，北京市自然科学基金(No.4102049)，教育部新教师基金(No.20090009120006)；国家973计划(2012CB316400)，中央高校基础研究基金(No.2011JBM214)。

技术领域

本发明涉及图像处理领域，更具体而言，涉及用于高效视频编码(HEVC)标准率失真优化的质量可伸缩编码。

背景技术

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发HEVC标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http://wftp3.itu.int获得。

HEVC定义了3种类型的单元，包括编码单元(CU)、预测单元(PU)和变换单元(TU)，其相互关系可以如图4所示。

HEVC标准中所使用的编码单元(CU)的大小将最大可达64x 64，这主要是为了高清视频压缩编码的应用。DCT变换编码将突破8x 8，最大能够达到32x 32。对于帧内预测，预测的方向更佳细化，多达35种帧内预测(intra predication)模式。在熵编码方面，使用了适应性更强的CABAC以及低复杂度的LCEC。

HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。为能够实现本质上的突破，HEVC融合了许多优秀的编码工具和编码算法，比如树状结构预测和残差块的分割，自适应运动矢量的选择，自适应环形滤波等。

现如今，网络技术和多媒体技术的发展异常迅猛，并且基于网络的多媒体也获得了十分广泛的应用。然而多媒体应用环境的网络形式异构性、终端设备的多样性以及多媒体应用的复杂性使得多媒体的应用具有一定的困难和挑战。于是应运而生的可伸缩编码技术从多层子码流提供了时间、空间、质量等各种尺度的可伸缩的性能，相对于传统的单层视频编码具有良好的适应能力。

可伸缩编码技术(文献[4])即把视频信号编码成分层的形式，当带宽不足时只对基本层的码流进行传输和解码，但这时解码的视频质量不高。当带宽慢慢变大时，可以传输和解码增强层的码流来提高视频的解码质量。相对于原来的视频编码标准，一次编码后的视频码流就固定了，对于不同的终端应用，需要对同一内容多次编码；而可伸缩视频编码有效解决了之前编码标准输出码流的不灵活性，一次编码可适应多种不同信道。空间可伸缩编码算法可以给同一比特流提供各种分辨率的视频序列，并且可通过对低图像分辨率序列上进行下采样采样获得较低的空间分辨率。将每一个空间分辨率作为一个新的空间编码层，每层进行相互独立的编码，分配各自独立的编码参数，并在此基础上实现空间可伸缩。质量可伸缩编码可被认为是一种特殊的空间可伸缩编码(文献[5])。传统的质量可伸缩为Coarse-Grain quality Scalable Coding(CGS，粗粒度质量可伸缩)。但是，在实际应用中，已经发展了Medium-Grain Quality Scalability(MGS，中等粒度质量可伸缩)(文献[6])。CGS有类似于空间可伸缩的中层间预测，但是无需上采样的过程，并且CGS对码率不能灵活处理。然而MGS可以灵活的权衡漂移和层间预测的编码效率。因此将MGS应用到HEVC中，可以更好的控制码流，取得更好的性能。

本申请中主要参考以下技术文献来实现，这些文献中的JCT-VC可直接从http://wftp3.itu.int获得：

[1]JCT-VC，“High Efficiency Video Coding(HEVC)Test Model 1(HM1)Encoder Description”，JCTVC-C402，October 2010

[2]ITU-T Recommendation H.264/ISO/IEC 14496-10：“Informationtechnology-Coding of audio-visual objects Part 10：Advanced Video Coding”

[3]JCT-VC，“High Efficiency Video Coding(HEVC)Test Model 5(HM5)Encoder Description”，JCTVC-G 1102，November，2011

[4]M.Wien，H.Schwarz，and T.Oelbaum，“Performance analysis ofSVC，”IEEE Trans.Circuits Syst.Video Technol.，vol.17，no.9，pp.1194-1203，Sep.2007.

[5]H.Schwarz，D.Marpe，and T.Wiegand，Independent Parsing ofSpatial and CGS Layers，Joint Video Team，Doc.JVT-S069，Mar.2006.

[6]Amonou，I.，Cammas，N.，Kervadec，S..Optimized Rate-DistortionExtraction With Quality Layers in the Scalable Extension of H.264/AVC.IEEETransactions on Circuits and Systems for Video Technology.2007，17(9)：1186-1193

本发明针对三网融合中的网络异构性、终端设备异构性以及用户需求多样性，结合HEVC标准中灵活的尺寸单元和复杂的预测方式，研究率失真优化的质量可伸缩编码算法，并且将Medium-Grain Quality Scalability(MGS，中等粒度质量可伸缩)应用到HEVC中，可以更好的控制码流，取得更好的性能。

发明内容

码流支持质量可伸缩性的概念意味着对相同的视频内容，能包含拥有不同信噪比的子码流。质量可伸缩可以视为空间可伸缩的一个特例，即两层之间的空间分辨率相同，但是信噪比不同。本发明借鉴中等粒度质量可伸缩编码(MGS，Medium-Grain quality Scalability)中的关键帧思想，设计率失真优化的质量可伸缩编码算法。具体内容包括：①引入关键编码单元(Key CU)代替关键帧，实现可伸缩编码的质量与错误漂移的折中；②在率失真优化准则下，优化设计编码单元CU的量化参数；③针对不同尺寸的变换单元TU，采用不同的打包策略。

附图说明

图1示出了HEVC的编码器框图的一个实施例。

图2示出了基于关键编码单元的漂移控制的示意图。

图3示出了变换单元TU的分割模式的图示。

图4示出了HEVC中编码单元(CU)、预测单元(PU)和变换单元(TU)的相互关系的示意图。

图5示出了根据本发明的一个实施例的方法流程图。

图6示出了根据本发明的一个实施例的装置示意图。

具体实施方式

现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。

如在本申请中所使用的，术语“组件”、“模块”、“系统”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地系统、分布式系统中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他系统交互的一个组件的数据。

图1示出了高效视频编码(HEVC)所实现的视频编码器的大致结构图。HEVC的编码器架构与H.264所使用的编码器架构大致相同，主要是针对各个模块中所使用的算法进行了进一步的研究、改进，尤其是针对高分辨率视频序列，其改进的目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

由于HEVC的编码器架构与H.264所使用的编码器架构大致相同，因此不混淆本发明，本申请中不对图1中的整体架构进行描述，而仅关注于基于HEVC标准率失真优化的质量可伸缩编码。

本发明借鉴中粒度质量可伸缩编码(MGS，Medium-Grain qualityScalability)中的关键帧(key frame)思路，设计率失真优化的质量可伸缩编码算法。关键帧一般为帧内编码帧，在解码的时候不需要其它参考帧。关键帧解码后可以用来预测其余的帧间编码帧。另外，关键帧是视频编码里面非常重要的信息，如果关键帧丢失，会对视频整体质量造成较大的影响。

在MGS中，运用关键帧来平衡误差传播和编码效率两者之间的关系。本发明结合HEVC框架的特点，采用关键编码单元(key CU)来代替关键帧，该算法将在编码单元级别上实现，从而比传统的基于帧的算法设计更为精细，以获得更好的率失真性能。关键编码单元(key CU)是选择HEVC标准中的编码单元CU将其作为帧内编码的关键CU，也就是不需要参考别的CU来对其进行编码。关键编码单元的意义与关键帧类似，只是关键编码单元是从编码单元CU角度考虑的，关键帧是从更大的帧的角度考虑的。

如图2所示，图中下方多个帧表示基本层，上方多个帧表示增强层，绘制阴影的方框表示某个关键编码单元(CU)。对于关键编码单元(key CU)只能采用基本质量层来实现层间预测，而非关键编码单元(non-key CU)则使用高质量的增强层图像作为参考，从而提高编码效率。由于非关键编码单元占据了整个视频的绝大多数，所以整体编码效率较高。而对于漂移控制，关键编码单元的重构是通过基本质量层实现的，因此更高质量层的丢失造成的漂移仅仅只能作用在当前关键编码单元到下一个关键编码单元之间，我们可以设计关键编码单元的周期，从而实现对漂移的控制。

另外，变换单元(TU)是变换的基本单元。如图3所示，TU有多种分割方式。本发明根据TU的分割方式，对不同的TU单元分别打包。例如，可以将同一TU单元的系数放到不同数据包中，从而在数据包随机发生丢失时，能够保留更多的丢失单元的信息，有利于解码端进行错误隐藏。

在一个具体实施例中，可以将同一TU的系数放到不同数据包中。具体的讲，将同一个变换单元TU的奇数行奇数列及偶数行偶数列系数放到一个数据包中，将其余系数放到另外一个数据包中。

图5示出了根据本发明的一个实施例的基于HEVC标准的率失真优化的质量可伸缩编码方法流程图。

在步骤501中，输入视频序列。所述视频序列可以具有当前视频采集技术以及将来的视频采集技术能够实现的任意空间分辨率，例如通常使用的1080p标准的视频序列。

在步骤502中，应用层间预测和/或层内预测将所述视频序列分别编码为多个质量可伸缩层，其中，各个质量可伸缩层之间具有相同的空间分辨率但具有不同的信噪比，其中，所述多个质量可伸缩层包括具有最低质量的基本层和多个质量逐层提高的增强层。本领域技术人员可以认识到，所述质量可伸缩层的数量可以取决于内容提供商的设置。例如，质量可伸缩层的数量可以使得基本层视频流的播放质量对于观看者而言恰好能够接受

(换言之，观察者无法接受空间分辨率低于基本层空间分辨率的视频播放)。具有最高级别的质量可伸缩层应该与原始输入视频序列具有最小的误差。其中，本领域技术人员可以理解，在实际应用中，这些质量可伸缩层都是实际存在的层，虽然上一层应该基于下一层。换言之，当用户选择了其中一个质量可伸缩层时，需要将基本层和相关的增强层一起作为输出视频码流传输给用户，从而才能在用户侧对该增强层进行视频解码。本领域技术人员可以理解，虽然这里声称基本层和增强层都是实际存在的层，但这仅表示这些层是分开的数据结构，并且这些层并非仅存在于对视频序列进行编码的过程中，而且在对已编码视频进行存储中仍然存在这些层。但是，这绝非表示这些层必然存储在不同的文件中。实际上，这些层可以在一个视频文件中存在，而利用本领域常用的各种方式在数据中进行标记。

并且，根据在产生不同的质量可伸缩层使用的是层间预测还是层内预测，各个质量可伸缩层的相互关系可以多种多样。例如，如果一个增强层仅是基于基本层进行的层间预测，则其实际上仅与基本层相关，并且在解码端仅需要基本层和该特定层的数据。作为另一实例，如果一个增强层是基于其下方紧邻的增强层(即质量低于其质量但是与其最接近的层)，则在解码端仅需要基本层、该特定层以及该紧邻层的数据(并且还必须包含与该紧邻层相关的层的数据)。

在步骤503中，基于系统带宽，从所述多个质量可伸缩层中选择具有合适码流的层，并将相应的视频码流作为输出码流经由带宽受限的网络发送给用户。在此，所述相应的视频码流是指在解码端能够对所选择的层进行解码的全部数据构成的视频码流，如上所述的，其可能包含若干个层的数据。例如，通常，与增强层相应的视频码流必然包含基本层的数据。

其中，在应用层间预测和/或层内预测将所述视频序列分别编码为多个质量可伸缩层时，使用关键编码单元(CU)来实现可伸缩编码的质量与错误漂移的折中，所述关键编码单元是选择根据HEVC标准的编码单元CU中的在帧内编码时不需要参考其他CU来对其进行编码的CU，对于所述关键编码单元只采用基本层来实现层间预测，而非关键编码单元则使用高质量的增强层作为参考，并且其中，设计所述关键编码单元的周期，从而实现对漂移的控制；

并且其中，将同一TU的系数打包至不同数据包中，具体的讲，将同一个TU的奇数行奇数列及偶数行偶数列系数放到一个数据包中，将其余系数放到另外一个数据包中，从而在数据包随机发生丢失时，能够保留更多的丢失单元的信息，有利于解码端进行错误隐藏。

图6示出了根据本发明的一个实施例的装置示意图。该装置的各个组件601-603的功能与以上方法中的步骤501-503类似，因此在此不再赘述。

本发明所公开的基于HEVC标准的率失真优化的质量可伸缩编码方法可以用软件、硬件、固件等来实现。

当用硬件实现时，视频编码器可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。

当用ASIC、FPGA等硬件电路来实现视频编码器时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个系统上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。

尽管前述公开文件论述了示例性方案和/或实施例，但应注意，在不背离由权利要求书定义的描述的方案和/或实施例的范围的情况下，可以在此做出许多变化和修改。而且，尽管以单数形式描述或要求的所述方案和/或实施例的要素，但也可以设想复数的情况，除非明确表示了限于单数。另外，任意方案和/或实施例的全部或部分都可以与任意其它方案和/或实施例的全部或部分结合使用，除非表明了有所不同。

Claims (2)

1.一种用于高效视频编码标准率失真优化的质量可伸缩编码的方法，包括：

输入视频序列；

应用层间预测和/或层内预测将所述视频序列分别编码为多个质量可伸缩层，其中，各个质量可伸缩层之间具有相同的空间分辨率但具有不同的信噪比，其中，所述多个质量可伸缩层包括具有最低质量的基本层和多个质量逐层提高的增强层；并且

基于系统带宽，从所述多个质量可伸缩层中选择具有合适码流的层，并将相应的视频码流作为输出码流经由带宽受限的网络发送给用户，

其中，在应用层间预测和/或层内预测将所述视频序列分别编码为多个质量可伸缩层时，使用关键编码单元(CU)来实现可伸缩编码的质量与错误漂移的折中，所述关键编码单元是选择根据HEVC标准的编码单元CU中的在帧内编码时不需要参考其他CU来对其进行编码的CU，对于所述关键编码单元只采用基本层来实现层间预测，而非关键编码单元则使用高质量的增强层作为参考，并且其中，设计所述关键编码单元的周期，从而实现对漂移的控制；

并且其中，将同一变换单元(TU)的系数打包至不同数据包中，具体的讲，将同一个TU的奇数行奇数列及偶数行偶数列系数放到一个数据包中，将其余系数放到另外一个数据包中，从而在数据包随机发生丢失时，能够保留更多的丢失单元的信息，有利于解码端进行错误隐藏。

2.一种用于高效视频编码标准率失真优化的质量可伸缩编码的装置，包括：

用于输入视频序列的模块；

用于应用层间预测和/或层内预测将所述视频序列分别编码为多个质量可伸缩层的模块，其中，各个质量可伸缩层之间具有相同的空间分辨率但具有不同的信噪比，其中，所述多个质量可伸缩层包括具有最低质量的基本层和多个质量逐层提高的增强层；并且

用于基于系统带宽，从所述多个质量可伸缩层中选择具有合适码流的层，并将相应的视频码流作为输出码流经由带宽受限的网络发送给用户的模块，

其中，在应用层间预测和/或层内预测将所述视频序列分别编码为多个质量可伸缩层时，使用关键编码单元(CU)来实现可伸缩编码的质量与错误漂移的折中，所述关键编码单元是选择根据HEVC标准的编码单元CU中的在帧内编码时不需要参考其他CU来对其进行编码的CU，对于所述关键编码单元只采用基本层来实现层间预测，而非关键编码单元则使用高质量的增强层作为参考，并且其中，设计所述关键编码单元的周期，从而实现对漂移的控制；

并且其中，将同一变换单元(TU)的系数打包至不同数据包中，具体的讲，将同一个TU的奇数行奇数列及偶数行偶数列系数放到一个数据包中，将其余系数放到另外一个数据包中，从而在数据包随机发生丢失时，能够保留更多的丢失单元的信息，有利于解码端进行错误隐藏。