CN101977316B - 一种可伸缩编码方法 - Google Patents

Abstract

本发明提供一种可伸缩编码方法，其包括对增强层的当前宏块进行层内帧内预测和层内帧间预测以确定最佳预测模式及最佳预测模式下得到SATD值S；获取用于跨层预测的上采样后的基带层重建图像的亮度矩阵和色度矩阵，计算所述亮度矩阵中所述当前宏块在8×8重建跨层预测模式下的SATD值S_svc；当S＜S_svc，则用所述最佳预测模式对当前宏块进行预测编码，否则计算所述亮度矩阵中所述当前宏块中每个8×8像素的亮度块在4×4重建跨层预测模式下的SATD值S′_8×8以及在8×8重建跨层预测模式下的SATD值S_8×8，并选择预测模式对当前宏块下每个8×8像素的亮度块进行预测编码，且对当前宏块下每个8×8像素的色度块进行预测编码。

Description

一种可伸缩编码方法

【技术领域】

本发明涉及视频编码领域，特别是涉及一种适用于重建跨层预测编码中的可伸缩编码方法。

【背景技术】

在广播和监控领域中，不同用户对显示分辨率，视频质量和传输宽带有各自不同的需求。因此传统的单层视频编码器需要扩展成多层视频编码器，从而能在压缩后的同一个视频流内提供不同的视频格式和画质，这样则可以满足不同用户的需求。

基于此，JVT(Joint Video team)提出了H.264/AVC扩展版——SVC(ScalabeVideo Coding)。SVC在时域、空域和图像质量三个方面实现了分层编码。其中最重要的是空域分层编码，主要是利用不同分辨率视频层之间的空域相关性，以基带层(即低分辨率视频层)经过插值的重建图像、相应语义或者残差为预测值以达到进一步提高增强层(即高分辨率视频层)的压缩效率，同时对增强层的画质影响几乎可以忽略不计，这样可以非常有效地节省传输宽带。不过以上这些空域分层编码的优点都是基于率失真优化RDO(Rate DistortionOptimization)实现的，因此需要大量的计算。并且为了确保单环解码的特点，SVC限制了重建跨层预测编码的范围，当基带层中的宏块为帧内编码时才可以使用。因此，适用于可分层编码的8×8块重建跨层预测的提出是可以弥补SVC的这些不足的。但是对于增强层的视频层来说，仅仅8×8重建跨层预测模式并不能保证精细的画面质量。

因此有必要提出一种新的技术方案来解决上述问题。

【发明内容】

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

本发明的目的在于提供一种可伸缩的编码方法，其利用4×4重建跨层预测模式进行跨层预测，提高了画面的精度。

根据本发明的目的，本发明提供一种，其包括：对增强层的当前宏块进行层内帧内预测和层内帧间预测以确定最佳预测模式及最佳预测模式下得到的SATD值S；获取用于跨层预测的上采样后的基带层重建图像的亮度矩阵和色度矩阵，计算所述亮度矩阵中所述当前宏块在8×8重建跨层预测模式下的SATD值S_svc；当S＜S_svc，则用所述最佳预测模式对当前宏块进行预测编码，否则计算所述亮度矩阵中所述当前宏块中每个8×8像素的亮度块在4×4重建跨层预测模式下的SATD值S′_8×8以及在8×8重建跨层预测模式下的SATD值S_8×8，当S′_8×8＜S_8×8且|S_8×8-S′_8×8|≥T_8×8时，对当前宏块下每个8×8像素的亮度块利用4×4重建跨层预测模式进行预测编码，并对当前宏块下每个8×8像素的色度块利用8×8重建跨层预测模式进行预测编码，否则对当前宏块下每个8×8像素的亮度块利用8×8重建跨层预测模式进行预测编码，并对当前宏块下每个8×8像素的色度块利用8×8重建跨层预测模式进行预测编码，其中T_8×8为由当前量化系数计算出来的门限。

进一步的，根据下式计算需要预测的亮度块中每个点的跨层预测误差：

diff(x，y)＝O(x，y)-P(x，y)

其中diff(x，y)为当前亮度块中坐标(x，y)像素的跨层预测误差，O(x，y)为增强层中亮度块中相应的原始亮度值，P(x，y)是相应的上采样后的基带层的重建图像的亮度值，需要预测的亮度块的各个点的跨层预测误差组成一失真矩阵，利用哈达玛矩阵对所述失真矩阵进行变换，取变换后矩阵中各个元素的绝对值，将所有的绝对值相加得到该亮度块对应的SATD值。

更进一步的，利用4×4的哈达码矩阵对4×4像素的亮度块所得到的失真矩阵进行哈达玛变化以得到当前4×4像素的亮度块的SATD值S_4×4，计算当前8×8像素的亮度块中另外3个4×4亮度块SATD值S_4×4，利用所述4个4×4像素的亮度块SATD值S_4×4的和得到当前8×8像素的亮度块在4×4重建跨层预测模式下的SATD值S′_8×8。

更进一步的，利用当前宏块中4个8×8像素的亮度块的SATD值S_8×8的和得到当前宏块的重建跨层预测模式下的SATD值S_svc。

更进一步的，对增强层进行层内帧内预测和帧间预测以得到相应的SATD值，其中最小的SATD值对应的预测模式为最佳预测模式。

进一步的，对基带层进行编码和重建以获取基带层编码帧的亮度和色度重建矩阵，并对上述亮度和色度重建矩阵使用上采样滤波器插值得到用于跨层预测的所述高分辨尺寸的基带层的重建图像的亮度和色度矩阵。

进一步的，所述4×4重建跨层预测模式将每个8×8像素的亮度块分成4个4×4像素的亮度块进行预测。

进一步的，所述8×8重建跨层预测模式将每个宏块分成4个8×8像素的亮度块进行预测编码。

进一步的，在增强层的宏块的8×8像素块语义中加入一位标识来表示当前8×8像素的亮度块是否按照4×4重建跨层预测模式编码，若当前8×8像素的亮度块是按照4×4重建跨层预测模式编码，则所述标识为1或0中的一个值，否则为1或0中另一个值。

进一步的，所述4×4重建跨层预测模式能在增强层的I帧、I场、P帧、P场、B帧或B场中使用。

与现有技术相比，本发明通过对同层预测编码的残差经哈达玛变换再绝对值求和(SATD(Sum of Absolute Transformed Difference))值和跨层预测编码的SATD的值进行比较得出选用同层预测编码还是跨层预测编码方式，如选用跨层预测编码方式还需进一步判定宏块是利用4×4重建跨层预测模式进行预测编码还是利用8×8重建跨层预测模式进行预测编码，这样则使得在预测的增强层能够到达最高的精确度。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明中可伸缩编码方法在一个实施中的流程图；和

图2为本发明的一个实施例中的宏块的分块模式的示意图。

【具体实施方式】

本发明的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描述来直接或间接地模拟本发明技术方案的运作。为透彻的理解本发明，在接下来的描述中陈述了很多特定细节。而在没有这些特定细节时，本发明则可能仍可实现。所属领域内的技术人员使用此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他们的工作本质。换句话说，为避免混淆本发明的目的，由于熟知的方法和程序已经容易理解，因此它们并未被详细描述。

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构成对本发明的限制。

本发明提供的一种可伸缩编码方法，其首先判定增强层即高分辨视频层内预测和跨层预测的绝对变换差和，即SATD(Sum of Absolute TransformedDifference)值，SATD值小的预测方式被选用来作为宏块的预测方式，如选用跨层预测编码时，还需要判断每个8×8像素的亮度块决定用4×4重建跨层预测模式还是用8×8重建跨层预测模式，并将在增强层的最佳预测模式下获取的SATD值S与8×8像素的亮度块在8×8重建跨层预测模式获取的SATD值S_svc进行比较以判定是使用层内标准编码模式对当前宏块进行预测还是使用4×4重建跨层预测模式或8×8重建跨层预测模式。其具体方法可参见图1所示。

图1为本发明中可伸缩编码方法在一个实施例中的流程图。所述方法包括：

步骤110，对增强层的当前宏块进行层内帧内预测和层内帧间预测以确定最佳预测模式及最佳预测模式下得到的SATD值S。

最佳预测模式可以根据所述层内帧内预测和层内帧间预测的SATD值确定。即对增强层的当前宏块进行层内帧内预测和层内帧间预测以得到当前宏块的SATD值，其中最小的SATD值对应的预测模式为最佳预测模式。这里将所述最佳模式下得到的当前宏块的SATD值记为S，由上可知，这里的SATD值S为增强层层内预测得到的SATD值。

一般的，每帧图像由若干不叠加的宏块组成，而每个宏块由一个16×16亮度像素和附加的一个8×8Cb、一个8×8Cr彩色像素块组成。其每一个16×16亮度像素在本发明中称为一16×16像素的亮度块，且每一个16×16像素的亮度块进一步可分为4个8×8像素的亮度块，而每个8×8像素的亮度块又可以分为4个4×4像素的亮度块，如图2所示。为了计算所述当前宏块的SATD值，可以先求出每个8×8像素的亮度块的SATD的值，然后根据每个8×8像素的亮度块的SATD值的和得到16×16像素的亮度块的值。由于在进行视频压缩的过程中，通常计算宏块的SATD值只计算对应亮度块的SATD值，所以，这里将当前亮度块的SATD值记为当前对应宏块的SATD值。

在一个实施例中，选用8×8像素的亮度块进行计算，首先计算所述8×8像素的亮度块中每个像素点的跨层预测误差得：

diff(x，y)＝O(x，y)-P(x，y)

其中diff(x，y)为当前亮度块中坐标(x，y)像素的跨层预测误差，O(x，y)为增强层中亮度块中相应的原始亮度值，P(x，y)是相应上采样后的基带层的重建图像的亮度值。这样根据所述亮度块中每个像素点的diff(x，y)便得到一个8×8的失真矩阵Diff(x，y)，然后利用一个8×8的哈达玛矩阵对所述失真矩阵进行变换得到矩阵H(Diff(x，y))，取变换后矩阵H(Diff(x，y))中各个元素的绝对值，将所有的绝对值相加得到该亮度块对应的SATD值为：

步骤120，获取用于跨层预测的所述增强层尺寸下的基带层的重建图像的亮度和色度矩阵。通常在分层编码的过程中，由于基带层的计算量比较小，获取基带层比较容易，所以在基带层的基础上来跨层预测增强层。这里，首先对基带层进行编码和重建以获取基带层编码帧的亮度和色度重建矩阵，并对上述亮度和色度重建矩阵使用上采样滤波器插值得到用于跨层预测编码的所述增强层尺寸下的基带层的重建图像的亮度和色度矩阵。

步骤130，计算所述亮度矩阵中所述当前宏块在8×8重建跨层预测模式下的SATD值S_svc。同样这里宏块的SATD值S_svc仍是计算该宏块对应的亮度块的SATD值得到的。

在一个实施例中，所述8×8重建跨层预测模式将每个宏块分成4个8×8像素的亮度块进行预测编码以得到4个亮度块的SATD值S_8×8，然后得到的4个亮度块的SATD值S_8×8的和则为宏块对应的SATD值S_svc。

步骤140，判断S＜S_svc是否成立。也就是比较层内预测编码时得到的当前宏块SATD值和跨层预测编码时得到的当前宏块SATD的值，一般的，如果层内预测编码时得到的当前宏块SATD值比较小则说明层内预测编码时产生的误差比跨层预测编码时产生的误差小，则此时会选用层内预测编码，否则考虑跨层预测编码。

步骤150，当S＜S_svc时，则用所述最佳编码模式对当前宏块进行预测编码，即选择增强层层内帧内预测和层内帧间预测中较佳的预测模式进行预测编码，这样产生的效果会比较好。

步骤160，当S＞S_svc时，则计算当前宏块的每个8×8像素的亮度块在4×4重建跨层预测模式下SATD值S′_8×8以及在8×8重建跨层预测模式下得到的SATD值S_8×8。

所述4×4重建跨层预测模式将每个8×8像素的亮度块分成4个4×4像素的亮度块进行预测编码，而8×8重建跨层预测模式将每个宏块分成4个8×8像素的亮度块进行预测编码。

在一个实施例中，利用所述4×4重建跨层预测模式将每个8×8像素的亮度块分成4个4×4亮度块进行预测编码具体为：首先计算4×4像素的亮度块中每个像素点的跨层预测误差：

diff(x，y)＝O(x，y)-P(x，y)

其中diff(x，y)为当前4×4像素的亮度块中坐标为(x，y)的像素的跨层预测误差，O(x，y)为增强层中4×4像素的亮度块中相应的原始亮度值，P(x，y)是相应基带层的重建图像的亮度值；这样根据每个像素点的diff(x，y)便得到一个4×4的失真矩阵Diff(x，y)，然后利用一个4×4的哈达玛矩阵对所述失真矩阵进行变换得到矩阵H(Diff(x，y))，选取的所述4×4的哈达玛矩阵可以如下：

$H=\left(\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ 1& -1& 1& -1\\ 1& -1& -1& 1\end{array}\right)$

之后取变换后矩阵H(Diff(x，y))中各个元素的绝对值，将所有的绝对值相加得到该当前4×4亮度块对应的S_ATD值S_4×4为：

计算当前8×8像素的亮度块中另外3个4×4像素的亮度块SATD值S_4×4，利用所述4个4×4像素的亮度块SATD值S_4×4的和得到当前8×8像素的亮度块在4×4重建跨层预测模式下的SATD值S′_8×8。

而在编码的过程中，对于4×4重建跨层预测模式和8×8重建跨层预测模式下进行编码时需要对其编码方式进行区分，以便在解码过程中可以相应地对其进行解码。在一个实施例中，可以在宏块的8×8像素块语义中加入一位标识来表示当前8×8像素的亮度块是否是按照4×4重建跨层预测模式预测编码的，如果是，则所述标识等于1，否则等于0。当然，也可以表示为：当前8×8像素的亮度块是按照4×4重建跨层预测模式预测编码的，则所述标识等于0，否则等于1。

步骤170，判断S′_8×8＜S_8×8和|S_8×8-S′_8×8|≥T_8×8是否成立，其中T_8×8是由当前量化系数计算出来的门限。

步骤180，当步骤170中的条件不成立时，则仍旧选择8×8重建跨层预测模式进行预测编码，且对当前宏块的每个8×8像素的色度块利用8×8重建跨层预测模式进行预测编码。

步骤190，当S′_8×8＜S_8×8且|S_8×8-S′_8×8|≥T_8×8时，对当前宏块的8×8亮度块利用4×4重建跨层预测模式进行预测编码，且对当前宏块的每个8×8像素的色度块利用8×8重建跨层预测模式进行预测编码。

需要指出的是，所述4×4重建跨层预测模式可以适用在增强层的I帧或I场，也可以适用在增强层的P帧或P场，当然同样可以适用在增强层的B帧或B场中。

综上所述，本发明通过对同层预测的SATD值和跨层预测的SATD的值进行比较得出选用同层预测编码方式还是跨层预测编码方式，如选用跨层预测编码方式还需进一步判定宏块是利用4×4重建跨层预测模式进行预测编码还是利用8×8重建跨层预测模式进行预测编码，这样则使得在预测的增强层能够到达最高的精确度。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (8)

1.一种可伸缩编码方法，其特征在于，其包括：

对增强层的当前宏块进行层内帧内预测和层内帧间预测以确定最佳预测模式及最佳预测模式下得到的残差经哈达玛变换再绝对值求和(SATD)值S；

获取用于跨层预测的上采样后的基带层重建图像的亮度矩阵和色度矩阵，计算所述亮度矩阵中所述当前宏块在8×8重建跨层预测模式下的SATD值S_svc；所述8×8重建跨层预测模式将每个宏块分成4个8×8像素的亮度块进行预测编码；

当S＜S_svc，则用所述最佳预测模式对当前宏块进行预测编码，否则计算所述亮度矩阵中所述当前宏块中每个8×8像素的亮度块在4×4重建跨层预测模式下的SATD值S′_8×8以及在8×8重建跨层预测模式下的SATD值S_8×8；其中所述4×4重建跨层预测模式是将每个8×8像素的亮度块分成4个4×4像素的亮度块进行预测；

当S′_8×8＜S_8×8且|S_8×8-S′_8×8|≥T_8×8时，对当前宏块下每个8×8像素的亮度块利用4×4重建跨层预测模式进行预测编码，并对当前宏块下每个8×8像素的色度块利用8×8重建跨层预测模式进行预测编码，否则对当前宏块下每个8×8像素的亮度块利用8×8重建跨层预测模式进行预测编码，并对当前宏块下每个8×8像素的色度块利用8×8重建跨层预测模式进行预测编码，其中T_8×8为由当前量化系数计算出来的门限。

2.根据权利要求1所述的可伸缩编码方法，其特征在于：根据下式计算需要预测的亮度块中每个点的跨层预测误差：

diff(x，y)＝O(x，y)-P(x，y)

其中diff(x，y)为当前亮度块中坐标为(x，y)的像素的跨层预测误差，O(x，y)为增强层中亮度块中相应的原始亮度值，P(x，y)是相应的上采样后的基带层的重建图像的亮度值，

需要预测的亮度块的各个点的跨层预测误差组成一失真矩阵，利用哈达玛矩阵对所述失真矩阵进行变换，取变换后矩阵中各个元素的绝对值，将所有的绝对值相加得到该亮度块对应的SATD值。

3.根据权利要求2所述的可伸缩编码方法，其特征在于：利用4×4的哈达码矩阵对4×4像素的亮度块所得到的失真矩阵进行哈达玛变化以得到当前4×4像素的亮度块的SATD值S_4×4，计算当前8×8像素的亮度块中另外3个4×4亮度块SATD值S_4×4，利用所述4个4×4像素的亮度块SATD值S_4×4的和得到当前8×8像素的亮度块在4×4重建跨层预测模式下的SATD值S′_8×8。

4.根据权利要求2所述的可伸缩编码方法，其特征在于：利用当前宏块中4个8×8像素的亮度块的SATD值S_8×8的和得到当前宏块的重建跨层预测模式下的SATD值S_svc。

5.根据权利要求2所述的可伸缩编码方法，其特征在于：对增强层进行层内帧内预测和帧间预测以得到相应的SATD值，其中最小的SATD值对应的预测模式为最佳预测模式。

6.根据权利要求1所述的可伸缩编码方法，其特征在于：对基带层进行编码和重建以获取基带层编码帧的亮度和色度重建矩阵，并对上述亮度和色度重建矩阵使用上采样滤波器插值得到用于跨层预测的所述高分辨尺寸的基带层的重建图像的亮度和色度矩阵。

7.根据权利要求1所述的可伸缩编码方法，其特征在于：在增强层的宏块的8×8像素块语义中加入一位标识来表示当前8×8像素的亮度块是否按照4×4重建跨层预测模式编码，若当前8×8像素的亮度块是按照4×4重建跨层预测模式编码，则所述标识为1或0中的一个值，否则为1或0中另一个值。

8.根据权利要求1所述的可伸缩编码方法，其特征在于：所述4×4重建跨层预测模式能在增强层的I帧、I场、P帧、P场、B帧或B场中使用。

Images