CN101572817A - 一种用于空间可分级视频编码的编码模式选择方法 - Google Patents

Abstract

本发明公开了一种用于SVC的编码模式选择方法，预先将所有编码模式划分为三个子集，在编码空间增强层的当前宏块时，根据空间增强层与参考层的层间量化参数差，为所有编码模式设置对应的遍历优先级；按照遍历优先级由高到低的顺序，遍历所有可用编码模式，确定当前遍历的编码模式的率失真代价，并判断该率失真代价是否小于预先设置的阈值，若是，则将当前遍历的编码模式作为所述当前宏块的编码模式，停止遍历；否则，遍历下一可用编码模式；若所有可用编码模式的率失真代价均不小于所述阈值，则选择率失真代价最小的编码模式作为所述当前宏块的编码模式。应用本发明，能够在保证编码压缩效率不受大的影响下，提高编码模式选择的速度。

Description

一种用于空间可分级视频编码的编码模式选择方法

技术领域

本发明涉及视频压缩编码技术，特别涉及一种用于空间可分级视频编码(SVC)的一种宏块编码模式选择方法。

背景技术

可分级视频编码(SVC，Scalable Video Coding)是近20年来兴起的一种应对现代视频传输系统和终端多样性的技术。可分级性(scalability)，是指视频比特流可以依据一定规则有选择的进行“丢弃”，从而适应不同网络条件以及终端性能的需求。

目前最新的SVC标准由联合视频工作组(JVT，Joint Video Team)制定并作为H.264/AVC(Advanced Video Coding)标准的附录G，通常被称为H.264/SVC。本发明着重涉及H.264/SVC的技术，因此在接下来的说明中，如非特殊说明SVC都将特指H.264/SVC。

SVC码流的特点是其包含若干个子码流，可根据需求提取某些子码流进行解码。当前的SVC标准实现了三种最普遍的可分级性：时间可分级、空间可分级和质量可分级。而不同的可分级性可以联合，使得单路SVC码流可以表达多种时-空分辨率和质量的视频内容，灵活性非常高。

SVC的各种分级性是采用分层编码的技术得以实现。每一个SVC码流都由一个与AVC兼容的基本层(Base Layer)和若干个增强层(EnhancementLayer)组成。基本层对应最低分辨率或质量的视频内容，其码流比特率最低；增强层相对于基本层具备更高的视频的分辨率或质量，而码流比特率相应增大。当传输系统条件下降或终端计算能力不足时，完整码流不能被有效的传输和解码，则可以由最高增强层开始逐层丢弃子码流，直至只包含最低的基本层。

SVC良好的压缩效率一方面得益于沿用了AVC的所有编码工具，例如帧内预测、多参考帧多划分的分数像素精度的运动补偿、环境自适应的熵编码等等；另一方面SVC在编码增强层时，将低层作为参考层(reference layer)，引入一系列层间预测(inter-layer prediction)技术去除了层与层之间的冗余度。SVC空间可分级使用了三种层间预测技术，分别为纹理层间预测(TextureInter-layer Prediction)、运动层间预测(Motion Inter-layer Prediction)和残差层间预测(Residual Inter-layer Prediction)。

1、纹理层间预测(Texture Inter-layer Prediction)

空间分级SVC中，参考层与增强层之间的纹理信息通常具有很强的相关性。当参考层的宏块采用帧内编码时，其纹理信息可以被对应增强层宏块利用来消除冗余度。通过对参考层的重构块像素上采样即可以获得增强层纹理预测像素值。在SVC中，上采样是通过对亮度分量使用4抽头的FIR插值滤波器和对色度分量使用双线性插值滤波器来实现的。为了进一步提高预测性能，在上采样之前还需要对参考层重构像素进行去块滤波。以下以Intra_BL特指这种编码模式。

2、运动层间预测(Motion Inter-layer Prediction)

空间分级SVC中，参考层与增强层之间的运动信息通常具有很强的相关性。对于帧间编码的增强层宏块，其运动信息可以由其对应的参考层编码块推测出来。在基二的空间分级(即增强层图像宽高都为参考层图像宽高的2倍)时，参考层的块划分大小和运动矢量大小分别扩展2倍后即可为增强层宏块使用，而参考层的参考帧序号也可直接应用于增强层编码。以下以BL_Skip特指这种编码模式。

3、残差层间预测(Residual Inter-layer Prediction)

空间分级SVC中，参考层与增强层之间的编码残差信息通常具有很强的相关性。对于帧间编码的参考层宏块，其编码残差可以经过上采样获得其对应的增强层的残差信号的预测。这里的上采样使用双线性插值滤波器实现，并且为了避免参考层块效应失真传递到增强层中，上采样的操作不得跨越变换块边界。以下通过在其它编码模式之后加后缀_res特指这种编码模式。

SVC空间分级增强层宏块编码的模式如表1所示，其中部分是沿用自AVC，另一部分则采用上述层间预测。

表1

编码模式名	AVC模式	层间模式
			Direct	√
Direct_res		√
			16x16	√
16x16_res		√
			16x8	√
16x8_res		√
			8x16	√
8x16_res		√
			8x8	√
8x8_res		√
			Inter_Skip	√
BL_Skip		√
			BL_Skip_res		√
I_16x16	√
			I_4x4	√
Intra_BL		√

多样的编码模式能够更充分的去除冗余度，但对编码器提出了较高的要求。目前，在为增强层中当前编码的宏块选择合适的编码模式时，通常是遍历所有编码模式(即表1中的16种编码模式)，从所有编码模式中选择率失真代价最小的一种编码模式作为当前宏块的编码模式。这种编码模式选择方法中，对所有编码模式遍历计算率失真代价，需要很高的计算复杂度，影响SVC空间增强层编码的速度，并使得编码实现复杂度很高。

发明内容

有鉴于此，本发明提供一种用于空间可分级视频编码的宏块编码模式选择方法，能降低编码模式选择的复杂度，并保证编码压缩效率不受大的影响。

为实现上述目的，本发明采用如下的技术方案：

一种用于空间可分级视频编码的编码模式选择方法，其特征在于，预先按照所有编码模式中像素信息编码的精细程度由低到高的顺序，将所有编码模式划分为跳过skip、粗略coarse和精细fine三个子集，在编码空间增强层的当前宏块时，该方法包括：

根据所述空间增强层与参考层的层间量化参数差dQP，为所有编码模式设置对应的遍历优先级；其中，coarse集中编码模式对应的遍历优先级高于fine集中编码模式对应的遍历优先级，且所述dQP越大，skip集中编码模式对应的遍历优先级越高；

按照遍历优先级由高到低的顺序，遍历所有可用编码模式，确定当前遍历的编码模式的率失真代价，并判断该率失真代价是否小于预先根据所述当前宏块的相邻宏块的率失真代价所设置的阈值，若是，则将当前遍历的编码模式作为所述当前宏块的编码模式，停止遍历；否则，遍历下一可用编码模式；

若所有可用编码模式的率失真代价均不小于所述阈值，则选择率失真代价最小的编码模式作为所述当前宏块的编码模式。

较佳地，当所述层间量化参数差小于-5时，coarse集中编码模式对应的遍历优先级最高，fine集中编码模式对应的遍历优先级次高，skip集中编码模式对应的遍历优先级最低；

当所述层间量化参数差不小于-5、且不大于5时，coarse集中编码模式对应的遍历优先级最高，skip集中编码模式对应的遍历优先级次高，fine集中编码模式对应的遍历优先级最低；

当所述层间量化参数差大于5时，skip集中编码模式对应的遍历优先级最高，coarse集中编码模式对应的遍历优先级次高，fine集中编码模式对应的遍历优先级最低。

较佳地，在遍历所有可用编码模式前，该方法进一步包括：利用参考层中与当前宏块对应宏块的类型和划分大小信息，映射出所述当前宏块的模式预测Mode_{BL_pred}；若所述Mode_{BL_pred}属于fine集，则将coarse和skip集中的编码模式设置为不可用的编码模式。

较佳地，在遍历所有可用编码模式前，该方法进一步包括：利用参考层量化参数判断是否使用残差层间预测，并根据判断结果确定不可用的编码模式。

较佳地，在当前宏块位于P帧内时，若参考层量化参数小于等于20，则将编码模式Direct、16×16、16×8、8×16、8×8、BL_Skip设置为不可用的编码模式；

在当前宏块位于B帧内时，若参考层量化参数小于等于20，则将编码模式Direct、16×16、16×8、8×16、8×8、BL_Skip设置为不可用的编码模式；若参考层量化参数大于等于40，则确定不使用残差层间预测，将编码模式Direct_res、16×16_res、16×8_res、8×16_res、8×8_res、BL_Skip_res设置为不可用的编码模式。

较佳地，预先根据所述当前宏块的相邻宏块的率失真代价所设置的阈值为：TH_RD＝(1+α)·median[RDa，RDb，RDc]，其中，RDa、RDb和RDc分别为当前宏块的左边、上边和左上角相邻宏块的率失真代价，median[]表示求中值计算，参数α为根据计算复杂度和编码压缩效率确定的常量。

较佳地，对于4cif的序列α取值为0.35，对于cif的序列α取值为0.25。

由上述技术方案可见，本发明中，预先按照所有编码模式中像素信息编码的精细程度，将所有编码模式划分为三个子集。在编码空间增强层的当前宏块时，根据空间增强层和参考层的层间量化参数差dQP，为所有编码模式设置对应的遍历优先级；按照遍历优先级由高到低的顺序，遍历所有可用编码模式，确定当前遍历的编码模式的率失真代价，并判断该率失真代价是否小于根据当前宏块周围相邻宏块的率失真代价预设的阈值，若是，则将当前遍历的编码模式作为当前增强层的当前宏块的编码模式，停止遍历；否则，遍历下一可用编码模式。若所有可用编码模式的率失真代价均不小于设置的阈值，则选择率失真代价最小的编码模式作为当前宏块的编码模式。应用上述方案，一方面通过对所有编码模式的优先级排序，使得能够优先遍历成为最优编码模式的可能性较大的编码模式；另一方面，通过率失真代价与预设阈值的比较，能够及早选出最优的编码模式，结束遍历流程。从而保证编码压缩效率不受大的影响，同时提高编码模式选择的速度，降低编码模式选择的复杂度。

附图说明

图1a为SVC基二空间分级中，对于不同的层间量化参数差值dQP，最优模式落入各模式子集的概率统计示意图一。

图1b为SVC基二空间分级中，对于不同的层间量化参数差值dQP，最优模式落入各模式子集的概率统计示意图二。

图1c为SVC基二空间分级中，对于不同的层间量化参数差值dQP，最优模式落入各模式子集的概率统计示意图三。

图1d为SVC基二空间分级中，对于不同的层间量化参数差值dQP，最优模式落入各模式子集的概率统计示意图四。

图2a为SVC基二空间分级中，对于不同的基本层量化参数QPBL，残差层间预测发生的概率统计示意图一。

图2b为SVC基二空间分级中，对于不同的基本层量化参数QPBL，残差层间预测发生的概率统计示意图二。

图3为本发明优选的增强层宏块快速模式选择的流程图。

具体实施方式

为使本发明的目的、技术手段和优点更加清楚明白，以下结合附图对本发明做进一步详细说明。

本发明的基本思想是：为解决SVC空间分级增强层宏块编码复杂度高的问题，本发明提出了一种快速的模式选择技术。一方面不同的量化参数与最终模式的分布存在一定的关联，另一方面相邻宏块具有很强的相关性。通过利用这些特性本发明提出的快速模式选择技术在大大降低编码计算复杂度的同时，也能保证编码压缩效率不受大的影响。

根据各种编码模式下像素信息编码的精细程度，本发明将这些编码模式划分为3个子集：粗略(coarse)集、精细(fine)集和跳过(skip)集。

模式名	AVC模式	层间模式	coarse	fine	skip
						Direct	√		√
Direct_res		√	√
						16x16	√		√
16x16_res		√	√
						16x8	√		√
16x8_res		√	√
						8x16	√		√
8x16_res		√	√
						8x8	√			√
8x8_res		√		√
						Inter_Skip	√				√
BL_Skip		√			√
						BL_Skip_res		√			√
I_16x16	√		√
						I_4x4	√			√
Intra_BL		√			√

SVC编码时，量化参数是影响编码结果的重要因素之一，因此参考层和增强层量化参数的不同取值对最终的模式选择会有决定意义。令参考层和增强层的量化参数分别用QP_BL和QP_EL表示，则层间量化参数差定义为

dQP＝QP_EL-QP_BL    (1)

通过使用不同的QP_BL和QP_EL对多种序列进行大量编码测试，得到图1所示的编码模式选择的概率和dQP的关系曲线。其中，图1a为CIF格式的Foreman序列，在QP_BL＝25时的选择概率和dQP的关系曲线；图1b为CIF格式的Foreman序列，在QP_BL＝35时的选择概率和dQP的关系曲线；图1c为4CIF格式的Harbour序列，在QP_BL＝25时的选择概率和dQP的关系曲线；图1d为4CIF格式的Harbour序列，在QP_BL＝35时的选择概率和dQP的关系曲线。如图1a～图1d所示，当dQP的取值从-10增加到10时，选择的编码模式落在skip集中的概率显著增加，落在coarse集和fine集中的概率则逐步减小，同时，在各种取值情况下，选择的编码模式落在coarse集中的概率通常都大于落在fine集中的概率。基于以上结论，本发明中根据不同的dQP为所有编码模式设置对应的遍历优先级，采用不同的顺序对各种编码模式进行遍历计算，即成为最终最优模式概率大的模式优先计算。这一策略配合提前终止条件则可以达到模式选择的快速收敛目的。

具体地，本发明中基本的用于SVC的编码模式选择方法包括如下步骤，其中，以对空间增强层A的任意一个当前宏块a进行模式选择为例进行说明：

步骤110，根据增强层A与参考层间的层间量化参数差dQP，为所有编码模式设置对应的遍历优先级。

其中，在设置遍历优先级时，根据上述分析结果，一方面，coarse集中编码模式对应的遍历优先级高于fine集中编码模式对应的遍历优先级，另一方面，层间量化参数差dQP越大，skip集中编码模式对应的遍历优先级越高。

本实施例中，优选地，根据图1设置两个门限值分别为-5和5。具体3个子集中编码模式的遍历优先级如表2所示。

表2

模式子集	dQP＜-5	-5≤dQP≤5	dQP＞5
				粗略集	1	1	2
精细集	2	3	3
				跳过集	3	2	1

在表2中，1表示最高遍历优先级，3表示最低遍历优先级。其中每个子集对应的遍历优先级表示的是，为该子集中各个编码模式所对应设置的遍历优先级。也就是说，对于同一子集而言，该子集中各个编码模式的遍历优先级相同。

当然，上述具体的遍历优先级设置仅是一个例子，还可以根据不同序列的统计结果等设置不同的门限值，来区分各个不同子集的遍历优先级。

步骤120，按照遍历优先级由高到低的顺序，遍历所有可用编码模式，为宏块a选择编码模式。

本步骤对可用编码模式进行遍历，其中，在本发明最基本的流程中，可以将所有编码模式均作为可用编码模式，按照遍历优先级由高到低的顺序进行遍历。由于相邻宏块通常具有很高的相关性，因此可以利用相邻已编码宏块的率失真信息设置编码模式的选择阈值，从而提高当前宏块模式选择的速度。

其中，优选地，利用相邻已编码宏块的率失真信息设置阈值的方式可以为：TH_RD＝(1+α)·median[RDa，RDb，RDc]    (2)

式(2)中的RDa、RDb和RDc分别为宏块a的左边、上边和左上角相邻宏块的率失真代价，median[]表示求中值计算，参数α是预设的常量，用于控制计算复杂度和编码压缩效率的折中。α取值越大，阈值TH_RD越大，这样计算复杂度越低，但相应的编码压缩效率会较低；α取值越小，阈值TH_RD越小，这样计算复杂度越低，相应的编码压缩效率会越高。通过观察实验结论，优选地，对于4cif的序列α取值为0.35，对于cif的序列α取值为0.25。

在遍历每个可用编码模式时的具体操作为：

确定当前遍历的编码模式的率失真代价，并判断该率失真代价是否小于所设置的阈值TH_RD，若是，则将当前遍历的编码模式作为宏块a的编码模式，停止遍历；否则，遍历下一可用编码模式。若遍历结束后，所有可用编码模式的率失真代价均不小于阈值TH_RD，那么选择率失真代价最小的编码模式作为宏块a的编码模式。

至此，本发明中基本的编码模式选择流程结束。

由上述流程可见，一方面，通过遍历优先级排序，使得能够尽早遍历被选中的编码模式，另一方面，通过遍历过程的提前终止和阈值的合理设置，能够尽快找到率失真代价符合要求的编码模式，同时不会使编码压缩效率受到大的影响。

在上述基本的编码模式选择流程的基础上，优选地，还可以在进行遍历前，进一步对可用编码模式进行选择，从而缩小遍历范围，进一步提高编码模式的选择速度。

其中，可以利用当前宏块的模式预测Mode_{BL_pred}缩小可用模式范围：

具体地，由于空间分级时参考层与增强层具有很高的相关性，因此参考层的宏块编码模式和划分信息经过放大后可以得到增强层对应宏块的模式预测Mode_{BL_pred}。当Mode_{BL_pred}属于精细集时，通常表明当前宏块位于图像的细节区域，因此此时可以排除粗略集和跳过集中的编码模式，即将coarse集和skip集中的所有编码模式设置为不可用；而当Mode_{BL_pred}属于粗略集或跳过集时，并不一定能够排除精细集，原因在于基本层信息经过放大并不能完全表征增强层信息。这时，不需要设置任何子集中的编码模式为不可用。

或者，还可以利用参考层量化参数QP_BL决定是否使用残差层间预测，从而设置部分编码模式为不可用。

具体地，图2为SVC基二空间分级中，对于不同的基本层量化参数QP_BL，残差层间预测发生的概率统计示意图。其中，图2a为P帧下的统计结果；图2b为B帧下的统计结果。如图2a和图2b所示，当QP_BL取较小值时，残差层间预测发生的概率非常大，通常都在80％以上；当QP_BL增大时，残差层间预测发生的概率则显著下降，对B帧而言，残差层间预测发生的概率趋近于0。可见根据QP_BL取值可以决定是否采用残差层间预测，从而缩小可用模式的范围，进一步提升模式选择的速度。

对与层间预测相关的编码模式进行分集，令modeX＝{Direct，16x16，16x8，8x16，8x8，BL_Skip}，modeX_res＝{Direct_res，16x16_res，16x8_res，8x16_res，8x8_res，BL_Skip_res}。根据QP_BL取值对可用模式的排除方法如表3所示。

表3  根据QP_BL排除模式

QPBL	P帧	B帧
			≤20	排除modeX，保留modeX_res	排除modeX，保留modeX_res
≥40	保留modeX，modeX_res	排除modeX_res，保留modeX
			其它	保留modeX，modeX_res	保留modeX，modeX_res

上述即为两种缩小可用编码模式范围的方式，该操作在前述步骤120的遍历操作之前完成，这样，在执行步骤120进行遍历时，就只需要遍历可用的编码模式即可。具体在应用过程中，上述两种缩小可用编码模式范围的方式，可以根据实际需要择一进行，或者两种方式均采用。图3为增加了可用编码模式选择后进行编码模式选择的流程图。

以上即为本发明的快速模式选择技术的实施方法。为了分析本发明具体实施例的性能，在SVC官方测试平台JSVM9.14上实现了本发明中的技术。以下为仿真说明和相关结果。

所有实验码流都有一个基本层和一个增强层构成，并且增强层的宽高为基本层的2倍，即基二的空间分级。所有实验中GOP的大小设定为8，每个序列都编码超过100帧以消除不确定性。具体进行实验的快速模式选择方法中，前述的两种限制可用编码模式的方式均被采用。

实验结果由表4给出。由结果可见本发明提出的快速模式选择技术能够令SVC空间编码的速度提升30％至70％，同时从PSNR和比特率角度可见几乎没有造成压缩效率的显著下降。此外值得注意的是本发明提出的技术即使在量化参数在很大的动态范围内变化，同样是有效的。

表4  本发明增强层快速模式选择算法仿真结果

由上述可见，本发明的针对空间分级增强层编码的快速模式选择方法，其克服了SVC引入多种编码模式带来的编码复杂度增加的问题。优选地，通过利用层间量化参数信息对可用模式进行优选和排序，并且利用周边宏块相关性决定提前终止模式的遍历计算，有效的达到了降低计算复杂度的目的。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1、一种用于空间可分级视频编码的编码模式选择方法，其特征在于，预先按照所有编码模式中像素信息编码的精细程度由低到高的顺序，将所有编码模式划分为跳过skip、粗略coarse和精细fine三个子集，在编码空间增强层的当前宏块时，该方法包括：

根据所述空间增强层与参考层的层间量化参数差dQP，为所有编码模式设置对应的遍历优先级；其中，coarse集中编码模式对应的遍历优先级高于fine集中编码模式对应的遍历优先级，且所述dQP越大，skip集中编码模式对应的遍历优先级越高；

按照遍历优先级由高到低的顺序，遍历所有可用编码模式，确定当前遍历的编码模式的率失真代价，并判断该率失真代价是否小于预先根据所述当前宏块的相邻宏块的率失真代价所设置的阈值，若是，则将当前遍历的编码模式作为所述当前宏块的编码模式，停止遍历；否则，遍历下一可用编码模式；

若所有可用编码模式的率失真代价均不小于所述阈值，则选择率失真代价最小的编码模式作为所述当前宏块的编码模式。

2、根据权利要求1所述的方法，其特征在于，当所述层间量化参数差小于-5时，coarse集中编码模式对应的遍历优先级最高，fine集中编码模式对应的遍历优先级次高，skip集中编码模式对应的遍历优先级最低；

当所述层间量化参数差不小于-5、且不大于5时，coarse集中编码模式对应的遍历优先级最高，skip集中编码模式对应的遍历优先级次高，fine集中编码模式对应的遍历优先级最低；

当所述层间量化参数差大于5时，skip集中编码模式对应的遍历优先级最高，coarse集中编码模式对应的遍历优先级次高，fine集中编码模式对应的遍历优先级最低。

3、根据权利要求1所述的方法，其特征在于，在遍历所有可用编码模式前，该方法进一步包括：利用参考层中与当前宏块对应宏块的类型和划分大小信息，映射出所述当前宏块的模式预测Mode_{BL_pred}；若所述Mode_{BL_pred}属于fine集，则将coarse和skip集中的编码模式设置为不可用的编码模式。

4、根据权利要求1、2或3所述的方法，其特征在于，在遍历所有可用编码模式前，该方法进一步包括：利用参考层量化参数判断是否使用残差层间预测，并根据判断结果确定不可用的编码模式。

5、根据权利要求4所述的方法，其特征在于，在当前宏块位于P帧内时，若参考层量化参数小于等于20，则将编码模式Direct、16×16、16×8、8×16、8×8、BL_Skip设置为不可用的编码模式；

在当前宏块位于B帧内时，若参考层量化参数小于等于20，则将编码模式Direct、16×16、16×8、8×16、8×8、BL_Skip设置为不可用的编码模式；若参考层量化参数大于等于40，则确定不使用残差层间预测，将编码模式Direct_res、16×16_res、16×8_res、8×16_res、8×8_res、BL_Skip_res设置为不可用的编码模式。

6、根据权利要求1所述的方法，其特征在于，预先根据所述当前宏块的相邻宏块的率失真代价所设置的阈值为：TH_RD＝(1+α)·median[RDa，RDb，RDc]，其中，RDa、RDb和RDc分别为当前宏块的左边、上边和左上角相邻宏块的率失真代价，median[]表示求中值计算，参数α为根据计算复杂度和编码压缩效率确定的常量。

7、根据权利要求6所述的方法，其特征在于，对于4cif的序列α取值为0.35，对于cif的序列α取值为0.25。

Images