CN101166281A - 在图像编解码中控制误差漂移的方法及装置 - Google Patents

Abstract

本发明公开了一种在图像编解码中控制误差漂移的方法及装置，用以控制基本层误差漂移，在编码码流被截断后仍能使解码端的预测信号接近编码端的预测信号；该方法为：根据当前帧中的局部信息确定泄漏因子，所述局部信息反映所述当前帧中权重的特性；以及根据所述泄漏因子确定基本层参考帧和增强层参考帧的权重，并按参考帧的权重形成基本层预测帧。

Description

在图像编解码中控制误差漂移的方法及装置

技术领域

本发明涉及图像处理技术，尤其涉及在图像编解码中控制误差漂移的方法及装置。

背景技术

在当前的视频编码标准中，运动补偿是在一个封闭的预测环路中进行，预测之后原始信号和预测信号的差值将进行基于块的变换。变换系数通过量化和编码形成输出码流。在解码端，量化系数经过反变换，然后和当前的预测信号相加形成重构帧，同时用来作为后继序列的预测信号。

可伸缩视频编码(或称可分层视频编码)SVC(Scalable Video Coding)是一项十分具有吸引力的技术，它能够通过一个编码之后的处理来实现视频码流任意的裁减。质量可伸缩性可以通过增强层的使用实现，增强层指编码原始信号和基本层重构信号之间的差。这种分层编码可以在基本层预测环路内使用加权增强层作为参考帧，从而提高编码效果。

如图1所示，可以用基本质量层和每个增强层的独立预测编码环路来表示。在每个编码环路中，通过运动补偿各自层的以前编码的和重建的图像来形成预测信号。通过从输入信号减去到各个基本层或增强层的预测信号来产生编入码流的信号。相应的，最终的完整码流包含基本层码流和一个或多个增强层位流的联合。在SVC中为了限制在截断FGS增强层发生漂移，通过使用一个泄漏因子α来削弱增强层运动补偿残差来实现泄漏预测。泄漏因子α可以在从1到0的范围内变化。取0值意味着增强层环路不可用，结果采用全Intra-FGS编码，不产生漂移。α＞0对应于SVC中的自适应参考帧精细粒度可伸缩AR-FGS(Adaptive Reference-Fine Granularity Scalability)，这时提升了增强层的编码效率，但导致了截断FGS层的漂移。

图2所示的编解码结构中去除了额外的增强层预测环路，使用FGS内编码增强层。去除增强层环路能够降低复杂度，如果解码端能够获得增强层数据，仍然可以得到很高的编码性能。

从图1、图2可知，现有的SVC技术存在以下不足：

1、基本层采用的参考帧仅仅来自于基本层，形成的是较粗糙的重构帧，因而这样的系统其编码性能明显低于比单层编码。

2、在解码端，如果增强层信号没有完全接收到，如增强层被截断或者发生了丢包，解码器就不能产生同样的重构数据。由于编码器和解码器所采用的预测信号可能不一样，此时使用增强层作为参考帧来预测基本层的帧可能会导致较大的误差漂移。

发明内容

本发明提供一种在图像编解码中控制误差漂移的方法及装置，用以控制基本层误差漂移，在编码码流被截断后仍能使解码端的预测信号接近编码端的预测信号。

一种在图像编解码中控制误差漂移的方法，包括步骤：

根据当前帧中的局部信息确定泄漏因子，所述局部信息反映所述当前帧中块的特性；以及

根据所述泄漏因子确定基本层参考帧和增强层参考帧的权重，并按参考帧的权重形成基本层预测帧。

较佳的，所述局部信息为已经处理的图像块的变换量化系数的个数、位置和幅值信息中的一项或多项信息；或者，所述局部信息为当前编码块或/和已经编码的图像块量化步长的大小。

优选的，所述局部信息为运动参数信息；所述运动参数信息包括当前编码块或临近块的宏块分割信息、宏块编码模式、运动矢量集信息中的一项或多项信息。

优选的，所述编码为可伸缩视频编码SVC。

一种在图像编解码中控制误差漂移的方法，包括步骤：

发送端根据当前帧中的局部信息确定泄漏因子，按该泄漏因子确定基本层参考帧和增强层参考帧的权重并形成基本层预测帧，其中，所述局部信息反映所述当前帧中权重的特性；

所述编码端将所述泄漏因子编码到码流中发送给接收端；

所述接收端从所述码流中获取所述泄漏因子，并根据该泄漏因子确定基本层参考帧和增强层参考帧的权重并形成基本层预测帧。

优选的，所述局部信息为已经处理的图像块的变换量化系数的个数、位置和幅值信息中的一项或多项信息；或者，所述局部信息为当前编码块或/和已经编码的图像块量化步长的大小。

优选的，所述局部信息为运动参数信息；所述运动参数信息包括当前编码块或临近块的宏块分割信息、宏块编码模式、运动矢量集信息中的一项或多项信息。

优选的，所述编码为可伸缩视频编码SVC。

一种误差漂移控制装置，包括：

输入模块，用于获取当前帧中的局部信息，所述局部信息反映所述当前帧中块的特性；

确定模块，用于根据所述局部信息确定泄漏因子；

输出模块，用于输出所述泄漏因子。

一种图像编码器，包括：

误差漂移控制装置，用于根据当前帧中的局部信息确定泄漏因子，所述局部信息反映所述当前帧中块的特性；

构造装置，用于根据所述泄漏因子确定基本层参考帧和增强层参考帧的权重，并按参考帧的权重形成基本层预测帧。

编码装置，用于根据所述基本层预测帧对输入的原始图像帧进行编码。

一种解码器，包括：

误差漂移控制装置，用于根据当前帧中的局部信息确定泄漏因子，所述局部信息反映所述当前帧中块的特性；

构造装置，用于根据所述泄漏因子确定基本层参考帧和增强层参考帧的权重，并按参考帧的权重形成基本层预测帧；

解码装置，用于根据所述基本层预测帧对已编码的码流进行解码。

一种解码器，包括：

提取装置，用于从已编码的码流中提取泄漏因子；

构造装置，用于根据所述泄漏因子确定基本层参考帧和增强层参考帧的权重，并按参考帧的权重形成基本层预测帧；

解码装置，用于根据所述基本层预测帧对输入的已编码码流进行解码。

本发明有益效果如下：

1、本发明通过动态的确定泄漏因子，根据该泄漏因子确定增强层和基本层的参考帧的权重构成基本层的预测帧，并利用该预测帧对基本层进行编码，因而能够限制由于增强层截断或丢失带来的误差漂移。

2、本发明结合Intra-FGS编码技术，在进行质量可伸缩低延时编码具有和AR-FGS编码相近的编码性能。由于省略了AR-FGS编码时的运动步长增强层环路，大大降低了算法的复杂度。

附图说明

图1为现有SVC技术中具有多预测环路的编解码结构示意图；

图2为现有SVC技术中仅有基本层预测环路的编解码结构示意图；

图3为本发明实施例的SVC技术中具有多预测环路的编解码结构示意图；

图4为本发明实施例的SVC技术中仅有基本层预测环路的编解码结构示意图；

图5为本发明实施例中漂移控制装置的结构示意图；

图6为本发明实施例中编码端形成基本层的预测帧的流程图。

具体实施方式

在视频编解码系统中，对于可伸缩视频编码(或称可分层视频编码)SVC(Scalable Video Coding)，由于在比特流裁减过程中，增强层数据可以被全部或部分地删除，因此，解码端基本层环路得到的信号不同于编码端信号，导致编解码端失配。由于解码端环路具有递归结构，编解码端失配会扩散到解下来的多个解码图像中，产生累计误差，导致解码视频图像质量的严重下降，产生所谓的“误差漂移”现象。

本实施例通过估计在编解码端能够得到的全部信息中的局部信息确定泄露因子γ的大小，所述局部信息能够反映当前帧中块的特性；然后在编解码端都使用一个泄漏因子γ来削弱基本层编码环路中来自增强层的预测信号，使解码端的误差漂移得到控制。

图3给出了本实施例中具有多预测环路(基本层和增强层)的视频编解码系统，图4给出了本实施例中仅具有基本层预测环路的视频编解码系统。图3和图4所示的视频编解码系统在现有编解码系统的基本层增加了用于确定泄漏因子γ的误差漂移控制装置，以及根据泄漏因子γ按权重处理基本层的参考帧和增强层的参考帧的处理装置。与图3相比，图4所示的视频编解码系统去除了额外的增强层预测环路，使用FGS内编码增强层，能够大大降低复杂度。

图3和图4所示的视频编解码系统在基本层预测环路的处理完全相同，以下以图4所示的视频编解码系统为例进行说明。

参阅图4所示，在编码器中，基本层预测环路包括计算模块400、转换模块401、量化模块402、反量化模块403、逆转换模块404、计算装置411、去除块效应模块405、权重处理模块406-1、406-2、计算装置407、帧缓存模块408、运动补偿模块409和误差漂移控制装置410。

计算模块400将输入信息送去基本层的预测信息产生编入码流的信息；转换模块401对需要编入码流的信息进行时域到频域的转换；量化模块402对转换后的信号进行量化处理，并输出到解码侧；反量化模块403对量化后的信号进行反量化处理；逆转换模块404对反量化处理后的信号进行频域到时域的转换；计算模块411将逆转换后的信号与基本层预测信号求和；去除块效应模块405对求和后的信号进行去除块效应处理；误差漂移控制装置410从量化后的信号、量化参数值QP和运动参数中提取局部信息导出泄漏因子γ；权重处理模块406-1以泄漏因子γ为权重提取增强层的参考信号，权重处理模块406-2以“1-γ”为权重提取基本层的参考信号；计算模块407对增强层和基本层的参考信号求和；帧缓存模块408缓存求和后的信号，用来运动补偿后形成预测帧；运动补偿模块409根据运动参数对帧缓存模块408输出的信息进行补偿处理，形成基本层预测帧，并提供给计算模块400和计算模块411。

在解码器中，基本层预测环路包括反量化模块453、逆转换模块454、计算装置461、去除块效应模块455、权重处理模块456-1、456-2、计算装置457、帧缓存模块458、运动补偿模块459和误差漂移控制装置460。其中，反量化模块453对输入的基本层编码信号进行反量化处理，其他模块对信号的处理与编码器中基本层预测环路相对应的模块对信号的处理相同，只是去除块效应后的信号即为解码后的信号，其余处理不再赘述。

上述编码器和解码器结构中，编码器中的误差漂移控制装置410和解码器中的误差漂移控制装置460从相同的输入信息中获取相同的局部信息，并利用相同的规则或算法导出泄漏因子γ。

在另一种可选的实现方式中，在编码器中将误差漂移控制装置410导出的泄漏因子γ编码进码流中，解码器中的误差漂移控制装置460直接从码流中提取泄漏因子γ，因此，误差漂移控制装置460可以只具提取泄漏因子γ的功能。采用这种实现方式时，建议最好采用熵编码方法编码泄漏因子γ，否则可能导致码率上升而影响压缩性能。

本实施例中，一种误差漂移控制装置的结构如图5所示，包括输入模块500、确定模块501和输出模块502。其中，输入模块500用于接收基本层预测环路中量化后的信号、量化参数值QP和运动参数；确定模块501从这些信息中提取局部信息，并按预定的规则导出泄漏因子γ；确定模块502将泄漏因子γ输出到权重确定模块。

误差漂移控制装置导出的泄漏因子γ的局部特性取决于实际的编码结构，首选配置的，对应于最小运动补偿和变换块的大小，在SVC可伸缩编码系统中体现为4×4或8×8结构。

泄漏因子γ取值等于或大于0并且小于1。当0＜γ＜1时，编码端产生一个次优的预测信号，虽然可能会牺牲一定的编码效率，而解码端的误差漂移就能够按照因子γ在每个环路循环中得到减弱。由于在编解码端采用了相同的消弱过程，如果在解码端参考增强层比特流没有改变，则两端的基本层环路具有相同的操作。当γ＝0时，来自增强层对基本层的预测被关闭，避免了任何预测误差漂移的产生，但也会导致编码效率下降。

较佳的，误差漂移控制装置提取的局部信息可以是已经编码图像块的变换量化系数的个数、位置和幅值信息中的一项信息，也可以是其中的多项信息或全部信息，即综合这些信息得到泄漏因子γ。

较佳的，误差漂移控制装置提取的局部信息可以是当前编码块或/和已经编码的图像块量化步长的大小(量化参数值，QP)。

较佳的，误差漂移控制装置提取的局部信息可以是运动参数信息中的信息，如当前编码块或临近块的宏块分割信息、宏块编码模式、运动矢量集信息得到泄漏因子中的一项或多项。

误差漂移控制装置在得到局部信息后，可以用一个非常简单的规则来导出泄漏因子。如，可以根据AVC跳过宏块编码模式选择泄漏因子γ，例如规定当前宏块的编码模式是跳过模式时，泄漏因子γ取2/3。当然，根据实际需要，也可以采用较为复杂的规则或算法导出泄漏因子。

参阅图6所示，在编码端，基本层预测环路产生基本层预测帧的流程如下：

步骤600、误差漂移控制装置410根据从当前帧中输入的量化后的信号、量化参数值QP和运动参数中提取指定的信息(如，当前帧中已经编码图像块的变换量化系数的个数和位置)，按预定的规则确定出泄漏因子γ。

步骤601、反量化装置403对所述量化后的信号进行反量化处理。

步骤602、逆变换装置404对量化后的信号进行频域到时域的转换处理。

步骤603、将逆变换后的信号与前一基本层的预测帧信号求和。

步骤604、对求和信号进行去除块效应处理。

步骤605、以泄漏因子γ作为增强层参考帧的权重提取增强层参考帧的信号，以1-“1-γ”作为基本层参考帧的权重提取基本层参考帧的信号(即去除块效应后的信号)，并对提取的信号求和。

步骤606、缓存步骤605求和后的信号。

步骤607、根据运动参数对缓存的信号进行运动补偿，形成基本层的预测帧。

在上述流程中，误差漂移控制装置410确定出泄漏因子γ可以在步骤604之前的任一步骤完成。

根据对编码器中产生基本层预测帧的描述，本领域的普通技术人员可以结构前述对系统的描述得到在解码器中产生基本层预测帧的处理过程。

从上可知，本发明通过在编解码端都使用一个泄漏因子γ来削弱基本层编码环路中来自增强层的预测信号，改进的时域预测对基本层进行编码，能够限制由于增强层截断或丢失带来的误差漂移。结合Intra-FGS编码技术，本发明方法在进行质量可伸缩低延时编码具有和AR-FGS编码相近的编码性能，同时由于省略了AR-FGS编码时的质量增强层环路，使得算法复杂度大大降低了。通过局部适配基本层泄漏因子，该发明限制了由于增强层被截断或丢失所产生的误差漂移。使解码端误差漂移能够得到控制。

上述的误差漂移控制装置可以用在编码和解码系统的基本层编解码阶段，同样，可以用在视频编解码系统中的一个或多个视频增强层编码阶段。本发明所体现的可分层视频编码系统是对H.264/AVC视频编码标准的可分层扩展。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (19)

1.一种在图像编解码中控制误差漂移的方法，其特征在于，包括步骤：

根据当前帧中的局部信息确定泄漏因子，所述局部信息反映所述当前帧中块的特性；以及

根据所述泄漏因子确定基本层参考帧和增强层参考帧的权重，并按参考帧的权重形成基本层预测帧。

2.如权利要求1所述的方法，其特征在于，所述局部信息为已经处理的图像块的变换量化系数的个数、位置和幅值信息中的一项或多项信息；或者，所述局部信息为当前编码块或/和已经编码的图像块量化步长的大小。

3.如权利要求1所述的方法，其特征在于，所述局部信息为运动参数信息。

4.如权利要求3所述的方法，其特征在于，所述运动参数信息包括当前编码块或临近块的宏块分割信息、宏块编码模式、运动矢量集信息中的一项或多项信息。

5.如权利要求1至4任一项所述的方法，其特征在于，编码端进一步将确定的泄漏因子编码到码流中输出。

6.如权利要求1所述的方法，其特征在于，所述编码为可伸缩视频编码SVC。

7.一种在图像编解码中控制误差漂移的方法，其特征在于，包括步骤：

发送端根据当前帧中的局部信息确定泄漏因子，按该泄漏因子确定基本层参考帧和增强层参考帧的权重并形成基本层预测帧，其中，所述局部信息反映所述当前帧中块的特性；

所述编码端将所述泄漏因子编码到码流中发送给接收端；

所述接收端从所述码流中获取所述泄漏因子，并根据该泄漏因子确定基本层参考帧和增强层参考帧的权重并形成基本层预测帧。

8.如权利要求7所述的方法，其特征在于，所述局部信息为已经处理的图像块的变换量化系数的个数、位置和幅值信息中的一项或多项信息；或者，所述局部信息为当前编码块或/和已经编码的图像块量化步长的大小。

9.如权利要求7所述的方法，其特征在于，所述局部信息为运动参数信息。

10.如权利要求9所述的方法，其特征在于，所述运动参数信息包括当前编码块或临近块的宏块分割信息、宏块编码模式、运动矢量集信息中的一项或多项信息。

11.如权利要求7至10任一项所述的方法，其特征在于，所述编码为可伸缩视频编码SVC。

12.一种误差漂移控制装置，其特征在于，包括：

输入模块，用于获取当前帧中的局部信息，所述局部信息反映所述当前帧中块的特性；

确定模块，用于根据所述局部信息确定泄漏因子；

输出模块，用于输出所述泄漏因子。

13.如权利要求12所述的装置，其特征在于，所述局部信息为已经处理的图像块的变换量化系数的个数、位置和幅值信息中的一项或多项信息；或者，所述局部信息为当前编码块或/和已经编码的图像块量化步长的大小。

14.如权利要求12所述的装置，其特征在于，所述局部信息为运动参数信息。

15.如权利要求14所述的装置，其特征在于，所述运动参数信息包括当前编码块或临近块的宏块分割信息、宏块编码模式、运动矢量集信息中的一项或多项信息。

16.一种图像编码器，其特征在于，包括：

误差漂移控制装置，用于根据当前帧中的局部信息确定泄漏因子，所述局部信息反映所述当前帧中权重的特性；

构造装置，用于根据所述泄漏因子确定基本层参考帧和增强层参考帧的权重，并按参考帧的权重形成基本层预测帧。

编码装置，用于根据所述基本层预测帧对输入的原始图像帧进行编码。

17.如权利要求16所述的图像编码器，其特征在于，所述编码装置进一步将确定的泄漏因子编码到码流中。

18.一种解码器，其特征在于，包括：

误差漂移控制装置，用于根据当前帧中的局部信息确定泄漏因子，所述局部信息反映所述当前帧中权重的特性；

构造装置，用于根据所述泄漏因子确定基本层参考帧和增强层参考帧的权重，并按参考帧的权重形成基本层预测帧；

解码装置，用于根据所述基本层预测帧对已编码的码流进行解码。

19.一种解码器，其特征在于，包括：

提取装置，用于从已编码的码流中提取泄漏因子；

构造装置，用于根据所述泄漏因子确定基本层参考帧和增强层参考帧的权重，并按参考帧的权重形成基本层预测帧；

解码装置，用于根据所述基本层预测帧对输入的已编码码流进行解码。

Images