CN101610413B

CN101610413B - 一种视频的编码/解码方法及装置

Info

Publication number: CN101610413B
Application number: CN 200910090157
Authority: CN
Inventors: 季向阳; 魏宇平; 戴琼海
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2009-07-29
Filing date: 2009-07-29
Publication date: 2011-04-27
Anticipated expiration: 2029-07-29
Also published as: CN101610413A

Abstract

本发明公开了一种视频的编码/解码方法及装置，属于视频图像处理领域。方法包括：从用于预测的参考帧中搜索最优假设；根据最优假设搜索次优假设；以预设的度量方式搜索最优假设的权重和次优假设的权重；根据搜索得到的最优假设的权重和次优假设的权重获取加权合并的预测图像块；根据加权合并的预测图像块计算残差图像块；对残差图像块进行变换、量化和编码。本发明还包括视频的编码装置、视频的解码方法及装置。本发明通过在单向参考帧中搜索两个假设进行运动补偿，与双向预测运动补偿相比，能够消除双向预测中由于视频帧编码顺序调整带来的额外编码时延；通过使用最优假设预测次优假设的方式消除对次优假设运动信息的编码开销。

Description

一种视频的编码/解码方法及装置

技术领域

本发明涉及视频图像处理领域，特别涉及一种视频的编码/解码方法及装置。

背景技术

随着多媒体技术的发展，多样化的视频应用广泛地流行于生产生活的各个方面。由于视频应用的数据量大，包含较多的冗余信息，特别是当视频应用逐渐向高分辨率、高帧率发展的情况下，现有的存储和传输技术无法满足大量视频应用的需要，因此，高效的视频压缩编码技术成为各种视频应用发展的关键。

目前，在各种视频编码标准中采用基于混合编码结构的视频编码方法，该方法通常使用预测、变换、量化和信息熵四种压缩编码技术。其中，预测技术利用已经完成编码和重建的视频图像块来预测当前编码的视频图像块，预测技术可以分为帧间预测和帧内预测；变换技术将输入的图像块转化到另一空间中，使输入信号的能量集中在少量变换系数上，从而降低输入图像块各像素间的空间相关性，达到数据压缩的目的；量化技术将近似连续分布的变换系数映射到具有少量元素的离散的集合上，在牺牲一定重构图像质量的同时显著降低视频应用的数据量，是实现有损压缩的重要技术；信息熵编码技术主要是利用编码码流中各种符号统计上的相关性使用变长编码来实现信息压缩。

预测技术中的帧间预测方法采用基于块匹配的运动补偿方法进行预测，根据编码结构的不同，基于块匹配的运动补偿方法可以分为单向预测运动补偿(P帧)和双向预测运动补偿(B帧)。其中，单向预测运动补偿从已经重构的参考帧中以预设的度量方式搜索一个图像块对当前编码图像块进行预测，用于预测的参考帧中的图像块被称为假设；双向预测运动补偿分别从前向和后向两个已经重构的参考帧中以预设的度量方式各搜索一个图像块对当前编码图像块进行预测，这种使用两个或两个以上图像块进行帧间预测方式也称作多假设预测。

在实现本发明的过程中，发明人至少发现：

双向预测运动补偿需要对编码帧的顺序进行调整，对编码帧的顺序调整会造成额外的编码时延；双向预测运动补偿需要对两个假设的运动矢量分别进行编码，产生额外的编码开销。

发明内容

为了解决现有的双向预测运动补偿方法在对当前编码图像块进行预测时产生额外的编码时延，以及对两个假设的运动矢量分别进行编码产生额外的编码开销，本发明实施例提供了一种视频的编码/解码方法及装置。所述技术方案如下：

一种视频的编码方法，所述方法包括：

从用于预测的参考帧中搜索最优假设，所述最优假设为用于预测的参考帧中与当前编码图像块最接近的图像块；

根据所述最优假设搜索次优假设，所述次优假设为除了所述最优假设所在的用于预测的参考帧以外的参考帧中，以预设的度量方式与所述最优假设最接近的图像块；

以预设的度量方式搜索所述最优假设的权重和所述次优假设的权重，所述预设的度量方式包括均方误差或残差能量准则或绝对误差和准则；

根据搜索得到的所述最优假设的权重和所述次优假设的权重获取加权合并的预测图像块；

根据所述加权合并的预测图像块计算残差图像块；

对所述残差图像块进行变换、量化和编码。

所述方法还包括：对所述最优假设的运动信息进行编码。

所述方法还包括：对所述次优假设的权重进行变长编码。

所述以预设的度量方式搜索所述最优假设的权重和所述次优假设的权重具体包括：

构建所述次优假设的权重的编码映射表；

根据所述次优假设的权重的编码映射表中的每个候选权重计算加权合并的预测图像块；

根据计算得到的加权合并的预测图像块计算最小化残差能量，以所述最小化残差能量为目标搜索所述最优假设的权重和所述次优假设的权重。

一种视频的编码装置，所述装置包括：

第一搜索模块，从用于预测的参考帧中搜索最优假设，所述最优假设为用于预测的参考帧中与当前编码图像块最接近的图像块；

第二搜索模块，用于根据所述最优假设搜索次优假设，所述次优假设为除了所述最优假设所在的用于预测的参考帧以外的参考帧中，以预设的度量方式与所述最优假设最接近的图像块；

第三搜索模块，用于以预设的度量方式搜索所述最优假设的权重和所述次优假设的权重，所述预设的度量方式包括均方误差或残差能量准则或绝对误差和准则；

第一获取模块，用于根据搜索得到的所述最优假设的权重和所述次优假设的权重获取加权合并的预测图像块；

第一计算模块，用于根据所述加权合并的预测图像块计算残差图像块；

第一处理模块，用于对所述残差图像块进行变换、量化和编码。

所述装置还包括：

第一编码模块，用于对所述次优假设的权重进行变长编码。

所述第三搜索模块包括：

构建单元，用于构建所述次优假设的权重的编码映射表；

计算单元，用于根据所述次优假设的权重的编码映射表中的每个候选权重计算加权合并的预测图像块；

处理单元，用于根据计算得到的加权合并的预测图像块计算最小化残差能量，以所述最小化残差能量为目标搜索所述最优假设的权重和所述次优假设的权重。

所述装置还包括：

第二编码模块，用于对所述最优假设的运动信息进行编码。

一种视频的解码方法，所述方法包括：

解码最优假设的运动信息，所述最优假设为用于预测的参考帧中与当前编码图像块最接近的图像块；

根据所述最优假设的运动信息在用于预测的参考帧中获得最优假设；

解码次优假设的权重，所述次优假设为除了所述最优假设所在的用于预测的参考帧以外的参考帧中，以预设的度量方式与所述最优假设最接近的图像块，所述预设的度量方式包括均方误差或残差能量准则或绝对误差和准则；

当所述次优假设的权重为零，根据所述最优假设的权重计算加权合并的预测图像块；

当所述次优假设的权重不为零，根据所述最优假设搜索次优假设，根据所述次优假设的权重计算最优假设的权重，根据所述最优假设的权重和次优假设的权重计算加权合并的预测图像块；

通过反量化和反变换得到残差图像块；

根据所述残差图像块和所述加权合并的预测图像块获取解码图像块。

一种视频的解码装置，所述装置包括：

第一解码模块，解码最优假设的运动信息，所述最优假设为用于预测的参考帧中与当前编码图像块最接近的图像块；

第二获取模块，根据所述最优假设的运动信息在用于预测的参考帧中获得最优假设；

第二解码模块，获取次优假设的权重，所述次优假设为除了所述最优假设所在的用于预测的参考帧以外的参考帧中，以预设的度量方式与所述最优假设最接近的图像块，所述预设的度量方式包括均方误差或残差能量准则或绝对误差和准则；

第二计算模块，当所述次优假设的权重为零，根据所述最优假设的权重计算加权合并的预测图像块；

第三计算模块，当所述次优假设的权重不为零，根据所述最优假设搜索次优假设，根据所述次优假设的权重计算最优假设的权重，根据所述最优假设的权重和次优假设的权重计算加权合并的预测图像块；

第二处理模块，通过反量化和反变换得到残差图像块，根据所述残差图像块和所述加权合并的预测图像块获取解码图像块。

本发明实施例提供的技术方案的有益效果是：

通过在单向参考帧中搜索两个假设进行运动补偿，与双向预测运动补偿相比，能够消除双向预测中由于视频帧编码顺序调整带来的额外编码时延；通过使用最优假设预测次优假设的方式消除对次优假设运动信息的编码开销。

附图说明

图1是本发明实施例一提供的视频的编码方法流程图；

图2是本发明实施例二提供的视频的编码方法流程图；

图3是本发明实施例二提供的用于预测的参考帧示意图；

图4是本发明实施例三提供的视频的解码方法流程图；

图5是本发明实施例四提供的视频的解码方法流程图；

图6是本发明实施例五提供的视频的编码装置结构图；

图7是本发明实施例六提供的视频的编码装置结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

参见图1，为本实施例提供的一种视频的编码方法流程图。该方法包括：

101：从用于预测的参考帧中搜索最优假设；

102：根据最优假设搜索次优假设；

103：以预设的度量方式搜索最优假设的权重和次优假设的权重；

104：根据搜索得到的最优假设的权重和次优假设的权重获取加权合并的预测图像块；

105：根据加权合并的预测图像块计算残差图像块；

106：对残差图像块进行变换、量化和编码。

本实施例通过在单向参考帧中搜索两个假设进行运动补偿，以最优假设搜索次优假设，并对两个假设进行权重编码，与双向预测运动补偿相比，能够消除双向预测中由于视频帧编码顺序调整带来的额外编码时延；通过使用最优假设预测次优假设的方式消除对次优假设运动信息的编码开销。

实施例二

为了解决现有的双向预测运动补偿方法在对当前编码图像块进行预测时产生额外的编码时延，以及对两个假设的运动矢量分别进行编码产生额外的编码开销，本实施例提供一种视频的编码方法，如图2所示，该方法具体包括：

201：从用于预测的参考帧中搜索最优假设H₁；

其中，根据当前编码图像块I在用于预测的参考帧中以预设的度量方式搜索最优假设H₁；

本实施例中，如图3所示，用于预测的参考帧以两个为例说明，但此并不对用于预测的参考帧的个数构成限定；预设的度量方式可以包括MSE(Mean Square Error，均方误差或残差能量)准则或SAD(Sum of Absolute Difference，绝对误差和)准则等等；最优假设H₁为：在用于预测的参考帧中与当前编码图像块I最接近的图像块。例如，根据当前编码图像块I以MSE为度量方式搜索，最优假设H₁为与当前编码图像块I的MSE最接近的图像块。

如图3所示，搜索到的最优假设H₁在用于预测的参考帧1中。

202：对最优假设H₁的运动信息进行编码；

其中，最优假设H₁的运动信息包括参考帧索引，运动矢量，分别对这两个信息进行编码。

203：根据最优假设H₁搜索次优假设H₂；

其中，根据最优假设H₁在除了最优假设H₁所在的参考帧以外的参考帧中搜索次优假设H₂，搜索的过程与根据当前编码图像块I搜索最优假设H₁的过程相似，例如，根据最优假设H₁以MSE为度量方式搜索，次优假设H₂为除了最优假设H₁所在的用于预测的参考帧以外的参考帧中按最小化MSE准则(即以最小化MSE为目标)与最优假设最接近的图像块。

如图3所示，搜索到的次优假设H₂在用于预测的参考帧2中。

204：以预设的度量方式搜索最优假设H₁的权重W₁和次优假设H₂的权重W₂，并对次优假设H₂的权重W₂进行变长编码；

其中，以预设的度量方式搜索最优假设H₁的权重W₁和次优假设H₂的权重W₂包括：用权重W₁和W₂将最优假设H₁和次优假设H₂合并，以MSE为目标，搜索权重W₁和W₂的合理值，若合并后得到的假设(即加权合并的预测图像块)的MSE最小，则认为搜索到的最优假设H₁的权重W₁和次优假设H₂的权重W₂是合理的。搜索的过程中，最优假设H₁的权重W₁与次优假设H₂的权重W₂满足：W₁+W₂＝2^weight_bit；其中，weight_bit的取值范围可以是1～10，本实施例中，以weight_bit的取值为8举例说明，则最优假设H₁的权重W₁与次优假设H₂的权重W₂之和为256。

204具体包括：

(1)构建次优权重W₂的编码映射表，详细如下：

次优假设的权重W₂的可行范围在[0，2^weight_bit-1]之间，但根据其统计上的分布规律显示，较多的次优假设的权重W₂在0值附近，因此可以采用对数压扩的方式在[0，2^weight_bit-1]选出2^index_bit个候选权重，使其满足0附近步长小，2^weight_bit-1附近步长大的分布规律，其中，index_bit的取值范围可以是1～(weight_bit-1)，可以根据经验预设为固定值。表1中index_bit＝5。

本实施例中，weight_bit的取值为8，则次优假设的权重W₂的可行范围在[0，255]之间，采用对数压扩的方式在[0，255]选出2^index_bit即2⁵＝32个候选的权重，使其满足0附近步长小，255步长大的分布规律，则候选的次优权重W₂的编码映射表如表1所示：

表1

index	W	index	W	index	W	index	W
								0	0	8	12	16	64	24	192
1	1	9	16	17	80	25	208
								2	2	10	20	18	96	26	224
3	3	11	24	19	112	27	240
								4	4	12	32	20	128	28	255
5	6	13	40	21	144	29	-2
								6	8	14	48	22	160	30	-4

7

10

15

56

23

176

31

-16

表1中，W为次优权重W₂的候选权重，index表示该候选权重在权重编码映射表中的索引。

(2)遍历次优权重W₂的编码映射表中的每个候选权重W；

其中，本实施例以表1为例说明，遍历次优权重W₂的编码映射表1中的每个候选权重W的过程具体包括：

1)令次优权重W₂依次取表1中的每个W，则W₁＝2^weight_bit-W₂；

本实施例中，W₁＝256-W₂。

2)计算加权合并的预测图像块P＝((W₁H₁+W₂H₂)＞＞weight_bit)；

本实施例中，当weight_bit的取值为8时，P＝((W₁H₁+W₂H₂)＞＞8)表示对加权合并后的预测块W₁H₁+W₂H₂进行数值为8的位移操作。具体地，加权合并的预测图像块P、最优假设H₁和次优假设H₂为矩阵，权重W₁和权重W₂为整数，对加权合并的预测图像块P进行数值为8的位移操作表示对矩阵内的每个元素均进行数值为8的位移操作。

(3)计算残差图像块R的能量E_R，根据E_R搜索权重W₁和权重W₂，详细如下：

残差图像块R＝当前编码图像块I-加权合并的预测图像块P，计算该残差图像块R的能量E_R，当能量E_R小于min_mse，则令min_mse＝E_R，该过程即获取最小化残差能量的过程，用权重W₁和W₂将最优假设H₁和次优假设H₂合并得到加权合并的预测图像块P，通过加权合并的预测图像块P得到的残差能量最小，则表示对应的权重W₁和W₂为合理值；通过上述方式得出最小化残差能量的同时，记录当前使用候选权重W在次优权重W₂的编码映射表中的索引；

其中，min_mse表示使用加权合并的预测图像块P进行计算得到的残差信号的能量，预设min_mse等于可表示整数的最大值，例如2³²-1，当前使用候选权重为在使用计算加权合并的预测图像块P进行计算得到的残差信号的能量的过程中，次优权重W₂的取值。

(4)对最终选择的权重W₂在次优权重W₂的编码映射表中的索引进行编码。

205：根据搜索得到的最优假设H₁的权重W₁和次优假设的权重W₂获取加权合并的预测图像块P_z；

其中，205所示的加权合并的预测图像块P_z为根据权重W₁和权重W₂的合理值计算所得的当前编码图像块I的预测图像块。

本实施例中，P_z＝P＝((W₁H₁+W₂H₂)＞＞8)，P、H₁与H₂均表示图像块，可以用矩阵表示，＞＞表示位移操作，P_z＝P＝((W₁H₁+W₂H₂)＞＞8)表示对加权合并的预测图像块P_z进行数值为8的位移操作。

206：根据加权合并的预测图像块P_z计算残差图像块R，并对残差图像块R进行变换、量化和编码。

其中，加权合并的预测图像块P’为根据权重W₁和权重W₂的合理值计算所得的当前编码图像块I的预测图像块，残差图像块R＝当前编码图像块I-加权合并的预测图像块P’，通过计算得到对应的残差图像块R后，对残差图像块R进行变换、量化和编码的操作，获得残差图像块的量化后的变换系数。

本实施例所述的视频编码方法，在单向参考帧中搜索两个假设进行运动补偿，以最优假设搜索次优假设，并对假设进行权重编码，与双向预测运动补偿相比，能够消除双向预测中由于视频帧编码顺序调整带来的额外编码时延；通过使用最优假设预测次优假设的方式消除对次优假设运动信息的编码开销。另外，本实施例通过两个假设加权合并的方式来减低残差图像块的能量，提高压缩效率。

需要说明的是，本实施例在前向参考帧中搜索两个假设进行运动补偿，但并不对搜索多个假设进行运动补偿构成限定；可以在多个用于预测的参考帧中搜索多个假设进行运动补偿，N个假设至少需要N个用于预测的参考帧。

实施例三

参见图4，为本实施例提供的一种视频的解码方法流程图。该方法包括：

301：解码最优假设的运动信息；

302：根据最优假设的运动信息在用于预测的参考帧中获得最优假设；

303：解码次优假设的权重；

304：当次优假设的权重为零，根据最优假设的权重计算加权合并的预测图像块，执行306；

305：当次优假设的权重不为零，根据最优假设搜索次优假设，根据次优假设的权重计算最优假设的权重，根据最优假设的权重和次优假设的权重计算加权合并的预测图像块；

306：通过反量化和反变换得到残差图像块；

307：根据残差图像块和加权合并的预测图像块获取解码图像块。

本实施提供的解码过程是相对于编码的反过程，通过对当前编码图像块解码，获得解码图像块。

实施例四

基于本发明实施例二所述的视频的编码方法，本实施例提供一种视频的解码方法，如图5所示，该方法具体包括：

401：解码最优假设H₁的运动信息；

其中，该解码过程是相对实施例二中202对最优假设H₁的运动信息进行编码的反过程。

402：根据最优假设H₁的运动信息在用于预测的参考帧中获得最优假设H₁；

403：解码次优假设H₂的权重W₂；

其中，根据权重编码映射表(实施例二中的表1)对次优假设H₂的权重W₂进行解码，获得次优假设的权重。

404：判断次优假设H₂的权重W₂是否等于0，是则执行407；否则执行405；

405：根据最优假设H₁搜索次优假设H₂；

其中，根据最优假设H₁在除了最优假设H₁所在的参考帧以外的参考帧中搜索次优假设H₂，该过程与实施例二的203原理相似，此处不再赘述。

406：根据次优假设H₂的权重W₂计算最优假设H₁的权重W₁，并计算加权合并的预测图像块P，执行408；

其中，W₁＝2^weight_bit-W₂，本发明实施例中，以weight_bit的取值为8举例说明，W₁＝2⁸-W₂，并计算出加权合并的预测图像块P＝((W₁H₁+W₂H₂)＞＞8)。

407：计算加权合并的预测图像块P等于H₁，执行408；

其中，当次优假设H₂的权重W₂等于0时，通过计算所得加权合并的预测图像块P＝W₁H₁＞＞weight_bit＝(2^weight_bitH₁)＞＞weight_bit＝H₁，因此，本实施例中，当权重W₂等于0时，P＝H₁。

408：获取残差图像块R’，根据加权合并的预测图像块P和残差图像块R’求和获得解码图像块I’＝P+R’。

其中，对实施例二获得的残差图像块的量化后的变换系数进行反量化和反变换获得残差图像块R’，对预测块P和残差图像块R’求和获得解码图像块I’＝P+R’。

本实施提供的解码过程是相对于编码的反过程。通过对当前编码图像块进行解码，获得解码图像块。

实施例五

参加图6，本实施例提供一种视频的编码装置，该装置包括：

第一搜索模块61，从用于预测的参考帧中搜索最优假设；

第二搜索模块62，用于根据最优假设搜索次优假设；

第三搜索模块63，用于以预设的度量方式搜索最优假设的权重和次优假设的权重；

第一获取模块64，用于根据搜索得到的最优假设的权重和次优假设的权重获取加权合并的预测图像块；

第一计算模块65，用于根据加权合并的预测图像块计算残差图像块；

第一处理模块66，用于对残差图像块进行变换、量化和编码。

进一步地，该装置还包括：

第一编码模块，用于对次优假设的权重进行变长编码。

进一步地，第三搜索模块63包括：

构建单元，用于构建次优权重的编码映射表；

计算单元，用于根据次优权重的编码映射表中的每个候选权重计算加权合并的预测图像块；

处理单元，用于根据计算得到的加权合并的预测图像块计算最小化残差能量，以所述最小化残差能量为目标搜索最优假设的权重和次优假设的权重。

进一步地，该装置还包括：

第二编码模块，用于对最优假设的运动信息进行编码。

通过第二编码模块对最优假设的运动信息进行编码所得的编码结果，在解码过程中用于提供解码信息。

本实施例提供的用于实施视频的编码方法的装置，在单向参考帧中搜索两个假设进行运动补偿，以最优假设搜索次优假设，并对假设进行权重编码，与双向预测运动补偿相比，能够消除双向预测中由于视频帧编码顺序调整带来的额外编码时延；通过使用最优假设预测次优假设的方式消除对次优假设运动信息的编码开销。另外，本实施例通过两个假设加权合并的方式来减低残差图像块的能量，提高压缩效率。

实施例六

参加图7，本实施例提供一种视频的解码装置，该装置包括：

第一解码模块71，解码最优假设的运动信息；

第二获取模块72，根据最优假设的运动信息在用于预测的参考帧中获得最优假设；

第二解码模块73，解码次优假设的权重；

第二计算模块74，当次优假设的权重为零，根据最优假设的权重计算加权合并的预测图像块；

第三计算模块75，当次优假设的权重不为零，根据最优假设搜索次优假设，根据次优假设的权重计算最优假设的权重，根据最优假设的权重和次优假设的权重计算加权合并的预测图像块；

第二处理模块76，通过反量化和反变换得到残差图像块，根据残差图像块和加权合并的预测图像块获取解码图像块。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种视频的编码方法，其特征在于，所述方法包括：

根据所述加权合并的预测图像块计算残差图像块；

对所述残差图像块进行变换、量化和编码。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述最优假设的运动信息进行编码。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述次优假设的权重进行变长编码。

4.根据权利要求3所述的方法，其特征在于，所述以预设的度量方式搜索所述最优假设的权重和所述次优假设的权重具体包括：

构建所述次优假设的权重的编码映射表；

5.一种视频的编码装置，其特征在于，所述装置包括：

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

第一编码模块，用于对所述次优假设的权重进行变长编码。

7.根据权利要求6所述的装置，其特征在于，所述第三搜索模块包括：

构建单元，用于构建所述次优假设的权重的编码映射表；

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

第二编码模块，用于对所述最优假设的运动信息进行编码。

9.一种视频的解码方法，其特征在于，所述方法包括：

通过反量化和反变换得到残差图像块；

10.一种视频的解码装置，其特征在于，所述装置包括：