CN101616325B

CN101616325B - 一种视频编码中自适应插值滤波计算的方法

Info

Publication number: CN101616325B
Application number: CN 200910089874
Authority: CN
Inventors: 戴琼海; 魏宇平
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2009-07-27
Filing date: 2009-07-27
Publication date: 2011-05-11
Anticipated expiration: 2029-07-27
Also published as: CN101616325A

Abstract

本发明公开了一种视频编码中自适应插值滤波计算的方法，所述方法包括：对当前的视频图像进行预编码处理，记录预编码处理的结果；根据所述预编码处理结果，对所述视频图像进行循环的迭代处理，直至满足预设的迭代停止条件时停止进行迭代处理；获取迭代处理停止时计算得到的新插值滤波器，利用所述新插值滤波器对视频图像进行二次编码。本发明实施例通过对视频图像进行预编码处理、迭代处理和二次编码处理，在各次迭代处理过程中，减少了对整像素位置所进行的常规操作，从而降低了视频编码的计算复杂度。

Description

一种视频编码中自适应插值滤波计算的方法

技术领域

本发明涉及视频压缩编码领域，特别涉及一种视频编码中自适应插值滤波计算的方法。

背景技术

在目前各种视频编码标准中所采用的混合编码结构的视频编码方法，通常使用预测、变换、量化和信息熵编码四种压缩编码技术。其中，预测编码技术是利用已经完成编码和重建的视频图像块来预测和描述当前编码的视频图像块。根据所使用的已经完成编码和重建的视频图像块和当前正在编码的视频图像块之间的关系，预测编码技术可以分为帧间预测和帧内预测，帧间预测是利用先前视频帧中的图像块预测当前帧正在编码的图像块，帧内预测是利用当前视频帧中已经完成编码和重建的图像块预测同一帧中正在编码的图像块。

对于分像素的运动补偿帧间预测，需要对解码图像缓冲区中的参考帧进行插值操作来获得分像素位置的像素值，当前的视频编码标准中一般采用简单的双线性滤波或维纳滤波来进行插值操作。在目前的各种使用Wiener-Hopf(维纳霍夫)方程实现自适应插值方案中，都使用了视频帧级的二次编码结构：在对一帧视频图像进行编码的过程中，首先进行一次预编码，所有的参考帧使用了固定系数插值滤波器进行插值实现预编码；在预编码结束后，计算新的插值滤波器系数，重新对各参考帧进行插值，再进行第二次视频帧级的编码操作，从而获得使用自适应插值滤波进行压缩的码流。为了获得更高的压缩效率，可以在第二次编码中记录相关信息并计算新的插值滤波器系数，以此迭代进行更多次视频帧级的编码操作。

在实现本发明的过程中，发明人发现，现有技术中增加了额外的视频帧级编码操作，会显著增加编码的复杂度。在这种视频帧级的多次编码结构中，存在大量的近似重复操作，比如对整像素位置搜索、变换、量化等操作，使得编码的复杂度较高。

发明内容

为了降低视频帧级的二次编码中分像素运动搜索的计算复杂度，本发明提出了一种视频编码中自适应插值滤波计算的方法，所述技术方案如下：

一种视频编码中自适应插值滤波计算的方法，所述方法包括：

使用初始的固定的插值滤波器对当前视频图像的所有参考帧进行插值处理，分别获得插值处理后参考帧；使用插值处理后的参考帧对当前的编码帧中的每一个图像块进行编码，分别获得编码图像块，并记录相应的编码过程中的参考帧编号、对应的参考帧中图像块的整像素位置和分像素位置；记录每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关，以及对应的参考帧中整像素位置图像块的局部自相关；

根据所述编码过程中的参考帧编号、对应的参考帧中图像块的整像素位置和分像素位置、每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关，以及对应的参考帧中整像素位置图像块的局部自相关，对所述视频图像进行循环的迭代处理，直至满足预设的迭代停止条件时停止进行迭代处理；

获取迭代处理停止时计算得到的新插值滤波器，利用所述新插值滤波器对视频图像进行二次编码。

本发明实施例通过对视频图像进行预编码处理、迭代处理和二次编码处理，在各次迭代处理过程中，减少了对整像素位置所进行的常规操作，从而降低了视频编码的计算复杂度。

附图说明

图1是本发明实施例提供的视频编码方法的流程图；

图2是本发明实施例提供的视频编码方法的详细流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

如图1所示，本发明实施例提供了一种视频编码中自适应插值滤波计算的方法，包括：

101：对当前的视频图像进行预编码处理，记录预编码处理的结果。

具体的，记录的预编码处理的结果包括：编码过程中的参考帧编号、对应的参考帧中图像块的整像素位置和分像素位置、每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关，以及对应的参考帧中整像素位置图像块的局部自相关。

102：根据预编码处理结果，对该视频图像进行循环的迭代处理，直至满足预设的迭代停止条件时停止进行迭代处理。

优选的，预设的迭代停止条件可以为：当前迭代处理的次数已达到预设值。或，前一次迭代处理过程中，各编码图像块中发生改变的分像素位置的个数小于预设门限值，该预设门限值可以根据实际需要进行设定，本发明对此不做限制。

103：获取迭代处理停止时计算得到的新插值滤波器，利用该新插值滤波器对视频图像进行二次编码。

实施例2

为了降低视频帧级编码的计算复杂度，本发明实施例提供了一种视频编码中自适应插值滤波计算的方法。本发明实施例采用快速迭代处理的方法进行二次编码，充分利用了在各次迭代处理过程中，各视频编码图像块在参考帧中对应的整像素位置参考块基本不变的性质，消除了在各次迭代中不必要的整像素位置搜索、变换、量化等操作，从而降低了编码的计算复杂度。

参见图2，本发明实施例提供的视频编码中自适应插值滤波计算的方法，具体应用于视频编码过程中，包括以下步骤：预编码阶段、迭代处理阶段和二次编码阶段。

预编码阶段包括：

201：使用初始的固定系数的插值滤波器对当前视频图像的所有参考帧进行插值处理，分别获得插值处理后参考帧。

其中，一个视频图像块中所包括的参考帧的数目可以根据实际需要进行设定，本发明对此不做限制。

202：使用插值处理后的参考帧对当前的编码帧中的每一个视频图像块i进行编码，分别获得各个编码图像块，并记录相应的编码过程中的参考帧编号REF_i、对应的参考帧中图像块的整像素位置IP_i和分像素位置SP_i。

203：记录每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关，以及对应的参考帧中整像素位置图像块的局部自相关。

在本发明实施例中，每一个编码图像块可对应多个分像素位置，需要记录每一个编码图像块在可能的分像素位置与对应的参考帧中整像素位置图像块的局部互相关

以及对应的参考帧中整像素位置图像块的局部自相关

202和203中记录的结果即为对当前的视频图像进行预编码处理所得的结果。在对视频图像的预编码处理结束后，进行循环的迭代处理，迭代处理阶段包括：

204：根据记录的该分像素位置SP_i、每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关以及对应的参考帧中整像素位置图像块的局部自相关

计算各编码图像块与对应的参考帧中整像素位置图像块的统计的局部互相关R^SP，以及对应的参考帧中整像素位置图像块的统计的局部自相关C^SP；并进一步计算出每个分像素的新的插值滤波器。

其中，统计的局部互相关

统计的局部自相关

C^{SP} = \underset{i}{Σ} C_{i}^{SP} ({SP}_{i} = = SP);

205：根据204中得到的统计的局部互相关R^SP和统计的局部自相关C^SP，通过求解Wiener-Hopf方程：R^SPh^SP＝C^SP，从而可以计算出每个分像素的新插值滤波器为：h^SP。

206：判断是否满足预设的迭代停止条件，如果是，则停止进行迭代处理，执行208；否则，执行207。

207：利用该新的插值滤波器对所有的该分像素位置进行插值处理，搜索并记录经新的插值滤波器处理后的分像素位置，并返回执行204继续进行循环的迭代处理。

优选的，预设的迭代停止条件可以为：1、当前迭代处理的次数已达到预设值；或，2、前一次迭代处理过程中，各编码图像块中发生改变的分像素位置SP_i的个数小于预设门限值，该预设门限值可以根据实际需要进行设定，本发明对此不做限制。或，3、前两次迭代处理过程中计算出的插值滤波器系数的欧式距离小于预设的插值滤波器改变门限值。该预设的改变门限值可以根据实际需要进行设定，本发明对此不做限制。

具体的，207的具体处理步骤包括：

1)通过记录的参考帧编号REF_i和整像素位置IP_i查找出整像素位置参考块；

2)使用205中计算得到的各分像素的新的插值滤波器h^SP对所有分像素位置进行插值处理，获得各分像素位置图像块；

3)以最小化残差能量为目标搜索在使用新插值滤波器的情况下，经新的插值滤波器处理后的分像素位置，刷新并记录该分像素位置，并返回执行204继续进行循环的迭代处理。

通过204-207，对预编码处理后的视频图像进行了循环的迭代处理，直至满足预设的迭代停止条件时，结束迭代处理。在上述循环迭代处理结束后，获取迭代处理停止时计算得到的新插值滤波器，即最后一次迭代处理过程中计算得到的新插值滤波器；之后就可以对视频图像进行二次编码的处理，二次编码阶段包括如下步骤：

208：对最后一次迭代处理过程中计算出的新插值滤波器进行量化和编码。

209：使用量化后的该新插值滤波器对该各参考帧进行插值处理。

210：使用插值处理后的各参考帧，对当前编码帧中的每一个图像块进行二次编码。

本发明实施例通过在视频编码过程中采用快速迭代处理，在保证视频压缩效率的同时有效地降低了计算开销。本发明提出的方法在第一次采用插值滤波器进行参考帧插值的预编码过程中，记录本次编码过程中选定的分像素位置标号和参考帧编号、每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关，以及对应的参考帧中整像素位置图像块的局部自相关，在预编码结束后用迭代的方式计算插值滤波器和对应的分像素位置标号，每次迭代处理过程中仅需要以最小化残差能量为目标，对分像素位置进行搜索获得在使用新插值滤波器的情况下的分像素位置，无需进行整像素位置的运动搜索、量化、编码等操作，从而实现了计算复杂度的降低。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种视频编码中自适应插值滤波计算的方法，其特征在于，所述方法包括：

根据记录的所述分像素位置、每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关，以及对应的参考帧中整像素位置图像块的局部自相关，计算各编码图像块与对应的参考帧中整像素位置图像块的统计的局部互相关，以及对应的参考帧中整像素位置图像块的统计的局部自相关，并进一步计算出每个分像素的新的插值滤波器，并对所述视频图像进行循环的迭代处理，直至满足预设的迭代停止条件时停止进行迭代处理；

2.根据权利要求1所述的视频编码中自适应插值滤波计算的方法，其特征在于，所述对所述视频图像进行循环的迭代处理，直至满足预设的迭代停止条件时停止进行迭代处理，包括：

步骤A：判断是否满足预设的迭代停止条件，如果是，则停止进行迭代处理；否则，执行步骤B；

步骤B：利用所述新的插值滤波器对所有的所述分像素位置进行插值处理，搜索并记录经所述新插值滤波器处理后的分像素位置，并返回执行步骤A。

3.根据权利要求2所述的视频编码中自适应插值滤波计算的方法，其特征在于，所述预设的迭代停止条件，包括：

当前迭代处理的次数已达到预设值；

或，前一次迭代处理过程中，各编码图像块中发生改变的分像素位置的个数小于预设门限值；

或，前两次迭代处理过程中计算出的新插值滤波器系数的欧式距离小于预设的插值滤波器改变门限值。

4.根据权利要求2所述的视频编码中自适应插值滤波计算的方法，其特征在于，所述利用所述新插值滤波器对视频图像进行二次编码，包括：

对最后一次迭代处理过程中计算出的新插值滤波器进行量化和编码；

使用量化后的所述新插值滤波器对所述各参考帧进行插值处理；

使用插值处理后的各参考帧对当前编码帧中的每一个图像块进行二次编码。