CN101026761B

CN101026761B - 一种具有最小误差的快速变尺寸块匹配的运动估计方法

Info

Publication number: CN101026761B
Application number: CN 200610007814
Authority: CN
Inventors: 卢汉清; 王海峰; 刘青山
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2006-02-17
Filing date: 2006-02-17
Publication date: 2010-05-12
Anticipated expiration: 2026-02-17
Also published as: CN101026761A

Abstract

本发明涉及视频压缩技术领域，一种最小误差的快速变尺寸块匹配的运动估计方法。包括：改进的“自下而上”的变尺寸块匹配方法、宏模式预测方法和后处理方法；改进的变尺寸块匹配方法将匹配误差最小的运动矢量作为候选矢量，即将每一个小块的最小匹配误差设为阈值，使变尺寸块匹配方法的匹配误差达到最小；在宏模式预测时，前一个帧间预测帧的宏块模式选择结果用来指导随后帧间预测帧的宏块选择，如果当前帧的当前宏块对应的前一帧的块模式为宏块模式，则进行MMP运算。对应的运动矢量用作预测矢量；后处理方法进一步考察使用mini-模式表示的平滑区域，首先确定所有16个小块的匹配误差小于32，否则认为该区域存在复杂运动，使用mini-模式是合理的。

Description

一种具有最小误差的快速变尺寸块匹配的运动估计方法

技术领域

本发明涉及视频压缩技术领域，给出了一种具有最小误差的快速变尺寸块匹配的运动估计方法。

背景技术

当前主流的视频编码标准使用的是基于块的运动估计技术。变尺寸块匹配(Variable Size Block Matching，VSBM)技术可以为图像的不同区域使用不同尺寸的块，从而提高了估计精度，同时因为需要编码的块的运动矢量减少了，提高了压缩率。VSBM的基本思想是用不同尺寸的块描述不同的运动：为运动一致和静止的区域使用宏块；为存在复杂运动的区域使用子块。VSBM技术最先被H.263接受，在H.264中得到充分利用。H.264一共提出了7种块模式，如图1所示。每个宏块可以采用16×16、8×16、16×8和8×8等4种模式。如果选用了8×8子块模式，这四个子块可以进一步被分成8×8、4×8、8×4和4×4等4种模式。对于每一个宏块，必须分别用这7种模式进行匹配，然后选择匹配误差最小的模式作为该模块的最终模式。这种方法需要为每种模式进行运动估计运算，大大增加了计算量。

目前，各种快速VSBM运动估计方法很好地改善了这种情况。通常的作法是将当前图像分成4×4的小块，为每一个小块进行运动估计，将匹配误差小于给定阈值的运动矢量存放到该块的候选矢量集中。如果相邻块含有相同的运动矢量，就将这些小块合成更大的块模式。这种方法只需要为最小块进行一次运动估计，降低了计算量。但其缺点在于需要为选择候选矢量事先确定阈值。通常阈值是以整幅图像为单位计算的，这就需要在处理每帧之前先求阈值，增加了计算量。此外，我们不能预先确定每幅图像的变化方式，因此每帧都需要计算阈值，而且很难以预测的方式加快阈值计算的速度。同时，一幅图像不同区域的变化也是不同的，有静止或一致运动的背景区域和存在复杂运动的前景。如果为整幅图像使用一个阈值，势必需要在背景和前景之间进行折中。因此，为每一帧图像确定一个阈值存在明显的缺陷，要么会使预测精度下降，要么会将图像“过度划分”成小块。此外，这种根据候选矢量确定块模式的方法的有效性很大程度上依赖于所选预测矢量的准确性。图像序列之间光照的随机变化会使选取的候选矢量不能反映真正的运动，相邻块的运动矢量杂乱无章，根据这些矢量选择模式势必会使宏块被分成小块模式，最差的情况是宏块被分成16个4×4的小块(我们称这种模式为mini-模式)，也就是前面提到的“过度划分”问题，不能充分发挥变尺寸块匹配的优点。

发明内容

运动估计(Motion Estimation)是视频压缩中必不可少的部分，主要用来去除视频帧与帧之间的相关信息。运动估计的准确程度直接决定了压缩率的大小。运动估计可以分为帧内预测和帧间预测。我们提出的方法针对的是帧间预测。

我们提出的VSBM方法克服了上面提到的问题.我们的方法在选择候选矢量时不需要计算阈值，只需保留匹配误差最小的运动矢量作为候选矢量.这样既利用了多种块模式的优点，同时又不降低预测精度.为了克服光照变化对模式选择的影响，我们使用了一种“后处理”的方法，专门处理宏块被划分为4×4小块的情况.此外，为了提高方法速度，我们提出了一种宏模式预测(Macro Mode Prediction，MMP)方法。这种方法能够大大提高处理宏块模式的速度，同时不会降低预测精度。具体步骤如下：

首先将图像分成4×4的小块，然后在一个搜索窗口中进行匹配，将绝对差值和，即SAD(Sum of Absolute Difference)最小的运动矢量保存到候选矢量集合中。获得每一个小块的候选矢量集后，就可以开始合并(merge)过程。合并是在相邻的4个块(4×4或8×8)之间进行的，如图2所示。合并的原则是如果相邻两块的候选矢量集中包含相同的运动矢量，则将这两块合并。如果块a可以和块b可以合并，同时块c可以和块d合并；或者块a可以和块c合并，块b可以和块d合并，则使用图1中的4种长方形块模式。如果4个块含有相同的运动矢量，则将这4个块合并成更大的方块模式。合成后，块的运动矢量为小块的共有矢量，块的匹配误差为各小块匹配误差之和。

本方法的创新点之一就是不需要计算阈值，而只保留使匹配误差最小的矢量作为候选矢量来指导模式选择过程。这种方法绕开了图像处理中常见的确定阈值的难题。在充分利用变尺寸块匹配优点的同时，不会降低预测精度。

现在提出的很多运动估计方法考虑到使用前一帧的块分布来预测当前块的模式，但这些方法考虑了所有模式，包括宏块模式和更小的块模式。小块多用来表示运动剧烈的部分，对小块模式进行预测不确定性太高，而且会不同程度的降低预测精度。本方法的不同之处在于只利用了前一帧的宏块模式，因为宏块表示的多是平滑的运动一致的区域，所以这样既提高了速度，又不会降低精度。

宏模式预测(MMP)

在使用宏模式预测时，前一个帧间预测帧的宏块模式选择结果被用来指导随后帧间预测帧的宏块选择。过程如图3所示。如果当前帧的当前宏块对应的前一帧的块(参考宏块)模式为宏块模式，则进行MMP运算。参考宏块的运动矢量被用作预测矢量，其匹配误差被用作评判MMP方法是否成功的标准，即判断当前宏块是否采用宏块模式的阈值。如果当前宏块使用预测矢量匹配的误差大于该阈值，我们就认为当前宏块内部很可能出现运动不一致，或者仍然应该采用宏块模式，不过整体运动模式出现变动，预测矢量不足以反应宏块的运动。此外，因为宏块模式表示的区域多是Y分量平滑的区域，这种区域反映了背景或对象的内部区域，因此这部分区域很可能是静止的，因此，我们用(0，0)作为候选预测矢量，阈值不变，重复上面的过程。如果匹配误差小于阈值，当前宏块就采用宏块模式，运动矢量为预测矢量。否则，利用前面提到的改进的“自下而上”的VSBM方法确定当前块的模式。

后处理

为了降低光照变化对模式选择的影响，我们使用一种“后处理”的方法进一步考察使用mini-模式表示的平滑区域，如图4所示.我们首先确定所有16个小块的匹配误差小于32，否则认为该区域存在复杂运动，从而使用mini-模式是合理的.这里使用32作阈值是因为人的视觉系统对于小于32的残差感觉不是很敏感.图5示出了残差分别为4，8，12，16……等不同情况，虚线标出的残差为32.从图中可以发现人眼对小于32的残差感觉不明显，因此，我们选定32作为阈值.对于匹配误差均小于32的小块，我们首先计算16个4×4的小块的候选矢量中，匹配误差小于32的每一个运动矢量的个数.从中选出数目最多的运动矢量作为候选矢量，并用该矢量对其他所有候选矢量集中不含有该矢量的块进行匹配，如果最终所有块的匹配误差小于32，则宏块使用宏块模式，这个运动矢量就是该宏块的运动矢量.

一种具有最小误差的快速变尺寸块匹配的运动估计方法，包括：改进的“自下而上”的变尺寸块匹配方法、宏模式预测方法和后处理方法

改进的变尺寸块匹配方法将匹配误差最小的运动矢量作为候选矢量，也就是将阈值设为每一个小块的最小匹配误差，从而使变尺寸块匹配方法的匹配误差达到最小；在宏模式预测时，前一个帧间预测帧的宏块模式选择结果被用来指导随后帧间预测帧的宏块选择，如果当前帧的当前宏块对应的前一帧的宏块(参考宏块)的模式为宏块模式，则进行MMP运算，参考宏块的运动矢量作为预测矢量，其匹配误差作为评判MMP方法是否成功的标准，即判断当前宏块是否采用宏块模式的阈值，如果当前宏块使用预测矢量匹配的误差大于该阈值，我们就认为当前宏块内部很可能出现运动不一致的情况，或者仍然应该采用宏块模式，不过整体运动模式出现变动，预测矢量不足以反应当前宏块的运动；后处理方法进一步考察使用mini-模式表示的平滑区域，首先确定所有16个小块的匹配误差小于32，否则认为该区域存在复杂运动，从而使用mini-模式是合理的。

所述的具有最小误差的快速变尺寸块匹配的运动估计方法，选定32作阈值，对于匹配误差均小于32的小块，首先计算16个4×4的小块的候选矢量中，匹配误差小于32的每一个运动矢量的个数。将个数最多的运动矢量作为候选矢量，并用该矢量对其他所有候选矢量集中不含有该矢量的块进行匹配，如果最终所有块的匹配误差均小于32，则宏块使用宏块模式，这个运动矢量就是该宏块的运动矢量。

所述的具有最小误差的快速变尺寸块匹配的运动估计方法，改进的变尺寸块匹配方法将匹配误差最小的运动矢量作为候选矢量，也就是将阈值设为每一个小块的最小匹配误差，从而使变尺寸块匹配方法的匹配误差达到最小。

附图说明

图1是H.264中采用的块模式示意图。

图2是相邻的4个块的示意图。

图3是宏块预测模式流程图。

图4是去除光照影响流程图。

图5是匹配误差示意图。

图6和7是本方法作用到basketball、akiyo、和mother三个测试序列的PSNR值和所需块的数量的曲线图。

图8是模式选择对比图。

具体实施方式

图3是宏模式预测流程，其步骤如下：

宏块预测模式的步骤如下(如图3所示)：

第1步，将上一帧的相应宏块作为参考宏块.如果参考宏块的模式为宏块模式，则将其运动矢量作为预测矢量对当前宏块进行块匹配.如果匹配误差小于参考宏块的匹配误差，则当前宏块使用宏块模式；否则进入第2步；否则考虑到宏块表示的一般是运动一致和静止的区域；

第2步，如果前面的预测矢量不是(0，0)，则用(0，0)作为预测矢量重新对当前宏块进行匹配，判断是否采用宏块模式，如果匹配误差小于参考宏块的匹配误差，则当然宏块使用宏块模式；否则进入第3步；

第3步，如果两次匹配误差均大于参考宏块的匹配误差，宏模式预测失败，则使用改进的“自下而上”的变尺寸块匹配方法确定当前宏块的模式。

去除光照影响的方法，其步骤如下(如图4所示)：首先利用改进的变尺寸块匹配方法选择宏块模式，如果宏块的模式为Mini-模式，即宏块被分为16个4×4的小块模式且小块的匹配误差较大，这里指的是匹配误差大于32，说明该宏块区域存在细节运动，变尺寸块匹配方法选择的模式是正确的，如果各小块的匹配误差均小于32，说明选择这种Mini-模式很可能是光照变化的影响，在去除光照变化影响时，首先找出各小块候选矢量中对应匹配误差小于32的所有矢量中，个数最多的矢量作为所有小块的候选矢量，对候选矢量集中不包含该矢量的块计算该矢量对应的匹配误差，如果对于所有小块，该矢量对应的匹配误差均小于32，则将该宏块的模式确定为宏块模式，该矢量即为宏块的运动矢量，其对应的16个小块的匹配误差之和即为宏块的匹配误差。

本方法已被试验用于视频压缩常用的测试序列，取得很好的效果。

图6和7分别给出了将我们的方法作用到basketball(复杂运动)、akiyo(简单前景运动，少量光照变化)和mother(光照变化)三个测试序列的PSNR值和所需块的数量。

图6PSNR对比(FSM-全局搜索；IVSBM-改进的VSBM方法+MMP；

IVSBMwIR-改进的VSBM方法+MMP+去除光照影响的后处理)

图7块数对比(FSM-全局搜索；IVSBM-改进的VSBM方法+MMP；

IVSBMwIR-改进的VSBM方法+MMP+去除光照影响的后处理)

图8模式选择对比(IVSBM-改进的VSBM方法+MMP；

IVSBMwIR-改进的VSBM方法+MMP+去除光照影响的后处理)

从中可以看出我们的方法有以下两大优点：

1.对于光照变化影响小的情况，我们的方法能够取得基于全局搜索的运动估计(FSM)相同的匹配精度，如图6(a)、(b)所示。而且所需要的块的数量要少于FSM方法，如图7(a)、(b)所示。FSM方法需要的块数为6336，而我们的方法一般只需要2500个块左右。

2.对于光照影响很大的情况，我们的方法能够合理地选择块模式。与FSM方法相比，虽然预测精度降低了大约0.4dB，但所需要的快数减少了一半左右。而且精度降低的区域主要位于平滑的背景区域，PSNR值度量的精度的降低不会对图像质量构成影响。

Claims

1.一种具有最小误差的快速变尺寸块匹配的运动估计方法，包括：改进的“自下而上”的变尺寸块匹配方法、宏模式预测方法和后处理方法：

改进的“自下而上”的变尺寸块匹配方法的步骤如下：首先将图像分成4×4的小块，然后在一个搜索窗口中进行匹配，将绝对差值和(SAD)最小的运动矢量保存到候选矢量集中；获得每一个小块的候选矢量集后开始合并过程；合并是在相邻的4个4×4或8×8的块之间进行的，如果相邻两块的候选矢量集中包含相同的运动矢量，则将这两块合并；如果4个块含有相同的运动矢量，则将这4个块合并成更大的方块模式；合并后，块的运动矢量为小块的共有矢量，块的匹配误差为各小块匹配误差之和；

宏模式预测方法的具体步骤为：

第1步，将当前宏块对应的上一帧的宏块作为参考宏块，如果参考宏块的模式为宏块模式，则将其运动矢量作为预测矢量对当前宏块进行块匹配，如果匹配误差小于参考宏块的匹配误差，则当前宏块使用宏块模式；否则进入第2步；

第2步，如果前面的预测矢量不是(0，0)，则用(0，0)作为预测矢量重新对当前宏块进行匹配，判断是否采用宏块模式，如果匹配误差小于参考宏块的匹配误差，则当前宏块使用宏块模式；否则进入第3步；

第3步，如果两次匹配误差均大于参考宏块的匹配误差，宏模式预测失败，则使用改进的“自下而上”的变尺寸块匹配方法确定当前宏块的模式；

后处理方法进一步考察使用mini-模式表示的平滑区域，所述mini-模式指的是宏块被划分为16个4×4的小块，首先确定是否所有16个小块的匹配误差均小于32，如果不是所有16个小块的匹配误差均小于32，则认为该区域存在复杂运动，从而使用mini-模式是合理的；如果所有16个小块的匹配误差均小于32，首先计算16个4×4的小块的候选矢量集中，匹配误差小于32的每一个运动矢量的个数，将个数最多的运动矢量作为候选矢量，并用该矢量对其他所有候选矢量集中不含有该矢量的小块进行匹配，如果最终所有小块的匹配误差均小于32，则宏块使用宏块模式，这个运动矢量就是该宏块的运动矢量。