CN101459849A - 基于多视点编码的运动搜索范围自适应调节的快速运动估计方法 - Google Patents

Abstract

本发明涉及一种基于多视点编码搜索范围自适应调节的快速运动估计方法。它是基于宏块运动特性的自适应运动估计，通过相邻视点的空间相关性，提取相邻已编码视点的运动信息分析多视视频的特征，将宏块归类为三类宏块，即运动一致区域的宏块、运动中等一致区域的宏块以及运动复杂区域的宏块，对于运动简单或运动中等一致的区域，可适当降低搜索范围，对于运动复杂的区域，对搜索范围没有限制。由上述确定的搜索范围，进行自适应的运动估计，这样可以不降低编码效率的同时，大幅度降低编码复杂度。

Description

基于多视点编码的运动搜索范围自适应调节的快速运动估计方法

技术领域

本发明涉及到一种基于多视点编码的运动搜索范围自适应调节的快速运动估计方法。特别与现有方法截然不同的是，在运动估计之前，增设了对已编码视点对应宏块的运动矢量提取和运动特性分析的过程，基于宏块的不同运动特性，自适应调节搜索范围。

背景技术

随着数字视频的迅速发展和广泛应用，人们对视频的质量和内容的多样性要求越来越高，传统的2D图像己不能满足要求，因此，人们已将目光转向3D视频技术。3DTV/FTV(三维电视/自由视点电视)有可能成为继高清晰度电视(HDTV)之后的下一代视频技术。3DTV/FTV主要特征是交互性和立体感，用户可以自由地改变视点位置以希望观测的视向享受具有三维(3D)立体感的视频内容。

3DTV/FTV系统结构可分为多视点视频采集、多视视频编码、网络传输、多视视频解码、视图合成和3D显示几部分组成。在3DTV/FTV系统中，不论多视采集部分和3D立体显示部分采用何种方法，其间的多视视频编码(MVC)和解码是共性的技术。由于多视点视频由相机阵列获取，每一个相机形成一路视频流，因此其数据量非常巨大，数据压缩成为紧迫的任务。为此，JVT于2003-2005年对于MVC，就编码的理论框架、方法、算法和验证以及方法的更新等多次发出递交提案的征集，经分析、讨论、评估，给出了相应报告、文件和评述，并于2006年1月对所递交的其中9个提案进行了主观测试，随后又进行了核心实验。测试和实验表明，所有进行测试的MVC提案，不论相同率下的编码质量或相同质量下编码的率，均比H.264/AVC独立编码有显著的增益。JVT(Joint Video Team)于2006年7月接手MVC的标准化调研和制定工作，并将今后几年的目标限定为在H.264/AVC基础上的扩展，目前已发布了多个MVC的校验模型(JMVM)。

在多视点视频中，既存在视点内的时空相关性，又存在视点交叉相关性，如何有效地解除这些相关性是提高多视点视频压缩效率的关键。在MVC校验模型(JMVM)中，以运动估计消除时间冗余，以视差估计消除视间冗余。采用了H.264/AVC标准中块匹配技术去除时间和视点之间的相关性。预测编码模块既包含了运动估计模块又包含了视差估计模块。这样预测估计模块成为多视点编码系统中最复杂的单元。超大的数据量和超高的运算复杂度成为MVC实际运用的瓶颈。从不同序列测试的实验结果可知，运动估计和视差估计是影响编码速度的关键，其通常占一个编码器总运算量的95％左右。为此，快速的运动估计和视差估计算法是多视点编码迫切所需的。为此，我们发明了一种基于多视点编码自适应调整搜索窗的快速运动估计算法。

块匹配法是目前应用最为广泛的运动估计方法，其原理是先将当前帧分割成相互不重叠的矩形块(如大小为8×8像素或16×16像素)，然后在参考帧中规定窗口范围内寻找最佳匹配位置作为预测，最后仅对运动向量与块残差进行编码传输。在现有视频编码标准中如H.264、SVC和MVC，搜索范围都是固定的，在搜索窗内，对每个搜索点的RDCOST进行比较，将具有最小RDCOST点作为最佳匹配点。

在JMVM中，为适应不同运动程度的视频图像序列、提高运动估计的性能，采用了±64范围的搜索窗。这使得单块的全搜索点数上升到16384个点。扩大的搜索窗对于复杂运动序列，无疑可以进一步提高运动估计的精度，但对于简单运动序列，却是不必要的浪费。显然，如果能够根据序列本身的运动特性，自适应地确定一个搜索范围，使绝大部分最佳匹配点都落于该范围内，则可在保证PSNR方面性能的同时，降低搜索的运算量，提高效率。

鉴于此，我们为MVC提出了一种自适应调节搜索范围的快速运动估计方法。该方法利用相邻视点之间的相关性，根据已编码视点对应宏块的运动矢量分析当前宏块的运动特性，由宏块的所处不同运动特性区域，自适应调节运动搜索的范围。

发明内容

本发明的目的在于提供一种基于多视点编码搜索范围自适应调节的快速运动估计方法。在不降低编码效率的同时，即不降低编码图像质量和不提高比特率下，可显著提高多视点编码速度。

为达到上述发明目的，本发明构思如附图1所示，首先，由全局视差矢量在相邻已编码视点找到对应宏块，提取对应宏块和及其相邻宏块的运动矢量。接着，由提取的运动矢量，分析当前宏块的所处的不同运动特性区域。根据宏块所处不同的运动区域，将宏块分为运动一致区域宏块，中等一致区域宏块以及运动复杂区域宏块，对不同区域的宏块，自适应调节搜索范围。最后，由上一步确定的搜索范围，进行自适应的运动估计。本发明可以在不降低编码效率的情况下，可大幅度降低多视点编码的复杂度，提高多视点编码的速度。

在通常的视频序列中，运动程度在帧与帧之间有大范围的波动，以及在同一帧中的不同区域，运动也有相当大的波动。在运动剧烈区域，由于左边、上边和右上块的运动矢量相关性较小，初始预测矢量不准确，需要较大的搜索范围。另一方面，在运动简单和一致区域，初始预测矢量相对准确，需要较小的搜索范围。为此，运动估计的搜索范围需要根据序列的运动特性自适应调节。多视点视频由相机阵列从不同角度获取，各路视频存在相当大的空间相关性。为此，不同视点中的对应的宏块的运动矢量也具有较强的相关性。在本方法中，我们利用全局视差在已编码视点提取对应宏块的运动矢量来分析当前宏块的运动特性。

鉴于此，我们提出了一种基于4×4块运动矢量的宏块运动一致度评价标准，这种标准利用了视频对象的空间特性。所提出的评价标准如下所述。

假如基于全局视差在相邻编码视点找到的对应宏块位于第m行和第n列，表示为MB_m，n，它所覆盖的4×4子块的运动矢量表示为mv_i，j＝{mvx_i，j，mvy_i，j}，i∈[4m，4m+3]，j∈[4n，4n+3]。在本方法中，如附图2所示的对应宏块以及相邻宏块(0，1，2，3，4，5，6，7和8)所覆盖4×4子块的运动矢量的偏差被用来表示当前宏块的运动一致度。宏块水平、垂直方向的运动一致度分别定义如(1)、(2)式所示：

$\mathrm{MVHx}=\frac{1}{m}\underset{(i,j)\∈O_k}{\mathrm{\Σ}}|{\mathrm{mvx}}_{i,j}-\frac{1}{m}\underset{(i,j)\∈O_k}{\mathrm{\Σ}}{\mathrm{mvx}}_{i,j}|---\left(1\right)$

$\mathrm{MVHy}=\frac{1}{m}\underset{(i,j)\∈O_k}{\mathrm{\Σ}}|{\mathrm{mvy}}_{i,j}-\frac{1}{m}\underset{(i,j)\∈O_k}{\mathrm{\Σ}}{\mathrm{mvy}}_{i,j}|---\left(2\right)$

式中，O_k表示相邻已编码视点中对应宏块及其相邻宏块所覆盖的所有4×4子块(如附图2所示)，m为所有4×4子块的数目。

为此，宏块的运动一致度MVH的定义如(3)式所示：

MVH＝MVHx+MVHy                         (3)

根据(3)式所计算的宏块一致度将宏块分为三类如(4)式所示：

式中，T₀和T₁是运动一致度阈值，T₀和T₁分别定义等于0.25·MVH_ave(MVH_ave为一帧中所有宏块的运动一致度的平均)和MVH_ave。运动一致度的平均定义如下式所示：

${\mathrm{MVH}}_{\mathrm{ave}}=\frac{1}{M\×N}\·\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}({\mathrm{MVHx}}_{m,n}+{\mathrm{MVHy}}_{m,n})---\left(5\right)$

式中，M和N分别为一帧中水平方向上和垂直方向上宏块的数目。

表1 不同类型宏块的运动矢量分布的统计分析

(frame rate)＝25HZ，编码组长度(GOP Length)＝16，参考帧数目(Reference framenumber)＝2，基本量化参数(Basis QP)＝30，搜索范围(SR)＝64；表中R1和R2分别代表搜索窗[-SR/4，+SR/4]和[-SR/2，SR/2].

表1列出了不同运动程度区域宏块的运动矢量的分布。从表1中的数据可以看出，对于运动一致区域的宏块，平均有97％块的运动矢量位于[-SR/4，+SR/4]窗口之内，也就是当搜索最大范围为SR/4时，它能覆盖97％的块。从表1中的数据还可以看出，对于运动中等一致区域的宏块，平均也有96％块位于[-SR/2，+SR/2]窗口之内，而对于运动复杂区域的宏块，只有72％和79％块的运动矢量落在[-SR/4，+SR/4]和[-SR/2，+SR/2]窗口之内。

从表1的数据分析可知，对于这三种类型的宏块需要动态调整搜索范围。搜索范围动态调整如式(6)所示：

根据上述发明构思，本发明采用下述技术方案：

一种基于多视点编码搜索范围自适应调节的快速运动估计方法，其特征在于基于宏块运动特性的自适应运动估计，通过相邻视点的空间相关性，提取相邻已编码视点的运动信息分析多视视频的特征，将宏块归类为三类宏块，即运动一致区域的宏块、运动中等一致区域的宏块以及运动复杂区域的宏块，对于运动简单或运动中等一致的区域，可适当降低搜索范围，对于运动复杂的区域，对搜索范围没有限制；由上述确定的搜索范围，进行自适应的运动估计，这样可以不降低编码效率的同时，大幅度降低编码复杂度；其步骤是：

(1)已编码相邻视点中对应宏块及其相邻宏块运动矢量的提取：基于全局视差矢量，在相邻已编码的视点中提取对应宏块及其相邻宏块的运动矢量；

(2)运动特性的分析：基于步骤(1)所提取的运动矢量，对宏块运动特性进行分析；

(3)运动搜索范围的确定：按照步骤(2)所分析的宏块运动特性，将宏块分为运动一致区域的宏块、运动中等一致区域的宏块以及运动复杂区域的宏块等三类，对于不同类型的宏块，自适应调节搜索范围；

(4)运动估计：由步骤(3)所确定的运动搜索范围，进行自适应运动估计。

上述步骤(1)已编码相邻视点中对应宏块及其相邻宏块运动矢量的提取，由全局视差矢量在相邻视点确定对应宏块及其相邻8个宏块，提取这9个宏块的运动矢量，其步骤如下：

(1)在相邻视点之间进行全局视差估计；

(2)基于步骤1)所得全局视差矢量，在相邻已编码视点定位当前宏块的对应宏块；

(3)提取对应宏块及其周围8个宏块的运动矢量。

上述步骤(2)运动特性的分析是：首先计算宏块水平方向、垂直方向上的运动一致度，接着计算宏块运动一致度；其步骤是：

1)由步骤(1)所提取的运动矢量，根据下式，计算水平方向上的宏块运动一致度；

$\mathrm{MVHx}=\frac{1}{m}\underset{(i,j)\∈O_k}{\mathrm{\Σ}}|{\mathrm{mvx}}_{i,j}-\frac{1}{m}\underset{(i,j)\∈O_k}{\mathrm{\Σ}}{\mathrm{mvx}}_{i,j}|,$ 式中O_k表示相邻已编码视点中对应宏块及其相邻8个宏块所覆盖的所有4×4子块，i，j分别子块水平、垂直方向索引，mvx_i，j为4×4子块水平方向的运动矢量，m为所有4×4子块的数目。

2)由步骤(1)所提取的运动矢量，根据下式，计算垂直方向上的宏块运动一致度， $\mathrm{MVHy}=\frac{1}{m}\underset{(i,j)\∈O_k}{\mathrm{\Σ}}|{\mathrm{mvy}}_{i,j}-\frac{1}{m}\underset{(i,j)\∈O_k}{\mathrm{\Σ}}{\mathrm{mvy}}_{i,j}|,$ 式中O_k表示相邻已编码视点中对应宏块及其相邻8个宏块所覆盖的所有4×4子块，i，j分别子块水平、垂直方向索引，mvy_i，j为4×4子块垂直方向的运动矢量，m为所有4×4子块的数目。

3)根据下式，计算宏块的运动一致度：MVH＝MVHx+MVHy。

上所述步骤(3)运动搜索范围的确定：其步骤是：由步骤(2)所计算的运动一致度，根据下式将宏块分为三类：

式中，T₀和T₁是运动一致度阈值，T₀和T₁分别定义等于0.25·MVH_ave，MVH_ave为一帧中所有宏块的运动一致度的平均：

${\mathrm{MVH}}_{\mathrm{ave}}=\frac{1}{M\×N}\·\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}({\mathrm{MVHx}}_{m,n}+{\mathrm{MVHy}}_{m,n})$

其中M和N分别为一帧中水平方向上和垂直方向上宏块的数目；

上述步骤(4)中的自适应运动估计，其步骤如下：按照步骤(3)确定的运动搜索的范围，对于运动复杂度不同的区域的各宏块进行自适应的运动估计。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明基于宏块运动特性的自适应运动估计，通过相邻视点的运动相关性，由相邻已编码视点的运动信息分析多视视频的特征，将宏块归类为不同区域，对于运动简单或一致的区域，可降低搜索范围，对于运动复杂的区域，可增加搜索范围，这样可以不降低编码效率的同时，大幅度降低编码复杂度。

附图说明

图1是本发明的搜索范围自适应调节快速运动估计算法的流程图。

图2是相邻已编码视点中对应宏块及其相邻宏块。其中，0为的对应的宏块；1—8为周围的宏块

图3是本发明的搜索范围自适应调节快速运动估计算法的框图。

图4是发明方法与MVC校验模型全搜索方法的性能比较图。其中，(a)为“flamencol”序列率失真曲线的比较，(b)为“flamencol”序列搜索点数节省曲线，(c)为“akkokayo”序列率失真曲线的比较。(d)为“akkokayo”序列搜索点数节省曲线

具体实施方式

本发明的一个实施如下所述：参见附图3，本基于多视点编码搜索范围自适应调节的快速运动估计方法是根据宏块所处的不同区域，自适应调节运动搜索范围。首先，从相邻已编码视点，提取对应宏块及其相邻宏块的运动矢量。接着由提取的运动矢量，对宏块的运动特性进行分析，将宏块分成运动一致区域的宏块、运动中等一致区域的宏块以及运动复杂区域的宏块。基于不同区域的宏块，确定不同的运动搜索范围。本方法在不降低编码效率的情况下，可以大幅度降低编码时间。其步骤是(见图1)：

(1)已编码相邻视点中对应宏块及其相邻宏块运动矢量的提取：基于全局视差矢量，在相邻已编码的视点中提取对应宏块及其相邻宏块的运动矢量；

(2)运动矢量的分析：基于步骤(1)所提取的运动矢量，对宏块运动特性进行分析；

(3)运动搜索范围的确定：按照步骤(2)所分析的宏块运动特性，将宏块分为3类，对于不同类型的宏块，自适应调节搜索范围。

(4)运动估计：基于步骤(3)所确定的运动搜索范围，进行自适应的运动估计。

上面所述的已编码相邻视点中对应宏块运动矢量的提取，其步骤如下：

(4)在相邻视点之间进行全局视差估计。

(5)基于上一步骤所得全局视差矢量，在相邻已编码视点定位当前块的对应宏块。

(6)提取对应宏块及其周围8个宏块的运动矢量。

上面所述的宏块运动特性的分析，其步骤如下：

(1)由上述所提取的运动矢量，根据式(1)，计算水平方向上的宏块运动一致度，MVHx。

(2)由上述所提取的运动矢量，根据式(2)，计算垂直方向上的宏块运动一致度，MVHy。

(3)根据式(3)，计算宏块运动一致度，MVH。

上面所述的运动搜索范围的确定，其步骤如下：根据上一步所计算的运动一致度，由式(4)将宏块分为三类：如果MVH小于T₀，当前宏块位于运动一致区域，宏块搜索范围的确定为[-SR/4，SR/4]；如果MVH在T₀与T₁之间，当前宏块位于运动中等一致区域，宏块搜索范围确定为[-SR/2，SR/2]；如果MVH大于T₁，当前宏块位于运动复杂区域，宏块搜索范围没有限制。

上面所述的运动估计，其步骤如下：按照上一步确定的运动搜索的范围，对于运动复杂度不同的区域的宏块进行自适应的运动估计。

下面比较本发明方法和JMVM6.0运动估计算法，仿真条件如表2。

表2.编码参数

 

编码模式(Symbol Mode)	CABAC
		率失真优化(RD Optimization)	On
量化参数(QP)	20，24，28，32和36
		参考帧数目(Reference Frame)	2
搜索范围(MV Search Range)	64

以下给出输入的视频序列尺寸为320×240、640×480时的实例。首先进行全局视差估计，提取对应宏块及其相邻宏块的运动矢量，然后由提取的运动矢量，分析当前宏块运动特性，将宏块分为运动一致区域的宏块、运动中等一致区域的宏块和运动复杂区域的宏块，对于不同类型的宏块，自适应调节搜索范围，根据调节的搜索范围，进行运动估计。实例以尺寸为320×240序列“downflamenco2”、“flamencol”和尺寸为640×480的序列“exit”，“ballroom”，“rena”和“akkoKayo”作为输入视频。

表3.本算法与JMVM中使用的全搜索算法的比较

 

测试序列	图像尺寸	比特率的变化(％)	PSNR的变化(dB)	运动搜索点数变化(％)
					downflamenco2	320×240	-0.04％	-0.01	-56.06％
flamenco1	320×240	-0.17％	0.01	-67.96％
					exit	640×480	1.01％	-0.03	-70.75％
ballroom	640×480	1.59％	-0.01	-69.35％
					rena	640×480	-0.18％	-0.01	-58.38％
akkoKayo	640×480	0.03％	-0.02	-64.02％
					平均		0.37％	-0.01	-66.66％

表3比较了所提出的运动估计算法和JMVM6.0的全搜索运动估计算法。附图4以视频“ballroom”为例列出了与JMVM 6.0的全搜索算法(FME)相比在不同量化参数下的本方法(Proposed Method)编码效率的变化和搜索点数的节省。从表3可以看出，在编码效率几乎没有下降(比特率平均仅上升0.37％，PSNR平均仅下降0.01dB)的同时，本方法平均可降低67％的搜索点数。从附图4可以看出，在不同的比特率下(或者不同量化参数下)，本方法可保持一致的性能。

Claims (3)

1.一种基于多视点编码搜索范围自适应调节的快速运动估计方法，其特征在于基于宏块运动特性的自适应运动估计，通过相邻视点的空间相关性，提取相邻已编码视点的运动信息分析多视视频的特征，将宏块归类为三类宏块，即运动一致区域的宏块、运动中等一致区域的宏块以及运动复杂区域的宏块，对于运动简单或运动中等一致的区域，可适当降低搜索范围，对于运动复杂的区域，对搜索范围没有限制；由上述确定的搜索范围，进行自适应的运动估计，这样可以不降低编码效率的同时，大幅度降低编码复杂度；其步骤是：

(1)已编码相邻视点中对应宏块及其相邻宏块运动矢量的提取：基于全局视差矢量，在相邻已编码的视点中提取对应宏块及其相邻宏块的运动矢量；

(2)运动特性的分析：基于步骤(1)所提取的运动矢量，对宏块运动特性进行分析；(3)运动搜索范围的确定：按照步骤(2)所分析的宏块运动特性，将宏块分为运动一致区域的宏块、运动中等一致区域的宏块以及运动复杂区域的宏块等三类，对于不同类型的宏块，自适应调节搜索范围；

(4)运动估计：由步骤(3)所确定的运动搜索范围，进行自适应运动估计。

2.根据权利要求1所述的基于多视点编码搜索范围自适应调节的快速运动估计方法，其特征在于所述步骤(1)已编码相邻视点中对应宏块及其相邻宏块运动矢量的提取，由全局视差矢量在相邻视点确定对应宏块及其相邻8个宏块，提取这9个宏块的运动矢量，其步骤如下：

1)在相邻视点之间进行全局视差估计；

2)基于步骤1)所得全局视差矢量，在相邻已编码视点定位当前宏块的对应宏块；

3)提取对应宏块及其周围8个宏块的运动矢量。

3.根据权利要求1所述的基于多视点编码搜索范围自适应调节的快速运动估计方法，其特征在于所述步骤(2)运动特性的分析是：首先计算宏块水平方向、垂直方向上的运动一致度，接着计算宏块运动一致度；其步骤是：

1)由步骤(1)所提取的运动矢量，根据下式，计算水平方向上的宏块运动一致度； $\mathrm{MVHx}=\frac{1}{m}\underset{(i,j)\∈O_k}{\mathrm{\Σ}}|{\mathrm{mvx}}_{i,j}-\frac{1}{m}\underset{(i,j)\∈O_k}{\mathrm{\Σ}}{\mathrm{mvx}}_{i,j}|,$ 式中O_k表示相邻已编码视点中对应宏块及其相邻8个宏块所覆盖的所有4×4子块，i，j分别为子块水平、垂直方向索引，mvx_i，j为4×4子块水平方向的运动矢量，m为所有4×4子块的数目。

2)由步骤(1)所提取的运动矢量，根据下式，计算垂直方向上的宏块运动一致度， $\mathrm{MVHy}=\frac{1}{m}\underset{(i,j)\∈O_k}{\mathrm{\Σ}}|{\mathrm{mvy}}_{i,j}-\frac{1}{m}\underset{(i,j)\∈O_k}{\mathrm{\Σ}}{\mathrm{mvy}}_{i,j}|,$ 式中O_k表示相邻已编码视点中对应宏块及其相邻8个宏块所覆盖的所有4×4子块，i，j分别为子块水平、垂直方向索引，mvy_i，j为4×4子块垂直方向的运动矢量，m为所有4×4子块的数目。

3)根据下式，计算宏块的运动一致度：MVH＝MVHx+MVHy。

权利要求1所述的基于多视点编码搜索范围自适应调节的快速运动估计方法，其特征在于所述步骤(3)运动搜索范围的确定；其步骤是：由步骤(2)所计算的运动一致度，根据下式将宏块分为三类：

式中，T₀和T₁是运动一致度阈值，分别定义等于0.25·MVH_ave和MVH_ave，MVH_ave为一帧中所有宏块的运动一致度的平均：

${\mathrm{MVH}}_{\mathrm{ave}}=\frac{1}{M\×N}\·\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}({\mathrm{MVHx}}_{m,n}+{\mathrm{MVHy}}_{m,n})$

其中M和N分别为一帧中水平方向上和垂直方向上宏块的数目。

权利要求1所述的基于多视点编码搜索范围自适应调节的快速运动估计方法，其特征在于所述步骤(4)中的自适应运动估计，其步骤如下：按照步骤(3)确定的运动搜索的范围，对于运动复杂度不同的区域的各宏块进行自适应的运动估计。

Images