CN1645938A - 一种复杂度可分级的运动估计方法 - Google Patents

Abstract

本发明公开了视频编码中一种复杂度可分级的运动估计方法。此方法由三个有效步骤组成：首先检测静止块；其次对非静止块进行运动矢量的预测；最后进行局部的精细搜索，得到最终的运动矢量。通过对预测点数量和精细搜索的空间大小进行合理配置，从而实现计算复杂度的分级，使此方法能够适合于不同计算性能的设备，保证了视频编码的实时性。此方法避免了对静止块的搜索，且利用了空间相关性进行预测，本身具有较低的复杂度。复杂度可分级的策略使得此方法考虑了计算复杂度和运动估计准确性之间的权衡，可满足更低性能设备的应用需求，特别适合于嵌入式、移动设备上的实时视频编码应用。

Description

一种复杂度可分级的运动估计方法

技术领域

本发明属于多媒体中的视频编码领域，针对嵌入式和移动设备计算性能低的特点，提出了一种复杂度可分级的运动估计方法。

背景技术

随着有线网络和无线网络的发展，新的实时视频通信技术得到了普及和应用，例如视频监控，视频电视，视频会议等。但是不同的应用对视频的质量、分辨率和帧率的要求也不同。也就是说，不同的视频应用具有不同的视频编码计算复杂度。由于计算复杂度的限制，许多高复杂度的算法不能直接应用于实时视频编码。虽然可以设计特定的算法来满足特定的应用环境和硬件平台，但是由于应用环境的多变性和平台的各异性，导致了算法的多样性。因此，设计计算复杂度可分级的算法便可以使得舍得同一算法能够满足于不同计算性能设备的应用需求。

运动估计在视频编码中扮演了重要的角色。它消除了视频帧之间的时间相关性，从而大大提高编码的效率。在当前的视频编码标准中(MPEG-1/2/4，H.261/263/264)都是采用块匹配的运动估计方法。虽然块匹配的运动估计方法相对于其他运动估计方法已经很简单和高效，但是运动估计仍然消耗了大部分视频编码的时间。完全搜索的运动估计方法将占用80％以上的编码时间，所以快速的运动估计算法一直是视频编码领域研究的一个热点问题。虽然很多快速算法被提出，但是它们的计算复杂度是不可控的，即不可配置。不能满足低端设备的实时视频编码应用。

随着嵌入式移动通讯设备的发展，在嵌入式平台上实现实时视频通信已成为可能。针对嵌入式平台的各异性，提出了一种计算复杂度可分级的运动估计方法。此方法充分利用了视频帧的时间相关性和空间相关来进行预测，从而降低了运动估计的计算复杂度，而且通过有效的配置，能够使计算复杂度得以进行分级，从而使得同一算法能够满足各种性能嵌入式平台的实时视频编码应用。降低了算法的设计开发成本。

发明内容

本发明的目的在于提供一种复杂度可分级的运动估计方法，解决了一种方法满足不同性能的设备应用需求的问题。

本发明解决其技术问题采用的运动估计方法由如下几个步骤组成：

1)对静止块的判定

相邻视频帧之间存在较强的时间相关性，在视频帧中总是存在大量的静止或近似静止的区域，目前，通用的块匹配采用的准则是绝对误差和，其定义如下：

其中：

SAD是绝对误差和；

abs表示求绝对值；

f(i，j，n)表示第n帧在(i，j)位置的象素值；

判定静止区域的方法完全根据统计特性，静止块在(0，0)处的绝对误差和的值总是大于非静止块在(0，0)处的绝对误差和的值，而且通过统计得到，静止块的绝对误差和的平均值范围在450～1000之间，为了降低静止块判定的错误率、保证运动估计的准确性，本方法选择一个阈值550，当一个块在(0，0)处的绝对误差和的值小于该阈值时，确定此块为静止块，其运动矢量为(0，0)；

2)利用空间相关性对非静止块的运动矢量进行预测

视频帧内部存在较强的空间相关性，即相邻块的运动矢量往往表现出一致性，通过周围已经得到运动矢量来预测当前块的运动矢量可以大大减少搜索点数，此方法采用了相邻的左边块，左上块和上面块的运动矢量作为当前块的预测值，通过预测来选择一个具有最小的绝对误差和值的预测矢量作为新的搜索中心；

3)使用限制性精细搜索来得到最终的运动矢量

通过预测之后，预测运动矢量与最优的运动矢量已经非常接近，故采用小菱形搜索方法来完成最后的精细搜索，预测运动矢量和最优运动矢量之间的距离绝大部分小于4，故对于精细搜索，此方法限制了精细搜索的最大递归次数为4，从而既保证了搜索的准确性，又避免了大量无谓的搜索；

4)对预测点数量和精细搜索的空间大小进行配置来实现计算复杂度的分级

可配置的预测点个数：1～3

1-左块P1；2-左块P1、上块P2；3-左块P1、上块P2、左上块P3；

可配置的精细搜索递归次数：0～4

0-不做递归搜索；1-限制一次递归搜索；2-限制两次递归搜索；3-限制三次递归搜索；4-限制四次递归搜索；

通过以上配置的组合使用从而实现了对运动估计整体计算复杂度的配置。

本发明具有的有益的效果是：

通过试验验证，此运动估计三步法对于运动区域集中在中心的视频，例如“news”和“silence”等视频序列，其速度比传统的菱形算法和六变形算法平均提高4倍，而运动估计准确性几乎没有下降。对于运动比较复杂或者拥有全局运动的视频序列，如“foreman”和“coastguard”等，速度比菱形算法和六变形算法平均提高了2倍，由于利用了相关性，运动估计的准确性反而有所提高。而对于计算性能低的嵌入式和移动设备，通过对计算复杂度的有效配置，可以很好的保证视频编码的实时性。而且此方法非常实用于设备性能多样性的应用环境，同一方法仅仅通过简单的配置而不需要重新修改便可以应用于不同性能的设备，从而保证了计算复杂性和运动估计准确性的权衡。

附图说明

图1是利用空间相关性进行运动矢量的预测图；

图2是小菱形搜索算法，其中(a)是第一步搜索，(b)是递归搜索。

具体实施方式

1.静止块的检测

通常情况下，视频帧中的块运动都是非常小的，大多数块都被认为是静止或者是近似静止的块。特别是对于视频会议或者视频电话等应用，运动区域往往集中在视频帧的中央，而周围总是静止的背景区域。如果能快速的检测处这些静止区域的块，从而避免了后续的运动矢量的搜索，便可以大大的降低计算复杂度。通常情况下，大小为16×16的宏块被用于运动估计块，SAD作为常用的块匹配的准则。通过统计分析得到，静止块在(0，0)处的SAD值总是比非静止块在(0，0)处的SAD值小。而且通过对标准视频序列进行测试，静止块在(0，0)处的平均SAD值在450到1000范围之间。因此可以设定一个阈值T，当此宏块在(0，0)处的SAD值小于T时，认为此宏块是静止的块。否则是非静止块。为了减少静止块检测的错误率，经过测试分析，将T设置为550将获得较大的加速比，而几乎不会影响运动估计的准确性。

2.运动矢量的预测

连续的视频帧之间存在较强的时间相关性，视频帧内部存在较强的空间相关性。在运动估计中，可以充分利用视频帧的时间相关性和空间相关性进行运动的预测，从而降低运动估计的复杂度。为了减少内存的开销，此方法中只考虑了空间相关性的利用。通过3个相邻块的运动矢量来估计当前块的运动矢量。3个相邻块分别是左块、上块和左上块(如图1所示)。分别计算当前块在3个预测矢量下的SAD值，选取和保存SAD值最小的运动矢量作为下一步局部精细搜索的搜索中心。

3.局部的精细搜索

通过利用空间相关性进行运动矢量预测之后，预测的运动矢量与最优的运动矢量之间的距离已经非常小。此距离D定义为：

D＝max{|PMV_x-TMV_x|，|PMV_y-TMV_y|}     (2)

公式(2)中PMV_x和PMV_y分别表示预测运动矢量的x和y分量；TMV_x和TMV_y分别表示最优运动矢量的x和y分量。

通过对多个视频测试序列进行统计分析得到，98％以上的块的预测矢量与最优矢量之间的距离小于等于4。也就是说通过预测之后，预测运动矢量与最优运动矢量大多数情况已经非常接近。所以对于局部精细搜索，采用了小菱形搜索算法，小菱形搜索算法由两个部分组成，其一是第一步搜索中心点A的上下左右四个点a，b，c，d(如图2a所示)，其二是根据前一次搜索结果进行方向性递归搜索(如图2b所示)，例如前一次的搜索结果是点c，则递归搜索点c的周围点e，f，g。由于经过预测之后，预测矢量与最优矢量的误差小于等于4占绝大多数比例，为了避免不必要的运算来降低精细搜索的计算复杂度，故在小菱形搜索算法的方向性递归搜索过程中限制最大递归搜索次数为4。试验结果证明，此限制条件不仅能加快局部精细搜索的搜索速度，而且能够比较好的保证运动估计的准确性。

4.计算复杂度的配置方法

本发明中的运动估计方法由三个步骤组成：静止块预测，运动矢量的预测和局部精细搜索。由于运动估计的大多数时间花费在SAD值的计算上，所以可以将计算复杂度量化为SAD的计算次数。1个搜索点需要进行一次SAD的计算，复杂度又可以表现为搜索点的个数。对于静止块预测过程，只需要计算(0，0)处的SAD值，所以其计算复杂度为1。在运动矢量的预测过程中，有三个预测运动矢量需要计算其SAD值，通过对选择不同的预测矢量的个数可以得到不同的复杂度，故其计算复杂度为1～3。在精细搜索过程中，对递归搜索次数的进行配置，计算复杂度范围为4～16之间。所以对一个块完成运动矢量的搜索，其计算复杂度C_MB可以表示为：

      C_MB＝A+a(p+(B+rC))        (3)

公式(3)中A＝1，B＝4，C＝3是常数，A表示静止块检测的复杂度，B表示小菱形搜索中第一步过程中搜索的4个点，B表示小菱形搜索中递归一次搜索需要搜索3个点；a二值系数表示是否此块为静止块，0表示静止块，1表示非静止块；p是预测点数，p的取值范围是1～3；r是限制的递归次数，r的取值范围是0～4。

通过对p和r值的配置，便可以规定运动估计计算复杂度的上界C_max，从而严格保证了视频编码的实时性。不同的p和r的配置对应的C_max值如下表所示：

表一、运动估计计算复杂度配置方式及其复杂度上界

p	r	Cmax	p	r	Cmax	p	r	Cmax
									1	0	6	2	0	7	3	0	8
1	1	9	2	1	10	3	1	11
									1	2	12	2	2	13	3	2	14
1	3	15	2	3	16	3	3	17
									1	4	18	2	4	19	3	4	20

不同的配置方式得到不同的计算复杂度上限，同时得到不同的运动估计精确度。

Claims (1)

1.一种复杂度可分级的运动估计方法，其特征在于：

1)对静止块的判定

相邻视频帧之间存在较强的时间相关性，在视频帧中总是存在大量的静止或近似静止的区域，目前，通用的块匹配采用的准则是绝对误差和，其定义如下：

$\mathrm{SAD}(s,y,t)=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{abs}(f(i,j,n)-f(i-x,j-y,n-t))---\left(1\right)$

具甲：

SAD是绝对误差和；

abs表示求绝对值；

f(i，j，n)表示第n帧在(i，j)位置的象素值；

判定静止区域的方法完全根据统计特性，静止块在(0，0)处的绝对误差和的值总是大于非静止块在(0，0)处的绝对误差和的值，而且通过统计得到，静止块的绝对误差和的平均值范围在450～1000之间，为了降低静止块判定的错误率、保证运动估计的准确性，本方法选择一个阈值550，当一个块在(0，0)处的绝对误差和的值小于该阈值时，确定此块为静止块，其运动矢量为(0，0)；

2)利用空间相关性对非静止块的运动矢量进行预测

视频帧内部存在较强的空间相关性，即相邻块的运动矢量往往表现出一致性，通过周围已经得到运动矢量来预测当前块的运动矢量可以大大减少搜索点数，此方法采用了相邻的左边块，左上块和上面块的运动矢量作为当前块的预测值，通过预测来选择一个具有最小的绝对误差和值的预测矢量作为新的搜索中心；

3)使用限制性精细搜索来得到最终的运动矢量

通过预测之后，预测运动矢量与最优的运动矢量已经非常接近，故采用小菱形搜索方法来完成最后的精细搜索，预测运动矢量和最优运动矢量之间的距离绝大部分小于4，故对于精细搜索，此方法限制了精细搜索的最大递归次数为4，从而既保证了搜索的准确性，又避免了大量无谓的搜索；

4)对预测点数量和精细搜索的空间大小进行配置来实现计算复杂度的分级可配置的预测点个数：1～3

1-左块(P1)；2-左块(P1)、上块(P2)；3-左块(P1)、上块(P2)、左上块(P3)；可配置的精细搜索递归次数：0～4

0-不做递归搜索；1-限制一次递归搜索；2-限制两次递归搜索；3-限制三次递归搜索；4-限制四次递归搜索；

通过以上配置的组合使用从而实现了对运动估计整体计算复杂度的配置。