CN100469141C

CN100469141C - 一种视频数据压缩的运动估计方法

Info

Publication number: CN100469141C
Application number: CN 200410080394
Authority: CN
Inventors: 梁柱
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2004-09-29
Filing date: 2004-09-29
Publication date: 2009-03-11
Anticipated expiration: 2024-09-29
Also published as: CN1756354A

Abstract

本发明公开一种视频数据压缩的运动估计方法，设置至少一种块模式，并在每种块模式中将整个宏块划分为至少一个计算块；针对每种块模式，确定当前宏块的运动矢量预测值、每种块模式下计算块的第一阈值、第二阈值和菱形搜索时所采用的菱形半径；确定菱形搜索的起始点作为菱形中心点，分别计算当前计算块与菱形中心点周围四个点对应块的块匹配值，将块匹配值最小的点作为菱形的中心点，继续计算其周围四个点对应块的块匹配值直至满足退出条件，根据满足退出条件的块匹配值对应点的运动矢量得到所述计算块的运动矢量；计算每种块模式下当前宏块中所有计算块与各自运动矢量对应的块的匹配值之和。本发明简化了运动估计的计算量，提高了视频压缩的速度。

Description

一种视频数据压缩的运动估计方法

技术领域

本发明涉及视频数据压缩技术，特别是涉及一种视频数据压缩的运动估计方法。

背景技术

在多媒体应用中，一幅640×480的256色彩图像所占的数据量为300kB，而动态视频要求每秒播放25～30帧图像，因而以640×480的窗口播放256色彩色视频图像，即使在没有声音数据的情况下，也要求每秒处理8MB左右的数据量，由此可见，一片容量为650MB的CD-ROM盘仅能存储约80秒左右的动态视频。此外，普通PC机ISA总线的数据传输率最大只能达到5MB/秒，无法实时传输动态视频数据。因此，为了进行多媒体数据的存储和实时处理，必须采用一些技术来降低多媒体数据的数据量，其中，比较重要的是视频数据压缩技术。

多媒体的数据量和信息量关系为I＝D-du，其中，I为信息量，D为数据量，du为冗余量。信息量是要传输的主要数据，数据冗余是无用的数据，没有必要传输。视频信号上存在大量冗余数据，这是进行视频数据压缩的基础，多媒体视频信号的冗余度存在于结构和统计两方面。

在结构方面，冗余度表现为很强的空间相关性和时间相关性，空间相关性为帧内相关性，时间相关性即帧间相关性，这是因为一般情况下，图像的大部分区域信号的变化缓慢，尤其是背景部分几乎不变，所以视频信号在相邻象素间、相邻行间乃至相邻帧间存在较强的相关性，这种相关性就表现为空间冗余和时间冗余。

在统计方面，冗余度表现为人眼在观察图像时的局限性，人眼对图像细节分辨率、运动分辨率和对比度分辨率的感觉都有一定界限，所以相当多的图像信息对于人眼来说是无关紧要的，即使没有这些信息，人眼也认为图像是完好且足够好。所以，这些信息就是冗余信息，在满足对图像质量一定要求的前提下，可以适当减少信号精度，实现数据压缩。

在已得到广泛应用的图像压缩编码方法与标准中，主要利用三种手段对图像进行压缩：利用离散余弦变换(DCT)和矢量量化消除帧内相关性，利用运动估计消除帧间相关性，利用熵编码消除图像数据编码带来的冗余。

传统的消除帧间相关性的方法是运动估计，即对于当前图像帧的数据，首先在前一帧搜索与其最匹配的区域，计算当前帧的数据相对于前一帧数据的运动矢量，寻找到结果后，对两者的差值进行编码。因此，运动估计的精度是决定编码效率的关键因素。

目前有多种运动估计算法，如块匹配法。在块匹配法中，每帧图像被划分为二维的N×N象素的子块，一般N为16，假定每个子块内的所有象素作相等的平移运动，当前帧的N×N子块在前一帧对应的子块的邻域窗口内搜索与之最匹配的子块，当前子块与前帧的匹配块在二维平面上的位移即为运动估计得到的运动矢量。

块匹配法中搜索匹配子块的方法也有多种，如全搜索法。全搜索法是对于当前帧的每一个宏块，在前帧的特定范围(通常为邻域)内计算每个点的块匹配值，该邻域内的每个点为匹配点，然后将最小匹配值对应的匹配点作为最佳匹配点，最佳匹配点对应的运动矢量为当前宏块的运动矢量。通常，块匹配值为宏块和搜索范围内的匹配点对应块之间的一一对应的象素点灰度值之差的绝对值之和，即绝对差和(SAD)，所述匹配点对应块为匹配点在左上角的、与宏块大小相等的块。SAD的计算公式如下：

SAD (u, v) = Σ_{i = 1}^{M} Σ_{j = 1}^{N} | I_{c} (i, j) - I_{r} (i + u, j + v) |

其中，I_c(i，j)表示当前宏块中象素的灰度值，I_r(i+u，j+v)表示前帧中匹配宏块对应象素的灰度值，(u，v)为运动矢量。

由于全搜索法对指定邻域内的每个点进行搜索，所以该方法能够获得最佳的匹配效果，但是该方法的计算量巨大，例如在前帧32×32的范围内进行搜索时，每个宏块都要计算1024个点，无法达到实时性的要求。

发明内容

本发明的主要目的在于提供一种视频数据压缩的运动估计方法，简化运动估计的计算量，提高视频数据压缩的速度。

本发明的目的是通过如下技术方案实现的：

一种视频数据压缩的运动估计方法，包括如下步骤：

A、设置至少一种块模式，并在每种块模式中将宏块划分为至少一个计算块；

B、针对每种块模式，确定当前宏块的运动矢量预测值，并确定每种块模式下计算块的第一阈值和第二阈值，根据运动矢量预测值和第二阈值确定菱形搜索时所采用的菱形半径；确定菱形搜索的起始点，以该起始点作为菱形的中心点，分别计算当前计算块与菱形中心点周围的四个点对应块的块匹配值，将块匹配值最小的点作为菱形的中心点，继续计算菱形中心点周围的四个点对应块的块匹配值，直至所述块匹配值满足预先设定的退出条件，根据所述满足退出条件的块匹配值对应的点的运动矢量得到所述计算块的运动矢量；

C、计算每种块模式下当前宏块中所有计算块与各自运动矢量对应的块的匹配值之和，记录匹配值之和最小的块模式及其运动矢量。

其中，所述菱形中心点周围的四个点为：在菱形中心点的上、下、左、右的方向上，与中心点的距离为菱形半径的四个点。

其中，步骤B所述确定当前宏块的运动矢量预测值为：计算当前宏块的左方、正上方和右上方宏块的运动矢量的中值。

其中，步骤B所述确定计算块的第一阈值和第二阈值为：根据当前选用的块模式和计算块与至少三个方向的相邻点所对应的块的块匹配值确定计算块的第一阈值和第二阈值。

其中，步骤B所述根据运动矢量预测值和第二阈值确定菱形搜索时所采用的菱形半径的方法为：如果当前宏块的左方、正上方和右上方宏块的运动矢量相同，且前一帧图像当前位置的运动矢量不为0，且第二阈值小于预先设定的块运动阈值，菱形的半径为1；否则，菱形的半径为2。

其中，步骤B所述确定菱形搜索的起始点的方法为：根据前一帧图像同一位置的运动矢量、(0，0)运动矢量和当前宏块的左方、正上方和右上方宏块的运动矢量计算当前计算块的块匹配值，将块匹配值最小的运动矢量所对应点作为菱形搜索的起始点。

其中，步骤B所述退出条件为块匹配值小于第一阈值。

其中，步骤B所述块匹配值满足退出条件之后，进一步包括：判断菱形半径是否为1，如果是，则满足块匹配值的点作为最佳匹配点，最佳匹配点对应的运动矢量为当前计算块的运动矢量；否则，以最佳匹配点为菱形的中心点，计算距菱形半径为1的周围四个点所对应块的块匹配值，以块匹配值最小的点为最佳匹配点，最佳匹配点对应的运动矢量作为当前计算块的运动矢量。

其中，所述块匹配值为两个块中一一对应的象素点灰度值之差的绝对值之和。

本发明提供了一种视频数据压缩的运动估计方法，该方法设置至少一种块模式，每种块模式将整个宏块划分为至少一个计算块；针对每种块模式，采用菱形搜索模式计算当前宏块中所有计算块的运动矢量；计算每种块模式下当前宏块中所有计算块与各自运动矢量对应的块的匹配值之和，记录匹配值之和最小的块模式及其运动矢量。相对而言，现有技术不将宏块划分为多个计算块，单独计算各计算块的运动矢量。所以，本发明可以提高运动矢量的计算精度，从而减小压缩后的视频数据的失真。

此外，本发明采用菱形搜索的方法进行运动估计，和现有技术中全搜索的方法相比，能够更快速地搜索到最佳匹配点，从而大大简化运动估计的计算量，并提高视频数据压缩的时间。

附图说明

图1是根据本发明的运动估计方法的流程图。

图2是菱形搜索的方法的流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更清楚，下面结合附图和具体实施方式对本发明作进一步描述。

本发明的方法是将图像的宏块分为四种块模式，分别对每一种块模式下宏块中的计算块进行运动矢量的估计，得到该宏块中每个计算块与匹配点对应块之间的SAD值，然后将每一种块模式下宏块中所有计算块与各自最佳匹配点对应的块的SAD值相加，所得到的SAD值之和最小的块模式作为该宏块的运动估计块模式。

图1是根据本发明的运动估计方法的流程图，从图1中可以看出，该方法包括如下步骤：

步骤101：设置i＝1。

步骤102：对当前宏块应用第i种块模式，在本实施例中，假设宏块的大小为16×16，则块模式的定义如下：

第1种块模式：将宏块划分为一个大小为16×16的计算块；

第2种块模式：将宏块划分为两个大小为16×8的计算块；

第3种块模式：将宏块划分为两个大小为8×16的计算块；

第4种块模式：将宏块划分为四个大小为8×8的计算块。

步骤103：计算当前宏块的运动矢量的预测值。

当前宏块的运动矢量的预测值是当前宏块的左方、正上方和右上方三个宏块的运动矢量的中值，即预测值的水平分量为三个运动矢量的水平分量的中间值，预测值的垂直分量为三个运动矢量的垂直分量的中间值。

在当前帧中把当前宏块的左方、正上方和右上方的块的运动矢量分别记为W1、W2和W3，则当前宏块的运动矢量的预测值是Median(W1，W2，W3)。如果当前宏块的左边无宏块，则W1设为(0，0)；如果当前宏块的上方无宏块，则W2设为(0，0)；如果当前宏块的右上方无宏块，则W3设为(0，0)。

如果当前宏块的左方、正上方或右上方宏块的块模式不为第1种，则取最邻近当前宏块的块的运动矢量，如果最邻近当前宏块的块有两个，则取这两个最邻近当前宏块的块的运动矢量的平均值，即在两个运动矢量的水平分量和两个运动矢量的垂直分量上分别取平均值。

步骤104：根据块模式和相邻宏块的SAD值确定运动估计的阈值A和阈值B。

确定阈值分以下几个步骤：

(1)确定计算块左上角象素的横坐标x和纵坐标y，并确定当前块模式下计算块的宽度w；

(2)如果x为0且y为0，则：

对于第1种块模式：阈值A为512，阈值B为1024；

对于第2、3种块模式：阈值A为256，阈值B为512；

对于第4种块模式：阈值A为128，阈值B为256；

如果x和y不同时为0，则：

对于第1种块模式：计算该计算块与点(x-2，y)、(x-1，y)、(x-2，y+1)和(x-1，y+1)对应的四个块的块匹配值SAD1；计算该计算块与点(x，y-2)、(x+1，y-2)、(x，y-1)和(x+1，y-1)对应的四个块的块匹配值SAD2；计算该计算块与点(x+w，y-2)、(x+w+1，y-2)、(x+w，y-1)和(x+w+1，y-1)对应的四个块的块匹配值SAD3；

阈值A为SAD1、SAD2和SAD3的最小值，阈值B为阈值A加128；

如果阈值A小于512，则设置阈值A为512；如果阈值A大于1024，则设置阈值A为1024；

如果阈值B大于1792，则设置阈值B为1792。

对于第2种块模式：计算该计算块与点(x-2，y)和(x-1，y)对应的两个块的块匹配值之和SAD1、该计算块与点(x，y-1)和(x+1，y-1)对应的两个块的块匹配值之和SAD2，以及该计算块与点(x+w，y-1)和(x+w+1，y-1)对应的两个块的块匹配值之和SAD3；

阈值A为SAD1、SAD2和SAD3的最小值，阈值B为阈值A加128；

如果阈值A小于256，则设置阈值A为256；如果阈值A大于512，则设置阈值A为512；

如果阈值B大于896，则设置阈值B为896；

对于第3种块模式：计算该计算块与点(x-1，y)和(x-1，y+1)对应的两个块的块匹配值之和SAD1、该计算块与点(x，y-2)和(x，y-1)对应的两个块的块匹配值之和SAD2，以及该计算块与点(x+w，y-2)和(x+w，y-1)对应的两个块的块匹配值之和SAD3；

阈值A为SAD1、SAD2和SAD3的最小值，阈值B为阈值A加128；

如果阈值B大于896，则设置阈值B为896；

对于第4种块模式：计算该计算块与点(x-1，y)对应块的块匹配值SAD1、计算块与点(x，y-1)对应块的块匹配值SAD2和计算块与点(x+w，y)对应块的块匹配值SAD3；

阈值A为SAD1、SAD2和SAD3的最小值，阈值B为阈值A加64；

如果阈值A小于128，则设置阈值A为128；如果阈值A大于256，则设置阈值A为256；

如果阈值B大于448，则设置阈值B为448。

步骤105：确定菱形搜索模式的半径。

如果同时满足以下三个条件：

a：当前宏块的左、上和右上宏块的运动矢量相同；

b：前帧当前宏块的运动矢量不为0；

c：阈值B小于块运动阈值，

则设置菱形搜索半径为1；否则设置菱形搜索半径为2。

块运动阈值是衡量当前计算块运动幅度大小的值，在本实施例中，块运动阈值为384，但本发明不排斥其它合适的块运动阈值，根据具体情况而定，

步骤106：利用菱形搜索分别估计当前宏块中所有计算块的运动矢量，直至满足退出条件时，将最佳的匹配点作为对应的计算块的运动矢量。

步骤107：计算第i种块模式下，当前宏块的SAD值，即当前宏块中所有计算块与前帧最佳匹配点所对应的块的SAD值之和。

对于第1种块模式：当前宏块的SAD值为16×16的计算块与最佳匹配点对应的块的SAD值；

对于第2种块模式：当前宏块的SAD值为2个16×8的计算块与各自最佳匹配点对应的块的SAD值之和；

对于第3种块模式：当前宏块的SAD值为2个8×16的计算块与各自最佳匹配点对应的块的SAD值之和；

对于第4种块模式：当前宏块的SAD值为4个8×8的计算块与各自最佳匹配点对应的块的SAD值之和。

步骤108：判断i是否小于4，如果是，则转到步骤109；否则，转到步骤110。

步骤109：设置i＝i+1，然后返回步骤104。

步骤110：判断当前宏块中四种块模式下SAD值之和最小的块模式，并将该块模式作为当前宏块的运动估计模式。

如果第1种块模式下SAD值之和最小，则当前宏块中一个16×16大小的计算块有一个运动矢量；

如果第2种块模式下SAD值之和最小，则当前宏块中两个16×8大小的计算块有自己的运动矢量；

如果第3种块模式下SAD值之和最小，则当前宏块中两个8×16大小的计算块有自己的运动矢量；

如果第4种块模式下SAD值之和最小，则当前宏块的四个8×8大小的计算块有自己的运动矢量。

在步骤106中，采用菱形搜索的方法估计计算块的运动矢量，即找到与当前计算块最匹配的点，详细的搜索方法见图2，包括如下步骤：

步骤201：计算对当前计算块进行菱形搜索的起始搜索点。

在当前帧中把当前计算块的左方、正上方和右上方的块的运动矢量分别记为V1、V2和V3。在前帧中把与当前计算块位置相同的块称为同一位置块，并用运动矢量(0，0)描述其位置，而把同一位置块的实际运动矢量记为V4。分别计算当前计算块与(0，0)、V1、V2、V3和V4所对应的块间的象素值的SAD，选择其中SAD最小者对应的点作为搜索起点，

如果当前计算块的左方无计算块，则不计算V1；如果当前计算块的正上方无计算块，则不计算V2；如果当前计算块的右上方无计算块，则不计算V3；如果当前帧是本组图像的第一帧，则不计算V4。

在本步骤中，如果满足SAD值小于阈值A，则转到步骤202；否则，转到步骤203。

步骤202：判断本次搜索的菱形半径是否为1，如果是，则转到步骤209；否则，转到步骤206。

步骤203：以步骤201所得到的搜索起点为菱形的中心点。

步骤204：根据事先确定的菱形半径确定菱形的周围四个点，即在菱形中心点的上、下、左、右的方向上，与菱形中心点的距离为菱形半径的四个点，分别计算当前计算块与这四个点对应块的SAD值，

在本步骤中，如果满足SAD值小于阈值A，则转到步骤202；否则，转到步骤205。

步骤205：将步骤204所确定的四个点中对应块的SAD值最小者作为下一次菱形搜索的中心点，然后返回步骤203，继续菱形搜索。

步骤206：将当前菱形的半径设为1，并以小于阈值A的SAD值对应的点为搜索的中心点。

步骤207：分别计算计算块与周围四个点对应的块的SAD值。

步骤208：最小SAD值对应的点为最佳匹配点，然后结束。

步骤209：小于阈值A的SAD值对应的点为最佳匹配点，然后结束。

在具体的实施过程中可对根据本发明的方法进行适当的改进，以适应具体情况的具体需要。因此可以理解，根据本发明的具体实施方式只是起示范作用，并不用以限制本发明的保护范围。

Claims

1、一种视频数据压缩的运动估计方法，其特征在于，该方法包括如下步骤:

2、根据权利要求1所述的方法，其特征在于，所述菱形中心点周围的四个点为:在菱形中心点的上、下、左、右的方向上，与中心点的距离为菱形半径的四个点。

3、根据权利要求1所述的方法，其特征在于，步骤B所述确定当前宏块的运动矢量预测值为:计算当前宏块的左方、正上方和右上方宏块的运动矢量的中值。

4、根据权利要求1所述的方法，其特征在于，步骤B所述确定计算块的第一阈值和第二阈值为:根据当前选用的块模式和计算块与至少三个方向的相邻点所对应的块的块匹配值确定计算块的第一阈值和第二阈值。

5、根据权利要求4所述的方法，其特征在于，步骤B所述根据运动矢量预测值和第二阈值确定菱形搜索时所采用的菱形半径的方法为:如果当前宏块的左方、正上方和右上方宏块的运动矢量相同，且前一帧图像当前位置的运动矢量不为0，且第二阈值小于预先设定的块运动阈值，菱形的半径为1；否则，菱形的半径为2。

6、根据权利要求1所述的方法，其特征在于，步骤B所述确定菱形搜索的起始点的方法为:根据前一帧图像同一位置的运动矢量、(0，0)运动矢量和当前宏块的左方、正上方和右上方宏块的运动矢量计算当前计算块的块匹配值，将块匹配值最小的运动矢量所对应点作为菱形搜索的起始点。

7、根据权利要求1所述的方法，其特征在于，步骤B所述退出条件为块匹配值小于第一阈值。

8、根据权利要求7所述的方法，其特征在于，步骤B所述块匹配值满足退出条件之后，进一步包括:判断菱形半径是否为1，如果是，则满足块匹配值的点作为最佳匹配点，最佳匹配点对应的运动矢量为当前计算块的运动矢量；否则，以最佳匹配点为菱形的中心点，计算距菱形半径为1的周围四个点所对应块的块匹配值，以块匹配值最小的点为最佳匹配点，最佳匹配点对应的运动矢量作为当前计算块的运动矢量。

9、根据权利要求1至8中任一项所述的方法，其特征在于，所述块匹配值为两个块中一一对应的象素点灰度值之差的绝对值之和。