CN101291433A - 视频编码技术中的模块运动矢量匹配评估方法 - Google Patents

Abstract

本发明公开了一种视频编码技术中的模块运动矢量匹配评估方法，包括如下步骤：对于当前帧的每一个宏块或其子块划分，在参考帧的特定范围内计算每个点的块匹配值，该特定范围内的每个点为匹配点；块匹配值为宏块或子块和搜索范围内的匹配点对应块之间一一对应的像素点灰度值之差的总和；将最小匹配值对应的匹配点作为最佳匹配点，最佳匹配点对应的运动矢量为当前宏块或子块的运动矢量。相对于基于SAD准则的全搜索方法，本发明的上述全搜索算法执行时间大大降低，降低幅度可以达到50％以上；峰值信噪比PSNR略微有所降低，但其视觉质量几乎没有变化；码率略微有所增加。因此在总体上，编码效率获得了很大的提高。

Description

视频编码技术中的模块运动矢量匹配评估方法

技术领域

本发明涉及多媒体应用的视频编码技术，具体地说，涉及视频编码技术中的模块运动矢量匹配评估方法。

背景技术

在多媒体应用中，一幅640*480的256色图像所占的数据量为300kB，而动态视频要求每秒播放25-30帧图像，因而以640*480的窗口播放256色视频图像，即使在没有声音数据的情况下，也要求每秒处理8MB左右的数据量。如此，容量为650MB的CD-ROM盘仅能存储约80秒左右的动态视频。而普通PC机ISA总线的数据传输率最大只能达到5MB/秒，无法实时传输动态视频数据。因此，为了进行多媒体数据的存储和实时处理，必须采用一些技术来降低多媒体数据的数据量，其中最主要的技术之一就是视频数据压缩技术。

多媒体的数据量和信息量关系为I＝D-du，其中I表示信息量，D表示数据量，du表示冗余量。信息量是被传输的主要数据，数据冗余则是无用的数据，没有必要传输。视频信号上存在大量冗余数据，是进行视频数据压缩的基础，多媒体视频信号的冗余度存在于结构和统计两方面。

在结构方面，冗余度表现为很强的空间相关性和时间相关性，空间相关性为帧内相关性，时间相关性为帧间相关性，一般情况下，图像的大部分区域信号变化缓慢，尤其是背景部分几乎不变，所以视频信号在相邻像素间、相邻行间乃至相邻帧间存在较强的相关性，这种相关性就表现为空间冗余和时间冗余。

在统计方面，冗余度表现为人眼在观察图像时的局限性，人眼对图像细节分辨率、运动分辨率和对比度分辨率的感觉都有一定限度，所以相当多的图像信息对于人眼来说是无关紧要的，即使没有这些信息，人眼也认为图像是完好且足够好。

所以，这些信息就是冗余信息，在满足对图像质量一定要求的前提下，可以适当减少信号精度，实现数据压缩。

在已得到广泛应用的图像压缩编码方法与标准中，主要利用离散余弦变换和矢量量化消除帧内相关性，利用运动估计消除帧间相关性，利用熵编码消除图像数据编码带来的冗余。

在视频压缩中经常使用运动补偿预测来降低相邻视频帧之间的时间冗余。在视频压缩文献中，提出了很多评估方法来获得运动补偿预测所需的满意的运动矢量。在这些方法中，基于块的运动估计，由于计算的易处理性和硬件实现的方便性而备受关注。

在很多现行的视频压缩标准中，如H.261、H.263、H.264和MPEG-1、MPEG-2、MPEG-4，使用一种块匹配算法来获得每一个块的运动矢量。使用最广泛的是基于差的绝对值之和(SAD，sum of absolute differences)的全搜索算法，相应的判决准则记为SAD准则。在参考帧的搜索窗内，评估所有候选块的SAD。因为是穷尽所有位置，所以全搜索算法能达到优化性能，但因为其计算量高，使得它不能适应许多实时应用场合。

针对匹配方法，有一些通过简化每个搜索位置的块匹配评估标准来降低其复杂度的手段。Koga et al.推荐了一种基于序列像素模式的像素抽取方法。该方法提出了一些代表性的像素模式并基于每个块的内容选择合适的模式，块匹配评估方法是计算块的像素值的水平或垂直规划。但它们的规划值和获得的块匹配方法计算量依然较大。也有人提出了一种利用块和以及块变化的特征来计算块匹配评估的快速方法，但该方法并没有完全去掉匹配所需的所有绝对值，而对于搜索过程中的块匹配，绝对值计算在程序执行时需要做耗时的判断。搜索过程中的块匹配，待搜索点数庞大，每做一次匹配，就要做若干次绝对值判断，而绝对值计算在程序执行时需要做耗时的判断，所以总的编码时间很长。实际上，SAD匹配方法是从点与点像素值的均方差简化而来，如下式所示。

$\left(1\right).\mathrm{Mean\; Spuared\; Error}:\mathrm{MSE}=\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{(C_{i,j}-R_{\mathrm{MV}(i,j)})}^2$

$\left(2\right).\mathrm{Mean\; Absolute\; Error}:\mathrm{MAE}=\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}|C_{i,j}-R_{\mathrm{MV}(i,j)}|$

$\left(3\right).\mathrm{Sum\; of\; Absolute\; Difference}:\mathrm{SAD}=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}|C_{i,j}-R_{\mathrm{MV}(i,j)}|$

上述三式中C_ij表示在图像中坐标位置为(i，j)的像素灰度值，R_MV(i，j)表示在参考图像中坐标位置为MV(i，j)的像素灰度值，即参考帧中匹配宏块对应像素的灰度值。其中MV()为坐标偏移量。相对而言，SAD的计算最为简单，但在实际应用中，计算SAD时涉及的绝对值计算依然较耗时间，计算量巨大，无法达到实时性的要求。

发明内容

本发明要解决的技术问题是提供一种视频编码技术中的模块运动矢量匹配评估方法，能在保证编码质量的前提下大大降低匹配方法的复杂度，减少运动适量搜索的软件执行时间，实现更高的编码效率。

为了达到上述目的，本发明的技术方案如下：

一种视频编码技术中的模块运动矢量匹配评估方法，包括如下步骤：对于当前帧的每一个宏块或子块，在前一帧的特定范围内计算每个点的块匹配值，该特定范围内的每个点为匹配点；块匹配值为宏块或子块和搜索范围内的匹配点对应块之间一一对应的像素点灰度值之差的总和；将最小匹配值对应的匹配点作为最佳匹配点，最佳匹配点对应的运动矢量为当前宏块或子块的运动矢量。

相对于基于SAD准则的全搜索方法，本发明的上述全搜索算法执行时间大大降低，降低幅度可以达到50％以上；峰值信噪比PSNR略微有所降低，但其视觉质量几乎没有变化；码率略微有所增加。因此在总体上，编码效率获得了很大的提高。

附图说明

图1是本发明的块匹配流程图；

图2是基于本发明的块匹配的模块运动矢量匹配评估方法流程图。

具体实施方式

下面根据图1和图2，给出本发明一个较好实施例，并予以详细描述，使能更好地理解本发明的功能、特点。

本发明针对现有的SAD算法，将该匹配方法进一步简化，依然能够保证编码质量和码率，则可以大大提高编码效率。本发明的算法基于以下的式(4)：

$\left(4\right).\mathrm{Sum\; of\; Errors}:\mathrm{SE}=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}(C_{i,j}-R_{\mathrm{MV}(i,j)})$

基于式(4)的评估方法定义为SE准则。相应地，在位置(m，n)处基于SE准则的块匹配评估值的记做P_SE(m，n)。

本评估方法将SAD计算中的所有绝对值去除，并将该新的评估方法应用于全搜索算法中可变长块的部分块划分。

前面所提到的全搜索算法指的是：在搜索窗(当前宏块位置(0，0)的±S个抽样)内根据评估方法搜索每一个点，共有(2S+1)²个位置。全搜索是为了保证在选定的搜索范围内找到最小的评估值。

前面提到的可变长块指的是：每个宏块(16×16个像素点)可以分割成4种块模式。运动补偿即针对一种16×16划分，两种16×8划分，两种8×16划分和四种8×8划分进行。如果选中的是8×8划分模式，该模式块的四个子块又可以进一步分为四种模式。运动补偿即针对一种8×8划分，两种8×4划分，两种4×8划分和四种4×4划分进行。这些划分和子块在宏块内产生了大量可能的组合。

对于每个划分或子块有它独立的运动矢量。每个运动矢量都必须经编码并发送出去。宏块或子块选择必须编码至压缩的码流当中。选择一个较大的块尺寸(16×16、16×8、8×16)意味着较小的码流即可表征运动矢量和相应的块划分。但运动补偿的残差会在帧域内造成大量高度细节化的能量。选择较小的块尺寸(8×8、8×4等)在运动补偿以后会给出一个低能量的残差但需要较大的码流来表征运动矢量和块划分。所以块选择对于压缩性能有重要的影响。一般而言，较大的块尺寸适合于均匀帧域；较小的块尺寸则有利于细节区域。

图1显示了本发明的块匹配流程。如图所示，本发明的块匹配步骤为：

步骤A1：初始化P-SE_min＝2²⁰；

步骤A2：对于当前位置(m，n)，计算P-SE(m，n)；

步骤A3：判断P-SE(m，n)＜P-SE_min？

步骤A4：如果P-SE(m，n)＜P-SE_min，则定义P-SE(m，n)为P-SE_min，由(m，n)确定运动矢量；然后进入步骤A5；如果P-SE(m，n)≥P-SE_min，则直接进入步骤A5；

步骤A5：判断是否所有点均已考察？如果是，则输出运动矢量和P-SE_min；如果不是，更新搜索位置(m，n)，并返回步骤A2。

图2是基于本发明的块匹配的模块运动矢量匹配评估方法流程图。本发明的评估方法包括步骤：

步骤B1：设置i＝1；

步骤B2：对当前宏块应用第i种块模式；在本实施例中，宏块的大小为16×16，则块模式的定义如下：

第1种块模式：将宏块划分为一个大小为16×16的计算块；

第2种块模式：将宏块划分为两个大小为16×8的计算块；

第3种块模式：将宏块划分为两个大小为8×16的计算块；

第4种块模式：将宏块划分为四个大小为8×8的计算块；

步骤B3：计算当前块划分的运动矢量预测值确定运动估计的阈值；

步骤B4：确定搜索半径；

步骤B5：估计宏块中所有计算块的运动矢量；

步骤B6：计算第i种块模式下，当前宏块的SE值：SE值根据式(4)计算：

对于第1种块模式，当前宏块的SE值为16×16的计算块与最佳匹配点对应的块的SE值；

对于第2种块模式，当前宏块的SE值为2个16×8的计算块与各自最佳匹配点对应的块的SE值；

对于第3种块模式，当前宏块的SE值为2个8×16的计算块与各自最佳匹配点对应的块的SE值；

对于第4种块模式，当前宏块的SE值为4个8×8的计算块与各自最佳匹配点对应的块的SE值；

步骤B7：判断i是否小于4？如果是，则令i＝i+1，返回步骤B2；如果不是，则确定SE值最小的块模式为当前宏块的运动估计模式。

相对于基于SAD准则的全搜索方法，基于SE准则的全搜索算法软件执行时间大大降低，降低幅度可以达到50％以上；峰值信噪比PSNR略微有所降低，但其视觉质量几乎没有变化；码率略微有所增加。总体上，编码效率有很大的提高。

将本方法应用于AVS-M(数字音视频移动多媒体国家标准)标准代码中块类型为8×8的子块运动搜索并与基于SAD的全搜索算法实验测试，测试针对两种视频格式QCIF和CIF进行，结果如附页的表1所示。

表1性能比较结果

(a)QCIF

(b)CIF

以上所述的，仅为本发明的较佳实施例，并非用以限定本发明的范围，即凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。

Claims (7)

1、一种视频编码技术中的模块运动矢量匹配评估方法，包括如下步骤：

对于当前帧的每一个宏块，在参考帧的特定范围内计算每个点的块匹配值，该特定范围内的每个点为匹配点；

块匹配值为宏块或子块和搜索范围内的匹配点对应块之间的一一对应的像素点灰度值之差的总和；

将最小匹配值对应的匹配点作为最佳匹配点，最佳匹配点对应的运动矢量为当前宏块或块划分的运动矢量。

2、如权利要求1所述的视频编码技术中的模块运动矢量匹配评估方法，其特征在于，所述特定范围指的是邻域。

3、如权利要求2所述的视频编码技术中的模块运动矢量匹配评估方法，其特征在于，每帧图像被划分为二维的M×N像素的子块。

4、如权利要求3所述的视频编码技术中的模块运动矢量匹配评估方法，其特征在于，所述M和N均为4的倍数。

5、如权利要求4所述的视频编码技术中的模块运动矢量匹配评估方法，其特征在于，所述M和N均为16。

6、如权利要求5所述的视频编码技术中的模块运动矢量匹配评估方法，其特征在于，将子块定义为如下四种模式：

第1种块模式：将宏块划分为一个大小为16×16的计算块；

第2种块模式：将宏块划分为两个大小为16×8的计算块；

第3种块模式：将宏块划分为两个大小为8×16的计算块；

第4种块模式：将宏块划分为四个大小为8×8的计算块。

7、如权利要求6所述的视频编码技术中的模块运动矢量匹配评估方法，其特征在于，计算当前宏块或子块的块匹配值的步骤包括：

设置i＝1；

计算第i种块模式下，当前宏块的块匹配值；

如果i＜4，则令i＝i+1，返回上一步骤；

如果i≥4，则结束。

Images