CN103079074B - 块匹配方法、运动估计方法及模块、装置 - Google Patents

Abstract

本申请公开了一种块匹配方法、运动估计方法及模块、装置，首先在当前帧图像中确定一当前小块及在参考帧图像中的预设搜索范围内确定多个与当前小块规格相同的初级块，根据初级块四个顶点的积分图像值，确定每一初级块的像素和，并确定当前小块的像素和，像素和是指初级块或当前小块中所有像素点的灰度值之和，然后计算并比较当前小块与每一初级块的像素和的差分，确定其中若干相对较小的差分对应的初级块为次级块，最后从各次级块中确定与当前小块匹配的匹配块，这样，先经由简单运算筛选出满足要求的次级块，再从次级块中确定当前小块的匹配块，从而大大减少了块匹配运动估计处理的运算量，提高了匹配效率，增强了实用性。

Description

块匹配方法、运动估计方法及模块、装置

技术领域

本申请涉及视频技术领域，尤其涉及一种块匹配方法、运动估计方法及模块、装置。

背景技术

运动估计是视频编解码中计算量最大的部分，它对于视频编解码的速度起到了决定性的作用。其基本思想是将图像序列的每一帧分成许多互不叠加的小块，并认为小块内所有像素的位移量都相同，然后对每个小块到参考帧某一给定的特定搜索范围内，根据一定的匹配准则找出与当前小块最相似的块，即匹配块，匹配块与当前小块的相对位移即为运动矢量，视频压缩的时候，只需保存运动矢量和残差数据就可以完全恢复出当前小块。

目前，运动估计算法一般都采用快速算法，如三步法、最近邻法等，主要是对某个特定搜索范围（如16像素×16像素、32像素×32像素或64像素×64像素等）内部分稀疏的点进行处理，计算这些点对应块与当前小块的绝对误差和（SumofAbsoluteDifference，SAD），最终从这些块中选择与当前小块的SAD最小的作为匹配块。但是，由于块与当前小块的SAD计算十分复杂，以8像素×8像素的块为例，每个块与当前小块SAD的计算就需要进行64次减法、64次求绝对值和63次加法，从而导致整个块匹配算法运算量巨大，匹配效率低，实用性较差，特别在待匹配的块数量较多的情况下，这种问题尤为凸显。

发明内容

本申请提供一种块匹配方法、运动估计方法及模块、装置，以减少块匹配运动估计处理的运算量，提高匹配效率，增强实用性。

根据本申请的第一方面，本申请提供一种块匹配方法,包括：

在当前帧图像中确定一当前小块及在参考帧图像中的预设搜索范围内确定多个与所述当前小块规格相同的初级块；

根据所述初级块四个顶点的积分图像值，确定每一所述初级块的像素和，并确定所述当前小块的像素和，所述像素和是指所属块中所有像素点的灰度值之和；

计算所述当前小块与每一初级块的像素和的差分；

比较所述差分的绝对值大小，以预设条件确定其中若干绝对值相对较小的差分对应的初级块为次级块；

从各所述次级块中确定与所述当前小块匹配的匹配块。

根据本申请的第二方面，本申请提供一种运动估计方法，包括：

获得当前帧图像及参考帧图像，所述当前帧图像被划分为多个小块；

参照如上述的块匹配方法，确定与所述小块对应的匹配块；

以计算所得所述当前小块与其对应的匹配块之间的相对位移为运动矢量。

根据本申请的第三方面，本申请提供一种块匹配模块，包括：

选择单元，用于在当前帧图像中确定一当前小块及在参考帧图像中的预设搜索范围内确定多个与所述当前小块规格相同的初级块；

计算单元，用于根据所述初级块四个顶点的积分图像值，确定每一初级块的像素和，确定所述当前小块的像素和，所述像素和是指所属块中所有像素点的灰度值之和，并计算所述当前小块与每一初级块的像素和的差分；

比较单元，用于比较所述差分的绝对值的大小，以预设条件确定其中若干绝对值相对较小的差分对应的初级块为次级块；

匹配单元，用于从各所述次级块中确定与所述当前小块匹配的匹配块。

根据本申请的第四方面，本申请提供一种运动估计装置，包括：

获取模块，用于当前帧图像及参考帧图像，所述当前帧图像被划分为多个小块；

如上述的块匹配模块，用于确定与所述小块对应的匹配块；

计算模块，用于计算所述小块与其对应的匹配块之间的相对位移，并以该相对位移为运动矢量。

本申请的有益效果是：

通过提供一种块匹配方法、运动估计方法及模块、装置，首先在当前帧图像中确定一当前小块及在参考帧图像中的预设搜索范围内确定多个与当前小块规格相同的初级块，根据初级块四个顶点的积分图像值，确定每一初级块的像素和，并确定当前小块的像素和，像素和是指所属块中所有像素点的灰度值之和，然后计算并比较当前小块与每一初级块的像素和的差分的绝对值，确定其中若干绝对值相对较小的差分对应的初级块为次级块，最后从各次级块中确定与当前小块匹配的匹配块，这样，先经由简单运算筛选出满足要求的次级块，再从次级块中确定当前小块的匹配块，从而大大减少了块匹配运动估计处理的运算量，提高了匹配效率，增强了实用性，特别是在在待匹配的块数量较多的情况下，其效果更为突出。

附图说明

图1为本申请实施例的运动估计方法的流程图；

图2为本申请实施例的块匹配方法的流程图；

图3为本申请实施例步骤201中初级块303的示意图；

图4为本申请实施例中块的像素和的示意图；

图5为本申请实施例步骤205的分解流程图；

图6为本申请实施例的运动估计装置的结构图；

图7为本申请实施例的块匹配模块602的结构图；

图8为本申请实施例计算单元702的分解结构图；

图9为本申请实施例匹配单元704的分解结构图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

请参考图1，本申请实施例的运动估计方法主要包括如下处理流程：

步骤101，获得当前帧图像及参考帧图像，当前帧图像被划分为多个小块，每个小块在邻近的参考帧图像中的位置可通过运动矢量指示出来，获得运动矢量的过程则就是所称运动估计；

步骤102，参照下述块匹配方法，确定与小块对应的匹配块；

步骤103，以计算所得小块与其对应的匹配块之间的相对位移为运动矢量。

请参考图2，步骤102对应本申请实施例的块匹配方法主要包括如下处理流程：

步骤201，在当前帧图像中确定一当前小块及在参考帧图像中的预设搜索范围内确定多个与当前小块规格相同的初级块，具体地，当前小块存在于当前图像，预设搜索范围及初级块存在于当前图像前一帧或前几帧图像中，当前小块与初级块的规格可以为8像素×8像素、16像素×16像素、32像素×32像素或64像素×64像素等，而应用时，预设搜索范围的规格较当前小块与初级块的规格要大，例如，当当前小块与初级块的规格为8像素×8像素时，预设搜索范围可为32像素×32像素或64像素×64像素等；该步骤中，如图3所示，可先在预设搜索范围301内确定若干点302，然后对应确定这些点所对应的初级块303，可以以这些点作为顶点或中心点等来确定初级块303，图3中仅示出以这些点作为顶点确定初级块303的情况，标号304表征当前小块；而预设搜索范围301可根据现有技术的内容进行确定，此处不再赘述；

步骤202，根据初级块四个顶点的积分图像值，确定每一初级块的像素和，并确定当前小块的像素和，像素和是指所属块中所有像素点的灰度值之和，例如，当前小块的像素和是指当前小块中所有像素点的灰度值之和，具体地，初级块的像素和ΔI由如下公式（1）进行确定：

ΔI＝I（A）-I（B）-I（C）+I（D）……（1）

其中，参照图4，A、B、C及D分别为块中右下顶点、右上顶点、左下顶点及左上顶点，I（A）为A的第一积分图像值，I（B）为B的第二积分图像值，I（C）为C的第三积分图像值，I（D）为D的第四积分图像值，每一点的积分图像值为从图像的左上角到该点所构成的矩形区域内所有像素点的灰度值之和，现有技术提供了积分图像值的计算方法，通过A、B、C及D四个点的积分图像值的计算，最终经由公式（1）即可得到各初级块所对应的像素和（如图4中阴影部分所示）。当然，公式（1）还可以通过变形推导出其他的计算公式，其也在本申请保护范围之内；

当前小块的像素和可通过对当前小块中每一像素点的灰度值进行计算并叠加来获得，这样所获得的当前小块的像素和准确度较高，也可以通过如上述公式（1）的计算而获得，这样所获得的当前小块的像素和运算量较少，实际操作时可以选择采用；

步骤203，计算当前小块与每一初级块的像素和的差分，即求当前小块与每一初级块的像素和的差值；

步骤204，比较上述差分的绝对值的大小，以预设条件确定其中若干绝对值相对较小的差分对应的初级块为次级块，发明人发现，两个块的像素和的差分的绝对值越小，SAD不一定越小，但SAD越小，其像素和的差分的绝对值一定越小，那么，当计算出当前小块与每一初级块的像素和的差分后，即可确定出像素和的差分的绝对值较小的若干初级块，这些初级块必定与当前小块的SAD相对较小，因此，次级块的筛选具备合理性；而预设条件可以是确定次级块的数目为N，N为正整数，当筛选出来的次级块数目不足N时，可补足或不补足直接进行后续处理即可；预设条件还可以是确定一阈值，当上述差分的绝对值小于或等于一阈值时，确定该差分对应的初级块为次级块，当然还可以结合上述两种具体预设条件来筛选次级块；

步骤205，从各次级块中确定与当前小块匹配的匹配块，具体地，可通过如图5所示步骤确定匹配块：

步骤501，计算每一次级块与当前小块的SAD，具体地，SAD即两个规格相同的块的所有对应的像素灰度值差的绝对值的总和；

步骤502，比较各SAD的大小，确定其中最小的SAD对应的次级块为匹配块。

需要说明的是：

步骤205除了利用SAD来实现，还可以通过其他方式实现，如利用求平方误差和（SumofSquareError，SSE）等方式来实现等。

相应地，本申请实施例的运动估计装置主要如图6所示，包括依次连接的获取模块601、块匹配模块602及计算模块603，其中：

获取模块601，用于获得当前帧图像及参考帧图像，当前帧图像被划分为多个小块，每个小块在邻近的参考帧图像中的位置可通过运动矢量指示出来，获得运动矢量的过程则就是所称运动估计；

本申请实施例的块匹配模块602，用于确定与小块对应的匹配块；

计算模块603，用于计算小块与其对应的匹配块之间的相对位移，并以该相对位移为运动矢量。

本申请实施例的块匹配模块602主要如图7所示，包括依次连接的选择单元701、计算单元702、比较单元703及匹配单元704，其中：

选择单元701，用于在当前帧图像中确定一当前小块及在参考帧图像中的预设搜索范围内确定多个与当前小块规格相同的初级块，具体地，当前小块存在于当前图像，预设搜索范围及初级块存在于当前图像前一帧或前几帧图像中，当前小块与初级块的规格可以为8像素×8像素、16像素×16像素、32像素×32像素或64像素×64像素等，而应用时，预设搜索范围的规格较当前小块与初级块的规格要大，例如，当当前小块与初级块的规格为8像素×8像素时，预设搜索范围可为32像素×32像素或64像素×64像素等；同样如图3所示，选择单元701可先在预设搜索范围301内确定若干点302，然后对应确定这些点所对应的初级块303，可以以这些点作为顶点或中心点等来确定初级块303，图3中仅示出以这些点作为顶点确定初级块303的情况，标号304表征当前小块；而预设搜索范围301可根据现有技术的内容进行确定，此处不再赘述；

计算单元702，用于根据初级块四个顶点的积分图像值，确定每一初级块的像素和，确定当前小块的像素和，像素和是指所属块中所有像素点的灰度值之和，并计算当前小块与每一初级块的像素和的差分；

比较单元703，用于比较差分的绝对值大小，以预设条件确定其中若干绝对值相对较小的差分对应的初级块为次级块，具体地，当计算出当前小块与每一初级块的像素和的差分后，即可确定出像素和的差分的绝对值较小的若干初级块，这些初级块必定与当前小块的SAD相对较小；而预设条件可以是确定次级块的数目为N，N为正整数，当筛选出来的次级块数目不足N时，可补足或不补足直接进行后续处理即可；预设条件还可以是确定一阈值，当上述差分的绝对值小于或等于一阈值时，确定该差分对应的初级块为次级块，当然还可以结合上述两种具体预设条件来筛选次级块，为了配合比较单元703的处理，N或者阈值可存储于一存储单元中；

匹配单元704，用于从各次级块中确定与当前小块匹配的匹配块。

具体地，计算单元702可包括如图8所示的结构：

第一计算子单元801，用于根据初级块四个顶点的积分图像值，确定每一初级块的像素和，并确定当前小块的像素和，初级块的像素和ΔI可由上述公式（1）确定，仍参照图4，A、B、C及D分别代表块中右下顶点、右上顶点、左下顶点及左上顶点，I（A）为A的第一积分图像值，I（B）为B的第二积分图像值，I（C）为C的第三积分图像值，I（D）为D的第四积分图像值，现有技术提供了积分图像值的计算方法，通过A、B、C及D四个点的积分图像值的计算，最终经由公式（1）即可得到各初级块所对应的像素和。当然，公式（1）还可以通过变形推导出其他的计算公式，其也在本申请保护范围之内；当前小块的像素和可通过对当前小块中每一像素点的灰度值进行计算并叠加来获得，这样所获得的当前小块的像素和准确度较高，也可以通过如上述公式（1）的计算而获得，这样所获得的当前小块的像素和运算量较少，实际操作时可以选择采用；

第二计算子单元802，与第一计算子单元801相连，用于计算当前小块与每一初级块的像素和的差分。

匹配单元704可包括如图9所示的结构：

第三计算子单元901，用于计算每一次级块与当前小块的SAD，具体地，SAD的计算可通过现有技术实现，此处不再赘述；

匹配子单元902，与第三计算子单元901相连，用于比较各SAD的大小，确定其中最小的SAD对应的次级块为匹配块。

需要说明的是：

匹配单元704除了利用SAD来实现，还可以通过其他方式实现，如利用求SSE等方式来实现等。

作为本申请块匹配运动估计模块的另一种实施例，块匹配运动估计模块可以表现为一计算机，而选择单元701、计算单元702、比较单元703及匹配单元704的功能则通过中央处理器完成，对应处理程式则存储于光碟或磁盘等外部存储中，相应地其他部件此处省略。

本申请实施例先经由简单运算筛选出满足要求的次级块，再从次级块中确定当前小块的匹配块，从而大大减少了块匹配运动估计处理的运算量，提高了匹配效率，增强了实用性，特别是在在待匹配的块数量较多的情况下，其效果更为突出，例如，现有技术受限于SAD的运算量，从而只能在预设搜索范围内选择稀疏的点来进行块匹配，而由于本申请的块匹配运动估计方法其运算量大大减少，使得在保证匹配效率的同时遍历预设搜索范围来进行块匹配具有可行性，由此可提高块匹配准确度。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换。

Claims (8)

1.一种块匹配方法,其特征在于，包括：

在当前帧图像中确定一当前小块及在参考帧图像中的预设搜索范围内确定多个与所述当前小块尺寸相同的初级块；

根据所述初级块四个顶点的积分图像值，确定每一所述初级块的像素和，并确定所述当前小块的像素和，所述像素和是指所属块中所有像素点的灰度值之和；

计算所述当前小块与每一初级块的像素和的差分；

比较所述差分的绝对值大小，以预设条件确定其中若干绝对值相对较小的差分对应的初级块为次级块；

从各所述次级块中确定与所述当前小块匹配的匹配块；

所述预设条件为：

确定所述次级块的个数N，N取正整数；

或者，当所述差分的绝对值小于或等于一阈值时，确定该差分对应的初级块为次级块。

2.如权利要求1所述的方法，其特征在于，根据所述初级块四个顶点的积分图像值，确定每一所述初级块的像素和具体为：

所述初级块的像素和ΔI为：

ΔI＝I(A)-I(B)-I(C)+I(D)

其中，A、B、C及D分别代表块中右下顶点、右上顶点、左下顶点及左上顶点，I(A)为A的第一积分图像值，I(B)为B的第二积分图像值，I(C)为C的第三积分图像值，I(D)为D的第四积分图像值。

3.如权利要求1所述的方法，其特征在于，从各所述次级块中确定与所述当前小块匹配的匹配块具体包括：

计算每一所述次级块与当前小块的绝对误差和；

比较各所述绝对误差和的大小，确定其中最小的绝对误差和对应的次级块为所述匹配块。

4.一种运动估计方法，其特征在于，包括：

获得当前帧图像及参考帧图像，所述当前帧图像被划分为多个小块；

参照如权利要求1-3中任一项所述的块匹配方法，确定与所述小块对应的匹配块；

以计算所得所述小块与其对应的匹配块之间的相对位移为运动矢量。

5.一种块匹配模块，其特征在于，包括：

选择单元，用于在当前帧图像中确定一当前小块及在参考帧图像中的预设搜索范围内确定多个与所述当前小块尺寸相同的初级块；

计算单元，用于根据所述初级块四个顶点的积分图像值，确定每一初级块的像素和，确定所述当前小块的像素和，所述像素和是指所属块中所有像素点的灰度值之和，并计算所述当前小块与每一初级块的像素和的差分；

比较单元，用于比较所述差分的绝对值大小，以预设条件确定其中若干绝对值相对较小的差分对应的初级块为次级块；

匹配单元，用于从各所述次级块中确定与所述当前小块匹配的匹配块；

所述预设条件为：

确定所述次级块的个数N，N取正整数；

或者，当所述差分的绝对值小于或等于一阈值时，确定该差分对应的初级块为次级块，

所述模块还包括：

存储单元，用于存储所述次级块的个数N或者存储所述阈值。

6.如权利要求5所述的模块，其特征在于，所述计算单元包括：

第一计算子单元，用于根据所述初级块四个顶点的积分图像值，确定每一所述初级块的像素和，并确定所述当前小块的像素和，所述初级块的像素和ΔI为：ΔI＝I(A)-I(B)-I(C)+I(D)，其中，A、B、C及D分别代表块中相对的右下顶点、右上顶点、左下顶点及左上顶点，I(A)为A的第一积分图像值，I(B)为B的第二积分图像值，I(C)为C的第三积分图像值，I(D)为D的第四积分图像值；

第二计算子单元，用于计算所述当前小块与每一初级块的像素和的差分。

7.如权利要求5所述的模块，其特征在于，所述匹配单元包括：

第三计算子单元，用于计算每一所述次级块与当前小块的绝对误差和；

匹配子单元，用于比较各所述绝对误差和的大小，确定其中最小的绝对误差和对应的次级块为所述匹配块。

8.一种运动估计装置，其特征在于，包括：

获取模块，用于获得当前帧图像及参考帧图像，所述当前帧图像被划分为多个小块；

如权利要求5-7中任一项所述的块匹配模块，用于确定与所述小块对应的匹配块；

计算模块，用于计算所述小块与其对应的匹配块之间的相对位移，并以该相对位移为运动矢量。