CN102654916A - 区块比对方法 - Google Patents

Abstract

本发明公开了一种区块比对方法，用于估测一帧图像中的一估测区块的一运动向量，包含有比较该估测区块与对应于一第一物体的至少一参考区块以获得复数个像素差异值；根据该复数个像素差异值，判断出该估测区块中对应于该第一物体的一遮罩区域与对应于一第二物体的一计算区域；以及对该计算区域进行一区块比对运算，以决定该第二物体的一运动向量作为该估测区块的该运动向量。

Description

区块比对方法

技术领域

本发明涉及一种区块比对方法，尤其指一种通过遮罩区域设定来滤除不同物体的干扰而能正确估测运动向量的区块比对方法。

背景技术

运动估测(Motion Estimation)是视频图像压缩处理中一项重要的技术，其目的在于减少不同时间中的各帧间的多余信息。一般来说，由于视频图像是一连串图片连续播放的结果，主要原理系通过两张相邻图片的细微变化，使人们有视觉暂留的反应而产生动画的效果。而且，相邻的两张图片通常会有类似的关联，彼此应该皆存在有一部分几乎或甚至完全没有变化。在此情况下，储存图像信息时，没有变化的部份就不需要储存，仅需将先前的图像图片加以修改即可。简言之，在视频图像编译码过程中，只需记录先前帧的信息，而后续的帧可通过移动过程中所记录下的信息来进行重建，如此一来，将可以不需储存所有帧图像的信息，而达到有效地减少传输的信息量，并符合图像压缩的效果。而运动估测技术便是要找出运动过程中所记录下的信息，例如运动向量(Motion Vector)，以便将变化的部份作补偿，来得到后续的图像。

区块比对(Block Matching)方法是处理运动估测中最常被应用的方法之一，区块比对方法通过将某一帧图像切割成多个不重迭的区块，并寻找不同时间中各区块间最相似的部分，来取得各区块的运动向量。一般来说，对于每一区块而言，有可能会同时包含有多个物体在其中，例如当区块系位处于多个物体的交界处。请参考图1，图1为现有技术于同一区块中存在不同物体时的示意图。如图1所示，图像I被切割成n个区块。在时间T1时，区块MBX仅包含物体Obj_A的图像，而在时间T2时，区块MBX除了物体Obj_A的图像之外，还包含有另一物体Obj_B的图像。对于区块MBX来说，通常会参考对应于物体Obj_A的运动向量mv_A与对应于物体Obj_B的运动向量mv_B来计算相对应的运动向量。在此情况下，由于同一区块中同时掺杂着不同(或差异很大)的运动情况，则所侦测到的运动向量结果将容易发生错误，而无法准确表示实际图像中物体的运动方向，甚至造成明显的错误。

发明内容

本发明的目的在于利用遮罩区域的设定来滤除不同物体的干扰，以进行运动向量的估测，如此一来，将能准确地获得物体的运动向量，以解决上述的问题。

为达成上述目的，依据本发明之实施例，本发明揭露一种区块比对方法，用于估测一帧图像中的一估测区块，包含有比较该估测区块与对应于一第一物体的至少一参考区块以获得复数个像素差异值；根据该复数个像素差异值，判断出该估测区块中对应于该第一物体的一遮罩区域与对应于该第二物体的一计算区域；以及对该计算区域中进行一区块比对运算，以决定该第二物体的一运动向量作为该估测区块的该运动向量。

附图说明

图1为现有技术于同一区块中存在不同物体时的示意图。

图2为本发明实施例一区块比对流程的示意图。

图3与图4分别为物体运动运作时的示意图。

图5为第4图中帧图像的图像区块的区块配置的示意图。

其中，附图标记说明如下：

20                                     流程

200、202、204、206、208                步骤

bj_A、Obj_B  物体

C            计算区域

F、F1、F2    帧图像

M            屏蔽区域

MB1～MBn     区块

mv_A、mv_B   运动向量

具体实施方式

请参考图2，图2为本发明实施例一区块比对流程20的示意图。区块比对流程20是应用于估测一帧图像中的一估测区块的运动向量。流程20包含以下步骤：

步骤200：开始。

步骤202：比较该估测区块与对应于一第一物体的一参考区块以获得复数个像素差异值。

步骤204：根据该复数个像素差异值，判断出该估测区块中对应于该第一物体的一遮罩区域，以及对应于一第二物体的一计算区域

步骤206：对该计算区域进行一区块比对运算，以决定该第二物体的一运动向量作为该估测区块的该运动向量

步骤208：结束。

依据流程20，由于运动估测主要是于图像编码流程中寻找出译码时所需要的运动向量，因此，在处理运动估测的过程中，会对所输入的图像帧进行区块比对以寻找出较为相像的图像区块，进而据以取得相对应的运动向量值。在步骤202中，可基于先前帧中已取得的信息，而于后续进行相对应的区块比对运算，以判断不同时间的图像帧之间的差异状况。举例来说，请参考图3与图4，图3与图4分别为物体运动运作时的示意图。其中帧图像F1与F2各具有n个图像区块，且帧图像F1与F2分别为输入视频图像中前、后两张的帧图像。若第一物体Obj_A为一静止的背景图像，第二物体Obj_B为可移动的一球体，则如图3所示，于帧图像F1的图像区块MB1中只单纯有第一物体Obj_A的图像；而如图4所示，于帧图像F2中，第二物体Obj_B已移动至图像区块MB1附近，并且有部分球体面积系位于图像区块MB1的范围内。亦即，在帧图像F2中，图像区块MB1同时跨越了两个物体图像，而位处于第一物体Obj_A与第二物体Obj_B的交界处。

因此，在步骤202中，系根据对应于第一物体Obj_A的一参考区块，计算所估测区块中的每一像素与一参考区块中的相对应像素的像素差异值。举例来说，若图4中的帧图像F2为当前正进行运动估测的画面，且帧图像F2的图像区块MB1为待计算运动向量的估测区块，那么则可安排图3的帧图像F1中的图像区块MB1作为参考区块。接下来，可基于此参考区块(即帧图像F1中的图像区块MB1)，来比较估测区块(即帧图像F2的图像区块MB1)的每一像素的像素值与参考区块(即帧图像F1中的图像区块MB1)中相对应像素的像素值，来得到两区块间的像素差异值。易言之，像素差异值的大小可代表所估测区块中各像素与参考区块间各像素的差异程度。

于步骤202的不同实施例中，所述像素差异值可为一亮度差异值或一彩度差异值。更明确言之，可以将帧图像F2的图像区块MB1的每一像素的亮度(或彩度)值与帧图像F1中的图像区块MB1中相对应像素的亮度(或彩度)值，进行相减运算，之后所得出来的差值，即分别为帧图像F2的图像区块MB1的相对应像素的像素差异值。

于计算出像素差异值之后，接下来，可进行步骤204，以根据所计算出的像素差异值，将对应于第一物体Obj_A的像素区域设定为一遮罩区域M，并将对应于第二物体Obj_B的像素区域设定为一计算区域C。由于在步骤202中所计算出的像素差异值的大小能够反应出所估测区块中各像素与参考区块间各像素的差异程度，且参考区块是从先前帧图像中的图像区块所选出，因此对于估测区块中的每一像素而言，当像素差异值较小时，即代表此像素位置所显示的物体与参考区块所显示的物体应为同一物体。反之，当像素差异值较大时，则表示此像素位置所显示的物体系与参考区块所显示的物体应为不同物体。如此一来，可将估测区块中整体差异程度较大的一区域判断为第一物体Obj_A的像素区域，也就是遮罩区域M。反之，可将估测区块中整体差异程度较小的一区域判断为第二物体Obj_B的像素区域，也就是计算区域C。

于步骤204的一特定实施例中，可根据所计算出的像素差异值，分析估测区块中各像素的像素差异值的相似性分布，以寻找是否存在有至少一区域当中所有像素的像素差异值彼此相近，所找到的至少一区域于以下称为高相似性区域，并且分别可被判断为遮罩区域M与该计算区域C当中之一者。

更具体而言，若估测区块中存在有至少一个以上相邻像素的像素差异值皆小于第一临限值时，则可将该些相邻像素所形成的区域设定为遮罩区域M。反之，当估测区块中存在有至少一个以上相邻像素的像素差异值皆大于第二临限值时，则可将该些相邻像素所形成的区域设定为计算区域C。第二临限值较佳为等于第一临限值，然亦可不等于第一临限值。举例来说，请参考图5，图5为图4中帧图像F2的图像区块MB1的区块配置的示意图。如图5所示，由于系以帧图像F1中的图像区块MB1作为参考区块，因此，第一物体Obj_A所在的区域，当中各像素的像素差异值皆较小(譬如皆小于第一临限值)，所以可将此区域设定为遮罩区域M，而第二物体Obj_B所在的区域，当中各像素的像素差异值皆较大(譬如皆大于第二临限值)，所以可将此区域设定为计算区域C。

接着，在步骤206中，可单独对计算区域C中进行一区块比对运算，以决定一第二物体的一运动向量。为了能在当前帧图像中顺利在物体交界处准确地取得另一物体(图3与图4中的第二物体Obj_B)的运动向量，再加上与参考区块有关的图像物体(图3与图4中的第一物体Obj_A)的运动向量也早已于前次运算中正确取得，因此可以将估测区块中的遮罩区域M忽略不计算，而只对计算区域C内的像素进行运算。换句话说，通过遮罩区域M的设定，能够过滤掉可能会影响第二物体Obj_B的运动向量判断的干扰因素(在此即为第一物体Obj_A的图像)，结果能够取得第二物体Obj_B的正确运动向量。

已有各种不同的运动向量的计算方法可供采用以进行步骤206。举例而言，可对计算区域C中的每一像素进行一绝对误差运算(sum of absolutedifference，SAD)、一均方误差运算(mean square error，MSE)或一平均绝对误差运算(mean absolute error，MAE)，以决定第二物体的运动向量。

综合上述，通过步骤202计算估测区块与参考区块彼此相对应像素的像素差异值，再通过步骤204依据像素差异值将遮罩区域M与计算区域C判断出来，最后在步骤206中，仅需以计算区域C内的像素为基准来计算估测区块中的第二物体的运动向量，能够有效屏除第一物体Obj_A所产生的干扰影响，并准确求得第二物体Obj_B的运动向量。

值得注意的是，图3与图4所示的实施例系以两个物体交界处的图像区块为例，但不以此为限，可类推至具有2个以上的物体的交界处的图像区块的其它实施例中，在此不再赘述。此外，图像区块的大小不拘，端视系统设计或实际需求而定，例如各图像区块可为一16×16、32×32个像素范围的区块，但不以为限。

此外，亦须注意的是，于图3与图4所示的实施例中，于步骤202中选定参考区块以计算像素差异值时，系将参考区块安排为前一张帧图像中位于相同位置的区块。然而，本发明不限于此。参考区块可以是安排为前几张帧图像中位于相同或相近位置的区块，亦即有复数个参考区块。在此情况下，譬如可安排将此复数个参考区块对应像素的像素值平均值，与估测区块的对应像素值比较，以得到上述像素差异值。

此外，亦须注意的是，图3与图4所示的实施例中，于步骤204中，可利用种种不同的方式来判断遮罩区域M与计算区域C。举例而言，于上述范例说明中，则必须对遮罩区域M与计算区域C两者皆进行判断，当各区域的像素差异值的要求皆满足时才能决定出遮罩区域M与计算区域C。然而，于其它一些实施例中，可仅针对当中一者进行判断即可。更具体言之，可仅针对遮罩区域M来进行判断，譬如是满足相邻像素的像素差异值皆小于第二临限值的要求，并将图像区块MB1剩下的区域全归为计算区域C以进行运动向量的计算。或是相反地，只针对计算区域C来判断，譬如是满足相邻像素的像素差异值皆大于第一临限值的要求，剩下的区域全归为遮罩区域M而须予以排除。此外，能够将估测区块中相较参考区块整体差异程度较大的一区域判断为遮罩区域M，及/或将整体差异程度较小的一区域判断为计算区域C的其它方法，亦都可以采用。

综上所述，在帧图像中的物体交界处，上述实施例通过将一目标物体遮蔽，不列入估测另一目标物体的运动向量的考虑依据，因此能滤除两物体间的干扰影响，进而准确获得另一目标物体的运动向量。

以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种区块比对方法，用于估测一帧图像中的一估测区块的一运动向量，其特征在于，该区块比对方法包含：

比较该估测区块与对应于一第一物体的至少一参考区块以获得复数个像素差异值；

根据该复数个像素差异值，判断出该估测区块中对应于该第一物体的一遮罩区域与对应于一第二物体的一计算区域；以及

对该计算区域进行一区块比对运算，以决定该第二物体的一运动向量作为该估测区块的该运动向量。

2.如权利要求1所述的区块比对方法，其特征在于，该至少一参考区块分别为前一或多个帧图像中的一图像区块。

3.如权利要求1所述的区块比对方法，其特征在于，该复数个像素差异值是该估测区块的复数个像素与该至少一参考区块的相对应像素间的像素差异值。

4.如权利要求1所述的区块比对方法，其特征在于，该复数个像素差异值系亮度差异值或彩度差异值。

5.如权利要求1所述的区块比对方法，其特征在于，根据该复数个像素差异值，判断出该估测区块中对应于该第一物体的该遮罩区域与对应于该第二物体的该计算区域的步骤包含有：

分析该估测区块的像素差异值的相似性分布以获得至少一高相似性区域；

将该至少一高相似性区域分别判断为该遮罩区域或该计算区域。

6.如权利要求5所述的区块比对方法，其特征在于，该至少一高相似性区域当中每一者内的所有像素的像素差异值系皆小于一第一临限值或皆大于第二临限值。

7.如权利要求6所述的区块比对方法，其特征在于，将至少一高相似性区域分别判断为该遮罩区域与该计算区域当中之一者系包括下列步骤当中至少之一者：

将像素差异值皆小于第一临限值的该高相似性区域判断为该遮罩区域；以及

将像素差异值皆大于第二临限值的该高相似性区域判断为该计算区域。

8.如权利要求1所述的区块比对方法，其特征在于，该区块比对运算系包含有：对该计算区域中的每一像素进行一绝对误差和运算、一均方误差计算或一平均绝对误差运算。

Images