CN101505419B - 一种决定移动向量的影像处理装置及其相关方法 - Google Patents

Abstract

本发明提供一种决定移动向量的影像处理装置及其相关方法。该影像处理方法，其包含下列步骤：对目标影像区块与多个参考影像区块执行移动估测以计算多个区块比对差值；从该多个区块比对差值中决定最小区块比对差值；比较最小区块比对差值及至少一参考区块比对差值以得到至少一比较结果；以及依据比较结果，选择性地参考目标影像区块的至少一邻近影像区块的移动向量来决定目标影像区块的目标移动向量或选取对应于最小区块比对差值的移动向量作为目标影像区块的目标移动向量。

Description

一种决定移动向量的影像处理装置及其相关方法

技术领域

本发明涉及一种影像处理方法，尤其是涉及一种依据所算出的区块比对差值来决定一目标移动向量的影像处理装置及其相关方法。 

背景技术

一般而言，传统的影像处理机制在估测每一目标影像区块的目标移动向量(motion vector)时直接选定一最小区块比对差值所对应的移动向量为目标移动向量，然而，在某些特殊情况下，例如是画面中出现多个相似/相同的图案(pattern)时，此传统影像处理机制可能无法决定出一较佳的移动向量来作为该目标移动向量。这是因为在此情况中，传统影像处理机制实际上会找到对应于相似/相同图案多个不同的参考影像区块，而依据所述参考影像区块与目标影像区块所产生的各别区块比对差值的数值可能相近(或者部分相同)且都相当小，所以即便可在所述区块比对差值中找出一最小差值，但是却无法保证最小差值所对应的移动向量为目标影像区块所对应的影像对象的真实移动方向，而依此方式所找出的目标移动向量即为一不可信任的移动向量；若直接参考上述所找到的目标移动向量(亦即对应于最小差值的移动向量)来进行影像插补(motion interpolation)，则极可能插补错误或降低影像画面的质量。 

发明内容

因此，本发明的目的之一在于提供一种影像处理装置及其相关方法，其可检测出与最小区块比对差值相近的区块比对差值并在检测出相近的区块比对差值时选择性地依据其它方式来决定目标移动向量，以解决上述所说的问题。 

依据本发明的实施例，其披露一种影像处理方法。该影像处理方法包含有：对一目标影像区块与多个参考影像区块执行移动估测以计算多个区块比对差值；从该多个区块比对差值中决定一最小区块比对差值；比较该最小区 块比对差值及至少一参考区块比对差值以得到至少一比较结果，其中该参考区块比对差值所对应的影像区块位置位于该最小区块比对差值的影像区块位置所对应的一第一范围之外；以及当该比较结果指示出该最小区块比对差值与该至少一参考区块比对差值的差不大于一第二参考值时，决定使用该至少一邻近影像区块的该移动向量产生该影像区块的该目标移动向量，否则，决定使用对应于该最小区块比对差值的该移动向量作为该影像区块的该目标移动向量；其中该区块比对差值所对应的参考影像区块位置为位于该最小区块比对差值的参考影像区块位置所对应的一第一范围之外，且该第一范围中任一该参考影像区块位置所对应的区块比对差值不大于一第一参考值且不小于该最小区块比对差值。 

依据本发明的实施例，其还披露一种影像处理装置。该影像处理装置包含有一移动估测电路、一比较电路与一决定电路，该移动估测电路用来对一目标影像区块与多个参考影像区块执行移动估测以计算多个区块比对差值，该比较电路耦接于该移动估测电路，用来从该多个区块比对差值中决定一最小区块比对差值并比较该最小区块比对差值及至少一参考区块比对差值以得到至少一比较结果，其中该参考区块比对差值所对应的影像区块位置位于该最小区块比对差值的影像区块位置所对应的一第一范围之外。该决定电路耦接于该比较电路，用来当该比较结果指示出该最小区块比对差值与该至少一参考区块比对差值的差不大于一第二参考值时，决定使用该至少一邻近影像区块的该移动向量产生该影像区块的该目标移动向量，否则，决定使用对应于该最小区块比对差值的该移动向量作为该影像区块的该目标移动向量；其中该区块比对差值所对应的参考影像区块位置为位于该最小区块比对差值的参考影像区块位置所对应的一第一范围之外，且该第一范围中任一该参考影像区块位置所对应的区块比对差值不大于一第一参考值且不小于该最小区块比对差值。 

附图说明

图1为本发明一实施例的影像处理装置的示意图。 

图2为图1所示的影像处理装置执行全域区块搜寻比对的范例示意图。 

图3为所算出的区块比对差值形成的等高线示意图。 

图4为另一例子中所算出的区块比对差值形成的等高线示意图。 

图5为对区块比对差值D1-Dn所形成的等高线进行剖面所得到的曲线CV的示意图。 

图6为对另一实施例的区块比对差值D1-Dn所形成的等高线进行剖面所得到的曲线CV’的示意图。 

图7为图1所示的影像处理装置的操作流程图。 

附图符号说明 

100

影像处理装置

105	移动估测电路
		110	比较电路
115	决定电路

具体实施方式

请参考图1，图1是本发明一实施例的影像处理装置100的示意图。影像处理装置100包括移动估测电路105、比较电路110与决定电路115，移动估测电路105对输入帧/图场中一目标影像区块MB及多个参考影像区块MB₁-MB_n(例如所有方向上可能的参考影像区块)执行移动估测以计算多个区块比对差值D₁-D_n并从区块比对差值D₁-D_n中决定出一最小区块比对差值D_min，其中参考影像区块MB₁～MB_n与目标影像区块MB位于不同的帧/图场。例如，请参考图2，图2是图1所示的影像处理装置100执行全域区块搜寻比对的范例示意图。如图2左半部的影像画面(帧/图场)所示，移动估测电路105对目标影像区块MB与图2右半部所示的另一影像画面(帧/图场)中的任一参考影像区块进行区块搜寻比对，举例来说，参考影像区块MB₁-MB₅分别位于图中所示的位置，移动估测电路105可依据目标影像区块MB及参考影像区块MB₁-MB₅分别算出区块比对差值D₁-D₅，本发明移动向量估测的处理方式可为找寻目标影像帧/图场的区块与在参考影像帧/图场中的最相似的方块，而搜寻范围可以是整个帧/图场，或仅在参考影像帧/图场中相对于目标区块位置的一个范围之内，而非整个帧。在考虑运算量的情形下，其中最佳相似的定义是使得两个方块的绝对值误差总和(Sum of AbsoluteDifference；SAD)最小，算法如下： 

$\mathrm{SAD}(i,j)=\underset{k-0}{\overset{N-1}{\mathrm{\Σ}}}\underset{l-0}{\overset{N-1}{\mathrm{\Σ}}}|C(x+k,y+l)-R(x+i+k,y+j+l)|-p\≤i,j\≤p$

移动向量为(m，n)，使得i＝m，j＝n时的SAD为最小， 

其中 

(1)N代表区块的长与宽； 

(2)C(x+k，y+l)代表在目标影像帧/图场中，目标影像区块中的点； 

(3)R(x+i+k，y+j+l)代表在参考影像帧/图场中，参考影像区块中的点； 

(4)p代表搜寻范围。 

比较电路110用来比较最小区块比对差值D_min以及区块比对差值D₁-D_n 中至少一参考区块比对差值以得到至少一比较结果R_comp，其中该参考区块比对差值所对应的影像区块位置位于最小区块比对差值D_min的影像区块位置所对应的一第一范围之外，亦即，比较电路110比较最小区块比对差值D_min及其影像区块位置所对应的一第一范围外的位置相关的参考区块比对差值来得到比较结果R_comp。决定电路115则依据比较结果R_comp选择性地参考目标影像区块MB的至少一邻近影像区块的移动向量来决定目标影像区块MB的目标移动向量MV，或是选取对应于最小区块比对差值D_min的移动向量作为目标影像区块MB的目标移动向量MV。 

请参考图3与图4，图3与图4分别是在不同例子中所算出的区块比对差值形成的等高线示意图，其中x轴与y轴分别代表水平向量与垂直向量。图3中落在同一虚线圈上的所述点代表所述参考区块具有相同的区块比对差值，而以本图为例，最内圈的虚线是图中所示为最靠近最小区块比对差值D_min并具有相同数值大小的多个区块比对差值，而图中所有的虚线表示出一个波谷，以及箭头所表示的方向执行区块搜寻比对以找出最小区块比对差值D_min时的方法。而在图4所示的例子中，则可发现到有两个波谷，取其剖面图可表示成图5或图6的曲线型式。以下为了说明方便，在本实施例中仅绘示出针对多个区块比对差值形成的等高线进行剖面所得到的曲线；在此并请注意到，针对等高线进行垂直剖面、水平剖面或是任一方向的剖面所得到的曲线都适用于本实施例中用来解释如何找到对应于目标影像区块MB真实移动方向的区块比对差值；以下图5与图6的曲线假设对等高线进行水平剖面所获得。 

请参考图5，其对区块比对差值D₁-D_n所形成的等高线进行剖面所得到的曲线CV的示意图，如图5所示，曲线CV实际上具有多个与最小区块比对差值D_min相近的值(例如D’、D”与D

)，换言之，依图5所示其相对应的等高线图中至少会存在四个波谷。为了能够正确地检测出这种情形，移动估测电路105先求出最小区块比对差值D_min(如图所示)，接着比较电路110由区块比对差值D₁-D_n中选出一特定区块比对差值，在本实施例中该特定区块比对差值指的是最大区块比对差值D_max。接下来比较电路110再依据该特定区块比对差值(亦即最大区块比对差值D_max)与最小区块比对差值D_min决定参考值V_ref1与V_ref2，参考值V_ref1用来界定上述第一范围所包含到的影像区块位置而参考值V_ref2用来确认是否存在与最小区块比对差值D_min相 近的区块比对差值。举例来说，本实施例将参考值V_ref1设计为D_max与D_min 的差值的四分之三，而将参考值V_ref2设计为D_max与D_min的差值的四分之一，同时设计第一范围中任一影像区块位置所对应的区块比对差值都小于或等于参考值V_ref1但不小于最小区块比对差值D_min，换言之，此时第一范围所能包括的影像区块位置最大将是差值范围R₁内所有区块比对差值所对应到的影像区块位置。若假定第一范围所包括到的所有影像区块位置分别对应于差值范围R₁内的区块比对差值，则比较电路110即是取差值范围R₁外的参考区块比对差值来与最小区块比对差值D_min进行比较以检测是否存在与最小区块比对差值D_min相近的值。在上述例子中，比较电路110实际上检测差值范围R₁外的参考区块比对差值是否低于参考值V_ref2；若差值范围R₁外存在至少一参考区块比对差值(例如图5中所示的D’、D”或D

)低于参考值V_ref2，则对应于现有所算出的最小区块比对差值D_min的移动向量即是一不可信的移动向量而不应被选定为最终的目标移动向量MV。理由是此时对应于最小区块比对差值D_min的移动向量有可能不是目标影像区块MB的影像对象的真实移动方向，代表真实移动方向的移动向量所对应的区块比对差值可能因为画面取样误差等因素而不是最小的区块比对差值。 

此外，参考值V_ref1与V_ref2的数值并非必须设计成与D_max、D_min的差值有关，亦即，参考值V_ref1与V_ref2的数值也可通过经验法则来决定或是也可预先进行设计为固定的数值，任何用来界定上述第一范围的机制以及确认是否存在与最小区块比对差值D_min相近的区块比对差值的方式都可应用于本发明中。 

关于选取第一范围外的影像区块位置所对应的参考区块比对差值(亦即差值范围R₁外的参考区块比对差值)来与最小区块比对差值D_min进行比较的理由是：避免选取到D_min邻近的区块比对差值而造成误判。例如，请参考图6，图6是对另一实施例的区块比对差值D₁-D_n所形成的等高线进行剖面所得到的曲线CV’的示意图。如图中的曲线CV’所示，实际上在计算最小区块比对差值D_min’及其相邻的区块比对差值时例如依据某一扫描线每次平移一个像素位置来逐一计算出，因此，无论影像画面中是否存在着多个相似/相同的图案，最小区块比对差值D_min’及其相邻的区块比对差值的数值通常会非常近似，所以，图1中的比较电路110会决定第一范围并且仅取第一范围外的位置所对应的区块比对差值来与最小区块比对差值D_min’进行比较以 避免误判。以图6的例子来说，例如此时的第一范围所包括的影像区块位置对应于差值范围R₁’内的区块比对差值，由于在差值范围R₁’外的数值都大于依前述方式所算出的参考值V_ref2’，因此，应可直接选取对应于最小区块比对差值D_min’的移动向量作为一影像区块的目标移动向量。然而，倘若比较电路110直接取所有的区块比对差值D₁-D_n来与最小区块比对差值D_min’进行比较而不先排除差值范围R₁’内的区块比对差值，则极有可能判断出最小区块比对差值D_min’与相邻的区块比对差值非常相似而造成将最小区块比对差值D_min’所对应的移动向量误认为一不可信的移动向量。 

对于决定电路115，以图5的曲线CV为例来说，当比较结果R_comp指示出最小区块比对差值D_min与差值范围R₁外的至少一参考区块比对差值的差小于或等于参考值V_ref2时，对应于最小区块比对差值D_min的移动向量会被判断为一不可信的移动向量，所以决定电路115会参考至少一邻近影像区块的移动向量来得到目标影像区块MB的目标移动向量MV(或是直接使用一邻近影像区块的移动向量来作为目标移动向量MV)。这是因为两邻近影像区块通常会对应到相同的影像对象，所以当最小区块比对差值D_min的移动向量不可信时可改成参考邻近影像区块的移动向量来决定目标影像区块MB的目标移动向量MV。举例来说，决定电路115可比较周围邻近影像区块的多个移动向量所对应的多个区块比对差值，从该多个区块比对差值中选出一特定区块比对差值(例如最小区块比对差值)，接着使用对应于该特定区块比对差值的移动向量来作为目标影像区块MB的目标移动向量MV；当然，其它参考邻近影像区块的移动向量来决定目标移动向量MV的方式也适用于本发明。反之，当比较结果R_comp指示出最小区块比对差值D_min与差值范围R₁外所有参考区块比对差值的差都大于参考值V_ref2时，决定电路115会决定直接使用对应于最小区块比对差值D_min的移动向量来作为目标移动向量MV。 

另外，上述所说的第一范围在其它实施例中也可直接设计为一固定的空间范围，例如是以最小区块比对差值D_min为中心的16×16的像素空间范围；此也属于本发明的范畴。再者，在另一实施例中，比较电路110也可使用参考值V_ref1与最小区块比对差值D_min作为上下限先决定出一初步的空间范围，而初步的空间范围中任一影像区块位置所对应的区块比对差值不大于参考值V_ref1且不小于最小区块比对差值D_min，接着再利用此一初步空间范围与最 小区块比对差值D_min的影像区块位置所对应的一固定空间范围(例如上述16×16的像素空间范围)来决定出一重迭的空间范围以作为该第一范围；此设计也符合本发明的精神。 

最后，为使读者可轻易了解本发明的精神，在图7中示出了图1的影像处理装置100的操作流程，其详细步骤说明如下： 

步骤400：开始。 

步骤405：依据目标影像区块MB以影像区块为基础进行全域搜寻(fullsearch)找出参考影像区块MB₁-MB_n并计算出区块比对差值D₁-D_n。 

步骤410：从区块比对差值D₁-D_n中决定出一最小区块比对差值D_min。 

步骤415：依据最大区块比对差值D_max与最小区块比对差值D_min决定出参考值V_ref1与V_ref2。 

步骤420：依据参考值V_ref1与最小区块比对差值D_min决定最小区块比对差值D_min的影像区块位置所对应的第一范围。 

步骤425：是否第一范围外的影像区块位置所对应的区块比对差值中至少有一区块比对差值小于或等于参考值V_ref2？若是，则表示对应于最小区块比对差值D_min的移动向量不可信并接着进行步骤430；反之，则进行步骤435。 

步骤430：参考至少一邻近影像区块的移动向量来得到目标影像区块MB的目标移动向量MV。 

步骤435：选取对应于最小区块比对差值D_min的移动向量作为目标影像区块MB的目标移动向量MV。 

以上所述仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变化与修饰，都应属本发明的涵盖范围。 

Claims (6)

1.一种决定移动向量的方法，其包含有：

对一目标影像区块与多个参考影像区块执行移动估测以计算多个区块比对差值；

从该多个区块比对差值中决定一最小区块比对差值；

比较该最小区块比对差值及至少一参考区块比对差值以得到至少一比较结果；以及

当该比较结果指示出该最小区块比对差值与该至少一参考区块比对差值的差不大于一第二参考值时，决定使用该目标影像区块的至少一邻近影像区块的移动向量产生该目标影像区块的该目标移动向量，否则，决定使用对应于该最小区块比对差值的移动向量作为该目标影像区块的目标移动向量；

其中该参考区块比对差值所对应的参考影像区块位置为位于该最小区块比对差值的参考影像区块位置所对应的一第一范围之外，且该第一范围中任一该参考影像区块位置所对应的区块比对差值不大于一第一参考值且不小于该最小区块比对差值。

2.如权利要求1所述的决定移动向量的方法，其中该第一参考值由该多个区块比对差值中的最大区块比对差值及最小区块比对差值所决定。

3.如权利要求1所述的决定移动向量的方法，其中该第二参考值由该多个区块比对差值中的最小区块比对差值所决定。

4.一种影像处理装置，其包含有：

一移动估测电路，用来对一目标影像区块与多个参考影像区块执行移动估测以计算多个区块比对差值，并从该多个区块比对差值中决定一最小区块比对差值；

一比较电路，耦接于该移动估测电路，用来比较该最小区块比对差值及至少一参考区块比对差值以得到至少一比较结果；以及

一决定电路，耦接于该比较电路，用来当该比较结果指示出该最小区块比对差值与该至少一参考区块比对差值的差不大于一第二参考值时，决定使用该目标影像区块的至少一邻近影像区块的移动向量产生该目标影像区块的目标移动向量，否则，决定使用对应于该最小区块比对差值的移动向量作为该目标影像区块的该目标移动向量；

其中该参考区块比对差值所对应的参考影像区块位置为位于该最小区块比对差值的参考影像区块位置所对应的一第一范围之外，且该第一范围中任一该参考影像区块位置所对应的区块比对差值不大于一第一参考值且不小于该最小区块比对差值。

5.如权利要求4所述的影像处理装置，其中该第一参考值由该多个区块比对差值中的最大区块比对差值及最小区块比对差值所决定。

6.如权利要求4所述的影像处理装置，其中该第二参考值由该多个区块比对差值中的最小区块比对差值所决定。

Images