CN101860746A - 移动估测方法 - Google Patents

Abstract

本发明公开了一种移动估测方法，可保持对搜寻区域的范围中全部可能的搜寻区块进行全面搜寻，且同时以理论值N倍的速率加速移动估测的计算过程，并减少计算时所占用的内存资源。移动估测方法包含下列步骤：(a)从第一画面撷取比对窗口；(b)从第二画面撷取搜寻区块，搜寻区块包含复数个搜寻区块，每一搜寻区块与比对窗口的大小相同；(c)选取其中一个搜寻区块，并以搜寻区块所包含的像素数据与比对窗口所包含的像素数据进行差异计算，进而得到对应N个不同搜寻区块的N个总差异值；以及(d)至少根据该N个总差异值，找出对应比对窗口的移动向量。

Description

移动估测方法

技术领域

本发明涉及一种移动估测方法，尤指一种加快运算速度与减少硬件成本的移动估测方法。

背景技术

移动估测(motion estimation)是一种广泛应用于影像处理领域中的技术，用以决定一图像相对于其邻近影像画面中相似或相同图像的移动向量。许多新颖的视讯编码电路(例如与H.26x或MPEG协议兼容的系统)通常会采用移动估测来协助于不同影像画面中找出图像间的相似性，进而达到影像压缩等应用功能。

移动估测系用以找出一个最适当的移动向量(motion vector)，来表示某一将进行比对的图像区块(比对窗口)在两个不同画面之间的相对位移。请参阅图1，图1为先前技术中移动向量V的示意图。如图1所示，移动向量V可以用来表示先前画面与目前画面之间，对应某图像区块的水平及垂直位移的向量(如图1中的向量V)。

目前影像处理的技术中，主要透过区块比对的方法来找出移动向量。请参阅图2，图2为先前技术中移动估测方法的示意图。如图2所示，移动估测方法用以比对第一画面(frame)10以及第二画面12。在第一画面10中先撷取特定的比对窗口(matching window)100，其大小可以例如是16*16、16*8、8*16、8*8、8*4、4*8或是4*4画素单元(pixel)。于图2中，以4*4的比对窗口100为例。

接着在第二画面12中，撷取一个搜寻区域(searching area)120，搜寻区域120中可定义出复数个搜寻区块(searching block)，例如图2中的搜寻区块1200a、1200b。每一个搜寻区块的大小与比对窗口100相同。例如于图2中，搜寻区域120的大小为8*10，而每一搜寻区块大小为4*4。

接着移动估测方法分别将搜寻区域120中的每一个搜寻区块与比对窗口100进行比对，对单一个搜寻区块求得单一个差异值，最后找出最小的差异值以得出最相似的搜寻区块。藉此，得到对应比对窗口100的移动向量。

在传统的全面搜寻算法(full search algorithm)中，第一影像中的比对窗口会被拿来和第二影像中的搜寻区域中的所有可能的搜寻区块逐一比较。全面搜寻的优点在于具有单纯的数据处理程序以及精确的比对结果。

然而，传统的移动估测方法，其全面且逐一搜寻的算法需要大量的运算资源，例如需要大量的缓存器以容纳比对中的比对窗口以及搜寻区块的影像信息。此外，逐一比对每一个可能的搜寻区块亦使运算处理的过程复杂且耗费时间。尤其当搜寻区域变大时，运算处理所需的时间也跟着增加。

另一方面，先前技术中的移动估测方法亦有部分不采用全面搜寻算法，其采用的算法并非对搜寻区域中所有的搜寻区块进行总差异值计算，仅以跳跃或选取部分的搜寻区块进行比对，而仅得到部分搜寻区块的总差异值，即藉以判断移动向量。藉此，虽加速移动估测的流程，但却导致移动向量的精确度下降。

为了解决上述问题，本发明提出一种移动估测方法，可以加速移动估测流程且节省运算处理所需的资源，另一方面亦可保有全面搜寻的特性，避免牺牲搜寻的精准度，以解决上述问题。

发明内容

本发明所要解决的技术问题是提供一种移动估测方法，可保持对搜寻区域的范围中全部可能的搜寻区块进行全面搜寻，且同时以理论值N倍的速率加速移动估测的计算过程，并减少计算时所占用的内存资源。

为了解决以上技术问题，本发明提供了如下技术方案：

本发明提供了一种移动估测方法，适于对视讯做运算处理，该视讯包含第一画面及第二画面。

根据一具体实施例，移动估测方法包含下列步骤：

(a)从第一画面撷取比对窗口；

(b)从第二画面撷取搜寻区域，搜寻区域包含复数个搜寻区块，每一搜寻区块与比对窗口的大小相同；

(c)从该些搜寻区块中选取其中一个搜寻区块，并以选取的搜寻区块所包含的像素数据与比对窗口所包含的像素数据进行差异计算，进而于进行单一个搜寻区块的差异计算中，同时得到对应N个不同搜寻区块的N个总差异值，N系为大于1的整数；以及

(d)至少根据该N个总差异值，找出对应比对窗口的移动向量。

于此实施例中，搜寻区域一共可包含M*N个搜寻区块，上述方法对单一搜寻区块完成差异计算。此外，本发明的移动估测方法可反复执行步骤(c)M次来完成对搜寻区域中的M个搜寻区块进行差异计算，以得到对应M*N所有搜寻区块的M*N个总差异值。进而对所有的总差异值进行比较，于所有的搜寻区块中找出对应该比对窗口的最小差异搜寻区块。如此一来，便能得知于第一画面与第二画面之间对应比对窗口的移动向量。

本发明采用的的移动估测方法中，在单一次的比对窗口与单一搜寻区块的比对中，可同时得到对应N个总差异值，此N个总差异值可分别对应N个不同搜寻区块。藉此，本发明的移动估测方法可保持对搜寻区域的范围中全部可能的搜寻区块进行全面搜寻，且同时以理论值N倍的速率加速移动估测的计算过程，并减少计算时所占用的内存资源。

关于本发明的优点与精神可以藉由以下的发明详述及所附图式得到进一步的了解。

附图说明

图1为先前技术中移动向量的示意图。

图2为先前技术中移动估测方法的示意图。

图3为根据本发明的第一具体实施例中移动估测方法的方法流程图。

图4(a)至图4(e)为第一具体实施例中第一画面以及第二画面的示意图。

图5为根据本发明的第二具体实施例中第一画面以及第二画面的示意图。

图6为根据本发明的第三具体实施例中移动估测方法的方法流程图。

图7(a)至图7(d)为第三具体实施例中第一画面以及第二画面的示意图。

【主要组件符号说明】

10、20、30、40：第一画面

12、22、32、42：第二画面

100、200、300、400：比对窗口

120、220、320、420：搜寻区域

1200a、1200b、2200、2200a、2200b：搜寻区块

2200c、3200、4200、4200a、4200b：搜寻区块

200s、300s、400s1、400s2：比对窗口取样区间

2200a1、2200a2、3200s1：搜寻区块取样区间

3200s2、3200s3、4200as：搜寻区块取样区间

V：移动向量

S100～S114、S200～S214：步骤

具体实施方式

图3为根据本发明的第一具体实施例中移动估测方法的方法流程图。

于此实施例中，移动估测方法适用于一视讯的影像分析处理，此视讯可包含第一画面及第二画面。于实际应用中，此处的第一画面以及第二画面可为不同时间点、不同影像来源或其它本质上相似或相异的两组画面。本发明的移动估测方法用以在两组画面中找出对应某个影像区块(比对窗口)的移动向量，藉此可以得知该影像区块在两个不同画面间的相对移动关系。

请一并参阅图4(a)至图4(e)，图4(a)至图4(e)为第一具体实施例中第一画面20以及第二画面22的示意图。如图4(a)所示，首先本发明的移动估测方法执行步骤S100，从第一画面20中撷取比对窗口200。接着执行步骤S102，从第二画面22撷取搜寻区域220。于此实施例中，搜寻区域220包含复数个搜寻区块2200，每一搜寻区块2200与该比对窗口200的大小相同。

于此实施例中，为方便说明，图四中的比对窗口200系包含4*4个画素数据，而每一个搜寻区块2200亦包含4*4个画素数据，搜寻区域220共包含9*11个画素数据，搜寻区域220共包含6*8＝48个不同的搜寻区块2200，但本发明并不以此为限。

接着本发明的移动估测方法执行步骤S104，在搜寻区域220所包含的复数个搜寻区块中，选取其中一个搜寻区块，举例来说，此时首先选取的区块为搜寻区块2200a(如图4(b)所示)。

接着，执行步骤S106从比对窗口200选定比对窗口取样区间200s(如图4(c)所示)。接着执行步骤S108于目前选取的搜寻区块2200a中定义2个搜寻区块取样区间(如图4(c)中的搜寻区块取样区间2200a1、2200a2)，每一搜寻区块取样区间与比对窗口取样区间200s的大小相同。

接着，执行步骤S110将每一搜寻区块取样区间2200a1、2200a2分别与比对窗口取样区间200s作差异计算，进而得到分别对应两个搜寻区块取样区间2200a1、2200a2的两个总差异值。

其中，上述步骤S110中的差异计算可为绝对差之和(sum of absolutedifferences，SAD)计算或为绝对转换差之和(sum of absolutetransformed differences，SATD)计算。于此实施例中，比对窗口取样区间200s与搜寻区块取样区间2200a1之间的差异计算以绝对差之和计算为例，进一步包含下列步骤：

1)将比对窗口取样区间200s的画素数据及搜寻区块取样区间2200a1的画素数据分别储存至不同的缓存器；

2)对应搜寻区块取样区间2200a1，将搜寻区块取样区间2200a1的复数个画素数据分别与该比对窗口取样区间200s的复数个画素数据相减取绝对值，得到复数个差异值；以及

3)将所有计算而得的差异值相加，得到对应搜寻区块取样区间2200a1的总差异值。

另一方面，搜寻区块2200a中的另一个搜寻区块取样区间2200a2，亦可经过相同的SAD计算流程得到对应搜寻区块取样区间2200a2的总差异值。

在上述的差异计算流程中，因每次计算仅对比对窗口200中的一半的画素与每一个搜寻区块取样区间进行比对，故不需要将比对窗口200中所有的画素数据都存入缓存器，相较于习知的方法，本发明仅需一半数量的缓存器以对应储存比对窗口取样区间200s的画素数据。

请一并参阅图4(d)。经过上述对单一个搜寻区块2200a的差异计算流程，可得对应搜寻区块取样区间2200a1的总差异值以及对应搜寻区块取样区间2200a2的另一个总差异值。其中对应搜寻区块取样区间2200a1的总差异值，即可等效视为对应搜寻区块2200a的总差异值。另一方面，对应搜寻区块取样区间2200a2计算而得的总差异值，则可等效视为对应另一个搜寻区块2200b的总差异值(如图4(d)所示)。也就是说，透过对单一个搜寻区块2200a的差异计算流程，可等效得到对应两个搜寻区块2200a、2200b的总差异值。

本发明的移动估测方法，接着执行步骤S112，判断是否已得到对应搜寻区域220中所有搜寻区块的总差异值。于此实施例中，目前已得到对应两个搜寻区块的总差异值，故可回到步骤S104，选取下一次比对的搜寻区块(如图4(e)中的搜寻区块2200c)，重复执行步骤S104至S110，直到得到对应所有搜寻区块的总差异值。于此实施例中，搜寻区域220共包含6*8＝48个不同的搜寻区块2200(如图4(a)所示)，于此实施例中，每一次步骤S104至S110的流程可得到对应两个搜寻区块2200的总差异值，也就是说，以习知方法需要重复48次区块比对计算，而利用本发明只需重复24次计算流程(步骤S104至S110)，即可等效计算完成48个(24*2)不同搜寻区块的总差异值计算。

接着，本发明的移动估测方法可执行步骤S114，根据上述步骤所得的48个总差异值，找出对应比对窗口200的移动向量。例如于实际应用中，可将48个总差异值排序得出最小的总差异值，藉此得知与第一画面20中比对窗口200差异最小的搜寻区块，进而依据此最相似的搜寻区块与比对窗口200的相对位置关系，得到对应比对窗口200于第一画面20以及第二画面22之间的移动向量。

需特别说明的是，于此实施例中，步骤S106系选定原先比对窗口200中一半的画素数据作为比对窗口取样区间200s，但本发明并不限定画素数据为原本的一半，且亦不限定画素数据的排列位置。

请参阅图5。图5为根据本发明的第二具体实施例中第一画面30以及第二画面32的示意图。于此第二具体实施例中，比对窗口300包含4*6个画素数据，而每一搜寻区块3200亦包含4*6个画素资料，其中与第一具体实施例最大不同之处在于，从比对窗口300选定比对窗口取样区间300s的步骤中，第二具体实施例从比对窗口300以垂直间隔方式选取1/3的画素作为比对窗口取样区间300s。另一方面，在选取的搜寻区块3200中可定义共3个搜寻区块取样区间3200s1、3200s2、3200s3，也就是说，在第二具体实施例中，对单一个搜寻区块3200与比对窗口300的差异比对流程中，可一次得到等效对应3个不同搜寻区块的总差异值。

也就是说，当搜寻区域共包含M*N个搜寻区块时，透过本发明的移动估测方法，可在单一次搜寻区块与比对窗口的差异计算中得到对应N个搜寻区块的总差异值(N为大于1的整数，例如在第一实施例中N＝2，在第二实施例中N＝3)，一共通过M次选取搜寻区块的差异比对流程，即可完成全数M*N子搜寻区域的差异比对。

也就是说，本发明的移动估测方法，透过调整搜寻区块中比对画素的个数，可以在单一次的搜寻区块与比对窗口的差异比对流程中得到对应N个不同搜寻区块的总差异值，藉此可以达到理论值N倍的移动估测流程加速效果，且因比对的画素减少，使差异计算所需使用的缓存器可进一步减少至原本的1/N的数量。于实际应用中，比对画素的个数与移动估测流程加速倍数的可根据运算所需的精确程度、对运算速度的需求、硬件缓存器的数量以及使用者或设计上的需求而调整。

另一方面，取样区间的分布亦不限于先前实施例中的间隔直线取样，其分布亦可为块状、点状、斜线等分布样式。

请参阅图6，图6为根据本发明的第三具体实施例中移动估测方法的方法流程图。于此实施例中，移动估测方法适用于视讯的影像分析处理，此视讯可包含第一画面40及第二画面42。本发明的移动估测方法用以计算某个影像区块在两个不同画面间的相对移动关系。

请一并参阅图7(a)至图7(d)，图7(a)至图7(d)为第三具体实施例中第一画面40以及第二画面42的示意图。如图7(a)所示，首先本发明的移动估测方法执行步骤S200，从第一画面40中撷取比对窗口400。接着执行步骤S202，从第二画面42撷取搜寻区域420。于此实施例中，搜寻区域420包含复数个搜寻区块4200，每一搜寻区块4200与该比对窗口400的大小相同。接着执行步骤S204，在搜寻区域420所包含的复数个搜寻区块中，选取其中一个搜寻区块4200a。

与先前第一具体实施例的最大不同之处在于，于第三具体实施例中，移动估测方法接着执行步骤S206，从搜寻区块4200a中选定搜寻区块取样区间4200as(如图7(c)所示)。接着执行步骤S208，于比对窗口400中定义两个比对窗口取样区间400s1、400s2，每一比对窗口取样区间与搜寻区块取样区间4200as的大小相同。

也就是说，于第三具体实施例中，本发明先对搜寻区块4200a进行取样，例如于此实施例中比对画素的个数为搜寻区块4200a中全部画素的1/2。随后，于比对窗口400中相对应产生两组用来比对的取样区间。透过这样的过程，移动估测方法仅需将搜寻区块取样区间4200as的画素数据以及比对窗口取样区间400s1、400s2的画素数据储存至缓存器中，可以节省运算所需的缓存器。

接着，执行步骤S210将搜寻区块取样区间4200as分别与两个比对窗口取样区间400s1、400s2作差异计算以分别得到两个总差异值，其中对应比对窗口取样区间400s1的总差异值可等效视为搜寻区块4200a的总差异值，而对应比对窗口取样区间400s2的总差异值可等效视为搜寻区块4200b的总差异值(如图7(d)所示)。藉此，步骤S210可分别产生对应两个搜寻区块4200a、4200b的两个总差异值。而第三具体实施例中其它详细的流程步骤以及差异计算的方法与先前实施例所述大致相同，故在此不另赘述。

综合来说，在本发明的移动估测方法中，在单一次的比对窗口与搜寻区块的比对中，可得到N个总差异值，此N个总差异值分别对应N个不同的搜寻区块。藉此，本发明的移动估测方法可保持对搜寻区域的范围中全部的搜寻区块进行全面比对，使移动估测的计算速度加快N倍，并减少计算时所占用的内存资源。

藉由以上较佳具体实施例的详述，系希望能更加清楚描述本发明的特征与精神，而并非以上述所揭露的较佳具体实施例来对本发明的范畴加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明权利要求的范畴内。

Claims (12)

1.一种移动估测方法，适用于一视讯，该视讯包含一第一画面及一第二画面，其特征在于，该方法包含下列步骤：

(a)从该第一画面撷取一比对窗口；

(b)从该第二画面撷取一搜寻区域，该搜寻区域包含复数个搜寻区块，每一搜寻区块与该比对窗口的大小相同；

(c)从该些搜寻区块中选取一搜寻区块，并以该选取的搜寻区块所包含的像素数据与该比对窗口所包含的像素数据进行差异计算，进而于进行单一个搜寻区块的差异计算中，同时得到对应N个不同搜寻区块的N个总差异值，N系为大于1的整数；以及

(d)至少根据该N个总差异值，找出对应该比对窗口的一移动向量。

2.如权利要求1所述的移动估测方法，其特征在于，更包含有：

(e)重复步骤(c)来完成对M个搜寻区块进行差异计算，以得到对应所有搜寻区块的总差异值，M系为大于等于1的整数；且

该步骤(d)更包含有：

(d1)根据所有搜寻区块的总差异值，找出对应该比对窗口的该移动向量；

其中该搜寻区域中搜寻区块的个数系为M*N。

3.如权利要求1所述的移动估测方法，其特征在于，步骤(c)进一步包含下列步骤：

(c1)从该比对窗口选定一比对窗口取样区间；

(c2)于该搜寻区块中定义N个搜寻区块取样区间，每一搜寻区块取样区间与该比对窗口取样区间的大小相同；以及

(c3)将每一搜寻区块取样区间分别与该比对窗口取样区间作差异计算，进而得到对应N个搜寻区块的N个总差异值。

4.如权利要求3所述的移动估测方法，其特征在于，该比对窗口取样区间及该搜寻区块分别包含复数个画素资料，其中该步骤(c 1)进一步包含下列步骤：

(c11)将该比对窗口取样区间的复数个画素数据及该搜寻区块的复数个画素数据分别储存至不同的缓存器。

5.如权利要求3所述的移动估测方法，其特征在于，该比对窗口取样区间包含复数个画素数据，该复数个搜寻区块取样区间包含复数个画素资料，其中步骤(c3)进一步包含下列步骤：

(c31)对应每一搜寻区块取样区间，将其复数个画素数据分别与该比对窗口取样区间的复数个画素数据进行差异计算，得到复数个差异值；以及

(c32)根据该复数个差异值，得到该对应每一搜寻区块的该总差异值。

6.如权利要求5所述的移动估测方法，其特征在于，该复数个搜寻区块取样区间与该比对窗口取样区间之间的差异计算为一绝对差之和。

7.如权利要求5所述的移动估测方法，其特征在于，该复数个搜寻区块取样区间与该比对窗口取样区间之间的差异计算为一绝对转换差之和。

8.如权利要求1所述的移动估测方法，其特征在于，步骤(c)进一步包含下列步骤：

(c1)从该搜寻区块选定一搜寻区块取样区间；

(c2)于该比对窗口中定义N个比对窗口取样区间，每一比对窗口取样区间与每一搜寻区块取样区间的大小相同；以及

(c3)将该搜寻区块取样区间分别与该N个比对窗口取样区间作差异计算，进而得到对应N个搜寻区块的N个总差异值。

9.如权利要求8所述的移动估测方法，其特征在于，每一搜寻区块取样区间及该比对窗口分别包含复数个画素数据，其中该步骤(c1)进一步包含下列步骤：

(c11)将该搜寻区块取样区间的复数个画素数据及该比对窗口的复数个画素数据分别储存至不同的缓存器。

10.如权利要求8所述的移动估测方法，其特征在于，该比对窗口取样区间包含复数个画素数据，每一搜寻区块取样区间包含复数个画素资料，其中步骤(c3)进一步包含下列步骤：

(c31)对应每一比对窗口取样区间，将其复数个画素数据分别与每一搜寻区块取样区间的复数个画素数据进行差异计算，得到复数个差异值；以及

(c32)根据该复数个差异值，得到该对应每一搜寻区块取样的该总差异值。

11.如权利要求10所述的移动估测方法，其特征在于，该复数个比对窗口取样区间与每一搜寻区块取样区间之间的差异计算为一绝对差之和。

12.如权利要求10所述的移动估测方法，其特征在于，该复数个比对窗口取样区间与每一搜寻区块取样区间之间的差异计算为一绝对转换差之和。

Images