CN102088542A - 层级式运动估算方法 - Google Patents

Abstract

本发明提供了一种以多层实施之层级式运动估算方法。本层级式运动估算方法是用于估算画面的运动向量。画面在第一层分成多个区块，而第一层的各区块在第二层又分成若干个区块。本方法包括为第二层之特定区块选定在第一层的参考区块，并藉由参考第一层之参考区块的运动向量来决定第二层之特定区块的搜寻范围，第一层之参考区块的运动向量为已知。藉由利用此种方法，可快速且精确估算画面的运动向量。

Description

层级式运动估算方法

技术领域

本发明涉及影像处理，特别是有关于一种用以快速而准确计算运动向量的运动估算方法。

背景技术

运动估算 (Motion Estimation; ME) 是一种用在影像压缩、影像辨识等方面的技术，以增进视讯的画面率 (frame rate)。藉由利用运动估算，可估算一特定区块在两个画面之间的运动向量 (Motion Vector; MV)，以排除运动影像的画面之间的时间冗余，从而增进影像质量。

利用运动估算进行影像译码不需要每个区块的运动向量都是正确的。然而，对于画面率上转换 (Frame Rate up-Conversion; FRC)，画面的每个区块的运动向量都必须是正确的，以使动作影像能顺畅显示。

近年来，随着液晶屏幕被广泛使用，FRC技术变得很重要。FRC技术是提升视讯的画面率以排除动作模糊以及影片晃动的现象。举例而言，藉由利用FRC，影片原始视讯的画面率可以从60Hz提升到120Hz甚至到240Hz。为了达到高画面率，必须计算额外的画面。如所述，可藉由利用运动估算计算原始画面之间的正确运动向量。额外的画面则利用运动向量内插于原始画面之间。

为了快速且正确地估算原始画面之间的运动向量，是在运动估算上应用动态搜寻范围以使高分辨率视讯编码可实时完成。动态搜寻范围亦可应用于FRC以节省计算时间及成本。

图1A显示一画面分割成九个区块A至I。在此例中，区块E为欲估算之当前区块。根据先前技术，对于当前区块E而言，搜寻范围是参考区块A、B、C、D而决定，这些区块A、B、C、D的运动向量已经计算过。从这些周围区块找出在X轴与Y轴方向的最大运动向量分量MVmX,、MVmY。当前区块E的搜寻范围是由这些最大运动向量分量MVmX,、MVmY决定。这些计算可表示为：

      BlockMVE → BlockMVA, BlockMVB, BlockMVC, BlockMVD              (1)

      MVmX = max{abs(MVAX), abs(MVBX), abs(MVCX), abs(MVDX)}      (2)

      MVmY=max{abs(MVAY), abs(MVBY), abs(MVCY), abs(MVDY)}        (3)

有时搜寻范围可稍微扩展δ：

      MVEX 之搜寻范围= MVmX + δ       (4); 及

      MVEY之搜寻范围 = MVmY + δ      (5).

当当前区块的运动向量与周围区块的运动向量非常不同时，运动估算会发生错误。图1B显示该展示画面之各区块的运动向量。于此情形中，举例而言，当前区块5的运动向量明显大于周围区块1、2、3及4的运动向量，后者非常小。举例而言，此种状况会发生在当一个对象在趋近静态的背景中快速移动，或是在运动的对象边缘有较大的运动向量变化。可以想见，藉由利用太小的搜寻范围估算当前区块，会导致错误的运动向量。因此，如果能提供更精确的运动估算方法将是符合需求的。

发明内容

有鉴于上述现有技术之问题，本发明之目的是在提供层级式运动估算方法。运动估算以若干层实行。藉由利用此种方法，画面的运动向量能快速且精确估算。

根据本发明，层级式运动估算方法是用于估算画面的运动向量。此画面在第一层被分成若干区块，而第一层的各区块在第二层又被分成若干个区块。本方法包括为第二层之特定区块在第一层选定参考区块；以及藉由参考第一层之参考区块决定第二层之特定区块的搜寻范围。在这些步骤之前，第一层的参考区块之运动向量已经以第一分辨率加以估算。

如果第一层为本方法中的最低层，亦即，没有具有已知运动向量的先前层可以参考，则第一层的各区块之运动向量是以第一分辨率利用全搜寻范围估算。

在决定第二层之特定区块的搜寻范围之后，利用所决定的搜寻范围以第二分辨率估算该特定区块的运动向量。第二分辨率是高于第一分辨率。于本发明之实施例中，第一分辨率为第二分辨率的四分之一。

附图说明

图1A显示一画面分成九个区块，而图1B显示该展示画面之各区块的运动向量。

图2概略显示根据本发明之层级式运动估算方法之各层的搜寻范围。

图3显示根据本发明一画面在层k与层k-1分成多个区块。

图4显示画面上一特定区块的全搜寻范围与动态搜寻范围。

图5显示根据本发明之层级式运动估算方法的流程图。

图6A与6B显示根据本发明之利用动态搜寻范围的运动向量估算方法的流程图。

具体实施方式

本发明提供一种层级式运动估算方法。图2概略显示根据发明之层级式运动估算方法各层的搜寻范围。

根据本方法，运动估算是以若干层执行。在最低层，整个画面粗分为大区块。最低层的每个区块其运动向量是以低分辨率而利用全搜寻范围计算。因此，由于分辨率很低，最低层的实际搜寻范围有限。

以图2所示以三层执行运动估算的情况来说，各层的各区块之最大可容许搜寻范围将利用参数p与q加以说明。如所示，如果最高层—层0的最大搜寻范围在X轴方向为±p，在Y轴方向为±q，则各区块的最大复杂度为 (2p+1)×(2q+1)。于层1，由于层1的分辨率是层0的1/4，故在X轴方向的最大搜寻范围为±p/2，在Y轴方向为±q/2。则各区块的最大复杂度为(p+1)×(q+1)。于层2，由于层的分辨率是层0的1/16，故在X轴方向的最大搜寻范围为±p/4，在Y轴方向为±q/4。则各区块的最大复杂度为(p/2+1)×(q/2+1)。对于每个区块而言，如果藉由参考先前层之运动向量所决定的动态搜寻范围超过其最大搜寻范围，则当前区块的最终搜寻范围被选定为该最大搜寻范围而非如正常状况下的动态搜寻范围。运动估算所消耗的时间正比于各区块之搜寻范围的平方。于本发明中，虽然运动估算以例如三层实行，与现有技术使用全搜寻相比，各层的计算量很小，因此能迅速完成运动估算。此外，对于较高层而言，各区块的运动向量是参考较低层的估算运动向量加以估算，故可估算精确的最终运动向量。稍后将详加说明。

举例而言，对于1366×768的画面而言，现有技术使用全搜寻需要的搜寻范围以X方向与Y方向表示为 (±32, ±18)。如果藉由图2之三层执行运动估算，最高层执行运动估算的最大搜寻范围为 (±32, ±18)，中间层执行运动估算的最大搜寻范围为 (±16, ±9)，最低层执行运动估算的最大搜寻范围为 (±8, ±4)，此乃由于中间层的分辨率为最低层的四倍，而最高层的分辨率为中间层的四倍。首先在最低层（亦即第一层—层2）以全搜寻（亦即整个画面的所有区块）在最大搜寻范围 (±8, ±4) 执行运动估算，该最低层的分辨率为341×192，为原始分辨率1366×768的1/16。如所示，实际搜寻范围在一个维度仅为原始全搜寻范围的1/4。由于分辨率很低，计算不会那么复杂，即使对整个画面进行计算仍可快速完成。

第二层（亦即层1）的运动估算是在最大搜寻范围 (±16, ±9) 以较高的分辨率683×384执行。在第二层—层1，第一层的各区块被进一步分成四个区块。第二层—层1每个区块的动态搜寻范围是基于最低层（亦即层2）所估算的运动向量而决定。应注意的是，该动态搜寻范围不应超过如前所述最开始决定的最大搜寻范围。在最高层（亦即第三层—层0），各区块的动态搜寻范围是基于层1所估算的运动向量决定，且最大搜寻范围是依据正常分辨率设定为 (±32, ±18)。

图3显示一画面10根据本发明在层k与层k-1被分成若干个区块。于此图中，层k显示于左侧，而层k-1显示于右侧。于层k，画面10分成九个区块A至I。于本实施例中，假设层k为最低层，且因此各区块的运动向量是以低分辨率利用全搜寻范围估算。举例而言，第二行第二列之区块E的运动向量为 (3, 1)，亦即 MVk(2, 2) = (3, 1)。层k各区块的最大搜寻范围为 (±8, ±4)。

于层k-1，画面10之各区块是进一步分成四个区块。亦即，整个画面10在层k-1分成36个区块。举例而言，区块E分成四个区块a至d。对于当前区块a（亦即第三行第三列之区块）而言，其运动向量MVk-1(3, 3) 是藉由搜寻估算，其动态搜寻范围是藉由参考先前层—层k的相关区块而决定。于本发明中，用于估算层k-1之区块a之运动向量的搜寻范围SR可藉由参考层k最近的四个区块的运动向量而决定，这些区块包括在层k之对应区块（亦即坐标(2, 2) 之区块E，相邻区块（亦即坐标 (2, 1) 与 (1, 2) 的区块D与B）以及对角区块（亦即坐标 (1, 1) 的区块A）。其可表示为：

              SRk-1(x, y)→MVk(x1, y1), MVk(x2, y2), MVk(x3, y3), MVk(x4, y4)  (6)

       其中当前层之特定区块的坐标为 (x, y)；先前层的四个参考区块分别具有坐标 (x1, y1)、(x2, y2)、(x3, y3) 及 (x4, y4)，x1至x4以及y1至y4是根据下列表示式决定：

              Δx = -2*(x MOD 2) + 1 及 Δy = -2*(y MOD 2) + 1       (7)

              x1 = [x/2],         y1 = [y/2]                   (8), 

       其中 [] 表示上整数函数 (ceiling function)，而MOD表示取模运算 (modulo operation)。

              x2 = [x/2] +Δx,   y2 = [y/2]                (9)

              x3 = [x/2],         y3 = [y/2]+Δy            (10)

              x4 = [x/2] +Δx,   y4 = [y/2] +Δy            (11)

       如上列表示式可推导者，对于层k-1之区块a而言，x＝3且y＝3，区块a之搜寻范围SR k-1(3, 3) 可藉由参考区块A、B、D、E的运动向量决定，其可表示为：

              SRk-1(3, 3) → MVk(2, 2), MVk(1, 2), MVk(2, 1), MVk(1, 1)      (12)

       根据本发明，区块a的搜寻范围SRa（亦即 SRk-1(3, 3)）是藉由最大X方向运动向量分量MVmX以及最大Y方向运动方向分量MVmY决定。

              MVmX= max{abs(3), abs(1), abs(1), abs(1)} = 3             (13)

              MVmY= max{abs(1), abs(0), abs(0), abs(-1)} = 1            (14)

       于本实施例中，层k的分辨率为层k-1的1/4。因此，为计算动态范围SR，各最大运动向量分量应乘以2。此外，该搜寻范围可在各维度稍加扩展一个因子δ，其可为0或是正整数。于本实施例中，δ是选定为1，因此区块a之X方向的搜寻范围SRaX以及Y方向的搜寻范围SRaY为：

              SRaX= 3 × 2 + δ = 3 × 2 + 1 = 7           (15)

              SRaY= 1 × 2 + δ = 1 × 2 + 1 = 3           (16)

       亦即，对于区块a来说，X方向的动态范围为± 7，Y方向为± 3。因此，有105个区块要比对 ((14+1) × (6+1) = 105)。区块a的全搜寻范围SRaf为 (±16, ±9)，因此有627个区块要比对。藉由利用本发明之方法，于本例中可节省83.2％的时间。

图4显示画面上一特定区块之全搜寻范围与动态搜寻范围。对于区块a左上角50来说，全搜寻范围54为 (±16, ±9)，明显大于动态搜寻范围52，其为 (±7, ±3)。

由于层k之区块A至I的正确运动向量可以取得，可依据层k的运动向量有效决定层k-1之各区块的正确趋势。如所述，层k-1之区块a的动态搜寻范围SRa是藉由层k之区块A、B、D及E的运动向量而决定。同理，层k-1之区块b的动态搜寻范围SRb是藉由层k之区块B、C、E及F的运动向量而决定。层k-1之区块c的动态搜寻范围SRc是藉由层k之区块D、E、G及H的运动向量而决定。层k-1之区块d的动态搜寻范围SRd是藉由层k之区块E、F、H及I的运动向量而决定。为了取得更准确的运动向量，动态搜寻范围可在各个维度以一个因子δ稍加扩展，该因子δ为0或正整数。当δ为0时，表示搜寻范围并未向外扩展。

上述方法可参照图5总结，图5为显示根据本发明之层级式运动估算方法的流程图。该方法于步骤S10开始。于步骤S20，判定当前层（亦即欲估算的区块所在的层）是否为第一层。如是，各区块的运动向量是以全搜寻范围估算（步骤S30）。如上所述，由于第一层的分辨率很低，即使使用全搜寻范围来估算运动向量也不会花费太多时间。如否，表示当前层为更高层，则以动态搜寻范围实行运动估算（步骤S40）。于步骤S50，判定当前层是否为最末层或是当前层之分辨率是否为最高分辨率。如是，则于步骤S60结束运动估算流程，否则，流程即返回步骤S40。

以动态搜寻范围实行之运动估算将参照图6A与图6B进一步说明，图6A与6B显示根据本发明的利用动态搜寻范围决定之运动向量估算方法 （即图5所示之步骤S40）。本过程开始于步骤S102。于步骤S104，当前层（其非是最低层）的一个区块是选定为当前区块（例如层k-1的区块a）。于当前层中，各区块是将先前层的区块进一步分割而界定。举例而言，如果当前层为层k-1，则层k-1的区块是藉由将先前层—层k的各区块分割成四个区块而得。此时，尚未计算当前层—层k-1中所选定的当前区块。亦尚未决定用于估算该当前区块之运动向量的动态搜寻范围。于步骤S106，从先前层—层k中决定相对于该当前区块的参考区块（例如区块A、B、D及E）。在参照图3叙述的实施例中，选定区块a之先前层（亦即层k）的参考区块为四个区块A、B、D及E，其是由上列表示式 (7) 至 (11) 决定。如所述，参考区块的运动向量为已知，因为先前层的运动估算已经利用全搜寻范围或动态搜寻范围完成。如果先前层为最低层，则是利用全搜寻范围以低分辨率完成运动估算。

于步骤S108，由步骤S106决定的这些参考区块中在X方向与Y方向最大的运动向量分量是决定为：

              MVmX = max{abs(4_block_MVX)}    (17)

              MVmY = max{abs(4_block_MVY)}    (18)

于步骤S110，所选定区块的动态搜寻范围是藉由利用参考区块的最大运动向量分量而决定。该动态搜寻范围SR是决定为X方向与Y方向的量，可表示为SRX及SRY如下：

              SRX = MVmX × 2 + δ            (19)

              SRY = MVmY × 2 + δ             (20)

如所述，当计算动态搜寻范围时，由于先前层的分辨率是当前层的1/4，故先前层的参考区块之最大运动向量分量应分别乘以2。

于步骤S112与步骤S116，检查X方向与Y方向的动态搜寻范围量SRX及SRY是否分别超过临界值max_SRX及max_SRY。这些临界值max_SRX及max_SRY是如前所述在一开始从最大搜寻范围得出。如果动态搜寻范围SRX超过临界值max_SRX，则将动态搜寻范围SRX设定为该临界值max_SRX（步骤S114）。如果动态搜寻范围SRY超过临界值max_SRY，则将动态搜寻范围SRY设定为该临界值max_SRY（步骤S118）。亦即，当所决定的动态搜寻范围超过最大搜寻范围时，强迫动态搜寻范围 (±SRX, ±SRY) 等于最大搜寻范围 (±max_SRX, ±max_SRY)，该最大搜寻范围是依据当前层的分辨率决定。如果动态搜寻范围值并未超过这些临界值，则于步骤S120在该动态搜寻范围中执行所选定之当前区块的区块匹配。亦即，利用成本函数 (cost function) 在所决定的动态搜寻范围内估算所选定之当前区块的运动向量，成本函数可为MSE（均方误差）、SAD（绝对误差和）函数等等。于步骤S122，储存当前区块之最佳估算运动向量，且程序返回至步骤S104以估算下一区块的运动向量。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。 

Claims (11)

1.一种层级式运动估算方法，用于以若干层估算一画面的运动向量，该画面在先前层分成若干个区块，且先前层之各区块于当前层又被分成若干个区块，其特征在于：该方法包含：

    针对当前层的一个特定区块在先前层选定参考区块；以及

    藉由参考先前层之这些参考区块的运动向量而决定当前层之该特定区块的搜寻范围，

    其中这些参考区块的运动向量是已以一先前分辨率估算出。

2.根据权利要求1所述的方法，其特征在于：当前层之该特定区块的该搜寻范围是藉由参考先前层之这些参考区块的运动向量在X方向与Y方向的最大运动向量分量而决定。

3.根据权利要求1所述的方法，其特征在于：当前层之该特定区块的该搜寻范围是在X方向与Y方向进一步扩展一因子δ，该因子δ为等于或大于零的整数。

4.根据权利要求1所述的方法，其特征在于：在先前层之各区块是在当前层分成四个区块。

5.根据权利要求1所述的方法，其特征在于：在先前层之这些参考区块包括相对于在当前层之该特定区块最接近的四个区块。

6.根据权利要求5所述的方法，其特征在于：在先前层之这些参考区块分别具有坐标(x1, y1)、(x2, y2)、(x3, y3) 及 (x4, y4)，x1 至 x4 及 y1 至 y4是根据以下表示式决定：

              Δx = -2*(x MOD 2) + 1 且 Δy = -2*(y MOD 2) + 1;

              x1 = [x/2], y1 = [y/2];

              x2 = [x/2] +Δx, y2 = [y/2];

              x3 = [x/2], y3 = [y/2]+Δy;

              x4 = [x/2] +Δx, y4 = [y/2] +Δy, 

       其中当前层之该特定区块的坐标为 (x, y)，且[]表示上整数函数，而MOD表示取模运算。

7.根据权利要求5所述的方法，其特征在于：在先前层之这些参考区块包括在先前层对应于当前层之该特定区块的第一区块、相邻于第一区块的第二与第三区块、以及和第一区块成对角并在第二与第三区块之间的第四区块。

8.根据权利要求1所述的方法，其特征在于：给该先前层为该方法中之最低层，则该先前层之各区块的运动向量是以该先前分辨率利用全搜寻范围估算，该先前分辨率是设定为最低分辨率，该全搜寻范围是基于该最低分辨率决定。

9.根据权利要求1所述的方法，其特征在于：尚包含利用所决定的搜寻范围，以一当前分辨率估算该当前层之该特定区块的运动向量，该当前分辨率是高于该先前分辨率。

10.根据权利要求9所述的方法，其特征在于：该先前分辨率为当前分辨率的四分之一。

11.根据权利要求1所述的方法，其特征在于：当所决定的搜寻范围超过一最大搜寻范围时，强制该当前层之所决定的搜寻范围等于该最大搜寻范围，该最大搜寻范围是基于该当前层之当前分辨率所决定。

Images