CN102238375A - 十字形搜索方法和装置 - Google Patents

Abstract

本发明涉及一种十字形搜索方法及其装置。该方法包括以下步骤：选择一初始点为当前中心点，基于利用初始十字模板选择的点分别计算接近度，找到接近度最大的最大点；如果最大点不是当前中心点，根据最大点与当前中心点的相对位置确定主搜索方向，然后以该最大点作为当前中心点，应用变形十字模板；之后，判断基于利用变形十字模板选择的主搜索方向上的点计算的接近度上升幅度是否超过一阈值：若超过该阈值，省略次搜索方向上的计算，继续沿主搜索方向搜索下一接近度最大的点；否则，基于次搜索方向上的点计算接近度，从而搜索下一接近度最大的点。通过利用搜索路径在主搜索方向上的概率较大的特点，有助于减少次搜索方向上的计算。

Description

十字形搜索方法和装置

技术领域

本发明涉及视频编码中的运动搜索算法，尤其是涉及对十字形搜索方法的改进。

背景技术

运动搜索算法是视频编码中的重要模块，它寻找当前编码帧中宏块在参考帧中的相对匹配位置(如图1所示)，这个匹配块相对宏块原位的偏移称为运动矢量。编码器随后用当前宏块和匹配块做减法生成残差块，最后对残差块进行编码。运动搜索减少了视频在空间上的冗余，表现在残差块的复杂度和量值下降，从而视频能够得到高效的压缩。

运动搜索过程通常也是视频编码中最为耗时的部分，这是由运动搜索的实现决定的。一个宏块的运动搜索的一般过程是：第一步，根据“算法”在参考帧中当前宏块的对应位置附近指定区域中寻找一个相同大小块；第二步，将这个块和参考宏块依据某种准则进行比较，比较结果表征这两者的接近度，或者说两者之差的复杂度；第三步，根据“算法”继续第一步，或者退出循环到第四步；第四步，输出上述过程中复杂度最小的块。这其中的比较准则通常是用两个块的所有像素差值绝对值求和(SAD)的方法，其运算规模通常是宏块大小，即16×16。这一个宏块的总的比较次数是由这个“算法”决定的。因此改进运动搜索算法，减少比较次数，能够有效地降低运动搜索部分的计算耗时。

十字形搜索算法是目前较为快速的一种运动搜索算法，通常效果也比较理想。十字形搜索算法主要包含两套搜索模板，以应对不同的图像情况。每个模板由几个点组成，表示每步搜索需要考虑的搜索点。其中，对于运动较小的图像，采用小十字模板进行搜索；对运动较大的图像，根据转移的路径采用变形十字，即水平十字或垂直十字模板进行搜索。另外还有一个大十字模板，用于进行初始时判定采用的搜索模式。

十字形搜索概要过程如下：第一步，在初始位置出发用大十字模板，对模板上5个点位进行SAD计算，如果发现中心点最小，则认为运动较小，用小十字模板进行搜索，转到第二步；否则认为运动幅度较大，如果最小点位于中心点左右两侧，则用相应的水平十字模板，如是上下侧，则采用相应的垂直十字模板，转到第三步。第二步，用小十字模板进行搜索，直到找到目标点。第三步，进行水平或垂直模板搜索，直到找到目标点。

十字形搜索算法具有搜索点数少的特点，其优势在于它将主搜索方向上的搜索步长适当拉长，从而降低SAD计算的次数，但它仍需要对与该方向垂直的两侧，即次搜索方向上的点进行计算。然而当物体水平或垂直速度较快，运动矢量较大时候，运动矢量向两侧偏移的概率不高，因此这些点的计算就可能成为冗余，额外增加了运动搜索部分的计算耗时。

发明内容

本发明所要解决的技术问题是提供一种十字形搜索方法和装置，通过减少十字形算法中次搜索方向的点的计算进一步降低搜索的耗时。

本发明为解决上述技术问题而采用的技术方案是提出一种十字形搜索方法，包括以下步骤：

a.选择一初始点为当前中心点，基于利用初始十字模板选择的点分别计算接近度，找到接近度最大的第一最大点；

b.如果该第一最大点不是当前中心点，根据第一最大点与当前中心点的相对位置确定主搜索方向；

c.以该第一最大点作为当前中心点，应用变形十字模板，该变形十字模板在主搜索方向上的步距大于在垂直于主搜索方向的次搜索方向上的步距；

d.判断基于利用变形十字模板选择的主搜索方向上的点计算的接近度上升幅度是否超过一阈值：

若超过该阈值，省略次搜索方向上的计算，继续沿主搜索方向搜索下一接近度最大的点；

否则，基于次搜索方向上的点计算接近度，从而搜索下一接近度最大的点。

在本发明一实施例中，在步骤b中，如果第一最大点是当前中心点，则以该第一最大点作为当前中心点应用小十字模板，以搜索下一接近度最大的点，该小十字模板的搜索步距小于该初始十字模板的搜索步距。

在本发明一实施例中，步骤c中继续沿主搜索方向搜索下一接近度最大的点之后还包括：清除次搜索方向偏好；该次搜索方向偏好记录基于次搜索方向上的点计算接近度时优先选择的一个次搜索方向。

在本发明一实施例中，步骤c中计算基于次搜索方向上的点的接近度包括：根据次搜索方向偏好优先选择一个次搜索方向上的点，通过判断基于该次搜索方向上的点计算的接近度是否大于基于主搜索方向上的点的接近度和基于当前中心点的接近度来确定是否以该次搜索方向作为主搜索方向。

在本发明一实施例中，如果基于该次搜索方向上的点计算的接近度不小于基于主搜索方向上的点的接近度和基于当前中心点的接近度，或者该次搜索方向偏好为空，则在当前中心点该主搜索方向上的点、该次搜索方向上的点、以及另一次搜索方向上的点中找到接近度最大的第二最大点，其中：如果该第二最大点是当前中心点，则以该第二最大点作为当前中心点应用小十字模板，以搜索下一接近度最大的点；如果该第二最大点是其中一次搜索方向上的点，则以该次搜索方向作为主搜索方向，继续搜索下一接近度最大的点；如果该第二最大点是该主搜索方向上的点，则继续沿主搜索方向搜索下一接近度最大的点。

在本发明一实施例中，当以该次搜索方向作为主搜索方向之后，还包括根据之前的主搜索方向更新该次搜索方向偏好。

在本发明一实施例中，该初始十字模板在所有搜索方向上的步距相等。并且，该小十字模板在所有搜索方向上的步距相等。

在本发明一实施例中，计算该接近度的方法包括像素差值绝对值求和算法。

本发明另提出一种十字形搜索装置，包括：

用于选择一初始点为当前中心点，基于利用初始十字模板选择的点分别计算接近度，以找到接近度最大的第一最大点的装置；

用于如果该第一最大点不是当前中心点，根据第一最大点与当前中心点的相对位置确定主搜索方向的装置；

用于以该第一最大点作为当前中心点，应用变形十字模板的装置，该变形十字模板在主搜索方向上的步距大于在垂直于主搜索方向的次搜索方向上的步距；

用于判断基于利用变形十字模板选择的主搜索方向上的点计算的接近度上升幅度是否超过一阈值的装置；

用于若主搜索方向上的点计算的接近度上升幅度超过该阈值，省略次搜索方向上的计算，继续沿主搜索方向搜索下一接近度最大的点的装置；以及

用于若主搜索方向上的点计算的接近度上升幅度不超过该阈值，基于次搜索方向上的点计算接近度，从而搜索下一接近度最大的点的装置。

本发明的上述技术方案，基于传统十字形算法，将变形十字形搜索分成主搜索方向和次搜索方向，建立次搜索偏好，以区分和利用搜索中这些方向的不同盖然性。在搜索过程中根据每一步的情况，对后续搜索转移方向进行试探和预测，并随时更新次搜索偏好等状态，达到削减不必要的匹配检查点，减少计算量的目的。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1示出运动搜索算法的原理。

图2(a)示出十字形搜索算法的大十字模板。

图2(b)示出十字形搜索算法的小十字模板。

图2(c)示出十字形搜索算法的水平十字模板。

图2(d)示出十字形搜索算法的垂直十字模板。

图3示出本发明一实施例的搜索示意图。

图4A和图4B示出本发明一实施例的方法流程。

图5示出本发明一实施例的详细流程。

具体实施方式

一般地说，本发明期望通过减少十字形算法中次搜索方向的点的接近度计算来进一步降低搜索的耗时。当十字形算法应用初始十字模板在当前点(亦即中心点)上、下、左、右其中一侧找到接近度最大的点时，确定了由中心点指向最大点的方向为“主搜索方向”。应用变形十字模板(水平十字模板和垂直十字模板)，以该最大点为中心点，其中沿中心点前进步长为2像素的方向为主搜索方向，而与之垂直的两个步长较短的单像素转移方向为次搜索方向。参考图3，以水平十字模板为例，当从之前的中心点(右侧虚线点)前进到当前的中心点(图中黑点)时，黑点的右侧点即主搜索方向上的点(后文简称主搜索点)，箭头表示主搜索方向，而黑点的上下两点为两个次搜索方向上的点(后文称次搜索点)。

较佳地，定义“次搜索方向偏好”：当考虑次搜索方向时，优先使用的次搜索方向。也就是说，进行水平次搜索时，“次搜索方向偏好”确定向左侧还是右侧搜索，及在垂直次搜索时，“次搜索方向偏好”向上方还是下方搜索。

在选定了主搜索方向后，如果主搜索方向的接近度继续上升，并且上升幅度和上次上升幅度之比大于一个阈值时，认为继续沿主搜索方向搜索是合理的，从而不必计算次搜索点。

如果主搜索点的接近度下降不能满足上述要求，那么再检查一个或两个次搜索点，具体是一个或两个点取决于次搜索方向偏好的存在与否和实际的比较结果。次搜索方向偏好可由之前的搜索路径决定。通过采用次搜索方向偏好，可忽略对另一个次搜索点的计算。

因此，主搜索方向和次搜索方向偏好共同预示了最有可能的搜索路径，有助于减少搜索点的计算。

通常，使用两个块的所有像素差值绝对值求和(Sum of absolute differences，SAD)的方法来计算所涉及的以某个点为中心的两个宏块之间的接近度。SAD值越小，表明宏块之间的接近度越大。然而可以理解，本发明的实施并不依赖于特定的接近度计算方式。

图4A示出本发明一实施例的方法流程。参照图4A所示，在步骤S100，首先选择一初始点为当前中心点，利用初始十字模板——一般选择各个搜索方向上搜索步长相等的大十字模板——选择周围的4个点。大十字模板的示例可参照图2(a)所示。基于中心点和所选择的周围4点分别计算接近度，找到其中接近度最大的点，在此称第一最大点。

在步骤S102，判断第一最大点是否是当前中心点，如果是，则简单地在步骤S104，以该第一最大点作为当前中心点应用小十字模板，以搜索下一接近度最大的点。在此，小十字模板的搜索步距小于初始的十字模板的搜索步距，当大十字模板的搜索步距为2像素时，小十字模板的搜索步距可以是如图2(b)所示的1像素。如果第一最大点不是当前中心点，在步骤S106根据第一最大点与当前中心点的相对位置确定主搜索方向。例如，若第一最大点在当前中心点的右侧，则向右则是主搜索方向。

在步骤S108，以第一最大点为当前中心点，应用变形十字模板，例如前述的水平十字模板或垂直十字模板。

在步骤S110，判断基于利用变形十字模板选择的主搜索方向上的点计算的接近度上升幅度是否超过一阈值。若超过该阈值，流程认为当前的搜索方向是合适的，在步骤S112继续沿主搜索方向搜索下一接近度最大的点，而省略次搜索方向上的计算，然后返回步骤S106。反之，在步骤S114基于次搜索方向上的点计算接近度，从而搜索下一接近度最大的点。在本实施例中，可向使用者提供一个输入接口，根据不同的应用场合所需来设定前述阈值。

较佳地，在本实施例中引入次搜索方向偏好来减少在步骤S114中进行的次搜索方向上的计算。尽管如此，本发明的实施例可包括直接进行两个次搜索方向上的计算的例子。

参照图4B，步骤S114可包括：

步骤S116，确定是否存在次搜索方向偏好，如果存在，进入步骤S118，根据次搜索方向偏好优先选择一个次搜索方向上的点。例如“向上”，分别基于该次搜索方向上的点、主搜索方向上的点、以及当前中心点这3个点来计算接近度，并判断基于所选的次搜索方向上的点计算的接近度是否是3个点中最小的，如果是，则在步骤S 120确定以该次搜索方向为主搜索方向。然后，在步骤S122，根据之前的主搜索方向更新次搜索方向偏好。例如，主搜索方向已由之前的“向右”更改为“向上”，则更新后的次搜索方向偏好是之前的主搜索方向“向右”。

在步骤S124，如果基于该次搜索方向上的点计算的接近度不小于基于主搜索方向上的点的接近度和基于当前中心点的接近度，或者该次搜索方向偏好为空，则在当前中心点该主搜索方向上的点、该次搜索方向上的点、以及另一次搜索方向上的点中找到接近度最大的点，其中：

如果该最大点是当前中心点，则跳转到步骤S104，以该最大点为当前中心点应用小十字模板，以搜索下一接近度最大的搜索点；

如果该最大点是主搜索方向上的点，则跳转到步骤S106，继续沿主搜索方向搜索下一接近度最大的搜索点；

如果该最大点是其中一次搜索方向上的点，则跳转到步骤S120，以该次搜索方向为主搜索方向，继续搜索下一接近度最大的搜索点。并在步骤S122，根据之前的主搜索方向更新该次搜索方向偏好(即之前的主搜索方向作为新的次搜索方向偏好)。

在引入了次搜索方向偏好之后，在步骤S112之后还执行步骤S113，清除次搜索方向偏好。

图5示出根据本发明一实施例的详细流程。在该实施例中，以像素差值绝对值求和算法作为计算接近度的示例。参照图5所示，在步骤S0，应用了大十字模板，典型的大十字模板是由中心点和其上下左右与之相隔2个像素的四个点组成，如图2(a)所示。分别比较基于中心点、水平、垂直四个方向上相距2像素的四个点计算的接近度。在步骤S1，寻找接近度最大的点；在下列的说明中以SAD值来衡量接近度，SAD值越小，接近度越大。如果中心点的SAD值，认为运动较小，进入步骤S2，应用小十字模板。

典型的小十字模板是由中心点和其相邻的上下左右四个点组成。小十字模板的搜索过程如图2(b)所示：设初始点在黑色点位置，针对其周围相邻4点和本身进行SAD值计算，如发现右侧点SAD值最小，于是第二步转向以右侧点为中心做小十字模板，此时只需计算其上下和右侧点的SAD值，发现其上方点的SAD值最小，于是中心点转向该上方点，以此类推。最后在考虑图中黑色的标号为3的点时，发现其周围4点的SAD值都比它大，于是输出该点，搜索结束。

若中心点的SAD值不是最小，则SAD值最小的点(后文称最小点)在其水平、垂直方向上相距2像素的一点，因此从步骤S3开始应用变形十字模板。在此，根据最小点相对中心点的位置，选择水平十字模板或者垂直十字模板。在模板中，选取最小点为新中心点，原有中心点指向新中心点的方向为主搜索方向，与主搜索方向垂直的方向为次搜索方向。

参照图2(c)所示，典型的水平十字模板由中心点、其左右与之相隔2个像素的两点和其上下与之相邻的两点组成，即中心点为黑色的1号点，周围四个点为标号为3的点和阴影的1号点。

参照图2(d)所示，典型的垂直十字模板由中心点、其左右与之相邻的两点和其上下与之相隔2个像素的两点组成，即中心点为黑色的1号点，周围四个点为标号为3的点和阴影的1号点。

传统上，水平和垂直十字模板必须计算中心点、周围3个点的SAD值，以找到最小点。以图2(c)为例，假设中心点是刚从阴影的1号点转换到黑色的1号点，则三个为标号为3的点都必须进行计算。本实施例的下述步骤通过主搜索方向和次搜索方向偏好来减少在某些点上的计算。

继续到步骤S4并参照图3，沿主搜索方向观察，如主搜索点(右侧点)的SAD值继续下降，且下降率超过一阈值，则继续沿主搜索方向进行搜索(步骤S5，即把本次的检测点作为中心点)，并且解除次搜索方向偏好(步骤S6)，返回步骤S4；否则转到步骤S8。在此，阈值取2倍大于上次的下降率。然而，可向使用者提供一个接口，来设定这一阈值。次搜索方向偏好有三种状态，初始状态为空，另外二种状态分别代表不同的次搜索方向。解除次搜索方向偏好意味着将偏好清空。

从步骤S8开始进行次搜索方向上的处理。首先判断次搜索方向偏好是否存在，如是进入步骤S9，否则进入步骤S11。

在步骤S9，如果次搜索方向偏好指定的次搜索点的SAD值小于当前中心点、主搜索点的SAD值，那么在步骤S10以该次搜索方向为主搜索方向，中心点改为这一次搜索点，在步骤S16更改次搜索方向偏好后，返回步骤S4。否则，跳转到步骤S11。

在步骤S11，观察两个次搜索点和主搜索点，如果当前中心点SAD值不大于这三个点，则进入到步骤S18，取当前中心点的小十字模板区域中最小点作为输出目标，结束。如果未满足当前中心点SAD值不大于其余三个点，进入步骤S12。

在步骤S12，如果SAD值的顺序是：次搜索点1＜主搜索点≤次搜索点2，那么在步骤S13，以次搜索方向1为主搜索方向，否则进入步骤S14进一步判断，如果SAD值顺序为：次搜索点2＜主搜索点＜次搜索点1，那么在步骤S15，以次搜索方向2为主搜索方向；否则在步骤S17，保持原主搜索方向，返回步骤S4。在步骤S13和S15之后，在步骤S16更新次搜索方向偏好，返回步骤S4。

更新次搜索方向偏好举例如下：例如改动前的主搜索方向是水平的某个方向(如向右)，那么水平次搜索偏好应该改为这个方向。

综上所述，本发明的上述实施例通过引入主搜索方向和次搜索方向偏好以区分和利用搜索中这些方向的不同盖然性，减少了搜索过程中的比较次数。本发明主要使用比较逻辑判断，计算量小，便于软件实现；并且，基于通用的算法，和周边模块耦合度小，不影响计算用硬件实现，适用于不同的运动搜索应用场合。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (10)

1.一种十字形搜索方法，包括以下步骤：

a.选择一初始点为当前中心点，基于利用初始十字模板选择的点分别计算接近度，找到接近度最大的第一最大点；

b.如果该第一最大点不是当前中心点，根据第一最大点与当前中心点的相对位置确定主搜索方向；

c.以该第一最大点作为当前中心点，应用变形十字模板，该变形十字模板在主搜索方向上的步距大于在垂直于主搜索方向的次搜索方向上的步距；

d.判断基于利用变形十字模板选择的主搜索方向上的点计算的接近度上升幅度是否超过一阈值：

若超过该阈值，省略次搜索方向上的计算，继续沿主搜索方向搜索下一接近度最大的点；

否则，基于次搜索方向上的点计算接近度，从而搜索下一接近度最大的点。

2.如权利要求1所述的十字形搜索方法，其特征在于，在步骤b中，如果第一最大点是当前中心点，则以该第一最大点作为当前中心点应用小十字模板，以搜索下一接近度最大的点，该小十字模板的搜索步距小于该初始十字模板的搜索步距。

3.如权利要求1所述的十字形搜索方法，其特征在于，步骤c中继续沿主搜索方向搜索下一接近度最大的点之后还包括：清除次搜索方向偏好；该次搜索方向偏好记录基于次搜索方向上的点计算接近度时优先选择的一个次搜索方向。

4.如权利要求1所述的十字形搜索方法，其特征在于，步骤c中计算基于次搜索方向上的点的接近度包括：

根据次搜索方向偏好优先选择一个次搜索方向上的点，通过判断基于该次搜索方向上的点计算的接近度是否大于基于主搜索方向上的点的接近度和基于当前中心点的接近度来确定是否以该次搜索方向作为主搜索方向。

5.如权利要求4所述的十字形搜索方法，其特征在于，如果基于该次搜索方向上的点计算的接近度不小于基于主搜索方向上的点的接近度和基于当前中心点的接近度，或者该次搜索方向偏好为空，则在当前中心点该主搜索方向上的点、该次搜索方向上的点、以及另一次搜索方向上的点中找到接近度最大的第二最大点，其中：

如果该第二最大点是当前中心点，则以该第二最大点作为当前中心点应用小十字模板，以搜索下一接近度最大的点；

如果该第二最大点是其中一次搜索方向上的点，则以该次搜索方向作为主搜索方向，继续搜索下一接近度最大的点；

如果该第二最大点是该主搜索方向上的点，则继续沿主搜索方向搜索下一接近度最大的点。

6.如权利要求4或5所述的十字形搜索方法，其特征在于，当以该次搜索方向作为主搜索方向之后，还包括根据之前的主搜索方向更新该次搜索方向偏好。

7.如权利要求1所述的十字形搜索方法，其特征在于，该初始十字模板在所有搜索方向上的步距相等。

8.如权利要求1所述的十字形搜索方法，其特征在于，该小十字模板在所有搜索方向上的步距相等。

9.如权利要求1所述的十字形搜索方法，其特征在于，计算该接近度的方法包括像素差值绝对值求和算法。

10.一种十字形搜索装置，包括：

用于选择一初始点为当前中心点，基于利用初始十字模板选择的点分别计算接近度，以找到接近度最大的第一最大点的装置；

用于如果该第一最大点不是当前中心点，根据第一最大点与当前中心点的相对位置确定主搜索方向的装置；

用于以该第一最大点作为当前中心点，应用变形十字模板的装置，该变形十字模板在主搜索方向上的步距大于在垂直于主搜索方向的次搜索方向上的步距；

用于判断基于利用变形十字模板选择的主搜索方向上的点计算的接近度上升幅度是否超过一阈值的装置；

用于若主搜索方向上的点计算的接近度上升幅度超过该阈值，省略次搜索方向上的计算，继续沿主搜索方向搜索下一接近度最大的点的装置；以及

用于若主搜索方向上的点计算的接近度上升幅度不超过该阈值，基于次搜索方向上的点计算接近度，从而搜索下一接近度最大的点的装置。

Images