CN108900847B - 一种基于块匹配的大范围预测方法 - Google Patents

Abstract

本发明公开了一种块匹配方法，包括：获取目标图像和模板图像，所述模板图像具有一个或多个特征点；在所述模板图像中确定搜索图像块，并在所述目标图像中确定目标图像块；对所述目标图像和模板图像进行降采样，针对于降采样后的目标图像块和搜索图像块，利用块匹配方法，在降采样后的目标图像块中找出与搜索图像块最相似的一个或多个子块；基于前一次降采样后的块匹配计算选取的最相似的一个或多个子块确定未被降采样的目标图像中的更新目标图像块，从更新目标图像块中找出最相似的块作为匹配块。

Description

一种基于块匹配的大范围预测方法

技术领域

本发明涉及计算机领域，具体而言，本发明涉及一种基于块匹配的大范围预测方法。

背景技术

在视频编码与压缩中，块匹配算法作为一种十分有用的算法，主要用在运动向量的计算和补偿等方面。块匹配的基本思想是将当前帧(也称目标图像)分割成固定大小的块，然后在参考帧中寻找最匹配的块。

在块匹配过程中，需要将目标块与搜索窗中的每一个像素块(可称为待搜索块)计算残差值，然后选择残差最小的块作为匹配块。根据残差值的计算公式可知，块匹配算法高昂的计算代价主要是来自于频繁的像素叠加计算，进而影响了块匹配的速度。

块匹配算法的改进和优化主要涉及以下3方面：搜索策略、块匹配准则和块尺寸选择，目前，搜索策略和块匹配尺寸方面改进较多，搜索策略由最初的全搜索到后来的三步搜索法(3SS)、四步搜索法(4SS)、新三步搜索法(N3SS)、新四步搜索法(N4SS)、二维对数法、菱形搜索算法(DS)等；块尺寸方面，块尺寸从16×16到8×8，再到4×4，精度单位从整像素到半像素、再到1/4 像素；块匹配准则主要有最小绝对误差和(SAD)、最小平均绝对误差(MAD)或最小均方误差(MSE)算法和最大互相关函数算法等。

目前的块匹配算法不能很好的平衡匹配精度和运算时间。比如：全搜索算法需要对搜索区内的所有点进行检测，虽然其精度高，但其计算量大；三步法、对数法等虽然计算量和运算时间大大减少，但平均误差会增加，随着块大小的减小，每个像素的平均误差减小，但块匹配次数平方倍增；菱形搜索算法，对于运动大的序列，其同等的对待搜索区域的各部分，造成较大的冗余，影响算法搜索速度。

因此本领域需要一种新型的基于块匹配的大范围预测方法，在保证匹配精度的基础上，大大的提高块匹配的速度。

发明内容

针对现有技术中存在的问题，本发明提出了一种块匹配方法，包括：

获取目标图像和模板图像，所述模板图像具有一个或多个特征点；

在所述模板图像中确定搜索图像块，并在所述目标图像中确定目标图像块；

对所述目标图像和模板图像进行降采样，针对于降采样后的目标图像块和搜索图像块，利用块匹配方法，在降采样后的目标图像块中找出与搜索图像块最相似的一个或多个子块；

基于前一次降采样后的块匹配计算选取的最相似的一个或多个子块确定未被降采样的目标图像中的更新目标图像块，从更新目标图像块中找出最相似的块作为匹配块。

在本发明的一个实施例中，所述目标图像是视频中的一帧图像，所述模版图像包含所述视频中的跟踪对象。

在本发明的一个实施例中，该方法还包括获取目标图像的前一帧图像与模板图像的变换关系，根据前一帧图像与模板图像的变换关系，将模板的特征点定位在目标图像中的位置。

在本发明的一个实施例中，所述搜索图像块是以模板图像的特征点为中心的M×N的矩形图像块，目标图像块是以所述特征点在目标图像上的定位位置为中心的(M+2dx)×(N+2dy)矩形图像块，其中，dx为目标图像块水平方向可搜索最大位移，dy为目标图像块垂直方向可搜索最大位移。

在本发明的一个实施例中，在对所述目标图像和模板图像进行降采样，针对于降采样后的目标图像块和搜索图像块，利用块匹配方法，在降采样后的目标图像块中找出与搜索图像块最相似的一个或多个子块的步骤之后，还包括一次或多次重复以下步骤：

对所述目标图像和所述模板图像进行降采样，当前降采样系数小于前一次降采样系数，基于前一次降采样后的块匹配计算选取的最相似的一个或多个子块确定当前降采样后的目标图像中的当前目标图像块；针对于当前目标图像块和当前降采样后的搜索图像块，利用块匹配方法，在当前目标图像块中找出与搜索图像块最相似的一个或多个子块。

在本发明的一个实施例中，所述块匹配方法是全搜索块匹配方法，使搜索图像块遍历目标图像块，计算目标图像块的每一子块的绝对误差和。

在本发明的一个实施例中，将绝对误差和小于阈值T1的所有子块作为最相似的一个或多个子块。

在本发明的一个实施例中，将绝对误差和最小的k个子块作为最相似的一个或多个子块。

在本发明的一个实施例中，基于前一次降采样后的块匹配计算选取的最相似的一个或多个子块确定未被降采样的目标图像中的更新目标图像块或者基于前一次降采样后的块匹配计算选取的最相似的一个或多个子块确定当前降采样后的目标图像中的当前目标图像块包括：

将前一次降采样后的块匹配计算选取的最相似的一个或多个子块映射到未被降采样的目标图像或当前降采样的目标图像中。

在本发明的一个实施例中，当前一次降采样后的块匹配计算选取的最相似的一个或多个子块为不连续的单个子块时，映射到当前目标图像后为单个子块，单个子块的尺寸不变；当前一次降采样后的块匹配计算选取的最相似的一个或多个子块中多个子块连续构成较大子块时，将其相邻块加入映射后的子块中。

附图说明

为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。

图1示出根据本发明的一个实施例的基于块匹配的大范围预测方法的流程图。

图2示出根据本发明的一个实施例的目标图像的示意图。

图3示出根据本发明的一个实施例的模板图像的示意图。

图4示出根据本发明的一个实施例的最相似的一个或多个子块映射到当前降采样的目标图像的示意图。

具体实施方式

在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。

在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。

在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。

在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。

块匹配算法是当今常用的运动预测技术，该算法不需要对图像序列进行任何预处理，只在原始图像数据上进行运算，保留了图像序列中每一帧图像的全部信息；另外，该算法原理简单，可以快速实现，因此对块匹配算法的研究一直在进行。

块匹配算法的基本思想是基于块内各像素只做相等平移运动的假设进行运动预测，将每一帧图像分割成一系列子块图像(矩形块)，然后对于当前帧或后一帧某一给定搜索范围内根据一定的匹配准则找出与当前块最相似的块，即匹配块，与当前块的相对位置计算出运动位移，所得运动位移即为当前块的运动矢量。

本发明提供一种基于块匹配的大范围预测方法，很好的平衡了块匹配的匹配精度、计算量和运算时间，通过降采样，由粗略到精细化进行多次匹配筛选。降采样又称下采样或缩小图像。即是采样点数减少。对于一幅N*M 的图像来说，如果降采样系数为k，则在原图中每行每列每隔k个点取一个点组成一幅图像。

在匹配筛选过程中，降采样由粗到细逐步精确，采用新的搜索策略和筛选方法选出下一帧预测块，直至选出最相似的块，这样能更精准的衡量两块之间的相似度，同时大大减少计算量和运算时间。

图1示出根据本发明的一个实施例的基于块匹配的大范围预测方法的流程图。

首先，在步骤110，获取目标图像和模板图像。图2示出根据本发明的一个实施例的目标图像的示意图。图3示出根据本发明的一个实施例的模板图像的示意图。如图2和图3所示，模板图像的尺寸可小于目标图像的尺寸。然而本发明的保护范围不限于此，在本发明的其他实施例中，模板图像的尺寸可与目标图像的尺寸相同或大于目标图像的尺寸。

模板图像是包含想要跟踪的一个或多个对象的图像，通过将同一对象在视频的每一帧中进行匹配，可以确定同一对象在多个视频帧中的位置，从而可获得视频帧的运动矢量。例如，一段视频中包含出现手机的多个帧，因此，将手机及其背景信息作为想要跟踪的对象，模板图像为包含该对象的图像，在后续块匹配计算中，仅将手机图像块作为搜索图像块。引入模板图像进行块匹配计算的优点在于始终以同一图像块作为跟踪对象，避免个别帧跟踪对象丢失导致后续计算错误的问题。

在步骤120，在模板图像中确定搜索图像块。

在步骤130，确定目标图像的搜索区域作为目标图像块。

在本发明的一个实施例中，可根据特征点来确定搜索图像块和目标图像块。模板图像具有一个或多个特征明显的点，在下文中，将这些点称为特征点。为了简化描述，在图3中，仅示出了一个特征点310。然而，本领域的技术人员应该理解，在实际的块匹配计算过程中，模板图像可包括两个或更多个特征点。

将视频的当前帧作为目标图像。在对目标图像进行块匹配计算之前，获取目标图像(即，当前帧)的前一帧图像与模板图像的变换关系，根据前一帧图像与模板图像的变换关系，将模板的特征点定位在目标图像中的位置 210。例如，可将模板图像的特征点为中心的M×N的矩形图像块作为搜索图像块320，dx为目标图像块水平方向可搜索最大位移，而dy为目标图像块垂直方向可搜索最大位移，则目标图像块220为以位置210为中心的(M+2dx)×(N+2dy)矩形图像块。

在本发明的其他实施例中，可通过其他方法来确定搜索图像块和目标图像块。例如，可根据搜索图像块在前一帧图像中的位置来定位当前帧目标图像块。

在步骤140，对目标图像和模板图像进行降采样，降采样系数为k1，针对于降采样后的目标图像块和搜索图像块，利用块匹配方法，在降采样后的目标图像块中找出与搜索图像块最相似的一个或多个子块。

例如，目标图像块为100×100，搜索图像块为10×10，降采样系数k1 为5，则降采样后目标图像块为20×20，搜索图像块为2×2，运用全搜索块匹配方法，使搜索图像块遍历目标图像块，计算当前帧中每一子块的绝对误差和。本领域的技术人员应该清楚，在步骤140中，块匹配还可以使用其它搜索策略、匹配准则和块尺寸。

在本发明的一些实施例中，针对特定的匹配准则，可通过设置阈值或选取 k个较小值的方法，找出与搜索图像块最相似的k个图像块。例如，当选用绝对误差和作为匹配准则时，可将绝对误差和小于阈值T1的所有子块作为与搜索图像块最相似多个子块，或者可将绝对误差和最小的k个子块作为与搜索图像块最相似k个子块。

在具体的降采样过程中，并将模板图像和目标图像块都划分成大小相等互不重叠的小矩形块，进行降采样，将每个小矩形块降采样为一个像素，以小矩形块为搜索步长，运用全搜索块匹配方法，在模板图像上移动目标图像块，计算当前帧中每一子块的绝对误差和。

在步骤150，对原目标图像和原模板图像进行降采样，当前降采样系数小于前一次降采样系数，基于前一次降采样后的块匹配计算选取的最相似的一个或多个子块确定当前降采样后的目标图像中的当前目标图像块。例如，可将前一次降采样后的块匹配计算选取的最相似的一个或多个子块映射到当前降采样的目标图像中。图4示出根据本发明的一个实施例的最相似的一个或多个子块映射到当前降采样的目标图像的示意图。如图4所示，左侧的401为前一次降采样后的目标图像，右侧的402为当前降采样后的目标图像，当子块410为不连续的单个子块时，映射到当前目标图像后为子块411，子块411的尺寸不变。当多个子块连续构成较大子块时，将其相邻块加入映射后的子块中。例如，对于两个相连子块构成的子块420，映射到当前目标图像后为子块421，增加一个相邻子块；对于三个相连子块构成的子块430，映射到当前目标图像后为子块431，增加三个相邻子块；对于四个相邻子块构成的子块440，映射到当前目标图像后为子块441，增加五个相邻子块。

针对于当前目标图像块和当前降采样后的搜索图像块，利用块匹配方法，在降采样后的目标图像块中找出与搜索图像块最相似的一个或多个子块。具体的块匹配方法与步骤140类似，为了简化说明书的描述，此处不再进一步详细描述。

在步骤160，判断是否重复执行步骤150的操作，如果需要继续重复步骤 150，则每次操作的降采样系数不断减小，直到降采样系数为1即不对原目标图像和模板图像进行降采样。

在步骤170，基于前一次降采样后的块匹配计算选取的最相似的一个或多个子块确定未被降采样的目标图像中的更新目标图像块，从更新的目标图像块中找出最相似的块作为匹配块。

本发明方法的主要技术方案是通过优化搜索策略，通过步骤140至步骤 160中不同程度的降采样，多阶段搜索匹配，不断缩小目标图像块的尺寸，实现搜索模板范围不变，减少块匹配时间来实现的。

在本发明的一些实施例中，可根据实际需要设定降采样的次数以及每次降采样的系数。

本发明公开的基于块匹配的大范围预测方法通过不同程度降采样，多次搜索匹配，能大范围预测图像运动，同时在保证匹配精确的基础上，大大的提高块匹配的速度。

尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (8)

1.一种块匹配方法，包括：

获取目标图像和模板图像，所述模板图像具有一个或多个特征点；

在所述模板图像中确定搜索图像块，并在所述目标图像中确定目标图像块；

对所述目标图像和模板图像进行降采样，针对于降采样后的目标图像块和搜索图像块，利用块匹配方法，在降采样后的目标图像块中找出与搜索图像块最相似的一个或多个子块；

基于前一次降采样后的块匹配计算选取的最相似的一个或多个子块确定未被降采样的目标图像中的更新目标图像块，从更新目标图像块中找出最相似的块作为匹配块，

其中在对所述目标图像和模板图像进行降采样，针对于降采样后的目标图像块和搜索图像块，利用块匹配方法，在降采样后的目标图像块中找出与搜索图像块最相似的一个或多个子块的步骤之后，还包括一次或多次重复以下步骤：对所述目标图像和所述模板图像进行降采样，当前降采样系数小于前一次降采样系数，基于前一次降采样后的块匹配计算选取的最相似的一个或多个子块确定当前降采样后的目标图像中的当前目标图像块；针对于当前目标图像块和当前降采样后的搜索图像块，利用块匹配方法，在当前目标图像块中找出与搜索图像块最相似的一个或多个子块，

其中当前一次降采样后的块匹配计算选取的最相似的一个或多个子块为不连续的单个子块时，映射到当前目标图像后为单个子块，单个子块的尺寸不变；当前一次降采样后的块匹配计算选取的最相似的一个或多个子块中多个子块连续构成较大子块时，将其相邻块加入映射后的子块中。

2.如权利要求1所述的方法，其特征在于，所述目标图像是视频中的一帧图像，所述模板图像包含所述视频中的跟踪对象。

3.如权利要求1所述的方法，其特征在于，还包括获取目标图像的前一帧图像与模板图像的变换关系，根据前一帧图像与模板图像的变换关系，将模板的特征点定位在目标图像中的位置。

4.如权利要求1所述的方法，其特征在于，所述搜索图像块是以模板图像的特征点为中心的M×N的矩形图像块，目标图像块是以所述特征点在目标图像上的定位位置为中心的(M+2dx)×(N+2dy)矩形图像块，其中，dx为目标图像块水平方向可搜索最大位移，dy为目标图像块垂直方向可搜索最大位移。

5.如权利要求1所述的方法，其特征在于，所述块匹配方法是全搜索块匹配方法，使搜索图像块遍历目标图像块，计算目标图像块的每一子块的绝对误差和。

6.如权利要求5所述的方法，其特征在于，将绝对误差和小于阈值T1的所有子块作为最相似的一个或多个子块。

7.如权利要求5所述的方法，其特征在于，将绝对误差和最小的k个子块作为最相似的一个或多个子块。

8.如权利要求1所述的方法，其特征在于，基于前一次降采样后的块匹配计算选取的最相似的一个或多个子块确定未被降采样的目标图像中的更新目标图像块或者基于前一次降采样后的块匹配计算选取的最相似的一个或多个子块确定当前降采样后的目标图像中的当前目标图像块包括：

将前一次降采样后的块匹配计算选取的最相似的一个或多个子块映射到未被降采样的目标图像或当前降采样的目标图像中。

Images