CN110634154B - 一种面向速度大范围变化目标跟踪的模板匹配方法 - Google Patents

Abstract

本发明公开了一种面向速度大范围变化目标跟踪的模板快速匹配方法，读取跟踪目标的矩形模板，获取模版在初始帧图像中的位置；读取匹配图像，采用惯性估计法预估目标在当前匹配图像中的位置；依据接近目标判别准则判断该预估位置是否接近当前匹配图像中目标所在位置，若接近，则将该位置设为搜索初始起点，否则采用离散抽样法确定搜索初始起点；依据搜索初始起点与模板的归一化方差设定搜索初始步长，采用三步搜索法确定目标在当前匹配图像中的具体位置并输出结果。本发明为有效的实现运动速度大范围变化的动态目标实时跟踪提供了完整的解决方案，在视觉检测、动态目标跟踪、智能交通、视频监控、视觉大数据等领域均具有推广价值。

Description

一种面向速度大范围变化目标跟踪的模板匹配方法

技术领域

本发明涉及计算机视觉目标跟踪与位移测量技术领域，特别是一种面向速度大范围变化目标跟踪的模板快速匹配方法。

背景技术

模版匹配是一种在一幅图像中寻找与给定模板最相似子图像的技术，在视觉检测、动态目标跟踪、智能交通、视频监控、视觉大数据等领域有着广泛的应用。模板匹配的基本思想为：给定模板图像和匹配图像，采用某一相似度判别方法，在匹配图像中寻找与模板图像最相似的位置。相似度判别和搜索准则是模版匹配技术的两大基本要素；常见的相似度判别方法包括方差匹配法、归一化方程匹配法、相关性匹配法、归一化互相关匹配法等，这些相似度判别方法各有特点，计算量和精度大体相当；因此，搜索准则是模板匹配方法性能最为关键的影像因素。

模版匹配的搜索准则大体可分为两类：1、全局搜索匹配：计算匹配图像中所有子图像与模板图像的相似度，和模板最为相似的子图像即是模板的匹配位置；2、快速搜索匹配：从某一搜索起点出发(通常是上一帧图像中目标所在位置)，按照一定的准则和终止条件逐步搜索模板的最佳匹配位置，如三步搜索法、菱形搜索法、基于混沌粒子群的搜索算法等。第一类方法适用于目标做各种尺度运动的情况，鲁棒性强，但需要计算匹配图像中所有子图像与模板的相似度，执行需要较长的时间，不能满足目标实时跟踪的要求。第二类方法运算速度快，但容易陷入局部极值，目标运动过程位移过大或过小都不能实现目标的有效跟踪，鲁棒性差。

早期由于图像采集系统分辨率较低，且模板匹配技术大都只用于运动速度在一定范围内的目标跟踪，第一类搜索准则和第二类搜索准则存在的问题在工程实际中均不太明显。近年，随着计算机视觉技术的快速发展，测试图像的分辨率越来越高，模版匹配的应用场合也趋向于多样化。寻找一种实时性好且适用于多尺度运动目标跟踪的模板匹配方法已成为一个亟待解决的问题。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种面向速度大范围变化目标跟踪的模板快速匹配方法，有效的实现运动速度大范围变化的动态目标实时跟踪。

为解决上述技术问题，本发明所采用的技术方案是：一种面向速度大范围变化目标跟踪的模板快速匹配方法，包括以下步骤：

1)读取跟踪目标的矩形模板，获取矩形模板在初始帧图像中的位置；

2)读取第i帧匹配图像，预估目标在当前匹配图像中的位置；

3)依据接近目标判别准则判断该预估位置是否接近当前匹配图像中目标所在位置；若接近，则将该位置设为搜索初始起点；否则采用离散抽样法确定搜索初始起点；

4)依据搜索初始起点与模板的归一化方差设定搜索初始步长，确定目标在当前匹配图像中的具体位置并输出结果；

5)重复步骤2)～4)直到完成所有帧匹配图像的模板匹配。

步骤2)中，当i＝1时，预估目标在当前匹配图像位置为目标在初始帧图像中的位置；当i＝2时，预估目标在当前匹配图像位置为目标在第1帧匹配图像中的位置；当i>2时，采用惯性估计法预估目标在当前匹配图像中的位置；惯性估计法具体实现过程为：若已得到与模板匹配的子图像原点在第i-1帧匹配图像中坐标为(xo_i-1，yo_i-1)，在第i-2帧匹配图像中坐标为(xo_i-2，yo_i-2)，则预估与模板匹配的子图像原点在第i帧匹配图像中坐标

为：

其中，INT(·)为取整函数，Cx_inertia、Cy_inertia分别为x方向和y方向的惯性常数，均在区间[0.7,1.4]范围内取值；

分别为i帧匹配图像中目标位置的x方向和y方向惯性预测残期望值。

其中，Ax和Ay分别为x方向和y方向的运动状态时变常数，均在区间[0.2,3]中取值；

和

为预估的与模板匹配子图像原点在第i-1帧匹配图像中坐标。

步骤3)中，所述接近判别准则具体实现过程为：设当前待判别的位置原点坐标为(xo_v，yo_v)，则若以(xo_v，yo_v)为原点提取的宽为N，长为M子图像与模板的归一化方差R_tk≤S_hR_n，且以(xo_v，yo_v+0.2M)、(xo_v+0.2N，yo_v)、(xo_v，yo_v-0.2M)、(xo_v-0.2N，yo_v)为原点的四个子图像中至少1个与模板的归一化方差R_tk≤S_hR_n，则判定该待判别位置接近当前匹配图像中目标所在位置，否则判定该待判别位置不接近当前匹配图像中目标所在位置；其中，N、M分别为模板的宽和长，N、M为正整数，0＜N＜W，0＜M＜H，W、H分别为匹配图像的宽和长；W、H分别为匹配图像的宽和长；R_n为初始帧图像中任意r个和模板重合ci％的子图像与模板归一化方差中的最小值，S_h为环境修正系数，S_h在区间[0.6,2]中取值，r取区间[2,8]中的整数，ci在区间[60,95]中取值。

步骤3)中，采用离散抽样法确定搜索初始起点的具体实现过程包括：

1)将离散抽样步长SL设置为INT(0.7×N)和INT(0.7×M)中的小值；离散抽样步数j初始化为1；

2)若惯性估计法预估模版在当前匹配图像中原点坐标为

若

中不存在横坐标在[0,W-N+1]内且纵坐标在[0,H-M+1]内的点,则将本次离散抽样开始以来得到的最小归一化方差对应的子图像设为搜索初始起点，本次离散抽样结束；否则以这些点中横坐标在[0,W-N+1]内且纵坐标在[0,H-M+1]内的点为原点，提取宽度为N、长度为M的子图像，转到下一步；

3)计算各子图像与模板的归一化方差R_tk，若这些归一化方差中最小值R_tkm对应的子图像满足接近目标判别准则，则将该子图像设为搜索初始起点，本次离散抽样结束；否则转到下一步；

4)令j＝j+1，转到步骤2)。

步骤4)中，搜索初始步长SA设定为与置信半径RA临近的较大的2的整数次幂；其中，置信半径RA计算公式为：

其中，R_tko为搜索初始起点与模板的归一化方差；C为置信余量常数，C在区间[0.05,0.4]中取值。

步骤4)中，采用三步搜索法确定目标在当前匹配图像中的具体位置，具体实现过程包括：

1)将搜索次数k初始化为1；

2)设第k次搜索起点为(xso_k，yso_k)，分别以(xso_k，yso_k)、

中横坐标[0,W-N+1]内且纵坐标在[0,H-M+1]内的点为原点，提取宽度为N、长度为M的子图像；

3)计算各子图像与模板的归一化方差R_tk，获取上述归一化方差中的最小值R_tkm2，将R_tkm2对应的子图像设定为第k次搜索结果；

4)若当前k等于1+log₂SA，则将第k次搜索结果作为最终结果输出；否则，令k＝k+1，将搜索起点移到第k次搜索结果，转到步骤2)。

步骤3)和4)中，归一化方差的计算公式为：

其中，R_tk为模板与子图像归一化方差；xso、yso为当前搜索位置的起点坐标；T(x',y')为模板中坐标为(x'，y')的点的灰度值；I(xso+x',yso+y')为当前搜索图像中坐标为(xso+x',yso+y')点的灰度值。

与现有技术相比，本发明所具有的有益效果为：本发明提出了一种接近目标判别准则，解决了模板匹配中采用快速搜索匹配容易陷入局部极值，目标运动过程位移过大或过小都不能实现目标的有效跟踪的技术难题；本发明的目标位置惯性估计模型和匹配图像离散抽样法，可在有效避免目标搜索陷入局部极值的同时最大限度的保障模板匹配的实时性；在目标迭代搜索步骤中，本发明依据搜索初始起点与模板的归一化方差大小设定搜索初始步长的方法，解决了现有三步搜索法搜索范围的设定依赖经验，精度和效率难以保证的问题。本发明为有效的实现运动速度大范围变化的动态目标实时跟踪提供了完整的解决方案，在视觉检测、动态目标跟踪、智能交通、视频监控、视觉大数据等领域均具有推广价值。

附图说明

图1为本发明一实施例方法流程图；

图2为本发明实施例离散抽样法流程图；

图3为本发明实施例三步搜索法流程图；

图4为本发明实施例模板图；

图5为本发明实施例初始帧图像及模板在初始帧图像中的位置；

图6(a)为采用本发明方法和全局搜索匹配法对第1帧匹配图像进行模板匹配的结果；图6(b)为采用本发明方法和全局搜索匹配法对第2帧匹配图像进行模板匹配的结果；

图7(a)为直接采用三步搜索法对第1帧匹配图像进行模板匹配的结果；图7(b)为直接采用三步搜索法对第2帧匹配图像进行模板匹配的结果。

具体实施方式

如图1所示，本发明一实施例的模板快速匹配过程如下：

首先读取尺寸为2009×987像素的跟踪目标越野车模型模板，如图4所示；通过全局搜索匹配获取模板在初始帧图像中的原点坐标为(0，1182)，初始帧图像如图5所示，图中矩形细线框为模板所在位置。

然后，开始模板匹配，读取第1帧匹配图像，尺寸为4032×3024像素，如图6(a)所示。采用惯性估计法预估模板在第1帧匹配图像中的位置。本实施例中，惯性常数Cx_inertia、Cy_inertia取值均为1.2运动状态时变常数Ax、Ay取值均为0.7，得到的模板原点在第1帧图像中预估坐标仍然为(0，1182)。

接着，采用接近目标判断准则判别该估计位置是否接近第1帧匹配图像中目标所在位置。本实施例中，环境修正系数S_h取值为1.1，r取值为4，ci取值为70,采用本发明方法得到的R_n为0.16，判别结果为估计位置接近目标在第1帧匹配图像中实际位置，因此，下一步直接采用三步搜索法搜索模板的准确位置。本实施列中，置信余量常数C取值为0.15，搜索起点与模板的归一化方差为0.11，依据本发明方法得到的搜索初始步长SA为256。图6(a)中矩形细线框为本发明方法找到的模板在第1帧匹配图像中位置，该位置原点坐标为(123，1226)，与全局搜索匹配法得到的匹配结果完全一致，对于第1帧匹配图像这两种方法都是有效的。在PC机(Intel Core i5-8250U处理器、内存8GB)上通过VS2017编程实现本发明方法处理第1帧匹配图像的耗时为15毫秒，而同样的软硬件环境下全局搜索匹配法则需要717毫秒，本发明方法实时性显著优于全局搜索匹配法。

完成第1帧匹配图像模板搜索以后，继续读取第2帧匹配图像，如图6(b)所示。对比第2帧匹配图像、第1帧匹配图像和初始帧图像可知，第2帧图像中小车位置与前两帧图像相比有较大变化，本发明惯性估计法预估模板在第2帧匹配图像中原点坐标为(356，1309)，接近目标判断准则判别该估计位置不接近第2帧匹配图像中目标所在位置，转入离散抽样法确定搜索起点；本实施例模板尺寸为2009×987像素，依据本发明方法设定的离散抽样步长为690像素，得到的搜索起点为(1736，1309)；该搜索起点与模板的归一化方差为0.17，后续三步搜索法的初始步长仍然为256像素；最终，本发明方法找到的模板在第2帧匹配图像中位置图6(b)中矩形细线框所示，该位置原点坐标为(1838，1456)，与全局搜索匹配法得到的匹配结果仍然完全一致，对于第2帧匹配图像这两种方法也都有效。本发明方法处理第2帧匹配图像的耗时为23毫秒，而全局搜索法为689毫秒。本发明方法处理第2帧匹配图像增加了离散抽样步骤，因此耗时比处理第一帧匹配图像略有增加，但与全局搜索法相比实时性优势仍然非常明显。

为进行方法比较，本实施例还对上述两帧匹配图像直接采用三步搜索法进行了模板匹配(搜索起点为上一帧图像模板所在位置，搜索初始步长为256像素)，得到的匹配位置分别如图7(a)和7(b)中的矩形粗线框所示。由图可知，由于第1帧匹配图像目标所在位置与初始帧图像中目标位置接近，直接采用三步搜索法也能找到模板位置；而第2帧匹配图像目标所在位置与第1帧匹配图像目标所在位置相比发生了较大的改变，直接采用三步搜索法则会陷入了局部极值，无法找到模板真实位置。直接三步搜索法处理两帧匹配图像耗时分别为13毫秒和15毫秒，与本发明方法相比实时性优势不明显。本发明虽然增加了许多计算步骤，但多为简单数值运算，时间复杂度低。

本发明提出了一种接近目标判别准则，解决了模板匹配中采用快速搜索匹配容易陷入局部极值，目标运动过程位移过大或过小都不能实现目标的有效跟踪的技术难题；提出了一种目标位置惯性估计模型和一种匹配图像离散抽样法，可在有效避免目标搜索陷入局部极值的同时最大限度的保障模板匹配的实时性；在目标迭代搜索步骤中，提出了依据搜索初始起点与模板的归一化方差大小设定搜索初始步长的方法，解决了现有三步搜索法搜索范围的设定依赖经验，精度和效率难以保证的问题。本发明为有效的实现运动速度大范围变化的动态目标实时跟踪提供了完整的解决方案，在视觉检测、动态目标跟踪、智能交通、视频监控、视觉大数据等领域均具有推广价值。

Claims (6)

1.一种面向速度大范围变化目标跟踪的模板快速匹配方法，其特征在于，包括以下步骤：

1)读取跟踪目标的矩形模板，获取矩形模板在初始帧图像中的位置；

2)读取第i帧匹配图像，预估目标在当前匹配图像中的位置；其中i为正整数；

3)依据接近目标判别准则判断该预估位置是否接近当前匹配图像中目标所在位置；若接近，则将该位置设为搜索初始起点；否则采用离散抽样法确定搜索初始起点；所述接近目标判别准则具体实现过程为：设当前待判别的位置原点坐标为(xo_v，yo_v)，则若以(xo_v，yo_v)为原点提取的宽为N，长为M子图像与模板的归一化方差R_tk≤S_hR_n，且以(xo_v，yo_v+0.2M)、(xo_v+0.2N，yo_v)、(xo_v，yo_v-0.2M)、(xo_v-0.2N，yo_v)为原点的四个子图像中至少1个与模板的归一化方差R_tk≤S_hR_n，则判定该待判别位置接近当前匹配图像中目标所在位置，否则判定该待判别位置不接近当前匹配图像中目标所在位置；其中，N、M分别为模板的宽和长，N、M为正整数，0＜N＜W，0＜M＜H，W、H分别为匹配图像的宽和长；R_n为初始帧图像中任意r个和模板重合ci％的子图像与模板归一化方差中的最小值，S_h为环境修正系数，S_h在区间[0.6,2]中取值；

采用离散抽样法确定搜索初始起点的具体实现过程包括：

A)将离散抽样步长SL设置为INT(0.7×N)和INT(0.7×M)中的小值；离散抽样步数j初始化为1；

B)若惯性估计法预估模版在当前匹配图像中原点坐标为

中不存在横坐标在[0,W-N+1]内且纵坐标在[0,H-M+1]内的点,则将本次离散抽样开始以来得到的最小归一化方差对应的子图像设为搜索初始起点，本次离散抽样结束；否则以这些点中横坐标在[0,W-N+1]内且纵坐标在[0,H-M+1]内的点为原点，提取宽度为N、长度为M的子图像，转到下一步；

C)计算各子图像与模板的归一化方差R_tk，若这些归一化方差中最小值R_tkm对应的子图像满足接近目标判别准则，则将该子图像设为搜索初始起点，本次离散抽样结束；否则转到下一步；

D)令j＝j+1，转到步骤2)；

4)依据搜索初始起点与模板的归一化方差设定搜索初始步长，确定目标在当前匹配图像中的具体位置并输出结果；

5)重复步骤2)～4)直到完成所有帧匹配图像的模板匹配。

2.根据权利要求1所述的面向速度大范围变化目标跟踪的模板快速匹配方法，其特征在于，步骤2)中，当i＝1时，预估目标在当前匹配图像位置为目标在初始帧图像中的位置；当i＝2时，预估目标在当前匹配图像位置为目标在第1帧匹配图像中的位置；当i>2时，采用惯性估计法预估目标在当前匹配图像中的位置；惯性估计法具体实现过程为：若已得到与模板匹配的子图像原点在第i-1帧匹配图像中坐标为(xo_i-1，yo_i-1)，在第i-2帧匹配图像中坐标为(xo_i-2，yo_i-2)，则预估与模板匹配的子图像原点在第i帧匹配图像中坐标

为：

其中，INT(·)为取整函数，Cx_inertia、Cy_inertia分别为x方向和y方向的惯性常数；

分别为i帧匹配图像中目标位置的x方向和y方向惯性预测残期望值。

3.根据权利要求2所述的面向速度大范围变化目标跟踪的模板快速匹配方法，其特征在于，

其中，Ax和Ay分别为x方向和y方向的运动状态时变常数；

和

为预估的与模板匹配子图像原点在第i-1帧匹配图像中坐标。

4.根据权利要求1所述的面向速度大范围变化目标跟踪的模板快速匹配方法，其特征在于，步骤4)中，搜索初始步长SA设定为与置信半径RA临近的较大的2的整数次幂；其中，置信半径RA计算公式为：

其中，R_tko为搜索初始起点与模板的归一化方差；C为置信余量常数；N，M分别以(xo_v，

yo_v)为原点提取子图像的宽度和长度；(xo_v，yo_v)为当前待判别的位置原点坐标；R_n为初始帧图像中任意r个和模板重合ci％的子图像与模板归一化方差中的最小值；W、H分别为匹配图像的宽和长。

5.根据权利要求1所述的面向速度大范围变化目标跟踪的模板快速匹配方法，其特征在于，步骤4)中，采用三步搜索法确定目标在当前匹配图像中的具体位置，具体实现过程包括：

1)将搜索次数k初始化为1；

2)设第k次搜索起点为(xso_k，yso_k)，分别以(xso_k，yso_k)、

中横坐标[0,W-N+1]内且纵坐标在[0,H-M+1]内的点为原点，提取宽度为N、长度为M的子图像；SA为初始步长；

3)计算各子图像与模板的归一化方差R_tk，获取上述归一化方差中的最小值R_tkm2，将R_tkm2对应的子图像设定为第k次搜索结果；

4)若当前k等于1+log₂SA，则将第k次搜索结果作为最终结果输出；否则，令k＝k+1，将搜索起点移到第k次搜索结果，转到步骤2)。

6.根据权利要求1～5之一所述的面向速度大范围变化目标跟踪的模板快速匹配方法，其特征在于，步骤4)中，归一化方差的计算公式为：

其中，R_tk为模板与子图像归一化方差；xso、yso为当前搜索位置的起点坐标；T(x',y')为模板中坐标为(x'，y')的点的灰度值；I(xso+x',yso+y')为当前搜索图像中坐标为(xso+x',yso+y')点的灰度值；N，M分别以(xo_v，yo_v)为原点提取子图像的宽度和长度。

Images