CN110991280A - 基于模板匹配和surf的视频跟踪方法和装置 - Google Patents

Abstract

本申请公开了一种基于模板匹配和SURF的视频跟踪方法和装置，属于视频跟踪领域。该方法包括：实时获取视频；在初始第一帧中定位包含目标对象的跟踪框，对目标对象进行跟踪；将后续的每一帧作为当前帧，将前一帧中的动态模板和跟踪结果视为对象模板，采用平方差分匹配方法在当前帧中的搜索区域内进行搜索，得到与对象模板相似的区域，将其作为模板匹配的结果；判断该结果是否偏离目标对象，如果是则利用SURF进行特征点匹配，对该结果进行恢复。该装置包括：获取模块、跟踪模块、匹配模块和恢复模块。本申请可以成功跟踪对象，在场景发生变化时，利用SURF特征点匹配进行故障恢复，补偿模板匹配，提高了计算性能和追踪效率。

Description

基于模板匹配和SURF的视频跟踪方法和装置

技术领域

本申请涉及视频跟踪领域，特别是涉及一种基于模板匹配和SURF的视频跟踪方法和装置。

背景技术

视频跟踪是指从视频中确定图像序列中特定对象的位置、路径和特征的问题。这是计算机视觉领域的一个活跃的研究课题，在许多实际应用中都有应用，如监视、安全和人机交互。视频跟踪面临着许多挑战，包括复杂的物体运动、物体的非刚性、光照变化、背景杂乱以及部分或严重的遮挡。模板匹配技术是一种最基本的模式识别方法，Adam等人用像素点来表示模板，他们还通过选择像素点的方式来处理位姿变化或部分遮挡。在位姿改变和部分遮挡的情况下，验证了该方法的有效性。基于粒子滤波的技术是最常用的跟踪方法，XUE和MEI提出了一种基于稀疏表示的粒子滤波鲁棒跟踪算法。在该方法中，他们使用了一种正则化最小二乘方法来解决稀疏逼近问题，它已经被证明是非常有效的视频跟踪。

Meanshift算法是一种无参数密度估计的算法，通过沿概率分布梯度方向自适应的迭代运算寻找概率离散分布的最大值，以实时性强、无需参数、收敛速度快等优点获得广泛应用。Camshift算法是一种基于连续自适应均值偏移颜色特征的Meanshift改进算法，可以动态的调节核函数窗口大小以适应目标在追踪过程中尺寸的变化，解决了目标运动过程中的尺寸变化问题。Kalman滤波算法利用线性系统状态方程，通过对含有噪声的视频数据进行递归运算，对追踪目标在视频图像中的可能位置做出统计上的最优估计，常用作交通工具的导航系统。

模块匹配比较简单快速，然而，它并不能有效地处理外观变化。Meanshift算法不能及时的更新目标模型，固定的核函数严重影响追踪的准确率，目标尺寸发生明显变化可能会导致定位失败，以致丢失目标。粒子滤波方法的共同问题是计算量大，效率较低。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种基于模板匹配和SURF的视频跟踪方法，包括：

实时获取视频；

在初始第一帧中定位包含目标对象的跟踪框，对所述目标对象进行跟踪；

将后续的每一帧作为当前帧，将前一帧中的动态模板和跟踪结果视为对象模板，采用平方差分匹配方法在所述当前帧中的搜索区域内进行搜索，得到与所述对象模板相似的区域，将所述区域作为模板匹配的结果；

判断所述模板匹配的结果是否偏离所述目标对象，如果是，则利用SURF(Speed UpRobust Features，快速鲁棒特征)进行特征点匹配，对所述模板匹配的结果进行恢复。

可选地，对所述目标对象进行跟踪，包括：

从所述跟踪框中提取运动矢量，利用光流估计所述运动矢量的瞬时速度或相邻两帧间的位移，采用Lucas-Kanade算法计算相邻两帧的光流，得到跟踪结果作为动态模板。

可选地，判断所述模板匹配的结果是否偏离所述目标对象，包括：

采用基于patch的外观模型，利用欧氏距离来计算所述模板匹配的结果与所述目标对象的空间相似性，如果所述欧式距离大于指定阈值，则确定所述模板匹配的结果偏离所述目标对象。

可选地，利用SURF进行特征点匹配，对所述模板匹配的结果进行恢复，包括：

在所述跟踪框和所述搜索区域中分别提取SURF特征点，将所述跟踪框内的SURF特征点与所述搜索区域内所有检测到的SURF特征点进行匹配，如果所述搜索区域内有匹配的特征点，则计算所述匹配的特征点之间的空间位置相似度。

可选地，所述方法还包括：

当所述跟踪框内的所述目标对象丢失或被遮挡时，将所述当前帧的搜索区域的高度和宽度分别设置为所述跟踪框高度的N倍和所述目标宽度的N倍，其中，N大于1。

根据本申请的另一个方面，提供了一种基于模板匹配和SURF的视频跟踪装置，包括：

获取模块，其配置成实时获取视频；

跟踪模块，其配置成在初始第一帧中定位包含目标对象的跟踪框，对所述目标对象进行跟踪；

匹配模块，其配置成将后续的每一帧作为当前帧，将前一帧中的动态模板和跟踪结果视为对象模板，采用平方差分匹配方法在所述当前帧中的搜索区域内进行搜索，得到与所述对象模板相似的区域，将所述区域作为模板匹配的结果；

恢复模块，其配置成判断所述模板匹配的结果是否偏离所述目标对象，如果是，则利用SURF进行特征点匹配，对所述模板匹配的结果进行恢复。

可选地，所述跟踪模块具体配置成：

从所述跟踪框中提取运动矢量，利用光流估计所述运动矢量的瞬时速度或相邻两帧间的位移，采用Lucas-Kanade算法计算相邻两帧的光流，得到跟踪结果作为动态模板。

可选地，所述恢复模块具体配置成：

采用基于patch的外观模型，利用欧氏距离来计算所述模板匹配的结果与所述目标对象的空间相似性，如果所述欧式距离大于指定阈值，则确定所述模板匹配的结果偏离所述目标对象。

可选地，所述恢复模块具体配置成：

在所述跟踪框和所述搜索区域中分别提取SURF特征点，将所述跟踪框内的SURF特征点与所述搜索区域内所有检测到的SURF特征点进行匹配，如果所述搜索区域内有匹配的特征点，则计算所述匹配的特征点之间的空间位置相似度。

可选地，所述匹配模块还配置成：

当所述跟踪框内的所述目标对象丢失或被遮挡时，将所述当前帧的搜索区域的高度和宽度分别设置为所述跟踪框高度的N倍和所述目标宽度的N倍，其中，N大于1。

根据本申请的又一个方面，提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。

根据本申请的又一个方面，提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上所述的方法。

根据本申请的又一个方面，提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述的方法。

本申请提供的技术方案，通过实时获取视频，在初始第一帧中定位包含目标对象的跟踪框，对所述目标对象进行跟踪，将后续的每一帧作为当前帧，将前一帧中的动态模板和跟踪结果视为对象模板，采用平方差分匹配方法在所述当前帧中的搜索区域内进行搜索，得到与所述对象模板相似的区域，将所述区域作为模板匹配的结果，判断所述模板匹配的结果是否偏离所述目标对象，如果是，则利用SURF进行特征点匹配，对所述模板匹配的结果进行恢复，由于优先使用模板匹配算法，可以成功跟踪对象，在场景发生变化时，如存在外观突然变化等问题时，利用SURF特征点匹配进行故障恢复，补偿模板匹配，与已有方法相比提高了计算性能，提高了追踪效率。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本申请一个实施例的基于模板匹配和SURF的视频跟踪方法流程图；

图2是根据本申请另一个实施例的基于模板匹配和SURF的视频跟踪方法流程图；

图3是根据本申请另一个实施例的基于模板匹配和SURF的视频跟踪装置结构图；

图4是根据本申请另一个实施例的计算设备结构图；

图5是根据本申请另一个实施例的计算机可读存储介质结构图。

具体实施方式

图1是根据本申请一个实施例的基于模板匹配和SURF的视频跟踪方法流程图。参见图1，该方法包括：

101：实时获取视频；

102：在初始第一帧中定位包含目标对象的跟踪框，对目标对象进行跟踪；

103：将后续的每一帧作为当前帧，将前一帧中的动态模板和跟踪结果视为对象模板，采用平方差分匹配方法在当前帧中的搜索区域内进行搜索，得到与对象模板相似的区域，将区域作为模板匹配的结果；

104：判断模板匹配的结果是否偏离目标对象，如果是，则利用SURF进行特征点匹配，对模板匹配的结果进行恢复。

本实施例中，可选的，对目标对象进行跟踪，包括：

从跟踪框中提取运动矢量，利用光流估计运动矢量的瞬时速度或相邻两帧间的位移，采用Lucas-Kanade算法计算相邻两帧的光流，得到跟踪结果作为动态模板。

本实施例中，可选的，判断模板匹配的结果是否偏离目标对象，包括：

采用基于patch的外观模型，利用欧氏距离来计算模板匹配的结果与目标对象的空间相似性，如果欧式距离大于指定阈值，则确定模板匹配的结果偏离目标对象。

本实施例中，可选的，利用SURF进行特征点匹配，对模板匹配的结果进行恢复，包括：

在跟踪框和搜索区域中分别提取SURF特征点，将跟踪框内的SURF特征点与搜索区域内所有检测到的SURF特征点进行匹配，如果搜索区域内有匹配的特征点，则计算匹配的特征点之间的空间位置相似度。

本实施例中，可选的，上述方法还包括：

当跟踪框内的目标对象丢失或被遮挡时，将当前帧的搜索区域的高度和宽度分别设置为跟踪框高度的N倍和目标宽度的N倍，其中，N大于1。

本实施例提供的上述方法，通过实时获取视频，在初始第一帧中定位包含目标对象的跟踪框，对所述目标对象进行跟踪，将后续的每一帧作为当前帧，将前一帧中的动态模板和跟踪结果视为对象模板，采用平方差分匹配方法在所述当前帧中的搜索区域内进行搜索，得到与所述对象模板相似的区域，将所述区域作为模板匹配的结果，判断所述模板匹配的结果是否偏离所述目标对象，如果是，则利用SURF进行特征点匹配，对所述模板匹配的结果进行恢复，由于优先使用模板匹配算法，可以成功跟踪对象，在场景发生变化时，如存在外观突然变化等问题时，利用SURF特征点匹配进行故障恢复，补偿模板匹配，与已有方法相比提高了计算性能，提高了追踪效率。

图2是根据本申请另一个实施例的基于模板匹配和SURF的视频跟踪方法流程图。参见图2，该方法包括：

201：实时获取视频；

202：在初始第一帧中定位包含目标对象的跟踪框，从跟踪框中提取运动矢量，利用光流估计运动矢量的瞬时速度或相邻两帧间的位移，采用Lucas-Kanade算法计算相邻两帧的光流，得到跟踪结果作为动态模板；

其中，一种具体实施方式下，目标对象可以是由运动矢量和颜色直方图表示的矩形，跟踪框可以分为3x3个子区域，在HSV颜色空间中，利用通道直方图技术获得图像的颜色特征，目标对象的颜色直方图为每个子区域的加和。

另外，利用光流估计运动矢量的瞬时速度或相邻两帧间的位移，能够很好地处理目标物体的遮挡，从而解决漂流问题。

203：将后续的每一帧作为当前帧，将前一帧中的动态模板和跟踪结果视为对象模板，采用平方差分匹配方法在当前帧中的搜索区域内进行搜索，得到与对象模板相似的区域，将区域作为模板匹配的结果；

其中，将前一帧的动态模板和前一帧的跟踪结果视为对象模板，能够解决由于部分遮挡导致跟踪失败的问题。

本实施例中，可选的，本步骤中还可以包括以下步骤：

当跟踪框内的目标对象丢失或被遮挡时，将当前帧的搜索区域的高度和宽度分别设置为跟踪框高度的N倍和目标宽度的N倍，其中，N大于1。例如N＝2或3等等，具体不限定。这种限定搜索区域的大小，而不是对整帧进行搜索，能够极大地降低计算成本。

204：采用基于patch的外观模型，利用欧氏距离来计算模板匹配的结果与目标对象的空间相似性，如果欧式距离大于指定阈值，则确定模板匹配的结果偏离目标对象；

其中，基于patch的外观模型融合了颜色模型和运动矢量模型。

205：在确定模板匹配的结果偏离目标对象时，在跟踪框和搜索区域中分别提取SURF特征点，将跟踪框内的SURF特征点与搜索区域内所有检测到的SURF特征点进行匹配，如果搜索区域内有匹配的特征点，则计算匹配的特征点之间的空间位置相似度。

本实施例提供的上述方法，通过实时获取视频，在初始第一帧中定位包含目标对象的跟踪框，对所述目标对象进行跟踪，将后续的每一帧作为当前帧，将前一帧中的动态模板和跟踪结果视为对象模板，采用平方差分匹配方法在所述当前帧中的搜索区域内进行搜索，得到与所述对象模板相似的区域，将所述区域作为模板匹配的结果，判断所述模板匹配的结果是否偏离所述目标对象，如果是，则利用SURF进行特征点匹配，对所述模板匹配的结果进行恢复，由于优先使用模板匹配算法，可以成功跟踪对象，在场景发生变化时，如存在外观突然变化等问题时，利用SURF特征点匹配进行故障恢复，补偿模板匹配，与已有方法相比提高了计算性能，提高了追踪效率。

图3是根据本申请另一个实施例的基于模板匹配和SURF的视频跟踪装置结构图。参见图3，该装置包括：

获取模块301，其配置成实时获取视频；

跟踪模块302，其配置成在初始第一帧中定位包含目标对象的跟踪框，对目标对象进行跟踪；

匹配模块303，其配置成将后续的每一帧作为当前帧，将前一帧中的动态模板和跟踪结果视为对象模板，采用平方差分匹配方法在当前帧中的搜索区域内进行搜索，得到与对象模板相似的区域，将区域作为模板匹配的结果；

恢复模块304，其配置成判断模板匹配的结果是否偏离目标对象，如果是，则利用SURF进行特征点匹配，对模板匹配的结果进行恢复。

本实施例中，可选的，跟踪模块具体配置成：

从跟踪框中提取运动矢量，利用光流估计运动矢量的瞬时速度或相邻两帧间的位移，采用Lucas-Kanade算法计算相邻两帧的光流，得到跟踪结果作为动态模板。

本实施例中，可选的，恢复模块具体配置成：

采用基于patch的外观模型，利用欧氏距离来计算模板匹配的结果与目标对象的空间相似性，如果欧式距离大于指定阈值，则确定模板匹配的结果偏离目标对象。

本实施例中，可选的，恢复模块具体配置成：

在跟踪框和搜索区域中分别提取SURF特征点，将跟踪框内的SURF特征点与搜索区域内所有检测到的SURF特征点进行匹配，如果搜索区域内有匹配的特征点，则计算匹配的特征点之间的空间位置相似度。

本实施例中，可选的，匹配模块还配置成：

当跟踪框内的目标对象丢失或被遮挡时，将当前帧的搜索区域的高度和宽度分别设置为跟踪框高度的N倍和目标宽度的N倍，其中，N大于1。

本实施例提供的上述装置，可以执行上述任一方法实施例提供的方法，详细过程详见方法实施例中的描述，此处不再赘述。

本实施例提供的上述装置，通过实时获取视频，在初始第一帧中定位包含目标对象的跟踪框，对所述目标对象进行跟踪，将后续的每一帧作为当前帧，将前一帧中的动态模板和跟踪结果视为对象模板，采用平方差分匹配方法在所述当前帧中的搜索区域内进行搜索，得到与所述对象模板相似的区域，将所述区域作为模板匹配的结果，判断所述模板匹配的结果是否偏离所述目标对象，如果是，则利用SURF进行特征点匹配，对所述模板匹配的结果进行恢复，由于优先使用模板匹配算法，可以成功跟踪对象，在场景发生变化时，如存在外观突然变化等问题时，利用SURF特征点匹配进行故障恢复，补偿模板匹配，与已有方法相比提高了计算性能，提高了追踪效率。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

本申请实施例还提供了一种计算设备，参照图4，该计算设备包括存储器1120、处理器1110和存储在存储器1120内并能由处理器1110运行的计算机程序，该计算机程序存储于存储器1120中的用于程序代码的空间1130，该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的方法步骤1131。

本申请实施例还提供了一种计算机可读存储介质。参照图5，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序1131′，该程序被处理器执行。

本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的方法步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，的程序可以存储于计算机可读存储介质中，存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：opticaldisc)及其任意组合。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于模板匹配和SURF的视频跟踪方法，包括：

实时获取视频；

在初始第一帧中定位包含目标对象的跟踪框，对所述目标对象进行跟踪；

将后续的每一帧作为当前帧，将前一帧中的动态模板和跟踪结果视为对象模板，采用平方差分匹配方法在所述当前帧中的搜索区域内进行搜索，得到与所述对象模板相似的区域，将所述区域作为模板匹配的结果；

判断所述模板匹配的结果是否偏离所述目标对象，如果是，则利用SURF进行特征点匹配，对所述模板匹配的结果进行恢复。

2.根据权利要求1所述的方法，其特征在于，对所述目标对象进行跟踪，包括：

从所述跟踪框中提取运动矢量，利用光流估计所述运动矢量的瞬时速度或相邻两帧间的位移，采用Lucas-Kanade算法计算相邻两帧的光流，得到跟踪结果作为动态模板。

3.根据权利要求1所述的方法，其特征在于，判断所述模板匹配的结果是否偏离所述目标对象，包括：

采用基于patch的外观模型，利用欧氏距离来计算所述模板匹配的结果与所述目标对象的空间相似性，如果所述欧式距离大于指定阈值，则确定所述模板匹配的结果偏离所述目标对象。

4.根据权利要求1所述的方法，其特征在于，利用SURF进行特征点匹配，对所述模板匹配的结果进行恢复，包括：

在所述跟踪框和所述搜索区域中分别提取SURF特征点，将所述跟踪框内的SURF特征点与所述搜索区域内所有检测到的SURF特征点进行匹配，如果所述搜索区域内有匹配的特征点，则计算所述匹配的特征点之间的空间位置相似度。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

当所述跟踪框内的所述目标对象丢失或被遮挡时，将所述当前帧的搜索区域的高度和宽度分别设置为所述跟踪框高度的N倍和所述目标宽度的N倍，其中，N大于1。

6.一种基于模板匹配和SURF的视频跟踪装置，包括：

获取模块，其配置成实时获取视频；

跟踪模块，其配置成在初始第一帧中定位包含目标对象的跟踪框，对所述目标对象进行跟踪；

匹配模块，其配置成将后续的每一帧作为当前帧，将前一帧中的动态模板和跟踪结果视为对象模板，采用平方差分匹配方法在所述当前帧中的搜索区域内进行搜索，得到与所述对象模板相似的区域，将所述区域作为模板匹配的结果；

恢复模块，其配置成判断所述模板匹配的结果是否偏离所述目标对象，如果是，则利用SURF进行特征点匹配，对所述模板匹配的结果进行恢复。

7.根据权利要求6所述的装置，其特征在于，所述跟踪模块具体配置成：

从所述跟踪框中提取运动矢量，利用光流估计所述运动矢量的瞬时速度或相邻两帧间的位移，采用Lucas-Kanade算法计算相邻两帧的光流，得到跟踪结果作为动态模板。

8.根据权利要求6所述的装置，其特征在于，所述恢复模块具体配置成：

采用基于patch的外观模型，利用欧氏距离来计算所述模板匹配的结果与所述目标对象的空间相似性，如果所述欧式距离大于指定阈值，则确定所述模板匹配的结果偏离所述目标对象。

9.根据权利要求6所述的装置，其特征在于，所述恢复模块具体配置成：

在所述跟踪框和所述搜索区域中分别提取SURF特征点，将所述跟踪框内的SURF特征点与所述搜索区域内所有检测到的SURF特征点进行匹配，如果所述搜索区域内有匹配的特征点，则计算所述匹配的特征点之间的空间位置相似度。

10.根据权利要求6-9中任一项所述的装置，其特征在于，所述匹配模块还配置成：

当所述跟踪框内的所述目标对象丢失或被遮挡时，将所述当前帧的搜索区域的高度和宽度分别设置为所述跟踪框高度的N倍和所述目标宽度的N倍，其中，N大于1。

Images