CN109993777B - 一种基于双模板自适应阈值的目标跟踪方法及系统 - Google Patents

Abstract

本发明公开了一种基于双模板自适应阈值的目标跟踪方法及系统。其方法包括根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签、确定平移滤波器模板、判断小模板平移滤波器响应峰值是否满足需求、判断大模板平移滤波器响应峰值是否满足需求、根据平移滤波器预测目标中心在当前帧的位置、更新自适应输出响应阈值。本发明的方法及系统解决了当双模板跟踪器出现漂移以及无法适应视频序列时，不能正常切换的技术问题。

Description

一种基于双模板自适应阈值的目标跟踪方法及系统

技术领域

本发明属于计算视觉目标跟踪领域，特别涉及一种基于双模板自适应阈值的目标跟踪方法及系统。

背景技术

视觉跟踪是计算机视觉的一个重要分支，广泛运用在机器人、监督系统等方面。执行视觉跟踪任务时，通常是根据视频序列第一帧目标的位置与尺寸预测后续目标的状态，由于可能出现部分遮挡、快速运动、运动模糊、背景杂乱、照明变化等情况，导致跟踪出现漂移甚至丢失，因此需要采用跟踪算法。

跟踪算法通常分为生成式跟踪方法和判别式跟踪方法。生成式跟踪方法是对前景目标进行建模，利用前景模型搜索后续帧中最相似的区域作为预测位置。判别式跟踪方法是将跟踪问题看作二分类问题，利用前景信息和背景信息训练模板判定最佳预测位置。

其中，相关滤波跟踪方法是最常用的一种判别式跟踪方法，最早由Bolme提出MOSSE算法，在此基础上，Henriques先后提出CSK算法和KCF算法，在提高性能的同时保证了较高运行速度。但在遇到复杂的运动情况时，例如，当目标运动速度过快时，目标可能出现在搜索框边缘或搜索框外部，导致跟踪框漂移甚至丢失目标；当目标的尺度发生变化时，跟踪框无法适应目标的尺度变化，导致跟踪框中包含大量背景信息或仅包含目标的局部信息；当目标的形状发生变化时，此前提取的特征无法准确的描述目标，导致跟踪算法的判别能力严重下降。

另外，现有算法中的经验参数值固定不变，使得跟踪方法不能适应所有的视频序列，需要一种能够解决当双模板跟踪器无法适应视频序列时及时更新双模板切换阈值的技术方案，为此，提出一种双模板尺度自适应相关滤波实时跟踪方法及系统。

发明内容

本发明所要解决的技术问题是当双模板跟踪器出现漂移以及无法适应视频序列时，不能正常切换的问题，提出一种基于双模板自适应阈值的目标跟踪方法及系统。

事先建立用于表示图像像素位置的x-y坐标系，目标中心位置用(x_n,y_n)表示，其中n表示帧数。视频序列第一帧的目标中心位置(x₁,y₁)事先设置，目标尺寸(high,width)事先设置，用变量t表示自适应的输出响应阈值，设置自适应输出响应阈值t的上限为T，自适应输出响应阈值t的初始值为T₀。

本发明的基于双模板自适应阈值的目标跟踪方法，包括以下步骤：

根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。

所述小模板和大模板的搜索框尺寸window_sz_small＝(a₁×high,a₁×width)，window_sz_big＝(a₂×high,a₂×width)，其中a₁和a₂是事先设置的搜索框参数且a₁<a₂。

确定平移滤波器模板：在目标中心位置(x_n,y_n)，根据搜索框大小截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；

所述平移滤波器模板

其中，α表示α_small或α_big，

表示逆傅里叶变换，(·)^*表示共轭，

表示高斯型标签的傅里叶变换，λ是正则化参数，

是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。

判断小模板平移滤波器响应峰值是否满足需求：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(x_n-1,y_n-1)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于自适应输出响应阈值t，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入步骤：预测目标中心在当前帧的位置，否则判定小模板平移滤波器响应峰值不满足需求，进入步骤：判断大模板平移滤波器响应峰值是否满足需求。

所述

表示逆傅里叶变换，

表示傅里叶变换，⊙表示矩阵元素点乘运算符，k^xz表示样本x和待检测样本z的核矩阵的生成矩阵。

判断大模板平移滤波器响应峰值是否满足需求：在第n-1帧目标中心位置(x_n-1,y_n-1)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small。

所述

表示逆傅里叶变换，

表示傅里叶变换，⊙表示矩阵元素点乘运算符，k^xz表示样本x和待检测样本z的核矩阵的生成矩阵。

根据平移滤波器预测目标中心在当前帧的位置：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(x_n,y_n)。

更新自适应输出响应阈值：根据响应峰值max_response计算和更新自适应输出响应阈值t，返回步骤：确定平移滤波器模板。

所述自适应输出响应阈值t＝(1-γ)·t+γ·max_response，其中γ是事先设置的输出响应阈值计算比例系数。

本发明的基于双模板自适应阈值的目标跟踪系统，包括：

视频序列；

计算机；

以及

一个或多个程序，其中所述一个或多个程序被存储在计算机的存储器中，并且被配置成由所述计算机的处理器执行，所述程序包括：

根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签模块：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。

所述小模板和大模板的搜索框尺寸window_sz_small＝(a₁×high,a₁×width)，window_sz_big＝(a₂×high,a₂×width)，其中a₁和a₂是事先设置的搜索框参数且a₁<a₂。

确定平移滤波器模板模块：在目标中心位置(x_n,y_n)，根据搜索框大小截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；

所述平移滤波器模板

其中，α表示α_small或α_big，

表示逆傅里叶变换，(·)^*表示共轭，

表示高斯型标签的傅里叶变换，λ是正则化参数，

是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。

判断小模板平移滤波器响应峰值是否满足需求模块：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(x_n-1,y_n-1)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于自适应输出响应阈值t，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入预测目标中心在当前帧的位置模块，否则判定小模板平移滤波器响应峰值不满足需求，进入判断大模板平移滤波器响应峰值是否满足需求模块。

所述

表示逆傅里叶变换，

表示傅里叶变换，⊙表示矩阵元素点乘运算符，k^xz表示样本x和待检测样本z的核矩阵的生成矩阵。

判断大模板平移滤波器响应峰值是否满足需求模块：在第n-1帧目标中心位置(x_n-1,y_n-1)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small。

所述

表示逆傅里叶变换，

表示傅里叶变换，⊙表示矩阵元素点乘运算符，k^xz表示样本x和待检测样本z的核矩阵的生成矩阵。

根据平移滤波器预测目标中心在当前帧的位置模块：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(x_n,y_n)。

更新自适应输出响应阈值模块：根据响应峰值max_response计算和更新自适应输出响应阈值t，返回确定平移滤波器模板模块。

所述自适应输出响应阈值t＝(1-γ)·t+γ·max_response，其中γ是事先设置的输出响应阈值计算比例系数。

本发明具有的优点是：

(1)当搜索范围较小且目标运动速度较快时，小尺寸滤波器切换为大尺寸滤波器，扩大搜索范围，为快速准确预测目标位置提供依据；

(2)当面对杂乱背景的情况时，大尺寸滤波器切换为小尺寸滤波器，缩小搜索范围，减轻背景对响应输出的影响，为快速准确预测目标位置提供依据；

(3)根据视频序列每帧中的响应峰值计算和更新自适应响应阈值，使得自适应响应阈值在针对不同视频序列时能够有效地切换双模板滤波器。

附图说明

图1是本发明实施例的基于双模板自适应阈值的目标跟踪方法流程图；

图2是本发明实施例的基于双模板自适应阈值的目标跟踪系统结构示意图。

具体实施方式

下面对本发明优选实施例作详细说明。

事先建立用于表示图像像素位置的x-y坐标系，目标中心位置用(x_n,y_n)表示，其中n表示帧数。视频序列第一帧的目标中心位置(x₁,y₁)事先设置，目标尺寸(high,width)事先设置，用变量t表示自适应的输出响应阈值，设置自适应输出响应阈值t的上限为T，自适应输出响应阈值t的初始值为T₀。本实施例中，图像像素位置坐标系中，图像左上角像素点的位置为(1,1)，第一帧图像中给出目标中心位置(x₁,y₁)＝(47,55)，目标尺寸为10像素×10像素，即high＝10，width＝10，设置自适应输出响应阈值t的上限为T＝0.8，自适应输出响应阈值t的初始值为T₀＝0.6。

本发明的基于双模板自适应阈值的目标跟踪方法，包括以下步骤：

根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。

所述小模板和大模板的搜索框尺寸window_sz_small＝(a₁×high,a₁×width)，window_sz_big＝(a₂×high,a₂×width)，其中a₁和a₂是事先设置的搜索框参数且a₁<a₂。本实施例中，事先设置的搜索框参数a₁＝2，a₂＝3，则计算小模板和大模板的搜索框尺寸分别为window_sz_small＝(a₁×high,a₁×width)＝(20,20)和window_sz_big＝(a₂×high,a₂×width)＝(30,30)，高斯标签yf_small尺寸为(20,20)，高斯标签yf_big尺寸为(30×30)，标签中心取最大值为1，周围数值逐渐减小，边缘为0，数值成高斯分布。

确定平移滤波器模板：在目标中心位置(x_n,y_n)，根据搜索框大小截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；

所述平移滤波器模板

其中，α表示α_small或α_big，

表示逆傅里叶变换，(·)^*表示共轭，

表示高斯型标签的傅里叶变换，λ是正则化参数，

是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。本实施例中，在目标中心位置(47,55)，搜索框大小截取图像块patch_small_for_train_1、patch_big_for_train_1，分别提取图像块特征，得到平移特征样本xf_small_for_train_1、xf_big_for_train_1，其尺寸分别为(20,20)，(30,30)，这里余弦窗相当于一个权重矩阵，赋予中心目标区域更大的权重，越靠近边缘权重越小，最终根据岭回归训练模型，利用特征样本和高斯型标签，依据公式

计算得到平移滤波器模板α_small、α_big。

判断小模板平移滤波器响应峰值是否满足需求：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(x_n-1,y_n-1)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入步骤：预测目标中心在当前帧的位置，否则判定小模板平移滤波器响应峰值不满足需求，进入步骤：判断大模板平移滤波器响应峰值是否满足需求。

所述

表示逆傅里叶变换，

表示傅里叶变换，⊙表示矩阵元素点乘运算符，k^xz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中，令n＝n+1＝2，读取视频序列第2帧，在第1帧目标中心位置(47,55)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_2，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_2，其尺寸为(20，20)，利用模板α_small，依据公式

计算得到响应输出矩阵response_small以及响应峰值max_response_small＝0.5，此时自适应输出响应阈值t＝T₀＝0.6，max_response_small<T，判定小模板平移滤波器响应峰值不满足需求，进入步骤：判断大模板平移滤波器响应峰值是否满足需求。

判断大模板平移滤波器响应峰值是否满足需求：在第n-1帧目标中心位置(x_n-1,y_n-1)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small。

所述

表示逆傅里叶变换，

表示傅里叶变换，⊙表示矩阵元素点乘运算符，k^xz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中，在第1帧目标中心位置(47,55)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_2，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_2，其尺寸为(30，30)，利用模板α_big，依据公式

计算得到响应输出矩阵response_big以及响应峰值max_response_big＝0.55，此时max_response_big>max_response_small，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big＝0.55。

根据平移滤波器预测目标中心在当前帧的位置：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(x_n,y_n)。本实施例中，根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第2帧的位置(x₂,y₂)＝(50,55)。

更新自适应输出响应阈值：根据响应峰值max_response计算和更新自适应输出响应阈值t，返回步骤：确定平移滤波器模板。

所述自适应输出响应阈值t＝(1-γ)·t+γ·max_response，其中γ是事先设置的输出响应阈值计算比例系数。本实施例中，事先设置的输出响应阈值计算比例系数γ＝0.1，响应峰值max_response＝0.55，则计算自适应输出响应阈值t＝(1-γ)·t+γ·max_response＝0.9×0.6+0.1×0.55＝0.595，返回步骤：确定平移滤波器模板。

在步骤：确定平移滤波器模板中，在当前帧目标中心位置(50,55)，根据搜索框大小截取图像块patch_small_for_train_2(20×20)、patch_big_for_train_2(30×30)，然后将图像块都缩放到标准搜索框尺寸，分别提取图像块特征，然后添加余弦窗得到平移特征样本xf_small_for_train_2、xf_big_for_train_2，利用线性插值更新平移滤波器模板α_small、α_big。

更新平移滤波器和尺度滤波器后，读取视频序列下一帧，按照上述步骤执行，直到视频最后一帧。

本实施例的基于双模板自适应阈值的目标跟踪方法流程图，如图1所示。

本实施例的基于双模板自适应阈值的目标跟踪系统，包括：

视频序列；

计算机；

以及

一个或多个程序，其中所述一个或多个程序被存储在计算机的存储器中，并且被配置成由所述计算机的处理器执行，所述程序包括：

根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签模块：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。

所述小模板和大模板的搜索框尺寸window_sz_small＝(a₁×high,a₁×width)，window_sz_big＝(a₂×high,a₂×width)，其中a₁和a₂是事先设置的搜索框参数且a₁<a₂。本实施例中，事先设置的搜索框参数a₁＝2，a₂＝3，则计算小模板和大模板的搜索框尺寸分别为window_sz_small＝(a₁×high,a₁×width)＝(20,20)和window_sz_big＝(a₂×high,a₂×width)＝(30,30)，高斯标签yf_small尺寸为(20,20)，高斯标签yf_big尺寸为(30×30)，标签中心取最大值为1，周围数值逐渐减小，边缘为0，数值成高斯分布。

确定平移滤波器模板模块：在目标中心位置(x_n,y_n)，根据搜索框大小截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；

所述平移滤波器模板

其中，α表示α_small或α_big，

表示逆傅里叶变换，(·)^*表示共轭，

表示高斯型标签的傅里叶变换，λ是正则化参数，

是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。本实施例中，在目标中心位置(47,55)，搜索框大小截取图像块patch_small_for_train_1、patch_big_for_train_1，分别提取图像块特征，得到平移特征样本xf_small_for_train_1、xf_big_for_train_1，其尺寸分别为(20,20)，(30,30)，这里余弦窗相当于一个权重矩阵，赋予中心目标区域更大的权重，越靠近边缘权重越小，最终根据岭回归训练模型，利用特征样本和高斯型标签，依据公式

计算得到平移滤波器模板α_small、α_big。

判断小模板平移滤波器响应峰值是否满足需求模块：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(x_n-1,y_n-1)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入预测目标中心在当前帧的位置模块，否则判定小模板平移滤波器响应峰值不满足需求，进入判断大模板平移滤波器响应峰值是否满足需求模块。

所述

表示逆傅里叶变换，

表示傅里叶变换，⊙表示矩阵元素点乘运算符，k^xz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中，令n＝n+1＝2，读取视频序列第2帧，在第1帧目标中心位置(47,55)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_2，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_2，其尺寸为(20，20)，利用模板α_small，依据公式

计算得到响应输出矩阵response_small以及响应峰值max_response_small＝0.5，此时自适应输出响应阈值t＝T₀＝0.6，max_response_small<T，判定小模板平移滤波器响应峰值不满足需求，进入判断大模板平移滤波器响应峰值是否满足需求模块。

判断大模板平移滤波器响应峰值是否满足需求模块：在第n-1帧目标中心位置(x_n-1,y_n-1)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small。

所述

表示逆傅里叶变换，

表示傅里叶变换，⊙表示矩阵元素点乘运算符，k^xz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中，在第1帧目标中心位置(47,55)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_2，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_2，其尺寸为(30，30)，利用模板α_big，依据公式

计算得到响应输出矩阵response_big以及响应峰值max_response_big＝0.55，此时max_response_big>max_response_small，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big＝0.55。

根据平移滤波器预测目标中心在当前帧的位置模块：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(x_n,y_n)。本实施例中，根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第2帧的位置(x₂,y₂)＝(50,55)。

更新自适应输出响应阈值模块：根据响应峰值max_response计算和更新自适应输出响应阈值t，返回确定平移滤波器模板模块。

所述自适应输出响应阈值t＝(1-γ)·t+γ·max_response，其中γ是事先设置的输出响应阈值计算比例系数。本实施例中，事先设置的输出响应阈值计算比例系数γ＝0.1，响应峰值max_response＝0.55，则计算自适应输出响应阈值t＝(1-γ)·t+γ·max_response＝0.9×0.6+0.1×0.55＝0.595，返回确定平移滤波器模板模块。

在确定平移滤波器模板模块中，在当前帧目标中心位置(50,55)，根据搜索框大小截取图像块patch_small_for_train_2(20×20)、patch_big_for_train_2(30×30)，然后将图像块都缩放到标准搜索框尺寸，分别提取图像块特征，然后添加余弦窗得到平移特征样本xf_small_for_train_2、xf_big_for_train_2，利用线性插值更新平移滤波器模板α_small、α_big。

更新平移滤波器和尺度滤波器后，读取视频序列下一帧，按照上述步骤执行，直到视频最后一帧。

本实施例的基于双模板自适应阈值的目标跟踪系统结构示意图，如图2所示。

当然，本技术领域中的普通技术人员应当认识到，以上实施例仅是用来说明本发明的，而并非作为对本发明的限定，只要在本发明的范围内，对以上实施例的变化、变型都将落入本发明的保护范围。

Claims (10)

1.一种基于双模板自适应阈值的目标跟踪方法，其特征在于包括以下步骤：

根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big；

确定平移滤波器模板：在目标中心位置(x_n,y_n)，根据搜索框大小截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；

判断小模板平移滤波器响应峰值是否满足需求：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(x_n-1,y_n-1)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于自适应输出响应阈值t，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入步骤：预测目标中心在当前帧的位置，否则判定小模板平移滤波器响应峰值不满足需求，进入步骤：判断大模板平移滤波器响应峰值是否满足需求；

判断大模板平移滤波器响应峰值是否满足需求：在第n-1帧目标中心位置(x_n-1,y_n-1)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small；

根据平移滤波器预测目标中心在当前帧的位置：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(x_n,y_n)；

更新自适应输出响应阈值：根据响应峰值max_response计算和更新自适应输出响应阈值t，返回步骤：确定平移滤波器模板。

2.根据权利要求1所述的基于双模板自适应阈值的目标跟踪方法，其特征在于，所述小模板和大模板的搜索框尺寸window_sz_small＝(a₊×high,a₁×width)，window_sz_big＝(a₂×high,a₂×width)，其中a₁和a₂是事先设置的搜索框参数且a₁<a₂。

3.根据权利要求1所述的基于双模板自适应阈值的目标跟踪方法，其特征在于，所述平移滤波器模板

其中，α表示α_small或α_big，

表示逆傅里叶变换，(·)^*表示共轭，

表示高斯型标签的傅里叶变换，λ是正则化参数，

是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。

4.根据权利要求1所述的基于双模板自适应阈值的目标跟踪方法，其特征在于，所述

表示逆傅里叶变换，

表示傅里叶变换，⊙表示矩阵元素点乘运算符，k^xz表示样本x和待检测样本z的核矩阵的生成矩阵；所述

表示逆傅里叶变换，

表示傅里叶变换，k^xz表示样本x和待检测样本z的核矩阵的生成矩阵。

5.根据权利要求1所述的基于双模板自适应阈值的目标跟踪方法，其特征在于，所述自适应输出响应阈值t＝(1-γ)·t+γ·max_response，其中γ是事先设置的输出响应阈值计算比例系数。

6.一种基于双模板自适应阈值的目标跟踪系统，其特征在于包括：

视频序列；

计算机；

以及

一个或多个程序，其中所述一个或多个程序被存储在计算机的存储器中，并且被配置成由所述计算机的处理器执行，所述程序包括：

根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签模块：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big；

确定平移滤波器模板模块：在目标中心位置(x_n,y_n)，根据搜索框大小截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；

判断小模板平移滤波器响应峰值是否满足需求模块：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(x_n-1,y_n-1)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于自适应输出响应阈值t，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入预测目标中心在当前帧的位置模块，否则判定小模板平移滤波器响应峰值不满足需求，进入判断大模板平移滤波器响应峰值是否满足需求模块；

判断大模板平移滤波器响应峰值是否满足需求模块：在第n-1帧目标中心位置(x_n-1,y_n-1)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small；

根据平移滤波器预测目标中心在当前帧的位置模块：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(x_n,y_n)；

更新自适应输出响应阈值模块：根据响应峰值max_response计算和更新自适应输出响应阈值t，返回确定平移滤波器模板模块。

7.根据权利要求6所述的基于双模板自适应阈值的目标跟踪系统，其特征在于，所述小模板和大模板的搜索框尺寸window_sz_small＝(a₁×high,a₁×width)，window_sz_big＝(a₂×high,a₂×width)，其中a₁和a₂是事先设置的搜索框参数且a₁<a₂。

8.根据权利要求6所述的基于双模板自适应阈值的目标跟踪系统，其特征在于，所述平移滤波器模板

其中，α表示α_small或α_big，

表示逆傅里叶变换，(·)^*表示共轭，

表示高斯型标签的傅里叶变换，λ是正则化参数，

是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。

9.根据权利要求6所述的基于双模板自适应阈值的目标跟踪系统，其特征在于，所述

表示逆傅里叶变换，

表示傅里叶变换，⊙表示矩阵元素点乘运算符，k^xz表示样本x和待检测样本z的核矩阵的生成矩阵；所述

表示逆傅里叶变换，

表示傅里叶变换，k^xz表示样本x和待检测样本z的核矩阵的生成矩阵。

10.根据权利要求6所述的基于双模板自适应阈值的目标跟踪系统，其特征在于，所述自适应输出响应阈值t＝(1-γ)·t+γ·max_response，其中γ是事先设置的输出响应阈值计算比例系数。

Images