CN107862680B - 一种基于相关滤波器的目标跟踪优化方法 - Google Patents

Abstract

本发明公开了一种基于相关滤波器的目标跟踪优化方法，其主要思路为：获取一个视频，所述视频包括T帧图片，每帧图片中分别包含一个目标，其中第1帧图片上目标位置已知，剩余T‑1帧图片上各自目标位置未知；然后计算T帧图片目标搜索域区域；分别得到第1帧图片目标搜索域区域的HOG特征向量f_HOG,1至第T帧图片目标搜索域区域的HOG特征向量f_HOG,T，以及第1帧图片目标搜索域区域的颜色特征矩阵至第T帧图片目标搜索域区域的颜色特征矩阵，确定相关滤波器，计算第t帧图片的目标中心点进而分别得到第T帧图片的目标中心点后结束跟踪，至此得到了第2帧图片的目标中心点至第T帧图片的目标中心点以及第1帧图片的目标中心点实现了T帧图片中每个目标的实时跟踪。

Description

一种基于相关滤波器的目标跟踪优化方法

技术领域

本发明属于计算机视觉领域，特别涉及一种基于相关滤波器的目标跟踪优化方法，适应于实际应用。

背景技术

视频目标跟踪是计算机视觉领域的重要研究课题，其定义是：给定视频序列初始帧中目标的位置框，在接下来的视频序列中自动给出该目标的位置框.视频目标跟踪研究在视频监控、人机交互、机器人等领域有广泛应用。

经过30多年研究与发展，大量视频目标跟踪算法相继提出。早期工作主要集中于生成学习跟踪方法研究，如Lucas—Kanade算法、Kalman滤波算法和Mean—shift跟踪算法等；但早期研究工作通过经典的数学模型难以准确把握目标的动态表观信息，因此经常导致若干帧后跟踪失败。接着，研究人员尝试在跟踪问题中引入包含考量背景信息在内的鉴别学习方法，以判别分类角度为出发点的鉴别学习跟踪算法得到了广泛研究和发展；如2009年B.Babenko等提出在线多例学习跟踪算法(MIL)与S.Hare建立的利用核方法的结构化输出模型(Struck)；基于相关滤波视频目标跟踪算法近年来受到广泛关注，其初衷是设计一个对目标高响应、同时对背景低响应的滤波器，由此实现对目标模式的快速检测；该方法本身可以有效实现对目标定位，但是对训练样本提出了数量要求，直至Bolme在2010年提出了最小平方误差输出总和滤波器(MOSSE)，该状况得以改善。利用自适应训练框架，MOSSE实现了鲁棒高效的跟踪模式，在MOSSE基础上，出现了大量改进算法；如Henriques等于2012年构建的循环结构检测跟踪算法(CSK)和于2015年提出的核化相关滤波器算法。

但是目前的相关滤波算法仍然有一些不足之处，如对快速物体与形变物体的进行目标跟踪时容易丢失目标；搜索域的大小不够精确，当目标在搜索域的占比过高时目标信息过多，当目标在搜索域的占比过低时背景信息过多。

发明内容

针对上述现有技术存在的缺点，本发明的目的在于提出一种基于相关滤波器的目标跟踪优化方法，该种基于相关滤波器的目标跟踪优化方法采用HOG特征与颜色特征比较的方法进行特征提取，能够增强跟踪目标鲁棒性。

为达到上述技术目的，本发明采用如下技术方案予以实现。

一种基于相关滤波器的目标跟踪优化方法，包括以下步骤：

步骤1，获取一个视频，所述视频包括T帧图片，每帧图片中分别包含一个目标，其中第1帧图片上目标位置已知，剩余T-1帧图片上各自目标位置未知；然后计算T帧图片目标搜索域区域；其中，T为大于或等于2的正整数；

步骤2，对第t'帧图片目标搜索域区域分别进行HOG特征和颜色特征的提取，分别得到第t'帧图片目标搜索域区域的HOG特征向量和第t'帧图片目标搜索域区域的颜色特征矩阵；1≤t′≤T，t'的初始值为1；

步骤3，令t'的值分别取1至T，重复步骤2，进而分别得到第1帧图片目标搜索域区域的HOG特征向量f_HOG,1至第T帧图片目标搜索域区域的HOG特征向量f_HOG,T，以及第1帧图片目标搜索域区域的颜色特征矩阵至第T帧图片目标搜索域区域的颜色特征矩阵；

初始化：令t∈{2,3,…,T}，令表示第t帧图片目标搜索域区域，t的初始值为2；

步骤4，确定相关滤波器，并将第t帧图片目标搜索域区域的HOG特征向量和第t帧图片目标搜索域区域的颜色特征矩阵分别作为相关滤波器的输入，分别计算第t帧图片的HOG特征响应矩阵和第t帧图片的颜色特征响应矩阵与即为相关滤波器的输出，进而分别得到第t帧图片的HOG特征响应矩阵中的最大值，以及第t帧图片的颜色特征响应矩阵中的最大值；

步骤5，比较第t帧图片的HOG特征响应矩阵中的最大值，以及第t帧图片的颜色特征响应矩阵中的最大值，并选取大的最大值位置，作为第t帧图片的目标中心点

步骤6，令t的值加1，返回步骤4，直到得到第T帧图片的目标中心点后结束跟踪，至此得到了第2帧图片的目标中心点至第T帧图片的目标中心点以及根据第1帧图片上目标位置得到第1帧图片的目标中心点实现了T帧图片中每个目标的实时跟踪。

本发明的有益效果：

本发明提出了一种基于相关滤波器的改进方法，不同于传统的人工设定搜索域大小，本发明利用了熵的特点来自适应的选择搜索域的大小；在特征提取方面，采用了HOG特征与颜色特征比较的方法进行特征提取，使得跟踪器对跟踪目标有着更加鲁棒的效果。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为本发明的一种基于相关滤波器的目标跟踪优化方法流程图；

图2为自适应搜索域的原理图；

图3为HOG特征提取的原理图；

图4为颜色特征提取的原理图；

图5a为视频的第1帧图片示意图；

图5b为视频的第103帧图片示意图；

图5c为视频的第162帧图片示意图；

图5d为视频的第404帧图片示意图；

图5e为视频的第456帧图片示意图；

图5f为视频的第476帧图片示意图。

具体实施方式

参照图1，为本发明的一种基于相关滤波器的目标跟踪优化方法流程图；其中所述基于相关滤波器的目标跟踪优化方法，包括以下步骤：

步骤1，计算搜索域的大小。

利用熵的性质自动选择搜索域的大小；首先，输入一个视频，所述视频包括T帧图片，每帧图片中分别包含一个目标，其中第1帧图片上目标位置是已知的，剩余T-1帧图片上各自目标位置都是未知的；第1帧图片上目标大小为q₁，计算第1帧图片上目标的熵E(q₁)，p_1i表示第1帧图片内灰度值i在q₁中出现的概率，b₁表示第1帧图片中的灰度值最大值，本实施例中b₁取值为255。

确定第2帧图片上目标搜索域区域初始值为s₀，s₀＝O×q₁，O为大于0的正整数，本实施例O取值为3。

1.1计算得到第1帧图片上目标的熵E(q₁)与第2帧图片上第k-1次更新后目标搜索域区域的熵E(s_k-1)之间的比R(k-1)，其表达式为：

R(k-1)＝E(q₁)/E(s_k-1) (1)

其中，1≤k≤K，K为设定的搜索域更新次数最大值，本实施例K取值为9；k的初始值为1，s_k-1表示第2帧图片上第k-1次更新后目标搜索域区域，p_k-1,2,l表示第2帧图片内灰度值l在s_k-1中出现的概率，log₂表示底数为2的对数，b₂表示第2帧图片中的灰度值最大值，本实施例中b₂取值为255。

1.2令k的值加1，且令s_k-1＝s_k-2-Q，返回1.1，直到得到第1帧图片上目标的熵E(q₁)与第2帧图片上第K-1次更新后搜索域的熵E(s_K-1)之间的比R(K-1)或者s_k-1＝1.2q₁时停止更新，将停止更新时对应的第1帧图片上目标的熵与第2帧图片上第k-1次更新后搜索域的熵之间的比，记为第1帧图片上目标的熵E(q₁)与第2帧图片上第k'次更新后搜索域的熵E(s_k')之间的比R(k')，1≤k'≤K，k'表示停止更新时对应的更新次数。

1.3根据第1帧图片上目标的熵E(q₁)与第2帧图片上第k'次更新后目标搜索域区域的熵E(s_k')之间的比R(k')，并通过如下公式得到第2帧图片上的最优目标搜索域区域，记为第2帧图片目标搜索域区域

其中，表示取最小时对应的j值，R(j-1)表示第1帧图片上目标的熵E(q₁)与第2帧图片上第j-1次更新后目标搜索域区域的熵E(s_j-1)之间的比，表示第2帧图片目标搜索域区域的最优更新次数，Q为设定常数，0<Q<1，本实施例中Q取值为0.2；O表示设定整数，O>1，本实施例中O取值为3；结果如图2所示。

令第1帧图片目标搜索域区域q₁表示第1帧图片上目标大小。

1.4令表示第t帧图片目标搜索域区域， 表示第2帧图片目标搜索域区域的最优更新次数，q_t-1表示第t-1帧图片上目标大小，t∈{2,3,…,T}。

1.5令t的值从2取至T，重复执行1.4，直到得到第T帧图片目标搜索域区域将第2帧图片目标搜索域区域至第T帧图片目标搜索域区域以及第1帧图片目标搜索域区域记为T帧图片目标搜索域区域，然后将t的值初始化为2。

步骤2，提取第t'帧图片目标搜索域区域的特征，具体为对第t'帧图片目标搜索域区域分别进行方向梯度直方图(HOG)特征和颜色特征的提取，1≤t′≤T，t'的初始值为1。

HOG特征的提取过程如图3所示；首先，对第t'帧图片目标搜索域区域进行灰度化，得到灰度化后第t'帧图片目标搜索域区域；然后采用Gamma校正法对灰度化后第t'帧图片目标搜索域区域进行颜色空间的标准化，目的是调节灰度化后第t帧图片目标搜索域区域的对比度，降低灰度化后第t'帧图片目标搜索域区域局部的阴影和光照变化所造成的影响，同时抑制噪音的干扰，进而得到Gamma校正法后第t'帧图片目标搜索域区域，所述Gamma校正法后第t'帧图片目标搜索域区域中包括A×B个像素，A表示Gamma校正法后第t'帧图片目标搜索域区域的高，B表示Gamma校正法后第t'帧图片目标搜索域区域的宽；再计算Gamma校正法后第t'帧图片目标搜索域区域中A×B个像素的梯度，得到A×B个像素的梯度值，得到A×B个像素的梯度值主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。

接着，将Gamma校正法后第t'帧图片目标搜索域区域中每C×C个像素分别作为一个cell，进而得到E个cell， 表示向下取整，本实施例中C取值为6；确定每个cell包含H个梯度方向，本实施例中H取值为8；将每个cell的H个梯度方向分别记为对应cell的梯度直方图，进而得到E个cell的梯度直方图，每个cell的梯度直方图都为H×1维；将E个cell的梯度直方图作为E个cell的特征描述符。

将E个cell中每D×D个cell分别组成一个block，本实施例中D取值为2；进而得到F个block， 表示向下取整；将每个block内D×D个cell的特征描述符分别依次串接起来，进而得到F个block的HOG特征描述符，所述F个block的HOG特征描述符都为H×D维；最后将F个block的HOG特征描述符依次串接起来，得到第t'帧图片的HOG特征描述符，所述第t'帧图片的HOG特征描述符为H×D×F维；将第t'帧图片的HOG特征描述符按照block个数维依次串接，形成H×D维矩阵，所述H×D维矩阵为第t'帧图片目标搜索域区域的HOG特征向量f_HOG,t'，所述第t'帧图片搜索域区域的HOG特征向量f_HOG,t'是可供分类使用特征向量。

颜色特征的提取过程如图4所示。首先，使用RGB色彩提取原理方法对第t'帧图片目标搜索域区域进行RGB颜色特征提取，进而得到3个颜色特征向量，每个向量长度为I；其中3个颜色依次为红色red、绿色green、蓝色blue，本实施例中I取值为8。

使用matlab图像处理宝典中的颜色映射方法对3个颜色特征向量进行颜色映射，进而得到11个颜色特征向量，每个颜色向量长度分别为I；其中11个颜色依次为黑色black、蓝色blue、棕色brown、绿色green、灰色grey、橙色orange、粉色pink、紫色purple、红色red、白色white、黄色yellow，得到11个颜色特征向量。

对11个颜色特征向量分别做快速傅里叶变换(FFT)，再分别进行核映射，进而得到新的11个颜色特征向量，每个新的颜色特征向量长度都为I。

然后通过PCA降维方法对所述新的11个颜色特征向量进行降维处理，得到降维处理后的2个颜色特征向量，所述降维处理后的2个颜色特征向量为第t'帧图片目标搜索域区域中主要颜色的2个向量，将降维处理后的2个颜色特征向量依次串接，得到一个I×2维矩阵，所述I×2维矩阵即为第t'帧图片目标搜索域区域的颜色特征矩阵f_color,t'。

步骤3，令t'的值分别取1至T，重复步骤2，进而分别得到第1帧图片目标搜索域区域的HOG特征向量f_HOG,1至第T帧图片目标搜索域区域的HOG特征向量f_HOG,T，以及第1帧图片目标搜索域区域的颜色特征矩阵f_color,1至第T帧图片目标搜索域区域的颜色特征矩阵f_color,T。

步骤4，获取相关滤波器。

确定相关滤波器，并将第t帧图片目标搜索域区域的HOG特征向量f_HOG,t和第t帧图片目标搜索域区域的颜色特征矩阵f_color,t分别作为相关滤波器的输入，分别计算第t帧图片目标搜索域区域的最优HOG拟合代价系数和第t帧图片目标搜索域区域的最优颜色拟合代价系数进而分别计算第t帧图片目标搜索域区域的HOG系数矩阵a_HOG,t和第t帧图片目标搜索域区域的颜色系数矩阵a_color,t，然后根据a_HOG,t和a_color,t，分别计算第t帧图片的HOG特征响应矩阵和第t帧图片的颜色特征响应矩阵与即为相关滤波器的输出；其具体过程如下所述：

令y_t-1表示第t-1帧图片上目标大小q_t-1的二维高斯分布矩阵，大小为M_t-1×N_t-1；第1帧图片上目标大小q₁的二维高斯分布矩阵大小至第T-1帧图片上目标大小q_T-1的二维高斯分布矩阵大小取值分别相等；令y_t-1(m,n)表示二维高斯分布矩阵y_t-1上坐标(m,n)处的值，0≤m≤M_t-1，0≤n≤N_t-1，则y_t-1(m,n)的计算公式为：

其中，w_t-1表示第t-1帧图片上目标大小q_t-1的宽，h_t-1表示第t-1帧图片上目标大小q_t-1的高，exp表示指数函数。

计算得到第t帧图片搜索域区域的最优HOG拟合代价系数

其中，将满足时对应的值，记为第t帧图片目标搜索域区域的HOG拟合代价系数ω_HOG,t；本实施例中ε取值0.01；φ(x_m,n)表示的核函数，表示第t帧图片目标搜索域区域的HOG特征向量f_HOG,t中坐标(m₁,n₁)处的值，0≤m₁≤H，0≤n₁≤D；y_t-1(m,n)表示二维高斯分布矩阵y_t-1上坐标(m,n)处的值，0≤m≤M_t-1，0≤n≤N_t-1，M_t-1表示二维高斯分布矩阵y_t-1的行数，N_t-1表示二维高斯分布矩阵y_t-1的列数；λ表示惩罚项系数，值为0.075。

计算得到第t帧图片目标搜索域区域的最优颜色拟合代价系数

其中，将满足时对应的值，记为第t帧图片目标搜索域区域的颜色拟合代价系数ω_co_lo_r,t；表示的核函数，表示第t帧图片目标搜索域区域的颜色特征矩阵f_color,t中坐标(m₂,n₂)处的值，0≤m₂≤I，0≤n₂≤2；λ表示惩罚项系数，值为0.075。

分别设定第t帧图片目标搜索域区域的HOG系数矩阵为a_HOG,t，设定第t帧图片目标搜索域区域的颜色系数矩阵为a_color,t，a_HOG,t和a_color,t分别为R_t×Q_t维，R_t与H取值相等，Q_t与D取值相等。

ω_HOG,t可以通过FFT加快计算，

其中，a_HOG,t(m₅,n₅)表示第t帧图片目标搜索域区域的HOG系数矩阵为a_HOG,t中坐标(m₅,n₅)处的值，0≤m₅≤R_t，0≤n₅≤Q_t；φ(m₆,n₆)表示(m₆,n₆)的核函数，0≤m₆≤R_t，0≤n₆≤Q_t,m₅与m₆对应，n₅与n₆对应。

对第t帧图片目标搜索域区域的HOG系数矩阵a_HOG,t进行快速傅里叶变换FFT：

其中，F(y_t-1)表示对第t-1帧图片上目标大小q_t-1的二维高斯分布矩阵y_t-1做快速傅里叶变换FFT，φ(f_HOG,t-1)表示第t-1帧图片目标搜索域区域的HOG特征向量f_HOG,t-1的核函数，F(φ(f_HOG,t-1)×φ(f_HOG,t-1))表示对两个相乘后的核函数做快速傅里叶变换FFT，λ表示惩罚项系数，值为0.075；F(a_HOG,t)表示对第t帧图片目标搜索域区域的HOG系数矩阵a_HOG,t做快速傅里叶变换FFT。

只要将F(a_HOG,t)做逆快速傅里叶变换FFT就可得到第t帧图片目标搜索域区域的HOG系数矩阵a_HOG,t。

ω_color,t也可以通过FFT加快计算，

其中，a_color,t(m₇,n₇)表示第t帧图片目标搜索域区域的颜色系数矩阵a_color,t中坐标(m₇,n₇)处的值，φ(m₈,n₈)表示(m₈,n₈)的核函数，0≤m₇≤R_t，0≤n₇≤Q_t，0≤m₈≤R_t，0≤n₈≤Q_t，m₇与m₈对应，n₇与n₈对应。

对第t帧图片目标搜索域区域的颜色系数矩阵a_color,t进行FFT：

其中，F(y_t-1)表示对第t-1帧图片上目标大小q_t-1的二维高斯分布矩阵y_t-1做快速傅里叶变换FFT，φ(f_color,t-1)表示第t-1帧图片目标搜索域区域的颜色特征向量f_color,t-1的核函数，F(φ(f_color,t-1)×φ(f_color,t-1))表示对φ(f_color,t-1)和φ(f_color,t-1)相乘后的核函数做快速傅里叶变换FFT，λ表示惩罚项系数，值为0.075；F(a_color,t)表示对第t帧图片目标搜索域区域的颜色系数矩阵做快速傅里叶变换FFT。

只要将F(a_color,t)做逆快速傅里叶变换FFT变换，就可得到第t帧图片目标搜索域区域的颜色系数矩阵a_color,t。

再运用如下公式求得第t帧图片的HOG特征响应矩阵和第t帧图片的颜色特征响应矩阵

其中，表示第t帧图片的目标模板，q_g表示第g帧图片上的目标大小；表示第t帧图片目标搜索域区域的核函数，表示第t帧目标模板的核函数，表示对和相乘后的结果进行快速傅里叶变换FFT，⊙表示点乘，上标-1表示求逆。

分别找到第t帧图片的HOG特征响应矩阵和第t帧图片的颜色特征响应矩阵中的最大值，进而分别得到第t帧图片的HOG特征响应矩阵中的最大值Y_HOG，t，以及第t帧图片的颜色特征响应矩阵中的最大值Y_color,t。

步骤5，目标的跟踪阶段。

通过HOG特征与颜色特征最终得到了第t帧图片的HOG特征响应矩阵中的最大值Y_HOG,t，以及第t帧图片的颜色特征响应矩阵中的最大值Y_color,t。

比较第t帧图片的HOG特征响应矩阵中的最大值Y_HOG,t，以及第t帧图片的颜色特征响应矩阵中的最大值Y_color,t，并选取大的最大值位置，作为第t帧图片的目标中心点

步骤6，令t的值加1，返回步骤4，直到得到第T帧图片的目标中心点后结束跟踪，至此得到了第2帧图片的目标中心点至第T帧图片的目标中心点以及根据第1帧图片上目标位置得到第1帧图片的目标中心点实现了T帧图片中每个目标的实时跟踪。

将一个500帧的视频作为输入的跟踪效果展示，整个跟踪过程如图5a至图5f所示，图5a表示视频的第1帧图片，在图5a上选取了想要跟踪的目标，在本视频中目标为一位女生；图5b表示视频的第103帧图片，女生在转动全身，转到背面时，一头黑发与之前正脸的颜色完全不同，但本发明方法仍然能够跟踪到这一头黑发是跟踪目标；图5c表示视频的第162帧图片，女生又从背面转回了正面，这种情况下也仍然能够跟踪到目标；图5d表示视频的第404帧图片，女生又恢复了类似时的状态，此时跟踪正常；图5e表示视频的第456帧图片，有一位男生挡住了女生的脸庞，对跟踪造成了干扰，但可以看到目标框仍在女生的面部没有转移到男生的面部；图5f是视频的第476帧图片，男生不再遮挡女生，离开时本发明方法并没有将男生误认为目标，仍然跟踪到了女生的面庞。通过图5b和图5c可以看出即使目标的颜色完全改变了，也不会丢失目标；通过图5e和图5f可以看出即使有与目标相近的物体进入目标搜索域区域，对应目标搜索域区域也能准确的锁定目标，不会被其他相近物体迷惑，这就是本发明的优势所在。

本发明使用了自适应选择搜索域大小的方法。传统的搜索域都是人为设定的，每一帧的搜索域大小都不会发生改变。搜索域过大时，背景信息太多即负样本太多；搜索域过小时，目标信息太多即正样本太多，两种情况都会导致正负样本不平衡，得到的目标函数不够准确，采用自适应搜索域避免了此类情况发生。

本发明采用了HOG特征与颜色特征比较的方法进行特征提取，是因为当目标剧烈形变，如旋转，缩放时，用HOG特征提取的效果并不好，但是颜色特征可以很好地提取目标的特征；当目标与背景的颜色比较相近时，颜色特征提取的效果并不好，但是用HOG特征提取的特征可以很好的分辨目标与背景，两种特征提取方式很好地进行了互补；所以在任何环境或情景下，本发明的特征提取方式都可以很好地对目标进行特征提取，增加了算法的鲁棒性和稳定性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围；这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (1)

1.一种基于相关滤波器的目标跟踪优化方法，其特征在于，包括以下步骤：

步骤1，获取一个视频，所述视频包括T帧图片，每帧图片中分别包含一个目标，其中第1帧图片上目标位置已知，剩余T-1帧图片上各自目标位置未知；然后计算T帧图片目标搜索域区域；其中，T为大于或等于2的正整数；

步骤2，对第t'帧图片目标搜索域区域分别进行HOG特征和颜色特征的提取，分别得到第t'帧图片目标搜索域区域的HOG特征向量和第t'帧图片目标搜索域区域的颜色特征矩阵；1≤t′≤T，t'的初始值为1；

步骤3，令t'的值分别取1至T，重复步骤2，进而分别得到第1帧图片目标搜索域区域的HOG特征向量f_HOG,1至第T帧图片目标搜索域区域的HOG特征向量f_HOG,T，以及第1帧图片目标搜索域区域的颜色特征矩阵至第T帧图片目标搜索域区域的颜色特征矩阵；

初始化：令t∈{2,3,…,T}，令表示第t帧图片目标搜索域区域，t的初始值为2；

步骤4，确定相关滤波器，并将第t帧图片目标搜索域区域的HOG特征向量和第t帧图片目标搜索域区域的颜色特征矩阵分别作为相关滤波器的输入，分别计算第t帧图片的HOG特征响应矩阵和第t帧图片的颜色特征响应矩阵与即为相关滤波器的输出，进而分别得到第t帧图片的HOG特征响应矩阵中的最大值，以及第t帧图片的颜色特征响应矩阵中的最大值；

步骤5，比较第t帧图片的HOG特征响应矩阵中的最大值，以及第t帧图片的颜色特征响应矩阵中的最大值，并选取大的最大值位置，作为第t帧图片的目标中心点

步骤6，令t的值加1，返回步骤4，直到得到第T帧图片的目标中心点后结束跟踪，至此得到了第2帧图片的目标中心点至第T帧图片的目标中心点以及根据第1帧图片上目标位置得到第1帧图片的目标中心点实现了T帧图片中每个目标的实时跟踪；

其中，在步骤1中，所述T帧图片目标搜索域区域，其过程为：

1.1 计算得到第1帧图片上目标的熵E(q₁)与第2帧图片上第k-1次更新后目标搜索域区域的熵E(s_k-1)之间的比R(k-1)，其表达式为：

R(k-1)＝E(q₁)/E(s_k-1)

其中，K为设定的搜索域更新次数最大值；k的初始值为1，s_k-1表示第2帧图片上第k-1次更新后目标搜索域区域，p_k-1,2,l表示第2帧图片内灰度值l在s_k-1中出现的概率，log₂表示底数为2的对数，b₂表示第2帧图片中的灰度值最大值；p_1i表示第1帧图片内灰度值i在q₁中出现的概率，b₁表示第1帧图片中的灰度值最大值，q₁表示第1帧图片上目标大小；

1.2 令k的值加1，且令s_k-1＝s_k-2-Q，返回1.1，直到得到第1帧图片上目标的熵E(q₁)与第2帧图片上第K-1次更新后搜索域的熵E(s_K-1)之间的比R(K-1)或者s_k-1＝1.2q₁时停止更新，将停止更新时对应的第1帧图片上目标的熵与第2帧图片上第k-1次更新后搜索域的熵之间的比，记为第1帧图片上目标的熵E(q₁)与第2帧图片上第k'次更新后搜索域的熵E(s_k')之间的比R(k')，1≤k'≤K，k'表示停止更新时对应的更新次数；其中，Q为设定常数，0＜Q＜1；

1.3 根据第1帧图片上目标的熵E(q₁)与第2帧图片上第k'次更新后目标搜索域区域的熵E(s_k')之间的比R(k')，并通过如下公式得到第2帧图片上的最优目标搜索域区域，记为第2帧图片目标搜索域区域

其中，表示取最小时对应的j值，R(j-1)表示第1帧图片上目标的熵E(q₁)与第2帧图片上第j-1次更新后目标搜索域区域的熵E(s_j-1)之间的比，表示第2帧图片目标搜索域区域的最优更新次数，Q为设定常数，0＜Q＜1；令第1帧图片目标搜索域区域 O表示设定整数，O>1；

1.4 令表示第t帧图片目标搜索域区域，q_t-1表示第t-1帧图片上目标大小，t∈{2,3,…,T}；

1.5 令t的值从2取至T，重复执行1.4，直到得到第T帧图片目标搜索域区域将第2帧图片目标搜索域区域至第T帧图片目标搜索域区域以及第1帧图片目标搜索域区域记为T帧图片目标搜索域区域，然后将t的值初始化为2；

在步骤2中，所述第t'帧图片目标搜索域区域的HOG特征向量和第t'帧图片目标搜索域区域的颜色特征矩阵，其得到过程为：

2.1 对第t'帧图片目标搜索域区域进行灰度化，得到灰度化后第t'帧图片目标搜索域区域；然后采用Gamma校正法对灰度化后第t'帧图片目标搜索域区域进行颜色空间的标准化，进而得到Gamma校正法后第t'帧图片目标搜索域区域，所述Gamma校正法后第t'帧图片目标搜索域区域中包括A×B个像素，A表示Gamma校正法后第t'帧图片目标搜索域区域的高，B表示Gamma校正法后第t'帧图片目标搜索域区域的宽；再计算Gamma校正法后第t'帧图片目标搜索域区域中A×B个像素的梯度，得到A×B个像素的梯度值；A、B分别为大于0的正整数；

2.2 将Gamma校正法后第t'帧图片目标搜索域区域中每C×C个像素分别作为一个cell，进而得到E个cell， 表示向下取整；确定每个cell包含H个梯度方向，将每个cell的H个梯度方向分别记为对应cell的梯度直方图，进而得到E个cell的梯度直方图，每个cell的梯度直方图都为H×1维，将E个cell的梯度直方图作为E个cell的特征描述符；C、H分别为大于0的正整数；

2.3 将E个cell中每D×D个cell分别组成一个block，进而得到F个block， 表示向下取整；将每个block内D×D个cell的特征描述符分别依次串接起来，进而得到F个block的HOG特征描述符，所述F个block的HOG特征描述符都为H×D维；D、F分别为大于0的正整数

将F个block的HOG特征描述符依次串接起来，得到第t'帧图片的HOG特征描述符，所述第t'帧图片的HOG特征描述符为H×D×F维；将第t'帧图片的HOG特征描述符按照block个数维依次串接，形成H×D维矩阵，所述H×D维矩阵为第t'帧图片目标搜索域区域的HOG特征向量f_HOG,t'；

2.4 对第t'帧图片目标搜索域区域进行RGB颜色特征提取，进而得到3个颜色特征向量，每个向量长度为I；其中3个颜色依次为红色red、绿色green、蓝色blue，I为大于0的正整数；

使用颜色映射方法对3个颜色特征向量进行颜色映射，进而得到11个颜色特征向量，每个颜色向量长度分别为I；其中11个颜色依次为黑色black、蓝色blue、棕色brown、绿色green、灰色grey、橙色orange、粉色pink、紫色purple、红色red、白色white、黄色yellow，得到11个颜色特征向量；

对11个颜色特征向量分别做快速傅里叶变换，再分别进行核映射，进而得到新的11个颜色特征向量，每个新的颜色特征向量长度都为I；

然后通过PCA降维方法对所述新的11个颜色特征向量进行降维处理，得到降维处理后的2个颜色特征向量，将降维处理后的2个颜色特征向量依次串接，得到一个I×2维矩阵，所述I×2维矩阵即为第t'帧图片目标搜索域区域的颜色特征矩阵f_color,t'；

在步骤4中，所述第t帧图片的HOG特征响应矩阵中的最大值，以及第t帧图片的颜色特征响应矩阵中的最大值，其得到过程为：

4.1 令y_t-1表示第t-1帧图片上目标大小q_t-1的二维高斯分布矩阵，大小为M_t-1×N_t-1；第1帧图片上目标大小q₁的二维高斯分布矩阵大小至第T-1帧图片上目标大小q_T-1的二维高斯分布矩阵大小取值分别相等；令y_t-1(m,n)表示二维高斯分布矩阵y_t-1上坐标(m,n)处的值，0≤m≤M_t-1，0≤n≤N_t-1，则y_t-1(m,n)的计算公式为：

y_t-1(m,n)＝exp(-((m-M_t-1/2)²+(n-N_t-1/2)²)/σ_t-1 ²)，

其中，w_t-1表示第t-1帧图片上目标大小q_t-1的宽，h_t-1表示第t-1帧图片上目标大小q_t-1的高，exp表示指数函数；

计算得到第t帧图片目标搜索域区域的最优HOG拟合代价系数

其中，将满足时对应的值，记为第t帧图片目标搜索域区域的HOG拟合代价系数ω_HOG,t；ε为小于1的常数，φ(x_m,n)表示的核函数，表示第t帧图片目标搜索域区域的HOG特征向量f_HOG,t中坐标(m₁,n₁)处的值，0≤m₁≤H，0≤n₁≤D；M_t-1表示二维高斯分布矩阵y_t-1的行数，N_t-1表示二维高斯分布矩阵y_t-1的列数，λ表示惩罚项系数；

计算得到第t帧图片目标搜索域区域的最优颜色拟合代价系数

其中，将满足时对应的值，记为第t帧图片搜索域目标区域的颜色拟合代价系数ω_color,t；表示的核函数，表示第t帧图片目标搜索域区域的颜色特征矩阵f_color,t中坐标(m₂,n₂)处的值，0≤m₂≤I，0≤n₂≤2；λ表示惩罚项系数；

4.2 分别设定第t帧图片目标搜索域区域的HOG系数矩阵为a_HOG,t，设定第t帧图片目标搜索域区域的颜色系数矩阵为a_color,t，a_HOG,t和a_color,t分别为R_t×Q_t维，R_t与H取值相等，Q_t与D取值相等；

对第t帧图片目标搜索域区域的HOG系数矩阵a_HOG,t进行快速傅里叶变换：

其中，F(y_t-1)表示对第t-1帧图片上目标大小q_t-1的二维高斯分布矩阵y_t-1做快速傅里叶变换，φ(f_HOG,t-1)表示第t-1帧图片目标搜索域区域的HOG特征向量f_HOG,t-1的核函数，F(φ(f_HOG,t-1)×φ(f_HOG,t-1))表示对两个相乘后的核函数做快速傅里叶变换，F(a_HOG,t)表示对第t帧图片目标搜索域区域的HOG系数矩阵a_HOG,t做快速傅里叶变换；

将F(a_HOG,t)做逆快速傅里叶变换，得到第t帧图片目标搜索域区域的HOG系数矩阵a_HOG,t；

4.3 对第t帧图片目标搜索域区域的颜色系数矩阵a_color,t进行快速傅里叶变换：

其中，F(y_t-1)表示对第t-1帧图片上目标大小q_t-1的二维高斯分布矩阵y_t-1做快速傅里叶变换，φ(f_color，t-1)表示第t-1帧图片目标搜索域区域的颜色特征向量f_color,t-1的核函数，F(φ(f_color,t-1)×φ(f_color,t-1))表示对φ(f_color,t-1)和φ(f_color,t-1)相乘后的核函数做快速傅里叶变换，F(a_color,t)表示对第t帧图片目标搜索域区域的颜色系数矩阵做快速傅里叶变换；

将F(a_color,t)做逆快速傅里叶变换，得到第t帧图片目标搜索域区域的颜色系数矩阵a_color,t；

4.4 分别计算第t帧图片的HOG特征响应矩阵和第t帧图片的颜色特征响应矩阵

其中，表示第t帧图片的目标模板，q_g表示第g帧图片上的目标大小；表示第t帧图片目标搜索域区域的核函数，表示第t帧目标模板的核函数，表示对和相乘后的结果进行快速傅里叶变换，⊙表示点乘，上标-1表示求逆；

4.5 分别找到第t帧图片的HOG特征响应矩阵和第t帧图片的颜色特征响应矩阵中的最大值，进而分别得到第t帧图片的HOG特征响应矩阵中的最大值Y_HOG,t，以及第t帧图片的颜色特征响应矩阵中的最大值Y_color,t。