CN106408592A - 一种基于目标模板更新的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于目标模板更新的目标跟踪方法，基于特征融合下的粒子滤波原理，采用视频分块的多任务方式，并建立一个目标模板库，利用颜色和边缘特征将下一帧信息与目标模板库里的目标信息进行匹配筛选，并利用模板记忆准则对目标模板库进行更新，实现了对不同状态下的目标长期记忆的功能。本发明克服了现有视频目标跟踪技术存在的易受外界干扰条件的影响，能够准确定位目标，有效减少跟踪误差。

Description

一种基于目标模板更新的目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，特别涉及了一种基于目标模板更新的目标跟踪方法。

背景技术

目标跟踪领域已经经历了非常久的研究历程，目标跟踪主要依靠计算机将人眼视觉图像转化为数字信息，通过不同的数学算法将信息归类、整合、筛选、运算等，如此便在不同视频帧中得到我们想要的信息。常用的目标跟踪算法包括均值漂移、卡尔曼滤波和粒子滤波。不同的算法采用的数学原理不同，但其本质都是通过数学运算将不同帧信息进行比对校验，得出我们想要的信息。

粒子滤波算法(PF)是一种基于蒙特卡罗方法和递推贝叶斯估计的统计预测方法，早期经典算法存在重采样过程计算量大和粒子退化等缺陷，为此展开了大量的研究。近年更关注如何合理选择目标视觉特征来提升PF目标跟踪的精度和鲁棒性。由于目标的颜色特征对物体姿态的改变和非刚体物体的变形不敏感在旋转和尺度变换上具有一定的鲁棒性但是当存在目标和背景颜色相似度较高时，往往会导致跟踪目标丢失。

国内外研究学者利用计算机建立视觉注意模型来模拟人类注意机制，并将视觉注意机制引入到目标检测、目标识别和运动目标跟踪过程中，使得目标处理过程能够更加接近于人类认知机制，提高算法的有效性。该研究方向有效的解决了通常热门算法在持久跟踪丢失目标信息的难题，已经成为模式识别领域的研究热点之一。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供一种基于目标模板更新的目标跟踪方法，克服现有的视频目标跟踪技术存在的易受外界干扰条件的影响，准确定位目标，有效减少跟踪误差。

为了实现上述技术目的，本发明的技术方案为：

一种基于目标模板更新的目标跟踪方法，包括以下步骤：

(1)将视频序列的每一帧图像根据目标在视频中的比例大小情况分成m行×n列个小格，将每个小格作为一个跟踪子任务；在第一帧图像中，手动选取目标，含有目标的所有小格构成任务集S；

(2)建立目标模板库，用于记录不同状态的目标信息；在初始化操作中，将步骤(1)得到的任务集S存入目标模板库中；

(3)从第二帧图像开始，对目标依次进行粗略跟踪和精细跟踪；

所述粗略跟踪的过程：对图像的所有跟踪子任务分别建立颜色观测模型和边缘形状信息模型，将颜色特征与边缘特征进行融合，融合结果直接与目标模板中的目标信息进行量化匹配，将匹配分数最高的跟踪子任务作为候选目标小格，最终得到所有候选目标小格构成的候选目标小格集S'；

所述精确跟踪的过程：首先对候选目标小格用“边缘扩展法则”进行扩展一个单位，确保目标确实涵盖在选定的跟踪子任务里，然后将扩展后的区域看成一个整体，用粒子滤波法在该区域内进行滤波，计算出与目标模板相似度最大的粒子集合，从而得到该帧图像最后的目标信息；

(4)利用模板记忆机制，构建基于该机制的目标模板判定准则，从而判定是否更新目标模板：将前一帧图像的目标信息保存在目标模板库中，与当前帧图像进行多任务跟踪匹配，得到当前帧图像候选目标后，与目标模板进行模板记忆准则的判定，若判定结果没有超出预设的阈值，即表示目标状态未发生变化，则用当前帧图像的候选目标替换前一帧图像存放的目标模板，而目标模板库中的目标模板数量没有变化；若判定结果超出了预设的阈值，则将当前帧候选目标纳入目标模板库中，目标模板库中的目标模板数量增加了。

进一步地，步骤(3)中所述的颜色观测模型：

上式中，p_c(z|x_t)为各个目标小格的颜色特征，z表示整个视频帧区域，x_t表示t时刻目标区域，d[*]为相似度函数，用于表示两变量间的相似关系，p_c(x_t)表示候选目标小格的概率分布，q_c为目标模板的概率分布，为颜色特征高斯分布的方差。

进一步地，步骤(3)中所述的边缘形状信息模型：

上式中，q_g为边缘特征，G(x,y)为Prewitt算法下任务小格边界图像信息的梯度值，δ[*]为狄拉克函数，是对边缘连续分布的近似表示，α(x,y)为横、竖位置分别为x、y的任务小格的边缘灰度值，u_g为各个任务小格中心位置的灰度值。

进一步地，步骤(3)中所述将颜色特征与边缘特征进行融合的公式：

p(Z|X)＝ωp_c(Z|X)+(1-ω)q_g(Z|X)

上式中，p(Z|X)为加权融合特征，p_c(Z|X)为颜色特征，q_g(Z|X)为边缘特性，ω为融合权值。

进一步地，步骤(4)的具体过程：

定义目标模板库：

其中，为第n帧目标模板库中第u个目标模板，为第n帧目标模板库中第u个目标模板的记忆显著度，N_T为目标模板库T中的目标模板数；

定义如下目标模板更新代价函数：

其中,为第n帧目标模板，为第n+1帧的候选目标，代价函数值越小，表示目标模板和候选目标越相似；

设目标模板的更新阈值为th₁，目标模板库的更新阈值为th₂，初始跟踪时，初始跟踪时，建立目标模板库T，把第一帧目标模板放入目标模板库T，初始记忆显著度从第二帧开始计算模板更新代价函数判断目标模板是否更新，目标模板的更新判定准则如下：

若不满足目标模板更新条件，则需要通过确定目标当前运动状态，判断是否更新目标模板库T，目标模板库的更新判定准则如下:

目标模板库T更新后，对应更新的目标模板的记忆显著度为若目标模板库T不满足更新条件，即时，不更新目标模板库T，扩大每个粒子搜索范围，重新进行搜索、匹配、跟踪，直到搜索到目标或者超过设定的搜索阈值为止。

采用上述技术方案带来的有益效果：

本发明基于特征融合下的粒子滤波原理，采用视频分块的多任务方式，并建立一个目标模板库(Object Template Set，OTS)，利用颜色和边缘特征将下一帧信息与OTS里的目标信息进行匹配筛选，并利用模板记忆准则对OTS进行更新，实现了对不同状态下的目标长期记忆的功能。本发明在目标大小发生变化、目标旋转、目标部分遮挡、背景信息融合和复杂场景情况下本文方法能否准确定位目标，有效减少跟踪误差。

附图说明

图1是本发明的方法流程图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图1所示，一种基于目标模板更新的目标跟踪方法，具体步骤如下：

步骤一：视频分块建立多任务数学模型。将视频根据目标在视频中的比例大小情况分成不同的行列数，分块越多跟踪精度越高但计算时间越久，反之亦然。经多次试验采用8×8为最佳分割算法。此后视每一个视频序列中的小格子V_ij为一个跟踪子任务。在第一帧中手动选取目标，照此将有若干个含有目标的任务小格集S＝{V_ij}。这些子任务贯穿于整个跟踪过程，因为多个任务同时进行，实现多线程跟踪方式，加快了目标位置的定位，减少因遮挡引起的信息丢失。

步骤二：建立目标模板库(OTS)。OTS的建立旨在提供一个记忆存储系统，方便不同帧之间的模板匹配，记录不同状态的目标信息。初试化操作中，手动选取需要跟踪的目标，将构成目标的任务小格一并存入OTS。后续跟踪过程中，所有子任务小格将一一与目标模板小块进行匹配筛选。

步骤三：粗略跟踪与精细跟踪。粗略跟踪从第二帧开始，视频中的所有子任务通过特征融合分别建立颜色观测模型：

上式中，p_c(z|x_t)为各个目标小格的颜色特征，z表示整个视频帧区域，x_t表示t时刻目标区域，d[*]为相似度函数，用于表示两变量间的相似关系，p_c(x_t)表示候选目标小格的概率分布，q_c为目标模板的概率分布，为颜色特征高斯分布的方差。

边缘形状信息模型：

上式中，q_g为边缘特征，G(x,y)为Prewitt算法下任务小格边界图像信息的梯度值，δ[*]为狄拉克函数，是对边缘连续分布的近似表示，α(x,y)为横、竖位置分别为x、y的任务小格的边缘灰度值，u_g为各个任务小格中心位置的灰度值。

分别计算出出颜色和边缘特征概率密度，然后通过下式融合两种特征：

p(Z|X)＝ωp_c(Z|X)+(1-ω)p_g(Z|X)

上式中，p(Z|X)为加权融合特征，p_c(Z|X)为颜色特征，q_g(Z|X)为边缘特性，ω为融合权值。

将融合结果直接与OTS中的目标信息进行量化匹配，匹配分数最高的将视为候选目标小格V'_ij。待所有候选目标小格集S'＝{V_ij'}选出后，粗略跟踪过程完毕。

精细跟踪过程从候选目标小格确定完毕开始，先对选出的小格用“边缘扩展法则”进行扩展一个单位。这么做是确保目标确实涵盖在选定的子任务里，因为目标图像可能会部分遗漏在小格之外。其次，将扩展后的范围看成一个整体，用粒子滤波法在该区域内进行滤波，计算出与目标模板相似度最大的粒子集合。于是便得到该帧最后的目标信息。至此精细跟踪过程结束。

步骤四：基于模板记忆准则下的更新。这个过程受视觉记忆机制启发，将第一帧的目标信息直接保存在OTS中，作为第二帧的目标模板，与第二帧的多任务跟踪进行匹配。得到候选目标后与目标模板进行模板记忆准则的判定，通过计算机判定看是否属于“状态变化”了的目标。如果结果没有超出预设的阈值，那么将此帧的候选目标替换当前存放的目标模板，而模板库的数量没有增加；若超出了阈值，那么将此候选目标纳入OTS中，从而更新了模板库。此时先前存放的目标模板的记忆显著度下降，新的目标模板占用了其一半的记忆显著度。如此下去，在跟踪过程中，OTS里的不同状态目标信息逐渐增多，可匹配的目标模板也随之增多。在之后的过程中跟踪将会变得更加准确，即使目标状态生了变化或者被遮挡也会被长期锁定。更新步骤的数学表示如下：

目标模板库定义如下：

其中，为第n帧目标模板库中第u个目标模板，为第n帧目标模板库中第u个目标模板的记忆显著度，N_T为目标模板库T中的目标模板数。是对目标学习的结果，用目标模板库T模拟人类视觉记忆库，将新的学习结果保存到T中，对已记忆的历史信息用表示记忆显著度，在对目标跟踪的图像序列中，将根据目标运动状态动态更新目标模板库模板库。

巴氏系数可以用来衡量目标模板与候选模板的相似性，但在目标内部区域巴氏系数存在大量的峰值，无法适应目标尺度变化，为了实现目标模板稳定更新，本发明提出了一种目标模板更新代价函数：

其中，为第n帧目标模板，为第n+1帧的候选目标，代价函数值越小，表示目标模板和候选目标越相似；

设目标模板的更新阈值为th₁，目标模板库的更新阈值为th₂，初始跟踪时，初始跟踪时，建立目标模板库T，把第一帧目标模板放入目标模板库T，初始记忆显著度从第二帧开始计算模板更新代价函数判断目标模板是否更新，目标模板的更新准则如下：

若不满足目标模板更新条件，则需要通过确定目标当前运动状态，判断是否更新目标模板库T，目标模板库的更新准则如下:

目标模板库T更新后，对应更新的目标模板的记忆显著度为若目标模板库T不满足更新条件，即时，不更新目标模板库T，扩大每个粒子搜索范围，重新进行搜索、匹配、跟踪，直到搜索到目标或者超过设定的搜索阈值为止。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种基于目标模板更新的目标跟踪方法，其特征在于，包括以下步骤：

(1)将视频序列的每一帧图像根据目标在视频中的比例大小情况分成m行×n列个小格，将每个小格作为一个跟踪子任务；在第一帧图像中，手动选取目标，含有目标的所有小格构成任务集S；

(2)建立目标模板库，用于记录不同状态的目标信息；在初始化操作中，将步骤(1)得到的任务集S存入目标模板库中；

(3)从第二帧图像开始，对目标依次进行粗略跟踪和精细跟踪；

所述粗略跟踪的过程：对图像的所有跟踪子任务分别建立颜色观测模型和边缘形状信息模型，将颜色特征与边缘特征进行融合，融合结果直接与目标模板中的目标信息进行量化匹配，将匹配分数最高的跟踪子任务作为候选目标小格，最终得到所有候选目标小格构成的候选目标小格集S'；

所述精细跟踪的过程：首先对候选目标小格用“边缘扩展法则”进行扩展一个单位，确保目标确实涵盖在选定的跟踪子任务里，然后将扩展后的区域看成一个整体，用粒子滤波法在该区域内进行滤波，计算出与目标模板相似度最大的粒子集合，从而得到该帧图像最后的目标信息；

(4)利用模板记忆机制，构建基于该机制的目标模板判定准则，从而判定是否更新目标模板：将前一帧图像的目标信息保存在目标模板库中，与当前帧图像进行多任务跟踪匹配，得到当前帧图像候选目标后，与目标模板进行模板记忆准则的判定，若判定结果没有超出预设的阈值，即表示目标状态未发生变化，则用当前帧图像的候选目标替换前一帧图像存放的目标模板，而目标模板库中的目标模板数量没有变化；若判定结果超出了预设的阈值，则将当前帧候选目标纳入目标模板库中，目标模板库中的目标模板数量增加了。

2.根据权利要求1所述一种基于目标模板更新的目标跟踪方法，其特征在于，步骤(3)中所述的颜色观测模型：

$p_c\left(z\right|x_t)=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_c}\exp (-\frac{d\[p_c\left(x_t\right),q_c\]}{2{\mathrm{\σ}}_c^2})$

上式中，p_c(z|x_t)为各个目标小格的颜色特征，z表示整个视频帧区域，x_t表示t时刻目标区域，d[*]为相似度函数，用于表示两变量间的相似关系，p_c(x_t)表示候选目标小格的概率分布，q_c为目标模板的概率分布，为颜色特征高斯分布的方差。

3.根据权利要求1所述一种基于目标模板更新的目标跟踪方法，其特征在于，步骤(3)中所述的边缘形状信息模型：

$q_g=\underset{x,y}{\Σ}G(x,y)\mathrm{\δ}\[\mathrm{\α}(x,y)-u_g\]$

上式中，q_g为边缘特征，G(x,y)为Prewitt算法下任务小格边界图像信息的梯度值，δ[*]为狄拉克函数，是对边缘连续分布的近似表示，α(x,y)为横、竖位置分别为x、y的任务小格的边缘灰度值，u_g为各个任务小格中心位置的灰度值。

4.根据权利要求1所述一种基于目标模板更新的目标跟踪方法，其特征在于，步骤(3)中所述将颜色特征与边缘特征进行融合的公式：

p(Z|X)＝ωp_c(Z|X)+(1-ω)q_g(Z|X)

上式中，p(Z|X)为加权融合特征，p_c(Z|X)为颜色特征，q_g(Z|X)为边缘特性，ω为融合权值。

5.根据权利要求1所述一种基于目标模板更新的目标跟踪方法，其特征在于，步骤(4)的具体过程：

定义目标模板库：

$T={\{H_n^u,m_n^u\}}_{u=1}^{N_T}$

其中，为第n帧目标模板库中第u个目标模板，为第n帧目标模板库中第u个目标模板的记忆显著度，N_T为目标模板库T中的目标模板数；

定义如下目标模板更新代价函数：

$S(H_o^n,H_c^{n+1})=\frac{\left|\right|H_o^n-H_c^{n+1}|{|}_2}{\left|\right|H_o^n+H_c^{n+1}|{|}_2}$

其中,为第n帧目标模板，为第n+1帧的候选目标，代价函数值越小，表示目标模板和候选目标越相似；

设目标模板的更新阈值为th₁，目标模板库的更新阈值为th₂，初始跟踪时，初始跟踪时，建立目标模板库T，把第一帧目标模板放入目标模板库T，初始记忆显著度从第二帧开始计算模板更新代价函数判断目标模板是否更新，目标模板的更新判定准则如下：

$H_o^{n+1}=\left\{\begin{array}{cc}{H}_c^{n+1}& S(H_o^n,H_c^{n+1})<{\mathrm{th}}_1\\ H_o^n& otherwise\end{array}\right.$

若不满足目标模板更新条件，则需要通过确定目标当前运动状态，判断是否更新目标模板库T，目标模板库的更新判定准则如下:

$T\left(H_o^{n+1}\right)=\left\{\begin{array}{cc}T\left(H_o^n\right)+H_c^{n+1}& {\mathrm{th}}_1<S(H_o^n,H_c^{n+1})<{\mathrm{th}}_2\\ T\left(H_o^n\right)& otherwise\end{array}\right.$

目标模板库T更新后，对应更新的目标模板的记忆显著度为若目标模板库T不满足更新条件，即时，不更新目标模板库T，扩大每个粒子搜索范围，重新进行搜索、匹配、跟踪，直到搜索到目标或者超过设定的搜索阈值为止。