CN101673403B - 复杂干扰场景下的目标跟踪方法 - Google Patents

Abstract

本发明公开一种复杂干扰场景下的目标跟踪方法，包括以下步骤：运动目标检测：对每个进入视频中的运动目标，确定其出现的初始位置，采用自适应多高斯背景模型检测，并通过形态学处理的方法分割出独立的运动目标区域；目标特征建模：对检测到的每一个运动目标区域，提取多个用于匹配的特征信息，并进行多特征信息融合，建立目标特征模板；匹配区域搜索：在当前帧视频中，在特定的区域内搜索与目标特征模板相关性最优的区域，作为当前帧目标跟踪定位；目标特征模板更新：目标跟踪定位后，根据当前帧目标区域的特征信息和前三帧的目标特征模板的特征，更新当前帧的目标特征模板的特征权重，完成目标特征模板的自适应更新。

Description

复杂干扰场景下的目标跟踪方法

技术领域

本发明属于视频监控领域，尤其涉及一种基于运动及目标信息的复杂干扰场景下的目标跟踪方法。

背景技术

目标跟踪方法的研究和应用是计算机视觉技术一个重要的分支，实现目标跟踪主要有以下几个关键点：目标提取、目标识别及算法实时性。

现有的目标跟踪方法归纳起来，主要有以下几种：

基于运动分析的方法：包括帧间差分法，背景减除法以及光流法。

帧间差分法和背景减除法主要通过帧间像素的强度变化来检测得到运动目标，根据检测出的目标之间的相关性来进行目标的跟踪。其中，背景减除法是目前最常用的目标检测以及跟踪的方法。

通过背景减除法的跟踪方法主要包含了两个部分：运动目标检测，运动目标跟踪。通过统计每一个像素点的像素值，对其建立多高斯模型从而得到视频序列中的背景图像，通过与背景图像的比较来检测出运动区域，通过形态学的方法分割运动目标，这是该方法的目标检测部分。通过背景检测法得到每一帧图像的运动目标之后，根据目标之间存在的相关性，比如大小，距离等等来实现目标的跟踪。

在一些简单的场景，或是目标比较少的场景中，该方法能够达到比较好的跟踪效果，在这些情况下，每帧的目标基本上能够形成一对一的对应关系，但是在复杂场景中，目标密集时，该方法存在很大的局限性。在复杂场景下，不同帧图像间目标的相关性较弱，目标之间相互遮挡，干扰使该方法不能判断不同视频帧之间的相同目标。常出现的情况是上一帧图像中多个目标与当前帧同一个目标存在距离等相关性，对于各个目标的跟踪就存在问题。

基于运动矢量估计的光流法通过计算像素点的运动矢量来达到目标跟踪的目的，但由于其算法的复杂度高，很难适用于实时系统。

特征匹配的方法：

特征匹配方法的出发点是通过提取目标的特征，依据同一目标特征之间的相似性来达到跟踪的目的。该方法关键在于特征选取，常用的方法主要有以下几种，基于区域模板匹配的方法，基于颜色直方图匹配的方法，基于轮廓匹配的方法等等。

基于区域模板和颜色直方图匹配的方法主要利用了目标的颜色信息，其中，区域模板匹配是以整个目标区域作为跟踪模板来进行相关性匹配计算，在目标运动过程中，经常会发生形变，或是目标尺寸发生变化，在此情况下目标很容易丢失。颜色直方图匹配将目标区域的颜色直方图作为匹配的特征，该方法主要利用了目标颜色信息，没有考虑目标的结构，或者像素点的相互位置关系，因此，光线的变化很容易导致跟踪失败，同时，如果目标区域与背景颜色信息相似时，很容易在背景区域得到最佳匹配结果，从而丢失目标。

基于轮廓的匹配方法主要依据运动目标的轮廓特征进行匹配跟踪，该方法主要不足在于对目标尺寸变化适应性不强，且对阴影或者比较拥挤的场景，目标跟踪的效果很差。

发明内容

针对现有技术的缺点，本发明的目的是提供一种能有效提高鲁棒性及跟踪精确度的复杂干扰场景下的目标跟踪方法。

为实现上述目的，本发明的技术方案为：一种复杂干扰场景下的目标跟踪方法，其包括以下步骤：

(1)运动目标检测：对每个进入视频中的运动目标，确定其出现的初始位置，采用自适应多高斯背景模型检测，并通过形态学处理的方法分割出独立的运动目标区域；

(2)目标特征建模：对检测到的每一个运动目标区域，提取多个用于匹配的特征信息，并进行多特征信息融合，建立目标特征模板，目标建模方法直接影响目标跟踪的准确性和鲁棒性，本发明通过对目标颜色，梯度，纹理等多种信息，通过非负矩阵分解的方法进行特征的提取及一致性约束，将各个特征向量看做视频图像的概率密度分布函数，各特征的信息熵作为包含信息量大小的度量，以此为基准决定多特征融合的权重分布，来建立目标特征模板，大大提高了复杂场景下目标的辨识度；

(3)匹配区域搜索：在当前帧视频中，在特定的区域内搜索与目标特征模板相关性最优的区域，作为当前帧目标跟踪定位，本发明通过多特征融合Mean-Shift搜索方法，以迭代的方法来减小搜索最优匹配的时间，同时，结合模拟退火的思想来避免迭代搜索过程陷入局部最优解，大大提高了该方法的准确度和效率；

(4)目标特征模板更新：目标跟踪定位后，根据当前帧目标区域的特征信息和前三帧的目标特征模板的特征，更新当前帧的目标特征模板的特征权重，完成目标特征模板的自适应更新。

步骤(1)中，对视频中每一个像素点建立多高斯模型，通过统计的方法估计出视频背景，设用来描述每个点颜色分布的高斯分布共有K个，分别记为：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…k

其中，η表示高斯模型，t代表每个像素点，i代表高斯分布的个数，Y_t代表像素点t的亮度值，μ_t，i表示某一像素点其中一个高斯模型初始均值，∑_t，i代表混合多高斯模型的叠加。各高斯分布分别具有不同的权值ω_t，i(∑_iω_t，i＝1)和优先级p_t，i＝ω_t，i/σ_t，i，其中σ_t，i是各高斯分布的方差，各个高斯分布按优先级从高到低的次序排列，取定背景权值部分和阈值M，设定阈值M，按照高斯模型的排序，将各个权值相加，不超过阈值M的，则认为是背景部分，其他则是前景分布。

步骤(2)中，对于每一个运动目标区域，采用非负矩阵分解的方法，分别提取其颜色、梯度、纹理特征信息的特征向量，得到代表各个特征信息的非负基向量组，融合各个基向量组，得到最终代表视频的特征向量组。

各特征信息的特征向量的特征提取：将各特征信息信息看做非负m*n矩阵c，其中m，n为视频图像的高度和宽度，通过迭代方法求解特征向量q以及约束矩阵h，并采用欧式距离：||c-qh||＝∑_i，j[c_i，j-(qh)_i，j]²，其中，非负矩阵分解的求解过程如下：

a.初始化q，h矩阵为非负随机矩阵；

b.对q，h进行迭代运算，其中q，h是同步迭代，迭代公式如下：

$q_{i,a}=q_{i,a}\mathrm{\Σ}\frac{c_i}{{\left(\mathrm{qh}\right)}_i}{h}_a$

q_i，a＝q_i，a/∑_jq_j，a

$h_a=h_a\mathrm{\Σ}{q}_{i,a}\frac{c_i}{{\left(\mathrm{qh}\right)}_i}$

其中，i，j，a分别代表各个矩阵坐标，c为图像的信息矩阵。

c.计算c和qh之间的欧氏距离，如果大于预定订值，返回b继续运算；否则停止，运算结束，最终得到的q为某一特征信息的特征向量，其中图像颜色信息特征向量记为q_c，梯度图像记为q_g，纹理图像记为q_c。

通过对梯度图像求一阶导数得到检测图像中的边缘点，图像f(x，y)在位置(x，y)的梯度定义为下列向量：

$\▿f=\left[\begin{array}{c}{G}_x\\ G_y\end{array}\right]=\left[\begin{array}{c}\∂f/\∂x\\ \∂f/\∂y\end{array}\right]$

通过灰度共生矩阵所产生的一些统计量作为纹理特征信息来表示图像像素的空间关系，令图像f(x，y)灰度共生矩阵p_i，j为：

p_i，j＝#{(x₁，y₁)，(x₂，y₂)|f(x₁，y₁)＝i，f(x₂，y₂)＝j}

其中#{x|condition}表示x中满足条件condition的元素个数，i，j为图像坐标。根据(x₁，y₁)，(x₂，y₂)之间的距离d，与坐标横轴的夹角θ，得到各种间距及夹角的灰度共生矩阵p(i，j，d，θ)。

多特征信息融合：设q₁，q₂，q₃分别为某一目标区域的提取的颜色信息特征向量、梯度信息特征向量及纹理信息特征向量，则目标区域按如下方式来描述：

Q＝{ω_iq_i|i＝1，2，3}

其中，ω_i为各个特征信息的权重因子，∑_iω_i＝1，权值的计算依据不同特征所包含的信息量来确定，用信息熵来进行度量，将各个特征向量看做视频图像的概率密度分布函数，记为h_i，其信息熵表示为： $E\left(H\right)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{h}_i{\log }_2\left(h_i\right),$ 各个特征信息的权值与其信息熵成正比关系ω_i∝E_i(H)；

得到各个特征向量及其权值后，将目标特征模板记为Q，以y为中心的区域模板记为P(y)，则匹配相关系数：

$\mathrm{\ρ}[Q,P\left(y\right)]=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_i\mathrm{\ρ}[Q_i,P_i\left(y\right)]$

最优匹配为寻求此相关系数的最大值。

步骤(3)中，匹配区域搜索为空间位置的局部最优搜索：后续帧的目标定位中，以前一帧的目标区域质心点为中心，采用多特征融合Mean-Shift搜索方法，搜索出与目标特征模板的最佳匹配区域；

给定d维空间R^d中的n个样本点x_i，i＝1，2…n，在x点的Mean Shift向量的基本形式定义为：

$M_h\left(x\right)=\frac{1}{k}\underset{x_i\∈S_h}{\mathrm{\Σ}}(x_i-x)$

其中，S_h是一个半径为h的高维球区域，满足以下关系的y点的集合，

S_h＝{y：(y-x)^T(y-x)≤h²}

k表示在这n个样本点x_i中，有k个点落入S_h区域中。

Mean Shift形式扩展为：

$M_h\left(x\right)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}H\left(\frac{x_i-x}{h}\right)\mathrm{\ω}\left(x_i\right)(x_i-x)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}H\left(\frac{x_i-x}{h}\right)\mathrm{\ω}\left(x_i\right)}$

其中，H为与距离相关的核函数，且对所有采样点满足ω(x_i)＝1；

根据多特征信息融合的特征提取方法，对于指定的目标区域，提取其特征向量Q，以y为中心的区域模板记为P(y)，则MFMS匹配相关系数为：

$\mathrm{\ρ}[Q,P\left(y\right)]=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_i\mathrm{\ρ}[Q_i,P_i\left(y\right)]=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_i\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{Q_{i,u}{P}_{i,u}\left(y\right)}$

其中，m表示每一个特征向量的维数，u为具体每一维，i表示不同的图像特征。上式在P(y₀)处泰勒展开可得：

$\mathrm{\ρ}[Q,P\left(y\right)]\≈\frac{1}{2}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_i\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{Q_{i,u}{P}_{i,u}\left(y\right)}+\frac{1}{2}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_i\underset{u=1}{\overset{m}{\mathrm{\Σ}}}{P}_{i,u}\left(y\right)\sqrt{\frac{Q_{i,u}}{P_{i,u}\left(y_0\right)}}$

对上式右边第二项采用MFMS方法搜索最佳匹配位置，迭代过程步骤如下：

i.计算当前搜索点y₀的特征向量P(y₀)，计算与目标模板相关系数ρ[Q，P(y₀)]；

ii.基于MFMS，得到新的坐标点：

$y_1=\frac{\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_i\underset{u=1}{\overset{m}{\mathrm{\Σ}}}{x}_u{P}_{i,u}\left(y\right)\sqrt{\frac{Q_{i,u}}{P_{i,u}\left(y_0\right)}}}{\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_i\underset{u=1}{\overset{m}{\mathrm{\Σ}}}{P}_{i,u}\left(y\right)\sqrt{\frac{Q_{i,u}}{P_{i,u}\left(y_0\right)}}}$

更新P(y₁)，计算ρ[Q，P(y₁)]；

iii.比较ρ[Q，P(y₀)]与ρ[Q，P(y₁)]，如果ρ[Q，P(y₁)]＞ρ[Q，P(y₀)]，则y₀＝y₁，反之y₁＝(y₀+y₁)/2；

iv.在一定目标特征模板范围内随机扰动产生新的匹配点坐标y′₁，计算ρ[Q，P(y′₁)]，比较ρ[Q，P(y₁)]，ρ[Q，P(y₁)]，如果ρ[Q，P(y₁)]＜ρ[Q，P(y′₁)]，以y′₁作为最优匹配位置，反之，以某一固定概率接受y′₁，y₀＝y′₁；

v.当||y₁-y₀||＜ε或达到最高迭代次数时，算法终止，反之，回步骤2；其中，ε是给定的误差因子，在迭代过程中，连续两次计算出的匹配模板位置小于1个像素时，迭代终止，ε取值为0.5。

步骤(3)中，匹配区域搜索为尺度空间的局部最优搜索：

以当前搜索区域为起点，按尺度增大或减小方向分别进行搜索，搜索范围为尺度±(10％-15％)，搜索间隔5％；

在尺度变化搜索过程中，通过减小在多特征融合中梯度信息的权重减少对梯度特征信息的干扰，通过改变灰度共生矩阵中的距离因子d减少对纹理特征信息的干扰。

与现有技术相比，本发明具有如下有益效果：

1、在运动检测的基础上增加目标信息匹配技术，提高了复杂场景下目标跟踪的鲁棒性。

2、采用多特征信息融合的方法，使得对目标的描述更为全面，提高目标跟踪过程中的成功率和稳定性。

3、采用更为合理的方式进行多特征信息融合，根据目标特征所包含的信息量来决定各个特征在目标匹配过程中所含的比重。

4、计算量小，在不失精度的前提下完全可用于实时处理。

附图说明

图1为本发明的总流程图；

图2为本发明的目标跟踪流程；

图3为本发明的多特征信息融合流程图。

具体实施方式

以下结合附图对本发明进行详细的描述。

如图1及图2所示，本发明提供一种结合运动与目标信息的复杂场景下的目标跟踪方法，该方法的主要流程如下：

●运动目标检测：对每个进入场景中的运动目标，需要确定其出现的初始位置，运动目标的检测采用自适应多高斯背景模型，并通过形态学处理的方法分割出独立的运动目标。

●目标特征建模：对检测到的每一个运动目标区域，提取多个用于匹配的特征信息，并进行多特征信息融合，建立目标特征模板，目标建模方法直接影响目标跟踪的准确性和鲁棒性，本发明通过对目标颜色，纹理等多种信息，通过非负矩阵分解的方法进行特征的提取及一致性约束，将各个特征向量看做视频图像的概率密度分布函数，各特征的信息熵作为包含信息量大小的度量，以此为基准决定多特征融合的权重分布，来建立目标特征模板。

●匹配区域搜索：在当前帧视频中，在特定的区域内搜索与目标特征模板相关性最优的区域，作为当前帧目标跟踪定位，本发明通过多特征融合Mean-Shift搜索方法，以迭代的方法来减小搜索最优匹配的时间，同时，结合模拟退火的思想来避免迭代搜索过程陷入局部最优解。

●目标特征模板更新：目标锁定后，根据当前帧目标区域的特征信息和前三帧的模板特征，更新当前帧的模板特征权重，完成模板的自适应更新，为后续的鲁棒跟踪创造条件。

下面对本发明的几个步骤依次进行详细描述：

1.运动目标检测

采用多高斯背景模型，对每一个像素点建立多高斯模型，通过统计的方法估计出视频背景，设用来描述每个点颜色分布的高斯分布共有K个，分别记为：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…k

其中，η表示高斯模型，t代表每个像素点，i代表高斯分布的个数，Y_t代表像素点t的亮度值，μ_t，i表示某一像素点其中一个高斯模型初始均值，∑_t，i代表混合多高斯模型的叠加。各高斯分布分别具有不同的权值ω_t，i(∑_iω_t，i＝1)和优先级p_t，i＝ω_t，i/σ_t，i，其中σ_t，i是各高斯分布的方差。各个高斯分布按优先级从高到低的次序排列，取定背景权值部分和阈值M，设定阈值M，按照高斯模型的排序，将各个权值相加，只要不超过阈值M，都认为是背景部分，即 $B={\min }_b{\mathrm{\&Sigma;}}_1^b{\mathrm{\&omega;}}_j<M$ 前若干个分布才被认为是背景分布，其他则是前景分布。

判断一个像素点是否为前景点的方法是将当前像素值与背景模型相匹配，若满足背景模型，则当前像素点为背景，反之，则为前景像素点。

得到前景像素点之后，通过形态学腐蚀膨胀的方法分割出独立的运动目标。

2.运动目标特征建模

对检测到的每一个运动目标区域，提取用于匹配的特征，建立目标特征模型。本发明中，用于匹配的目标信息采用多特征信息融合的方式，多特征信息融合主要针对单一特征信息中存在的不足进行改进，多特征信息融合进行跟踪极大提高了算法的鲁棒性。

对于指定的目标运动区域，采用单一的特征进行匹配具有一定的局限性，针对视频图像中的运动目标而言，目标的形变，视频场景光线变化都会影响目标特征匹配的准确性，因此，针对这一问题，本发明采用了目标的颜色，边缘，纹理等多特征融合的方式来实现目标的准确匹配。

为确保待匹配特征的一致性，本发明采用非负矩阵分解的方法提取图像某一特征信息的特征向量，用于特征匹配。即将原始视频图像，原始视频梯度图像，原始视频纹理图像等看做代表了图像某一方面性质的非负矩阵信息，进行非负矩阵分解，得到代表各个特征信息的非负基向量组，融合各个基向量组，得到最终代表图像的特征向量组。首先以图像的颜色信息为例介绍非负矩阵分解的主要步骤。

2.1颜色信息的特征提取

非负矩阵分解问题可以描述为：已知一个非负m*n矩阵V，目的是找出非负的m*r矩阵W和非负的r*n矩阵H，使得V＝WH。非负矩阵分解是用非负性约束来获取数据表示的一种方法。非负性是对矩阵分解非常有效的条件限制，它导致了对于原始数据的基于部分的表示形式，即样本数据只允许加性和非负的组合。算法所得到的非负基向量组W具有一定的线性无关性和稀疏性，从而使得其对原始数据的特征及结构具有相当的表达能力。

在本发明中，图像的颜色信息可以看做非负m*n矩阵c，其中m，n为图像的高度和宽度。需要得到特征向量q以及约束矩阵h，非负矩阵分解的求解是一个最优化问题，可以用迭代方法求解q和h。非负矩阵分解问题的目标函数有很多种，本发明中采用欧式距离：

||c-qh||＝∑_i，j[c_i，j-(qh)_i，j]²

非负矩阵分解问题的求解过程如下：

1.初始化q，h矩阵为非负随即矩阵，

2.对q，h进行迭代运算，其中q，h是同步迭代，也就是说，完成q中的一行更新之后，立即更新h中相应的列，迭代公式如下：

$q_{i,a}=q_{i,a}\mathrm{\&Sigma;}\frac{c_i}{{\left(\mathrm{qh}\right)}_i}{h}_a$

q_i，a＝q_i，a/∑_jq_j，a

$h_a=h_a\mathrm{\&Sigma;}{q}_{i,a}\frac{c_i}{{\left(\mathrm{qh}\right)}_i}$

其中，i，j，a分别代表各个矩阵坐标，c为图像的信息矩阵。

3.计算c和qh之间的欧氏距离，如果大于预定订值，返回2继续运算；否则停止，运算结束。

最终得到的q即为图像颜色信息的特征向量，同理可以得到梯度图像以及纹理图像的特征向量。为区分不同信息的特征向量，颜色信息特征向量记为q_c，梯度记为q_g，纹理记为q_c。

2.2梯度信息

通过对图像求一阶导数可以检测图像中的边缘点，图像f(x，y)在位置(x，y)的梯度定义为下列向量：

$\&dtri;f=\left[\begin{array}{c}{G}_x\\ G_y\end{array}\right]=\left[\begin{array}{c}\&PartialD;f/\&PartialD;x\\ \&PartialD;f/\&PartialD;y\end{array}\right]$

图像每一个像素分别由水平及垂直方向的梯度构成，记为g，通过非负矩阵分解的方法得到梯度特征向量q_g，考虑到梯度的方向性，梯度计算存在负值，在非负矩阵分解迭代过程之前，需把梯度归一化到0-1之间。

2.3纹理信息

灰度共生矩阵是图像灰度的二阶统计度量，用灰度共生矩阵所产生的一些统计量作为纹理特征来表示图像像素的空间关系，令图像f(x，y)灰度共生矩阵p_i，j为：

p_i，j＝#{(x₁，y₁)，(x₂，y₂)|f(x₁，y₁)＝i，f(x₂，y₂)＝j}

其中#{x|condition}表示x中满足条件condition的元素个数，i，j为图像坐标。根据(x₁，y₁)，(x₂，y₂)之间的距离d，与坐标横轴的夹角θ，可以得到各种间距及夹角的灰度共生矩阵p(i，j，d，θ)。

根据以上得到的统计量，图像的纹理信息可以表示为每一个像素点位置的二阶概率密度，记为t，通过非负矩阵分解得到其特征向量记为q_t。

2.4多特征信息融合

上述信息分别表示目标某一特定方面的特征，q₁，q₂，q₃，则目标区域可以按如下方式来描述：

Q＝{ω_iq_i|i＝1，2，3}

其中，ω_i为各个特征的权重因子，∑_iω_i＝1，目标跟踪就是寻求目标特征模板与区域模板之间的最优匹配。特征融合的关键是找到一组合适的权值，使目标模板匹配计算更加准确，权值的计算依据不同特征所包含的信息量来确定，用信息熵来进行度量，将各个特征矢量看做图像的概率密度分布函数，记为h_i，其信息熵可以表示为：

$E\left(H\right)=-\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{h}_i{\log }_2\left(h_i\right)$

各个特征的权值与其信息熵成正比关系ω_i∝E_i(H)，即某种特征所包含的信息量越多，对目标匹配产生的影响越大，如图3所示。

得到各个特征向量及其权值后，将目标特征模板记为Q，以y为中心的区域模板记为P(y)，则匹配相关系数：

$\mathrm{\&rho;}[Q,P\left(y\right)]=\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\mathrm{\&rho;}[Q_i,P_i\left(y\right)]$

最优匹配就是寻求此相关系数的最大化。

3.匹配区域搜索

3.1空间位置的局部最优搜索

后续帧的目标定位中，为保证算法的实时性，以前一帧的目标质心点为中心，采用多特征融合Mean-Shift搜索(Multi-Feature Mean-Shift，MFMS)方式，搜索出与目标模板的最佳匹配区域，MFMS算法，是指一个迭代的步骤，及算出当前样本点的偏移均值，移动该样本点到其偏移均值，然后以此为新的起点，继续移动，直到满足一定的条件结束。

给定d维空间R^d中的n个样本点x_i，i＝1，2…n，在x点的Mean Shift向量的基本形式定义为：

$M_h\left(x\right)=\frac{1}{k}\underset{x_i\&Element;S_h}{\mathrm{\&Sigma;}}(x_i-x)$

其中，S_h是一个半径为h的高维球区域，满足以下关系的y点的集合，

S_h＝{y：(y-x)^T(y-x)≤h²}

k表示在这n个样本点x_i中，有k个点落入S_h区域中。如果样本点x_i从一个概率密度函数f(x)中采样得到，由于非零的概率密度梯度指向概率密度增加最大的方向，因此S_h区域内的样本点更多的落在沿着概率密度梯度的方向，对应的，Mean Shift向量M_h(x)应该指向概率密度梯度的方向。

一般来说，距离x点越近的采样点对估计x周围的统计特性越有效，因此引进了核函数的概念，在计算M_h(x)时可以考虑距离的影响，基本的Mean Shift形式扩展为：

$M_h\left(x\right)=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}H\left(\frac{x_i-x}{h}\right)\mathrm{\&omega;}\left(x_i\right)(x_i-x)}{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}H\left(\frac{x_i-x}{h}\right)\mathrm{\&omega;}\left(x_i\right)}$

其中，H为与距离相关的核函数，且对所有采样点满足ω(x_i)＝1。

根据多特征融合的特征提取方法，对于指定的目标区域，提取其特征向量Q，以y为中心的区域模板记为P(y)，则MFMS匹配相关系数为：

$\mathrm{\&rho;}[Q,P\left(y\right)]=\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\mathrm{\&rho;}[Q_i,P_i\left(y\right)]=\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{Q_{i,u}{P}_{i,u}\left(y\right)}$

其中，m表示每一个特征向量的维数，u为具体每一维，i表示不同的图像特征，上式在P(y₀)处泰勒展开可得：

$\mathrm{\&rho;}[Q,P\left(y\right)]\&ap;\frac{1}{2}\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{Q_{i,u}{P}_{i,u}\left(y\right)}+\frac{1}{2}\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}{P}_{i,u}\left(y\right)\sqrt{\frac{Q_{i,u}}{P_{i,u}\left(y_0\right)}}$

对右边第二项采用MFMS方法搜索最佳匹配位置，迭代过程步骤如下：

1.计算当前搜索点y₀的特征向量P(y₀)，计算与目标模板相关系数ρ[Q，P(y₀)]。

2.基于MFMS，得到新的坐标点：

$y_1=\frac{\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}{x}_u{P}_{i,u}\left(y\right)\sqrt{\frac{Q_{i,u}}{P_{i,u}\left(y_0\right)}}}{\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}{P}_{i,u}\left(y\right)\sqrt{\frac{Q_{i,u}}{P_{i,u}\left(y_0\right)}}}$

更新P(y₁)，计算ρ[Q，P(y₁)]。

3.比较ρ[Q，P(y₀)]与ρ[Q，P(y₁)]，如果ρ[Q，P(y₁)]＞ρ[Q，P(y₀)]，则y₀＝y₁，反之y₁＝(y₀+y₁)/2。

4.在一定模板范围内随机扰动产生新的匹配点坐标y′₁，计算ρ[Q，P(y′₁)]，比较ρ[Q，P(y₁)]，ρ[Q，P(y₁)]，如果ρ[Q，P(y₁)]＜ρ[Q，P(y′₁)]，以y′₁作为最优匹配位置，反之，以某一固定概率接受y′₁，y₀＝y′₁。

5.当||y₁-y₀||＜ε或达到最高迭代次数时，算法终止，反之，回步骤2。其中，ε是给定的误差因子，在迭代过程中，连续两次计算出的匹配模板位置小于1个像素时，迭代终止，ε取值为0.5。

3.2尺度空间的局部最优搜索

尺度空间局部最优搜索的作用是提高算法对目标尺度变化情况跟踪的稳定性，以当前检测区域为起点，按尺度增大或减小方向分别进行搜索，搜索范围为尺度±(10％-15％)，搜索间隔5％。

在尺度变化搜索过程中，其梯度信息和纹理信息发生了较大的改变，通过两种方式减少此变化带来的影响，针对图像梯度信息，采取的方法是减小在多特征融合中梯度信息的权重，针对纹理信息，主要改变灰度共生矩阵中的距离因子d，采取的方式是在计算过程中，保留几组根据不同的距离因子所产生的灰度共生矩阵，根据得到的目标模板大小，适当增加或者减小距离因子d，在尺度搜索过程中与不同的纹理信息进行相关性计算。增加尺度方向上的搜索极大改善了一般匹配中固定模板的缺陷，大大提高了视频序列中目标尺寸变化情况下跟踪的成功率。

3.3目标模板更新

目标锁定后，根据当前帧目标区域的特征信息和前三帧的模板特征，更新当前帧的模板特征权重，完成模板的自适应更新，更新包括目标的特征信息及尺度的变化。为后续的鲁棒跟踪创造条件。

Claims (2)

1.一种复杂干扰场景下的目标跟踪方法，其特征在于包括以下步骤：

(1)运动目标检测：对每个进入视频中的运动目标，确定其出现的初始位置，采用自适应多高斯背景模型检测，并通过形态学处理的方法分割出独立的运动目标区域；

(2)目标特征建模：对检测到的每一个运动目标区域，提取多个用于匹配的特征信息，并进行多特征信息融合，建立目标特征模板，其通过对目标颜色、梯度、纹理特征信息的特征向量，采用非负矩阵分解的方法进行特征的提取及一致性约束，将各个特征向量看做视频图像的概率密度分布函数，各特征的信息熵作为包含信息量大小的度量，以此为基准决定多特征融合的权重分布，建立目标特征模板；

(3)匹配区域搜索：在当前帧视频中，在特定的区域内搜索与目标特征模板相关性最优的区域，作为当前帧目标跟踪定位，其通过多特征融合Mean-Shift搜索方法，以迭代的方法来减小搜索最优匹配的时间，同时，结合模拟退火算法来排除迭代搜索过程陷入局部最优解；

(4)目标特征模板更新：目标跟踪定位后，根据当前帧目标区域的特征信息和前三帧的目标特征模板的特征，更新当前帧的目标特征模板的特征权重，完成目标特征模板的自适应更新；

步骤(2)中，非负矩阵的具体分解方法为：将各特征信息看做非负m＊n矩阵c，其中m，n为视频图像的高度和宽度，通过迭代方法求解特征向量q以及约束矩阵h，并采用欧式距离：||c-qh||＝∑_i，j[c_i，j-(qh)_i，j]²，其中，非负矩阵分解的求解过程如下：

a.初始化q，h矩阵为非负随机矩阵；

b.对q，h进行迭代运算，其中q，h是同步迭代，迭代公式如下：

$q_{i,a}=q_{i,a}\mathrm{\&Sigma;}\frac{c_i}{{\left(\mathrm{qh}\right)}_i}{h}_a$

q_i，a＝q_i，a/∑_jq_j，a

$h_a=h_a\mathrm{\&Sigma;}{q}_{i,a}\frac{c_i}{{\left(\mathrm{qh}\right)}_i}$

其中，i，j，a分别代表各个矩阵坐标，c为图像的信息矩阵；

c.计算c和qh之间的欧氏距离，如果大于预定订值，返回b继续运算；否则停止，运算结束，最终得到的q为某一特征信息的特征向量，其中图像颜色信息特征向量记为q_c，梯度图像记为q_g，纹理图像记为q_c；

通过对梯度图像求一阶导数得到检测图像中的边缘点，图像f(x，y)在位置(x，y)的梯度定义为下列向量：

$\&dtri;f=\left[\begin{array}{c}{G}_x\\ G_y\end{array}\right]=\left[\begin{array}{c}\&PartialD;f/\&PartialD;x\\ \&PartialD;f/\&PartialD;y\end{array}\right]$

通过灰度共生矩阵所产生的一些统计量作为纹理特征信息来表示图像像素的空间关系，令图像f(x，y)灰度共生矩阵p_i，j为：

p_i，j＝#{(x₁，y₁)，(x₂，y₂)|f(x₁，y₁)＝i，f(x₂，y₂)＝j}

其中#{x|condition}表示x中满足条件condition的元素个数，i，j为图像坐标；根据(x₁，y₁)，(x₂，y₂)之间的距离d，与坐标横轴的夹角θ，得到各种间距及夹角的灰度共生矩阵p(i，j，d，θ)；

多特征信息融合：设q₁，q₂，q₃分别为某一目标区域的提取的颜色信息特征向量、梯度信息特征向量及纹理信息特征向量，则目标区域按如下方式来描述：

Q＝{ω_iq_i|i＝1，2，3}

其中，ω_i为各个特征信息的权重因子，∑_iω_i＝1，权值的计算依据不同特征所包含的信息量来确定，用信息熵来进行度量，将各个特征向量看做视频图像的概率密度分布函数，记为h_i，其信息熵表示为：

各个特征信息的权值与其信息熵成正比关系ω_i E_i(H)；

得到各个特征向量及其权值后，将目标特征模板记为Q，以y为中心的区域模板记为P(y)，则匹配相关系数：

$\mathrm{\&rho;}[Q,P\left(y\right)]=\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\mathrm{\&rho;}[Q_i,P_i\left(y\right)]$

最优匹配为寻求此相关系数的最大值；

步骤(3)中，匹配区域搜索为空间位置的局部最优搜索：后续帧的目标定位中，以前一帧的目标区域质心点为中心，采用多特征融合Mean-Shift搜索方法，搜索出与目标特征模板的最佳匹配区域；

给定d维空间R^d中的n个样本点x_i，i＝1，2…n，在x点的Mean Shift向量的基本形式定义为：

$M_h\left(x\right)=\frac{1}{k}\underset{x_i\&Element;S_h}{\mathrm{\&Sigma;}}(x_i-x)$

其中，S_h是一个半径为h的高维球区域，满足以下关系的y点的集合，

S_h＝{y：(y-x)^T(y-x)≤h²}

k表示在这n个样本点x_i中，有k个点落入S_h区域中；

Mean-Shift形式扩展为：

$M_h\left(x\right)=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}H\left(\frac{x_i-x}{h}\right)\mathrm{\&omega;}\left(x_i\right)(x_i-x)}{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}H\left(\frac{x_i-x}{h}\right)\mathrm{\&omega;}\left(x_i\right)}$

其中，H为与距离相关的核函数，且对所有采样点满足权值ω(x_i)＝1；

根据多特征信息融合的特征提取方法，对于指定的目标区域，提取其特征向量Q，以y为中心的区域模板记为P(y)，则MFMS匹配相关系数为：

$\mathrm{\&rho;}[Q,p\left(y\right)]=\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\mathrm{\&rho;}[Q_i,P_i\left(y\right)]=\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{Q_{i,u}{P}_{i,u}\left(y\right)}$

其中，m表示每一个特征向量的维数，u为具体每一维，i表示不同的图像特征，上式在P(y₀)处泰勒展开可得：

$\mathrm{\&rho;}[Q,P\left(y\right)]\&ap;\frac{1}{2}\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{Q_{i,u}{P}_{i,u}\left(y\right)}+\frac{1}{2}\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}{P}_{i,u}\left(y\right)\sqrt{\frac{Q_{i,u}}{P_{i,u}\left(y_0\right)}}$

对上式右边第二项采用MFMS方法搜索最佳匹配位置，迭代过程步骤如下：

i.计算当前搜索点y₀的特征向量P(y₀)，计算与目标模板相关系数ρ[Q，P(y₀)]；

ii.基于MFMS，得到新的坐标点：

$y_1=\frac{\stackrel{3}{\underset{i=1}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}{x}_u{P}_{i,u}\left(y\right)\sqrt{\frac{Q_{i,u}}{P_{i,u}\left(y_0\right)}}}{\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}{P}_{i,u}\left(y\right)\sqrt{\frac{Q_{i,u}}{P_{i,u}\left(y_0\right)}}}$

更新P(y₁)，计算ρ[Q，P(y₁)]；

iii.比较ρ[Q，P(y₀)]与ρ[Q，P(y₁)]，如果ρ[Q，P(y₁)]＞ρ[Q，P(y₀)]，则y₀＝y₁，反之y₁＝(y₀+y₁)/2；

iv.在一定目标特征模板范围内随机扰动产生新的匹配点坐标y′₁，计算ρ[Q，P(y′₁)]，比较ρ[Q，P(y₁)]，ρ[Q，P(y₁)]，如果ρ[Q，P(y₁)]＜ρ[Q，P(y′₁)]，以y′₁作为最优匹配位置，反之，以某一固定概率接受y′₁，y₀＝y′₁；

v.当||y₁-y₀||＜ε或达到最高迭代次数时，算法终止，反之，回步骤2；其中，ε是给定的误差因子，在迭代过程中，连续两次计算出的匹配模板位置小于1个像素时，迭代终止，ε取值为0.5；

步骤(3)中，匹配区域搜索为尺度空间的局部最优搜索：

以当前搜索区域为起点，按尺度增大或减小方向分别进行搜索，搜索范围为尺度±(10％-15％)，搜索间隔5％；

在尺度变化搜索过程中，通过减小在多特征融合中梯度信息的权重减少对梯度特征信息的干扰，通过改变灰度共生矩阵中的距离因子d减少对纹理特征信息的干扰。

2.根据权利要求1所述的复杂干扰场景下的目标跟踪方法，其特征在于：步骤(1)中，多高斯背景模型的具体检测方法为：对视频中每一个像素点建立多高斯模型，通过统计的方法估计出视频背景，设用来描述每个点颜色分布的高斯分布共有K个，分别记为：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…k

其中，η表示高斯模型，t代表每个像素点，i代表高斯分布的个数，Y_t代表像素点t的亮度值，μ_t，i表示某一像素点其中一个高斯模型初始均值，∑_t，i代表混合多高斯模型的叠加，各高斯分布分别具有不同的权值ω_t，i，∑_iω_t，i＝1和优先级p_t，i＝ω_t，i/σ_t，i，其中σ_t，i是各高斯分布的方差，各个高斯分布按优先级从高到低的次序排列，取定背景权值部分和阈值M，按照高斯模型的排序，将各个权值相加，不超过阈值M的，则认为是背景部分，其他则是前景分布。

Images