CN103745203B - 基于视觉注意和均值漂移的目标检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种基于视觉注意和均值漂移的目标检测与跟踪方法。该方法首先使用视觉注意方法提取图像序列中第一帧图像的显著区域，去除背景因素的干扰，得到运动目标；再将传统均值漂移方法中核函数的固定带宽改为动态变化的带宽，使用改进的均值漂移方法对检测出的运动目标进行跟踪。实验结果表明，本发明适用于红外和可见光图像序列，跟踪效果较好。另外，本发明还可提供运动目标的位置信息，为精确定位目标提供了可能。它在夜视侦查、安防监控等军事和民事领域有着广阔的应用前景。

Description

基于视觉注意和均值漂移的目标检测与跟踪方法

技术领域

本发明涉及的是一种目标跟踪处理技术领域的方法，特别是一种基于视觉注意和均值漂移的目标检测与跟踪方法，可用于红外和可见光图像序列。

背景技术

目标检测与跟踪技术就是针对一段视频图像序列中检测出感兴趣区域(一般是运动目标)，并实时得到它的一些相关信息，比如位置、大小、速度、加速度等。

目前，比较成熟的目标检测与跟踪方法大多是基于像素级的，大体可以分为以下两大类：

(1)先检测后跟踪，不依赖先验知识，直接从视频图像序列中检测目标，提取出感兴趣目标，最终实现运动目标的跟踪。如阈值分割，基于形态学的滤波器，小波变换等。首先对图像进行预处理，通常包括杂波抑制，去噪和图像增强等，尽可能地滤除背景和噪声，减少随机因素的影响；然后设定阈值，将高于阈值的像素单元作为观测值输入跟踪方法中；最后由跟踪方法对每一次观测值进行航迹关联，根据目标的运动特性区分真实目标和噪声，从而达到跟踪目标的目的。

(2)先跟踪后检测，依赖于先验知识，为运动目标建立运动模型，把与目标特征信息(包括灰度直方图、梯度、光流场等特征信息)相匹配的区域作为运动目标。该类方法主要包括动态规划检测跟踪方法、帧相关检测跟踪方法、基于神经网络检测跟踪方法和基于贝叶斯估计检测跟踪方法等。方法步骤一般为先观测目标的运动特性，得到所有可能的目标运动轨迹，然后根据目标的特征(比如灰度特征、梯度特征等)来取得目标轨迹的后验概率。在这个过程中，如果某个轨迹的后验概率大于设定的阈值，这时认为该轨迹为真实目标的轨迹。因此这类问题的研究转化到求解候选目标轨迹的后验概率问题。

先检测后跟踪类方法结构相对简单，易于实现，信噪比比较高的情况下具有较好的跟踪性能，然而当低信噪比的情况下，降低阈值，会出现较高的虚警率，而且会加大后续航迹关联方法的负担，使计算量大大增加；而先跟踪后检测类方法是基于目标运动特性的检测与跟踪技术，利用运动特性来描述目标，相对来说，计算量较大，很多该类方法不能保证跟踪效果的实时性，且方法的可靠性还需改进。

用传统的视觉注意方法检测运动目标时，计算量较大，对每帧图像处理的时间较长，难以满足实时性的要求，且无法排除背景因素的干扰；用传统的均值漂移方法跟踪目标时，采用目标的颜色直方图作为搜索特征，通过不断迭代而逐渐收敛于目标的真实位置，从而达到跟踪的目的，这是一种半自动的目标跟踪方法，需要在起始帧内选中跟踪目标，并建立概率模型。另外，当目标运动较快或者目标被遮挡时，传统的均值漂移方法通常无法搜索到目标位置。对于视觉注意和均值漂移这两种图像处理方法的结合，国内也有学者做了这方面的工作，首先用视觉注意方法对图像进行处理，得到显著区域，再使用均值漂移方法在每个显著区域中迭代得到匹配区域，从而达到目标跟踪的目的，这种方法对于目标运动过快有较好的结果，但是每帧图像都要先使用视觉注意方法得到显著区域，再使用均值漂移方法进行目标跟踪，计算量很大，目标跟踪领域很重要的实时性要求不能得到满足。

发明内容

本发明的目的在于提供一种基于视觉注意和均值漂移的目标检测与跟踪方法，从而对红外或可见光图像序列中的运动目标进行实时跟踪。

实现本发明的目的的技术解决方案为：一种基于视觉注意和均值漂移的目标检测与跟踪方法，步骤如下：

(1)利用摄像头采集场景图像；

(2)判断当前图像是否为第一帧图像；如果是则执行步骤(4)，否则执行步骤(3)；

(3)判断上一帧图像是否有跟踪窗口返回；如果有则执行步骤(14)，否则执行步骤(4)；

(4)将步骤(1)采集到的图像进行高斯金字塔分解，产生8个不同分辨率的子图像；

(5)分别提取原图像及8层子图像的颜色、亮度、方向等特征图像；

(6)使用中央周边差算子和非线性归一化操作处理各特征图像；

(7)将步骤(6)处理后的各特征图线性组合生成各特征显著图，再生成总显著图；

(8)经胜者全赢和禁止返回机制得到显著区域；

(9)二值化显著区域；

(10)判断是否存在目标；如果存在则执行步骤(11)，否则执行步骤(1)；

(11)提取运动目标；

(12)将提取的运动目标作为跟踪目标并建立跟踪窗口；

(13)计算核函数跟踪窗口的灰度值概率分布并返回跟踪窗口作为下一帧图像的搜索窗口；返回步骤(1)；

(14)计算搜索窗口的灰度值概率分布；

(15)计算搜索窗口的质心，并移动搜索窗口到质心，判断迭代次数是否达到20次；如果是则停止计算，返回步骤(1)，并置下一帧图像为第一帧图像，否则执行步骤(16)；

(16)判断移动距离是否大于预先设置的固定阈值，如果是则返回步骤(14)，否则执行步骤(17)；

(17)将步骤(16)所得到的的最佳匹配区域作为下一帧的跟踪目标区域，并将其对应的权值矩阵作为下一帧跟踪目标的权值矩阵，返回步骤(1)。

本方法先使用视觉注意模型得到图像的显著区域，再二值化图像以去除背景因素的干扰，再判断是否存在运动目标，如果有，则提取运动目标，再使用均值漂移方法对运动目标进行跟踪，这里把均值漂移方法中核函数的固定带宽改为动态变化的带宽，可以适应目标大小、形状的变化。整个方法检测及跟踪效果较好，且满足目标跟踪的实时性要求。

本发明与现有技术相比，其显著特点：(1)该方法结合了视觉注意和均值漂移两者的优点，又对这两种方法分别进行了改进，直接模拟人眼视觉特性，首先检测出目标然后再使用均值漂移进行跟踪，不需要手动选择跟踪目标(2)使用改进的视觉注意方法对运动目标进行检测，去除背景因素干扰后，可以检测出移动很慢乃至接近静止的运动目标。(3)将均值漂移方法的核函数固定带宽改为动态变化的带宽，这既保留了传统的均值漂移方法计算量不大，能做到实时跟踪的优点，又能在运动目标大小发生变化时，不丢失目标。(4)当场景出现变化或者剧烈抖动的时候，不会跟丢目标(5)方法还提供了运动目标的运动信息，为精确定位提供了可能。

附图说明

图1是本发明基于视觉注意和均值漂移的目标检测与跟踪方法的总流程图。

图2是本发明基于视觉注意方法的流程图。

图3是本发明运动目标提取的流程图。

图4是本发明均值漂移方法的流程图。

图5是本发明第一次有目标出现的红外及可见光图像。

图6是本发明由红外及可见光图像得到的相应亮度、颜色、方向的特征显著图像。

图7是本发明生成的红外及可见光图像的总显著图。

图8是本发明生成的红外及可见光图像的显著区域。

图9是本发明去除背景因素干扰后红外及可见光图像的显著区域。

图10是本发明基于视觉注意的运动目标检测的红外及可见光图像。

图11是本发明原始红外图像及均值漂移方法的跟踪结果。

图12是本发明原始可见光图像及均值漂移方法的跟踪结果。

具体实施方式

下面结合附图对本发明作进一步详细描述。

本发明的基于视觉注意和均值漂移的目标检测与跟踪方法包括步骤(1)到步骤(17)，如图1所示。其中，改进的视觉注意方法包括步骤(4)到步骤(9)，如图2所示；目标提取方法包括步骤(11)，如图3所示；改进的均值漂移方法包括步骤(12)到步骤(17)，如图4所示。

步骤(1)、利用摄像头采集场景图像；

步骤(2)、判断当前帧是否为第一帧图像；如果是则执行步骤(4)，否则执行步骤(3)；

步骤(3)、判断上一帧是否有跟踪窗口返回；如果有则执行步骤(14)，否则执行步骤(4)；

步骤(4)、将步骤(1)采集到的图像进行高斯金字塔分解，产生8个不同分辨率的子图像；

第一、根据高斯模板的如下性质：

(a)可分离性：w(m,n)＝w(m)w(n)

(b)对称性：w(m)＝w(-m)

(c)归一化性：

得到如下所示的5×5的高斯模板w(m,n),m和n分别表示高斯模板的第m行和第n列：

第二、采用5×5的高斯模板对图像进行高斯金字塔分解，分解成9层，初始图像为第一层。对一幅二维数字图像I(i,j)，设δ为金字塔的层数，则由金字塔结构的第δ-1层计算第δ层的公式为：

其中w＝(m,n)表示高斯模板，N表示核函数的总行数或总列数。

步骤(5)、分别提取原图像及其8层子图像的颜色、亮度、方向等特征图像；

第一、亮度特征提取

设r(δ)，g(δ)，b(δ)，分别表示图像的红色、绿色和蓝色通道，其中δ表示金字塔的层数，取值范围是[0，1，…，8]。则金字塔结构中每一层图像的亮度特征为：

I(δ)＝(r(δ)+g(δ)+b(δ))/3 (2)

第二、颜色特征提取

为了除去色调的影响，使用I(δ)对r(δ)，g(δ)，b(δ)通道进行归一化，因为在照明度很低时，色调的改变不容易被注意到，因此，只对亮度大于整副图像最大亮度值的十分之一的区域进行归一化，其它区域的r，g，b值设为0。可以得到广义上的红、绿、蓝和黄四个通道。

R(δ)＝r(δ)-(g(δ)+b(δ))/2 (3)

G(δ)＝g(δ)-(r(δ)+b(δ))/2 (4)

B(δ)＝b(δ)-(r(δ)+g(δ))/2 (5)

Y(δ)＝(r(δ)+g(δ))-2*(|r(δ)-g(δ)|+b(δ)) (6)

当输入分别为纯的饱和的红、绿、蓝、黄颜色时，这四个通道取最大值，对灰度图像(r(δ)＝g(δ)＝b(δ))。红-绿和蓝-黄通道分别为：

RG(δ)＝|R(δ)-G(δ)| (7)

BY(δ)＝|B(δ)-Y(δ)| (8)

第三、方向特征提取

Gabor函数有很好的方向选择性。二维Gabor滤波器的数学表达式如下：

可以看出，Gabor函数是一个被复正弦函数调制的高斯函数，其中，α与β分别为高斯包络在x和y方向上的标准差。λ和θ_k分别为正弦波的波长和方向。θ_k的定义为k＝1,2,...n.

这里取0°，45°，90°，135°四个方向的Gabor滤波器输出作为方向特征，即n＝4。和的计算公式为：

当θ_k分别取0°，45°，90°，135°时，计算和的值，可以进一步获得0°，45°，90°，135°四个方向的Gabor滤波器。使用四个方向的Gabor滤波器对高斯金字塔结构的每一层图像滤波，即可得到4个方向(0°，45°，90°，135°)上的方向特征映射图。

步骤(6)、使用中央周边差算子和非线性归一化操作处理各特征图像；

第一、中央周边操作是通过中央层和周边层之间的层间相减操作计算不同分辨率对应的不同尺度之间的差实现的。进行层间相减操作首先要确定中央层和周边层，取金字塔结构中的第2、3、4层为中央层，每一个中央层对应的周边层为中央层的层数加3和4，即当中央层取第2层时，对应的周边层为第5层和第6层，以此类推。然后对像素较少的周边层进行插值，将像素放大至与对应的中央层像素一样，最后进行对应像素的相减操作。采用中央周边差操作可以计算图像中某一特征的对比度，引导其后的注意过程。

根据中央周边层的相减操作原理，设c表示金字塔结构的中央层，取值范围为{2,3,4}；c+s表示金字塔结构的周边层，s的取值范围为{3,4}；Θ表示中央层与对应的周边层进行层间相减操作，对各特征图计算如下：

设M_int[c,(c+s)]表示亮度特征图，则M_int[c,(c+s)]的计算公式为：

M_int[c,(c+s)]＝|I(c)ΘI(c+s)| (12)

设M_RG[c,(c+s)]，M_BY[c,(c+s)]分别表示红-绿通道和蓝-黄通道颜色特征图，相应的计算公式为:

M_RG[c,(c+s)]＝|(R(c)-G(c))Θ(R(c+s)-G(c+s))| (13)

M_BY[c,(c+s)]＝|(B(c)-Y(c))Θ(B(c+s)-Y(c+s))| (14)

设θ为Gabor滤波器的输出方向，取值范围为[0°，45°，90°，135°]，o(σ,θ)为尺度空间为σ时，θ方向上的方向特征图，则对方向特征图M_on[c,c+s,θ]计算公式

为M_on[c,c+s,θ]＝|o(c,θ)ΘI(c+s,θ)| (15)

第二、为了衡量各特征图的重要性，用一种迭代的非线性归一化算子N(·)模拟局部区域的显著性竞争，对给定某特征图M_[c,(c+s)])，N(·)算子的实现方法如下：

M_(c,c+s)＝Normalization(M_(c,c+s)) (16)

N(M_(c,c+s))＝[M_(c,c+s)+M_(c,c+s)*DOG-C] (17)

式中，*表示卷积，C是引入的偏置，抑制大致平衡的区域，这里大致平衡的区域指的是像素值变化不大的区域；先将特征图归一化到[0，1]，然后与双高斯差分函数DOG进行卷积。DOG数学表达式如下：

式中σ_ex和σ_inh是兴奋和抑制带宽，c_ex和c_inh是兴奋和抑制常数。DOG是种中央自激励。采用高斯差分函数进行局部迭代与人眼视觉皮层的中央自激励，邻域范围内的长程连接的组织方式相似，具有生物学上的合理性。

这里c_inh取2％，σ_inh取25％，c_ex取0.5，c_inh取1.5，C取0.02。

在设置收敛次数时，首先要保证特征图能收敛于特征明显的目标，其次，迭代次数要尽量少，以减少计算量。

用N(·)算子计算各特征图中不同区域的显著度，得到非线性归一化的42幅特征图。

步骤(7)、将步骤(6)处理后的各特征图线性组合生成各特征显著图，并生成总显著图；

第一、首先要生成各特征的显著图。

经过非线性归一化操作的特征图N(M_int(c,c+s))，N(M_RG(c,c+s))，N(M_BY(c,c+s))和N(M_ori(c,c+s,θ))。通过层间相加操作和非线性归一化形成三个特征显著图：亮度显著图C_int，颜色显著图C_col和方向显著图C_ori。层间相加操作(⊕操作)的过程如下：

首先通过插值将特征图的像素调整至与金字塔结构第4层图像像素一致，然后将各个特征对应的特征图进行对应像素的相加，最后用N(·)算子对各个特征显著图进行非线性归一化。

计算亮度显著图的公式为：

计算颜色显著图的公式为：

计算方向显著图的公式为

第二、生成总显著图。采用不同特征的显著图直接相加形成总显著图的方法，以1：1：1的比例直接相加形成总显著图S。

S＝(C_int+C_col+C_ori)÷3 (22)

步骤(8)、经胜者全赢和禁止返回机制得到显著区域；

第一、对于总显著图中的每一点w，根据熵的最大化方法获得一个最优的尺寸ψ_r，如公式(23)所示，此方程表示了该点位置处的空间显著性

其中D是总显著图中以圆心为w半径为r的圆形局部区域所有像素值的集合，半径r的取值范围是从待注意图长度和宽度值中最小值的到H_D(r,ψ)是根据公式(24)得到的熵值，W_D(r,ψ)是由公式(25)得到的尺度间的尺度。

其中P_d,r,ψ是通过在以上局部区域内标准化像素的直方图得到的概率块函数，描述值d是集合D中的一个元素。

再计算该点在一个局部区域内的均值，这个局部区域是以该点为圆心，以w_r为半径的圆形区域，所有的均值构成了一个图，该图中最大值的点即为最显著的点，最显著的点和该点对应的最优尺寸构成了最显著的区域。

第二、为了实现注意转移，使之注意到下一个区域，就要消除当前显著区域，本发明是将总显著图中最显著的区域的像素值都置为零。这样就得到了一个新的总显著图。

步骤(9)、二值化显著区域；

二值化显著区域，阈值为所设背景阈值，取值为90。

步骤(10)、判断是否存在目标；如果存在则执行步骤(11)，否则执行步骤(1)；

对二值化后的显著区域进行检测，如果有白色的像素点存在，则认为存在目标。

步骤(11)、提取运动目标，结合图3，具体步骤为：

第一、先寻找出目标的边界，并丢弃小目标；

第二、将边界转换成团块；

第三、在原始图像中找到匹配区域。

步骤(11)提供了运动目标的运动信息，为精确定位提供了可能。

步骤(12)、将提取的运动目标作为跟踪目标并建立跟踪窗口；

步骤(13)、计算核函数跟踪窗口的灰度值概率分布并返回跟踪窗口作为下一帧图像的搜索

窗口；返回步骤(1)；

首先需要在起始帧内为选中的跟踪目标建立概率模型，即计算核函数窗口中的直方图分布。设初始内核窗口的带宽h，x₁,x₂,...,x_n为内核窗口所包含采样点，x₀为目标中心，则目标的直方图分布为：

式中：k为核函数，m为特征空间中特征值的个数，δ为Kronecker函数，b(y_i)为像素y_i对应的特征值，C为归一化系数，h为核函数的带宽,n为内核窗口所包含采样点的个数。核函数k的作用，由于遮挡或者背景的影响，目标模型中心附近的象素比外物象素更可靠，利用核函数给中心的象素一个大的权值，而给远离中心的象素一个小的权值；是判断目标区域中象素的值是否属于第u个特征值。属于该特征则值为1，否则为0。

步骤(14)、计算搜索窗口的灰度值概率分布；

位于搜索窗口中心y的候选目标可以描述为

步骤(15)、计算搜索窗口的质心，并移动搜索窗口到质心，判断迭代次数是否达到20次；如果是则停止计算，返回步骤(1)，并置下一帧图像为第一帧图像，否则执行步骤(16)；

计算候选目标的质心位置的公式为：

其中

步骤(16)、判断移动距离是否大于预设的固定阈值，如果是则返回步骤(14)，否则执行

步骤(17)；

移动距离即与的差值，这里预设的固定阈值为10。

步骤(17)、将步骤(16)所得到的的最佳匹配区域作为下一帧的跟踪目标区域，并将其对应的权值矩阵作为下一帧跟踪目标的权值矩阵，返回步骤(1)。

步骤(17)将均值漂移方法的核函数固定带宽改为动态变化的带宽，这既保留了均值漂移方法计算量不大，能做到实时跟踪的优点，又能在运动目标大小发生变化时，不丢失目标。

下面结合实施例对本发明作进一步详细的说明。

本方法发明以红外热像仪或者CCD采集的图像为视频源，Matlab(R2009b)软件平台为基础，基于视觉注意实现运动目标的检测，并利用改进的均值漂移方法实现对运动目标的跟踪，实现像素级的实时的目标检测与跟踪，方法流程如图1所示。本方法主要有两部分。第一部分是视觉注意方法，方法流程如图2所示，由它可以得到当前图像的显著区域，去除背景因素的干扰后，就检测出了当前图像中的运动目标的区域，再提取运动目标，如图3所示；另一部分就是均值漂移方法部分，方法流程如图4所示，由它可以对运动目标进行跟踪，当在每帧图像中计算出目标位置后，更新跟踪窗口和相关核函数，以防止因目标大小变化跟丢目标。当均值漂移方法跟丢目标时，再使用视觉注意方法检测出运动目标，之后再次均值漂移方法进行目标跟踪。

本实施例的所使用的红外和可见光图像均为720×576。首先读取包含运动目标的红外或可见光图像(如图5)，判断是否为读取的第一帧图像，再判断之前是否有跟踪窗口返回。接着，当方法流程进入到视觉注意时，则先将所读入的图像建立高斯金字塔模型，生成原图像和8个子图像的9层高斯金字塔结构。在本例中，降采样核函数w＝(m,n)采用

接着提取每层金字塔图像的亮度、颜色、方向等特征图像，一共可得到27幅图像，再通过中央层和周边层之间的层间相减操作计算不同分辨率对应的不同尺度之间的差可以计算图像中某一特征的对比度。为了衡量各特征图的重要性，用一种迭代的非线性归一化算子N(·)模拟局部区域的显著性竞争，这里用到的双高斯差分函数DOG相关参数设置为，c_inh取2％，σ_inh取25％，c_ex取0.5，c_inh取1.5，C取0.02。

接着通过插值将特征图的像素调整至与金字塔结构第4层图像像素一致，然后将各个特征对应的特征图进行对应像素的相加，用N(·)算子对各个特征显著图进行非线性归一化，图6即为红外或可见光图像的亮度、颜色、方向特征图。再以1：1：1的比例直接相加形成总显著图S，如图7所示。再经胜者全赢和禁止返回机制得到红外或可见光图像的显著区域，如图8所示。

再二值化显著区域，以消除背景因素的干扰，结果如图9所示，本例中所设的背景阈值为90。

此时可将总显著图中的显著区域看做运动目标，在原图像中提取运动目标，并将其作为跟踪目标，提取结果如图10所示。

接着进行运动目标的跟踪，使用改进的均值漂移方法，主要有4个步骤，

第一步、计算跟踪窗口的质心；

第二步、调整搜索窗口的中心到质心处，计算此时窗口内的质心；

第三步、重复第一步和第二步，直到窗口中心“会聚”，即每次窗口移动的距离小于一定的阈值；

第四步、将当前帧所得到的的匹配搜索窗口作为下一帧图像的跟踪窗口。

均值漂移方法跟踪结果如图11和图12所示。

可以看出，本方法发明对于红外图像和可见光图像序列均有较好的运动目标检测与跟踪效果。视觉注意方法能很好的检测出运动目标，改进后的均值漂移方法也有很好的跟踪效果。实验可得，均值漂移方法对每幅图像进行目标跟踪时，能很好的满足实时性的要求。由于在目标提取或跟踪的同时，还可以进行目标坐标的计算，(例如图10中红外图像提取的两个运动目标坐标分别为(616，236，39，91)和(50，254，42，64))因此，整个方法的结果还可以进行准确的目标定位。

Claims (11)

1.一种基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，所述方法包括以下步骤：

(1)利用摄像头采集场景图像；

(2)判断当前图像是否为第一帧图像；如果是则执行步骤(4)，否则执行步骤(3)；

(3)判断上一帧图像是否有跟踪窗口返回；如果有则执行步骤(14)，否则执行步骤(4)；

(4)将步骤(1)采集到的图像进行高斯金字塔分解，产生8个不同分辨率的子图像；

(5)分别提取原图像及8层子图像的颜色、亮度、方向等特征图像；

(6)使用中央周边差算子和非线性归一化操作处理各特征图像；

(7)将步骤(6)处理后的各特征图线性组合生成各特征显著图，再生成总显著图；

(8)经胜者全赢和禁止返回机制得到显著区域；

(9)二值化显著区域；

(10)判断是否存在目标；如果存在则执行步骤(11)，否则执行步骤(1)；

(11)提取运动目标；

(12)将提取的运动目标作为跟踪目标并建立跟踪窗口；

(13)计算核函数跟踪窗口的灰度值概率分布并返回跟踪窗口作为下一帧图像的搜索窗口；返回步骤(1)；

(14)计算搜索窗口的灰度值概率分布；

(15)计算搜索窗口的质心，并移动搜索窗口到质心，判断迭代次数是否达到20次；如果是则停止计算，返回步骤(1)，并置下一帧图像为第一帧图像，否则执行步骤(16)；

(16)判断移动距离是否大于预先设置的固定阈值，如果是则返回步骤(14)，否则执行步骤(17)；

(17)将步骤(16)所得到的的最佳匹配区域作为下一帧的跟踪目标区域，并将其对应的权值矩阵作为下一帧跟踪目标的权值矩阵，返回步骤(1)。

2.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(4)所述的高斯金字塔分解的步骤为：

第一、根据高斯模板的如下性质：

(1)可分离性：w(m,n)＝w(m)w(n)

(2)对称性：w(m)＝w(-m)

(3)归一化性：

得到如下所示的5×5的高斯模板w(m,n),m和n分别表示高斯模板的第m行和第n列：

第二、采用5×5的高斯模板对图像进行高斯金字塔分解，分解成9层，初始图像为第一层；对一幅二维数字图像I(i,j)，设δ为金字塔的层数，则由金字塔结构的第δ-1层计算第δ层的公式为：

其中w＝(m,n)表示高斯模板，N表示核函数的总行数或总列数。

3.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(5)所述的提取亮度、颜色、方向特征图像的步骤为：

第一：亮度特征提取

设r(δ)，g(δ)，b(δ)，分别表示图像的红色、绿色和蓝色通道，其中δ表示金字塔的层数，取值范围是[0，1，…，8]，则金字塔结构中每一层图像的亮度特征I(δ)为：

I(δ)＝(r(δ)+g(δ)+b(δ))/3 (2)

第二：颜色特征提取

使用I(δ)对r(δ)，g(δ)，b(δ)进行归一化，且只对亮度大于整副图像最大亮度值的十分之一的区域进行归一化，其它区域的r，g，b值设为0，可以得到广义上的红、绿、蓝和黄四个通道：

R(δ)＝r(δ)-(g(δ)+b(δ))/2 (3)

G(δ)＝g(δ)-(r(δ)+b(δ))/2 (4)

B(δ)＝b(δ)-(r(δ)+g(δ))/2 (5)

Y(δ)＝(r(δ)+g(δ))-2*(|r(δ)-g(δ)|+b(δ)) (6)

对灰度图像(r(δ)＝g(δ)＝b(δ))，红-绿和蓝-黄通道分别为：

RG(δ)＝|R(δ)-G(δ)| (7)

BY(δ)＝|B(δ)-Y(δ)| (8)

第三：方向特征提取

二维Gabor滤波器的数学表达式如下：

Gabor函数是一个被复正弦函数调制的高斯函数，其中，α与β分别为高斯包络在x和y方向上的标准差；λ和θ_k分别为正弦波的波长和方向；θ_k的定义为这里取0°，45°，90°，135°四个方向的Gabor滤波器输出作为方向特征，即n＝4；和的计算公式为：

当θ_k分别取0°，45°，90°，135°时，计算和的值，以进一步获得0°，45°，90°，135°四个方向的Gabor滤波器；使用四个方向的Gabor滤波器对高斯金字塔结构的每一层图像滤波，即可得到4个方向(0°，45°，90°，135°)上的方向特征映射图。

4.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(6)所述的中央周边差算子和非线性归一化操作的步骤为：

第一：取金字塔结构中的第2、3、4层为中央层，每一个中央层对应的周边层为中央层的层数加3和4，即当中央层取第2层时，对应的周边层为第5层和第6层，以此类推；然后对像素较少的周边层进行插值，将像素放大至与对应 的中央层像素一样，最后进行对应像素的相减操作；

根据中央周边层的相减操作原理，设c表示金字塔结构的中央层，取值范围为{2,3,4}；c+s表示金字塔结构的周边层，s的取值范围为{3,4}；Θ表示中央层与对应的周边层进行层间相减操作，各特征图计算方法如下：

设M_int[c,(c+s)]表示亮度特征图，则M_int[c,(c+s)]的计算公式为：

M_int[c,(c+s)]＝|I(c)ΘI(c+s)| (12)

设M_RG[c,(c+s)]，M_BY[c,(c+s)]分别表示红-绿通道和蓝-黄通道颜色特征图，相应的计算公式为:

M_RG[c,(c+s)]＝|(R(c)-G(c))Θ(R(c+s)-G(c+s))| (13)

M_BY[c,(c+s)]＝|(B(c)-Y(c))Θ(B(c+s)-Y(c+s))| (14)

设θ为Gabor滤波器的输出方向，取值范围为[0°，45°，90°，135°]，o(σ,θ)为尺度空间为σ时，θ方向上的方向特征图，则对方向特征图M_on[c,c+s,θ]计算公式为：

M_on[c,c+s,θ]＝|o(c,θ)ΘI(c+s,θ)| (15)

第二：用一种迭代的非线性归一化算子N(·)模拟局部区域的显著性竞争，对给定某特征图M_[c,(c+s)]，N(·)算子的实现方法如下：

M_(c,c+s)＝Normalization(M_(c,c+s)) (16)

N(M_(c,c+s))＝[M_(c,c+s)+M_(c,c+s)*DOG-C] (17)

式中，*表示卷积，C是引入的偏置，抑制大致平衡的区域；先将特征图非线性归一化到[0，1]，然后与双高斯差分函数DOG进行卷积；DOG数学表达式如下：

式中σ_ex和σ_inh是兴奋和抑制带宽，c_ex和c_inh是兴奋和抑制常数，DOG是种 中央自激励；

这里c_inh取2％，σ_inh取25％，c_ex取0.5，c_inh取1.5，C取0.02。

5.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(7)所述的生成各特征显著图及总显著图的步骤为：

第一：经过非线性归一化操作的特征图N(M_int(c,c+s))，N(M_RG(c,c+s))，N(M_BY(c,c+s))和N(M_ori(c,c+s,θ))，通过层间相加操作和非线性归一化形成三个特征显著图：亮度显著图C_int，颜色显著图C_col和方向显著图C_ori；层间相加操作(⊕操作)的过程如下：

首先通过插值将特征图的像素调整至与金字塔结构第4层图像像素一致，然后将各个特征对应的特征图进行对应像素的相加，最后用N(·)算子对各个特征显著图进行非线性归一化；

计算亮度显著图的公式为：

计算颜色显著图的公式为：

计算方向显著图的公式为

第二：采用不同特征的显著图直接相加形成总显著图的方法，以1：1：1的比例直接相加形成总显著图S，如公式(22)所示：

S＝(C_int+C_col+C_ori)÷3 (22)。

6.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(8)所述的胜者全赢和禁止返回机制的步骤为：

第一：对于总的显著图中的每一点w，根据熵的最大化方法获得一个最优的尺寸ψ_r，如公式(23)所示，

其中D是总显著图中以圆心为w半径为r的圆形局部区域所有像素值的集 合，半径r的取值范围是从待注意图长度和宽度值中最小值的到H_D(r,ψ)是根据公式(24)得到的熵值，W_D(r,ψ)是由公式(25)得到的尺度间的尺度；

其中P_d,r,ψ是通过在以上局部区域内标准化像素的直方图得到的概率块函数，描述值d是集合D中的一个元素；

再计算该点在一个局部区域内的均值，这个局部区域是以该点为圆心，以w_r为半径的圆形区域，所有的均值构成了一个图，该图中最大值的点即为最显著的点，最显著的点和该点对应的最优尺寸构成了最显著的区域；

第二：为了实现注意转移，使之注意到下一个区域，将总显著性图中最显著的区域的像素值都置为零，这样就得到了一个新的总显著图。

7.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(11)所述的提取运动目标的步骤为：

第一、寻找出目标的边界，并丢弃小目标；

第二、将边界转换成团块；

第三、在原始图像中找到匹配区域。

8.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(13)所述的计算核函数跟踪窗口的灰度值概率分布的步骤为：

首先需要在起始帧内为选中的跟踪目标建立概率模型，即计算核函数窗口中的直方图分布：设初始内核窗口的带宽h，x₁,x₂,…,x_n为内核窗口所包含采样点，x₀为目标中心，则目标的直方图分布为：

式中：k为核函数，m为特征空间中特征值的个数，δ为Kronecker函数，b(y_i)为像素y_i对应的特征值，C为归一化系数，h为核函数的带宽,n为内核窗口所包含采样点的个数。

9.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(14)所述的计算搜索窗口的灰度值概率分布的步骤为：

位于搜索窗口中心y的候选目标可以描述为

。

10.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(15)所述的计算搜索窗口的质心的步骤为：

计算候选目标的质心位置的公式为：

其中

11.根据权利要求1所述的基于视觉注意和均值漂移的目标检测与跟踪方法，其特征在于，步骤(16)所述的移动距离是否大于预设的固定阈值的步骤为：移动距离即与的差值，这里预设的固定阈值为10。