CN101877134B - 一种机场监视视频目标鲁棒跟踪方法 - Google Patents

Abstract

机场监视视频目标鲁棒跟踪方法，结合了奇异值分解和粒子滤波目标跟踪技术，步骤如下：步骤100、初始化，生成包含N个粒子的粒子群，并对要跟踪的目标进行奇异值分解，建立模板模型；步骤200、状态预测，由前一帧目标的位置预测目标在当前帧的位置；步骤300、粒子权重更新，对候选的图像区域进行奇异值分解，构建特征向量，并利用最小二乘准则衡量此候选区域与模板的相似度作为粒子的权重；步骤400、粒子重采样，保留原先权重大的粒子，丢弃权重小的粒子，并由权重大的粒子派生新粒子，使粒子总数保持N不变，新一代粒子和下一帧图像转到步骤200循环执行；步骤500、结果输出，将所有粒子及其权重加权，得出目标在当前帧的位置。本发明解决了机场监视视频场景复杂，光照变化频繁，背景相似物干扰严重等问题，达到了监视跟踪中的鲁棒性和精确性要求。

Description

一种机场监视视频目标鲁棒跟踪方法

技术领域

本发明涉及一种目标跟踪方法，尤其涉及一种机场监控视频图像中的目标跟踪方法。

背景技术

目前，主要的机场场面活动目标监视手段是依靠场面监视雷达，同时以多点定位(Multilateration，MLAT)的场面监视系统作为辅助。当前的场监雷达存在明显的缺点，诸如昂贵、分辨能力不够(不能检测跑道异物)、雷达覆盖范围在盲区。若采用多部场监雷达数据融合，可以实现对整个机场的完整监视，但将大大增加系统建设费用，且针对场监雷达数据融合的成熟应用不多。相对于场监雷达而言，多点定位有成本低、可以全天候工作、数据更新率快(1次/秒)、安装维护方便等优点，但多点定位技术只能针对合作目标，对于没有安装机载设备的飞机，这种方法则无法监控。相对于场面监视雷达而言，基于视频图像融合技术的场面监视系统具有成本低、被动监视、分辨率高和易于实现全天候监视的特点。基于动态视频的机场场面目标监视系统已成为机场场面监控技术和计算机视觉领域中近年来备受关注的前沿研究方向。

运动目标跟踪作为一门跨学科的前沿技术，融合了图像处理、模式识别、人工智能、自动控制等多种不同领域的理论知识。随着视觉理论和算法研究的发展，以及计算机硬件性能的不断提高，如今已成为最活跃的研究课题之一。目标跟踪系统一般是基于对图像序列的处理，对目标的运动规律加以预测，实现对目标的连续、准确的跟踪。其中特征提取和目标跟踪算法是目标跟踪系统的关键。目前在、标特征提取中主要采用的有颜色特征、纹理特征和形状特征。

颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，其缺点是没有表达出颜色空间分布的信息，无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。

纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是纹理特征一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理。

基于形状特征的跟踪可以比较有效地利用图像中感兴趣的目标来进行检索，但它们也有一些共同的问题，包括：目前基于形状的检索方法还缺乏比较完善的数学模型；如果目标有变形时结果往往不太可靠；许多形状特征仅描述了目标局部的性质，要全面描述目标常对计算时间和存储量有较高的要求；许多形状特征所反映的目标形状信息与人的直观感觉不完全一致，或者说，特征空间的相似性与人视觉系统感受到的相似性有差别。另外，从2-D图像中表现的3-D物体实际上只是物体在空间某一平面的投影，从2-D图像中反映出来的形状常不是3-D物体真实的形状，由于视点的变化，可能会产生各种失真。

机场场景比较复杂，光照变化、相似物或干扰物较多。目前现有的跟踪方法利用颜色、纹理、形状等低层特征进行目标建模，无法精确跟踪机场复杂环境中的目标。

发明内容

本发明的技术解决问题：针对现有技术存在的不足，提供一种机场监视视频目标鲁棒跟踪方法，结合奇异值分解建模和粒子滤波的目标跟踪技术，解决了光照变化和与目标空间靠近的相似物干扰，难以实现复杂背景中的目标精确跟踪的问题。

本发明的技术解决方案：机场监视视频目标鲁棒跟踪方法，步骤如下：

步骤100、初始化，以目标状态的输入值加入高斯噪声生成包含N个粒子的粒子群，并对要跟踪的目标进行奇异值分解，选取前K个最大值建立模板模型；

步骤200、状态预测，由前一帧目标的位置根据匀速运动模型预测步骤100所产生的粒子在当前帧中的坐标位置；

步骤300、粒子权重更新，对步骤200中所产生的预测的粒子所对应的图像区域进行奇异值分解，构建特征向量，并利用最小二乘准则衡量此候选区域与模板的相似度作为粒子的权重；

步骤400、粒子重采样，对步骤300所产生的粒子群保留原先权重大的粒子，丢弃权重小的粒子，并由权重大的粒子派生新粒子，使粒子总数保持N不变，新一代粒子和下一帧图像转到步骤200循环执行；

步骤500、计算平均状态输出，将步骤300中权重更新后的粒子及其权重加权，得出目标在当前帧的位置。

本发明与现有技术相比的优点在于：

(1)本发明方法中的目标特征具有旋转和尺度不变性。旋转矩阵

和尺度变换矩阵

均为正交矩阵(θ为旋转角度，S_x和S_y为尺度系数)。若P为正交矩阵，则PA的奇异值与A是一样的。因此，当图像区域或目标发生旋转或尺度变化，奇异值所表示的特征均具有不变性；

(2)本发明方法中的目标特征具有较强的抵御噪声能力。若[σ_i]和[τ_i]分别表示矩阵A和B的奇异值，由|σ_i-τ_i|≤||A-B||₂可知，即使有微小的噪声干扰，矩阵的奇异值依然保持不变；

(3)本发明方法中的目标特征维数低。假设矩阵A的奇异值分解为

A＝U∑V^T，由

可知，在Frobenius范数下A_K是A的最好近似，其中因此，只需选取前K个奇异值作为特征值即可较好近似原目标；

(4)本发明方法可以抵御光照变化。在利用奇异值作为特征向量时，首先将其归一化，即

用

构建特征向量，而图像的光照变化可以表示为I′＝C·I，其中I是原图像，I′是灰度变化后的图像，C是常数，I′的奇异值与I是相等的，故当光照变化时目标的特征保持不变。

(5)试验结果表明，本发明克服了传统方法无法抵御光照影响及背景相似物影响的缺点，满足机场监视复杂环境的要求，能够对目标精确跟踪，对光照变化背景干扰不敏感，具有较好的鲁棒性。

附图说明

图1为本发明的总体流程图；

图2为图1中的初始化和构建目标模板模型流程图；

图3为图1中状态预测流程图；

图4为图1中的粒子权重更新流程图；

图5为图1中的粒子重采样流程图；

图6为图1中的平均状态计算流程图。

具体实施方式

图1为本发明的总体流程图，具体为：

步骤100、初始化，以目标状态的输入值加入高斯噪声生成包含个粒子的粒子群，并对要跟踪的目标进行奇异值分解，选取前K个最大值建立模板模型；

步骤200、状态预测，由前一帧目标的位置根据匀速运动模型预测目标在当前帧中的位置；

步骤300、粒子权重更新，对候选的图像区域进行奇异值分解，构建特征向量，并利用最小二乘准则衡量此候选区域与模板的相似度作为粒子的权重；

步骤400、粒子重采样，保留原先权重大的粒子，丢弃权重小的粒子，并由权重大的粒子派生新粒子，使粒子总数保持

不变，新一代粒子和下一帧图像转到步骤200循环执行；

步骤500、计算平均状态输出，将所有粒子及其权重加权，得出目标在当前帧的位置。

图1为本发明初始化和目标模板建立流程图，在图1所示的技术方案中，所述步骤100具体为：

步骤110、以目标的输入状态作为状态向量的初始值，本发明中的状态向量，即粒子，选取为目标中心位置的x，y坐标，目标窗的长、宽以及目标的速度，初始速度置为0；

步骤120、对状态向量的各分量加上高斯扰动，即采样按照高斯分布进行；

步骤130、判断当前粒子数是否大于等于N，若是则执行步骤140，否则执行步骤120；

步骤140、建立目标模板，对目标区域的图像块做奇异值分解；

步骤150、选取前K个最大的奇异值作为目标的特征向量；

步骤160、将K个奇异值归一化作为目标模板，设σ_mi为目标模板的奇异值，归一化即

为归一化后的奇异值。

图2为本发明状态预测流程图，在图1所示的技术方案中，所述步骤200具体为：

步骤210、由前一帧目标的中心位置x_t-1，y_t-1根据匀速直线运动模型预测目标在本帧的中心位置即

所述的ΔT为两帧间的时间差，由于两帧间的时间差很小，故采用匀速直线运动模型是合理的；

步骤220、预测当前粒子中的目标速度根据匀速运动模型，将目标看成速度不变，由于两帧间隔时间很短，因此匀速直线模型是合理的，考虑到实际干扰的影响，本帧预测速度为上一帧的速度加入高斯噪声，计算表达式为

此处

是高斯扰动；

步骤230、i＝i+1，判断i是否大于N，是则执行步骤240，否则执行步骤210；

步骤240、将N个粒子作为预测粒子集

输出。

图3为本发明粒子权重更新流程图，在图1所示的技术方案中，所述步骤300具体为：

步骤310、对当前粒子表示的图像块做奇异值分解，所述的图像块为

即中心在长和宽分别为W，H的图像块，设分解所得的奇异值为

1≤i≤N，j＝1，2，…，rank(I)，Ii为当前粒子表示的图像块；

步骤320、选取前K个最大的奇异值，并按式

构建该粒子的特征向量

${[{\mathrm{\σ}}_{c1}^{*i},{\mathrm{\σ}}_{c2}^{*i},\·\·\·,{\mathrm{\σ}}_{\mathrm{cK}}^{*i}]}^T;$

步骤330、根据最小二乘准则计算当前粒子的权重：

A是由目标模板的特征值拓展成的齐次矩阵，Y是当前粒子的特征向量，求解方程AX＝Y的最小二乘解，得到b，显而易见，b越小，当前粒子的特征向量与模板的特征向量的距离最小，即

因此，当前粒子的权重

${\mathrm{\π}}_t^i=\exp \left({-b}^i\right)/\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\exp \left({-b}^j\right);$

步骤340、判断粒子数是否等于N，是则执行步骤350，否则执行步骤310；

步骤350、完成粒子权重更新，得到粒子集

图4为本发明粒子重采样流程图，在图1所示的技术方案中，所述步骤400具体为：

步骤410、将权值累加并归一化， 是累加后的权值，

${\mathrm{\π}}_t^{*}\left(i\right)=\frac{{\mathrm{\π}}_t^{*\text{'}}\left(i\right)}{\underset{j=1}{\overset{N+1}{\mathrm{\Σ}}}{\mathrm{\π}}_t^{*\text{'}}\left(j\right)},i=\mathrm{1,2},\·\·\·,N;$

步骤420、产生随机数r，0＜r＜1；

步骤430、在累加后的权值中找出r所在的位置index，使得

步骤440、判断粒子数是否等于N，是则执行步骤450，否则执行步骤420；

步骤450、进入下一帧跟踪。

图5为本发明平均状态计算流程图，在图1所示的技术方案中，所述步骤500具体为：

步骤510、开始进入平均状态计算；

步骤520、判断是否为第一个粒子，是则执行步骤530，否则执行步骤540；

步骤530、当前粒子的中心位置及速度分量乘以该粒子的权重，结果即为平均状态并将结果保存为MeanState，即

X0为第一个粒子，MeanState.x，MeanState.y，MeanState.vx，MeanState.vy分别为MeanState的x，y方向的坐标和速度X⁰.x，X⁰.y，X⁰.vx，X⁰.vy分别为第一个粒子的x，y方向的坐标和速度，π⁰为第一个粒子的权重；

步骤540、当前粒子的中心位置及速度分量乘以该粒子的权重并将结果加上MeanState，即

$\left\{\begin{array}{c}\mathrm{MeanState}.\mathrm{vx}=\mathrm{MeanState}.\mathrm{vx}+X^{\text{'}}.\mathrm{vx}\&CenterDot;{\mathrm{\&pi;}}^{\text{'}}\\ \mathrm{MeanState}.\mathrm{vy}=\mathrm{MeanState}.\mathrm{vy}+X^{\text{'}}.\mathrm{vy}\&CenterDot;{\mathrm{\&pi;}}^{\text{'}}\end{array},1<i<N,\right.$

MeanState.x，MeanState.y，MeanState.vx，MeanState.vy分别为MeanState的x，y方向的坐标和速度Xⁱ.x，Xⁱ.y，Xⁱ.vx，Xⁱ.vy分别为第i个粒子的x，y方向的坐标和速度，πⁱ为第i个粒子的权重；

步骤550、判断是否遍历完N个粒子，是则执行步骤570，否则执行步骤560；

步骤560、继续访问下一个粒子；

步骤570、输出MeanState作为跟踪的结果。

本发明未详细阐述的部分属于本领域的公知技术。

Claims (6)

1.机场监视视频目标鲁棒跟踪方法，其特征在于实现步骤如下：

步骤100、初始化，以目标状态的输入值加入高斯噪声生成包含N个粒子的粒子群，并对要跟踪的目标进行奇异值分解，选取前K个最大值建立模板模型；

步骤200、状态预测，由前一帧目标的位置根据匀速运动模型预测步骤100所产生的粒子在当前帧中的坐标位置；

步骤300、粒子权重更新，对步骤200中所产生的预测的粒子所对应的图像区域进行奇异值分解，构建特征向量，并利用最小二乘准则衡量此候选区域与模板的相似度作为粒子的权重；

步骤400、粒子重采样，对步骤300所产生的粒子群保留原先权重大的粒子，丢弃权重小的粒子，并由权重大的粒子派生新粒子，使粒子总数保持N不变，新一代粒子和下一帧图像转到步骤200循环执行；

步骤500、计算平均状态输出，将步骤300中权重更新后的粒子及其权重加权，得出目标在当前帧的位置。

2.根据权利要求1所述的机场监视视频目标鲁棒跟踪方法，其特征在于：所述步骤100具体实现为：

步骤110、以目标的输入状态作为粒子的初始值，粒子的各分量选取为目标中心位置的x，y坐标，目标窗的长、宽及目标的速度，初始速度置为0；

步骤120、对粒子的各分量，即心位置的x，y坐标，目标窗的长、宽及目标的速度加上高斯扰动，即采样按照高斯分布进行；

步骤130、判断当前粒子数是否大于等于N，若是则执行步骤140，否则执行步骤120；

步骤140、建立目标模板，对目标区域的图像块做奇异值分解；

步骤150、选取前K个最大的奇异值作为目标的特征向量；

步骤160、将K个奇异值归一化作为目标模板，设σ_mi为目标模板的奇异值，归一化即

i＝1，…，K，

为归一化后的奇异值。

3.根据权利要求1所述的机场监视视频目标鲁棒跟踪方法，其特征在于：所述步骤200具体实现为：

步骤210、由前一帧目标的中心位置x_t-1，y_t-1根据匀速直线运动模型预测目标在本帧的中心位置

即 $\left\{\begin{array}{c}{x}_t^i=x_{t-1}^i+{\mathrm{vx}}_{t-1}^i\&CenterDot;\mathrm{\&Delta;T}+n_t^i\\ y_t^i=y_{t-1}^i+{\mathrm{vy}}_{t-1}^i\&CenterDot;\mathrm{\&Delta;T}+n_{t-1}^i\end{array}\right.,$ i＝1，2，…，N，ΔT为两帧间的时间差，

为t帧和t-1帧的高斯噪声；

步骤220、预测当前粒子中的目标速度

为第i个粒子在第t帧所对应的x方向和y的速度， $\left\{\begin{array}{c}{\mathrm{vx}}_t^i={\mathrm{vx}}_{t-1}^i+n_{\mathrm{vx}}^i\\ {\mathrm{vy}}_t^i={\mathrm{vy}}_{t-1}^i+n_{\mathrm{vy}}^i\end{array}\right.,$ i＝1，2，…，N，

为高斯扰动，

为第i个粒子在第t帧所对应的x方向和y的高斯噪声；

步骤230、判断粒子总数是否等于N，是则执行步骤240，否则执行步骤210；

步骤240、将N个粒子作为预测粒子集输出。

4.根据权利要求2所述的机场监视视频目标鲁棒跟踪方法，其特征在于：所述步骤300具体实现为：

步骤310、对当前粒子表示的图像块做奇异值分解，所述的图像块为

即中心在

长和宽分别为W，H的图像块，设分解所得的奇异值为

1≤i≤N，j＝1，2，…，rank(Iⁱ)，Iⁱ为当前粒子表示的图像块；

步骤320、选取前K个最大的奇异值，并按式

构建该粒子的特征向量 ${[{\mathrm{\&sigma;}}_{c1}^{*i},{\mathrm{\&sigma;}}_{c2}^{*i},...,{\mathrm{\&sigma;}}_{\mathrm{cK}}^{*i}]}^T;$

步骤330、根据最小二乘准则计算当前粒子的权重： $\mathrm{AX}=Y\&DoubleRightArrow;\left\{\begin{array}{c}{\mathrm{a\&sigma;}}_{m1}^{*}+b={\mathrm{\&sigma;}}_{c1}^{*}\\ {\mathrm{a\&sigma;}}_{m2}^{*}+b={\mathrm{\&sigma;}}_{c2}^{*}\\ ......\\ {\mathrm{a\&sigma;}}_{\mathrm{mK}}^{*}+b={\mathrm{\&sigma;}}_{\mathrm{cK}}^{*}\end{array}\right.,$ $A=\left[\begin{array}{cc}{\mathrm{\&sigma;}}_{m1}^{*}& 1\\ {\mathrm{\&sigma;}}_{m2}^{*}& 1\\ .& .\\ .& .\\ .& .\\ {\mathrm{\&sigma;}}_{\mathrm{mK}}^{*}& 1\end{array}\right],$ $X=\left[\begin{array}{c}a\\ b\end{array}\right],$ $Y=\left[\begin{array}{c}{\mathrm{\&sigma;}}_{c1}^{*}\\ {\mathrm{\&sigma;}}_{c2}^{*}\\ .\\ .\\ .\\ {\mathrm{\&sigma;}}_{\mathrm{cK}}^{*}\end{array}\right],$ A是由目标模板的特征值拓展成的齐次矩阵，Y是当前粒子的特征向量，求解方程AX＝Y的最小二乘解，得到b，当前粒子的权重 ${\mathrm{\&pi;}}_t^i=\exp \left({-b}^i\right)/\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\exp \left({-b}^j\right),$

为第i个粒子在第t帧的权重，N为粒子总数；

步骤340、判断粒子数是否等于N，是则执行步骤350，否则执行步骤310；

步骤350、完成粒子权重更新，得到粒子集

5.根据权利要求1所述的机场监视视频目标鲁棒跟踪方法，其特征在于：所述步骤400具体实现为：

步骤410、将权值累加并归一化，

i＝1，2，…，N，

是累加后的权值， ${\mathrm{\&pi;}}_t^{*}\left(i\right)=\frac{{\mathrm{\&pi;}}_t^{*\&prime;}\left(i\right)}{\underset{j=1}{\overset{N+1}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_t^{*\&prime;}\left(j\right)},$ i＝1，2，…，N；

步骤420、产生随机数r，0＜r＜1；

步骤430、在累加后的权值中找出r所在的位置index，使得

步骤440、判断粒子数是否等于N，是则执行步骤450，否则执行步骤420；

步骤450、进入下一帧跟踪。

6.根据权利要求1所述的机场监视视频目标鲁棒跟踪方法，其特征在于：所述步骤500具体实现为：

步骤510、开始进入平均状态计算；

步骤520、判断是否为第一个粒子，是则执行步骤530，否则执行步骤540；

步骤530、当前粒子的中心位置及速度分量乘以该粒子的权重，结果即为平均状态并将结果保存为MeanState，即 $\left\{\begin{array}{c}\mathrm{MeanState}.x=X^0.x\&CenterDot;{\mathrm{\&pi;}}^0\\ \mathrm{MeanState}.y=X^0.y\&CenterDot;{\mathrm{\&pi;}}^0\end{array}\right.,$ $\left\{\begin{array}{c}\mathrm{MeanState}.\mathrm{vx}=X^0.\mathrm{vx}\&CenterDot;{\mathrm{\&pi;}}^0\\ \mathrm{MeanState}.\mathrm{vy}=X^0.\mathrm{vy}\&CenterDot;{\mathrm{\&pi;}}^0\end{array}\right.,$ X⁰为第一个粒子，MeanState.x，MeanState.y，MeanState.vx，MeanState.vy分别为MeanState的x，y方向的坐标和速度X⁰.x，X⁰.y，X⁰.vx，X⁰.vy分别为第一个粒子的x，y方向的坐标和速度，π⁰为第一个粒子的权重，然后执行步骤550；

步骤540、当前粒子的中心位置及速度分量乘以该粒子的权重并将结果加上MeanState，即 $\left\{\begin{array}{c}\mathrm{MeanState}.x=\mathrm{MeanState}.x+X^i.x\&CenterDot;{\mathrm{\&pi;}}^i\\ \mathrm{MeanState}.y=\mathrm{MeanState}.y+X^i.y\&CenterDot;{\mathrm{\&pi;}}^i\end{array}\right.,$ $\left\{\begin{array}{c}\mathrm{MeanState}.\mathrm{vx}=\mathrm{MeanState}.\mathrm{vx}+X^i.\mathrm{vx}\&CenterDot;{\mathrm{\&pi;}}^i\\ \mathrm{MeanState}.\mathrm{vy}=\mathrm{MeanState}.\mathrm{vy}+X^i.\mathrm{vy}\&CenterDot;{\mathrm{\&pi;}}^i\end{array}\right.,$ 1＜i＜N，MeanState.x，MeanState.y，MeanState.vx，MeanState.vy分别为MeanState的x，y方向的坐标和速度Xⁱ.x，Xⁱ.y，Xⁱ.vx，Xⁱ.vy分别为第i个粒子的x，y方向的坐标和速度，πⁱ为第i个粒子的权重；

步骤550、判断是否遍历完N个粒子，是则执行步骤570，否则执行步骤560；

步骤560、继续访问下一个粒子，转至执行步骤540；

步骤570、输出MeanState作为跟踪的结果。

Images