CN102385690B - 基于视频图像的目标跟踪方法及系统 - Google Patents

Abstract

本发明公开了一种基于视频图像的目标跟踪方法及系统，属于模式识别技术领域。该方法包括：生成视频图像的灰度图像、基于第一特征点邻域从灰度图像中检测待跟踪特征点、根据待跟踪特征点以及存储的目标模板检测目标，以及根据对待跟踪特征点的统计分析跟踪目标。本发明中，对行人目标的待跟踪特征点进行检测和跟踪，并利用行人目标与其对应的待跟踪特征点在运动上的同步性，从而实现了对行人目标的有效跟踪，提高了跟踪的实时性和鲁棒性。同时，利用对待跟踪特征点进行投票，避免了特征点被误跟踪、行人目标被漏跟踪的问题。

Description

基于视频图像的目标跟踪方法及系统

技术领域

本发明属于模式识别技术领域，涉及一种可在人群密度较高、背景较复杂的情况下对视频图像中的目标进行稳定跟踪的方法及系统，

背景技术

基于视频图像同时对多个目标进行跟踪具有广阔的应用前景。比如，在公共场合和商业区，通过对视频图像中的多个行人进行跟踪，可以获取某一时刻或时间段在监控区域内的行人数目以及行人的分布情况，同时对行人的跟踪，不但可以得到行人的运动轨迹，而且还可以实现人群流量的阶段性统计数据。

但是，对于刚性运动目标比如行人的跟踪来说，由于刚性运动目标在运动中形态多变、个体之间位移速度差异大、运动方向无规则，以及由于个体密度太大容易导致堵塞等原因，基于视频图像同时对多个目标进行跟踪技术侧重于实时性和鲁棒性的研究。

基于视频图像同时对多个目标进行跟踪技术主要基于目标的显著外观特征，比如利用行人的人脸、身体轮廓等。

例如，为了统计公交车乘客流量，在车厢顶部架设有摄像头，通过该摄像头采集车门区域的视频图像。根据建立的皮肤颜色模型来跟踪视频图像中的多张人脸，从而同时对多个目标进行跟踪。

除了人脸之外，人的身体轮廓也是多目标跟踪中常用的外观特征。例如，通过建立的观测模型跟踪视频图像中的多个侧影轮廓，在行人或者背景发生变化的时候仍然可以稳定的跟踪。再例如，通过将人体看作若干部分的集合，并提取轮廓方向特征，再使用boosting训练得到部分模型，结合贝叶斯推理将各个部分的检测结果融合成一个或几个行人的模型，以提高行人在被遮挡时算法的鲁棒性。除此之外，可以借助于安装在建筑物顶部的摄像头来进行视频图像抓拍，在一定程度上提高了行人在被遮挡时算法的鲁棒性，但是，这种方法的应用场合有限。再者，还有借助于多摄像头立体视觉方法来获得深度信息，从而区分二维视场中的被遮挡行人，但是，控制多个摄像头协同拍摄的难度较大。

再例如，结合人体形状、摄像机模型、图像曲线等先验知识构建行人模型，再利用贝叶斯框架和马尔可夫链蒙特卡罗(Markov ChainMonte Carlo)方法从人群中分割出个体的人头轮廓，从而实现对中等密度流动人群的计数。

目前，利用特征点聚类进行基于视频图像同时对多个目标进行跟踪技术较显著外观特征具有较高的实时性和鲁棒性。基于特征点进行多目标跟踪技术中，属于同一目标的特征点在空间上比较接近，而且，这些特征点在运动模式上具有同步性，因此，通过特征点的跟踪和轨迹聚类，可以对目标的个数进行统计，对目标的轨迹进行跟踪。在此基础上，结合人体本身的一些特征如外观、步态等，进一步提高了实时性和鲁棒性。这种跟踪技术比较适合于目标被频繁遮挡的情况，只要目标有未被遮挡的特征点，就可以实现对目标的稳定跟踪。但是，一旦目标内部存在不同的运动模式时，采用这种特征点跟踪技术容易导致目标断裂。再者，一些表面纹理简单、特征点较少的目标无法形成特征点聚类，从而也被漏跟踪。

发明内容

本发明所要解决的技术问题是提供一种基于视频图像的目标跟踪方法及系统，以实现对目标的有效跟踪，提高跟踪的实时性和鲁棒性。

为解决上述技术问题，本发明提供了一种基于视频图像的目标跟踪方法，该方法包括：生成视频图像的灰度图像、基于第一特征点邻域从灰度图像中检测待跟踪特征点、根据待跟踪特征点以及存储的目标模板检测目标，以及根据对待跟踪特征点的统计分析跟踪目标。

为解决上述技术问题，本发明提供了一种基于视频图像的目标跟踪系统，该系统包括：

灰度图像生成单元，用于生成视频图像的灰度图像；

特征点跟踪单元，用于基于第一特征点邻域从灰度图像中检测待跟踪特征点；

目标检测单元，用于根据待跟踪特征点以及目标模板检测目标；

目标跟踪单元，用于根据对待跟踪特征点的统计分析跟踪目标。

本发明中，对行人目标的待跟踪特征点进行检测和跟踪，并利用行人目标与其对应的待跟踪特征点在运动上的同步性，从而实现了对行人目标的有效跟踪，提高了跟踪的实时性和鲁棒性，同时，利用对待跟踪特征点进行投票，避免了特征点被误跟踪、行人目标被漏跟踪。

附图说明

图1为本发明基于视频图像的目标跟踪方法实施例一的流程图；

图2为应用本发明方法检测出的待跟踪特征点；

图3为应用本发明方法得到的运动前景示意图；

图4为应用本发明方法得到滑窗检索结果；

图5为应用本发明方法得到的滑窗合并结果；

图6为应用本发明方法统计行人目标的效果示意图；

图7为本发明基于视频图像的目标跟踪系统实施例的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。

图1为本发明基于视频图像的目标跟踪方法实施例一的流程图。如图1所示，本实施例中基于视频图像的目标跟踪方法包括：

S101、生成视频图像的灰度图像；

本发明实施例中以运动中的行人作为跟踪对象，即利用摄像机拍摄人群密度较高背景较复杂的场景获取行人视频图像，以灰度图像作为后续处理的基础。因此，在执行后续步骤前，首先通过对原始的行人视频图像进行灰度化得到对应的灰度图像。

S102、基于第一特征点邻域从灰度图像中检测待跟踪特征点；

由于在视频图像中行人目标相对于背景在纹理特征上呈现出差异，比如具有明显的边缘轮廓和交点等。而且构成同一行人目标的这些特征点空间的距离较小，该距离一般小于目标的外接框。同时，在行人目标运动的过程中，构成同一行人目标的这些特征点呈现出同步运动趋势，与行人目标保持同步的运动。因此，本发明实施例中，利用行人目标与特征点的这种关联性以实现对行人的检测和跟踪。

本实施例中，选定一个第一特征点邻域进行特征点的检测，检测出那些易于跟踪的特征点作为待跟踪特征点。此处，该第一特征点邻域可以为包括至少一个特征点的区域，第一特征点邻域可以预先设定，比如为7*7的大小。

本实施例中，基于特征窗口在不同时刻记录的图像的灰度值之差平方和最小的原则检测待跟踪特征点，所以，步骤S102具体包括：

S112、确定包含第一特征点邻域的特征窗口；

S122、使用特征窗口记录不同时刻灰度图像的灰度值；

S132、计算不同时刻灰度图像之间的灰度值差值；

S142、根据灰度值差值最小的原则，计算第一特征点邻域内每个特征点的系数矩阵对应的特征根。

S152、从各个特征点对应两个特征根中选出较小者，并对这些较小的特征根进行排序得到排序列表；

S162、将排序列表中前若干个特征点作为待跟踪特征点。

利用特征窗口在t时刻记录的灰度图像的灰度值为I(X，t)，在t+τ时刻记录的灰度图像的灰度值为J(X，t+τ)，X代表特征点对应的像素点的二维坐标。当时间间隔τ较小时，d表示每个像素点在t时刻和t+τ时刻灰度图像中的像素点平移向量，t时刻和t+τ时刻灰度图像的灰度值关系如式(1)：

J(X，t+τ)＝I(X-d，t)        (1)

按照平移向量d平移t+τ时刻记录的灰度图像的灰度值为J(X，t+τ)变化得到t时刻记录的灰度图像的灰度值为I(X，t)，即I(X-d，t)。

实际场景中，由于光照和环境的变化，t时刻和t+τ时刻的灰度值存在残差，即如公式(2)所示：

J(X)＝I(X-d)+n(X)    (2)

式(2)中，略去了时间项，n(X)表示残差。

对(2)进行泰勒级数展开得到在t时刻记录的灰度图像的灰度值I(X-d)，如公式(3)所示：

$I(X-d)=I\left(X\right)-g\·d=I\left(X\right)-\frac{\∂I}{\∂X}\·d$ (3)

$g=\frac{\∂I}{\∂X}\·d$

通过选择合适的平移向量d使公式(2)中的残差n(X)在特征窗口内的积分值ε最小，积分值ε的计算方法如公式(4)所示：

$\mathrm{\ϵ}=\underset{W}{\∫\∫}{(I(X-d)-J\left(X\right)-g\·d)}^2\·\mathrm{\ω}\left(X\right)\mathrm{dX}$ (4)

h＝I(X-d)-J(X)

公式(4)中，ω(X)表示局部空间的加权系数，h表示t时刻和t+τ时刻的灰度值之差。

根据公式(4)使积分值ε对平移向量d的偏导等于0，即可得到平移向量d的方程：

$\frac{\∂\mathrm{\ϵ}}{\∂d}=\underset{W}{\∫\∫}(h-g)\mathrm{gd}\·\mathrm{\ω}\left(X\right)\mathrm{dX}=0---\left(5\right)$

对公式(5)进一步化解为公式(6)：

$\underset{W}{\∫\∫}h\·g\·\mathrm{\ω}\left(X\right)\mathrm{dX}=\underset{W}{\∫\∫}g\·g^T\·d\·\mathrm{\ω}\left(X\right)\mathrm{dX}---\left(6\right)$

令则公式(6)进一步化方程(7)为：

e＝Z·d    (7)

方程(7)中，Z表示特征点系数矩阵，e表示列向量，特征点系数矩阵Z为2×2的对称系数矩阵，列向量e为2维列向量。

为了使方程(7)存在可靠解，特征点系数矩阵Z应当具有两个较大的特征根，即这两个特征根均应大于设定的阈值，如公式(8)所示。

min(λ₁，λ₂)＞λ (8)

λ₁、λ₂表示特征点系数矩阵Z的两个特征根，λ表示设定的阈值。

如果特征点系数矩阵Z的两个特征根均较大，对应的特征窗口所包括的第一特征点邻域内的特征点就适宜跟踪，也就具备良好的跟踪性能，这些特征点邻域呈现角点或者椒盐噪声等纹理特征。否则，如果特征点系数矩阵Z的两个特征根均较小或者为零，则说明特征窗口所包括的第一特征点邻域呈现为均一平滑的纹理。或者，如果特征点系数矩阵Z的两个特征根一个较大，另外一个较小，则说明特征窗口所包括的第一特征点邻域呈现为单向结构纹理。均一平滑的纹理和单向结构纹理对应的特征点都不具备良好的跟踪性能。

在利用上述步骤S112至S162获得对应于不同第一特征点邻域的多个特征根后，按照较小的特征根进行降序排列得到一个排序列表，即选择若干个较小的特征根进行降序排列，从排序列表中选定前若干个较小特征根，并选择对应的第一特征点邻域中的特征点作为待跟踪特征点。也可以通过升序排列得到排序列表，选择后若干个较小特征根对应的特征点作为待跟踪特征点。

在对入选的若干个待跟踪特征点进行跟踪时，记录每个待跟踪特征点在第k帧灰度图像中的像素点二维坐标P^k，可表示为：P^k＝(x^k，y^k)，每一个待跟踪特征点的轨迹L可以表示为：L＝{P^k，k＝1，2，3L}。

图2为应用本发明方法检测出的特征点。如图2所示在视频图像对应的灰度图像中，黑色空心圈表示特征点。

S103、根据待跟踪特征点以及目标模板检测目标；

在行人目标运动的过程中，待跟踪特征点与行人目标的运动具有同步性。因此，可以利用上述步骤S102检测出的待跟踪特征点对出现行人的目标进行初步估计，然后再结合具有区分特性的轮廓等进行行人目标的定位。

本实施例中，步骤S103可以具体包括：

S113、对灰度图像进行运动前景检测得到运动前景区域；

虽然行人目标都具有一定轮廓和特征点，但是，其中有相当一部分特征点分布在背景区域，尤其是树丛、栏杆等纹理特征比较复杂的背景区域中，这样会干扰行人目标的检测，因此，本实施例中，通过运动前景检测法首先从灰度图像中得到运动前景区域，从而滤除了背景区域对目标检测的干扰。图3为应用本发明方法得到的运动前景示意图。如图3所示，黑色区域为背景区域，白色区域为存在运动前景区域，在运动前景中有运动的行人目标。通过运动前景检测分离出运动前景区域，后续步骤中，只对运动前景区域进行处理即可，因此，运动前景检测也大大减小了行人目标检测的运算量。

S123、利用滑窗对运动前景区域中的第二特征点邻域进行检测；

S133、确定滑窗所覆盖的区域图像并提取区域图像的纹理特征；

S143、利用分类器对提取的纹理特征进行测试并根据测试结果确定是否是目标。

由于经过步骤S102已经得到了待跟踪特征点，所以，在本实施例中，基于这些待跟踪特征点可以确定出运动前景区域中第二特征点领域，利用滑窗在该第二特征点领域进行搜索，确定出滑窗所覆盖区域图像并提取该区域图像的纹理特征，如局部二值化模式。将提取的纹理特征输送给分类器进行测试，如果分类器的测试结果为正，则确定滑窗所覆盖的区域图像为行人目标，否则，为背景。另外，在滑窗检索时可能出现对同一个行人目标有多个滑窗，此时，需要对这些针对同一个行人目标的多个滑窗进行合并。

滑窗检测采用基于外观特征的二分类器模型，判别滑窗区域内是行人目标还是背景。二分类器模型采用有监督的学习方法，即首先利用人工标定的目标样本和背景样本提取外观特征并进行训练，得到最佳的分类模型参数，然后再利用该分类模型对待分类的测试样本进行判别，将其划分到目标类或者背景类。

图4为应用本发明方法得到滑窗检索结果，图5为应用本发明方法得到的滑窗合并结果。如图4和图5所示，图4中，单个行人目标的周围存在多个滑窗，这是滑窗检测的初级结果，不能直接用于目标跟踪；图5中，属于同一目标的滑窗已经被合并，检测结果和目标基本成一一对应的关系。

上述实施例中，由于同样大小的目标在图像中会呈现“近大远小”的趋势，因此可以根据需要变换滑窗窗口尺寸以补偿透视变换引起的形变。本发明通过先验知识或人工交互确定出滑窗的最大尺寸和最小尺寸，然后通过线性插值近似生成各种图像大小的滑窗尺寸。

S104、根据对待跟踪特征点的统计分析跟踪目标。

经过上述步骤S103，根据待跟踪特征点与行人目标运动的同步性，检测到了行人目标。再利用待跟踪特征点可以对检测到的行人目标进行跟踪。比如对同一个行人目标对应的多个待跟踪特征点进行统计分析，确定出反映待跟踪特征点与行人目标同步的属性，从而实现利用待跟踪特征点对检测到的行人目标进行跟踪的目的。

本实施例中，利用对待跟踪特征点进行统计以实现对检测到的行人目标进行跟踪可以具体为利用这些待跟踪特征点在不同灰度图像帧中的几何中心对检测到的行人目标进行跟踪。详细如下：

S114、根据同一目标在前一时刻灰度图像中的每一个待跟踪特征点计算目标的几何中心。该几何中心也可称作“特征质心”。

S124、根据相对于前一时刻灰度图像中几何中心的偏移位置，计算在当前时刻灰度图像的目标几何中心推断值。

利用公式(9)计算前一时刻即k时刻灰度图像的目标几何中心。

${\mathrm{\μ}}^k=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{p}_i^k/M---\left(9\right)$

公式(9)中，M表示同一行人目标的待跟踪特征点个数，μ^k为k时刻灰度图像的目标几何中心，

为第i个待跟踪特征点的像素点二维坐标，i＝1，2.....M。由于几何中心在一个跟踪回合中的偏移位置D_μ→C恒定，所以根据k时刻灰度图像的目标几何中心μ^k以及偏移位置D_μ→C计算出在当前时刻灰度图像中行人目标几何中心推断值

具体计算方法如公式(10)

$C_{\%}^{k+1}={\mathrm{\μ}}^k+D_{\mathrm{\μ}\→C}---\left(10\right)$

在待跟踪特征点不发生丢失或者误跟踪的情况下，可以直接将目标几何中心推断值作为行人目标在当前时刻的位置。

当待跟踪特征点发生丢失或者误跟踪的情况下，待跟踪特征点的运动轨迹与行人目标的运动轨迹就会发生偏离。此时，为了尽量减少这些丢失或误跟踪的待跟踪特征点对行人目标跟踪的干扰，采用加权投票的机制对行人目标的几何中心进行观测。如此，根据对待跟踪特征点的统计分析跟踪目标还包括：

S134、根据同一目标在前一时刻灰度图像中的每一个待跟踪特征点以及平移向量得到同一目标在当前时刻灰度图像中的每一个待跟踪特征点。即，如待跟踪特征点在前一时刻(k时刻)灰度图像中像素点二维坐标P^k，与平移向量d求和即可得到所有待跟踪特征点在当前时刻(k+1时刻)灰度图像中像素点二维坐标P^k+1。

S144、根据同一目标在当前时刻灰度图像中的每一个待跟踪特征点以及偏移位置，得到对应的目标几何中心估计值；

根据公式(11)对应的目标几何中心估计值；

$S_i=p_i^{k+1}+D_{p_i\→C}---\left(11\right)$

公式(11)中，

表示第i个待跟踪特征点在当前时刻(k+1时刻)灰度图像中像素点二维坐标，D_pi→C表示第i个待跟踪特征点在当前时刻(k+1时刻)灰度图像中像素点二维坐标的偏移位置。

S154、根据目标几何中心的估计值以及在前一时刻灰度图像中的每一个待跟踪特征点的权重对每一个待跟踪特征点投票，并将投票数最高的待跟踪特征点对应的目标几何中心的估计值作为目标几何中心的观测值；

根据公式(12)计算目标几何中心的观测值。

V_j→i＝ω_jexp(-|S_i-S_j|₂)

$V_i=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{V}_{j\→i}---\left(12\right)$

$C_{\%}^{k+1}=\arg \underset{V_i}{\max }{S}_i$

公式(12)中，S_i、S_j分别表示根据第i个、第j个待跟踪特征点得到的目标几何中心估计值，ω_j表示第j个待跟踪特征点的权重系数，V_j→i表示第j个待跟踪特征点对第i个待跟踪特征点的投票，V_i表示所有其他待跟踪特征点对第i个待跟踪特征点的投票数，M表示同一行人目标的特征点个数；

表示在当前时刻灰度图像中目标几何中心观测值。

S164、根据目标几何中心的观测值以及目标的状态变化模型，计算在当前时刻灰度图像的目标几何中心推断值；

目标的状态变化模型是指目标本身的运动模式。在目标跟踪过程中，可以跟踪目标的状态变化模型对目标的位置进行预测。对于实时视频序列，每两帧时间间隔Δt比较小，可以认为目标在相邻帧间运动变化缓慢，近似为匀速运动，由动力学公式(13)可得：

${{\tilde{C}}_m}^{k+1}=C^k+V*\mathrm{\Δt}---\left(13\right)$

公式(13)中，

代表根据目标状态变化模型预测的在第k+1时刻灰度图像中目标几何中心，即目标几何中心的预测值，C^k在第k时刻灰度图像中目标几何中心，V代表目标的运动速度，可以由目标之前的运动计算得到。

根据目标几何中心的观测值以及根据几何中心的预测值计算目标几何中心的推断值如公式(14)所示：

$C^{k+1}=\mathrm{\α}*{\tilde{C}}^{k+1}+(1-\mathrm{\α})*{\tilde{C}}_m^{k+1}---\left(14\right)$

公式(14)中，

代表目标几何中心的预测值，

表示目标几何中心观测值，C^k+1表示目标几何中心的推断值，α代表加权参数，用于调节目标几何中心的预测值和目标几何中心观测值的权重。

根据前述步骤计算得到了在当前时刻灰度图像中目标几何中心观测值，在结合行人目标本身状态变化模型，即可得到在当前时刻灰度图像的目标几何中心推断值C^k+1，将目标几何中心推断值C^k+1作为在当前时刻灰度图像中目标几何中心的实际值。

S174、根据目标几何中心推断值以及目标在当前时刻灰度图像中的每一个待跟踪特征点更新偏移位置；

根据公式(13)更新各个待跟踪特征点相对于计算出目标几何中心推断值C^k+1的偏移位置。

$d_{p_i\→C}=C^{k+1}-p_i^{k+1}---\left(13\right)$

C^k+1表示当前时刻灰度图像的目标几何中心推断值，

表示第i个待跟踪特征点在当前时刻(k+1时刻)灰度图像中像素点二维坐标。

S184、根据在前一时刻灰度图像中的每一个待跟踪特征点的权重、每一个待跟踪特征点对应的目标几何中心估计值、以及目标几何中心推断值更新在当前时刻灰度图像中的每一个待跟踪特征点的权重。

根据公式(14)更新每一个待跟踪特征点的权重。

${\mathrm{\ω}}_i^{k+1}=(1-\mathrm{\α}){\mathrm{\ω}}_i^k+\mathrm{\α}{|S_i-C_{\%}^{k+1}|}_2---\left(14\right)$

公式(14)中，

表示第i个待跟踪特征点在当前时刻(k+1时刻)灰度图像中的权重，

表示第i个待跟踪特征点在前一时刻(k时刻)灰度图像中的权重，S_i表示根据第i个待跟踪特征点得到的目标几何中心估计值，

表示在当前时刻灰度图像中目标几何中心观测值，α表示调整幅度参数。

本实施例中，在完成对行人目标的跟踪后，还可以利用拌线对跟踪到的行人目标进行统计。如图6所示，在一定时间内，统计通过拌线的行人目标，从而实现对行人目标的计数。

本实施例中，还可以包括：

对检测到的待跟踪特征点进行列表统计得到特征点列表。

具体地，经步骤S102检测到待跟踪特征点，对这些待跟踪特征点进行列表统计得到特征点列表(feature point list，简称FPL)，该列表中的每一个元素表示当前灰度图像中的一个待跟踪特征点。如果在待跟踪特征点跟踪的过程中，检测到新的特征点，则将该特征补充到特征点列表FPL中。

对检测到的目标进行列表统计得到目标的检测列表。

具体地，经步骤S103检测到行人目标后，通过建立一个检测列表来记录检测到的所有行人目标的检测列表(detected object list，简称DOL)。

对跟踪到的目标进行列表统计得到目标的跟踪列表。

具体地，经步骤S104跟踪到行人目标后，通过建立一个跟踪列表记录跟踪到的所有行人目标的跟踪列表(current object list，简称COL)。

特征点列表FPL、检测列表DOL、跟踪列表COL三者之间的关系为：对于跟踪列表COL和检测列表DOL中匹配成对的目标，用检测列表DOL中的目标信息更新跟踪列表COL中的目标信息；对于未在跟踪列表COL中找到匹配而又存在于检测列表DOL的目标，作为新目标加入到跟踪列表COL中；对于在检测列表DOL中未找到匹配而又存在于的跟踪列表COL目标，作为已消失目标，从跟踪列表COL中删除。

图7为本发明基于视频图像的目标跟踪系统实施例的结构示意图。如图7所示，本实施例中，基于视频图像的目标跟踪系统包括：灰度图像生成单元701、特征点跟踪单元702、目标检测单元703和目标跟踪单元704。其中，灰度图像生成单元701用于生成视频图像的灰度图像；特征点跟踪单元702用于基于第一特征点邻域从灰度图像中检测待跟踪特征点；目标检测单元703用于根据待跟踪特征点以及存储的目标模板检测目标；目标跟踪单元704用于根据对待跟踪特征点的统计分析跟踪目标。

本发明的上述实施例中，对待跟踪特征点的跟踪包括实时对特征点位置、数量和运动轨迹等信息进行统计。

本发明的上述实施例中，对行人目标的待跟踪特征点进行检测和跟踪，并利用行人目标与其对应的待跟踪特征点在运动上的同步性，从而实现了对行人目标的有效跟踪，提高了跟踪的实时性和鲁棒性。同时，利用待跟踪特征点进行投票，避免了特征点被误跟踪、行人目标被漏跟踪的缺陷。

Claims (6)

1.一种基于视频图像的目标跟踪方法，其特征在于，包括：

生成视频图像的灰度图像；

基于第一特征点邻域从灰度图像中检测待跟踪特征点，具体包括：确定包含第一特征点邻域的特征窗口，使用特征窗口记录不同时刻灰度图像的灰度值，根据记录到的不同时刻灰度图像的灰度值计算不同时刻灰度图像之间的灰度值差值，根据灰度值差值最小的原则，计算第一特征点邻域的系数矩阵对应的特征根；从各个特征点对应两个特征根中选出较小者，并对这些较小的特征根进行排序得到排序列表；将排序列表中前若干个特征点作为待跟踪特征点；其中，所述系数矩阵为特征点系数矩阵，进一步为2×2的对称系数矩阵；

根据待跟踪特征点以及存储的目标模板检测目标，具体包括：对灰度图像进行运动前景检测得到运动前景区域；利用滑窗对运动前景区域中的第二特征点邻域进行检测；确定滑窗所覆盖的第二特征点邻域中区域图像并提取区域图像的纹理特征；利用分类器对提取的纹理特征进行测试并根据测试结果确定是否是目标；

根据对待跟踪特征点的统计分析跟踪目标，具体包括：

根据同一目标在前一时刻灰度图像中的每一个待跟踪特征点计算目标的几何中心，相对于前一时刻灰度图像中几何中心的偏移位置，计算在当前时刻灰度图像的目标几何中心推断值；其中，所述计算在当前时刻灰度图像的目标几何中心推断值进一步包括：

根据同一目标在前一时刻灰度图像中的每一个待跟踪特征点以及平移向量得到同一目标在当前时刻灰度图像中的每一个待跟踪特征点，根据同一目标在当前时刻灰度图像中的每一个待跟踪特征点以及偏移位置，得到对应的目标几何中心估计值；

根据目标几何中心的估计值以及在前一时刻灰度图像中的每一个待跟踪特征点的权重对每一个待跟踪特征点投票，并将投票数最高的待跟踪特征点对应的目标几何中心的估计值作为目标几何中心的观测值；

根据目标几何中心的观测值以及目标的状态变化模型，计算在当前时刻灰度图像的目标几何中心推断值；

根据目标几何中心推断值以及目标在当前时刻灰度图像中的每一个待跟踪特征点更新偏移位置；

根据在前一时刻灰度图像中的每一个待跟踪特征点的权重、每一个待跟踪特征点对应的目标几何中心估计值、以及目标几何中心推断值更新在当前时刻灰度图像中的每一个待跟踪特征点的权重。

2.根据权利要求1所述的方法，其特征在于，对确定出同一目标的多个滑窗进行合并。

3.根据权利要求1所述的方法，其特征在于，利用拌线对跟踪到的目标进行统计。

4.根据权利要求3所述的方法，其特征在于，还包括：

对检测到的待跟踪特征点进行列表统计得到特征点列表；

对检测到的目标进行列表统计得到目标的检测列表；

对跟踪到的目标进行列表统计得到目标的跟踪列表。

5.根据权利要求4所述的方法，其特征在于，所述目标为运动中的行人。

6.一种基于视频图像的目标跟踪系统，其特征在于，包括：

灰度图像生成单元，用于生成视频图像的灰度图像；

特征点跟踪单元，用于基于第一特征点邻域从灰度图像中检测待跟踪特征点；所述特征点跟踪单元包括：特征根计算子单元，用于确定包含第一特征点邻域的特征窗口，使用特征窗口记录不同时刻灰度图像的灰度值，根据记录到的不同时刻灰度图像的灰度值计算不同时刻灰度图像之间的灰度值差值，根据灰度值差值最小的原则，计算第一特征点邻域的系数矩阵对应的特征根；特征根排序子单元，用于从各个特征点对应两个特征根中选出较小者，并对这些较小的特征根进行排序得到排序列表；待跟踪特征点确定子单元，将排序列表中前若干个特征点作为待跟踪特征点；其中，所述系数矩阵为特征点系数矩阵，进一步为2×2的对称系数矩阵；

目标检测单元，用于根据待跟踪特征点以及存储的目标模板检测目标；所述目标检测单元包括：运动前景区域确定子单元，用于对灰度图像进行运动前景检测得到运动前景区域；第二特征点邻域检测子单元，用于利用滑窗对运动前景区域中的第二特征点邻域进行检测；纹理特征提取子单元，用于确定滑窗所覆盖的第二特征点邻域中区域图像并提取区域图像的纹理特征；目标确定子单元，用于利用分类器对提取的纹理特征进行测试并根据测试结果确定是否是目标；

目标跟踪单元，用于根据对待跟踪特征点的统计分析跟踪目标；所述目标跟踪单元包括：目标几何中心推断值计算子单元，用于根据同一目标在前一时刻灰度图像中的每一个待跟踪特征点计算目标的几何中心，相对于前一时刻灰度图像中几何中心的偏移位置，计算在当前时刻灰度图像的目标几何中心推断值；其中，所述目标几何中心推断值计算子单元包括：目标几何中心估计值计算模块，用于根据同一目标在前一时刻灰度图像中的每一个待跟踪特征点以及平移向量得到同一目标在当前时刻灰度图像中的每一个待跟踪特征点，根据同一目标在当前时刻灰度图像中的每一个待跟踪特征点以及偏移位置，得到对应的目标几何中心估计值；目标几何中心观测值计算模块，用于根据目标几何中心的估计值以及在前一时刻灰度图像中的每一个待跟踪特征点的权重对每一个待跟踪特征点投票，并将投票数最高的待跟踪特征点对应的目标几何中心的估计值作为目标几何中心的观测值；目标几何中心推断值计算模块，用于根据目标几何中心的观测值以及目标的状态变化模型，计算在当前时刻灰度图像的目标几何中心推断值；偏移位置更新模块，用于根据目标几何中心推断值以及目标在当前时刻灰度图像中的每一个待跟踪特征点更新偏移位置；权重更新模块，用于根据在前一时刻灰度图像中的每一个待跟踪特征点的权重、每一个待跟踪特征点对应的目标几何中心估计值、以及目标几何中心推断值更新在当前时刻灰度图像中的每一个待跟踪特征点的权重。

Images