CN101175203A - 实时视频目标跟踪方法 - Google Patents

Abstract

本发明属于视频图像处理技术领域，具体为一种基于相关的实时视频目标跟踪的新方法。该方法通过局部图像搜索的方式进行目标跟踪，提出使用图像质量参数作为表征相关性的特征参数。图像质量参数表征了图像与图像之间的相似性，从而可以由图像质量参数的值表征目标跟踪的成功程度。图像质量参数由三个部分组成，分别为相关性系数，对比度失真以及亮度失真。相关性系数表征了两幅图像结构上的相关性；对比度失真表征了两幅图像对比度上的相似程度；亮度失真表征了两幅图像亮度上的相似程度。因此，图像质量参数从全方位综合考虑了图像的整体信息，十分适合作为目标跟踪的特征参数。同时，本发明提出了相应的阈值模板更新策略，提高了算法的鲁棒性。

Description

实时视频目标跟踪方法

技术领域

本发明属于视频图像处理技术领域，具体涉及一种实时视频目标跟踪的新方法。

背景技术

序列图像中运动目标的检测与跟踪是指通过对拍摄的图像序列进行分析，检测出运动目标并计算出目标在每帧图像上的位置，然后得到相关的参数。这一问题是计算机视觉[1][2]研究的主要内容。计算机视觉是一门多学科交叉的学科，涉及图像处理、计算机图形学、模式识别、人工智能、神经网络、计算机、心理学、生理学、物理学和数学等。

视频跟踪技术是计算机视觉中一个必不可少的关键技术，它在机器人视觉导航、军事视觉制导、安全监测、交通管制、医疗诊断、视频压缩以及气象分析等许多方面都有广泛应用。如军事方面，已被成功地应用于武器的成像制导、军事侦察和监视等。早期电视和红外跟踪器均采用单一工作模式，必须完全用硬件实现。现在跟踪以微机为基础，采用图像处理与模式识别技术，利用程序控制实现多种功能。多模跟踪器已经用于电视和红外成像系统，如美国的坦克破坏者和海尔法等导弹的制导系统。近年来，人工智能被应用到视频跟踪中，有效地提高了系统的自适应能力。民用方面，如视觉监控，已被广泛地应用在社会生活的各方面。视频跟踪可应用于社区和重要设施的保安监控；用于智能交通系统中进行车辆的实时检测和追踪，可以得到车流量、车型、车速、车流密度等等许多有价值的交通流参数，同时还可以检测事故或故障等突发状况。

基于相关的视频目标跟踪算法[3][4]的主要思想是，预先建立一个表示目标或待检测物体的模板作为识别和确定目标位置的依据，用目标模板与实时图像中的各个子区域图像进行比较，找出和目标模板最相似的子区域图像的位置，就认为是当前目标的位置。

发明内容

本发明的目的在于提供一种基于相关的实时视频目标跟踪的新方法。本发明提出的实时视频目标跟踪方法，采用图像质量参数作为目标跟踪的特征参数。从整体上综合考虑图像的信息，更能反应出图像的相似性。

图像质量参数的定义为：设两副灰度图像x和y分别为模板图像和待检测的子区域图像，每幅图像有N个像素点，它们的灰度值分别为：

x＝{x_i|i＝1，2，...，N}

y＝{y_i|i＝1，2，...，N}

那图像质量参数定义为：

$Q=\frac{{\mathrm{\σ}}_{\mathrm{xy}}}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\·\frac{2\stackrel{\‾}{\mathrm{xy}}}{{\left(\stackrel{\‾}{x}\right)}^2+{\left(\stackrel{\_}{y}\right)}^2}\·\frac{2{\mathrm{\σ}}_x{\mathrm{\σ}}_y}{{\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2}---\left(1\right)$

$\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i,$ $\stackrel{\‾}{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i$

其中： ${\mathrm{\σ}}_x^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2,$ ${\mathrm{\σ}}_y^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{y})}^2$

${\mathrm{\σ}}_{\mathrm{xy}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})$

如(1)式所示，其中第一项表示图像x和y的线性相关性，称之为相关性系数；第二项表示图像x和y之间的平均亮度的差异，称之为亮度失真；第三项表示的是图像x和y之问的对比度相似性，称之为对比度失真。可见(1)式的图像质量参数整体上综合考虑了图像的信息，作为一种评判图像相似性的参数十分有效。[5]

本发明提出的使用图像质量参数作为检测的特征参数，局部图像搜索的目标跟踪算法的步骤为：

(1)在第一帧图像中选取跟踪的目标以及相应的目标模板图像，目标模板图像为刚好能够包含目标的矩形框；

(2)在当前进行目标跟踪的这一帧图像中选定搜索的范围：选取以目标模板图像的中心为中心，以目标模板图像长、宽的两倍为长、宽的一个矩形区域为局部搜索范围；

(3)使用目标模板对搜索范围内的每个和目标模板图像大小相同的子区域图像按(1)式进行图像质量参数的计算，当图像质量参数达到最大时，即为目标跟踪成功；

(4)阈值模板更新。考察当前的跟踪成功的图像质量参数，若图像质量参数大于某一个阈值(大量实验表明0.85～0.95为一个合适的阈值范围)，则将对应的子区域图像更新为目标模板图像；若图像质量参数小于该阈值，表明此次跟踪的目标出现了部分遮挡情况，继续使用原来的目标模板图像进行跟踪。

附图说明：

图1为目标跟踪实例1，其中(a)为第1帧，(b)为第30帧，(c)为第60帧，(d)为第90帧。

图2为目标跟踪实例2，其中(a)为第1帧，(b)为第40帧，(c)为第80帧，(d)为第120帧。

图3为目标跟踪实例3，其中(a)为第1帧，(b)为第50帧，(c)为第100帧，(d)为第150帧。

具体实施方式

对于跟踪实例1，如图1(a)所示在第1帧图像中选取了跟踪的目标(白色的面包车)以及相应的目标模板图像。在当前帧图像上选定搜索的范围，选取以目标模板的中心为中心，以目标模板图像长、宽的两倍为长、宽的一个矩形区域为局部搜索范围。使用目标模板图像对搜索范围内的每个和目标模板图像大小相同的子区域图像按(1)式进行图像质量参数的计算，当图像质量参数达到最大时，即判断为目标跟踪成功。考察此时的图像质量参数，如果大于预订的阈值(此实例中采用0.9作为阈值)，说明没有出现遮挡现象，将当前的子区域图像作为新的目标模板图像；如果图像质量参数小于0.9，说明出现了遮挡现象，继续沿用上次的目标模板图像。如图1(b)(c)(d)所示，在第30帧、第60帧以及第90帧时，目标(白色面包车)都被成功的跟踪了。

同上，跟踪实例2、3都成功的跟踪了目标(分别为黑色小轿车和黑夹克男子)。

技术效果

在不同的应用场景中，进行了大量的实验。实验表明，在不同场景中针对不同的跟踪目标，本发明算法都是十分有效的。

参考文献

[1]Dickmanns， E.D.The development of machine vision for road vehicles in the last decade.IEEE Intelligent Vehicle Symposium.2002，6，vol. 1：26 8-281.

[2]FleischerK.，Nagel H.H.，Machine-vision-based detection and tracking of stationaryinfrastructural objects beside inner-city roads.IEEE Proceedings.Intelligent TransportationSystems.2001，8，vol.1：525-530.

[3]Dennis A.Montera，Steven K.Rogers，Dennis W.Ruck and Mark E.Oxley，Object TrackingThrough Adaptive Correlation.Optical Engineering，Vol.33，No.1，P.224-301，January 1994.

[4]McFarlane，N.J.B.and C.P.Schofield，Segmentation and tracking of piglets inimages.MachineVision and Applications，1995.8：p.187-193.

[5]Zhou Wang and Alan C.Bovik，‘A universal image quality index’.IEEE SIGNALPROCESSING LETTERS，VOL.9，NO.3，MARCH 2002

Claims (4)

1.一种基于相关的实时视频目标跟踪的新方法，其特征在于应用‘图像质量参数’作为目标跟踪的特征参数，局部搜索的跟踪方法以及相应的阈值模板更新策略。

2.根据权利要求1所述的实时视频目标跟踪的新方法，其特征在于应用于目标跟踪的特征参数——图像质量参数，由三个部分组成，分别为相关性系数，对比度失真以及亮度失真。相关性系数表征了两幅图像结构上的相关性；对比度失真表征了两幅图像对比度上的相似程度；亮度失真表征了两幅图像亮度上的相似程度。该参数综合考虑了图像的整体信息，

3.根据权利要求1、2所述的实时视频目标跟踪的新方法，其特征在于应用目标跟踪的特征参数——图像质量参数通过局部搜索的方法进行目标跟踪：以目标模板的中心为中心，以目标模板长、宽的两倍为长、宽，通过计算图像质量参数对此区域进行搜索。当图像质量参数达到最大时，目标跟踪成功。

4.根据权利要求1、2、3所述的实时视频目标跟踪的新方法，其特征在于应用目标跟踪的特征参数——图像质量参数通过局部搜索的方法进行目标跟踪成功后，进行阈值模板更新：当图像质量参数大于某一个阈值，将当前跟踪到的目标更新为模板；当图像质量参数小于某一个阈值，说明有部分遮挡发生，不更新模板。

Images