CN103020986A - 一种运动目标跟踪方法 - Google Patents

Abstract

本发明提供的是一种运动目标跟踪方法，包括以下步骤：第一步，基于码本模型的快速运动目标检测方法准确检测到运动目标；第二步，对在线Adaboost算法弱分类器组初始化，得到强分类器，运动目标特征的选取融合了局部方向直方图特征与颜色特征；第三步，将在线Adaboost跟踪算法的特征矩阵和弱分类器运算得到置信图，在置信图上应用CamShift跟踪算法，根据得到的运动目标位置更新弱分类器，最后得到整段视频序列的跟踪结果。本发明本提供一种对短时间内发生较大形变的、发生遮挡甚至是大面积遮挡的、与背景及其他运动目标颜色相近、快速变化且有加速度的运动目标都能有效跟踪的一种运动目标跟踪方法。

Description

一种运动目标跟踪方法

技术领域

本发明涉及的是一种运动目标跟踪技术，具体涉及一种基于在线Adaboost算法和CamShift算法结合的运动目标跟踪方法。

背景技术

基于运动目标特征进行跟踪技术的研究，是近几年计算机视觉领域研究的热点。虽然指纹、掌纹和静脉等生物特征在安全领域已经开展了广泛的研究并有了初步应用，但这些生物特征属于接触式识别，大大限制了其应用范围。相对而言，步态和人脸识别这种“非接触式”识别技术，将人体运动与生物特征进行巧妙结合进行识别研究，目前已经成为了智能场景视频监控中一门重要领域。尤其是步态识别，需要在行人行走运动时采集到运动人体的特征进行身份识别，前期的运动人体检测与跟踪工作的准确性、实时性是整体识别性能的前提。这对视频监控提出了很大挑战，基于系统场景安全性能的要求，传统的依靠人工操作的视频监控由于具有以下缺点，已经不能适应实际场景安全监控应用的需要。在实际的复杂背景下如何实现目标的跟踪不仅是智能视频监控系统的关键，在智能交通或者人机交互应用中也有着很重要的作用，因此目标跟踪算法得到了很广泛的发展。但是，大部分行人跟踪算法的成功与否，都要取决于背景的复杂度以及行人目标与背景的相似性，只有目标与背景在颜色上区别较大的情况下才能得到良好效果。为了解决复杂场景中行人跟踪的问题，需要我们设计出越来越多的鲁棒算法，使其足以解决光照变化、噪声影响、障碍物遮挡等种种实际应用中不可避免的问题。

如何准确而快速地从视频序列中检测和跟踪出运动目标非常重要，是身份识别和异常行为识别最为关键的技术之一，目前运动目标跟踪的方法主要有两种：1、统计学习方法；2、基于颜色特征的算法。

第一种方法逐渐成为模式识别领域中的主流技术之一，它在许多经典问题上都有成功的应用，运动目标跟踪就是一例。Adaboost算法是Freund等人^[1]提出的一种Boost算法，它的目标是自动地从弱分类器空间中挑选出若干个弱分类器整合成一个强分类器。Viola等人^[2]提出的基于Haar型特征的Adaboost算法，是Adaboost算法在人脸检测上的成功应用。Grabner等人^[3]提出在线Adaboost算法，将Adaboost算法应用到目标跟踪领域，取得了较好的跟踪效果。不同于离线Adaboost算法^[1]，在线Adaboost算法的训练样本是实时得到的一个或几个数据。使用这种算法可以更好地适应运动目标特征变化等问题，但在线Adaboost算法单纯依靠分类器进行跟踪，在复杂的背景中发生大面积遮挡的情况下容易分类错误^[4]，造成跟踪丢失。

Bradski提出的Camshift跟踪算法[5]凭借其在实时性和鲁棒性方面良好的表现也是一种被广泛关注的算法。Camshift算法以MeanShift算法^[6][7]为核心，解决了MeanShift不能改变跟踪窗口大小的缺点，缩小了目标搜索范围，提高了准确性和运算效率，在背景简单的情况下能够取得较好的跟踪效果。但Camshift跟踪算法受周围其他运动目标影响较大，容易将非目标点误认为目标点，使目标尺寸变化并造成跟踪失效，进而出现跟踪丢失现象^[8]。传统的Camshift目标跟踪算法用颜色信息作为特征进行跟踪，当目标颜色与背景或者非目标相近，也会出现跟踪丢失。并且，传统的Camshift目标跟踪算法对快速运动目标容易跟踪失败，且无法从失败中复原^[9]。

鉴于单一的在线Adaboost算法和CamShift算法都不能取得很好的跟踪效果，本发明针对较复杂场景下，提出一种基于在线Adaboost算法和CamShift算法结合的运动目标跟踪方法，首先将在线Adaboost跟踪算法的特征矩阵和分类器运算得到置信图，特征的选取融合了局部方向直方图特征与颜色特征，然后在置信图上应用CamShift算法，使得CamShift算法应用的特征融合了纹理与颜色信息。

与发明相关的公开报道包括：

[1]Y.Freund,R.E.Schapire.Experiments with a new boosting algorithm[C].In:Proc.the 13thConf.Machine Learning.San Francisco:Morgan Kanfmann,1996,148-156.

[2]P.Viola,M.Jones.Rapid object detection using a boosted cascade of simple features[C].IEEE Conf.Computer Vision and Pattern Recognition,Kauai,Hawaii,USA,2001,511-518.

[3]H.Grabner and H.Bischof.On-line boosting and vision[C].In Proc.CVPR,2006,260-267.

[4]Y.Freund.An adaptive version of the boost by majority algorithm[J].Machine Learning,2001,43(3):293-318.

[5]G R Bradski.H.Real time face and object tracking as a component of a perceptual userinterface[C].In:Proceedings of the 4th Workshop on Application of Computer Vision.Princeton,USA:IEEE,1998,214-219.

[6]K Fukanaga,L D Hostetler.The Estimation of the Gradient of a Density Function,withApplications in Pattern Recognition[J].IEEE Trans on Information Theory，1975,21(1):32-40.

[7]Y Cheng,Meanshift,Mode Seeking,and Clustering[J].IEEE Trans On Pattern Analysis andMachine Intelligence,1995,17(8):790-799.

[8]尹光明.基于单目视频的运动跟踪算法研究与实现.华中科技大学硕士学位论文.2008.

[9]王鑫,唐振民.一种基于改进的基于Camshift的粒子滤波实时目标跟踪算法[J].中国图像图形学报,2010,15(10):1507-1514.

发明内容

本发明的目的在于提供一种对短时间内发生较大形变的、发生遮挡甚至是大面积遮挡的、与背景及其他运动目标颜色相近、快速变化且有加速度的运动目标都能有效跟踪的一种运动目标跟踪方法。

本发明的目的是这样实现的：

运动目标跟踪方法包括以下步骤：第一步，基于码本模型的快速运动目标检测方法准确检测到运动目标；第二步，对在线Adaboost算法弱分类器组初始化，得到强分类器，运动目标特征的选取融合了局部方向直方图特征与颜色特征；第三步，将在线Adaboost跟踪算法的特征矩阵和弱分类器运算得到置信图，在置信图上应用CamShift跟踪算法，根据得到的运动目标位置更新弱分类器，最后得到整段视频序列的跟踪结果。

本发明还可以包括：

所述的弱分类器组初始化，根据跟踪起始帧的运动目标跟踪区域选择本发明方法的执行区域；根据检测结果，对运动目标处和附近感兴趣区域范围内的N个点进行标记，样本训练X＝{(x₁,y₁),…,(x_N,y_N)|y_i∈{-1,+1}}，将运动目标区域作为正样本，其像素点标记为1；其它区域作为负样本，像素点标记为-1，以此为基础进行弱分类器初始化过程如下：

(1)、初始化样本点集，权w₁＝w₂＝…＝w_N＝1/N；

(2)、对于T个弱分类器，根据t＝1，2，…，T对以下步骤循环：

a、求出每个像素点的LOH和RGB的N×(K+3)维特征矩阵F，其中K为LOH特征维数；

b、将特征矩阵F代入弱分类器h_t(x)中进行训练，弱分类器h_t(x)用最小二乘法的方式训练得到；

c、计算错误率 $\mathrm{err}={\mathrm{\Σ}}_{i=1}^N{w}_i|h_t\left(x_i\right)-y_i|;$

d、按照错误率计算弱分类器权重

e、更新样本点权值 $w_i=w_i\·e^{\left({\mathrm{\α}}_t\right|h_t\left(x_i\right)-y_i\left|\right)};$

(3)、求得强分类器 $H\left(x\right)=\mathrm{sign}({\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t\·h_t\left(x\right)).$

以上过程中，i＝1,2，…N代表样本点的索引。

所述的运动目标特征的选取融合了适合场景中行人跟踪的局部方向直方图特征与颜色特征，对目标区域及附近感兴趣区域范围内所有灰度化像素点运算得到K维LOH特征_EK(R)计算公式如下：

$E_K\left(R\right)=\underset{(x,y)\∈R}{\mathrm{\Σ}}{\mathrm{\ψ}}_K(x,y)$

式中，像素点(x,y)为图像I中一个像素点，R表示处理区域，ψ_K(x,y)表示点(x,y)处的LOH特征。将R、G、B三个颜色通道的值加入特征向量中，这样每个像素点有K+3维特征。

所述的特征矩阵和弱分类器运算得到的置信图，用P(x|I)表示图像中的像素点属于目标像素的概率值，公式如下：

$P\left(x\right|I)=\∫P\left(x\right|C)P\left(C\right|I)\mathrm{dL}\≈\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i}P\left(x\right|C_i)$

$P\left(x\right|I)\≈F\·\mathrm{WCs}\·\mathrm{\α}=\left[\begin{array}{ccc}{a}_{11}& ...& a_{1M}\\ .& & .\\ .& & .\\ .& & .\\ a_{N1}& ...& a_{\mathrm{NM}}\end{array}\right]\·\left[\begin{array}{ccc}{h}_{11}& ...& h_{T1}\\ .& & .\\ .& & .\\ .& & .\\ h_{1M}& ...& h_{\mathrm{TM}}\end{array}\right]\·\left[\begin{array}{c}{\mathrm{\α}}_1\\ .\\ .\\ .\\ {\mathrm{\α}}_T\end{array}\right]$

$=\left[\begin{array}{ccc}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_{1i}{h}_{1i}& ...& \underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_{1i}{h}_{\mathrm{Ti}}\\ .& & .\\ .& & .\\ .& & .\\ \underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_{\mathrm{Ni}}{h}_{1i}& ...& \underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_{\mathrm{Ni}}{h}_{\mathrm{Ti}}\end{array}\right]\·\left[\begin{array}{c}{\mathrm{\α}}_1\\ .\\ .\\ .\\ {\mathrm{\α}}_T\end{array}\right]=\left[\begin{array}{c}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{T}{\mathrm{\Σ}}}{a}_{1i}{h}_{\mathrm{ji}}{\mathrm{\α}}_j\\ .\\ .\\ .\\ \underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{T}{\mathrm{\Σ}}}{a}_{\mathrm{Ni}}{h}_{\mathrm{ji}}{\mathrm{\α}}_j\end{array}\right]$

式中，I为输入图像，N表示置信图的数目，w_i＝P(C_i|I)，P(x|C_i)≈F·WCs，所有弱分类器组成M×T维矩阵设为WCs＝[h₁,h₂,…,h_T]^T  第i个弱分类器的表示为h_i＝[h_i1,h_i2,…h_iM]^T，其中M（K+3）为特征维数。最后得到一个N维列向量，将其按照区域的长宽变换成矩阵。其中包含着非目标区域和目标区域，非目标区域接近于0，根据置信图概率分布就可反映出目标的位置。

所述的更新弱分类器，根据在置信图C上应用CamShift算法，得到新目标位置矩形框，更新弱分类器权值和样本权值过程如下：

(1)、针对新矩形框位置对感兴趣区域范围内的点进行标记，矩形框内部的点标记为1，外部的点为背景负样本标记为-1；

(2)、去除原有的弱分类器组{h₁,h₂,…h_T}中错误率较大的k（本专利k=1）个弱分类器，对区域范围内所有样本点赋予一个初始化权值

对剩下的T-k个弱分类器：

a、计算错误率，从剩余的弱分类器中选取最小错误率的h_t；

b、根据新的特征更新其权值α_t和点的权集

c、将h_t选入新的分类器组中，对剩下的分类器从a步骤进行循环；

(3)、加入k个新分类器，针对t＝1,2,…k循环：

a、针对区域范围样本点选定弱分类器h_t；

b、计算错误率err和权值α_t；

c、更新样本点权值

(4)、根据训练好的T个弱分类器求得强分类器H(x)。

本发明的方法的主要特点是：在每一帧跟踪进程中都会随着像素点变化进行分类器的更新与淘汰，使其能够实时反映目标最新特征，以解决复杂场景下短时间内发生较大形变的、发生遮挡甚至是大面积遮挡的、与背景及其他运动目标颜色相近、快速变化且有加速度的运动目标跟踪失败的问题。

附图说明

图1准确检测到的运动目标图；

图2本专利跟踪算法对形态变化较大的目标跟踪结果图；

图3在线Adaboost算法对大面积遮挡的目标跟踪结果图；

图4本专利跟踪算法对大面积遮挡的目标跟踪结果图；

图5CamShift算法对场景中存在颜色干扰的目标跟踪结果图；

图6本专利跟踪算法对场景中存在颜色干扰的目标跟踪结果图。

图7三种算法处理速度对比表；

图8运动目标跟踪方法流程图。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

1．运动目标特征的选择

好的目标特征和好的跟踪算法同等重要，特征的选取直接决定弱分类器的准确性，选择精度高的特征不仅可以降低学习样本数目，还能大大降低弱分类器个数。本发明选取的特征融合了更加适合场景中行人跟踪的局部方向直方图特征（LOH）与颜色特征（RGB）。采用局部方向特征有两点好处：（1）梯度特征对光线不敏感，受光线变化影响非常小；（2）对几何特征描述优于其他特征，可间接地表达轮廓。一般来说，当目标和背景的颜色相近时，它们的纹理并不相似。

1.1运动目标的检测

采用基于码本模型的快速运动目标检测方法准确检测到运动目标，就是通过当前图像像素点模型与已经观测到的成立模型进行颜色或亮度等方面的一一比对。如果比较的结果分为以下两项条件，就认为是背景：（1）待比较像素与已建立的码本模型中码字的颜色扭曲度小于设定的阈值；（2）它的亮度在码字记录的亮度范围之内。如果不符合以上两个条件，就判定为前景。图1为准确检测到的运动目标，即跟踪过程的起始帧，其中图1(a)是原始视频中的一帧，图1(b)是基于码本模型的快速运动目标检测方法和经过连通区域法处理后的结果，图1(c)运动目标跟踪结果见红色矩形框，以此框为中心，构造感兴趣区域(外部大框)。

1.2融合了LOH和RGB的特征

像素点(x,y)为图像I中一个像素点，此点处梯度特征的数学表达式如下：

G_x(x,y)＝Sobel_x*I(x,y)                                （1）

G_y(x,y)＝Sobel_y*I(x,y)

式中，Sobel_x和Sobel_y分别表示水平边沿和垂直边沿的Sobel描述算子，其数学表达式如下：

${\mathrm{Sobel}}_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ ${\mathrm{Sobel}}_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]---\left(2\right)$

像素点(x,y)处轮廓梯度数学表达式如下：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}---\left(3\right)$

为了去除噪声等影响，对G(x,y)进行阈值处理，处理后的数学表达式如下：

上式中，T'是去除噪声阈值。点(x,y)处的方向梯度的角度θ(x,y)的数学表达式如下：

$\mathrm{\θ}(x,y)=\arctan \left(\frac{G_y(x,y)}{G_x(x,y)}\right)---\left(5\right)$

将求得的角度值θ(x,y)分成k等份，并在点(x,y)及其邻域处进行直方图统计，得到的点(x,y)处的LOH特征的数学表达式如下：

式中，bin_K是特征值集合，K是特征维数。经过对目标区域及附近感兴趣区域范围内所有像素点灰度化处理后依次经过以上运算，即可得到K维LOH特征，用E_k(R)表示，数学表达式如下：

$E_k\left(R\right)=\underset{(x,y)\∈R}{\mathrm{\Σ}}{\mathrm{\ψ}}_k(x,y)---\left(7\right)$

式中，R标示处理区域，为了使特征更加全面准确以应对跟踪过程中目标的变化，在选取LOH特征后，将R、G、B三个颜色通道的值加入特征向量中，这样每个像素点有K+3维特征，将这些特征值代入到弱分类器中进行运算不但能满足训练样本小情况下的训练，也能提高检测精度。

2．在线Adaboost算法的弱分类器初始化

在线Adaboost算法与常用的离线Adaboost算法一样，都是通过选择一组弱分类器，最终联合成强分类器进行目标的判定。不同之处是，离线Adaboost算法的弱分类器是固定不变的，在线Adaboost算法在进行实时帧处理过程中，进行弱分类器的更新。

2.1弱分类器组初始化

根据跟踪起始帧的运动目标跟踪区域选择本专利算法的执行区域（即感兴趣区域）。根据检测结果对运动目标处和附近感兴趣区域范围内的点（设个数为N）进行标记，样本训练集X＝{(x₁,y₁),…,(x_N,y_N)|y_i∈{-1,+1}}，将运动目标区域作为正样本，其像素点标记为1；其它区域作为负样本，像素点标记为-1，以此为基础进行弱分类器初始化过程如下：

(1)、初始化样本点集，权w₁＝w₂＝…＝w_N＝1/N；

(2)、对于T个弱分类器，根据t＝1，2，…，T对以下步骤循环：

a、求出每个像素点的LOH和RGB的N×(K+3)维特征矩阵F，其中K为LOH特征维数；

b、将特征矩阵代入弱分类器h_t(x)中进行训练，弱分类器h_t(x)用最小二乘法的方式训练得到；

c、计算错误率 $\mathrm{err}={\mathrm{\Σ}}_{i=1}^N{w}_i|h_t\left(x_i\right)-y_i|;$

d、按照错误率计算弱分类器权重

e、更新样本点权值 $w_i=w_i\·e^{\left({\mathrm{\α}}_t\right|h_t\left(x_i\right)-y_i)};$

(3)、求得强分类器 $H\left(x\right)=\mathrm{sign}({\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t\·h_t\left(x\right)).$

由跟踪初始化步骤中假设样本点个数为N，求得LOH和RGB的结合特征矩阵F：

$F=\left[\begin{array}{ccc}{a}_{11}& ...& a_{1M}\\ .& & .\\ .& & .\\ .& & .\\ a_{N1}& ...& a_{\mathrm{NM}}\end{array}\right]---\left(8\right)$

本发明算法弱分类器个数M＝K+3，用最小二乘法的方式训练得到线性弱分类器ht(x)，然后进行样本点权值

更新，进行下一个弱分类器训练。如此循环M次，即可完成弱分类器组的初始化。

2.2生成置信图

根据特征矩阵和弱分类器运算得到置信图，用P(x|I)表示图像中的像素x属于目标像素的概率值，表达式如下：

$P\left(x\right|I)=\∫P\left(x\right|C)P\left(C\right|I)\mathrm{dL}\≈\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i}P\left(x\right|C_i)$

$P\left(x\right|I)\≈F\·\mathrm{WCs}\·\mathrm{\α}=\left[\begin{array}{ccc}{a}_{11}& ...& a_{1M}\\ .& & .\\ .& & .\\ .& & .\\ a_{N1}& ...& a_{\mathrm{NM}}\end{array}\right]\·\left[\begin{array}{ccc}{h}_{11}& ...& h_{T1}\\ .& & .\\ .& & .\\ .& & .\\ h_{1M}& ...& h_{\mathrm{TM}}\end{array}\right]\·\left[\begin{array}{c}{\mathrm{\α}}_1\\ .\\ .\\ .\\ {\mathrm{\α}}_T\end{array}\right]$

$=\left[\begin{array}{ccc}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_{1i}{h}_{1i}& ...& \underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_{1i}{h}_{\mathrm{Ti}}\\ .& & .\\ .& & .\\ .& & .\\ \underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_{\mathrm{Ni}}{h}_{1i}& ...& \underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_{\mathrm{Ni}}{h}_{\mathrm{Ti}}\end{array}\right]\·\left[\begin{array}{c}{\mathrm{\α}}_1\\ .\\ .\\ .\\ {\mathrm{\α}}_T\end{array}\right]=\left[\begin{array}{c}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{T}{\mathrm{\Σ}}}{a}_{1i}{h}_{\mathrm{ji}}{\mathrm{\α}}_j\\ .\\ .\\ .\\ \underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{T}{\mathrm{\Σ}}}{a}_{\mathrm{Ni}}{h}_{\mathrm{ji}}{\mathrm{\α}}_j\end{array}\right]$

上式中，I为输入图像，N表示置信图的数目，w_i＝P(C_i|I)，

P(x|C_i)≈F·WCs，所有弱分类器组成M×T维矩阵设为WCs＝[h₁,h₂,…,h_T]^T  第i个弱分类器的表示为h_i＝[h_i1,h_i2,…h_iM]^T，其中M(K+3)为特征维数。最后得到一个N维列向量，将其按照区域的长宽变换成矩阵。其中包含着非目标区域和目标区域，非目标区域接近于0，根据置信图概率分布就可反映出目标的位置。

3．置信图上应用Camshift算法

CamShift算法，核心是MeanShift算法，算法主要包括：

(1)、直方图背投影；

(2)、MeanShift算法处理；

(3)、CamShift搜索处理。

3.1直方图背投影

又称为直方图反向投影，这种方法不再使用原始的像素值，而是采用颜色直方图中求得的统计值，经重新量化后得到目标颜色概率分布图。然后用所得的目标颜色概率分布图表示目标模型与候选模型，进行MeanShift运算。

3.2MeanShift算法

MeanShift算法是一种不断迭代的过程，在满足一定条件下，MeanShift算法会收敛到数据空间中密度的最大点，此时它的估计密度梯度为零。而基于MeanShift的目标跟踪算法，首先是计算初始帧中目标模型区域内每个像素点特征值的概率，然后用同样的方法计算在下一帧图像可能存在目标的候选区域的候选模型。目标模型的计算典型方法为选取颜色直方图法，对目标区域进行直方图统计，目标模型的特征值u＝1,...,m的概率为

候选目标区域的概率为然后计算两个模型的相似性，一般选取Bhattacharyya系数。多次迭代后，可以找到相似性度量函数的最大值处，即当前帧中目标所在的位置，从而确定目标。

3.3CamShift搜索处理

搜索窗口大小可以变化，原理是由窗口的重心、长轴和短轴决定的。搜索窗的零阶矩：

$M_{00}^i=\underset{x_i}{\mathrm{\Σ}}\underset{y_i}{\mathrm{\Σ}}I(x_i,y_i)$

式中，I(x_i,y_i)是图像的坐标(x_i,y_i)处像素值，x和y方向的一阶矩计算公式如下

$M_{10}^i=\underset{x_i}{\mathrm{\Σ}}\underset{y_i}{\mathrm{\Σ}}{x}_{i}I(x_i,y_i)M_{01}^i=\underset{x_i}{\mathrm{\Σ}}\underset{y_i}{\mathrm{\Σ}}{y}_{i}I(x_i,y_i)$

式中，I(x_i,y_i)是图像的坐标(x_i,y_i)处像素值，i＝1,2，…N代表样本点的索引。根据零阶矩和一阶矩即可得到目标重心(x_ic,y_ic)公式：

$x_{\mathrm{ic}}=\frac{M_{10}^i}{M_{00}^i};$ $y_{\mathrm{ic}}=\frac{M_{01}^i}{M_{00}^i}$

搜索窗口的二阶矩计算公式如下：

$M_{11}^i=\underset{x_i}{\mathrm{\Σ}}\underset{y_i}{\mathrm{\Σ}}{x}_i{y}_{i}I\left(x_i{y}_i\right),$ $M_{10}^i=\underset{x_i}{\mathrm{\Σ}}\underset{y_i}{\mathrm{\Σ}}{x}_i^{2}I\left(x_i{y}_i\right),$ $M_{02}^i=\underset{x_i}{\mathrm{\Σ}}\underset{y_i}{\mathrm{\Σ}}{y}_i^{2}I\left(x_i{y}_i\right)$

根据重心和二阶矩即可算得目标的长轴和短轴计算公式如下：

$l_i=\sqrt{\frac{(a_i+c_i)+\sqrt{b_i^2+{(a_i-c_i)}^2}}{2}},$ $w_i=\sqrt{\frac{(a_i+c_i)-\sqrt{b_i^2+{(a_i-c_i)}^2}}{2}}$

上式即可控制搜索窗大小改变，能够适应跟踪目标由远至近或角度变化等引起目标的窗口变化问题。其中 $a_i=\frac{M_{20}^i}{M_{00}^i}-{x_{\mathrm{ic}}}^2,$ $b_i=\frac{M_{11}^i}{M_{00}^i}-x_{\mathrm{ic}}{y}_{\mathrm{ic}},$ $c_i=\frac{M_{02}^i}{M_{00}^i}-{y_{\mathrm{ic}}}^2.$

3.4弱分类器的更新

在置信图C上应用CamShift算法，得到新目标位置矩形框，更新弱分类器权值和样本权值过程如下：

(1)、针对新矩形框位置对感兴趣区域范围内的点进行标记，矩形框内部的点标记为1，外部的点为背景负样本标记为-1；

(2)、去除原有的弱分类器组{h₁，h₂,…,h_T}中错误率较大的k（本专利k=1）个弱分类器，对区域范围内所有样本点赋予一个初始化权值

对剩下的T-k个弱分类器：

a、计算错误率，从剩余的弱分类器中选取最小错误率的h_t；

b、根据新的特征更新其权值α_t和点的权集

c、将h_t选入新的分类器组中，对剩下的分类器从a步骤进行循环；

(3)、加入k个新分类器，针对t＝1,2,…k循环：

a、针对区域范围样本点选定弱分类器h_t；

b、计算错误率err和权值α_t；

c、更新样本点权值

(4)、根据训练好的T个弱分类器求得强分类器H(x)。

4.实验结果与分析

实验选取中科院视频库中较复杂的两种场景三段视频进行运动目标检测跟踪。选取的三段视频分别有510帧、575帧、250帧，分辨率均为320×240。在较复杂场景下，验证本专利方法对短时间内发生较大形变的、发生遮挡甚至是大面积遮挡的、与背景及其他运动目标颜色相近、快速变化且有加速度的运动目标的跟踪能力。实验中在准确检测到运动目标开始逐帧保存图片,每个实验选择了八个关键帧图片，为了清晰表达运动目标跟踪的过程，本发明将表示操作区域的外部框去除，只留下了标识目标位置的矩形框。在线Adaboost算法弱分类器个数K=8，k=1，T=11，所有实验的测试平台均为英特尔（奔腾）双核3.17GHz的CPU、2GB内存、Windows XP操作系统。测试代码均用C++和opencv实现，在VS2008上编译运行。

4.1有效性分析

图2中，第1帧～第27帧，跟踪目标迅速跑向被迫坏物体（图2（a））；第28帧～第67帧，跟踪目标下半身形态发生较大变化（图2（b）、(c)）；第68帧～第147帧，跟踪目标上半部分形态发生较大变化(图2（d）、（e）；第148帧～第278帧，跟踪目标四肢和身体重心变化导致形态发生较大变化（图2(f)）；第279帧以后，跟踪目标离开，并且经过与本身颜色相近的背景(图2(g)、（h）)。由于在每次成功定位目标后，本发明算法都更新已有弱分类器的权值，因而提高了强分类器对目标特征变化的适应能力。这个实验表明了本发明算法对短时间内发生较大形变的运动目标的跟踪能力。

图3和图4分别为在线Adaboost算法和本发明算法的跟踪结果。第1帧～第81帧，跟踪目标正常行走，没有受到其他运动目标干扰；第82帧～第228帧，干扰目标大部分进入跟踪目标的矩形框内（图3（a）），使得在线Adaboost算法更新的特征矩阵包含了干扰目标的特征信息，造成95帧～193帧跟踪目标丢失（图3（b））；第229帧～第250帧，干扰目标逐渐遮挡跟踪目标，直到遮挡面积超过跟踪目标的2/3，虽然又重新跟踪上，跟踪的矩形框包含了大面积的干扰目标（图3（c）、(d)、(e)、(f)）；第251帧～第293帧，运动目标逐渐走出另一运动目标的遮挡，跟踪目标再次丢失(图(g))；第294帧以后运动目标逐渐摆脱干扰目标，匀速跑出监控区域（图3（h））。

由于本发明算法加入了CamShift算法，使得跟踪矩形框大小随着跟踪目标的特征变化，对运动目标位置的搜索更为准确（图4（a）、(b)、(c)、(d)、(e)、(f)、(g)、(h)）。实验结果显示，本发明算法对有其他运动目标遮挡，甚至是较大面积遮挡的情况仍然适用。

图5和图6分别为CamShift算法和本发明算法对场景中存在颜色干扰的目标跟踪结果。第1帧～第67帧，跟踪目标跟随干扰目标（图5（a）），跟踪目标经过跟自身颜色相近的车体和树叶背景时，跟踪失败（图5（b）、(c)、(d)、(e)、(f)、(g)、(h)）。

由于本发明算法特征选择融入了纹理特征(LOH)，使得本发明算法对与跟踪目标颜色相近的干扰有很好的鲁棒性（图6（a）、(c)、(d)、(e)、(f)、(g)）。第52帧～第84帧，跟踪目标快速且有加速度的追赶上干扰目标(图6（b）、(c)、(d)、(e))；第81帧～第89帧，被跟踪运动目标与另一运动目标并行（图6（g））；第90帧以后被跟踪运动目标逐渐超过另一运动目标（图6（h））。这个实验还表明了本发明算法对于快速运动且有加速的运动目标仍有很精确地跟踪能力。

4.2实时性分析

将本发明算法与传统的CamShift算法、融合了LOH和RGB特征的在线Adaboost算法处理速度进行对比，实验结果如图7所示。中的数据是通过对三种算法在四段视频序列上进行多次测试后得到的结果。从结果可以看出，本发明算法的实时性虽然不如其他两种算法，但是在复杂场景中，跟踪效果优于其他两种算法。本发明算法的处理速度为13～16fps，已经能够满足大多数监控系统对实时性的要求，随着计算机运算速度的提高，本方法有更好的应用前景。

Claims (5)

1.一种运动目标跟踪方法，其特征在于包括以下步骤：第一步，基于码本模型的快速运动目标检测方法准确检测到运动目标；第二步，对在线Adaboost算法弱分类器组初始化，得到强分类器，运动目标特征的选取融合了局部方向直方图特征与颜色特征；第三步，将在线Adaboost跟踪算法的特征矩阵和弱分类器运算得到置信图，在置信图上应用CamShift跟踪算法，根据得到的运动目标位置更新弱分类器，最后得到整段视频序列的跟踪结果。

2.根据权利要求1所述的运动目标跟踪方法，其特征是：所述的弱分类器组初始化，根据跟踪起始帧的运动目标跟踪区域选择本发明方法的执行区域；根据检测结果，对运动目标处和附近感兴趣区域范围内的N个点进行标记，样本训练X＝{(x₁,y₁),…,(x_N,y_N)|y_i∈{-1,+1}}，将运动目标区域作为正样本，其像素点标记为1；其它区域作为负样本，像素点标记为-1，以此为基础进行弱分类器初始化过程如下：

(1)、初始化样本点集，权w₁＝w₂＝…＝w_N＝1/N；

(2)、对于T个弱分类器，根据t＝1，2，…，T对以下步骤循环：

a、求出每个像素点的LOH和RGB的N×(K+3)维特征矩阵F，其中K为LOH特征维数；

b、将特征矩阵F代入弱分类器h_t(x)中进行训练，弱分类器h_t(x)用最小二乘法的方式训练得到；

c、计算错误率

d、按照错误率计算弱分类器权重

e、更新样本点权值 $w_i=w_i\·e^{\left({\mathrm{\α}}_t\right|h_t\left(x_i\right)-y_i\left|\right)};$

(3)、求得强分类器

以上过程中，i＝1,2，…N代表样本点的索引。

3.根据权利要求1所述的运动目标跟踪方法，其特征是：所述的运动目标特征的选取融合了适合场景中行人跟踪的局部方向直方图特征与颜色特征，对目标区域及附近感兴趣区域范围内所有灰度化像素点运算得到K维LOH特征E_K(R)计算公式如下：

$E_K\left(R\right)=\underset{(x,y)\∈R}{\mathrm{\Σ}}{\mathrm{\ψ}}_K(x,y)$

式中，像素点(x,y)为图像I中一个像素点，R表示处理区域，ψ_K(x,y)表示点(x,y)处的LOH特征，将R、G、B三个颜色通道的值加入特征向量中，这样每个像素点有K+3维特征。

4.根据权利要求1所述的运动目标跟踪方法，其特征是：所述的特征矩阵和弱分类器运算得到的置信图，用P(x|I)表示图像中的像素点属于目标像素的概率值，公式如下：

$P\left(x\right|I)=\∫P\left(x\right|C)P\left(C\right|I)\mathrm{dL}\≈\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i}P\left(x\right|C_i)$

$P\left(x\right|I)\≈F\·\mathrm{WCs}\·\mathrm{\α}=\left[\begin{array}{ccc}{a}_{11}& ...& a_{1M}\\ .& & .\\ .& & .\\ .& & .\\ a_{N1}& ...& a_{\mathrm{NM}}\end{array}\right]\·\left[\begin{array}{ccc}{h}_{11}& ...& h_{T!}\\ .& & .\\ .& & .\\ .& & .\\ h_{1M}& ...& h_{\mathrm{TM}}\end{array}\right]\·\left[\begin{array}{c}{\mathrm{\α}}_1\\ .\\ .\\ .\\ {\mathrm{\α}}_T\end{array}\right]$

$=\left[\begin{array}{ccc}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_{1i}{h}_{1i}& ...& \underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_{1i}{h}_{\mathrm{Ti}}\\ .& & .\\ .& & .\\ .& & .\\ \underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_{\mathrm{Ni}}{h}_{1i}& ...& \underset{i=1}{\overset{M}{\mathrm{\Σ}}}{a}_{\mathrm{Ni}}{h}_{\mathrm{Ti}}\end{array}\right]\·\left[\begin{array}{c}{\mathrm{\α}}_1\\ .\\ .\\ .\\ {\mathrm{\α}}_T\end{array}\right..=\begin{array}{}\left[\begin{array}{c}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{T}{\mathrm{\Σ}}}{a}_{1i}{h}_{\mathrm{ji}}{\mathrm{\α}}_j\\ .\\ .\\ .\\ \underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{T}{\mathrm{\Σ}}}{a}_{\mathrm{Ni}}{h}_{\mathrm{ji}}{\mathrm{\α}}_j\end{array}\right]\end{array}$

式中，I为输入图像，N表示置信图的数目，w_i＝P(C_i|I)，

P(x|C_i)≈F.WCs，所有弱分类器组成M×T维矩阵设为WCs＝[h₁,h₂,…,h_T]^T， 第i个弱分类器的表示为h_t＝[h_i1,h_i2,…h_iM]^T，其中M（K+3）为特征维数，最后得到一个N维列向量，将其按照区域的长宽变换成矩阵，其中包含着非目标区域和目标区域，非目标区域接近于0，根据置信图概率分布就可反映出目标的位置。

5.根据权利要求1所述的一种运动目标跟踪方法，其特征是：所述的更新弱分类器，根据在置信图C上应用CamShift算法，得到新目标位置矩形框，更新弱分类器权值和样本权值过程如下：

(1)、针对新矩形框位置对感兴趣区域范围内的点进行标记，矩形框内部的点标记为1，外部的点为背景负样本标记为-1；

(2)、去除原有的弱分类器组{h₁,h₂,…h_T}中错误率较大的k（本专利k=1）个弱分类器，对区域范围内所有样本点赋予一个初始化权值

对剩下的T-k个弱分类器：

a、计算错误率，从剩余的弱分类器中选取最小错误率的h_t；

b、根据新的特征更新其权值α_t和点的权集

c、将h_t选入新的分类器组中，对剩下的分类器从a步骤进行循环；

(3)、加入k个新分类器，针对t＝1,2,…k循环：

a、针对区域范围样本点选定弱分类器h_t；

b、计算错误率err和权值α_t；

c、更新样本点权值

(4)、根据训练好的T个弱分类器求得强分类器H(x)。

Images