CN104517300A - 基于颜色统计特征的视觉判别跟踪方法 - Google Patents
基于颜色统计特征的视觉判别跟踪方法 Download PDFInfo
- Publication number
- CN104517300A CN104517300A CN201410809494.8A CN201410809494A CN104517300A CN 104517300 A CN104517300 A CN 104517300A CN 201410809494 A CN201410809494 A CN 201410809494A CN 104517300 A CN104517300 A CN 104517300A
- Authority
- CN
- China
- Prior art keywords
- sigma
- eta
- color statistical
- tracking
- statistical feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于颜色统计特征的视觉判别跟踪方法,其步骤依次为标记初始目标、抽取正负样本、抽取颜色统计特征、对正负样本的特征向量进行PCA降维、抽取候选粒子、构建分类器、判别最佳粒子和更新分类器。本发明通过联合使用颜色统计特征和目标的仿射变换构建目标的外观模型,使跟踪器在目标发生遮挡,面内外旋转,尺度变化,运动模糊,光照变化等复杂情况下,依然可以准确地跟踪目标。
Description
技术领域
本发明属于图像处理技术领域,特别涉及了基于颜色统计特征的视觉判别跟踪方法。
背景技术
目标跟踪在计算机视觉的许多应用中都占据非常重要的地位,如自动监测、视频检索、交通监控和人机交互等。尽管研究者们在过去几十年里提出很多算法,但要构建一个简单且鲁棒的跟踪系统用来处理因突然运动、光照变化、形状变形和遮挡等引起的外观变化,依然具有很大的挑战。
大部分先进的追踪器依赖目标灰度或纹理信息。虽然颜色信息在视觉跟踪上得到了重大进展,但仅限在了简单的颜色空间转换上。相比于视觉跟踪,复杂的颜色统计特征在目标识别和检测方面显示了更好的性能。将颜色信息用于视觉跟踪是一个困难的挑战。由于光源、阴影、高光、相机和目标形状的变化,一个图像序列的颜色测量会有很大的变化。通过对彩色成像中这些因素的鲁棒性研究,颜色统计特征已成功应用于图像分类和行动识别。
一般来说,跟踪算法可以分成两类:生成和判别模型。生成算法通常学习一个外观模型,并用它来搜索图像,将重构误差最小的区域作为跟踪结果。而判别方法旨在将目标从背景中区分出来,它将跟踪转换成一个二进制分类问题。北京工业大学提出的专利申请“基于改进多示例学习算法的运动目标跟踪方法”(专利申请号:201310276316.9,公开号:CN 103325125 A)公开了一种基于改进的多示例学习算法的目标跟踪方法。该方法根据压缩感知理论设计随机测量矩阵,利用多示例学习算法在当前跟踪结果小领域内采样示例构成正包,同时在其大邻域圆环内采样示例构成负包;对每个示例,在图像平面提取表征目标的特征,并利用随机感知矩阵对其降维。根据提取的示例特征在线学习弱分类器,并在弱分类器池中选择判别能力较强的弱分类器构成强分类器,当跟踪到新的目标位置时,利用当前跟踪结果与目标模板的相似性分数在线自适应调整分类器更新程度参数。该方法采用的是Haar特征,Haar特征对边缘信息比较敏感,当目标变形或与背景相似时,容易造成跟踪失败。Martin等人研究了在基于检测的跟踪框架下颜色的贡献,提出颜色统计特征在视觉跟踪中提供了优越的性能。该方法跟踪速度很快,能进行实时跟踪,跟踪精度也较高,但当目标尺寸变化较大时,跟踪器不能很好地处理。
发明内容
为了解决上述背景技术提出的技术问题,本发明旨在提供基于颜色统计特征的视觉判别跟踪方法,使跟踪器在目标发生遮挡,面内外旋转,尺度变化,运动模糊,光照变化等复杂情况下,依然可以准确地跟踪目标。
为了实现上述技术目的,本发明的技术方案为:
基于颜色统计特征的视觉判别跟踪方法,包括以下步骤:
(1)在第一帧图像上标记出初始的跟踪目标;
(2)设It(x)表示第t帧中目标抽样值x的位置,It(x*)为真实目标的位置,以真实目标的位置为中心,在搜索半径为α的区域Xα={x|||It+1(x)-It+1(x*)||<α}中随机抽取一些块,将这些块标注为正样本,接着从区域Xζ,β={x|ζ<||It+1(x)-It+1(x*)||<β}中随机抽取另一些块,将这些快标注为负样本;其中α<ζ<β,正样本与负样本的数量相等;
(3)分别对每个正、负样本抽取颜色统计特征,则每个样本的特征向量表示为F(x)=(f1(x),...,fL(x));其中,颜色统计特征fl(x)=(x1,x2,...,xp),l=1,...,L,表示每个颜色统计特征有p维,L是颜色统计特征的数量;
(4)对每个样本的特征向量F(x)进行PCA降维;
(5)对新一帧图像,在上一帧跟踪目标的位置周围进行高斯采样,选取目标的运动仿射参数作为目标的状态变量抽取候选粒子,并对抽取的候选粒子依此按照前述步骤(3)和步骤(4)的方法,抽取候选粒子的颜色统计特征并进行PCA降维;其中,xt、yt、θt、st、λt、φt分别表示目标在第t帧的x坐标、y坐标、旋转角度、尺度变化、宽高比、倾斜度;
(6)构建弱分类器φl(x),并级联为强分类器hL(x):
其中,y∈{0,1}是二元变量用以标注抽样值的正、负样本,P(y=1)、P(y=0)分别表示正、负样本的概率,且P(y=1)=P(y=0),p(fl(x)|y=1)、p(fl(x)|y=0)分别表示颜色统计特征在正、负样本条件下的概率分布;
(7)选取置信函数c(x),将具有置信函数值最大的候选粒子,即x*=arg maxx(c(x))作为跟踪结果;其中,样本x用特征向量F(x)=(f1(x),...,fL(x))表示;
(8)更新分类器hL(x);
(9)利用评价准则评价跟踪的性能。
步骤(1)中采用手动标记或者目标检测方法来标记初始跟踪目标。
步骤(4)中特征向量进行PCA降维后的维数q采用下式确定:
其中,λi、λj分别表示特征向量第i、j个特征值。
步骤(7)中置信函数为c(x)=σ(hL(x));其中,函数σ(z)=(1/1+e-z)。
步骤(6)中的条件分布p(fl(x)|y=1)和p(fl(x)|y=0)服从高斯分布,即
其中,为高斯分布的参数。
在步骤(8)中,通过更新来更新分类器hL(x):
其中,η是用于更新的学习率, i、j分别表示正、负样本的序号,N为正、负样本的数量。
采用上述技术方案带来的有益效果:
本发明通过联合使用颜色统计特征和目标的仿射变换构建目标的外观模型,提出了一种简单但鲁棒的判别式视觉跟踪方法。采用颜色统计特征,不但能有效地具有一定程度的光度不变性,同时也能维持较高的判别能力。仿射变换的使用,能够有效处理由于尺度变换或者视角变换带来的挑战。由于跟踪器的计算时间与特征维数有很大关联,为了进一步达到实时性的目的,采用了PCA降维方式,既降低了特征维数,又保留了特征的主要信息。用不同的颜色统计特征训练朴素贝叶斯分类器,并在线更新,选择置信值最大的候选粒子作为跟踪结果。本发明提出的基于颜色统计特征的判别式视觉跟踪方法,在提高算法精度的同时,很大程度地简化了计算的复杂性。综上所述,本发明在目标发生遮挡,面内外旋转,尺度变化,运动模糊,光照变化等复杂情况下,依然可以准确地跟踪目标。
附图说明
图1是本发明的基本示意图;
图2是本发明的流程图;
图3是本发明中抽取正负样本示意图;
图4是本发明中抽取候选粒子示意图;
图5是本发明与其他7种跟踪器的中心误差图;
图6是本发明与其他10种跟踪器的精度图;
图7是本发明与其他10种跟踪器的成功率图。
具体实施方式
以下将结合附图,对本发明的技术方案进行详细说明。
如图1所示本发明的基本示意图和图2所示本发明的流程图,基于颜色统计特征的视觉判别跟踪方法,包括以下步骤:
(1)在第一帧通过手动标记或者目标检测的方法,标记出初始的目标框。
(2)抽取正负样本:如图3所示,设It(x)∈R2(二维空间)表示第t帧中目标抽样值x的位置,It(x*)为真实目标的位置,以真实目标位置为中心,在搜索半径为α的区域Xα={x|||It+1(x)-It+1(x*)||<α}中随机抽取一些块,将这些块标注为正样本;接着从区域Xζ,β={x|ζ<||It+1(x)-It+1(x*)||<β}中随机抽取另一些块,并将它们标注为负样本。其中,其中α<ζ<β,正样本与负样本的数量相等。在本实施例中,α=4,ζ=[2α]=8,β=38。将所有样本的尺寸归一化为32×32。
(3)分别对每个正、负样本抽取颜色统计特征,每个样本的特征向量表示为F(x)=(f1(x),...,fL(x)),其中,L是颜色统计特征的数量,fl(x)=(x1,x2,...,xp),l=1,...,L,表示每个颜色统计特征有p维。在本实施例中,颜色统计特征数量L为11,每个颜色统计特征维数p是1024。
(4)对每个特征向量进行PCA降维,为了确定每个颜色统计特征降维之后的维数q,根据前q个主成分的累积方差贡献率为准则:
根据式(1)确定主成分的个数q。亦即,如果前q个主成分的累积方差贡献率超过99%,我们就用前q个主成分(y1,y2,...,yq)(q<p)的变化来刻划每个特征向量(x1,x2,...,xp)的变化。λi、λj分别表示特征向量第i、j个特征值。在本实施例中,我们将每个颜色统计特征的维数降为5,即q=5。
(5)在新的一帧图像到来时,需要抽取候选粒子。设每帧抽取600个粒子,每帧抽取的粒子数量可以根据情况进行调整。如图4所示,在上一帧跟踪目标位置周围进行高斯采样,选取目标的运动仿射参数作为目标的状态变量,表示为其中xt、yt、θt、st、λt、φt分别表示目标在第t帧x坐标、y坐标、旋转角度、尺度变化、宽高比、倾斜度。St中的每个参数都服从独立高斯分布,表示为p(St|St-1)=N(St;St-1,Σ),其中Σ是一个对角协方差矩阵,对角元素是运动仿射参数的方差对抽取的候选粒子尺寸归一化为32×32,并依此按照前述步骤(3)和(4)的方法抽取候选粒子的颜色统计特征并进行PCA降维。
(6)构建弱分类器并级联为强分类器。分类器hL(x)可用朴素贝叶斯分类器建模如下:
式(2)中,y∈{0,1}是二元变量用以标注抽样值的正、负样本,P(y=1)、P(y=0)分别表示正、负样本的概率,且P(y=1)=P(y=0),p(fl(x)|=1)、p(fl(x)|y=0)分别表示颜色统计特征在正、负样本条件下的概率分布。
(7)为了判别最佳粒子,通过置信函数c(x)=P(y=1|x)=σ(hL(x))来估计后验概率密度,其中样本x用特征向量F(x)=(f1(x),...,f11(x))表示,σ(·)是sigmoid函数,即σ(z)=(1/1+e-z),将具有置信函数值最大的候选粒子,即
x*=argmaxx(c(x))作为跟踪结果。
(8)更新分类器。我们用颜色统计特征集fl(l=1,...,11)表示样本,假设分类器hL(x)中的条件分布p(fl(x)|y=1)和p(fl(x)|y=0)服从高斯分布,即
其中,为高斯分布的参数。
通过更新来更新分类器hL(x):
其中,η是用于更新的学习率, i、j分别表示正、负样本的序号,N为正、负样本的数量。
(9)评价跟踪器性能。本发明采用三种评价准则评估跟踪器的性能:中心误差(center error CE)、精度图(precision plots)和成功率图(success plots)。中心误差是计算估计目标的中心位置和真实位置之间的平均欧氏距离。在精度图中,精度是通过超过一系列阈值绘制的,追踪器是通过在20像素时的精度值来分等级的。成功率图包含超过一系列阈值的重叠精度(overlap precision OP)。OP是通过超出阈值t的边界框重叠部分的帧数百分比来定义的,t∈[0,1],追踪器是利用曲线下的面积(area under the curve AUC)来分等级的。
通过上述三种评价准则,选取30个视频序列验证本实施例提供的目标跟踪方法,这些视频序列含有不同的挑战因素,如遮挡、尺寸变化、光照变化、面内外旋转以及快速运动等,并与现有的29种跟踪方式进行了比较,包括Struck,IVT,MIL,TLD和VTD等。图5为本发明和其他7种跟踪器的中心误差图,图6和图7分别为本发明和其他10种跟踪器的精度图和成功率图,图中ours表示本发明的跟踪目标方法,从图中可以看出,本发明提供的目标跟踪方法与已有的算法相比,精度有了明显的提高,跟踪结果更为稳定。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。
Claims (6)
1.基于颜色统计特征的视觉判别跟踪方法,其特征在于,包括以下步骤:
(1)在第一帧图像上标记出初始的跟踪目标;
(2)设It(x)表示第t帧中目标抽样值x的位置,It(x*)为真实目标的位置,以真实目标的位置为中心,在搜索半径为α的区域Xα={x|||t+1(x)-It+1(x*)||<α}中随机抽取一些块,将这些块标注为正样本,接着从区域Xζ,β={x|ζ<||It+1(x)-It+1(x*)||<β}中随机抽取另一些块,将这些快标注为负样本;其中α<ζ<β,正样本与负样本的数量相等;
(3)分别对每个正、负样本抽取颜色统计特征,则每个样本的特征向量表示为F(x)=(f1(x),…,fL(x));其中,颜色统计特征fl(x)=(x1,x2,…,xp),l=1,…,L,表示每个颜色统计特征有p维,L是颜色统计特征的数量;
(4)对每个样本的特征向量F(x)进行PCA降维;
(5)对新一帧图像,在上一帧跟踪目标的位置周围进行高斯采样,选取目标的运动仿射参数作为目标的状态变量抽取候选粒子,并对抽取的候选粒子依此按照前述步骤(3)和步骤(4)的方法,抽取候选粒子的颜色统计特征并进行PCA降维;其中,xt、yt、θt、st、λt、φt分别表示目标在第t帧的x坐标、y坐标、旋转角度、尺度变化、宽高比、倾斜度;
(6)构建弱分类器φl(x),并级联为强分类器hL(x):
其中,y∈{0,1}是二元变量用以标注抽样值的正、负样本,P(y=1)、P(y=0)分别表示正、负样本的概率,且P(y=1)=P(y=0),p(fl(x)|y=1)、p(fl(x)|y=0)分别表示颜色统计特征在正、负样本条件下的概率分布;
(7)选取置信函数c(x),将具有置信函数值最大的候选粒子,即x*=argmaxx(c(x))作为跟踪结果;其中,样本x用特征向量F(x)=(f1(x),…,fL(x))表示;
(8)更新分类器hL(x);
(9)利用评价准则评价跟踪的性能。
2.根据权利要求1所述基于颜色统计特征的视觉判别跟踪方法,其特征在于:步骤(1)中采用手动标记或者目标检测方法来标记初始跟踪目标。
3.根据权利要求1所述基于颜色统计特征的视觉判别跟踪方法,其特征在于:步骤(4)中特征向量进行PCA降维后的维数q采用下式确定:
其中,λi、λj分别表示特征向量第i、j个特征值。
4.根据权利要求1所述基于颜色统计特征的视觉判别跟踪方法,其特征在于:步骤(7)中置信函数为c(x)=σ(hL(x));其中,函数σ(z)=(1/1+e-z)。
5.根据权利要求1所述基于颜色统计特征的视觉判别跟踪方法,其特征在于:步骤(6)中的条件分布p(fl(x)|y=1)和p(fl(x)|y=0)服从高斯分布,即
其中,为高斯分布的参数。
6.根据权利要求5所述基于颜色统计特征的视觉判别跟踪方法,其特征在于:在步骤(8)中,通过更新来更新分类器hL(x):
其中,η是用于更新的学习率, i、j分别表示正、负样本的序号,N为正、负样本的数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410809494.8A CN104517300A (zh) | 2014-12-23 | 2014-12-23 | 基于颜色统计特征的视觉判别跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410809494.8A CN104517300A (zh) | 2014-12-23 | 2014-12-23 | 基于颜色统计特征的视觉判别跟踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104517300A true CN104517300A (zh) | 2015-04-15 |
Family
ID=52792545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410809494.8A Pending CN104517300A (zh) | 2014-12-23 | 2014-12-23 | 基于颜色统计特征的视觉判别跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104517300A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512618A (zh) * | 2015-11-27 | 2016-04-20 | 北京航空航天大学 | 视频跟踪方法 |
CN106683116A (zh) * | 2016-08-31 | 2017-05-17 | 电子科技大学 | 一种基于支持向量机的粒子滤波联合跟踪方法 |
CN106846363A (zh) * | 2016-12-29 | 2017-06-13 | 西安电子科技大学 | 一种改进稀疏矩阵的尺度自适应性压缩跟踪方法 |
CN108665479A (zh) * | 2017-06-08 | 2018-10-16 | 西安电子科技大学 | 基于压缩域多尺度特征tld的红外目标跟踪方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103325125A (zh) * | 2013-07-03 | 2013-09-25 | 北京工业大学 | 基于改进多示例学习算法的运动目标跟踪方法 |
US20140185925A1 (en) * | 2013-01-02 | 2014-07-03 | International Business Machines Corporation | Boosting object detection performance in videos |
-
2014
- 2014-12-23 CN CN201410809494.8A patent/CN104517300A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140185925A1 (en) * | 2013-01-02 | 2014-07-03 | International Business Machines Corporation | Boosting object detection performance in videos |
CN103325125A (zh) * | 2013-07-03 | 2013-09-25 | 北京工业大学 | 基于改进多示例学习算法的运动目标跟踪方法 |
Non-Patent Citations (4)
Title |
---|
BORIS BABENKO 等: "Robust Object Tracking with Online Multiple Instance Learning", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS & MACHINE INTELLIGENCE》 * |
KAIHUA ZHANG 等: "Real-Time Object Tracking via Online Discriminative Feature Selection", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
MARTIN DANELLJAN 等: "Adaptive Color Attributes for Real-Time Visual Tracking", 《COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2014 IEEE CONFERENCE ON》 * |
ZEFENG NI 等: "Particle Filter Tracking With Online Multiple Instance Learning", 《2010 INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512618A (zh) * | 2015-11-27 | 2016-04-20 | 北京航空航天大学 | 视频跟踪方法 |
CN106683116A (zh) * | 2016-08-31 | 2017-05-17 | 电子科技大学 | 一种基于支持向量机的粒子滤波联合跟踪方法 |
CN106683116B (zh) * | 2016-08-31 | 2019-06-21 | 电子科技大学 | 一种基于支持向量机的粒子滤波联合跟踪方法 |
CN106846363A (zh) * | 2016-12-29 | 2017-06-13 | 西安电子科技大学 | 一种改进稀疏矩阵的尺度自适应性压缩跟踪方法 |
CN108665479A (zh) * | 2017-06-08 | 2018-10-16 | 西安电子科技大学 | 基于压缩域多尺度特征tld的红外目标跟踪方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jia et al. | Visual tracking via adaptive structural local sparse appearance model | |
Cai et al. | Robust deformable and occluded object tracking with dynamic graph | |
CN104517104B (zh) | 一种基于监控场景下的人脸识别方法及系统 | |
CN105488809A (zh) | 基于rgbd描述符的室内场景语义分割方法 | |
CN105528794A (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
CN103310194A (zh) | 视频中基于头顶像素点梯度方向的行人头肩部检测方法 | |
CN103413119A (zh) | 基于人脸稀疏描述子的单样本人脸识别方法 | |
CN102332086A (zh) | 一种基于双阈值局部二进制模式的人脸识别方法 | |
Shen et al. | Adaptive pedestrian tracking via patch-based features and spatial–temporal similarity measurement | |
CN103793926A (zh) | 基于样本重选择的目标跟踪方法 | |
CN104616319A (zh) | 基于支持向量机的多特征选择目标跟踪方法 | |
CN105809713A (zh) | 基于在线Fisher判别机制增强特征选择的目标跟踪方法 | |
Chen et al. | Robust vehicle detection and viewpoint estimation with soft discriminative mixture model | |
Sun et al. | Non-rigid object tracking via deformable patches using shape-preserved KCF and level sets | |
CN103020614A (zh) | 基于时空兴趣点检测的人体运动识别方法 | |
CN104517300A (zh) | 基于颜色统计特征的视觉判别跟踪方法 | |
CN104200226B (zh) | 基于机器学习的粒子滤波目标跟踪方法 | |
Xu et al. | Semantic feature extraction for accurate eye corner detection | |
CN104050451A (zh) | 一种基于多通道Haar-like特征的鲁棒目标跟踪方法 | |
Xu et al. | Efficient eye states detection in real-time for drowsy driving monitoring system | |
Lu et al. | Visual tracking via probabilistic hypergraph ranking | |
Devi et al. | Detection of Road Potholes Using Computer Vision and Machine Learning Approaches to Assist the Visually Challenged. | |
Guo et al. | Multi-scale pedestrian detection by use of adaboost learning algorithm | |
Zhang et al. | Pedestrian intrusion detection based on improved GMM and SVM | |
Hbali et al. | Object detection based on HOG features: Faces and dual-eyes augmented reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150415 |
|
RJ01 | Rejection of invention patent application after publication |