CN104392466A - 一种基于视觉显著原始目标的检测跟踪方法 - Google Patents
一种基于视觉显著原始目标的检测跟踪方法 Download PDFInfo
- Publication number
- CN104392466A CN104392466A CN201410643310.5A CN201410643310A CN104392466A CN 104392466 A CN104392466 A CN 104392466A CN 201410643310 A CN201410643310 A CN 201410643310A CN 104392466 A CN104392466 A CN 104392466A
- Authority
- CN
- China
- Prior art keywords
- sigma
- original object
- vision
- remarkable
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉显著原始目标的检测跟踪方法,其特征在于,包括以下步骤:步骤1、基于视觉显著信息、图像分割和K-means聚类算法检测视觉显著原始目标;步骤2、基于贝叶斯理论和概率统计知识,确定目标和视觉显著原始目标的联合分布,得到跟踪目标模型;步骤3、采用吉布斯抽样算法优化状态估计,基于视觉显著原始目标的空间位置、显著信息以及观测值,抽样近似联合概率,得到目标和视觉显著原始目标的状态序列;步骤4、基于贝叶斯理论的MAP(最大后验概率)算法得到当前帧中目标状态信息。本发明所述方法的目标跟踪抗干扰性能强,目标信息描述稳定,并且鲁棒性强。
Description
技术领域
本发明属于计算机视觉技术领域,涉及一种视频目标跟踪方法,尤其涉及一种基于视觉显著原始目标的检测跟踪方法。
背景技术
目标跟踪是视频分析的核心技术,广泛应用于计算机视觉领域的多个方面,例如,安全监控、视频压缩和机器人视觉系统等。在跟踪过程中,通过目标模型估计目标状态信息。跟踪过程中的各种干扰,如背景干扰、遮挡、目标形状和光照变化等,仍是需要解决的技术难题。特别是对非刚性目标,这些干扰因素可能引起目标模型的变化,导致跟踪方法失效。
为了提高跟踪的鲁棒性,研究人员提出很多不同的方法。基于检测的跟踪方法将目标跟踪看作一个二分类问题,即将目标从前景信息中分离出来。例如:基于模型更新的方法、基于目标增量在线学习的更新方法和在线稀疏主成分分析方法等。这些方法都是以目标模型为基础的,在目标发生较大变化时,可能导致目标漂移,甚至丢失,抗干扰性能差。文献“基于显著判别的目标跟踪”(Saliency-based Discriminant Tracking.IEEE Conference on ComputerVision and Pattern Recognition 2009,pp.1007–1013.),采用基于图像不同区域和背景间的低维特征对比度信息的由下到上的显著图检测方法,其缺点:一是对目标信息的描述不稳定,无法较好的分割目标和背景信息,且需要大量的目标先验知识;二是对目标遮挡的鲁棒性较差,跟踪效果不稳定。
发明内容
本发明的技术目的在于克服上述现有技术的缺陷,提供一种目标跟踪算法抗干扰性能强、目标信息描述稳定、鲁棒性强的基于视觉显著原始目标的检测跟踪方法。
本发明为解决所述技术问题所采用的技术方案是;
一种基于视觉显著原始目标的检测跟踪方法,其特征在于,包括以下步骤:
步骤1、基于视觉显著信息、图像分割和K-means聚类算法检测视觉显著原始目标;
步骤2、基于贝叶斯理论和概率统计知识,确定目标和视觉显著原始目标的联合分布,得到跟踪目标模型;
步骤3、采用吉布斯抽样算法优化状态估计,基于视觉显著原始目标的空间位置、显著信息以及观测值,抽样近似联合概率,得到目标和视觉显著原始目标的状态序列;
步骤4、基于贝叶斯理论的MAP(最大后验概率)算法得到当前帧中目标状态信息。
在所述步骤1中,检测视觉显著原始目标的方法为:
式中:G(·)为二维高斯滤波函数,Ic为尺度大小c的图像,Ph(·)为图像傅里叶变换相位谱。
在所述步骤2中,确定目标和视觉显著原始目标的联合分布、所得到的跟踪目标模型为:
式中:p(xt/yt)表示目标状态与观测值的条件概率分布,p(yt/z1:t)表示视觉显著原始目标状态与观测值的条件概率分布;目标状态与视觉显著原始目标状态的联合概率分布表示为:
所述的目标状态与观测值的条件概率分布为:
式中:为简化计算,假定视觉显著原始目标之间相互独立,基于贝叶斯理论简化视觉显著原始目标位置的后验概率为:
式中:其中分别表示高斯分布的均值和标准差;视觉显著原始目标在t时刻的显著性条件概率表示为:
式中: 表示位置处的归一化视觉显著图。
所述步骤3的具体实现方法为:首先采用基于预测的mean-shift算法初始化当前帧中视觉显著原始目标初始位置检测视觉显著原始目标中心位置的显著图,并归一化然后基于下述条件概率分布依次抽样逼近联合概率分布:
式中:表示除第i个视觉显著原始目标外所有原目标的位置信息,表示除第i个视觉显著原始目标外所有原始目标的显著性信息。
在所述步骤4中,其MAP(最大后验概率)算法表示为:
式中:p(xt,yt/z1:t)为目标和视觉显著原始目标状态的联合分布。
相比现有技术,本发明的方法具有以下优点和技术效果:
1、能够有效克服背景融合干扰,当目标快速运动时能够有效跟踪目标。
2、本方法不依赖目标的先验知识,计算量小,实时性好。
3、本发明对目标部分遮挡、目标形状变化和光照变化具有鲁棒性。
附图说明
图1为本发明的一种基于视觉显著原始目标的检测跟踪方法的流程框图。
具体实施方式
下面结合附图对本发明做进一步说明。
本发明的原理是:引入基于生物视觉系统启发的图像视觉显著原始目标,采用吉布斯抽样算法优化目标状态估计。给定一组视频序列,基于视觉显著图和K-means聚类算法检测图像视觉显著原始目标、视觉显著原始目标的空间位置和显著性信息跟踪目标。基于贝叶斯理论的跟踪算法,联合估计目标和视觉显著原始目标的状态信息。在跟踪过程中,采用吉布斯抽样算法优化状态估计。本方法主要包括视觉显著原始目标检测和基于吉布斯采样优化估计的跟踪,
本发明一种基于视觉显著原始目标的检测跟踪方法,其特征在于,包括以下步骤:
步骤1、基于视觉显著信息、图像分割和K-means聚类算法检测视觉显著原始目标;
步骤2、基于贝叶斯理论和概率统计知识,确定目标和视觉显著原始目标的联合分布,得到跟踪目标模型;
步骤3、采用吉布斯抽样算法优化状态估计,基于视觉显著原始目标的空间位置、显著信息以及观测值,抽样近似联合概率,得到目标和视觉显著原始目标的状态序列;
步骤4、基于贝叶斯理论的MAP(最大后验概率)算法得到当前帧中目标状态信息。
在所述步骤1中,基于视觉显著图、图像分割算法和K-means聚类算法检测视觉显著原始目标。首先,基于目标的低维颜色、强度和方向特征建立视觉显著图。给定图像I,基于不同特征的相位谱信息,采用不同尺度计算视觉显著图,再将不同尺度的显著图相加。具体计算公式为:
式中:G(·)为二维高斯滤波函数,Ic为尺度大小c的图像,Ph(·)为图像傅里叶变换相位谱。
然后,采用不同的阈值过度分割图像,得到一系列区域D=(d1,d2…dM),将每个区域表示为一个文档。采用K-means算法聚类低维图像特征,设定显著区域和非显著区域两个主题词,图像区域被分为显著区域主题或非显著区域主题,每个主题词满足某些特定的分布。采用EM算法通过最大化对数似然函数优化主题分配,具有相同显著区域主题词的图像区域被组合为原目标。为了简化过程,本方法采用矩形区域表示原目标。
在所述步骤2中,确定目标和视觉显著原始目标的联合分布、所得到的跟踪目标模型,以及所述的目标状态与观测值的条件概率分布,其具体过程是:根据贝叶斯理论和概率统计知识,建立目标联合分布模型。给定一组视频序列,xt表示目标状态,yt=(rt,st)表示M个视觉显著原始目标的状态,包含视觉显著原始目标的空间位置信息和视觉显著原始目标的显著性信息表示视觉显著原始目标为显著区域,否则为非显著区域。为t时刻的观测值,为视觉显著原始目标的状态,为t时刻的显著图。给定目标从初始时刻到时刻t的观测值,则目标和视觉显著原始目标状态的联合概率估计为:
式中:p(xt/yt),p(yt/z1:t)分别表示视觉显著原始目标状态与目标状态和观测值与视觉显著原始目标状态的条件概率分布。为逼近该联合分布,需要建立上述条件概率的分布模型。目标与视觉显著原始目标状态的联合概率分布表示为:
目标状态可以由视觉显著原始目标状态估计得到,视觉显著原始目标的状态信息包含空间信息和显著信息。基于人类视觉认知系统,显著性越高的原目标对跟踪器的激励越大,因此在跟踪过程中,显著性原目标的影响较大。根据显著性视觉显著原始目标的空间位置信息加权估计得到目标位置的条件概率分布为:
上述条件概率描述了目标的可能位置与第i个视觉显著原始目标位置的关系。根据先前帧的学习经验可知,该分布满足高斯分布: 表示第i个视觉显著原始目标中心位置与目标中心位置距离的均值,为标准差。
由上式可知,目标的位置只与显著性视觉显著原始目标有关。为简化过程,假定视觉显著原始目标之间相互独立,基于贝叶斯理论简化视觉显著原始目标位置的后验概率为:
由上式可知视觉显著原始目标位置的后验概率分布可根据贝叶斯滤波原理迭代估计得到,因此每个视觉显著原始目标在t时刻的后验概率满足高斯分布,即:其中分别表示高斯分布的均值和标准差。视觉显著原始目标在t时刻的显著性条件概率表示为:
式中: 表示位置处的归一化视觉显著图。
所述步骤3:首先采用基于预测的mean-shift算法初始化当前帧中视觉显著原始目标初始位置检测视觉显著原始目标中心位置的显著图,并归一化然后基于下述条件概率分布依次抽样逼近联合概率分布。
步骤3的具体过程是:基于目标状态、视觉显著原始目标和目标观测值的条件分布,抽样近似联合概率分布,得到状态序列(xt,rt,st)。在目标跟踪过程中,基于抽样算法优化目标和视觉显著原始目标的状态。由于基于联合概率分布抽样比较困难,本方法采用吉布斯抽样算法反复抽样xt,rt,st。吉布斯抽样算法是一类典型的MCMC算法,通过反复计算变量的条件概率来逼近未知的联合概率。采用当前帧状态初始化变量,通过从其他变量的条件分布反复抽样推断变量。虽然吉布斯抽样算法可以采用随机初始化变量,但是为了取得更好的收敛速率,本发明采用mean-shift算法初始化视觉显著原始目标位置信息和该位置处的视觉显著图目标的状态xt可以从视觉显著原始目标估计状态和观测值的条件分布抽样得到,该条件分布为:
视觉显著原始目标位置信息rt,可以由目标估计状态和估计显著信息的条件分布抽样得到。该条件分布为:
式中:表示除第i个视觉显著原始目标外所有原目标的位置信息。视觉显著原始目标的显著信息st,可以由目标估计状态和视觉显著原始目标估计位置信息的条件分布抽样得到。该条件分布为:
式中:表示除第i个视觉显著原始目标外所有原目标的显著性信息。
在所述步骤4中,基于优化思想,采用MAP(最大后验概率)算法估计目标状态,即:
式中:p(xt,yt/z1:t)为目标和视觉显著原始目标状态的联合分布。首先采用mean-shift算法初始化当前帧中视觉显著原始目标初始位置检测视觉显著原始目标中心位置的显著图,并归一化然后根据公式(7)~(9)分别抽样近似(xt,rt,st)的联合概率分布,根据公式(10)选取最优样本序列,得到目标和视觉显著原始目标的状态信息。
Claims (6)
1.一种基于视觉显著原始目标的检测跟踪方法,其特征在于,包括以下步骤:
步骤1、基于视觉显著信息、图像分割和K-means聚类算法检测视觉显著原始目标;
步骤2、基于贝叶斯理论和概率统计知识,确定目标和视觉显著原始目标的联合分布,得到跟踪目标模型;
步骤3、采用吉布斯抽样算法优化状态估计,基于视觉显著原始目标的空间位置、显著信息以及观测值,抽样近似联合概率,得到目标和视觉显著原始目标的状态序列;
步骤4、基于贝叶斯理论的MAP(最大后验概率)算法得到当前帧中目标状态信息。
2.根据权利要求1所述的一种基于视觉显著原始目标的检测跟踪方法,其特征在于,在所述步骤1中,检测视觉显著原始目标的方法为:
式中:G(·)为二维高斯滤波函数,Ic为尺度大小c的图像,Ph(·)为图像傅里叶变换相位谱。
3.根据权利要求1所述的一种基于视觉显著原始目标的检测跟踪方法,其特征在于,在所述步骤2中,确定目标和视觉显著原始目标的联合分布、所得到的跟踪目标模型为:
p(xt,yt/z1:t)=p(xt/yt)p(yt/z1:t)=p(xt/yt)p(rt,st/z1:t) (2)
=p(xt/yt)p(st/rt,zt)p(rt/z1:t)
式中:p(xt/yt)表示目标状态与观测值的条件概率分布,p(yt/z1:t)表示视觉显著原始目标状态与观测值的条件概率分布;目标状态与视觉显著原始目标状态的联合概率分布表示为:
4.根据权利要求1或3所述的一种基于视觉显著原始目标的检测跟踪方法,其特征在于,所述的目标状态与观测值的条件概率分布为:
式中:为简化计算,假定视觉显著原始目标之间相互独立,基于贝叶斯理论简化视觉显著原始目标位置的后验概率为:
式中:其中分别表示高斯分布的均值和标准差;视觉显著原始目标在t时刻的显著性条件概率表示为:
式中:表示位置处的归一化视觉显著图。
5.根据权利要求1所述的一种基于视觉显著原始目标的检测跟踪方法,其特征在于,
所述步骤3的具体实现方法为:首先采用基于预测的mean-shift算法初始化当前帧中视觉显著原始目标初始位置检测视觉显著原始目标中心位置的显著图,并归一化然后基于下述条件概率分布依次抽样逼近联合概率分布:
式中:表示除第i个视觉显著原始目标外所有原目标的位置信息,表示除第i个视觉显著原始目标外所有原始目标的显著性信息。
6.根据权利要求1所述的一种基于视觉显著原始目标的检测跟踪方法,其特征在于,在所述步骤4中,其MAP(最大后验概率)算法表示为:
式中:p(xt,yt/z1:t)为目标和视觉显著原始目标状态的联合分布。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410643310.5A CN104392466A (zh) | 2014-11-13 | 2014-11-13 | 一种基于视觉显著原始目标的检测跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410643310.5A CN104392466A (zh) | 2014-11-13 | 2014-11-13 | 一种基于视觉显著原始目标的检测跟踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104392466A true CN104392466A (zh) | 2015-03-04 |
Family
ID=52610364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410643310.5A Pending CN104392466A (zh) | 2014-11-13 | 2014-11-13 | 一种基于视觉显著原始目标的检测跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104392466A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105225253A (zh) * | 2015-09-22 | 2016-01-06 | 济南大学 | 一种基于贝叶斯框架和快速傅里叶变换的目标跟踪方法 |
CN106373146A (zh) * | 2016-10-27 | 2017-02-01 | 南京航空航天大学 | 一种基于模糊学习的目标跟踪方法 |
CN107358623A (zh) * | 2017-07-12 | 2017-11-17 | 武汉大学 | 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法 |
CN109118469A (zh) * | 2018-06-20 | 2019-01-01 | 国网浙江省电力有限公司 | 用于视频显著性的预测方法 |
CN109598291A (zh) * | 2018-11-23 | 2019-04-09 | 安徽大学 | 一种基于pso的rgbd图的协同显著目标检测方法 |
-
2014
- 2014-11-13 CN CN201410643310.5A patent/CN104392466A/zh active Pending
Non-Patent Citations (3)
Title |
---|
CHENLEI GUO ET AL.: "Spatio-temporal Saliency Detection Using Phase Spectrum of Quaternion Fourier Transform", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (2008)》 * |
ZHIDONG LI ET AL.: "Visual tracking by proto-objects", 《PATTERN RECOGNITION》 * |
黎万义 等: "引入视觉注意机制的目标跟踪方法综述", 《自动化学报》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105225253A (zh) * | 2015-09-22 | 2016-01-06 | 济南大学 | 一种基于贝叶斯框架和快速傅里叶变换的目标跟踪方法 |
CN106373146A (zh) * | 2016-10-27 | 2017-02-01 | 南京航空航天大学 | 一种基于模糊学习的目标跟踪方法 |
CN106373146B (zh) * | 2016-10-27 | 2019-02-15 | 南京航空航天大学 | 一种基于模糊学习的目标跟踪方法 |
CN107358623A (zh) * | 2017-07-12 | 2017-11-17 | 武汉大学 | 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪算法 |
CN107358623B (zh) * | 2017-07-12 | 2020-01-07 | 武汉大学 | 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法 |
CN109118469A (zh) * | 2018-06-20 | 2019-01-01 | 国网浙江省电力有限公司 | 用于视频显著性的预测方法 |
CN109118469B (zh) * | 2018-06-20 | 2020-11-17 | 国网浙江省电力有限公司 | 用于视频显著性的预测方法 |
CN109598291A (zh) * | 2018-11-23 | 2019-04-09 | 安徽大学 | 一种基于pso的rgbd图的协同显著目标检测方法 |
CN109598291B (zh) * | 2018-11-23 | 2021-07-23 | 安徽大学 | 一种基于pso的rgbd图的协同显著目标检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108665481B (zh) | 多层深度特征融合的自适应抗遮挡红外目标跟踪方法 | |
CN107767405B (zh) | 一种融合卷积神经网络的核相关滤波目标跟踪方法 | |
Zhou et al. | Efficient road detection and tracking for unmanned aerial vehicle | |
CN101246547B (zh) | 一种根据场景变化特征对视频中运动物体检测的方法 | |
CN105528794A (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
CN104036523A (zh) | 一种基于SURF特征的改进Mean Shift的目标跟踪方法 | |
CN104392466A (zh) | 一种基于视觉显著原始目标的检测跟踪方法 | |
CN101924871A (zh) | 基于均值偏移的视频目标跟踪方法 | |
CN104200485A (zh) | 一种面向视频监控的人体跟踪方法 | |
CN104574439A (zh) | 一种融合卡尔曼滤波与tld算法的目标跟踪方法 | |
CN107590821B (zh) | 一种基于轨迹优化的目标跟踪方法及系统 | |
CN101551863A (zh) | 基于非下采样轮廓波变换的遥感图像道路提取方法 | |
CN105654139A (zh) | 一种采用时间动态表观模型的实时在线多目标跟踪方法 | |
CN103955688A (zh) | 一种基于计算机视觉的斑马鱼群检测与跟踪方法 | |
CN103886325A (zh) | 一种分块的循环矩阵视频跟踪方法 | |
CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
CN104463907A (zh) | 一种基于视觉显著性特征的自适应目标跟踪方法 | |
CN104732559A (zh) | 一种基于rgb-d数据的多目标检测与跟踪方法 | |
CN104200226B (zh) | 基于机器学习的粒子滤波目标跟踪方法 | |
CN106887012A (zh) | 一种基于循环矩阵的快速自适应多尺度目标跟踪方法 | |
CN104036526A (zh) | 一种基于自适应窗的灰度目标跟踪方法 | |
CN109448024B (zh) | 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统 | |
Gad et al. | Real-time lane instance segmentation using SegNet and image processing | |
Du et al. | Spatial–temporal adaptive feature weighted correlation filter for visual tracking | |
Qing et al. | A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150304 |
|
WD01 | Invention patent application deemed withdrawn after publication |