CN101923718A - 基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法 - Google Patents

基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法 Download PDF

Info

Publication number
CN101923718A
CN101923718A CN200910086407XA CN200910086407A CN101923718A CN 101923718 A CN101923718 A CN 101923718A CN 200910086407X A CN200910086407X A CN 200910086407XA CN 200910086407 A CN200910086407 A CN 200910086407A CN 101923718 A CN101923718 A CN 101923718A
Authority
CN
China
Prior art keywords
algorithm
pyramid
thread
cpu
target tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910086407XA
Other languages
English (en)
Other versions
CN101923718B (zh
Inventor
郑鹏程
刘铁华
见良
孙季川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Digital Video Beijing Ltd
Original Assignee
China Digital Video Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Digital Video Beijing Ltd filed Critical China Digital Video Beijing Ltd
Priority to CN 200910086407 priority Critical patent/CN101923718B/zh
Publication of CN101923718A publication Critical patent/CN101923718A/zh
Application granted granted Critical
Publication of CN101923718B publication Critical patent/CN101923718B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法,属于图像/视频后期处理技术领域。该方法将基于粒子滤波和光流矢量的视频目标跟踪方法中所涉及的每个大计算量算法在多CPU上并行计算,在每个CPU上运行一个线程,负责处理一部分行数据,将所有行数据均匀分配到每个CPU上;当每个线程完成自己的任务后,向线程同步管理者发事件告知,当线程同步管理者在得到所有线程完成当前任务的时间都到来后,启动所有线程开始后续任务事件。该方法提高了基于粒子滤波和光流矢量的视频目标跟踪方法的效率,满足了对跟踪方法实时性的要求。

Description

基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法
技术领域
本发明属于图像/视频后期处理技术领域,具体涉及一种基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法。
背景技术
申请人与本发明同时提交的名称为“一种基于粒子滤波和光流矢量的视频目标跟踪方法”专利申请中,提供了一种结合粒子滤波和光流矢量来完成对视频目标进行跟踪的方法。该方法的主要步骤可简要描述如下:
(1)将t时刻图像转化为灰度图,对灰度图进行高斯模糊,对高斯模糊后的灰度图创建L级高斯金字塔,然后计算每级高斯金字塔图像在x和y方向上的灰度梯度。
(2)对t-1时刻图像的M个特征点根据灰度梯度求解其在t时刻图像中的位置偏移和仿射变换参数。
如果某个特征点丢失,则采用网格将跟踪目标搜索区域划分成与丢失特征点区域大小相同的K个图像区域,利用图像灰度差的平方和匹配丢失特征点区域,估计丢失特征点的近似位置;然后利用估计的近似位置作为初始位置重复步骤(2),重新求解该特征点在下一帧图像中的位置偏移和仿射变换参数;所述跟踪目标搜索区域是指在图像的哪个范围中产生特征点的区域。
(3)对t-1时刻图像的N个粒子重新进行采样,并对新采样的N个粒子利用随机数或光流矢量进行重新分布;采用Newton迭代法求解特征点的光流矢量。
(4)计算N个粒子的RGB直方图,并根据RGB直方图计算每个粒子的权重,然后将N个粒子位置根据权重进行加权平均,得到跟踪目标t时刻图像的估计位置。
(5)对估计位置进行稳定性比较计算,得到跟踪目标的最终位置。
在上述方法中,涉及到大计算量的算法包括:将RGB图像转换成灰度图的算法、求金字塔模糊灰度图的算法、求金字塔灰度梯度图像的算法、根据下一级金字塔数据采样上一级金字塔数据的算法、特征点丢失后在搜索矩形区域中求解与特征点近似位置的算法、用Newton迭代法求解特征点的光流矢量的算法、以及粒子RGB直方图计算和权重计算。在视频目标跟踪技术领域中,对跟踪方法有实时性的要求,即要求跟踪方法的处理效率高。上述方法由于涉及大量的计算,因此其跟踪效率较低,严重影响了该方法的应用范围。
发明内容
针对现有技术中存在的缺陷,本发明的目的是提供一种对基于粒子滤波和光流矢量的视频目标跟踪方法的效率进行优化方法。
为实现上述目的,本发明采用的技术方案为,一种基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法,该方法将基于粒子滤波和光流矢量的视频目标跟踪方法中所涉及的每个大计算量算法在多CPU上并行计算,在每个CPU上运行一个线程,负责处理一部分行数据,将所有行数据均匀分配到每个CPU上;当每个线程完成自己的任务后,向线程同步管理者发事件告知,当线程同步管理者在得到所有线程完成当前任务的时间都到来后,启动所有线程开始后续任务事件;
所述大计算量算法包括将RGB图像转换成灰度图的算法、求金字塔模糊灰度图的算法、求金字塔灰度梯度图像的算法、根据下一级金字塔数据采样上一级金字塔数据的算法、特征点丢失后在搜索矩形区域中求解与特征点近似位置的算法、用牛顿迭代法求解特征点的光流矢量的算法、以及粒子RGB直方图计算和权重计算。
如上所述的优化方法,其中,在求金字塔模糊灰度图像的算法和求金字塔灰度梯度图像的算法中,将二维卷积分解为两个一维卷积,先用图像的每一行与一维高斯函数进行卷积,然后再对结果的每一列与一维高斯函数进行卷积,每次卷积在多CPU上并行计算。
本发明所述方法,通过将基于粒子滤波和光流矢量的视频目标跟踪方法中所涉及的大计算量算法在多CPU上同步计算的方式,大大提高了算法的运算速度,进而提高了整个跟踪方法的效率,满足了对跟踪方法实时性的要求。
具体实施方式
下面结合具体实施方式和附图,对本发明进行详细描述。
本发明的核心思想是:将基于粒子滤波和光流矢量的视频目标跟踪方法中所涉及的每个大计算量算法在多CPU上并行计算,在每个CPU上运行一个线程,负责处理一部分行数据,将所有行数据均匀分配到每个CPU上;当每个线程完成自己的任务后,向线程同步管理者发事件告知,当线程同步管理者在得到所有线程完成当前任务的时间都到来后,启动所有线程开始后续任务事件。
其中,大计算量算法包括将RGB图像转换成灰度图的算法、求金字塔模糊灰度图的算法、求金字塔灰度梯度图像的算法、根据下一级金字塔数据采样上一级金字塔数据的算法、特征点丢失后在搜索矩形区域中求解与特征点近似位置的算法、用牛顿迭代法求解特征点的光流矢量的算法、以及粒子RGB直方图计算和权重计算。
下面对每个算法的具体优化方法进行描述。
(1)将RGB转换成灰度图像的算法。
在该算法中,每个像素可以单独计算,也能够使用多CPU进行并行计算。一个线程运行在一个CPU负责一部分行数据的处理。将H行数据均匀分配到每个CPU上同时进行计算。每个CPU分配的计算行数为H/CPUNumber,其中,H表示所有行的数量,CPUNumber表示CPU的数量。
由于产生灰度图像是后续计算的基础,所以需要进行多线程同步,在线程0上等所有线程计算完成后进行下一步计算。基本方法是:每个线程完成自己的任务后,向线程同步管理者发事件告知已经完成任务,同时等待下一步任务事件的到来。当线程同步管理者在得到所有线程完成当前任务的事件都到来后,启动所有线程开始下一步的任务事件。
(2)求金字塔模糊灰度图像的算法。
在该算法中,根据Gaussian(高斯)模糊的特点可以将二维卷积分解为两个一维卷积:先用图像的每一行与一维Gaussian function(高斯函数)进行卷积,然后再对上述结果的每一列与一维Gaussian function进行卷积。最后的结果与直接进行二维卷积的结果相同。用一维卷积取代二维卷积的优点是减少了计算次数并能更好地利用CPU的cache,从而达到提高效率的目的。
一个线程运行在一个CPU上,负责一部分行数据卷积。每次卷积将H行数据均匀分配到每个CPU上同时进行计算,每个CPU分配的计算行数H/CPUNumber。
由于产生金字塔模糊灰度图像是后续计算的前提,所以需要进行多线程同步,在线程0上等所有线程计算完成后进行下一步计算,基本方法与步骤(1)描述的方法相同。
(3)求金字塔灰度梯度图像的算法。
将灰度梯度的计算使用两次卷积完成,每次卷积将H行数据均匀分配到不同的CPU上同时进行计算,每个CPU分配的计算行数:H/CPUNumber。
由于产生金字塔模糊灰度图像是特征点光流矢量计算的前提,所以需要进行多线程同步,在线程0上等所有线程计算完成后进行下一步计算,基本方法与步骤(1)描述的方法相同。
(4)根据下一级金字塔数据采样上一级金字塔数据的算法。
将上一级金字塔图像H行数据均匀分配到不同的CPU上,同时进行从下一级金字塔图像采样数据,每个CPU分配的计算行数:H/CPUNumber。
由于产生金字塔数据是下一步计算的前提,所以需要进行多线程同步,在线程0上等所有线程计算完成后进行下一步计算,基本方法与步骤(1)描述的方法相同。
(5)特征点丢失后在搜索矩形区域中求解近特征点近似位置的算法。
这个算法可以进行多CPU加速,但是我们可以考虑将它的计算放到6)算法的多CPU处理步骤中,所以可以不处理。
(6)用Newton迭代法求解特征点光流矢量的算法。
将M个特征点均匀分配到不同的CPU上进行并行迭代计算,每个CPU分配的计算特征点个数:M/CPUNumber。
由于产生金字塔数据是粒子运动方向的前提,所以需要进行多线程同步,在线程0上等所有线程计算完成后进行下一步计算,基本方法与步骤(1)描述的方法相同。
(7)粒子RGB直方图计算和权重计算。
将N个粒子均匀分配到不同的CPU上进行并行计算直方图和权重,每个CPU分配的计算粒子个数:N/CPUNumber。
在基于粒子滤波和光流矢量的视频目标跟踪方法中,假设使用100个特征点,400个粒子,如果不进行优化,完成一帧(720×576)图像目标的跟踪将需要98ms,而进行优化后(采用四个Intel Core2 Q93002.5GHz CPU),只需要8ms,计算速度提高了12倍。效果非常好,使该方法满足了对跟踪方法实时性的要求,具备很强的实用性。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (2)

1.一种基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法,其特征在于:该方法将基于粒子滤波和光流矢量的视频目标跟踪方法中所涉及的每个大计算量算法在多CPU上并行计算,在每个CPU上运行一个线程,负责处理一部分行数据,将所有行数据均匀分配到每个CPU上;当每个线程完成自己的任务后,向线程同步管理者发事件告知,当线程同步管理者在得到所有线程完成当前任务的时间都到来后,启动所有线程开始后续任务事件;
所述大计算量算法包括将RGB图像转换成灰度图的算法、求金字塔模糊灰度图的算法、求金字塔灰度梯度图像的算法、根据下一级金字塔数据采样上一级金字塔数据的算法、特征点丢失后在搜索矩形区域中求解与特征点近似位置的算法、用牛顿迭代法求解特征点的光流矢量的算法、以及粒子RGB直方图计算和权重计算。
2.如权利要求1所述的一种基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法,其特征在于:在求金字塔模糊灰度图像的算法和求金字塔灰度梯度图像的算法中,将二维卷积分解为两个一维卷积,先用图像的每一行与一维高斯函数进行卷积,然后再对结果的每一列与一维高斯函数进行卷积,每次卷积在多CPU上并行计算。
CN 200910086407 2009-06-12 2009-06-12 基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法 Expired - Fee Related CN101923718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200910086407 CN101923718B (zh) 2009-06-12 2009-06-12 基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200910086407 CN101923718B (zh) 2009-06-12 2009-06-12 基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法

Publications (2)

Publication Number Publication Date
CN101923718A true CN101923718A (zh) 2010-12-22
CN101923718B CN101923718B (zh) 2012-12-19

Family

ID=43338628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200910086407 Expired - Fee Related CN101923718B (zh) 2009-06-12 2009-06-12 基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法

Country Status (1)

Country Link
CN (1) CN101923718B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156991A (zh) * 2011-04-11 2011-08-17 上海交通大学 基于四元数的物体光流跟踪方法
CN103473542A (zh) * 2013-09-16 2013-12-25 清华大学 多线索融合的目标跟踪方法
CN103714556A (zh) * 2014-01-06 2014-04-09 中国科学院自动化研究所 一种基于金字塔表观模型的运动目标跟踪方法
CN103853800A (zh) * 2012-11-29 2014-06-11 北京千橡网景科技发展有限公司 目标图像搜索方法及装置
CN104658011A (zh) * 2015-01-31 2015-05-27 北京理工大学 一种智能交通运动目标检测跟踪方法
CN106170820A (zh) * 2014-02-26 2016-11-30 株式会社索思未来 图像识别系统以及半导体集成电路
CN106683113A (zh) * 2016-10-27 2017-05-17 纳恩博(北京)科技有限公司 特征点跟踪方法和装置
CN107169998A (zh) * 2017-06-09 2017-09-15 西南交通大学 一种基于肝脏超声造影图像的实时跟踪及定量分析方法
CN107292850A (zh) * 2017-07-03 2017-10-24 北京航空航天大学 一种基于最邻近搜索的光流并行加速方法
CN107424173A (zh) * 2017-06-09 2017-12-01 广东光阵光电科技有限公司 一种基于扩展的局部不变特征描述的目标跟踪方法
CN109978801A (zh) * 2019-03-25 2019-07-05 联想(北京)有限公司 一种图像处理方法及图像处理装置
CN110288702A (zh) * 2019-06-28 2019-09-27 联想(北京)有限公司 一种数据处理方法及电子设备
CN111583211A (zh) * 2020-04-29 2020-08-25 广东利元亨智能装备股份有限公司 缺陷检测方法、装置及电子设备
WO2020216249A1 (zh) * 2019-04-23 2020-10-29 深圳市道通智能航空技术有限公司 一种基于多处理器的目标跟踪处理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177455B (zh) * 2013-03-20 2016-04-20 南京理工大学 基于多核dsp的klt运动目标跟踪算法的实现方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156991B (zh) * 2011-04-11 2013-05-01 上海交通大学 基于四元数的物体光流跟踪方法
CN102156991A (zh) * 2011-04-11 2011-08-17 上海交通大学 基于四元数的物体光流跟踪方法
CN103853800A (zh) * 2012-11-29 2014-06-11 北京千橡网景科技发展有限公司 目标图像搜索方法及装置
CN103853800B (zh) * 2012-11-29 2019-03-26 北京千橡网景科技发展有限公司 目标图像搜索方法及装置
CN103473542A (zh) * 2013-09-16 2013-12-25 清华大学 多线索融合的目标跟踪方法
CN103473542B (zh) * 2013-09-16 2017-01-11 清华大学 多线索融合的目标跟踪方法
CN103714556A (zh) * 2014-01-06 2014-04-09 中国科学院自动化研究所 一种基于金字塔表观模型的运动目标跟踪方法
CN106170820A (zh) * 2014-02-26 2016-11-30 株式会社索思未来 图像识别系统以及半导体集成电路
CN104658011B (zh) * 2015-01-31 2017-09-29 北京理工大学 一种智能交通运动目标检测跟踪方法
CN104658011A (zh) * 2015-01-31 2015-05-27 北京理工大学 一种智能交通运动目标检测跟踪方法
CN106683113B (zh) * 2016-10-27 2020-02-04 纳恩博(北京)科技有限公司 特征点跟踪方法和装置
CN106683113A (zh) * 2016-10-27 2017-05-17 纳恩博(北京)科技有限公司 特征点跟踪方法和装置
CN107424173A (zh) * 2017-06-09 2017-12-01 广东光阵光电科技有限公司 一种基于扩展的局部不变特征描述的目标跟踪方法
CN107169998A (zh) * 2017-06-09 2017-09-15 西南交通大学 一种基于肝脏超声造影图像的实时跟踪及定量分析方法
CN107424173B (zh) * 2017-06-09 2020-06-05 广东光阵光电科技有限公司 一种基于扩展的局部不变特征描述的目标跟踪方法
CN107169998B (zh) * 2017-06-09 2019-11-19 西南交通大学 一种基于肝脏超声造影图像的实时跟踪及定量分析方法
CN107292850A (zh) * 2017-07-03 2017-10-24 北京航空航天大学 一种基于最邻近搜索的光流并行加速方法
CN107292850B (zh) * 2017-07-03 2019-08-02 北京航空航天大学 一种基于最邻近搜索的光流并行加速方法
CN109978801A (zh) * 2019-03-25 2019-07-05 联想(北京)有限公司 一种图像处理方法及图像处理装置
CN109978801B (zh) * 2019-03-25 2021-11-16 联想(北京)有限公司 一种图像处理方法及图像处理装置
WO2020216249A1 (zh) * 2019-04-23 2020-10-29 深圳市道通智能航空技术有限公司 一种基于多处理器的目标跟踪处理方法
CN110288702A (zh) * 2019-06-28 2019-09-27 联想(北京)有限公司 一种数据处理方法及电子设备
CN110288702B (zh) * 2019-06-28 2021-05-18 联想(北京)有限公司 一种数据处理方法及电子设备
CN111583211A (zh) * 2020-04-29 2020-08-25 广东利元亨智能装备股份有限公司 缺陷检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN101923718B (zh) 2012-12-19

Similar Documents

Publication Publication Date Title
CN101923718B (zh) 基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法
CN101923719B (zh) 一种基于粒子滤波和光流矢量的视频目标跟踪方法
CN102202164B (zh) 基于运动估计的道路视频稳定方法
CN102231791A (zh) 一种基于图像亮度分层的视频图像去雾方法
CN101877130A (zh) 复杂场景下基于粒子滤波器的运动目标跟踪方法
CN107301657B (zh) 一种考虑目标运动信息的视频目标跟踪方法
CN104796582A (zh) 基于随机喷射retinex的视频图像去噪与增强方法及装置
CN105872345A (zh) 基于特征匹配的全帧电子稳像方法
CN104021525A (zh) 一种道路场景视频图像序列的背景修复方法
CN101887576A (zh) 基于偏微分方程滤波器的图像去噪方法
CN106447674A (zh) 一种视频的背景去除方法
Andriyanov et al. Use autoregressions with multiple roots of the characteristic equations to image representation and filtering
CN106875426A (zh) 基于相关粒子滤波的视觉跟踪方法及装置
CN103400368A (zh) 基于图论和超像素的并行快速sar图像分割方法
CN111027505A (zh) 一种基于显著性检测的分层多目标跟踪方法
CN102622764A (zh) 一种基于移动相机平台的目标跟踪方法
CN113362375A (zh) 用于车辆的运动目标检测方法
Li et al. The integration adjacent frame difference of improved ViBe for foreground object detection
CN102339460B (zh) 卫星图像自适应复原方法
CN101923716A (zh) 一种改善粒子滤波跟踪效果的方法
CN102968797A (zh) 一种图像前景和背景分割的方法和装置
CN103559722B (zh) 基于灰度线性建模的序列图像抖动量计算方法
CN102831616B (zh) 一种视频流体运动矢量计算方法
Lei et al. Research of the real-time detection of traffic flow based on OpenCV
CN113436232A (zh) 一种基于跟踪算法的硬件加速方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: BEIJING CULTURAL AND SCIENTIFIC FINANCING LEASE CO

Free format text: FORMER OWNER: XIN'AOTE(BEIJING) VIDEO TECHNOLOGY CO., LTD.

Effective date: 20150326

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100080 HAIDIAN, BEIJING TO: 100044 SHUNYI, BEIJING

TR01 Transfer of patent right

Effective date of registration: 20150326

Address after: 100044, room 2, building 1, No. 401, Golden Sail Road, Beijing, Shunyi District

Patentee after: Beijing culture science and technology finance leasing Limited by Share Ltd

Address before: 100080 Beijing city Haidian District xicaochang No. 1 Beijing Silicon Valley computer city 15 1501-1506 room

Patentee before: China Digital Video (Beijing) Limited

TR01 Transfer of patent right

Effective date of registration: 20170930

Address after: 100143 Beijing city Haidian District xicaochang No. 1 Silicon Valley computer city 15 1501-1506 room

Patentee after: China Digital Video (Beijing) Limited

Address before: 100044, room 2, building 1, No. 401, Golden Sail Road, Beijing, Shunyi District

Patentee before: Beijing culture science and technology finance leasing Limited by Share Ltd

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121219

Termination date: 20170612

CF01 Termination of patent right due to non-payment of annual fee