CN102087747A - 基于单纯形法的对象跟踪方法 - Google Patents
基于单纯形法的对象跟踪方法 Download PDFInfo
- Publication number
- CN102087747A CN102087747A CN 201110000733 CN201110000733A CN102087747A CN 102087747 A CN102087747 A CN 102087747A CN 201110000733 CN201110000733 CN 201110000733 CN 201110000733 A CN201110000733 A CN 201110000733A CN 102087747 A CN102087747 A CN 102087747A
- Authority
- CN
- China
- Prior art keywords
- target
- summit
- tracking
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于单纯形法的对象跟踪方法,在已获取的图像中对选定目标进行跟踪处理,通过目标选取、图像输入、选择单纯形顶点、计算顶点与目标的距离、顶点排序、进行单纯形操作、目标预测等步骤,经过一定次数的迭代之后,找到与目标距离最小的那个节点,即目标在当前图像的位置,从而实现对目标对象的跟踪。本发明方法可以实现实时快速移动对象跟踪,在跟踪失败后自动恢复。
Description
技术领域
本发明属于计算机图形图像处理技术领域。
背景技术
目前对象跟踪方法主要分为概率跟踪方法和确定性跟踪方法。
概率跟踪方法以粒子滤波为主要代表,如Nummiaro提出的一种自适应颜色滤波方法“An adaptive color-based particle filter”,Isard 提出的条件概率密度传播跟踪方法“CONDENSATION-Conditional density propagation for visual tracking”,以及P.H.Li的轮廓滤波法“Visual contour tracking based on particle filters”。这些概率跟踪方法的主要问题是方法需要用大量的样本数量才能很好地近似系统的后验概率密度,机器人面临的环境越复杂,描述后验概率分布所需要的样本数量就越多,算法的复杂度就越高,越不易实现。
与概率跟踪方法相比,确定性跟踪方法计算简单、易实现,很适合于实时对象的跟踪。基于均值漂移(Mean Shift, 简称MS)的跟踪方法是确定性跟踪方法的典型代表,它是一种有效的基于密度梯度上升的非参数统计迭代方法。 MS由Comaniciu等人在“Real-time tracking of non-rigid objects using mean shift”中首先将其应用到跟踪领域,并在“The variable bandwidth mean shift and data-driven scale selection”中进一步提出了可变窗宽的MS算子(VBDF)。Comaniciu随后在“Kernel-based object tracking”中对MS跟踪方法做了更进一步的改进,并总结了这种方法的实现框架。Yang在“Efficient mean-shift tracking via a new similarity measure”中采用另一个相似度测量方法来实现基于MS的跟踪,而Tu等人在“Online updating appearance generative mixture model for meanshift tracking”中利用期望最大化算法在线更新表观柱状图,一定程度提高了MS跟踪算法的精度和可靠性。
Comaniciu等人的“Real-time tracking of non-rigid objects using mean shift”方法,使用目标与候选对象的相似度作为距离测量,通过迭代运算找到目标和候选对象相似函数的最大值,实现目标跟踪。但是,这种基于MS的方法是从假设的初始位置开始(也有根据运动向量带位置预测的MS,如“Kernel-based object tracking”),沿概率密度梯度方向搜索最佳匹配区域,因此,该方法容易陷入局部最优,跟踪快速移动对象时常常失败,且难以从失败中恢复。
发明内容
鉴于现有技术的缺点和不足,本发明的目的是设计一种基于单纯形法的对象跟踪方法,以目标与候选对象的相似度作为距离测量,使之通过迭代运算找到目标和候选对象相似函数的最大值的过程中当目标消失后(如目标被完全覆盖),可以沿可能的方向进行区域搜索,从而能够在目标再次出现时恢复跟踪。
本发明的目的是通过如下的手段实现的。
基于单纯形法的对象跟踪方法,在已获取的图像中对选定目标进行跟踪处理,包括如下流程:
(1)选取跟踪目标
通过运动目标检测方法自动提取或人机交互方法手动指定,从选定的图像中选取要跟踪的目标对象,计算目标对象的表观统计信息;
(2)图像输入
在实时处理情况下,提取通过摄像头采集并保存在存储区的视频图像,作为要进行跟踪的输入图像;在离线处理情况,将已采集的视频文件分解为多个帧组成的图像序列,按照时间顺序,逐个提取帧图像作为输入图像;将跟踪区域设置为整个图像;如果输入图像为空,则整个流程中止;
(3)选择单纯形顶点
在初始情况下,将目标对象所在的位置设为第一个顶点;在跟踪过程中,将每一次定位的目标位置作为第一个顶点;在第一个顶点的周围四个不同的方向上再选择四个顶点,顶点间的距离根据目标对象的尺寸来设置,由此,得到5个顶点,即5个候选目标位置;
(4)计算顶点与目标的距离
计算每个顶点的表观统计信息,计算顶点与目标的距离D,该距离定义为:
D = 1 - 两个表观统计信息矢量间夹角的余弦值;
(5)顶点排序
按照顶点与目标距离从小到大的顺序,将顶点重新排序,如果头顶点与目标的距离满足设定条件,跟踪完成,跳转到(2);如果头顶点与目标的距离超过预设边界值,则跳转到(7),否则,继续;
D = 1 - 两个表观统计信息矢量间夹角的余弦值;
(6)进行单纯形操作
将距离最大的顶点,即最后一个顶点进行单纯形操作,操作完成后,跳转到(4);
(7)目标预测
根据目标对象在前一时刻的位置和运动向量,预测其在当前图像中的位置,计算公式如下:
目标当前位置的横坐标 = 目标前一时刻的横坐标 + 目标横向运动速度×时间间隔
目标当前位置的纵坐标 = 目标前一时刻的纵坐标 + 目标纵向运动速度×时间间隔
同时,目标的运动向量表示不变;目标预测完成后,跳转到(2);
经过以上(3)-(6)的处理一定次数的单纯形操作之后,将与目标距离最小的那个顶点作为目标在当前图像的位置,从而实现对目标对象的跟踪。
本发明的方法,与MS跟踪法,即“Real-time tracking of non-rigid objects using mean shift”中的方法相同,均使用目标与候选对象的相似度作为距离测量,通过迭代运算找到目标和候选对象相似函数的最大值,实现目标跟踪。但是,后者是从假设的初始位置开始(也有根据运动向量带位置预测的MS,如“Kernel-based object tracking”),沿概率密度梯度方向搜索最佳匹配区域,容易陷入局部最优,跟踪快速移动对象时常常失败,且难以从失败中恢复。而本发明方法在各个可能的方向进行搜索,通过单纯形操作,逐步向最佳位置逼近,从而实现目标跟踪。由于本发明方法加入了运动向量分析,在目标消失后(如目标被完全覆盖),可以沿可能的方向进行区域搜索,从而能够在目标再次出现时恢复跟踪。另外,本发明方法基于单纯形操作,实现容易,计算量小可以满足实时对象跟踪的需要。
附图说明
图1为单纯形顶点选择示意图。
图2为二维单纯形操作示意图。
图3为基于单纯形法的对象跟踪方法流程图。
具体实施方式
下面结合附图和对本发明作进一步说明。
基于本发明方法可实现很多不同的应用,有价值的应用是在需要在大量的动态或非动态图像资料中对目标物的搜寻,例如,可用于流体表面测速(如,泥石流表面测速),道路车辆跟踪及测速,空中飞行物跟踪及测速,“天网”视频中目标物的搜寻,行人跟踪及行为分析等。不失一般性,所述方法包括如下步骤:
(1)选取跟踪目标
从选定的图像中选取要跟踪的目标对象,计算目标对象的表观统计信息(如颜色、纹理、轮廓,或者它们的组合)。目标选取过程可以通过运动目标检测方法自动提取,也可以通过人机交互方法手动指定。
(2)输入图像
在实时处理情况下,提取通过摄像头采集并保存在存储区的视频图像,作为要进行跟踪的输入图像;在离线处理情况,将已采集的视频文件分解为多个帧组成的图像序列,按照时间顺序,逐个提取帧图像作为输入图像。将跟踪区域设置为整个图像。如果输入图像为空,则整个流程中止。
(3)选择单纯形顶点(设置候选目标)
图1中,选择单纯形顶点(P1为第一个顶点),在初始情况下,将目标对象所在的位置设为第一个顶点;在跟踪过程中,将每一次定位的目标位置作为第一个顶点。在第一个顶点的周围再选择四个顶点(分别在四个不同的方向上),如图1所示。顶点间的距离根据目标对象的尺寸来设置,如可以为目标对象宽度的一半。由此,可以得到5个顶点,即5个候选目标位置。
需要说明的是,目标位置,即目标的二维坐标(横坐标Px和纵坐标Py),及其运动向量(横向运动速度Vx和纵向运动速度Vy),构成了4维信息空间(Px,Py,Vx,Vy),按照单纯形原理,需要5个顶点进行求解。当然也可以按照此方法选择更多的顶点。
(4)计算顶点与目标的距离
计算每个顶点的表观统计信息,计算顶点与目标的距离D,该距离定义为:
D = 1 - 两个表观统计信息矢量间夹角的余玄值
(5)顶点排序
按照顶点与目标距离从小到大的顺序,将顶点重新排序。如果头顶点与目标的距离满足设定条件,则该顶点为目标在当前图像的位置,同时,根据前后目标位置更新目标运动向量,跟踪完成,跳转到(2)。如果头顶点与目标的距离过大,则说明目标很可能已经消失(如大面积或者完全遮挡),跳转到(7)。否则,继续。
(6)进行单纯形操作
将距离最大的顶点,即最后一个顶点进行单纯形操作,这些操作包括反射,膨胀,收缩等。如图2所示,B表示距离最小的顶点,W表示距离最大的顶点,M表示介于两者之间的顶点,则R表示W经反射的位置,C表示W经收缩后的位置,E表示R经膨胀后位置。也可以根据情况,同时操作几个顶点,如图2中的Sw和Sm分别表示W和M经收缩后的位置。单纯形操作完成后,即对候选目标位置进行了更新,跳转到(4)。
(7)目标预测
根据目标对象在前一时刻的位置和运动向量,预测其在当前图像中的位置。计算公式如下:
目标当前位置的横坐标 = 目标前一时刻的横坐标 + 目标横向运动速度×时间间隔
目标当前位置的纵坐标 = 目标前一时刻的纵坐标 + 目标纵向运动速度×时间间隔
同时,目标的运动向量表示不变。目标预测完成后,跳转到(2)。
本发明方法的技术流程图如图3所示。经过以上(3)-(6)的处理后,顶点逐步向最佳位置逼近,因此,经过一定次数的单纯形操作之后,将与目标距离最小的那个顶点作为目标在当前图像的位置,从而实现对目标对象的跟踪。
显然,所述预设条件:D = 1 - 两个表观统计信息矢量间夹角的余弦值≤Θ,Θ之值由具体跟踪对象的表观统计信息设定。
本发明方法可通过任何计算机程序设计语言(如C语言)编程实现,基于本方法的跟踪软件可在任何PC或者嵌入式系统中实现实时视频对象跟踪应用。
Claims (4)
1.基于单纯形法的对象跟踪方法,在已获取的图像中对选定目标进行跟踪处理,包括如下流程:
(1)选取跟踪目标
通过运动目标检测方法自动提取或人机交互方法手动指定,从选定的图像中选取要跟踪的目标对象,计算目标对象的表观统计信息;
(2)图像输入
在实时处理情况下,提取通过摄像头采集并保存在存储区的视频图像,作为要进行跟踪的输入图像;在离线处理情况,将已采集的视频文件分解为多个帧组成的图像序列,按照时间顺序,逐个提取帧图像作为输入图像;将跟踪区域设置为整个图像;如果输入图像为空,则整个流程中止;
(3)选择单纯形顶点
在初始情况下,将目标对象所在的位置设为第一个顶点;在跟踪过程中,将每一次定位的目标位置作为第一个顶点;在第一个顶点的周围四个不同的方向上再选择四个顶点,顶点间的距离根据目标对象的尺寸来设置,由此,得到5个顶点,即5个候选目标位置;
(4)计算顶点与目标的距离
计算每个顶点的表观统计信息,计算顶点与目标的距离D,该距离定义为:
D = 1 - 两个表观统计信息矢量间夹角的余弦值;
(5)顶点排序
按照顶点与目标距离从小到大的顺序,将顶点重新排序,如果头顶点与目标的距离满足设定条件,跟踪完成,跳转到(2);如果头顶点与目标的距离超过预设边界值,则跳转到(7),否则,继续;
D = 1 - 两个表观统计信息矢量间夹角的余弦值;
(6)进行单纯形操作
将距离最大的顶点,即最后一个顶点进行单纯形操作,操作完成后,跳转到(4);
(7)目标预测
根据目标对象在前一时刻的位置和运动向量,预测其在当前图像中的位置,计算公式如下:
目标当前位置的横坐标 = 目标前一时刻的横坐标 + 目标横向运动速度×时间间隔
目标当前位置的纵坐标 = 目标前一时刻的纵坐标 + 目标纵向运动速度×时间间隔
同时,目标的运动向量表示不变;目标预测完成后,跳转到(2);
经过以上(3)-(6)的处理一定次数的单纯形操作之后,将与目标距离最小的那个顶点作为目标在当前图像的位置,从而实现对目标对象的跟踪。
2.根据权利要求1所述之基于单纯形法的对象跟踪方法,其特征在于,所述目标对象的表观统计信息为颜色、纹理、轮廓,或者其组合。
3.根据权利要求1所述之基于单纯形法的对象跟踪方法,其特征在于,所述预设条件:D = 1 - 两个表观统计信息矢量间夹角的余弦值≤Θ,Θ之值由具体跟踪对象的表观统计信息设定。
4.根据权利要求1所述之基于单纯形法的对象跟踪方法,其特征在于,所述顶点间的距离可设置为目标对象宽度的一半。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110000733A CN102087747B (zh) | 2011-01-05 | 2011-01-05 | 基于单纯形法的对象跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110000733A CN102087747B (zh) | 2011-01-05 | 2011-01-05 | 基于单纯形法的对象跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102087747A true CN102087747A (zh) | 2011-06-08 |
CN102087747B CN102087747B (zh) | 2012-09-19 |
Family
ID=44099535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110000733A Expired - Fee Related CN102087747B (zh) | 2011-01-05 | 2011-01-05 | 基于单纯形法的对象跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102087747B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810696A (zh) * | 2012-11-15 | 2014-05-21 | 浙江大华技术股份有限公司 | 一种目标对象图像检测方法及装置 |
CN104637052A (zh) * | 2015-01-22 | 2015-05-20 | 西南交通大学 | 基于目标引导显著性检测的对象跟踪方法 |
CN107046623A (zh) * | 2017-03-02 | 2017-08-15 | 上海斐讯数据通信技术有限公司 | 一种实时摄像方法及系统 |
CN107077624A (zh) * | 2014-09-23 | 2017-08-18 | 微软技术许可有限责任公司 | 跟踪手部/身体姿势 |
CN107132843A (zh) * | 2017-05-19 | 2017-09-05 | 北京京东尚科信息技术有限公司 | 无人搬运车的控制方法和装置 |
CN108090916A (zh) * | 2017-12-21 | 2018-05-29 | 百度在线网络技术(北京)有限公司 | 用于跟踪视频中的目标图形的方法和装置 |
CN108351825A (zh) * | 2015-12-18 | 2018-07-31 | 德州仪器公司 | 用于集成电路中的最优修整校准的系统和方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060222205A1 (en) * | 2005-04-01 | 2006-10-05 | Porikli Fatih M | Tracking objects in low frame rate videos |
CN101286236A (zh) * | 2008-06-05 | 2008-10-15 | 上海交通大学 | 基于多特征图像和均值漂移的红外目标跟踪方法 |
CN101527838A (zh) * | 2008-03-04 | 2009-09-09 | 华为技术有限公司 | 对视频对象的反馈式对象检测与跟踪的方法和系统 |
-
2011
- 2011-01-05 CN CN201110000733A patent/CN102087747B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060222205A1 (en) * | 2005-04-01 | 2006-10-05 | Porikli Fatih M | Tracking objects in low frame rate videos |
CN101527838A (zh) * | 2008-03-04 | 2009-09-09 | 华为技术有限公司 | 对视频对象的反馈式对象检测与跟踪的方法和系统 |
CN101286236A (zh) * | 2008-06-05 | 2008-10-15 | 上海交通大学 | 基于多特征图像和均值漂移的红外目标跟踪方法 |
Non-Patent Citations (3)
Title |
---|
《Computer Vision and Pattern Recognition,2000,Proceedings.IEEE Conference on》 20001231 Dorin Comaniciu,et al. Real-Time Tracking of Non-Rigid Objects using Mean Shift 142-149 1-4 第2卷, * |
《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 20020531 Dorin Comaniciu,et al. Mean Shift:A Robust Approach Toward Feature Space Analysis 第603~619页 1-4 第24卷, 第5期 * |
《计算机时代》 20101231 姜忠民等。 基于均值漂移与卡尔曼预测相结合的视频运动目标跟踪算法 第22~24页 1-4 , 第2期 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810696A (zh) * | 2012-11-15 | 2014-05-21 | 浙江大华技术股份有限公司 | 一种目标对象图像检测方法及装置 |
CN103810696B (zh) * | 2012-11-15 | 2017-03-22 | 浙江大华技术股份有限公司 | 一种目标对象图像检测方法及装置 |
CN107077624A (zh) * | 2014-09-23 | 2017-08-18 | 微软技术许可有限责任公司 | 跟踪手部/身体姿势 |
CN104637052A (zh) * | 2015-01-22 | 2015-05-20 | 西南交通大学 | 基于目标引导显著性检测的对象跟踪方法 |
CN104637052B (zh) * | 2015-01-22 | 2017-07-11 | 西南交通大学 | 基于目标引导显著性检测的对象跟踪方法 |
CN108351825A (zh) * | 2015-12-18 | 2018-07-31 | 德州仪器公司 | 用于集成电路中的最优修整校准的系统和方法 |
CN107046623A (zh) * | 2017-03-02 | 2017-08-15 | 上海斐讯数据通信技术有限公司 | 一种实时摄像方法及系统 |
CN107046623B (zh) * | 2017-03-02 | 2019-11-26 | 上海斐讯数据通信技术有限公司 | 一种实时摄像方法及系统 |
CN107132843A (zh) * | 2017-05-19 | 2017-09-05 | 北京京东尚科信息技术有限公司 | 无人搬运车的控制方法和装置 |
CN107132843B (zh) * | 2017-05-19 | 2020-07-31 | 北京京东尚科信息技术有限公司 | 无人搬运车的控制方法和装置 |
CN108090916A (zh) * | 2017-12-21 | 2018-05-29 | 百度在线网络技术(北京)有限公司 | 用于跟踪视频中的目标图形的方法和装置 |
CN108090916B (zh) * | 2017-12-21 | 2019-05-07 | 百度在线网络技术(北京)有限公司 | 用于跟踪视频中的目标图形的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102087747B (zh) | 2012-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102087747B (zh) | 基于单纯形法的对象跟踪方法 | |
Zhou et al. | Efficient road detection and tracking for unmanned aerial vehicle | |
Azevedo et al. | Automatic vehicle trajectory extraction by aerial remote sensing | |
CN104463903B (zh) | 一种基于目标行为分析的行人图像实时检测方法 | |
JP2022520019A (ja) | 画像処理方法、装置、移動可能なプラットフォーム、プログラム | |
CN108198201A (zh) | 一种多目标跟踪方法、终端设备及存储介质 | |
CN115995063A (zh) | 作业车辆检测与跟踪方法和系统 | |
Bešić et al. | Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning | |
CN108734109B (zh) | 一种面向图像序列的视觉目标跟踪方法及系统 | |
CN113516664A (zh) | 一种基于语义分割动态点的视觉slam方法 | |
Qian et al. | Robust visual-lidar simultaneous localization and mapping system for UAV | |
CN110827262B (zh) | 一种基于连续有限帧红外图像的弱小目标检测方法 | |
CN106228570A (zh) | 一种真值数据确定方法和装置 | |
CN108537825B (zh) | 一种基于迁移学习回归网络的目标跟踪方法 | |
Fang et al. | Sewer defect instance segmentation, localization, and 3D reconstruction for sewer floating capsule robots | |
CN103198491A (zh) | 室内的视觉定位方法 | |
CN110517285B (zh) | 基于运动估计me-cnn网络的大场景极小目标跟踪 | |
Ćesić et al. | Detection and tracking of dynamic objects using 3D laser range sensor on a mobile platform | |
CN102054278B (zh) | 基于网格收缩的对象跟踪方法 | |
CN105096343B (zh) | 一种移动目标跟踪方法及装置 | |
CN106558069A (zh) | 一种基于视频监控下的目标跟踪方法及系统 | |
Chen et al. | Stingray detection of aerial images with region-based convolution neural network | |
Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
Du et al. | Particle filter based object tracking of 3D sparse point clouds for autopilot | |
CN112950786A (zh) | 一种基于神经网络的车辆三维重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120919 Termination date: 20150105 |
|
EXPY | Termination of patent right or utility model |