CN103593856A - 单目标跟踪方法及系统 - Google Patents

单目标跟踪方法及系统 Download PDF

Info

Publication number
CN103593856A
CN103593856A CN201310587238.4A CN201310587238A CN103593856A CN 103593856 A CN103593856 A CN 103593856A CN 201310587238 A CN201310587238 A CN 201310587238A CN 103593856 A CN103593856 A CN 103593856A
Authority
CN
China
Prior art keywords
target
frame
tracked
module
coarse positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310587238.4A
Other languages
English (en)
Inventor
杨凌霄
葛红
谢晓华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201310587238.4A priority Critical patent/CN103593856A/zh
Publication of CN103593856A publication Critical patent/CN103593856A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种单目标跟踪方法，包括如下步骤：a.从输入视频的当前帧中手动选择一个待跟踪目标，进行随机蕨分类器训练，并建立在线目标模型；b.在所述输入视频的下一帧中产生所有可能的图像块并进行过滤，以进行待跟踪目标的图像“粗定位”；c.在得到“粗定位”的结果后，利用隐形状模型进行待跟踪目标在步骤b所述帧的精准定位；d.将前一帧中的在线目标模型与步骤b所述帧中的目标模型作加权相加，根据步骤b所述帧中待跟踪目标位置产生新的正负样本，并利用所述新的正负样本进行随机蕨分类器的再训练；及e.重复步骤b至步骤d，处理所述输入视频的每一帧信息，直至视频结束。本发明还涉及一种单目标跟踪系统。本发明能够提高单目标跟踪的实时性、稳定性以及准确度。

Description

单目标跟踪方法及系统
技术领域
本发明涉及一种单目标跟踪方法及系统。
背景技术
视觉跟踪技术是计算机视觉领域中重要的研究方向，在行人检测、车辆检测、机器人导航、自动化航空航天中等领域都有着重要的应用。同时，作为人工智能的应用基础，视觉跟踪模拟人类视觉的行为，例如：人类可以根据目标移动的速度去理解目标周围环境的变化。而计算机通过这种基本的行为——视觉跟踪去作更深层次的理解，如目标识别以及场景识别等等。所以视觉跟踪对于计算机模拟人类智能行为是不可或缺的一个研究方向。
另外，视觉跟踪技术主要是研究视频序列的跟踪，即从第一帧中选择出待跟踪的目标，通过相应的算法处理，预测该目标在后续帧中的精确位置。在目标跟踪技术中，光照的变化、目标本身的运动变化（比如目标的尺度变换、目标的表面变化、目标被遮挡或者完全消失）、复杂的背景等一系列的干扰都有可能使得目标跟踪失败或者目标跟踪结果不理想。
发明内容
有鉴于此，有必要提供一种单目标跟踪方法及系统。
本发明提供一种单目标跟踪方法，该方法包括如下步骤：a.从输入视频的当前帧中手动选择一个待跟踪目标，进行随机蕨分类器训练，并建立在线目标模型；b.在所述输入视频的下一帧中产生所有可能的图像块并进行过滤，以进行待跟踪目标的图像“粗定位”；c.在得到“粗定位”的结果后，利用隐形状模型进行待跟踪目标在步骤b所述帧的精准定位；d.将前一帧中的在线目标模型与步骤b所述帧中的目标模型作加权相加，根据步骤b所述帧中待跟踪目标位置产生新的正负样本，并利用所述新的正负样本进行随机蕨分类器的再训练；及e.重复步骤b至步骤d，处理所述输入视频的每一帧信息，直至视频结束。
其中，所述的步骤a具体包括：在输入视频当前帧的搜索空间中定义正样本最大距离r及负样本最大距离d，以所述待跟踪目标的位置为中心，在半径为r的范围内选择出正样本，在半径大于r并且小于d的范围内选择出负样本，将所述正样本及所述负样本送入随机蕨分类器进行训练。
所述的步骤b具体包括：利用随机蕨分类器过滤掉输出置信度在50%以下的图像块。
所述的步骤c具体包括：将每一个图像块中每一个点与前一帧的在线目标模型做匹配，匹配度大于阈值的点作为激活特征，利用每一个图像块中的激活特征及与待跟踪目标位置的对应关系进行投票，选出投票结果最优秀的一个图像块作为步骤b所述帧中待跟踪目标的位置。
所述的加权相加公式为：
At=αTt+(1-α)At-1
其中，At、Tt分别是t时刻的在线目标模型以及t时刻时的目标模型，α为权值，即遗忘因子。
本发明提供一种单目标跟踪系统，包括相互电性连接的处理模块、粗定位模块及精准定位模块，其中：所述处理模块用于从输入视频的当前帧中手动选择一个待跟踪目标，进行随机蕨分类器训练，并建立在线目标模型；所述粗定位模块用于在所述输入视频的下一帧中产生所有可能的图像块并进行过滤，以进行待跟踪目标的图像“粗定位”；所述精准定位模块用于在得到“粗定位”的结果后，利用隐形状模型进行待跟踪目标在所述粗定位模块中所述帧的精准定位；所述处理模块还用于将前一帧中的在线目标模型与所述粗定位模块中所述帧中的目标模型作加权相加，根据所述粗定位模块中所述帧中待跟踪目标位置产生新的正负样本，并利用所述新的正负样本进行随机蕨分类器的再训练。
其中，所述的加权相加公式为：
At=αTt+(1-α)At-1
其中，At、Tt分别是t时刻的在线目标模型以及t时刻时的目标模型，α为权值，即遗忘因子。
本发明所提供的单目标跟踪方法及系统，各部分框架相对简单，易于实现，在提高单目标跟踪的实时性、稳定性以及准确度的同时，对于目标跟踪还具有很高的鲁棒性。
附图说明
图1为本发明单目标跟踪方法的流程图；
图2为本发明单目标跟踪系统的硬件架构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
参阅图1所示，是本发明单目标跟踪方法较佳实施例的作业流程图。
步骤S401，从输入视频的当前帧中手动选择一个待跟踪目标，进行随机蕨分类器训练，并建立在线目标模型。具体步骤如下：首先输入视频当前帧，从当前帧中手动选择出一个待跟踪目标。在搜索空间中定义两个距离，正样本最大距离r以及负样本最大距离d，其中d>r。然后以所述待跟踪目标的位置为中心，在半径为r的范围内选择出N副正样本，同时在半径大于r并且小于d的范围内选择出负样本。在得到正负样本后，将其送入随机蕨分类器进行训练。并利用所述待跟踪目标即当前帧中手动选择的目标，建立在线目标模型。
步骤S402，在所述输入视频的下一帧中，进行待跟踪目标的图像“粗定位”。本发明从所述输入视频的第二帧开始进行自动的目标跟踪。具体而言，首先将输入视频的下一帧（以下称当前帧，即当前输入到随机蕨分类器的那一帧）输入到随机蕨分类器中，在前一帧定义的搜索空间d范围内，产生当前帧所有可能的图像块，然后利用随机蕨分类器快速高效的特点，过滤掉输出置信度在50%以下的图像块，进行图像“粗定位”。
步骤S403，在得到“粗定位”的结果后，利用隐形状模型（ImplicitShape Model，ISM）进行待跟踪目标在当前帧的精准定位。具体而言，利用ISM中激活特征的特点，将每一个图像块中每一个点与前一帧的在线目标模型做匹配，匹配度大于阈值a的点当作激活特征，所述阈值a为人为定义。然后利用每一个图像块中的激活特征，结合ISM中激活特征与待跟踪目标位置的对应关系进行投票，选出投票结果最优秀的一个图像块作为当前帧中待跟踪目标的位置。
步骤S404，将前一帧中的在线目标模型与当前帧中的目标模型作加权相加，根据当前帧中待跟踪目标位置产生新的正负样本，并利用所述新的正负样本进行随机蕨分类器的再训练。具体步骤如下：
在待跟踪目标在当前帧进行精准定位后，将前一帧中的在线目标模型与当前帧中的目标模型作加权相加：
At=αTt+(1-α)At-1
其中，At、Tt分别是t时刻的在线目标模型以及t时刻时的目标模型，α为权值，即遗忘因子。表示越是历史的信息，对当前帧以及下一帧的影响越小。同时，类似步骤S401，利用当前帧中待跟踪目标位置产生新的正负样本，并利用所述新的正负样本进行随机蕨分类器的再训练。
步骤S405，重复步骤S402至步骤S404，处理所述输入视频的每一帧信息，直至视频结束。
参阅图2所示，是本发明单目标跟踪系统的硬件架构图。该系统包括相互电性连接的处理模块、粗定位模块及精准定位模块。
所述处理模块用于从输入视频的当前帧中手动选择一个待跟踪目标，进行随机蕨分类器训练，并建立在线目标模型。具体步骤如下：首先输入视频当前帧，从当前帧中手动选择出一个待跟踪目标。在搜索空间中定义两个距离，正样本最大距离r以及负样本最大距离d，其中d>r。然后以所述待跟踪目标的位置为中心，在半径为r的范围内选择出N副正样本，同时在半径大于r并且小于d的范围内选择出负样本。在得到正负样本后，将其送入随机蕨分类器进行训练。并利用所述待跟踪目标即当前帧中手动选择的目标，建立在线目标模型。
所述粗定位模块用于在所述输入视频的下一帧中，进行待跟踪目标的图像“粗定位”。本发明从所述输入视频的第二帧开始进行自动的目标跟踪。具体而言，首先将输入视频的下一帧（以下称当前帧，即当前输入到随机蕨分类器的那一帧）输入到随机蕨分类器中，在前一帧定义的搜索空间d范围内，产生当前帧所有可能的图像块，然后利用随机蕨分类器快速高效的特点，过滤掉输出置信度在50%以下的图像块，进行图像“粗定位”。
所述精准定位模块用于在得到“粗定位”的结果后，利用隐形状模型（Implicit Shape Model，ISM）进行待跟踪目标在当前帧的精准定位。具体而言，利用ISM中激活特征的特点，将每一个图像块中每一个点与前一帧的在线目标模型做匹配，匹配度大于阈值a的点当作激活特征，所述阈值a为人为定义。然后利用每一个图像块中的激活特征，结合ISM中激活特征与待跟踪目标位置的对应关系进行投票，选出投票结果最优秀的一个图像块作为当前帧中待跟踪目标的位置。
所述处理模块还用于将前一帧中的在线目标模型与当前帧中的目标模型作加权相加，根据当前帧中待跟踪目标位置产生新的正负样本，并利用所述新的正负样本进行随机蕨分类器的再训练。具体步骤如下：
在待跟踪目标在当前帧进行精准定位后，将前一帧中的在线目标模型与当前帧中的目标模型作加权相加：
At=αTt+(1-α)At-1
其中，At、Tt分别是t时刻的在线目标模型以及t时刻时的目标模型，α为权值，即遗忘因子。表示越是历史的信息，对当前帧以及下一帧的影响越小。同时，类似步骤S401，利用当前帧中待跟踪目标位置产生新的正负样本，并利用所述新的正负样本进行随机蕨分类器的再训练。
虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。

Claims (7)

1.一种单目标跟踪方法，其特征在于，该方法包括如下步骤：
a.从输入视频的当前帧中手动选择一个待跟踪目标，进行随机蕨分类器训练，并建立在线目标模型；
b.在所述输入视频的下一帧中产生所有可能的图像块并进行过滤，以进行待跟踪目标的图像“粗定位”；
c.在得到“粗定位”的结果后，利用隐形状模型进行待跟踪目标在步骤b所述帧的精准定位；
d.将前一帧中的在线目标模型与步骤b所述帧中的目标模型作加权相加，根据步骤b所述帧中待跟踪目标位置产生新的正负样本，并利用所述新的正负样本进行随机蕨分类器的再训练；及
e.重复步骤b至步骤d，处理所述输入视频的每一帧信息，直至视频结束。
2.如权利要求1所述的方法，其特征在于，所述的步骤a具体包括：在输入视频当前帧的搜索空间中定义正样本最大距离r及负样本最大距离d，以所述待跟踪目标的位置为中心，在半径为r的范围内选择出正样本，在半径大于r并且小于d的范围内选择出负样本，将所述正样本及所述负样本送入随机蕨分类器进行训练。
3.如权利要求1所述的方法，其特征在于，所述的步骤b具体包括：利用随机蕨分类器过滤掉输出置信度在50%以下的图像块。
4.如权利要求1所述的方法，其特征在于，所述的步骤c具体包括：将每一个图像块中每一个点与前一帧的在线目标模型做匹配，匹配度大于阈值的点作为激活特征，利用每一个图像块中的激活特征及与待跟踪目标位置的对应关系进行投票，选出投票结果最优秀的一个图像块作为步骤b所述帧中待跟踪目标的位置。
5.如权利要求1所述的方法，其特征在于，所述的加权相加公式为：
At=αTt+(1-α)At-1
其中，At、Tt分别是t时刻的在线目标模型以及t时刻时的目标模型，α为权值，即遗忘因子。
6.一种单目标跟踪系统，其特征在于，该系统包括相互电性连接的处理模块、粗定位模块及精准定位模块，其中：
所述处理模块用于从输入视频的当前帧中手动选择一个待跟踪目标，进行随机蕨分类器训练，并建立在线目标模型；
所述粗定位模块用于在所述输入视频的下一帧中产生所有可能的图像块并进行过滤，以进行待跟踪目标的图像“粗定位”；
所述精准定位模块用于在得到“粗定位”的结果后，利用隐形状模型进行待跟踪目标在所述粗定位模块中所述帧的精准定位；
所述处理模块还用于将前一帧中的在线目标模型与所述粗定位模块中所述帧中的目标模型作加权相加，根据所述粗定位模块中所述帧中待跟踪目标位置产生新的正负样本，并利用所述新的正负样本进行随机蕨分类器的再训练。
7.如权利要求6所述的系统，其特征在于，所述的加权相加公式为：
At=αTt+(1-α)At-1
其中，At、Tt分别是t时刻的在线目标模型以及t时刻时的目标模型，α为权值，即遗忘因子。
CN201310587238.4A 2013-11-20 2013-11-20 单目标跟踪方法及系统 Pending CN103593856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310587238.4A CN103593856A (zh) 2013-11-20 2013-11-20 单目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310587238.4A CN103593856A (zh) 2013-11-20 2013-11-20 单目标跟踪方法及系统

Publications (1)

Publication Number Publication Date
CN103593856A true CN103593856A (zh) 2014-02-19

Family

ID=50083980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310587238.4A Pending CN103593856A (zh) 2013-11-20 2013-11-20 单目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN103593856A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063713A (zh) * 2014-07-04 2014-09-24 中国地质大学（武汉） 一种基于随机蕨分类器的半自主在线学习方法
CN105006003A (zh) * 2015-07-09 2015-10-28 北京航空航天大学 基于随机投影蕨的实时目标跟踪算法
CN105825233A (zh) * 2016-03-16 2016-08-03 中国地质大学（武汉） 一种基于在线学习随机蕨分类器的行人检测方法
CN106934332A (zh) * 2015-12-31 2017-07-07 中国科学院深圳先进技术研究院 一种多目标跟踪的方法
CN108038837A (zh) * 2017-12-08 2018-05-15 苏州科达科技股份有限公司 视频中目标检测方法及系统
CN110032978A (zh) * 2019-04-18 2019-07-19 北京字节跳动网络技术有限公司 用于处理视频的方法和装置
CN110033472A (zh) * 2019-03-15 2019-07-19 电子科技大学 一种复杂红外地面环境下的稳定目标跟踪方法
CN110348374A (zh) * 2019-07-09 2019-10-18 北京字节跳动网络技术有限公司 车辆检测方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1318477A2 (en) * 2001-12-07 2003-06-11 Xerox Corporation Robust appearance models for visual motion analysis and tracking
CN101038672A (zh) * 2007-04-30 2007-09-19 北京中星微电子有限公司 一种图像跟踪方法及系统
EP1952355A1 (en) * 2005-11-02 2008-08-06 Microsoft Corporation Robust online face tracking
JP2008262331A (ja) * 2007-04-11 2008-10-30 Toshiba Corp オブジェクト追跡装置およびオブジェクト追跡方法
CN102722725A (zh) * 2012-06-04 2012-10-10 西南交通大学 一种基于主动场景学习的对象跟踪方法
CN102982340A (zh) * 2012-10-31 2013-03-20 中国科学院长春光学精密机械与物理研究所 基于半监督学习和随机蕨类分类器的目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1318477A2 (en) * 2001-12-07 2003-06-11 Xerox Corporation Robust appearance models for visual motion analysis and tracking
EP1952355A1 (en) * 2005-11-02 2008-08-06 Microsoft Corporation Robust online face tracking
JP2008262331A (ja) * 2007-04-11 2008-10-30 Toshiba Corp オブジェクト追跡装置およびオブジェクト追跡方法
CN101038672A (zh) * 2007-04-30 2007-09-19 北京中星微电子有限公司 一种图像跟踪方法及系统
CN102722725A (zh) * 2012-06-04 2012-10-10 西南交通大学 一种基于主动场景学习的对象跟踪方法
CN102982340A (zh) * 2012-10-31 2013-03-20 中国科学院长春光学精密机械与物理研究所 基于半监督学习和随机蕨类分类器的目标跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BASTIAN LEIBE 等: "Combined Object Categorization and Segmentation with an Implicit Shape Model", 《ECCV 2004》 *
LINGXIAO YANG AND HONG GE: "Combining two Detectors for Object Tracking", 《ADVANCED MATERIALS RESEARCH》 *
ZDENEK KALAL 等: "P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints", 《CVPR 2010》 *
黄叶珏，郑河荣: "基于在线多示例提升随机蕨丛的目标跟踪", 《计算机应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063713A (zh) * 2014-07-04 2014-09-24 中国地质大学（武汉） 一种基于随机蕨分类器的半自主在线学习方法
CN105006003A (zh) * 2015-07-09 2015-10-28 北京航空航天大学 基于随机投影蕨的实时目标跟踪算法
CN106934332A (zh) * 2015-12-31 2017-07-07 中国科学院深圳先进技术研究院 一种多目标跟踪的方法
CN105825233A (zh) * 2016-03-16 2016-08-03 中国地质大学（武汉） 一种基于在线学习随机蕨分类器的行人检测方法
CN105825233B (zh) * 2016-03-16 2019-03-01 中国地质大学（武汉） 一种基于在线学习随机蕨分类器的行人检测方法
CN108038837A (zh) * 2017-12-08 2018-05-15 苏州科达科技股份有限公司 视频中目标检测方法及系统
CN108038837B (zh) * 2017-12-08 2020-09-29 苏州科达科技股份有限公司 视频中目标检测方法及系统
CN110033472A (zh) * 2019-03-15 2019-07-19 电子科技大学 一种复杂红外地面环境下的稳定目标跟踪方法
CN110032978A (zh) * 2019-04-18 2019-07-19 北京字节跳动网络技术有限公司 用于处理视频的方法和装置
CN110348374A (zh) * 2019-07-09 2019-10-18 北京字节跳动网络技术有限公司 车辆检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN103593856A (zh) 单目标跟踪方法及系统
CN107767405B (zh) 一种融合卷积神经网络的核相关滤波目标跟踪方法
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN110738690A (zh) 一种基于多目标追踪框架的无人机视频中车速校正方法
CN105741316A (zh) 基于深度学习和多尺度相关滤波的鲁棒目标跟踪方法
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN103617636A (zh) 基于运动信息及稀疏投影的视频目标自动检测跟踪方法
CN111797846B (zh) 一种基于特征金字塔网络的反馈式目标检测方法
US11361534B2 (en) Method for glass detection in real scenes
CN115546116B (zh) 全覆盖式岩体不连续面提取与间距计算方法及系统
Du et al. Real-time detection of vehicle and traffic light for intelligent and connected vehicles based on YOLOv3 network
CN108345823A (zh) 一种基于卡尔曼滤波的障碍物跟踪方法和装置
CN108089695A (zh) 一种控制可移动设备的方法和装置
CN106887012A (zh) 一种基于循环矩阵的快速自适应多尺度目标跟踪方法
CN107967449B (zh) 一种基于广义证据理论的多光谱图像未知目标识别方法
CN116935203A (zh) 一种基于声光融合的潜水员智能监控方法和系统
CN116222577A (zh) 闭环检测方法、训练方法、系统、电子设备及存储介质
CN117495891B (zh) 点云边缘检测方法、装置和电子设备
CN104091352A (zh) 基于结构相似度的视觉跟踪方法
Cheng et al. OpenMPR: Recognize places using multimodal data for people with visual impairments
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
CN102724530B (zh) 基于反馈控制的平面视频立体化方法
CN104200202A (zh) 一种基于累加感知机的人体上半身检测方法
CN106570536A (zh) 一种时差定位系统目标高精度跟踪滤波方法
CN116152747A (zh) 一种基于外观辨识和动作建模的人类行为意图识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140219