CN102436590A - 一种基于在线学习的实时跟踪方法及跟踪系统 - Google Patents

一种基于在线学习的实时跟踪方法及跟踪系统 Download PDF

Info

Publication number
CN102436590A
CN102436590A CN201110346086XA CN201110346086A CN102436590A CN 102436590 A CN102436590 A CN 102436590A CN 201110346086X A CN201110346086X A CN 201110346086XA CN 201110346086 A CN201110346086 A CN 201110346086A CN 102436590 A CN102436590 A CN 102436590A
Authority
CN
China
Prior art keywords
target
line study
tracking
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110346086XA
Other languages
English (en)
Inventor
刘远民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konka Group Co Ltd
Original Assignee
Konka Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konka Group Co Ltd filed Critical Konka Group Co Ltd
Priority to CN201110346086XA priority Critical patent/CN102436590A/zh
Publication of CN102436590A publication Critical patent/CN102436590A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明是基于在线学习的实时跟踪方法和系统，通过图像传感器获取图像信息，手动选择初始正样本，利用相应的处理单元完成目标特征信息的提取，根据随机森林实现目标的分类，引进分类可靠性度量，根据与目标特征信息的相似程序来确定正负本，并用于训练随机森林分类器，最后利用KLT跟踪算法实现目标的准确高精度跟踪。

Description

一种基于在线学习的实时跟踪方法及跟踪系统
技术领域
本发明涉及视频运动图像数据处理及机器视觉领域，特别涉及一种基于在线学习的实时跟踪方法和跟踪系统。
背景技术
在线学习属于增量学习的研究范畴，在这一类方法中分类器对每个样本只学一次，而不是重复的学习，这样在线学习算法运行过程中不需要大量的存储空间来存储训练样本，分类器每获得一个样本，对其学习完成后就可以删除。
在线学习大大弱化了学习过程中手工标注这一繁琐的步骤，我们只需要手工标注一个较小的样本集用于分类器的初始训练，然后该分类器在执行分类任务时能够不断的获得新样本，从而持续的自我训练和改进，提高分类精度。注意，对于获得的新样本通常要求自动标注其类别，否则无法实现检测系统的智能化。但是如何对获得的新样本进行自动的正确的标注仍然没有很好的解决办法。而训练样本标注的正确与否决定了整个训练过程的有效性。这是在线学习的一个难点。
普通的AdaBoost分类器方法，由于需要大量的样本库进行训练，因此往往难以用于在线学习，尽管学者们提出了在线学习的AdaBoost分类器方法，但其实时性能还是相对较差。
bagging和boosting是最常用的集成学习算法，并且相对于单一模型的机器学习方法，它们能明显提高分类器的分类能力和泛化能力。但是集成学习方法属于离线的学习方法，由这种方法训练出的分类器是固定的，不能通过对新样本的学习，更新和改进自身的分类能力。一旦训练样本不够完备，或者选取的特征不合适，整个分类器必须重新训练，无法在原有基础上改进，这样必将耗费了大量时间和人力，因此在线学习方法应运而生。
在线学习是一种特定的学习方法，在这一类方法中，每一个样本只被学习一次，相应的不需要对学习样本进行存储，学习完后即可删除，节省了存储空间。这种学习方法最初主要应用于一些特定的场合，如训练样本并不是事先全部都准备好的，而是一个个逐步获取到的。这样，采用在线学习方法，每获得一个样本就学习一次，然后删除该样本，不需要太多的存储空间。目前手势跟踪算法主要是基于离线学习的方法，而手是不是刚体，不同时刻变化较大，同时在线学习可以学习光照的变化，从而提高系统的白适应性，因此采用在线学习进行跟踪从原理上具有更好的可行性。
发明内容
本发明通过图像传感器获取图像信息，手动选择初始正样本，利用相应的处理单元完成目标特征信息的提取，根据随机森林实现目标的分类，引进分类可靠性度量，根据与目标特征信息的相似程序来确定正负本，并用于训练随机森林分类器，最后利用KLT跟踪算法实现目标的准确高精度跟踪。
本发明为实现其目的而采用的技术方案是：一种基于在线学习的实时跟踪方法，包括以下步骤，
步骤A、获取目标视觉信息；
步骤B、以提高图像质量为目标，完成图像的降噪和增强；
步骤C、以在线学习方法提取正负样本和相应的特征，并用随机森林进行在线学习，得到目标，并利用可靠性准则对目标进行可靠性评估；
步骤D、利用光流法完成手势目标的跟踪。
其中：所述的步骤A中，目标视觉信息包括：目标的图像信息、轮廓信息。所述的步骤D中，采用KLT跟踪方法。
本发明还提供了一种基于在线学习的实时跟踪系统，包括图像感应单元、图像处理单元、影像显示单元；
所述的普通图像感应单元：负责获取视觉信息；
所述的图像处理单元：负责图像感应单元的图像去噪与目标增强；
其特征在于：还包括在线学习单元和KLT跟踪单元；
所述的影像显示单元：负责显示影像及图形界面；
所述的在线学习单元的输入端接所述的图像处理单元的输出端：包括目标特征信息提取单元、随机森林分类器、分类可靠性度量单元；
所述的目标特征信息提取单元：负责目标的特征信息获取，以便用于实时确定正负样本；
所述的随机森林分类器：利用提取的特征的信息进行分类器的设计和分类；
所述的分类可靠性度量：利用目标在帧间变化较小这一特征，进行分类器可靠性度量，保证跟踪的可靠性；
所述的KLT跟踪单元的输入端接所述的在线学习单元的输出端：利用在线学习检测到的结果，实现目标的高精度跟踪。
发明利用在影像显示设备上的图像传感和处理单元，通过对目标特征信息的提取和正负样本的自动标注，完成在线学习所需要的样本数据，然后利用随机森林进行学习和分类，完成目标的检测，再利用KLT跟踪算法和在线学习所提供的信息完成目标的准确跟踪，从而实现基于在线学习的实时跟踪系统设计与实现。
附图说明
图1是本发明系统框图。
图2是本发明的流程图。
具体实施方式
实施例1，如图1所示，本实施例是一种利用在线学习方法实时跟踪手势的系统，该系统主要包括：
影像显示单元：负责显示影像及图形界面。
普通图像感应单元也就是摄像、照像等装置，这些装置负责获取视觉信息。也就是由一帧一帧的图像组成的影像。
图像处理单元，该单元主要是图像降噪模块：负责图像感应单元的图像去噪，为下一步的目标的有效提取和提取特征信息提供保障。
在线学习单元：主要包括目标特征信息提取单元：负责目标的特征信息获取，从图像中获取角特征信息，以便用于实时确定正负样本，这里，正负样本是自己定义的，和初始选择时的样本相似度达到一定的值就认为是正样本，否则是负样本。
随机森林分类器：利用提取的特征的信息进行随机森林分类器的设计和分类；
分类可靠性度量：利用目标在帧间变化较小这一特征，进行分类器可靠性度量，保证跟踪的可靠性，分类器分的正样本不可靠，那跟踪的可靠性就低，因此分类器可靠性高，跟踪器的可靠性才能高，度量就是用相似性度量。
KLT跟踪单元：利用在线学习检测到的结果，实现目标的高精度跟踪。
本实施例的主要步骤如图2所示包括：
1、图像传感器单元获取视觉信息；
2、图像处理单元以提高图像质量为目标，完成图像的降噪和增强；
3、在线学习单元主要用于在线学习实习目标的检测，它包括以下几个部分：目标特征信息提取，正负样本分类，正负样本在线学习(随机森林)，分类可靠性度量；
4、KLT跟踪单元，负责利用光流法完成手势目标的跟踪。
5、用户界面单元用于显示图像处理效果和操作接口。
本发明的一个较佳的实施例步骤包括：
1、显示设备单元显示用户图形界面；
2、图像传感单元获取用户所在环境图像信息；
3、图像处理单元实现图像的降噪和增强等预处理；
4、在线学习单元主要提取正负样本和相应的特征，并用随机森林进行在线学习，得到目标，并利用可靠性准则对目标进行可靠性评估；
5、KLT跟踪单元主要是通过利用特征信息和在线学习知识来实现目标的准确跟踪。

Claims (4)

1.一种基于在线学习的实时跟踪方法，其特征在于：包括以下步骤，
步骤A、获取目标视觉信息；
步骤B、以提高图像质量为目标，完成图像的降噪和增强；
步骤C、以在线学习方法提取正负样本和相应的特征，并用随机森林进行在线学习，得到目标，并利用可靠性准则对目标进行可靠性评估；
步骤D、利用光流法完成手势目标的跟踪。
2.根据权利要求1所述的基于在线学习的实时跟踪方法，其特征在于：所述的步骤A中，目标视觉信息包括：目标的图像信息、轮廓信息。
3.根据权利要求1所述的基于在线学习的实时跟踪方法，其特征在于：所述的步骤D中，采用KLT跟踪方法。
4.一种基于在线学习的实时跟踪系统，包括图像感应单元、图像处理单元、影像显示单元；
所述的普通图像感应单元：负责获取视觉信息；
所述的图像处理单元：负责图像感应单元的图像去噪与目标增强；
所述的影像显示单元：负责显示影像及图形界面；
其特征在于：还包括在线学习单元和KLT跟踪单元；
所述的在线学习单元的输入端接所述的图像处理单元的输出端：包括目标特征信息提取单元、随机森林分类器、分类可靠性度量单元；
所述的目标特征信息提取单元：负责目标的特征信息获取，以便用于实时确定正负样本；
所述的随机森林分类器：利用提取的特征的信息进行分类器的设计和分类；
所述的分类可靠性度量：利用目标在帧间变化较小这一特征，进行分类器可靠性度量，保证跟踪的可靠性；
所述的KLT跟踪单元的输入端接所述的在线学习单元的输出端：利用在线学习检测到的结果，实现目标的高精度跟踪。
CN201110346086XA 2011-11-04 2011-11-04 一种基于在线学习的实时跟踪方法及跟踪系统 Pending CN102436590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110346086XA CN102436590A (zh) 2011-11-04 2011-11-04 一种基于在线学习的实时跟踪方法及跟踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110346086XA CN102436590A (zh) 2011-11-04 2011-11-04 一种基于在线学习的实时跟踪方法及跟踪系统

Publications (1)

Publication Number Publication Date
CN102436590A true CN102436590A (zh) 2012-05-02

Family

ID=45984642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110346086XA Pending CN102436590A (zh) 2011-11-04 2011-11-04 一种基于在线学习的实时跟踪方法及跟踪系统

Country Status (1)

Country Link
CN (1) CN102436590A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708384A (zh) * 2012-06-04 2012-10-03 西南交通大学 一种基于随机蕨的自举弱学习方法及其分类器
CN102722725A (zh) * 2012-06-04 2012-10-10 西南交通大学 一种基于主动场景学习的对象跟踪方法
CN102789568A (zh) * 2012-07-13 2012-11-21 浙江捷尚视觉科技有限公司 一种基于深度信息的手势识别方法
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
CN102903122A (zh) * 2012-09-13 2013-01-30 西北工业大学 基于特征光流与在线集成学习的视频目标跟踪方法
CN103136526A (zh) * 2013-03-01 2013-06-05 西北工业大学 基于多源图像特征融合的在线目标跟踪方法
CN103226835A (zh) * 2013-04-15 2013-07-31 北京大学深圳研究生院 基于在线初始化梯度增强回归树的目标跟踪方法及系统
CN103324932A (zh) * 2013-06-07 2013-09-25 东软集团股份有限公司 基于视频的车辆检测跟踪方法和系统
CN103426172A (zh) * 2013-08-08 2013-12-04 深圳一电科技有限公司 基于视觉的目标跟踪方法及装置
CN104281852A (zh) * 2013-07-11 2015-01-14 上海瀛联体感智能科技有限公司 一种基于融合2d检测的目标跟踪算法
CN104299243A (zh) * 2014-09-28 2015-01-21 南京邮电大学 一种基于霍夫森林的目标跟踪方法
CN105389589A (zh) * 2015-11-06 2016-03-09 北京航空航天大学 一种基于随机森林回归的胸腔x光片肋骨检测方法
CN106780570A (zh) * 2016-12-21 2017-05-31 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 一种基于在线学习的实时目标跟踪方法
CN107292908A (zh) * 2016-04-02 2017-10-24 上海大学 基于klt特征点跟踪算法的行人跟踪方法
CN107491742A (zh) * 2017-07-28 2017-12-19 西安因诺航空科技有限公司 一种长时稳定的无人机目标跟踪方法
CN108073154A (zh) * 2016-11-11 2018-05-25 横河电机株式会社 信息处理装置、信息处理方法及记录介质
WO2018119996A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Unification of classifier models across device platforms
CN108595013A (zh) * 2018-05-15 2018-09-28 Oppo广东移动通信有限公司 握持识别方法、装置、存储介质及电子设备
US10733474B2 (en) 2018-07-03 2020-08-04 Sony Corporation Method for 2D feature tracking by cascaded machine learning and visual tracking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080317331A1 (en) * 2007-06-19 2008-12-25 Microsoft Corporation Recognizing Hand Poses and/or Object Classes
CN101770568A (zh) * 2008-12-31 2010-07-07 南京理工大学 基于仿射不变点及光流计算的目标自动识别和跟踪方法
CN101814149A (zh) * 2010-05-10 2010-08-25 华中科技大学 一种基于在线学习的自适应级联分类器训练方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080317331A1 (en) * 2007-06-19 2008-12-25 Microsoft Corporation Recognizing Hand Poses and/or Object Classes
CN101770568A (zh) * 2008-12-31 2010-07-07 南京理工大学 基于仿射不变点及光流计算的目标自动识别和跟踪方法
CN101814149A (zh) * 2010-05-10 2010-08-25 华中科技大学 一种基于在线学习的自适应级联分类器训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚明海等: "基于自适应子空间在线PCA的手势识别", 《模式识别与人工智能》, vol. 24, no. 2, 30 April 2011 (2011-04-30) *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722725A (zh) * 2012-06-04 2012-10-10 西南交通大学 一种基于主动场景学习的对象跟踪方法
CN102708384A (zh) * 2012-06-04 2012-10-03 西南交通大学 一种基于随机蕨的自举弱学习方法及其分类器
CN102789568B (zh) * 2012-07-13 2015-03-25 浙江捷尚视觉科技股份有限公司 一种基于深度信息的手势识别方法
CN102789568A (zh) * 2012-07-13 2012-11-21 浙江捷尚视觉科技有限公司 一种基于深度信息的手势识别方法
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
CN102881022B (zh) * 2012-07-20 2015-04-08 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
CN102903122A (zh) * 2012-09-13 2013-01-30 西北工业大学 基于特征光流与在线集成学习的视频目标跟踪方法
CN102903122B (zh) * 2012-09-13 2014-11-26 西北工业大学 基于特征光流与在线集成学习的视频目标跟踪方法
CN103136526A (zh) * 2013-03-01 2013-06-05 西北工业大学 基于多源图像特征融合的在线目标跟踪方法
CN103136526B (zh) * 2013-03-01 2015-12-23 西北工业大学 基于多源图像特征融合的在线目标跟踪方法
CN103226835A (zh) * 2013-04-15 2013-07-31 北京大学深圳研究生院 基于在线初始化梯度增强回归树的目标跟踪方法及系统
CN103324932A (zh) * 2013-06-07 2013-09-25 东软集团股份有限公司 基于视频的车辆检测跟踪方法和系统
CN103324932B (zh) * 2013-06-07 2017-04-12 东软集团股份有限公司 基于视频的车辆检测跟踪方法和系统
CN104281852A (zh) * 2013-07-11 2015-01-14 上海瀛联体感智能科技有限公司 一种基于融合2d检测的目标跟踪算法
CN103426172A (zh) * 2013-08-08 2013-12-04 深圳一电科技有限公司 基于视觉的目标跟踪方法及装置
CN103426172B (zh) * 2013-08-08 2016-12-28 深圳一电航空技术有限公司 基于视觉的目标跟踪方法及装置
CN104299243A (zh) * 2014-09-28 2015-01-21 南京邮电大学 一种基于霍夫森林的目标跟踪方法
CN104299243B (zh) * 2014-09-28 2017-02-08 南京邮电大学 一种基于霍夫森林的目标跟踪方法
CN105389589B (zh) * 2015-11-06 2018-09-18 北京航空航天大学 一种基于随机森林回归的胸腔x光片肋骨检测方法
CN105389589A (zh) * 2015-11-06 2016-03-09 北京航空航天大学 一种基于随机森林回归的胸腔x光片肋骨检测方法
CN107292908A (zh) * 2016-04-02 2017-10-24 上海大学 基于klt特征点跟踪算法的行人跟踪方法
CN108073154A (zh) * 2016-11-11 2018-05-25 横河电机株式会社 信息处理装置、信息处理方法及记录介质
CN108073154B (zh) * 2016-11-11 2021-05-18 横河电机株式会社 信息处理装置、信息处理方法及记录介质
CN106780570A (zh) * 2016-12-21 2017-05-31 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 一种基于在线学习的实时目标跟踪方法
WO2018119996A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Unification of classifier models across device platforms
US11126897B2 (en) 2016-12-30 2021-09-21 Intel Corporation Unification of classifier models across device platforms
CN107491742A (zh) * 2017-07-28 2017-12-19 西安因诺航空科技有限公司 一种长时稳定的无人机目标跟踪方法
CN108595013A (zh) * 2018-05-15 2018-09-28 Oppo广东移动通信有限公司 握持识别方法、装置、存储介质及电子设备
CN108595013B (zh) * 2018-05-15 2021-06-01 Oppo广东移动通信有限公司 握持识别方法、装置、存储介质及电子设备
US10733474B2 (en) 2018-07-03 2020-08-04 Sony Corporation Method for 2D feature tracking by cascaded machine learning and visual tracking

Similar Documents

Publication Publication Date Title
CN102436590A (zh) 一种基于在线学习的实时跟踪方法及跟踪系统
US10902056B2 (en) Method and apparatus for processing image
Chen et al. Convolutional neural network-based place recognition
CN107273502B (zh) 一种基于空间认知学习的图像地理标注方法
CN110210513B (zh) 数据分类方法、装置及终端设备
CN111695392B (zh) 基于级联的深层卷积神经网络的人脸识别方法及系统
CN105512683A (zh) 基于卷积神经网络的目标定位方法及装置
CN107480585B (zh) 基于dpm算法的目标检测方法
CN104851099A (zh) 一种基于表示学习的图像融合方法
CN110751232A (zh) 一种中文复杂场景文本检测与识别方法
Ji et al. Integrating visual selective attention model with HOG features for traffic light detection and recognition
CN104063713A (zh) 一种基于随机蕨分类器的半自主在线学习方法
EP3852061A1 (en) Method and device for damage segmentation of vehicle damage image
CN101470802B (zh) 物体检测装置和方法
CN111951232A (zh) 一种金属粉末注射成型外观缺陷检测方法及系统
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
CN109284700B (zh) 图像中多个人脸检测的方法、存储介质、设备及系统
Balasuriya et al. Learning platform for visually impaired children through artificial intelligence and computer vision
CN106919895A (zh) 用于运动目标的跟踪方法和系统
Cerman et al. A mobile recognition system for analog energy meter scanning
CN114332911A (zh) 一种头部姿态检测方法、装置及计算机设备
WO2022247403A1 (zh) 关键点检测方法、电子设备、程序及存储介质
CN110781788B (zh) 一种基于少量标注的野外机器人地面分类方法及系统
CN111797704B (zh) 一种基于相关物体感知的动作识别方法
CN111652242B (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20120502

RJ01 Rejection of invention patent application after publication