CN109544601A - 一种基于在线学习的目标检测与跟踪方法 - Google Patents

一种基于在线学习的目标检测与跟踪方法 Download PDF

Info

Publication number
CN109544601A
CN109544601A CN201811421024.9A CN201811421024A CN109544601A CN 109544601 A CN109544601 A CN 109544601A CN 201811421024 A CN201811421024 A CN 201811421024A CN 109544601 A CN109544601 A CN 109544601A
Authority
CN
China
Prior art keywords
target
tracking
line study
object detecting
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811421024.9A
Other languages
English (en)
Inventor
王少娜
庞然
刘建
王宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201811421024.9A priority Critical patent/CN109544601A/zh
Publication of CN109544601A publication Critical patent/CN109544601A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明提出一种基于在线学习的目标检测与跟踪方法，包括以下步骤：建立跟踪‑在线学习‑检测模型、差分图像、判定是否跟踪、检测到目标、形态学操作、确定待跟踪运动目标的区域、提取harris角点检测出目标和输出跟踪结果；本发明通过基于在线学习进行目标检测与跟踪可以提高训练出的检测分类器达到较高的检测率，避免出现对低置信度样本或错误样本进行学习导致分类器分类精度的逐渐下降的问题，同时可以避免目标出现较大外观变化或被大面积遮挡等复杂情况下的跟踪失败问题，本发明方法在保持跟踪准确性较高的情况下跟踪速度同步变快，可以应对目标消失在视场后再次出现在视场内的情况，能实现长时间目标跟踪。

Description

一种基于在线学习的目标检测与跟踪方法
技术领域
本发明涉及计算机视觉和视频监控技术领域，尤其涉及一种基于在线学习的目标检测与跟踪方法。
背景技术
视频目标跟踪是计算机视觉的一个重要研究方向,在视频监控、机器人等领域具有广泛的应用前景，针对在复杂环境中对目标进行长期精确跟踪的问题，目前常用的方法是结合基于机器学习的目标检测算法辅助跟踪目标。
检测算法分类器的训练需要大量手工标记的样本，由于样本具有不完备性，导致训练出的检测分类器很难达到较高的检测率，一些在线学习理论通过构造分类器作为目标检测器，容易出现对低置信度样本或错误样本进行学习导致分类器分类精度的逐渐下降的问题，同时还会导致目标出现较大外观变化或被大面积遮挡等复杂情况下的跟踪失败问题。因此，本发明提出一种基于在线学习的目标检测与跟踪方法，以解决现有技术中的不足之处。
发明内容
针对上述问题，本发明通过基于在线学习进行目标检测与跟踪可以提高训练出的检测分类器达到较高的检测率，避免出现对低置信度样本或错误样本进行学习导致分类器分类精度的逐渐下降的问题，同时可以避免目标出现较大外观变化或被大面积遮挡等复杂情况下的跟踪失败问题。
本发明提出一种基于在线学习的目标检测与跟踪方法，包括以下步骤：
步骤一：建立跟踪-在线学习-检测模型
A1：首先输入视频的第一帧进行初始化，初始化过程中被框出的待追踪目标作出标记；
A2：将标记的跟踪目标作为正样本提取其二位二值特征；
A3：用正样本初始化Lucas-Kanade跟踪器并训练在线随机森林检测器；
A4：从输入视频的第二帧开始对指定目标进行跟踪与检测，采用Lucas-Kanade算法对指定目标进行跟踪，估计目标位置；
A5：上述A4中得到的目标位置若为有效跟踪，则更新跟踪器的同时检测器在线学习跟踪结果不断更新随机森林检测器，若目标位置跟踪失败则运用检测器检测指定目标的位置；
步骤二：差分图像
用当前输入的视频帧与当前获得背景做差分获得差异图，背景的更新公式如公式(1)所示：
B(t)＝αI(t)+(1-α)B(t-1) (1)
其中，B(t)是当前获得背景；B(t-1)是前一帧获得的背景；I(t)是当前输入的视频帧；α为[0,1]的常数；
步骤三：判定是否跟踪、检测到目标
B1：设定阈值来判断跟踪的有效性，根据随机森林检测器是否输出数据来判断它能否检测到目标；
B2：若B1中检测到目标为有效跟踪或者跟踪器跟踪失败而检测器成功检测到目标，则表示跟踪到了目标，执行步骤七输出跟踪结果同时从步骤一的A4开始向下执行；
B3：若跟踪失败且检测失败，则执行步骤四；
步骤四：形态学操作
C1：通过步骤二中的差分图像获得运动目标的区域；
C2：对运动区域进行形态学操作，对各个区域进行标记；
步骤五：确定待跟踪运动目标的区域
D1：计算标记的各个区域的面积总和与上一帧处理得到的面积和之比判断目标是否被遮挡；
D2：根据质心确定待跟踪运动目标的区域；
步骤六：提取harris角点检测出目标
E1：将确定的区域对应到原视频帧中提取其harris角点,自相关矩阵描述如公式(2)所示：
其中，G(x,y)为高斯窗函数；Ix和Iy分别为图像梯度值；
角点响应函数如公式(3)所示：
R＝detM-k(traceM)2 (3)
其中，detM表示矩阵M的行列式值；traceM表示矩阵M的迹；
E2：对所有提取出来的角点进行非极大值抑制作为目标的轮廓控制点，即检测出目标；
步骤七：输出跟踪结果。
进一步改进在于：所述步骤一A2中二位二值特征为一种计算特定区域的梯度向量，量化后输出四个可能编码的特征信息。
进一步改进在于：所述步骤一A3中的Lucas-Kanade跟踪器为一种运用Lucas-Kanade方法跟踪目标的过程。
进一步改进在于：所述步骤一A3、A5和步骤三B1中的随机森林检测器为一种基于随机森林检测目标的检测过程，其中随机森林是一个包含多个决策树的分类器。
进一步改进在于：所述步骤二中背景为信息不断更新的背景。
进一步改进在于：所述步骤四C2中的形态学操作为对目标图像进行阈值二值化和滤波的过程。
进一步改进在于：所述步骤六E1中的harris角点为一种有效的点特征提取算子。
本发明的有益效果为：通过基于在线学习进行目标检测与跟踪可以提高训练出的检测分类器达到较高的检测率，避免出现对低置信度样本或错误样本进行学习导致分类器分类精度的逐渐下降的问题，同时可以避免目标出现较大外观变化或被大面积遮挡等复杂情况下的跟踪失败问题，本发明方法在保持跟踪准确性较高的情况下跟踪速度同步变快，可以应对目标消失在视场后再次出现在视场内的情况，能实现长时间目标跟踪。
附图说明
图1为本发明方法路线框架示意图。
具体实施方式
为了使发明实现的技术手段、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
本发明提出一种基于在线学习的目标检测与跟踪方法，包括以下步骤：
步骤一：建立跟踪-在线学习-检测模型
A1：首先输入视频的第一帧进行初始化，初始化过程中被框出的待追踪目标作出标记；
A2：将标记的跟踪目标作为正样本提取其二位二值特征，二位二值特征为一种计算特定区域的梯度向量，量化后输出四个可能编码的特征信息；
A3：用正样本初始化Lucas-Kanade跟踪器并训练在线随机森林检测器，Lucas-Kanade跟踪器为一种运用Lucas-Kanade方法跟踪目标的过程，随机森林检测器为一种基于随机森林检测目标的检测过程，其中随机森林是一个包含多个决策树的分类器；
A4：从输入视频的第二帧开始对指定目标进行跟踪与检测，采用Lucas-Kanade算法对指定目标进行跟踪，估计目标位置；
A5：上述A4中得到的目标位置若为有效跟踪，则更新跟踪器的同时检测器在线学习跟踪结果不断更新随机森林检测器，若目标位置跟踪失败则运用检测器检测指定目标的位置；
步骤二：差分图像
用当前输入的视频帧与当前获得的信息不断更新的背景做差分获得差异图，背景的更新公式如公式(1)所示：
B(t)＝αI(t)+(1-α)B(t-1) (1)
其中，B(t)是当前获得背景；B(t-1)是前一帧获得的背景；I(t)是当前输入的视频帧；α为[0,1]的常数；
步骤三：判定是否跟踪、检测到目标
B1：设定阈值来判断跟踪的有效性，根据随机森林检测器是否输出数据来判断它能否检测到目标；
B2：若B1中检测到目标为有效跟踪或者跟踪器跟踪失败而检测器成功检测到目标，则表示跟踪到了目标，执行步骤七输出跟踪结果同时从步骤一的A4开始向下执行；
B3：若跟踪失败且检测失败，则执行步骤四；
步骤四：形态学操作
C1：通过步骤二中的差分图像获得运动目标的区域；
C2：对运动区域目标图像进行阈值二值化和滤波操作，对各个区域进行标记；
步骤五：确定待跟踪运动目标的区域
D1：计算标记的各个区域的面积总和与上一帧处理得到的面积和之比判断目标是否被遮挡；
D2：根据质心确定待跟踪运动目标的区域；
步骤六：提取harris角点检测出目标
E1：将确定的区域对应到原视频帧中提取其harris角点,其中harris角点为一种有效的点特征提取算子，自相关矩阵描述如公式(2)所示：
其中，G(x,y)为高斯窗函数；Ix和Iy分别为图像梯度值；
角点响应函数如公式(3)所示：
R＝detM-k(traceM)2 (3)
其中，detM表示矩阵M的行列式值；traceM表示矩阵M的迹；
E2：对所有提取出来的角点进行非极大值抑制作为目标的轮廓控制点，即检测出目标；
步骤七：输出跟踪结果。
通过基于在线学习进行目标检测与跟踪可以提高训练出的检测分类器达到较高的检测率，避免出现对低置信度样本或错误样本进行学习导致分类器分类精度的逐渐下降的问题，同时可以避免目标出现较大外观变化或被大面积遮挡等复杂情况下的跟踪失败问题，本发明方法在保持跟踪准确性较高的情况下跟踪速度同步变快，可以应对目标消失在视场后再次出现在视场内的情况，能实现长时间目标跟踪。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于在线学习的目标检测与跟踪方法，其特征在于：包括以下步骤：
步骤一：建立跟踪-在线学习-检测模型
A1：首先输入视频的第一帧进行初始化，初始化过程中被框出的待追踪目标作出标记；
A2：将标记的跟踪目标作为正样本提取其二位二值特征；
A3：用正样本初始化Lucas-Kanade跟踪器并训练在线随机森林检测器；
A4：从输入视频的第二帧开始对指定目标进行跟踪与检测，采用Lucas-Kanade算法对指定目标进行跟踪，估计目标位置；
A5：上述A4中得到的目标位置若为有效跟踪，则更新跟踪器的同时检测器在线学习跟踪结果不断更新随机森林检测器，若目标位置跟踪失败则运用检测器检测指定目标的位置；
步骤二：差分图像
用当前输入的视频帧与当前获得背景做差分获得差异图，背景的更新公式如公式(1)所示：
B(t)＝αI(t)+(1-α)B(t-1) (1)
其中，B(t)是当前获得背景；B(t-1)是前一帧获得的背景；I(t)是当前输入的视频帧；α为[0,1]的常数；
步骤三：判定是否跟踪、检测到目标
B1：设定阈值来判断跟踪的有效性，根据随机森林检测器是否输出数据来判断它能否检测到目标；
B2：若B1中检测到目标为有效跟踪或者跟踪器跟踪失败而检测器成功检测到目标，则表示跟踪到了目标，执行步骤七输出跟踪结果同时从步骤一的A4开始向下执行；
B3：若跟踪失败且检测失败，则执行步骤四；
步骤四：形态学操作
C1：通过步骤二中的差分图像获得运动目标的区域；
C2：对运动区域进行形态学操作，对各个区域进行标记；
步骤五：确定待跟踪运动目标的区域
D1：计算标记的各个区域的面积总和与上一帧处理得到的面积和之比判断目标是否被遮挡；
D2：根据质心确定待跟踪运动目标的区域；
步骤六：提取harris角点检测出目标
E1：将确定的区域对应到原视频帧中提取其harris角点,自相关矩阵描述如公式(2)所示：
其中，G(x,y)为高斯窗函数；Ix和Iy分别为图像梯度值；
角点响应函数如公式(3)所示：
R＝detM-k(traceM)2 (3)
其中，detM表示矩阵M的行列式值；traceM表示矩阵M的迹；
E2：对所有提取出来的角点进行非极大值抑制作为目标的轮廓控制点，即检测出目标；
步骤七：输出跟踪结果。
2.根据权利要求1所述的一种基于在线学习的目标检测与跟踪方法，其特征在于：所述步骤一A2中二位二值特征为一种计算特定区域的梯度向量，量化后输出四个可能编码的特征信息。
3.根据权利要求1所述的一种基于在线学习的目标检测与跟踪方法，其特征在于：所述步骤一A3中的Lucas-Kanade跟踪器为一种运用Lucas-Kanade方法跟踪目标的过程。
4.根据权利要求1所述的一种基于在线学习的目标检测与跟踪方法，其特征在于：所述步骤一A3、A5和步骤三B1中的随机森林检测器为一种基于随机森林检测目标的检测过程，其中随机森林是一个包含多个决策树的分类器。
5.根据权利要求1所述的一种基于在线学习的目标检测与跟踪方法，其特征在于：所述步骤二中背景为信息不断更新的背景。
6.根据权利要求1所述的一种基于在线学习的目标检测与跟踪方法，其特征在于：所述步骤四C2中的形态学操作为对目标图像进行阈值二值化和滤波的过程。
7.根据权利要求1所述的一种基于在线学习的目标检测与跟踪方法，其特征在于：所述步骤六E1中的harris角点为一种有效的点特征提取算子。
CN201811421024.9A 2018-11-27 2018-11-27 一种基于在线学习的目标检测与跟踪方法 Pending CN109544601A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811421024.9A CN109544601A (zh) 2018-11-27 2018-11-27 一种基于在线学习的目标检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811421024.9A CN109544601A (zh) 2018-11-27 2018-11-27 一种基于在线学习的目标检测与跟踪方法

Publications (1)

Publication Number Publication Date
CN109544601A true CN109544601A (zh) 2019-03-29

Family

ID=65849718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811421024.9A Pending CN109544601A (zh) 2018-11-27 2018-11-27 一种基于在线学习的目标检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN109544601A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986236A (zh) * 2020-09-01 2020-11-24 安徽炬视科技有限公司 一种基于在线学习的抗遮挡目标跟踪算法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708571A (zh) * 2011-06-24 2012-10-03 杭州海康威视软件有限公司 视频中剧烈运动的检测方法及其装置
CN102831618A (zh) * 2012-07-20 2012-12-19 西安电子科技大学 基于霍夫森林的视频目标跟踪方法
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
CN107705321A (zh) * 2016-08-05 2018-02-16 南京理工大学 基于嵌入式系统的运动目标检测与跟踪方法
CN107967692A (zh) * 2017-11-28 2018-04-27 西安电子科技大学 一种基于跟踪学习检测的目标跟踪优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708571A (zh) * 2011-06-24 2012-10-03 杭州海康威视软件有限公司 视频中剧烈运动的检测方法及其装置
CN102831618A (zh) * 2012-07-20 2012-12-19 西安电子科技大学 基于霍夫森林的视频目标跟踪方法
CN102881022A (zh) * 2012-07-20 2013-01-16 西安电子科技大学 基于在线学习的遮挡目标跟踪方法
CN107705321A (zh) * 2016-08-05 2018-02-16 南京理工大学 基于嵌入式系统的运动目标检测与跟踪方法
CN107967692A (zh) * 2017-11-28 2018-04-27 西安电子科技大学 一种基于跟踪学习检测的目标跟踪优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘朵: "基于特征描述子的目标跟踪研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
张苑欣: "动态背景下运动目标的检测与跟踪", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986236A (zh) * 2020-09-01 2020-11-24 安徽炬视科技有限公司 一种基于在线学习的抗遮挡目标跟踪算法

Similar Documents

Publication Publication Date Title
CN106778712B (zh) 一种多目标检测与跟踪方法
CN109325935B (zh) 一种基于无人机图像的输电线路检测方法
CN109434251B (zh) 一种基于粒子滤波的焊缝图像跟踪方法
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN107657244B (zh) 一种基于多摄像机的人体跌倒行为检测系统及其检测方法
CN105279772B (zh) 一种红外序列图像的可跟踪性判别方法
CN106910204B (zh) 一种对海面船只自动跟踪识别的方法和系统
CN104574439A (zh) 一种融合卡尔曼滤波与tld算法的目标跟踪方法
CN106778570B (zh) 一种行人实时检测与跟踪方法
CN106846367B (zh) 一种基于运动约束光流法的复杂动态场景的运动物体检测方法
CN109063625A (zh) 一种基于级联深度网络的人脸关键点检测方法
CN104168444B (zh) 一种跟踪球机的目标跟踪方法及跟踪球机
CN104156976A (zh) 一种抗遮挡目标检测的多特征点跟踪方法
He et al. CamShift target tracking based on the combination of inter-frame difference and background difference
CN106599918A (zh) 车辆追踪方法及系统
CN109544601A (zh) 一种基于在线学习的目标检测与跟踪方法
Heimbach et al. Improving object tracking accuracy in video sequences subject to noise and occlusion impediments by combining feature tracking with Kalman filtering
CN111340846B (zh) 一种多特征融合的抗遮挡目标跟踪方法
CN104751487A (zh) 一种基于彩色rgb三平面色变帧差的运动目标检测方法
CN109636834A (zh) 基于tld改进算法的视频车辆目标跟踪算法
Narkhede et al. Color particle filter based object tracking using frame segmentation in CIELab and HSV color spaces
CN105023277B (zh) 基于复杂动态场景的卡尔曼粒子滤波跟踪方法
CN112465867A (zh) 一种基于卷积神经网络的红外点目标实时检测跟踪方法
CN109754412B (zh) 目标跟踪方法、目标跟踪装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190329

RJ01 Rejection of invention patent application after publication