CN106408591B - 一种抗遮挡的目标跟踪方法 - Google Patents

一种抗遮挡的目标跟踪方法 Download PDF

Info

Publication number
CN106408591B
CN106408591B CN201610818828.7A CN201610818828A CN106408591B CN 106408591 B CN106408591 B CN 106408591B CN 201610818828 A CN201610818828 A CN 201610818828A CN 106408591 B CN106408591 B CN 106408591B
Authority
CN
China
Prior art keywords
target
tracking
template
tracker
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610818828.7A
Other languages
English (en)
Other versions
CN106408591A (zh
Inventor
杨欣
张鹏
张芹兰
周大可
刘冬雪
高菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201610818828.7A priority Critical patent/CN106408591B/zh
Publication of CN106408591A publication Critical patent/CN106408591A/zh
Application granted granted Critical
Publication of CN106408591B publication Critical patent/CN106408591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种抗遮挡的目标跟踪方法，首先，根据初始的图像帧，确定目标的区域，跟踪器通过该目标区域形成初始目标模板；其次，初始化级联检测器参数；接着，加入遮挡的检测机制，并实时更新阈值；然后，分别计算跟踪器和检测器对目标的跟踪置信度和检测置信度；最后，根据置信度整合跟踪结果，如跟踪器跟踪失败，用检测结果初始化，跟踪结果通过学习模块，对检测器相应参数更新。本发明通过加入遮挡的检测机制，提高跟踪算法对漂移问题的抑制能力，实现持久稳健的跟踪。

Description

一种抗遮挡的目标跟踪方法
技术领域
本发明属于计算机视觉技术领域，特别涉及了一种抗遮挡的目标跟踪方法。
背景技术
近年来，视频目标跟踪作为计算机视觉研究领域中的一个关键技术，已广泛应用到国防和民用的各个领域中，如医学诊断、智能监控、人机交互、导航制导等。视频跟踪在实际的应用当中还面临着许多问题：比如：光照的变化、目标的姿态变化以及复杂的背景环境，而长时间目标跟踪更是一个富有挑战性的工作，难点在于处理累计误差和漂移遮挡等问题上。
国内外在视频目标检测与跟踪领域比较常用的目标跟踪算法有以下几种:基于目标运动特征的跟踪算法，如：帧差分法、基于光流的跟踪方法等；基于视频序列前后相关性的目标跟踪算法，如：基于模板的相关跟踪算法、基于特征点的相关跟踪算法等；基于目标特征参数的跟踪算法，如基于轮廓的跟踪算法、基于特征点的跟踪算法等。基于区域的跟踪算法基本思想是：将目标初始所在区域的图像块作为目标模板，将目标模板与候选图像中所有可能的位置进行相关匹配，匹配度最高的地方即为目标所在的位置。最常用的相关匹配准则是差的平方和准则(Sum of Square Difference,SSD)。文献(IEEE Robust onlineappearance models for visual tracking,2003,25(10):1296-1311.)提出的基于纹理特征的自适应目标外观模型，该模型可以较好的解决目标遮挡问题，且在跟踪的过程中采用在线EM算法对目标模型进行更新。文献(Object tracking in image sequences usingpoint features,2005,38(1):105-113.)提出了一种基于点特征的目标跟踪算法，该算法首先在多个尺度空间中寻找局部曲率最大角点作为关键点，然后利用提出的MHT-IMM算法跟踪这些关键点。文献(IEEE Geodesic active contours and level sets for thedetection and tracking of moving objects.Pattern Analysis and MachineIntelligence,2000,22(3):266-280.)提出了一种用水平集方法表示目标轮廓的目标检测与跟踪算法，该方法首先通过帧间差分法得到目标边缘，然后通过概率边缘检测算子得到目标的运动边缘，通过将目标轮廓向目标运动边缘演化实现目标跟踪。文献(IEEE Superpixel tracking,2011:1323-1330.)提出一种基于超像素的跟踪方法，该方法在超像素基础上建立目标的外观模板，之后通过计算目标和背景的置信图确定目标的位置，在这个过程中，该方法不断通过分割和颜色聚类防止目标的模板漂移。基于检测的跟踪算法越来越流行。一般情况下，基于检测的跟踪算法都采用一点学习方式产生特定目标的检测器，即只用第一帧中人工标记的样本信息训练检测器。这类算法将跟踪问题简化为简单的背景和目标分离的分类问题，因此这类算法速度快并且效果理想。这类算法为了适应目标外表的变化，一般都会采用在线学习方式进行自动更新，即根据自身的跟踪结果对检测器进行更新。
总体来说，传统的跟踪方法可基本分为两种：一种是使用追踪器根据物体在上一帧的位置预测它在下一帧的位置，但这样会积累误差，而且一旦物体在图像中消失，追踪器就会永久失效，即使物体再出现也无法完成追踪；另一种方法是使用检测器，对每一帧单独处理检测物体的位置，但这又需要提前对检测器离线训练，只能用来追踪事先已知的物体，而且训练样本的差别会直接影响检测器的性能。文献(Tracking-Learning-Detection,2012,34(7):1409-1422)提出了一种新的TLD跟踪算法，采用跟踪器与检测器并行处理的框架，并通过学习模块不断更新检测器相应参数值，最终由整合模块输出跟踪结果。该算法的优点在于检测器能够对跟踪器进行纠错，同时跟踪器也能为检测器更新相应的参数值，对于姿态变化在一定范围内的目标能够实现持久跟踪。不过在持久的目标跟踪过程中，遮挡以及目标的姿态变化都是难以避免的，会导致漂移的问题。
发明内容
为了解决上述背景技术提出的技术问题，本发明旨在提供一种抗遮挡的目标跟踪方法，加入遮挡的检测机制，提高跟踪算法对漂移问题的抑制能力，实现持久稳健的跟踪。
为了实现上述技术目的，本发明的技术方案为：
一种抗遮挡的目标跟踪方法，包括以下步骤：
(1)根据初始的图像帧，确定目标区域，初始化跟踪器参数，跟踪器通过该目标区域形成初始的目标模板，采用目标模板和背景模板稀疏表示候选目标：
式(1)中，为候选目标，Tt表示目标模板，为目标模板的系数，I表示背景模板，为背景模板的系数，下标t表示第t帧，上标i＝1,2,…,N，N为候选目标总数；
(2)初始化级联检测器；
(3)加入对目标遮挡情况的检测机制，并自适应更新遮挡检测的阈值；
(4)采用加入上述遮挡检测的跟踪器进行目标跟踪，计算跟踪结果的置信度，同时采用级联检测器估计目标在下一帧的位置及其置信度，据此得到最终的跟踪结果；
(5)将跟踪结果通过学习模块来更新级联检测器的参数；如果跟踪器跟踪失败，采用检测器的结果初始化跟踪器。
进一步地，步骤(3)的具体过程如下：
(a)将式(1)改进为如下式所示的求解l1问题：
式(2)中，A'＝[Tt,I]，μt是用来控制背景模板的权重，λ是学习率；
(b)分别将目标模板的系数和背景模板的系数进行转置，得到
并据此得到判断遮挡情况的目标模板阈值σT和背景模板阈值σI：
上式中，m为无遮挡情况下的初始帧数，n为目标模板的维数，d为背景模板的维数；
(c)在初始帧后的每一帧都计算该帧相应的目标模板阈值和背景模板阈值
(d)将与σT、σI进行比较，若且说明有遮挡，此时需要更新式(2)中的参数μt：
进一步地，上述学习率λ＝0.95。
进一步地，步骤(2)中的级联检测器由方差分类器、集合分类器和最近邻分类器依次级联而成，其初始化过程为，通过对初始目标区域的仿设变换形成相应的正负样本，再将正负样本分为训练集和测试集，用训练集训练方差分类器、集合分类器和最近邻分类器，得到待定的阈值，再用测试集对级联检测类器进行修正，完成对检测器的初始化。
进一步地，在步骤(4)中，设δ1、δ2分别是跟踪器和级联检测器的预设阈值，pt、pd分别是跟踪器的级联检测器的结果置信度，当pt＞δ1&pd＞δ2时，当|pt-pd|＞预设值ε，将pt、pd中较大者对应的结果作为最终的跟踪结果输出，当|pt-pd|≤预设值ε，对跟踪器和级联检测器结果进行加权处理后作为最终的跟踪结果输出。
进一步地，上述δ1＝δ2＝0.5，ε＝0.4。
采用上述技术方案带来的有益效果：
本发明着重处理跟踪过程中因目标遮挡而发生的漂移问题，加入遮挡的检测，提高了跟踪算法对漂移问题的抑制能力，实现持久稳健的跟踪。这对于交通监控、医学视频处理、军事安全监控系统开发等方面，都具有重要的理论和实际意义。
附图说明
图1是本发明的基本流程图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
如图1所示，一种抗遮挡的目标跟踪方法，包括以下步骤：
步骤1：根据初始的图像帧，确定目标区域，初始化跟踪器参数，跟踪器通过该目标区域形成初始的目标模板，采用目标模板和背景模板稀疏表示候选目标：
式(1)中，为候选目标，Tt表示目标模板，为目标模板的系数，I表示背景模板，为背景模板的系数，下标t表示第t帧，上标i＝1,2,…,N，N为候选目标总数。
步骤2：初始化级联检测器。
级联检测器由方差分类器、集合分类器和最近邻分类器依次级联而成，其初始化过程为，通过对初始目标区域的仿设变换形成相应的正负样本，再将正负样本分为训练集和测试集，用训练集训练方差分类器、集合分类器和最近邻分类器，得到待定的阈值，再用测试集对级联检测类器进行修正，完成对检测器的初始化。
步骤3：加入对目标遮挡情况的检测机制，并自适应更新遮挡检测的阈值。具体过程如下：
(1)将式(1)改进为如下式所示的求解最优问题：
式(2)中，A'＝[Tt,I]，μt是用来控制背景模板的权重，λ是学习率，在本实施例中，λ＝0.95；
(2)分别将目标模板的系数和背景模板的系数进行转置，得到
并据此得到判断遮挡情况的目标模板阈值σT和背景模板阈值σI：
上式中，m为无遮挡情况下的初始帧数，n为目标模板的维数，d为背景模板的维数；
(3)在初始帧后的每一帧都计算该帧相应的目标模板阈值和背景模板阈值
(4)将与σT、σI进行比较，若且说明有遮挡，此时需要更新式(2)中的参数μt：
步骤4：采用加入上述遮挡检测的跟踪器进行目标跟踪，计算跟踪结果的置信度，同时采用级联检测器估计目标在下一帧的位置及其置信度，据此得到最终的跟踪结果。
设δ1、δ2分别是跟踪器和级联检测器的预设阈值，pt、pd分别是跟踪器的级联检测器的结果置信度，当pt＞δ1&pd＞δ2时，当|pt-pd|＞预设值ε，将pt、pd中较大者对应的结果作为最终的跟踪结果输出，当|pt-pd|≤预设值ε，对跟踪器和级联检测器结果进行加权处理后作为最终的跟踪结果输出。在本实施例中，δ1＝δ2＝0.5，ε＝0.4。
步骤5：将跟踪结果通过学习模块来更新级联检测器的参数；如果跟踪器跟踪失败，采用检测器的结果初始化跟踪器。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种抗遮挡的目标跟踪方法，其特征在于，包括以下步骤：
(1)根据初始的图像帧，确定目标区域，初始化跟踪器参数，跟踪器通过该目标区域形成初始的目标模板，采用目标模板和背景模板稀疏表示候选目标：
式(1)中，为候选目标，Tt表示目标模板，为目标模板的系数，I表示背景模板，为背景模板的系数，下标t表示第t帧，上标i＝1,2,…,N，N为候选目标总数；
(2)初始化级联检测器；
(3)加入对目标遮挡情况的检测机制，并自适应更新遮挡检测的阈值；
(4)采用加入上述遮挡检测的跟踪器进行目标跟踪，计算跟踪结果的置信度，同时采用级联检测器估计目标在下一帧的位置及其置信度，据此得到最终的跟踪结果；该步骤的具体过程如下：
设δ1、δ2分别是跟踪器和级联检测器的预设阈值，pt、pd分别是跟踪器的级联检测器的结果置信度，当pt＞δ1&pd＞δ2时，当|pt-pd|＞预设值ε，将pt、pd中较大者对应的结果作为最终的跟踪结果输出，当|pt-pd|≤预设值ε，对跟踪器和级联检测器结果进行加权处理后作为最终的跟踪结果输出；
(5)将跟踪结果通过学习模块更新级联检测器的参数；如果跟踪器跟踪失败，采用检测器的结果初始化跟踪器。
2.根据权利要求1所述一种抗遮挡的目标跟踪方法，其特征在于：步骤(3)的具体过程如下：
(a)将式(1)改进为如下式所示的求解最优问题：
式(2)中，A'＝[Tt,I]，ut是用来控制背景模板的权重，λ是学习率；
(b)分别将目标模板的系数和背景模板的系数进行转置，得到并据此得到判断遮挡情况的目标模板阈值σT和背景模板阈值σI：
上式中，m为无遮挡情况下的初始帧数，n为目标模板的维数，d为背景模板的维数；
(c)在初始帧后的每一帧都计算该帧相应的目标模板阈值和背景模板阈值
(d)将与σT、σI进行比较，若且说明有遮挡，此时需要更新式(2)中的参数ut：
。
3.根据权利要求2所述一种抗遮挡的目标跟踪方法，其特征在于：学习率λ＝0.95。
4.根据权利要求1所述一种抗遮挡的目标跟踪方法，其特征在于：步骤(2)中的级联检测器由方差分类器、集合分类器和最近邻分类器依次级联而成，其初始化过程为，通过对初始目标区域的仿射变换形成相应的正负样本，再将正负样本分为训练集和测试集，用训练集训练方差分类器、集合分类器和最近邻分类器，得到待定的阈值，再用测试集对级联检测类器进行修正，完成对检测器的初始化。
5.根据权利要求1所述一种抗遮挡的目标跟踪方法，其特征在于：δ1＝δ2＝0.5，ε＝0.4。
CN201610818828.7A 2016-09-09 2016-09-09 一种抗遮挡的目标跟踪方法 Active CN106408591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610818828.7A CN106408591B (zh) 2016-09-09 2016-09-09 一种抗遮挡的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610818828.7A CN106408591B (zh) 2016-09-09 2016-09-09 一种抗遮挡的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN106408591A CN106408591A (zh) 2017-02-15
CN106408591B true CN106408591B (zh) 2019-04-05

Family

ID=57999744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610818828.7A Active CN106408591B (zh) 2016-09-09 2016-09-09 一种抗遮挡的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN106408591B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10421452B2 (en) * 2017-03-06 2019-09-24 GM Global Technology Operations LLC Soft track maintenance
CN107066990B (zh) * 2017-05-04 2019-10-11 厦门美图之家科技有限公司 一种目标跟踪方法及移动设备
CN107358183B (zh) 2017-06-30 2020-09-01 Oppo广东移动通信有限公司 虹膜活体检测方法及相关产品
CN107798329B (zh) * 2017-10-29 2021-04-30 北京工业大学 基于cnn的自适应粒子滤波目标跟踪方法
CN108320298B (zh) * 2018-04-28 2022-01-28 亮风台（北京）信息科技有限公司 一种视觉目标跟踪方法与设备
CN110163197B (zh) * 2018-08-24 2023-03-10 腾讯科技（深圳）有限公司 目标检测方法、装置、计算机可读存储介质及计算机设备
CN112512435B (zh) * 2018-08-24 2023-06-30 深圳迈瑞生物医疗电子股份有限公司 超声图像处理设备及方法及计算机可读存储介质
CN110009665B (zh) * 2019-03-12 2020-12-29 华中科技大学 一种遮挡环境下的目标检测跟踪方法
CN110222764B (zh) * 2019-06-10 2021-06-18 中南民族大学 遮挡目标检测方法、系统、设备及存储介质
CN111242977B (zh) * 2020-01-09 2023-04-25 影石创新科技股份有限公司 全景视频的目标跟踪方法、可读存储介质及计算机设备
WO2021223166A1 (zh) * 2020-05-07 2021-11-11 深圳市大疆创新科技有限公司 状态信息确定方法、装置、系统、可移动平台和存储介质
CN113096160B (zh) * 2021-06-09 2021-10-29 深圳市优必选科技股份有限公司 多目标追踪方法、装置、设备及存储介质
CN113793365B (zh) * 2021-11-17 2022-04-29 第六镜科技(成都)有限公司 目标跟踪方法、装置、计算机设备及可读存储介质
CN114821795B (zh) * 2022-05-05 2022-10-28 北京容联易通信息技术有限公司 一种基于ReID技术的人员跑动检测和预警方法及系统
CN115861379B (zh) * 2022-12-21 2023-10-20 山东工商学院 孪生网络基于局部可信模板进行模板更新的视频跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299247A (zh) * 2014-10-15 2015-01-21 云南大学 一种基于自适应测量矩阵的视频目标跟踪方法
CN104820996A (zh) * 2015-05-11 2015-08-05 河海大学常州校区 一种基于视频的自适应分块的目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299247A (zh) * 2014-10-15 2015-01-21 云南大学 一种基于自适应测量矩阵的视频目标跟踪方法
CN104820996A (zh) * 2015-05-11 2015-08-05 河海大学常州校区 一种基于视频的自适应分块的目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real Time Robust L1 Tracker Using Accelerated Proximal Gradient Approach;Chenglong Bao et.al.;《IEEE Xplore》;20120726;正文第3-4节
基于TLD的视频目标跟踪算法研究;张帅领;《中国优秀硕士学位论文全文数据库 信息科技辑》;20141115(第11期);正文第2-4章

Also Published As

Publication number Publication date
CN106408591A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN106408591B (zh) 一种抗遮挡的目标跟踪方法
CN103971386B (zh) 一种动态背景场景下的前景检测方法
Simo-Serra et al. A joint model for 2d and 3d pose estimation from a single image
CN110490158B (zh) 一种基于多级模型的鲁棒人脸对齐方法
CN101593022B (zh) 一种基于指端跟踪的快速人机交互方法
CN104881029B (zh) 基于一点ransac和fast算法的移动机器人导航方法
Chang et al. Tracking Multiple People Under Occlusion Using Multiple Cameras.
CN103489199B (zh) 视频图像目标跟踪处理方法和系统
CN103514441B (zh) 基于移动平台的人脸特征点定位跟踪方法
CN105117720B (zh) 基于时空模型的目标尺度自适应跟踪方法
CN103854283A (zh) 一种基于在线学习的移动增强现实跟踪注册方法
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN110390685B (zh) 一种基于事件相机的特征点跟踪方法
CN103440510A (zh) 一种面部图像中特征点的定位方法
CN105279769A (zh) 一种联合多特征的层次粒子滤波跟踪方法
Zhang Detection and tracking of human motion targets in video images based on camshift algorithms
CN106780567B (zh) 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法
CN102289822A (zh) 一种多摄像机协同跟踪运动目标的方法
CN102609945A (zh) 可见光和热红外图像序列自动配准方法
CN112464847A (zh) 视频中人体动作切分方法及装置
CN110021029A (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN111524183A (zh) 一种基于透视投影变换的目标行列定位方法
CN104574443A (zh) 一种全景摄像机间运动目标的协同跟踪方法
Jia et al. Vision based data fusion for autonomous vehicles target tracking using interacting multiple dynamic models
CN110309729A (zh) 基于异常峰值检测和孪生网络的跟踪与重检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant