CN111539995B - 一种基于特征点轨迹的多目标跟踪方法 - Google Patents

一种基于特征点轨迹的多目标跟踪方法 Download PDF

Info

Publication number
CN111539995B
CN111539995B CN202010197750.8A CN202010197750A CN111539995B CN 111539995 B CN111539995 B CN 111539995B CN 202010197750 A CN202010197750 A CN 202010197750A CN 111539995 B CN111539995 B CN 111539995B
Authority
CN
China
Prior art keywords
target
tracking
tra
frames
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010197750.8A
Other languages
English (en)
Other versions
CN111539995A (zh
Inventor
李小飞
汪宁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snegrid Electric Technology Co ltd
Original Assignee
Snegrid Electric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snegrid Electric Technology Co ltd filed Critical Snegrid Electric Technology Co ltd
Priority to CN202010197750.8A priority Critical patent/CN111539995B/zh
Publication of CN111539995A publication Critical patent/CN111539995A/zh
Application granted granted Critical
Publication of CN111539995B publication Critical patent/CN111539995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征点轨迹的多目标跟踪方法，涉及多目标跟踪技术领域。本发明包括生成模型，通过建立模型描述目标的表观特征；判别模型，通过分类器来判别图像块属于目标或背景；多目标跟踪，在较小的时间片段内采用离线跟踪的方法，即在N帧内进行离线跟踪；多目标跟踪还包括提前获取N帧图像的特征点，特征点轨迹，衡量跟踪精度。本发明通过多目标跟踪提前获取图像的特征点，用未来信息指导跟踪器，在更大的时间跨度内搜索目标的特征，有助于解决目标跟踪的遮挡难题；并且使用特征点轨迹跟踪目标，解决特征点消失的问题，目标在当前帧被遮挡，当遮挡消除后特征点将会再次与轨迹匹配上，不会影响跟踪效果。

Description

一种基于特征点轨迹的多目标跟踪方法
技术领域
本发明属于多目标跟踪技术领域，特别是涉及一种基于特征点轨迹的多目标跟踪方法。
背景技术
在复杂的场景中，一种有效而且鲁棒的多目标跟踪算法是很多计算机视觉应用的基础，比如说视频监控、自动驾驶、人机交互等。多目标跟踪的任务就是用带边框的矩形框来标定目标物体，并且在接下来的视频帧中确定其具体位置。
现有的跟踪装置在发生遮挡的情况下容易将遮挡区域引入到模型中并进行错误更新，最后将会导致跟踪器产生误差和漂移，影响跟踪效果。
发明内容
本发明的目的在于提供一种基于特征点轨迹的多目标跟踪方法，通过多目标跟踪并提前获取图像的特征点，解决了现有的跟踪装置在发生遮挡的情况下容易将遮挡区域引入到模型中并进行错误更新，导致跟踪器产生误差和漂移，影响跟踪效果的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种基于特征点轨迹的多目标跟踪方法，包括：
SS01生成模型，通过建立模型描述目标的表观特征；
SS02判别模型，通过分类器来判别图像块属于目标或背景；
SS03多目标跟踪，在N帧内进行离线跟踪；
所述生成模型通过子空间法建立模型，然后在所有的候选区域中搜索重构误差最小的一个，将其作为下一帧目标的位置；
所述判别模型包含采用一个在线Boosting训练的分类器，分类器将图像块作为输入，输出0-1之间的得分来反映图像块包含对象的概率，当分类器肯定图像块是背景时，得分为0；肯定图像块是跟踪对象时，得分为1；
所述在N帧内进行离线跟踪包括：
SS031提前获取N帧图像的特征点：当处理第t帧的图像It时，通过引入延时，提前保存N帧将会出现的图像，用这些帧的图像信息判断第t帧中目标的位置，已经保存的图像序列为{It-1,It,…,It+N-1}，共N+1帧，处理完第t-1帧图像后处理It，将移出序列并保存It+N，保持序列的长度为N+1；
SS032确定特征点轨迹是否连续：定义集合VTra，其包含所有的轨迹，表达式为VTra＝{Tra1,Tra2,…Trai,TraUnKnow},Trai是属于状态si的M条轨迹的集合，
Figure GDA0003600131980000021
TraUnKnow是未知其属性的轨迹集合，一条轨迹tra＝(f,{r})是由一个描述符f和若干个二维点坐标组成的，如果每一帧的特征点都能被下一帧的点匹配上，那么轨迹在帧之间就是连续的，否则是不连续的；
SS033衡量跟踪精度：假设跟踪器输出的跟踪框区域为γt，准确的边界框是γa，重叠率的定义为：
Figure GDA0003600131980000022
其中∩和∪分别表示两个区域的交集和并集，|·|指其区域内的像素点个数，重叠率越高，跟踪效果越好。
本发明具有以下有益效果：
本发明通过多目标跟踪提前获取图像的特征点，用未来信息指导跟踪器，通过引入延迟，获取未来出现的N帧图像，在更大的时间跨度内搜索目标的特征，有助于解决目标跟踪的遮挡难题；并且使用特征点轨迹跟踪目标，解决特征点消失的问题，轨迹包含不同帧上的多个相似特征点，即使目标在当前帧被遮挡，部分特征点消失，当遮挡消除后特征点将会再次与轨迹匹配上，不会影响跟踪效果。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种基于特征点轨迹的多目标跟踪方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明为一种基于特征点轨迹的多目标跟踪方法，包括：
SS01生成模型，通过建立模型描述目标的表观特征；
SS02判别模型，通过分类器来判别图像块属于目标或背景；
SS03多目标跟踪，在较小的时间片段内采用离线跟踪的方法，即在N帧内进行离线跟踪；
生成模型通过子空间法建立模型，然后在所有的候选区域中搜索重构误差最小的一个，将其作为下一帧目标的位置；
判别模型包含一个在线Boosting训练的分类器，分类器将图像块作为输入，输出0-1之间的得分来反映图像块包含对象的概率，当分类器肯定图像块是背景时，得分为0；肯定图像块是跟踪对象时，得分为1。
其中，在N帧内进行离线跟踪包括：
SS031提前获取N帧图像的特征点：当处理第t帧的图像It时，通过引入延时，提前保存N帧将会出现的图像，用这些帧的图像信息判断第t帧中目标的位置，已经保存的图像序列为{It-1,It,…,It+N-1}，共N+1帧，处理完第t-1帧图像后处理It，将移出序列并保存It+N，保持序列的长度为N+1；
SS032特征点轨迹：为了准确地表述整个过程，定义一些变量，集合VTra包含所有的轨迹，表达式为VTra＝{Tra1,Tra2,…Trai,TraUnKnow},Trai是属于状态si的M条轨迹的集合，即
Figure GDA0003600131980000041
TraUnKnow是未知其属性的轨迹集合，一条轨迹tra＝(f,{r})是由一个描述符f和若干个二维点坐标组成的，如果每一帧的特征点都能被下一帧的点匹配上，那么轨迹在帧之间就是连续的，否则是不连续的；
SS033衡量跟踪精度：假设跟踪器输出的跟踪框区域为γt，准确的边界框是γa，重叠率的定义为：
Figure GDA0003600131980000042
其中∩和∪分别表示两个区域的交集和并集，|·|指其区域内的像素点个数，重叠率越高，说明跟踪效果越好，重叠率是衡量跟踪精度的指标。
本实施例的工作原理为：通过多目标跟踪提前获取图像的特征点，用未来信息指导跟踪器，通过引入延迟，获取未来出现的N帧图像，在更大的时间跨度内搜索目标的特征，有助于解决目标跟踪的遮挡难题；并且使用特征点轨迹跟踪目标，解决特征点消失的问题，轨迹包含不同帧上的多个相似特征点，即使目标在当前帧被遮挡，部分特征点消失，当遮挡消除后特征点将会再次与轨迹匹配上，不会影响跟踪效果。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (1)

1.一种基于特征点轨迹的多目标跟踪方法，其特征在于，包括：
SS01生成模型，通过建立模型描述目标的表观特征；
SS02判别模型，通过分类器来判别图像块属于目标或背景；
SS03多目标跟踪，在N帧内进行离线跟踪；
所述生成模型通过子空间法建立模型，然后在所有的候选区域中搜索重构误差最小的一个，将其作为下一帧目标的位置；
所述判别模型包含采用一个在线Boosting训练的分类器，分类器将图像块作为输入，输出0-1之间的得分来反映图像块包含对象的概率，当分类器肯定图像块是背景时，得分为0；肯定图像块是跟踪对象时，得分为1；
所述在N帧内进行离线跟踪包括：
SS031提前获取N帧图像的特征点：当处理第t帧的图像It时，通过引入延时，提前保存N帧将会出现的图像，用这些帧的图像信息判断第t帧中目标的位置，已经保存的图像序列为{It-1,It,…,It+N-1}，共N+1帧，处理完第t-1帧图像后处理It，将移出序列并保存It+N，保持序列的长度为N+1；
SS032确定特征点轨迹是否连续：定义集合VTra，其包含所有的轨迹，表达式为VTra＝{Tra1,Tra2,…Trai,TraUnKnow},Trai是属于状态si的M条轨迹的集合，
Figure FDA0003600131970000011
TraUnKnow是未知其属性的轨迹集合，一条轨迹tra＝(f,{r})是由一个描述符f和若干个二维点坐标组成的，如果每一帧的特征点都能被下一帧的点匹配上，那么轨迹在帧之间就是连续的，否则是不连续的；
SS033衡量跟踪精度：假设跟踪器输出的跟踪框区域为γt，准确的边界框是γa，重叠率的定义为：
Figure FDA0003600131970000021
其中∩和∪分别表示两个区域的交集和并集，|·|指其区域内的像素点个数，重叠率越高，跟踪效果越好。
CN202010197750.8A 2020-03-19 2020-03-19 一种基于特征点轨迹的多目标跟踪方法 Active CN111539995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010197750.8A CN111539995B (zh) 2020-03-19 2020-03-19 一种基于特征点轨迹的多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010197750.8A CN111539995B (zh) 2020-03-19 2020-03-19 一种基于特征点轨迹的多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111539995A CN111539995A (zh) 2020-08-14
CN111539995B true CN111539995B (zh) 2022-07-05

Family

ID=71952086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010197750.8A Active CN111539995B (zh) 2020-03-19 2020-03-19 一种基于特征点轨迹的多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111539995B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480704A (zh) * 2017-07-24 2017-12-15 南开大学 一种具有遮挡感知机制的实时视觉目标跟踪方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385690B (zh) * 2010-09-01 2014-01-15 汉王科技股份有限公司 基于视频图像的目标跟踪方法及系统
CN102034355A (zh) * 2010-12-28 2011-04-27 丁天 一种基于特征点匹配的车辆检测及跟踪方法
CN102722725B (zh) * 2012-06-04 2014-05-21 西南交通大学 一种基于主动场景学习的对象跟踪方法
KR20140108828A (ko) * 2013-02-28 2014-09-15 한국전자통신연구원 카메라 트래킹 장치 및 방법
CN110276783B (zh) * 2019-04-23 2021-01-08 上海高重信息科技有限公司 一种多目标跟踪方法、装置及计算机系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480704A (zh) * 2017-07-24 2017-12-15 南开大学 一种具有遮挡感知机制的实时视觉目标跟踪方法

Also Published As

Publication number Publication date
CN111539995A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
US11643076B2 (en) Forward collision control method and apparatus, electronic device, program, and medium
CN106203423B (zh) 一种融合上下文探测的弱结构感知视觉目标跟踪方法
WO2021036373A1 (zh) 目标跟踪方法、装置和计算机可读存储介质
US11880985B2 (en) Tracking multiple objects in a video stream using occlusion-aware single-object tracking
CN114049383B (zh) 一种多目标跟踪方法、设备及可读存储介质
US10937150B2 (en) Systems and methods of feature correspondence analysis
Liu et al. Robust tracking and redetection: Collaboratively modeling the target and its context
Qing et al. A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation
CN112149664A (zh) 一种优化分类与定位任务的目标检测方法
Wang et al. Improving RGB-D SLAM accuracy in dynamic environments based on semantic and geometric constraints
Callemein et al. Automated analysis of eye-tracker-based human-human interaction studies
CN111539995B (zh) 一种基于特征点轨迹的多目标跟踪方法
Shan et al. Visual tracking using IPCA and sparse representation
Ma et al. Depth-guided progressive network for object detection
Xu et al. Jointly modeling association and motion cues for robust infrared UAV tracking
Lian et al. A real-time traffic environmental perception algorithm fusing stereo vision and deep network
Choeychuen et al. Robust ambiguous target handling for visual object tracking
KR20200005853A (ko) 심층 구조 학습 기반 사람 계수 방법 및 시스템
Wang et al. G-NET: Accurate Lane Detection Model for Autonomous Vehicle
CN116363761B (zh) 基于图像的行为识别方法、装置及电子设备
Zhou et al. Skew Distribution NMS Algorithm for Text Detection in Natural Scenes
Motro et al. Vehicular Multi-Object Tracking with Persistent Detector Failures
CN111291630A (zh) 基于联合预测-检测-修正框架的长期目标跟踪算法
CN117475135A (zh) 一种目标图像识别和稳定跟踪方法与系统
Zhang Block-Matching Multi-pedestrian Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant