CN113838091B - 一种稀疏目标跟踪方法 - Google Patents

一种稀疏目标跟踪方法 Download PDF

Info

Publication number
CN113838091B
CN113838091B CN202111117021.8A CN202111117021A CN113838091B CN 113838091 B CN113838091 B CN 113838091B CN 202111117021 A CN202111117021 A CN 202111117021A CN 113838091 B CN113838091 B CN 113838091B
Authority
CN
China
Prior art keywords
target
foreground
matching
targets
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111117021.8A
Other languages
English (en)
Other versions
CN113838091A (zh
Inventor
郑丽颖
张钰渤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202111117021.8A priority Critical patent/CN113838091B/zh
Publication of CN113838091A publication Critical patent/CN113838091A/zh
Application granted granted Critical
Publication of CN113838091B publication Critical patent/CN113838091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于目标跟踪技术领域,具体涉及一种稀疏目标跟踪方法。本发明利用Mask R‑CNN获得各目标的精确前景图像区域,并利用ReID网络提取各目标的128维前景特征;在原视频图像上以各个目标为中心,裁剪出包含背景的目标图像块,并将裁剪后各个目标图像块输入到ReID网络,提取128维前景+背景特征;利用卡尔曼滤波进行轨迹预测,并利用余弦距离和匈牙利算法获得目标前景特征匹配结果和目标前景+背景特征匹配结果;对级联匹配后的结果进行IoU匹配;利用IoU匹配结果对各个目标轨迹进行更新。本发明通过引入目标前景信息、目标前景+背景信息和近邻目标信息来提高跟踪精度、改善跟踪性能。

Description

一种稀疏目标跟踪方法
技术领域
本发明属于目标跟踪技术领域,具体涉及一种稀疏目标跟踪方法。
背景技术
目标跟踪属于智能决策技术范畴,是在同一视频序列的同一帧中标记目标并进行跟踪的技术。复杂背景下的多目标跟踪问题分为稀疏目标背景和密集目标背景。当目标分布稀疏时,目标区域较大且分布较为离散,多用于视频监控、自动驾驶等多种军事及民用应用领域中。目前,复杂背景下的稀疏目标跟踪问题逐渐成为研究热点。
研究人员在目标检测器的基础上提出了多种目标跟踪技术和方法。总的来说,现有跟踪方法可分为检测后跟踪方法和边检测边跟踪方法。其中,检测后跟踪方法凭借着优异的性能和较快的运行速度,获得了学术界和工业界的青睐。基于感兴趣人(Person ofInterest,POI)的算法提出了一种基于深度学习检测和重识别(Re-identification,ReID)提取的外观特征进行目标跟踪的方法,证明了好的检测和外观特征对多目标跟踪的重要性。基于长短时记忆(LongShort-Term Memory,LSTM)的目标跟踪方法将检测和外观特征输入到LSTM中得到目标间相似性得分,然后进行关联。基于深度简单在线实时跟踪(DeepSimple Online and Realtime Tracking,DeepSORT)的多目标算法提出了一种整合外观信息进行关联的策略,解决了遮挡时间较长的多目标跟踪问题,并大大减少了身份切换的数量。尽管提出了多种方法,但是当面临长期遮挡和复杂背景的多目标检测任务时,由于目标对象的外观特征发生了巨大改变,现有多目标跟踪技术无法解决跟踪精度低和跟踪率下降的情况,从而影响了多目标跟踪性能。
发明内容
本发明的目的在于解决在稀疏目标分布场景下,现有目标跟踪算法跟踪精度和跟踪率下降问题,提供一种稀疏目标跟踪方法。
本发明的目的通过如下技术方案来实现:包括以下步骤:
步骤1:逐帧输入目标检测结果,并删除检测置信度低的目标;
步骤2:利用Mask R-CNN获得各目标的精确前景图像区域,并利用ReID网络提取各目标的128维前景特征;
步骤3:考虑到目标的运动因素,在原视频图像上以各个目标为中心,裁剪出包含背景的目标图像块,并将裁剪后各个目标图像块输入到ReID网络,提取128维前景+背景特征;
步骤4:利用卡尔曼滤波进行轨迹预测,并利用余弦距离和匈牙利算法获得目标前景特征匹配结果和目标前景+背景特征匹配结果;
步骤5:找出目标前景匹配结果和前景+背景匹配结果不一致的目标;
步骤6:根据待匹配目标所具有的相同邻居数,确定选择使用目标前景匹配结果还是前景+背景匹配结果;
步骤6.1:根据历史匹配结果,找出步骤5中匹配结果不一致目标的3个最近历史邻居目标,并将其邻居目标的轨迹编号集合记录为historyid
步骤6.2:根据当前帧的检测结果,对于步骤5中匹配结果不一致的目标,找出其最近的3个邻居目标,并根据目标前景匹配和前景+背景匹配结果,分别得到这3个邻居目标所对应的轨迹编号集合currentid
步骤6.3:统计目标前景匹配的historyid和currentid交集元素个数,记为ForeN
步骤6.4:统计目标前景+背景匹配下的historyid和currentid交集元素个数,记为AllN
步骤6.5:如果AllN<ForeN,则选择目标前景匹配结果作为级联匹配结果,否则选择前景+背景匹配结果作为级联匹配结果;
步骤7:对级联匹配后的结果进行IoU匹配;
步骤8:利用IoU匹配结果对各个目标轨迹进行更新;
步骤9:重复步骤4至步骤8直至视频的最后一帧。
本发明的有益效果在于:
本发明设计了一种新的目标跟踪方法,通过引入目标前景信息、目标前景+背景信息和近邻目标信息来提高跟踪精度、改善跟踪性能。本发明解决了在稀疏目标分布场景下,现有目标跟踪算法跟踪精度和跟踪率下降问题。
附图说明
图1为本发明的流程图。
图2为本发明的实施例中选取MOT16数据集中具有稀疏行人分布的序列测试本发明的测试结果表。
具体实施方式
下面结合附图对本发明做进一步描述。
为解决在稀疏目标分布场景下,现有目标跟踪算法跟踪精度和跟踪率下降问题,本发明设计了一种新的目标跟踪方法,通过引入目标前景信息、目标前景+背景信息和近邻目标信息来提高跟踪精度、改善跟踪性能。
一种稀疏目标跟踪方法,包括以下步骤:
步骤1)逐帧输入目标检测结果,并删除检测置信度低的目标。
步骤2)利用基于掩模区域的卷积神经网络分割算法(MaskRegion-based CNN,Mask R-CNN)获得各目标的精确前景图像区域,并利用ReID网络提取各目标的128维前景特征。
步骤3)考虑到目标的运动因素,在原视频图像上以各个目标为中心,裁剪出包含背景的目标图像块,并将裁剪后各个目标图像块输入到ReID网络,提取128维前景+背景特征。
步骤4)利用卡尔曼滤波进行轨迹预测,并利用余弦距离和匈牙利算法获得目标前景特征匹配结果和目标前景+背景特征匹配结果。
步骤5)找出目标前景匹配结果和前景+背景匹配结果不一致的目标。
步骤6)由于遮挡等原因,目标的外观特征已经不可信了。因此,本发明利用周围邻居信息进行辅助关联。根据待匹配目标所具有的相同邻居数,确定选择使用目标前景匹配结果还是前景+背景匹配结果。具体包括:
a)根据历史匹配结果,找出5)中匹配结果不一致目标的3个最近历史邻居目标,并将其邻居目标的轨迹编号集合记录为historyid
b)根据当前帧的检测结果,对于5)中匹配结果不一致的目标,找出其最近的3个邻居目标,并根据目标前景匹配和前景+背景匹配结果,分别得到这3个邻居目标所对应的轨迹编号集合currentid
c)统计目标前景匹配的historyid和currentid交集元素个数,记为ForeN
d)统计目标前景+背景匹配下的historyid和currentid交集元素个数,记为AllN
e)如果AllN<ForeN,则选择目标前景匹配结果作为级联匹配结果,否则选择前景+背景匹配结果作为级联匹配结果。
步骤7)对级联匹配后的结果进行重叠度(Intersection over Union,IoU)匹配。
步骤8)利用IoU匹配结果对各个目标轨迹进行更新。
步骤9)重复步骤4)至步骤8)直至视频的最后一帧。
实施例1:
下面结合图1详细描述本发明的具体实施方式。令输入为视频图像和MOT16-POI的检测结果。设每个检测目标由(t,x,y,w,h,score)表示,其中x,y分别表示目标框左上角的横、纵坐标,w,h分别表示目标框的宽度和高度,score表示检测结果的置信度。本发明提出的稀疏目标跟踪技术的具体实现步骤如下:
步骤1,删除score<=0.3的目标。
步骤2,提取目标前景特征:利用检测结果在视频中裁剪出各个目标对应的图像块。将各图像块输入Mask R-CNN,获得目标的精确前景图像,并将目标前景图像输入到ReID网络,提取目标的128维前景特征。在此步骤中,利用如下方法获取目标的精确前景图像:
(a)如果Mask R-CNN计算掩码时发现目标图像块中有多个对象,则分别统计每个对象掩码的像素数,保留像素数最多的目标掩码。如果只有一个对象则保留全部掩码信息。
(b)利用(a)中得到的掩码信息,获得目标图像块中对应位置的图像信息,并将该信息叠加在相同大小的黑色背景上,得到最终的目标精确前景图像。
步骤3,对于目标O=(t,x,y,w,h,score),在原视频图像上裁剪包含目标前景和背景信息的图像块,相应的裁剪区域为(x-a,y-a,w+2a,h+2a),其中a为正整数,其他参数含义同前所述。将裁剪后图像块输入到ReID网络,提取目标的128维前景+背景特征。
步骤4,将当前视频帧中满足步骤1条件的目标检测结果及其前景特征和前景+背景特征输入到DeepSORT模型中。
步骤5,根据当前视频帧中各目标的状态信息,利用卡尔曼滤波器预测其在下一帧中的位置。
步骤6,利用级联匹配算法对历史匹配结果(轨迹)和当前帧检测结果进行初步匹配。具体包括:
(a)分别对历史匹配结果(轨迹)和当前帧目标检测结果进行标号。如果没有历史匹配结果,则转到步骤4。
(b)分别利用目标前景特征和前景+背景特征,根据余弦距离和匈牙利算法得到目标前景的匹配结果indicesmask和目标前景+背景的匹配结果indicesall
(c)找出目标前景匹配结果indicesmask和目标前景+背景匹配indicesall结果不一致的目标。
(d)根据历史匹配结果,找出c)中结果不一致目标的3个最近历史邻居目标,并将其邻居轨迹编号集合记录为historyid
(e)根据当前帧的检测结果,对于c)中结果不一致的目标,找出其最近的3个邻居目标,并根据目标前景匹配和目标前景+背景匹配结果,分别得到这3个邻居目标对应的轨迹编号集合,记为currentid
(f)计算目标前景匹配下的historyid和currentid交集元素个数,记为ForeN
(g)计算目标前景+背景匹配下的historyid和currentid交集元素个数,记为AllN
(h)如果AllN<ForeN,则选择目标前景匹配结果indicesmask作为级联匹配结果;否则选择目标前景+背景匹配结果indicesall作为级联匹配结果。
步骤7:对步骤6(h)的级联匹配结果进行IoU匹配。
步骤8:利用IoU匹配结果更新各个目标的轨迹。
步骤9:读取下一帧视频,重复步骤4至步骤8直至视频序列结束。
与现有技术相比,本发明的有益效果是:跟踪准确度高,并且跟踪率高。
选取MOT16数据集中具有稀疏行人分布的序列测试本发明所提出的目标跟踪方法,结果如图2所示。实验表明:在稀疏人群分布的测试集上,多目标跟踪精度有所提升,伪负有所减少,本发明提出的跟踪方法的跟踪性能优于DeepSORT方法,达到了更好的跟踪效果。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (1)

1.一种稀疏目标跟踪方法,其特征在于,包括以下步骤:
步骤1:逐帧输入目标检测结果,并删除检测置信度低的目标;
步骤2:利用Mask R-CNN获得各目标的精确前景图像区域,并利用ReID网络提取各目标的128维前景特征;
步骤3:考虑到目标的运动因素,在原视频图像上以各个目标为中心,裁剪出包含背景的目标图像块,并将裁剪后各个目标图像块输入到ReID网络,提取128维前景+背景特征;
步骤4:利用卡尔曼滤波进行轨迹预测,并利用余弦距离和匈牙利算法获得目标前景特征匹配结果和目标前景+背景特征匹配结果;
步骤5:找出目标前景匹配结果和前景+背景匹配结果不一致的目标;
步骤6:根据待匹配目标所具有的相同邻居数,确定选择使用目标前景匹配结果还是前景+背景匹配结果;
步骤6.1:根据历史匹配结果,找出步骤5中匹配结果不一致目标的3个最近历史邻居目标,并将其邻居目标的轨迹编号集合记录为historyid
步骤6.2:根据当前帧的检测结果,对于步骤5中匹配结果不一致的目标,找出其最近的3个邻居目标,并根据目标前景匹配和前景+背景匹配结果,分别得到这3个邻居目标所对应的轨迹编号集合currentid
步骤6.3:统计目标前景匹配的historyid和currentid交集元素个数,记为ForeN
步骤6.4:统计目标前景+背景匹配下的historyid和currentid交集元素个数,记为AllN
步骤6.5:如果AllN<ForeN,则选择目标前景匹配结果作为级联匹配结果,否则选择前景+背景匹配结果作为级联匹配结果;
步骤7:对级联匹配后的结果进行IoU匹配;
步骤8:利用IoU匹配结果对各个目标轨迹进行更新;
步骤9:重复步骤4至步骤8直至视频的最后一帧。
CN202111117021.8A 2021-09-23 2021-09-23 一种稀疏目标跟踪方法 Active CN113838091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111117021.8A CN113838091B (zh) 2021-09-23 2021-09-23 一种稀疏目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111117021.8A CN113838091B (zh) 2021-09-23 2021-09-23 一种稀疏目标跟踪方法

Publications (2)

Publication Number Publication Date
CN113838091A CN113838091A (zh) 2021-12-24
CN113838091B true CN113838091B (zh) 2023-12-12

Family

ID=78969476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111117021.8A Active CN113838091B (zh) 2021-09-23 2021-09-23 一种稀疏目标跟踪方法

Country Status (1)

Country Link
CN (1) CN113838091B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190023389A (ko) * 2017-08-29 2019-03-08 인하대학교 산학협력단 변화점 검출을 활용한 다중클래스 다중물체 추적 방법
CN109785363A (zh) * 2018-12-29 2019-05-21 中国电子科技集团公司第五十二研究所 一种无人机航拍视频运动小目标实时检测与跟踪方法
CN110399808A (zh) * 2019-07-05 2019-11-01 桂林安维科技有限公司 一种基于多目标跟踪的人体行为识别方法及系统
CN111008992A (zh) * 2019-11-28 2020-04-14 驭势科技(南京)有限公司 目标跟踪方法、装置和系统及存储介质
CN111126152A (zh) * 2019-11-25 2020-05-08 国网信通亿力科技有限责任公司 一种基于视频的多目标行人检测与跟踪的方法
CN112307921A (zh) * 2020-10-22 2021-02-02 桂林电子科技大学 一种车载端多目标识别跟踪预测方法
CN113269098A (zh) * 2021-05-27 2021-08-17 中国人民解放军军事科学院国防科技创新研究院 一种基于无人机的多目标跟踪定位与运动状态估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355604B (zh) * 2016-08-22 2019-10-18 杭州保新科技有限公司 图像目标跟踪方法与系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190023389A (ko) * 2017-08-29 2019-03-08 인하대학교 산학협력단 변화점 검출을 활용한 다중클래스 다중물체 추적 방법
CN109785363A (zh) * 2018-12-29 2019-05-21 中国电子科技集团公司第五十二研究所 一种无人机航拍视频运动小目标实时检测与跟踪方法
CN110399808A (zh) * 2019-07-05 2019-11-01 桂林安维科技有限公司 一种基于多目标跟踪的人体行为识别方法及系统
CN111126152A (zh) * 2019-11-25 2020-05-08 国网信通亿力科技有限责任公司 一种基于视频的多目标行人检测与跟踪的方法
CN111008992A (zh) * 2019-11-28 2020-04-14 驭势科技(南京)有限公司 目标跟踪方法、装置和系统及存储介质
CN112307921A (zh) * 2020-10-22 2021-02-02 桂林电子科技大学 一种车载端多目标识别跟踪预测方法
CN113269098A (zh) * 2021-05-27 2021-08-17 中国人民解放军军事科学院国防科技创新研究院 一种基于无人机的多目标跟踪定位与运动状态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于模型融合和特征关联的视频目标跟踪算法;季露;陈志;岳文静;;计算机技术与发展(第06期);全文 *

Also Published As

Publication number Publication date
CN113838091A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN109636829B (zh) 一种基于语义信息和场景信息的多目标跟踪方法
CN110991272B (zh) 一种基于视频跟踪的多目标车辆轨迹识别方法
CN107145862B (zh) 一种基于霍夫森林的多特征匹配多目标跟踪方法
WO2023065395A1 (zh) 作业车辆检测与跟踪方法和系统
CN111080673B (zh) 一种抗遮挡目标跟踪方法
CN111046968B (zh) 一种基于改进dpc算法的道路网络轨迹聚类分析方法
CN111882586B (zh) 一种面向剧场环境的多演员目标跟踪方法
CN112084914B (zh) 一种融合空间运动和表观特征学习的多目标跟踪方法
CN112541441A (zh) 一种融合相关滤波的gm-phd视频多目标跟踪方法
CN111767847A (zh) 一种集成目标检测和关联的行人多目标跟踪方法
CN103985257A (zh) 一种智能交通视频分析方法
CN106600965B (zh) 基于尖锐度的交通流早晚高峰时段自动识别方法
CN106295532A (zh) 一种视频图像中的人体动作识别方法
CN107609509A (zh) 一种基于运动显著性区域检测的动作识别方法
CN111161325A (zh) 基于卡尔曼滤波与lstm的三维多目标跟踪方法
CN113256690A (zh) 一种基于视频监控的行人多目标跟踪方法
CN113763427A (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
CN114998392A (zh) 一种基于粒子滤波的视频多目标跟踪方法
CN114638934A (zh) 一种3D激光slam建图中动态障碍物的后处理方法
CN106033613B (zh) 目标跟踪方法及装置
CN111161323B (zh) 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN110443142A (zh) 一种基于路面提取与分割的深度学习车辆计数方法
CN113838091B (zh) 一种稀疏目标跟踪方法
Najafzadeh et al. Object tracking using Kalman filter with adaptive sampled histogram
CN112580438A (zh) 一种三维场景下的点云识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant