CN112598739A - 基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质 - Google Patents

基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质 Download PDF

Info

Publication number
CN112598739A
CN112598739A CN202011564825.8A CN202011564825A CN112598739A CN 112598739 A CN112598739 A CN 112598739A CN 202011564825 A CN202011564825 A CN 202011564825A CN 112598739 A CN112598739 A CN 112598739A
Authority
CN
China
Prior art keywords
features
frame
network
target tracking
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011564825.8A
Other languages
English (en)
Other versions
CN112598739B (zh
Inventor
何震宇
刘乔
杨超
白扬
孙旭岩
万玉东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202011564825.8A priority Critical patent/CN112598739B/zh
Publication of CN112598739A publication Critical patent/CN112598739A/zh
Application granted granted Critical
Publication of CN112598739B publication Critical patent/CN112598739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提供了一种基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质，目标跟踪方法包括：根据跟踪视频第一帧给定的目标大小和位置获取目标模板帧；将目标模板帧送入孪生网络的模板分支提取目标模板特征；将当前搜索帧和历史帧送入孪生网络的搜索分支提取特征；根据孪生网络模板分支和搜索分支提取的特征计算响应图，确定目标在下一帧中的位置。本发明的有益效果是：本发明针对红外目标跟踪中物体特征提取，在提取语义与空间结构特征的基础上，将物体的运动信息网络化，融合多帧信息加强表观模型的判别能力，并结合已有的空间感知网络形成了一个端到端的时空特征聚合孪生网络，更好地区分相似物干扰，提高跟踪的准确性和鲁棒性。

Description

基于时空特征聚合网络的移动机器人红外目标跟踪方法、系 统及存储介质
技术领域
本发明涉及红外目标跟踪技术领域，尤其涉及一种在视频序列中基于时空特征聚合网络对红外目标的跟踪方法、系统及存储介质。
背景技术
视觉目标跟踪技术是计算机视觉领域的一个研究热点，并被广泛应用在机器人视觉跟踪与导航，智能监控等方向。视觉目标跟踪任务就是在视频的初始帧中给定要跟踪目标的位置与大小，预测后续视频帧中该目标出现的位置与大小。
热红外视觉目标跟踪属于视觉目标跟踪中的一个分支，主要被用于夜间对目标的跟踪。不同于可见光下的视觉目标跟踪，热红外视觉目标跟踪具有全天候，复杂环境下的工作能力，其不受光线变化的影响，既可在白天也可在夜间对目标进行跟踪。因此它在视觉领域存在大量的应用场景，如：监护机器人的夜间监护、保安机器人夜间巡逻，城市交通夜间监控等。特别是近年来随着热红外成像技术的进步，热红外成像在分辨率与距离上都有大幅提升，成像设备价格却在逐渐降低。越来越多的民用领域，如监测、救援、消防、交通等开始利用热红外成像设备。
相对于可见光下的视觉目标跟踪而言，热红外视觉目标跟踪尚属于起步阶段，研究相对较少。早期的热红外目标跟踪技术主要研究对弱小目标的跟踪，多用于军事领域对导弹等军事目标的跟踪，其不能适用于目前民用领域对通用目标跟踪技术的需求。当前的热红外图像已经具有较高的质量，目标的纹理、轮廓，分辨率都有了很大的提升，因此对跟踪技术有更高的要求。
发明内容
本发明提供了一种基于时空特征聚合网络的移动机器人红外目标跟踪方法，包括依次执行如下步骤：
步骤S1：根据跟踪视频第一帧给定的目标大小和位置获取目标模板帧；
步骤S2：将目标模板帧送入孪生网络的模板分支提取目标模板特征；
步骤S3：将当前搜索帧和历史帧送入孪生网络的搜索分支提取时空聚合特征；
步骤S4：根据孪生网络模板分支和搜索分支提取的特征计算响应图，确定目标在下一帧中的位置；
步骤S5：判断视频序列是否为最后一帧，若是，那么结束，否则执行步骤S2。
作为本发明的进一步改进，所述步骤S2包括如下步骤：
步骤S21：利用深度网络提取特征；
步骤S22：对提取的特征图进行裁剪并送入相关滤波层得到目标模板特征。
作为本发明的进一步改进，所述步骤S3包括如下步骤：
步骤S31：将搜索帧和历史帧送入深度网络提取特征；
步骤S32：将搜索帧特征与历史帧的特征用对齐网络模型进行特征对齐；
步骤S33：连接对齐后的特征，并将其分别送入时间特征聚合网络和空间特征聚合网络，对特征进行空间维度和时间维度的加权融合；
步骤S34：将时空聚合后的特征相加，送入一层卷积层，得到最终的搜索帧特征。
作为本发明的进一步改进，在所述步骤S31中，搜索分支所使用的深度特征提取网络与模板分支使用的深度特征提取网络相同。
作为本发明的进一步改进，在所述步骤S32中，需要将搜索帧特征与前k个历史帧送入对齐模型，逐帧对特征进行对齐。
作为本发明的进一步改进，在所述步骤S33中，将前k帧对齐后的特征与搜索帧特征在通道维度连接。
作为本发明的进一步改进，在所述步骤S33中，通过线性变换对特征进行嵌入，对嵌入后的特征进行矩阵乘，得到空间和时间相关矩阵，并依据关系矩阵对特征进行融合。
作为本发明的进一步改进，在所述步骤S4中，在响应图中，根据响应图的峰值确定目标在下一帧中的位置。
本发明还提供了一种基于时空特征聚合网络的移动机器人红外目标跟踪系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的移动机器人红外目标跟踪方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的移动机器人红外目标跟踪方法的步骤。
本发明的有益效果是：本发明针对红外目标跟踪中物体特征提取，在提取语义与空间结构特征的基础上，将物体的运动信息网络化，融合了多帧信息加强表观模型的判别能力，并结合已有的空间感知网络形成了一个端到端的时空特征聚合孪生网络，能够更好地区分相似物干扰，从而提高跟踪的准确性和鲁棒性。
附图说明
图1是本发明的方法流程图。
具体实施方式
如图1所示，本发明公开了一种基于时空特征聚合网络的移动机器人红外目标跟踪方法，包括依次执行如下步骤：
步骤S1：根据跟踪视频第一帧给定的目标大小和位置获取目标模板帧；
步骤S2：将目标模板帧送入孪生网络的模板分支提取目标模板特征；
步骤S3：将当前搜索帧和历史帧送入孪生网络的搜索分支提取时空聚合特征；
步骤S4：根据孪生网络模板分支和搜索分支提取的特征计算响应图，确定目标在下一帧中的位置；
步骤S5：判断视频序列是否为最后一帧，若是，那么结束，否则执行步骤S2。
所述步骤S2包括如下步骤：
步骤S21：利用深度网络提取特征；
步骤S22：对提取的特征图进行裁剪并送入相关滤波层得到目标模板特征。
所述步骤S3包括如下步骤：
步骤S31：将搜索帧和历史帧送入深度网络提取特征；
步骤S32：将搜索帧特征与历史帧的特征用对齐网络模型进行特征对齐；
步骤S33：连接对齐后的特征，并将其分别送入时间特征聚合网络和空间特征聚合网络，对特征进行空间维度和时间维度的加权融合；
步骤S34：将时空聚合后的特征相加，送入一层卷积层，得到最终的搜索帧特征。
在所述步骤S31中，搜索分支所使用的深度特征提取网络与模板分支使用的深度特征提取网络相同。
在所述步骤S32中，需要将搜索帧特征与前k个历史帧送入对齐模型，逐帧对特征进行对齐。
在所述步骤S33中，将前k帧对齐后的特征与搜索帧特征在通道维度连接。
在所述步骤S33中，通过线性变换对特征进行嵌入，对嵌入后的特征进行矩阵乘，得到空间和时间相关矩阵，并依据相关矩阵对特征进行融合。
在所述步骤S4中，在响应图中，根据响应图的峰值确定目标在下一帧中的位置。
在本发明中，针对红外跟踪中目标缺乏纹理、颜色等信息的特点，本发明希望利用尽可能多的特征来加强目标的表示能力。为了更好地利用物体的运动信息，本发明在使用卷积神经网络提取当前搜索帧和目标模板帧特征的同时也提取视频序列历史帧的特征，从而增强特征的判别性和鲁棒性。机器人在移动过程中，摄像头的拍摄位置、角度会发生改变，红外跟踪目标也在不停运动，在不同视频帧中目标的外观、大小及位置都会不同。如果直接对特征在通道维度上进行连接，不同帧未对齐的特征不仅无法提高红外跟踪性能，甚至会造成跟踪性能下降。
本发明使用对齐模型将待对齐历史帧和当前搜索帧的特征进行对齐。待对齐帧和搜索帧的特征先进行矩阵乘法，再通过sigmoid函数得到亲和矩阵，将得到的亲和矩阵送入三个卷积层得到对待对齐帧进行采样的参数，利用采样参数对待对齐帧进行采样从而得到该帧对齐后的特征。
将对齐后的历史帧特征与搜索帧的特征在通道维度上连接，得到新的搜索帧特征。如果参考了k张历史帧，新搜索帧特征的通道数就会变成原搜索帧特征通道数的k+1倍，从而势必会造成特征的冗余。结合已有的空间感知网络，本发明提出了它的变体——时间感知网络，对新搜索特征进行时间和空间维度上的聚合，从而减少冗余特征，同时也能加快跟踪速度。
在本发明中，孪生神经网络的模板分支加入了相关滤波层，能够对目标模板进行更新，从而缓解物体形变或跟踪漂移的问题。对模板分支特征和搜索分支特征进行互相关运算，得到最终的响应图，根据响应图的峰值确定目标的中心位置。
本发明还公开了一种基于时空特征聚合网络的移动机器人红外目标跟踪系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的移动机器人红外目标跟踪方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的移动机器人红外目标跟踪方法的步骤。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于时空特征聚合网络的移动机器人红外目标跟踪方法，其特征在于，包括依次执行如下步骤：
步骤S1：根据跟踪视频第一帧给定的目标大小和位置获取目标模板帧；
步骤S2：将目标模板帧送入孪生网络的模板分支提取目标模板特征；
步骤S3：将当前搜索帧和历史帧送入孪生网络的搜索分支提取时空聚合特征；
步骤S4：根据孪生网络模板分支和搜索分支提取的特征计算响应图，确定目标在下一帧中的位置；
步骤S5：判断视频序列是否为最后一帧，若是，那么结束，否则执行步骤S2。
2.根据权利要求1所述的移动机器人红外目标跟踪方法，其特征在于，所述步骤S2包括如下步骤：
步骤S21：利用深度网络提取特征；
步骤S22：对提取的特征图进行裁剪并送入相关滤波层得到目标模板特征。
3.根据权利要求1所述的移动机器人红外目标跟踪方法，其特征在于，所述步骤S3包括如下步骤：
步骤S31：将搜索帧和历史帧送入深度网络提取特征；
步骤S32：将搜索帧特征与历史帧的特征用对齐网络模型进行特征对齐；
步骤S33：连接对齐后的特征，并将其分别送入时间特征聚合网络和空间特征聚合网络，对特征进行空间维度和时间维度的加权融合；
步骤S34：将时空聚合后的特征相加，送入一层卷积层，得到最终的搜索帧特征。
4.根据权利要求3所述的移动机器人红外目标跟踪方法，其特征在于，在所述步骤S31中，搜索分支所使用的深度特征提取网络与模板分支使用的深度特征提取网络相同。
5.根据权利要求3所述的移动机器人红外目标跟踪方法，其特征在于，在所述步骤S32中，需要将搜索帧特征与前k个历史帧送入对齐模型，逐帧对特征进行对齐。
6.根据权利要求3所述的移动机器人红外目标跟踪方法，其特征在于，在所述步骤S33中，将前k帧对齐后的特征与搜索帧特征在通道维度连接。
7.根据权利要求3所述的移动机器人红外目标跟踪方法，其特征在于，在所述步骤S33中，通过线性变换对特征进行嵌入，对嵌入后的特征进行矩阵乘，得到空间和时间相关矩阵，并依据相关矩阵对特征进行融合。
8.根据权利要求1所述的移动机器人红外目标跟踪方法，其特征在于，在所述步骤S4中，在响应图中，根据响应图的峰值确定目标在下一帧中的位置。
9.一种基于时空特征聚合网络的移动机器人红外目标跟踪系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1-8中任一项所述的移动机器人红外目标跟踪方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-8中任一项所述的移动机器人红外目标跟踪方法的步骤。
CN202011564825.8A 2020-12-25 2020-12-25 基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质 Active CN112598739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011564825.8A CN112598739B (zh) 2020-12-25 2020-12-25 基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011564825.8A CN112598739B (zh) 2020-12-25 2020-12-25 基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112598739A true CN112598739A (zh) 2021-04-02
CN112598739B CN112598739B (zh) 2023-09-01

Family

ID=75202205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011564825.8A Active CN112598739B (zh) 2020-12-25 2020-12-25 基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112598739B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219836A (zh) * 2021-12-15 2022-03-22 北京建筑大学 一种基于时空信息辅助的无人机视频车辆跟踪方法
CN115272420A (zh) * 2022-09-28 2022-11-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种长时目标跟踪方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675429A (zh) * 2019-09-24 2020-01-10 湖南人文科技学院 基于孪生网络和相关滤波器的长短程互补型目标跟踪方法
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN111291679A (zh) * 2020-02-06 2020-06-16 厦门大学 一种基于孪生网络的目标特定响应注意力目标跟踪方法
CN111462175A (zh) * 2020-03-11 2020-07-28 华南理工大学 时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675429A (zh) * 2019-09-24 2020-01-10 湖南人文科技学院 基于孪生网络和相关滤波器的长短程互补型目标跟踪方法
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN111291679A (zh) * 2020-02-06 2020-06-16 厦门大学 一种基于孪生网络的目标特定响应注意力目标跟踪方法
CN111462175A (zh) * 2020-03-11 2020-07-28 华南理工大学 时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219836A (zh) * 2021-12-15 2022-03-22 北京建筑大学 一种基于时空信息辅助的无人机视频车辆跟踪方法
CN114219836B (zh) * 2021-12-15 2022-06-03 北京建筑大学 一种基于时空信息辅助的无人机视频车辆跟踪方法
CN115272420A (zh) * 2022-09-28 2022-11-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种长时目标跟踪方法、系统及存储介质
CN115272420B (zh) * 2022-09-28 2023-01-17 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种长时目标跟踪方法、系统及存储介质

Also Published As

Publication number Publication date
CN112598739B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN113269098B (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
CN111983639B (zh) 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法
CN110674746B (zh) 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
CN113807187B (zh) 基于注意力特征融合的无人机视频多目标跟踪方法
CN113506317B (zh) 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法
CN106791613B (zh) 一种基于3dgis和视频相结合的智能监控系统
CN110362083B (zh) 一种基于多目标跟踪预测的时空地图下自主导航方法
CN109919981A (zh) 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法
CN112598739B (zh) 基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质
CN101344965A (zh) 基于双目摄像的跟踪系统
CN112069969B (zh) 一种高速公路监控视频跨镜车辆跟踪方法及系统
CN112614159B (zh) 一种面向仓库场景的跨摄像头多目标跟踪方法
WO2023216572A1 (zh) 一种跨视频目标跟踪方法、系统、电子设备以及存储介质
CN108897342B (zh) 针对快速移动的民用多旋翼无人机的定位跟踪方法及系统
CN111274847B (zh) 一种定位方法
CN112927264B (zh) 一种无人机跟踪拍摄系统及其rgbd跟踪方法
CN112907573B (zh) 一种基于3d卷积的深度补全方法
CN111161334A (zh) 一种基于深度学习的语义地图构建方法
CN116403139A (zh) 一种基于目标检测的视觉跟踪定位方法
CN111354016A (zh) 基于深度学习和差异值哈希的无人机舰船跟踪方法及系统
CN115565130A (zh) 一种无人值守系统及其基于光流的监控方法
CN113298177B (zh) 夜间图像着色方法、装置、介质和设备
CN112560617B (zh) 基于阵列相机的大场景行人轨迹跟踪方法
CN113221957A (zh) 一种基于Centernet的雷达信息融合特征增强方法
CN116363171A (zh) 一种融合点云与图像信息的三维多目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant