CN110782480A - 一种基于在线模板预测的红外行人跟踪方法 - Google Patents

一种基于在线模板预测的红外行人跟踪方法 Download PDF

Info

Publication number
CN110782480A
CN110782480A CN201910976634.3A CN201910976634A CN110782480A CN 110782480 A CN110782480 A CN 110782480A CN 201910976634 A CN201910976634 A CN 201910976634A CN 110782480 A CN110782480 A CN 110782480A
Authority
CN
China
Prior art keywords
template
frame
data set
prediction
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910976634.3A
Other languages
English (en)
Other versions
CN110782480B (zh
Inventor
郑丽颖
张晏博
赵硕
邴鑫阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201910976634.3A priority Critical patent/CN110782480B/zh
Publication of CN110782480A publication Critical patent/CN110782480A/zh
Application granted granted Critical
Publication of CN110782480B publication Critical patent/CN110782480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明属于红外目标跟踪领域，具体涉及跟踪精度高的一种基于在线模板预测的红外行人跟踪方法。本方法包括如下步骤：步骤1：使用彩色图像构造红外训练数据集；步骤2：对训练数据集中的各个红外行人图像序列，根据数据集标注的目标位置信息，裁剪出目标图像，并将其大小归一化为127×127×1像素的单通道图像，获得相应的模板序列集合，生成模板训练数据集；步骤3：获得组合模板训练数据集，基于残差卷积结构，设计模板预测网络并训练；步骤4：利用训练好的模板预测网络和SiameseRPN实现红外行人跟踪。本发明的有益效果在于：1.生成更接近真实目标的预测模板；2.跟踪精度高。

Description

一种基于在线模板预测的红外行人跟踪方法
技术领域
本发明属于红外目标跟踪领域，具体涉及跟踪精度高的一种基于在线模板预测的红外行人跟踪方法。
背景技术
红外目标跟踪是一种从红外图像序列或视频流中确定感兴趣的目标区域，并在连续视频帧中定位该目标的技术。红外目标跟踪技术可在低光照条件等恶劣环境下工作，因此广泛应用于夜间救援、战场环境侦察和视频监控等领域。但是，由于成像分辨率低、成像背景环境的复杂性以及行人运动的随意性带来的目标的尺度变化等不利因素，使得红外目标跟踪仍然面临许多挑战。
近年来，基于孪生网络(Siamese Net)的跟踪技术以跟踪速度快、跟踪精度高而迅速成为本领域的主流跟踪方法。目前，基于孪生网络的跟踪算法主要包括两大类：基于全卷积孪生网络的目标跟踪算法(Fully-Convolutional Siamese Networks for ObjectTracking，Siam_FC)和基于孪生候选区域网络的高性能视觉跟踪算法(High PerformanceVisual Tracking with Siamese Region Proposal Network，SiamRPN)。但是，目前的这些跟踪算法仅使用第一帧模板作为孪生网络的跟踪模板，在跟踪过程中不能实时更新模板，随着序列长度的增加，跟踪误差的累积容易导致跟踪对象丢失或漂移，从而影响了跟踪性能。
本发明基于SiamRPN跟踪框架，设计一种具有模板预测的红外行人跟踪方法。通过综合利用目标的时间和空间信息，该方法能够提高跟踪精度、改善跟踪性能。
发明内容
本发明的目的在于提供一种基于在线模板预测的红外行人跟踪方法。
本发明的目的是这样实现的：
一种基于在线模板预测的红外行人跟踪方法，包括如下步骤：
步骤1：使用彩色图像构造红外训练数据集；
步骤2：对训练数据集中的各个红外行人图像序列，根据数据集标注的目标位置信息，裁剪出目标图像，并将其大小归一化为127×127×1像素的单通道图像，获得相应的模板序列集合，生成模板训练数据集；
步骤3：获得组合模板训练数据集，基于残差卷积结构，设计模板预测网络并训练；
步骤4：利用训练好的模板预测网络和SiameseRPN实现红外行人跟踪。
对于步骤2得到的各个模板序列，根据下式构造一个具有时间和空间信息的组合模板序列；
Figure BDA0002233851680000021
其中，表示组合模板序列的第n帧，它是一幅三通道图像帧，其三个通道分别对应两个第一帧模板(I1)和一个第n帧模板(In)；
Figure BDA0002233851680000023
表示第n帧组合模板的第c个通道在位置(x,y)处的取值，I1(x,y,1)和In(x,y,1)分别表示模板训练数据集中任意一个模板序列的第1帧和第n帧模板在位置(x,y)处的取值，且x＝1,2,….,127,y＝1,2,…..,127,c＝1,2,3。
利用步骤3获得的组合模板训练数据集，使用Adam优化器，以及最小均方误差(MSE)损失函数，对其构建的模板预测网络进行训练，并保存训练好的网络。
步骤4中设当前帧为第n+1帧(n≥1)，将第一帧和第n帧目标模板按照基于残差卷积结构的模板预测网络图构成具有三个通道的组合模板，并将这个组合模板输入训练好的模板预测网络，得到第n+1帧的预测模板
Figure BDA0002233851680000024
将
Figure BDA0002233851680000025
作为SiameseRPN网络的第n+1帧模板，利用SiameseRPN完成跟踪。
本发明的有益效果在于：1.生成更接近真实目标的预测模板；2.跟踪精度高。
附图说明
图1是基于残差卷积结构的模板预测网络图；
图2是实验结果数据图。
具体实施方式
下面结合附图对本发明做进一步描述。
本发明提出了一种基于在线模板预测的红外行人跟踪方法，采用的技术方案是：1)构造训练集；2)生成模板序列集；3)设计并训练基于残差卷积结构的模板预测网络；4)将第一帧和当前帧目标模板构成的组合模板作为模板预测网络的输入，在线预测新的目标模板；5)将预测的目标模板作为SiamRPN跟踪器的目标模板，完成红外行人跟踪。
本发明所提出的基于模板预测的红外行人跟踪方法的具体实现步骤如下。
步骤1，构造训练数据集。
使用彩色图像扩展红外训练数据集。为解决红外训练数据较少的问题，本发明将大量彩色图像序列转换为灰度图像序列，然后与现有的红外行人图像序列一起构成训练数据集。
步骤2，生成模板训练数据集。
对训练数据集中的各个红外行人图像序列，根据数据集标注的目标位置信息，裁剪出目标图像，并将其大小归一化为127×127×1像素的单通道图像，获得相应的模板序列集合。
步骤3，设计模板预测网络：
3.1获得组合模板训练数据集。
对于步骤2得到的各个模板序列，根据下式构造一个具有时间和空间信息的组合模板序列。
Figure BDA0002233851680000031
其中，
Figure BDA0002233851680000032
表示组合模板序列的第n帧，它是一幅三通道图像帧，其三个通道分别对应两个第一帧模板(I1)和一个第n帧模板(In)；
Figure BDA0002233851680000033
表示第n帧组合模板的第c个通道在位置(x,y)处的取值，I1(x,y,1)和In(x,y,1)分别表示模板训练数据集中任意一个模板序列的第1帧和第n帧模板在位置(x,y)处的取值，且x＝1,2,….,127,y＝1,2,…..,127,c＝1,2,3。
3.2基于残差卷积结构，设计模板预测网络。具体网络结构如图1所示。
3.3训练模板预测网络。
利用步骤3.1获得的组合模板训练数据集，使用Adam优化器，以及最小均方误差(MSE)损失函数，对步骤3.2构建的模板预测网络进行训练，并保存训练好的网络。
步骤4，利用训练好的模板预测网络和SiameseRPN实现红外行人跟踪。
4.1设当前帧为第n+1帧(n≥1)，将第一帧和第n帧目标模板按照图1的方式构成具有三个通道的组合模板，并将这个组合模板输入训练好的模板预测网络，得到第n+1帧的预测模板
Figure BDA0002233851680000034
4.2将
Figure BDA0002233851680000035
作为SiameseRPN网络的第n+1帧模板，利用SiameseRPN完成跟踪。
使用PTB-TIR红外行人数据集作为测试集，测试本发明所提出的跟踪方法。实验结果表明，尺度变换、背景杂斑、低分辨率、运动模糊、强度变化和热交叉的挑战类型的成功率和精度有所提升，本发明提出的改进方法比SiamRPN具有更高的成功率和精度，达到了更好的跟踪效果。实验结果数据见图2。

Claims (4)

1.一种基于在线模板预测的红外行人跟踪方法，其特征在于，包括如下步骤：
步骤1：使用彩色图像构造红外训练数据集；
步骤2：对训练数据集中的各个红外行人图像序列，根据数据集标注的目标位置信息，裁剪出目标图像，并将其大小归一化为127×127×1像素的单通道图像，获得相应的模板序列集合，生成模板训练数据集；
步骤3：获得组合模板训练数据集，基于残差卷积结构，设计模板预测网络并训练；
步骤4：利用训练好的模板预测网络和SiameseRPN实现红外行人跟踪。
2.根据权利要求1所述的一种基于在线模板预测的红外行人跟踪方法，其特征在于，对于步骤2得到的各个模板序列，根据下式构造一个具有时间和空间信息的组合模板序列；
Figure FDA0002233851670000011
其中，表示组合模板序列的第n帧，它是一幅三通道图像帧，其三个通道分别对应两个第一帧模板(I1)和一个第n帧模板(In)；
Figure FDA0002233851670000013
表示第n帧组合模板的第c个通道在位置(x,y)处的取值，I1(x,y,1)和In(x,y,1)分别表示模板训练数据集中任意一个模板序列的第1帧和第n帧模板在位置(x,y)处的取值，且x＝1,2,….,127,y＝1,2,…..,127,c＝1,2,3。
3.根据权利要求1所述的一种基于在线模板预测的红外行人跟踪方法，其特征在于，利用步骤3获得的组合模板训练数据集，使用Adam优化器，以及最小均方误差(MSE)损失函数，对其构建的模板预测网络进行训练，并保存训练好的网络。
4.根据权利要求1所述的一种基于在线模板预测的红外行人跟踪方法，其特征在于，步骤4中设当前帧为第n+1帧(n≥1)，将第一帧和第n帧目标模板按照基于残差卷积结构的模板预测网络图构成具有三个通道的组合模板，并将这个组合模板输入训练好的模板预测网络，得到第n+1帧的预测模板将
Figure FDA0002233851670000015
作为SiameseRPN网络的第n+1帧模板，利用SiameseRPN完成跟踪。
CN201910976634.3A 2019-10-15 2019-10-15 一种基于在线模板预测的红外行人跟踪方法 Active CN110782480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910976634.3A CN110782480B (zh) 2019-10-15 2019-10-15 一种基于在线模板预测的红外行人跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910976634.3A CN110782480B (zh) 2019-10-15 2019-10-15 一种基于在线模板预测的红外行人跟踪方法

Publications (2)

Publication Number Publication Date
CN110782480A true CN110782480A (zh) 2020-02-11
CN110782480B CN110782480B (zh) 2023-08-04

Family

ID=69385639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910976634.3A Active CN110782480B (zh) 2019-10-15 2019-10-15 一种基于在线模板预测的红外行人跟踪方法

Country Status (1)

Country Link
CN (1) CN110782480B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489361A (zh) * 2020-03-30 2020-08-04 中南大学 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法
CN111860976A (zh) * 2020-06-30 2020-10-30 广州地铁集团有限公司 一种闸机通行时间预测方法及装置
CN113470071A (zh) * 2021-07-01 2021-10-01 哈尔滨工程大学 一种两层级联红外行人跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184778A (zh) * 2015-08-25 2015-12-23 广州视源电子科技股份有限公司 一种检测方法及装置
CN106296603A (zh) * 2016-08-03 2017-01-04 哈尔滨工程大学 一种水下声纳图像的小目标检测方法
CN109191491A (zh) * 2018-08-03 2019-01-11 华中科技大学 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
US20190147602A1 (en) * 2017-11-13 2019-05-16 Qualcomm Technologies, Inc. Hybrid and self-aware long-term object tracking
CN109993774A (zh) * 2019-03-29 2019-07-09 大连理工大学 基于深度交叉相似匹配的在线视频目标跟踪方法
CN110210551A (zh) * 2019-05-28 2019-09-06 北京工业大学 一种基于自适应主体敏感的视觉目标跟踪方法
CN110222686A (zh) * 2019-05-27 2019-09-10 腾讯科技（深圳）有限公司 物体检测方法、装置、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184778A (zh) * 2015-08-25 2015-12-23 广州视源电子科技股份有限公司 一种检测方法及装置
WO2017032311A1 (zh) * 2015-08-25 2017-03-02 广州视源电子科技股份有限公司 一种检测方法及装置
CN106296603A (zh) * 2016-08-03 2017-01-04 哈尔滨工程大学 一种水下声纳图像的小目标检测方法
US20190147602A1 (en) * 2017-11-13 2019-05-16 Qualcomm Technologies, Inc. Hybrid and self-aware long-term object tracking
CN109191491A (zh) * 2018-08-03 2019-01-11 华中科技大学 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
CN109993774A (zh) * 2019-03-29 2019-07-09 大连理工大学 基于深度交叉相似匹配的在线视频目标跟踪方法
CN110222686A (zh) * 2019-05-27 2019-09-10 腾讯科技（深圳）有限公司 物体检测方法、装置、计算机设备和存储介质
CN110210551A (zh) * 2019-05-28 2019-09-06 北京工业大学 一种基于自适应主体敏感的视觉目标跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HENG FAN; LU XU; JINHAI XIANG: "Complementary Siamese Networks for Robust Visual Tracking", 《 2019 - 2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING 》 *
LUCA BERTINETTO: "Fully-Convolutional Siamese Networks", 《PROCEEDING OF THE EUROPEAN CONFERENCE ON COMPUTER VISION》 *
LUCA BERTINETTO: "Fully-Convolutional Siamese Networks", 《PROCEEDING OF THE EUROPEAN CONFERENCE ON COMPUTER VISION》, 31 December 2016 (2016-12-31) *
王璐瑶: "基于深度交叉相似网络的视觉目标跟踪算法", 《万方》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489361A (zh) * 2020-03-30 2020-08-04 中南大学 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法
CN111489361B (zh) * 2020-03-30 2023-10-27 中南大学 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法
CN111860976A (zh) * 2020-06-30 2020-10-30 广州地铁集团有限公司 一种闸机通行时间预测方法及装置
CN111860976B (zh) * 2020-06-30 2024-04-30 广州地铁集团有限公司 一种闸机通行时间预测方法及装置
CN113470071A (zh) * 2021-07-01 2021-10-01 哈尔滨工程大学 一种两层级联红外行人跟踪方法
CN113470071B (zh) * 2021-07-01 2022-05-31 哈尔滨工程大学 一种两层级联红外行人跟踪方法

Also Published As

Publication number Publication date
CN110782480B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN110782480A (zh) 一种基于在线模板预测的红外行人跟踪方法
CN108986166A (zh) 一种基于半监督学习的单目视觉里程预测方法及里程计
Babu et al. Undemon: Unsupervised deep network for depth and ego-motion estimation
Teed et al. Deep patch visual odometry
CN111428575A (zh) 一种基于孪生网络的针对模糊目标的跟踪方法
CN111325784A (zh) 一种无监督位姿与深度计算方法及系统
Wang et al. Unsupervised learning of accurate camera pose and depth from video sequences with Kalman filter
CN112200157A (zh) 一种降低图像背景干扰的人体3d姿态识别方法及其系统
Wang et al. Plug-and-play: Improve depth prediction via sparse data propagation
Jia et al. Effective meta-attention dehazing networks for vision-based outdoor industrial systems
CN110428461B (zh) 结合深度学习的单目slam方法及装置
CN109544584B (zh) 一种实现巡检稳像精度测量的方法及系统
Zhang et al. EventMD: High-speed moving object detection based on event-based video frames
Zhao et al. Transformer-based self-supervised monocular depth and visual odometry
Miao et al. Ds-depth: Dynamic and static depth estimation via a fusion cost volume
JP2008113292A (ja) 動き推定方法，装置，そのプログラムおよびその記録媒体
CN104715492B (zh) 一种同时适应于静止相机和运动相机的前景目标提取方法
CN111275751A (zh) 一种无监督绝对尺度计算方法及系统
Babu V et al. A deeper insight into the undemon: Unsupervised deep network for depth and ego-motion estimation
Qiu et al. A GAN-based motion blurred image restoration algorithm
CN107045724B (zh) 一种低分辨率下物体移动方向的马尔科夫判断方法
CN113239614A (zh) 一种大气湍流相位时空预估算法
Yusiong et al. Unsupervised monocular depth estimation of driving scenes using siamese convolutional LSTM networks
Liu et al. Joint estimation of pose, depth, and optical flow with a competition–cooperation transformer network
Lei et al. Flow Guidance Deformable Compensation Network for Video Frame Interpolation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant