CN110544268B - 一种基于结构光及SiamMask网络的多目标跟踪方法 - Google Patents

一种基于结构光及SiamMask网络的多目标跟踪方法 Download PDF

Info

Publication number
CN110544268B
CN110544268B CN201910686889.6A CN201910686889A CN110544268B CN 110544268 B CN110544268 B CN 110544268B CN 201910686889 A CN201910686889 A CN 201910686889A CN 110544268 B CN110544268 B CN 110544268B
Authority
CN
China
Prior art keywords
network
target
siammask
tracking
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910686889.6A
Other languages
English (en)
Other versions
CN110544268A (zh
Inventor
呼子宇
高博
马学敏
宋浩诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN201910686889.6A priority Critical patent/CN110544268B/zh
Publication of CN110544268A publication Critical patent/CN110544268A/zh
Application granted granted Critical
Publication of CN110544268B publication Critical patent/CN110544268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于结构光及SiamMask网络的多目标跟踪方法，引入结构光获取深度图像进一步提高检测精度，同时加入目标检测网络，自动提取目标位置坐标，改进单目标跟踪网络SiamMask，实现多目标的跟踪，提出检测与跟踪之间的匹配算法以及采用深度神经网络Resnet进行重识别，保障多个目标同时检测和跟踪。本方法取代了传统多目标跟踪网络中相关滤波的算法，采用基于深度神经网络的SiamMask网络。SiamMask网络在视频跟踪中是目前精度最高的网络，在IOU阈值为0.5时，VOT数据集上精度达到90%，同时本算法加入深度图像信息，进一步提高检测精度。为了提高网络运行速度，本算法舍弃了SiamMask网络的掩膜分支，后期需要可直接加入，呈现分割图像。

Description

一种基于结构光及SiamMask网络的多目标跟踪方法
技术领域
本发明涉及一种跟踪方法，具体是一种基于结构光及SiamMask网络的多目标跟踪方法。
背景技术
现有的跟踪网络有单目标跟踪网络如SiamMask网络和多目标跟踪网络如deep_sort_yolov3网络。
单目标跟踪无法自动获取目标坐标，只能识别一个目标，不方便应用于实际生活；多目标跟踪网络采用相关滤波的算法作为跟踪器，精度比较差；两者都没用到结构光的摄像头。
发明内容
本发明的目的在于提供一种基于结构光及SiamMask网络的多目标跟踪方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于结构光及SiamMask网络的多目标跟踪方法，包含以下步骤：
A、采用摄像头获取彩色图像与对应的深度图像，调用pyrealsense2库函数将彩色图与深度图对齐；
B、生成目标边框坐标；送入SiamMask网络；
C、SiamMask网络接收目标坐标开始跟踪；
D、检测目标与跟踪目标的匹配，决定目标跟踪的开启与目标跟踪的结束；并且采用深度神经网络Resnet进行重识别；
E、显示跟踪目标。
作为本发明的进一步技术方案：所述摄像头为realsense D435深度摄像头。
作为本发明的进一步技术方案：所述步骤B具体是：采用目标检测模型，以yolov3为基础的改进网络，接收彩色图与深度图，分别获取其特征并在最后的卷积层结束后进行特征融合，将融合后的特征图一起送入全连接层，进行分类和回归，生成目标的边框坐标送入SiamMask网络。
作为本发明的进一步技术方案：所述步骤C具体是：多个目标生成多个特征图，每个特征图与当前帧图像进行比对，每个接收的目标分别取最大概率值所在当前帧图像的位置。接收的目标个数与当前帧检测的目标个数一致，且不能重复，当多次未检测到接收的目标时，结束跟踪未检测到的目标。
作为本发明的进一步技术方案：所述目标的匹配具体是：提取目标运动状态信息与目标中心点运动特征向量，进行多个目标的匹配。
作为本发明的进一步技术方案：所述步骤E具体是：用不同颜色边框选中不同目标，并为每个目标加上不同的ID或名称。
作为本发明的进一步技术方案：所述步骤D是为了防止目标跟踪互串。目标运动状态信息
Figure BDA0002146604230000021
其中(u,v)是bounding box中心坐标，r是长宽比，h是高，剩余四个代表运动向量。
Figure BDA0002146604230000022
取目标检测网络生成的运动信息dj和目标跟踪网络生成的运动信息yi，求的两者之间的马氏距离d(1)(i,j)，如果两者相匹配，则d(1)(i,j)在一定范围内，因此根据实际检测设定阈值，d(1)(i,j)小于阈值为匹配合格。
d(1)(i,j)＝(dj-yi)TSi -1(dj-yi)
其中S为协方差矩阵。
当d(1)(i,j)在阈值内时，将目标检测的检测框和目标跟踪的跟踪框内图像同时输入重识别网络，同一个目标会经过卷积网络会生成相同或相似的特征图，对比目标检测网络和目标跟踪网络两者生成的特征图，验证是否为同一目标。
与现有技术相比，本发明具有以下优点：本发明基于结构光及SiamMask网络的多目标跟踪方法通过增加图像目标的深度信息、目标检测模型、检测目标与跟踪目标匹配算法和重试别网络。提高了多目标跟踪的精度和实用性，方便使用
附图说明
图1为本发明流程示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：一种基于结构光及SiamMask网络的多目标跟踪方法，包含以下步骤：
A、采用realsense D435深度摄像头获取彩色图像与对应的深度图像，调用pyrealsense2库函数将彩色图与深度图对齐；
B、目标边框坐标生成，采用目标检测模型，以yolov3为基础的改进网络，接收彩色图与深度图，分别获取其特征并在最后的卷积层结束后进行特征融合，将融合后的特征图一起送入全连接层，进行分类和回归，生成目标的边框坐标送入SiamMask网络：
C、SiamMask网络接收目标坐标开始跟踪。多个目标生成多个特征图，每个特征图与当前帧图像进行比对，每个接收的目标分别取最大概率值所在当前帧图像的位置。接收的目标个数与当前帧检测的目标个数一致，且不能重复，当多次未检测到接收的目标时，结束跟踪未检测到的目标；
D、检测目标与跟踪目标的匹配，决定目标跟踪的开启与目标跟踪的结束，防止目标跟踪互串。提取目标运动状态信息与目标中心点运动特征向量，进行多个目标的匹配。并且采用深度神经网络Resnet进行重识别；
E、显示跟踪目标。
实施例2，在实施例1的基础上，步骤E具体是，用不同颜色边框选中不同目标,为每个目标加上特定的ID或名称，以便于各个目标的区分。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于结构光及SiamMask网络的多目标跟踪方法，其特征在于，包含以下步骤：
步骤A、采用摄像头获取彩色图像与对应的深度图像，调用pyrealsense2库函数将彩色图与深度图对齐；
步骤B、生成目标边框坐标；送入SiamMask网络；
步骤C、SiamMask网络接收目标坐标开始跟踪；
步骤D、检测目标与跟踪目标的匹配，决定目标跟踪的开启与目标跟踪的结束；并且采用深度神经网络Resnet进行重识别；
步骤E、显示跟踪目标。
2.根据权利要求1所述的一种基于结构光及SiamMask网络的多目标跟踪方法，其特征在于，所述摄像头为realsense D435深度摄像头。
3.根据权利要求1所述的一种基于结构光及SiamMask网络的多目标跟踪方法，其特征在于，步骤B具体是：采用目标检测模型，以yolov3为基础的改进网络，接收彩色图与深度图，分别获取其特征并在最后的卷积层结束后进行特征融合，将融合后的特征图一起送入全连接层，进行分类和回归，生成目标的边框坐标送入SiamMask网络。
4.根据权利要求1所述的一种基于结构光及SiamMask网络的多目标跟踪方法，其特征在于，步骤C具体是：多个目标生成多个特征图，每个特征图与当前帧图像进行比对，每个接收的目标分别取最大概率值所在当前帧图像的位置；
接收的目标个数与当前帧检测的目标个数一致，且不能重复，当多次未检测到接收的目标时，结束跟踪未检测到的目标。
5.根据权利要求1所述的一种基于结构光及SiamMask网络的多目标跟踪方法，其特征在于，所述目标的匹配具体是：提取目标运动状态信息与目标中心点运动特征向量，进行多个目标的匹配。
6.根据权利要求1所述的一种基于结构光及SiamMask网络的多目标跟踪方法，其特征在于，步骤E具体是：用不同颜色边框选中不同目标，并为每个目标加上不同的ID或名称。
7.根据权利要求5所述的一种基于结构光及SiamMask网络的多目标跟踪方法，其特征在于，步骤D是为了防止目标跟踪互串。
CN201910686889.6A 2019-07-29 2019-07-29 一种基于结构光及SiamMask网络的多目标跟踪方法 Active CN110544268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910686889.6A CN110544268B (zh) 2019-07-29 2019-07-29 一种基于结构光及SiamMask网络的多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910686889.6A CN110544268B (zh) 2019-07-29 2019-07-29 一种基于结构光及SiamMask网络的多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110544268A CN110544268A (zh) 2019-12-06
CN110544268B true CN110544268B (zh) 2023-03-24

Family

ID=68710413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910686889.6A Active CN110544268B (zh) 2019-07-29 2019-07-29 一种基于结构光及SiamMask网络的多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110544268B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325279B (zh) * 2020-02-26 2022-06-10 福州大学 一种融合视觉关系的行人与随身敏感物品跟踪方法
CN111523218B (zh) * 2020-04-16 2023-08-11 燕山大学 一种基于动态多目标进化的多目标参数优化方法
CN112464775A (zh) * 2020-11-21 2021-03-09 西北工业大学 一种基于多分支网络的视频目标重识别方法
CN112949458A (zh) * 2021-02-26 2021-06-11 北京达佳互联信息技术有限公司 目标跟踪分割模型的训练方法和目标跟踪分割方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150132968A (ko) * 2014-05-19 2015-11-27 한국과학기술연구원 다중 목표 추적 시스템 및 방법
WO2018086607A1 (zh) * 2016-11-11 2018-05-17 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备、存储介质
CN108573496A (zh) * 2018-03-29 2018-09-25 淮阴工学院 基于lstm网络和深度增强学习的多目标跟踪方法
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109584213A (zh) * 2018-11-07 2019-04-05 复旦大学 一种多目标编号选定跟踪方法
US10282852B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Autonomous store tracking system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150132968A (ko) * 2014-05-19 2015-11-27 한국과학기술연구원 다중 목표 추적 시스템 및 방법
WO2018086607A1 (zh) * 2016-11-11 2018-05-17 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备、存储介质
CN108573496A (zh) * 2018-03-29 2018-09-25 淮阴工学院 基于lstm网络和深度增强学习的多目标跟踪方法
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
US10282852B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Autonomous store tracking system
CN109584213A (zh) * 2018-11-07 2019-04-05 复旦大学 一种多目标编号选定跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
深度学习在视觉SLAM中应用综述;李少朋 等;《空间控制技术与应用》;20190415;1-10 *
非对称行人重识别:跨摄像机持续行人追踪;郑伟诗等;《中国科学:信息科学》;20180520(第05期);65-83 *

Also Published As

Publication number Publication date
CN110544268A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
US10818028B2 (en) Detecting objects in crowds using geometric context
CN109829398B (zh) 一种基于三维卷积网络的视频中的目标检测方法
CN103207898B (zh) 一种基于局部敏感哈希的相似人脸快速检索方法
CN113936198B (zh) 低线束激光雷达与相机融合方法、存储介质及装置
CN114677554A (zh) 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法
CN110751012B (zh) 目标检测评估方法、装置、电子设备及存储介质
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN105608417A (zh) 交通信号灯检测方法及装置
CN111768498A (zh) 基于稠密语义三维地图与混合特征的视觉定位方法、系统
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN112613387A (zh) 一种基于YOLOv3的交通标志检测方法
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN114519853A (zh) 一种基于多模态融合的三维目标检测方法及系统
Xiao et al. Geo-spatial aerial video processing for scene understanding and object tracking
CN114969221A (zh) 一种更新地图的方法及相关设备
CN112699711A (zh) 车道线检测方法、装置、存储介质及电子设备
Keawboontan et al. Towards Real-Time UAV Multi-Target Tracking using Joint Detection and Tracking
CN114140527A (zh) 一种基于语义分割的动态环境双目视觉slam方法
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
Lee et al. SAM-Net: LiDAR depth inpainting for 3D static map generation
CN115937520A (zh) 基于语义信息引导的点云运动目标分割方法
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant