CN109584213B - 一种多目标编号选定跟踪方法 - Google Patents

一种多目标编号选定跟踪方法 Download PDF

Info

Publication number
CN109584213B
CN109584213B CN201811316393.1A CN201811316393A CN109584213B CN 109584213 B CN109584213 B CN 109584213B CN 201811316393 A CN201811316393 A CN 201811316393A CN 109584213 B CN109584213 B CN 109584213B
Authority
CN
China
Prior art keywords
target
tracking
targets
algorithm
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811316393.1A
Other languages
English (en)
Other versions
CN109584213A (zh
Inventor
冯辉
李睿康
俞钧昊
胡波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201811316393.1A priority Critical patent/CN109584213B/zh
Publication of CN109584213A publication Critical patent/CN109584213A/zh
Application granted granted Critical
Publication of CN109584213B publication Critical patent/CN109584213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种基于深度学习的实时自主跟踪方法，提出了基于深度学习的人工神经网络的计算机视觉目标检测与计算机视觉目标跟踪算法，可利用高性能计算单元运行神经网络的运算单元检测目标，而后运行目标跟踪算法对所有目标同时实现跟踪，并可以手工介入选择特定目标专注单人跟踪。相比较传统的单目标跟踪算法，传统单目标跟踪需要手动框选目标，但对于移动目标，框选时往往会因为操作延时导致框选失效。本算法避免了人工框选目标的操作延时导致的框选不准和目标偏离。本发明构建了“摄像头‑服务器”的架构，将摄像头中所有目标数据同时处理，实现全区域的多人跟踪和单人持续跟踪，实验结果表明，本发明能够实现实时的神经网络运算，进而结合目标跟踪算法，实现“检测、选人”两步跟踪效果。

Description

一种多目标编号选定跟踪方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种多目标编号选定跟踪方法。
背景技术
视频监控系统建设正逐步向规模化、网络化、智能化、实战化发展。现阶段，视频监控网络迅速铺开，但随着视频监控系统的规模扩大，其具有的海量数据也带来了处理的困难。当需要跟踪特定目标时，往往只能依靠人工观察监控画面。
目标检测是机器视觉的重要研究内容。传统的目标检测流程首先在输入图像上定位出目标位置，然后对目标区域提取特征，最后用训练好的分类器对提取的特征进行分类，判定该区域是不是目标。该流程主要存在两个问题，一是时间复杂度高且窗口冗余，二是特征提取环节提取的特征是特征为人工设计，与任务相关，没有普适性。随着深度学习的兴起，基于神经网络的目标检测算法的准确率和运行速率都得到了很大的提升，可广泛应用于实际应用中。
目标跟踪算法同样是机器视觉中的重要研究内容。现阶段各类目标跟踪算法层出不穷，其准确率与跟踪效果也是逐年提升。但是伴随其准确率的升高带来爆炸增长的计算量，使得近年来目标跟踪算法的运行速度降至几秒一帧，完全无法投入实际使用。而既满足实时性又有足够好的效果的跟踪算法则要追溯至2008开始兴起的相关滤波器(Correlation Filter)方法。
发明内容
本发明的目的在于提出一种多目标编号选定跟踪方法。
本发明的目的在于提出一种多目标编号选定跟踪方法，所述跟踪方法通过跟踪系统实现，所述跟踪系统由图像采集单元和计算机处理单元组成，所述图像采集单元用于采集图像，计算处理单元进行运算、检测和跟踪，所述方法包括:对目标检测与多目标跟踪，标注目标与选择目标跟踪单个目标，具体步骤如下：
(1)、对目标检测与多目标跟踪
所述目标检测：通过基于深度学习的人工神经网络检测感兴趣的目标，取得目标在图像中对应的ROI（感兴趣区域）；
对所有取得的目标进行跟踪并产生编号，同一目标在同一视角内只有一个编号，且编号将跟随目标移动；
通过编号对特定目标进行选择，选定目标后对选定的多目标进行持续跟踪；
（２）标注目标与选择目标跟踪单个目标
运行目标跟踪算法跟踪单目标，在跟踪目标的同时，存储跟踪目标的图像帧；
目标发生跨摄像头移动或其他情形导致跟踪算法丢失目标，则重新启动目标识别步骤找出所有可能目标的ROI并跟踪所有可能目标；
通过目标重识别算法，将所有ROI内的图像与跟踪目标的存储图像相比对，从众多ROI从选择最相近的ROI，重新初始化目标跟踪算法，重新跟踪目标。
本发明中，步骤（１）中所述目标检测与多目标跟踪具体步骤如下：
预先采集待跟踪目标各角度图像（如地面多监控摄像头跟踪图像），作为训练数据集，利用随机梯度下降算法迭代求解进行深度学习，构建目标检测神经网络；
通过图像采集单元采集图像，作为输入传输至计算处理单元，进行目标检测，获取所有待跟踪目标在当前帧中的ROI。
进一步的，所述的目标选择步骤具体包括：
得到所有待跟踪目标在当前帧中的ROI后给所有ROI固定编号；
通过目标跟踪算法，将ROI作为算法初始值输入，持续更新每个编号目标的ROI；
通过手动操作（键盘输入编号或鼠标选定编号）选择特定的目标；
关闭其他目标的跟踪进程，仅跟踪选定目标。
本发明中，采用基于卷积神经网络的目标检测方法,在给定训练集的情况下，卷积神经网络可以实现端对端学习，自动学习特征提取的参数和分类器参数，避免了人工设计特征环节的耗时和准确率低的弊端。同时，目前没有实时多目标跟踪系统，跟踪算法基本使用在离线视频中，且需要人工指定初始跟踪ROI。本发明采用目标检测与跟踪联动的方法，无需人工指定初始跟踪ROI即可直接开始跟踪。通过目标检测和多人跟踪算法，可以得到所有目标在图像采集区域的位置，并实时更新。该网络检测的目标可以涵盖很多类范围，如人体、车辆、船舶、建筑等等。
2、标注目标与选择目标
完成目标检测和多目标同步跟踪以后，本发明将会自动给每个跟踪目标标上编号，便于下一步选择持续跟踪的单一目标。而后通过键盘输入或鼠标选择的方法，选定持续跟踪目标。此步骤完成后，将停止对其余目标的跟踪，仅留下选定的跟踪目标。
3、持续跟踪单个目标
目标跟踪算法将会持续跟踪选定目标，并存储当前目标ROI的图像，当算法判定目标在视野中丢失（可能由于目标走出视野、被前景其他物品遮挡等多种因素造成），将会启动目标找回方法：首先在视野中重新运行目标检测算法与多目标跟踪算法，找出所有潜在的目标，而后启动目标重识别算法，将之前存储的目标ROI图像与现有的潜在目标进行比对，找出与之符合的目标。找回目标后自动选定此目标，继续持续跟踪此目标。
本发明的有益效果在于:本发明构建了“摄像头-服务器”的架构，将摄像头中所有目标数据同时处理，实现全区域的多人跟踪和单人持续跟踪，实验结果表明，本发明能够实现实时的神经网络运算，进而结合目标跟踪算法，实现“检测、跟人、选人”三步跟踪效果。
附图说明
图1：本发明中实际系统结构与功能框图；
图２是实施例１配套GUI上可以查看所有视角所有摄像头的画面和目标在画面中的位置及编号；
图３是实施例１中在图2的场景下，选择了目标3后显示的样子。
具体实施方式
下面结合附图并通过具体实施实例对本发明做进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
实施例１：一种多目标编号选定跟踪方法，以人体目标跟踪、网络摄像头与无人机摄像头为图像采集单位作为示例应用场景，具体步骤如下：
1)目标检测与多人跟踪神经网络的构建
将目标检测与多人跟踪合并为一步，为了得到好的检测效果，测试时使用了微软的公开图像数据集COCO数据集及VOC2012数据集作为训练样本训练目标检测算法。利用随机梯度下降算法迭代求解。最后通过在采集的图片的数据集上进行训练和测试，得出检测的mAp可达60%，实际检测算法中，将多摄像头采集的图像进行拼合一次输入，以提升运算速度。同时启用多线程技术，同时启动多个跟踪进程，使跟踪多目标算法速度进一步提升。在实际运行场景中，运行速度可达每秒20fps以上，能满足实时性应用需求。
2)系统工作流程
系统启动时，通信框架自动启动，构建系统内通信回环。同时图像采集单元、计算处理单元自动启动并处于待命状态，等待进一步交互指令的发出。
系统初始化完成并收到开始工作信号后，将自动检测并跟踪所有目标，并给所有目标标注编号，配套GUI上可以查看所有视角所有摄像头的画面和目标在画面中的位置及编号。如图2所示。
通过GUI上的目标选择和确认键可以选定所有摄像头中的任一待选目标。选定后，持续跟踪算法会持续进行跟踪。例如，在图2的场景下，选择了目标3，显示将会变为图3所示的样子。
同时可通过GUI中的重置键随时重置系统，系统将会自动回到检测和跟踪多目标的状态。
上述实施方式仅以对人体类别目标的检测与网络摄像头与无人机采集图像为例作为本发明应用场景的一种具体实现，实际应用中可以将目标更换为其他类别如车辆、船舶等作为深度学习神经网络的训练集，可以将采集图像单元换为其他摄像头，可以选择更有针对性的数据集进行算法训练提升效果与性能。本系统在软件与硬件上都实现模块化设计，结构上灵活性强；功能上扩展性强，可以附加上更多功能如通信、控制外部设备等。
综上，本发明能够有效地实现多视角持续跟踪。

Claims (4)

1.一种多目标编号选定跟踪方法，其特征在于：所述跟踪方法通过跟踪系统实现，所述跟踪系统由图像采集单元和计算机处理单元组成，所述图像采集单元用于采集图像，计算处理单元进行运算、检测和跟踪，所述方法包括：对目标检测与多目标跟踪，标注目标与选择目标跟踪单个目标，具体步骤如下：
(1)、对目标检测与多目标跟踪
所述目标检测：通过基于深度学习的人工神经网络检测感兴趣的目标，取得目标在图像中对应的ROI感兴趣区域；
对所有取得的目标进行跟踪并产生编号，同一目标在同一视角内只有一个编号，且编号将跟随目标移动；
通过编号对特定目标进行选择，选定目标后对选定的多目标进行持续跟踪；
（２）标注目标与选择目标跟踪单个目标
运行目标跟踪算法跟踪单目标，在跟踪目标的同时，存储跟踪目标的图像帧；
目标发生跨摄像头移动或其他情形导致跟踪算法丢失目标，则重新启动目标识别步骤找出所有可能目标的ROI并跟踪所有可能目标；
通过目标重识别算法，将所有ROI内的图像与跟踪目标的存储图像相比对，从众多ROI从选择最相近的ROI，重新初始化目标跟踪算法，重新跟踪目标。
2.根据权利要求1所述的方法，其特征在于：步骤（1）中所述目标检测与多目标跟踪具体步骤如下：
预先采集待跟踪目标各角度图像，作为训练数据集，利用随机梯度下降算法迭代求解进行深度学习，构建目标检测神经网络；
通过图像采集单元采集图像，作为输入传输至计算处理单元，进行目标检测，获取所有待跟踪目标在当前帧中的ROI。
3.根据权利要求1所述的方法，其特征在于：所述的目标选择步骤具体包括：
得到所有待跟踪目标在当前帧中的ROI后给所有ROI固定编号；
通过目标跟踪算法，将ROI作为算法初始值输入，持续更新每个编号目标的ROI；
通过手动操作选择特定的目标；
关闭其他目标的跟踪进程，仅跟踪选定目标。
4.根据权利要求1所述的方法，其特征在于：所述图像采集单元为具有采集图像能力且计算处理单元可访问的任何设备，所述任何设备为网络摄像头、USB摄像头或接入网络的拍摄无人机中任一种；所述计算处理单元为处理图像采集单元传入图像的任何设备，所述任何设备为个人微型计算机、服务器或图像处理专用芯片中任一种。
CN201811316393.1A 2018-11-07 2018-11-07 一种多目标编号选定跟踪方法 Active CN109584213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811316393.1A CN109584213B (zh) 2018-11-07 2018-11-07 一种多目标编号选定跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811316393.1A CN109584213B (zh) 2018-11-07 2018-11-07 一种多目标编号选定跟踪方法

Publications (2)

Publication Number Publication Date
CN109584213A CN109584213A (zh) 2019-04-05
CN109584213B true CN109584213B (zh) 2023-05-30

Family

ID=65921627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811316393.1A Active CN109584213B (zh) 2018-11-07 2018-11-07 一种多目标编号选定跟踪方法

Country Status (1)

Country Link
CN (1) CN109584213B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189360A (zh) * 2019-05-28 2019-08-30 四川大学华西第二医院 一种对特定目标的识别跟踪方法
CN110544268B (zh) * 2019-07-29 2023-03-24 燕山大学 一种基于结构光及SiamMask网络的多目标跟踪方法
CN110501684B (zh) * 2019-08-23 2022-12-23 北京航天朗智科技有限公司 雷达数据处理装置及雷达数据处理方法
CN110347183A (zh) * 2019-08-26 2019-10-18 中国航空工业集团公司沈阳飞机设计研究所 一种无人机对地移动目标打击方法及系统
CN110926462A (zh) * 2019-11-04 2020-03-27 中国航空工业集团公司洛阳电光设备研究所 一种基于机载光电探测系统地面目标标记方法
CN111134650A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 心率信息获取方法、装置、计算机设备和存储介质
CN111242988B (zh) * 2020-01-14 2023-04-28 青岛联合创智科技有限公司 一种广角相机与长焦相机联动双云台跟踪目标的方法
CN112070027B (zh) * 2020-09-09 2022-08-26 腾讯科技（深圳）有限公司 网络训练、动作识别方法、装置、设备及存储介质
CN113011259A (zh) * 2021-02-09 2021-06-22 苏州臻迪智能科技有限公司 电子设备的操作方法
CN113223060B (zh) * 2021-04-16 2022-04-15 天津大学 基于数据共享的多智能体协同跟踪方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097391A (zh) * 2016-06-13 2016-11-09 浙江工商大学 一种基于深度神经网络的识别辅助的多目标跟踪方法
CN106204646A (zh) * 2016-07-01 2016-12-07 湖南源信光电科技有限公司 基于bp神经网络的多运动目标跟踪方法
CN106327502A (zh) * 2016-09-06 2017-01-11 山东大学 一种安防视频中多场景多目标识别和跟踪方法
CN107330920A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN107918765A (zh) * 2017-11-17 2018-04-17 中国矿业大学 一种移动目标检测并追踪系统及其方法
WO2018121286A1 (zh) * 2016-12-30 2018-07-05 纳恩博（北京）科技有限公司 目标跟踪方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097391A (zh) * 2016-06-13 2016-11-09 浙江工商大学 一种基于深度神经网络的识别辅助的多目标跟踪方法
CN106204646A (zh) * 2016-07-01 2016-12-07 湖南源信光电科技有限公司 基于bp神经网络的多运动目标跟踪方法
CN106327502A (zh) * 2016-09-06 2017-01-11 山东大学 一种安防视频中多场景多目标识别和跟踪方法
WO2018121286A1 (zh) * 2016-12-30 2018-07-05 纳恩博（北京）科技有限公司 目标跟踪方法和装置
CN107330920A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN107918765A (zh) * 2017-11-17 2018-04-17 中国矿业大学 一种移动目标检测并追踪系统及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李贺.基于深度学习的目标跟踪算法研究综述.《黑龙江科技信息》.2017,(第17期),49. *
王慧燕 等.深度学习辅助的多行人跟踪算法.《中国图象图形学报》.2017,第22卷(第03期),349-357. *

Also Published As

Publication number Publication date
CN109584213A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109584213B (zh) 一种多目标编号选定跟踪方法
Chen et al. A deep learning approach to drone monitoring
Yang et al. Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot
CN111326023A (zh) 一种无人机航线预警方法、装置、设备及存储介质
Sommer et al. Flying object detection for automatic UAV recognition
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
CN111402294A (zh) 目标跟踪方法、装置、计算机可读存储介质和计算机设备
CN106056624A (zh) 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法
WO2008070206A2 (en) A seamless tracking framework using hierarchical tracklet association
Zhang et al. An intruder detection algorithm for vision based sense and avoid system
Wu et al. Multivehicle object tracking in satellite video enhanced by slow features and motion features
CN111274992A (zh) 一种跨摄像头的行人重识别方法及系统
CN115376034A (zh) 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置
Zhou et al. A study on attention-based LSTM for abnormal behavior recognition with variable pooling
Sokolova et al. Human identification by gait from event-based camera
CN103870847A (zh) 一种低照度环境下对地监控的运动目标检测方法
CN106934339B (zh) 一种目标跟踪、跟踪目标识别特征的提取方法和装置
Li et al. Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety
Reno et al. Tennis player segmentation for semantic behavior analysis
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
Sui et al. Object tracking in satellite videos based on a lightweight network
CN113449566A (zh) 人在回路的“低慢小”目标智能图像跟踪方法及系统
Wu et al. Multi-video temporal synchronization by matching pose features of shared moving subjects
Symeonidis et al. AUTH-Persons: A dataset for detecting humans in crowds from aerial views
Huang et al. Motion characteristics estimation of animals in video surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant