CN111784737B - 一种基于无人机平台的目标自动跟踪方法及系统 - Google Patents

一种基于无人机平台的目标自动跟踪方法及系统 Download PDF

Info

Publication number
CN111784737B
CN111784737B CN202010528086.0A CN202010528086A CN111784737B CN 111784737 B CN111784737 B CN 111784737B CN 202010528086 A CN202010528086 A CN 202010528086A CN 111784737 B CN111784737 B CN 111784737B
Authority
CN
China
Prior art keywords
target
image
tracking
frame
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010528086.0A
Other languages
English (en)
Other versions
CN111784737A (zh
Inventor
管乃洋
凡遵林
苏龙飞
王之元
王浩
张天昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Priority to CN202010528086.0A priority Critical patent/CN111784737B/zh
Publication of CN111784737A publication Critical patent/CN111784737A/zh
Application granted granted Critical
Publication of CN111784737B publication Critical patent/CN111784737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供的基于无人机平台的目标自动跟踪方法及系统，包括在当前视频数据中，按照采集时间逐帧搜索目标，对当前帧目标初始化标志位进行赋值；获取所述目标在当前帧图像的初始化信息；在下一帧图像中，根据目标的深度特征在初始位置附近搜索与初始图像块相似的图像块，并对当前帧目标跟踪标志位进行赋值；获取所述目标在下一帧图像中的位置信息和图像块；迭代执行上述直至完成目标的跟踪。本实施例提供的方法及系统，通过在当前帧图像定位目标的初始化信息，并在下一帧图像中自动搜索并定位目标，可以迅速准确检测重新进入传感器视野的目标，能稳定跟踪地面车辆目标，可用于实际移动端目标跟踪。

Description

一种基于无人机平台的目标自动跟踪方法及系统
技术领域
本发明实施例涉及计算机视觉目标跟踪技术领域，尤其涉及一种基于无人机平台的目标自动跟踪方法及系统。
背景技术
无人驾驶飞行器简称无人机，能通过地面站远程或机载任务板程序的操控实现飞行功能。随着计算机视觉、自主定位和自动控制等技术的不断成熟，无人机的应用和发展得到了民众的大力追捧和资本注入。为满足无人机智能感知环境状态和评估自身状态以实现无人机自主的飞行，对无人机视觉导航、目标检测、识别和跟踪的技术提出了更高要求。具有强鲁棒性的跟踪地面移动车辆目标是指即使车辆目标在行驶过程中发生非刚体形变、快速移动以及受到光线变化、障碍物遮挡等背景干扰，无人机仍能保持一定精度和成功率的跟踪目标，为无人机跟踪锁定目标、精确打击等应用提供重要支撑。
目标跟踪方法按照建立目标模型的方式不同可以分为生成类方法和判别类方法。其中，生成类目标跟踪方法是指按照一定规则生成目标模型，在待跟踪图像中搜索与目标模型最相似的区域为目标区域。该类算法核心在于刻画目标特征而忽略背景干扰，但当目标发生形变、光照变化或运动模糊时容易跟丢目标。典型的生成式目标跟踪算法有粒子滤波、Mean-Shift以及基于稀疏表示的目标跟踪算法等。
判别类目标跟踪方法包括建立区分图像目标和背景信息的判别模型，在待跟踪图像中判别搜索区域是目标或背景信息而跟踪目标。该类算法致力于建立背景信息与目标之间的判别模型。判别类目标跟踪方法主要包括相关滤波和深度学习方法。其中，基于相关滤波器的目标跟踪算法是指通过构造相关滤波器，在候选区域内搜索与目标相关性最大的响应区域为下一帧图像的目标区域，其典型代表是KCF。KCF跟踪算法在实际应用中存在如下缺陷：由于在跟踪时需要逐帧更新估计目标位置的滤波器，造成当目标被遮挡严重时，容易丢失目标；随着目标景深和形状的变化，目标框容易漂移，跟踪鲁棒性较差。
有鉴于此，亟需提供一种鲁棒性更强的目标自动跟踪方法和系统，以克服现有技术中的不足。
发明内容
本发明实施例提供一种基于无人机平台的目标自动跟踪方法及系统，用于克服或部分解决现有技术在基于无人机平台的目标自动跟踪中存在的运算效率低、分配不合理等缺陷。
第一方面，本发明实施例提供一种基于无人机平台的目标自动跟踪方法，主要包括以下步骤：
S1，获取由无人机嵌入式平台采集的当前视频数据；
S2，在当前视频数据中，按照采集时间逐帧搜索目标，并根据搜索结果对当前帧目标初始化标志位进行赋值；若目标初始化标志位为1，则获取目标在所述当前帧图像的初始化信息；该初始化信息包括：目标的初始位置信息以及目标所对应的初始图像块；
S3，在下一帧图像中，根据目标的深度特征在目标的初始位置附近搜索与初始图像块相似的图像块，并根据搜索结果对当前帧目标跟踪标志位进行赋值；若当前帧目标跟踪标志位的赋值为1，则获取目标在下一帧图像中的位置信息和图像块；
S4，以目标在下一帧图像中的位置信息和图像块作为初始化信息；
S5，迭代执行上述步骤S3-S4，继续在下一帧图像中进行目标的搜索，直至完成目标的跟踪。
作为可选地，在下一帧图像中，若当前帧目标跟踪标志位的赋值为0，则继续将所述下一帧图像之后的视频数据作为当前视频数据，输入至步骤S2中，获取重新检测的目标；
若判断所述重新检测的目标与之前跟踪的所述目标相同时，则执行步骤S3-S5；
若判断所述重新检测的目标与之前跟踪的所述目标不同时，则继续将下一帧图像输入至步骤S2中，直至重新检测的目标与之前跟踪的目标相同。
作为可选地，上述在当前视频数据中，按照采集时间逐帧搜索目标，并根据搜索结果对当前帧目标初始化标志位进行赋值；若目标初始化标志位为1，则获取目标的初始化信息，具体包括：
构建基于mobilenet-SSD目标检测算法的目标检测模型；将当前视频数据按照采集时间逐帧输入至目标检测模型，若判断输入的当前帧图像中包含目标，则对当前帧目标初始化标志位进行赋值为1，并获取由目标检测模型输出的目标的初始化信息。
作为可选地，在将当前视频数据按照采集时间逐帧输入至目标检测模型之前，还包括：利用UAV123数据集、VisDrone数据集和在实验场地预先采集的标注数据集，构建训练图像样本以及与每个训练图像样本相对应的初始化信息标签所组成的训练样本集；将训练样本集中的21类目标修改为只包含背景和车辆的2类目标；利用修改后的训练样本集对目标检测模型进行预训练。
作为可选地，上述若判断当前帧图像中包含所述目标，则对当前帧目标初始化标志位进行赋值为1，主要包括：设置检测车辆置信度阈值；在利用目标检测模型对当前帧图像进行识别的同时，还获取目标的置信度；若目标的置信度不小于所述检测车辆置信度阈值，则对当前帧目标初始化标志位进行赋值为1。
作为可选地，上述在下一帧图像中，根据目标的深度特征在目标的初始位置附近搜索与初始图像块相似的图像块，并根据搜索结果对当前帧目标跟踪标志位进行赋值，主要包括：
针对下一帧图像，利用DasiamRPN跟踪器根据目标的深度特征在目标的初始位置附近搜索与初始图像块相似的图像块，并根据搜索结果输出跟踪得分值；若跟踪得分值大于预设的车辆跟踪阈值，则对当前帧目标跟踪标志位进行赋值为1。
作为可选地，跟踪得分值包括交并比参数值和相似性参数值；相应地，车辆跟踪阈值包括交并比阈值和相似性阈值；
交并比参数值的数学表达式为：
Figure BDA0002533599250000041
相似性参数值的数学表达式为：
Similarity＝Convfeatdec⊙Convfeattrc
其中，regiontrc表示目标跟踪结果图像块区域，regiondec表示目标检测结果图像块区域，Convfeattrc为目标跟踪结果特征，Convfeatdec为目标检测结果特征，⊙表示向量间的内积运算，IOU为交并比参数，Similarity为相似性参数。
作为可选地，若目标初始化标志位为0，则按照当前视频数据的采集时间继续对下一帧图像进行目标的搜索。
第二方面，本发明实施例提供一种基于无人机平台的目标自动跟踪系统，主要包括：数据采集单元、目标初始化单元和目标跟踪单元。其中，数据采集单元用于获取由无人机嵌入式平台采集的当前视频数据。目标初始化单元用于在当前视频数据中，按照采集时间逐帧搜索目标，并根据搜索结果对当前帧目标初始化标志位进行赋值；若目标初始化标志位为1，则获取目标在所述当前帧图像的初始化信息；初始化信息包括：目标的初始位置信息以及目标所对应的初始图像块。目标跟踪单元用于在下一帧图像中，根据目标的深度特征在目标的初始位置附近搜索与初始图像块相似的图像块，并根据搜索结果对当前帧目标跟踪标志位进行赋值；若当前帧目标跟踪标志位的赋值为1，则获取目标在所述下一帧图像中的位置信息和图像块；以目标在所述下一帧图像中的位置信息和图像块作为初始化信息，并继续在下一帧图像中进行目标的搜索，直至完成目标的跟踪。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现如第一方面任一所述的基于无人机平台的目标自动跟踪方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面任一所述的基于无人机平台的目标自动跟踪方法的步骤。
本发明实施例提供的基于无人机平台的目标自动跟踪方法及系统，通过在当前帧图像定位目标的初始化信息，并在下一帧图像中自动搜索并定位目标，可以迅速准确检测重新进入传感器视野的目标，能稳定跟踪地面车辆目标，可用于实际移动端目标跟踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于无人机平台的目标自动跟踪方法流程示意图；
图2为本发明实施例提供的利用mobilenet-SSD目标检测算法将标准卷积核分解为深度卷积和点卷积运算示意图；
图3为本发明实施例提供的在飞行实验场地场景，DasiamRPN跟踪器跟踪每帧图像的得分示意图；
图4为本发明实施例提供的利用深度卷积特征计算跟踪目标和检测目标相似性的示意图；
图5为本发明实施例提供的一种基于无人机平台的目标自动跟踪系统的结构示意图；
图6为本发明实施例提供的另一种基于无人机平台的目标自动跟踪系统的结构示意图；
图7为本发明实施例提供的一种电子设备的实体结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有的基于无人机嵌入式平台跟踪地面移动目标技术存在的目标框容易漂移，跟踪鲁棒性较差。容易丢失目标的缺陷，本发明实施例提供了一种基于无人机平台的目标自动跟踪方法，如图1所示，包括但不限于以下步骤：
S1，获取由无人机嵌入式平台采集的当前视频数据；
S2，在当前视频数据中，按照采集时间逐帧搜索目标，并根据搜索结果对当前帧目标初始化标志位进行赋值；若目标初始化标志位为1，则获取目标在所述当前帧图像的初始化信息；初始化信息包括：目标的初始位置信息以及目标所对应的初始图像块；
S3，在下一帧图像中，根据目标的深度特征在所述目标的初始位置附近搜索与初始图像块相似的图像块，并根据搜索结果对当前帧目标跟踪标志位进行赋值；若当前帧目标跟踪标志位的赋值为1，则获取目标在下一帧图像中的位置信息和图像块；
S4，以目标在所述下一帧图像中的位置信息和图像块作为初始化信息；
S5，迭代执行上述步骤S3-S4，继续在下一帧图像中进行目标的搜索，直至完成目标的跟踪。
NVIDIA近日发布了旗下一款嵌入式开发模块——Jetson TX2，该开发模块针对无人机、自动驾驶车辆、医疗工业设备等，搭载了Linux系统。Jetson TX2的特点是NVIDIAPascal GPU有256个CUDA有能力的核心，适用于面向一定深度网络模型的前向加速计算。
在本发明实施例中可以通过在搭载有TX2嵌入式任务板的四旋翼无人机进行目标的自动跟踪，其中所跟踪的目标对象可以是车辆等移动端，为便于说明在接下来的所有实施例中均以对目标车辆的实时跟踪为例进行说明。
具体地，无人机上设置有可见光传感器，嵌入式平台可以从可见光传感器获取面向地面场景的航拍视频数据。
当需要对目标进行跟踪时，首先利用无人机从控制获取包含目标车辆大概位置的当前视频数据；然后采用目标检测功能，按照当前视频数据的采集时间逐帧搜索目标车辆，以确定航拍视频中感兴趣的目标车辆是否存在，跟根据搜索的结果，赋予当前帧目标初始化标志位(Flag_ini)；若在当前帧中检测到目标车辆的存在时，则将当前帧目标初始化标志位赋值为1(即令Flag_ini＝1)；若在当前帧中未检测到目标车辆的存在时，则将当前帧目标初始化标志位赋值为0(即令Flag_ini＝0)。
进一步地，若Flag_ini＝1，则在当前帧中确定出目标车辆的初始化信息，包括初始位置信息[x0，y0，w0，h0]和在当前帧中对应的图像块patch0。其中初始位置信息可以结合搭载在无人机上的嵌入式平台所包括的卫星定位模块来确定。
在获取到目标车辆在当前帧中的初始化信息之后，则需要在传输过来的当前视频数据中当前帧的下一帧图像中进行目标车辆，并依次迭代，实现对目标车辆的实时跟踪。
具体地，对于目标车辆在下一帧图像的识别及定位主要包括：根据目标车辆的深度特征，比如获取目标车辆的车标、目标车辆上能区别与背景以及其他干扰测量的一个或多个特征的组合的深度特征。根据车辆在地面的移动特征，在获取相邻两帧图像的时间间隔内，目标车辆的移动是有效的，因此在本发明实施例中根据确定的目标车辆的深度特征，在上一帧图像中的目标的初始位置附近搜索与上一帧图像中的与目标车辆对应的图像块相似的图像块。若能够在附近搜索到相似的图像块，则对当前帧目标跟踪标志位赋值为1；若在附近未搜索到相似的图像块，则对当前帧目标跟踪标志位赋值为0。
若当前帧目标跟踪标志位的赋值为1，则对应的确定出目标车辆在所述的下一帧图像中的位置信息和其所在的图像块。
按上述方法，按照采集时间逐帧对当前视频数据中的所有的图像进行搜索，仅在每次定位到目标在所述当前帧图像中的位置信息和图像块之后，将其作为初始化信息，并利用该初始化信息对下一帧图像进行目标车辆的搜索，直至获取目标车辆的移动轨迹，实现对其跟踪的目的。
本发明实施例提供的基于无人机平台的目标自动跟踪方法，通过在当前帧图像定位目标的初始化信息，并在下一帧图像中自动搜索并定位目标，可以迅速准确检测重新进入传感器视野的目标，能稳定跟踪地面车辆目标，可用于实际移动端目标跟踪。
基于上述实施例的内容，作为一种可选实施例，在下一帧图像中，若当前帧目标跟踪标志位的赋值为0，则继续将下一帧图像之后的视频数据作为当前视频数据，输入至步骤S2中，获取重新检测的目标；若判断所述重新检测的目标与之前跟踪的所述目标相同时，则执行步骤S3-S5；若判断重新检测的目标与之前跟踪的所述目标不同时，则继续将下一帧图像输入至步骤S2中，直至重新检测的目标与之前跟踪的目标相同。
具体地，若当前帧目标跟踪标志位的赋值为0，在说明在该帧图像中未搜索到目标车辆，即目标跟踪失败，则需要重新启动目标检测功能。此时，则需要对视频数据中后续的图像进行搜索，即继续将下一帧图像之后的视频数据作为当前视频数据(可理解为以未进行搜索的图像构成的当前视频数据)，在新输入的当前帧中重新开始进行目标车辆的搜索。若此时搜索到感兴趣的目标车辆之后，在本发明实施例中，与现有技术的区别之一表现为：判断重新检测的目标车辆与之前跟踪的目标车辆是否为同一目标。若重新检测的目标车辆与之前跟踪的目标车辆相同，则将目标车辆在当前帧中的位置信息以及其对应的图像块，作为初始化信息，继续执行上述实施例提供的步骤S2-S5，实现目标车辆的跟踪；若重新检测的目标车辆与之前跟踪的目标车辆不相同，则继续在下一帧图像中进行感兴趣车辆的搜索，直至获取的感兴趣车辆与目标车辆相同后，继续执行步骤S2-S5，实现目标车辆的跟踪。
在目标跟踪失败后，需要重新启动目标检测功能，但重新检测的目标和前一帧跟踪器锁定的目标并不一定是同一目标。如果不进行判断和纠正，会导致跟踪器一直跟踪错误目标。因此，目标跟踪失败后，判断重新检测目标与前一帧成功跟踪的目标是否为同一目标变得尤为重要。本发明实施例提供的基于无人机平台的目标自动跟踪方法，通过对重新获取的感兴趣的目标车辆与之前所确定的目标车辆进行相同性的判断，以根据不同的判断结果，执行相应的操作，有效的保证了跟踪目标的准确性，避免了目标丢失或跟踪错误的目标的可能性，提高了跟踪的准确性和纠错性。
基于上述实施例的内容，作为一种可选实施例，上述在当前视频数据中，按照采集时间逐帧搜索目标，并根据搜索结果对当前帧目标初始化标志位进行赋值；若目标初始化标志位为1，则获取目标的初始化信息，具体可以包括：
构建基于mobilenet-SSD目标检测算法的目标检测模型；将所述当前视频数据按照采集时间逐帧输入至所述目标检测模型，若判断输入的当前帧图像中包含所述目标，则对所述当前帧目标初始化标志位进行赋值为1，并获取由所述目标检测模型输出的所述目标的初始化信息。
具体地，在本发明实施例中，为了在当前帧中检测获取到目标车辆的初始化信息，采用mobilenet-SSD目标检测算法构建一个目标检测模型。如图2所示，为适用移动端处理轻量级深度网络模型，在本发明实施例提供的基于mobilenet-SSD目标检测算法所构建的目标检测模型中，使用深度可分离卷积，将标准卷积核进行分解深度卷积和点卷积计算，能够有效的减少卷积运算量，提高检测的效率和稳定性。
本发明实施例提供的基于无人机平台的目标自动跟踪方法，采用适用嵌入式任务板的目标检测算法——mobilenet-SSD，作为初始化目标和重检测目标的手段。在重检测目标过程，通过计算检测目标与跟踪目标之间的overlap和相似性判断是否为同一目标，能很好解决跟踪过程目标丢失和被遮挡后重新准确找回目标的问题。
基于上述实施例的内容，作为一种可选实施例，在将当前视频数据按照采集时间逐帧输入至所述目标检测模型之前，还可以包括：利用UAV123数据集、VisDrone数据集和在实验场地预先采集的标注数据集，构建训练图像样本以及与每个训练图像样本相对应的初始化信息标签所组成的训练样本集；将训练样本集中的21类目标修改为只包含背景和车辆的2类目标；利用修改后的训练样本集对所述目标检测模型进行预训练。
需要说明的是，为提高目标检测精度和降低目标检测误检率，针对监视地面移动目标的应用场景，在本发明实施例中，通过选择UAV123数据集(https://ivul.kaust.edu.sa/Pages/Dataset-UAV123.aspx)、VisDrone数据集(http://aiskyeye.com)和在实验场地采集并标注数据集作为训练和测试数据，同时将原始21类目标修改为只包含背景和车辆的2类目标。经过迭代训练后得到基于mobilenet-SSD的目标检测模型。
本发明实施例提供的基于无人机平台的目标自动跟踪方法，利用多种数据集对预先构建的目标检测模型进行预训练，能够有效的提高模型预测的鲁棒性。
基于上述实施例的内容，作为一种可选实施例，在步骤S2中若判断当前帧图像中包含目标，则对当前帧目标初始化标志位进行赋值为1，包括：设置检测车辆置信度阈值；在利用目标检测模型对当前帧图像进行识别的同时，还获取目标的置信度；若目标的置信度不小于所述检测车辆置信度阈值，则对当前帧目标初始化标志位进行赋值为1。
具体地，在本发明实施例提供的基于无人机平台的目标自动跟踪方法，通过设置检测车辆置信度阈值(例如0.9)，在利用目标检测模型对当前帧图像进行识别的同时，还获取目标的置信度。当实时搜索的目标的置信度大于0.9时，则标记目标车辆的初始化目标标志位Flag_ini为1，否则为0。同时，在初始化目标成功后，将计算输出车辆目标在图像的初始位置信息[x0，y0，w0，h0]和目标图像块patch0，然后按上述实施例的方法继续在下一帧图像中进行目标车辆的搜索
本发明实施例提供的目标自动跟踪方法，通过设置车辆置信度阈值，能够在有效的解决目标被遮挡严重时，容易丢失目标，或随着目标景深和形状的变化，目标框容易漂移，跟踪鲁棒性较差等缺陷。
基于上述实施例的内容，作为一种可选实施例，在步骤S3中，在下一帧图像中，根据目标的深度特征在目标的初始位置附近搜索与初始图像块相似的图像块，并根据搜索结果对当前帧目标跟踪标志位进行赋值，可以包括但不限于以下步骤：
针对下一帧图像，利用DasiamRPN跟踪器根据目标的深度特征在目标的初始位置附近搜索与初始图像块相似的图像块，并根据搜索结果输出跟踪得分值；若跟踪得分值大于预设的车辆跟踪阈值，则对当前帧目标跟踪标志位进行赋值为1。
在计算机视觉领域为快速鲁棒跟踪目标，陆续提出了很多基于深度特征和孪生网络的目标跟踪算法。常见孪生网络类跟踪方法，例如，现有技术中结合了SiameseFC和Faster R-CNN的Region Proposal Network，实现Region Proposal Network并行化，大大加快了提取目标框的速度和精度。但现有的目标跟踪算法存在以下问题：(1)只能区分目标和无语义信息的背景，当有语义的物体是背景时，也就是有干扰物时，表现不是很好；(2)在跟踪阶段不能更新模型，训练好的模型对不同特定目标都是一样，这样提升速度同时也相应牺牲了精度；(3)在长时跟踪的应用上，不能很好应对全遮挡和目标出画面等挑战。
在实际跟踪车辆目标场景中，为准确定义DasiamRPN跟踪器是否对当前跟踪成功，需要记录和分析DasiamRPN跟踪器跟踪每一帧图像的跟踪得分。以在飞行实验场地试验为例，具体得分分布情况如图3所示。针对飞行实验场地场景，设置判断跟踪器是否成功的车辆跟踪阈值为0.85。即当跟踪得分值大于阈值0.85时，认为该目标为真实目标，当前帧跟踪成功，标记跟踪车辆目标标志位Flag_trc为1；否则失败，标志位为0。
进一步地，当目标跟踪成功(即跟踪得分大于阈值，标志位Flag_trc为1)，输出并标记目标的位置信息[x1，y1，w1，h1]和对应的图像块patch1，继续对下一帧图像进行目标跟踪；当目标跟踪失败(即跟踪得分小于阈值，标志位Flag_trc为0)，则按照上述实施例提供的方法，继续在下一帧图像中进行感兴趣车辆的搜索，直至获取的感兴趣车辆与目标车辆相同后，继续执行步骤S2-S5，实现目标车辆的跟踪。
本发明实施例提供的基于无人机平台的目标自动跟踪方法，优化基于深度特征的DasiamRPN目标跟踪算法，同时在大量数据测试基础上设置判断目标跟踪是否成功的车辆跟踪阈值，实现目标跟踪和重检测之间的准确转换，提高了目标跟踪的鲁棒性和稳定性。
基于上述实施例的内容，作为一种可选实施例，上述跟踪得分值可以包括交并比参数值和相似性参数值。
相应地，上述车辆跟踪阈值可以包括交并比阈值和相似性阈值。
其中，交并比参数值的数学表达式为：
Figure BDA0002533599250000121
相似性参数值的数学表达式为：
Similarity＝Convfeatdec⊙Convfeattrc
其中，regiontrc表示目标跟踪结果图像块区域，regiondec表示目标检测结果图像块区域，Convfeattrc为目标跟踪结果特征，Convfeatdec为目标检测结果特征，⊙表示向量间的内积运算，IOU为交并比参数，Similarity为相似性参数。
在目标跟踪过程中，目标车辆位置移动具有连续性且同一目标的特征具有不变性。因此，可通过计算目标检测和目标跟踪目标框(图像块)之间的重合程度验证目标位置的连续性，通过计算检测目标和跟踪目标之间的相似性验证同一目标特征的不变性。本发明实施例选择适用测量在特定数据集中检测相应物体准确度的标准Intersection overUnion(IOU)衡量两目标的重合程度：
Figure BDA0002533599250000122
进一步地，为准确提取目标跟踪结果和目标检测结果特征，采用DasiamRPN网络的卷积层提取目标检测和跟踪结果的深度特征，其网络结构图如图4所示。例如，将输入的目标区域图像均归一化成127×127×3的尺寸。本发明实施例定义两目标的相似性如下：
Similarity＝Convfeatdec⊙Convfeattrc
其中，regiontrc表示目标跟踪结果框区域，regiondec表示目标检测结果框区域，⊙表示向量间的内积运算。
进一步地，在本发明实施例中可以设置IOU和Similarity的阈值分别为0.3和0.8。同时满足IOU大于0.3和Similarity大于0.8时，认为当前帧重新获取的感兴趣的目标和前一帧跟踪器锁定的目标是同一目标，则赋予当前帧检测标志位Flag_dec为1，输出并标记目标的位置[x2，y2，w2，h2]和对应的图像块patch2，则将目标车辆在当前帧中的位置信息以及其对应的图像块，作为初始化信息，继续执行上述实施例提供的步骤S2-S5，实现目标车辆的跟踪。当目标检测失败(即未检测到目标或检测非感兴趣目标，标志位Flag_dec为0)，则继续在下一帧图像中进行感兴趣车辆的搜索，直至获取的感兴趣车辆与目标车辆相同后，继续执行步骤S2-S5，实现目标车辆的跟踪。
本发明实施例提供的基于无人机平台的目标自动跟踪方法，通过设置IOU和Similarity的阈值判断，以确定重新检测的目标与之前跟踪的目标相同后，才继续进行目标跟踪，能够稳定鲁棒实时地自动跟踪地面移动车辆；同时，当目标重新进入视野，跟踪器仍然能迅速准确检测和跟踪目标，不会出现跟错目标的现象。
基于上述实施例的内容，作为一种可选实施例，若目标初始化标志位为0，则按照当前视频数据的采集时间继续对下一帧图像进行目标的搜索。
具体地，在本发明实施例中，若在当前帧中为检测获取到目标车辆，即目标初始化标志位为0，则继续对下一帧图像进行搜索，直至获取到包含目标车辆的图像证。
本发明实施例提供一种基于无人机平台的目标自动跟踪系统，如图5所示，主要包括：数据采集单元1、目标初始化单元2和目标跟踪单元3。其中，数据采集单元1用于获取由无人机嵌入式平台采集的当前视频数据。目标初始化单元2用于在当前视频数据中，按照采集时间逐帧搜索目标，并根据搜索结果对当前帧目标初始化标志位进行赋值；若目标初始化标志位为1，则获取目标在当前帧图像的初始化信息；初始化信息包括：目标的初始位置信息以及目标所对应的初始图像块。目标跟踪单元3用于在下一帧图像中，根据目标的深度特征在目标的初始位置附近搜索与初始图像块相似的图像块，并根据搜索结果对当前帧目标跟踪标志位进行赋值；若当前帧目标跟踪标志位的赋值为1，则获取目标在所述下一帧图像中的位置信息和图像块；以目标在所述下一帧图像中的位置信息和图像块作为初始化信息，并继续在下一帧图像中进行目标的搜索，直至完成目标的跟踪。基于上述实施例的内容，作为可选地，目标自动跟踪系统还可以包括目标重检测模块，用于执行以下步骤：在下一帧图像中，若所述当前帧目标跟踪标志位的赋值为0，则继续将所述下一帧图像之后的视频数据作为当前视频数据，输入至步骤S2中，以获取重新检测的目标；
若判断所述重新检测的目标与之前跟踪的所述目标相同时，则继续执行步骤S3-S5；
若判断所述重新检测的目标与之前跟踪的所述目标不同时，则继续将下一帧图像输入至步骤S2中，直至重新检测的目标与之前跟踪的所述目标相同。
为了实现上述目的，本发明实施例以模块化形式构建了本发明技术方案，如图6所示，包括：
数据采集模块1：无人机嵌入式平台从可见光传感器获取面向地面场景的航拍视频数据；
目标初始化模块2：采用目标检测确定视频中感兴趣的车辆目标并赋予当前帧目标初始化标志位Flag_ini；当目标检测成功时(即标志位Flag_ini为1)，获取图像目标所在的初始位置信息[x0，y0，w0，h0]和对应的图像块patch0；否则目标检测失败(即标志位Flag_ini为0)，下一帧图像重新进入目标初始化模块；
目标跟踪模块3：将车辆目标的初始化信息传给跟踪模块，跟踪模块根据目标深度特征在目标位置[x，y，w，h]附近搜索与目标最相似的图像块，并赋予当前帧目标跟踪标志位Flag_trc；当目标跟踪成功(即相似值大于阈值，标志位Flag_trc为1)，输出并标记目标的位置信息[x1，y1，w1，h1]和对应的图像块patch1，下一帧图像继续进入目标跟踪模块；当目标跟踪失败(即相似值小于阈值，标志位Flag_trc为0)，下一帧图像重新进入目标初始化模块。
目标重检测模块4：目标跟踪失败后，判断当前重新检测车辆与之前成功跟踪的车辆是否为同一目标，并赋予当前帧检测标志位Flag_dec；当目标检测成功(即检测车辆为之前成功跟踪目标，标志位Flag_dec为1)，输出并标记目标的位置[x2，y2，w2，h2]和对应的图像块patch2，下一帧图像重新进入目标跟踪模块；当目标检测失败(即未检测到目标或检测非感兴趣目标，标志位Flag_dec为0)，下一帧图像继续进入目标初始模块。
本发明实施例采用模块化形式组织采集数据、初始化目标、跟踪目标和重检测目标流程，实现车辆目标的自动跟踪。模块化的搭建方式便于后续各子模块的优化对总模块性能提升。
最后，本发明实施例通过具体地试验实施例，对上述方法提供自动跟踪方法及系统作出验证，包括：
1、实验平台：在四旋翼无人机上，搭载了六核ARM核心处理器和256个CUDA能力核心的TX2，在英伟达公司开发的深度学习加速框架——tensorRT上编程实现本发明实施例提供的方法中涉及的算法设计，采用单光吊舱传感器。
2、实验环境：实验地点在天津临港飞行服务保障中心，无人机飞行高度在100米以下，实验场地最大风速达5级，吊舱垂直朝下航拍地面移动车辆。
3、实验结果：四旋翼无人机在100米高度以下，能够稳定鲁棒实时地自动跟踪地面移动车辆；同时，当目标重新进入视野，跟踪器仍然能迅速准确检测和跟踪目标，没有出现跟错目标的现象。
本发明实施例提供的基于无人机平台的目标自动跟踪方法及系统，通过在当前帧图像定位目标的初始化信息，并在下一帧图像中自动搜索并定位目标，可以迅速准确检测重新进入传感器视野的目标，能稳定跟踪地面车辆目标，可用于实际移动端目标跟踪。
需要说明的是，本发明实施例提供的基于无人机平台的目标自动跟踪系统，在具体运行时，可用于执行上述任一实施例中所述的基于无人机平台的目标自动跟踪方法，在此不作一一赘述。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：S1，获取由无人机嵌入式平台采集的当前视频数据；S2，在当前视频数据中，按照采集时间逐帧搜索目标，并根据搜索结果对当前帧目标初始化标志位进行赋值；若目标初始化标志位为1，则获取目标在所述当前帧图像的初始化信息；该初始化信息包括：目标的初始位置信息以及目标所对应的初始图像块；S3，在下一帧图像中，根据目标的深度特征在目标的初始位置附近搜索与初始图像块相似的图像块，并根据搜索结果对当前帧目标跟踪标志位进行赋值；若当前帧目标跟踪标志位的赋值为1，则获取目标在下一帧图像中的位置信息和图像块；S4，以目标在下一帧图像中的位置信息和图像块作为初始化信息；S5，迭代执行上述步骤S3-S4，继续在下一帧图像中进行目标的搜索，直至完成目标的跟踪。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于无人机平台的目标自动跟踪方法，例如包括：S1，获取由无人机嵌入式平台采集的当前视频数据；S2，在当前视频数据中，按照采集时间逐帧搜索目标，并根据搜索结果对当前帧目标初始化标志位进行赋值；若目标初始化标志位为1，则获取目标在所述当前帧图像的初始化信息；该初始化信息包括：目标的初始位置信息以及目标所对应的初始图像块；S3，在下一帧图像中，根据目标的深度特征在目标的初始位置附近搜索与初始图像块相似的图像块，并根据搜索结果对当前帧目标跟踪标志位进行赋值；若当前帧目标跟踪标志位的赋值为1，则获取目标在下一帧图像中的位置信息和图像块；S4，以目标在下一帧图像中的位置信息和图像块作为初始化信息；S5，迭代执行上述步骤S3-S4，继续在下一帧图像中进行目标的搜索，直至完成目标的跟踪。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于无人机平台的目标自动跟踪方法，其特征在于，包括：
S1，获取由无人机嵌入式平台采集的当前视频数据；
S2，在所述当前视频数据中，按照采集时间逐帧搜索目标，并根据搜索结果对当前帧目标初始化标志位进行赋值；若所述目标初始化标志位为1，则获取所述目标在所述当前帧图像的初始化信息；所述初始化信息包括：所述目标的初始位置信息以及所述目标所对应的初始图像块；
S3，在下一帧图像中，根据所述目标的深度特征在所述目标的初始位置附近搜索与所述初始图像块相似的图像块，并根据搜索结果对当前帧目标跟踪标志位进行赋值；若所述当前帧目标跟踪标志位的赋值为1，则获取所述目标在所述下一帧图像中的位置信息和图像块；
S4，以所述目标在所述下一帧图像中的位置信息和图像块作为初始化信息；
S5，迭代执行上述步骤S3-S4，继续在下一帧图像中进行目标的搜索，直至完成所述目标的跟踪；
所述在下一帧图像中，根据所述目标的深度特征在所述目标的初始位置附近搜索与所述初始图像块相似的图像块，并根据搜索结果对当前帧目标跟踪标志位进行赋值，包括：
针对所述下一帧图像，利用DasiamRPN跟踪器根据目标的深度特征在所述目标的初始位置附近搜索与所述初始图像块相似的图像块，并根据搜索结果输出跟踪得分值；
若所述跟踪得分值大于预设的车辆跟踪阈值，则对当前帧目标跟踪标志位进行赋值为1；
所述跟踪得分值包括交并比参数值和相似性参数值；相应地，所述车辆跟踪阈值包括交并比阈值和相似性阈值；
所述交并比参数值的数学表达式为：
Figure FDA0004018961570000021
所述相似性参数值的数学表达式为：
Similarity＝Convfeatdec⊙Convfeattrc
其中，regiontrc表示目标跟踪结果图像块区域，regiondec表示目标检测结果图像块区域，Convfeattrc为目标跟踪结果特征，Convfeatdec为目标检测结果特征，⊙表示向量间的内积运算，IOU为交并比参数，Similarity为相似性参数。
2.根据权利要求1所述的基于无人机平台的目标自动跟踪方法，其特征在于，
在所述下一帧图像中，若所述当前帧目标跟踪标志位的赋值为0，则继续将所述下一帧图像之后的视频数据作为当前视频数据，输入至步骤S2中，获取重新检测的目标；
若判断所述重新检测的目标与之前跟踪的所述目标相同时，则执行步骤S3-S5；
若判断所述重新检测的目标与之前跟踪的所述目标不同时，则继续将下一帧图像输入至步骤S2中，直至重新检测的目标与之前跟踪的所述目标相同。
3.根据权利要求1所述的基于无人机平台的目标自动跟踪方法，其特征在于，所述在所述当前视频数据中，按照采集时间逐帧搜索目标，并根据搜索结果对当前帧目标初始化标志位进行赋值；若所述目标初始化标志位为1，则获取所述目标的初始化信息，具体包括：
构建基于mobilenet-SSD目标检测算法的目标检测模型；
将所述当前视频数据按照采集时间逐帧输入至所述目标检测模型，若判断输入的当前帧图像中包含所述目标，则对所述当前帧目标初始化标志位进行赋值为1，并获取由所述目标检测模型输出的所述目标的初始化信息。
4.根据权利要求3所述的基于无人机平台的目标自动跟踪方法，其特征在于，在将所述当前视频数据按照采集时间逐帧输入至所述目标检测模型之前，还包括：
利用UAV123数据集、VisDrone数据集和在实验场地预先采集的标注数据集，构建训练图像样本以及与每个训练图像样本相对应的初始化信息标签所组成的训练样本集；
将所述训练样本集中的21类目标修改为只包含背景和车辆的2类目标；
利用修改后的所述训练样本集对所述目标检测模型进行预训练。
5.根据权利要求3所述的基于无人机平台的目标自动跟踪方法，其特征在于，所述若判断当前帧图像中包含所述目标，则对当前帧目标初始化标志位进行赋值为1，包括：
设置检测车辆置信度阈值；
在利用所述目标检测模型对当前帧图像进行识别的同时，还获取目标的置信度；
若所述目标的置信度不小于所述检测车辆置信度阈值，则对当前帧目标初始化标志位进行赋值为1。
6.根据权利要求1所述的基于无人机平台的目标自动跟踪方法，其特征在于，若所述目标初始化标志位为0，则按照所述当前视频数据的采集时间继续对下一帧图像进行目标的搜索。
7.一种基于无人机平台的目标自动跟踪系统，其特征在于，包括：数据采集单元、目标初始化单元和目标跟踪单元；
所述数据采集单元用于获取由无人机嵌入式平台采集的当前视频数据；
所述目标初始化单元用于在所述当前视频数据中，按照采集时间逐帧搜索目标，并根据搜索结果对当前帧目标初始化标志位进行赋值；若所述目标初始化标志位为1，则获取所述目标在所述当前帧图像的初始化信息；所述初始化信息包括：所述目标的初始位置信息以及所述目标所对应的初始图像块；
所述目标跟踪单元用于在下一帧图像中，根据所述目标的深度特征在所述目标的初始位置附近搜索与所述初始图像块相似的图像块，并根据搜索结果对当前帧目标跟踪标志位进行赋值；若所述当前帧目标跟踪标志位的赋值为1，则获取所述目标在所述下一帧图像中的位置信息和图像块；以所述目标在所述下一帧图像中的位置信息和图像块作为初始化信息，并继续在下一帧图像中进行目标的搜索，直至完成所述目标的跟踪；
其中，所述目标跟踪单元所执行的所述在下一帧图像中，根据所述目标的深度特征在所述目标的初始位置附近搜索与所述初始图像块相似的图像块，并根据搜索结果对当前帧目标跟踪标志位进行赋值，具体包括：
针对所述下一帧图像，利用DasiamRPN跟踪器根据目标的深度特征在所述目标的初始位置附近搜索与所述初始图像块相似的图像块，并根据搜索结果输出跟踪得分值；
若所述跟踪得分值大于预设的车辆跟踪阈值，则对当前帧目标跟踪标志位进行赋值为1；
所述跟踪得分值包括交并比参数值和相似性参数值；相应地，所述车辆跟踪阈值包括交并比阈值和相似性阈值；
所述交并比参数值的数学表达式为：
Figure FDA0004018961570000041
所述相似性参数值的数学表达式为：
Similarity＝Convfeatdec⊙Convfeattrc
其中，regiontrc表示目标跟踪结果图像块区域，regiondec表示目标检测结果图像块区域，Convfeattrc为目标跟踪结果特征，Convfeatdec为目标检测结果特征，⊙表示向量间的内积运算，IOU为交并比参数，Similarity为相似性参数。
8.根据权利要求7所述的基于无人机平台的目标自动跟踪系统，其特征在于，还包括目标重检测模块，用于执行以下步骤：
在下一帧图像中，若所述当前帧目标跟踪标志位的赋值为0，则继续将所述下一帧图像之后的视频数据作为当前视频数据，输入至步骤S2中，以获取重新检测的目标；
若判断所述重新检测的目标与之前跟踪的所述目标相同时，则继续执行步骤S3-S5；
若判断所述重新检测的目标与之前跟踪的所述目标不同时，则继续将下一帧图像输入至步骤S2中，直至重新检测的目标与之前跟踪的所述目标相同。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于无人机平台的目标自动跟踪方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于无人机平台的目标自动跟踪方法的步骤。
CN202010528086.0A 2020-06-10 2020-06-10 一种基于无人机平台的目标自动跟踪方法及系统 Active CN111784737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010528086.0A CN111784737B (zh) 2020-06-10 2020-06-10 一种基于无人机平台的目标自动跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010528086.0A CN111784737B (zh) 2020-06-10 2020-06-10 一种基于无人机平台的目标自动跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN111784737A CN111784737A (zh) 2020-10-16
CN111784737B true CN111784737B (zh) 2023-04-07

Family

ID=72757501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010528086.0A Active CN111784737B (zh) 2020-06-10 2020-06-10 一种基于无人机平台的目标自动跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN111784737B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487892B (zh) * 2020-11-17 2022-12-02 中国人民解放军军事科学院国防科技创新研究院 一种基于置信度的无人机对地探测方法及系统
CN114511793B (zh) * 2020-11-17 2024-04-05 中国人民解放军军事科学院国防科技创新研究院 一种基于同步检测跟踪的无人机对地探测方法及系统
CN114511792B (zh) * 2020-11-17 2024-04-05 中国人民解放军军事科学院国防科技创新研究院 一种基于帧计数的无人机对地探测方法及系统
CN113379797A (zh) * 2021-06-01 2021-09-10 大连海事大学 一种无人机观测目标的实时跟踪方法及系统
CN113536933A (zh) * 2021-06-17 2021-10-22 杭州电子科技大学 一种目标跟踪型水下航行器
CN113688758B (zh) * 2021-08-31 2023-05-30 重庆科技学院 基于边缘计算的输气管道高后果区智能识别系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957109A (zh) * 2016-04-29 2016-09-21 北京博瑞爱飞科技发展有限公司 目标跟踪方法和装置
CN106874854B (zh) * 2017-01-19 2019-12-31 西安电子科技大学 基于嵌入式平台的无人机车辆跟踪方法
CN107341820B (zh) * 2017-07-03 2018-04-20 郑州轻工业学院 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法
CN108694724A (zh) * 2018-05-11 2018-10-23 西安天和防务技术股份有限公司 一种长时间目标跟踪方法
CN110569793B (zh) * 2019-09-09 2022-06-07 西南交通大学 一种无监督相似性判别学习的目标跟踪方法

Also Published As

Publication number Publication date
CN111784737A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111784737B (zh) 一种基于无人机平台的目标自动跟踪方法及系统
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN110706266B (zh) 一种基于YOLOv3的空中目标跟踪方法
US20150138310A1 (en) Automatic scene parsing
CN111328396A (zh) 用于图像中的对象的姿态估计和模型检索
US10554957B2 (en) Learning-based matching for active stereo systems
CN105405154A (zh) 基于颜色-结构特征的目标对象跟踪方法
CN107424171A (zh) 一种基于分块的抗遮挡目标跟踪方法
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
CN110298281B (zh) 视频结构化方法、装置、电子设备及存储介质
CN110136058B (zh) 一种基于俯视拼接图的建图方法及车载终端
EP3734496A1 (en) Image analysis method and apparatus, and electronic device and readable storage medium
CN112464912B (zh) 基于YOLO-RGGNet的机器人端人脸检测方法
CN112257605A (zh) 基于自标注训练样本的三维目标检测方法、系统及装置
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN112712051B (zh) 对象跟踪方法、装置、计算机设备及存储介质
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其系统
CN113591569A (zh) 障碍物检测方法、装置、电子设备以及存储介质
KR20220073444A (ko) 오브젝트 추적 방법, 장치 및 그 방법을 수행하는 단말기
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
US20230005162A1 (en) Image processing system, image processing method, and storage medium
CN114898221A (zh) 一种杆塔倾斜检测方法、装置、电子设备及介质
CN115100565A (zh) 一种基于空间相关性与光流配准的多目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant