CN112364854B - 基于检测跟踪融合的机载目标抵近引导系统及方法 - Google Patents

基于检测跟踪融合的机载目标抵近引导系统及方法 Download PDF

Info

Publication number
CN112364854B
CN112364854B CN202110045470.XA CN202110045470A CN112364854B CN 112364854 B CN112364854 B CN 112364854B CN 202110045470 A CN202110045470 A CN 202110045470A CN 112364854 B CN112364854 B CN 112364854B
Authority
CN
China
Prior art keywords
target
tracking
detection
module
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110045470.XA
Other languages
English (en)
Other versions
CN112364854A (zh
Inventor
韩静
陈霄宇
狄世庆
魏驰恒
张靖远
何丰郴
冯琳
陈明阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202110045470.XA priority Critical patent/CN112364854B/zh
Publication of CN112364854A publication Critical patent/CN112364854A/zh
Application granted granted Critical
Publication of CN112364854B publication Critical patent/CN112364854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于检测跟踪融合的机载目标抵近引导系统及方法，属于目标检测和跟踪技术领域。该系统包括相互通信的图像采集模块、软件处理模块和无人飞行模块。该方法为：系统初始化，获取图像，检测算法选择目标，跟踪算法获取模板，目标检测，目标跟踪，计算最大IOU，输出目标框，获取定位信息，计算相对距离，系统进行飞行调控。本套系统将目标检测与目标跟踪相结合，共同使用，以此提高目标追踪定位的稳定性，在完成目标检测跟踪定位任务的同时，控制无人机接近目标并检出目标关键部位，便于用于针对关键部位添加所需业务功能。

Description

基于检测跟踪融合的机载目标抵近引导系统及方法
技术领域
本发明涉及一种基于检测跟踪融合的机载目标抵近引导系统及方法，属于目标检测和跟踪技术领域。
背景技术
所谓目标抵近引导系统，是指该系统可以自动识别并接近目标，检出目标中的关键部位，便于用户进行后续所需要的功能。在现代社会，这种目标抵近引导系统可以在很多应用场景中发挥作用，如民用方面，可以用于快递机器人或者车辆追踪等；在军用方面，可以用于对某些军事目标的自动识别探测等；而在某些其他危险作业领域，通过目标抵近引导系统，并在系统中配合添加作业所需的相关功能，即可实现与人力同等的效果，并且还可以减少潜在的人员伤亡危险，保护人民安全。
但是，目前该目标检测和跟踪技术仍不成熟，理论上来说，对特定目标进行检测跟踪只需要使用目标跟踪算法即可，但在将目标跟踪算法使用到现实机载场景中时，发现仅仅使用目标跟踪算法还不足以满足要求，这里面有几个问题：一是，在机载场景下，首帧目标选择无法像实验室条件下那样直接人为标记；二是，在实际使用时，只使用单目标跟踪算法进行长程跟踪时容易造成目标丢失问题，而目标丢失后便无法再重新找回。
发明内容
为了解决上述技术问题，本发明提供一种基于检测跟踪融合的机载目标抵近引导系统及方法，其具体技术方案如下：
基于检测跟踪融合的机载目标抵近引导系统，包括图像采集模块、软件处理模块和无人飞行模块，所述图像采集模块和软件处理模通过Type-c数线连接，实现硬件连接和数据传输，所述无人飞行模块预留了串口功能，所述无人飞行模块和软件处理模块通过杜邦线将串口相关排针进行对应信号的连接；
所述软件处理模块包括软件初始化模块、图像获取模块、目标检测算法模块、目标跟踪算法模块、检测跟踪融合模块、定位模块和飞控模块。
进一步的，所述图像采集模块采用的实际硬件是英特尔推出的Intel-Realsens-D435i深度相机，软件处理模块所采用的具体嵌入式平台是一块NVIDIA Jetson TX2核心板，所述无人飞行模块采用的具体实物是DJI 生产的经纬M600 无人机，所述无人飞行模块集成了Lightbridge 2高清数字图传，采用无线链路动态适应技术，通过名为DJI-GO的手机app，在用户端观看到图像采集模块所拍摄到的视频以及经软件处理模块处理后的视频；
所述软件初始化模块、图像获取模块、目标检测算法模块、目标跟踪算法模块、检测跟踪融合模块、定位模块和飞控模块均部署在NVIDIA Jetson TX2核心板上。
基于检测跟踪融合的机载目标抵近引导方法，具体包括以下步骤：
步骤1：系统初始化，开启基于检测跟踪融合的机载目标抵近引导系统后，软件初始化模块开始初始化图像采集模块、软件处理模块、无人飞行模块；
步骤2：图像采集：无人飞行模块搭载图像采集模块，飞行中图像采集模块采集图像；
步骤3：获取图像，软件处理模块通过配置安装Intel-RealSense标准库工具，图像获取模块读取图像采集模块输入的每一帧图像，送入目标检测算法模块中；
步骤4：目标检测：开启目标检测算法模块，直至算法在输入的图像中检测出目标，然后选择置信度最高的目标为检测跟踪目标；
步骤5：目标跟踪：目标跟踪算法模块所选择的目标作为模板送入跟踪器，打开跟踪算法，开始逐帧跟踪；
步骤6：目标检测、跟踪：目标检测算法模块和目标跟踪算法模块分别进行目标检测和目标跟踪，对每一帧获取的图像进行检测与跟踪，输出两种算法的计算结果给检测跟踪融合模块；
步骤7：计算最大IOU： 检测跟踪融合模块对步骤6中的目标检测和目标跟踪算法给出的结果框进行最大IOU计算，最大IOU是指目标跟踪算法的单一结果框与目标检测算法的多结果框中分别计算IOU，然后其中最大的IOU结果就是最大IOU，这个值也代表所有检测框中与跟踪框重叠度最高的目标框，该重叠度最高的目标框即为需要的目标框；
步骤8：输出目标框：检测跟踪融合模块在当前帧的跟踪目标框和检测目标框中选择一个作为最终结果目标框，最终结果目标框由步骤7计算的最大IOU决定，当最大IOU>0.1时，目标检测算法的多结果框中与跟踪框重叠度最高的目标框为最终结果目标框，选择目标检测算法的结果而不是目标跟踪算法的结果是因为检测算法具有目标框宽高回归功能，同样的定位情况下检测算法输出的目标框拟合的更为准确；而当最大IOU<0.1，且这种情况没有连续10帧都出现时，则当前帧选择跟踪结果作为最终结果框；
步骤9：获取定位：通过串口向飞控模块发送相关指令，请求读取无人机当前的定位信息，包括精度、纬度和相对起始点高度，以及无人机角度信息，包括俯仰、横滚和偏航；然后对串口传来的信息进行解码整合，送给步骤10；
步骤10：计算相对距离：输入目标框在图像中的坐标，以及从飞控模块传输过来的无人机定位信息及角度信息，通过多重坐标系转换，计算出目标与无人机在无人机地理坐标系下的水平横向距离，用于步骤11；
步骤11：飞行调控：无人机相对起始点的高度>=1.5m或当前帧目标不在图像中心时，则此时无人机还没有很好的抵近目标，需要继续飞行，向串口发送相关指令，重复步骤9和10，并同时传输步骤10计算出的相对距离，让无人机自行进行飞行调控，继续递近目标，若目标在当前帧的图像中心范围且无人机相对高度也<1.5m，则判定无人机此时已成功抵近目标，保持悬停。
进一步的，所述步骤9获取定位还包括：若无人机相对起始点高度低于5m时，目标检测算法切换检测类别，开始转向检测目标关键部位，并重新选择置信度最高的关键部位目标作为针对性目标，然后选择完成后，下一次主循环跟踪算法重新获取模板，从此次循环开始，跟踪算法将开始跟踪目标关键部位。
进一步的，所述目标检测算法模块使用的目标检测算法为基于深度学习的SSD算法，具体过程为：先采集所需检测目标或同类别目标的一定量数据集作为训练集，包括所需检测的完整目标和该目标上的关键部位这两类数据，然后在主机上利用训练集对SSD算法进行训练测试，训练测试完成后，将训练后的模型保存，之后，通过ONNX工具，将SSD算法模型，转换成能够利用C++接口调用的算法模型，将该模型部署到NVIDIA-TX2中，作为目标检测算法模块；
在目标检测算法模块中，一是需进行初始目标选择功能，采取的方式是选择所有检测结果中置信度最高的作为目标；二是，目标检测算法模块需在后续帧中逐帧进行完整目标检测；三是，目标检测算法模块在系统到达一定高度后，将转变检测类别，改为检测目标关键部位；
所述目标跟踪算法模块使用的目标跟踪算法为SiamLosses算法，SiamLosses算法具体过程为：首先对SiamLosses算法进行训练，SiamLosses算法直接使用已有的公共数据集进行训练，将训练好的跟踪算法模型保存，通过ONNX工具，将其转换成使用C++接口调用的算法模型，将转换后的跟踪算法模型部署到NVIDIA-TX2中，作为目标跟踪算法模块，负责将目标检测的结果作为模板，然后对该模板逐帧进行跟踪。
进一步的，所述检测跟踪融合模块同时包含目标检测算法模块和跟踪算法模块，检测跟踪融合模块的作用是对目标检测的结果和目标跟踪的结果进行协调，实现系统单目标检测跟踪功能，当系统的目标检测算法模块选中目标后，在后续帧中，系统会同时打开目标检测功能和目标跟踪功能，在每一帧中，目标检测算法会计算出多个结果框，目标跟踪算法只会有一个结果框，之后，检测跟踪融合模块计算跟踪框和所有检测框的最大IOU，根据最大IOU的大小进行判断：若最大IOU大于上限值0.5，则判定当前帧的目标跟踪结果是正确的，输出检测结果中与跟踪结果匹配为最大IOU的检测结果为最终结果；若最大IOU在上限值0.5和下限值0.1之间，则说明跟踪结果相对于正确目标开始出现较大偏差，需要重置跟踪模板，否则后续帧的跟踪结果偏差会越来越大，此时以与跟踪结果匹配度为最大IOU的检测结果作为最终结果；若最大IOU低于下限值0.1，则表示当前帧检测算法判定当前帧目标不存在，此时以跟踪算法的结果为最终结果；若连续10帧最大IOU都低于下限值0.1，则说明在连续10帧的情况下，检测结果均不能与跟踪结果相匹配，此时跟踪算法需要重置模板，以检测结果中置信度最大的结果框为目标框，并以此重置跟踪算法。
进一步的，所述SiamLosses算法选用基于多重辅助性损失函数优化的SiamLosses，公式如下：
Figure 971873DEST_PATH_IMAGE001
Figure 326762DEST_PATH_IMAGE002
公式（3.0）的含义是指在训练时，在原来的SiamFC的主损失函数的基础上，加上了三种辅助性损失函数，在保留算法原本的匹配能力的同时，利用辅助性损失函数，在算法的不同阶段，增大正负样本间的差异性，从而帮助提升算法的性能；
所述SiamFC的主损失函数公式如下：
Figure 560298DEST_PATH_IMAGE003
Figure 125271DEST_PATH_IMAGE004
Figure 164771DEST_PATH_IMAGE005
Figure 764380DEST_PATH_IMAGE006
公式（3.1）中，
Figure 949242DEST_PATH_IMAGE007
指的是网络最终输出的相似性得分中单个样本的得分，y指的是数 据标签，其取值为+1或者-1，
Figure 391725DEST_PATH_IMAGE008
指的是相似性得分中单个样本的损失函数；公式（3.2） 中，
Figure 454490DEST_PATH_IMAGE009
指的是样本得分在相似性得分热图中的空间位置，C指的是相似性得分热图的中心位 置， D指的是相似性得分热图中的所有空间位置，而公式（3.2）的后半部分，对y的取值进行 了一个说明，在相似性得分热图中，当样本的位置距离中心位置不超过R时，y值取+1；而在R 范围之外时，y值取-1。
进一步的，所述公式（3.0）中的Loss_1表示分差异放大辅助性损失函数，公式如下：
Figure 908605DEST_PATH_IMAGE010
公式（3.3）中，
Figure 811839DEST_PATH_IMAGE011
指的是SiamFC输出的相似性热图中与数据标签中标签为1的 位置所对应的正样本得分，
Figure 85826DEST_PATH_IMAGE012
指的是数据标签中标签为1的样本的总数量，也即SiamFC输出 的相似性热图中的正样本总数量，
Figure 981975DEST_PATH_IMAGE013
指的是相似性热图中所有正样本得分的平均得 分；同理，公式（3.4）中，
Figure 87335DEST_PATH_IMAGE014
指的是SiamFC输出的相似性热图中与数据标签中标签为0的 位置所对应的负样本得分，
Figure 36836DEST_PATH_IMAGE015
指的是数据标签中标签为0的样本的总数量，也即SiamFC输出 的相似性热图中的负样本总数量，
Figure 126015DEST_PATH_IMAGE016
指的是相似性热图中所有负样本得分的平均 得分；公式（3.5）中，
Figure 592899DEST_PATH_IMAGE017
指的是SiamFC输出的相似性热图中，所有正样本的平均得分和所 有负样本的平均得分的差值；公式（3.6）是一个反比例函数，该反比例函数取自于SiamFC的 主损失函数，公式（3.6）函数就是当公式（3.1）中的y取-1时得到的；公式（3.7）是最终的得 分差异放大辅助性损失函数，其中，
Figure 349503DEST_PATH_IMAGE017
指的是将公式（3.5）中计算出来的
Figure 469905DEST_PATH_IMAGE017
作为公式 （3.6）的参数
Figure 357965DEST_PATH_IMAGE018
，带入公式（3.6）的反比例函数中；
Figure 956436DEST_PATH_IMAGE019
则是设置的一个可调节的比例系数，可 根据实验情况自行进行调节，从而得到一个好的性能提升效果。
进一步的，所述公式（3.0）中的Loss_2表示三元匹配辅助性损失函数，公式如下：
Figure 364284DEST_PATH_IMAGE021
公式（3.8）（3.9）中，
Figure 921167DEST_PATH_IMAGE022
指的是指搜索区域特征块所分离出来的一个正样本特征 块，
Figure 532408DEST_PATH_IMAGE023
是指的是搜索区域特征块所分离出来的一个负样本特征块，Z指的是模板特征块，i指 的是搜索区域特征块所分离出来的第i个特征块，j指的是某个样本特征块中第j个特征点， 所以，
Figure 200150DEST_PATH_IMAGE024
指的是搜索区域特征块所分离出的第i个正样本特征块中的第j个特征点，
Figure 196925DEST_PATH_IMAGE025
指 的是搜索区域特征块所分离出的第i个负样本特征块中的第j个特征点，
Figure 970715DEST_PATH_IMAGE026
则指的是模板特 征块中的第j个特征点，
Figure 193886DEST_PATH_IMAGE027
指的是搜索区域特征块所分离出的第i个正样本特征块中的第j 个特征点与模板特征块中的对应第j个特征点的差值平方，
Figure 399739DEST_PATH_IMAGE028
指的是搜索区域特征块所分 离出的第i个负样本特征块中的第j个特征点与模板特征块中的对应第j个特征点的差值平 方；
公式（3.10）中，
Figure 765867DEST_PATH_IMAGE029
指的是公式（3.8）（3.9）中的
Figure 461291DEST_PATH_IMAGE030
中的一个，当
Figure 906179DEST_PATH_IMAGE031
的值取+1，此时整个
Figure 40357DEST_PATH_IMAGE032
函数为一个正比例函数，在损失函数进行梯度下降过程时，
Figure 152669DEST_PATH_IMAGE033
就 会随着
Figure 35306DEST_PATH_IMAGE034
的下降而减小；当
Figure 92123DEST_PATH_IMAGE035
为
Figure 482522DEST_PATH_IMAGE036
时，
Figure 308396DEST_PATH_IMAGE037
的值取-1，此时整个
Figure 283305DEST_PATH_IMAGE038
函数为一个反比例 函数，在损失函数进行梯度下降的过程中，
Figure 109310DEST_PATH_IMAGE039
就会随着
Figure 195077DEST_PATH_IMAGE040
的下降而增大；
公式（3.11）中，指的是从搜索区域特征块中分离出的正样本特征块的总数量，指 的是从搜索区域特征块中分离处的负样本特征块的总数量，N指的是每一个分离出的特征 块的特征点的总数量，无论是正样本特征块，还是负样本特征块，以及模板特征块，其特征 点总数都是一样的，都是N，
Figure 141037DEST_PATH_IMAGE041
是一个可调节的比例系数。
进一步的，所述公式（3.0）中的Loss_3表示特征内部差异放大辅助性损失函数，公式如下：
Figure 349164DEST_PATH_IMAGE042
在公式（3.12）中，
Figure 255940DEST_PATH_IMAGE043
指的是搜索区域经过骨干网络所提取的特征块中第i个特征 点的值，N指的是搜索区域特征块中特征点的总数，
Figure 11579DEST_PATH_IMAGE044
指的是特征块均值，即搜索区域特 征块所有特征点的平均值；公式（3.13）中，
Figure 280887DEST_PATH_IMAGE045
指的是搜索区域特征块中第i个特征点与特征 块均值的差值平方；公式（3.14）是同公式（3.6）相同的反比例函数，由SiamFC的主损失函数 中取得，用于在损失函数梯度下降时起放大作用；公式（3.15）中，
Figure 738544DEST_PATH_IMAGE046
是该辅助性损失函数的 比例系数，用于调节该辅助性损失函数在训练时最终损失函数中的比例。
本发明的有益效果是：
本发明系统的主要使用场景是机载场景，主要载体是无人机，图像场景主要是无人机向下拍摄的俯视场景。本套系统的主要功能是在实际机载场景中对选定的某目标进行检测跟踪定位并自动接近目标，然后检出并定位目标关键部位，便于用户进行后续功能。综上，本套系统将目标检测与目标跟踪相结合，共同使用，以此提高目标追踪定位的稳定性。同时，通过软件端编写代码，在完成目标检测跟踪定位任务的同时，控制无人机接近目标并检出目标关键部位，便于用于针对关键部位添加所需业务功能。
本发明应用的基于多重辅助性损失函数优化的SiamLosses算法在SiamFC算法的基础上，通过训练时在不同阶段增加所设计的三种辅助性损失函数——得分差异放大辅助性损失函数、三元匹配辅助性损失函数、特征内部差异放大辅助性损失函数，优化网络提取的特征，增大样本间的差异性，从而提高跟踪时的准确率。
附图说明
图1是本发明系统的框图，
图2是本发明的方法流程图，
图3是本发明中的SiamFC相似性得分热图，
图4是本发明中的得分差异放大辅助性损失函数示意图，
图5是本发明中的三元匹配辅助性损失函数示意图一，
图6是本发明中的三元匹配辅助性损失函数示意图二，
图7是本发明中的特征内部差异放大辅助性损失函数示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
如图1所示，本发明系统包括：图像采集模块、软件处理模块、无人飞行模型以及各模块间的相互通信。其中，图像采集模块是系统的前端，用于采集可见光图像，并通过相应接口将图像数据送入软件处理模块，图像采集模块采用的具体硬件是Intel-RealSense深度相机，型号D435i。软件处理模块是系统的核心模块，其作用是作为本系统软件部分的硬件载体，该模块一方面接收图像采集模块传输过来的数据并根据算法进行相应图像处理，另一方面根据图像处理的结果提供飞行控制信号用于控制系统的无人飞行模块，本系统的软件处理模块采用的实际硬件是NVIDIA Jetson TX2 嵌入式开发板。无人飞行模块主要负责整套系统的飞行搭载和飞行控制，该模块接收软件处理模块发送过来的控制信号，根据信号调整飞行方向和目标位置，该模块使用的实物是DJI 生产的经纬M600 无人机。
本发明方法参见图2，具体过程为：
实线部分：
首先，系统初始化，该环节属于软件框架中的软件初始化模块。在用户开启本套系统硬件开关后，系统软件开始初始化，按照设定顺序，完成软件框架中各个模块的初始化工作。
然后，获取图像，该环节属于软件框架中的图像获取模块。系统软件模块通过配置安装Intel-RealSense标准库工具，编写代码，读取图像采集模块输入的每一帧图像，送入接下来的软件模块中。
接下来，检测算法选择目标，该环节属于软件框架中的目标检测算法模块。在该环节，系统开启目标检测算法，直至算法在相机输入图像中检测出目标，然后选择置信度最高的目标为检测跟踪目标。
之后，跟踪算法获取模板，该环节属于目标跟踪算法模块，在该环节，系统将检测器所选择的目标作为模板送入跟踪器，打开跟踪算法，开始逐帧跟踪。
紧接着，目标检测，目标跟踪，这两个环节分别属于目标检测算法模块和目标跟踪算法模块。在这两个环节，系统对每一帧获取的图像进行检测与跟踪，输出两种算法的计算结果。
接着，最大IOU计算，该环节属于检测跟踪融合模块。在该环节，系统对前一环节目标检测和目标跟踪算法给出的结果框进行最大IOU计算。所谓最大IOU，是指目标跟踪算法的单一结果框与目标检测算法多结果框中分别计算IOU，然后其中最大的IOU结果就是最大IOU，这个值也代表所有检测框中与跟踪框重叠度最高的目标框，在大多数情况下，这正是需要的目标框。最大IOU计算环节，是软件流程中的一个条件环节，从软件流程图中，可以看到，该环节有多个选择分支，因为最大IOU的计算结果会反映出系统当前帧计算结果是否正常，是否有一些特殊情况出现，从而判定系统每帧选择哪个目标框作为最终结果以及是否需要重新调整检测跟踪算法。
然后，输出目标框，该环节仍属于检测跟踪融合模块。在该环节，系统需要在当前帧的跟踪目标框和检测目标框中选择一个作为最终结果目标框，而这个判定由上一环节所计算的最大IOU决定。当最大IOU>0.1时，即大多数情况下，系统选择检测的多结果中与跟踪框重叠度最高的目标框为最终结果，选择目标检测算法的结果而不是目标跟踪算法的结果是因为检测算法具有目标框宽高回归功能，同样的定位情况下检测算法输出的目标框拟合的更为准确。而当最大IOU<0.1但这种情况没有连续10帧都出现时，即偶尔出现，则当前帧选择跟踪结果作为最终结果框。关于最大IOU所代表的判定情况，将在本论文后面的检测跟踪融合模块中详细说明。
接着，获取定位信息，这一环节属于飞控模块。在这一环节，系统软件部分通过串口向无人机飞控板发送相关指令，请求读取无人机当前的定位信息，包括精度、纬度和相对起始点高度，以及无人机角度信息，包括俯仰、横滚和偏航。然后对串口传来的信息进行解码整合，送给下一环节。
下一环节为计算相对距离，该环节依然属于飞控模块。这一环节中，系统软件部分输入目标框在图像中的坐标，以及从无人机飞控板传输过来的无人机定位信息及角度信息，通过多重坐标系转换，计算出目标与无人机在无人机地理坐标系下的水平横向距离，用于下一环节的飞控。
最后，系统进行飞行调控，即软件流程图中串口发送飞控板以及悬停两环节，可以看到，这两个环节的选择是根据目标与无人机的水平垂直的相对距离决定的。若此时，无人机相对起始点的高度>=1.5m或当前帧目标不在图像中心时，则此时无人机还没有很好的抵近目标，需要继续飞行。于是系统软件部分向串口发送相关指令，并同时传输上一环节计算出的相对距离，让无人机自行进行飞行调控，继续递进目标。若目标在当前帧的图像中心范围且无人机相对高度也<1.5m，则判定无人机此时已成功抵近目标，保持悬停即可。
虚线部分：虚线部分代表的是一些特殊条件下需要对主循环进行的调整。
首先，最大IOU判定环节。该环节右边的一条虚线，其条件是最大IOU在0.1到0.5之间。该虚线表示，满足此条件时，在本次主循环结束后，下一次主循环从跟踪算法获取模板处开始。该环节右边还有一条实线加虚线，其条件是指最大IOU<0.1同时这种情况连续发生的帧数超过10帧，此时，在下一次主循环时，目标检测算法重新选择目标。而具体原因，将在后面的检测跟踪融合模块中详细说明。
其次，在获取定位信息环节处右侧有一条虚线，该虚线是指当此时无人机相对起始点高度低于5m时，目标检测算法切换检测类别，开始转向检测目标关键部位，并重新选择置信度最高的关键部位目标作为针对性目标，然后选择完成后，下一次主循环跟踪算法重新获取模板，从此次循环开始，跟踪算法将开始跟踪目标关键部位。
图3表示SiamFC函数在训练和推理阶段，SiamFC最终都会输出一个如图3左边形状的一个相似性得分热图，上图给出的是训练阶段的相似性得分热图，该热图的大小为15*15，这个15*15的大小范围就是公式中的D，代表了热图中所有的空间位置。图3右侧是SiamFC在训练时的数据标签，其大小与SiamFC输出的相似性得分热图大小一致，该数据标签的分布特点是中心一定范围内得分样本的标签为1，其他位置得分样本的标签为0。
图4表示得分差异放大辅助性损失函数在用全卷积网络做人脸识别或其他分类任务时，往往会使用Softmax损失函数作为最终的一个损失函数，其功能是用于将不同类别的目标区分开。而2016年，Yandong Wen等人提出一种CenterLoss辅助性损失函数[60]，其作用是在用Softmax区分开不同类别的同时，利用该辅助性损失函数，进一步增大不同类别之间的特征差异性，再加上分类网络最后一般是全连接层，也可以看作是一种线性分类器，具有网络学习功能，所以通过这一辅助性损失函数，在能够区分开不同类别的基础上，进一步优化特征，帮助分类器得到一个更好的性能。
图5和6表示三元匹配辅助性损失函数，以一个正样本特征块和一个负样本特征块为例，说明的计算过程。在之前分离出的正样本特征块组里取出一个正样本特征块，然后再取出模板特征块，两者的大小形状是一样的。然后取出正样本特征块中的一个特征点，计算它与模板特征块中对应的特征点的差值并取平方，然后将该差值平方送入一个正比例函数，用于在损失函数梯度下降过程中，减小这两个特征点之间的差值，让它们更加接近。接着对该正样本特征块中的所有特征点都进行同样的计算过程，从而让训练过程中，正样本特征块中的所有特征点都与模板特征块中的对应特征点更加接近。再接着，对所有正样本特征块都进行同样的计算过程，让所有正样本特征块与模板特征块在训练过程中不断变得更加相似。对于负样本特征块，则进行相反的操作。同样取出一个负样本特征块中的一个特征点，然后计算它与模板特征块中对应特征点的差值并取平方，这次则是将该差值送入一个反比例函数中，用于在损失函数梯度下降过程中，增大这两个特征点之间的差值，让它们差异更大。接着对该负样本特征块中的所有特征点都进行相同的计算过程，从而让训练过程中，负样本特征块中的所有特征点都与模板特征块中所有特征点的差异放大。再接着，对所有负样本特征块都进行同样的计算过程，让所有负样本特征块与模板特征块在训练过程中差异变得更大。
图7表示特征内部差异放大辅助性损失函数，先分离出搜索区域特征块中的每个 特征点，计算出所有特征点的均值，暂称之为特征块均值，然后计算出特征块中每个特征点 与该特征块均值的差值平方。紧接着，需要让每个特征点与这个特征块均值的距离尽可能 放大，这是一个类似于计算方差的过程，通过让每个特征点与特征块均值的距离放大，达到 让特征块内部整体的差异性放大的效果。出于放大的目的以及损失函数梯度下降的原理， 再次采用了在SiamFC主函数中的那一半反比例函数，然后在公式（3.15）中，将每一个特征 点与特征块均值的差值平方，作为该反比例函数的变量d送入函数中。之所以对每一个特征 点差值平方进行反比例运算而不是将所有差值平方先计算一个整体均值再送入该反比例 函数中，是为了能够让每个特征点按照自己的情况进行训练学习，让每一个特征点对应的 放大效果更加准确精细。最后，在公式（3.15）中，对所有的
Figure 460512DEST_PATH_IMAGE047
计算了一个均值，并设置了 一个比例系数用于调节该辅助性损失函数与主损失函数以及其他辅助性损失函数的关系， 所有这些部分组成了最终的特征内部差异放大辅助性损失函数。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (8)

1.基于检测跟踪融合的机载目标抵近引导方法，其特征在于：具体包括以下步骤：
步骤1：系统初始化，开启基于检测跟踪融合的机载目标抵近引导系统后，软件初始化模块开始初始化图像采集模块、软件处理模块、无人飞行模块；
所述基于检测跟踪融合的机载目标抵近引导系统包括图像采集模块、软件处理模块和无人飞行模块，所述图像采集模块和软件处理模通过Type-c数线连接，实现硬件连接和数据传输，所述无人飞行模块预留了串口功能，所述无人飞行模块和软件处理模块通过杜邦线将串口相关排针进行对应信号的连接；
所述软件处理模块包括软件初始化模块、图像获取模块、目标检测算法模块、目标跟踪算法模块、检测跟踪融合模块、定位模块和飞控模块；
所述图像采集模块采用的实际硬件是英特尔推出的Intel-Realsens-D435i深度相机，软件处理模块所采用的具体嵌入式平台是一块NVIDIA Jetson TX2核心板，所述无人飞行模块采用的具体实物是DJI 生产的经纬M600 无人机，所述无人飞行模块集成了Lightbridge 2高清数字图传，采用无线链路动态适应技术，通过名为DJI-GO的手机app，在用户端观看到图像采集模块所拍摄到的视频以及经软件处理模块处理后的视频；
所述软件初始化模块、图像获取模块、目标检测算法模块、目标跟踪算法模块、检测跟踪融合模块、定位模块和飞控模块均部署在NVIDIA Jetson TX2核心板上；
步骤2：图像采集：无人飞行模块搭载图像采集模块，飞行中图像采集模块采集图像；
步骤3：获取图像，软件处理模块通过配置安装Intel-RealSense标准库工具，图像获取模块读取图像采集模块输入的每一帧图像，送入目标检测算法模块中；
步骤4：目标检测：开启目标检测算法模块，直至目标检测算法算法在输入的图像中检测出目标，然后选择置信度最高的目标为检测跟踪目标；
步骤5：目标跟踪：目标跟踪算法模块所选择的目标作为模板送入跟踪器，打开目标跟踪算法，开始逐帧跟踪；
步骤6：目标检测、跟踪：目标检测算法模块和目标跟踪算法模块分别进行目标检测和目标跟踪，对每一帧获取的图像进行检测与跟踪，输出两种算法的计算结果给检测跟踪融合模块；
步骤7：计算最大IOU： 检测跟踪融合模块对步骤6中的目标检测和目标跟踪算法给出的结果框进行最大IOU计算，最大IOU是指目标跟踪算法的单一结果框与目标检测算法的多结果框中分别计算IOU，然后其中最大的IOU结果就是最大IOU，这个值也代表所有检测框中与跟踪框重叠度最高的目标框，该重叠度最高的目标框即为需要的目标框；
步骤8：输出目标框：检测跟踪融合模块在当前帧的跟踪目标框和检测目标框中选择一个作为最终结果目标框，最终结果目标框由步骤7计算的最大IOU决定，当最大IOU>0.1时，目标检测算法的多结果框中与跟踪框重叠度最高的目标框为最终结果目标框，选择目标检测算法的结果而不是目标跟踪算法的结果是因为目标检测算法具有目标框宽高回归功能，同样的定位情况下目标检测算法输出的目标框拟合的更为准确；而当最大IOU<0.1，且这种情况没有连续10帧都出现时，则当前帧选择跟踪结果作为最终结果框；
步骤9：获取定位：通过串口向飞控模块发送相关指令，请求读取无人机当前的定位信息，包括精度、纬度和相对起始点高度，以及无人机角度信息，包括俯仰、横滚和偏航；然后对串口传来的信息进行解码整合，送给步骤10；
步骤10：计算相对距离：输入目标框在图像中的坐标，以及从飞控模块传输过来的无人机定位信息及角度信息，通过多重坐标系转换，计算出目标与无人机在无人机地理坐标系下的水平横向距离，用于步骤11；
步骤11：飞行调控：无人机相对起始点的高度>=1.5m或当前帧目标不在图像中心时，则此时无人机还没有很好的抵近目标，需要继续飞行，向串口发送相关指令，重复步骤9和10，并同时传输步骤10计算出的相对距离，让无人机自行进行飞行调控，继续递近目标，若目标在当前帧的图像中心范围且无人机相对高度也<1.5m，则判定无人机此时已成功抵近目标，保持悬停。
2.根据权利要求1所述的基于检测跟踪融合的机载目标抵近引导方法，其特征在于：所述步骤9获取定位还包括：若无人机相对起始点高度低于5m时，目标检测算法切换检测类别，开始转向检测目标关键部位，并重新选择置信度最高的关键部位目标作为针对性目标，然后选择完成后，下一次主循环目标跟踪算法重新获取模板，从此次循环开始，目标跟踪算法将开始跟踪目标关键部位。
3.根据权利要求1所述的基于检测跟踪融合的机载目标抵近引导方法，其特征在于：所述目标检测算法模块使用的目标检测算法为基于深度学习的SSD算法，具体过程为：先采集所需检测目标或同类别目标的一定量数据集作为训练集，包括所需检测的完整目标和该目标上的关键部位这两类数据，然后在主机上利用训练集对SSD算法进行训练测试，训练测试完成后，将训练后的模型保存，之后，通过ONNX工具，将SSD算法模型，转换成能够利用C++接口调用的算法模型，将训练后的模型部署到NVIDIA-TX2中，作为目标检测算法模块；
在目标检测算法模块中，一是需进行初始目标选择功能，采取的方式是选择所有检测结果中置信度最高的作为目标；二是，目标检测算法模块需在后续帧中逐帧进行完整目标检测；三是，目标检测算法模块在系统到达一定高度后，将转变检测类别，改为检测目标关键部位；
所述目标跟踪算法模块使用的目标跟踪算法为SiamLosses算法，SiamLosses算法具体过程为：首先对SiamLosses算法进行训练，SiamLosses算法直接使用已有的公共数据集进行训练，将训练好的目标跟踪算法模型保存，通过ONNX工具，将其转换成使用C++接口调用的算法模型，将转换后的目标跟踪算法模型部署到NVIDIA-TX2中，作为目标跟踪算法模块，负责将目标检测的结果作为模板，然后对该模板逐帧进行跟踪。
4.根据权利要求2所述的基于检测跟踪融合的机载目标抵近引导方法，其特征在于：所述检测跟踪融合模块同时包含目标检测算法模块和目标跟踪算法模块，检测跟踪融合模块的作用是对目标检测的结果和目标跟踪的结果进行协调，实现系统单目标检测跟踪功能，当系统的目标检测算法模块选中目标后，在后续帧中，系统会同时打开目标检测功能和目标跟踪功能，在每一帧中，目标检测算法会计算出多个结果框，目标跟踪算法只会有一个结果框，之后，检测跟踪融合模块计算跟踪框和所有检测框的最大IOU，根据最大IOU的大小进行判断：若最大IOU大于上限值0.5，则判定当前帧的目标跟踪结果是正确的，输出检测结果中与跟踪结果匹配为最大IOU的检测结果为最终结果；若最大IOU在上限值0.5和下限值0.1之间，则说明跟踪结果相对于正确目标开始出现较大偏差，需要重置跟踪模板，否则后续帧的跟踪结果偏差会越来越大，此时以与跟踪结果匹配度为最大IOU的检测结果作为最终结果；若最大IOU低于下限值0.1，则表示当前帧目标检测算法判定当前帧目标不存在，此时以目标跟踪算法的结果为最终结果；若连续10帧最大IOU都低于下限值0.1，则说明在连续10帧的情况下，检测结果均不能与跟踪结果相匹配，此时目标跟踪算法需要重置模板，以检测结果中置信度最大的结果框为目标框，并以此重置目标跟踪算法。
5.根据权利要求3所述的基于检测跟踪融合的机载目标抵近引导方法，其特征在于：所述SiamLosses算法选用基于多重辅助性损失函数优化的SiamLosses，公式如下：
Figure 833676DEST_PATH_IMAGE001
Figure 954078DEST_PATH_IMAGE002
Figure 202657DEST_PATH_IMAGE003
Figure 66708DEST_PATH_IMAGE004
Figure 349922DEST_PATH_IMAGE005
， 公式（3.0）的含义是指在训练时，在原来的SiamFC的主损失函数的基础上，加上了三种辅助 性损失函数，在保留SiamLosses算法原本的匹配能力的同时，利用辅助性损失函数，在 SiamLosses算法的不同阶段，增大正负样本间的差异性，从而帮助提升SiamLosses算法的 性能；
所述SiamFC的主损失函数公式如下：
Figure 437963DEST_PATH_IMAGE006
Figure 173838DEST_PATH_IMAGE007
Figure 576001DEST_PATH_IMAGE008
Figure 713721DEST_PATH_IMAGE009
公式（3.1）中，
Figure 972664DEST_PATH_IMAGE010
指的是网络最终输出的相似性得分中单个样本的得分，y指的是数据标 签，其取值为+1或者-1，
Figure 195835DEST_PATH_IMAGE011
指的是相似性得分中单个样本的损失函数；公式（3.2）中，
Figure 133179DEST_PATH_IMAGE012
指 的是样本得分在相似性得分热图中的空间位置，C指的是相似性得分热图的中心位置， D指 的是相似性得分热图中的所有空间位置，而公式（3.2）的后半部分，对y的取值进行了一个 说明，在相似性得分热图中，当样本的位置距离中心位置不超过R时，y值取+1；而在R范围之 外时，y值取-1。
6.根据权利要求5所述的基于检测跟踪融合的机载目标抵近引导方法，其特征在于：所述公式（3.0）中的Loss_1表示分差异放大辅助性损失函数，公式如下：
Figure 125406DEST_PATH_IMAGE014
公式（3.3）中，
Figure 24092DEST_PATH_IMAGE015
指的是SiamFC输出的相似性热图中与数据标签中标签为1的位置所 对应的正样本得分，
Figure 531297DEST_PATH_IMAGE016
指的是数据标签中标签为1的样本的总数量，也即SiamFC输出的相似 性热图中的正样本总数量，
Figure 275262DEST_PATH_IMAGE017
指的是相似性热图中所有正样本得分的平均得分；同 理，公式（3.4）中，
Figure 121995DEST_PATH_IMAGE018
指的是SiamFC输出的相似性热图中与数据标签中标签为0的位置所 对应的负样本得分，
Figure 722741DEST_PATH_IMAGE019
指的是数据标签中标签为0的样本的总数量，也即SiamFC输出的相似 性热图中的负样本总数量，
Figure 920504DEST_PATH_IMAGE020
指的是相似性热图中所有负样本得分的平均得分；公 式（3.5）中，
Figure 468160DEST_PATH_IMAGE021
指的是SiamFC输出的相似性热图中，所有正样本的平均得分和所有负样本 的平均得分的差值；公式（3.6）是一个反比例函数，该反比例函数取自于SiamFC的主损失函 数，公式（3.6）函数就是当公式（3.1）中的y取-1时得到的；公式（3.7）是最终的得分差异放 大辅助性损失函数，其中，
Figure 169400DEST_PATH_IMAGE021
指的是将公式（3.5）中计算出来的
Figure 206626DEST_PATH_IMAGE021
作为公式（3.6）的参 数
Figure 626106DEST_PATH_IMAGE022
，带入公式（3.6）的反比例函数中；
Figure 711874DEST_PATH_IMAGE023
则是设置的一个可调节的比例系数，可根据实验情 况自行进行调节，从而得到一个好的性能提升效果。
7.根据权利要求5所述的基于检测跟踪融合的机载目标抵近引导方法，其特征在于：所述公式（3.0）中的Loss_2表示三元匹配辅助性损失函数，公式如下：
Figure 329937DEST_PATH_IMAGE025
公式（3.8）（3.9）中，
Figure 741326DEST_PATH_IMAGE026
指的是指搜索区域特征块所分离出来的一个正样本特征块，
Figure 382523DEST_PATH_IMAGE027
是指的是搜索区域特征块所分离出来的一个负样本特征块，Z指的是模板特征块，i指的是 搜索区域特征块所分离出来的第i个特征块，j指的是某个样本特征块中第j个特征点，所 以，
Figure 271982DEST_PATH_IMAGE028
指的是搜索区域特征块所分离出的第i个正样本特征块中的第j个特征点，
Figure 10131DEST_PATH_IMAGE029
指的 是搜索区域特征块所分离出的第i个负样本特征块中的第j个特征点，
Figure 592422DEST_PATH_IMAGE030
则指的是模板特征 块中的第j个特征点，
Figure 720915DEST_PATH_IMAGE031
指的是搜索区域特征块所分离出的第i个正样本特征块中的第j个 特征点与模板特征块中的对应第j个特征点的差值平方，
Figure 210802DEST_PATH_IMAGE032
指的是搜索区域特征块所分离 出的第i个负样本特征块中的第j个特征点与模板特征块中的对应第j个特征点的差值平 方；
公式（3.10）中，
Figure 741141DEST_PATH_IMAGE033
指的是公式（3.8）（3.9）中的
Figure 225824DEST_PATH_IMAGE034
中的一个，当
Figure 107192DEST_PATH_IMAGE035
的值 取+1，此时整个
Figure 400770DEST_PATH_IMAGE036
函数为一个正比例函数，在损失函数进行梯度下降过程时，
Figure 785615DEST_PATH_IMAGE037
就会随 着
Figure 444130DEST_PATH_IMAGE038
的下降而减小；当
Figure 609532DEST_PATH_IMAGE039
为
Figure 378905DEST_PATH_IMAGE040
时，
Figure 149415DEST_PATH_IMAGE041
的值取-1，此时整个
Figure 775568DEST_PATH_IMAGE042
函数为一个反比例函 数，在损失函数进行梯度下降的过程中，
Figure 631529DEST_PATH_IMAGE043
就会随着
Figure 204592DEST_PATH_IMAGE044
的下降而增大；
公式（3.11）中，指的是从搜索区域特征块中分离出的正样本特征块的总数量，指的是 从搜索区域特征块中分离处的负样本特征块的总数量，N指的是每一个分离出的特征块的 特征点的总数量，无论是正样本特征块，还是负样本特征块，以及模板特征块，其特征点总 数都是一样的，都是N，
Figure 360767DEST_PATH_IMAGE045
是一个可调节的比例系数。
8.根据权利要求5所述的基于检测跟踪融合的机载目标抵近引导方法，其特征在于：所述公式（3.0）中的Loss_3表示特征内部差异放大辅助性损失函数，公式如下：
Figure 626664DEST_PATH_IMAGE046
在公式（3.12）中，
Figure 438762DEST_PATH_IMAGE047
指的是搜索区域经过骨干网络所提取的特征块中第i个特征点的 值，N指的是搜索区域特征块中特征点的总数，
Figure 877833DEST_PATH_IMAGE048
指的是特征块均值，即搜索区域特征块 所有特征点的平均值；公式（3.13）中，
Figure 357356DEST_PATH_IMAGE049
指的是搜索区域特征块中第i个特征点与特征块均 值的差值平方；公式（3.14）是同公式（3.6）相同的反比例函数，由SiamFC的主损失函数中取 得，用于在损失函数梯度下降时起放大作用；公式（3.15）中，
Figure 528575DEST_PATH_IMAGE050
是该辅助性损失函数的比例 系数，用于调节该辅助性损失函数在训练时最终损失函数中的比例。
CN202110045470.XA 2021-01-14 2021-01-14 基于检测跟踪融合的机载目标抵近引导系统及方法 Active CN112364854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110045470.XA CN112364854B (zh) 2021-01-14 2021-01-14 基于检测跟踪融合的机载目标抵近引导系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110045470.XA CN112364854B (zh) 2021-01-14 2021-01-14 基于检测跟踪融合的机载目标抵近引导系统及方法

Publications (2)

Publication Number Publication Date
CN112364854A CN112364854A (zh) 2021-02-12
CN112364854B true CN112364854B (zh) 2021-05-28

Family

ID=74534960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110045470.XA Active CN112364854B (zh) 2021-01-14 2021-01-14 基于检测跟踪融合的机载目标抵近引导系统及方法

Country Status (1)

Country Link
CN (1) CN112364854B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391640A (zh) * 2021-03-16 2021-09-14 南京理工大学 一种检测与跟踪协同的无人机视觉引导系统及控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681333A (zh) * 2018-03-30 2018-10-19 安徽尼古拉电子科技有限公司 一种无人机导航装置失效下的雷达返航系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104656664B (zh) * 2015-02-16 2017-07-11 南京航空航天大学 车载多旋翼无人直升机着陆导引控制系统及导引控制方法
CN107515622A (zh) * 2017-07-27 2017-12-26 南京航空航天大学 一种旋翼无人机在移动目标上自主着降的控制方法
CN107491742B (zh) * 2017-07-28 2020-10-23 西安因诺航空科技有限公司 一种长时稳定的无人机目标跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681333A (zh) * 2018-03-30 2018-10-19 安徽尼古拉电子科技有限公司 一种无人机导航装置失效下的雷达返航系统

Also Published As

Publication number Publication date
CN112364854A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN111932588B (zh) 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法
CN110782481B (zh) 无人艇智能决策方法及系统
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
CN110097553B (zh) 基于即时定位建图与三维语义分割的语义建图系统
CN113269098A (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
CN102298070B (zh) 估算无人机,尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法
EP3876189A1 (en) Geographic object detection device, geographic object detection method, and geographic object detection program
CN112488061B (zh) 一种联合ads-b信息的多航空器检测与跟踪方法
CN110021033A (zh) 一种基于金字塔孪生网络的目标跟踪方法
CN107131883A (zh) 基于视觉的全自动移动终端室内定位系统
CN110532937B (zh) 基于识别模型与分类模型进行列车前向目标精准识别的方法
Xu et al. A cascade adaboost and CNN algorithm for drogue detection in UAV autonomous aerial refueling
CN104517289A (zh) 一种基于混合摄像机的室内场景定位方法
CN109584264B (zh) 一种基于深度学习的无人机视觉引导空中加油方法
CN112364854B (zh) 基于检测跟踪融合的机载目标抵近引导系统及方法
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN113538585B (zh) 基于无人机的高精度多目标智能识别定位追踪方法及系统
CN114660579A (zh) 一种全自动激光雷达与相机标定方法
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN112818964A (zh) 基于FoveaBox无锚神经网络的无人机检测方法
CN111950524A (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
CN111339953A (zh) 一种基于聚类分析的薇甘菊监测方法
CN112241180B (zh) 一种无人机移动平台降落引导的视觉处理方法
CN216647401U (zh) 一种安全帽识别装置
CN115457497A (zh) 一种基于3d目标检测和多目标追踪检测车辆速度的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant