CN114550016B - 一种基于上下文信息感知的无人机定位方法及系统 - Google Patents

一种基于上下文信息感知的无人机定位方法及系统 Download PDF

Info

Publication number
CN114550016B
CN114550016B CN202210424063.4A CN202210424063A CN114550016B CN 114550016 B CN114550016 B CN 114550016B CN 202210424063 A CN202210424063 A CN 202210424063A CN 114550016 B CN114550016 B CN 114550016B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
feature
representation
characteristic diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210424063.4A
Other languages
English (en)
Other versions
CN114550016A (zh
Inventor
罗远哲
刘瑞景
李冠蕊
王玲洁
罗晓萌
吕雪萍
李玉琼
刘志明
李文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Original Assignee
Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing China Super Industry Information Security Technology Ltd By Share Ltd filed Critical Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Priority to CN202210424063.4A priority Critical patent/CN114550016B/zh
Publication of CN114550016A publication Critical patent/CN114550016A/zh
Application granted granted Critical
Publication of CN114550016B publication Critical patent/CN114550016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于上下文信息感知的无人机定位方法及系统，属于无人机识别领域，该方法包括：构建无人机检测网络，无人机检测网络包括特征表示生成网络、局部信息表示路径、全局信息表示路径和尾部预测结构；采用无人机检测数据集训练无人机检测网络；特征表示生成网络用于输出各尺度特征图对应的第一无人机特征表示；局部信息表示路径从各尺度特征图中截取区域特征图后进行卷积与第一无人机特征表示进行拼接获得第二无人机特征表示；全局信息表示路径对最小的尺度特征图进行全局平均池化后依次经过两个全连接层输出全局信息表示图，全局信息表示图与各第二无人机特征表示进行矩阵相乘输出第三无人机特征表示。本发明提高了无人机的定位精度。

Description

一种基于上下文信息感知的无人机定位方法及系统
技术领域
本发明涉及无人机识别技术领域，特别是涉及一种基于上下文信息感知的无人机定位方法及系统。
背景技术
近年来，中国无人机行业迅速发展，无人机的应用场景得以不断拓宽加深。但是无人机数量的激增和其监管体系的不完善也导致了个人隐私泄露、保密信息外泄等一系列问题，对社会与军事安全构成了严重威胁。实现无人机的准确定位与跟踪是进行无人机监管的前提条件。基于深度学习的目标检测技术能够实现视场内感兴趣目标的自动识别定位，并且在众多领域得以落地应用，为无人机的定位跟踪提供了一条可靠的技术途径。
然而可见光视频中的无人机目标往往面积占比较小，包含的视觉信息少。现有算法多直接基于无人机的自身视觉信息对其进行识别定位，不足以使网络充分学习到无人机的特征表示，从而限制了算法对无人机目标检测精度的提升。因此，亟需探索一种能精确定位和跟踪无人机的方法。
发明内容
本发明的目的是提供一种基于上下文信息感知的无人机定位方法及系统，提高了无人机的定位精度。
为实现上述目的，本发明提供了如下方案：
一种基于上下文信息感知的无人机定位方法，包括：
构建无人机检测数据集；
构建无人机检测网络，所述无人机检测网络包括特征表示生成网络、局部信息表示路径、全局信息表示路径和尾部预测结构；
采用所述无人机检测数据集训练所述无人机检测网络，获得无人机检测模型；
采用所述无人机检测模型进行待检测无人机的定位；
所述无人机检测网络中，所述特征表示生成网络用于生成多尺度特征图并将各尺度特征图输入区域建议网络，输出各尺度特征图对应的第一无人机特征表示；所述局部信息表示路径用于从各尺度特征图中截取区域特征图，并对截取的区域特征图进行卷积后与对应的第一无人机特征表示进行通道维度的拼接，获得第二无人机特征表示，各截取的区域特征图是对应第一无人机特征表示的设定倍数；所述全局信息表示路径用于对各尺度特征图中尺度最小的尺度特征图进行全局平均池化操作后依次经过第一全连接层和第二全连接层，输出全局信息表示图，将所述全局信息表示图依次与各第二无人机特征表示进行矩阵相乘，输出第三无人机特征表示；所述尾部预测结构用于根据所述第三无人机特征表示获得待检测无人机的坐标信息。
可选地，所述特征表示生成网络采用DenseNet为骨干网络，基于DenseNet构建特征融合结构；所述DenseNet包括五个卷积块，依次输出特征图N1、特征图N2、特征图N3、特征图N4和特征图N5，将特征图N5记为特征图M5，所述特征融合结构用于将特征图M5进行2倍的上采样后与特征图N4按元素相加，输出特征图M4，将特征图M4进行2倍的上采样后与特征图N3按元素相加，输出特征图M3，将特征图M3进行2倍的上采样后与特征图N2按元素相加，输出特征图M2；所述特征表示生成网络还用于将特征图M2、特征图M3、特征图M4和特征图M5输入区域建议网络，分别输出特征图M2、特征图M3、特征图M4和特征图M5对应的第一无人机特征表示。
可选地，所述设定倍数为三倍，所述局部信息表示路径用于将各第一无人机特征表示在对应尺度特征图上左上角的坐标作为待截取的区域特征图的左上角坐标，以三倍第一无人机特征表示的宽度作为待截取的区域特征图的宽度，以三倍第一无人机特征表示的高度作为待截取的区域特征图的高度，在各对应尺度特征图上截取区域特征图；所述局部信息表示路径还用于对截取的区域特征图进行卷积核为1*1，步长为3的卷积后与对应的第一无人机特征表示进行通道维度的拼接，获得第二无人机特征表示。
可选地，所述全局信息表示路径用于对特征图M5进行下采样获得特征图M6，对特征图M6进行全局平均池化操作；所述第一全连接层的输入维度为128，所述第二全连接层的输入维度为64。
可选地，所述采用所述无人机检测模型进行待检测无人机的定位，具体包括：
将摄像头采集到的可见光视频依次转换为图像帧；
将所述图像帧依次输入到所述无人机检测模型，输出包含无人机检测框的图像帧；
将包含无人机检测框的图像帧转换为视频作为无人机定位结果。
本发明公开了一种基于上下文信息感知的无人机定位系统，包括：
无人机检测数据集构建模块，用于构建无人机检测数据集；
无人机检测网络构建模块，用于构建无人机检测网络，所述无人机检测网络包括特征表示生成网络、局部信息表示路径、全局信息表示路径和尾部预测结构；
无人机检测网络训练模块，用于采用所述无人机检测数据集训练所述无人机检测网络，获得无人机检测模型；
无人机的定位模块，用于采用所述无人机检测模型进行待检测无人机的定位；
所述无人机检测网络中，所述特征表示生成网络用于生成多尺度特征图并将各尺度特征图输入区域建议网络，输出各尺度特征图对应的第一无人机特征表示；所述局部信息表示路径用于从各尺度特征图中截取区域特征图，并对截取的区域特征图进行卷积后与对应的第一无人机特征表示进行通道维度的拼接，获得第二无人机特征表示，各截取的区域特征图是对应第一无人机特征表示的设定倍数；所述全局信息表示路径用于对各尺度特征图中尺度最小的尺度特征图进行全局平均池化操作后依次经过第一全连接层和第二全连接层，输出全局信息表示图，将所述全局信息表示图依次与各第二无人机特征表示进行矩阵相乘，输出第三无人机特征表示；所述尾部预测结构用于根据所述第三无人机特征表示获得待检测无人机的坐标信息。
可选地，所述特征表示生成网络采用DenseNet为骨干网络，基于DenseNet构建特征融合结构；所述DenseNet包括五个卷积块，依次输出特征图N1、特征图N2、特征图N3、特征图N4和特征图N5，将特征图N5记为特征图M5，所述特征融合结构用于将特征图M5进行2倍的上采样后与特征图N4按元素相加，输出特征图M4，将特征图M4进行2倍的上采样后与特征图N3按元素相加，输出特征图M3，将特征图M3进行2倍的上采样后与特征图N2按元素相加，输出特征图M2；所述特征表示生成网络还用于将特征图M2、特征图M3、特征图M4和特征图M5输入区域建议网络，分别输出特征图M2、特征图M3、特征图M4和特征图M5对应的第一无人机特征表示。
可选地，所述设定倍数为三倍，所述局部信息表示路径用于将各第一无人机特征表示在对应尺度特征图上左上角的坐标作为待截取的区域特征图的左上角坐标，以三倍第一无人机特征表示的宽度作为待截取的区域特征图的宽度，以三倍第一无人机特征表示的高度作为待截取的区域特征图的高度，在各对应尺度特征图上截取区域特征图；所述局部信息表示路径还用于对截取的区域特征图进行卷积核为1*1，步长为3的卷积后与对应的第一无人机特征表示进行通道维度的拼接，获得第二无人机特征表示。
可选地，所述全局信息表示路径用于对特征图M5进行下采样获得特征图M6，对特征图M6进行全局平均池化操作；所述第一全连接层的输入维度为128，所述第二全连接层的输入维度为64。
可选地，所述无人机的定位模块，具体包括：
视频转换单元，用于将摄像头采集到的可见光视频依次转换为图像帧；
包含无人机检测框的图像帧输出单元，用于将所述图像帧依次输入到所述无人机检测模型，输出包含无人机检测框的图像帧；
图像帧转换为视频单元，用于将包含无人机检测框的图像帧转换为视频作为无人机定位结果。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种基于上下文信息感知的无人机定位方法及系统，基于局部信息表示路径和全局信息表示路径的无人机检测网络，能够从场景中提取出无人机目标的局部上下文特征和全局上下文特征，并将这两种上下文信息嵌入到无人机的自身特征中，从而有效提升网络对无人机所在位置的感知能力，增强无人机定位精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于上下文信息感知的无人机定位方法流程示意图；
图2为本发明无人机检测网络结构示意图；
图3为本发明一种基于上下文信息感知的无人机定位系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于上下文信息感知的无人机定位方法及系统，提高了无人机的定位精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于上下文信息感知的无人机定位方法流程示意图，如图1所示，一种基于上下文信息感知的无人机定位方法，包括：
步骤101：构建无人机检测数据集。
步骤102：构建无人机检测网络，无人机检测网络包括特征表示生成网络、局部信息表示路径、全局信息表示路径和尾部预测结构。
步骤103：采用无人机检测数据集训练无人机检测网络，获得无人机检测模型。
步骤104：采用无人机检测模型进行待检测无人机的定位。
无人机检测网络中，特征表示生成网络用于生成多尺度特征图并将各尺度特征图输入区域建议网络，输出各尺度特征图对应的第一无人机特征表示（图2中无人机表示F）；局部信息表示路径用于从各尺度特征图中截取区域特征图（图2中局部信息表示L），并对截取的区域特征图进行卷积后与对应的第一无人机特征表示进行通道维度的拼接，获得第二无人机特征表示（图2中无人机表示E），各截取的区域特征图是对应第一无人机特征表示的设定倍数；全局信息表示路径用于对各尺度特征图中尺度最小的尺度特征图进行全局平均池化（Global average pooling）操作后依次经过第一全连接层和第二全连接层，输出全局信息表示图（图2中全局信息表示G），将全局信息表示图依次与各第二无人机特征表示进行矩阵相乘，将各矩阵相乘结果进行卷积核为1*1的卷积，输出第三无人机特征表示（图2中无人机表示H）。
尾部预测结构用于根据第三无人机特征表示获得待检测无人机的坐标信息。
特征表示生成网络采用DenseNet为骨干网络，基于DenseNet构建特征融合结构；DenseNet包括五个卷积块，依次输出特征图N1、特征图N2、特征图N3、特征图N4和特征图N5，将特征图N5记为特征图M5，特征融合结构用于将特征图M5进行2倍的上采样后与特征图N4按元素相加，输出特征图M4，将特征图M4进行2倍的上采样后与特征图N3按元素相加，输出特征图M3，将特征图M3进行2倍的上采样后与特征图N2按元素相加，输出特征图M2；特征表示生成网络还用于将特征图M2、特征图M3、特征图M4和特征图M5输入区域建议网络，分别输出特征图M2、特征图M3、特征图M4和特征图M5对应的第一无人机特征表示。
特征图M2、特征图M3、特征图M4和特征图M5构成多尺度特征图。
设定倍数为三倍，局部信息表示路径用于将各第一无人机特征表示在对应尺度特征图上左上角的坐标作为待截取的区域特征图的左上角坐标，以三倍第一无人机特征表示的宽度作为待截取的区域特征图的宽度，以三倍第一无人机特征表示的高度作为待截取的区域特征图的高度，在各对应尺度特征图上截取区域特征图；局部信息表示路径还用于对截取的区域特征图进行卷积核为1*1，步长为3的卷积后与对应的第一无人机特征表示进行通道维度的拼接，获得第二无人机特征表示。
全局信息表示路径用于对特征图M5进行下采样获得特征图M6，对特征图M6进行全局平均池化操作；第一全连接层的输入维度为128，第二全连接层的输入维度为64。
尾部预测结构用于将第三无人机特征表示输入ROI Align层中，获得固定尺度的无人机区域特征图，并将无人机区域特征图输入两层全连接层进行特征提取和分类后，再分别输入两个检测支路（分类支路和回归支路），输出无人机与背景信息的分类和无人机的坐标信息。
其中，步骤104具体包括：
将摄像头采集到的可见光视频依次转换为图像帧。
将图像帧依次输入到无人机检测模型，输出包含无人机检测框的图像帧。
将包含无人机检测框的图像帧转换为视频作为无人机定位结果。
下面以具体实施例说明本发明一种基于上下文信息感知的无人机定位方法。
Step1、构建无人机检测数据集。首先，进行无人机图像采集，在多种背景、天气和光照条件下，利用可见光摄像头拍摄不同型号无人机的飞行视频，并转换为图像帧。其次，对采集所得图像进行筛选，确保图像数据集的丰富性和多样性，并采用标注软件标注出图像中无人机所在位置，获得标注文件。最后，基于无人机图像与标注文件，得到无人机检测数据集。
Step2、构建特征表示生成网络。如图2所示，以输入一张待检测的无人机图像2048×2048×3为例，展示特征表示生成网络的设计过程：
采用DenseNet作为提取图像特征的骨干网络，DenseNet由五个卷积块构成，各卷积块的输出特征图及对应尺寸依次为N1：512×512×32、N2：256×256×32、N3：128×128×32、N4：64×64×32、N5：32×32×32. 接着，如图2所示，基于DenseNet构建特征融合结构，以增强网络对不同尺度无人机的检测能力，获得特征图M2、M3、M4、M5和M6，其对应尺寸依次为256×256×32、128×128×32、64×64×32、32×32×32和16×16×32。将所得特征图M2、M3、M4和M5依次输入区域建议网络(Region Proposal Network, RPN)，并输出一组无人机特征表示F，即各个特征图中可能存在无人机目标的区域。
Step3、构建局部信息表示路径。由于可见光视频中的无人机属于小目标，仅靠提取其自身包含的特征信息，难以在视场中准确地进行无人机定位。根据常识信息，无人机一般在空中飞行，其周围的背景信息主要是与地面有一定距离的高空，而不可能是水面或者路面等场景信息。所以感知无人机目标的局部上下文信息，并将其与无人机自身特征信息相结合进行检测，能够提升网络对无人机所在位置的敏感度，从而增强定位精度。因此，本发明公开了局部信息表示路径，该路径能够从场景中提取出无人机目标的局部上下文特征，并将其与无人机的自身特征相融合。
如图2所示，以本发明输入一张待检测的无人机图像2048×2048×3为例，展示局部信息表示路径的设计过程：依次处理每张无人机特征表示Fi，在特征表示Fi对应的特征图Mi(i∈(2, 3, 4, 5))中确定Fi所在的坐标信息[xi, yi, wi, hi].以点(xi-wi, yi-hi)为左上角坐标，3*wi作为宽度，3*hi作为高度，从特征图Mi中截取区域特征图，作为特征表示Fi的局部信息表示Li，即采集无人机特征表示的3倍上下文区域作为其局部信息表示。为了生成高质量的布局信息表示特征并进行后续的局部信息嵌入，对局部信息表示Li进行卷积核为1*1、步长为3的卷积操作，从而获得与无人机特征表示Fi尺寸相等的局部信息表示。将该输出特征与无人机特征表示Fi进行通道维度拼接，获得通道数为64的无人机特征表示Ei。以上即为局部信息表示路径的构建过程。
Step4、构建全局信息表示路径。需要进行无人机管制的场景主要有机场、保密机构、大型赛事等，增强网络对此类关键场景的感知能力也十分重要。所以提取无人机目标的全局上下文信息，并将其与无人机自身特征信息相结合进行检测，能够进一步提升网络对无人机所在场景的敏感度，从而增强定位精度。因此，本方法设计了全局信息表示路径，该路径生成无人机所在场景的全局上下文特征，并将其嵌入到无人机的自身特征表示中。
如图2所示，以本发明输入一张待检测的无人机图像2048×2048×3为例，展示全局信息表示路径的设计过程：对特征图M6进行全局平均池化操作，获得尺寸为1×1×32的全局级别的特征向量，将该特征向量依次输入维度为128的全连接层和维度为64的全连接层中，进行特征向量的维度变换和特征聚合，从而得到全局信息表示G，接下来，依次处理上一步骤所得的无人机特征表示Ei，将尺寸为1×1×64的全局信息表示G，与通道数为64的无人机特征表示Ei进行矩阵相乘，获得嵌入了全局上下文信息的无人机特征表示。为了消除特征嵌入过程产生的混叠效果，将该特征表示输入一层1*1卷积层中，获得无人机特征表示Hi。以上即为全局信息表示路径的构建过程。
Step5、构建尾部预测结构。将上一步所得无人机特征表示Hi输入ROI Align层中，获得固定尺度的无人机区域特征图；并将无人机区域特征图输入两层全连接层进行特征提取和分类后，再分别输入两个检测支路（分类支路和回归支路），进行无人机与背景信息的分类，并获得无人机目标的坐标信息。至此，完成整个神经网络的设计，获得上下文感知网络(Context Awareness Network,CA-Net)，即无人机检测网络。
Step6、采用无人机检测数据集进行CA-Net网络训练，训练完毕后得到最终的CA-Net模型。
Step7、编写脚本，将摄像头采集到的可见光视频依次转换为图像帧，逐帧输入到CA-Net网络模型中，当检测到图像中存在无人机目标，则输出包含无人机检测框的图像帧，并将图像帧转换为无人机检测结果视频，并输出。
本发明针对可见光视频中无人机目标包含的视觉信息少，导致神经网络检测难度大这一问题，公开了基于局部信息表示路径和全局信息表示路径的CA-Net无人机检测网络，局部信息表示路径和全局信息表示路径能够从场景中提取出无人机目标的局部上下文特征和全局上下文特征，并将这两种上下文信息嵌入到无人机的自身特征中，从而有效提升网络对无人机所在位置的感知能力，增强无人机定位精度。
本发明可被应用于军用民用机场、重大活动场所、保密区域等多种场景，实现无人机的精准定位跟踪，并为无人机的监管与反制提供支持，维护公共与军事安全。
图3为本发明一种基于上下文信息感知的无人机定位系统结构示意图，如图3所示，一种基于上下文信息感知的无人机定位系统，包括：
无人机检测数据集构建模块201，用于构建无人机检测数据集。
无人机检测网络构建模块202，用于构建无人机检测网络，无人机检测网络包括特征表示生成网络、局部信息表示路径、全局信息表示路径和尾部预测结构。
无人机检测网络训练模块203，用于采用无人机检测数据集训练无人机检测网络，获得无人机检测模型。
无人机的定位模块204，用于采用无人机检测模型进行待检测无人机的定位。
无人机检测网络中，特征表示生成网络用于生成多尺度特征图并将各尺度特征图输入区域建议网络，输出各尺度特征图对应的第一无人机特征表示；局部信息表示路径用于从各尺度特征图中截取区域特征图，并对截取的区域特征图进行卷积后与对应的第一无人机特征表示进行通道维度的拼接，获得第二无人机特征表示，各截取的区域特征图是对应第一无人机特征表示的设定倍数；全局信息表示路径用于对各尺度特征图中尺度最小的尺度特征图进行全局平均池化操作后依次经过第一全连接层和第二全连接层，输出全局信息表示图，将全局信息表示图依次与各第二无人机特征表示进行矩阵相乘，输出第三无人机特征表示；尾部预测结构用于根据第三无人机特征表示获得待检测无人机的坐标信息。
特征表示生成网络采用DenseNet为骨干网络，基于DenseNet构建特征融合结构；DenseNet包括五个卷积块，依次输出特征图N1、特征图N2、特征图N3、特征图N4和特征图N5，将特征图N5记为特征图M5，特征融合结构用于将特征图M5进行2倍的上采样后与特征图N4按元素相加，输出特征图M4，将特征图M4进行2倍的上采样后与特征图N3按元素相加，输出特征图M3，将特征图M3进行2倍的上采样后与特征图N2按元素相加，输出特征图M2；特征表示生成网络还用于将特征图M2、特征图M3、特征图M4和特征图M5输入区域建议网络，分别输出特征图M2、特征图M3、特征图M4和特征图M5对应的第一无人机特征表示。
设定倍数为三倍，局部信息表示路径用于将各第一无人机特征表示在对应尺度特征图上左上角的坐标作为待截取的区域特征图的左上角坐标，以三倍第一无人机特征表示的宽度作为待截取的区域特征图的宽度，以三倍第一无人机特征表示的高度作为待截取的区域特征图的高度，在各对应尺度特征图上截取区域特征图；局部信息表示路径还用于对截取的区域特征图进行卷积核为1*1，步长为3的卷积后与对应的第一无人机特征表示进行通道维度的拼接，获得第二无人机特征表示。
全局信息表示路径用于对特征图M5进行下采样获得特征图M6，对特征图M6进行全局平均池化操作；第一全连接层的输入维度为128，第二全连接层的输入维度为64。
无人机的定位模块，具体包括：
视频转换单元，用于将摄像头采集到的可见光视频依次转换为图像帧。
包含无人机检测框的图像帧输出单元，用于将图像帧依次输入到无人机检测模型，输出包含无人机检测框的图像帧。
图像帧转换为视频单元，用于将包含无人机检测框的图像帧转换为视频作为无人机定位结果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于上下文信息感知的无人机定位方法，其特征在于，包括：
构建无人机检测数据集；
构建无人机检测网络，所述无人机检测网络包括特征表示生成网络、局部信息表示路径、全局信息表示路径和尾部预测结构；
采用所述无人机检测数据集训练所述无人机检测网络，获得无人机检测模型；
采用所述无人机检测模型进行待检测无人机的定位；
所述无人机检测网络中，所述特征表示生成网络用于生成多尺度特征图并将各尺度特征图输入区域建议网络，输出各尺度特征图对应的第一无人机特征表示；所述局部信息表示路径用于从各尺度特征图中截取区域特征图，并对截取的区域特征图进行卷积后与对应的第一无人机特征表示进行通道维度的拼接，获得第二无人机特征表示，各截取的区域特征图是对应第一无人机特征表示的设定倍数；所述全局信息表示路径用于对各尺度特征图中尺度最小的尺度特征图进行全局平均池化操作后依次经过第一全连接层和第二全连接层，输出全局信息表示图，将所述全局信息表示图依次与各第二无人机特征表示进行矩阵相乘，输出第三无人机特征表示；所述尾部预测结构用于根据所述第三无人机特征表示获得待检测无人机的坐标信息。
2.根据权利要求1所述的基于上下文信息感知的无人机定位方法，其特征在于，所述特征表示生成网络采用DenseNet为骨干网络，基于DenseNet构建特征融合结构；所述DenseNet包括五个卷积块，依次输出特征图N1、特征图N2、特征图N3、特征图N4和特征图N5，将特征图N5记为特征图M5，所述特征融合结构用于将特征图M5进行2倍的上采样后与特征图N4按元素相加，输出特征图M4，将特征图M4进行2倍的上采样后与特征图N3按元素相加，输出特征图M3，将特征图M3进行2倍的上采样后与特征图N2按元素相加，输出特征图M2；所述特征表示生成网络还用于将特征图M2、特征图M3、特征图M4和特征图M5输入区域建议网络，分别输出特征图M2、特征图M3、特征图M4和特征图M5对应的第一无人机特征表示。
3.根据权利要求1所述的基于上下文信息感知的无人机定位方法，其特征在于，所述设定倍数为三倍，所述局部信息表示路径用于将各第一无人机特征表示在对应尺度特征图上左上角的坐标作为待截取的区域特征图的左上角坐标，以三倍第一无人机特征表示的宽度作为待截取的区域特征图的宽度，以三倍第一无人机特征表示的高度作为待截取的区域特征图的高度，在各对应尺度特征图上截取区域特征图；所述局部信息表示路径还用于对截取的区域特征图进行卷积核为1*1，步长为3的卷积后与对应的第一无人机特征表示进行通道维度的拼接，获得第二无人机特征表示。
4.根据权利要求2所述的基于上下文信息感知的无人机定位方法，其特征在于，所述全局信息表示路径用于对特征图M5进行下采样获得特征图M6，对特征图M6进行全局平均池化操作；所述第一全连接层的输入维度为128，所述第二全连接层的输入维度为64。
5.根据权利要求1所述的基于上下文信息感知的无人机定位方法，其特征在于，所述采用所述无人机检测模型进行待检测无人机的定位，具体包括：
将摄像头采集到的可见光视频依次转换为图像帧；
将所述图像帧依次输入到所述无人机检测模型，输出包含无人机检测框的图像帧；
将包含无人机检测框的图像帧转换为视频作为无人机定位结果。
6.一种基于上下文信息感知的无人机定位系统，其特征在于，包括：
无人机检测数据集构建模块，用于构建无人机检测数据集；
无人机检测网络构建模块，用于构建无人机检测网络，所述无人机检测网络包括特征表示生成网络、局部信息表示路径、全局信息表示路径和尾部预测结构；
无人机检测网络训练模块，用于采用所述无人机检测数据集训练所述无人机检测网络，获得无人机检测模型；
无人机的定位模块，用于采用所述无人机检测模型进行待检测无人机的定位；
所述无人机检测网络中，所述特征表示生成网络用于生成多尺度特征图并将各尺度特征图输入区域建议网络，输出各尺度特征图对应的第一无人机特征表示；所述局部信息表示路径用于从各尺度特征图中截取区域特征图，并对截取的区域特征图进行卷积后与对应的第一无人机特征表示进行通道维度的拼接，获得第二无人机特征表示，各截取的区域特征图是对应第一无人机特征表示的设定倍数；所述全局信息表示路径用于对各尺度特征图中尺度最小的尺度特征图进行全局平均池化操作后依次经过第一全连接层和第二全连接层，输出全局信息表示图，将所述全局信息表示图依次与各第二无人机特征表示进行矩阵相乘，输出第三无人机特征表示；所述尾部预测结构用于根据所述第三无人机特征表示获得待检测无人机的坐标信息。
7.根据权利要求6所述的基于上下文信息感知的无人机定位系统，其特征在于，所述特征表示生成网络采用DenseNet为骨干网络，基于DenseNet构建特征融合结构；所述DenseNet包括五个卷积块，依次输出特征图N1、特征图N2、特征图N3、特征图N4和特征图N5，将特征图N5记为特征图M5，所述特征融合结构用于将特征图M5进行2倍的上采样后与特征图N4按元素相加，输出特征图M4，将特征图M4进行2倍的上采样后与特征图N3按元素相加，输出特征图M3，将特征图M3进行2倍的上采样后与特征图N2按元素相加，输出特征图M2；所述特征表示生成网络还用于将特征图M2、特征图M3、特征图M4和特征图M5输入区域建议网络，分别输出特征图M2、特征图M3、特征图M4和特征图M5对应的第一无人机特征表示。
8.根据权利要求6所述的基于上下文信息感知的无人机定位系统，其特征在于，所述设定倍数为三倍，所述局部信息表示路径用于将各第一无人机特征表示在对应尺度特征图上左上角的坐标作为待截取的区域特征图的左上角坐标，以三倍第一无人机特征表示的宽度作为待截取的区域特征图的宽度，以三倍第一无人机特征表示的高度作为待截取的区域特征图的高度，在各对应尺度特征图上截取区域特征图；所述局部信息表示路径还用于对截取的区域特征图进行卷积核为1*1，步长为3的卷积后与对应的第一无人机特征表示进行通道维度的拼接，获得第二无人机特征表示。
9.根据权利要求7所述的基于上下文信息感知的无人机定位系统，其特征在于，所述全局信息表示路径用于对特征图M5进行下采样获得特征图M6，对特征图M6进行全局平均池化操作；所述第一全连接层的输入维度为128，所述第二全连接层的输入维度为64。
10.根据权利要求6所述的基于上下文信息感知的无人机定位系统，其特征在于，所述无人机的定位模块，具体包括：
视频转换单元，用于将摄像头采集到的可见光视频依次转换为图像帧；
包含无人机检测框的图像帧输出单元，用于将所述图像帧依次输入到所述无人机检测模型，输出包含无人机检测框的图像帧；
图像帧转换为视频单元，用于将包含无人机检测框的图像帧转换为视频作为无人机定位结果。
CN202210424063.4A 2022-04-22 2022-04-22 一种基于上下文信息感知的无人机定位方法及系统 Active CN114550016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210424063.4A CN114550016B (zh) 2022-04-22 2022-04-22 一种基于上下文信息感知的无人机定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210424063.4A CN114550016B (zh) 2022-04-22 2022-04-22 一种基于上下文信息感知的无人机定位方法及系统

Publications (2)

Publication Number Publication Date
CN114550016A CN114550016A (zh) 2022-05-27
CN114550016B true CN114550016B (zh) 2022-07-08

Family

ID=81666603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210424063.4A Active CN114550016B (zh) 2022-04-22 2022-04-22 一种基于上下文信息感知的无人机定位方法及系统

Country Status (1)

Country Link
CN (1) CN114550016B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861938B (zh) * 2023-02-06 2023-05-26 北京中超伟业信息安全技术股份有限公司 一种基于无人机识别的无人机反制方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950634A (zh) * 2021-04-22 2021-06-11 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
CN113191185A (zh) * 2021-03-10 2021-07-30 中国民航大学 一种利用Dense2Net的雷达探测无人机目标分类方法
CN113822383A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于多域注意力机制的无人机检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259809B (zh) * 2020-01-17 2021-08-17 五邑大学 基于DANet的无人机海岸线漂浮垃圾巡检系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191185A (zh) * 2021-03-10 2021-07-30 中国民航大学 一种利用Dense2Net的雷达探测无人机目标分类方法
CN112950634A (zh) * 2021-04-22 2021-06-11 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
CN113822383A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于多域注意力机制的无人机检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于YOLOv3的无人机识别与定位追踪;陶磊等;《工程科学学报》;20200415(第04期);67-72页 *

Also Published As

Publication number Publication date
CN114550016A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
Mou et al. Relation matters: Relational context-aware fully convolutional network for semantic segmentation of high-resolution aerial images
CN110188705B (zh) 一种适用于车载系统的远距离交通标志检测识别方法
CN113255589B (zh) 一种基于多卷积融合网络的目标检测方法及系统
Dai et al. Fast and accurate cable detection using CNN
CN112801158A (zh) 基于级联融合和注意力机制的深度学习小目标检测方法及装置
CN111144418B (zh) 一种铁路轨道区域分割提取的方法
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN113822383B (zh) 一种基于多域注意力机制的无人机检测方法及系统
CN114820655B (zh) 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN113012215A (zh) 一种空间定位的方法、系统及设备
Zang et al. Traffic lane detection using fully convolutional neural network
Li et al. An aerial image segmentation approach based on enhanced multi-scale convolutional neural network
Song et al. Small UAV-based multi-temporal change detection for monitoring cultivated land cover changes in mountainous terrain
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
Jiang et al. Arbitrary-shaped building boundary-aware detection with pixel aggregation network
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统
Qiu et al. Bridge detection method for HSRRSIs based on YOLOv5 with a decoupled head
CN117456480B (zh) 一种基于多源信息融合的轻量化车辆再辨识方法
Khoshboresh-Masouleh et al. Robust building footprint extraction from big multi-sensor data using deep competition network
CN113610032A (zh) 基于遥感影像的建筑物识别方法和装置
CN113657287A (zh) 一种基于深度学习改进YOLOv3的目标检测方法
CN117557983A (zh) 基于深度正向投影和查询反投影的场景重构方法及驾驶辅助系统
Wu et al. Research on asphalt pavement disease detection based on improved YOLOv5s
CN116912646A (zh) 一种基于双分支动态调制网络的多模态遥感图像融合分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant