CN113255693A - 基于成像元数据辅助的无人机多尺度检测识别方法 - Google Patents

基于成像元数据辅助的无人机多尺度检测识别方法 Download PDF

Info

Publication number
CN113255693A
CN113255693A CN202110543495.2A CN202110543495A CN113255693A CN 113255693 A CN113255693 A CN 113255693A CN 202110543495 A CN202110543495 A CN 202110543495A CN 113255693 A CN113255693 A CN 113255693A
Authority
CN
China
Prior art keywords
target
unmanned aerial
aerial vehicle
identification
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110543495.2A
Other languages
English (en)
Inventor
周斌
吴迪
郭承刚
吴璐攸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xihua University
Original Assignee
Xihua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xihua University filed Critical Xihua University
Priority to CN202110543495.2A priority Critical patent/CN113255693A/zh
Publication of CN113255693A publication Critical patent/CN113255693A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于成像元数据辅助的无人机多尺度检测识别方法，包括以下步骤：基于成像元数据辅助的无人机多尺度检测识别方法，其特征在于：包括以下步骤：通过多尺度检测识别网络识别实时采集的图像中的目标，预测识别的目标的类别概率，并通过融合PANet神经网络结构使识别的目标增大感受野；通过边缘检测和轮廓提取的识别算法，根据无人机飞行参数识别实时采集的图像中的无人机目标；将多尺度检测识别网络识别的目标、边缘检测和轮廓提取的识别算法识别的无人机目标，结合成像元数据和先验知识，输入单阶目标检测识别模型，得到对无人机目标的鉴别结果。本发明的目的在于能够满足实时性的基础上对多尺度无人机目标进行准确率较高的识别。

Description

基于成像元数据辅助的无人机多尺度检测识别方法
技术领域
本发明涉及无人机目标识别技术领域，特别涉及基于成像元数据辅助的无人机多尺度检测识别方法。
背景技术
随着科学技术的发展，无人机的应用范围越来越广泛，但无人机对于一些既定空域来说，会存在一定的威胁，给当前领域造成困扰和危险。因此需要实时对空域中是否有无人机进行检测。
发明内容
本发明的目的在于能够满足实时性的基础上对多尺度无人机目标进行准确率较高的识别，提供一种基于成像元数据辅助的无人机多尺度检测识别方法。
为了实现上述发明目的，本发明实施例提供了以下技术方案：
基于成像元数据辅助的无人机多尺度检测识别方法，包括以下步骤：
通过多尺度检测识别网络识别实时采集的图像中的目标，预测识别的目标的类别概率，并通过融合PANet神经网络结构使识别的目标增大感受野；
通过边缘检测和轮廓提取的识别算法，根据无人机飞行参数识别实时采集的图像中的无人机目标；
将多尺度检测识别网络识别的目标、边缘检测和轮廓提取的识别算法识别的无人机目标，结合成像元数据和先验知识，输入单阶目标检测识别模型，得到对无人机目标的鉴别结果。
更进一步地，所述通过多尺度检测识别网络识别实时采集的图像中的目标，预测识别的目标的类别概率的步骤，包括：
所述多尺度检测识别网络包括主干网络、检测头网络；
所述主干网络用于对实时采集的图像进行目标特征的提取：将实时采集的图像划分为S×S的网格，检测落在每个网格中心的目标；
所述检测头网络用于回归出主干网络检测出的目标的边界框和对目标的类别概率进行计算：预测每个网格中的目标的边界框，以及计算目标的置信度，并根据置信度计算目标的类别概率。
更进一步地，通过融合PANet神经网络结构使识别的目标增大感受野的步骤，包括：在所述检测头网络中加入PANet神经网络结构，使主干网络识别的目标的特征图尺寸增大，从而增大感受野。
更进一步地，所述通过边缘检测和轮廓提取的识别算法，根据无人机飞行参数识别实时采集的图像中的无人机目标的步骤，包括：结合飞行参数将实时采集的图像中目标飞行高度与无人机正常飞行高度不匹配的目标过滤，剩余的目标则是无人机目标；
所述飞行参数包括无人机的飞行高度、俯仰角。
更进一步地，所述实时采集的图像由光电成像设备采集。
更进一步地，所述成像元数据为已有的无人机图像，作为训练集；所述先验知识为历史识别的图像，所述历史识别的图像结果包括无人机目标、非无人机目标。
与现有技术相比，本发明的有益效果：
本发明通过多尺度检测识别网络和边缘检测和轮廓提取的识别方法，对实时采集的图像进行双重识别，通过多尺度检测识别网络对识别出的目标计算其属于无人机类别的概率，也通过边缘检测和轮廓提取的识别方法识别目标是否为无人机目标，最后结合先验知识和识别结果，共同判断目标是否为无人机。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍， 应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明识别方法流程图；
图2为本发明多尺度检测识别网络结构示意图；
图3为本发明多尺度检测识别网络改进结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
实施例1：
本发明通过下述技术方案实现，如图1所示，基于成像元数据辅助的无人机尺度检测识别方法，包括以下步骤：
步骤S1：通过多尺度检测识别网络识别实时采集的图像中的目标，预测识别的目标的类别概率，并通过融合PANet神经网络结构使识别的目标增大感受野。
所述多尺度检测识别网络作用于整张图像，预测目标的边界框和概率，因为该网络利用了图像中的全局信息，且采用单阶段模型进行预测，使得该网络在保留一定的准确度的同时，实时性也非常高。
所述单阶段模型通过直接估计大量冗余的目标检测框，并结合回归和NMS技术调整目标框的尺寸、数目来对目标完成检测识别。
请参见图2，所述多尺度检测识别网络包括主干网络、检测头网络，所述主干网络用于对实时采集的图像进行目标特征的提取；所述检测头网络用于回归出主干网络检测出的目标的边界框和对目标的类别概率进行计算。
详细来说，所述主干网络用于对实时采集的图像进行目标特征的提取：将实时采集的图像划分为S×S的网格，检测落在每个网格中心的目标；
所述检测头网络用于回归出主干网络检测出的目标的边界框和对目标的类别概率进行计算：预测每个网格中的目标的边界框，以及计算目标的置信度，并根据置信度计算目标的类别概率。
此外，请参见图3，在所述检测头网络中加入PANet神经网络结构，使主干网络识别的目标的特征图尺寸增大，从而增大感受野。
由于在不同的图像采集视角下，无人机目标尺度变化较大，并且背景信息干扰多，因此需要研究多尺度检测结果来提高网络的检测精度，以适用多变的应用场景。,为了在不明显增加预测时间的同时提高检测准确度，在检测头网络中设置多尺度特征PANet学习结构，实现度尺度下的特征提取，使得网络更加适用于无人机检测识别场景。但是输入PANet学习结构的特征图像尺寸整体较小，保留的背景信息较多，丢失了较多的小目标细节特征。因此需要通过增大特征图尺寸，并融合不同尺寸的特征图来保留更多的细节信息。
步骤S2：通过边缘检测和轮廓提取的识别算法，根据无人机飞行参数识别实时采集的图像中的无人机目标。
结合飞行参数将实时采集的图像中目标飞行高度与无人机正常飞行高度不匹配的目标过滤，剩余的目标则是无人机目标。
为了过滤掉飞行高度不大可能出现无人机的这些目标，将飞行高度、俯仰角等飞行参数作为实时高精度检测识别的输入，对符合无人机特征的目标的类别和位置进行输出。
所述飞行参数是基于数据库的对比技术，建立飞行高度和无人机目标之间的对应关系，查找出不同高度下的无人机目标类别。
步骤S3：将多尺度检测识别网络识别的目标、边缘检测和轮廓提取的识别算法识别的无人机目标，结合成像元数据和先验知识，输入单阶目标检测识别模型，得到对无人机目标的鉴别结果。
所述成像元数据为已有的无人机图像，作为训练集，比如大量的无人机图像。
所述先验知识为历史识别的图像，所述历史识别的图像结果包括无人机目标、非无人机目标。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.基于成像元数据辅助的无人机多尺度检测识别方法，其特征在于：包括以下步骤：
通过多尺度检测识别网络识别实时采集的图像中的目标，预测识别的目标的类别概率，并通过融合PANet神经网络结构使识别的目标增大感受野；
通过边缘检测和轮廓提取的识别算法，根据无人机飞行参数识别实时采集的图像中的无人机目标；
将多尺度检测识别网络识别的目标、边缘检测和轮廓提取的识别算法识别的无人机目标，结合成像元数据和先验知识，输入单阶目标检测识别模型，得到对无人机目标的鉴别结果。
2.根据权利要求1所述的基于成像元数据辅助的无人机多尺度检测识别方法，其特征在于：所述通过多尺度检测识别网络识别实时采集的图像中的目标，预测识别的目标的类别概率的步骤，包括：
所述多尺度检测识别网络包括主干网络、检测头网络；
所述主干网络用于对实时采集的图像进行目标特征的提取：将实时采集的图像划分为S×S的网格，检测落在每个网格中心的目标；
所述检测头网络用于回归出主干网络检测出的目标的边界框和对目标的类别概率进行计算：预测每个网格中的目标的边界框，以及计算目标的置信度，并根据置信度计算目标的类别概率。
3.根据权利要求2所述的基于成像元数据辅助的无人机多尺度检测识别方法，其特征在于：通过融合PANet神经网络结构使识别的目标增大感受野的步骤，包括：在所述检测头网络中加入PANet神经网络结构，使主干网络识别的目标的特征图尺寸增大，从而增大感受野。
4.根据权利要求1所述的基于成像元数据辅助的无人机多尺度检测识别方法，其特征在于：所述通过边缘检测和轮廓提取的识别算法，根据无人机飞行参数识别实时采集的图像中的无人机目标的步骤，包括：结合飞行参数将实时采集的图像中目标飞行高度与无人机正常飞行高度不匹配的目标过滤，剩余的目标则是无人机目标；
所述飞行参数包括无人机的飞行高度、俯仰角。
5.根据权利要求1所述的基于成像元数据辅助的无人机多尺度检测识别方法，其特征在于：所述实时采集的图像由光电成像设备采集。
6.根据权利要求1所述的基于成像元数据辅助的无人机多尺度检测识别方法，其特征在于：
所述成像元数据为已有的无人机图像，作为训练集；
所述先验知识为历史识别的图像，所述历史识别的图像结果包括无人机目标、非无人机目标。
CN202110543495.2A 2021-05-19 2021-05-19 基于成像元数据辅助的无人机多尺度检测识别方法 Pending CN113255693A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110543495.2A CN113255693A (zh) 2021-05-19 2021-05-19 基于成像元数据辅助的无人机多尺度检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110543495.2A CN113255693A (zh) 2021-05-19 2021-05-19 基于成像元数据辅助的无人机多尺度检测识别方法

Publications (1)

Publication Number Publication Date
CN113255693A true CN113255693A (zh) 2021-08-13

Family

ID=77182734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110543495.2A Pending CN113255693A (zh) 2021-05-19 2021-05-19 基于成像元数据辅助的无人机多尺度检测识别方法

Country Status (1)

Country Link
CN (1) CN113255693A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150022656A1 (en) * 2013-07-17 2015-01-22 James L. Carr System for collecting & processing aerial imagery with enhanced 3d & nir imaging capability
CN105501457A (zh) * 2015-12-16 2016-04-20 南京航空航天大学 基于红外视觉的固定翼无人机自动着陆引导方法及系统
CN106023257A (zh) * 2016-05-26 2016-10-12 南京航空航天大学 一种基于旋翼无人机平台的目标跟踪方法
CN107563413A (zh) * 2017-08-09 2018-01-09 千寻位置网络有限公司 无人机航拍影像农田块对象精准提取方法
CN108802040A (zh) * 2017-05-04 2018-11-13 南京市特种设备安全监督检验研究院 一种用于起重机表面缺陷检测的无人机装置及检测方法
CN109086749A (zh) * 2018-09-14 2018-12-25 汪新群 一种民用无人机系统被动式探测方法
CN109241837A (zh) * 2018-07-27 2019-01-18 仲恺农业工程学院 一种植保无人机精准喷施控制方法
CN109753903A (zh) * 2019-02-27 2019-05-14 北航（四川）西部国际创新港科技有限公司 一种基于深度学习的无人机检测方法
US20190144116A1 (en) * 2016-07-12 2019-05-16 SZ DJI Technology Co., Ltd. Systems and methods for multi-orientation flight
CN110414417A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种基于多层次融合多尺度预测的交通标志牌识别方法
CN112418117A (zh) * 2020-11-27 2021-02-26 北京工商大学 一种基于无人机图像的小目标检测方法
CN112560907A (zh) * 2020-12-02 2021-03-26 西安电子科技大学 基于混合域注意力的有限像素红外无人机目标检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150022656A1 (en) * 2013-07-17 2015-01-22 James L. Carr System for collecting & processing aerial imagery with enhanced 3d & nir imaging capability
CN105501457A (zh) * 2015-12-16 2016-04-20 南京航空航天大学 基于红外视觉的固定翼无人机自动着陆引导方法及系统
CN106023257A (zh) * 2016-05-26 2016-10-12 南京航空航天大学 一种基于旋翼无人机平台的目标跟踪方法
US20190144116A1 (en) * 2016-07-12 2019-05-16 SZ DJI Technology Co., Ltd. Systems and methods for multi-orientation flight
CN108802040A (zh) * 2017-05-04 2018-11-13 南京市特种设备安全监督检验研究院 一种用于起重机表面缺陷检测的无人机装置及检测方法
CN107563413A (zh) * 2017-08-09 2018-01-09 千寻位置网络有限公司 无人机航拍影像农田块对象精准提取方法
CN109241837A (zh) * 2018-07-27 2019-01-18 仲恺农业工程学院 一种植保无人机精准喷施控制方法
CN109086749A (zh) * 2018-09-14 2018-12-25 汪新群 一种民用无人机系统被动式探测方法
CN109753903A (zh) * 2019-02-27 2019-05-14 北航（四川）西部国际创新港科技有限公司 一种基于深度学习的无人机检测方法
CN110414417A (zh) * 2019-07-25 2019-11-05 电子科技大学 一种基于多层次融合多尺度预测的交通标志牌识别方法
CN112418117A (zh) * 2020-11-27 2021-02-26 北京工商大学 一种基于无人机图像的小目标检测方法
CN112560907A (zh) * 2020-12-02 2021-03-26 西安电子科技大学 基于混合域注意力的有限像素红外无人机目标检测方法

Similar Documents

Publication Publication Date Title
CN109685066B (zh) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN111899227A (zh) 基于无人机作业的铁路扣件缺陷自动采集辨识方法
WO2022100470A1 (en) Systems and methods for target detection
CN103530600B (zh) 复杂光照下的车牌识别方法及系统
CN110675408A (zh) 基于深度学习的高分辨率影像建筑物提取方法及系统
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN112349150B (zh) 一种机场航班保障时间节点的视频采集方法和系统
CN103593679A (zh) 一种基于在线机器学习的视觉人手跟踪方法
CN112528781B (zh) 一种障碍物检测方法、装置、设备和计算机可读存储介质
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN114049572A (zh) 识别小目标的检测方法
CN115661569A (zh) 一种高精度的细粒度sar目标检测方法
CN110400374A (zh) 环景点云数据的建立方法与建立系统
CN117496477B (zh) 一种点云目标检测方法及装置
CN117130010B (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN106874928B (zh) 跟踪目标突发关键事件自动判决方法及系统
CN110636248A (zh) 目标跟踪方法与装置
CN116778262A (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN113255693A (zh) 基于成像元数据辅助的无人机多尺度检测识别方法
CN114998387A (zh) 一种物体距离监测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813

RJ01 Rejection of invention patent application after publication