CN109753903A - 一种基于深度学习的无人机检测方法 - Google Patents

一种基于深度学习的无人机检测方法 Download PDF

Info

Publication number
CN109753903A
CN109753903A CN201811587293.2A CN201811587293A CN109753903A CN 109753903 A CN109753903 A CN 109753903A CN 201811587293 A CN201811587293 A CN 201811587293A CN 109753903 A CN109753903 A CN 109753903A
Authority
CN
China
Prior art keywords
unmanned plane
model
input
convolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811587293.2A
Other languages
English (en)
Other versions
CN109753903B (zh
Inventor
张学军
黄如
杨镇宇
白浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northern (sichuan) International Hong Kong Ltd Co Of Science And Technology Innovation In Western China
Original Assignee
Northern (sichuan) International Hong Kong Ltd Co Of Science And Technology Innovation In Western China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northern (sichuan) International Hong Kong Ltd Co Of Science And Technology Innovation In Western China filed Critical Northern (sichuan) International Hong Kong Ltd Co Of Science And Technology Innovation In Western China
Priority to CN201811587293.2A priority Critical patent/CN109753903B/zh
Publication of CN109753903A publication Critical patent/CN109753903A/zh
Application granted granted Critical
Publication of CN109753903B publication Critical patent/CN109753903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的无人机检测方法,包括:数据收集;数据增强;构建深度卷积神经网络模型;模型训练;模型部署;模型应用。使用级联的卷积神经网络模型,添加了修正模块,使得在检测过程中只需要进行少量的人为干预便能进一步提高模型的检测性能;通过模型压缩使得模型在嵌入式设备上能够实时运行。还结合了数据库技术,能够给出该类无人机的各项性能参数。本发明的优点在于:能够判断无人机的种类;还添加了修正模块,使得在检测过程中只需要进行少量的人为干预便能进一步提高模型的检测性能;结合了数据库技术,能够给出该类无人机的各项性能参数,便于无人机的管制。

Description

一种基于深度学习的无人机检测方法
技术领域
本发明涉及无人机监管技术领域,特别涉及一种基于深度学习的无人机检测方法。
背景技术
随着低空区域的陆续开放、技术的迅速发展和法律法规的完善,无人机的应用领域更加广泛,越来越多的无人机将参与人们的生产生活。低空飞行的无人机增多,带来的安全隐患也逐渐增多,因此对无人机的实时监管也尤为重要。使用传统的雷达技术检测无人机面临着极大的挑战,因为雷达无法对目标是否为无人机作出判断。
而通过光电设备(如相机)能够获取无人机图像,使用计算机视觉技术便能够判断无人机的种类和型号。计算机视觉技术检测无人机需要大量训练样本来训练检测模型,训练样本的收集过程将消耗大量的人力、物力成本。
本发明所用到的技术术语
SSD算法:SSD(Single Shot Mutli-Box Detection)采用一个卷积神经网络来检测目标,SSD在检测过程中使用了多尺度的特征。SSD 的核心思想包括三点:多尺度特征检测、全卷积网络和先验框。
发明内容
本发明针对现有技术的缺陷,提供了一种基于深度学习的无人机检测方法,能有效的解决上述现有技术存在的问题。
为了实现以上发明目的,本发明采取的技术方案如下:
一种基于深度学习的无人机检测方法,包括以下步骤:
S1:数据收集:首先从互联网上收集无人机图像和无人机种类,选取图像的要求有两点,一是无人机应位于图像的中心,二是无人在图像的面积应超过图像的一半;然后,从互联网收集无人机真实飞行的视频,并标注出视频中的无人机。
S2:数据增强:对标注后的图像施加随机旋转、左右翻转、度调整、对比度调整、高斯噪声添加,目的是为了在训练过程中增加数据量,有效的抑制过拟合问题。
S3:构建深度卷积神经网络模型;
S31:构建改进SSD算法的骨干网络,该网络一共50层,其结构主要由通道分割、残差块和通道混淆三个模块组成的基本单元堆叠而成。通道分割模块沿着通道轴将输入划分为两个部分,两部分的通道数相同;残差块由两个1×1卷积和一个3×3卷积,其中3×3卷积的逐通道卷积位于两个1×1卷积中间,它们的输出通道数相同;通道混淆模块是将输入的通道打乱,以增强训练时信息的流动性。
S32:锚点框精炼网络构建;
S321:建立特征融合模块,所述特征融合模块的输入为一个高层特征和一个低层特征,高层特征首先经过一个1×1卷积的卷积将通道数降低为256,然后使用最近邻插值将其分辨率调整与低层特征相同,最后使用批归一化操作标准化特征;低层特征也首先经过一个1×1卷积的卷积将通道数降低为256,然后经过一个3×3卷积层进一步处理,最后使用批归一化操作标准化特征;将标准化后的特征逐像素相加,并传入修正线性单元进行激活处理,得到融合特征;
融合后的三种特征图分辨率分别为输入图像的并用于精炼锚点框的预测。
S322:建立统一预测模块,该模块包含锚点框偏移预测和锚点是否为目标的预测,偏移预测由一个滤波器数为4×5的3×3卷积层完成,其中4表示预测框的中心坐标和宽高四个偏移,5表示每个像素位置设置5个锚点框。是否为目标的预测由一个滤波器数为2×5的3×3卷积层完成,其中2表示是否为目标,5表示每个像素位置设置5个锚点框。
S33:构建预测子网络,预测子网络由特征融合模块、注意力模块和预测分支组成:
S331:建立特征融合模块,各项设置与S321相同;
S332:建立注意力模块,注意力模块由串联的通道注意力模块和空间注意力模块组成;
S3321:在空间注意力模块中,首先,在空间维度上,对输入分别使用全局最大池化和全局均值池化,得到两个大小为1×1×256的特征Max1和Avg1;然后,特征Max1和Avg1被传入3个全连接层,它们的输出分别为256、128和256,其后都跟一个修正线性单元,得到输出特征Max′1和Avg′1
接着,将特征Max′1和Avg′1逐元素相加,并且相加的结果传入sigmoid函数,得到注意力特征A1;最后A1与输入逐元素相乘得到通道注意力模块的输出SpatialAttention。
S3322:在通道注意力模块中,将空间注意力模块的输出 SpatialAttention作为通道注意力模块的输入;接着,沿着通道维度,对输入分别使用全局最大池化和全局均值池化,得到两个大小为 H×W×1的特征Max2和Avg2;然后,将[Max2,Avg2]输入一个3×3卷积层,该卷积层后跟批归一化层和修正线性单元,得到特征A2;最后,将A2输入到sigmoid函数,并与输入SpatialAttention相乘得到最终的注意力模块输出Attention。
S333:同S322采用统一预测模块,该模块包含无人机坐标偏移预测和无人机类别的预测,偏移预测由一个滤波器数为4×5的3×3卷积层完成,其中4表示预测框的中心坐标和宽高四个偏移,5表示每个像素位置设置5个锚点框。是否为目标的预测由一个滤波器数为 11×5的3×3卷积层完成,其中11表示背景和10种无人机类型,5表示每个像素位置设置5个锚点框。
S4:模型训练:
S41:采用多尺度训练(多尺度训练是针对卷积神经网络的训练,即在训练时,向卷积神经网络输入多个尺度的图像),输入图像从 640,608,576,544,512,480,448,416中随机选取;在测试阶段,将输入图像的分辨率固定为512;
S42:将图像输入S3构建好的深度卷积神经网络模型,计算网络的损失函数值;
S43:利用反向传播算法训练网络,直至网络收敛位置。
S5:模型部署;
S51:使用量化技术将S4中训练好的模型参数从32位的浮点型转换为8位的整型,假设需要转换的浮点型参数为w,先求出其最大、最小值Mmax、Mmin;然后计算量化参数最后得到量化值并将量化值转化为8位无符号整型;进行反推便可由量化整型值转换到浮点型值。
S52:将量化后的模型部署到嵌入式设备进行最终的推理过程,并在此阶段添加一个修正模块,用于收集误检图像收集,并定期发送到服务器,用于模型的修正训练。
S6:模型应用:
S61:将光电摄像机拍摄的图像缩放至512×512;
S62:将缩放后的图像传入部署于嵌入式设备的模型进行推理;
S63:若模型判断存在无人机,则输出其所属类型的概率和在图像中的位置;若模型判断不存在目标,则判断系统的前一张图像和后一张图像是否存在无人机,若存在无人机则保存该图像,若不存在无人机,则继续判断连续5张图像中是否存在无人机,若不存在则保存五张中的任意两张图像,目的是避免数据准备过程中没有收集到相应无人机的情况;
S64:将S63中预测的无人机类型作为关键字,从收集无人机各项参数信息的数据库中查询无人机各项参数,用于对无人机的反制。
S65:将保存的图像传送到服务器,经过人工标注无人机并剔除无效图像后,再对模型进行训练,重新部署。
进一步地,所述S31中骨干网络分6个阶段,参数设置为:
第一阶段为输入层;
第二阶段是一个输出通道为32,歩幅为2的3×3卷积层和一个歩幅为2的3×3最大池化层,输出的分辨率降低为输入的四分之一;
第三阶段是4个输出通道为116的基本单元,其中第一个基本单元的歩幅为2,共计12层卷积,输出的分辨率为输入的八分之一;
第四阶段是8个输出通道为232的基本单元,其中第一个基本单元的歩幅为2,共计24层卷积,输出的分辨率为输入的十六分之一;
第四阶段是4个输出通道为464的基本单元,其中第一个基本单元的歩幅为2,共计12层卷积,输出的分辨率为输入的三十二分之一;
第五阶段是1个输出通道为1024的1×1卷积。
与现有技术相比本发明的优点在于:能够判断无人机的种类;还添加了修正模块,使得在检测过程中只需要进行少量的人为干预便能进一步提高模型的检测性能;结合了数据库技术,能够给出该类无人机的各项性能参数,便于无人机的管制。
附图说明
图1为尺度的特征示意图;
图2为先验框示意图;
图3为原始SSD结构图;
图4为改进的SSD架构图;
图5为特征融合模块操作示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图并列举实施例,对本发明做进一步详细说明。
介绍改进的SSD算法
多尺度特征检测
卷积神经网络包含步长为2的卷积层或者池化层等下采样层,输入图像每次经过这样的下采样层后,网络提取的特征分辨率在长宽方向上都减少为原来的一半,而卷积神经网络中通常包含5个这样的下采样层,因此便有五种不同尺度的特征(如图1所示,左图为较大特征图,用于检测小目标(虚线框),右图为较小特征图,用于检测较大目标(虚线框)。图中每个单元格为特征图的一个像素,映射会输入图像便是一个单元格)。SSD就是利用了这样的特征,对于较小目标使用较大分辨率的特征进行检测,对于较大目标使用较小分辨率特征进行检测。
全卷积网络检测
如Faster RCNN、YOLO等的检测方法中,都是用了全连接层来进行最终的预测,而SSD直接使用采用3×3的卷积核进行最终的检测,这进步提升了网络的检测深度,同时可以无视网络的输入图像的尺寸。
设置锚点框
在真实世界中每个物体的形状各异,如果使用一个矩形边界框将其包围,该矩形框的面积和纵横比也是千差万别的。而YOLO中,每个单元预测多个边界框,但都是相对于改单元本身,这个单元仅有一种尺度和纵横比,不足以覆盖真实的所有对象。SSD借鉴FasterRCNN的锚点思想,在特征图的每一个单元格设置多个尺度或纵横比不同的先验框,网络预测的是真实边界框与这些先验框的偏移。图2 显示了4格不同的先验框,当目标与某个先验框有大于阈值的IoU时,该先验框便负责检测这个目标,即预测目标的位置偏移Δ(cx,cy,w,h)以及分类得分(p0,p1,p2,...,pc),其中cx,cy,w,h分别表示目标的中心坐标和宽高偏移,p0表示该区域为背景的概率,p1,...,pn表示目标属于c个类别的概率。使用p=(pcx,pcy,pw,ph)表示先验框的中心坐标和宽高,使用 p=(pcx,pcy,pw,ph)表示真实边界框的中心坐标和宽高,则预测边界框偏移Δ(cx,cy,w,h)计算如下:
Δcx=(tcx-pcxh/pw
Δcy=(tcy-pcy)/ph
Δw=log(tw/pw)
Δh=log(th/ph)
同理,从预测的偏移到预测框的计算如下:
综上所述,对于一个大小m×n的特征图,共有mn个单元,每个单元设置的先验框数目记为k,那么每个单元共需要(c+1+4)k个预测值,所有的单元共需要(c+1+4)kmn个预测值,由于SSD采用卷积做检测,所以就需要(c+1+4)k个卷积核完成这个特征图的检测过程。
图3为SSD原始版本的结构图,以VGG16作为骨干网络,并将 VGG16的fc6(全连接层)和fc7转换成3×3的卷积层conv6和1×1的卷积层conv7,同时使用池化层将原始的第5个池化层pool5的步长2 修改为1,同时使用了膨胀卷积以增加网络的感受野。
SSD共使用了6个特征图,其大小分别为 (38,38),(19,19),(10,10),(5,5),(3,3),(1,1),不同特征图的先验框数量不同,但是同一特征图中每个单元设置相同的先验框。先验框的尺度根据特征图的大小线性增加:
其中,sk是第k个特征图先验框的尺度与输入图像的比例, smin,smax分别表示先验框与输入图像的最小和最大比例(根据实验分别设为0.2,0.9),m是特征图的数量。
SSD的改进
SSD一个缺点是先验框的设置,通常在先验框的设置时,在统一特征图中为每一单元设置了相同的先验框,然而真实世界的对象却有不同的外观,设置相同的先验框不利于检测不同尺度和纵横比的目标。
在神经网络中,越深的卷积层提取的特征包含越丰富的语义信息,这也是ResNet能够在ImageNet上获取最佳精度的原因之一。从图3 的SSD结构可以看出预测结果来自不同的特征层,来自浅层网络的特征通常仅包含少量的语义信息,且通常是局部语义信息。不丰富的语义信息在检测小目标时,往往准确率较低,这对于无人机的检测几乎是致命的,因为无人机通常有一定的飞行高度,其在图像中的像素比较小。这也是SSD检测器的另一缺点。
如图4所示,给出了改进SSD的网络架构。首先,结合卷积神经网络高层精细的语义特征和底层丰富的对象细节特征,这两者结合后的特征更具代表性,有利于检测任务。由于高层特征往往具有较低的分辨率,因此通过简单的最近邻插值将高层特征上采样至底层特征相同的分辨率。具体操作如图5所示,图中使用1×1卷积将高低层特征的通道数降低至256,并使用批归一化操作在相加之前标准化两种特征,最后相加后的特征经过一个修正激活单元(ReLU)。
然后,针对SSD的每个特征图中的每个像素位置使用相同的锚点框的缺点,本文以基本的SSD框架为基础,并添加特征融合模块,来粗糙地修正锚点,使得每个锚点大致接近真实的对象边界框。然后将修正后的边界框作为最终精细预测的锚点框,如此每个像素位置都有其特有的锚点框。
下文本从数据收集、模型设计以及模型部署三个方面介绍本发明的步骤。
一种基于深度学习的无人机检测方法,包括以下步骤:
S1:数据收集:首先从互联网上收集了约五十万张无人机图像,共计10种无人机,选取图像的要求有两点,一是无人机应位于图像的中心,二是无人在图像的面积应超过图像的一半。然后,同样从互联网收集40段无人机真实飞行的视频,并标注出视频中的无人机以训练无人机检测器。
S2:数据增强:对标注后的图像施加随机旋转、左右翻转、亮度调整、对比度调整、曝光度调整、高斯噪声添加等,目的是为了在训练过程中增加数据量,有效的抑制过拟合问题。
S3:构建模型;
S31:构建改进SSD算法的骨干网络,该网络一共50层,其结构主要由通道分割、残差块和通道混淆三个模块组成的基本单元堆叠而成。通道分割模块沿着通道轴将输入划分为两个部分,两部分的通道数相同;残差块由两个1×1卷积和一个3×3卷积,其中3×3卷积的逐通道卷积位于两个1×1卷积中间,它们的输出通道数相同;通道混淆模块是将输入的通道打乱,以增强训练时信息的流动性。骨干网络主要分为6个阶段,参数设置为:
第一阶段为输入层。
第二阶段是一个输出通道为32,歩幅为2的3×3卷积层和一个歩幅为2的3×3最大池化层,输出的分辨率降低为输入的四分之一。
第三阶段是4个输出通道为116的基本单元,其中第一个基本单元的歩幅为2,共计12层卷积,输出的分辨率为输入的八分之一。
第四阶段是8个输出通道为232的基本单元,其中第一个基本单元的歩幅为2,共计24层卷积,输出的分辨率为输入的十六分之一。
第四阶段是4个输出通道为464的基本单元,其中第一个基本单元的歩幅为2,共计12层卷积,输出的分辨率为输入的三十二分之一。
第五阶段是1个输出通道为1024的1×1卷积。
S32:锚点框精炼网络构建过程,使用到了高低层特征的融合过程,最终得到三种分辨率的特征图用于精炼锚点框。
特征融合模块的输入为一个高层特征和一个低层特征,高层特征首先经过一个1×1卷积的卷积将通道数降低为256,然后使用最近邻插值将其分辨率调整与低层特征相同,最后使用批归一化操作标准化特征;低层特征也首先经过一个1×1卷积的卷积将通道数降低为256,然后经过一个3×3卷积层进一步处理,最后使用批归一化操作标准化特征;将标准化后的特征逐像素相加,并传入修正线性单元进行激活处理,得到融合特征。融合后的三种特征图分辨率分别为输入图像的并用于精炼锚点框的预测。采用统一预测模块,该模块包含锚点框偏移预测和锚点是否为目标的预测,偏移预测由一个滤波器数为4×5的3×3卷积层完成,其中4表示预测框的中心坐标和宽高四个偏移, 5表示每个像素位置设置5个锚点框。是否为目标的预测由一个滤波器数为2×5的3×3卷积层完成,其中2表示是否为目标,5表示每个像素位置设置5个锚点框。
S33:预测子网络由特征融合模块、注意力模块和预测分支组成:
(a)特征融合模块各项设置与S32相同;
(b)注意力模块由串联的通道注意力模块和空间注意力模块组成。在通道注意力模块中,首先,在空间维度(即宽高维度)上,对输入分别使用全局最大池化和全局均值池化,得到两个大小为 1×1×256的特征Max1和Avg1;然后,特征Max1和Avg1被传入3个全连接层,它们的输出分别为256、128和256,其后都跟一个修正线性单元,得到输出特征Max′1和Avg′1;接着,将特征Max′1和Avg′1逐元素相加,并且相加的结果传入sigmoid函数,得到注意力特征A1;最后A1与输入逐元素相乘得到通道注意力模块的输出ChannelAttention。
(c)将通道注意力模块的输出ChannelAttention传入空间注意力模块;接着,沿着通道维度,对输入分别使用全局最大池化和全局均值池化,得到两个大小为H×W×1的特征Max2和Avg2;然后,将 [Max2,Avg2]输入一个3×3卷积层,该卷积层后跟批归一化层和修正线性单元,得到特征A2;最后,将A2输入到sigmoid函数,并与输入 ChannelAttention相乘得到最终的注意力模块输出Attention。
(d)同S32采用统一预测模块,该模块包含无人机坐标偏移预测和无人机类别的预测,偏移预测由一个滤波器数为4×5的3×3卷积层完成,其中4表示预测框的中心坐标和宽高四个偏移,5表示每个像素位置设置5个锚点框。是否为目标的预测由一个滤波器数为 11×5的3×3卷积层完成,其中11表示背景和10种无人机类型,5表示每个像素位置设置5个锚点框。
S4:模型训练:
(a)采用多尺度训练策略,输入图像从640,608,576,544,512, 480,448,416中随机选取;在测试阶段,将输入图像的分辨率固定为512。
(b)将图像输入构建好的深度卷积神经网络模型,计算网络的损失函数值;
(c)利用反向传播算法训练网络,直至网络收敛位置。
S5:模型部署
(1)使用量化技术将训练好的模型参数从32位的浮点型转换为8位的整型,假设需要转换的浮点型参数为w,先求出其最大、最小值Mmax、Mmin;然后计算量化参数最后得到量化值并将量化值转化为8位无符号整型。上述方法进行反推便可由量化整型值转换到浮点型值。
(2)将量化后的模型部署到嵌入式设备进行最终的推理过程,并在此阶段添加一个修正模块,用于收集误检图像收集,并定期发送到服务器,用于模型的修正训练。
S6:模型应用:
(a)将光电摄像机拍摄的图像缩放至512×512;
(b)将缩放后的图像传入部署于嵌入式设备的模型进行推理;
(c)若模型判断存在无人机,则输出其所属类型的概率和在图像中的位置;若模型判断不存在目标,则判断系统的前一张图像和后一张图像是否存在无人机,若存在无人机则保存该图像,若不存在无人机,则继续判断连续5张图像中是否存在无人机,若不存在则保存五张中的任意两张图像(这一过程是避免数据准备过程中没有收集到相应无人机的情况);
(d)将(c)中预测的无人机类型作为关键字,从收集无人机各项参数信息的数据库中查询无人机各项参数,用于对无人机的反制。
(e)将保存的图像传送到服务器,经过人工标注无人机并剔除无效图像后,再对模型进行训练,重新部署。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的实施方法,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。

Claims (2)

1.一种基于深度学习的无人机检测方法,其特征在于,包括以下步骤:
S1:数据收集:首先从互联网上收集无人机图像和无人机种类,选取图像的要求有两点,一是无人机应位于图像的中心,二是无人在图像的面积应超过图像的一半;然后,从互联网收集无人机真实飞行的视频,并标注出视频中的无人机;
S2:数据增强:对标注后的图像施加随机旋转、左右翻转、度调整、对比度调整、高斯噪声添加,目的是为了在训练过程中增加数据量,有效的抑制过拟合问题;
S3:构建深度卷积神经网络模型;
S31:构建改进SSD算法的骨干网络,该网络一共50层,其结构主要由通道分割、残差块和通道混淆三个模块组成的基本单元堆叠而成;通道分割模块沿着通道轴将输入划分为两个部分,两部分的通道数相同;残差块由两个1×1卷积和一个3×3卷积,其中3×3卷积的逐通道卷积位于两个1×1卷积中间,它们的输出通道数相同;通道混淆模块是将输入的通道打乱,以增强训练时信息的流动性;
S32:锚点框精炼网络构建;
S321:建立特征融合模块,所述特征融合模块的输入为一个高层特征和一个低层特征,高层特征首先经过一个1×1卷积的卷积将通道数降低为256,然后使用最近邻插值将其分辨率调整与低层特征相同,最后使用批归一化操作标准化特征;低层特征也首先经过一个1×1卷积的卷积将通道数降低为256,然后经过一个3×3卷积层进一步处理,最后使用批归一化操作标准化特征;将标准化后的特征逐像素相加,并传入修正线性单元进行激活处理,得到融合特征;
融合后的三种特征图分辨率分别为输入图像的并用于精炼锚点框的预测;
S322:建立统一预测模块,该模块包含锚点框偏移预测和锚点是否为目标的预测,偏移预测由一个滤波器数为4×5的3×3卷积层完成,其中4表示预测框的中心坐标和宽高四个偏移,5表示每个像素位置设置5个锚点框;是否为目标的预测由一个滤波器数为2×5的3×3卷积层完成,其中2表示是否为目标,5表示每个像素位置设置5个锚点框;
S33:构建预测子网络,预测子网络由特征融合模块、注意力模块和预测分支组成:
S331:建立特征融合模块,各项设置与S321相同;
S332:建立注意力模块,注意力模块由串联的通道注意力模块和空间注意力模块组成;
S3321:在空间注意力模块中,首先,在空间维度上,对输入分别使用全局最大池化和全局均值池化,得到两个大小为1×1×256的特征Max1和Avg1;然后,特征Max1和Avg1被传入3个全连接层,它们的输出分别为256、128和256,其后都跟一个修正线性单元,得到输出特征Max′1和Avg′1
接着,将特征Max′1和Avg′1逐元素相加,并且相加的结果传入sigmoid函数,得到注意力特征A1;最后A1与输入逐元素相乘得到通道注意力模块的输出SpatialAttention;
S3322:在通道注意力模块中,将空间注意力模块的输出SpatialAttention作为通道注意力模块的输入;接着,沿着通道维度,对输入分别使用全局最大池化和全局均值池化,得到两个大小为H×W×1的特征Max2和Avg2;然后,将[Max2,Avg2]输入一个3×3卷积层,该卷积层后跟批归一化层和修正线性单元,得到特征A2;最后,将A2输入到sigmoid函数,并与输入SpatialAttention相乘得到最终的注意力模块输出Attention;
S333:同S322采用统一预测模块,该模块包含无人机坐标偏移预测和无人机类别的预测,偏移预测由一个滤波器数为4×5的3×3卷积层完成,其中4表示预测框的中心坐标和宽高四个偏移,5表示每个像素位置设置5个锚点框;是否为目标的预测由一个滤波器数为11×5的3×3卷积层完成,其中11表示背景和10种无人机类型,5表示每个像素位置设置5个锚点框;
S4:模型训练:
S41:采用多尺度训练,输入图像从640,608,576,544,512,480,448,416中随机选取;在测试阶段,将输入图像的分辨率固定为512;
S42:将图像输入S3构建好的深度卷积神经网络模型,计算网络的损失函数值;
S43:利用反向传播算法训练网络,直至网络收敛位置;
S5:模型部署;
S51:使用量化技术将S4中训练好的模型参数从32位的浮点型转换为8位的整型,假设需要转换的浮点型参数为w,先求出其最大、最小值Mmax、Mmin;然后计算量化参数最后得到量化值并将量化值转化为8位无符号整型;进行反推便可由量化整型值转换到浮点型值;
S52:将量化后的模型部署到嵌入式设备进行最终的推理过程,并在此阶段添加一个修正模块,用于收集误检图像收集,并定期发送到服务器,用于模型的修正训练;
S6:模型应用:
S61:将光电摄像机拍摄的图像缩放至512×512;
S62:将缩放后的图像传入部署于嵌入式设备的模型进行推理;
S63:若模型判断存在无人机,则输出其所属类型的概率和在图像中的位置;若模型判断不存在目标,则判断系统的前一张图像和后一张图像是否存在无人机,若存在无人机则保存该图像,若不存在无人机,则继续判断连续5张图像中是否存在无人机,若不存在则保存五张中的任意两张图像,目的是避免数据准备过程中没有收集到相应无人机的情况;
S64:将S63中预测的无人机类型作为关键字,从收集无人机各项参数信息的数据库中查询无人机各项参数,用于对无人机的反制;
S65:将保存的图像传送到服务器,经过人工标注无人机并剔除无效图像后,再对模型进行训练,重新部署。
2.根据权利要求1所述的一种基于深度学习的无人机检测方法,其特征在于:所述S31中骨干网络分6个阶段,参数设置为:
第一阶段为输入层;
第二阶段是一个输出通道为32,歩幅为2的3×3卷积层和一个歩幅为2的3×3最大池化层,输出的分辨率降低为输入的四分之一;
第三阶段是4个输出通道为116的基本单元,其中第一个基本单元的歩幅为2,共计12层卷积,输出的分辨率为输入的八分之一;
第四阶段是8个输出通道为232的基本单元,其中第一个基本单元的歩幅为2,共计24层卷积,输出的分辨率为输入的十六分之一;
第四阶段是4个输出通道为464的基本单元,其中第一个基本单元的歩幅为2,共计12层卷积,输出的分辨率为输入的三十二分之一;
第五阶段是1个输出通道为1024的1×1卷积。
CN201811587293.2A 2019-02-27 2019-02-27 一种基于深度学习的无人机检测方法 Active CN109753903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811587293.2A CN109753903B (zh) 2019-02-27 2019-02-27 一种基于深度学习的无人机检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811587293.2A CN109753903B (zh) 2019-02-27 2019-02-27 一种基于深度学习的无人机检测方法

Publications (2)

Publication Number Publication Date
CN109753903A true CN109753903A (zh) 2019-05-14
CN109753903B CN109753903B (zh) 2020-09-15

Family

ID=66403887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811587293.2A Active CN109753903B (zh) 2019-02-27 2019-02-27 一种基于深度学习的无人机检测方法

Country Status (1)

Country Link
CN (1) CN109753903B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334716A (zh) * 2019-07-04 2019-10-15 北京迈格威科技有限公司 特征图处理方法、图像处理方法及装置
CN110490155A (zh) * 2019-08-23 2019-11-22 电子科技大学 一种禁飞空域无人机检测方法
CN110648322A (zh) * 2019-09-25 2020-01-03 杭州智团信息技术有限公司 一种子宫颈异常细胞检测方法及系统
CN110687922A (zh) * 2019-11-08 2020-01-14 湖北经济学院 一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机
CN110689021A (zh) * 2019-10-17 2020-01-14 哈尔滨理工大学 一种基于深度学习的低可见度环境下实时目标检测方法
CN110807752A (zh) * 2019-09-23 2020-02-18 江苏艾佳家居用品有限公司 一种基于卷积神经网络的图像注意力机制处理方法
CN110852272A (zh) * 2019-11-11 2020-02-28 上海应用技术大学 行人检测方法
CN111160311A (zh) * 2020-01-02 2020-05-15 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111369543A (zh) * 2020-03-07 2020-07-03 北京工业大学 一种基于双重自注意力模块的快速花粉颗粒检测算法
CN111414969A (zh) * 2020-03-26 2020-07-14 西安交通大学 一种雾天环境下的烟检测方法
CN111507271A (zh) * 2020-04-20 2020-08-07 北京理工大学 一种机载光电视频目标智能化检测与识别方法
CN111881982A (zh) * 2020-07-30 2020-11-03 北京环境特性研究所 一种无人机目标识别方法
CN111931642A (zh) * 2020-08-07 2020-11-13 上海商汤临港智能科技有限公司 一种安全带佩戴检测的方法、装置、电子设备及存储介质
CN112131935A (zh) * 2020-08-13 2020-12-25 浙江大华技术股份有限公司 一种机动车车厢载人识别方法、装置和计算机设备
CN112346056A (zh) * 2021-01-11 2021-02-09 长沙理工大学 多脉冲雷达信号的分辨性特征融合提取方法及识别方法
WO2021068249A1 (zh) * 2019-10-12 2021-04-15 深圳鲲云信息科技有限公司 运行时硬件模拟仿真方法、装置、设备及存储介质
WO2021076084A1 (en) * 2019-10-16 2021-04-22 Istanbul Medipol Universitesi A system providing prediction of communication channel parameters
CN113223181A (zh) * 2021-06-02 2021-08-06 广东工业大学 一种弱纹理物体位姿估计方法
CN113221761A (zh) * 2021-05-17 2021-08-06 深圳大学 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置
CN113255693A (zh) * 2021-05-19 2021-08-13 西华大学 基于成像元数据辅助的无人机多尺度检测识别方法
CN113807386A (zh) * 2021-07-21 2021-12-17 广东工业大学 一种融合多尺度信息的目标检测方法、系统及计算机设备
CN113822383A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于多域注意力机制的无人机检测方法及系统
CN115861938A (zh) * 2023-02-06 2023-03-28 北京中超伟业信息安全技术股份有限公司 一种基于无人机识别的无人机反制方法及系统
CN117523428A (zh) * 2023-11-08 2024-02-06 中国人民解放军军事科学院系统工程研究院 基于飞行器平台的地面目标检测方法和装置
CN117809261A (zh) * 2024-02-29 2024-04-02 西安猎隼航空科技有限公司 一种基于深度学习的无人机图像处理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573731A (zh) * 2015-02-06 2015-04-29 厦门大学 基于卷积神经网络的快速目标检测方法
US20160078289A1 (en) * 2014-09-16 2016-03-17 Foundation for Research and Technology - Hellas (FORTH) (acting through its Institute of Computer Gesture Recognition Apparatuses, Methods and Systems for Human-Machine Interaction
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN106707296A (zh) * 2017-01-09 2017-05-24 华中科技大学 一种基于双孔径光电成像系统的无人机检测与识别方法
US20180158197A1 (en) * 2016-12-01 2018-06-07 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CN108921003A (zh) * 2018-04-26 2018-11-30 东华大学 基于卷积神经网络和图像形态学的无人机障碍物检测方法
CN108985193A (zh) * 2018-06-28 2018-12-11 电子科技大学 一种基于图像检测的无人机航拍人像对准方法
CN109272060A (zh) * 2018-09-06 2019-01-25 湖北工业大学 一种基于改进的darknet神经网络进行目标检测的方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078289A1 (en) * 2014-09-16 2016-03-17 Foundation for Research and Technology - Hellas (FORTH) (acting through its Institute of Computer Gesture Recognition Apparatuses, Methods and Systems for Human-Machine Interaction
CN104573731A (zh) * 2015-02-06 2015-04-29 厦门大学 基于卷积神经网络的快速目标检测方法
US20180158197A1 (en) * 2016-12-01 2018-06-07 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN106707296A (zh) * 2017-01-09 2017-05-24 华中科技大学 一种基于双孔径光电成像系统的无人机检测与识别方法
CN108921003A (zh) * 2018-04-26 2018-11-30 东华大学 基于卷积神经网络和图像形态学的无人机障碍物检测方法
CN108985193A (zh) * 2018-06-28 2018-12-11 电子科技大学 一种基于图像检测的无人机航拍人像对准方法
CN109272060A (zh) * 2018-09-06 2019-01-25 湖北工业大学 一种基于改进的darknet神经网络进行目标检测的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHOUJIN SUN ET AL: "Online Model Adaptation for UAV Tracking with Convolutional Neural Network", 《2018 15TH CONFERENCE ON COMPUTER AND ROBOT VISION》 *
虞晓霞 等: "一种基于深度学习的禁飞区无人机目标识别方法", 《长春理工大学学报(自然科学版)》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334716A (zh) * 2019-07-04 2019-10-15 北京迈格威科技有限公司 特征图处理方法、图像处理方法及装置
CN110334716B (zh) * 2019-07-04 2022-01-11 北京迈格威科技有限公司 特征图处理方法、图像处理方法及装置
CN110490155A (zh) * 2019-08-23 2019-11-22 电子科技大学 一种禁飞空域无人机检测方法
CN110490155B (zh) * 2019-08-23 2022-05-17 电子科技大学 一种禁飞空域无人机检测方法
CN110807752A (zh) * 2019-09-23 2020-02-18 江苏艾佳家居用品有限公司 一种基于卷积神经网络的图像注意力机制处理方法
CN110807752B (zh) * 2019-09-23 2022-07-08 江苏艾佳家居用品有限公司 一种基于卷积神经网络的图像注意力机制处理方法
CN110648322B (zh) * 2019-09-25 2023-08-15 杭州智团信息技术有限公司 一种子宫颈异常细胞检测方法及系统
CN110648322A (zh) * 2019-09-25 2020-01-03 杭州智团信息技术有限公司 一种子宫颈异常细胞检测方法及系统
CN113228056B (zh) * 2019-10-12 2023-12-22 深圳鲲云信息科技有限公司 运行时硬件模拟仿真方法、装置、设备及存储介质
CN113228056A (zh) * 2019-10-12 2021-08-06 深圳鲲云信息科技有限公司 运行时硬件模拟仿真方法、装置、设备及存储介质
WO2021068249A1 (zh) * 2019-10-12 2021-04-15 深圳鲲云信息科技有限公司 运行时硬件模拟仿真方法、装置、设备及存储介质
WO2021076084A1 (en) * 2019-10-16 2021-04-22 Istanbul Medipol Universitesi A system providing prediction of communication channel parameters
CN110689021A (zh) * 2019-10-17 2020-01-14 哈尔滨理工大学 一种基于深度学习的低可见度环境下实时目标检测方法
CN110687922A (zh) * 2019-11-08 2020-01-14 湖北经济学院 一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机
CN110852272B (zh) * 2019-11-11 2023-03-28 上海应用技术大学 行人检测方法
CN110852272A (zh) * 2019-11-11 2020-02-28 上海应用技术大学 行人检测方法
CN111160311A (zh) * 2020-01-02 2020-05-15 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111160311B (zh) * 2020-01-02 2022-05-17 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111369543B (zh) * 2020-03-07 2024-06-04 北京工业大学 一种基于双重自注意力模块的快速花粉颗粒检测算法
CN111369543A (zh) * 2020-03-07 2020-07-03 北京工业大学 一种基于双重自注意力模块的快速花粉颗粒检测算法
CN111414969A (zh) * 2020-03-26 2020-07-14 西安交通大学 一种雾天环境下的烟检测方法
CN111507271A (zh) * 2020-04-20 2020-08-07 北京理工大学 一种机载光电视频目标智能化检测与识别方法
CN111881982A (zh) * 2020-07-30 2020-11-03 北京环境特性研究所 一种无人机目标识别方法
CN111931642A (zh) * 2020-08-07 2020-11-13 上海商汤临港智能科技有限公司 一种安全带佩戴检测的方法、装置、电子设备及存储介质
CN112131935A (zh) * 2020-08-13 2020-12-25 浙江大华技术股份有限公司 一种机动车车厢载人识别方法、装置和计算机设备
CN112346056B (zh) * 2021-01-11 2021-03-26 长沙理工大学 多脉冲雷达信号的分辨性特征融合提取方法及识别方法
CN112346056A (zh) * 2021-01-11 2021-02-09 长沙理工大学 多脉冲雷达信号的分辨性特征融合提取方法及识别方法
CN113221761A (zh) * 2021-05-17 2021-08-06 深圳大学 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置
CN113221761B (zh) * 2021-05-17 2023-09-05 深圳大学 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置
CN113255693A (zh) * 2021-05-19 2021-08-13 西华大学 基于成像元数据辅助的无人机多尺度检测识别方法
CN113223181A (zh) * 2021-06-02 2021-08-06 广东工业大学 一种弱纹理物体位姿估计方法
CN113807386A (zh) * 2021-07-21 2021-12-17 广东工业大学 一种融合多尺度信息的目标检测方法、系统及计算机设备
CN113807386B (zh) * 2021-07-21 2023-08-01 广东工业大学 一种融合多尺度信息的目标检测方法、系统及计算机设备
CN113822383A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于多域注意力机制的无人机检测方法及系统
CN115861938A (zh) * 2023-02-06 2023-03-28 北京中超伟业信息安全技术股份有限公司 一种基于无人机识别的无人机反制方法及系统
CN117523428B (zh) * 2023-11-08 2024-03-29 中国人民解放军军事科学院系统工程研究院 基于飞行器平台的地面目标检测方法和装置
CN117523428A (zh) * 2023-11-08 2024-02-06 中国人民解放军军事科学院系统工程研究院 基于飞行器平台的地面目标检测方法和装置
CN117809261A (zh) * 2024-02-29 2024-04-02 西安猎隼航空科技有限公司 一种基于深度学习的无人机图像处理方法
CN117809261B (zh) * 2024-02-29 2024-05-28 西安猎隼航空科技有限公司 一种基于深度学习的无人机图像处理方法

Also Published As

Publication number Publication date
CN109753903B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN109753903A (zh) 一种基于深度学习的无人机检测方法
CN110135243B (zh) 一种基于两级注意力机制的行人检测方法及系统
Zhao et al. TBC-Net: A real-time detector for infrared small target detection using semantic constraint
CN112446398B (zh) 图像分类方法以及装置
CN113221787B (zh) 基于多元差异性融合的行人多目标跟踪方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN111797983A (zh) 一种神经网络构建方法以及装置
CN109190707A (zh) 一种基于对抗学习的域自适应图像语义分割方法
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN113822153B (zh) 一种基于改进DeepSORT算法的无人机跟踪方法
CN108764244B (zh) 基于卷积神经网络和条件随机场的潜在目标区域检测方法
CN110084284A (zh) 基于区域卷积神经网络的目标检测与二级分类算法及装置
CN111832592A (zh) Rgbd显著性检测方法以及相关装置
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
CN110222718A (zh) 图像处理的方法及装置
CN116091892A (zh) 一种基于卷积神经网络的快速目标检测方法
Cao et al. Learning spatial-temporal representation for smoke vehicle detection
CN114565842A (zh) 基于Nvidia Jetson嵌入式硬件的无人机实时目标检测方法及系统
CN112329861A (zh) 一种面向移动机器人多目标检测的分层特征融合方法
Dahirou et al. Motion Detection and Object Detection: Yolo (You Only Look Once)
CN113065637B (zh) 一种感知网络及数据处理方法
Liang et al. Coarse-to-fine foreground segmentation based on co-occurrence pixel-block and spatio-temporal attention model
CN116152699B (zh) 用于水电厂视频监控系统的实时运动目标检测方法
Vijayan et al. A universal foreground segmentation technique using deep-neural network
Xue et al. Multi‐scale pedestrian detection with global–local attention and multi‐scale receptive field context

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant