CN113822383A - 一种基于多域注意力机制的无人机检测方法及系统 - Google Patents
一种基于多域注意力机制的无人机检测方法及系统 Download PDFInfo
- Publication number
- CN113822383A CN113822383A CN202111389310.3A CN202111389310A CN113822383A CN 113822383 A CN113822383 A CN 113822383A CN 202111389310 A CN202111389310 A CN 202111389310A CN 113822383 A CN113822383 A CN 113822383A
- Authority
- CN
- China
- Prior art keywords
- feature map
- unmanned aerial
- aerial vehicle
- vehicle detection
- attention mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于多域注意力机制的无人机检测方法,该方法包括:构建无人机检测图像数据集;构建基于多域注意力机制的无人机检测网络;采用无人机检测图像数据集对无人机检测网络进行训练,获得无人机检测模型;利用无人机检测模型对待检测图像进行无人机检测;无人机检测网络包括骨干网络、多尺度特征融合网络、多域注意力机制模块、区域生成网络、ROI Align层和检测头。本发明提高了无人机识别精度。
Description
技术领域
本发明涉及目标检测领域,特别是涉及一种基于多域注意力机制的无人机检测方法及系统。
背景技术
近年来,中国无人机行业迅速发展,无人机的应用场景得以不断拓宽加深。但是无人机数量的激增和其监管体系的不完善也导致了个人隐私泄露、保密信息外泄等一系列问题,对社会与军事安全构成了严重威胁。实现无人机的快速精确识别是进行无人机监管和反制的基础。由于强大的特征表达能力和出色的检测效率,基于卷积神经网络的目标检测技术得到了专家学者的广泛研究,能够为无人机识别提供可靠的技术途径。
然而无人机多处于飞行运动状态,导致其在视场中的尺寸变化较大。此外,受到型号、飞行姿态、拍摄角度等多种因素影响,无人机的视觉特征存在较大的丰富性和差异性。这使得无人机的精确检测成为目标检测领域的一大难点。现有算法多采用多尺度特征融合技术来解决无人机检测中的尺度变化问题(曹靖豪,张俊举,黄维,姚若彤,张平.基于多尺度特征融合的无人机识别与检测[J].空天防御,2021,4(01):60-64+70.),但对如何从丰富的特征信息中筛选出有助于无人机识别定位的关键特征则研究较少。因此,亟需探索一种能精确识别和定位无人机的方法。
发明内容
本发明的目的是提供一种基于多域注意力机制的无人机检测方法及系统,提高了无人机识别精度。
为实现上述目的,本发明提供了如下方案:
一种基于多域注意力机制的无人机检测方法,包括:
构建无人机检测图像数据集;
构建基于多域注意力机制的无人机检测网络;
采用所述无人机检测图像数据集对所述无人机检测网络进行训练,获得无人机检测模型;
利用所述无人机检测模型对待检测图像进行无人机检测;
所述无人机检测网络包括骨干网络、多尺度特征融合网络、多域注意力机制模块、区域生成网络、ROI Align层和检测头;
所述骨干网络包括依次连接的第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块;
所述多尺度特征融合网络用于对所述第五卷积块的输出进行卷积核为1*1的卷积操作,获得特征图F5;所述多尺度特征融合网络还用于将对所述特征图F5进行上采样操作后的特征图与对所述第四卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F4;所述多尺度特征融合网络还用于将对所述特征图F4进行上采样操作后的特征图与对所述第三卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F3;所述多尺度特征融合网络还用于将对所述特征图F3进行上采样操作后的特征图与对所述第二卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F2;
所述多域注意力机制模块用于对所述特征图F5进行全局平均池化,获得通道域特征图;所述多域注意力机制模块还用于将所述通道域特征图分别与所述特征图F4、所述特征图F3和所述特征图F2相乘,获得对应的特征图M5、特征图M4、特征图M3和特征图M2;所述多域注意力机制模块还用于对所述特征图F2进行卷积核为1*1的卷积操作,获得空间域特征图;所述多域注意力机制模块还用于将所述空间域特征图与所述特征图M2相乘,获得特征图D2;所述多域注意力机制模块还用于将所述空间域特征图进行一次核为2*2的最大池化操作后与所述特征图M3相乘,获得特征图D3,将所述空间域特征图进行最大池化操作后的特征图与所述特征图M3空间维度相同;所述多域注意力机制模块还用于将所述空间域特征图进行两次核为2*2的最大池化操作后与所述特征图M4相乘,获得特征图D4;所述多域注意力机制模块还用于将所述空间域特征图进行三次核为2*2的最大池化操作后与所述特征图M5相乘,获得特征图D5;
所述特征图D5、所述特征图D4、所述特征图D3和所述特征图D2输入所述区域生成网络;所述区域生成网络的输出连接所述ROI Align层,所述ROI Align层连接检测头。
可选地,所述ROI Align层输出的各候选区域特征图的尺寸相同。
可选地,所述检测头包括分类支路和回归支路;所述分类支路的损失函数为二分类交叉熵损失函数,所述回归支路的损失函数为平衡损失函数。
可选地,所述无人机检测图像数据集中图像包括利用可见光摄像头拍摄的不同型号的无人机的飞行视频转换后获得的图像,所述无人机检测图像数据集中图像还包括通过网络爬虫下载的包含无人机的图像。
可选地,所述构建无人机检测图像数据集,具体包括:
采用标注软件标注出各无人机检测图像中无人机的位置;
通过对标注后的无人机检测图像进行旋转和加噪处理,增多无人机检测图像的数量。
本发明还公开了一种基于多域注意力机制的无人机检测系统,包括:
数据集构建模块,用于构建无人机检测图像数据集;
无人机检测网络构建模块,用于构建基于多域注意力机制的无人机检测网络;
模型训练模块,用于采用所述无人机检测图像数据集对所述无人机检测网络进行训练,获得无人机检测模型;
无人机检测模块,用于利用所述无人机检测模型对待检测图像进行无人机检测;
所述无人机检测网络包括骨干网络、多尺度特征融合网络、多域注意力机制模块、区域生成网络、ROI Align层和检测头;
所述骨干网络包括依次连接的第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块;
所述多尺度特征融合网络用于对所述第五卷积块的输出进行卷积核为1*1的卷积操作,获得特征图F5;所述多尺度特征融合网络还用于将对所述特征图F5进行上采样操作后的特征图与对所述第四卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F4;所述多尺度特征融合网络还用于将对所述特征图F4进行上采样操作后的特征图与对所述第三卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F3;所述多尺度特征融合网络还用于将对所述特征图F3进行上采样操作后的特征图与对所述第二卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F2;
所述多域注意力机制模块用于对所述特征图F5进行全局平均池化,获得通道域特征图;所述多域注意力机制模块还用于将所述通道域特征图分别与所述特征图F4、所述特征图F3和所述特征图F2相乘,获得对应的特征图M5、特征图M4、特征图M3和特征图M2;所述多域注意力机制模块还用于对所述特征图F2进行卷积核为1*1的卷积操作,获得空间域特征图;所述多域注意力机制模块还用于将所述空间域特征图与所述特征图M2相乘,获得特征图D2;所述多域注意力机制模块还用于将所述空间域特征图进行一次核为2*2的最大池化操作后与所述特征图M3相乘,获得特征图D3,将所述空间域特征图进行最大池化操作后的特征图与所述特征图M3空间维度相同;所述多域注意力机制模块还用于将所述空间域特征图进行两次核为2*2的最大池化操作后与所述特征图M4相乘,获得特征图D4;所述多域注意力机制模块还用于将所述空间域特征图进行三次核为2*2的最大池化操作后与所述特征图M5相乘,获得特征图D5;
所述特征图D5、所述特征图D4、所述特征图D3和所述特征图D2输入所述区域生成网络;所述区域生成网络的输出连接所述ROI Align层,所述ROI Align层连接检测头。
可选地,所述ROI Align层输出的各候选区域特征图的尺寸相同。
可选地,所述检测头包括分类支路和回归支路;所述分类支路的损失函数为二分类交叉熵损失函数,所述回归支路的损失函数为平衡损失函数。
可选地,所述无人机检测图像数据集中图像包括利用可见光摄像头拍摄的不同型号的无人机的飞行视频转换后获得的图像,所述无人机检测图像数据集中图像还包括通过网络爬虫下载的包含无人机的图像。
可选地,所述数据集构建模块具体包括:
标注单元,用于采用标注软件标注出各无人机检测图像中无人机的位置;
图像处理单元,用于通过对标注后的无人机检测图像进行旋转和加噪处理,增多无人机检测图像的数量。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明无人机检测网络包括多域注意力机制模块,多域注意力机制模块从高层特征图提炼出通道域注意力信息,从低层特征图提炼出有助于无人机定位的空间域注意力信息,并通过相乘操作逐层生成包含多域注意力信息的加权特征图,从而引导各层特征图更加关注无人机目标所在位置,提高了无人机识别精度,另外多域注意力机制模块主要基于池化层构建,有效降低了网络计算复杂度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种基于多域注意力机制的无人机检测方法流程示意图;
图2为本发明无人机检测网络的结构示意图;
图3为本发明一种基于多域注意力机制的无人机检测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于多域注意力机制的无人机检测方法,提高了无人机识别精度。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于多域注意力机制的无人机检测方法流程示意图,如图1所示,一种基于多域注意力机制的无人机检测方法,包括:
步骤101:构建无人机检测图像数据集。
无人机检测图像数据集中图像包括利用可见光摄像头拍摄的不同型号的无人机的飞行视频转换后获得的图像,无人机检测图像数据集中图像还包括通过网络爬虫下载的包含无人机的图像。即采用两种方式进行图像采集,第一种:在不同背景、天气情况下,利用可见光摄像头拍摄不同型号无人机的飞行视频,并将飞行视频转换为图像帧,获得无人机图像;第二种:通过网络爬虫下载包含无人机的图像。
其中,步骤101具体包括:
对采集所得图像进行筛选,并采用标注软件标注出各无人机检测图像中无人机的位置,类别变化为UAV,获得标注文件。
通过对标注后的无人机检测图像进行旋转和加噪处理,同步更新对应标注文件,以增多无人机检测图像的数量和多样性。
基于无人机图像与各图像对应的标注文件,得到无人机检测数据集。
步骤102:构建基于多域注意力机制的无人机检测网络。
无人机检测网络包括骨干网络、多尺度特征融合网络、多域注意力机制模块、区域生成网络、ROI Align层和检测头。骨干网络为ResNet50网络。
ResNet50网络包括依次连接的第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块。
待检测图像输入第一卷积块,第一卷积块的输出连接第二卷积块的输入,第二卷积块的输出连接第三卷积块的输入,第三卷积块的输出连接第四卷积块的输入,第四卷积块的输出连接第五卷积块的输入。
多尺度特征融合网络用于对第五卷积块的输出进行卷积核为1*1的卷积操作,获得特征图F5;多尺度特征融合网络还用于将对特征图F5进行上采样操作后的特征图与对第四卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F4;多尺度特征融合网络还用于将对特征图F4进行上采样操作后的特征图与对第三卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F3;多尺度特征融合网络还用于将对特征图F3进行上采样操作后的特征图与对第二卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F2。
多域注意力机制模块用于对特征图F5进行全局平均池化,获得通道域特征图;多域注意力机制模块还用于将通道域特征图分别与特征图F4、特征图F3和特征图F2相乘,获得对应的特征图M5、特征图M4、特征图M3和特征图M2;多域注意力机制模块还用于对特征图F2进行卷积核为1*1的卷积操作,获得空间域特征图;多域注意力机制模块还用于将空间域特征图与特征图M2相乘,获得特征图D2;多域注意力机制模块还用于将空间域特征图进行一次核为2*2的最大池化操作后与特征图M3相乘,获得特征图D3,将空间域特征图进行最大池化操作后的特征图与特征图M3空间维度相同;多域注意力机制模块还用于将空间域特征图进行两次核为2*2的最大池化操作后与特征图M4相乘,获得特征图D4;多域注意力机制模块还用于将空间域特征图进行三次核为2*2的最大池化操作后与特征图M5相乘,获得特征图D5。
特征图D5、特征图D4、特征图D3和特征图D2输入区域生成网络;区域生成网络的输出连接ROI Align层,ROI Align层连接检测头。
ROI Align层输出的各候选区域特征图的尺寸相同。
检测头包括分类支路和回归支路;分类支路的损失函数为二分类交叉熵损失函数,回归支路的损失函数为平衡损失函数。
如图2所示,以输入一张待检测的无人机图像1024×1024为例,展示卷积神经网络(无人机检测网络)的设计过程:
1、采用ResNet50作为整个检测网络的骨干网络,ResNet50由五个依次连接的卷积块构成,各卷积块的输出特征图及对应尺寸依次为C1:512×512×64、C2:256×256×256、C3:128×128×512、C4:64×64×1024、C5:32×32×2048。
第一卷积块输出的特征图为C1,第二卷积块输出的特征图为C2,第三卷积块输出的特征图为C3,第四卷积块输出的特征图为C4,第五卷积块输出的特征图为C5。
2、基于骨干网络构建多尺度特征融合网络,以增强网络对不同尺度无人机的检测能力:对C2、C3、C4、C5分别进行卷积核为1*1的卷积操作,将通道数变换为256,从而使特征图的通道数统一。接下来,将C5对应的输出特征图命名为F5。对F5进行上采样操作,通过双线性插值法将F5尺寸放大为原来的2倍,并与相等尺寸的C4对应的输出特征图进行元素级相加,从而得到F4。依次对F4和F3进行上述特征融合操作,从而得到F3和F2特征图。至此,获得特征图F2、F3、F4、F5,其对应尺寸依次为256×256×256、128×128×256、64×64×256、32×32×256。此处构建的多尺度特征融合网络结构通过为每层特征图融合来自相邻高层具有丰富语义信息的高质量特征,来提升网络对不同尺寸无人机的识别能力。
3、构建多域注意力机制(Multi-Domain Attention Mechanism,MDAM),即多域注意力机制模块,以增强网络对关键特征信息的感知能力:对上一步所得高层特征图F5进行全局平均池化(Global Average Pooling)操作,获得尺寸为1×1×256的通道域特征图Ch,将通道域特征图Ch分别与F5、F4、F3、F2相乘,得到包含全局信息的特征图M5、M4、M3、M2。对上一步所得低层特征图F2进行一次卷积核为1*1的卷积操作,将通道数变换为1,获得尺寸为256×256×1的空间域特征图Sp,将空间域特征图Sp与M2相乘,获得特征图D2。对特征图Sp进行一次核为2*2的最大池化(Max Pooling)操作,获得与M3空间维度相同的特征图,并与M3相乘,获得特征图D3。对特征图Sp进行两次核为2*2的最大池化(Max Pooling)操作,并与M4相乘,获得特征图D4。对特征图Sp进行三次核为2*2的最大池化(Max Pooling)操作,并与M5相乘,获得特征图D5。至此,获得特征图D2、D3、D4、D5,其对应尺寸依次为256×256×256、128×128×256、64×64×256、32×32×256。此处构建的多域注意力机制(MDAM)从高层特征图提炼出通道域注意力信息,从低层特征图提炼出有助于无人机定位的空间域注意力信息,并通过相乘操作逐层生成包含多域注意力信息的加权特征图,从而引导各层特征图更加关注无人机目标所在位置。且该网络主要基于池化层构建,有效降低了网络的计算复杂度。
4、构建区域建议网络和ROI Align层。将上一步所得的D2、D3、D4、D5依次输入区域建议网络和ROI Align层,并输出一系列相同尺寸的候选区域特征图。通过区域建议网络获得目标候选区域。
5、构建网络检测头。将候选区域特征图分别输入两层全连接层进行特征提取和分类后,再分别输入两个检测支路(分类支路和回归支路):利用二分类交叉熵损失函数(Binary Crossentropy Loss)进行无人机与背景信息的分类,确定候选区域特征图是否为无人机目标;利用平衡损失函数(Balanced L1 Loss)完成边框回归操作,从而获得无人机的具体位置信息。整个卷积神经网络的损失值由二分类交叉熵损失值和平衡损失值相加所得。
步骤103:采用无人机检测图像数据集对无人机检测网络进行训练,获得无人机检测模型。
其中,步骤103具体包括:
采用无人机检测图像数据集中无人机检测图像和对应的无人机检测图像标注文件训练无人机检测网络,基于损失函数对整个网络进行参数更新,获得无人机检测模型。损失函数为二分类交叉熵损失函数与平衡损失函数之和。
步骤104:利用无人机检测模型对待检测图像进行无人机检测。
通过无人机检测模型输出无人机所在的具体位置信息。
本发明将基于深度学习的目标检测技术用于无人机识别,本发明方法能自动且快速发现当前图像中的无人机目标,并输出无人机目标的精确位置,从而实现无人机的智能化识别。本发明方法可被应用于军用民用机场、重大活动场所、保密区域等多种场景,实现无人机的快速精准识别,并为无人机的监管与反制提供支持,维护公共与军事安全。
本发明针对无人机目标特有的尺寸跨度大和视觉特征多样性问题,分别基于多尺度特征融合结构和多域注意力机制(MDAM)进行无人机检测网络的结构设计,从而有效提升了网络对无人机目标的检测准确率。
本发明针对无人机的特征信息存在较大多样性和复杂性的问题,设计了多域注意力机制(MDAM)并将其应用在多尺度特征融合操作之后。MDAM从高层特征图提炼出通道域注意力信息,从低层特征图提炼出有助于无人机定位的空间域注意力信息,并为每个特征层生成包含多域注意力信息的加权特征图,从而引导各层特征图更加关注无人机目标所在位置,有助于网络从丰富的特征信息中提取出最关键有用的特征,从而提高网络对无人机目标的定位能力。
图3为本发明一种基于多域注意力机制的无人机检测系统结构示意图,如图3所示,一种基于多域注意力机制的无人机检测系统,包括:
数据集构建模块201,用于构建无人机检测图像数据集。
数据集构建模块201具体包括:
标注单元,用于采用标注软件标注出各无人机检测图像中无人机的位置;
图像处理单元,用于通过对标注后的无人机检测图像进行旋转和加噪处理,增多无人机检测图像的数量;
无人机检测图像数据集中图像包括利用可见光摄像头拍摄的不同型号的无人机的飞行视频转换后获得的图像,无人机检测图像数据集中图像还包括通过网络爬虫下载的包含无人机的图像。
无人机检测网络构建模块202,用于构建基于多域注意力机制的无人机检测网络。
模型训练模块203,用于采用无人机检测图像数据集对无人机检测网络进行训练,获得无人机检测模型。
模型训练模块203具体包括:
模型训练单元,用于采用无人机检测图像数据集中无人机检测图像和对应的无人机检测图像标注文件训练无人机检测网络,基于损失函数对整个网络进行参数更新,获得无人机检测模型。损失函数为二分类交叉熵损失函数与平衡损失函数之和。
无人机检测模块204,用于利用无人机检测模型对待检测图像进行无人机检测。
无人机检测网络包括骨干网络、多尺度特征融合网络、多域注意力机制模块、区域生成网络、ROI Align层和检测头;
骨干网络包括依次连接的第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块;
多尺度特征融合网络用于对第五卷积块的输出进行卷积核为1*1的卷积操作,获得特征图F5;多尺度特征融合网络还用于将对特征图F5进行上采样操作后的特征图与对第四卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F4;多尺度特征融合网络还用于将对特征图F4进行上采样操作后的特征图与对第三卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F3;多尺度特征融合网络还用于将对特征图F3进行上采样操作后的特征图与对第二卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F2;
多域注意力机制模块用于对特征图F5进行全局平均池化,获得通道域特征图;多域注意力机制模块还用于将通道域特征图分别与特征图F4、特征图F3和特征图F2相乘,获得对应的特征图M5、特征图M4、特征图M3和特征图M2;多域注意力机制模块还用于对特征图F2进行卷积核为1*1的卷积操作,获得空间域特征图;多域注意力机制模块还用于将空间域特征图与特征图M2相乘,获得特征图D2;多域注意力机制模块还用于将空间域特征图进行一次核为2*2的最大池化操作后与特征图M3相乘,获得特征图D3,将空间域特征图进行最大池化操作后的特征图与特征图M3空间维度相同;多域注意力机制模块还用于将空间域特征图进行两次核为2*2的最大池化操作后与特征图M4相乘,获得特征图D4;多域注意力机制模块还用于将空间域特征图进行三次核为2*2的最大池化操作后与特征图M5相乘,获得特征图D5;
特征图D5、特征图D4、特征图D3和特征图D2输入区域生成网络;区域生成网络的输出连接ROI Align层,ROI Align层连接检测头。
ROI Align层输出的各候选区域特征图的尺寸相同;
检测头包括分类支路和回归支路;分类支路的损失函数为二分类交叉熵损失函数,回归支路的损失函数为平衡损失函数。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于多域注意力机制的无人机检测方法,其特征在于,包括:
构建无人机检测图像数据集;
构建基于多域注意力机制的无人机检测网络;
采用所述无人机检测图像数据集对所述无人机检测网络进行训练,获得无人机检测模型;
利用所述无人机检测模型对待检测图像进行无人机检测;
所述无人机检测网络包括骨干网络、多尺度特征融合网络、多域注意力机制模块、区域生成网络、ROI Align层和检测头;
所述骨干网络包括依次连接的第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块;
所述多尺度特征融合网络用于对所述第五卷积块的输出进行卷积核为1*1的卷积操作,获得特征图F5;所述多尺度特征融合网络还用于将对所述特征图F5进行上采样操作后的特征图与对所述第四卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F4;所述多尺度特征融合网络还用于将对所述特征图F4进行上采样操作后的特征图与对所述第三卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F3;所述多尺度特征融合网络还用于将对所述特征图F3进行上采样操作后的特征图与对所述第二卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F2;
所述多域注意力机制模块用于对所述特征图F5进行全局平均池化,获得通道域特征图;所述多域注意力机制模块还用于将所述通道域特征图分别与所述特征图F4、所述特征图F3和所述特征图F2相乘,获得对应的特征图M5、特征图M4、特征图M3和特征图M2;所述多域注意力机制模块还用于对所述特征图F2进行卷积核为1*1的卷积操作,获得空间域特征图;所述多域注意力机制模块还用于将所述空间域特征图与所述特征图M2相乘,获得特征图D2;所述多域注意力机制模块还用于将所述空间域特征图进行一次核为2*2的最大池化操作后与所述特征图M3相乘,获得特征图D3,将所述空间域特征图进行最大池化操作后的特征图与所述特征图M3空间维度相同;所述多域注意力机制模块还用于将所述空间域特征图进行两次核为2*2的最大池化操作后与所述特征图M4相乘,获得特征图D4;所述多域注意力机制模块还用于将所述空间域特征图进行三次核为2*2的最大池化操作后与所述特征图M5相乘,获得特征图D5;
所述特征图D5、所述特征图D4、所述特征图D3和所述特征图D2输入所述区域生成网络;所述区域生成网络的输出连接所述ROI Align层,所述ROI Align层连接检测头。
2.根据权利要求1所述的基于多域注意力机制的无人机检测方法,其特征在于,所述ROI Align层输出的各候选区域特征图的尺寸相同。
3.根据权利要求1所述的基于多域注意力机制的无人机检测方法,其特征在于,所述检测头包括分类支路和回归支路;所述分类支路的损失函数为二分类交叉熵损失函数,所述回归支路的损失函数为平衡损失函数。
4.根据权利要求1所述的基于多域注意力机制的无人机检测方法,其特征在于,所述无人机检测图像数据集中图像包括利用可见光摄像头拍摄的不同型号的无人机的飞行视频转换后获得的图像,所述无人机检测图像数据集中图像还包括通过网络爬虫下载的包含无人机的图像。
5.根据权利要求1所述的基于多域注意力机制的无人机检测方法,其特征在于,所述构建无人机检测图像数据集,具体包括:
采用标注软件标注出各无人机检测图像中无人机的位置;
通过对标注后的无人机检测图像进行旋转和加噪处理,增多无人机检测图像的数量。
6.一种基于多域注意力机制的无人机检测系统,其特征在于,包括:
数据集构建模块,用于构建无人机检测图像数据集;
无人机检测网络构建模块,用于构建基于多域注意力机制的无人机检测网络;
模型训练模块,用于采用所述无人机检测图像数据集对所述无人机检测网络进行训练,获得无人机检测模型;
无人机检测模块,用于利用所述无人机检测模型对待检测图像进行无人机检测;
所述无人机检测网络包括骨干网络、多尺度特征融合网络、多域注意力机制模块、区域生成网络、ROI Align层和检测头;
所述骨干网络包括依次连接的第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块;
所述多尺度特征融合网络用于对所述第五卷积块的输出进行卷积核为1*1的卷积操作,获得特征图F5;所述多尺度特征融合网络还用于将对所述特征图F5进行上采样操作后的特征图与对所述第四卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F4;所述多尺度特征融合网络还用于将对所述特征图F4进行上采样操作后的特征图与对所述第三卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F3;所述多尺度特征融合网络还用于将对所述特征图F3进行上采样操作后的特征图与对所述第二卷积块的输出进行卷积核为1*1的卷积操作后的特征图进行元素级相加,获得特征图F2;
所述多域注意力机制模块用于对所述特征图F5进行全局平均池化,获得通道域特征图;所述多域注意力机制模块还用于将所述通道域特征图分别与所述特征图F4、所述特征图F3和所述特征图F2相乘,获得对应的特征图M5、特征图M4、特征图M3和特征图M2;所述多域注意力机制模块还用于对所述特征图F2进行卷积核为1*1的卷积操作,获得空间域特征图;所述多域注意力机制模块还用于将所述空间域特征图与所述特征图M2相乘,获得特征图D2;所述多域注意力机制模块还用于将所述空间域特征图进行一次核为2*2的最大池化操作后与所述特征图M3相乘,获得特征图D3,将所述空间域特征图进行最大池化操作后的特征图与所述特征图M3空间维度相同;所述多域注意力机制模块还用于将所述空间域特征图进行两次核为2*2的最大池化操作后与所述特征图M4相乘,获得特征图D4;所述多域注意力机制模块还用于将所述空间域特征图进行三次核为2*2的最大池化操作后与所述特征图M5相乘,获得特征图D5;
所述特征图D5、所述特征图D4、所述特征图D3和所述特征图D2输入所述区域生成网络;所述区域生成网络的输出连接所述ROI Align层,所述ROI Align层连接检测头。
7.根据权利要求6所述的基于多域注意力机制的无人机检测系统,其特征在于,所述ROI Align层输出的各候选区域特征图的尺寸相同。
8.根据权利要求6所述的基于多域注意力机制的无人机检测系统,其特征在于,所述检测头包括分类支路和回归支路;所述分类支路的损失函数为二分类交叉熵损失函数,所述回归支路的损失函数为平衡损失函数。
9.根据权利要求6所述的基于多域注意力机制的无人机检测系统,其特征在于,所述无人机检测图像数据集中图像包括利用可见光摄像头拍摄的不同型号的无人机的飞行视频转换后获得的图像,所述无人机检测图像数据集中图像还包括通过网络爬虫下载的包含无人机的图像。
10.根据权利要求6所述的基于多域注意力机制的无人机检测系统,其特征在于,所述数据集构建模块具体包括:
标注单元,用于采用标注软件标注出各无人机检测图像中无人机的位置;
图像处理单元,用于通过对标注后的无人机检测图像进行旋转和加噪处理,增多无人机检测图像的数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111389310.3A CN113822383B (zh) | 2021-11-23 | 2021-11-23 | 一种基于多域注意力机制的无人机检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111389310.3A CN113822383B (zh) | 2021-11-23 | 2021-11-23 | 一种基于多域注意力机制的无人机检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113822383A true CN113822383A (zh) | 2021-12-21 |
CN113822383B CN113822383B (zh) | 2022-03-15 |
Family
ID=78919636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111389310.3A Active CN113822383B (zh) | 2021-11-23 | 2021-11-23 | 一种基于多域注意力机制的无人机检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113822383B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114550016A (zh) * | 2022-04-22 | 2022-05-27 | 北京中超伟业信息安全技术股份有限公司 | 一种基于上下文信息感知的无人机定位方法及系统 |
CN115661692A (zh) * | 2022-11-01 | 2023-01-31 | 广东兆邦智能科技股份有限公司 | 一种基于改进CenterNet检测网络的无人机检测方法及系统 |
CN115861938A (zh) * | 2023-02-06 | 2023-03-28 | 北京中超伟业信息安全技术股份有限公司 | 一种基于无人机识别的无人机反制方法及系统 |
CN116229570A (zh) * | 2023-02-21 | 2023-06-06 | 四川轻化工大学 | 一种基于机器视觉的高空作业人员行为态势识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875807A (zh) * | 2018-05-31 | 2018-11-23 | 陕西师范大学 | 一种基于多注意力多尺度的图像描述方法 |
CN109753903A (zh) * | 2019-02-27 | 2019-05-14 | 北航(四川)西部国际创新港科技有限公司 | 一种基于深度学习的无人机检测方法 |
CN110084210A (zh) * | 2019-04-30 | 2019-08-02 | 电子科技大学 | 基于注意力金字塔网络的sar图像多尺度舰船检测方法 |
CN112733691A (zh) * | 2021-01-04 | 2021-04-30 | 北京工业大学 | 一种基于注意力机制的多方向的无人机航拍的车辆检测方法 |
WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
US20210232813A1 (en) * | 2020-01-23 | 2021-07-29 | Tongji University | Person re-identification method combining reverse attention and multi-scale deep supervision |
WO2021203505A1 (zh) * | 2020-04-09 | 2021-10-14 | 丰疆智能软件科技(南京)有限公司 | 害虫检测模型构建方法 |
-
2021
- 2021-11-23 CN CN202111389310.3A patent/CN113822383B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875807A (zh) * | 2018-05-31 | 2018-11-23 | 陕西师范大学 | 一种基于多注意力多尺度的图像描述方法 |
CN109753903A (zh) * | 2019-02-27 | 2019-05-14 | 北航(四川)西部国际创新港科技有限公司 | 一种基于深度学习的无人机检测方法 |
CN110084210A (zh) * | 2019-04-30 | 2019-08-02 | 电子科技大学 | 基于注意力金字塔网络的sar图像多尺度舰船检测方法 |
WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
US20210232813A1 (en) * | 2020-01-23 | 2021-07-29 | Tongji University | Person re-identification method combining reverse attention and multi-scale deep supervision |
WO2021203505A1 (zh) * | 2020-04-09 | 2021-10-14 | 丰疆智能软件科技(南京)有限公司 | 害虫检测模型构建方法 |
CN112733691A (zh) * | 2021-01-04 | 2021-04-30 | 北京工业大学 | 一种基于注意力机制的多方向的无人机航拍的车辆检测方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114550016A (zh) * | 2022-04-22 | 2022-05-27 | 北京中超伟业信息安全技术股份有限公司 | 一种基于上下文信息感知的无人机定位方法及系统 |
CN114550016B (zh) * | 2022-04-22 | 2022-07-08 | 北京中超伟业信息安全技术股份有限公司 | 一种基于上下文信息感知的无人机定位方法及系统 |
CN115661692A (zh) * | 2022-11-01 | 2023-01-31 | 广东兆邦智能科技股份有限公司 | 一种基于改进CenterNet检测网络的无人机检测方法及系统 |
CN115861938A (zh) * | 2023-02-06 | 2023-03-28 | 北京中超伟业信息安全技术股份有限公司 | 一种基于无人机识别的无人机反制方法及系统 |
CN116229570A (zh) * | 2023-02-21 | 2023-06-06 | 四川轻化工大学 | 一种基于机器视觉的高空作业人员行为态势识别方法 |
CN116229570B (zh) * | 2023-02-21 | 2024-01-23 | 四川轻化工大学 | 一种基于机器视觉的高空作业人员行为态势识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113822383B (zh) | 2022-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112818903B (zh) | 一种基于元学习和协同注意力的小样本遥感图像目标检测方法 | |
CN113822383B (zh) | 一种基于多域注意力机制的无人机检测方法及系统 | |
CN108764063B (zh) | 一种基于特征金字塔的遥感影像时敏目标识别系统及方法 | |
Chen et al. | MANet: A multi-level aggregation network for semantic segmentation of high-resolution remote sensing images | |
CN111368712A (zh) | 一种基于深度学习的高光谱图像伪装目标检测方法 | |
CN109919025A (zh) | 基于深度学习的视频场景文本检测方法、系统、设备及介质 | |
CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
CN110853057B (zh) | 基于全局和多尺度全卷积网络的航拍图像分割方法 | |
CN111738055B (zh) | 多类别文本检测系统和基于该系统的票据表单检测方法 | |
Dai et al. | Fast and accurate cable detection using CNN | |
US10755146B2 (en) | Network architecture for generating a labeled overhead image | |
CN113269133A (zh) | 一种基于深度学习的无人机视角视频语义分割方法 | |
CN115512251A (zh) | 基于双分支渐进式特征增强的无人机低照度目标跟踪方法 | |
CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
CN113762039A (zh) | 一种交通标志牌的信息匹配方法及相关装置 | |
Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
CN117542045B (zh) | 一种基于空间引导自注意力的食品识别方法及系统 | |
CN113610032A (zh) | 基于遥感影像的建筑物识别方法和装置 | |
CN116563553B (zh) | 一种基于深度学习的无人机图像分割方法和系统 | |
CN113569911A (zh) | 车辆识别方法、装置、电子设备及存储介质 | |
CN114550016B (zh) | 一种基于上下文信息感知的无人机定位方法及系统 | |
CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及系统 | |
CN112651351B (zh) | 一种数据处理的方法和装置 | |
Tan et al. | UAV image object recognition method based on small sample learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |