CN111666836B - M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法 - Google Patents
M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法 Download PDFInfo
- Publication number
- CN111666836B CN111666836B CN202010437866.4A CN202010437866A CN111666836B CN 111666836 B CN111666836 B CN 111666836B CN 202010437866 A CN202010437866 A CN 202010437866A CN 111666836 B CN111666836 B CN 111666836B
- Authority
- CN
- China
- Prior art keywords
- network
- training
- target detection
- remote sensing
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000013526 transfer learning Methods 0.000 claims abstract description 21
- 230000000295 complement effect Effects 0.000 claims abstract description 14
- 238000011176 pooling Methods 0.000 claims description 26
- 230000007246 mechanism Effects 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 238000013100 final test Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 230000008014 freezing Effects 0.000 claims 1
- 238000007710 freezing Methods 0.000 claims 1
- 238000009825 accumulation Methods 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Remote Sensing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Astronomy & Astrophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
M‑F‑Y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法属于遥感领域。本发明首先在轻量化卷积神经网络(CNN)模型MobileNetV3‑Small的基础上构建特征金字塔网络结构FPN，对高分辨率遥感影像提取并融合多尺度深度特征，联合利用YOLOv3tiny目标检测框架构建M‑F‑Y型轻量化卷积神经网络；之后通过构建互补注意力网络结构，抑制复杂背景同时提升对目标的空间位置信息的关注；最后使用基于迁移学习的滤波器嫁接策略训练模型，实现高分辨率遥感影像目标检测。本发明可以在提高高分辨率遥感影像目标检测准确率同时，通过更少的参数量以及更低的延迟减少对平台高速计算力的约束，为高分辨率遥感影像目标检测的实用化提供技术积累。
Description
技术领域
M-F-Y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法属于遥感领域。
背景技术
随着遥感技术的飞速发展，遥感影像数量急剧增加，特别是高分辨率卫星如IKONOS、Quickbird、WorldView和GF-1等的成熟应用，使得遥感影像的分辨率可达到米级。高分辨率遥感影像包含了丰富的空间、纹理特征，以及更加复杂的空间布局和几何结构。对高分辨率遥感影像进行目标检测是遥感图像解译的基础性工作。然而面对复杂背景干扰、地物结构多样的高分辨率遥感影像，如何准确快速地进行目标检测已成为当前遥感领域至关重要的研究课题之一。
在深度学习出现之前，传统的遥感影像目标检测方法通常采用提取手工设计特征+分类器的方式。遥感影像的手工设计特征主要包括颜色、纹理和形状等，分类器主要包括支持向量机、K最近邻算法和决策树等。基于手工设计特征+分类器的方法难以获取高层语义特征，因而特征鲁棒性弱，尤其是对具有高空间分辨率、复杂背景干扰的遥感影像来说，传统方法难以满足对目标检测的实际处理需求。近年来，深度学习技术蓬勃发展，它通过构建一个多层网络从海量数据中自动学习层次化的特征表示，获得表达能力更强的特征表示。已有一些学者利用深度学习技术进行遥感影像目标检测，其中首先落地的CNN已被应用于自然图像的各种处理中，检测精度大幅提升、泛化能力更强大，为高分辨率遥感影像目标检测提供了新的思路。
相比自然图像，高分辨率遥感影像目标检测面临更多的挑战。首先，高分辨率遥感影像目标具有尺度多变、角度多变等特点，如车辆、船舶等目标在遥感影像中常常以不同的尺寸和角度出现，需要综合利用CNN网络的各层特征，防止目标漏检等问题。特征金字塔网络结构FPN为CNN提供了融合多个尺度特征图的能力，能够更好地保留目标的尺寸、角度信息。其次，针对高分辨率遥感影像目标检测，影像中往往包含大量干扰目标的背景信息，在CNN的训练过程中，如果能够对包含背景信息更多的特征层及特征图的空间位置加以抑制，突出包含前景目标信息的特征层及特征图的空间位置，则能够有效提高遥感影像目标检测的准确度。而注意力机制可对特征图的空间位置以及不同的特征层赋予不同的权重，帮助抑制背景信息、突出前景目标信息。第三，现有的有标注高分辨率遥感影像目标检测数据集样本量有限，在用于训练网络时会产生过拟合问题，造成模型学习的特征鲁棒性差、模型泛化能力差；同时CNN在训练时常常包含大量无用的卷积核，在占用存储空间及计算空间的同时对模型的性能几乎没有帮助。针对此问题，一方面，迁移学习用其他领域中大量的有标注样本训练模型，再将知识迁移到高分辨率遥感影像目标检测任务中用以提升模型的泛化能力；另一方面，滤波器嫁接对CNN中所有卷积核的贡献进行评估，对无用的卷积核进行嫁接再激活，以提升模型的目标检测性能。
众所周知，在CNN的发展上，为了追求准确率往往造成CNN越来越深，从VGGNet到ResNet，参数量越来越多，造成模型实时性差、计算复杂度高的问题。鉴于此，近两年来，越来越多的CNN模型从巨型网络向轻量化发展，轻量化CNN聚焦于速度与准确率的均衡，在借鉴现有CNN结构的基础上，重新设计网络结构，以达到减少参数量，降低计算复杂度的目标。MobileNetV3-Small是Google于2019年提出的最新一代轻量化CNN，是当前轻量化CNN中最出色的网络之一。其参数量只有VGGNet-16的2％，ResNet-50的10％，在加快模型速度的同时尽可能保证模型的准确度。
目标检测框架也经过了长足发展，衍生出两个目标检测方法分支，分别是一阶段方法和二阶段方法。一阶段方法直接回归目标类别概率和预测框位置坐标，更追求检测速度；二阶段方法分离了预测框位置坐标回归和目标分类，更追求检测准确度。YOLOv3tiny是最新的一阶段目标检测方法之一，在具有高检测速度的同时又有不逊于二阶段方法的准确度。特别是YOLOv3tiny用两个预测尺度同时做出最终目标预测，通过两个特征图尺度进行预测，从而保证小目标检测能力，此外引入锚框机制预测边界框坐标，进一步提升预测框位置的准确性。
为此，本发明首先在高效的轻量化CNN模型MobileNetV3-Small基础上构建FPN，对高分辨率遥感影像提取并融合多尺度深度特征，结合目标检测框架YOLOv3tiny做出预测，提出了一种M-F-Y型轻量化卷积神经网络；然后改进MobileNetV3-Small瓶颈结构中的通道注意力结构并添加空间注意力结构，构成互补注意力网络结构；最后使用基于迁移学习的滤波器嫁接策略用于训练模型。
发明内容
本发明提出了一种M-F-Y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法。首先，使用MobileNetV3-Small作为基础的特征提取网络，为构建多特征融合及多尺度预测的检测机制，去掉了MobileNetV3-Small中用于分类任务的网络最后4层(3个卷积层+1个池化层)，之后对其构建FPN融合多尺度特征，从两种特征图尺度上进行目标检测的预测；然后对MobileNetV3-Small中的瓶颈结构进行修改，包括修改通道注意力结构以及增加空间注意力结构，构成互补注意力机制；最后，对有标注高分辨率遥感影像目标检测数据集稀缺及网络滤波器使用率低的问题，基于迁移学习的滤波器嫁接作为模型的训练策略，即从其他遥感影像目标检测数据集或自然图像目标检测数据集做知识迁移，通过并行训练两个相同的模型，在特定训练阶段中进行相互的层级嫁接。
具体来说，本发明主要过程如附图1所示，分为M-F-Y型轻量化卷积网络的构建、增加互补注意力结构、基于迁移学习的滤波器嫁接和高分辨率遥感影像目标检测几个步骤。
步骤1：M-F-Y型轻量化卷积网络的构建
传统的CNN结构是单金字塔结构，即对输入图像一系列卷积及下采样操作，使特征图的尺寸越来越小、维度越来越高。这种单金字塔结构会自动地对输入图像学习特征，CNN中的浅层会学习到如颜色、形状、边缘等低层视觉特征，CNN中的深层会学习到抽象的高层语义特征，基于此结构的目标检测网络利用最后一个特征图来进行预测。相比手工特征实现了从低层到高层的特征转换，但仅仅关注了网络中最后一层的特征，忽略了其他特征。由于高分辨率遥感影像目标具有尺度、角度多变的特点，若仅仅使用CNN网络的最后一层特征用于目标检测，由于最后一层特征图尺寸偏小，对应原图的感受野很大，往往会造成预测框位置偏离过大、漏检小目标等问题，影响方法的鲁棒性。针对这一问题，本发明引入FPN，对单金字塔结构的MobileNetV3-Small进行改进，如图2所示。FPN是一种结合自底向上和自顶向下两部分网络的结构，自底向上部分即传统的单金字塔结构，自顶向下部分由上采样操作构成，同时两部分网络特征图尺寸相同的层间通过直连通道进行特征融合，此结构将获得融合后的7×7×96和14×14×144两个特征图尺寸，以上操作构成了MobileNetV3Small-FPN结构。接下来，引入YOLOv3tiny中的多尺度预测及锚框设置，对上述两个特征图分别用3×3卷积层统一通道数后，再用两组1×1卷积层做出最终预测，完成M-F-Y型轻量化卷积网络的构建。最终，预测层将获得每个位置处的锚框偏移量、目标分数、类别分数。
步骤2：增加互补注意力结构
高分辨率遥感影像往往包含大量干扰的背景信息，如果能够抑制包含背景信息更多的特征层及特征图的空间位置，突出包含前景目标信息的特征层及特征图的空间位置，则能够有效提高目标检测的准确度。注意力机制是近几年计算机视觉领域的研究热点，注意力机制赋予了网络对不同特征不同的关注程度。因此，在目标检测任务中对CNN施加注意力机制，一方面CNN能够自主学习注意力机制，另一方面注意力机制能够让CNN更好地获得不同特征的关注程度，从而让网络忽略前景信息并关注目标信息。为此，本发明提出了互补注意力结构如图3所示。
步骤2.1：改进的通道注意力结构
在MobileNetV3-Small的Bottleneck原始结构中，已经嵌入了通道注意力机制，首先通过全局平均池化层将特征图的长和宽压缩至1×1，保留原始通道数，之后将此特征图输入到全连接层中用于学习对通道的注意力权重，最后将权重与原始输入相乘，得到具有通道注意力的特征图。考虑到该结构只使用了全局平均池化层用于综合通道信息，特征丢失较为严重，本发明在全局平均池化层上并联了全局最大池化层，从另一个角度综合通道信息，增强原有通道注意力结构的性能。
步骤2.2：空间注意力结构
通道注意力结构用一组注意力特征图对输入特征图赋予通道权重，从而尽可能地抑制无用的背景信息通道。考虑到遥感影像空间特征的重要性，本发明提出对通道注意力结构补充空间注意力结构，在特征图的长和宽维度上添加注意力机制，为特征图上不同空间位置赋予不同的权重，目标位置将被赋予高权重，背景位置赋予低权重。如图3所示，首先通过一组并联的全局最大池化层和全局平均池化层对输入特征图的通道维度进行压缩，得到通道数为1的两个特征图，之后在通道维度上连接两个特征图，输入到一个卷积层中用于学习空间注意力权重，得到通道数为1的特征图，最后与输入特征图相乘，得到具有空间注意力的输出特征图。
步骤3：基于迁移学习的滤波器嫁接
现有用于高分辨率遥感影像目标检测的CNN网络主要有两个问题，一是目前有标注的大规模高分辨率遥感影像数据有限，在训练模型时容易产生过拟合问题，导致模型的泛化能力较差，特征鲁棒性较弱；二是有研究表明，训练后的CNN中的卷积层往往含有大量无效的滤波器，这些滤波器在占用存储空间及计算空间的同时对模型的性能几乎没有帮助。针对以上问题，本发明提出基于迁移学习的滤波器嫁接。针对问题一，首先利用迁移学习技术从其他领域中丰富的有标注样本来预训练网络，之后将学习到的权重知识迁移到高分辨率遥感影像目标检测任务上，来解决网络的过拟合问题，提高泛化能力；针对问题二，滤波器嫁接将重新激活这些无效滤波器，在不增加模型推理时间的前提下，有效提升网络的目标检测性能。外部接穗已被证明是最有效的接穗，因此通过并行地训练两个相同结构的网络实现滤波器嫁接，而迁移学习将只应用在一个网络上，并行训练时通过迁移学习得到的权重参数将作为有效的外部接穗，嫁接结束后选择在最后一次训练轮次中验证损失较小的网络作为最终的高分辨率遥感影像目标检测网络。基于迁移学习的滤波器嫁接流程图如图4所示。
步骤4：高分辨率遥感影像目标检测
利用步骤3中嫁接结束后，在最后一次训练轮次中验证损失较小的网络作为最终的高分辨率遥感影像目标检测网络。使用任务所需的高分辨率遥感影像目标检测数据集的测试集完成目标检测任务。网络将对每幅输入图像输出预测框的坐标、目标分数、类别分数。
本发明与现有技术相比，具有以下明显的优势和有益效果：
首先，本发明针对高分辨率遥感影像目标检测，提出了一种M-F-Y型轻量化卷积神经网络构建方法，使用MobileNetV3-Small保证了方法具有较低的参数量和延迟，FPN的多尺度特征融合机制和YOLOv3tiny的多尺度检测与锚框机制进一步提升目标检测准确率；其次，不同于MobileNetV3-Small中仅有的通道注意力机制，本发明在此基础上提出了互补注意力结构，联合了通道注意力与空间注意力，增强了网络对不同特征的权衡能力；最后利用基于迁移学习的滤波器嫁接作为模型的训练策略，不仅解决了高分辨率遥感影像数据集偏小造成网络过拟合的问题，同时激活了模型中卷积层的无效滤波器，进一步提升模型性能。
附图说明：
图1基于M-F-Y型轻量化卷积神经网络的高分辨率遥感影像目标检测总体框架；
图2 M-F-Y型轻量化卷积神经网络结构示意图；
图3互补注意力结构示意图；
图4基于迁移学习的滤波器嫁接流程图。
具体实施方式
根据上述描述，以下是一个具体的实施流程，但本专利所保护的范围并不限于该实施流程。
步骤1：M-F-Y型轻量化卷积网络的构建
CNN网络结构构建分为两个部分，首先利用MobileNetV3-Small构建FPN，构成多特征图融合机制，然后对MobileNetV3Small-FPN结构构建以YOLOv3tiny为基础的目标检测框架。
步骤1.1：构建MobileNetV3Small-FPN结构
步骤1.1.1：对原始MobileNetV3-Small网络的裁剪
采用MobileNetV3-Small作为用于特征提取的主干网络，为了将此CNN用于目标检测任务中，去掉了原始设计用于分类任务的最后4层，包括3个卷积层和1个池化层。
步骤1.1.2：特征融合层的选取
选取MobileNetV3-Small中两个位置的输出特征图构建FPN结构。首先MobileNetV3-Small本身具有的单金字塔结构能够获得具有强语义信息的输出特征图，此特征图大小为7×7×96，之后为了构建具有特征融合能力的FPN，选取MobileNetV3-Small中倒数第三个Bottleneck的输出特征图，其大小为14×14×48。
步骤1.1.3：构建MobileNetV3Small-FPN结构
FPN由自底向上和自顶向下两部分网络构成。将单金字塔结构的MobileNetV3-Small作为中的自底向上部分网络。首先在上一步骤中选取的尺寸为7×7×96作为此部分的第一层，之后对此特征图进行上采样，上采样规则为2倍最近邻插值上采样，得到尺寸为14×14×96的特征图，最后此特征图将与上一步骤中选取的尺寸为14×14×48的第二个特征图进行融合。
在融合方法上有空间维度上的相加和通道维度上的连接，选择在通道维度上的连接，构成14×14×144的特征图。
步骤1.2：构建MobileNetV3Small-FPN-YOLOv3tiny结构
选择YOLOv3tiny作为目标检测框架，YOLOv3tiny为一种具有多尺度预测的单阶段目标检测方法。步骤1.1中获取到的两个特征图的尺寸分别为7×7×96和14×14×144，首先将对这两个特征图分别输入两个3×3的卷积层，将通道数均统一为96，用于消除自顶向下部分上采样后的特征图与自底向上部分的同尺寸特征图融合后出现的特征不连续现象，之后分别输入两个1×1的卷积层做出预测。在两个预测尺度上，输出分别为7×7×Y和14×14×Y，Y的具体形式如下式：
Y＝(tx,ty,tw,th,po,cls)×anchors (1)
其中，cls表示判定目标为各类别的置信度，长度为任务中目标的类别数。anchors表示在每个预测尺度上的锚框数，首先通过kmeans聚类对所有训练集图像的真值框进行聚类，聚类中心为6，按大小分成两组，较大的一组3个分配给7×7×96的特征图上用于预测，较小的一组3个分配给14×14×96的特征图上用于预测。两个预测特征图各分配3个锚框，故anchors为3。po表示预测的边界框中包含目标的概率。tx，ty，tw，th表示预测的边界框相对于锚框的偏移量，为得到具体的边界框坐标及宽高，需要如下转换：
其中，bx，by表示预测边界框中心点的x，y坐标，通过tx，ty经sigmoid变换后与cx，cy分别相加得到，cx，cy为边界框中心所在位置在预测特征图的左上角点的x，y坐标，σ表示sigmoid函数。bw，bh表示边界框的宽和高，通过tw，ty经指数变换后与pw，ph相乘得到。pw，ph为在某一预测特征图上，与此检测目标真值框交并比最高的锚框的宽和高。
经过以上分析，网络将会产生总计(7×7+14×14)×3＝735个预测边界框。这些边界框将由以下两种方法共同进行筛选，对每个目标筛选出最终的1个预测边界框。
1)对目标概率po设置阈值，低于0.3的将被排除；
2)非极大值抑制对每个目标筛选出最终的1个边界框。
步骤2：增加互补注意力结构
通过提出互补注意力结构为CNN添加了通道注意力机制与空间注意力机制相结合的互补注意力机制。其中通道注意力机制部分对MobileNetV3-Small的Bottleneck结构中已有的通道注意力结构做了改进，增强了利用通道信息的能力。并且提出了空间注意力结构，赋予CNN对不同空间位置的关注能力。
步骤2.1：改进的通道注意力结构
在互补注意力结构中，首先对MobileNetV3-Small中原有的通道注意力结构进行了一些修改，构建新的通道注意力结构，具体步骤如下所示：
1)首先，为了获取更强的通道信息表征能力，在原有的使用全局平均池化层(Global Average Pooling,GAP)压缩空间信息的基础上，并联一个全局最大池化层(Global Max Pooling,GMP)，GAP和GMP能够共同对输入特征图F∈RW×H×C的空间信息进行压缩，RW×H×C表示尺寸为W×H×C的实矩阵。
2)之后在通道维度上连结GAP和GMP的输出特征图，得到特征图G＝[GAP(F),GMP(F)]∈R1×1×2C。
3)然后G将通过两个级联的全连接层用于学习通道权重，两个全连接层依次使用ReLU和HSigmoid激活函数。并且，第一个全连接层的输出通道数压缩为输入的0.5倍，在第二个全连接层将恢复初始通道数，进行的计算如下式：
AC＝HSigmoid(FC1(ReLU(FC0.5(G)))) (3)
上式中的其中FCC代表输出通道数为输入通道数C倍的全连接层。
4)经过上述步骤，将得到每个通道对应的权重AC∈R1×1×C。AC与输入特征图F相乘后，将获得具有通道权重的特征图FC∈RW×H×C。
步骤2.2：构建空间注意力结构
提出了空间注意力结构，与通道注意力结构构成互补注意力网络。具体步骤如下所示：
1)将具有通道权重的特征图FC∈RW×H×C输入到一组并联的平均池化和最大池化层中，两个池化操作均针对通道轴，进行的计算和得到的特征图如下式：
2)在通道维度上对两个特征图进行连接，得到[Favg,Fmax]∈RW×H×2。
3)将特征图输入一个卷积核大小为3×3的卷积层，用于学习空间位置权重，之后通过使用HSigmoid激活函数的激活层，进行的计算如下式：
其中，
代表卷积核大小为W×H，输出通道数为C的卷积层。得到的AS为特征图空间位置的权重。
4)将得到空间位置权重AS∈RW×H×1与输入特征图FC相乘后，将获得具有通道权重的特征图FS∈RW×H×C。
步骤3：基于迁移学习的滤波器嫁接
模型训练策略为三阶段的双模型并行训练策略。
步骤3.1：预训练阶段
首先，需要构建两个上文设计的MobileNetV3Small-FPN-YOLOv3tiny结构，以便在后续步骤中进行滤波器嫁接。其中，一个网络将使用大规模遥感影像目标检测数据集或大规模自然图像目标检测数据集进行预训练，记作A网络；另一个不进行预训练，记作B网络。
在本阶段中，需要用有标注的大规模遥感影像目标检测数据集或自然影像目标检测数据集对A网络进行预训练。输入A网络的样本批次大小设置为32(或设置为8、16、64、128)，通过反向传播算法最小化损失函数，采用Adam算法进行对损失函数的优化，学习率设置为0.001-0.005，训练迭代20000-40000次。B网络在本训练阶段中不进行任何操作，保持初始化状态。
步骤3.2：微调预测层阶段
本阶段中，A网络和B网络均参与训练。
对于A网络，首先冻结其除了两个预测层以外的全部层，用任务所需的遥感影像目标检测数据集对A网络进行训练，此时，A网络将会对任务数据集进行在预测层上的参数迁移。
对于B网络，使用任务所需的遥感影像目标检测数据集对其进行从头训练。
A网络与B网络的训练采用同样的参数设置。输入样本批次大小均设置为32(或设置为8、16、64、128)，均采用Adam算法进行对损失函数的优化，学习率设置为0.0001-0.0005，训练迭代4000-8000次。
步骤3.3：滤波器嫁接阶段
本阶段中，A网络和B网络均参与训练。
对于A网络，在本阶段解冻其所有层，继续用任务所需的遥感影像目标检测数据集对A网络进行训练，用于在迁移学习的基础上微调A网络参数。
对于B网络，继续使用任务所需的遥感影像目标检测数据集对其进行从头训练。
同时在本阶段中A、B两个网络的训练中，引入滤波器嫁接策略，A、B中的卷积层将进行相互嫁接，具体的滤波器嫁接步骤如下：
1)在每个训练轮次中，当本轮训练遍历完所有训练样本后，对A、B网络的所有卷积层，记录每层的所有神经元的权重值，得到向量
表示M网络的第i个卷积层第j个神经元的权重值，其中M∈{A,B}。之后，对第i个卷积层的所有神经元，计算最大值与最小值的差，将差划分为10个区间，计算本层所有神经元的权重值落在这10个区间的概率，得到第i个卷积层所有权重值的离散概率分布Pi＝{p1,...,pk}，其中k∈(1，10)。最后对A、B网络，分别计算第i个卷积层的信息熵，计算公式如下式：
2)计算得到每个网络各个卷积层的信息熵后，将进行两个网络的相互嫁接，嫁接将以层为基本单位，以保留层中各个神经元的连续性。层级嫁接公式如下式：
Wi M2′＝αWi M2+(1-α)Wi M1 (7)
其中，Wi M2表示其中一个网络在嫁接前的第i个卷积层的权重值，Wi M2′表示该网络嫁接后第i个卷积层的权重值。嫁接是一个相互的过程，既可由A网络嫁接到B网络，也可由B网络嫁接到A网络，在并行训练A、B网络的过程中，完成相互嫁接。
3)α是重要的嫁接系数，其计算公式如下式：
α＝A×(arctan(c×(H(Wi M2)-H(Wi M1))))+0.5 (8)
其中，A和c分别为arctan函数的纵、横拉伸系数，A取0.4，c取100。
4)待所有训练轮次结束后，此时A、B网络已经完成了层级嫁接。在本阶段的训练中，A网络与B网络的训练采用同样的参数设置。输入样本批次大小均设置为32(或设置为8、16、64、128)，均采用Adam算法进行对损失函数的优化，学习率设置为0.0001-0.0005，训练迭代6000-12000次。选择在最后一次训练轮次中验证集上损失更小的网络作为最终的网络模型。
步骤4：高分辨率遥感影像目标检测
利用步骤3中嫁接结束后，在最后一次训练轮次中在验证集上损失较小的网络作为最终的高分辨率遥感影像目标检测网络。使用最终的高分辨率遥感影像目标检测数据集的测试集完成目标检测任务。网络将对每幅输入图像输出预测框的坐标、目标分数、类别分数，实现高分辨率遥感影像目标检测。
Claims (1)
1.M-F-Y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法，其特征在于，步骤如下：
1)M-F-Y型轻量化卷积网络的构建
引入FPN，对单金字塔结构的MobileNetV3-Small进行改进，FPN是一种结合自底向上和自顶向下两部分网络的结构，自底向上部分即传统的单金字塔结构，自顶向下部分由上采样操作构成，同时两部分网络特征图尺寸相同的层间通过直连通道进行特征融合，此结构将获得融合后的7×7×96和14×14×144两个特征图尺寸，以上操作构成了MobileNetV3Small-FPN结构；
接下来，引入YOLOv3tiny中的多尺度预测及锚框设置，对上述两个特征图分别用3×3卷积层统一通道数后，再用两组1×1卷积层做出最终预测，完成M-F-Y型轻量化卷积网络的构建；最终，预测层将获得每个位置处的锚框偏移量、目标分数、类别分数；
2)增加互补注意力结构
在目标检测任务中对CNN施加注意力机制，具体如下：
在MobileNetV3-Small的Bottleneck原始结构中，首先通过全局平均池化层将特征图的长和宽压缩至1×1，保留原始通道数，之后将此特征图输入到全连接层中用于学习对通道的注意力权重，最后将权重与原始输入相乘，得到具有通道注意力的特征图；在全局平均池化层上并联了全局最大池化层；
对通道注意力结构补充空间注意力结构，在特征图的长和宽维度上添加注意力机制，为特征图上不同空间位置赋予不同的权重，目标位置将被赋予高权重，背景位置赋予低权重；首先通过一组并联的全局最大池化层和全局平均池化层对输入特征图的通道维度进行压缩，得到通道数为1的两个特征图，之后在通道维度上连接两个特征图，输入到一个卷积层中用于学习空间注意力权重，得到通道数为1的特征图，最后与输入特征图相乘，得到具有空间注意力的输出特征图；
3)基于迁移学习的滤波器嫁接
首先利用迁移学习技术来预训练网络，之后将学习到的权重知识迁移到高分辨率遥感影像目标检测任务上；
通过并行地训练两个相同结构的网络实现滤波器嫁接，而迁移学习将只应用在一个网络上，并行训练时通过迁移学习得到的权重参数将作为有效的外部嫁接；嫁接结束后，在最后一次训练轮次中验证损失较小的网络作为最终的高分辨率遥感影像目标检测网络；网络将对每幅输入图像输出预测框的坐标、目标分数、类别分数；
具体为：
CNN网络结构构建分为两个部分，首先利用MobileNetV3-Small构建FPN，构成多特征图融合机制，然后对MobileNetV3Small-FPN结构构建以YOLOv3tiny为基础的目标检测框架；
步骤1.1：构建MobileNetV3Small-FPN结构
步骤1.1.1：对原始MobileNetV3-Small网络的裁剪
采用MobileNetV3-Small作为用于特征提取的主干网络，为了将此CNN用于目标检测任务中，去掉了原始设计用于分类任务的最后4层，包括3个卷积层和1个池化层；
步骤1.1.2：特征融合层的选取
选取MobileNetV3-Small中两个位置的输出特征图构建FPN结构；首先MobileNetV3-Small本身具有的单金字塔结构能够获得具有强语义信息的输出特征图，此特征图大小为7×7×96，之后为了构建具有特征融合能力的FPN，选取MobileNetV3-Small中倒数第三个Bottleneck的输出特征图，其大小为14×14×48；
步骤1.1.3：构建MobileNetV3Small-FPN结构
FPN由自底向上和自顶向下两部分网络构成；将单金字塔结构的MobileNetV3-Small作为中的自底向上部分网络；首先在上一步骤中选取的尺寸为7×7×96作为此部分的第一层，之后对此特征图进行上采样，上采样规则为2倍最近邻插值上采样，得到尺寸为14×14×96的特征图，最后此特征图将与上一步骤中选取的尺寸为14×14×48的第二个特征图进行融合；
在融合方法上有空间维度上的相加和通道维度上的连接，选择在通道维度上的连接，构成14×14×144的特征图；
步骤1.2：构建MobileNetV3Small-FPN-YOLOv3tiny结构
选择YOLOv3tiny作为目标检测框架，YOLOv3tiny为一种具有多尺度预测的单阶段目标检测方法；步骤1.1中获取到的两个特征图的尺寸分别为7×7×96和14×14×144，首先将对这两个特征图分别输入两个3×3的卷积层，将通道数均统一为96，用于消除自顶向下部分上采样后的特征图与自底向上部分的同尺寸特征图融合后出现的特征不连续现象，之后分别输入两个1×1的卷积层做出预测；在两个预测尺度上，输出分别为7×7×Y和14×14×Y，Y的具体形式如下式：
Y＝(tx,ty,tw,th,po,cls)×anchors (1)
其中，cls表示判定目标为各类别的置信度，长度为任务中目标的类别数；anchors表示在每个预测尺度上的锚框数，首先通过kmeans聚类对所有训练集图像的真值框进行聚类，聚类中心为6，按大小分成两组，较大的一组3个分配给7×7×96的特征图上用于预测，较小的一组3个分配给14×14×96的特征图上用于预测；两个预测特征图各分配3个锚框，故anchors为3；po表示预测的边界框中包含目标的概率；tx，ty，tw，th表示预测的边界框相对于锚框的偏移量，为得到具体的边界框坐标及宽高，需要如下转换：
其中，bx，by表示预测边界框中心点的x，y坐标，通过tx，ty经sigmoid变换后与cx，cy分别相加得到，cx，cy为边界框中心所在位置在预测特征图的左上角点的x，y坐标，σ表示sigmoid函数；bw，bh表示边界框的宽和高，通过tw，ty经指数变换后与pw，ph相乘得到；pw，ph为在某一预测特征图上，与此检测目标真值框交并比最高的锚框的宽和高；
经过以上分析，网络将会产生总计(7×7+14×14)×3＝735个预测边界框；这些边界框将由以下两种方法共同进行筛选，对每个目标筛选出最终的1个预测边界框；
1)对目标概率po设置阈值，低于0.3的将被排除；
2)非极大值抑制对每个目标筛选出最终的1个边界框；
步骤2.1：改进的通道注意力结构
1)首先，为了获取更强的通道信息表征能力，在原有的使用全局平均池化层GAP压缩空间信息的基础上，并联一个全局最大池化层GMP，GAP和GMP能够共同对输入特征图F∈RW×H×C的空间信息进行压缩，RW×H×C表示尺寸为W×H×C的实矩阵；
2)之后在通道维度上连结GAP和GMP的输出特征图，得到特征图G＝[GAP(F),GMP(F)]∈R1×1×2C；
3)然后G将通过两个级联的全连接层用于学习通道权重，两个全连接层依次使用ReLU和HSigmoid激活函数；并且，第一个全连接层的输出通道数压缩为输入的0.5倍，在第二个全连接层将恢复初始通道数，进行的计算如下式：
AC＝HSigmoid(FC1(ReLU(FC0.5(G)))) (3)
上式中的其中FCC代表输出通道数为输入通道数C倍的全连接层；
4)经过上述步骤，将得到每个通道对应的权重AC∈R1×1×C；AC与输入特征图F相乘后，将获得具有通道权重的特征图FC∈RW×H×C；
步骤2.2：构建空间注意力结构
1)将具有通道权重的特征图FC∈RW×H×C输入到一组并联的平均池化和最大池化层中，两个池化操作均针对通道轴，进行的计算和得到的特征图如下式：
2)在通道维度上对两个特征图进行连接，得到[Favg,Fmax]∈RW×H×2；
3)将特征图输入一个卷积核大小为3×3的卷积层，用于学习空间位置权重，之后通过使用HSigmoid激活函数的激活层，进行的计算如下式：
其中，
代表卷积核大小为W×H，输出通道数为C的卷积层；得到的AS为特征图空间位置的权重；
4)将得到空间位置权重AS∈RW×H×1与输入特征图FC相乘后，将获得具有通道权重的特征图FS∈RW×H×C；
基于迁移学习的滤波器嫁接，模型训练策略为三阶段的双模型并行训练策略，具体如下：
步骤3.1：预训练阶段
首先，需要构建两个上文设计的MobileNetV3Small-FPN-YOLOv3tiny结构，以便在后续步骤中进行滤波器嫁接；其中，一个网络将使用大规模遥感影像目标检测数据集或大规模自然图像目标检测数据集进行预训练，记作A网络；另一个不进行预训练，记作B网络；
在本阶段中，需要用有标注的大规模遥感影像目标检测数据集或自然影像目标检测数据集对A网络进行预训练；输入A网络的样本批次大小设置为32，或设置为8、16、64、128，通过反向传播算法最小化损失函数，采用Adam算法进行对损失函数的优化，学习率设置为0.001-0.005，训练迭代20000-40000次；B网络在本训练阶段中不进行任何操作，保持初始化状态；
步骤3.2：微调预测层阶段
本阶段中，A网络和B网络均参与训练；
对于A网络，首先冻结其除了两个预测层以外的全部层，用任务所需的遥感影像目标检测数据集对A网络进行训练，此时，A网络将会对任务数据集进行在预测层上的参数迁移；
对于B网络，使用任务所需的遥感影像目标检测数据集对其进行从头训练；
A网络与B网络的训练采用同样的参数设置；输入样本批次大小均设置为32或设置为8、16、64、128，均采用Adam算法进行对损失函数的优化，学习率设置为0.0001-0.0005，训练迭代4000-8000次；
步骤3.3：滤波器嫁接阶段
本阶段中，A网络和B网络均参与训练；
对于A网络，在本阶段解冻其所有层，继续用任务所需的遥感影像目标检测数据集对A网络进行训练，用于在迁移学习的基础上微调A网络参数；
对于B网络，继续使用任务所需的遥感影像目标检测数据集对其进行从头训练；
同时在本阶段中A、B两个网络的训练中，引入滤波器嫁接策略，A、B中的卷积层将进行相互嫁接，具体的滤波器嫁接步骤如下：
1)在每个训练轮次中，当本轮训练遍历完所有训练样本后，对A、B网络的所有卷积层，记录每层的所有神经元的权重值，得到向量
表示M网络的第i个卷积层第j个神经元的权重值，其中M∈{A,B}；之后，对第i个卷积层的所有神经元，计算最大值与最小值的差，将差划分为10个区间，计算本层所有神经元的权重值落在这10个区间的概率，得到第i个卷积层所有权重值的离散概率分布Pi＝{p1,...,pk}，其中k∈(1，10)；最后对A、B网络，分别计算第i个卷积层的信息熵，计算公式如下式：
2)计算得到每个网络各个卷积层的信息熵后，将进行两个网络的相互嫁接，嫁接将以层为基本单位，以保留层中各个神经元的连续性；层级嫁接公式如下式：
Wi M2′＝αWi M2+(1-α)Wi M1 (7)
其中，Wi M2表示其中一个网络在嫁接前的第i个卷积层的权重值，Wi M2′表示该网络嫁接后第i个卷积层的权重值；嫁接是一个相互的过程，由A网络嫁接到B网络，或由B网络嫁接到A网络，在并行训练A、B网络的过程中，完成相互嫁接；
3)α是重要的嫁接系数，其计算公式如下式：
α＝A×(arctan(c×(H(Wi M2)-H(Wi M1))))+0.5 (8)
其中，A和c分别为arctan函数的纵、横拉伸系数，A取0.4，c取100；
4)待所有训练轮次结束后，此时A、B网络已经完成了层级嫁接；在本阶段的训练中，A网络与B网络的训练采用同样的参数设置；输入样本批次大小均设置为32或设置为8、16、64、128，均采用Adam算法进行对损失函数的优化，学习率设置为0.0001-0.0005，训练迭代6000-12000次；选择在最后一次训练轮次中验证集上损失更小的网络作为最终的网络模型；
嫁接结束后，在最后一次训练轮次中在验证集上损失较小的网络作为最终的高分辨率遥感影像目标检测网络；使用最终的高分辨率遥感影像目标检测数据集的测试集完成目标检测任务；网络将对每幅输入图像输出预测框的坐标、目标分数、类别分数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010437866.4A CN111666836B (zh) | 2020-05-22 | 2020-05-22 | M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010437866.4A CN111666836B (zh) | 2020-05-22 | 2020-05-22 | M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111666836A CN111666836A (zh) | 2020-09-15 |
| CN111666836B true CN111666836B (zh) | 2023-05-02 |
Family
ID=72384331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010437866.4A Active CN111666836B (zh) | 2020-05-22 | 2020-05-22 | M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111666836B (zh) |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132205B (zh) * | 2020-09-18 | 2022-11-15 | 东南大学 | 一种基于卷积神经网络的遥感图像分类方法 |
| CN112085735B (zh) * | 2020-09-28 | 2022-10-25 | 西安交通大学 | 一种基于自适应锚框的铝材质图像缺陷检测方法 |
| CN112232411B (zh) * | 2020-10-15 | 2024-05-14 | 苏州凌图科技有限公司 | HarDNet-Lite在嵌入式平台的优化方法 |
| CN112232214A (zh) * | 2020-10-16 | 2021-01-15 | 天津大学 | 一种基于深度特征融合和注意力机制的实时目标检测方法 |
| CN112395958A (zh) * | 2020-10-29 | 2021-02-23 | 中国地质大学（武汉） | 基于四尺度深浅层特征融合的遥感图像小目标检测方法 |
| CN112508863B (zh) * | 2020-11-20 | 2023-07-18 | 华南理工大学 | 一种基于rgb图像和msr图像双通道的目标检测方法 |
| CN112465057B (zh) * | 2020-12-08 | 2023-05-12 | 中国人民解放军空军工程大学 | 一种基于深度卷积神经网络的目标检测识别方法 |
| CN112528900B (zh) * | 2020-12-17 | 2022-09-16 | 南开大学 | 基于极致下采样的图像显著性物体检测方法及系统 |
| CN112818840B (zh) * | 2021-01-29 | 2024-08-02 | 中国科学院微小卫星创新研究院 | 无人机在线检测系统和方法 |
| CN112800980B (zh) * | 2021-02-01 | 2021-12-07 | 南京航空航天大学 | 一种基于多层次特征的sar目标识别方法 |
| CN112861720B (zh) * | 2021-02-08 | 2024-05-14 | 西北工业大学 | 基于原型卷积神经网络的遥感图像小样本目标检测方法 |
| CN113052006B (zh) * | 2021-02-19 | 2024-05-28 | 中南大学 | 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质 |
| CN112989955B (zh) * | 2021-02-20 | 2023-09-29 | 北方工业大学 | 基于空时双流异构嫁接卷积神经网络人体动作识别方法 |
| CN113033315A (zh) * | 2021-02-26 | 2021-06-25 | 江西理工大学 | 一种稀土开采高分影像识别与定位方法 |
| CN112967296B (zh) * | 2021-03-10 | 2022-11-15 | 重庆理工大学 | 一种点云动态区域图卷积方法、分类方法及分割方法 |
| CN112950703B (zh) * | 2021-03-11 | 2024-01-19 | 无锡禹空间智能科技有限公司 | 小目标的检测方法、装置、存储介质及设备 |
| CN113052210B (zh) * | 2021-03-11 | 2024-04-26 | 北京工业大学 | 一种基于卷积神经网络的快速低光照目标检测方法 |
| CN112950605A (zh) * | 2021-03-15 | 2021-06-11 | 西安电子科技大学 | 基于MYOLOv3网络的杆塔图像检测方法 |
| CN113052189B (zh) * | 2021-03-30 | 2022-04-29 | 电子科技大学 | 一种基于改进的MobileNetV3特征提取网络 |
| CN113011365A (zh) * | 2021-03-31 | 2021-06-22 | 中国科学院光电技术研究所 | 一种结合轻量化网络的目标检测方法 |
| CN112906662B (zh) * | 2021-04-02 | 2022-07-19 | 海南长光卫星信息技术有限公司 | 一种遥感图像变化检测方法、装置、设备及存储介质 |
| CN113255443B (zh) * | 2021-04-16 | 2024-02-09 | 杭州电子科技大学 | 一种基于金字塔结构的图注意力网络时序动作定位方法 |
| CN113159051B (zh) * | 2021-04-27 | 2022-11-25 | 长春理工大学 | 一种基于边缘解耦的遥感图像轻量化语义分割方法 |
| CN113327227B (zh) * | 2021-05-10 | 2022-11-11 | 桂林理工大学 | 一种基于MobilenetV3的小麦头快速检测方法 |
| CN113255759B (zh) * | 2021-05-20 | 2023-08-22 | 广州广电运通金融电子股份有限公司 | 基于注意力机制的目标内特征检测系统、方法和存储介质 |
| CN113379697B (zh) * | 2021-06-06 | 2022-03-25 | 湖南大学 | 基于深度学习的彩色图像龋病识别方法 |
| CN113361428B (zh) * | 2021-06-11 | 2023-03-24 | 浙江澄视科技有限公司 | 一种基于图像的交通标志检测方法 |
| CN113723172A (zh) * | 2021-06-11 | 2021-11-30 | 南京航空航天大学 | 面向遥感图像弱小目标的融合多层级特征目标检测方法 |
| CN113536929A (zh) * | 2021-06-15 | 2021-10-22 | 南京理工大学 | 一种复杂场景下的sar图像目标检测方法 |
| CN113420630A (zh) * | 2021-06-17 | 2021-09-21 | 中国人民解放军海军航空大学航空作战勤务学院 | 一种基于从头训练的sar图像舰船目标检测方法和系统 |
| CN113627240B (zh) * | 2021-06-29 | 2023-07-25 | 南京邮电大学 | 一种基于改进ssd学习模型的无人机树木种类识别方法 |
| CN113538347B (zh) * | 2021-06-29 | 2023-10-27 | 中国电子科技集团公司电子科学研究院 | 基于高效双向路径聚合注意力网络的图像检测方法及系统 |
| CN113486979A (zh) * | 2021-07-28 | 2021-10-08 | 佛山市南海区广工大数控装备协同创新研究院 | 基于关键点的轻量级目标检测方法 |
| CN114005028B (zh) * | 2021-07-30 | 2023-02-17 | 北京航空航天大学 | 一种抗干扰的遥感图像目标检测轻量系统及其方法 |
| CN113805151B (zh) * | 2021-08-17 | 2024-09-10 | 青岛本原微电子有限公司 | 基于注意力机制的中重频雷达目标检测方法 |
| CN113610045B (zh) * | 2021-08-20 | 2023-01-06 | 大连理工大学 | 深度特征集成学习的遥感图像目标识别泛化性方法 |
| CN113744220B (zh) * | 2021-08-25 | 2024-03-26 | 中国科学院国家空间科学中心 | 一种基于pynq的无预选框检测系统 |
| CN113837058B (zh) * | 2021-09-17 | 2022-09-30 | 南通大学 | 一种耦合上下文聚合网络的轻量化雨水篦子检测方法 |
| CN114119582B (zh) * | 2021-12-01 | 2024-04-26 | 安徽大学 | 一种合成孔径雷达图像目标检测方法 |
| CN113963274B (zh) * | 2021-12-22 | 2022-03-04 | 中国人民解放军96901部队 | 基于改进ssd算法的卫星影像目标智能识别系统与方法 |
| CN114492625A (zh) * | 2022-01-23 | 2022-05-13 | 北京工业大学 | 基于迁移的目标检测网络搜索模型在智能车标志物检测问题的解决方案 |
| CN114565860B (zh) * | 2022-03-01 | 2022-11-11 | 安徽大学 | 一种多维度增强学习合成孔径雷达图像目标检测方法 |
| CN114694021B (zh) * | 2022-03-11 | 2024-06-21 | 北京市遥感信息研究所 | 面向大尺寸遥感影像的物体检测识别方法 |
| CN114463686B (zh) * | 2022-04-11 | 2022-06-17 | 西南交通大学 | 基于复杂背景下的移动目标检测方法和系统 |
| CN115661694B (zh) * | 2022-11-08 | 2024-05-28 | 国网湖北省电力有限公司经济技术研究院 | 一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备 |
| CN116152580B (zh) * | 2023-04-18 | 2023-08-15 | 江西师范大学 | 一种复杂场景小目标的数据训练方法 |
| CN116524203B (zh) * | 2023-05-05 | 2024-06-14 | 吉林化工学院 | 一种基于注意力和双向加权特征融合的车辆目标检测方法 |
| CN116403115B (zh) * | 2023-06-07 | 2023-08-22 | 江西啄木蜂科技有限公司 | 一种大幅面遥感影像目标检测方法 |
| CN118334322B (zh) * | 2024-06-12 | 2024-08-27 | 浙江大华技术股份有限公司 | 伪装目标检测方法、装置、计算机设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830196A (zh) * | 2018-05-31 | 2018-11-16 | 上海贵和软件技术有限公司 | 基于特征金字塔网络的行人检测方法 |
| WO2019028725A1 (en) * | 2017-08-10 | 2019-02-14 | Intel Corporation | CONVOLUTIVE NEURAL NETWORK STRUCTURE USING INVERTED CONNECTIONS AND OBJECTIVITY ANTERIORITIES TO DETECT AN OBJECT |
| CN109492596A (zh) * | 2018-11-19 | 2019-03-19 | 南京信息工程大学 | 一种基于K-means聚类和区域推荐网络的行人检测方法及系统 |
| CN110287849A (zh) * | 2019-06-20 | 2019-09-27 | 北京工业大学 | 一种适用于树莓派的轻量化深度网络图像目标检测方法 |
| CN110348447A (zh) * | 2019-06-27 | 2019-10-18 | 电子科技大学 | 一种具有丰富空间信息的多模型集成目标检测方法 |
| CN110796037A (zh) * | 2019-10-15 | 2020-02-14 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
-
2020
- 2020-05-22 CN CN202010437866.4A patent/CN111666836B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019028725A1 (en) * | 2017-08-10 | 2019-02-14 | Intel Corporation | CONVOLUTIVE NEURAL NETWORK STRUCTURE USING INVERTED CONNECTIONS AND OBJECTIVITY ANTERIORITIES TO DETECT AN OBJECT |
| CN108830196A (zh) * | 2018-05-31 | 2018-11-16 | 上海贵和软件技术有限公司 | 基于特征金字塔网络的行人检测方法 |
| CN109492596A (zh) * | 2018-11-19 | 2019-03-19 | 南京信息工程大学 | 一种基于K-means聚类和区域推荐网络的行人检测方法及系统 |
| CN110287849A (zh) * | 2019-06-20 | 2019-09-27 | 北京工业大学 | 一种适用于树莓派的轻量化深度网络图像目标检测方法 |
| CN110348447A (zh) * | 2019-06-27 | 2019-10-18 | 电子科技大学 | 一种具有丰富空间信息的多模型集成目标检测方法 |
| CN110796037A (zh) * | 2019-10-15 | 2020-02-14 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111666836A (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111666836B (zh) | M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法 | |
| CN114937151B (zh) | 基于多感受野和注意力特征金字塔的轻量级目标检测方法 | |
| CN110335290B (zh) | 基于注意力机制的孪生候选区域生成网络目标跟踪方法 | |
| AU2020104006A4 (en) | Radar target recognition method based on feature pyramid lightweight convolutional neural network | |
| CN110348447B (zh) | 一种具有丰富空间信息的多模型集成目标检测方法 | |
| CN111652903B (zh) | 一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法 | |
| CN112381097A (zh) | 一种基于深度学习的场景语义分割方法 | |
| CN106228185A (zh) | 一种基于神经网络的通用图像分类识别系统及方法 | |
| CN104537684A (zh) | 一种静态场景中的实时运动目标提取方法 | |
| CN107563430A (zh) | 一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法 | |
| CN115223017B (zh) | 一种基于深度可分离卷积的多尺度特征融合桥梁检测方法 | |
| CN113159236A (zh) | 基于多尺度变换的多聚焦图像融合方法及装置 | |
| CN113408524A (zh) | 一种基于mask rcnn的农作物图像分割提取算法 | |
| CN111612046B (zh) | 特征金字塔图卷积神经网络及其在3d点云分类中的应用 | |
| CN113536970A (zh) | 一种视频分类模型的训练方法及相关装置 | |
| CN114120045B (zh) | 一种基于多门控混合专家模型的目标检测方法和装置 | |
| CN113609904B (zh) | 一种基于动态全局信息建模和孪生网络的单目标跟踪算法 | |
| CN113989655A (zh) | 基于自动化深度学习的雷达或声呐图像目标检测与分类方法 | |
| CN111914904B (zh) | 一种融合DarkNet与CapsuleNet模型的图像分类方法 | |
| CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 | |
| CN116826734A (zh) | 一种基于多输入模型的光伏发电功率预测方法及装置 | |
| CN114494284B (zh) | 一种基于显式监督区域关系的场景解析模型及方法 | |
| CN113537228B (zh) | 一种基于深度特征的实时图像语义分割方法 | |
| CN113642592B (zh) | 一种训练模型的训练方法、场景识别方法、计算机设备 | |
| CN114863133A (zh) | 基于多任务无监督算法的浮选泡沫图像特征点提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |