CN110378242A - 一种双重注意力机制的遥感目标检测方法 - Google Patents

一种双重注意力机制的遥感目标检测方法 Download PDF

Info

Publication number
CN110378242A
CN110378242A CN201910558505.2A CN201910558505A CN110378242A CN 110378242 A CN110378242 A CN 110378242A CN 201910558505 A CN201910558505 A CN 201910558505A CN 110378242 A CN110378242 A CN 110378242A
Authority
CN
China
Prior art keywords
remote sensing
attention mechanism
network
target detection
dual attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910558505.2A
Other languages
English (en)
Inventor
杨雨泽
杭仁龙
刘青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201910558505.2A priority Critical patent/CN110378242A/zh
Publication of CN110378242A publication Critical patent/CN110378242A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种双重注意力机制的遥感目标检测方法，属于计算机视觉中图像处理领域。该方法包括以下步骤：一：输入多尺度的遥感航拍图；二：将输入图片分割成512*512的小图片；三：将小图片输入到网络中，经过感受野模块生成特征图；四：构建双重注意力机制卷积神经网络作为匹配函数，优化网络参数、重新定义通过卷积神经网络产生的特征图；五：通过网络的后续操作实现对目标的分类与bounding box回归；六：通过对多个回归坐标框的非极大值抑制得出一个得分最高的回归框，这个框就是遥感航拍图中感兴趣的目标位置。本发明能够有效的检测出遥感航拍图片中的目标，提高了目标检测网络的准确性和泛化性。

Description

一种双重注意力机制的遥感目标检测方法
技术领域
本发明涉及一种双重注意力机制的遥感目标检测方法，属于计算机视觉图像处理领域。
背景技术
遥感图像中目标检测在军事与民用上有着巨大的需求。比如在船只航行时，需要利用到卫星成像技术采集图像，并对遥感图像中船只快速检测，帮助航行的船只远离危险，保证海面与江面上的航行安全。军事上对遥感图像的飞机快速检测有着重要的需求，在实时检测遥感图像中飞机的过程中，可以实现间谍卫星人工智能化。这在现代化战争中可以占到极大的优势。以及可以通过遥感目标检测的办法，实时的检测大气中的云层大概位置，这在我国夏季经常出现山洪的地区显得尤为重要，检测出云层的位置也就能够判断出暴雨的走向，这对防洪工作尤为重要。
随着遥感成像技术的不断进步，遥感数字卫星采集到的地面、海平面的图像越来越多，图像分辨率也越来越高。遥感数字图像中的目标检测已经成为一门热门课题。在卫星采集到的图像变得越来越多、遥感图像分辨率越来越高的同时。传统的由人工分析寻找遥感图像中的目标，因为费时费力存在大量的漏检误检，尤其在对遥感图像中的目标检测任务中，因为目标过小，过多，更容易漏检误检还不能达到实时要求，这种传统人力处理海量数据的方法已经变得不可行。但伴随着计算机视觉技术的发展，人们开始使用基于深度学习的办法，用作图像处理来实现对遥感图像中的目标检测。
近些年深度学习的应用在计算机视觉领域获得了前所未有的成功。为了利用深度学习处理大量数据的能力，许多研究者针对计算机视觉中的目标检测问题提出了很多成功的方法。这些最新提出来的目标检测方法在在检测的精度与速度上获得了很大的提升，其中最具代表的是单阶段目标检测算法，如SSD(单阶段多盒检测器)、YOLO(你只看一次)、RFBNet(感受模块网络目标检测算法)等目标检测网络。但单阶段的目标检测算法存在一些问题，网络采用的骨架网络是较浅的卷积神经网络，这样设计的网络模型模型表征能力较弱。尤其是在遥感航拍图片中感兴趣的目标经常面临复杂的背景，感兴趣的目标掺杂在有大量噪声的背景中，以及感兴趣的目标面临目标尺度变化大的问题时，由于网络的表征能力不够、判别力不强，使得目标检测网络经常出现漏检误检的情况，降低了模型的检测有效性和检测精度。
发明内容
本发明提出了一种双重注意力机制的遥感目标检测方法，能够有效的检测出遥感航拍图片中的目标，并且在目标具有复杂背景下、目标外观尺度变化大的情况下显著的提高了目标检测网络的准确性和泛化性。
本发明为解决其技术问题采用如下技术方案：
一种双重注意力机制的遥感目标检测方法，包括以下步骤：
步骤一：输入多尺度的遥感航拍图；
步骤二：将输入的多尺度遥感航拍图片分割成512*512的小图片；
步骤三：将512*512的小图片输入到网络中，进行相关的卷积操作后，经过感受野模块生成特征图；
步骤四：构建双重注意力机制卷积神经网络作为匹配函数，优化网络参数、重新定义通过卷积神经网络产生的特征图；
步骤五：将经过注意力机制重新定义的的特征图输入后续网络，通过网络的后续操作实现对目标的分类与bounding box(边界框)回归；
步骤六：通过对多个回归坐标框的非极大值抑制得出一个得分最高的回归框，这个框就是遥感航拍图中感兴趣的目标位置。
所述步骤一中所述多尺度遥感航拍图像是通过google earth(谷歌地球)收集的卫星图像裁剪得到的。
所述步骤三中的感受野模块是通过不同扩张率的空洞卷积融合而成。
所述步骤四中所述双重注意力机制卷积神经网络，是根据两种不同的注意力机制融合后嵌入到特定的卷积层得到的。
所述步骤六中的非极大值抑制是通过对得分小的回归坐标框抑制同时对得分最高的回归框保留实现的。
所述步骤六中的非极大值抑制的阈值为0.45。
本发明的有益效果如下：
1、本发明的方法采用了通道注意力机制网络与空间注意力机制网络，两种注意力网络集中制融合的办法。
2、本发明的方法有效地利用了特征图之间的通道联系和空间联系，在遥感航拍图中能够显著地提升目标检测网络对感兴趣目标的鲁棒性和判别性，使得检测网络能够有效的检测出遥感航拍图中的目标。
附图说明
图1为本发明的流程图。
图2为本发明中双重注意力机制网络关于通道注意力模块网络的原理图。
图3为本发明中双重注意力机制网络关于空间注意力模块网络的原理图。
图4为本发明中的模仿人类视觉感受野模块原理图。
图5为本发明中模仿人类视觉感受野模块生成特征图的原理图。
图6为本发明中双重注意力注意力机制重新定义特征图的原理图。
图7(a)是一张512*512的遥感航拍图片；图7(b)为检测网络获取的特征图与重新定义的特征图；如图7(c)为经过本发明设计的双重注意力机制网络后的特征图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图进一步阐明本发明。
本发明提供的双重注意力机制遥感目标检测方法，流程如图1所示，具体包括以下操作步骤：
(1)步骤一：输入一张多尺度的遥感航拍图片。
(2)步骤二：将输入的多尺度的遥感航拍图片进行分割，将图片随机分割成512*512大小的尺寸。
(3)步骤三；将512*512大小的图片输入到网络中，经过相关的卷积操作后，经过一个模仿人类视觉的感受野模块得到一个特征图。
(4)步骤四；将特征图输入到双重注意力机制中，通过通道与空间维度的卷积运算，重新定义了特征图。
本发明利用双重注意力机制网络嵌入到检测网络网络中模仿人类视觉模块后面，这样做的目的是利用双重注意力机制网络去建立特征图之间的通道和空间的联系，抑制用处不是太大的特征信息，增强有用的特征信息。
下面将结合说明书附图，对本发明作进一步的说明，以令本领域技术人员参照说明书文字能够据以实施。
在这个双重注意力机制网路中，双重注意力机制的结构图如图1所示，一个特征向量经过通道注意力模块网络和空间注意力模块网络后，所得到的特征相加得到一个重新定义的特征。通过这个双重注意力机制网络能够增强有用的特征信息，抑制不太有用的特征信息。从而实现较高的检测精度。
本发明设计了双重注意力机制网路对输入特征图的通道维度和空间维度做处理，对于输入特征图的通道维度的处理机制为通道注意网络模块，由图2、图3中的网络实现，输入的特征先经过一个平均池化层得到一个向量，再将这个向量输入到一个隐藏层，这个隐藏层的作用是增加非线性映射，使网络学习到更过的参数。
由于遥感航拍图中的目标具有复杂的背景、以及遥感航拍图中感兴趣的目标存在尺度变化较大的情况。故如图4所示，采用了一种模仿人类视觉的感受野模块，通过卷积核大小为3*3，扩张率为1、2、3的空洞卷积来提取特征，这样做的优点是扩大了卷积核的感受野，同时减少网络参数，这样设计的目的是模仿人类视觉的办法，通过融合多尺度空洞卷积办法提取图片特征，这样设计的网络模块在经过计算参数更少的情况下能获得更大的感受野，这样获得更好的检测效果。
如图5所示，是一张512*512经过卷积神经网络相关计算，后经过一个模仿人类感受野模块得到的一张特征图。
如图6所示，是一张特征图经过本文设计的双重注意力机制模块网络后，重新定义得到的特征图。
图7(a)是一张512*512的遥感航拍图片，图7(b)为检测网络获取的特征图与重新定义的特征图。如图7(c)可以很明显的看到经过本文设计的双重注意力机制网络后的特征图，对遥感航拍图中感兴趣的区域出现了更大的响应。这充分说明了本发明设计的双重注意力机制遥感目标检测算法的有效性。
表1为本发明的双重注意力机制遥感航拍目标检测方法的网络模型参数。表中Conv代表卷积层的含义，Pool代表最大层池化，BsicRFB、BsicRFB-a代表了感受野模块，attention代表了本文提出的双重注意力机制。
表1
为了验证本方法的有效性，本发明将采用公开数据集NWPUVHR-10来进行实验。公开数据集NWPU VHR-10是由西北工业大学标注的航天遥感目标检测数据集，其中包括了飞机、舰船、油管、棒球场、网球场、田径场、港口、桥梁、车辆这10个类别的目标。因为公开数据集NWPU VHR-10类别众多，并且每个类别之间变化差异很大，这个考验了目标检测算法的泛化性与准确性，所以公开数据集NWPU VHR-10是一个具有挑战的数据集。本发明采用公开数据集NWPUVHR-10并且对比最新的遥感目标检测算法，来体现本发明提出的双重注意力机制遥感目标检测方法的有效性。在此我们利用目标检测中最具有说服力的评价指标MAP(MeanAverage Precision)来评价我们的实验结果。
本发明提出的双重注意力机制遥感目标检测方法，在公开数据集NWPUVHR-10上取得了MAP为91.07％的结果。本发明提出的方法取得了优秀的结果。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本设计不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种双重注意力机制的遥感目标检测方法，其特征在于：包括以下步骤：
步骤一：输入多尺度的遥感航拍图；
步骤二：将输入的多尺度遥感航拍图片分割成512*512的小图片；
步骤三：将512*512的小图片输入到网络中，进行相关的卷积操作后，经过感受野模块生成特征图；
步骤四：构建双重注意力机制卷积神经网络作为匹配函数，优化网络参数、重新定义通过卷积神经网络产生的特征图；
步骤五：将经过注意力机制重新定义的的特征图输入后续网络，通过网络的后续操作实现对目标的分类与bounding box回归；
步骤六：通过对多个回归坐标框的非极大值抑制得出一个得分最高的回归框，这个框就是遥感航拍图中感兴趣的目标位置。
2.根据权利要求1所述的一种双重注意力机制的遥感目标检测方法，其特征在于：所述步骤一中所述多尺度遥感航拍图像是通过google earth收集的卫星图像裁剪得到的。
3.根据权利要求1所述的一种双重注意力机制的遥感目标检测方法，其特征在于：所述步骤三中的感受野模块是通过不同扩张率的空洞卷积融合而成。
4.根据权利要求1所述的一种双重注意力机制的遥感目标检测方法，其特征在于：所述步骤四中所述双重注意力机制卷积神经网络，是根据两种不同的注意力机制融合后嵌入到特定的卷积层得到的。
5.根据权利要求1所述的一种双重注意力机制的遥感目标检测方法，其特征在于：所述步骤六中的非极大值抑制是通过对得分小的回归坐标框抑制同时对得分最高的回归框保留实现的。
6.根据权利要求5所述的一种双重注意力机制的遥感目标检测方法，其特征在于：所述步骤六中的非极大值抑制的阈值为0.45。
CN201910558505.2A 2019-06-26 2019-06-26 一种双重注意力机制的遥感目标检测方法 Pending CN110378242A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910558505.2A CN110378242A (zh) 2019-06-26 2019-06-26 一种双重注意力机制的遥感目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910558505.2A CN110378242A (zh) 2019-06-26 2019-06-26 一种双重注意力机制的遥感目标检测方法

Publications (1)

Publication Number Publication Date
CN110378242A true CN110378242A (zh) 2019-10-25

Family

ID=68249459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910558505.2A Pending CN110378242A (zh) 2019-06-26 2019-06-26 一种双重注意力机制的遥感目标检测方法

Country Status (1)

Country Link
CN (1) CN110378242A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852383A (zh) * 2019-11-12 2020-02-28 复旦大学 基于注意力机制深度学习网络的目标检测方法及装置
CN111126338A (zh) * 2019-12-31 2020-05-08 大连理工大学 一种融合视觉注意力机制的智能车辆环境感知方法
CN111160311A (zh) * 2020-01-02 2020-05-15 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111369543A (zh) * 2020-03-07 2020-07-03 北京工业大学 一种基于双重自注意力模块的快速花粉颗粒检测算法
CN111401201A (zh) * 2020-03-10 2020-07-10 南京信息工程大学 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN111415342A (zh) * 2020-03-18 2020-07-14 北京工业大学 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法
CN111553289A (zh) * 2020-04-29 2020-08-18 中国科学院空天信息创新研究院 一种遥感图像云检测方法及系统
CN111832399A (zh) * 2020-06-03 2020-10-27 东南大学 一种融合注意力机制的跨域道路航标配准算法
CN111898617A (zh) * 2020-06-29 2020-11-06 南京邮电大学 基于注意力机制与并行空洞卷积网络的目标检测方法、系统
CN112163580A (zh) * 2020-10-12 2021-01-01 中国石油大学(华东) 一种基于注意力机制的小目标检测算法
CN112464769A (zh) * 2020-11-18 2021-03-09 西北工业大学 一种基于一致多阶段检测的高分遥感图像目标检测方法
CN114943903A (zh) * 2022-05-25 2022-08-26 广西财经学院 一种针对无人机航空图像的自适应分簇目标检测方法
CN115272685A (zh) * 2022-06-21 2022-11-01 北京科技大学 一种小样本sar舰船目标识别方法及装置
CN115546647A (zh) * 2022-10-21 2022-12-30 河北省科学院地理科学研究所 一种基于遥感影像的语义分割模型

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596101A (zh) * 2018-04-25 2018-09-28 上海交通大学 一种基于卷积神经网络的遥感图像多目标检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596101A (zh) * 2018-04-25 2018-09-28 上海交通大学 一种基于卷积神经网络的遥感图像多目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
COPAIN_SIR: "RFBnet论文笔记", 《 HTTPS://WWW.JIANSHU.COM/P/AC628C037022》 *
JUN FU等: "Dual Attention Network for Scene Segmentation", 《HTTPS://ARXIV.ORG/PDF/1809.02983V3.PDF》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852383A (zh) * 2019-11-12 2020-02-28 复旦大学 基于注意力机制深度学习网络的目标检测方法及装置
CN110852383B (zh) * 2019-11-12 2022-06-14 复旦大学 基于注意力机制深度学习网络的目标检测方法及装置
CN111126338A (zh) * 2019-12-31 2020-05-08 大连理工大学 一种融合视觉注意力机制的智能车辆环境感知方法
CN111126338B (zh) * 2019-12-31 2022-09-16 大连理工大学 一种融合视觉注意力机制的智能车辆环境感知方法
CN111160311B (zh) * 2020-01-02 2022-05-17 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111160311A (zh) * 2020-01-02 2020-05-15 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111369543A (zh) * 2020-03-07 2020-07-03 北京工业大学 一种基于双重自注意力模块的快速花粉颗粒检测算法
CN111401201A (zh) * 2020-03-10 2020-07-10 南京信息工程大学 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN111401201B (zh) * 2020-03-10 2023-06-20 南京信息工程大学 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN111415342A (zh) * 2020-03-18 2020-07-14 北京工业大学 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法
CN111415342B (zh) * 2020-03-18 2023-12-26 北京工业大学 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法
CN111553289A (zh) * 2020-04-29 2020-08-18 中国科学院空天信息创新研究院 一种遥感图像云检测方法及系统
CN111832399A (zh) * 2020-06-03 2020-10-27 东南大学 一种融合注意力机制的跨域道路航标配准算法
CN111898617A (zh) * 2020-06-29 2020-11-06 南京邮电大学 基于注意力机制与并行空洞卷积网络的目标检测方法、系统
CN112163580B (zh) * 2020-10-12 2022-05-03 中国石油大学(华东) 一种基于注意力机制的小目标检测算法
CN112163580A (zh) * 2020-10-12 2021-01-01 中国石油大学(华东) 一种基于注意力机制的小目标检测算法
CN112464769A (zh) * 2020-11-18 2021-03-09 西北工业大学 一种基于一致多阶段检测的高分遥感图像目标检测方法
CN114943903A (zh) * 2022-05-25 2022-08-26 广西财经学院 一种针对无人机航空图像的自适应分簇目标检测方法
CN115272685A (zh) * 2022-06-21 2022-11-01 北京科技大学 一种小样本sar舰船目标识别方法及装置
CN115272685B (zh) * 2022-06-21 2023-06-06 北京科技大学 一种小样本sar舰船目标识别方法及装置
CN115546647A (zh) * 2022-10-21 2022-12-30 河北省科学院地理科学研究所 一种基于遥感影像的语义分割模型

Similar Documents

Publication Publication Date Title
CN110378242A (zh) 一种双重注意力机制的遥感目标检测方法
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN105022990B (zh) 一种基于无人艇应用的水面目标快速检测方法
CN108427912A (zh) 基于稠密目标特征学习的光学遥感图像目标检测方法
CN110276269A (zh) 一种基于注意力机制的遥感图像目标检测方法
CN106250895B (zh) 一种光学遥感图像感兴趣区域检测方法
CN102567731B (zh) 一种感兴趣区域提取方法
Xue et al. Remote sensing scene classification based on multi-structure deep features fusion
CN107886117A (zh) 基于多特征提取和多任务融合的目标检测算法
CN108121991A (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
CN106407927A (zh) 基于偏振成像的适用于水下目标检测的显著性视觉方法
CN110046572A (zh) 一种基于深度学习的地标建筑物识别与检测方法
CN109583321A (zh) 一种基于深度学习的结构化道路中小物体的检测方法
CN103871039B (zh) 一种sar图像变化检测差异图生成方法
Qin et al. Small waterbody extraction with improved U-Net using Zhuhai-1 hyperspectral remote sensing images
CN106779054B (zh) 一种基于雾天图像的pm2.5估计方法
CN109741293A (zh) 显著性检测方法及装置
CN106096658B (zh) 基于无监督深度空间特征编码的航拍图像分类方法
CN106295503A (zh) 区域卷积神经网络的高分辨率遥感影像舰船目标提取方法
Liu et al. CAFFNet: channel attention and feature fusion network for multi-target traffic sign detection
Chen et al. Object detection of optical remote sensing image based on improved faster RCNN
CN110097524A (zh) 基于融合卷积神经网络的sar图像目标检测方法
Han et al. A method of the coverage ratio of street trees based on deep learning
CN109784229A (zh) 一种地面建筑物数据融合的复合识别方法
Cao et al. Small Object Detection Algorithm for Railway Scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination