CN111738112A - 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法 - Google Patents

基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法 Download PDF

Info

Publication number
CN111738112A
CN111738112A CN202010521534.4A CN202010521534A CN111738112A CN 111738112 A CN111738112 A CN 111738112A CN 202010521534 A CN202010521534 A CN 202010521534A CN 111738112 A CN111738112 A CN 111738112A
Authority
CN
China
Prior art keywords
ship
network
remote sensing
rnn
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010521534.4A
Other languages
English (en)
Other versions
CN111738112B (zh
Inventor
李训根
周尚超
吕帅帅
潘勉
马琪
张战
门飞飞
刘爱林
李子璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010521534.4A priority Critical patent/CN111738112B/zh
Publication of CN111738112A publication Critical patent/CN111738112A/zh
Application granted granted Critical
Publication of CN111738112B publication Critical patent/CN111738112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法，包括以下步骤：S1，收集遥感卫星船舶图像数据集，并进行样本标注；S2，对经过S1所提取的数据集中的样本进行数据预处理；S3，用经过特征金字塔网络对预处理后的样本进行特征提取；S4，给水平锚点添加角度参数，设置为旋转锚点，再送入RPN网络；S5，搭建RNN网络融合Self‑Attention，对候选区域的置信度进行重计分；S6，搭建Fast R‑CNN网络；S7，对由S1采集到的测试数据进行训练阶段的步骤S2预处理操作；S8，将经过S7处理的样本送入S3、S4、S5和S6构建的模型中进行测试求得结果，即最后经过Fast R‑CNN输出分类与回归的结果。

Description

基于深度神经网络和自注意力机制的遥感船舶图像目标检测 方法
技术领域
本发明涉及到遥感图片目标检测技术领域，具体来讲，涉及一种基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法。
背景技术
近年来，随着世界经济贸易的全面发展，除陆运、空运等交通方式外，海洋、湖泊等水域交通也因其载货量大及成本低等独有的优势受到越来越多的重视和发展。除此之外，国家对海域的监管和对海洋权益的保护也愈加重视，因此，船舶监测的研究和发展，对军用、商用和民用领域以及国防建设、港口管理、货物运输和海上救援和打击违法船只方面都有着重要的意义。
现阶段，相关部门对海域船舶监测还集中在传统的近距离监测，现有的交通管理系统也存在一些无法避免的局限性，目前越来越多的学者开始运用新兴技术对船舶动态监测手段进行研究。随着科技的发展，全球发射卫星数量的增多，高分辨率遥感图像目标检测技术也作为船舶目标检测的新兴技术。船舶卫星图像覆盖水域面积大，时间范围广，并且图像的分辨率清晰度等有了大幅度的提高。
传统的遥感船舶目标检测很多集中在灰度统计、阈值分割和边缘检测等。但是这些方法都适只用于简单、平静的海面，应用场景很单一。现阶段的遥感图像船舶检测也有很多模型和算法。比如词袋模型、稀疏表示、特征提取等。但是这些方法的计算量很大，而且往往会错过一些小型船只，不能够充分提取高分辨率图像中的高层次语义特征。
目前，深度学习技术在目标检测方面取得了显著的成绩。通过深层神经网络提取更高语义的船舶特征，我们可以在遥感图像中获取更多有用的信息，船舶识别准确率也在逐步提升。但是由于遥感船舶目标存在以下几个特性：(1) 尺度多样性，大型轮船与小型船只之间的长宽存在成倍的差异；(2)密集性，港口船只相互紧凑的停放；(3)检测区域的冗余性，传统的水平边界框对于长宽比大的船舶时，会带来很多实际上不属于该船舶目标的多余像素；(4)复杂的背景。使得遥感船舶目标检测的难度加大。
发明内容
鉴于以上存在的技术问题，本发明用于提供一种基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法，该方法首先对数据集进行预处理，提高了模型的泛化能力；然后将数据输入特征提取网络提取特征；为了实现对长宽比大的遥感船舶的检测，在RPN阶段，重新设置多角度的锚点框，获得“旋转边界框”；修改NMS算法，根据船只之间的角度相似关系通过循环神经网络融合自注意力机制输出重新计分的置信度，使候选区域的筛选更加准确；最后将预测框送入Fast R-CNN网络，对候选区域中目标的类别进行分类和对目标的坐标进行回归。
为解决上述技术问题，本发明采用如下的技术方案：
一种基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法，包括以下步骤：
S1，收集遥感卫星船舶图像数据集，并进行样本标注；
S2，对经过S1所提取的数据集中的样本进行数据预处理；
S3，用经过特征金字塔网络对预处理后的样本进行特征提取；
S4，给水平锚点添加角度参数，设置为旋转锚点，再送入RPN网络；
S5，搭建RNN网络融合Self-Attention，对候选区域的置信度进行重计分；
S6，搭建Fast R-CNN网络；
S7，对由S1采集到的测试数据进行训练阶段的步骤S2预处理操作；
S8，将经过S7处理的样本送入S3、S4、S5和S6构建的模型中进行测试求得结果，即最后经过Fast R-CNN输出分类与回归的结果。
优选地，所述步骤S1进一步包括：
S101，从Google Earth卫星地图上收集含有船舶目标的港口、远海、码头和湖泊等地的遥感卫星图片，作为训练图像；
S102，标注训练图像中所有船舶目标的类别和位置坐标，得到标注目标。
优选地，所述步骤S2进一步包括：
S201，将训练图像剪裁为1000×1000大小的图片，重叠率为20％；
S202，去除剪裁后训练集中的负样本；
S203，对图片进行水平翻转、旋转处理，形成完整的训练数据集。
优选地，所述步骤S3进一步包括：
首先选用ResNet-101残差网络对输入遥感卫星图像进行特征提取，选择最后4个残差模块的最后一层的特征图构建自底而上的网络。然后通过横向连接和自顶而下的上采样得到3层特征图，形成自顶而下的网络。对于自顶而下的网络，输入包括自底而上网络中对应层的特征图经过1×1的卷积的输出和相邻上层上采样后的输出。最终由自顶而下网络的3层P 3，P 4，P 5同时作为特征提取网络的输出。
优选地，所述步骤S4进一步包括：
通过设置比例、比率和角度这三个参数来生成旋转锚点，
S401，设置锚点的长宽比为1∶3，3∶1，1∶5，5∶1，1∶7，7∶1的比率；
S402，特征提取网络输出的3层特征图P 3，P 4，P 5的比例尺大小分别是 150，250，350个像素；
S403，添加六个角度-15°，-30°，-45°，-60°，-75°，-90°以控制方向，
每个特征图的每个特征点将生成36个锚点(1×6×6)，将锚点送入RPN 网络，每个回归层108个输出(3×36)，以及每个分类层72个输出(2×36)。
优选地，所述步骤S5进一步包括：
候选区域置信度重计分的网络及结构分为RNN和Self-Attention两部分；
S501，RNN部分：提取每个候选区域的置信度和坐标为特征向量，作为双向堆叠循环神经网络的输入，假设输入的是特征FRNN，
Figure RE-GDA0002620379030000041
其中Mi表示第i个双向RNN的维数，N表示输入序列长度，其输出Foutput也是一个长度为N的序列， Foutput＝[Foutput(1)，Foutput(2)，…，Foutput(N)]，其中序列中第k个候选区域所对应的向量表示为：
Figure RE-GDA0002620379030000042
其中，f(·)表示激活函数，
Figure RE-GDA0002620379030000043
表示对应于第i个双向RNN中所包含的前向RNN的隐藏层输出矩阵，
Figure RE-GDA0002620379030000044
表示第i个双向RNN中所包含的前向RNN中所包含的第k个隐藏层状态，同样地，
Figure RE-GDA0002620379030000045
表示对应于第i个双向RNN中所包含的后向RNN的隐藏层输出矩阵，
Figure RE-GDA0002620379030000046
表示第i个双向RNN中所包含的后向RNN 中所包含的第k个隐藏层状态，bFi表示第i个双向RNN的输出层偏置；
S502，Self-Attention部分：对于每个元素i，自注意力机制将整个序列表示为角度的向量ci，由向量序列ci的所有隐藏向量的平均值加权再对齐得出的置信度分数为：
Figure RE-GDA0002620379030000047
其中，L是输入序列的长度，hj是元素j的隐藏向量，而αij是元素i和元素j 之间的对齐的权重。权重αij是通过Softmax计算为：
Figure RE-GDA0002620379030000048
其中，exp(score(hi，hj))衡量hi和hj向量之间的对齐程度，具体使用缩放的向量点积函数，表示为：
Figure RE-GDA0002620379030000051
优选地，所述步骤S6进一步包括：
S601，对每个候选区域的特征图，拉平成为一维向量，经过ReLU函数，最后分别经过两个全连接层，一个经过Softmax对候选区域进行分类；另一个进行检测框坐标的更精确的回归；
S602，所述遥感船舶目标检测网络的损失函数表达式为：
Figure RE-GDA0002620379030000052
其中，li表示物体的标签，pi表示由Softmax函数计算的各种类别的概率分布，ti表示预测的五个坐标矢量，
Figure RE-GDA0002620379030000056
表示与预测区域对应的真值检测框的坐标， N表示类别的个数，本方法只有船舶一类数据，即Ncls＝Nreg＝1，超参数λ控制两个损失之间的平衡，本方法均使用λ＝1，另外，函数Lcls和Lreg定义为：
Lcls(p，l)＝-logpl
Figure RE-GDA0002620379030000053
Figure RE-GDA0002620379030000054
S603，初始化上述模型中所有待训练的权重及偏置，设置训练参数，包括学习率、batch_size、RPN和Fast R-CNN网络各自的正负样本的阈值等，开启模型训练。
优选地，所述步骤S8进一步包括：
计算遥感船舶目标的召回率(Recall)、精准率(Precision)、平均精度(Ap) 和F-measure，
S801，遥感船舶测试样本的召回率计算为：
Figure RE-GDA0002620379030000055
其中，TP(True positives)是正样本被正确识别为正样本，船舶的图片被正确的识别成了船舶，P是所有真值样本；
S802，遥感船舶测试样本的精准率可计算为：
Figure RE-GDA0002620379030000061
其中，TP(True positives)是正样本被正确识别为正样本，船舶的图片被正确的识别成了船舶，FP(False positives)是假的正样本，即负样本被错误识别为正样本，船舶的图片被错误地识别成了其他类别；
S803，平均精度是在各种IoU阈值(0.5，0.55，...，0.95)下分别由每个类别计算的，首先要把结果按照置信度排序，通过在11个等距水平轴上召回率的平均内插精度，估算插值的准确率-召回率曲线下的面积，平均精度可计算为：
Figure RE-GDA0002620379030000062
其中，r是召回率，c是给定的类别的数目，在本方法中c是船舶一类，t 是IoU的阈值。另外，pinterp(r)可计算为：
Figure RE-GDA0002620379030000063
通过将每次召回率r的准确率重新分配给更高召回率的最大精度，使该曲线单调递减；
S804，遥感船舶测试样本的F-measure可计算为：
Figure RE-GDA0002620379030000064
Precision和recall是上面说明的精准率和召回率。
采用本发明具有如下的有益效果：
(1)本发明实施和传统的目标检测模型的水平锚点不同，重新定义矩形锚点框的表示形式，以便首先获得“旋转边界框”。由于遥感船舶目标具有长宽比大的特性，水平边界框会带来很多实际上不属于船舶的多余像素，这将使最终的定位结果不准确。另外，由于遥感船舶图片具有密集特性，密集船舶的水平边界框之间可能具有较大的IOU，会使其中的一个的检测框在NMS算法中被过滤掉，导致正确的候选区域被丢弃。我们设计出适合的比率和角度这三个参数来生成锚点，以便更有效地覆盖对象，避免以上问题的出现。
(2)本发明实施例对于在NMS算法阶段，添加双向堆叠循环神经网络和自注意力机制，修改候选区域的置信度。对于遥感船舶图片，经过观察统计，图片中的船舶边界框的角度参数之间具有排放朝向方向一致的规律；也就是说，同一张图片中船舶边界框的角度趋于相近。所以我们考虑一种简单的后处理策略：固定预测边界框的类别和位置，仅更改其置信度，对置信度进行重新计分。遥感船舶的角度一致的物理特性可以帮助我们更好的利用角度这一参数进行更好的回归，对船舶目标的定位进行更准确的预测。
附图说明
图1为本发明实施例的基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法的步骤流程图；
图2为本发明实施例的对候选区域置信度重计分结构的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，为本发明公开了一种基于特征金字塔网络的多角度遥感船舶图像目标检测方法，具体实施步骤如下：
S1，在Google Earth卫星地图上公开收集的遥感卫星船舶图像，为了体现遥感船舶数据集场景的多样性和丰富性，在全球范围内选取了包含著名港口、民用码头、军事基地、近海岸区域、远海和湖泊等场景的船舶图片，并对每个船舶目标的类别和坐标进行样本标注；
S2，将大场景的数据集图片剪裁成重叠率为20％的1000×1000像素大小的图片，从而改善模型读入大图片困难的问题。对剪裁后的图片经过负样本处理，删除没有目标船舶的图片。为了提高模型的泛化能力，对数据集水平翻转、旋转进行数据扩增。在训练集和测试集的选取过程中，保证所选取的训练集样本和测试集样本涵盖各个遥感船舶场景。训练集和测试集样本数的比例为7：3。
S3，使用特征金字塔网络(Feature Pyramid Networks，FPN)结构提取遥感船舶样本的特征。特征金字塔结构的低级特征语义信息相对较少，但目标定位准确。相反，高级特征语义信息丰富，但是目标位置相对模糊。而特征金字塔是融合多级信息，是有效的多尺度方法，并在小物体检测任务中取得了很好的结果。该金字塔通过自上而下的路径和横向连接进行连接，最后输出的后序预测不共享的分类和回归的参数，每一层的输出都是独立的，这样生成的特征图可以生成更多信息。这样的特征提取网络融合了多层特征信息，获得了更加鲁棒的高层语义特征。
S4，在RPN阶段在锚点中添加角度参数；传统的目标检测模型的锚点都是水平检测框，在常规目标物体的检测上是足够的并且可以取得满意的效果。但是，这些传统的目标检测器对局部的一些长宽比较大的目标受限。遥感船舶目标具有长宽比大的特性，水平边界框会带来很多实际上不属于船舶的多余像素，这将使最终的定位结果不准确。另外，当两个大长宽比的目标船舶并排放置时，它们的水平边界框之间可能具有较大的IOU，这将导致其中的一个在NMS算法中被过滤掉，导致正确的候选区域被丢弃。为了实现对长宽比大的遥感船舶的检测，我们在RPN网络阶段重新定义矩形锚点框的表示形式，以便首先获得“旋转边界框”。
S5，搭建含有Self-Attention的双向堆叠RNN的候选区域置信度重计分网络；双向RNN可以更好的利用图片中船舶目标的角度一致的物理结构特性这一先验，即在预测的时候可以利用图片中所有候选区域的角度信息。本发明实施例使用堆叠双向循环神经网络，使模型具备一定深度。按这种方式组织的模型可以更好的依赖数据的上下文逐步抽象出高层的结构特征，并且各双向循环神经网络层内部的隐状态蕴含了不同层次的结构表示。在上述基础应用自注意力模型，注意力模型可更好的突出可分性特征，压制不太相关的特征，即在预测置信度的时候考虑加强角度更趋于均值的候选区域的权重，减少角度参数与均值相差大的候选区域的权重。
S6，搭建Fast R-CNN网络；最后输出通过Soffmax的分类结果和回归的坐标参数结果。
S7，对由S1采集到的测试数据进行训练阶段的步骤S2预处理操作；
S8，将经过S7处理的样本送入S3、S4、S5和S6构建的模型中进行测试求得结果，即最后经过Fast R-CNN输出分类与回归的结果。
经过上述8个步骤，即可得到本发明所提出的一种基于特征金字塔网络的多角度遥感船舶图像目标检测模型。
具体应用实例中，所述步骤S3进一步包括：
首先选用ResNet-101残差网络对输入遥感卫星图像进行特征提取，选择最后4个残差模块的最后一层的特征图构建自底而上的网络。然后通过横向连接和自顶而下的上采样得到3层特征图，形成自顶而下的网络。对于自顶而下的网络，输入包括自底而上网络中对应层的特征图经过1×1的卷积的输出和相邻上层上采样后的输出。最终由自顶而下网络的3层P 3，P 4，P 5同时作为特征提取网络的输出。
后序的预测每层之间不共享的分类和回归的参数，每一层的输出都是独立的，这样生成的特征图可以生成更多的多尺度信息。
具体应用实例中，所述步骤S4进一步包括：
我们在RPN网络阶段使用旋转锚点，综合统计了数据集中船舶的长宽比，设置比例、比率和角度这三个参数来生成旋转锚点。
S401，设置锚点的长宽比为1∶3，3∶1，1∶5，5∶1，1∶7，7∶1的比率；
S402，特征提取网络输出的3层特征图P 3，P 4，P 5的比例尺大小分别是 150，250，350个像素；
S403，添加六个角度-15°，-30°，-45°，-60°，-75°，-90°以控制方向。
每个特征图的每个特征点将生成36个锚点(1×6×6)，将锚点送入RPN 网络，每个回归层108个输出(3×36)，以及每个分类层72个输出(2×36)。这些锚点具有遥感船舶的大长宽比的特性。
具体应用实例中，参加图2，所述步骤S5进一步包括：
候选区域置信度重计分的网络及结构分为RNN和Self-Attention两部分；
S501，RNN部分：提取每个候选区域的置信度和坐标为特征向量，作为双向堆叠循环神经网络的输入，假设输入的是特征FRNN，
Figure RE-GDA0002620379030000101
其中Mi表示第i个双向RNN的维数，N表示输入序列长度，其输出Foutput也是一个长度为N的序列， Foutput＝[Foutput(1)，Foutput(2)，…，Foutput(N)]，其中序列中第k个候选区域所对应的向量表示为：
Figure RE-GDA0002620379030000102
其中，f(·)表示激活函数，
Figure RE-GDA0002620379030000103
表示对应于第i个双向RNN中所包含的前向RNN的隐藏层输出矩阵，
Figure RE-GDA0002620379030000104
表示第i个双向RNN中所包含的前向RNN中所包含的第k个隐藏层状态，同样地，
Figure RE-GDA0002620379030000105
表示对应于第i个双向RNN中所包含的后向RNN的隐藏层输出矩阵，
Figure RE-GDA0002620379030000106
表示第i个双向RNN中所包含的后向RNN 中所包含的第k个隐藏层状态，bFi表示第i个双向RNN的输出层偏置；
S502，Self-Attention部分：对于每个元素i，自注意力机制将整个序列表示为角度的向量ci，由向量序列ci的所有隐藏向量的平均值加权再对齐得出的置信度分数为：
Figure RE-GDA0002620379030000111
其中，L是输入序列的长度，hj是元素j的隐藏向量，而αij是元素i和元素j 之间的对齐的权重。权重αij是通过Softmax计算为：
Figure RE-GDA0002620379030000112
其中，exp(score(hi，hj))衡量hi和hj向量之间的对齐程度，具体使用缩放的向量点积函数，表示为：
Figure RE-GDA0002620379030000113
具体应用实例中，所述步骤S6进一步包括：
S601，对每个候选区域的特征图，拉平成为一维向量，经过ReLU函数，最后分别经过两个全连接层，一个经过Softmax对候选区域进行分类；另一个进行检测框坐标的更精确的回归。
S602，所述遥感船舶目标检测网络的损失函数表达式为：
Figure RE-GDA0002620379030000114
其中，li表示物体的标签，pi表示由Softmax函数计算的各种类别的概率分布，ti表示预测的五个坐标矢量，
Figure RE-GDA0002620379030000115
表示与预测区域对应的真值检测框的坐标。 N表示类别的个数，本方法只有船舶一类数据，即Ncls＝Nreg＝1，超参数λ控制两个损失之间的平衡，本方法均使用λ＝1。另外，函数Lcls和Lreg定义为：
Lcls(p，l)＝-log pl
Figure RE-GDA0002620379030000116
Figure RE-GDA0002620379030000117
S603，初始化上述模型中所有待训练的权重及偏置，设置训练参数，包括学习率、batch_size、RPN和Fast R-CNN网络各自的正负样本的阈值等，开启模型训练。
具体应用实例中，所述步骤S8进一步包括：
计算遥感船舶目标的召回率(Recall)、精准率(Precision)、平均精度(Ap) 和F-measure。
S801，遥感船舶测试样本的召回率可计算为：
Figure RE-GDA0002620379030000121
其中，TP(True positives)是正样本被正确识别为正样本，船舶的图片被正确的识别成了船舶。P是所有真值样本。
S802，遥感船舶测试样本的精准率可计算为：
Figure RE-GDA0002620379030000122
其中，TP(True positives)是正样本被正确识别为正样本，船舶的图片被正确的识别成了船舶。FP(False positives)是假的正样本，即负样本被错误识别为正样本，船舶的图片被错误地识别成了其他类别。
S803，平均精度是在各种IoU阈值(0.5，0.55，...，0.95)下分别由每个类别计算的，首先要把结果按照置信度排序，通过在11个等距水平轴上召回率的平均内插精度，估算插值的准确率-召回率曲线下的面积。平均精度可计算为：
Figure RE-GDA0002620379030000123
其中，r是召回率，c是给定的类别的数目，在本方法中c是船舶一类，t 是IoU的阈值。另外，pinterp(r)可计算为：
Figure RE-GDA0002620379030000124
通过将每次召回率r的准确率重新分配给更高召回率的最大精度，使该曲线单调递减。
S804，遥感船舶测试样本的F-measure可计算为：
Figure RE-GDA0002620379030000131
Precision和recall是上面说明的精准率和召回率。
应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (7)

1.一种基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法，其特征在于，包括以下步骤：
S1，收集遥感卫星船舶图像数据集，并进行样本标注；
S2，对经过S1所提取的数据集中的样本进行数据预处理；
S3，用经过特征金字塔网络对预处理后的样本进行特征提取；
S4，给水平锚点添加角度参数，设置为旋转锚点，再送入RPN网络；
S5，搭建RNN网络融合Self-Attention，对候选区域的置信度进行重计分；
S6，搭建Fast R-CNN网络；
S7，对由S1采集到的测试数据进行训练阶段的步骤S2预处理操作；
S8，将经过S7处理的样本送入S3、S4、S5和S6构建的模型中进行测试求得结果，即最后经过Fast R-CNN输出分类与回归的结果。
2.如权利要求1所述的基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法，其特征在于，所述步骤S1进一步包括：
S101，从Google Earth卫星地图上收集含有船舶目标的港口、远海、码头和湖泊等地的遥感卫星图片，作为训练图像；
S102，标注训练图像中所有船舶目标的类别和位置坐标，得到标注目标。
优选地，所述步骤S2进一步包括：
S201，将训练图像剪裁为1000×1000大小的图片，重叠率为20％；
S202，去除剪裁后训练集中的负样本；
S203，对图片进行水平翻转、旋转处理，形成完整的训练数据集。
3.如权利要求1所述的基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法，其特征在于，所述步骤S3进一步包括：
首先选用ResNet-101残差网络对输入遥感卫星图像进行特征提取，选择最后4个残差模块的最后一层的特征图构建自底而上的网络；然后通过横向连接和自顶而下的上采样得到3层特征图，形成自顶而下的网络；对于自顶而下的网络，输入包括自底而上网络中对应层的特征图经过1×1的卷积的输出和相邻上层上采样后的输出；最终由自顶而下网络的3层P3，P4，P5同时作为特征提取网络的输出。
4.如权利要求1所述的基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法，其特征在于，所述步骤S4进一步包括：
通过设置比例、比率和角度这三个参数来生成旋转锚点，
S401，设置锚点的长宽比为1：3，3：1，1：5，5：1，1：7，7：1的比率；
S402，特征提取网络输出的3层特征图P3，P4，P5的比例尺大小分别是150，250，350个像素；
S403，添加六个角度-15°，-30°，-45°，-60°，-75°，-90°以控制方向，
每个特征图的每个特征点将生成36个锚点(1×6×6)，将锚点送入RPN网络，每个回归层108个输出(3×36)，以及每个分类层72个输出(2×36)。
5.如权利要求1所述的基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法，其特征在于，所述步骤S5进一步包括：
候选区域置信度重计分的网络及结构分为RNN和Self-Attention两部分；
S501，RNN部分：提取每个候选区域的置信度和坐标为特征向量，作为双向堆叠循环神经网络的输入，假设输入的是特征FRNN，
Figure RE-FDA0002593324630000021
其中Mi表示第i个双向RNN的维数，N表示输入序列长度，其输出Foutput也是一个长度为N的序列，Foutput＝[Foutput(1)，Foutput(2)，…,Foutput(N)]，其中序列中第k个候选区域所对应的向量表示为：
Figure RE-FDA0002593324630000022
其中，f(·)表示激活函数，
Figure RE-FDA0002593324630000023
表示对应于第i个双向RNN中所包含的前向RNN的隐藏层输出矩阵，
Figure RE-FDA0002593324630000024
表示第i个双向RNN中所包含的前向RNN中所包含的第k个隐藏层状态，同样地，
Figure RE-FDA0002593324630000031
表示对应于第i个双向RNN中所包含的后向RNN的隐藏层输出矩阵，
Figure RE-FDA0002593324630000032
表示第i个双向RNN中所包含的后向RNN中所包含的第k个隐藏层状态，bFi表示第i个双向RNN的输出层偏置；
S502，Self-Attention部分：对于每个元素i，自注意力机制将整个序列表示为角度的向量ci，由向量序列ci的所有隐藏向量的平均值加权再对齐得出的置信度分数为：
Figure RE-FDA0002593324630000033
其中，L是输入序列的长度，hj是元素j的隐藏向量，而αij是元素i和元素j之间的对齐的权重，权重αij是通过Softmax计算为：
Figure RE-FDA0002593324630000034
其中，exp(score(hi,hj))衡量hi和hj向量之间的对齐程度，具体使用缩放的向量点积函数，表示为：
Figure RE-FDA0002593324630000035
6.如权利要求1所述的基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法，其特征在于，所述步骤S6进一步包括：
S601，对每个候选区域的特征图，拉平成为一维向量，经过ReLU函数，最后分别经过两个全连接层，一个经过Softmax对候选区域进行分类；另一个进行检测框坐标的更精确的回归；
S602，所述遥感船舶目标检测网络的损失函数表达式为：
Figure RE-FDA0002593324630000036
其中，li表示物体的标签，pi表示由Softmax函数计算的各种类别的概率分布，ti表示预测的五个坐标矢量，
Figure RE-FDA0002593324630000041
表示与预测区域对应的真值检测框的坐标，N表示类别的个数，本方法只有船舶一类数据，即Ncls＝Nreg＝1，超参数λ控制两个损失之间的平衡，本方法均使用λ＝1，另外，函数Lcls和Lreg定义为：
Lcls(p,l)＝-logpl
Figure RE-FDA0002593324630000042
Figure RE-FDA0002593324630000043
S603，初始化上述模型中所有待训练的权重及偏置，设置训练参数，包括学习率、batch_size、RPN和Fast R-CNN网络各自的正负样本的阈值等，开启模型训练。
7.如权利要求1所述的基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法，其特征在于，所述步骤S8进一步包括：
计算遥感船舶目标的召回率(Recall)、精准率(Precision)、平均精度(Ap)和F-measure，
S801，遥感船舶测试样本的召回率计算为：
Figure RE-FDA0002593324630000044
其中，TP(True positives)是正样本被正确识别为正样本，船舶的图片被正确的识别成了船舶，P是所有真值样本；
S802，遥感船舶测试样本的精准率可计算为：
Figure RE-FDA0002593324630000045
其中，TP(True positives)是正样本被正确识别为正样本，船舶的图片被正确的识别成了船舶，FP(False positives)是假的正样本，即负样本被错误识别为正样本，船舶的图片被错误地识别成了其他类别；
S803，平均精度是在各种IoU阈值(0.5,0.55，...，0.95)下分别由每个类别计算的，首先要把结果按照置信度排序，通过在11个等距水平轴上召回率的平均内插精度，估算插值的准确率-召回率曲线下的面积，平均精度可计算为：
Figure RE-FDA0002593324630000051
其中，r是召回率，c是给定的类别的数目，在本方法中c是船舶一类，t是IoU的阈值。另外，pinterp(r)可计算为：
Figure RE-FDA0002593324630000052
通过将每次召回率r的准确率重新分配给更高召回率的最大精度，使该曲线单调递减；
S804，遥感船舶测试样本的F-measure可计算为：
Figure RE-FDA0002593324630000053
Precision和recall是上面说明的精准率和召回率。
CN202010521534.4A 2020-06-10 2020-06-10 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法 Active CN111738112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010521534.4A CN111738112B (zh) 2020-06-10 2020-06-10 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010521534.4A CN111738112B (zh) 2020-06-10 2020-06-10 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法

Publications (2)

Publication Number Publication Date
CN111738112A true CN111738112A (zh) 2020-10-02
CN111738112B CN111738112B (zh) 2023-07-07

Family

ID=72648589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010521534.4A Active CN111738112B (zh) 2020-06-10 2020-06-10 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法

Country Status (1)

Country Link
CN (1) CN111738112B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418028A (zh) * 2020-11-11 2021-02-26 上海交通大学 一种基于深度学习的卫星图像中船舶识别与分割方法
CN112508848A (zh) * 2020-11-06 2021-03-16 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN112800932A (zh) * 2021-01-25 2021-05-14 上海海事大学 海上背景下显著船舶目标的检测方法及电子设备
CN112800955A (zh) * 2021-01-27 2021-05-14 中国人民解放军战略支援部队信息工程大学 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统
CN112906685A (zh) * 2021-03-04 2021-06-04 重庆赛迪奇智人工智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN112927207A (zh) * 2021-03-02 2021-06-08 精英数智科技股份有限公司 实例分割探杆检测方法及装置
CN113033482A (zh) * 2021-04-20 2021-06-25 上海应用技术大学 一种基于区域注意力的交通标志检测方法
CN113057647A (zh) * 2021-03-25 2021-07-02 山东省人工智能研究院 一种心电信号的质量评估方法
CN113569720A (zh) * 2021-07-26 2021-10-29 南京航空航天大学 一种舰船检测方法、系统及装置
CN114821356A (zh) * 2022-04-24 2022-07-29 中国人民解放军空军工程大学 一种精确定位的光学遥感目标检测方法
CN114913504A (zh) * 2022-04-14 2022-08-16 浙江中烟工业有限责任公司 一种融合自注意力机制的遥感图像的车辆目标识别方法
CN114972976A (zh) * 2022-07-29 2022-08-30 之江实验室 基于频域自注意力机制的夜间目标检测、训练方法及装置
CN117009925A (zh) * 2023-10-07 2023-11-07 北京华电电子商务科技有限公司 一种基于方面的多模态情感分析系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508642A (zh) * 2018-10-17 2019-03-22 杭州电子科技大学 基于双向gru和注意力机制的船舶监控视频关键帧提取方法
CN109766823A (zh) * 2019-01-07 2019-05-17 浙江大学 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
US20200160061A1 (en) * 2017-12-11 2020-05-21 Zhuhai Da Hengqin Technology Development Co., Ltd. Automatic ship tracking method and system based on deep learning network and mean shift

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200160061A1 (en) * 2017-12-11 2020-05-21 Zhuhai Da Hengqin Technology Development Co., Ltd. Automatic ship tracking method and system based on deep learning network and mean shift
CN109508642A (zh) * 2018-10-17 2019-03-22 杭州电子科技大学 基于双向gru和注意力机制的船舶监控视频关键帧提取方法
CN109766823A (zh) * 2019-01-07 2019-05-17 浙江大学 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TENGFEI WANG ET AL.: "Cnn Based Renormalization Method for Ship Detection in Vhr Remote Sensing Images", 《IGARSS 2018 - 2018 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
李笋: "高分辨率光学遥感图像舰船目标检测关键技术研究", 《知网》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508848A (zh) * 2020-11-06 2021-03-16 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN112508848B (zh) * 2020-11-06 2024-03-26 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN112418028A (zh) * 2020-11-11 2021-02-26 上海交通大学 一种基于深度学习的卫星图像中船舶识别与分割方法
CN112800932A (zh) * 2021-01-25 2021-05-14 上海海事大学 海上背景下显著船舶目标的检测方法及电子设备
CN112800932B (zh) * 2021-01-25 2023-10-03 上海海事大学 海上背景下显著船舶目标的检测方法及电子设备
CN112800955A (zh) * 2021-01-27 2021-05-14 中国人民解放军战略支援部队信息工程大学 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统
CN112927207B (zh) * 2021-03-02 2022-06-14 精英数智科技股份有限公司 实例分割探杆检测方法及装置
CN112927207A (zh) * 2021-03-02 2021-06-08 精英数智科技股份有限公司 实例分割探杆检测方法及装置
CN112906685A (zh) * 2021-03-04 2021-06-04 重庆赛迪奇智人工智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN112906685B (zh) * 2021-03-04 2024-03-26 重庆赛迪奇智人工智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN113057647A (zh) * 2021-03-25 2021-07-02 山东省人工智能研究院 一种心电信号的质量评估方法
CN113033482A (zh) * 2021-04-20 2021-06-25 上海应用技术大学 一种基于区域注意力的交通标志检测方法
CN113033482B (zh) * 2021-04-20 2024-01-30 上海应用技术大学 一种基于区域注意力的交通标志检测方法
CN113569720A (zh) * 2021-07-26 2021-10-29 南京航空航天大学 一种舰船检测方法、系统及装置
CN113569720B (zh) * 2021-07-26 2024-03-08 南京航空航天大学 一种舰船检测方法、系统及装置
CN114913504A (zh) * 2022-04-14 2022-08-16 浙江中烟工业有限责任公司 一种融合自注意力机制的遥感图像的车辆目标识别方法
CN114821356A (zh) * 2022-04-24 2022-07-29 中国人民解放军空军工程大学 一种精确定位的光学遥感目标检测方法
CN114821356B (zh) * 2022-04-24 2024-05-28 中国人民解放军空军工程大学 一种精确定位的光学遥感目标检测方法
CN114972976B (zh) * 2022-07-29 2022-12-20 之江实验室 基于频域自注意力机制的夜间目标检测、训练方法及装置
CN114972976A (zh) * 2022-07-29 2022-08-30 之江实验室 基于频域自注意力机制的夜间目标检测、训练方法及装置
CN117009925B (zh) * 2023-10-07 2023-12-15 北京华电电子商务科技有限公司 一种基于方面的多模态情感分析系统和方法
CN117009925A (zh) * 2023-10-07 2023-11-07 北京华电电子商务科技有限公司 一种基于方面的多模态情感分析系统和方法

Also Published As

Publication number Publication date
CN111738112B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
Zhang et al. Balance learning for ship detection from synthetic aperture radar remote sensing imagery
CN112308019B (zh) 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN111753677B (zh) 基于特征金字塔结构的多角度遥感船舶图像目标检测方法
Gasienica-Jozkowy et al. An ensemble deep learning method with optimized weights for drone-based water rescue and surveillance
Wu et al. Inshore ship detection based on convolutional neural network in optical satellite images
CN109598241B (zh) 基于Faster R-CNN的卫星图像海上舰船识别方法
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
CN110796048B (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN108052940A (zh) 基于深度学习的sar遥感图像水面目标检测方法
CN112560671B (zh) 基于旋转卷积神经网络的船舶检测方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN115147594A (zh) 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法
CN115035361B (zh) 基于注意力机制和特征交叉融合的目标检测方法及系统
Wang et al. Ship detection based on fused features and rebuilt YOLOv3 networks in optical remote-sensing images
CN111898633A (zh) 一种基于高光谱图像的海上舰船目标检测方法
CN114612769B (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
Golovko et al. Development of solar panels detector
CN116563726A (zh) 一种基于卷积神经网络的遥感图像舰船目标检测方法
Li et al. Real-time underwater target detection for AUV using side scan sonar images based on deep learning
CN111723632A (zh) 一种基于孪生网络的船舶跟踪方法及系统
CN114565824B (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN116363526A (zh) MROCNet模型构建与多源遥感影像变化检测方法及系统
Shi et al. Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles
CN112508848B (zh) 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant