CN113536936A - 一种舰船目标检测方法及系统 - Google Patents

一种舰船目标检测方法及系统 Download PDF

Info

Publication number
CN113536936A
CN113536936A CN202110671595.3A CN202110671595A CN113536936A CN 113536936 A CN113536936 A CN 113536936A CN 202110671595 A CN202110671595 A CN 202110671595A CN 113536936 A CN113536936 A CN 113536936A
Authority
CN
China
Prior art keywords
target detection
detection model
network
training
rotating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110671595.3A
Other languages
English (en)
Other versions
CN113536936B (zh
Inventor
李健伟
徐从安
邓向阳
何明
苏航
周伟
孙炜玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
School Of Aeronautical Combat Service Naval Aeronautical University Of People's Liberation Army
Original Assignee
School Of Aeronautical Combat Service Naval Aeronautical University Of People's Liberation Army
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by School Of Aeronautical Combat Service Naval Aeronautical University Of People's Liberation Army filed Critical School Of Aeronautical Combat Service Naval Aeronautical University Of People's Liberation Army
Priority to CN202110671595.3A priority Critical patent/CN113536936B/zh
Publication of CN113536936A publication Critical patent/CN113536936A/zh
Application granted granted Critical
Publication of CN113536936B publication Critical patent/CN113536936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种舰船目标检测方法及系统，该方法包括：构建目标检测模型的网络结构：循环特征金字塔网络的输入为ResNet网络中各残差单元的最后一层特征图，输出各残差单元的融合特征图；各残差单元的融合特征图输入旋转区域建议网络，输出与旋转锚框对应的融合特征图，旋转锚框对应的融合特征图输入到多比例可旋转RoI池化层，输出连接全连接层；多比例可旋转RoI池化层用于生成固定长度的向量；训练目标检测模型；将待检测合成孔径雷达图像输入训练好的目标检测模型，获得目标检测结果；目标检测结果包括目标的角度、类别和位置。本发明实现不同尺度和不同角度的船舰目标检测，提高了检测准确度。

Description

一种舰船目标检测方法及系统
技术领域
本发明涉及目标检测技术领域，特别是涉及一种舰船目标检测方法及系统。
背景技术
合成孔径雷达(SyntheticAperture Radar，SAR)是一种高分辨率的传感器，能够全天时、全天候的工作。利用SAR图像对海面舰船目标检测是军事和民用领域非常重要的一项关键技术。传统方法大多采用恒虚警率(Constant False-Alarm Rate，CFAR)为主的检测方法。该类算法根据目标和背景像素存在散射亮度差这一事实，利用给定的虚警率，根据杂波的局部统计特性来自适应的确定判决门限，实现目标的检测。但是当SAR图像背景比较复杂时，检测算法会存在大量虚警或者漏警的情况。随着基于深度学习的目标检测技术的出现，国内外大量的研究人员将此类算法用于SAR图像舰船目标检测，取得了非常好的效果。但是基于深度学习的目标检测算法针对的是自然场景的目标(例如人、车、动物等)，此类目标基本上是与地面垂直的，因此采用的目标边框也是垂直的。而SAR图像中的舰船目标由于是俯视图，会存在多种旋转角度，此时仍用垂直边框会存在边框不够紧致，影响分类和定位精度的问题。
发明内容
本发明的目的是提供一种舰船目标检测方法及系统，以提高目标检测的准确性。
为实现上述目的，本发明提供了如下方案：
一种舰船目标检测方法，包括：
构建目标检测模型的网络结构：所述网络结构包括ResNet网络、循环特征金字塔网络、旋转区域建议网络、多比例可旋转RoI池化层和全连接层；所述循环特征金字塔网络的输入为ResNet网络中各残差单元的最后一层特征图，将ResNet网络中各残差单元的最后一层特征图与相邻残差单元的最后一层特征图进行融合，输出各残差单元的融合特征图；各残差单元的融合特征图输入所述旋转区域建议网络，所述旋转区域建议网络输出与旋转锚框对应的融合特征图，旋转锚框对应的融合特征图输入到所述多比例可旋转RoI池化层，所述多比例可旋转RoI池化层的输出连接全连接层；所述多比例可旋转RoI池化层用于生成固定长度的向量；
训练所述目标检测模型；
将待检测合成孔径雷达图像输入训练好的所述目标检测模型，获得目标检测结果；所述目标检测结果包括目标的角度、类别和位置。
可选地，所述旋转锚框的长宽比包括1:1、1:3、3:1、1:5、5:1、1:7、7:1、1:9和9:1，所述旋转锚框的角度包括
Figure BDA0003119520610000021
可选地，所述训练所述目标检测模型，具体包括：
从ImageNet数据库中提取图像，获得分类数据集；
利用所述分类数据集训练所述目标检测模型中所述ResNet网络，获得加载所述ResNet网络模型参数的所述目标检测模型；
采用Xavier函数对加载所述ResNet网络模型参数的所述目标检测模型中所述循环特征金字塔网络进行初始化，获得更新后的所述目标检测模型；
采用SSDD+数据集对更新后的所述目标检测模型进行训练，获得训练好的所述目标检测模型。
可选地，所述采用SSDD+数据集对更新后的所述目标检测模型进行训练，获得训练好的所述目标检测模型，具体包括：
采用SSDD+数据集对更新后的所述目标检测模型进行训练的过程中，通过损失函数计算预测值的真实值之间的误差，根据所述误差利用梯度下降法更新所述更新后的所述目标检测模型中参数，直到所述误差满足收敛条件，获得训练好的所述目标检测模型。
可选地，所述损失函数为基于角度回归的损失函数。
可选地，所述ResNet网络为ResNet-101网络。
本发明还公开了一种舰船目标检测系统，包括：
目标检测模型构建模块，用于构建目标检测模型的网络结构：所述网络结构包括ResNet网络、循环特征金字塔网络、旋转区域建议网络、多比例可旋转RoI池化层和全连接层；所述循环特征金字塔网络的输入为ResNet网络中各残差单元的最后一层特征图，将ResNet网络中各残差单元的最后一层特征图与相邻残差单元的最后一层特征图进行融合，输出各残差单元的融合特征图；各残差单元的融合特征图输入所述旋转区域建议网络，所述旋转区域建议网络输出与旋转锚框对应的融合特征图，旋转锚框对应的融合特征图输入到所述多比例可旋转RoI池化层，所述多比例可旋转RoI池化层的输出连接全连接层；所述多比例可旋转RoI池化层用于生成固定长度的向量；
目标检测模型训练模块，用于训练所述目标检测模型；
目标检测模型应用模块，用于将待检测合成孔径雷达图像输入训练好的所述目标检测模型，获得目标检测结果；所述目标检测结果包括目标的角度、类别和位置。
可选地，所述旋转锚框的长宽比包括1:1、1:3、3:1、1:5、5:1、1:7、7:1、1:9和9:1，所述旋转锚框的角度包括
Figure BDA0003119520610000031
可选地，所述目标检测模型训练模块，具体包括：
分类数据集获取单元，用于从ImageNet数据库中提取图像，获得分类数据集；
ResNet网络模型参数加载单元，用于利用所述分类数据集训练所述目标检测模型中所述ResNet网络，获得加载所述ResNet网络模型参数的所述目标检测模型；
循环特征金字塔网络初始化单元，用于采用Xavier函数对加载所述ResNet网络模型参数的所述目标检测模型中所述循环特征金字塔网络进行初始化，获得更新后的所述目标检测模型；
目标检测模型训练单元，用于采用SSDD+数据集对更新后的所述目标检测模型进行训练，获得训练好的所述目标检测模型。
可选地，所述目标检测模型训练单元，具体包括：
目标检测模型训练子单元，用于采用SSDD+数据集对更新后的所述目标检测模型进行训练的过程中，通过损失函数计算预测值的真实值之间的误差，根据所述误差利用梯度下降法更新所述更新后的所述目标检测模型中参数，直到所述误差满足收敛条件，获得训练好的所述目标检测模型。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过循环特征金字塔网络对各层特征图进行相互融合，丰富了特征图的信息，通过旋转区域建议网络输出与不同尺寸和旋转角度的旋转锚框对应的融合特征图，并通过多比例可旋转RoI池化层生成固定长度的向量，并通过全连接层得到包括目标的角度、类别和位置的目标检测结果，实现不同尺度和不同角度的船舰目标检测，提高了检测准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种舰船目标检测方法流程示意图；
图2为本发明通过目标检测模型体现一种舰船目标检测流程示意图；
图3为本发明目标检测模型训练过程示意图；
图4为本发明循环特征金字塔网络结构图；
图5为本发明融合特征图P4的融合过程示意图；
图6为本发明实施例一个多比例可旋转RoI池化示意图；
图7为是本发明实施例一个RoI池化和RRoI池化示意图；
图8为本发明实施例一个单个靠岸的舰船目标检测结果图；
图9为本发明实施例一个靠岸密集排列的舰船目标检测结果图；
图10为本发明实施例一个靠近码头密集的舰船目标检测结果图；
图11为本发明实施例一个港口内多种尺寸舰船目标检测结果图；
图12为本发明实施例小尺寸目标的检测效果图；
图13为本发明一种舰船目标检测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种舰船目标检测方法及系统，以提高目标检测的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种舰船目标检测方法流程示意图，如图1所示，一种舰船目标检测方法包括以下步骤：
步骤101：构建目标检测模型的网络结构：网络结构包括ResNet网络、循环特征金字塔网络、旋转区域建议网络、多比例可旋转RoI池化层和全连接层；循环特征金字塔网络的输入为ResNet网络中各残差单元的最后一层特征图，将ResNet网络中各残差单元的最后一层特征图与相邻残差单元的最后一层特征图进行融合，输出各残差单元的融合特征图；各残差单元的融合特征图输入旋转区域建议网络，旋转区域建议网络输出与旋转锚框对应的融合特征图，旋转锚框对应的融合特征图输入到多比例可旋转RoI池化层，多比例可旋转RoI池化层的输出连接全连接层；多比例可旋转RoI池化层用于生成固定长度的向量。全连接层用于目标类别预测、位置和角度回归。全连接层为Fast R-CNN中的全连接层。
ResNet网络为ResNet-101网络。循环特征金字塔网络中将ResNet-101网络的每个残差单元最后一层特征图(C2、C3、C4和C5)通过循环连接的方式进行融合处理，生成新的特征图(P2、P3、P4和P5)，如图4所示。
旋转边框(旋转锚框)是指在垂直边框(用中心点坐标、框长度和框宽度表示)的基础上增加旋转角度，使边框可以绕着中心点旋转，从而实现对舰船目标的紧致包围。
Faster R-CNN的RPN在特征图上产生锚框，每个锚框有尺寸和长宽比两个参数来限制它的形状，它们可以满足对PASCALVOC数据集中的目标的检测，能权衡好准确率和计算量的关系。但是Faster R-CNN锚框设计不适用于本发明所提出的基于旋转边框的SAR图像舰船目标检测算法，需要设计旋转锚框。
旋转锚框的长宽比包括1:1、1:3、3:1、1:5、5:1、1:7、7:1、1:9和9:1，旋转锚框的角度包括
Figure BDA0003119520610000061
RRPN(旋转区域建议网络)负责产生旋转的锚框，它用尺寸、长宽比和角度三个参数限制锚框，这些应该根据舰船目标的具体形状分布进行适应性的改变。所用长宽比为：1:1、1:3、3:1、1:5、5:1、1:7、7:1、1:9和9:1，选择角度为
Figure BDA0003119520610000062
来控制候选边框的角度。特征图上的每个点会产生54(9×6)个锚框，回归层会有270(54×5)个输出，分类层会有108(54×2)个输出。由于RFPN(循环特征金字塔网络)在多个尺度的特征图上进行预测，因此每个预测层产生的锚框只有一种尺寸。
多比例可旋转RoI池化在RRPN产生旋转锚框之后，需要将旋转候选窗口变成固定长度的向量，进而输入到全连接层用于目标类别预测、位置和角度回归。
多比例可旋转RoI池化包括两部分：第一是多比例特征图的划分，第二是可旋转的RoI(Rotatable RoI，RRoI)池化。多比例特征图的划分是指将旋转的候选区域按照多种比例划分成子区域，用于后面的RRoI。Faster R-CNN通过在每个特征图做7×7的划分，可对PASCALVOC中的目标划分的比较均匀。而SAR图像中有很多舰船目标长宽比大且具有不同的旋转角度，如果将它们进行7×7的划分，会使特征图发生形变，因此这里增加了11×3和3×11两种比例，这种划分可以适应舰船目标各种不同的旋转角度。本发明多比例可旋转RoI池化对输入的融合特征图进行7×7、11×3和3×11的划分，并将上述三种划分的RRoI池化结果进行聚合。
步骤102：训练目标检测模型。
其中，步骤102具体包括：
从ImageNet数据库中提取图像，获得分类数据集；
利用分类数据集训练目标检测模型中ResNet网络，获得加载ResNet网络模型参数的目标检测模型；
采用Xavier函数对加载ResNet网络模型参数的目标检测模型中循环特征金字塔网络进行初始化，获得更新后的目标检测模型；
采用SSDD+数据集对更新后的目标检测模型进行训练，获得训练好的目标检测模型。
采用SSDD+数据集对更新后的目标检测模型进行训练，获得训练好的目标检测模型，具体包括：
采用SSDD+数据集对更新后的目标检测模型进行训练的过程中，通过损失函数计算预测值的真实值之间的误差，根据误差利用梯度下降法更新更新后的目标检测模型中参数，直到误差满足收敛条件，获得训练好的目标检测模型。目标检测模型的训练过程如图3所示。
损失函数为基于角度回归的损失函数。分类和回归层会输出被检测目标的预测值(包括类别、位置和角度)，之后使用基于角度回归的损失函数计算预测值与真实值的误差，并将其用于模型参数更新。基于角度回归的损失函数主要增加了角度回归项，可以实现对基于旋转边框的检测算法的参数优化和角度预测。
步骤103：将待检测合成孔径雷达图像输入训练好的目标检测模型，获得目标检测结果；目标检测结果包括目标的角度、类别和位置。
目标的位置包括目标预测边框的中心点坐标、目标预测边框长边长和目标预测边框短边长。目标具体为舰船。
其中目标检测模型对输入图像的检测过程如图2所示。
本发明一种舰船目标检测方法具体为基于旋转边框的SAR图像舰船目标检测方法，能有效克服旋转边框包围SAR图像中的舰船目标不紧致，影响分类和定位精度的问题。它在垂直边框的基础上增加旋转角度信息，用循环特征金字塔网络RFPN实现对特征的有效融合，用旋转区域建议网络RRPN生成不同尺寸、长宽比和旋转角度的默认边框，通过多比例可旋转RoI池化层将旋转的候选区域变成固定长度的向量。最后采用基于角度回归的损失函数对模型进行训练。该方法方法相比于垂直边框具有更高的准确率，可同时检测不同尺度和不同场景的舰船目标。
下面详细说明本发明一种舰船目标检测方法。
本发明提出的一种舰船目标检测方法的检测流程如图2所示。该方法以Faster R-CNN为基础，包括用于特征提取的ResNet-101、用于特征融合的循环金字塔网络(RFPN)、旋转的候选区域提取网络(RRPN)、多比例可旋转RoI池化和基于角度回归的损失函数。RFPN能够通过循环连接的方式，多次组合来自前一层精细的特征和后一层粗糙的特征，得到的新特征图能同时具有丰富的语义信息和位置信息。RRPN是对RPN(区域建议网络)进行的改进，可以根据SAR图像的分布情况产生旋转锚框，产生的锚框不仅考虑了目标的尺寸、长宽比，也考虑到了旋转角度。多比例可旋转RoI池化是对RoI池化进行的改进，其用于精确地池化旋转特征图，从而得到精确的固定长度的向量。基于角度回归的损失函数通过在原损失函数的基础上增加角度回归项，在训练过程中通过产生的角度误差优化检测算法的模型。在Fast R-CNN阶段，会对旋转边框的类别进行判断，对位置(图3中预测值的x、y、w和h)和角度θ进行回归预测，(x,y)表示预测目标边框的中心坐标，w表示预测目标边框的长边长度，h表示预测目标边框的短边长度，得到的位置和角度通过可视化操作即可在图像上显示成旋转边框。
SAR图像首先输入到卷积层提取特征，形成特征图，并利用RFPN对特征图进行融合；特征图同时输入到RRPN和Fast R-CNN；RRPN在特征图上生成旋转候选窗口，旋转候选窗口经过多比例可旋转RoI池化，得到固定长度的向量，之后输入到Fast R-CNN的全连接层，之后输入到分类和回归层；分类和回归层对输入的特征向量进行计算，得到目标位置、类别和旋转角度的预测值；目标位置、类别和旋转角度的预测值送入到基于角度回归的损失函数，基于角度回归的损失函数根据目标位置、类别和角度的预测值与真实值的误差进行计算，并用梯度下降法优化神经元参数，使检测算法达到最优。
本发明提出的循环特征金字塔网络结构如图4所示。它将ResNet-101每个残差单元的最后一层特征图C2、C3、C4和C5通过循环连接的方式进行多次融合，使得到的新的特征图能同时具有丰富的语义信息和位置信息，RRPN在新的特征图上产生旋转锚框。图4中C2、C3、C4和C5代表ResNet-101的每个残差单元的最后一层特征图，尺寸分别是80×80、40×40、20×20和10×10，RFPN通过从上到下的方式实现，它包括上采样、下采样和聚合三个部分。RFPN会选择两个临近的尺度作为上采样和下采样的输入，之后对它们进行聚合，聚合之后通过1×1的卷积来减少通道个数。上采样用于引入高层语义特征，它们对于舰船的表示比较重要，上采样通过双线性插值实现，后面会连接一个卷积核为1×1，步长为1的卷积。下采样产生具有较多语义特征的特征图，它们对于检测小尺寸目标很重要。下采样通过一个最大池化(卷积核为2×2，步长为2)和一个卷积(卷积核为1×1，步长为1)实现。通过上采样和下采样得到的特征图与自己本身的特征图的聚合，可以在各个尺度上融合底层与高层的特征。
图5为本发明融合特征图P4的融合过程示意图，如图5所示，以生成P4为例，给出了特征融合的具体过程。首先对C3进行下采样，得到特征图尺寸为20×20×1024，对C5进行上采样得到特征图尺寸为20×20×1024。将上面得到的两个特征图与C4进行聚合，得到特征图尺寸为20×20×3072，用1×1卷积对通道个数进行降低，用来产生最终的P4的特征图，尺寸为20×20×1024。
与通过特征图C3、特征图C4和特征图C5融合获得融合特征图P4的融合过程类似，通过特征图C4和特征图C5融合获得融合特征图P5，通过特征图C2、特征图C3和特征图C4融合获得融合特征图P3，通过特征图C2和特征图C3融合获得融合特征图P2。
通过上述操作，新生成的每个特征图都有多分辨率的特征信息，既可以提高检测小尺寸目标的能力，也能提高对目标的定位精度。
本发明提出的候选区域提取网络用于生成具有旋转角度的锚框，该具有旋转角度的锚框可产生不同的尺寸、长宽比和旋转角度的候选区域，以适应旋转目标的检测。SAR图像舰船目标数据集SSDD+中大约有600个舰船的长宽比在1到2之间，这种现象的主要原因是小型舰船目标的电磁波后向散射作用导致距离向和方位向的旁瓣较大，难以像光学图像体现舰船目标的真实长宽比(光学图像中的大部分舰船检测算法会忽略1:1的长宽比)。同时也可看到数据集舰船目标长宽比小于1:11的也相当少。
因此，在常用的长宽比基础上，增加了1:1并去掉了1:11的长宽比，最终确定所用长宽比为：1:1、1:3、3:1、1:5、5:1、1:7、7:1、1:9和9:1。根据SSDD+数据集中旋转边框的旋转角度分布情况，选择角度为
Figure BDA0003119520610000101
来控制候选边框的角度，以产生不同方向的锚框。特征图上的每个点会产生54(9×6)个锚框，回归层会有270(54×5)个输出，分类层会有108(54×2)个输出。由于RFPN在多个尺度的特征图上进行预测，因此每个预测层产生的锚框只有一种尺寸。
本发明提出的多比例可旋转RoI池化如图6所示用于将旋转候选窗口变成固定长度的向量，进而输入到全连接层用于目标类别预测、位置和角度回归，用于更加精确地池化特征图，它主要包括两部分，第一是多比例特征图的划分，第二是可旋转的RoI(RotatableRoI，RRoI)池化。它首先将红色的特征区域通过多比例(7×7、11×3和3×11)划分，然后在每个比例下采用RRoI池化获得固定长度的向量，并将它们聚合成新的全连接层，通过分类和回归层输出目标的类别、位置和旋转角度。
多比例特征图的划分是指将旋转的候选区域按照多种比例划分成子区域，用于后面的RRoI。Faster R-CNN通过在每个特征图做7×7的划分，可对PASCAL VOC中的目标划分的比较均匀。而SAR图像中有很多舰船目标长宽比大且具有不同的旋转角度，如果将它们进行7×7的划分，会使特征图发生形变，因此这里增加了11×3和3×11两种比例，这种划分可以适应舰船目标各种不同的旋转角度。
RRoI是为旋转边框设计的RoI池化操作，用于将任意旋转方向的候选窗口的特征图提取成固定长度的向量，RRoI池化可实现对特征图位置进行精确地选取。RoI池化层最早用于Fast R-CNN中，它用于将不同形状的候选窗口固定长度的向量，它可取消对输入的候选区域尺寸的限制。为了在本章算法中使用RoI池化，这里将其改进以适应旋转边框。图7为RoI池化和RRoI池化的结构对比。图7中池化的区域为3×3，步长为2，通过RoI池化得到的特征图如正方形框所示，通过RRoI池化得到的特征图如倾斜第一角度的长方形框所示。正方形框内的7、7、9、8特征值均不属于旋转边框内，但是在进行RoI池化时它们都会被选中，而RRoI池化得到的特征值是6、6、8、5，这说明了图7中的RoI池化误差较大，RRoI池化得到的特征值更准确。
本发明提出的基于角度回归的损失函数在原损失函数的基础上增加了角度回归项，可以实现对基于旋转边框的检测算法的参数优化和角度预测。分类和回归层会输出被检测目标的预测值(包括类别、位置和角度)，基于角度回归的损失函数计算预测值与真实值的误差，并将其用于模型参数更新。
定义损失函数为
L(p,c,v*,v)＝Lcls(p,c)+λLreg(v*,v) (1)
式中，c代表类别标签，c＝1代表舰船，c＝0代表背景，p＝(p0,p1)是背景或者舰船的概率，p0表示背景的概率，p1表示舰船的概率，v＝(vx,vy,vh,vw,vθ)是预测结果，λ是用于权衡分类和检测的常数，默认λ＝1。
v＝(vx,vy,vh,vw,vθ)表示预测目标边框相较于锚框的尺度不变偏差，
Figure BDA0003119520610000111
为真实边框相较于锚框的尺度不变偏差。
具体来讲，vx表示预测目标边框中心的x轴坐标相较于锚框中心的x轴坐标的尺度不变偏差，vy表示预测目标边框中心的y轴坐标相较于锚框中心的y轴坐标的尺度不变偏差，vw表示预测目标边框的长边长度相较于锚框长边长度的尺度不变偏差，vh表示预测目标边框的短边长度相较于锚框短边长度的尺度不变偏差，vθ表示预测目标边框的角度相较于锚框角度的偏差，
Figure BDA0003119520610000112
表示真实目标边框中心的x轴坐标相较于锚框中心的x轴坐标的尺度不变偏差，
Figure BDA0003119520610000113
表示真实目标边框中心的y轴坐标相较于锚框中心的y轴坐标的尺度不变偏差，
Figure BDA0003119520610000114
表示真实目标边框的长边长度相较于锚框长边长度的尺度不变偏差，
Figure BDA0003119520610000115
表示真实目标边框的短边长度相较于锚框短边长度的尺度不变偏差，
Figure BDA0003119520610000116
表示真实目标边框的角度较于锚框角度的偏差。
类别c的分类损失为：
Lcls(p,c)＝-log pc (2)
式中，pc代表预测为类别c的概率。
Figure BDA0003119520610000117
用于边框回归，回归损失为：
Figure BDA0003119520610000121
上式中
Figure BDA0003119520610000122
Figure BDA0003119520610000123
的导数是
Figure BDA0003119520610000124
尺度不变参数v和v*计算方式如下
Figure BDA0003119520610000125
Figure BDA0003119520610000126
式中，x,xa和x*分别是预测边框、锚框和真实边框的中心点x轴坐标，y,h,w和θ也是同样道理，y,ya和y*分别是预测边框、锚框和真实边框的中心点y轴坐标，h,ha和h*分别是预测边框、锚框和真实边框的短边长度，w,wa和w*分别是预测边框、锚框和真实边框的长边长度，θ,θa和θ*分别是预测边框、锚框和真实边框的角度。
公式(6)和(7)增加了角度误差项，通过角度回归项实现对基于旋转边框的舰船目标检测算法的训练和预测。
利用Tensorflow深度学习框架进行实验，ResNet-101用的是在ImageNet预训练之后的结果。一共迭代80000次，前30000的学习率是0.001，之后30000是0.0001，最后20000次是0.00001。权重衰减和动量分别是0.0001和0.9，显卡是NVIDIA GTX 1080。
用AP11、APS、APM和APL来评估检测算法。AP11是指对召回率进行11个点的插值(选择0，0.1，0.2，…，1)，然后求得在这11个召回率下的精度，并对精度求平均。APS、APM和APL是指小目标，中目标和大目标的评价准确率。
实验结果如表1所示。用Faster R-CNN+FPN在垂直框数据集SSDD上进行实验，得到的AP11是80.2％。用FPN代替R-DFPN中的DFPN，称之为R-FPN，得到的AP11是81.9％，用R-DFPN在旋转边框数据集SSDD+进行实验，得到AP11是83.5％。本发明方法在SSDD+上进行训练和测试，得到的AP11是90.3％，比R-DFPN高6.8％，这显示了本发明方法的优良性能。
表1检测算法在数据集SSDD+的效果对比
Figure BDA0003119520610000131
图8-图12给出了本发明不同情景下的检测效果，可以看到斜框检测更加适合舰船这类目标。它可以检测到不同尺度(尤其是小尺寸)的舰船目标，而且也能适应港口区域等复杂背景。图8是单个靠岸的舰船目标，虽然背景比较复杂，但斜框能够定位目标更加准确。图9是靠岸的密集排列的舰船目标，图10是靠近码头的密集排列的舰船目标，用本发明公开的方法都可以检测到它们。图11是港口内停靠的大量的多种尺寸的舰船目标，本发明公开的方法能对它们全部进行检测。图12是离岸小尺寸舰船目标，本发明公开的方法也能对它们全部进行检测。
图13为本发明一种舰船目标检测系统结构示意图，如图13所示，一种舰船目标检测系统包括：
目标检测模型构建模块201，用于构建目标检测模型的网络结构：网络结构包括ResNet网络、循环特征金字塔网络、旋转区域建议网络、多比例可旋转RoI池化层和全连接层；循环特征金字塔网络的输入为ResNet网络中各残差单元的最后一层特征图，将ResNet网络中各残差单元的最后一层特征图与相邻残差单元的最后一层特征图进行融合，输出各残差单元的融合特征图；各残差单元的融合特征图输入旋转区域建议网络，旋转区域建议网络输出与旋转锚框对应的融合特征图，旋转锚框对应的融合特征图输入到多比例可旋转RoI池化层，多比例可旋转RoI池化层的输出连接全连接层；多比例可旋转RoI池化层用于生成固定长度的向量。
旋转锚框的长宽比包括1:1、1:3、3:1、1:5、5:1、1:7、7:1、1:9和9:1，旋转锚框的角度包括
Figure BDA0003119520610000141
目标检测模型训练模块202，用于训练目标检测模型；
目标检测模型应用模块203，用于将待检测合成孔径雷达图像输入训练好的目标检测模型，获得目标检测结果；目标检测结果包括目标的角度、类别和位置。
目标检测模型训练模块202，具体包括：
分类数据集获取单元，用于从ImageNet数据库中提取图像，获得分类数据集；
ResNet网络模型参数加载单元，用于利用分类数据集目标检测模型训练模块，用于训练目标检测模型中ResNet网络，获得加载ResNet网络模型参数的目标检测模型；
循环特征金字塔网络初始化单元，用于采用Xavier函数对加载ResNet网络模型参数的目标检测模型中循环特征金字塔网络进行初始化，获得更新后的目标检测模型；
目标检测模型训练单元，用于采用SSDD+数据集对更新后的目标检测模型进行训练，获得训练好的目标检测模型。
目标检测模型训练单元，具体包括：
目标检测模型训练子单元，用于采用SSDD+数据集对更新后的目标检测模型进行训练的过程中，通过损失函数计算预测值的真实值之间的误差，根据误差利用梯度下降法更新更新后的目标检测模型中参数，直到误差满足收敛条件，获得训练好的目标检测模型。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种舰船目标检测方法，其特征在于，包括：
构建目标检测模型的网络结构：所述网络结构包括ResNet网络、循环特征金字塔网络、旋转区域建议网络、多比例可旋转RoI池化层和全连接层；所述循环特征金字塔网络的输入为ResNet网络中各残差单元的最后一层特征图，将ResNet网络中各残差单元的最后一层特征图与相邻残差单元的最后一层特征图进行融合，输出各残差单元的融合特征图；各残差单元的融合特征图输入所述旋转区域建议网络，所述旋转区域建议网络输出与旋转锚框对应的融合特征图，旋转锚框对应的融合特征图输入到所述多比例可旋转RoI池化层，所述多比例可旋转RoI池化层的输出连接全连接层；所述多比例可旋转RoI池化层用于生成固定长度的向量；
训练所述目标检测模型；
将待检测合成孔径雷达图像输入训练好的所述目标检测模型，获得目标检测结果；所述目标检测结果包括目标的角度、类别和位置。
2.根据权利要求1所述的舰船目标检测方法，其特征在于，所述旋转锚框的长宽比包括1:1、1:3、3:1、1:5、5:1、1:7、7:1、1:9和9:1，所述旋转锚框的角度包括
Figure FDA0003119520600000011
3.根据权利要求1所述的舰船目标检测方法，其特征在于，所述训练所述目标检测模型，具体包括：
从ImageNet数据库中提取图像，获得分类数据集；
利用所述分类数据集训练所述目标检测模型中所述ResNet网络，获得加载所述ResNet网络模型参数的所述目标检测模型；
采用Xavier函数对加载所述ResNet网络模型参数的所述目标检测模型中所述循环特征金字塔网络进行初始化，获得更新后的所述目标检测模型；
采用SSDD+数据集对更新后的所述目标检测模型进行训练，获得训练好的所述目标检测模型。
4.根据权利要求3所述的舰船目标检测方法，其特征在于，所述采用SSDD+数据集对更新后的所述目标检测模型进行训练，获得训练好的所述目标检测模型，具体包括：
采用SSDD+数据集对更新后的所述目标检测模型进行训练的过程中，通过损失函数计算预测值的真实值之间的误差，根据所述误差利用梯度下降法更新所述更新后的所述目标检测模型中参数，直到所述误差满足收敛条件，获得训练好的所述目标检测模型。
5.根据权利要求4所述的舰船目标检测方法，其特征在于，所述损失函数为基于角度回归的损失函数。
6.根据权利要求1所述的舰船目标检测方法，其特征在于，所述ResNet网络为ResNet-101网络。
7.一种舰船目标检测系统，其特征在于，包括：
目标检测模型构建模块，用于构建目标检测模型的网络结构：所述网络结构包括ResNet网络、循环特征金字塔网络、旋转区域建议网络、多比例可旋转RoI池化层和全连接层；所述循环特征金字塔网络的输入为ResNet网络中各残差单元的最后一层特征图，将ResNet网络中各残差单元的最后一层特征图与相邻残差单元的最后一层特征图进行融合，输出各残差单元的融合特征图；各残差单元的融合特征图输入所述旋转区域建议网络，所述旋转区域建议网络输出与旋转锚框对应的融合特征图，旋转锚框对应的融合特征图输入到所述多比例可旋转RoI池化层，所述多比例可旋转RoI池化层的输出连接全连接层；所述多比例可旋转RoI池化层用于生成固定长度的向量；
目标检测模型训练模块，用于训练所述目标检测模型；
目标检测模型应用模块，用于将待检测合成孔径雷达图像输入训练好的所述目标检测模型，获得目标检测结果；所述目标检测结果包括目标的角度、类别和位置。
8.根据权利要求7所述的舰船目标检测系统，其特征在于，所述旋转锚框的长宽比包括1:1、1:3、3:1、1:5、5:1、1:7、7:1、1:9和9:1，所述旋转锚框的角度包括
Figure FDA0003119520600000021
9.根据权利要求7所述的舰船目标检测系统，其特征在于，所述目标检测模型训练模块，具体包括：
分类数据集获取单元，用于从ImageNet数据库中提取图像，获得分类数据集；
ResNet网络模型参数加载单元，用于利用所述分类数据集训练所述目标检测模型中所述ResNet网络，获得加载所述ResNet网络模型参数的所述目标检测模型；
循环特征金字塔网络初始化单元，用于采用Xavier函数对加载所述ResNet网络模型参数的所述目标检测模型中所述循环特征金字塔网络进行初始化，获得更新后的所述目标检测模型；
目标检测模型训练单元，用于采用SSDD+数据集对更新后的所述目标检测模型进行训练，获得训练好的所述目标检测模型。
10.根据权利要求9所述的舰船目标检测系统，其特征在于，所述目标检测模型训练单元，具体包括：
目标检测模型训练子单元，用于采用SSDD+数据集对更新后的所述目标检测模型进行训练的过程中，通过损失函数计算预测值的真实值之间的误差，根据所述误差利用梯度下降法更新所述更新后的所述目标检测模型中参数，直到所述误差满足收敛条件，获得训练好的所述目标检测模型。
CN202110671595.3A 2021-06-17 2021-06-17 一种舰船目标检测方法及系统 Active CN113536936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110671595.3A CN113536936B (zh) 2021-06-17 2021-06-17 一种舰船目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110671595.3A CN113536936B (zh) 2021-06-17 2021-06-17 一种舰船目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN113536936A true CN113536936A (zh) 2021-10-22
CN113536936B CN113536936B (zh) 2022-10-11

Family

ID=78096185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110671595.3A Active CN113536936B (zh) 2021-06-17 2021-06-17 一种舰船目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN113536936B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549845A (zh) * 2022-01-13 2022-05-27 山东师范大学 一种基于特征融合的Logo图像检测方法及系统
CN115294452A (zh) * 2022-08-08 2022-11-04 中国人民解放军火箭军工程大学 基于双向特征金字塔网络的旋转sar舰船目标检测方法
WO2023116631A1 (zh) * 2021-12-24 2023-06-29 中国科学院深圳先进技术研究院 旋转船只目标检测模型的训练方法、训练装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881918A (zh) * 2020-06-11 2020-11-03 中国人民解放军战略支援部队信息工程大学 一种多尺度旋转船舶目标检测算法
CN112560671A (zh) * 2020-12-15 2021-03-26 哈尔滨工程大学 基于旋转卷积神经网络的船舶检测方法
CN112668440A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于平衡样本回归损失的sar舰船目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881918A (zh) * 2020-06-11 2020-11-03 中国人民解放军战略支援部队信息工程大学 一种多尺度旋转船舶目标检测算法
CN112560671A (zh) * 2020-12-15 2021-03-26 哈尔滨工程大学 基于旋转卷积神经网络的船舶检测方法
CN112668440A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于平衡样本回归损失的sar舰船目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张筱晗等: "双向特征融合的数据自适应SAR图像舰船目标检测模型", 《中国图象图形学报》 *
江源等: "基于特征重用和语义聚合的SAR图像舰船目标检测", 《海军航空工程学院学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116631A1 (zh) * 2021-12-24 2023-06-29 中国科学院深圳先进技术研究院 旋转船只目标检测模型的训练方法、训练装置和存储介质
CN114549845A (zh) * 2022-01-13 2022-05-27 山东师范大学 一种基于特征融合的Logo图像检测方法及系统
CN115294452A (zh) * 2022-08-08 2022-11-04 中国人民解放军火箭军工程大学 基于双向特征金字塔网络的旋转sar舰船目标检测方法

Also Published As

Publication number Publication date
CN113536936B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN113536936B (zh) 一种舰船目标检测方法及系统
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
Chen et al. MSARN: A deep neural network based on an adaptive recalibration mechanism for multiscale and arbitrary-oriented SAR ship detection
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
CN111783523B (zh) 一种遥感影像旋转目标检测方法
CN111368769B (zh) 基于改进锚点框生成模型的船舶多目标检测方法
Chen et al. Geospatial transformer is what you need for aircraft detection in SAR Imagery
CN112560671B (zh) 基于旋转卷积神经网络的船舶检测方法
CN111753677A (zh) 基于特征金字塔结构的多角度遥感船舶图像目标检测方法
CN104715474B (zh) 基于标记分水岭算法的高分辨率合成孔径雷达图像线性建筑物检测方法
CN113191296A (zh) 一种基于yolov5的任意朝向目标五参数检测方法
CN113850783B (zh) 一种海面船舶检测方法及系统
EP4053734A1 (en) Hand gesture estimation method and apparatus, device, and computer storage medium
Xu et al. Fast ship detection combining visual saliency and a cascade CNN in SAR images
CN113420594A (zh) 基于改进Faster R-CNN的SAR图像舰船检测方法
CN116310837B (zh) 一种sar舰船目标旋转检测方法及系统
CN114565824B (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN114332633B (zh) 雷达图像目标检测识别方法、设备和存储介质
Wang et al. Soft thresholding attention network for adaptive feature denoising in SAR ship detection
Chen et al. Shape similarity intersection-over-union loss hybrid model for detection of synthetic aperture radar small ship objects in complex scenes
Giroux et al. T-fftradnet: Object detection with swin vision transformers from raw adc radar signals
Chen et al. Coupled global–local object detection for large vhr aerial images
Zhang et al. Learning higher quality rotation invariance features for multioriented object detection in remote sensing images
Xie et al. Oriented r-cnn and beyond
Chen et al. Port ship detection in complex environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant