CN110378308A - 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法 - Google Patents

Abstract

本发明公开了一种改进的基于Faster R‑CNN的港口SAR图像近岸舰船检测方法，包括以下步骤：S1、选取SAR图像样本集，构建卷积神经网络；S2、将目标SAR图像输入步骤卷积神经网络提取特征图；S3、生成候选区域建议；S4、目标区域池化；S5、进行二分类：根据S4得到的目标区域特征图计算目标类型，区分目标是舰船还是背景，形成分类分数；S6、边框回归：根据S4得到的目标区域特征图，进行边界框回归细化边界框，最终获得检测框的精确位置；S7、消除虚警，得到最终的存在感兴趣目标的区域。本发明引入深度学习的方法用于合成孔径雷达目标检测，改变了单一的依据阈值选取最终检测框的方式，将基于特征的方法和基于像素的方法相结合，提高了检测率，降低了虚警率。

Description

改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法

技术领域

本发明属于雷达目标检测领域，特别涉及一种改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar,SAR)是一种具有全天候、全天时工作能力的高分辨率微波成像雷达，广泛应用于海洋及水文观测、环境及灾害监视以及陆、海追踪与救援等军用和民用领域。港口是军用和民用领域的重要设施，港口船舶探测对港口监视和海上交通具有重要的战略意义。在港口环境下利用SAR图像对感兴趣的舰船目标进行探测和识别是雷达领域的一项富有挑战性的工作。

港口舰船目标检测的关键问题是港口属于海陆混合环境。对于远离口岸的舰船，可以通过局部阈值分割进行粗略定位，但对于停泊在码头附近的船舶，由于船舶与港口之间的灰度相似，无法直接分割提取目标。

SAR图像的舰船检测研究已经开展了很多，也取得了一些有价值的成果。其中恒虚警检测是SAR图像中应用最广泛的舰船检测算法之一，但是，此类方法只能利用基于像素的强度信息，难以提取有效的特征，导致复杂港区的检测率下降，误报率上升。此外，传统的海陆空分割方法对目标进行检测，使用人工特征，在近岸区域效果较差。

最近，随着神经网络对分类任务记录的不断刷新，文献“Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies for accurate object detection andsemantic segmentation[C].Proceedings of the IEEE conference on computervision and pattern recognition.2014:580-587.”，“Girshick R.Fast R-CNN[J].Computer Science,2015.”，“Ren S,He K,Girshick R,et al.Faster R-CNN:towardsreal-time object detection with region proposal networks[J].2015.”将CNN引入到检测任务中。在光学图像上检测结果达到了前所未有的高水平。同时，可以获得大量的SAR图像。因此，基于深度学习方法的SAR图像目标检测技术应运而生。然而，由于港区环境的复杂性和SAR成像机制的特殊性，港区河堤和建筑物在SAR图像中呈现出相似的特征。这些原因导致了基于深度学习方法的船舶检测系统导致了检测率和虚警率之间的矛盾。

发明内容

本发明的目的在于克服现有技术的不足，提供一种引入深度学习的方法用于合成孔径雷达目标检测，改变了单一的依据阈值选取最终检测框的方式，使用基于像素及区域稳定性的MSER方法作为判决准则，将基于特征的方法和基于像素的方法相结合，提高检测率的同时，能够有效降低虚警率的改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法。

本发明的目的是通过以下技术方案来实现的：一种改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法，包括以下步骤：

S1、选取近岸场景SAR图像作SAR图像样本集，利用选取的SAR图像样本集构建卷积神经网络；

S2、特征提取：将目标SAR图像输入步骤S1构建的卷积神经网络中，提取目标SAR图像的特征图；

S3、生成候选区域建议：将步骤S2得到的特征图输入区域建议网络生成候选区域建议；

S4、目标区域池化：以S2输出的特征图和S3输出的候选区域建议为输入，将候选区域建议映射到特征图的对应位置，对映射后的特征图进行池化操作；

S5、进行二分类：根据S4得到的目标区域特征图计算目标类型，区分目标是舰船还是背景，形成分类分数；

S6、边框回归：根据S4得到的目标区域特征图，进行边界框回归细化边界框，最终获得检测框的精确位置；

S7、消除虚警，得到最终的存在感兴趣目标的区域。

进一步地，所述步骤S4具体实现方法为：将映射后的特征区域划分为相同大小的块，块的数量与输出特征图的维度相同，然后对每个块进行最大池化操作，将一组大小不一的候选区域特征图转化为固定统一尺寸的特征图。

进一步地，所述步骤S5中采用全连接和softmax对每个特征图即每个区域建议进行分类。

进一步地，所述步骤S7包括以下子步骤：

S71、非极大值抑制，针对步骤S6得到一组检测框，对于每个窗口，选取邻域里分数最高，抑制分数低的检测框，去除冗余的检测框；

S72、MSER面积变化率滤波，将分类分数低于阈值T的舍弃，不低于T的区域利用公式(1)计算MSER稳定度：

满足公式(1)的区域被认为是稳定区域即舰船目标区域，不满足面积变化率的检测框将被舍弃；

其中代表了极值区域，{n_i|n_i＝n_i+1-Δ}，Δ是指灰度范围，S(·)表示区域的面积，R代表检测框集合，ε表示面积变化率的上限，表示极值区域的面积变化率，表示包含的区域建议的分类得分，T表示分类分数阈值；

S73、进行形态学滤波，在S72的基础上，利用面积滤波、长宽比滤波的形态学滤波方法进一步去除虚警，得到最终的存在感兴趣目标的区域：

其中，R₁表示面积滤波器后的区域集合，R₂表示长宽比滤波器后的区域集合，r_WH表示长宽比，W(·)和L(·)分别表示区域的宽度和长度，[a,b]为面积大小的范围，[c,d]表示长宽比的范围。

本发明的有益效果是：本发明引入深度学习的方法用于合成孔径雷达目标检测，克服了由于港口地物目标与船体在灰度和纹理特征上的高度相似性造成的传统的方法无法实现有效的近岸船舶检测的问题；同时，改变了单一的依据阈值选取最终检测框的方式，使用基于像素及区域稳定性的MSER方法作为判决准则，将基于特征的方法和基于像素的方法相结合，充分利用了SAR图像信息，提高检测率的同时，能够有效降低虚警率。

附图说明

图1为港口SAR图像近岸舰船检测方法的流程图；

图2为end-to-end实时检测模型Faster RCNN结构图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

如图1所示，本发明的一种改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法，包括以下步骤：

S1、选取近岸场景SAR图像作SAR图像样本集，利用选取的SAR图像样本集构建卷积神经网络；

本实施例所用数据大部分来自欧洲航天局(ESA)在互联网上免费提供的Sentinel-1。一小部分来自印度维萨卡帕特南港的TerraSAR-X，其余的来自中国烟台港的RadarSat-2。从中选取近岸场景SAR图像作为样本集。其中，训练集812张，验证集116张，测试集232张。有几种分辨率和极化方式，分辨率和极化方式的多样性是训练模型具有良好适应性的重要保证。

搭建end-to-end实时检测模型Faster RCNN结构，具体结构如图2所示。然后将选取的SAR图像样本输入到基于end-to-end实时检测模型Faster RCNN的网络结构中训练，最后得到训练好的网络模型。

S2、特征提取：将目标SAR图像输入步骤S1构建的卷积神经网络中，提取目标SAR图像的特征图；这里的特征提取卷积神经网络是共享的，包括13个卷积层、13个激活层、4个池化层，经过此特征提取后得到特征图，该特征图被共享用于后续的区域建议网络和全连接层。

S3、生成候选区域建议：将步骤S2得到的特征图输入区域建议网络(RegionProposal Network,RPN)生成候选区域建议，该网络以图像的特征图为输入，输出一组矩形的区域建议；将步骤S2中得到的特征图输入到区域建议网络(Region Proposal Network,RPN)得到一组区域建议，其中包括在特征图上逐点滑动一个3×3的窗口，特征图中的每个点，即每次滑动窗口位置的中心点位置映射到原始图像中，分别产生三种不同尺度(128、256、512)三种不同长宽比(1:1、0.5:1、1:0.5)的9个候选感兴趣目标区域，再利用分类网络判断属于前景还是背景，即是舰船目标还是不感兴趣的背景，再利用边界框回归修正建议框。

S4、目标区域池化：以S2输出的特征图和S3输出的候选区域建议为输入，将候选区域建议映射到特征图的对应位置，对映射后的特征图进行池化操作；具体实现方法为：将映射后的特征区域划分为相同大小的块(块的数量与输出特征图的维度相同)，然后对每个块进行最大池化操作，将一组大小不一的候选区域特征图转化为固定统一尺寸的特征图，以进行后续工作。

S5、进行二分类：根据S4得到的目标区域特征图计算目标类型，区分目标是舰船还是背景，形成分类分数；具体是采用全连接和softmax对每个特征图即每个区域建议进行分类。

S6、边框回归：根据S4得到的目标区域特征图，进行边界框回归细化边界框，最终获得检测框的精确位置；

S7、消除虚警，得到最终的存在感兴趣目标的区域；具体包括以下子步骤：

S71、非极大值抑制，针对步骤S6得到一组检测框，对于每个窗口，选取邻域里分数最高，抑制分数低的检测框，去除冗余的检测框，找到最佳的物体检测位置。具体方式是：将步骤S6中得到的各个检测框的分类分数进行排序，然后选择分类分数最高的检测框，将其作为标准，依次遍历剩余检测框，当其与标准检测框的重合程度高于阈值时就将其舍弃，当遍历完所有剩余检测框后，重新选择剩余检测框中分类分数最大的检测框作为标准检测框，重复上述操作，直至遍历完所有的检测框；

S72、MSER面积变化率滤波，遍历所有经过非极大值抑制后的留下的检测框，将分类分数低于阈值T的舍弃，不低于T的区域利用公式(1)计算MSER稳定度：

满足公式(1)的区域被认为是稳定区域即舰船目标区域，不满足面积变化率的检测框将被舍弃；

其中代表了极值区域，{n_i|n_i＝n_i+1-Δ}，Δ是指灰度范围，S(·)表示区域的面积，R代表检测框集合，ε表示面积变化率的上限，表示极值区域的面积变化率，表示包含的区域建议的分类得分，T表示分类分数阈值；

S73、进行形态学滤波，在S72的基础上，利用面积滤波、长宽比滤波的形态学滤波方法进一步去除虚警，得到最终的存在感兴趣目标的区域：

其中，R₁表示面积滤波器后的区域集合，R₂表示长宽比滤波器后的区域集合，r_WH表示长宽比，W(·)和L(·)分别表示区域的宽度和长度，[a,b]为面积大小的范围，[c,d]表示长宽比的范围。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法，其特征在于，包括以下步骤：

S1、选取近岸场景SAR图像作SAR图像样本集，利用选取的SAR图像样本集构建卷积神经网络；

S2、特征提取：将目标SAR图像输入步骤S1构建的卷积神经网络中，提取目标SAR图像的特征图；

S3、生成候选区域建议：将步骤S2得到的特征图输入区域建议网络生成候选区域建议；

S4、目标区域池化：以S2输出的特征图和S3输出的候选区域建议为输入，将候选区域建议映射到特征图的对应位置，对映射后的特征图进行池化操作；

S5、进行二分类：根据S4得到的目标区域特征图计算目标类型，区分目标是舰船还是背景，形成分类分数；

S6、边框回归：根据S4得到的目标区域特征图，进行边界框回归细化边界框，最终获得检测框的精确位置；

S7、消除虚警，得到最终的存在感兴趣目标的区域。

2.根据权利要求1所述的一种改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法，其特征在于，所述步骤S4具体实现方法为：将映射后的特征区域划分为相同大小的块，块的数量与输出特征图的维度相同，然后对每个块进行最大池化操作，将一组大小不一的候选区域特征图转化为固定统一尺寸的特征图。

3.根据权利要求1所述的一种改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法，其特征在于，所述步骤S5中，采用全连接和softmax对每个特征图即每个区域建议进行分类。

4.根据权利要求1所述的一种改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法，其特征在于，所述步骤S7包括以下子步骤：

S71、非极大值抑制，针对步骤S6得到一组检测框，对于每个窗口，选取邻域里分数最高，抑制分数低的检测框，去除冗余的检测框；

S72、MSER面积变化率滤波，将分类分数低于阈值T的舍弃，不低于T的区域利用公式(1)计算MSER稳定度：

满足公式(1)的区域被认为是稳定区域即舰船目标区域，不满足面积变化率的检测框将被舍弃；

其中代表了极值区域，{n_i|n_i＝n_i+1-Δ}，Δ是指灰度范围，S(·)表示区域的面积，R代表检测框集合，ε表示面积变化率的上限，表示极值区域的面积变化率，表示包含的区域建议的分类得分，T表示分类分数阈值；

S73、进行形态学滤波，在S72的基础上，利用面积滤波、长宽比滤波的形态学滤波方法进一步去除虚警，得到最终的存在感兴趣目标的区域：

其中，R₁表示面积滤波器后的区域集合，R₂表示长宽比滤波器后的区域集合，r_WH表示长宽比，W(·)和L(·)分别表示区域的宽度和长度，[a,b]为面积大小的范围，[c,d]表示长宽比的范围。