CN115393734A - 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法 - Google Patents

基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法 Download PDF

Info

Publication number
CN115393734A
CN115393734A CN202211047548.2A CN202211047548A CN115393734A CN 115393734 A CN115393734 A CN 115393734A CN 202211047548 A CN202211047548 A CN 202211047548A CN 115393734 A CN115393734 A CN 115393734A
Authority
CN
China
Prior art keywords
ship
image
contour
cnn
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211047548.2A
Other languages
English (en)
Inventor
顾玲嘉
江明达
任瑞治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202211047548.2A priority Critical patent/CN115393734A/zh
Publication of CN115393734A publication Critical patent/CN115393734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nonlinear Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Faster R‑CNN与CV模型联合方法的SAR图像舰船轮廓提取方法，涉及卫星遥感图像处理与应用的技术领域，本发明的目的是解决现有SAR图像舰船轮廓方法适用场景少、提取精度差、细节损失严重等问题。本发明通过引入深度学习方法，能够对大场景SAR图像舰船轮廓进行提取。首先，使用Faster R‑CNN网络对SSDD数据集进行迁移学习和目标检测，获得获取舰船目标的定位坐标，并对小场景舰船区域切片；随后对舰船切片进行快速非局部均值FNLM滤波处理，最后使用改进CV模型迭代产生舰船最终轮廓，并将轮廓信息融合显示在原始图像中。利用本发明提出的基于Faster R‑CNN与CV模型联合方法的SAR图像舰船轮廓提取方法可以实现对不同场景SAR图像中舰船目标轮廓快速准确的提取。

Description

基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提 取方法
技术领域
本发明属于卫星遥感图像处理与应用的技术领域。
背景技术
目标轮廓提取方法是SAR图像目标检测的一个重要分支。随着SAR雷达成像技术水平的不断进步，极大提高了SAR图像的分辨率，使得高精度海面舰船目标轮廓提取与深度融合信息应用逐渐成为对海探测的研究重点。传统轮廓提取方法大多针对特定场景或是光学图像，主要是对海面环境以及目标特征建模仿真，这些方法一般只适用于单纯海面场景或单目标等特定场景。针对复杂场景SAR图像多目标轮廓提取任务，主要以基于图像分割的提取方法和基于目标检测的提取方法两大类，代表研究如下：
分割提取方法即通过分割算法直接进行目标分割，并将得到的实例边缘定义为目标轮廓。传统的分割方法主要分为基于区域信息的分割方法与基于模型的分割方法。基于区域信息的SAR图像分割方法可以较好地解析图像的有效信息，超像素是常用的区域分割方法，其引入了种子点的概念和动态生长的思想，将预先选好的一个或多个像素点作为种子点，通过迭代将种子点相邻的具有一定相似性的像素合并成连通区域，最终得到相似性区域的划分(参见TurboPixels:Fast superpixels using geometric flows)。超像素分割利用图像的统计信息将图像分割成局部区域内具有一致性的像素块，将图像分割问题由像素级转化成区域级，简单易用，降低了后续处理的复杂度；该方法通常需要结合图像预处理方法，对于种子点的选择、合并准则以及生长停止的条件也有较高的要求，虽然简单易用且分割效果较好，但该方法在生长过程中容易形成孔洞也是不容忽视的问题。基于模型的分割方法是近年来轮廓提取的研究热点，其基本思想是通过建立待检测的图像上活动曲线的能量泛函，在求取能量泛函最优解的过程中使活动曲线不断逼近图像的真实边界。活动轮廓模型结合图像的特征和结构信息，更符合人类对于目标轮廓的视觉理解。1987年，Kass等人提出了Snake模型，该模型在图像处理过程中需要首先设定初始轮廓，利用弹性能量和弯曲能量构建曲线内部的约束力，保持轮廓曲线的光滑程度，外部约束力与图像信息相关，用来驱动轮廓曲线向目标边界逼近(参见Snakes:Active Contour Models)；Caselles等人提出了测地活动轮廓(Geodesic Active Contours,GAC)模型，利用图像中的梯度信息建立能量泛函，通过寻找曲线边缘加权弧长的最小值得到目标的轮廓(参见Geodesic activecontours)；Mumford和Shah等人利用区域信息驱动水平集轮廓，通过分段光滑函数建立能量泛函，不断逼近至视觉上的真实边缘。由于Mumford-Shah模型利用图像的梯度信息在区域内做灰度平均，使其无法适用于灰度不均匀的图像，对噪声也较敏感(参见Optimalapproximations by piecewise smooth functions and associated variationalproblems)。Chan和Vese在Mumford-Shah模型基础上做了简化，对目标和背景区域分别用分段常数替代分段光滑函数，提出经典的Chan-Vese模型(参见Active Contours withoutEdges for Vector-Valued Images)。CV模型基于图像的全局信息检测目标轮廓，对于弱边缘的轮廓检测效果较好，同时降低了对噪声的敏感性，但该模型无法适用于灰度不均匀的图像且收敛速度受初始轮廓影响。传统的分割算法无法区分目标轮廓与背景轮廓，导致其应用场景有效，近年来已逐渐被基于深度学习的图像分割方法取代，此方法具有极高的鲁棒性和扩展性，避免了噪声、人工干预等带来的不确定性，可实现不受图像背景干扰的目标实例分割。He等人在2017年提出的Mask R-CNN算法是“双阶段”实例分割算法的典型代表，它由Fast R-CNN、Faster R-CNN等目标检测算法发展而来(参见Mask R-CNN)，提出了RoIAlign层解决特征图(Feature Map)和原始图像上的感兴趣区域出现对不准问题，同时增加了Mask预测分支，实现了较高精度的自动化像素级实例分割任务，虽然Mask R-CNN及其各类改进算法在实例分割和检测精度方面具有很好的效果，但检测速度是其最大缺陷难以满足工业需要，其次固定尺寸的Mask预测分支导致其产生的掩膜较粗糙，实际应用价值不强。针对双阶段实例分割算法的低效问题，Daniel等人在2019提出了强实时性的单阶段实例分割算法YOLACT，将实例分割分解为两个并行的任务，即生成整个输入图像的掩码组合和预测每个实例掩码系数并将相应预测系数与全图组合，YOLACT虽然在一定程度上解决了MaskR-CNN检测速度较慢的问题，但也存在目标场景复杂时无法准确定位、相距较远两个实例间掩码重叠等问题(参见YOLACT:Real-time Instance Segmentation)。
检测提取法则是将轮廓提取分为两个阶段，第一阶段通过图像预处理或人工解译等半自动方法对复杂场景下的舰船目标进行区域定位，第二阶段则使用图像分割算法进行轮廓提取。检测提取法在轮廓提取阶段相较于分割提取法缩小了目标定位区域，可获得更高的轮廓精度，但其对目标的定位精度则完全取决于目标检测阶段。传统的SAR图像舰船检测算法以恒虚警率(Constant False Alarm Rate,CFAR)检测算法应用最为广泛，在SAR图像目标的检测中，目标信号往往容易淹没在噪声和杂波中，在任何给定的区域中，杂波和噪声的能量强度都是不确定的，并不适合使用恒定的阈值来区分目标，CFAR算法则是利用检测单元周围的背景单元动态估计阈值的一种检测方法(参见Analysis of CFARprocessors in nonhomogeneous background)，因其算法简单，恒定的虚警率，自适应阈值，故能快速地从复杂的背景中检测出目标；但由于CFAR采用逐像素的滑窗进行目标检测，算法的时间复杂度非常高，并不适用于宽幅SAR图像检测和高速检测场景中，此外CFAR算法仅利用局部区域的像素进行杂波分布的统计建模，忽视了SAR图像的全局信息，使其无法应用于复杂环境下的舰船检测。在实际的SAR图像中，检测的背景环境非常复杂，不仅有纯海洋环境，还有岛屿、陆地等，特别是在靠近陆地的海洋区域还有人造的港口码头、海岸堤坝、岩礁、海上养殖物等，它们不仅具有较高的后向散射系数而且具有复杂的几何形态，因此CFAR算法的检测精度并不理想。与之形成鲜明对比的是，深度学习在目标检测领域取得的显著成果，2015年，Girshick等人提出了R-CNN算法(参见Rich feature hierarchies foraccurate object detection and semantic segmentation)并将其应用在目标检测领域中，相较于传统的目标检测算法取得了跨越性的进展，但是由于模型的检测过程分为多个阶段导致检测效率的极大消耗；因此He与Girshick等人在此基础上分别提出了基于R-CNN的尺度金字塔池化网络(Spatial Pyramid Pooling Net,SPPNet)(参见Spatial PyramidPooling in Deep Convolutional Networks for Visual Recognition)和Fast R-CNN算法(参见Fast R-CNN)，这两种方法只需将图像送入深度网络一次，再将所有的候选窗口在网络中某层上进行映射，提升了检测速度；但在Fast R-CNN算法中仍有时很大一部分时间都会用于选择性搜索。针对这个问题，Ren等人与2018年在Fast R-CNN的基础上提出了Faster R-CNN算法(参见Faster R-CNN:Towards Real-Time Object Detection withRegion Proposal Networks)，增加了候选窗口网络(Region Proposal Network,RPN)，通过设置不同尺度的锚框(Anchor)来提取候选框，代替了选择性搜索等传统的候选框生成方法，实现了网络的端到端训练，提高了网络计算速度，并且因其良好的稳定性在工程应用上广泛流行。
高分辨率SAR图像可以有效突出舰船目标的形态特征为准确提取舰船轮廓提供了可靠数据；基于深度学习方法的Faster R-CNN网络在SAR图像目标检测方面具有优势，将其作为检测器可以减少背景噪声以及背景环境的干扰；以改进CV模型为核心的提取器可以通过少量计算获得细节丰富、精度较高的舰船轮廓；区别于传统轮廓提取方法和单纯的深度学习方法，该联合方法利用了Faster R-CNN目标检测精度高与改进CV模型轮廓提取精度高等特点对高分辨率SAR图像舰船目标进行轮廓提取，该方法能够同时满足提取精度与速度的要求，有利于舰船目标轮廓的准确提取。
发明内容
关于合成孔径雷达(Synthetic Aperture Radar,SAR)图像舰船检测的方法层出不穷，但关于SAR图像舰船轮廓提取的研究相对较少，为了解决现有SAR图像舰船轮廓方法适用场景少、提取精度差、细节损失严重等问题。本发明提供了一种基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法，本发明采用的技术方案具体步骤如下：
步骤一、选取SAR图像舰船目标检测数据集(SSDD)作为本方法检测网络训练数据，并对舰船轮廓进行重标注；
步骤二、构建Faster R-CNN目标检测网络，将步骤一中的数据集送入网络模型中进行训练。
步骤三、将测试数据送入已训练完成的网络中，输出舰船坐标点并将舰船区域图像切片。
步骤四、对舰船切片进行灰度化处理后使用快速非局部均值(Fast Non-localMeans，FNLM)滤波器进行滤波。
步骤五、将快速非局部均值滤波器处理后的数据送入改进CV模型中迭代计算出目标轮廓，并将轮廓信息融合显示在原始图像中。
其中，步骤二实施过程如下：
步骤二中，为了进一步提高Faster R-CNN网络的检测精度，采用了ResNet50作为骨干网络。在ResNet50骨干网络中，包含1个输入段和4个后续段以及1个输出层。
(a)输入段由一个卷积层(Conv)和最大池化层(Max pooling)组成，
卷积层的参数为：卷积核大小kernel_size：，步长strides：2；通道数channels：64；最大池化层的参数为：卷积核大小kernel_size：，步长strides：2；
(b)四个后续段中分别包含3、4、6、3个残差块，每个残差块包含A、B两个支路，A支路由3个卷积层组成；其中，第一卷积层的参数为：卷积核大小kernel_size：；第二卷积层的参数为：卷积核大小kernel_size：，步长strides：2；第三卷积层的参数为：卷积核大小kernel_size：；B支路由1个卷积层组成，卷积层的参数为：卷积核大小kernel_size：，步长strides：2；
(c)输出层由一个平均池化层(Average Pooling)和全连接层(Full Connected)组成。
同时为了提高网络的检测速度，使用了RPN结构，通过减少设置不同尺度的锚框(Anchor)来提取候选框，代替了选择性搜索等传统的候选框生成方法，实现了网络的端到端训练。
在RPN结构中，包含分类和回归两个支路。首先RPN网络对骨干网络输出的特征图进行3×3的卷积计算后送入分类支路和回归支路，分类支路由18个1×1卷积组成；回归支路由36个1×1卷积组成，两条支路同时输入proposal层经过计算误差和反复训练可得到proposal的大致位置。
本发明步骤四中使用FNLM滤波算法实现切片内目标细节增强和背景噪声抑制，使用FNLM滤波器进行滤波的方法具体如下：
假定一幅离散的噪声图像为g(i)＝g{g(i)|i∈Ω}，其大小为N×N，Ω代表图像邻域，i为像素索引，对噪声图像进行NLM滤波处理后可归一化表达为：
Figure BDA0003821732120000051
Ωi表示中心像素为i、大小为q×q的搜索窗口；ω(i,j)代表赋予噪声图像g(i)的权值，其中h代表控制指数衰减滤波系数也称为平滑因子，其大小将影响图像的平滑程度，ω(i,j)可表示为：
Figure BDA0003821732120000052
d(i,j)表示标准差为α，i、j为中心点，窗口尺寸为p的相似窗口N(i)和N(j)之间的高斯加权欧式距离：
Figure BDA0003821732120000053
由于公式(3)中2范式的高斯加权计算耗时较长，本发明使用指数核进行权重计算，当相似窗口的平方距离小于2α2时设置为1，而较大的距离则根据指数内核迅速减小，如公式(4)。
Figure BDA0003821732120000054
本方法中，q＝21，p＝7，h＝25。
步骤五中使用改进CV模型对FNLM处理后的切片进行舰船轮廓提取。CV模型是一种基于活动轮廓的曲线演进模型。CV模型使用图像的像素灰度信息作为能量，构造能量泛函，从而将曲线演化至目标区域，这使得其在SAR图像轮廓提取中具有天然优势。具体步骤如下：
对于某一图像(x,y)∈Ω，用I(x,y)表示图像上点(x,y)的像素值，定义封闭曲线C为图像上一闭合区域ω的边界，inside(C)表示曲线内闭合区域
Figure BDA0003821732120000055
outside(C)则表示曲线外区域
Figure BDA0003821732120000056
C1和C2分别表示图像上曲线内和曲线外像素平均值,并定义如下的能量项：
E1(C)+E2(C)＝∫inside(C)|I0(x,y)-C1|2dxdy+∫outside(C)|I0(x,y)-C2|2dxdy (5)
当曲线C在目标图像中目标边界时，上述能量项取极小值，补充正则化项目后，可以得出如下的能量泛函：
E(C)＝vlength(C)+μarea(C)+E1(C)+E2(C) (6)
水平集方法将二维平面上的曲线轮廓通过隐式方程即水平集函数，表示为三维曲面的等高曲线，这个等值线被称作水平集函数的零水平。基于几何活动轮廓模型的轮廓提取方法中，检测到的图像轮廓就是能量泛函达到最小值时的零水平集所在的曲线。首先对水平集函数φ(x,y)做如下定义，并用其对能量函数做调整：
Figure BDA0003821732120000061
然后，定义单位阶跃函数H(z)如下：
Figure BDA0003821732120000062
从而可得：
Figure BDA0003821732120000063
总的能量函数也就可以写为：
Figure BDA0003821732120000064
其中：
Figure BDA0003821732120000065
由于CV模型中单位阶跃函数H(z)现实中并不存在，通常使用(12)代替：
Figure BDA0003821732120000066
在曲线逼近目标边界之前，原始的阶跃函数需要多次迭代。为了提高曲线的演化速度，减少迭代次数，本发明将式中的(12)改进为双曲正弦函数；最后保持c1、c2固定并且形式上最小化φ，采用梯度下降法，通过人工时间参数化下降方向得到关于φ的欧拉-拉格朗日方程的偏微分方程(13)：
Figure BDA0003821732120000071
计算梯度下降重新初始化φ后，当曲线逐渐演化到零平面时，即可得到最终曲线。
本发明的有益效果：
本发明使用高分辨率SAR图像数据，背景覆盖空旷远海区域以及近岸沿海区域等复杂场景，场景中包含各类型、各尺寸的舰船目标。通过迁移学习与大规模数据训练，Faster R-CNN网络作为舰船检测器可以获得较高的检测精度，并且保持较快的检测速度。本发明使用FNLM滤波器作切片数据降噪算法，在均匀化背景的同时，可明显增强前景目标特征。本发明使用改进CV模型作为轮廓提取器，由于送入的切片数据尺度较小，可快速完成多次迭代运算，使联合模型可以以较快的速度实现SAR图像舰船轮廓提取，具有SAR图像批量化舰船轮廓提取的实际应用性。
附图说明
图1是本发明使用的SSDD数据集；
图2是本发明的整体流程图；
图3是轮廓重新标注前后对比图；其中(a)为原始图像，(b)为原始标注，(c)为本发明方法重新标注；
图4是本发明使用的Faster R-CNN网络结构示意图；
图5是本发明使用的Faster R-CNN网络舰船检测结果图；(a)为SAR图像近岸场景检测结果，(b)为SAR图像远海场景检测结果；
图6是本发明使用的FNLM滤波器舰船切片处理结果图；(a)为滤波前，(b)为滤波后；
图7是本发明的SAR图像舰船轮廓提取结果图；(a)为SAR图像近岸场景舰船提取结果；(b)为SAR图像远海场景舰船提取结果；
图8是本发明的SAR图像舰船轮廓提取结果二值图；(a)为SAR图像近岸场景舰船提取结果；(b)为SAR图像远海场景舰船提取结果；
图9是本发明的SAR图像舰船轮廓提取结果与真实轮廓对比图；(a)为SAR图像近岸场景检测对比结果，(b)为SAR图像远海场景检测对比结果。
具体实施方式
下面以具体实施例的形式对本发明技术方案做进一步解释和说明。
实施例1：
SAR图像舰船目标检测数据集SSDD(SAR Ship Detection Dataset)是第一个被广泛应用在舰船检测领域的公开SAR图像数据集，对标注信息明确并制定了严格的使用标准，包括训练和测试数据的划分、船舶尺寸的合理定义等，同时支持目标检测任务和实例分割任务。数据主要来自RadarSat-2、TerraSAR-X和Sentinel-1卫星雷达传感器，分辨率从1～15米不等。总计1160张图像切片，覆盖远海、近岸多种背景环境，包括各尺寸和种类的舰船目标共2456只，如图1所示。
表1列出了SSDD数据集的一些基本信息。数据集提供了MS COCO和PASCAL VOC两种格式标注，以PASCAL VOC格式为例，在目标检测标注中，每个舰船目标使用一个boundingbox(BBox)标注，表示成(xmin，ymin，xmax，ymax)的形式，其中(xmin，ymin)代表标注框的左上角顶点，(xmax，ymax)为标注框的右下角顶点，目标平均尺寸约为像素，在实例分割任务中，每一个舰船目标使用一个segm标记，使用point-编号的形式对目标轮廓角点进行标注。从SSDD数据集的测试集中分别选取近岸场景和远海场景SAR图像各4幅作为实验数据，涵盖了不同尺寸、类型、数量的舰船目标。并以重新标注轮廓后的数据作为轮廓真实验证数据，验证本发明SAR图像舰船轮廓提取方法的准确性，参照本实例整体流程图(图2)。
表一
Figure BDA0003821732120000081
步骤一：SSDD数据集标注
使用Labelme工具对SSDD数据集的测试集进行舰船轮廓的segm数据重新标注，保存为PASCAL VOC格式，图3为轮廓重新标注前后对比图。将SSDD数据集的训练集作为训练数据送入Faster R-CNN网络进行训练，将8张实验数据从测试集移除后，将SSDD测试集数据作为网络的验证数据。该网络执行目标检测任务，训练中仅使用SSDD数据集的BBox标注。
步骤二、Faster R-CNN网络训练：
本发明使用了Faster R-CNN网络作为联合方法的目标检测端，网络示意图如图4。使用ResNet50网络作为主干(Backbone)网络，使用SSDD数据集的训练集作为网络的训练训练数据，使用SSDD数据集的测试集作为网络的验证数据，网络训练的batch_size设置为2，初始学习率设置为0.0025，在训练8个时期(epoch)后，学习率衰减为0.00025，共计训练30时期(epoch)。在训练过程中，通过候选框与真值的交并比(Intersect over Union，IoU)区分前景和背景。前景认为是待分类和定位的舰船目标，背景则是不含舰船目标或者仅含舰船目标的小部分的区域。本发明将IoU阈值大于0.7的候选框作为正样本，小于0.3的作为负样本。经过训练后最终获得平均准确率可以达到80％以上的舰船检测精度，检测结果如图5所示。
步骤三：将测试数据送入已训练完成的网络中，输出舰船坐标点：
依次将近岸场景和远海场景各4幅SAR图像送入训练好的Faster R-CNN网络中，将网络置信度设置为0.7，获得网络输出的舰船区域坐标信息，将每个舰船目标区域进行SAR图像切片并保存。
步骤四：对步骤三中获得的舰船区域图像切片进行灰度化处理，然后使用FNLM滤波器进行滤波；
将舰船切片进行灰度化处理后送入FNLM滤波器，FNLM滤波器搜索窗口尺寸设置为21×21，相似窗口尺寸设置为7×7，平滑因子设置为25，并将滤波后的舰船切片进行保存，结果如图6。
步骤五：将FNLM滤波器处理后的数据送入改进CV模型中迭代计算出目标轮廓。本发明的改进CV模型将初始曲线设置为切片中心的8×8区域。迭代计算30次。将FNLM处理后的舰船切片送入改进CV模型中，经过迭代计算后，获得切片中舰船轮廓区域，并将所有舰船轮廓在原始SAR图像中进行融合显示(图7)，同时将切片中舰船轮廓包围的区域设置为1背景区域设置为0(图8)，可以便于对联合方法舰船轮廓提取精度进行比较(图9)。
本方法参照目标检测评价方法，使用查全率R对联合方法的提取精度进行评价，其定义如公式(14)。
Figure BDA0003821732120000091
真实轮廓所包含区域内像素值记为1，记为ΩGT，其他区域内像素值记为0，检测得到的舰船区域记为Ω。R的理想值为0，R值越接近0则表示越接近ΩGT，当R＞0时，表示检测轮廓相对真实轮廓呈扩展状态，当R＜0时，表示检测轮廓相对真实轮廓呈紧缩状态。同时人为规定以下4种无效情况(图6)：(1)
Figure BDA0003821732120000101
且
Figure BDA0003821732120000102
此时R＜-0.96；(2)
Figure BDA0003821732120000103
且
Figure BDA0003821732120000104
此时R＞0.46；(3)Ω∩ΩGT，且
Figure BDA0003821732120000105
此时R＜-0.5；(4)
Figure BDA0003821732120000106
此时R＜-0.5。为便于精度评价，故将R的有效区间认为调整为[-0.5,0.5]。近岸区域实验数据内舰船目标平均真实像素数量分别为677、1496、2176、1115，平均检测像素数量为766、1728、2741、1292，远海区域实验数据内舰船目标平均真实像素数量分别为3253、5505、1479、2201，平均检测像素数量为3369、5512、1521、2688，实验结果见表2。
表2
Figure BDA0003821732120000107
联合方法对SAR图像舰船轮廓提取结果见图7、图8、图9，图7中红色曲线为提取轮廓，图9中，浅色区域为联合方法提取结果，白色区域为真实目标区域。综合使用查全率R与人工目视的评价方法可见，本方法在SAR图像中具有良好的舰船轮廓提取效果。
本发明步骤2中的Faster R-CNN网络通过使用PaddlePaddle平台实现，FNLM滤波器与改进CV模型使用了python语言中的Findpeaks、numpy、openCV库。等本发明使用高分辨率SAR图像数据集，背景覆盖空旷远海区域以及近岸沿海区域等复杂场景，场景中包含各类型、各尺寸的舰船目标。通过迁移学习与大规模数据训练Faster R-CNN目标检测网络获得较高的舰船检测精度，并且保持较快的检测速度。本发明使用FNLM滤波算法作切片数据降噪算法，在均匀化背景的同时，可明显增强前景目标特征，便于后续模型对数据的处理。本发明使用改进的CV模型作为轮廓提取器，可有效的减少模型迭代计算量，加快了目标切片中舰船轮廓的收敛速度，使联合模型可以实现SAR图像舰船轮廓快速提取。本发明使用基于目标轮廓精细标注后的SSDD数据验证本发明获得的舰船轮廓提取结果，使用本发明的联合方法可以提取对SAR图像舰船目标进行快速检测与轮廓提取，平均舰船轮廓提取精度指标R为-0.008。
实验结果：为了说明使用Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法提取建筑物的有效性，选择基于图像分割提取法的Mask R-CNN与本发明方法对比。实验结果表明，Mask R-CNN方法虽然可以获得较为不错的SAR图像舰船轮廓提取结果，但其仍轮廓精度差、细节损失大、受数据标注精度影响大等诸多问题。本发明基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法的轮廓提取精度较高、细节保留度高且不受数据标注影响，有利于提高对海探测精度，可以为海洋主权安全、海上经贸活动提供更多信息支撑。

Claims (4)

1.基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法，其特征在于，该方法的步骤如下：
步骤一、选取SAR图像舰船目标检测数据集作为本方法检测网络训练数据，并对舰船轮廓进行重标注；
步骤二、构建Faster R-CNN目标检测网络，将步骤一中所选取的数据集送入网络模型中进行训练，获得训练完成的Faster R-CNN；
步骤三、将测试数据送入训练完成的Faster R-CNN网络中，输出舰船坐标信息并将舰船区域图像切片；
步骤四、对步骤三中获得的舰船区域图像切片进行灰度化处理，然后使用快速非局部均值滤波器进行滤波；
步骤五、将快速非局部均值滤波器处理后的数据送入改进CV模型中迭代计算出目标轮廓，并将轮廓信息融合显示在原始图像中；
步骤五中使用改进CV模型对快速非局部均值滤波处理后的切片进行舰船轮廓提取，所述的改进CV模型如下：
对于某一图像(x,y)∈Ω，用I(x,y)表示图像上点(x,y)的像素值，定义封闭曲线C为图像上一闭合区域ω的边界，inside(C)表示曲线内闭合区域
Figure FDA0003821732110000011
outside(C)则表示曲线外区域
Figure FDA0003821732110000012
C1和C2分别表示图像上曲线内和曲线外像素平均值,并定义如下的能量项：
E1(C)+E2(C)＝∫inside(C)|I0(x,y)-C1|2dxdy+∫outside(C)|I0(x,y)-C2|2dxdy (5)
当曲线C在目标图像中目标边界时，上述能量项取极小值，补充正则化项目后，可以得出如下的能量泛函：
E(C)＝vlength(C)+μarea(C)+E1(C)+E2(C) (6)
水平集方法将二维平面上的曲线轮廓通过隐式方程即水平集函数，表示为三维曲面的等高曲线，这个等值线被称作水平集函数的零水平。基于几何活动轮廓模型的轮廓提取方法中，检测到的图像轮廓就是能量泛函达到最小值时的零水平集所在的曲线。首先对水平集函数φ(x,y)做如下定义，并用其对能量函数做调整：
Figure FDA0003821732110000013
然后，定义单位阶跃函数H(z)如下：
Figure FDA0003821732110000021
从而可得：
Figure FDA0003821732110000022
总的能量函数也就可以写为：
Figure FDA0003821732110000023
其中：
Figure FDA0003821732110000024
由于CV模型中单位阶跃函数H(z)现实中并不存在，通常使用(12)代替：
Figure FDA0003821732110000025
在曲线逼近目标边界之前，原始的阶跃函数需要多次迭代；为了提高曲线的演化速度，减少迭代次数，将式(12)改进为双曲正弦函数；最后保持c1、c2固定并且形式上最小化φ，采用梯度下降法，通过人工时间参数化下降方向得到关于φ的欧拉-拉格朗日方程的偏微分方程(13)：
Figure FDA0003821732110000026
计算梯度下降重新初始化φ后，当曲线逐渐演化到零平面时，即可得到最终曲线。
2.根据权利要求1所述的基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法，其特征在于，步骤二中Faster R-CNN网络中采用ResNet50作为骨干网络，
所述的ResNet50骨干网络中，包含1个输入段和4个后续段以及1个输出层。
(a)输入段由一个卷积层和最大池化层组成，卷积层的参数为：卷积核大小kernel_size：7×7，步长strides：2；通道数channels：64；最大池化层的参数为：卷积核大小kernel_size：3×3，步长strides：2；
(b)四个后续段中分别包含3、4、6和3个残差块，每个残差块包含A、B两个支路，A支路由3个卷积层组成；其中，第一卷积层的参数为：卷积核大小kernel_size：1×1；第二卷积层的参数为：卷积核大小kernel_size：3×3，步长strides：2；第三卷积层的参数为：卷积核大小kernel_size：1×1；B支路由1个卷积层组成，卷积层的参数为：卷积核大小kernel_size：1×1，步长strides：2；
(c)输出层由一个平均池化层和全连接层组成。
3.根据权利要求2所述的基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法，其特征在于，步骤二中Faster R-CNN网络中使用RPN结构，在所述的RPN结构中，包含分类和回归两个支路；
首先RPN网络对骨干网络输出的特征图进行3×3的卷积计算后送入分类支路和回归支路，分类支路由18个1×1卷积组成；回归支路由36个1×1卷积组成，两条支路同时输入目标检测层proposal，最终输出舰船坐标点并将舰船区域图像切片。
4.根据权利要求1所述的基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法，其特征在于，步骤四中使用快速非局部均值滤波器进行滤波的方法具体如下：
假定一幅离散的噪声图像为g(i)＝g{g(i)|i∈Ω}，其大小为N×N，Ω代表图像邻域，i为像素索引，对噪声图像进行NLM滤波处理后可归一化表达为：
Figure FDA0003821732110000031
Ωi表示中心像素为i、大小为q×q的搜索窗口；ω(i,j)代表赋予噪声图像g(i)的权值，其中h代表控制指数衰减滤波系数也称为平滑因子，其大小将影响图像的平滑程度，ω(i,j)可表示为：
Figure FDA0003821732110000041
d(i,j)表示标准差为α，i、j为中心点，窗口尺寸为p的相似窗口N(i)和N(j)之间的高斯加权欧式距离，如式(3)：
Figure FDA0003821732110000042
由于公式(3)中2范式的高斯加权计算耗时较长，因此使用指数核进行权重计算，当相似窗口的平方距离小于2α2时设置为1，而较大的距离则根据指数内核迅速减小，如公式(4)。
Figure FDA0003821732110000043
该方法中q＝21，p＝7，h＝25。
CN202211047548.2A 2022-08-30 2022-08-30 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法 Pending CN115393734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211047548.2A CN115393734A (zh) 2022-08-30 2022-08-30 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211047548.2A CN115393734A (zh) 2022-08-30 2022-08-30 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法

Publications (1)

Publication Number Publication Date
CN115393734A true CN115393734A (zh) 2022-11-25

Family

ID=84124883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211047548.2A Pending CN115393734A (zh) 2022-08-30 2022-08-30 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法

Country Status (1)

Country Link
CN (1) CN115393734A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343113A (zh) * 2023-03-09 2023-06-27 中国石油大学(华东) 基于极化sar特征与编解码网络的溢油检测方法及系统
CN116778176A (zh) * 2023-06-30 2023-09-19 哈尔滨工程大学 基于频域注意力的sar图像舰船尾迹检测方法
CN117290537A (zh) * 2023-09-28 2023-12-26 腾讯科技（深圳）有限公司 图像搜索方法、装置、设备及存储介质
CN118052997A (zh) * 2024-04-16 2024-05-17 北京航空航天大学 一种嵌入物理特性与常识的目标确认方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343113A (zh) * 2023-03-09 2023-06-27 中国石油大学(华东) 基于极化sar特征与编解码网络的溢油检测方法及系统
CN116778176A (zh) * 2023-06-30 2023-09-19 哈尔滨工程大学 基于频域注意力的sar图像舰船尾迹检测方法
CN116778176B (zh) * 2023-06-30 2024-02-09 哈尔滨工程大学 基于频域注意力的sar图像舰船尾迹检测方法
CN117290537A (zh) * 2023-09-28 2023-12-26 腾讯科技（深圳）有限公司 图像搜索方法、装置、设备及存储介质
CN117290537B (zh) * 2023-09-28 2024-06-07 腾讯科技（深圳）有限公司 图像搜索方法、装置、设备及存储介质
CN118052997A (zh) * 2024-04-16 2024-05-17 北京航空航天大学 一种嵌入物理特性与常识的目标确认方法

Similar Documents

Publication Publication Date Title
CN110335290B (zh) 基于注意力机制的孪生候选区域生成网络目标跟踪方法
CN113469177B (zh) 基于深度学习的排水管道缺陷检测方法及系统
CN109583425B (zh) 一种基于深度学习的遥感图像船只集成识别方法
CN109241913B (zh) 结合显著性检测和深度学习的船只检测方法及系统
CN115393734A (zh) 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法
CN111626993A (zh) 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统
CN110119728A (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
CN112767418B (zh) 基于深度感知的镜子图像分割方法
CN111985376A (zh) 一种基于深度学习的遥感影像舰船轮廓提取方法
CN113239830B (zh) 一种基于全尺度特征融合的遥感图像云检测方法
CN109191472A (zh) 基于改进U-Net网络的胸腺细胞图像分割方法
CN109101897A (zh) 水下机器人的目标检测方法、系统及相关设备
CN111583276B (zh) 基于cgan的空间目标isar图像部件分割方法
CN111368658B (zh) 一种自主航行中智能船舶外部目标的自动检测方法及系统
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
CN110334656A (zh) 基于信源概率加权的多源遥感图像水体提取方法及装置
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
Liu et al. Image edge recognition of virtual reality scene based on multi-operator dynamic weight detection
CN113822352A (zh) 基于多特征融合的红外弱小目标检测方法
CN114764801A (zh) 基于多视觉显著特征的弱小舰船目标融合检测方法及装置
CN114565824B (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN110097549A (zh) 基于形态学的水陆空交界线检测方法、系统、介质和设备
CN112257810A (zh) 一种基于改进FasterR-CNN的海底生物目标检测方法
Jiang et al. Ship contour extraction from SAR images based on faster R-CNN and chan–vese model
CN116452965A (zh) 一种基于声光融合的水下目标检测识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination