CN116343113A - 基于极化sar特征与编解码网络的溢油检测方法及系统 - Google Patents

基于极化sar特征与编解码网络的溢油检测方法及系统 Download PDF

Info

Publication number
CN116343113A
CN116343113A CN202310219804.XA CN202310219804A CN116343113A CN 116343113 A CN116343113 A CN 116343113A CN 202310219804 A CN202310219804 A CN 202310219804A CN 116343113 A CN116343113 A CN 116343113A
Authority
CN
China
Prior art keywords
image
polarized sar
features
module
oil spill
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310219804.XA
Other languages
English (en)
Inventor
宋冬梅
王明月
王斌
张�杰
刘善伟
王大伟
高晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202310219804.XA priority Critical patent/CN116343113A/zh
Publication of CN116343113A publication Critical patent/CN116343113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/20Controlling water pollution; Waste water treatment
    • Y02A20/204Keeping clear the surface of open water from oil spills

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了基于极化SAR特征与编解码网络的溢油检测方法及系统,其中,方法步骤包括:采集极化SAR图像;对极化SAR图像进行预处理,得到处理后图像;对处理后图像进行30个极化特征的提取与降维操作,得到溢油区域极化特征;同时使用CV模型来辅助提取完整的SAR图像溢油区域边缘获取几何特征。基于溢油区域极化特征和几何特征图像划分为训练集和测试集,构建并训练编码器‑解码器检测模型;并通过训练好的模型完成海面溢油检测。

Description

基于极化SAR特征与编解码网络的溢油检测方法及系统
技术领域
本申请涉及海洋溢油检测领域,具体涉及基于极化SAR特征与编解码网络的溢油检测方法及系统。
背景技术
近年来,伴随着世界经济的飞速发展,海上石油开采、海上运输等活动日趋繁荣。海洋溢油事故也频繁发生,溢出的石油污染由于其在海洋中发生的频率高、分布的面积广、危害的程度大,已经逐渐成为了威胁全球石油和海洋生态环境的最严重的环境污染和安全问题之一。一起起溢油事故的发生,严重破坏了当地的生态环境,给周边海域及国家带来了巨大的经济损失。因此,及时的获取海洋表面的溢油信息,准确的对溢油图像进行识别分类,对指导溢油清污工作的开展以及全球生态环境的保护具有十分重要的意义。
为了对溢油事故进行监视检测,各国采取了多种手段。对于传统的飞机、浮标等检测方式,其耗费成本较高,且检测范围十分有限,无法全天时全天候的工作,故而难以满足海洋溢油事故中大范围快速检测的要求。随着卫星遥感技术的进一步发展,合成孔径雷达(SAR)在海洋溢油检测工作中突显出来。因其作为一种主动发射微波的传感器,不依赖可见光等因素,可以穿透云雾,能在各种条件下工作。具有全天时、全天候等优势,同时成本相对低廉,已成为大范围海洋溢油检测较为突出且较为理想的传感器之一。
SAR溢油检测的主要原理是溢油对海面毛细波和重力波等小尺度波的抑制作用。溢油覆盖在海面上,能够对海洋表面产生一定的抑制作用,从而返回较弱的雷达后向散射回波,导致在溢油SAR影像产生“暗斑”。除了海洋溢油之外,海面上一些其他物理现象(如雨团、低风速区、生物油膜)等也能够改变海面粗糙度,在SAR图像中表现为“暗斑”,这类假目标统称为疑似油膜或类油膜(look-alikes),这给溢油检测带来了挑战。近年来,深度学习模型因其强大的特征提取和自主学习能力被广泛应用于图像分类等领域,基于深度学习算法进行溢油检测也逐渐成为研究热点之一。
深度学习为溢油检测任务提供了一种新的解决途径,但是仍存在一定的局限性和问题需要被解决。首先,全极化SAR图像作为一种特殊的微波图像,包含了丰富的目标极化散射信息,而现有的大多数深度学习网络在溢油检测中都没有充分地利用这些信息。对于那些只使用强度信息的检测算法来说,很容易造成溢油和油类薄膜之间的错误分类。此外,海上溢油区域边界通常是十分复杂的,准确的溢油几何边界信息是表征海上溢油区域的重要几何特征参数,而模糊的几何边界信息难以保证分割后溢油区域边界完整性。另外,在网络中,只依靠单一的卷积操作无法充分提取空间背景全局信息,不能很好的兼顾高级特征与低级特征并且难以快速聚焦溢油重点区域。针对上述提出的问题,本文提出了基于极化SAR特征与编解码网络溢油检测方法,尝试解决从如何找到油、怎样区分油到如何完整提取油膜等系列任务。
发明内容
本申请利用深度学习等人工智能领域较为先进的技术,借助极化SAR数据,并根据海面SAR图像的成像原理以及图像特点,开展基于深度学习的极化SAR溢油检测方法研究。旨在扩展深度学习的应用领域,探讨深度学习在溢油检测工作上的能力,同时提升海洋污染监测的精度,为后续的研究提供一定的研究基础。
为实现上述目的,本申请提供了基于极化SAR特征与编解码网络的溢油检测方法,步骤包括:
采集极化SAR图像;
对所述极化SAR图像进行预处理,得到处理后图像;
基于所述处理后图像,得到溢油区域的特征;所述特征包括:极化特征和几何特征;
基于所述特征构建并训练检测模型,并通过所述检测模型完成检测。
优选的,进行所述预处理的方法包括:对所述极化SAR图像进行裁剪以及基于Refined-Lee方法的图像去噪,得到所述处理后图像。
优选的,得到所述极化特征的方法包括:
从所述处理后图像中提取30个常用特征,组成多维极化SAR特征图像;
对所述多维极化SAR特征图像进行降维处理,得到备选数据;
对所述备选数据进行主成分分析,得到10层的极化SAR特征图像;得到所述极化特征。
优选的,得到所述几何特征的方法包括:利用CV模型进行几何特征提取,以能量函数极小化为目标,从初始轮廓位置开始,通过曲线演化使轮廓曲线沿着能量降低的方向运动,最终运动到目标边界位置,得到所述几何特征。
优选的,所述检测模型包括:编码器-解码器网络;在所述编码器和所述解码器之间采用跳跃连接,通过高级特征与低级特征,提升网络分类性能。
优选的,所述编码器包含:多个下采样层获取高层的语义特征;在下采样过程中通过加入CBAM模块以增强网络表征力;同时,还包括:基于混合池化和空洞卷积的特征增强模块,所述特征增强模块同时采用条带池化、标准方形池化以及不同尺度的空洞卷积,以融合不同方向不同尺度的特征。
优选的,所述解码器包括:上采样层和卷积模块,用于接收多方式多尺度特征模块的输出。
本申请还提供了基于极化SAR特征与编解码网络的溢油检测系统,包括:采集模块、预处理模块、提取模块和构建模块;
所述采集模块用于采集极化SAR图像;
所述预处理模块用于对所述极化SAR图像进行预处理,得到处理后图像;
所述提取模块用于对所述处理后图像进行极化特征提取与降维操作,得到溢油区域几何特征;
所述构建模块用于基于所述溢油区域几何特征构建并训练检测模型,并通过所述检测模型完成检测。
与现有技术相比,本申请的有益效果如下:
本申请对全极化SAR图像提取30种极化特征组成极化特征图像并利用PCA进行数据降维,以充分地利用图像的极化信息并避免信息冗余。同时,本申请使用改进的CV模型来辅助提取完整的SAR图像溢油区域边缘以增强溢油目标几何特征的表达。此外,本申请还构建了一种新的编码器-解码器网络,在网络中设计基于混合池化和空洞卷积的特征增强模块,提升在不同尺度感受野和不同方向上的图像细节特征的挖掘能力,有利于溢油目标的准确检测;而且在网络中引入CBAM注意力机制,用于选择性地收集上下文信息并增强逐像素表示,以突出需要关注对象的重要特征;在编码器与解码器之间增加跳跃连接,增加网络提取特征的能力,增强网络的鲁棒性,提升网络精度。
附图说明
为了更清楚地说明本申请的技术方案,下面对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的方法流程示意图;
图2为本申请实施例的CV模型计算流程示意图;
图3为本申请实施例的基于FEM-EndNet溢油检测网络结构示意图;
图4为本申请实施例的CBAM注意力机制示意图;
图5为本申请实施例的混合池化和空洞卷积的特征增强模块结构示意图;
图6为本申请实施例的条带池化示意图;
图7为本申请实施例的数据1溢油检测结果图示意图;
图8为本申请实施例的数据2溢油检测结果示意图;
图9为本申请实施例的系统结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
实施例一
为充分利用目标的极化信息又避免信息冗余,对极化SAR图像提取30个极化特征,利用PCA进行特征降维。可以获取目标在不同极化状态下的散射特性,保留溢油检测尽可能多信息的极化分量,保留更多对溢油检测更有利的极化信息。同时,为应对溢油场景中的复杂边界,利用改进的CV模型提取极化SAR图像中后向散射强度较低区域的边界,获取其几何边缘信息,能够快速定位溢油区域且保持溢油区域的边缘特征。最后,在设计主干网络Encoder-Decoder Network with Feature Enhancement Module(FEM-EndNet),利用编码器-解码器结构,设计多方式多尺度模块且引入CBAM注意力机制,有利于提取空间信息与各极化信息,提高维持高层特征和空间细节的能力。
如图1所示,为本实施例的方法流程示意图。
首先,采集极化SAR图像,并对极化SAR图像进行预处理,得到处理后图像。本实施例选取两景Radarsat-2全极化SAR溢油数据进行实验。需要对极化SAR图像进行裁剪以及基于Refined-Lee方法的图像去噪。
之后基于处理后图像,得到溢油区域的特征;特征包括:极化特征和几何特征。
考虑到不同的极化特征构造机理不同,在溢油表征能力上具有差异且随着海洋环境的变化,这种表征能力也会发生改变。为更全面地刻画溢油特征,本实施例选取30个常用的极化SAR溢油特征,组成多维极化SAR特征图像。为避免信息冗余,对多维极化特征组成的图像进行降维处理十分必要。本实施例通过对进行降维处理后的备选数据采用主成分分析法提取出前十个主成分特征图像,得到10层的极化SAR特征图像;即极化特征。本实施例全面的梳理总结了目前常用的30种溢油检测极化特征,如表1所示。
表1
Figure BDA0004116180990000061
Figure BDA0004116180990000071
Figure BDA0004116180990000081
同时,为得到溢油区域的几何特征,提取10层的极化SAR特征图像中的溢油边界。提取的方法包括:利用CV模型进行几何特征提取。CV模型以能量函数极小化为目标,从初始轮廓位置开始,通过曲线演化使轮廓曲线沿着能量降低的方向运动,最终运动到目标边界位置。
进行几何特征提取计算方法如图2所示,步骤包括:
a.初始化:定义初始轮廓线C,令
Figure BDA0004116180990000082
b.根据当前的
Figure BDA0004116180990000084
计算c1和c2,根据方程组求得该点下一时刻的值,并更新轮廓线;
c.收敛检查。如果收敛,则停止跌代,输出最终轮廓线;否则转向b步骤,继续迭代。
上述步骤的具体原理如下:
活动轮廓线C将定义在区域Q上的图像u0划分为两个部分,分别记为Inside(C)和Outside(C),两区域的灰度平均值分别为c1和c2,能量泛函定义为:
Figure BDA0004116180990000083
其中u,v≥0,λ12>0为权重系数,另外,正则化项例如区域C的面积和周长,保证了曲线的平滑性。这样,最后的区域轮廓线通过最小化能量泛函求得。上述分割问题可以用水平集形式重新定义。在水平集的方法中,曲线
Figure BDA0004116180990000091
由Lipschitz函数/>
Figure BDA0004116180990000092
的零水平集来表示,定义如下式:
Figure BDA0004116180990000093
然后,借助于下面的Heaviside函数Hε和一维Dirac测度函数δ,
Figure BDA0004116180990000094
能量泛函可以表示为下式:
Figure BDA0004116180990000095
根据梯度下降法以及欧拉—拉格朗日公式,可从上述能量泛函得到如下的偏微分方程为:
Figure BDA0004116180990000096
对于溢油检测任务,本实施例设计了一个编码器-解码器网络模型FEM-EndNet。编码器中包含多个下采样层获取高层的语义特征,在下采样过程中通过加入CBAM模块以增强网络表征力。除此之外,设计了基于混合池化和空洞卷积的特征增强模块,模块同时采用条带池化、标准方形池化以及不同尺度的空洞卷积,以融合不同方向不同尺度的特征,有助于集成全局语义信息,提升模型精度。解码器包括上采样以及卷积模块,在解码器部分接收多方式多尺度特征模块的输出。且在编码器和解码器之间采用跳跃连接,以利于网络更好地利用高级特征与低级特征,实现网络分类性能的提升。需要说明的是,网络的损失函数采用的为语义分割常用的交叉熵函数。
在本实施的编码器中,加入了CBAM注意力机制模块。
残差网络中的BasicBlock将每个位置的输入特征与卷积运算得到的特征相加,具有增加了网络的稳定性,因此本实施例将BasicBlock引入到编码器中,如图3所示。使用的是残差网络中的BasicBlock,考虑到输入patchsize以及下采样操作,残差块的数量设置为[2,2,2]。每个BasicBlock由两层3×3的卷积组成,所有卷积层均进行批归一化(BN)和Relu操作。为了更好利用空间上下文信息以及不同极化通道的信息,每个残差块后面都设置CBAM注意力机制模块。此外,设置特征提取模块,有利于提取不同尺度的特征信息。
CBAM注意力机制模块由先通道模块后空间模块的顺序组成,如图4所示,输入的特征图为F∈RC×H×W,CBAM按顺序计算1维通道注意图MC∈RC×1×1以及二维空间特征图MS∈R1 ×H×W,计算流程可以总结为
Figure BDA0004116180990000101
其中,
Figure BDA0004116180990000102
表示乘法;F2表示最后的输出图。
其中,通道特征图同时使用平均池化和最大值池化聚合特征的信息,生成两个不同的特征图描述符,然后将其分别输入到共享权重网络。为了减少参数,将隐含层设置为RC /r×1×1,r为缩减率。将两个特征描述符分别输入共享权重网络后,将元素相加求和输出通道维特征向量。如公式所示:
Figure BDA0004116180990000111
其中,σ表示激活函数,W0∈RC/r×C,W1∈RC×C/r
此外,编码器还包含了基于混合池化和空洞卷积的特征增强模块。
由于空洞卷积在减少网络计算量的同时还能够以不同的感受野实现对不同尺度信息的挖掘。又考虑到标准方形空间池化和条带池化的联合(混合池化)可以捕获不同溢油区域之间的远程依赖关系,强化方向信息的表征能力。因此,针对溢油区域尺度不同、形状各异的特点,本实施例设计了基于混合池化和空洞卷积的特征增强模块,该模块有六个分支,如图5。六个分支中的第一分支保留由图3中的自动编码器生成的特征图,其余五个分支分别进行空洞卷积和混合池化操作,然后将上述六个分支中提取出的特征相加,产生融合结果。上述操作能够实现在不同尺度感受野上不同方向的信息提取,增强了对图像细节特征的提取能力,有利于溢油目标的准确检测。
上述的空洞卷积具有增加感受野且降低计算量的优点,运用不同尺度的空洞卷积有助于融合多尺度的信息。空洞卷积的等效卷积核的计算公式为:
K′=K+(K-1)*(R-1) (9)
其中,K'表示等效卷积核尺寸,K代表实际卷积核尺寸,而R代表膨胀率。输出的特征图大小为:
Out=(In-K′+2*P)/S+1 (10)
其中,P代表padding,即填充像素的数量,S代表步长。在此模块中第二条和第三条分支使用了空洞卷积,其中第二条分支只采用R=2的空洞卷积,第三条分支采用R=2与R=4串联的空洞卷积。上述并联与串联策略使得特征不仅能够以不同的扩展速率被提取,而且能够获取更多尺度更高级的语义信息。
除此之外,上述的编码器还包含池化层。
池化可以缩小参数矩阵的尺寸,去除冗余信息。此模块中对8×8的特征图采用两种池化方式,包含标准池化以及条带池化(如图6),均为最大值池化,分别在第四、第五和第六条分支中完成。第四条分支完成的是2×2的标准方形池化,提取到4×4的特征图;第五和第六条分支分别完成的是行和列方向上的条带池化,得到C×H×1以及C×1×W的特征图,其中C、H、W的取值为256、8、8,分别代表通道数以及输入特征图的高和宽。然后,对池化操作得到的特征图扩展至输入特征图的大小,为下一步的特征融合做准备。
在本实施例中,解码器引用了Unet的解码器结构,用于接收特征提取模块的输出信息并通过两次连续的上采样和卷积操作完成解码过程。具体地,在每次上采样和卷积操作中,输入的特征图被上采样到原始大小的两倍,然后再进行两个3×3的卷积操作。每个卷积之后都要经过BN层和ReLU激活函数。通过上述操作,输出通道的数量减少到原来的一半。此外,考虑到融合具有更多空间位置、细节信息的低层特征与包含更强语义信息的高层特征能够提升网络的分类性能,因此本实施例采用跳跃连接将编码器中CBAM块的输出与对应的解码器块的输出相加以实现多级特征的融合。最后对输出特征进行1×1卷积操作将特征向量映射到对应的类别,得到分类结果。
通过上述方法将模型构建完成之后,接着对该模型进行网络训练和测试。
在本实施例中,将特征图像分割成大小为32×32的patch输入网络,训练集与测试集的比例为8:2。所用数据为两组数据,数据1为溢油与海水,数据2图像上包含原油、乳化油和植物油共3种不同类型的油膜,所以设置数据1训练集少于数据2。学习率和batchsize是深度学习的关键参数。学习率对训练效果有很大的影响,学习率设置不当会导致网络发散或收敛缓慢。本实施例通过实验对比设置学习率为1×10-4。Batchsize是指训练过程中每次迭代使用的训练样本数量。它的大小显著影响模型优化的进程,此外,恰当地设置batchsize这一网络参数可以使梯度下降的方向更加准确。考虑到训练集的大小和本实施例使用的GPU平台,批处理大小设置为20。为了加快网络的收敛速度,本实施例采用了Adam优化器来优化网络和更新参数,并且将最大迭代次数设置为100次。网络的学习率、批处理大小等参数均通过实验进行调整,以获得最佳的分类性能。本实施例使用的框架版本和包含计算平台在内的软硬件配置如表2所示。
最终利用训练好的检测模型完成海洋溢油全极化检测。
表2
Figure BDA0004116180990000131
实施例二
下面将通过本实施例来详细说明本申请如何解决实际生活中的技术问题。
首先选取两景Radarsat-2全极化SAR溢油数据进行实验。其中数据1为2015年5月8日在墨西哥湾获取的溢油影像。该数据分辨率为4.7m×4.8m,覆盖范围为32.95km×23.2km,数据格式为单视复数据(SLC)。数据集2为2011年6月8日获取的位于欧洲北海的海上溢油实验的Radarsat-2影像。该图像上包含原油、乳化油和植物油共3种不同类型的油膜,覆盖范围37.59km×15.95km,分辨率为4.7m×4.8m。详细成像参数见表3。需要说明的是,因数据1中只包含海水与原油,相比于数据2中种类较少,所以设置数据1训练集少于数据2。
表3
Figure BDA0004116180990000141
为了检验新模型的性能,将其与传统监督分类方法(SVM)和经典语义分割算法FCN、U-Net、PSPNet、SegNet进行了比较。
图7给出了本实施的溢油方法与其他对比方法在实验数据1上的溢油检测结果,本实施例使用OA、AA、Kappa系数、F1度量和MIoU五个指标来定量评估溢油检测结果,评价结果如表4所示。从检测结果对比来看,本实施例所提方法精度最高,其中OA为99.54%,AA为98.57%,Kappa系数为0.9764,F1度量为98.82,MIoU为97.69。在对比算法中,SVM的表现较差。本实施例方法相比于SVM,OA提升了2.45个百分点,AA提升了8.26个百分点,Kappa系数提升了0.1154,F1度量提升了5.78个百分点,MIoU提升最明显,提升了10.24个百分点。进一步的观察发现,与深度学习方法相比,SVM方法的分类结果图像上包含许多斑点,这些斑点是由于将海水错分为溢油区域所造成的,这导致虚警率上升,也使得Kappa、MIoU与F1度量三个指标值明显低于其他方法。而深度学习方法通过卷积操作充分利用了空间上下文信息,能够提取出图像中的深层语义特征,导致溢油检测图像上杂斑较少。此外,通过进一步的观察能够发现,本实施例方法与其他深度学习方法在图像边缘提取效果方面存在差异,主要表现在条带状溢油的末端,本实施例方法所提溢油边缘更加完整。
表4
Figure BDA0004116180990000151
数据2的检测结果如图8所示。表5列出了新算法以及对比方法在数据2上的溢油检测精度。与其他方法相比,本实施例所提新方法在所有指标上都达到了最佳性能,其中OA为99.69%,AA为98.24%,Kappa系数为0.9714。从检测效果图中能够明显看出,使用传统机器学习溢油检测精度较低,不能较好地区分原油,乳化油以及生物油膜,有较多错分现象,整体分类效果较差。相比于传统分类方法,深度学习的方法总体上能够更好地区分不同油膜。通过仔细观察新方法与其他深度学习方法分类结果的差异,能够发现新方法分类图像整体杂斑较少且在溢油边缘的保持方面效果最佳。在表6中,为了进一步的考察每一种油膜的分类效果,本实施例分别求算Recall、MIou以及F1-score。在表7中,为了进一步的考察每一种油膜的分类效果,本实施例分别求算Recall、MIou以及F1-score。从中可见,总体上原油种类油膜检测精度最高,Recall为97.28,Iou为0.9606,F1-score为0.9799。乳化油种类油膜检测精度提升最高,Recall、Iou以及F1-score相比于传统的机器学习方法SVM,分别提高77.61%、77.49%以及69.98%,相对于深度学习方法分别提升了1.06%~10.19%,12.40%~25.39%,以及7.16%~15.79%。对三类油的各项指标求平均得到总体油膜区域检测结果评价,可以看到各项指标都有了明显的提升。
表5
Figure BDA0004116180990000161
表6
Figure BDA0004116180990000162
表7
Figure BDA0004116180990000163
综上所述,本实施例一方面充分提取了极化特征,另一方面,使用了能够准确提取目标的CV模型,使得提取出的溢油区域轮廓更加完整,有利于几何特征的保持。此外,在基于混合池化和空洞卷积的特征增强模块中使用了不同尺度的空洞卷积与混合池化操作,增强了对不同尺度信息的挖掘能力,强化了图像灰度、纹理、几何形态与极化特征的方向性表达,从而提升了溢油检测精度。
实施例三
如图9所示,为本申请实施例系统结构示意图,包括:采集模块、预处理模块、提取模块和构建模块。其中,采集模块用于采集极化SAR图像;预处理模块用于对极化SAR图像进行预处理,得到处理后图像;提取模块用于基于处理后图像,得到溢油区域的特征;特征包括:极化特征和几何特征;构建模块用于基于特征构建并训练检测模型,并通过检测模型完成检测。
首先,利用采集模块采集极化SAR图像,并利用预处理模块对极化SAR图像进行预处理,得到处理后图像。本实施例选取两景Radarsat-2全极化SAR溢油数据进行实验。需要对极化SAR图像进行裁剪以及基于Refined-Lee方法的图像去噪。
之后,利用提取模块对之后基于处理后图像,得到溢油区域的特征;特征包括:极化特征和几何特征。
考虑到不同的极化特征构造机理不同,在溢油表征能力上具有差异且随着海洋环境的变化,这种表征能力也会发生改变。为更全面地刻画溢油特征,本实施例选取30个常用的极化SAR溢油特征,组成多维极化SAR特征图像。为避免信息冗余,对多维极化特征组成的图像进行降维处理十分必要。本实施例通过对进行降维处理后的备选数据采用主成分分析法提取出前十个主成分特征图像,得到10层的极化SAR特征图像;即极化特征。本实施例全面的梳理总结了目前常用的30种溢油检测极化特征,如表1所示。
同时,为得到溢油区域的几何特征,提取10层的极化SAR特征图像中的溢油边界。提取的方法包括:利用CV模型进行几何特征提取。CV模型以能量函数极小化为目标,从初始轮廓位置开始,通过曲线演化使轮廓曲线沿着能量降低的方向运动,最终运动到目标边界位置。
进行几何特征提取计算方法如图2所示,流程包括:
a.初始化:定义初始轮廓线C,令
Figure BDA0004116180990000186
b.根据当前的
Figure BDA0004116180990000187
计算c1和c2,根据方程组求得该点下一时刻的值,并更新轮廓线;
c.收敛检查。如果收敛,则停止跌代,输出最终轮廓线;否则转向b步骤,继续迭代。
上述流程的具体原理如下:
活动轮廓线C将定义在区域Q上的图像u0划分为两个部分,分别记为Inside(C)和Outside(C),两区域的灰度平均值分别为c1和c2,能量泛函定义为:
Figure BDA0004116180990000181
其中u,v≥0,λ12>0为权重系数,另外,正则化项例如区域C的面积和周长,保证了曲线的平滑性。这样,最后的区域轮廓线通过最小化能量泛函求得。上述分割问题可以用水平集形式重新定义。在水平集的方法中,曲线
Figure BDA0004116180990000182
由Lipschitz函数/>
Figure BDA0004116180990000183
的零水平集来表示,定义如下式:
Figure BDA0004116180990000184
然后,借助于下面的Heaviside函数Hε和一维Dirac测度函数δ,
Figure BDA0004116180990000185
能量泛函可以表示为下式:
Figure BDA0004116180990000191
根据梯度下降法以及欧拉—拉格朗日公式,可从上述能量泛函得到如下的偏微分方程为:
Figure BDA0004116180990000192
对于溢油检测任务,本实施例设计了一个编码器-解码器网络模型FEM-EndNet。编码器中包含多个下采样层获取高层的语义特征,在下采样过程中通过加入CBAM模块以增强网络表征力。除此之外,设计了基于混合池化和空洞卷积的特征增强模块,模块同时采用条带池化、标准方形池化以及不同尺度的空洞卷积,以融合不同方向不同尺度的特征,有助于集成全局语义信息,提升模型精度。解码器包括上采样以及卷积模块,在解码器部分接收多方式多尺度特征模块的输出。且在编码器和解码器之间采用跳跃连接,以利于网络更好地利用高级特征与低级特征,实现网络分类性能的提升。需要说明的是,网络的损失函数采用的为语义分割常用的交叉熵函数。
在本实施的编码器中,加入了CBAM注意力机制模块。
残差网络中的BasicBlock将每个位置的输入特征与卷积运算得到的特征相加,具有增加了网络的稳定性,因此本实施例将BasicBlock引入到编码器中,如图3所示。使用的是残差网络中的BasicBlock,考虑到输入patchsize以及下采样操作,残差块的数量设置为[2,2,2]。每个BasicBlock由两层3×3的卷积组成,所有卷积层均进行批归一化(BN)和Relu操作。为了更好利用空间上下文信息以及不同极化通道的信息,每个残差块后面都设置CBAM注意力机制模块。此外,设置特征提取模块,有利于提取不同尺度的特征信息。
CBAM注意力机制模块由先通道模块后空间模块的顺序组成,如图4所示,输入的特征图为F∈RC×H×W,CBAM按顺序计算1维通道注意图MC∈RC×1×1以及二维空间特征图MS∈R1 ×H×W,计算流程可以总结为
Figure BDA0004116180990000201
其中,
Figure BDA0004116180990000202
表示乘法;F2表示最后的输出图。
其中,通道特征图同时使用平均池化和最大值池化聚合特征的信息,生成两个不同的特征图描述符,然后将其分别输入到共享权重网络。为了减少参数,将隐含层设置为RC /r×1×1,r为缩减率。将两个特征描述符分别输入共享权重网络后,将元素相加求和输出通道维特征向量。如公式所示:
Figure BDA0004116180990000203
其中,σ表示激活函数,W0∈RC/r×C,W1∈RC×C/r
此外,编码器还包含了基于混合池化和空洞卷积的特征增强模块。
由于空洞卷积在减少网络计算量的同时还能够以不同的感受野实现对不同尺度信息的挖掘。又考虑到标准方形空间池化和条带池化的联合(混合池化)可以捕获不同溢油区域之间的远程依赖关系,强化方向信息的表征能力。因此,针对溢油区域尺度不同、形状各异的特点,本实施例设计了基于混合池化和空洞卷积的特征增强模块,该模块有六个分支,如图5。六个分支中的第一分支保留由图3中的自动编码器生成的特征图,其余五个分支分别进行空洞卷积和混合池化操作,然后将上述六个分支中提取出的特征相加,产生融合结果。上述操作能够实现在不同尺度感受野上不同方向的信息提取,增强了对图像细节特征的提取能力,有利于溢油目标的准确检测。
上述的空洞卷积具有增加感受野且降低计算量的优点,运用不同尺度的空洞卷积有助于融合多尺度的信息。空洞卷积的等效卷积核的计算公式为:
K′=K+(K-1)*(R-1) (19)
其中,K'表示等效卷积核尺寸,K代表实际卷积核尺寸,而R代表膨胀率。输出的特征图大小为:
Out=(In-K′+2*P)/S+1 (20)
其中,P代表padding,即填充像素的数量,S代表步长。在此模块中第二条和第三条分支使用了空洞卷积,其中第二条分支只采用R=2的空洞卷积,第三条分支采用R=2与R=4串联的空洞卷积。上述并联与串联策略使得特征不仅能够以不同的扩展速率被提取,而且能够获取更多尺度更高级的语义信息。
除此之外,上述的编码器还包含池化层。
池化可以缩小参数矩阵的尺寸,去除冗余信息。此模块中对8×8的特征图采用两种池化方式,包含标准池化以及条带池化(如图6),均为最大值池化,分别在第四、第五和第六条分支中完成。第四条分支完成的是2×2的标准方形池化,提取到4×4的特征图;第五和第六条分支分别完成的是行和列方向上的条带池化,得到C×H×1以及C×1×W的特征图,其中C、H、W的取值为256、8、8,分别代表通道数以及输入特征图的高和宽。然后,对池化操作得到的特征图扩展至输入特征图的大小,为下一步的特征融合做准备。
在本实施例中,解码器引用了Unet的解码器结构,用于接收特征提取模块的输出信息并通过两次连续的上采样和卷积操作完成解码过程。具体地,在每次上采样和卷积操作中,输入的特征图被上采样到原始大小的两倍,然后再进行两个3×3的卷积操作。每个卷积之后都要经过BN层和ReLU激活函数。通过上述操作,输出通道的数量减少到原来的一半。此外,考虑到融合具有更多空间位置、细节信息的低层特征与包含更强语义信息的高层特征能够提升网络的分类性能,因此本实施例采用跳跃连接将编码器中CBAM块的输出与对应的解码器块的输出相加以实现多级特征的融合。最后对输出特征进行1×1卷积操作将特征向量映射到对应的类别,得到分类结果。
通过上述方法将模型构建完成之后,接着对该模型进行网络训练和测试。
在本实施例中,将特征图像分割成大小为32×32的patch输入网络,训练集与测试集的比例为8:2。所用数据为两组数据,数据1为溢油与海水,数据2图像上包含原油、乳化油和植物油共3种不同类型的油膜,所以设置数据1训练集少于数据2。学习率和batchsize是深度学习的关键参数。学习率对训练效果有很大的影响,学习率设置不当会导致网络发散或收敛缓慢。本实施例通过实验对比设置学习率为1×10-4。Batchsize是指训练过程中每次迭代使用的训练样本数量。它的大小显著影响模型优化的进程,此外,恰当地设置batchsize这一网络参数可以使梯度下降的方向更加准确。考虑到训练集的大小和本实施例使用的GPU平台,批处理大小设置为20。为了加快网络的收敛速度,本实施例采用了Adam优化器来优化网络和更新参数,并且将最大迭代次数设置为100次。网络的学习率、批处理大小等参数均通过实验进行调整,以获得最佳的分类性能。本实施例使用的框架版本和包含计算平台在内的软硬件配置如表2所示。
最终利用训练好的检测模型完成海洋溢油全极化检测。
以上所述的实施例仅是对本申请优选方式进行的描述,并非对本申请的范围进行限定,在不脱离本申请设计精神的前提下,本领域普通技术人员对本申请的技术方案做出的各种变形和改进,均应落入本申请权利要求书确定的保护范围内。

Claims (8)

1.基于极化SAR特征与编解码网络的溢油检测方法,其特征在于,步骤包括:
采集极化SAR图像;
对所述极化SAR图像进行预处理,得到处理后图像;
基于所述处理后图像,得到溢油区域的特征;所述特征包括:极化特征和几何特征;
基于所述特征构建并训练检测模型,并通过所述检测模型完成检测。
2.根据权利要求1所述的基于极化SAR特征与编解码网络的溢油检测方法,其特征在于,进行所述预处理的方法包括:对所述极化SAR图像进行裁剪以及基于Refined-Lee方法的图像去噪,得到所述处理后图像。
3.根据权利要求1所述的基于极化SAR特征与编解码网络的溢油检测方法,其特征在于,得到所述极化特征的方法包括:
从所述处理后图像中提取30个常用特征,组成多维极化SAR特征图像;
对所述多维极化SAR特征图像进行降维处理,得到备选数据;
对所述备选数据进行主成分分析,得到10层的极化SAR特征图像;得到所述极化特征。
4.根据权利要求1所述的基于极化SAR特征与编解码网络的溢油检测方法,其特征在于,得到所述几何特征的方法包括:利用CV模型进行几何特征提取,以能量函数极小化为目标,从初始轮廓位置开始,通过曲线演化使轮廓曲线沿着能量降低的方向运动,最终运动到目标边界位置,得到所述几何特征。
5.根据权利要求1所述的基于极化SAR特征与编解码网络的溢油检测方法,其特征在于,所述检测模型包括:编码器和解码器网络;在所述编码器和所述解码器之间采用跳跃连接,通过高级特征与低级特征,提升网络分类性能。
6.根据权利要求5所述的基于极化SAR特征与编解码网络的溢油检测方法,其特征在于,所述编码器包含:多个下采样层获取高层的语义特征;在下采样过程中通过加入CBAM模块以增强网络表征力;同时,还包括:基于混合池化和空洞卷积的特征增强模块,所述特征增强模块同时采用条带池化、标准方形池化以及不同尺度的空洞卷积,以融合不同方向不同尺度的特征。
7.根据权利要求5所述的基于极化SAR特征与编解码网络的溢油检测方法,其特征在于,所述解码器包括:上采样层和卷积模块,用于接收多方式多尺度特征模块的输出。
8.基于极化SAR特征与编解码网络的溢油检测系统,其特征在于,包括:采集模块、预处理模块、提取模块和构建模块;
所述采集模块用于采集极化SAR图像;
所述预处理模块用于对所述极化SAR图像进行预处理,得到处理后图像;
所述提取模块用于基于所述处理后图像,得到溢油区域的特征;所述特征包括:极化特征和几何特征;
所述构建模块用于基于所述特征构建并训练检测模型,并通过所述检测模型完成检测。
CN202310219804.XA 2023-03-09 2023-03-09 基于极化sar特征与编解码网络的溢油检测方法及系统 Pending CN116343113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310219804.XA CN116343113A (zh) 2023-03-09 2023-03-09 基于极化sar特征与编解码网络的溢油检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310219804.XA CN116343113A (zh) 2023-03-09 2023-03-09 基于极化sar特征与编解码网络的溢油检测方法及系统

Publications (1)

Publication Number Publication Date
CN116343113A true CN116343113A (zh) 2023-06-27

Family

ID=86875600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310219804.XA Pending CN116343113A (zh) 2023-03-09 2023-03-09 基于极化sar特征与编解码网络的溢油检测方法及系统

Country Status (1)

Country Link
CN (1) CN116343113A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894999A (zh) * 2023-07-18 2023-10-17 中国石油大学(华东) 基于条件参数化卷积的溢油极化sar检测方法和装置
CN116912699A (zh) * 2023-09-06 2023-10-20 交通运输部天津水运工程科学研究所 一种基于图像处理的港口溢油扩散趋势预测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084901A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于gcam的高分辨率sar图像机场跑道区自动检测方法及系统
CN113643284A (zh) * 2021-09-09 2021-11-12 西南交通大学 基于卷积神经网络的极化合成孔径雷达图像舰船检测方法
CN115393734A (zh) * 2022-08-30 2022-11-25 吉林大学 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法
CN115497006A (zh) * 2022-09-19 2022-12-20 杭州电子科技大学 基于动态混合策略的城区遥感图像变化深度监测方法及系统
CN115761233A (zh) * 2022-11-21 2023-03-07 南京信息工程大学 融合CBAM的轻量化UNet裂缝图像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084901A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于gcam的高分辨率sar图像机场跑道区自动检测方法及系统
CN113643284A (zh) * 2021-09-09 2021-11-12 西南交通大学 基于卷积神经网络的极化合成孔径雷达图像舰船检测方法
CN115393734A (zh) * 2022-08-30 2022-11-25 吉林大学 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法
CN115497006A (zh) * 2022-09-19 2022-12-20 杭州电子科技大学 基于动态混合策略的城区遥感图像变化深度监测方法及系统
CN115761233A (zh) * 2022-11-21 2023-03-07 南京信息工程大学 融合CBAM的轻量化UNet裂缝图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DANNI WU ET AL.: "Research on Multi-feature Fusion for Discriminating Oil Spill and Look-alike Spots", 《2017 4TH INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND CONTROL ENGINEERING(ICISCE)》, pages 1 - 4 *
DONGMEI SONG ET AL.: "An Efficient Marine Oil Spillage Identification Scheme Based on an Improved Active Contour Model Using Fully Polarimetric SAR Imagery", 《DIGITAL OBJECT IDENTIFIER》, vol. 6, pages 67959 - 67981, XP011696885, DOI: 10.1109/ACCESS.2018.2876173 *
葛瑶 等: "融合注意力机制的海洋涡旋特征检测与分类模型构建", 《曲阜师范大学学报》, vol. 48, no. 4, pages 47 - 56 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894999A (zh) * 2023-07-18 2023-10-17 中国石油大学(华东) 基于条件参数化卷积的溢油极化sar检测方法和装置
CN116894999B (zh) * 2023-07-18 2024-05-03 中国石油大学(华东) 基于条件参数化卷积的溢油极化sar检测方法和装置
CN116912699A (zh) * 2023-09-06 2023-10-20 交通运输部天津水运工程科学研究所 一种基于图像处理的港口溢油扩散趋势预测方法及系统
CN116912699B (zh) * 2023-09-06 2023-12-05 交通运输部天津水运工程科学研究所 一种基于图像处理的港口溢油扩散趋势预测方法及系统

Similar Documents

Publication Publication Date Title
Bo et al. Ship detection and classification from optical remote sensing images: A survey
Zhu et al. Oil spill contextual and boundary-supervised detection network based on marine SAR images
CN104036239B (zh) 基于特征融合和聚类的高分辨sar图像快速舰船检测方法
CN116343113A (zh) 基于极化sar特征与编解码网络的溢油检测方法及系统
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN111626290A (zh) 一种复杂海面环境下的红外舰船目标检测识别方法
Huang et al. An intelligent ship image/video detection and classification method with improved regressive deep convolutional neural network
CN110009010A (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
CN109359661B (zh) 一种基于卷积神经网络的Sentinel-1雷达图像分类方法
Xu et al. Feature-based constraint deep CNN method for mapping rainfall-induced landslides in remote regions with mountainous terrain: An application to Brazil
CN111046772A (zh) 多时相卫星遥感岛礁岸线及开发利用信息提取方法
CN113536963B (zh) 基于轻量化yolo网络的sar图像飞机目标检测方法
Hou et al. End-to-end automatic ship detection and recognition in high-resolution Gaofen-3 spaceborne SAR images
CN112348758B (zh) 一种光学遥感图像数据增强方法及目标识别方法
Xue et al. Rethinking automatic ship wake detection: state-of-the-art CNN-based wake detection via optical images
He et al. Ship detection without sea-land segmentation for large-scale high-resolution optical satellite images
Yasir et al. ShipGeoNet: SAR image-based geometric feature extraction of ships using convolutional neural networks
Chen et al. A novel lightweight bilateral segmentation network for detecting oil spills on the sea surface
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
Li et al. A self-evolving deep learning algorithm for automatic oil spill detection in Sentinel-1 SAR images
Ge et al. Azimuth-Sensitive Object Detection in Sar Images Using Improved Yolo V5 Model
CN118212523A (zh) 基于深度融合优化特征增强网络的sar图像船舰检测方法
CN116894999B (zh) 基于条件参数化卷积的溢油极化sar检测方法和装置
Zou et al. Maritime target detection of intelligent ship based on faster R-CNN
Xu et al. Marine Radar Oil Spill Detection Method Based on YOLOv8 and SA_PSO

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination