CN116894999A - 基于条件参数化卷积的溢油极化sar检测方法和装置 - Google Patents

基于条件参数化卷积的溢油极化sar检测方法和装置 Download PDF

Info

Publication number
CN116894999A
CN116894999A CN202310881139.0A CN202310881139A CN116894999A CN 116894999 A CN116894999 A CN 116894999A CN 202310881139 A CN202310881139 A CN 202310881139A CN 116894999 A CN116894999 A CN 116894999A
Authority
CN
China
Prior art keywords
oil spill
convolution
oil
parameterized
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310881139.0A
Other languages
English (en)
Other versions
CN116894999B (zh
Inventor
宋冬梅
黄倩倩
王斌
张�杰
高晗
刘善伟
王瑞富
周鹏
万勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202310881139.0A priority Critical patent/CN116894999B/zh
Publication of CN116894999A publication Critical patent/CN116894999A/zh
Application granted granted Critical
Publication of CN116894999B publication Critical patent/CN116894999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于条件参数化卷积的溢油极化SAR检测方法和装置，包括以下步骤：步骤S1、对历史极化SAR图像进行预处理，得到包含极化特征和纹理特征的数据集；步骤S2、根据数据集训练溢油检测网络模型；步骤S3、将待检测的极化SAR图像输入训练好的溢油检测网络模型中，实现海上溢油检测。采用本发明的技术方案：提升海洋溢油监测的精度。

Description

基于条件参数化卷积的溢油极化SAR检测方法和装置
技术领域
本发明属于溢油检测技术领域，尤其涉及一种基于条件参数化卷积的溢油极化SAR检测方法和装置。
背景技术
海洋在全球气候和环境变化中发挥着重要作用。然而，随着人类越来越频繁地开发海洋，海洋受到了不同程度的污染，石油泄漏是最普遍、最频繁、最有害的海洋污染之一。海上的溢油事故多由钻井平台爆炸、运输游船碰撞及近岸设施燃料油的泄漏等多种原因造成，给海洋环境造成了严重的污染，因此如何能够对事故地点的油区进行准确识别，并及时的进行清理打捞补救就显得尤为重要。
各国采取了多种手段对溢油事故进行监视检测。对于传统的方法例如飞机、浮标等检测方法来说，耗费成本较高，且检测范围十分有限，无法全天时全天候的工作，故而难以满足海洋溢油事故中大范围快速检测的要求。目前溢油检测的常用手段有卫星遥感检测、航空遥感检测、船舶遥感检测、CCTV检测、固定点检测和浮标跟踪等。其中卫星遥感因其检测范围大，低成本等优点而被广泛应用。同时随着卫星遥感技术的进一步发展，合成孔径雷达(SAR)作为一种主动发射微波的传感器，具有可以穿透云雾，全天时、全天候，不受恶劣天气影响等优势在海洋溢油检测工作中突显出来，已成为大范围海洋溢油检测较为突出且较为理想的传感器之一。
SAR溢油检测的主要原理是溢油对海面毛细波和重力波等小尺度波的抑制作用。溢油覆盖在海面上，能够对海洋表面产生一定的抑制作用，从而返回较弱的雷达后向散射回波，导致在溢油SAR影像产生“暗斑”。除了海洋溢油之外，海面上一些其他物理现象(如雨团、低风速区、生物油膜)等也能够改变海面粗糙度，在SAR图像中表现为“暗斑”，这类假目标统称为疑似油膜或类油膜(look-alikes)，这给溢油检测带来了挑战。传统的SAR只能收到固定方向的散射回波矢量，因此仅能获得某一固定的极化收发组合下的地表场景，所得到的地表信息具有一定的局限性。随着极化技术的快速发展，SAR系统可以通过发射和接收不同的极化波来获取极化SAR(PolSAR)图像，它可以更全面的描述海面散射机制，并利用散射矩阵，复相干矩阵等为溢油检测提供丰富的信息，在溢油检测中的优势凸显。同时随着星载SAR海上溢油检测的研究不断深入，海洋溢油污染的SAR数据不断增加，传统的专家解译来判断溢油已无法满足需求。为了海上溢油监测工作能够有效准确的开展，迫切需要加强对溢油监测的算法的研究，加速能够自动监测与识别SAR海洋溢油的系统的开发。近年来，国内外许多研究提出了大量的海上溢油信息提取的方法，许多研究都将遗传算法、人工神经网络、决策树等机器学习领域的方法引用到SAR图像目标识别分类中，在理论上奠定了基础。相比于传统机器学习算法，深度学习模型因其强大的特征提取和自主学习能力被广泛应用于图像分类等领域。深度学习框架虽然为极化SAR图像溢油检测提供了解决思路，但仍面临以下问题。利用深度学习进行全极化溢油检测的算法中通常使用极化信息进行检测，没有充分利用SAR图像丰富的信息，检测精度有限。且溢油样本特征千变万化，若要高度适配所有样本则需加深网络，这会导致模型的参数剧烈增加，训练困难。此外，溢油边界是十分重要的几何特征参数，海上溢油边界十分复杂，对边界模糊的溢油较难进行检测。导致了溢油检测的精度较低。
发明内容
本发明要解决的技术问题是，提供一种基于条件参数化卷积的溢油极化SAR检测方法和装置，提升海洋溢油监测的精度。
为实现上述目的，本发明采用如下的技术方案：
本发明提供一种基于条件参数化卷积的溢油极化SAR检测方法，包括以下步骤：
步骤S1、对历史极化SAR图像进行预处理，得到包含极化特征和纹理特征的数据集；
步骤S2、根据数据集训练溢油检测网络模型；
步骤S3、将待检测的极化SAR图像输入训练好的溢油检测网络模型中，实现海上溢油检测。
作为优选，步骤S1中，通过ReliefF算法对历史极化SAR图像选取极化特征和纹理特征。
作为优选，步骤S2中，所述溢油检测网络模型为基于条件参数化卷积的溢油检测网络模型。
作为优选，基于条件参数化卷积的溢油检测网络模型包括：条件参数化卷积网络模块，边界提取模块以及边界引导下的特征融合模块；其中，条件参数化卷积模块通过加入条件参数化卷积来学习不同类型溢油特征，得到低级细节特征和高级语义特征；边界提取模块通过低级细节特征和高级语义特征得到溢油区域的边界特征，以获取溢油精细化的几何形态；边界引导下的特征融合模块用于融合溢油特征和边界特征。
本发明还提供一种基于条件参数化卷积的溢油极化SAR检测装置，包括：
预处理模块，用于对历史极化SAR图像进行预处理，得到包含极化特征和纹理特征的数据集；
训练模块，用于根据数据集训练溢油检测网络模型；
检测模块，用于将待检测的极化SAR图像输入训练好的溢油检测网络模型中，实现海上溢油检测。
作为优选，预处理模块通过ReliefF算法对历史极化SAR图像选取极化特征和纹理特征。
作为优选，所述溢油检测网络模型为基于条件参数化卷积的溢油检测网络模型。
作为优选，基于条件参数化卷积的溢油检测网络模型包括：条件参数化卷积网络模块，边界提取模块以及边界引导下的特征融合模块；其中，条件参数化卷积模块通过加入条件参数化卷积来学习不同类型溢油特征，得到低级细节特征和高级语义特征；边界提取模块通过低级细节特征和高级语义特征得到溢油区域的边界特征，以获取溢油精细化的几何形态；边界引导下的特征融合模块用于融合溢油特征和边界特征。
本发明充分利用SAR图像的极化特征和纹理特征；首先，引入条件参数化卷积来学习不同溢油样本的特征，在增加少量参数的同时提升模型的泛化能力；其次，针对溢油中复杂与模糊的边界设计了边界提取模块提取溢油区域的边界特征；最后，设计了边界引导下的特征融合模块来增强溢油内部的一致性，提升分类的精度。
附图说明
为了更清楚地说明本发明的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1为本发明实施例一种基于条件参数化卷积的溢油极化SAR检测方法的流程图；
图2为本发明实施例另一种基于条件参数化卷积的溢油极化SAR检测方法的流程图；
图3为基于条件参数化卷积的溢油检测网络模型示意图；
图4为条件参数化卷积结构示意图；
图5为路由函数示意图；
图6为边界引导下的特征融合模块示意图；
图7为两景极化SAR溢油影像的PauliRGB图像示意图；其中，(a)为数据集1示意图，(b)为数据集2示意图；
图8为数据集1溢油检测可视化结果示意图；
图9为数据集2溢油检测可视化结果示意图。
具体实施方案
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
本发明实施例涉及以下专业术语：
合成孔径雷达(SAR)：一种高分辨率成像雷达，可以在能见度极低的气象条件下得到类似光学照相的高分辨雷达图像。利用雷达与目标的相对运动把尺寸较小的真实天线孔径用数据处理的方法合成一较大的等效天线孔径的雷达，也称综合孔径雷达。合成孔径雷达的特点是分辨率高，能全天候工作，能有效地识别伪装和穿透掩盖物。所得到的高方位分辨力相当于一个大孔径天线所能提供的方位分辨力。
ReliefF算法：一种特征权重算法。每次从训练样本集中随机取出一个样本R，然后从和R同类的样本集中找出R的k个近邻样本(near Hits)，从每个R的不同类的样本集中均找出k个近邻样本(near Misses)，然后根据以下规则更新每个特征的权重：如果R和NearHits在某个特征上的距离小于R和Near Misses上的距离，则说明该特征对区分同类和不同类的最近邻是有益的，则增加该特征的权重；反之，如果R和Near Hits在某个特征的距离大于R和Near Misses上的距离，说明该特征对区分同类和不同类的最近邻起负面作用，则降低该特征的权重。
卷积神经网络(CNN)：卷积神经网络是一种深度前馈人工神经网络，包括卷积层和池化层。类别有一维卷积神经网络(1D-CNN)、二维卷积神经网络(2D-CNN)以及三维卷积神经网络(3D-CNN)。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三维卷积神经网络主要应用于医学图像以及视频类数据识别。
条件参数化卷积(CondConv)：针对每个batch中的每一个输入样例得到定制化的卷积核。根据卷积层的输入决定各套卷积核的权重，最终加权求和得到一个为该输入量身定制的一套卷积核。
注意力机制(Attention Mechanism)：是机器学习中的一种数据处理方法，是人们在机器学习模型中嵌入的一种特殊结构，用来自动学习和计算来突出某些重要特征。
如图1、2所示，本发明实施例提供一种基于条件参数化卷积的溢油极化SAR检测方法，包括以下步骤：
步骤S1、对历史极化SAR图像进行预处理，得到包含极化特征和纹理特征的数据集；
步骤S2、根据数据集训练溢油检测网络模型；
步骤S3、将待检测的极化SAR图像输入带训练好的溢油检测网络模型中，实现海上溢油检测。
作为本发明实施例的一种实施方式，步骤S1中，通过ReliefF算法对历史极化SAR图像选取极化特征和纹理特征。
进一步，极化SAR可以测得多个极化组合下的散射回波，使成像雷达对地物目标信息的获取能力得到极大地提高。目前，利用极化SAR图像海上溢油检测大多是通过提取极化特征进行的。不同的极化特征构造机理不同，在溢油表征能力上具有差异，且随着海洋环境的变化，这种表征能力也会发生改变。为了更全面地刻画溢油特征，本发明实施例选取了30个常用的极化SAR溢油特征。
纹理特征描述了灰度的空间分布和空间相关性，浮油与海面的纹理信息不同。浮油抑制了海面的短重力波和毛细波，因此其纹理是光滑细腻的，而海面的纹理则是粗糙的。因此，本发明实施例选取了多个窗口大小和步长，在δvv图像中计算灰度共生矩阵(GLCM)。窗口大小为5，步长为1；窗口大小为7、9，步长为1、3。图像的灰度级数从255压缩至32。此外，采用了四个不同方向求和取平均的方式来获取各个方向的纹理特征。在此基础上提取了十种不同的纹理特征：角二阶矩，对比度，相异性，能量，熵，相关性，均值，方差，同质性和最大值，总共产生了50个纹理特征。
提取的多维度特征会带来维度爆炸问题，存在很大冗余性，会造成分类精度的下降，因此，需要对提取的极化特征和纹理特征进行选择。本发明实施例选取了ReliefF算法进行特征选择。ReliefF算法的核心思想是根据特征与类别标签之间的相关性计算特征的权值。该算法中特征和类别标签的相关性是基于特征对近距离样本的区分能力度量的。ReliefF算法的具体步骤如下：
假设训练集为D，抽样次数为m，最近邻样本个数为k，特征的权重为W；
步骤1：设置所有的特征权重为0，W为空集；
步骤2：从D中随机选择一个样本R，从R的同类样本集中找到R的k个最近邻Hj(j＝1,2,…,k)，从每一个不同类别样本集中找到k个最近邻Mj(C)；
步骤3：分别计算和R相同类别中k个最近邻样本的距离以及和R不同类别中k个最近邻样本的距离，如果类间距大于类内距，那么就增加其权值，如果类间距小于类内距，则降低其权值。通过计算类间距与类内距不断迭代m次更新其权值，并根据最终权值进行特征选择，其权值计算公式为
其中，A为特征，W(A)为权重，k为最近邻样本的个数，本发明实施例中k为100，m为迭代次数，本发明实施例中m为采样样本的0.1倍，Hj表示R同类别中的第j个最近邻样本，Mj(C)表示类中第j个最近邻样本。P(C)为训练样本中属于类别C的样本所占的比例，P(class(R))为随机选取的某样本占总样本的比例，diff(A,R1,R2)表示样本R1和R2在特征A上的距离。
样本在特征上的距离计算如式所示：
其中，max(A)与min(A)分别代表特征A的最大值与最小值。
步骤4：通过多次迭代，最终得到各个特征多次迭代后的权重。根据特征权重对特征进行排序，选择出权重较高的特征完成特征优选。
最后选取了十个极化特征以及四个纹理特征，接着对特征优选后的极化特征以及纹理特征数据进行裁剪，取每个像素的32×32邻域作为样本。将处理好的特征数据集按8:2的比例划分为训练集和测试集。
作为本发明实施例的一种实施方式，步骤S2中，所述溢油检测网络模型为基于条件参数化卷积的溢油检测网络模型。如图3所示，基于条件参数化卷积的溢油检测网络模型包括：条件参数化卷积网络模块，边界提取模块以及边界引导下的特征融合模块；其中，条件参数化卷积模块通过加入条件参数化卷积来学习不同类型溢油的特征，得到低级细节特征和高级语义特征，增强模型的泛化能力；边界提取模块通过低级细节特征和高级语义特征得到溢油区域的边界特征，以获取溢油精细化的几何形态；边界引导下的特征融合模块用于融合溢油特征和边界特征，提升模型的精度。
条件参数化卷积网络模块如下：
传统的卷积网络中，卷积核参数经训练后对所有输入样本保持固定，而溢油数据样本的特征千变万化，固定的参数并不能对所有样本保持高度适配。为了提取充分的特征，一般会加深网络，这会导致模型的参数剧烈增加，训练困难。因此构建条件参数化卷积模块在增加少量参数的情况下达到充分提取溢油数据特征的目的，增强模型的泛化能力。
条件参数化卷积网络模块包含一个普通卷积层、三个条件参数化卷积层和两个池化层，每个卷积层后都跟着一层BatchNorm层作为正则化层，ReLU函数作为激活函数。其中，普通卷积层的卷积核大小为3×3，数量为64。三次条件参数化卷积的卷积核大小为3×3，卷积核数量分别为64、128和256。下采样层为2×2平均池化层。
条件参数化卷积在执行卷积操作前可为不同数据生成多组卷积权重，对卷积核进行有条件的参数化，实现一次卷积达到多次卷积的效果。具体如图4所示。
条件参数化卷积的卷积核(W1)针对每个输入样例生成，使用生成的卷积核计算输出，如公式(3)所示。
其中，σ为激活函数，x为输入特征，为标准卷积核，α为每个标准卷积核根据输入数据计算得到的权重系数，共有n个标准卷积核，本发明实施例中的n为4。为加权计算的结果，权重系数αi,i＝1,2,3,4由路由函数生成，具体的路由函数如图5所示。
路由函数包括全局平均池化(GAP)，全连接层(FC)和激活函数三部分。经过路由函数，对不同的输入特征可生成权重系数。权重系数αi的计算过程如式(4)所示：
α＝Sigmoid(GAP(x)R) (4)
其中，R是一个具有n个神经元的全连接层，得到n个权重系数。最后，通过Sigmoid将n个权重系数的值约束到[0,1]作为n个卷积核的权重。本发明实施例中n为4。
边界提取模块如下：
边界是指图像灰度发生空间突变或者在梯度方向上发生突变的像素的集合。图像边界往往是由图像中物体的物理特性发生变化而引起的，包含了用于识别目标的特征信息，为目标识别提供了具有价值的特征参数。在SAR溢油检测中，SAR图像通常包含大量的斑点噪声且溢油部分与海水部分的边界具有一定的模糊性，不利于溢油的检测。因此，为了获取溢油精细化的几何形态，本发明实施例设计了边界提取模块。边界提取模块对从条件参数化卷积模块得到的4个特征图通过4个3×3卷积将通道数统一到256，接着对通道统一后的特征图通过interpolate函数进行下采样，将特征图大小调整为8×8，得到4个8×8×256大小的特征图。然后将后续操作分成两个分支，一个分支如图2边界提取模块中的①，对4个8×8×256大小的特征图进行通道叠加(Concat)操作得到1个8×8×1024大小的特征图并将其用于边界引导下的特征融合模块。对另一个分支的操作如图2边界提取模块中的②所示，首先对4个8×8×256大小的特征图进行1×1卷积得到4个8×8×1大小的特征图，然后将4个8×8×1的特征图逐像素相加后(Add)得到一个大小为8×8×1大小的特征图，之后对其进行双线性插值，得到1个大小为32×32×1的特征图，最后，对32×32×1的特征图进行sigmoid操作得到边界分类结果。在获取边界分类结果后，通过设立边界损失函数计算出边界分类结果和真实值之间的损失值以用于更新网络参数。
边界引导下的特征融合模块如下：
为了融合边界模块和条件参数化卷积模块的特征来提升模型的精度，设计了边界引导下的特征融合模块。该模块主要由两部分组成，一部分融合边界特征和条件参数化卷积特征，另一部分将特征融合后获取的特征图经过上采样和卷积得到分类结果。特征融合部分中，首先对条件参数化卷积模块获取的特征进行全局平均池化，以获取其全局上下文信息，之后对全局平均池化(GAP)后的结果进行重塑(Reshape)转置(Transpose)为L×1的矩阵。同时对从边界模块获取的特征图进行Reshape，以获得HW×L大小的矩阵，接着将L×1和HW×L大小的矩阵进行矩阵乘法，并将得到的结果进行Softmax与Reshape操作，获取大小为H×W的边界特征。上述矩阵乘法操作的意义在于获取全局上下文信息和边界像素之间的相关性，根据相关性的大小，突出具有较大相似性的像素向量，从而增强边界信息。之后对边界特征Reshape为H×W×1大小的特征，将H×W×1大小的边界特征与H×W×L大小的条件参数化卷积模块输出特征通过逐像素点乘运算来进行特征融合，以利用边界信息增强类内相似性和类间差异性，得到的融合结果大小为H×W×L的特征。然后将H×W×L的融合结果与H×W×L大小的条件参数化卷积模块输出特征进行逐元素相加得到大小为H×W×L的融合特征。然后对上述H×W×L的融合特征进行上采样得到32×32×256大小的特征图，并对32×32×256大小的特征图进行3×3卷积将通道调整为64，最后进行1×1卷积操作将特征向量映射到对应的类别，得到分类结果。在获取分类结果后，通过设立分类损失函数计算出分类结果和真实值之间的损失值以用于更新网络参数。具体的模块如图6所示。
网络中的损失函数定义为边界损失和分类损失的联合损失L，具体表达为
L＝lseg+ledg (5)
其中，ledg表示边界的损失，lseg表示分类的损失。
对于边界的损失函数，采用二元交叉熵损失函数，具体公式如下：
其中，bi是二元标签，是输出属于标签的概率，I表示输入的影像。
对于分类的损失函数，采用的是交叉熵损失函数
其中，I表示输入的影像，k表示类别的数量，表示标签值。
所述溢油检测网络模型的训练如下：
所述溢油检测网络模型输入数据为利用ReliefF算法选取的极化特征和纹理特征叠加的14层特征图，对特征图进行裁剪，裁成32×32大小的像素作为样本。接着，将处理好的特征数据集按8:2的比例划分为训练集和测试集。训练过程中，首先设置模型超参数：学习率和batchsize是深度学习的关键参数。学习率决定了在每步参数更新中，模型参数有多大程度的调整。本发明实施例通过实验对比分析后设置学习率为1×10-4。批处理大小Batchsize设置为10。为了加快网络的收敛速度，本发明实施例采用了Adam优化器来优化网络和更新参数，并且将最大迭代次数设置为100次。每次训练计算相应的损失以更新网络参数，每五次训练后验证精度，保存最优的网络参数，重复这一过程，直到达到设置的最大epoch。本发明实施例使用的框架版本和包含计算平台在内的软硬件配置如表1所示。
表1
溢油数据测试集输入到已完成训练的所述溢油检测网络模型中，采用总体准确度OA，Kappa系数、F1-分数和平均交并比MIOU四个指标来评价溢油检测结果。
本发明实施例具有以下有益效果：
1、对历史极化SAR图像提取30种极化特征以及50种纹理特征图像并利用ReliefF算法进行数据降维，以充分地利用图像的极化信息和纹理信息并避免信息冗余。
2、设计了一种基于条件参数化卷积的溢油检测网络。引入条件参数化卷积来适配不同的溢油样本特征。利用从条件参数化卷积模块获取的特征提取溢油的边界信息，以获取溢油精细化的几何形态。最后设计了一个边界引导下的特征融合模块融合边界和条件参数化卷积模块的特征，提升模型的精度。
实验1：
1.数据介绍
本发明实施例选取两景Radarsat-2全极化SAR溢油数据进行实验。其中数据集1为墨西哥湾获取的溢油影像，获取时间为2015年5月8日，如图7中的(a)所示。数据分辨率为4.72m×4.78m，覆盖范围为32.95km×23.2km，数据格式为单视复数数据(SLC)。数据集2为欧洲北海的海上溢油实验的Radarsat-2影像，于2011年6月8日获取，如图7中的(b)所示。该图像上包含原油、乳化油和植物油共3种不同类型的油膜，覆盖范围37.59km×15.95km，分辨率为4.73m×4.82m。
2.结果分析
为了检验本发明实施例提出的全极化SAR溢油检测算法的性能，采用总体准确度，Kappa系数、F1-score和平均交并比四个指标来评价溢油检测结果。并将新算法与SVM、SegNet、deeplabv3、U-Net和PSPNet进行对比分析。
(1)数据集1结果分析
表2和表3分别给出了数据集1通过ReliefF算法特征优选后权重较高的10个极化特征和4个纹理特征。
表2
极化特征 权重
极化总功率 0.466367
表面散射分数 0.251878
平均强度值 0.241949
最大特征值 0.201684
极化熵 0.189198
Gini系数 0.170802
几何强度 0.168554
极化度 0.160141
VV强度 0.157028
同极化交叉项实部 0.150564
表3
纹理特征 权重
9×9窗口，3步长，能量 0.531464
9×9窗口，1步长，能量 0.521896
9×9窗口，3步长，熵 0.519665
9×9窗口，1步长，最大值 0.516746
图8给出了溢油数据集分别利用本发明实施例算法和对比算法溢油检测的可视化结果、以及其对应的地面真实标签图。
表4
(2)数据集2结果分析
不同于数据集1只区分海水与溢油，数据集2包含了不同种类的油膜。表5、表6中分别给出了数据集2通过ReliefF算法特征优选后权重较高的10个极化特征和4个纹理特征。
表5
表6
纹理特征 权重
9×9窗口，1步长，同质性 0.328633
7×7窗口，1步长，同质性 0.321511
9×9窗口，1步长，熵 0.31741
9×9窗口，3步长，熵 0.314604
表7
表8
表9
数据集1和数据集2的检测结果分别如图8、图9所示。表4和表7列出了所提算法以及对比方法在数据集1和数据集2上的溢油检测精度。从检测效果图中能够明显看出，使用传统机器学习溢油检测精度较低，不能较好地区分原油，乳化油以及生物油膜，有较多错分现象，整体分类效果较差。相比于传统分类方法，深度学习的方法总体上能够更好地区分不同油膜。从两个数据集的实验中可以看出，本发明实施例所提新方法在OA和Kappa系数上都达到了最佳性能。同时能够发现本发明实施例所提方法的分类图像整体杂斑较少且在溢油边缘的保持方面效果最佳。数据集2中包含多种油膜，为了进一步的考察海水和油膜的分类效果以及每种油膜的分类效果，分别求算Recall、MIou以及F1-score，具体结果如表8和表9所示。可以看出本发明实施例方法不仅大大减少了海水的误判概率，而且还提升了原油、乳化油和生物油膜的区分能力。
实施例2：
本发明实施例还提供一种基于条件参数化卷积的溢油极化SAR检测装置，包括：
预处理模块，用于对历史极化SAR图像进行预处理，得到包含极化特征和纹理特征的数据集；
训练模块，用于根据数据集训练溢油检测网络模型；
检测模块，用于将待检测的极化SAR图像输入训练好的溢油检测网络模型中，实现海上溢油检测。
作为本发明实施例的一种实施方式，预处理模块通过ReliefF算法对历史极化SAR图像选取极化特征和纹理特征。
作为本发明实施例的一种实施方式，所述溢油检测网络模型为基于条件参数化卷积的溢油检测网络模型。
作为本发明实施例的一种实施方式，基于条件参数化卷积的溢油检测网络模型包括：条件参数化卷积网络模块，边界提取模块以及边界引导下的特征融合模块；其中，条件参数化卷积模块通过加入条件参数化卷积来学习不同类型溢油的特征，得到低级细节特征和高级语义特征；边界提取模块通过低级细节特征和高级语义特征得到溢油区域的边界特征，以获取溢油精细化的几何形态；边界引导下的特征融合模块用于融合溢油和边界特征
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种基于条件参数化卷积的溢油极化SAR检测方法，其特征在于，包括以下步骤：
步骤S1、对历史极化SAR图像进行预处理，得到包含极化特征和纹理特征的数据集；
步骤S2、根据数据集训练溢油检测网络模型；
步骤S3、将待检测的极化SAR图像输入训练好的溢油检测网络模型中，实现海上溢油检测。
2.如权利要求1所述的基于条件参数化卷积的溢油极化SAR检测方法，其特征在于，步骤S1中，通过ReliefF算法对历史极化SAR图像选取极化特征和纹理特征。
3.如权利要求2所述的基于条件参数化卷积的溢油极化SAR检测方法，其特征在于，步骤S2中，所述溢油检测网络模型为基于条件参数化卷积的溢油检测网络模型。
4.如权利要求3所述的基于条件参数化卷积的溢油极化SAR检测方法，其特征在于，基于条件参数化卷积的溢油检测网络模型包括：条件参数化卷积网络模块，边界提取模块以及边界引导下的特征融合模块；其中，条件参数化卷积模块通过加入条件参数化卷积来学习不同类型溢油特征，得到低级细节特征和高级语义特征；边界提取模块通过低级细节特征和高级语义特征得到溢油区域的边界特征，以获取溢油精细化的几何形态；边界引导下的特征融合模块用于融合溢油特征和边界特征。
5.一种基于条件参数化卷积的溢油极化SAR检测装置，其特征在于，包括：
预处理模块，用于对历史极化SAR图像进行预处理，得到包含极化特征和纹理特征的数据集；
训练模块，用于根据数据集训练溢油检测网络模型；
检测模块，用于将待检测的极化SAR图像输入训练好的溢油检测网络模型中，实现海上溢油检测。
6.如权利要求5所述的基于条件参数化卷积的溢油极化SAR检测装置，其特征在于，预处理模块通过ReliefF算法对历史极化SAR图像选取极化特征和纹理特征。
7.如权利要求6所述的基于条件参数化卷积的溢油极化SAR检测装置，其特征在于，所述溢油检测网络模型为基于条件参数化卷积的溢油检测网络模型。
8.如权利要求7所述的基于条件参数化卷积的溢油极化SAR检测装置，其特征在于，基于条件参数化卷积的溢油检测网络模型包括：条件参数化卷积网络模块，边界提取模块以及边界引导下的特征融合模块；其中，条件参数化卷积模块通过加入条件参数化卷积来学习不同类型溢油特征，得到低级细节特征和高级语义特征；边界提取模块通过低级细节特征和高级语义特征得到溢油区域的边界特征，以获取溢油精细化的几何形态；边界引导下的特征融合模块用于融合溢油特征和边界特征。
CN202310881139.0A 2023-07-18 2023-07-18 基于条件参数化卷积的溢油极化sar检测方法和装置 Active CN116894999B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310881139.0A CN116894999B (zh) 2023-07-18 2023-07-18 基于条件参数化卷积的溢油极化sar检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310881139.0A CN116894999B (zh) 2023-07-18 2023-07-18 基于条件参数化卷积的溢油极化sar检测方法和装置

Publications (2)

Publication Number Publication Date
CN116894999A true CN116894999A (zh) 2023-10-17
CN116894999B CN116894999B (zh) 2024-05-03

Family

ID=88311863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310881139.0A Active CN116894999B (zh) 2023-07-18 2023-07-18 基于条件参数化卷积的溢油极化sar检测方法和装置

Country Status (1)

Country Link
CN (1) CN116894999B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095308A (zh) * 2023-10-19 2023-11-21 中国石油大学(华东) 一种基于遗传算法的全极化sar影像海面溢油检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190491A (zh) * 2018-08-08 2019-01-11 上海海洋大学 残差卷积神经网络sar影像海冰分类方法
CN114049313A (zh) * 2021-10-28 2022-02-15 上海电机学院 一种基于改进YOLOv4的锂电池缺陷检测方法
CN115018773A (zh) * 2022-05-23 2022-09-06 中国海洋大学 基于全局动态卷积神经网络的sar图像变化检测方法
CN115527096A (zh) * 2022-11-02 2022-12-27 山东神戎电子股份有限公司 一种基于改进YOLOv5的小目标检测方法
CN116206203A (zh) * 2023-03-08 2023-06-02 中国石油大学(华东) 基于SAR与Dual-EndNet的溢油检测方法
CN116299305A (zh) * 2023-05-22 2023-06-23 南京信息工程大学 一种多特征sar溢油检测方法
CN116343113A (zh) * 2023-03-09 2023-06-27 中国石油大学(华东) 基于极化sar特征与编解码网络的溢油检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190491A (zh) * 2018-08-08 2019-01-11 上海海洋大学 残差卷积神经网络sar影像海冰分类方法
CN114049313A (zh) * 2021-10-28 2022-02-15 上海电机学院 一种基于改进YOLOv4的锂电池缺陷检测方法
CN115018773A (zh) * 2022-05-23 2022-09-06 中国海洋大学 基于全局动态卷积神经网络的sar图像变化检测方法
CN115527096A (zh) * 2022-11-02 2022-12-27 山东神戎电子股份有限公司 一种基于改进YOLOv5的小目标检测方法
CN116206203A (zh) * 2023-03-08 2023-06-02 中国石油大学(华东) 基于SAR与Dual-EndNet的溢油检测方法
CN116343113A (zh) * 2023-03-09 2023-06-27 中国石油大学(华东) 基于极化sar特征与编解码网络的溢油检测方法及系统
CN116299305A (zh) * 2023-05-22 2023-06-23 南京信息工程大学 一种多特征sar溢油检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BRANDON YANG 等: "CondConv: Conditionally Parameterized Convolutions for Efficient Inference", ARXIV:1904.04971V3[CS.CV], pages 1 - 12 *
DONGMEI SONG 等: "A Novel Marine Oil Spillage Identification Scheme Based on Convolution Neural Network Feature Extraction From Fully Polarimetric SAR Imagery", IEEE ACCESS, vol. 8, pages 59801 - 59820, XP011782521, DOI: 10.1109/ACCESS.2020.2979219 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095308A (zh) * 2023-10-19 2023-11-21 中国石油大学(华东) 一种基于遗传算法的全极化sar影像海面溢油检测方法
CN117095308B (zh) * 2023-10-19 2024-01-05 中国石油大学(华东) 一种基于遗传算法的全极化sar影像海面溢油检测方法

Also Published As

Publication number Publication date
CN116894999B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
Sharifzadeh et al. Ship classification in SAR images using a new hybrid CNN–MLP classifier
Wang et al. Sea ice concentration estimation during melt from dual-pol SAR scenes using deep convolutional neural networks: A case study
Solberg et al. Automatic detection of oil spills in ERS SAR images
Wu et al. Inshore ship detection based on convolutional neural network in optical satellite images
Aghaei et al. GreyWolfLSM: An accurate oil spill detection method based on level set method from synthetic aperture radar imagery
Solberg et al. Automatic detection of oil spills in Envisat, Radarsat and ERS SAR images
CN111666854B (zh) 融合统计显著性的高分辨率sar影像车辆目标检测方法
CN113643284B (zh) 基于卷积神经网络的极化合成孔径雷达图像舰船检测方法
CN110991257B (zh) 基于特征融合与svm的极化sar溢油检测方法
CN116894999B (zh) 基于条件参数化卷积的溢油极化sar检测方法和装置
CN110287837A (zh) 基于先验估计网络和空间约束混合模型的海面障碍物检测方法
Hou et al. End-to-end automatic ship detection and recognition in high-resolution Gaofen-3 spaceborne SAR images
Sun et al. Global Mask R-CNN for marine ship instance segmentation
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
CN116343113A (zh) 基于极化sar特征与编解码网络的溢油检测方法及系统
Wang et al. IDUDL: Incremental double unsupervised deep learning model for marine aquaculture SAR images segmentation
Donini et al. A deep learning architecture for semantic segmentation of radar sounder data
Fan et al. Multitask gans for oil spill classification and semantic segmentation based on sar images
Chen et al. A novel lightweight bilateral segmentation network for detecting oil spills on the sea surface
Xu et al. Marine radar oil spill monitoring technology based on dual-threshold and c–v level set methods
Mabu et al. Landslide classification from synthetic aperture radar images using convolutional neural network with multichannel information
CN116310304A (zh) 一种水域图像分割的方法及其分割模型的训练方法、介质
Fan et al. Multifeature semantic complementation network for marine oil spill localization and segmentation based on sar images
CN115424140A (zh) 星载海量图像数据分布式协同快速高精度处理系统及方法
CN114663743A (zh) 一种船舶目标重识别方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant