CN113570589B - 一种基于特征融合的深度学习sar影像溢油区识别方法 - Google Patents

一种基于特征融合的深度学习sar影像溢油区识别方法 Download PDF

Info

Publication number
CN113570589B
CN113570589B CN202110884686.5A CN202110884686A CN113570589B CN 113570589 B CN113570589 B CN 113570589B CN 202110884686 A CN202110884686 A CN 202110884686A CN 113570589 B CN113570589 B CN 113570589B
Authority
CN
China
Prior art keywords
feature
features
size
image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110884686.5A
Other languages
English (en)
Other versions
CN113570589A (zh
Inventor
范永磊
芮小平
张光远
徐锡杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202110884686.5A priority Critical patent/CN113570589B/zh
Publication of CN113570589A publication Critical patent/CN113570589A/zh
Application granted granted Critical
Publication of CN113570589B publication Critical patent/CN113570589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征融合的深度学习SAR影像溢油区识别方法，包括：利用ToZero阈值分割方法进行全局特征提取；将全局特征与源数据进行融合；利用卷积神经网络对融合的数据进行高维特征提取，并记录池化过程中最大值的位置；反卷积利用记录的最大值位置特征将高维小尺寸特征恢复到原图像尺寸；获得图像分割的结果。本发明的方法提高了原模型分割准确率并且降低了过拟合现象，提供了一种新型的提高模型识别精度的方法。

Description

一种基于特征融合的深度学习SAR影像溢油区识别方法
技术领域
本发明涉及图像分割技术领域，特别涉及一种基于Tozero阈值分割与UNet深度学习两种算法融合的海洋溢油自动监测方法。
背景技术
海洋以后问题近些年来越来越严重，随着海洋石油的进一步开采和海洋原油运输量持续增加，海洋生态环境的破坏也愈发严重。对海洋溢油的监测是及时控制溢油污染扩散，减少海洋溢油带来的经济损失和环境污染的有效方法。
主要有两类对溢油区识别的方式，一种是人工提取方式，另一种是自动提取方法。利用深度学习模型自动且准确地识别海洋溢油成为近些年来的研究热点，一些基于深度学习的语义分割模型，例如UNet、SegNet等，在这个领域已经有了较为广泛的应用，但是识别有效性不足，且模型会出现过拟合问题。
发明内容
本发明针对现有技术的缺陷，提供了一种基于特征融合的深度学习SAR影像溢油区的识别方法。
为了实现以上发明目的，本发明采取的技术方案如下：
一种基于特征融合的深度学习SAR影像溢油区的识别方法，包括以下步骤：
步骤1，利用ToZero阈值分割方法进行全局特征提取；
步骤2，将全局特征与下载获得的源数据集(SAR溢油数据集)在维度上进行融合；
步骤3，利用卷积神经网络对融合的数据进行高维特征提取，并记录池化过程中最大值的位置；
步骤4，反卷积利用记录的最大值位置特征将高维小尺寸特征恢复到原图像尺寸；
步骤5，获得图像分割的结果。
进一步地，ToZero阈值分割方法阈值大小为75。
进一步地，全局特征与源数据特征融合是在维度上的叠加融合。
进一步地，SAR影像的高维特征提取过程以及后续的反卷积过程采用的是UNet图像分割方法。
与现有技术相比，本发明的优点在于：
提高了UNet、SegNet模型的识别准确率并缓解模型过拟合问题，融合后的模型获得了更多的特征，这有利于做出更准确的决策。基于UNet和ToZero融合的FMNet模型提高了0.26个百分点，达到了98.40％，过拟合现象缓解了0.53个百分点，差值从4.89％降低到4.36％。
附图说明
图1是本发明实施例FMNet模型框架图；
图2是本发明实施例训练中准确率与误差的变化过程；
图3是本发明实施例实验中准确率与误差的变化过程；
图4是本发明实施例在测试样本中的结果I，图中：(a)为Dataset，(b)为Label，(c)为BaselineUNet，(d)为BinaryFMNet，(e)为TruncFMNet，(f)为ToZeroFMNet，(g)为OSTUFMNet，(h)为TriangleFMNet。
图5是本发明实施例在测试样本中的结果II，图中：(a)为Dataset，(b)为Label，(c)为BaselineUNet，(d)为BinaryFMNet，(e)为TruncFMNet，(f)为ToZeroFMNet，(g)为OSTUFMNet，(h)为TriangleFMNet。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。
如图1所示，为模型的设计思路，首先是对数据集进行阈值分割，获取影像的全局特征，然后与源数据进行融合。接下来利用UNet网络模型进行高维特征提取，然后利用提取的高维特征进行上采样，逐步将高维特征转换为与原图像大小一致的特征，并将这个结果利用softmax算法进行分类决策，最终得到溢油区分割结果。
1.SAR影像全局特征提取
图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。高频信息在这个过程中被表现，低频信息被削弱。图像以一种简约的形式屏蔽细节特征，突出全局特征。本实施例对比了五种常用的阈值分割技术对SAR影像分割的效果。
1.1二值化阈值分割
分割原理：选定一个特定的阈值，大于或者等于该阈值的像素点的灰度值设定为最大值255，小于该阈值的像素点的灰度值设定为0，分割算法如下：
Figure BDA0003193584580000031
1.2Truncate阈值分割
分割原理：需要首先选定一个阈值，图像中大于等于该阈值的像素点的灰度值被设定为该阈值，小于该阈值的像素点灰度值保持不变，公式如下：
Figure BDA0003193584580000041
1.3零值化阈值分割
分割原理：选定一个阈值，大于等于阈值的像素点灰度值保持不管，小于该阈值的像素点阈值设置为0，公式如下：
Figure BDA0003193584580000042
1.4三角阈值分割
分割原理：该方法使用直方图数据，基于纯几何方法寻找最佳阈值，他的成立条件是假设直方图最大波峰在靠近最亮的一侧，然后通过三角求得最大直线距离，根据最大直线距离对应的脂肪肚灰度等级作为分割阈值。
1.5大津阈值分割
最大类间方差是由日本学者Otsu与1979年提出，是一种自适应的阈值确定方法。算法假设图像像素能够根据阈值，被分成背景和目标两部分。目标像素点所占图像的比例为ω0其平均灰度值为μ0，背景像素点所占图像的比例为ω1，平均灰度值为μ1，图像所有像素平均灰度为μ，类间方差为g，通过如下公式计算该最佳阈值T用来区分两类像素，使得两类像素区分度最大。这种基于全局的二值化算法计算简单快速，不受图像亮度和对比度的影响。缺点是对图像噪声敏感，只能针对单一目标进行分割，当目标和背景大小比例悬殊，类间方差函数可能呈现双峰或者多峰现象，这种情况下分割效果变差。
g＝[ω0ω1(μ0-μ1)]2
2.U-Net局部特征提取
U-Net是比较早的使用全卷机网络进行语义分割的算法之一，本发明中使用包含压缩路径和扩展路径的对称U形结构在当时非常具有创新性，且一定程度上影响了后面若干分割网络的设计。该网络是一个全卷积网络，包含两个部分，网络的左侧是由卷积核MaxPooling构成的压缩路径，主要目的是提取特征。压缩路径由4个block组成，每个block使用了3个有效卷积核1个Max Pooling，每次降采样后feature map的个数翻倍。网络的右侧部分称作扩展路径，由4个block组成，每个block开始之前，通过卷积将feature map的尺寸乘2，同时将其个数减半，最后一层稍微不同，然后与左侧压缩路径的feature map合并，U-Net是通过将压缩路径的Feature Map裁剪到和扩展路径相同尺寸的Feature Map进行归一化的。
3.特征融合网络模型
根据设计思路，首先对源数据进行阈值分割，阈值分割按照像素灰度值划分等级，利用简单的聚类原理将不同的类别从数值上进行区分，作用是提取影像的全局特征，并且加强局部特征。阈值分割后源数据图像内的纹理特征被凸显出来，类别之间的边界更为清晰，源数据在全局域上的特征被加强。另外类别内部的局部特征被削弱，由于同类别内部的像元值是相似的，将相似的像元值通过阈值转换为相同，减少了类别内部噪声的影响。本次利用上述五种阈值分割方法对图像进行全局特征提取，并结合深度卷积网络进行模型搭建。
下一步是将源数据与特征数据输入到Encoder Network网络中，利用卷积操作进行高维特征抽取。这部分卷积操作主要使用的卷积核大小是3*3，并对卷积结果进行归一化和激活操作。然后做最大池化操作，用2*2池化核，步长设置为2，是为了提高模型的感受野。在最大池化同时对最大值的位置的索引进行记录，作用是在decoder过程中向上做非线性上采样。Feature maps包含源数据高维特征全局特征的高维特征被Encoder network最后输出。
接下来对Feature maps进行上采样，即decoder操作。expansive path由若干block组成，不同的decoder network有不同数量的block。在每一个block内部都将输入的feature maps的尺寸扩展为2倍，同时将其数量减半。随后将其和左侧对称的压缩路径的feature maps裁剪到和扩展路径的feature maps具有相同尺寸，并进行归一化处理。这其中上采样采用的反卷积核大小是2*2。最终得到k个(类别数目，本实施例中k＝5)与原图像大小相同的预测结果输入到softmax层进行最终的类别判别。
4.结果与结论
4.1训练结果
图2与表1展示了模型的训练过程准确率与误差的动态变化过程和结果，从图2中可以看出在训练的后期过程，原模型在训练数据集上的准确率达到了98.16％，误差为0.051，在验证数据集上的准确率是93.2％，误差为0.235，这几个数据作为基础对比数据，用来证明特征融合模型的效果。从变化曲线可以看出，零值阈值分割方法与U-Net网络融合的模型达到了最好的效果，准确率达到了98.4％，误差是0.047；在验证集上的识别准确率是94.04％，误差是0.230。
表1
Figure BDA0003193584580000061
Figure BDA0003193584580000071
图4和图5展示了模型在实际应用当中的识别效果，可以看出，本发明提出的特征融合网络模型取得了更好的识别精度。本发明提出的FMNet模型的实验结果在细节上的表现更加出色，最终的图形轮廓也是最接近数据标签的。
表2展示了FMNet模型在统计方面的优势，通过对比Intersection-of-Union(IoU)和MIoU两种统计参数，结果也表明本发明方法FMNet效果是最好的。
表2
Figure BDA0003193584580000072
如图3所示，可以看出五种特征融合模型与原模型在验证集上准确率和误差值的变化情况。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种基于特征融合的深度学习SAR影像溢油区识别方法，其特征在于，包括以下步骤：
步骤1，利用ToZero阈值分割方法进行全局特征提取并得到源数据集；阈值分割按照像素灰度值划分等级，利用简单的聚类原理将不同的类别从数值上进行区分，作用是提取影像的全局特征，并且加强局部特征；将相似的像元值通过阈值转换为相同
步骤2，将全局特征与下载获得的源数据集在维度上进行融合；
步骤3，利用卷积神经网络对融合的数据进行高维特征提取，并记录池化过程中最大值的位置；
SAR影像的高维特征提取过程以及后续的反卷积过程采用的是UNet图像分割方法；
所述卷积神经网络为UNet网络模型，包含两个部分，网络的左侧是由卷积核MaxPooling构成的压缩路径，主要目的是提取特征；压缩路径由4个block组成，每个block使用了3个有效卷积核1个Max Pooling，每次降采样后feature map的个数翻倍；网络的右侧部分称作扩展路径，由4个block组成，每个block开始之前，通过卷积将feature map的尺寸乘2，同时将其个数减半，最后一层稍微不同，然后与左侧压缩路径的feature map合并，U-Net是通过将压缩路径的Feature Map裁剪到和扩展路径相同尺寸的Feature Map进行归一化的；
步骤4，反卷积利用记录的最大值位置特征将高维小尺寸特征恢复到原图像尺寸；
将源数据与特征数据输入到Encoder Network网络中，利用卷积操作进行高维特征抽取；使用的卷积核大小是3*3，并对卷积结果进行归一化和激活操作；然后做最大池化操作，用2*2池化核，步长设置为2；在最大池化同时对最大值的位置的索引进行记录；Featuremaps包含源数据高维特征全局特征的高维特征被Encoder network最后输出；
接下来对Feature maps进行上采样，即decoder操作；在每一个block内部都将输入的feature maps的尺寸扩展为2倍，同时将其数量减半；随后将其和左侧对称的压缩路径的feature maps裁剪到和扩展路径的feature maps具有相同尺寸，并进行归一化处理；这其中上采样采用的反卷积核大小是2*2；步骤5，获得图像分割的结果；得到k个与原图像大小相同的预测结果输入到softmax层进行最终的类别判别。
2.根据权利要求1所述的一种基于特征融合的深度学习SAR影像溢油区识别方法，其特征在于：ToZero阈值分割方法阈值大小为75。
3.根据权利要求1所述的一种基于特征融合的深度学习SAR影像溢油区识别方法，其特征在于：全局特征与源数据特征融合是在维度上的叠加融合。
CN202110884686.5A 2021-08-03 2021-08-03 一种基于特征融合的深度学习sar影像溢油区识别方法 Active CN113570589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110884686.5A CN113570589B (zh) 2021-08-03 2021-08-03 一种基于特征融合的深度学习sar影像溢油区识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110884686.5A CN113570589B (zh) 2021-08-03 2021-08-03 一种基于特征融合的深度学习sar影像溢油区识别方法

Publications (2)

Publication Number Publication Date
CN113570589A CN113570589A (zh) 2021-10-29
CN113570589B true CN113570589B (zh) 2022-04-19

Family

ID=78170194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110884686.5A Active CN113570589B (zh) 2021-08-03 2021-08-03 一种基于特征融合的深度学习sar影像溢油区识别方法

Country Status (1)

Country Link
CN (1) CN113570589B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236063B (zh) * 2013-05-03 2016-01-06 河海大学 基于多尺度谱聚类及决策级融合的sar图像溢油检测方法
CN107818299A (zh) * 2017-10-17 2018-03-20 内蒙古科技大学 基于融合hog特征和深度信念网络的人脸识别算法
CN108830855B (zh) * 2018-04-02 2022-03-25 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN109919123B (zh) * 2019-03-19 2021-05-11 自然资源部第一海洋研究所 基于多尺度特征深度卷积神经网络的海面溢油检测方法
CN110991257B (zh) * 2019-11-11 2023-04-18 中国石油大学(华东) 基于特征融合与svm的极化sar溢油检测方法
CN113052216B (zh) * 2021-03-15 2022-04-22 中国石油大学(华东) 基于双路图u-net卷积网络的溢油高光谱图像检测方法
CN113177929B (zh) * 2021-05-18 2022-08-09 中国石油大学(华东) 一种基于全卷积网络的海面溢油检测方法及其系统和应用

Also Published As

Publication number Publication date
CN113570589A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN107341517B (zh) 基于深度学习层级间特征融合的多尺度小物体检测方法
CN105069447B (zh) 一种人脸表情的识别方法
CN108280460B (zh) 基于改进卷积神经网络的sar车辆目标识别方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN113239782A (zh) 一种融合多尺度gan和标签学习的行人重识别系统及方法
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN114693924A (zh) 一种基于多模型融合的道路场景语义分割方法
CN116682068B (zh) 油井防砂作业施工监控方法及其系统
CN116030396B (zh) 一种用于视频结构化提取的精确分割方法
CN113610862A (zh) 一种屏幕内容图像质量评估方法
CN113591719A (zh) 一种自然场景任意形状文本检测方法、装置和训练方法
CN113591831A (zh) 一种基于深度学习的字体识别方法、系统及存储介质
CN113570589B (zh) 一种基于特征融合的深度学习sar影像溢油区识别方法
CN112070116B (zh) 一种基于支持向量机的艺术画作自动分类系统及方法
CN112258532A (zh) 一种超声图像中胼胝体的定位及分割方法
CN111914947A (zh) 基于特征融合图像实例分割方法、装置、设备及存储介质
CN116228795A (zh) 一种基于弱监督学习的超高分辨率医学图像分割方法
CN115775226A (zh) 基于Transformer的医学图像分类方法
CN114202765A (zh) 一种图像文本识别方法和存储介质
Kachouri et al. Gamma correction acceleration for real-time text extraction from complex colored images
CN117974706B (zh) 一种基于动态阈值和局部搜索的岩石薄片颗粒凹点分割方法
CN117067112B (zh) 一种水切割机及其控制方法
CN113052135B (zh) 一种基于深层神经网络Lane-Ar的车道线检测方法及系统
CN117576416B (zh) 工件边缘区域的检测方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant