CN115546199A - 利用自注意力分析sar图像获取海上溢油区域的方法 - Google Patents

利用自注意力分析sar图像获取海上溢油区域的方法 Download PDF

Info

Publication number
CN115546199A
CN115546199A CN202211397192.5A CN202211397192A CN115546199A CN 115546199 A CN115546199 A CN 115546199A CN 202211397192 A CN202211397192 A CN 202211397192A CN 115546199 A CN115546199 A CN 115546199A
Authority
CN
China
Prior art keywords
oil spill
module
attention
layer
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211397192.5A
Other languages
English (en)
Other versions
CN115546199B (zh
Inventor
牟春晓
翟基锭
侯永超
王莹洁
迟浩坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai University
Original Assignee
Yantai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai University filed Critical Yantai University
Priority to CN202211397192.5A priority Critical patent/CN115546199B/zh
Publication of CN115546199A publication Critical patent/CN115546199A/zh
Application granted granted Critical
Publication of CN115546199B publication Critical patent/CN115546199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种利用自注意力分析SAR图像获取海上溢油区域的方法，包括如下步骤：建立样本数据集，对深度学习自注意力溢油检测模型进行训练；获取SAR原始数据，采用VV极化作为溢油检测的原始图像，以滑动窗口的方式将所述原始图像划分为多个子图像；将划分好的子图像作为特征图输入到已经训练好的深度学习自注意力溢油检测模型中，输出图像作为溢油区域检测结果。本发明提高了溢油检测模型的识别精度，实现了精准识别具有模糊和复杂边界形状的SAR图像中的溢油区域。

Description

利用自注意力分析SAR图像获取海上溢油区域的方法
技术领域
本发明涉及遥感图像处理技术领域，具体涉及一种利用自注意力分析SAR图像获取海上溢油区域的方法。
背景技术
随着海洋产业和石油开采项目的快速发展，海洋溢油的不断增加对海洋生态环境造成了巨大的破坏。早期发现和识别溢油的油品分布、溢出量和油膜厚度可以极大地促进决策的制定，从而实现有效的清理计划。因此，及时、准确地了解浮油的位置和面积非常重要，以便于对溢油做出应急反应。传统的遥感技术具有监测范围广、信息采集效率高等优点，因此在海洋环境监测领域的应用越来越广泛。与其他遥感技术相比，合成孔径雷达(SAR)作为一种主动遥感技术，具有全时、全天候、穿透能力强的特点，已成为溢油监测的重要技术。由于油膜抑制了海水表面的短时重力毛细波，减少了SAR接收到的背向散射信号，从而在图像上表现为暗斑，因此可以通过SAR图像快速、准确地识别溢油。
目前，通过图像分割提取SAR图像中溢油区域的方法包括：阈值化和衍生的自适应阈值化、边缘检测、机器学习等。由于SAR图像具有较高的噪声斑点，导致焦油区的灰度值通常发生剧烈变化，传统的图像分割算法极易受到这些噪声的影响。传统的机器学习方法有：支持向量机、随机森林和BP神经网络，这些方法需要人工设计规则或更多的匹配信息来获得更准确的预测结果，而且匹配信息的获取难度很高。
深度学习方法具有学习能力强、泛化能力高、适应性强的优点，它可以解决传统方法在SAR溢油图像中提取溢油区域的局限性，而且不需要过多的人工操作，具有较好的通用性，只需要图像信息作为数据输入就可以获得较高的检测精度。但是由于SAR图像具有模糊和复杂边界形状的弱点，传统深度学习模型中使用卷积运算的处理方法不能准确提供识别精度所需的全局信息，导致识别精度不够高。
发明内容
本发明提出了一种利用自注意力分析SAR图像获取海上溢油区域的方法，其目的是：克服现有技术的缺陷，提高溢油检测模型的识别精度，实现精准识别具有模糊和复杂边界形状的SAR图像中的溢油区域。
本发明技术方案如下：
一种利用自注意力分析SAR图像获取海上溢油区域的方法，包括如下步骤：
S1：建立样本数据集，对深度学习自注意力溢油检测模型进行训练；
S2：获取SAR原始数据，采用VV极化作为溢油检测的原始图像，以滑动窗口的方式将所述原始图像划分为多个子图像；
S3：将划分好的子图像作为特征图输入到已经训练好的深度学习自注意力溢油检测模型中，输出图像作为溢油区域检测结果。
进一步地，所述深度学习自注意力溢油检测模型包括编码器、膨胀卷积模块和解码器，所述编码器包括4个依次相连的编码器模块，所述编码器模块分层排列，所述解码器包括4个与所述编码器模块一一对应的解码器模块，第一层编码器模块的输出结果与第二层解码器模块的输出结果加和后作为第一层解码器模块的输入量，第二层编码器模块的输出结果与第三层解码器模块的输出结果加和后作为第二层解码器模块的输入量，第三层编码器模块的输出结果与第四层解码器模块的输出结果加和后作为第三层解码器模块的输入量，第四层编码器模块的输出结果输入至所述膨胀卷积模块，膨胀卷积模块的输出结果与第四层编码器模块的输出结果加和后作为第四层解码器模块的输入量。
进一步地，所述编码器模块包括多个残差模块、一个空间注意力模块和一个通道注意力模块，特征图输入所述编码器模块后，首先经过多个残差模块，然后分别输入所述空间注意力模块和通道注意力模块，并将空间注意力模块的输出结果和通道注意力模块的输出结果进行矩阵加法运算，得到编码器模块的输出结果。
进一步地，所述步骤S3中，特征图M∈RC×H×W输入所述空间注意力模块后执行如下操作：
S31：将特征图M∈RC×H×W送入三个卷积层，得到三个新的特征图分别为{A，B}∈Rc ×H×W，G∈RC×H×W，其中RC×H×W表示通道数为C，高为H，宽为W的矩阵，
Figure BDA0003933984040000031
表示将通道数为C的特征图压缩为通道数为
Figure BDA0003933984040000032
的特征图；
S32：将A，B重塑为{A，B}∈RC×N，其中N＝H×W，再将重塑后的A的转置与重塑后的B相乘，经过Softmax得到空间注意特征图S∈RN×N：
Figure BDA0003933984040000041
其中，sji表示第i个像素值和第J个像素值之间的关联程度，Ai表示A中的第i个像素，Bj表示B中的第j个像素；同时将G∈RC×H×W重塑为G∈RC×N；
S33：将重塑后的G与S相乘，运算结果重塑为GS∈RC×H×W，然后将重塑结果GS乘以比例参数α，并与M执行元素求和运算，得到所述空间注意力模块的输出结果E∈RC×H×W：
Figure BDA0003933984040000042
其中α初始化为0。
进一步地，所述步骤S3中，特征图M∈RC×H×W输入所述通道注意力模块后执行如下操作：
S31′：将特征图M∈RC×H×W重塑为M∈RC×N，然后将重塑后的M与重塑后的M的转置做矩阵乘法运算，再经过Softmax层获得通道注意力图X∈RN×N：
Figure BDA0003933984040000043
其中xji表示特征图M的第i个通道与第j个通道之间的关联程度；
S32′：将重塑后的M与X相乘，运算结果重塑为MX∈RC×H×W，然后将重塑结果MX乘以比例参数β，并与M执行元素求和运算，得到所述通道注意力模块的输出结果F∈RC×H×W：
Figure BDA0003933984040000051
其中β初始化为0。
进一步地，所述步骤S1对深度学习自注意力溢油检测模型进行训练时采用以下损失函数：
L＝LBCE+LDice+LGP
其中LBCE和LDice的计算方式为：
Figure BDA0003933984040000052
Figure BDA0003933984040000053
其中target表示像素点实际值，pt表示像素点的预测值；
LGP的计算方式为：
Figure BDA0003933984040000054
其中G(E)表示从模型输出的标记图像的掩码，E表示实际标记图像掩码，c表示每个图像通道，(·)T是矩阵的转置，trace(·)是L2归一化，H表示图像的高度，W表示图像的宽度。
进一步地，所述步骤S1采用以下方式对深度学习自注意力溢油检测模型进行训练：
S11：将所述样本数据集按一定比例划分为训练集和测试集；
S12：使用训练集对当前深度学习自注意力溢油检测模型进行训练，利用损失函数L计算预测结果和真实结果之间的损失值，利用当前损失值调节模型参数；
S13：重复步骤S12，直到训练集中的图像数据全部训练完毕，视为一轮训练结束，并计算所有预测结果和真实结果之间的平均损失值；
S14：判断完成当前轮次训练后计算的平均损失值是否小于完成上一轮次训练后计算的平均损失值，是则判定模型损失不收敛，重复步骤S12～S13继续训练，否则判定模型损失收敛，使用测试集对模型进行测试并记录测试结果。
进一步地，所述步骤S14中使用测试集对模型进行测试时，测试结果的计算方法为：
Figure BDA0003933984040000061
Figure BDA0003933984040000062
Figure BDA0003933984040000063
Figure BDA0003933984040000064
其中，TP表示真阳性，即正确预测的阳性类别像素的数量；FP表示假阳性，即预测不正确的阳性类别像素的数量；FN表示假阴性，即预测不正确的阴性类别像素的数量；TN表示真阴性，即预测正确的阴性类别像素的数量；k表示共有k个像素值，i表示第i个像素值，Precision表示查准率，Recall表示查全率，mIou和F1-score为模型测试结果评价指标。
进一步地，所述步骤S1建立样本数据集的方法为：
S101：从搭载有合成孔径雷达的卫星上采集数据，并进行数据预处理，筛选出含有溢油区域的图像数据，并将筛选出的图像数据划分为多个256像素*256像素的子图像；
S102：使用人工标注的方法将子图像中的溢油区域标注出来；
S103：使用数据增强的方法对图片进行旋转，并进行添加噪声操作，得到多样性的样本数据集。
进一步地，第一层编码器模块包括3个残差模块，第二层编码器模块包括4个残差模块，第三层编码器模块包括6个残差模块，第四层编码器模块包括3个残差模块。
相对于现有技术，本发明具有以下有益效果：
(1)对深度学习自注意力溢油检测模型进行训练时采用由BCE损失函数、Dice损失函数和GP损失函数共同构成的联合损失函数，BCE损失函数和Dice损失函数通过计算真实结果和预测结果之间的整体相似性来确保预测结果整体结构的精准性，GP损失函数从水平方向和竖直方向来计算真实图像和预测图像的剖面梯度损失值，三者共同构成的联合损失函数使训练好的模型得到更加精准的目标区域边界结果，极好地屏蔽图像中的噪声点，从而提高了溢油检测模型的识别精度，实现了精准识别具有模糊和复杂边界形状的SAR图像中的溢油区域；
(2)深度学习自注意力溢油检测模型采用编码器-解码器的U型结构，输入图片首先经过具有自注意力模块的编码器编码提取到不同尺度的溢油特征，再将提取到的特征图输入到解码器中进行上采样操作，得到具有精准边界信息的溢油区域，提高了在海面背景复杂情况下识别溢油区域的精准性，抗干扰能力强。
附图说明
图1为本发明的流程图；
图2为深度学习自注意力溢油检测模型的结构示意图图；
图3为解码器模块、膨胀卷积模块和编码器模块的运算过程示意图；
图4为编码器模块的详细运算过程示意图。
具体实施方式
下面结合附图详细说明本发明的技术方案：
如图1，一种利用自注意力分析SAR图像获取海上溢油区域的方法，包括如下步骤：
S1：建立样本数据集，对深度学习自注意力溢油检测模型进行训练，提高深度学习自注意力溢油检测模型的检测精度。
优选地，建立样本数据集的方法为：
S101：从搭载有合成孔径雷达的卫星上采集数据，并进行数据预处理，筛选出含有溢油区域的图像数据，并将筛选出的图像数据划分为多个256像素*256像素的子图像。
S102：使用人工标注的方法将子图像中的溢油区域标注出来(白色为溢油区域，黑色为背景区域)。
S103：使用数据增强的方法对图片进行旋转，并进行添加噪声等操作，得到多样性的样本数据集。
进一步优选地，采用以下方式对深度学习自注意力溢油检测模型进行训练：
S11：将所述样本数据集按一定比例(8∶2)划分为训练集和测试集。
S12：使用训练集对当前深度学习自注意力溢油检测模型进行训练，利用损失函数L计算预测结果和真实结果之间的损失值，利用当前损失值调节模型参数。损失值用于衡量模型在训练集上训练时真实结果和预测结果之间差异，在整个训练过程中这个值是不断变低的，当这个值不再降低时称为收敛。
损失函数L如下：
L＝LBCE+LDice+LGP
其中LBCE和LDice的计算方式为：
Figure BDA0003933984040000091
Figure BDA0003933984040000092
其中target表示像素点实际值，pt表示像素点的预测值。
LGP的计算方式为：
Figure BDA0003933984040000093
其中G(E)表示从模型输出的标记图像的掩码，E表示实际标记图像掩码(通过计算垂直方向和水平方向相邻像素的差值获得)，c表示每个图像通道，(·)T是矩阵的转置，trace(·)是L2归一化，H表示图像的高度，W表示图像的宽度。
公式LGP中的第一项
Figure BDA0003933984040000101
用于计算大小图像之间的行轮廓相似度，第二项
Figure BDA0003933984040000102
用于计算列轮廓相似度。
S13：重复步骤S12，直到训练集中的图像数据全部训练完毕，视为一轮训练结束，并计算所有预测结果和真实结果之间的平均损失值，即计算一轮训练完成后得到的所有损失值的平均值。
S14：判断完成当前轮次训练后计算的平均损失值是否小于完成上一轮次训练后计算的平均损失值，是则判定模型损失不收敛，重复步骤S12～S13继续训练，否则判定模型损失收敛，使用测试集对模型进行测试并记录测试结果。
优选地，所述测试结果的计算方法为：
Figure BDA0003933984040000103
Figure BDA0003933984040000104
Figure BDA0003933984040000105
Figure BDA0003933984040000106
其中，TP表示真阳性，即正确预测的阳性类别像素的数量；FP表示假阳性，即预测不正确的阳性类别像素的数量；FN表示假阴性，即预测不正确的阴性类别像素的数量；TN表示真阴性，即预测正确的阴性类别像素的数量；k表示共有k个像素值，i表示第i个像素值，Precision表示查准率，Recall表示查全率，mIou和F1-score为模型测试结果评价指标。
本方法最终在拍摄自PALSAR，Sentinel-1和GaoFen-3三个卫星的图片所制作的测试集中的测试结果如下表所示：
PALSAR Sentinel-1 GaoFen-3
mIoU 0.850 0.857 0.922
F1-score 0.861 0.898 0.950
BCE损失函数和Dice损失函数通过计算真实结果和预测结果之间的整体相似性来确保预测结果整体结构的精准性，GP损失函数从水平方向和竖直方向来计算真实图像和预测图像的剖面梯度损失值，三者共同构成的联合损失函数使训练好的模型得到更加精准的目标区域边界结果。下表中的实验数据证明了BCE+Dice+GP联合损失函数的有效性。
Dataset PALSAR Sentinel-1 GaoFen-3 PALSAR Sentinel-1 GaoFen-3
Loss Function BEC+Dice BEC+Dice BEC+Dice BEC+Dice+GP BEC+Dice+GP BEC+Dice+GP
mIou 0.836 0.853 0.912 0.850 0.857 0.922
F1-score 0.849 0.857 0.944 0.861 0.898 0.950
S2：获取SAR原始数据，采用VV极化作为溢油检测的原始图像，以滑动窗口的方式将所述原始图像划分为多个子图像，所述滑动窗口大小为256像素*256像素。
S3：将划分好的子图像作为特征图输入到已经训练好的深度学习自注意力溢油检测模型中，输出图像作为溢油区域检测结果，检测结果为二分类的黑白图像(黑色区域为背景区域，白色区域为溢油区域)。
如图2，所述深度学习自注意力溢油检测模型采用编码器-解码器的U型结构。优选地，所述深度学习自注意力溢油检测模型包括编码器、膨胀卷积模块和解码器，所述编码器包括4个依次相连的编码器模块，所述编码器模块分层排列，所述解码器包括4个与所述编码器模块一一对应的解码器模块，第一层编码器模块的输出结果与第二层解码器模块的输出结果加和后作为第一层解码器模块的输入量，第二层编码器模块的输出结果与第三层解码器模块的输出结果加和后作为第二层解码器模块的输入量，第三层编码器模块的输出结果与第四层解码器模块的输出结果加和后作为第三层解码器模块的输入量，第四层编码器模块的输出结果输入至所述膨胀卷积模块，膨胀卷积模块的输出结果与第四层编码器模块的输出结果加和后作为第四层解码器模块的输入量。
如图3，所述解码器模块由一个核大小为1×1的卷积层、一个核大小为3×3、步长为2的反卷积层和一个核大小为1的卷积层首尾相连构成。
所述膨胀卷积模块包括4个膨胀卷积层，4个膨胀卷积层的膨胀系数分别为1、2、4、8。
所述编码器模块包括多个残差模块、一个空间注意力模块和一个通道注意力模块，优选地，第一层编码器模块包括3个残差模块，第二层编码器模块包括4个残差模块，第三层编码器模块包括6个残差模块，第四层编码器模块包括3个残差模块。
特征图输入所述编码器模块后，首先经过多个残差模块，然后分别输入所述空间注意力模块和通道注意力模块，并将空间注意力模块的输出结果和通道注意力模块的输出结果进行矩阵加法运算，得到编码器模块的输出结果。
优选地，如图4，特征图M∈RC×H×W输入所述空间注意力模块后执行如下操作：
S31：将特征图M∈RC×H×W送入三个卷积层，得到三个新的特征图分别为{A，B}∈Rc ×H×W，G∈RC×H×W，其中RC×H×W表示通道数为C，高为H，宽为W的矩阵，
Figure BDA0003933984040000131
表示将通道数为C的特征图压缩为通道数为
Figure BDA0003933984040000132
的特征图，最终模型n取值为8。
S32：将A，B重塑为{A，B}∈RC×N，其中N＝H×W，再将重塑后的A的转置与重塑后的B相乘，经过Softmax得到空间注意特征图S∈RN×N：
Figure BDA0003933984040000133
其中，sji表示第i个像素值和第j个像素值之间的关联程度，Ai表示A中的第i个像素，Bj表示B中的第j个像素；同时将G∈RC×H×W重塑为G∈RC×N。
S33：将重塑后的G与S相乘，运算结果重塑为GS∈RC×H×W，然后将重塑结果GS乘以比例参数α，并与M执行元素求和运算，得到所述空间注意力模块的输出结果E∈RC×H×W：
Figure BDA0003933984040000134
其中α初始化为0，Gi指的是重塑后的G取第i行，Gi的维度是H×W。
特征图M∈RC×H×W输入所述通道注意力模块后执行如下操作：
S31′：将特征图M∈RC×H×W重塑为M∈RC×N，然后将重塑后的M与重塑后的M的转置做矩阵乘法运算，再经过Softmax层获得通道注意力图X∈RN×N：
Figure BDA0003933984040000141
其中xji表示特征图M的第i个通道与第j个通道之间的关联程度。
S32′：将重塑后的M与X相乘，运算结果重塑为MX∈RC×H×W，然后将重塑结果MX乘以比例参数β，并与M执行元素求和运算，得到所述通道注意力模块的输出结果F∈RC×H×W：
Figure BDA0003933984040000142
其中β初始化为0。
最后，将空间注意力模块的输出结果和通道注意力模块的输出结果进行矩阵加法运算，得到编码器模块的输出结果，提取到不同尺度的溢油特征，并将提取到的特征图输入到解码器中进行上采样操作，最终得到图片中的溢油区域。
具体地，将每一层编码器模块的输出结果(提取到的溢油特征)分别输入到下一层编码器模块中，同时将每一层编码器模块的输出结果与下一层解码器模块的输出结果加和输入到同一层解码器模块中。特别指出，最后一层编码器模块的输出结果输入到膨胀卷积模块，再将膨胀卷积模块的输出结果与最后一层编码器模块的输出结果加和，输入到最后一层解码器模块中。
本方法针对SAR图像中溢油区域边界模糊，噪声大，灰度值分布不均匀等特点，使用具有自注意力机制的深度学习模型，实现了对海面上的溢油区域的自动检测。本方法具有较高的自动性，不需要过多的人工操作，可以极好的屏蔽图像中的噪声点，并且具有更高的识别精度。具体表现为：对于一些溢油区域和背景区域灰度值相差较小的图像，本方法可以更为精准地进行图像识别；对于溢油区域的边界线，本方法识别目标区域边界线的精准度更高，并且在海面背景较为复杂时，同样可以精准的提取到图像中的溢油区域，具有较强的抗干扰能力。

Claims (10)

1.一种利用自注意力分析SAR图像获取海上溢油区域的方法，其特征在于，包括如下步骤：
S1：建立样本数据集，对深度学习自注意力溢油检测模型进行训练；
S2：获取SAR原始数据，采用VV极化作为溢油检测的原始图像，以滑动窗口的方式将所述原始图像划分为多个子图像；
S3：将划分好的子图像作为特征图输入到已经训练好的深度学习自注意力溢油检测模型中，输出图像作为溢油区域检测结果。
2.如权利要求1所述的利用自注意力分析SAR图像获取海上溢油区域的方法，其特征在于：所述深度学习自注意力溢油检测模型包括编码器、膨胀卷积模块和解码器，所述编码器包括4个依次相连的编码器模块，所述编码器模块分层排列，所述解码器包括4个与所述编码器模块一一对应的解码器模块，第一层编码器模块的输出结果与第二层解码器模块的输出结果加和后作为第一层解码器模块的输入量，第二层编码器模块的输出结果与第三层解码器模块的输出结果加和后作为第二层解码器模块的输入量，第三层编码器模块的输出结果与第四层解码器模块的输出结果加和后作为第三层解码器模块的输入量，第四层编码器模块的输出结果输入至所述膨胀卷积模块，膨胀卷积模块的输出结果与第四层编码器模块的输出结果加和后作为第四层解码器模块的输入量。
3.如权利要求2所述的利用自注意力分析SAR图像获取海上溢油区域的方法，其特征在于：所述编码器模块包括多个残差模块、一个空间注意力模块和一个通道注意力模块，特征图输入所述编码器模块后，首先经过多个残差模块，然后分别输入所述空间注意力模块和通道注意力模块，并将空间注意力模块的输出结果和通道注意力模块的输出结果进行矩阵加法运算，得到编码器模块的输出结果。
4.如权利要求3所述的利用自注意力分析SAR图像获取海上溢油区域的方法，其特征在于：所述步骤S3中，特征图M∈RC×H×W输入所述空间注意力模块后执行如下操作：
S31：将特征图M∈RC×H×W送入三个卷积层，得到三个新的特征图分别为{A,B}∈Rc×H×W,G∈RC×H×W，其中RC×H×W表示通道数为C，高为H，宽为W的矩阵，
Figure FDA0003933984030000021
表示将通道数为C的特征图压缩为通道数为
Figure FDA0003933984030000022
的特征图；
S32：将A,B重塑为{A,B}∈RC×N，其中N＝H×W，再将重塑后的A的转置与重塑后的B相乘，经过Softmax得到空间注意特征图S∈RN×N：
Figure FDA0003933984030000023
其中，sji表示第i个像素值和第j个像素值之间的关联程度，Ai表示A中的第i个像素，Bj表示B中的第j个像素；同时将G∈RC×H×W重塑为G∈RC×N；
S33：将重塑后的G与S相乘，运算结果重塑为GS∈RC×H×W,然后将重塑结果GS乘以比例参数α，并与M执行元素求和运算，得到所述空间注意力模块的输出结果E∈RC×H×W：
Figure FDA0003933984030000024
其中α初始化为0。
5.如权利要求3所述的利用自注意力分析SAR图像获取海上溢油区域的方法，其特征在于：所述步骤S3中，特征图M∈RC×H×W输入所述通道注意力模块后执行如下操作：
S31'：将特征图M∈RC×H×W重塑为M∈RC×N，然后将重塑后的M与重塑后的M的转置做矩阵乘法运算，再经过Softmax层获得通道注意力图X∈RN×N：
Figure FDA0003933984030000031
其中xji表示特征图M的第i个通道与第j个通道之间的关联程度；
S32'：将重塑后的M与X相乘，运算结果重塑为MX∈RC×H×W，然后将重塑结果MX乘以比例参数β，并与M执行元素求和运算，得到所述通道注意力模块的输出结果F∈RC×H×W：
Figure FDA0003933984030000032
其中β初始化为0。
6.如权利要求1所述的利用自注意力分析SAR图像获取海上溢油区域的方法，其特征在于：所述步骤S1对深度学习自注意力溢油检测模型进行训练时采用以下损失函数：
L＝LBCE+LDice+LGP
其中LBCE和LDice的计算方式为：
Figure FDA0003933984030000033
Figure FDA0003933984030000041
其中target表示像素点实际值，pt表示像素点的预测值；
LGP的计算方式为：
Figure FDA0003933984030000042
其中G(E)表示从模型输出的标记图像的掩码，E表示实际标记图像掩码，C表示每个图像通道，(·)T是矩阵的转置，trace(·)是L2归一化，H表示图像的高度，W表示图像的宽度。
7.如权利要求6所述的利用自注意力分析SAR图像获取海上溢油区域的方法，其特征在于：所述步骤S1采用以下方式对深度学习自注意力溢油检测模型进行训练：
S11：将所述样本数据集按一定比例划分为训练集和测试集；
S12：使用训练集对当前深度学习自注意力溢油检测模型进行训练，利用损失函数L计算预测结果和真实结果之间的损失值，利用当前损失值调节模型参数；
S13：重复步骤S12，直到训练集中的图像数据全部训练完毕，视为一轮训练结束，并计算所有预测结果和真实结果之间的平均损失值；
S14：判断完成当前轮次训练后计算的平均损失值是否小于完成上一轮次训练后计算的平均损失值，是则判定模型损失不收敛，重复步骤S12～S13继续训练，否则判定模型损失收敛，使用测试集对模型进行测试并记录测试结果。
8.如权利要求7所述的利用自注意力分析SAR图像获取海上溢油区域的方法，其特征在于：所述步骤S14中使用测试集对模型进行测试时，测试结果的计算方法为：
Figure FDA0003933984030000051
Figure FDA0003933984030000052
Figure FDA0003933984030000053
Figure FDA0003933984030000054
其中，TP表示真阳性，即正确预测的阳性类别像素的数量；FP表示假阳性，即预测不正确的阳性类别像素的数量；FN表示假阴性，即预测不正确的阴性类别像素的数量；TN表示真阴性，即预测正确的阴性类别像素的数量；k表示共有k个像素值，i表示第i个像素值，Precision表示查准率，Recall表示查全率，mIou和F1-score为模型测试结果评价指标。
9.如权利要求1所述的利用自注意力分析SAR图像获取海上溢油区域的方法，其特征在于：所述步骤S1建立样本数据集的方法为：
S101：从搭载有合成孔径雷达的卫星上采集数据，并进行数据预处理，筛选出含有溢油区域的图像数据，并将筛选出的图像数据划分为多个256像素*256像素的子图像；
S102：使用人工标注的方法将子图像中的溢油区域标注出来；
S103：使用数据增强的方法对图片进行旋转，并进行添加噪声操作，得到多样性的样本数据集。
10.如权利要求2至5任一所述的利用自注意力分析SAR图像获取海上溢油区域的方法，其特征在于：第一层编码器模块包括3个残差模块，第二层编码器模块包括4个残差模块，第三层编码器模块包括6个残差模块，第四层编码器模块包括3个残差模块。
CN202211397192.5A 2022-11-09 2022-11-09 利用自注意力分析sar图像获取海上溢油区域的方法 Active CN115546199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211397192.5A CN115546199B (zh) 2022-11-09 2022-11-09 利用自注意力分析sar图像获取海上溢油区域的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211397192.5A CN115546199B (zh) 2022-11-09 2022-11-09 利用自注意力分析sar图像获取海上溢油区域的方法

Publications (2)

Publication Number Publication Date
CN115546199A true CN115546199A (zh) 2022-12-30
CN115546199B CN115546199B (zh) 2024-03-15

Family

ID=84721541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211397192.5A Active CN115546199B (zh) 2022-11-09 2022-11-09 利用自注意力分析sar图像获取海上溢油区域的方法

Country Status (1)

Country Link
CN (1) CN115546199B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912699A (zh) * 2023-09-06 2023-10-20 交通运输部天津水运工程科学研究所 一种基于图像处理的港口溢油扩散趋势预测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109490886A (zh) * 2018-11-28 2019-03-19 北京工业大学 一种极化合成孔径雷达遥感海面溢油区域精确提取方法
CN112102324A (zh) * 2020-09-17 2020-12-18 中国科学院海洋研究所 一种基于深度U-Net模型的遥感图像海冰识别方法
CN113592736A (zh) * 2021-07-27 2021-11-02 温州大学 一种基于融合注意力机制的半监督图像去模糊方法
CN113901945A (zh) * 2021-10-29 2022-01-07 中国石油大学(华东) 一种基于Faster RCNN的海面溢油检测方法及系统
US20220121871A1 (en) * 2020-10-16 2022-04-21 Tsinghua University Multi-directional scene text recognition method and system based on multi-element attention mechanism

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109490886A (zh) * 2018-11-28 2019-03-19 北京工业大学 一种极化合成孔径雷达遥感海面溢油区域精确提取方法
CN112102324A (zh) * 2020-09-17 2020-12-18 中国科学院海洋研究所 一种基于深度U-Net模型的遥感图像海冰识别方法
US20220121871A1 (en) * 2020-10-16 2022-04-21 Tsinghua University Multi-directional scene text recognition method and system based on multi-element attention mechanism
CN113592736A (zh) * 2021-07-27 2021-11-02 温州大学 一种基于融合注意力机制的半监督图像去模糊方法
CN113901945A (zh) * 2021-10-29 2022-01-07 中国石油大学(华东) 一种基于Faster RCNN的海面溢油检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚义;王诗珂;陈希豪;林宇翩;: "基于深度学习的结构化图像标注研究", 电脑知识与技术, no. 33, 25 November 2019 (2019-11-25) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912699A (zh) * 2023-09-06 2023-10-20 交通运输部天津水运工程科学研究所 一种基于图像处理的港口溢油扩散趋势预测方法及系统
CN116912699B (zh) * 2023-09-06 2023-12-05 交通运输部天津水运工程科学研究所 一种基于图像处理的港口溢油扩散趋势预测方法及系统

Also Published As

Publication number Publication date
CN115546199B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN108460382B (zh) 基于深度学习单步检测器的光学遥感图像舰船检测方法
CN111161218A (zh) 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111339827A (zh) 基于多区域卷积神经网络的sar图像变化检测方法
CN113205051B (zh) 基于高空间分辨率遥感影像的储油罐提取方法
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN111652213A (zh) 一种基于深度学习的船舶水尺读数识别方法
CN113592786B (zh) 一种基于深度学习的海洋中尺度涡检测方法
CN113643268A (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN112991370B (zh) 一种岩心ct裂纹识别与分割方法
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
CN115546199A (zh) 利用自注意力分析sar图像获取海上溢油区域的方法
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统
CN117291913B (zh) 一种水工混凝土结构表观裂缝测量方法
CN109145993B (zh) 基于多特征与非负自动编码器的sar图像分类方法
CN113628180A (zh) 一种基于语义分割网络的遥感建筑物检测方法及系统
CN111860534A (zh) 一种基于图像显著性分析的sar图像溢油检测方法
CN112785629A (zh) 一种基于无监督深度光流网络的极光运动表征方法
CN115457044B (zh) 基于类激活映射的路面裂缝分割方法
CN115953371A (zh) 一种绝缘子缺陷检测方法、装置、设备和存储介质
CN113177563B (zh) 融合cma-es算法及贯序极限学习机的贴片后异常检测方法
CN113222028B (zh) 一种基于多尺度邻域梯度模型的图像特征点实时匹配方法
CN112991257B (zh) 基于半监督孪生网络的异质遥感图像变化快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant