CN112102324B - 一种基于深度U-Net模型的遥感图像海冰识别方法 - Google Patents

一种基于深度U-Net模型的遥感图像海冰识别方法 Download PDF

Info

Publication number
CN112102324B
CN112102324B CN202010978171.7A CN202010978171A CN112102324B CN 112102324 B CN112102324 B CN 112102324B CN 202010978171 A CN202010978171 A CN 202010978171A CN 112102324 B CN112102324 B CN 112102324B
Authority
CN
China
Prior art keywords
sea ice
remote sensing
model
sensing image
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010978171.7A
Other languages
English (en)
Other versions
CN112102324A (zh
Inventor
任沂斌
李晓峰
高乐
刘颖洁
张旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Oceanology of CAS
Original Assignee
Institute of Oceanology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Oceanology of CAS filed Critical Institute of Oceanology of CAS
Priority to CN202010978171.7A priority Critical patent/CN112102324B/zh
Publication of CN112102324A publication Critical patent/CN112102324A/zh
Application granted granted Critical
Publication of CN112102324B publication Critical patent/CN112102324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度U‑Net模型的遥感图像海冰识别方法，首先构建遥感图像海冰训练数据集：对遥感图像进行预处理，再根据现有的海冰相关数据，对遥感图像进行海冰标注，得到真值图像；将遥感图像和真值图像进行切片，得到遥感图像海冰训练数据集；再构建基于深度U‑Net的遥感图形海冰识别模型：以U‑Net模型为基本结构，引入双注意力机制；最后进行模型训练。本发明提出一种全新的遥感图像海冰识别方法‑深度双注意力U‑Net模型，无需手动选取特征，可接受遥感图像为输入，自动识别海冰；双注意力机制进一步增强海冰和海水特征的表征能力，加强了对精细海冰对象的识别能力，提高了海冰识别精度。

Description

一种基于深度U-Net模型的遥感图像海冰识别方法
技术领域
本发明属于海洋观测和图像提取技术领域，具体涉及一种基于深度U-Net模型的遥感图像海冰识别方法。
背景技术
在海冰观测领域，卫星遥感具有覆盖范围大、时间分辨率高、观测手段多样等优势，是海冰观测的最主要手段，开展遥感图像海冰识别技术发具有重要意义。
现有遥感图像海冰识的技术难点在于从图像中寻找具有区分度的特征将海冰与海水分类。现有识别方法包括阈值分割法、专家知识法和机器学习方法。阈值法是寻找一个阈值，将图像中像素根据阈值分类为海冰和海水。专家知识法根据专家经验，从图像中选取特征，根据专家经验和决策系统来识别海冰。机器学习方法需要手动地提取海冰和海水区分特征，将此类典型特征输入到线性回归、支持向量机、人工神经网络等机器学习方法中，实现海冰和海水的分类。
阈值方法的阈值适应性较差，很难找到适用于所有遥感图像的阈值。专家系统依靠专家知识，自动化程度低。机器学习方法需要手动提取海冰和海水特征，工作量大，特征选取的质量不易控制，影响分类精度。
因此，现有遥感图像海冰识别模型存在识别精度低、自动化程度低、识别精细度不够等问题。
发明内容
本发明的目的是提供一种基于深度U-Net模型的遥感图像海冰识别方法，以弥补现有技术的不足。
为达到上述目的，本发明采取的具体技术方案为：
一种基于深度U-Net模型的遥感图像海冰识别方法，包括以下步骤：
S1：构建遥感图像海冰训练数据集：对遥感图像进行辐射校正、几何校正、滤波处理等预处理，再根据现有的海冰相关数据，对遥感图像进行海冰标注，得到真值图像；将遥感图像和真值图像进行切片，得到遥感图像海冰训练数据集；
S2：构建基于深度U-Net的遥感图形海冰识别模型：以U-Net模型为基本结构，引入双注意力机制：空间注意力机制和通道注意力机制；双注意力机制能够提升U-Net模型所提取特征的表征能力，从而提高海冰识别精度；
S3：模型训练：用S1中的海冰训练数据集对S2构建的海冰识别模型进行训练；深度U-Net海冰识别模型是一种深层神经网络模型，由大量的神经网络权重组成，神经网络的权重需要通过迭代训练来获得最佳权重，通过训练，获得最佳的改进深度U-Net海冰识别模型。
进一步的，所述海冰识别方法还包括S4：模型验证；对S3中训练好的改进深度U-Net模型进行测试，用训练集中没有出现过的遥感图像作为测试数据，评估该模型的海冰识别精度。
另，将S3种训练好的模型用于识别遥感图像中的海冰情况。
进一步的，上述S2中基于深度U-Net的遥感图像海冰识别模型主要包括：
1)编码器
编码器接收所述遥感图像海冰训练数据集，提取用于区分海冰和海水的抽象特征；编码器由多个卷积神经网络层(Convolution neural network，CNN)和最大池化层(max-pooling)组成；CNN提取空间特征，生成特征图，max-pooling对特征图进行下采样，保留较强特征；
2)双注意力模块
双注意力模块用于增强特征图的表征能力；经过编码器部分，原始输入信息被压缩为多个通道的特征图，特征图中包含了海冰和海水的区分特征，但是，这些特征图中没有考虑全局的信息；因此，在特征图上增加空间注意力模块(Position attention module，PAM)和通道注意力模块(Channel attention module，CAM)，为特征图增加全局信息；所述PAM和CAM输出的特征图分别经过一次卷积操作，并将二者相加进行融合，将融合后的特征图输入到解码器中；
3)解码器
解码器对双注意力模块输出的特征图进行解码，将压缩的信息逐层还原至原图像大小，以实现像素级的分类；
4)模型输出
解码器输出的特征图经过激活函数得到输入遥感图像对应的分类结果，输出分类结果，以识别海冰。
进一步的，所述空间注意力模块具体为：空间注意力模块对编码器输出的特征图进行运算，特征图上每个位置的特征值由其他位置的特征值加权求和得到；加权权重由PAM中的注意力机制计算得到；设H，W和C为编码器输出的特征图的高、宽和通道数，则编码器输出的特征图可表示为
Figure GDA0003014812330000031
A被分别输入到三个CNN层中，生成三个特征图B、C和D。B和C的转置矩阵进行矩阵相乘，经过Softmax函数激活得到空间注意力矩阵
Figure GDA0003014812330000032
N＝H×W；S矩阵的每一行相加为1；任意两个位置越相似的特征会生成一个较大的S值，特征图在空间上任意位置的相似性可由S表示；矩阵D变形为
Figure GDA0003014812330000033
S与变D1相乘，得到矩阵As:
Figure GDA0003014812330000034
其中，as ij是As中的第i行、第j列的元素，Si是矩阵S的第i行，D1 j是矩阵D1的第j列。As变形为
Figure GDA0003014812330000035
对A1任意位置的元素值由其他位置的元素值，根据注意力权重S加权求和得到；A1与缩放参数α相乘并与原特征图A相加，得到新特征图EH×W×C：
E＝αA1+A (2)
α初始值为0，在训练过程中自动改变大小，得到最优值；特征图E中包含了局部特征和全局特征，相对于没有PAM的特征图A，更具表征能力。
进一步的，所述通道注意力模块具体为：CAM与PAM的理念类似，不同之处在于其注意力矩阵X在通道维度计算，X的大小为C×C。同样，X经过Softmax激活后，得到按行求和为1的注意力矩阵；A的变形矩阵
Figure GDA0003014812330000036
与X的转置相乘，得到具有注意力机制的特征图
Figure GDA0003014812330000037
Figure GDA0003014812330000038
其中，ax ij是Ax中的第i行、第j列的元素，A1 i是A1 i的第i行，Xj是X矩阵的第j列。
Ax变形为
Figure GDA0003014812330000039
与系数β相乘，与原矩阵A相加，得到具有通道注意力机制的特征图F：
F-βΛ3+A (4)
β初始化为0，在训练中逐渐学习得到；经过CAM，特征图每个通道的特征值为原特征图与其他通道特征图的加权结果，使得特征图表达了全局的通道相关性。
进一步的，所述解码器由多个解码模块组成；每个解码模块由一个上采样层(Up-sampling layer)和多个堆叠CNN层组成，每经过一次解码，特征图的大小增加两倍，经过多次解码，得到与原始输入图像大小相同的特征图；另外，每次解码后的特征图与编码阶段对应的同样大小的特征图连接，以融合低级和高级特征。
进一步的，所述激活函数为Sigmod函数，将特征图的值输出为0-1范围；其中，结果图像中值大于0.5的为海冰像素，值小于0.5的为海水像素，输出图像与海冰真值图像计算误差，通过误差反向传播对整个模型进行训练，直至模型收敛，完成模型构建。
本发明的优点和有益效果：
本发明提出一种全新的遥感图像海冰识别方法-深度双注意力U-Net模型。该方法以深度U-Net模型为基本结构，无需手动选取特征，可接受遥感图像为输入，自动识别海冰；引入双注意力机制优化深度U-Net模型，双注意力机制进一步增强海冰和海水特征的表征能力，加强了对精细海冰对象的识别能力，提高了海冰识别精度。
通过具体试验验证，本发明的识别精度为94.39％，已有海冰识别模型的识别精度为93.22％，识别精度提升了1.17％；与已有模型的交并比(Intersection over union，IoU)为84.28％，本发明的IoU为86.73％，提升2.45％。即，本发明能够有效实现遥感图像中海冰的自动化、高精度、精细化识别。
附图说明
图1为本发明的深度U-Net海冰识别模型架构图。
图2为实施例2中海冰识别结果图。
具体实施方式
以下通过具体实施例并结合附图对本发明进一步解释和说明。
实施例1：
一种基于深度U-Net模型的遥感图像海冰识别方法，包括以下步骤(如图1所示)：
S1：构建遥感图像海冰训练数据集，对遥感影像进行辐射校正、几何校正、滤波处理。根据目视解译和已发布的海冰相关数据，对遥感影像进行海冰标注。将遥感图形和标注好的真值图形进行切片，获得用于训练模型的海冰训练数据集。
S2：构建基于深度U-Net的遥感图形海冰识别模型。以U-Net模型为基本结构，为提高海冰识别精度，在现有U-Net模型基础上引入双注意力机制：空间注意力机制和通道注意力机制。双注意力机制可以提升U-Net模型所提取特征的表征能力，从而提高海冰识别精度。
S3：模型训练。用S1中的海冰训练数据集对S2构建的海冰识别模型进行训练。深度U-Net海冰识别模型是一种深层神经网络模型，由大量的神经网络权重组成。神经网络的权重需要通过迭代训练来获得最佳权重。通过训练集对S2中构建的模型进行训练，获得最佳的深度U-Net海冰识别模型。
S4：模型验证与应用。对训练好的深度U-Net模型进行测试，用训练集中没有出现过的遥感图像作为测试数据。采用精确度等指标评估模型的海冰识别精度，并将训练好的模型用于识别新获取遥感图像中的海冰情况。
上述S2中基于深度U-Net的遥感图像海冰识别模型主要由以下四个步骤组成：
(1)编码器
编码器接收输入到遥感影像切片，从切片中提取用于区分海冰和海水的抽象特征。编码器由多个卷积神经网络层(Convolution neural network，CNN)和最大池化层(max-pooling)组成。CNN提取空间特征，生成特征图，max-pooling对特征图进行下采样，保留较强特征。
(2)双注意力模块
双注意力模块是本发明中对传统U-Net模型的核心改进，可增强特征图的表征能力。经过编码器部分，原始输入信息被压缩为多个通道的特征图，特征图中包含了海冰和海水的区分特征。但是，这些特征图中没有考虑全局的信息。因此，本发明在特征图上增加空间注意力模块和通道注意力模块，为特征图增加全局信息。
①空间注意力模块(Position attention module，PAM)
空间注意力模块对编码器输出的特征图进行运算。特征图上每个位置的特征值由其他位置的特征值加权求和得到。加权权重由PAM中的注意力机制计算得到。设H，W和C为编码器输出的特征图的高、宽和通道数，则编码器输出的特征图可表示为
Figure GDA0003014812330000051
A被分别输入到三个CNN层中，生成三个特征图B、C和D。B和C的转置矩阵进行矩阵相乘，经过Softmax函数激活得到空间注意力矩阵
Figure GDA0003014812330000052
N＝H×W。S矩阵的每一行相加为1。任意两个位置越相似的特征会生成一个较大的S值，特征图在空间上任意位置的相似性可由S表示。矩阵D变形为
Figure GDA0003014812330000053
S与变D1相乘，得到矩阵As:
Figure GDA0003014812330000061
其中，as ij是As中的第i行、第j列的元素，Si是矩阵S的第i行，D1 j是矩阵D1的第j列。As变形为
Figure GDA0003014812330000062
对A1任意位置的元素值由其他位置的元素值，根据注意力权重S加权就和得到。A1与缩放参数α相乘并与原特征图A相加，得到新特征图EH×W×C：
E＝αA1+A (2)
α初始值为0，在训练过程中自动改变大小，得到最优值。特征图E中包含了局部特征和全局特征，相对于没有PAM的特征图A，更具表征能力。
②通道注意力模块(Channel attention module，CAM)
CAM与PAM的理念类似，不同之处在于其注意力矩阵X在通道维度计算，X的大小为C×C。同样，X经过Softmax激活后，得到按行求和为1的注意力矩阵。A的变形矩阵
Figure GDA0003014812330000063
与X的转置相乘，得到具有注意力机制的特征图
Figure GDA0003014812330000064
Figure GDA0003014812330000065
其中，ax ij是Ax中的第i行、第j列的元素，A1 i是A1 i的第i行，Xj是X矩阵的第j列。Ax变形为
Figure GDA0003014812330000066
与系数β相乘，与原矩阵A相加，得到具有通道注意力机制的特征图F：
F＝βA3+A (4)
β初始化为0，在训练中逐渐学习得到。经过CAM，特征图每个通道的特征值为原特征图与其他通道特征图的加权结果，使得特征图表达了全局的通道相关性。
PAM和CAM输出的特征图分别经过一次卷积操作，并将二者相加进行融合，将融合后的特征图输入到解码器中。
(3)解码器
解码器对注意力模块输出的特征图进行解码，将压缩的信息逐层还原至原图像大小，以实现像素级的分类。解码器由多个解码模块组成。每个解码模块由一个上采样层(Up-sampling layer)和多个堆叠CNN层组成。每经过一次解码，特征图的大小增加两倍。经过多次解码，得到与原始输入图像大小相同的特征图。另外，每次解码后的特征图与编码阶段对应的同样大小的特征图连接，以融合低级和高级特征。
(4)模型输出
解码器输出的特征图经过激活函数得到输入遥感图像对应的分类结果。激活函数为Sigmod函数，将特征图的值输出为0-1范围。其中，结果图像中值大于0.5的为海冰像素，值小于0.5的为海水像素。输出图像与海冰真值图像计算误差，通过误差反向传播对整个模型进行训练，直至模型收敛，完成模型构建。
实施例2：
以白令海峡区域2018年12月-2019年4月获取的16幅SAR遥感图像为例，阐述本发明的具体实施方式。
S1：构建遥感图像海冰训练数据集。用前15幅SAR图像构建海冰训练数据集。对前15幅SAR图像进行辐射校正、滤波处理。并采用LabelMe软件标注图像中的海冰值和海水值。海冰区域标注为1，海水区域标注为0。将SAR图像和标注值切割为256×256pixels大小的切片，形成训练集，共包含5000个训练样本。
S2：构建基于深度U-Net的遥感图形海冰识别模型，具体步骤为：
①模型输入为256×256像素的SAR图像，根据SAR的图像获取方式，选择多种通道组合方式，以哨兵1号双极化SAR图像为例，此处输入信息为垂直发射垂直接收通道、垂直发射水平接收通道和入射角信息。
②解码器由33个CNN层构成，包括四个阶段。第一阶段由一个卷积核为7×7的CNN构成，步长为2×2。第二阶段由3个卷积残差单元构成，每个卷积残差单元包括两个堆叠的CNN层，由短连接将残差块的输入和第二个CNN的输出连接。卷积残差单元的卷积核为3×3。第三个卷积残差单元后堆叠一个最大池化层(max-pooling layer)，将图像大小缩减为原图像的1/2。第三个阶段由四个卷积残差单元构成，第四个卷积残差单元后堆叠一个max-pooling layer。第四个阶段由六个卷积残差单元构成，第六个卷积残差单元后堆叠一个max-pooling layer。第五个阶段由三个卷积残差单元构成。上述卷积残差单元中CNN层的卷积核大小均为3×3。五个阶段卷积核的数量分别是64,64,128,256，和512。经过编码器阶段的多个CNN层后，得到了大小为原图像1/8大小的特征图序列。特征图中包含了海冰和海水的抽象表示。
③双注意力模块
双注意力模块对编码器的特征图分别执行注意力计算。计算结果放入具有512个卷积核、卷积核大小为3×3的CNN中，生成两个特征图。对两个特征图相加，并堆叠一个512个卷积核、卷积核大小为3×3的CNN，进行特征融合。
④解码器
解码器由多个解码模块组成。每个解码模块由一个上采样层(Up-samplinglayer)和2个堆叠CNN层组成。每经过一次解码，特征图的大小增加两倍。编码器部分进行了4次降采样，所以解码器也进行4次解码，得到与原始输入图像大小相同的特征图。解码器中CNN的卷积核大小为3×3，四个解码器中卷积核的数量分别是256,128,64和32。每次解码后的特征图与编码阶段对应的同样大小的特征图连接，融合低级和高级特征。
⑤输出模块
输出模块由一个CNN组成，激活函数为Sigmod函数，卷积核的数量为1个，卷积核大小为1×1。Sigmod将特征图的像素值激活至0-1范围，大于0.5的像素为海冰，小于0.5的像素为海水。图2为本发明对SAR图像的识别结果，白色为海冰，黑色为水。
S3：模型训练。用S1中的SAR图像海冰训练数据集对S2构建的深度U-Net海冰识别模型进行训练，不断迭代训练过程，直至模型收敛，保留训练获得的最优模型。
S4：模型验证与应用。用第16幅SAR图像来验证S3中训练好模型的性能。对第16幅图像进行辐射校正和滤波处理。将该图像输入到S3中保存的最优模型中，可得到该幅SAR图像对应的海冰识别结果。
结果如图2所示，图2中(a)为SAR图像，其中较暗的区域为海水，较亮的区域为海冰。图2中(b)为本发明识别结果，白色区域为海冰，黑色区域为海水。本实施例的海冰识别结果与SAR图像基本一致，且对海冰边界、细小海冰和冰间水道的识别效果均较好。
即，以白令海峡区域的某幅SAR图像为例，本实施例的识别精度为94.39％，已有海冰识别模型的识别精度为93.22％，识别精度提升了1.17％；与已有模型的交并比(Intersection over union，IoU)为84.28％，本发明的IoU为86.73％，提升2.45％。

Claims (7)

1.一种基于深度U-Net模型的遥感图像海冰识别方法，其特征在于，该识别方法包括以下步骤：
S1：构建遥感图像海冰训练数据集：对遥感图像进行预处理，再根据现有的海冰相关数据，对遥感图像进行海冰标注，得到真值图像；将遥感图像和真值图像进行切片，得到遥感图像海冰训练数据集；
S2：构建基于深度U-Net的遥感图像海冰识别模型：以U-Net模型为基本结构，引入双注意力机制：空间注意力机制和通道注意力机制；所述空间注意力模块具体为：空间注意力模块对编码器输出的特征图进行运算，特征图上每个位置的特征值由其他位置的特征值加权求和得到；加权权重由空间注意力模块PAM中的注意力机制计算得到；设H，W和C为编码器输出的特征图的高、宽和通道数，则编码器输出的特征图可表示为
Figure FDA0003036789040000011
A被分别输入到三个卷积神经网络层CNN层中，生成三个特征图B、C和D；B和C的转置矩阵进行矩阵相乘，经过Softmax函数激活得到空间注意力矩阵
Figure FDA0003036789040000012
N＝H×W；S矩阵的每一行相加为1；任意两个位置越相似的特征会生成一个较大的S值，特征图在空间上任意位置的相似性可由S表示；矩阵D变形为
Figure FDA0003036789040000013
S与变D1相乘，得到矩阵As：
Figure FDA0003036789040000014
其中，as ij是As中的第i行、第j列的元素，Si是矩阵S的第i行，D1 j是矩阵D1的第j列；As变形为
Figure FDA0003036789040000015
对A1任意位置的元素值由其他位置的元素值，根据注意力权重S加权求和得到；A1与缩放参数α相乘并与原特征图A相加，得到新特征图EH×W×C：
E＝αA1+A (2)
α初始值为0，在训练过程中自动改变大小，得到最优值；特征图E中包含了局部特征和全局特征；
S3：模型训练：用S1中的海冰训练数据集对S2构建的海冰识别模型进行训练，最终得到海冰识别模型。
2.如权利要求1所述的遥感图像海冰识别方法，其特征在于，所述海冰识别方法还包括S4：模型验证；对S3中训练好的改进深度U-Net模型进行测试，评估该模型的海冰识别精度。
3.如权利要求1所述的遥感图像海冰识别方法，其特征在于，所述S1中对遥感图像进行辐射校正、几何校正、滤波处理预处理。
4.如权利要求1所述的遥感图像海冰识别方法，其特征在于，上述S2中基于深度U-Net的遥感图像海冰识别模型包括：
1)编码器
编码器接收所述遥感图像海冰训练数据集，提取用于区分海冰和海水的抽象特征；编码器由多个卷积神经网络层CNN和最大池化层max-pooling组成；CNN提取空间特征，生成特征图，max-pooling对特征图进行下采样，保留较强特征；
2)双注意力模块
在所述特征图上增加空间注意力模块PAM和通道注意力模块CAM，为特征图增加全局信息；所述PAM和CAM输出的特征图分别经过一次卷积操作，并将二者相加进行融合，将融合后的特征图输入到解码器中；
3)解码器
解码器对双注意力模块输出的特征图进行解码，将压缩的信息逐层还原至原图像大小，以实现像素级的分类；
4)模型输出
解码器输出的特征图经过激活函数得到输入遥感图像对应的分类结果，输出分类结果，以识别海冰。
5.如权利要求1所述的遥感图像海冰识别方法，其特征在于，所述通道注意力模块具体为：PAM的注意力矩阵X在通道维度计算，X的大小为C×C；X经过Softmax激活后，得到按行求和为1的注意力矩阵；A的变形矩阵
Figure FDA0003036789040000021
与X的转置相乘，得到具有注意力机制的特征图
Figure FDA0003036789040000022
Figure FDA0003036789040000023
其中，ax ij是Ax中的第i行、第j列的元素，A1 i是A1 i的第i行，Xj是X矩阵的第j列；Ax变形为
Figure FDA0003036789040000024
与系数β相乘，与原矩阵A相加，得到具有通道注意力机制的特征图F：
F＝βA3+A (4)
β初始化为0，在训练中逐渐学习得到；经过通道注意力模块CAM，特征图每个通道的特征值为原特征图与其他通道特征图的加权结果，使得特征图表达了全局的通道相关性。
6.如权利要求4所述的遥感图像海冰识别方法，其特征在于，所述解码器由多个解码模块组成；每个解码模块由一个上采样层和多个堆叠CNN层组成，每经过一次解码，特征图的大小增加两倍，经过多次解码，得到与原始输入图像大小相同的特征图；另外，每次解码后的特征图与编码阶段对应的同样大小的特征图连接，以融合低级和高级特征。
7.如权利要求4所述的遥感图像海冰识别方法，其特征在于，所述激活函数为Sigmod函数，将特征图的值输出为0-1范围；其中，结果图像中值大于0.5的为海冰像素，值小于0.5的为海水像素，输出图像与海冰真值图像计算误差，通过误差反向传播对整个模型进行训练，直至模型收敛，完成模型构建。
CN202010978171.7A 2020-09-17 2020-09-17 一种基于深度U-Net模型的遥感图像海冰识别方法 Active CN112102324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010978171.7A CN112102324B (zh) 2020-09-17 2020-09-17 一种基于深度U-Net模型的遥感图像海冰识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010978171.7A CN112102324B (zh) 2020-09-17 2020-09-17 一种基于深度U-Net模型的遥感图像海冰识别方法

Publications (2)

Publication Number Publication Date
CN112102324A CN112102324A (zh) 2020-12-18
CN112102324B true CN112102324B (zh) 2021-06-18

Family

ID=73760492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010978171.7A Active CN112102324B (zh) 2020-09-17 2020-09-17 一种基于深度U-Net模型的遥感图像海冰识别方法

Country Status (1)

Country Link
CN (1) CN112102324B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700489B (zh) * 2020-12-30 2023-04-18 武汉大学 基于深度学习的船基视频图像海冰厚度测量方法及系统
CN112729562B (zh) * 2021-01-26 2022-08-26 河南工业大学 基于改进u型卷积神经网络的海冰分布探测方法
CN113344876B (zh) * 2021-06-08 2023-05-12 安徽大学 一种ct和cbct间可变形配准方法
CN113139627B (zh) * 2021-06-22 2021-11-05 北京小白世纪网络科技有限公司 纵隔肿物识别方法、系统及装置
CN113408457B (zh) * 2021-06-29 2022-10-21 西南交通大学 一种联合高分影像和视频图像的道路信息智能提取方法
CN113592829B (zh) * 2021-08-04 2024-05-17 清华大学 基于分割重组的深度学习泥沙颗粒识别方法及装置
CN113610032A (zh) * 2021-08-16 2021-11-05 北京市城市规划设计研究院 基于遥感影像的建筑物识别方法和装置
CN113744284B (zh) * 2021-09-06 2023-08-29 浙大城市学院 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
CN114092794A (zh) * 2021-11-22 2022-02-25 上海海洋大学 一种海冰图像分类方法、系统、介质、设备及处理终端
CN114419430A (zh) * 2021-12-09 2022-04-29 华南农业大学 一种基于SE-U-Net++模型的耕地地块提取方法及装置
CN115546199B (zh) * 2022-11-09 2024-03-15 烟台大学 利用自注意力分析sar图像获取海上溢油区域的方法
CN116452901B (zh) * 2023-06-19 2023-09-15 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359631A (zh) * 2018-11-30 2019-02-19 南京大学 一种基于卷积神经网络的海冰类型遥感分类方法
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN111353539A (zh) * 2020-02-29 2020-06-30 武汉大学 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及系统
CN111652289A (zh) * 2020-05-15 2020-09-11 中国科学院空天信息创新研究院 合成孔径雷达图像的海冰海水的分割方法
CN111652038A (zh) * 2020-04-13 2020-09-11 上海海洋大学 基于卷积神经网络的遥感的海冰图像分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079825B (zh) * 2019-12-09 2022-09-30 中国科学技术大学 针对医学图像的细胞核自动检测方法
CN111126282B (zh) * 2019-12-25 2023-05-12 中国矿业大学 一种基于变分自注意力强化学习的遥感图像内容描述方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359631A (zh) * 2018-11-30 2019-02-19 南京大学 一种基于卷积神经网络的海冰类型遥感分类方法
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN111353539A (zh) * 2020-02-29 2020-06-30 武汉大学 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及系统
CN111652038A (zh) * 2020-04-13 2020-09-11 上海海洋大学 基于卷积神经网络的遥感的海冰图像分类方法
CN111652289A (zh) * 2020-05-15 2020-09-11 中国科学院空天信息创新研究院 合成孔径雷达图像的海冰海水的分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双注意力编码-解码器架构的视网膜血管分割;李天培等;《计算机科学》;20200531;第47卷(第5期);第166-171页 *

Also Published As

Publication number Publication date
CN112102324A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112102324B (zh) 一种基于深度U-Net模型的遥感图像海冰识别方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109241972B (zh) 基于深度学习的图像语义分割方法
CN109214452B (zh) 基于注意深度双向循环神经网络的hrrp目标识别方法
CN112862774B (zh) 一种遥感影像建筑物精确分割方法
CN111259828A (zh) 基于高分辨率遥感图像多特征的识别方法
CN111860233B (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
CN114283120B (zh) 一种基于领域自适应的端到端多源异质遥感影像变化检测方法
CN111369522A (zh) 基于生成对抗卷积神经网络的光场显著性目标检测方法
CN112598053A (zh) 基于半监督学习的主动显著性目标检测方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN113408398B (zh) 基于通道注意力及概率上采样的遥感图像云检测方法
CN110599502A (zh) 一种基于深度学习的皮肤病变分割方法
CN113486894A (zh) 一种卫星图像特征部件语义分割方法
GB2618876A (en) Lightweight and efficient object segmentation and counting method based on generative adversarial network (GAN)
CN114998756A (zh) 一种基于yolov5的遥感图像检测方法、装置及存储介质
CN111898614B (zh) 神经网络系统以及图像信号、数据处理的方法
CN115375548A (zh) 一种超分辨率的遥感图像生成方法、系统、设备和介质
CN114529793A (zh) 一种基于门控循环特征融合的深度图像修复系统及方法
CN113705340B (zh) 一种基于雷达遥感数据的深度学习变化检测方法
CN114092803A (zh) 基于遥感图像的云检测方法、装置、电子设备及介质
CN117351363A (zh) 基于Transformer的遥感影像建筑物提取方法
CN116957921A (zh) 图像渲染方法、装置、设备及存储介质
CN116188361A (zh) 一种基于深度学习的铝型材表面缺陷分类方法及装置
CN114998587A (zh) 一种遥感影像建筑物语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant