CN113139550B - 一种基于深度语义分割网络的遥感影像海岸线提取方法 - Google Patents
一种基于深度语义分割网络的遥感影像海岸线提取方法 Download PDFInfo
- Publication number
- CN113139550B CN113139550B CN202110333255.XA CN202110333255A CN113139550B CN 113139550 B CN113139550 B CN 113139550B CN 202110333255 A CN202110333255 A CN 202110333255A CN 113139550 B CN113139550 B CN 113139550B
- Authority
- CN
- China
- Prior art keywords
- feature map
- characteristic diagram
- sea
- coastline
- land
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 116
- 238000000605 extraction Methods 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims description 155
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于深度语义分割网络的遥感影像海岸线提取方法，包括以下步骤：将海岸带训练遥感图像样本输入至编码器中，提取低级细节特征以及高级语义特征，获得多层级特征图；将多层级特征图输入至解码器，通过岸线增强融合模块和上采样+卷积操作对图像解码，获得一组海陆分割特征图和海岸线分布特征图；对两组特征图进行逐像素预测，得到海陆分割二值图和岸线分布二值图，利用海陆二值标签与岸线标签进行误差反向传播，获得训练后的网络；将海岸带遥感影像输入到训练后的网络中，获得海陆分割二值预测图像；提取二值图像轮廓作为海陆边界并剔除无用边界后对其矢量化获取海岸线。本发明可以增强解码过程中岸线分布特征，有效提高海岸线提取精度。
Description
技术领域
本发明涉及遥感影像信息提取领域，特别是涉及一种基于深度语义分割网络的遥感影像海岸线提取方法。
背景技术
近几年，随着海洋经济快速发展，海岸带区域人类活动密集，海岸线的类型和位置都发生了显著变化，滨海生物多样性下降，生态环境受到严重影响，快速准确地提取海岸线对于海岸带管理、海岸变迁监测具有重要意义。
海岸线是指陆地与海洋的交界线，由于海洋和陆地之间复杂多样的过渡，从遥感影像中快速准确地提取海岸线仍然是一个具有挑战性的问题。目前遥感影像海陆分割方法主要有阈值分割方法、边缘检测算子方法、面向对象方法、机器学习方法以及深度学习方法。阈值分割方法简单易行，其首先通过利用归一化差异指数凸显影像中的水体信息，然后选取阈值将灰度图像分割为二值图像，最后从二值图像中提取边界作为海岸线。阈值分割方法对于海洋和陆地光谱差异较大的海岸带表现出色，然而阈值的选取容易受到诸如海岸类型、传感器、天气和季节等因素的影响，这限制了阈值方法在复杂的海陆分割场景中的应用。边缘检测算子方法旨在利用遥感影像的梯度特征提取图像边缘作为海陆分界线，该方法提取效果较好且易于实现，但其易受噪声影响，提取的结果连续性欠佳，常出现伪边缘，往往需要通过形态学处理对岸线结果进行优化。面向对象方法以对象为基本单位，忽略对象内部的纹理特征，结合图像的光谱和空间特征对遥感影像进行二值分割，该方法能够减少对象内部信息的干扰，但步骤复杂，不能充分利用图像的隐藏信息，对于某些特殊尺度对象常表现欠佳。机器学习方法旨在从大量随机数据提取有用的特征，该方法能够实现高度自动化，但其往往过度依赖特征构造与特征选择，且需要多种机器学习方法的结合才能获得更好的提取结果。基于全卷积神经网络的深度学习在语义分割领域取得了令人满意的性能，但却很少被应用于遥感影像的海岸线提取任务中。
综上所述，传统的遥感影像岸线提取方法存在一定的不足。为顺应发展趋势，利用深度学习技术实现海岸线提取是未来发展的重要方向，但根据海岸线提取的任务特性，设计与岸线提取任务相结合的深度语义网络仍然需要探索。
发明内容
基于上述技术问题，本发明提出一种基于深度语义分割网络的遥感影像海岸线提取方法。
本发明所采用的技术解决方案是：
一种基于深度语义分割网络的遥感影像海岸线提取方法，包括以下步骤：
步骤A：将海岸带遥感图像样本输入至编码器中，提取低级细节特征以及高级语义特征，获得多层级特征图；
步骤B：将步骤A所获得的多层级特征图输入至解码器，通过岸线特征增强融合模块和上采样+卷积操作对图像解码，获得海陆分割特征图和海岸线分布特征图；
步骤C：对解码器输出的海陆分割特征图和海岸线分布特征图进行逐像素预测，得到海陆分割二值图和岸线分布二值图，利用海陆二值标签与岸线标签进行误差反向传播，获得训练后的岸线增强语义分割网络；
步骤D：将需要进行岸线提取的海岸带遥感影像输入到训练后的岸线增强语义分割网络中，获得海陆分割二值预测图像结果；
步骤E：从海陆分割二值预测图像结果中提取轮廓作为海陆边界，剔除无用边界，再对海陆边界矢量化获得海岸线提取结果。
上述步骤A和步骤B共同完成岸线增强语义分割网络的搭建；步骤C完成岸线增强语义分割网络的训练。
优选的，所述步骤A具体包括以下步骤：
步骤A1：输入的四波段海岸带遥感影像经过编码器的第一层是卷积核大小为7×7，数量为32的卷积层，获得特征图F0；
步骤A2：步骤A1所获得特征图F0经过串行双卷积层，其卷积核大小为3×3，个数为64，，步长为1，生成特征图F1；
步骤A3：步骤A2所生成特征图F1经过最大池化层后经过串行双卷积层，其卷积核大小为3×3，个数为128，步长为1，生成特征图F2；
步骤A4：步骤A3所生成特征图F2经过最大池化层后经过串行双卷积层，其卷积核大小为3×3，个数为256，步长为1，生成特征图F3；
步骤A5：步骤A4所生成特征图F3经过最大池化层后经过串行双卷积层，其卷积核大小为3×3，个数为512，步长为1，生成特征图F4；
步骤A6：步骤A5所生成特征图F4经过最大池化层后经过串行双卷积层，其卷积核大小为3×3，个数为1024，步长为1，生成特征图F5。
优选的，所述步骤B具体包括以下步骤：
步骤B1：编码器生成的特征图F5首先通过解码器的卷积+上采样操作提高图像分辨率，获得海岸线特征图F10和海陆分割特征图Fs0，通道数均为512；
步骤B2：将步骤B1所得海陆分割特征图Fs0与步骤A5所生成特征图F4拼接获得特征图Is0，然后将特征图Is0和步骤B1所得岸线特征图Fl0输入到岸线特征增强融合模块中获得增强后的岸线特征图和海陆分割特征图，接着通过卷积+上采样操作提高图像分辨率，获得岸线特征图Fl1和海陆分割特征图Fs1，通道数均为256；
步骤B3：将步骤B2所得海陆分割特征图Fs1与步骤A4所生成特征图F3拼接获得特征图Is1，然后将特征图Is1和步骤B2所得岸线特征图Fl1输入到岸线特征增强融合模块中获得增强后的岸线特征图和海陆分割特征图，接着通过卷积+上采样操作提高图像分辨率，获得岸线特征图Fl2和海陆分割特征图Fs2，通道数均为128；
步骤B4：将步骤B3所得海陆分割特征图Fs2与步骤A3所生成特征图F2拼接获得特征图Is2，然后将特征图Is2和步骤B3所得岸线特征图Fl2输入到岸线特征增强融合模块中获得增强后的岸线特征图和海陆分割特征图，接着通过卷积+上采样操作提高图像分辨率，获得岸线特征图Fl3和海陆分割特征图Fs3，通道数均为64；
步骤B5：将步骤B4所得海陆分割特征图Fs3与步骤A2所生成特征图F1拼接获得特征图Is3，然后将特征图Is3和步骤B4所得岸线特征图Fl3输入到岸线特征增强融合模块中获得增强后的岸线特征图Fl4和海陆分割特征图Fs4，通道数均为64。
上述步骤B2中岸线特征增强融合模块的处理步骤如下：
步骤B21：输入的特征图Is0经过1×1卷积调整通道数与输入的岸线特征图Fl0一致得到特征图
步骤B22：将岸线特征图Fl0与步骤B21所得到的特征图
拼接获得拼接后的海岸线特征图；
步骤B23：将步骤B22拼接后的海岸线特征图和步骤B21得到的特征图
分别经过3×3卷积操作得到特征图
和特征图Ol0；
步骤B24：将步骤B23所得到的特征图
和特征图Ol0相加得到特征图Os0，输出融合增强后的分割输出特征图Os0和岸线输出特征图Ol0。
上述步骤B3中岸线特征增强融合模块的处理步骤如下：
步骤B31：输入的特征图Is1经过1×1卷积调整通道数与输入的海岸线特征图Fl1一致得到特征图
步骤B32：将特征图Fl1与步骤B31所得到的特征图
拼接获得拼接后的海岸线特征图；
步骤B33：将步骤B32所拼接后的海岸线特征图和特征图
分别经过3×3卷积操作得到特征图
和特征图Ol1；
步骤B34：将步骤B33所得到的特征图
和特征图Ol1相加得到特征图Os1，输出融合增强后的分割输出特征图Os1和岸线输出特征图Ol1。
上述步骤B4中岸线特征增强融合模块的处理步骤如下：
步骤B41：输入的特征图Is2经过1×1卷积调整通道数与输入的海岸线特征图Fl2一致得到特征图
步骤B42：将特征图Fl2与步骤B41所得到的特征图
拼接获得拼接后的海岸线特征图；
步骤B43：将步骤B42所拼接后的海岸线特征图和特征图
分别经过3×3卷积操作得到特征图
和特征图Ol2；
步骤B44：将步骤B43所得到的特征图
和特征图Ol2相加得到特征图Os2，输出融合增强后的分割输出特征图Os2和岸线输出特征图Ol2。
上述步骤B5中岸线特征增强融合模块的处理步骤如下：
步骤B51：输入的特征图Is3经过1×1卷积调整通道数与输入的海岸线特征图Fl3一致得到特征图
步骤B52：将特征图Fl3与步骤B51所得到的特征图
拼接获得拼接后的海岸线特征图；
步骤B53：将步骤B52所拼接后的海岸线特征图和特征图
分别经过3×3卷积操作得到特征图
和特征图Ol3；
步骤B54：将步骤B53所得到的特征图
和特征图Ol3相加得到特征图Os3，输出融合增强后的分割输出特征图Os3和岸线输出特征图Ol3。
优选的，所述步骤C具体包括以下步骤：
步骤C1：将步骤B5所得到的海陆分割特征图Fs4和岸线特征图Fl4分别经过两层卷积获得预测海陆分割图和海岸线分布图；
步骤C2：计算预测结果与真实标签之间的损失，其中海陆分割损失函数采用binary crossentropy函数计算，岸线损失函数采用focal loss函数计算，然后将损失反向传播优化模型参数；binary crossentropy函数计算公式如下：
式中y表示模型预测值，y表示标签；focal loss函数计算公式如下：
式中α为超参数用于平衡正负样本的重要性，γ为超参数用于调节样本权重降低的速率。
优选的，优化模型参数时优化器采用自适应矩估计优化；将α设置为0.9，将γ设置为2.0。
优选的，所述步骤E具体包括以下步骤：
步骤E1：使用轮廓提取算法提取步骤D中获得的海陆分割二值预测图像的轮廓；
步骤E2：将轮廓点较少的轮廓剔除，仅保留最大轮廓，将剩余像素作为海陆边界像素，得到海陆边界二值图像；
步骤E3：将海陆边界二值图像矢量化获得海岸线提取结果。
所述轮廓提取算法可具体使用OpenCV库中的findContours函数，即使用OpenCV库中的findContours函数提取步骤D中获得的海陆分割二值预测图像的轮廓。
总结来说，本发明将海岸带遥感影像输入至编码器中，提取低级细节特征以及高级语义特征，获得多层级特征图；将多层级特征图输入至解码器，通过岸线增强融合模块和上采样+卷积操作对图像解码，获得一组海陆分割特征图和海岸线分布特征图；对两组特征图进行逐像素预测，得到海陆分割二值图和岸线分布二值图，利用海陆二值标签与岸线标签进行误差反向传播，获得训练后的网络；将海岸带遥感影像输入到训练后的网络中，获得海陆分割二值预测图像；提取二值图像轮廓作为海陆边界并剔除无用边界后对其矢量化获取海岸线。
本发明的有益技术效果是：
本发明通过设计与岸线提取任务相结合的深度语义网络，使网络在训练过程中能够针对海岸线对模型参数进行优化，可以增强解码过程中岸线分布特征，所提取结果与真实海岸线对齐效果较好，能够获得与真实边界对齐的海陆分割图像，有效提高海岸线提取精度。
附图说明
图1为本发明基于深度语义分割网络的遥感影像海岸线提取方法的流程图；
图2为本发明设计的海岸线增强语义分割网络模型图；
图3为本发明设计的岸线特征增强融合模块的组成结构示意图，图中仅以步骤B2为例；
图4为本发明实施例中待提取海岸线的遥感影像图；
图5为本发明实施例海岸线增强语义分割网络预测的海陆二值分割图；
图6为本发明实施例输出的海岸线矢量图在遥感图像上的叠加表示。
具体实施方式
为了更清楚地说明本发明实施例中的技术方案，下面将结合附图进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于深度语义分割网络的遥感影像海岸线提取方法，包括以下步骤：获取并预处理遥感影像，制作训练样本，训练海岸线增强语义分割网络(CLE-Net)，在训练过程中计算预测图像与标签之间的损失，然后反向传播。训练完成后，将需要进行岸线提取的遥感影像输入到训练后的CLE-Net中进行预测获得二值海陆分割图像，提取二值图像轮廓并剔除多余边界后将其矢量化作为海岸线输出。
下面对本发明方法进行详细说明。
一种基于深度语义分割网络的遥感影像海岸线提取方法，包括以下步骤：
步骤A：搭建岸线增强分割网络(CLE-Net)，如图2所示，将海岸带遥感图像样本输入至编码器中，提取低级细节特征以及高级语义特征，获得多层级特征图。
步骤A具体包括以下步骤：
步骤A1：输入的四波段遥感影像经过编码器的第一层是卷积核大小为7×7，数量为32的卷积层，获得特征图F0；
步骤A2：步骤A1所获得特征图F0经过串行双卷积层，其卷积核大小为3×3，个数为64，步长为1，生成特征图F1；
步骤A3：步骤A2所生成特征图F1经过最大池化层后经过串行双卷积层，其卷积核大小为3×3，个数为128，步长为1，生成特征图F2；
步骤A4：步骤A3所生成特征图F2经过最大池化层后经过串行双卷积层，其卷积核大小为3×3，个数为256，步长为1，生成特征图F3；
步骤A5：步骤A4所生成特征图F3经过最大池化层后经过串行双卷积层，其卷积核大小为3×3，个数为512，步长为1，生成特征图F4；
步骤A6：步骤A5所生成特征图F4经过最大池化层后经过串行双卷积层，其卷积核大小为3×3，个数为1024，步长为1，生成特征图F5。
步骤B：将步骤A所获得的多层级特征图输入至解码器，通过双分支特征增强模块即岸线增强融合模块和上采样+卷积操作对图像解码，获得海陆分割特征图和海岸线分布特征图。
步骤B具体包括以下步骤：
步骤B1：编码器生成的特征图F5首先通过解码器的卷积+上采样操作提高图像分辨率，获得海岸线特征图Fl0和海陆分割特征图Fs0，通道数均为512；
步骤B2：将步骤B1所获得的海陆分割特征图Fs0与编码器中对应特征图F4拼接获得特征图Is0，然后将特征图Is0和步骤B1所获得的海岸线特征图Fl0输入到岸线特征增强融合模块中获得增强后的海岸线特征图和海陆分割特征图，接着两组特征图通过卷积+上采样操作提高图像分辨率，获得海岸线特征图Fl1和海陆分割特征图Fs1，通道数均为256。
岸线特征增强融合模块如图3所示，包含如下步骤：
步骤B21：输入的特征图Is0经过1×1卷积调整通道数与输入的海岸线特征图Fl0一致得到特征图
步骤B22：将特征图Fl0与步骤B21所得到的特征图
拼接获得拼接后的海岸线特征图；
步骤B23：将步骤B22拼接后的海岸线特征图和特征图
分别经过3×3卷积操作得到特征图
和和特征图Ol0；
步骤B24：将步骤B23所得到的特征图
和特征图Ol0相加得到特征图Os0，输出融合增强后的分割输出特征图Os0和岸线输出特征图Ol0。
步骤B3：将步骤B2所得到的海陆分割特征图Fs1与编码器中对应特征图F3拼接获得特征图Is1，然后将特征图Is1和步骤B2所得到的海岸线特征图Fl1输入到步骤B2所述的岸线特征增强融合模块中获得增强后的海岸线特征图和海陆分割特征图，接着两组特征图通过卷积+上采样操作提高图像分辨率，获得海岸线特征图Fl2和海陆分割特征图Fs2，通道数均为128。
岸线特征增强融合模块包含如下步骤：
步骤B31：输入的特征图Is1经过1×1卷积调整通道数与输入的海岸线特征图Fl1一致得到特征图
步骤B32：将特征图Fl1与步骤B31所得到的特征图
拼接获得拼接后的海岸线特征图；
步骤B33：将步骤B32拼接后的海岸线特征图和特征图
分别经过3×3卷积操作得到特征图
和特征图Ol1；
步骤B34：将步骤B33所得到的特征图
和特征图Ol1相加得到特征图Os1，输出融合增强后的分割输出特征图Os1和岸线输出特征图Ol1。
步骤B4：将步骤B3所得到的海陆分割特征图Fs2与编码器中对应特征图F2拼接获得特征图Is2，然后将特征图Is2和步骤B3所得到的海岸线特征图Fl2输入到步骤B2所述的岸线特征增强融合模块中获得增强后的海岸线特征图和海陆分割特征图，接着两组特征图通过卷积+上采样操作提高图像分辨率，获得海岸线特征图Fl3和海陆分割特征图Fs3，通道数均为64。
岸线特征增强融合模块包含如下步骤：
步骤B41：输入的特征图Is2经过1×1卷积调整通道数与输入的海岸线特征图Fl2一致得到特征图
步骤B42：将特征图Fl2与步骤B41所述的特征图
拼接获得拼接后的海岸线特征图；
步骤B43：将步骤B42所述的拼接后的海岸线特征图和特征图
分别经过3×3卷积操作得到特征图
和特征图Ol2；
步骤B44：将步骤B43所述的特征图
和特征图Ol2相加得到特征图Os2，输出融合增强后的分割输出特征图Os2和岸线输出特征图Ol2。
步骤B5：将步骤B4所得到的海陆分割特征图Fs3与编码器中对应特征图F1拼接获得特征图Is3，然后将特征图Is3和步骤B3所得到的海岸线特征图Fl2输入到步骤B2所述的岸线特征增强融合模块中获得增强后的海岸线特征图Fl4和海陆分割特征图Fs4，通道数均为64。
岸线特征增强融合模块包含如下步骤：
步骤B51：输入的特征图Is3经过1×1卷积调整通道数与输入的海岸线特征图Fl3一致得到特征图
步骤B52：将特征图Fl3与步骤B51所得到的特征图
拼接获得拼接后的海岸线特征图；
步骤B53：将步骤B52拼接后的海岸线特征图和特征图
分别经过3×3卷积操作得到特征图
和特征图Ol3；
步骤B54：将步骤B53所得到的特征图
和特征图Ol3相加得到特征图Os3，输出融合增强后的分割输出特征图Os3和岸线输出特征图Ol3。
步骤C：对解码器输出的两组特征图进行逐像素预测，得到海陆分割二值图和岸线分布二值图，利用海陆二值标签与岸线标签进行误差反向传播，获得训练后的网络。
步骤C1：将步骤B5所得到的海陆分割特征图Fs4和海岸线特征图Fl4分别经过双输出卷积层获得预测海陆分割图和海岸线分布图。
步骤C2：计算预测结果与真实标签之间的损失，其中海陆分割损失函数采用“binary crossentropy”函数计算，海岸线损失函数采用“focal loss”函数计算，然后将损失反向传播优化模型参数，优化器采用“自适应矩估计”优化。“binary crossentropy”损失函数计算公式如下：
式中y′表示模型预测值，y表示标签。“focal loss”函数计算公式如下：
式中α为超参数用于平衡正负样本的重要性，本发明中将其设置为0.9，γ为超参数用于调节样本权重降低的速率，本发明中将其设置为2.0。
步骤D：将图4所示需要进行岸线提取的海岸带遥感影像输入到训练后的岸线增强语义分割网络中，获得图5所示海陆分割二值预测结果。
步骤E：从海陆分割二值预测图像中提取轮廓作为海陆边界，剔除无用边界后，对海陆边界矢量化获得海岸线提取结果。
步骤E1：使用轮廓提取算法具体为OpenCV库中的findContours函数提取步骤D中获得的海陆分割二值预测图像的轮廓；
步骤E2：将轮廓点较少的轮廓剔除，仅保留最大轮廓，将剩余像素作为海陆边界像素，得到海陆边界二值图像；
步骤E3：将海陆边界二值图矢量化获得海岸线提取结果，提取的海岸线矢量图与输入海岸带遥感影像叠加表示如图6所示。
Claims (6)
1.一种基于深度语义分割网络的遥感影像海岸线提取方法，其特征在于包括以下步骤：
步骤A：将海岸带遥感图像样本输入至编码器中，提取低级细节特征以及高级语义特征，获得多层级特征图；
步骤B：将步骤A所获得的多层级特征图输入至解码器，通过岸线特征增强融合模块和上采样+卷积操作对图像解码，获得海陆分割特征图和海岸线分布特征图；
步骤C：对解码器输出的海陆分割特征图和海岸线分布特征图进行逐像素预测，得到海陆分割二值图和岸线分布二值图，利用海陆二值标签与岸线标签进行误差反向传播，获得训练后的岸线增强语义分割网络；
步骤D：将需要进行岸线提取的海岸带遥感影像输入到训练后的岸线增强语义分割网络中，获得海陆分割二值预测图像结果；
步骤E：从海陆分割二值预测图像结果中提取轮廓作为海陆边界，剔除无用边界，再对海陆边界矢量化获得海岸线提取结果；
所述步骤A具体包括以下步骤：
步骤A1：输入的四波段海岸带遥感图像样本经过编码器的第一层是卷积核大小为7×7，数量为32的卷积层，获得特征图F0；
步骤A2：步骤A1所获得特征图F0经过串行双卷积层，其卷积核大小为3×3，个数为64，步长为1，生成特征图F1；
步骤A3：步骤A2所生成特征图F1经过最大池化层后经过串行双卷积层，其卷积核大小为3×3，个数为128，步长为1，生成特征图F2；
步骤A4：步骤A3所生成特征图F2经过最大池化层后经过串行双卷积层，其卷积核大小为3×3，个数为256，步长为1，生成特征图F3；
步骤A5：步骤A4所生成特征图F3经过最大池化层后经过串行双卷积层，其卷积核大小为3×3，个数为512，步长为1，生成特征图F4；
步骤A6：步骤A5所生成特征图F4经过最大池化层后经过串行双卷积层，其卷积核大小为3×3，个数为1024，步长为1，生成特征图F5；
所述步骤B具体包括以下步骤：
步骤B1：编码器生成的特征图F5首先通过解码器的卷积+上采样操作提高图像分辨率，获得海岸线特征图Fl0和海陆分割特征图Fs0，通道数均为512；
步骤B2：将步骤B1所得海陆分割特征图Fs0与步骤A5所生成特征图F4拼接获得特征图Is0，然后将特征图Is0和步骤B1所得岸线特征图Fl0输入到岸线特征增强融合模块中获得增强后的岸线特征图和海陆分割特征图，接着通过卷积+上采样操作提高图像分辨率，获得岸线特征图Fl1和海陆分割特征图Fs1，通道数均为256；
步骤B3：将步骤B2所得海陆分割特征图Fs1与步骤A4所生成特征图F3拼接获得特征图Is1，然后将特征图Is1和步骤B2所得岸线特征图Fl1输入到岸线特征增强融合模块中获得增强后的岸线特征图和海陆分割特征图，接着通过卷积+上采样操作提高图像分辨率，获得岸线特征图Fl2和海陆分割特征图Fs2，通道数均为128；
步骤B4：将步骤B3所得海陆分割特征图Fs2与步骤A3所生成特征图F2拼接获得特征图Is2，然后将特征图Is2和步骤B3所得岸线特征图Fl2输入到岸线特征增强融合模块中获得增强后的岸线特征图和海陆分割特征图，接着通过卷积+上采样操作提高图像分辨率，获得岸线特征图Fl3和海陆分割特征图Fs3，通道数均为64；
步骤B5：将步骤B4所得海陆分割特征图Fs3与步骤A2所生成特征图F1拼接获得特征图Is3，然后将特征图Is3和步骤B4所得岸线特征图Fl3输入到岸线特征增强融合模块中获得增强后的岸线特征图Fl4和海陆分割特征图Fs4，通道数均为64；
步骤B2中岸线特征增强融合模块的处理步骤如下：
步骤B21：输入的特征图Is0经过1×1卷积调整通道数与输入的岸线特征图Fl0一致得到特征图
步骤B22：将岸线特征图Fl0与步骤B21所得到的特征图
拼接获得拼接后的海岸线特征图；
步骤B23：将步骤B22拼接后的海岸线特征图和步骤B21得到的特征图
分别经过3×3卷积操作得到特征图
和特征图Ol0；
步骤B24：将步骤B23所得到的特征图
和特征图Ol0相加得到特征图Os0，输出融合增强后的分割输出特征图Os0和岸线输出特征图Ol0；
所述步骤C具体包括以下步骤：
步骤C1：将步骤B5所得到的海陆分割特征图Fs4和岸线特征图Fl4分别经过两层卷积获得预测海陆分割图和海岸线分布图；
步骤C2：计算预测结果与真实标签之间的损失，其中海陆分割损失函数采用binarycrossentropy函数计算，岸线损失函数采用focal loss函数计算，然后将损失反向传播优化模型参数；binary crossentropy函数计算公式如下：
式中y′表示模型预测值，y表示标签；focal loss函数计算公式如下：
式中α为超参数用于平衡正负样本的重要性，γ为超参数用于调节样本权重降低的速率。
2.根据权利要求1所述的一种基于深度语义分割网络的遥感影像海岸线提取方法，其特征在于，步骤B3中岸线特征增强融合模块的处理步骤如下：
步骤B31：输入的特征图Is1经过1×1卷积调整通道数与输入的海岸线特征图Fl1一致得到特征图
步骤B32：将特征图Fl1与步骤B31所得到的特征图
拼接获得拼接后的海岸线特征图；
步骤B33：将步骤B32所拼接后的海岸线特征图和特征图
分别经过3×3卷积操作得到特征图
和特征图Ol1；
步骤B34：将步骤B33所得到的特征图
和特征图Ol1相加得到特征图Os1，输出融合增强后的分割输出特征图Os1和岸线输出特征图Ol1。
3.根据权利要求1所述的一种基于深度语义分割网络的遥感影像海岸线提取方法，其特征在于，步骤B4中岸线特征增强融合模块的处理步骤如下：
步骤B41：输入的特征图Is2经过1×1卷积调整通道数与输入的海岸线特征图Fl2一致得到特征图
步骤B42：将特征图Fl2与步骤B41所得到的特征图
拼接获得拼接后的海岸线特征图；
步骤B43：将步骤B42所拼接后的海岸线特征图和特征图
分别经过3×3卷积操作得到特征图
和特征图Ol2；
步骤B44：将步骤B43所得到的特征图
和特征图Ol2相加得到特征图Os2，输出融合增强后的分割输出特征图Os2和岸线输出特征图Ol2。
4.根据权利要求1所述的一种基于深度语义分割网络的遥感影像海岸线提取方法，其特征在于，步骤B5中岸线特征增强融合模块的处理步骤如下：
步骤B51：输入的特征图Is3经过1×1卷积调整通道数与输入的海岸线特征图Fl3一致得到特征图
步骤B52：将特征图Fl3与步骤B51所得到的特征图
拼接获得拼接后的海岸线特征图；
步骤B53：将步骤B52所拼接后的海岸线特征图和特征图
分别经过3×3卷积操作得到特征图
和特征图Ol3；
步骤B54：将步骤B53所得到的特征图
和特征图Ol3相加得到特征图Os3，输出融合增强后的分割输出特征图Os3和岸线输出特征图Ol3。
5.根据权利要求1所述的一种基于深度语义分割网络的遥感影像海岸线提取方法，其特征在于：优化模型参数时优化器采用自适应矩估计优化；将α设置为0.9，将γ设置为2.0。
6.根据权利要求1所述的一种基于深度语义分割网络的遥感影像海岸线提取方法，其特征在于，所述步骤E具体包括以下步骤：
步骤E1：使用轮廓提取算法提取步骤D中获得的海陆分割二值预测图像的轮廓；
步骤E2：将轮廓点较少的轮廓剔除，仅保留最大轮廓，将剩余像素作为海陆边界像素，得到海陆边界二值图像；
步骤E3：将海陆边界二值图像矢量化获得海岸线提取结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110333255.XA CN113139550B (zh) | 2021-03-29 | 2021-03-29 | 一种基于深度语义分割网络的遥感影像海岸线提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110333255.XA CN113139550B (zh) | 2021-03-29 | 2021-03-29 | 一种基于深度语义分割网络的遥感影像海岸线提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113139550A CN113139550A (zh) | 2021-07-20 |
| CN113139550B true CN113139550B (zh) | 2022-07-12 |
Family
ID=76810120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110333255.XA Expired - Fee Related CN113139550B (zh) | 2021-03-29 | 2021-03-29 | 一种基于深度语义分割网络的遥感影像海岸线提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113139550B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870281A (zh) * | 2021-09-17 | 2021-12-31 | 海南大学 | 一种基于金字塔机制的遥感影像海洋与非海区域分割方法 |
| CN114119630B (zh) * | 2021-11-11 | 2024-08-16 | 陕西九州遥感信息技术有限公司 | 基于耦合图谱特征的海岸线深度学习遥感提取方法 |
| CN114240945B (zh) * | 2022-02-28 | 2022-05-10 | 科大天工智能装备技术（天津）有限公司 | 一种基于目标分割的桥梁钢索断裂检测方法及系统 |
| CN116342616B (zh) * | 2023-03-15 | 2023-10-27 | 大连海事大学 | 一种基于双分支集成学习的遥感图像海陆分割方法 |
| CN116129145B (zh) * | 2023-04-14 | 2023-06-23 | 广东海洋大学 | 一种高分辨率遥感影像的砂质海岸线提取方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921066A (zh) * | 2018-06-22 | 2018-11-30 | 西安电子科技大学 | 基于特征融合卷积网络的光学遥感图像舰船检测方法 |
| CN110414509A (zh) * | 2019-07-25 | 2019-11-05 | 中国电子科技集团公司第五十四研究所 | 基于海陆分割和特征金字塔网络的港口停靠舰船检测方法 |
| CN111797779A (zh) * | 2020-07-08 | 2020-10-20 | 兰州交通大学 | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389051A (zh) * | 2018-09-20 | 2019-02-26 | 华南农业大学 | 一种基于卷积神经网络的建筑物遥感图像识别方法 |
| WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学（深圳） | 图像语义分割方法和系统 |
| CN110211138B (zh) * | 2019-06-08 | 2022-12-02 | 西安电子科技大学 | 基于置信点的遥感图像分割方法 |
| CN112183452B (zh) * | 2020-10-15 | 2023-03-24 | 国家气象中心 | 一种基于气象卫星图像和深度迁移学习的海雾识别方法 |
-
2021
- 2021-03-29 CN CN202110333255.XA patent/CN113139550B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921066A (zh) * | 2018-06-22 | 2018-11-30 | 西安电子科技大学 | 基于特征融合卷积网络的光学遥感图像舰船检测方法 |
| CN110414509A (zh) * | 2019-07-25 | 2019-11-05 | 中国电子科技集团公司第五十四研究所 | 基于海陆分割和特征金字塔网络的港口停靠舰船检测方法 |
| CN111797779A (zh) * | 2020-07-08 | 2020-10-20 | 兰州交通大学 | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113139550A (zh) | 2021-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113139550B (zh) | 一种基于深度语义分割网络的遥感影像海岸线提取方法 | |
| CN110335290B (zh) | 基于注意力机制的孪生候选区域生成网络目标跟踪方法 | |
| CN109086824B (zh) | 一种基于卷积神经网络的海底底质声呐图像分类方法 | |
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| CN111242037A (zh) | 基于结构信息的车道线检测方法 | |
| Zhao et al. | CRAS-YOLO: A novel multi-category vessel detection and classification model based on YOLOv5s algorithm | |
| CN111583276B (zh) | 基于cgan的空间目标isar图像部件分割方法 | |
| CN115471746A (zh) | 一种基于深度学习的船舶目标识别检测方法 | |
| CN111339862B (zh) | 一种基于通道注意力机制的遥感场景分类方法及装置 | |
| CN116468995A (zh) | 一种联合slic超像素和图注意力网络的声呐图像分类方法 | |
| CN113420759B (zh) | 一种基于深度学习的抗遮挡与多尺度死鱼识别系统与方法 | |
| CN115272529B (zh) | 布局优先的多尺度解耦海洋遥感图像上色方法及系统 | |
| Qi et al. | Underwater small target detection based on deformable convolutional pyramid | |
| CN117095277A (zh) | 一种边缘引导的多注意力rgbd水下显著目标检测方法 | |
| CN113935899B (zh) | 一种基于语义信息和梯度监督的船牌图像超分辨方法 | |
| CN117351374B (zh) | 一种遥感图像显著性目标检测方法、系统、设备及介质 | |
| Ruan et al. | Dual‐Path Residual “Shrinkage” Network for Side‐Scan Sonar Image Classification | |
| CN117593187A (zh) | 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法 | |
| CN113077484A (zh) | 一种图像实例分割方法 | |
| CN112508106A (zh) | 一种基于卷积神经网络的水下图像分类方法 | |
| CN116863293A (zh) | 一种基于改进YOLOv7算法的可见光下海上目标检测方法 | |
| CN116740572A (zh) | 一种基于改进yolox的海上船舰目标检测方法和系统 | |
| CN115115860A (zh) | 一种基于深度学习的图像特征点检测匹配网络 | |
| Hu et al. | Research on bamboo defect segmentation and classification based on improved U-net network | |
| CN114693953A (zh) | 一种基于跨模态双向互补网络的rgb-d显著性目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220712 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |