CN115131680A - 基于深度可分离卷积和跳跃连接的遥感影像水体提取方法 - Google Patents

基于深度可分离卷积和跳跃连接的遥感影像水体提取方法 Download PDF

Info

Publication number
CN115131680A
CN115131680A CN202210790355.XA CN202210790355A CN115131680A CN 115131680 A CN115131680 A CN 115131680A CN 202210790355 A CN202210790355 A CN 202210790355A CN 115131680 A CN115131680 A CN 115131680A
Authority
CN
China
Prior art keywords
water body
remote sensing
image
sensing image
dupnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210790355.XA
Other languages
English (en)
Inventor
刘志恒
陈雪梅
周绥平
余航
张文杰
陈济轩
刘彦明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210790355.XA priority Critical patent/CN115131680A/zh
Publication of CN115131680A publication Critical patent/CN115131680A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Astronomy & Astrophysics (AREA)

Abstract

本发明公开了一种基于深度可分离卷积和跳跃连接的遥感影像水体提取方法，解决了水体样本标注效率低，河流支流或小水体提取困难的技术难题。实现步骤包括，获取原始遥感图像并预处理；用最大似然分类法得到水体标签；裁剪并筛选组成数据集；图像增强；构建基于FASPP的卷积网络DUPnet；建立图像输入网络的特征提取流程；构建混合损失函数TCELosss和设置训练参数；得到水体提取结果。本发明构建DUPnet网络，网络编码器使用深度可分离卷积减少特征信息丢失；网络的跳跃连接使用FASPP弥补采样过程造成的特征损失；构建TCELoss改善数据集中正负样本不平衡的问题。本发明用于从遥感影像中高质量提取水体，提高了制作遥感影像水体样本效率和水体分割精度。

Description

基于深度可分离卷积和跳跃连接的遥感影像水体提取方法
技术领域
本发明属于图像分割技术领域，主要涉及遥感影像水体分割，具体为基于深度可分离卷积和跳跃连接的遥感影像水体提取方法。本发明可用于从遥感影像中自动提取分割水体。
背景技术
近年来，卫星遥感技术迅速发展，其作为一种全新的地球观测手段，具有大范围、长时序、短周期、低成本且数据获取容易等优点，可以补充和改善常规地面观测方法在时间和空间上数据采样频率的不足，已广泛应用于水体分割研究中。水体分割的关键在于从其他复杂物体的中突出水体灰度特征和准确提取水体边界范围，其成果对水资源配置、生态评价、环境保护、测绘地理信息等领域具有重要意义。
传统的水体分割算法依赖于人工设置阈值，如归一化差异水指数NDWI和改正的归一化差异水指数MNDWI)。其共同点是利用水体在不同波段的光谱反射率差异，通过设置适当的阈值增强水体信息。然而，由于背景的多样性和复杂性及阈值设定的方法不同，需结合不同的场景，且阈值普适性弱，鲁棒性不足。
基于遥感影像光谱特征的统计模式识别方法逐渐兴起，该法的主要思想是光谱相似性，即通过不同的算法发现影像中具有相似特征的影像像元，并将相似像元归类，如平行六面体法、最近距离法、最大似然法等。曹宝等人使用最大似然分类法，对北京市区的SPOT卫星图像的湖泊以及河流进行提取，并按形态将水体细分类为具体的类别；王伟等人以鄱阳湖周边为实验区，选取了监督分类法提取水体，实验表明，整体提取效果较好，但存在部分河滩被错分为水体的现象。光谱监督分类方法存在的问题：一、需要靠人工从影像中勾勒水体与非水体像元，建立感兴趣区域，以获取不同地物的光谱特征差异，故对技术人员知识经验要求较高；二、由于无法完全顾及影像光谱特征，并且中低分辨率影像下存在混合像元现象，故该方法结果精度受人为影响较大。
机器学习算法由于其对人工专家知识的弱依赖和高精确度等特点，在遥感图像处理领域得到了极大的发展，如支持向量机SVM、随机森林Random Forests、决策树DecisionTree以及深度学习等。基于机器学习的水体语义分割算法通过学习样本特征和标签样本之间的关系，减弱了阈值分割算法对专家知识的依赖。语义分割是一种端到端的学习方法，通过卷积神经网络直接从图像中学习特征，生成相应的预测结果，避免了人为的特征选择。全连接网络(FCN)被称为第一个用于语义分割的端到端网络。它将连接层转换为卷积层，在最后三个阶段对特征映射进行上采样。FCN解决了CNN输入输出图像尺寸固定的限制，使遥感影像分类从图像级别的场景分类转换为了像素级别的分类。在FCN之后，人们提出了许多用于图像分割的网络。一种是编解码器结构，如U-Net、SegNet、RefineNet等。
遥感水体提取的发展历经几十年，从目视解译到光谱特征提取、自动分类、以及光谱和空间信息的合并等。水体提取从人工视觉辨别到半自动化的光谱、纹理和空间信息提取，最后到利用深度学习全自动提取水体的高精确度研究，其主要目的是实现高精度的水体提取自动化。Isikdogan等人通过构建全卷积神经网络并改良其跳跃层结构，实现遥感影像陆地、水、冰雪、云、阴影的分类，但其结果精度受复杂背景、小型建筑等影响较大；Chen等人提出一种超像素的图像分割算法，主要设计自适应池化的卷积神经网络实现水体提取，该方法可避免建筑阴影的影响，提高对细节水体的提取能力，适用于城市水体提取，但该方法由于需要利用面向对象方法进行图像分割预处理，未实现全自动化。
基于深度学习的语义分割模型的使用在一定程度上提高水体分割的自动化水平和准确性。将深度学习应用于遥感信息提取方法是近年的新发展趋势，其主要思路是：利用卷积神经网络中的卷积核对数据进行下采样抽象与上采样还原，完成神经网络模型特征学习与拟合，再将模型应用于未训练数据，达到对数据中感兴趣信息的自动判别预测的目的。然而，在遥感图像处理领域，深度学习智能提取算法的精度无法满足生产需要，在实际的生产作业中目前基本还是靠人工或者人机交互。
综上，现有技术存在以下缺点：遥感影像尺寸大且数据源多样化，现有水体提取模型适应性不足；相较于海量的遥感数据量，用于深度学习的遥感数据集制作成本高、难度大，用于遥感河流提取的数据集极少，难以满足实际工作中的要求；遥感影像存在复杂的背景地形以及极不规则的水体形状，例如大型的湖泊和河流以及溪流、水塘等细小水体。现有的河流提取网络模型随着神经网络层数的加深，失去河流特征重要的细节，尤其是细窄河流和小水体难以提取。
发明内容
本发明针对现有技术存在的问题包括模型适应性差、标签制作成本高和河流水体细节提取难的问题，提出一种模型鲁棒性强，水体分割精确度更高的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法。
本发明是一种基于深度可分离卷积和跳跃连接的遥感影像水体提取方法，其特征在于，利用Brovey变换提高图像分辨率，通过最大似然分类法制作水体标签，利用标准化增强图像特征，利用一种混合损失函数优化DUPnet网络，使用DUPnet网络提取遥感影像水体；具体包括有如下步骤：
1)获取原始待提取遥感图像，预处理原始待提取遥感影像：对原始遥感影像进行预处理，首先，对原始遥感影像进行几何校正、大气校正和辐射校正，得到校正后的遥感影像；其次，对校正后的遥感影像进行伪彩色合成；对伪彩色合成影像进行Brovey变换，得到水体待提取的高分辨率遥感影像；
2)利用最大似然分类法得到水体标签图：利用最大似然分类法提取高分辨率遥感影像中的水体并制作水体标签，得到高分辨率遥感影像的水体标签图；
3)裁剪并筛选，组成遥感影像水体数据集：将水体待提取的高分辨率遥感影像和对应的高分辨遥感影像的水体标签图分别裁剪为128×128像素的大小的图片，筛选裁剪后的图片中提取精度高的水体标签图和其对应的高分辨率遥感图像组成遥感影像水体数据集，并划分该数据集为训练集、验证集和测试集；
4)图像增强，得到增强图像数据集：对遥感影像水体数据集中所有图像进行图像增强，依次执行水平翻转、随机高斯模糊和标准化，得到增强图像数据集；
5)设计并构建基于FASPP的卷积神经网络DUPnet：DUPnet网络包含编码器、解码器和跳跃连接三个部分；DUPnet的编码器采用多个密集连接模块DB和下采样模块，其中下采样模块使用深度可分离卷积；网络的解码器采用多个密集连接模块DB和上采样模块，其中上采样模块使用反卷积；编码器的最末下采样模块的通过密集连接模块DB连接到解码器的首个上采样模块；编码器和解码器之间通过多个基于特征空间金字塔池化的跳跃连接传递多尺度特征和空间信息，网络的输出即解码器的输出；
6)建立图像数据输入DUPnet网络的水体特征提取流程：将训练集、验证集所有图像输入DUPnet编码器，输出图像的浅层特征；浅层特征经过DUPnet解码器得到图像的深层特征，其与浅层特征通过FASPP跳跃连接获得的多尺度特征进行融合，得到融合特征；最终融合特征由DUPnet解码器分类层处理得到图像水体分割概率图；
7)构建混合损失函数TCELosss和设置DUPnet训练参数获得最优网络：通过向Tversky指数损失函数和交叉熵损失函数Cross-Entropy Loss分别添加权重系数构建TCELoss混合损失函数；设置DUPnet训练参数包括迭代次数、批次大小、学习率，得到最优DUPnet网络；
8)得到水体提取结果图：将测试集输入最优DUPnet网络，由解码器的分类层输出测试集遥感影像水体分割概率图，再将分割概率图转化，得到原始待提取遥感图像的水体提取结果图。
本发明解决了遥感影像水体提取过程中，水体样本标注效率低，河流支流或小水体提取困难，提取方法适应性差，精度低等技术问题。
本发明与现有技术相比具有以下优点：
实现了高效率、高质量的水体标签标注：深度学习样本的制作一般均由人工手动绘制，然而人工方法效率极低，难以满足深度学习数以万计的样本需求。本发明创新性的使用最大似然分类法进行遥感水体样本制作，实现高效率、高质量的水体标签标注，减少人工目视解译水体的时间和精力，提高深度学习样本制作的效率；
提高了分割精度：Brovery变换提高所用遥感影像的分辨率；图像标准化将影像数据通过去均值，实现中心化，使用图像增强突出图像“有用”信息，压缩其他“无用”信息，使提取特征与背景间更具有区分性，凸显遥感水体特征，使图像特征更容易被神经网络识别，提高分割精度；
所提出的DUPnet网络实现了高精度的水体提取：引入密集连接模块DB和特征空间金字塔池化模块Feature Atrous Spatial Pyramid(FASPP)；通过这两种方法，DUPnet充分利用了多尺度特征空间信息和不同层次的光谱特征；目前深度学习图像特征提取主要是经过全卷积神经网络实现的，针对遥感水体的复杂特征，一般全卷积神经网络无法实现水体分割的较高精度，故DUPnet极大的提高水体特征的提取效果。
附图说明
图1为本发明的流程框图；
图2为本发明的DUPnet网络架构示意图；
图3为本发明的制作水体标签流程框图；
图4为本发明的密集连接模块DB结构示意图；
图5为本发明的DUPnet网络中编码器下采样模块结构示意图；
图6为本发明的编6码器下采样模块中深度卷积结构、逐点卷积结构和深度可分离卷积结构示意图；
其中，图6(a)为深度卷积结构示意图；图6(b)为逐点卷积结构示意图；图6(c)为深度可分离卷积结构示意图；
图7为本发明的DUPnet网络中FASPP模块结构示意图；
图8为本发明的伪彩色合成结果示意图；
其中，图8(a)为校正后的遥感影像；图8(b)为图8(a)对应的伪彩色合成结果图；
图9为本发明的基于ENVI平台的最大似然分类法提取遥感水体粗略结果示意图；
图10为本发明图像标准化增强结果示意图；
其中，图10(a)为遥感影像水体数据集中选取的一张待提取遥感水体影像；图10(b)为图10(a)对应的标准化增强结果图；图10(c)为图10(a)对应的标签图像；
图11为本发明的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法的逻辑框图；
图12为本发明和其他语义分割网络方法提取遥感影像水体结果示意图；
其中，第1列Image为来自测试集中的4张图像；第2列Lable为第1列图像对应的标签图像；第3列至第7列分别为FCN、U-Net、Segnet、PSPNet、DeeplabV3+提取水体结果图；最右第8列为本发明的DUPnet提取水体结果图。
具体实施方式
实施例1：
从遥感图像中准确提取水体信息一直是遥感图像分析领域的重要研究主题，因为它在国家土地、水资源监测和环境保护中起着至关重要的作用。专家学者经过大量的研究，提出了很多从遥感图像中提取水体信息的方法，包括阈值分割、光谱分类和机器学习等。在实际的应用中，尤其是在全国水体的大规模日常监测中，不可避免地处理大量的遥感图像。具有更多手动干预的传统方法无法保证数据产品的质量。特别是，图像(例如云，阴影，雾等)存在大量的随机干扰。即使某些模型具有良好的通用性，也会忽略水在遥感影像上的细节。这些将极大地影响对水体的监控和利用效率。因此，研究可以满足高精度和高概括能力并有效减少对人类干预需求的高精度要求并有效地要求的水模型具有深远的意义。
本发明是一种基于深度可分离卷积和跳跃连接的遥感影像水体提取方法，利用Brovey变换提高图像分辨率，通过最大似然分类法制作水体标签，利用标准化增强图像特征，利用一种混合损失函数优化DUPnet网络，使用DUPnet网络提取遥感影像水体，参照附图1，图1为本发明流程框图，具体包括有如下步骤：
1)获取原始待提取遥感图像，预处理原始待提取遥感影像：对原始遥感影像进行预处理，首先，对原始遥感影像进行校正，包括几何校正、大气校正和辐射校正，得到校正后的遥感影像；其次，对校正后的遥感影像进行伪彩色合成；对伪彩色合成影像进行Brovey变换，得到水体待提取的高分辨率遥感影像；其中，对校正后的遥感影像进行伪彩色合成，选取最佳波段NIR、SWIR1和Red波段，并分别为它们分配红色、绿色和蓝色；另外，对伪彩色影像进行Brovey变换，得到待提取高分辨率遥感影像；本发明对伪彩色合成影像(分辨率为30m)和高分辨率的Band8 PAN(分辨率为15m)进行Brovey变换，即RGB图像中的每一个波段都乘以高分辨率数据与RGB图像波段总和的比值，计算式为：
Figure BDA0003729957560000061
Figure BDA0003729957560000062
Figure BDA0003729957560000063
其中，r，g，b代表伪彩色合成影像的红、绿和蓝波段；R，G，B代表Brovey变换后待提取高分辨率遥感影像的红、绿和蓝波段；最后用双线性插值技术将3个RGB波段重采样到高分辨率像元尺寸，得到待提取高分辨率遥感影像。
2)利用最大似然分类法得到水体标签图：将待提取的高分辨率遥感影像利用最大似然分类法提取高分辨率遥感影像中的水体并制作水体标签，得到高分辨率遥感影像的水体标签图；具体的说，本发明在水体标签图制作方面，基于ENVI平台，使用了最大似然法对水体进行初分割。最大似然分类法优点是简单，实施方便，并且以贝叶斯理论和其他先验知识融合分类，密度分布函数可以有效清晰地解释分类结果，这类方法适用于波段数较少的数据，其能够快速的完成像素分类。
3)裁剪并筛选，组成遥感影像水体数据集：将水体待提取的高分辨率遥感影像和高分辨遥感影像的水体标签图分别裁剪为128×128的大小的图片，筛选裁剪后的图片中提取精度高的水体标签图和其对应的高分辨率遥感图像构成遥感影像水体数据集，并将该数据集按比例7:2:1划分为训练集、验证集和测试集。
4)图像增强，得到增强图像数据集：对遥感影像水体数据集中所有图像进行图像增强，依次执行水平翻转、随机高斯模糊和标准化，得到增强图像数据集，并划分该数据集为训练集、验证集和测试集；本发明在模型训练之前进行数据增强，即增加训练样本，提高样本的多样性，提高训练模型的泛化性能。对遥感影像水体数据集中包含的所有图像进行图像增强，依次执行水平翻转、随机高斯模糊和标准化，得到增强图像数据集；图像标准化公式如下所示：
Figure BDA0003729957560000071
Figure BDA0003729957560000072
Figure BDA0003729957560000073
其中R，G，B代表Brovey变换后待提取高分辨率遥感影像的红、绿和蓝波段；RNormalize，GNormalize，BNormalize代表标准化增强后图像的红、绿和蓝波段。图像的标准化后，不同维度之间的特征在数值上具有一定的可比性，所得参数值的大小可以反映不同特征对样本标签的贡献，可以大大提高分类器的准确性。
5)设计并构建基于FASPP的卷积神经网络DUPnet：DUPnet网络包含编码器、解码器和跳跃连接三个部分；DUPnet的编码器采用多个密集连接模块DB和下采样模块，其中下采样模块使用深度可分离卷积，深度可分离卷积可分解为先进行深度卷积，然后再进行逐点卷积。网络的解码器采用多个密集连接模块DB和上采样模块，其中上采样模块使用反卷积。编码器的最末下采样模块的通过密集连接模块DB连接到解码器的首个上采样模块；编码器和解码器之间通过多个基于特征空间金字塔池化的跳跃连接传递多尺度特征和空间信息，网络的输出即解码器的输出；本发明设计并构建基于FASPP的卷积神经网络DUPnet方面，首先设计特征空间金字塔模块FASPP来提取多尺度信息，用于DUPnet结构中的跳跃连接并缓解其结构中梯度消失问题。其次，引入密集连接模块DB提取不同层次的特征，包括低级特征和高度抽象的特征，具有加强特征传播、鼓励特征重用的能力。最重要的是，DUPnet具有编解码器网络结构，利用多个层次的特征进行像素级图像语义分割。
6)建立图像数据输入DUPnet网络的水体特征提取流程：将训练集、验证集所有图像输入DUPnet编码器，输出图像的浅层特征；浅层特征经过DUPnet解码器得到图像的深层特征，其与浅层特征通过FASPP跳跃连接获得的多尺度特征进行融合，得到融合特征；融合特征由DUPnet解码器分类层处理得到图像水体分割概率图；在DUPnet网络学习的过程中，一般编码器学习影像的一些细节信息，如纹理、颜色等，在解码器到的更多是影像的语义特征，比较抽象复杂，并且随着网络的加深，输出特征图的分辨率也在逐渐降低。跳跃结构是一种跳级连接的结构，即连接不同层网络所学习到的不同程度的信息，通过叠加之后，再进行上采样，就可以使输出结果既拥有细节信息也拥有深层次的语义信息，优化了输出结构，提高了分割的精度。
7)构建混合损失函数TCELosss和设置DUPnet训练参数获得最优网络：通过向Tversky指数损失函数和交叉熵损失函数Cross-Entropy Loss分别添加权重系数构建TCELoss混合损失函数；设置DUPnet训练参数包括迭代次数、批次大小、学习率，得到最优DUPnet网络；由于遥感影像水体数据集中存在正样本(水体像素)、负样本(背景像素)不平衡现象，TCELoss混合损失函数关注正负样本不平衡的问题，通过权重系数改善边缘变化较大、难以区分的部分，因此本发明训练DUPnet使用TCELoss混合损失函数监测网络随着训练过程的迭代是否收敛。
8)得到水体提取结果图：将测试集输入最优DUPnet网络，由解码器的分类层输出测试集遥感影像水体分割概率图，再将分割概率图转化，得到原始待提取遥感图像的水体提取结果图，完成基于基于深度可分离卷积和跳跃连接的遥感影像水体提取。
本发明给出了一个基于深度可分离卷积和跳跃连接的遥感影像水体提取方法的整体技术方案，首先在水体标签制作上，本发明使用最大似然分类法制作遥感水体标签图，降低人力，实现高效率、高质量的标签标注工作；其次，在图像增强上，本发明使用Bovey变换，提高遥感影像分辨率，并使用图像标准化增强遥感影像，使图像特征更容易区分和被神经网络识别，提高分割精度；然后，在基于深度学习遥感影像水体提取中的网络结构上，本发明将特征空间金字塔模块FASPP应用在编解码结构里的跳跃连接上，它为解码器结构的每一层提供相应尺度上的图像浅层特征，其包含多尺度特征的有用空间信息，可以抑制无效信息；在编码器结构的下采样模块中使用深度可分离卷积替代之前的最大池化层，减少细节特征损失。除此之外，本发明引入密集连接模块DB提取不同层次的特征，以提高对遥感影像中水体的细节特征的提取能力，实现更高的水体提取精度。
实施例2：
基于深度可分离卷积和跳跃连接的遥感影像水体提取方法同实施例1，本发明步骤2所述的利用最大似然分类法得到水体标签图，具体是基于ENVI软件平台，利用最大似然分类法提取遥感影像水体，得到遥感影像水体分类结果，再将该图像转为二值图，得到水体标签图；本发明基于ENVI平台，利用最大似然分类法得到水体标签图，参照附图3，图3为本发明的制作水体标签流程框图，对本发明利用最大似然分类法得到水体标签图做进一步的描述。具体操作如下：
2a)选择遥感影像水体样本：在待提取高分辨率遥感影像上应用ROI Tool绘制水体区域并创建水体感兴趣区。
2b)分类器选择：在Toolbox工具箱中选择最大似然分类法作为分类器类型。
2c)影像分类：执行最大似然分类法，得到待提取高分辨率遥感影像的粗略水体提取结果。
2d)人工修改错分像元：对于局部错分、漏分的像元，利用Interactive ClassTool进行手动精修，得到高分辨遥感影像的水体标签。
本发明基于ENVI平台利用最大似然分类法首先得到待提取高分辨率遥感影像的粗略水体范围，其次，手动修改，主要去除粗略结果中的阴影误分部分、增加对部分细小水体的遗漏部分以及修补边界不准确部分，使水体更为精确；影像水体标签即为深度学习所学习的水体特征掩膜，其准确性直接关系到最终网络的精度，制作的大量水体标签样本可用于DUPnet网络水体提取训练。
实施例3：
基于深度可分离卷积和跳跃连接的遥感影像水体提取方法同实施例1-2，本发明步骤5所述设计并构建基于FASPP的卷积神经网络DUPnet，其中构建编码器包括有以下步骤：
5a)确定网络编码器的输入层：采用2个3×3卷积层Conv和1个密集连接模块DB依次连接作为编码器输入层。
5b)编码器输入层连接下采样卷积层：编码器输入层依次连接多个下采样卷积层，每个下采样卷积层由下采样模块、密集连接模块DB顺序连接组成。
5c)最末下采样卷积层连接下采样输出层：最末下采样卷积层依次连接由1个下采样模块和1个密集连接模块DB组成得下采样输出层；其中每个下采样模块包含3×3深度可分离卷积层。每个DB模块由多个1×1卷积和3×3卷积顺序连接组成。
本发明使用编码器的过程主要为下采样过程，即通过卷积操作，提取图像数据浅层特征，生成高度抽象特征图；参照附图4，图4为本发明的密集连接模块DB结构示意图，这里对本发明编码器的DB模块做进一步的描述。具体地，本发明DUPnet网络提出一种改进DenseNet的DB模块，假设DB网络有L层，第l层将接受所有前置网络的输出特征图作为第l层的输入，通过建立不同层之间的连接关系来充分学习和利用特征，缓解梯度消失的问题，加强特征传播，以获得更清晰的分割。将第l层的输出表示xl为，则xl的定义为：
xl＝Hl({x0,x1,...,xl-1})
式中，Hl(*)代表是非线性转换函数，它是一个组合操作，包括一系列的BN，ReLU，Pooling及其Conv等操作。在本发明的DUPnet网络结构中，每个密集连接模块DB有4层包含4个1×1卷积、4个3×3卷积和4次特征融合。在每个3×3卷积之前引入1×1卷积，可以减少输入特征图的数量。DB的每一个卷积层后添加BN和ReLU层。
参照附图5，图5为本发明的DUPnet网络中编码器的下采样模块结构示意图，对本发明网络中编码器的下采样模块做进一步的描述。下采样模块包括1个1×1卷积层Conv、1个BN层、1个ReLu层和1个步长为2的3×3深度可分离卷积层。最大池化层的缺点是其导致得到特征图的空间分辨率降低，丢失特征信息，因此本发明下采样模块将原来的最大池化层替换为步长为2的3×3深度可分离卷积Sep Conv。
参照附图6，图6为本发明的编码器下采样模块中深度卷积结构、逐点卷积结构和深度可分离卷积结构示意图；其中，图6(a)为深度卷积结构示意图；图6(b)为逐点卷积结构示意图；图6(c)为深度可分离卷积结构示意图。本发明深度可分离卷积可分解为先进行深度卷积，然后再进行逐点卷积，从而大大降低了计算复杂度。具体来说，深度卷积针对每个输入通道独立执行空间卷积，而逐点卷积则用于组合深度卷积的输出，深度可分离卷积感受野更大，可以有效改善最大池化的缺点。
实施例4：
基于深度可分离卷积和跳跃连接的遥感影像水体提取方法同实施例1-3，本发步骤5所述设计并构建基于FASPP的卷积神经网络DUPnet，其中构建解码器包括有以下步骤：
5d)编码器的下采样输出层连接解码器的上采样输入层：编码器的下采样输出层连接由1个上采样模块组成的解码器的上采样输入层。
5e)解码器上采样输入层连接上采样卷积层：解码器上采样输入层依次连接多个上采样卷积层，每个上采样卷积层按照DB模块、上采样模块顺序连接组成，其中上采样模块使用反卷积。
5f)最末上采样卷积层连接分类输出层：最末上采样卷积层连接解码器的分类输出层，其中分类输出层由密集连接模块DB和分类层顺序连接组成，其中分类层包含多个3×3卷积。
本发明使用解码器过程主要为上采样过程，通过反卷积操作恢复特征空间分辨率特征，逐步恢复为与原始数据相同维度的特征图，其中，上采样模块使用反卷积，用来增加特征图的空间维度，主要用于：1)像素级分割，需要将图像尺寸恢复到原本的大小；2)可视化特征，通过反卷积将网络中间层输出的特征图还原到像素空间，观察特征图响应，卷积结果受到特征图响应影响。
实施例5：
基于深度可分离卷积和跳跃连接的遥感影像水体提取方法同实施例1-4，步骤5所述设计并构建基于FASPP的卷积神经网络DUPnet，其中构建跳跃连接步骤为：
5g)编码器和解码器连接跳跃连接传递特征：将解码器上采样结果与编码器下采样结果中具有相同分辨率的卷积层的输出进行跳跃连接，跳跃连接采用多个FASPP模块跳跃连接传输多尺寸特征，其中FASPP包含多个不同膨胀率的空洞卷积和1个池化层组成，池化层选择为平均池化。
本发明使用FASPP跳跃连接结构主要实现上、下采样过程中相同维度图像特征的融合过程，用以弥补采样过程所造成的特征损失。参照附图7，图7为本发明的DUPnet网络中FASPP模块结构示意图，对本发明网络中跳跃连接使用的FASPP模块做进一步的描述。DUPnet网络将ASPP模块作为跳跃链接，包括4个3×3的膨胀率Rate为1、6、9、12的空洞卷积和1个平均池化层Image Pooling，以此来增加感受野，每个膨胀率提取的特征在单独的分支中进一步处理，并融合生成结果，从而获得更加密集的特征数据，最终在图像分割任务中取得良好的效果。
本发明所构建设计的DUPnet网络的优点包括如下：
特征提取能力强：编码器和解码器主要采用DB模块，用来加强网络对图像语义特征的提取能力，获得高度抽象的特征图像。
特征细节损失小：跳跃链接FASPP模块，采用基于空洞卷积的特征空间金字塔池化FASPP，提高特征的利用率，弥补特征的损失。
特征图像感受野大：下采样模块，使用深度可分离卷积代替最大池化层，增加特征图的感受野，提高图像特征的鲁棒性。
实施例6：
基于深度可分离卷积和跳跃连接的遥感影像水体提取方法同实施例1-5，步骤6所述建立图像数据输入DUPnet网络的水体特征提取流程，包括有以下步骤：
6a)获取浅层特征：对于输入的训练集、验证集，经过DUPnet网络编码器的网络输入层、多个下采样卷积层，得到多个浅层特征。
6b)获取深层特征：浅层特征经过下采样输出层输入到解码器上采样输入层，得到深层特征。
6c)获取融合特征：深层特征与具有相同分辨率的浅层特征通过网络跳跃连接FASPP拼接，得到融合特征；将融合特征作为解码器下一个上采样卷积层的输入，再次得到深层特征；根据跳跃连接数量重复此步骤，直至得到的融合特征大小与输入图像尺寸大小一致。
6d)获取分割概率图：融合特征通过网络解码器的输出分类层得到分割概率图；其中，融合特征既包含多尺度高分辨特征又包含解码器部分层提取到的上采样输出特征，这使得网络的DUPnet像素定位更加准确，分割精度更高。
本发明使用的DUPnet网络为对称式结构，参照附图2，图2为本发明的DUPnet网络架构示意图，DUPnet网络为对称式结构分为上下两部分，上边编码器为特征提取部分，由一个编码器输入层、4个密集连接模块DB和4个下采样层Down交替连接组成；编码器通过卷积过程逐步提取特征，影像分辨率也逐渐降低。编码器的最末下采样层Down连接解码器的首个上采样层Up；下边解码器为上采样还原影像分辨率的过程，解码器使用4个DB模块和4个上采样层Up交替连接恢复特征，在上采样过程中，每上采样一次，就和特征提取部分对应相同分辨率进行拼接，通过结合下采样各层信息和上采样的输入信息来逐步还原影像细节信息，从而得到较高的精度。
实施例7：
基于深度可分离卷积和跳跃连接的遥感影像水体提取方法同实施例1-6，步骤7所述构建混合损失函数TCELoss和设置DUPnet训练参数获得最优网络，包括有以下步骤：
7a)构建混合损失函数：通过向Tversky指数损失函数和交叉熵损失函数Cross-Entropy Loss分别添加权重系数构建TCELoss混合损失函数，水体标签二值图数据和解码器输出的水体分割概率图数据分别用yt，yp表示；所构建的TCELoss公式如下：
TCEL＝αTL+(1-α)LBinary-CE
其中权重系数α为(0，1)之间，TL代表Tversky指数损失函数，LBinary-CE代表交叉熵损失函数Cross-Entropy Loss，TL和LBinary-CE公式如下，其中TL式中β为(0，1)之间：
Figure BDA0003729957560000131
LBinary-CE(yt,yp)＝-[(yt)log(yp)+(1-yt)log(1-yp)]
7b)设置DUPnet训练参数：设置迭代次数epoch为150；批次大小batch size为8；学习率设置poly学习策略，初始学习率为0.0001。
7c)得到最优DUPnet网络：参照附图1，使用TCELoss混合损失函数，根据设置DUPnet训练参数最小化由解码器分类输出层输出的训练集、验证集水体的分割概率图和水体标签二值图的差异，训练完成后，得到最优DUPnet网络；将待提取水体遥感图像使用最优DUPnet网络进行水体提取，可得到该图像的水体提取结果图。
交叉熵损失函数可以用在大多数语义分割任务中，但是当样本数据集类别严重不平衡时，最终模型的识别结果会更依赖于样本数量较多的类别，而对样本数量较少的类别识别识别性能较差。本发明使用的TCELoss混合损失函数允许网络在不平衡的数据集上平滑误差，解决训练样本中水体数量有限的问题，减少像素分类模糊造成的细节损失，提高水体提取精度。
本发明可用于从遥感影像中高质量提取分割水体，其实现步骤为：获取原始待提取遥感图像，对原始遥感影像进行图像校正、伪彩色合成和Brovey变换预处理，得到水体待提取的高分辨率遥感影像；将待提取的高分辨率遥感影像基于ENVI平台利用最大似然分类法提取高分辨率遥感影像其中的水体并制作水体标签；筛选并裁剪水体待提取的高分辨率遥感影像和高分辨遥感影像的水体标签图组成遥感影像水体数据集；对遥感影像水体数据集中所有图像进行图像增强，得到增强图像数据集，并划分该数据集为训练集、验证集和测试集；设计并构建基于FASPP的卷积神经网络DUPnet；建立图像数据输入DUPnet网络的水体特征提取流程；通过向Tversky指数损失函数和交叉熵损失函数Cross-Entropy Loss分别添加权重系数构建TCELoss混合损失函数，并设置DUPnet训练参数包括迭代次数、批次大小、学习率，得到最优DUPnet网络；将测试集输入最优DUPnet网络，最终由解码器的分类层输出测试集遥感影像水体分割概率图，再将分割概率图转化，得到原始待提取遥感图像的水体提取结果图。本发明能够较好的解决遥感水体标签制作成本高效率低问题，实现高分辨率遥感影像水体提取。
下面给出一个详细实施例，对本发明进一步说明。
实施例8：
基于深度可分离卷积和跳跃连接的遥感影像水体提取方法同实施例1-7，参照附图11，图11为本发明的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法的逻辑框图，包含两部分：最大似然法构建遥感水体数据集和基于深度学习的遥感影像水体提取，具体包括有如下步骤：
1)获取原始待提取遥感图像，预处理原始待提取遥感影像：对原始遥感影像进行预处理，首先，对原始遥感影像进行几何校正、大气校正和辐射校正，得到校正后的遥感影像；其次，对校正后的遥感影像进行伪彩色合成；对伪彩色合成影像进行Brovey变换，得到水体待提取的高分辨率遥感影像；本发明数据来自中国黄河中游不同城市的3景Landsat8OLI_TIRS影像。Landsat 8卫星每天可以产生大量的影像，每16天就更新一次。每扫描一次的覆盖区域约185km×185km，产生像素为7731×7871的图像。本发明采用的美国地质勘探局官网(USGS)遥感影像是Level1级别产品，Level 1产品是经过数据解构、均匀辐射校正、去噪、波段配准等操作的遥感影像。然后继续进行其他必要的预处理操作，例如辐射定标和大气校正；之后，对图像进行伪彩色合成，遥感影像选择波段NIR、SWIR1和Red，并分别为它们分配了红色、绿色和蓝色。参照附图8，图8为本发明的伪彩色合成结果示意图；其中，图8(a)为校正后的遥感影像；图8(b)为图8(a)对应的伪彩色合成结果图；伪彩色合成能更好地解释遥感影像，比真彩色更容易识别特征的类型和范围，也尽可能减少标注带来的误差。本发明对伪彩色合成影像(分辨率为30m)和高分辨率的Band8 PAN(分辨率为15m)进行Brovey变换，即RGB图像中的每一个波段都乘以高分辨率数据与RGB图像波段总和的比值,计算式为：
Figure BDA0003729957560000151
Figure BDA0003729957560000152
Figure BDA0003729957560000153
最后用双线性插值技术将3个RGB波段重采样到高分辨率像元尺寸，得到高分辨率的合成影像。
2)利用最大似然分类法得到水体标签图:将待提取的高分辨率遥感影像利用最大似然分类法提取高分辨率遥感影像其中的水体并制作水体标签，得到高分辨率遥感影像的水体标签图；本发明基于ENVI平台，使用最大似然法进行初步的水体提取，实施流程图参照附图4，本发明基于ENVI平台，利用最大似然分类法得到水体标签图，具体操作如下：首先选择遥感影像水体样本：在待提取高分辨率遥感影像上应用ROI Tool绘制水体区域并创建水体感兴趣区。其次，分类器选择，执行最大似然分类法，得到待提取高分辨率遥感影像的水体提取粗略结果，参照附图9，图9为本发明的基于ENVI平台的最大似然分类法提取遥感水体粗略结果示意图，最大似然分类法提取水体速度快，且效果好，大小型河流和一些湖泊等小水体都可以被提取出来。之后，人工修改错分像元，对于局部错分、漏分的像元，利用Interactive Class Tool进行手动精修，得到高分辨遥感影像的水体标签。
3)裁剪并筛选，组成遥感影像水体数据集：将水体待提取的高分辨率遥感影像和高分辨遥感影像的水体标签图分别裁剪为128×128的大小的图片，筛选裁剪后的图片中提取精度高的水体标签图和其对应的高分辨率遥感图像组成遥感影像水体数据集，并将该数据集按比例7:2:1划分为训练集、验证集和测试集；遥感影像中典型的几种水体类型主要有湖泊、大小型河流、水田等，水体的形态特征主要包括面状、长条状、聚集块状、密集网状等，故考虑到遥感影像水体数据集对于特征多样性的要求，在选择水体样本影像时需包含以上类型水体，以尽可能完备的构建遥感影像水体数据集，本发明遥感影像水体数据集包含7154张图像。
4)图像增强，得到增强图像数据集：对遥感影像水体数据集中所有图像进行图像增强，依次执行水平翻转、随机高斯模糊和标准化，得到增强图像数据集，并划分该数据集为训练集、验证集和测试集；本发明在模型训练之前进行数据增强，即增加训练样本，提高样本的多样性，提高训练模型的泛化性能。对遥感影像水体数据集中所有图像进行图像增强，依次执行水平翻转、随机高斯模糊和标准化，得到增强图像数据集。图像标准化公式如下所示：
Figure BDA0003729957560000161
Figure BDA0003729957560000162
Figure BDA0003729957560000163
图像标准化结果示意图参照附图(10)，图10为本发明图像标准化增强结果示意图；其中，图10(a)为遥感影像水体数据集中选取的一张待提取遥感水体影像；图10(b)为图10(a)对应的标准化增强结果图；图10(c)为图10(a)对应的标签图像。
5)设计并构建基于FASPP的卷积神经网络DUPnet：DUPnet网络包含编码器、解码器和跳跃连接三个部分；DUPnet的编码器采用多个密集连接模块DB和下采样模块，其中下采样模块使用深度可分离卷积；网络的解码器采用多个密集连接模块DB和上采样模块，其中上采样模块使用反卷积；编码器的最末下采样模块的通过密集连接模块DB连接到解码器的首个上采样模块；编码器和解码器之间通过多个基于特征空间金字塔池化的跳跃连接传递多尺度特征和空间信息，网络的输出即解码器的输出；本发明根据U-Net编码器-解码器网络，结合DenseNet密集连接(DB)模块和特征空间金字塔池(FASPP)模块，设计了一种基于FASPP的DUPnet网络。参照附图2，编码器由一个编码器输入层、4个密集连接模块DB和4个下采样层Down交替连接组成；编码器的最末下采样层Down连接解码器的首个上采样层Up；解码器使用4个DB模块和4个上采样层Up恢复特征。本发明将DUPnet编码器产生的4个遥感影像水体的浅层特征分别通过FASPP跳跃连接模块，得到4个多尺度特征。网络中的跳跃连接FASPP模块把编码阶段的浅层特征与多尺寸特征进行融合。
6)建立图像数据输入DUPnet网络的水体特征提取流程：将训练集、验证集所有图像输入DUPnet编码器，输出图像的浅层特征；浅层特征经过DUPnet解码器得到图像的深层特征，其与浅层特征通过FASPP跳跃连接获得的多尺度特征进行融合，得到融合特征；最终融合特征由DUPnet解码器分类层处理得到图像水体分割概率图；参照附图2，对于输入的训练集、验证集图像，首先经过编码器输入层，得到尺寸大小为128×128的浅层特征1，随后经过3个下采样卷积层后，得到浅层特征2，浅层特征3，浅层特征4，它们的尺寸大小分别为64×64，32×32，16×16，下采样会将特征尺寸减半。浅层特征4经过编码器下采样输出层得到8×8尺寸大小的特征；其次，将8×8的编码器输出特征通过解码器上采样输入层操作，尺寸大小翻倍，得到尺寸大小16×16的深层特征1；然后，深层特征1与16×16尺寸大小的浅层特征4通过FASPP的输出融合特征1，将融合特征1作为解码器下一个上采样卷积层的输入，得到32×32尺寸大小的深层特征2；之后，深层特征2与32×32大小的浅层特征3通过FASPP的输出融合特征2，根据跳跃连接数量重复此步骤，直至得到的融合特征大小与输入图像尺寸大小一致；融合特征1共经过3次上采样卷积层后，得到融合特征4。融合特征4通过解码器的分类输出层得到大小与输入图像相同的分割概率图。
7)构建混合损失函数TCELosss和设置DUPnet训练参数获得最优网络：通过向Tversky指数损失函数和交叉熵损失函数Cross-Entropy Loss分别添加权重系数构建TCELoss混合损失函数；设置DUPnet训练参数包括迭代次数、批次大小、学习率，得到最优DUPnet网络；首先，通过向Tversky指数损失函数和交叉熵损失函数Cross-Entropy Loss分别添加权重系数α为0.5构建混合损失函数TCELoss，水体标签二值图数据和解码器输出的水体分割概率图数据分别用yt，yp表示；所构建的TCELoss公式如下：
TCEL＝αTL+(1-α)LBinary-CE
其中，TL代表Tversky指数损失函数，LBinary-CE代表交叉熵损失函数Cross-EntropyLoss，TL和LBinary-CE公式如下，其中TL式中β为0.3：
Figure BDA0003729957560000171
LBinary-CE(yt,yp)＝-[(yt)log(yp)+(1-yt)log(1-yp)]
其次，设置DUPnet训练参数：设置迭代次数epoch为150；批次大小batch size为8；学习率设置poly学习策略，初始学习率为0.0001；然后，使用TCELoss混合损失函数，根据设置DUPnet训练参数最小化训练集、验证集水体的分割概率图和水体标签的差异，训练完成后，得到最优DUPnet网络。
8)得到水体提取结果图：将测试集输入最优DUPnet网络，由解码器的分类层输出测试集遥感影像水体分割概率图，再将分割概率图转化，得到原始待提取遥感图像的水体提取结果图。
下面通过实验和实验结果，对本发明实施效果进一步描述。
实施例9：
基于深度可分离卷积和跳跃连接的遥感影像水体提取方法同实施例1-8，实验条件：
本发明的利用最大似然分类法得到水体标签图过程中，使用软件ENVI5.6.1实现。本发明其余实验均由Windows10上的Python3.8和PyTorch1.9.0实现，由NVIDIA GeForceRTX 3070显卡运行。DUPnet网络采用RMSprop优化器和TCELoss混合损失函数，用于迭代获得最优网络。权重衰减和动量分别设置为5e-4和0.9。实验对DUPnet网络进行了150个epoch的训练，其中设置batch-size设置为8；初始学习率为0.001，使用poly策略对学习率进行动态调整。
实验结果分析：
为了综合评估本发明DUPnet网络的分割性能，本文选取了FCN、SegNet、U-Net、PSPNet和DeepLabV3+分割网络进行对比。所有分割网络采取相同的网络参数设置，分别对FCN、SegNet、U-Net、PSPNet和DeepLabV3+和DUPnet网络进行训练，并利用测试集对训练完成的网络性能进行测试。
本发明DUPnet与其他分割网络的精度评价对比参照表1，表1为本发明和其他分割网络提取遥感影像水体的精度评价，表1第2行至第7行分别为FCN、U-Net、Segnet、PSPNet、DeeplabV3+和DUPnet提取遥感影像水体的精度评价结果，可以看出本发明的DUPnet网络使用密集连接模块、上下文聚合和多尺度跳跃连接，这使它比其他方法具有明显优势，DUPnet在准确率、精确率、F1指数和IOU重叠度方面最高，分别为95.40％、97.15％、96.52％和84.72％。
表1本发明DUPnet和其他分割网络提取遥感影像水体的精度评价
Figure BDA0003729957560000191
为进一步直观地观察本发明DUPnet网络和其他分割网络的性能，本文进行定性比较。参照附图12，图12为本发明和其他分割网络提取遥感影像水体结果示意图，第1列Image为来自测试集中的4张图像，第2列Lable为第一列图像对应的标签图像，第3列至第8列分别为FCN、U-Net、Segnet、PSPNet、DeeplabV3+和本发明的DUPnet提取水体结果图，可以看出FCN、SegNet、PSPNet、DeeplabV3+区分建筑阴影最好，但是小水域的识别能力不强；本文所提出的方法提出的方法提取河流效果优于其他方法，具有完整而清晰的界限，同时识别出来更多的水体像素，并保留更多的水细节，对狭窄支流和点状水体的分割效果最好。
综上所述，本发明的一种基于深度可分离卷积和跳跃连接的遥感影像水体提取方法，解决了遥感影像水体提取过程中水体样本标注效率低，河流支流或小水体提取困难，提取方法适应性差，精度低等技术问题。实验步骤包括获取原始待提取遥感图像，预处理原始待提取遥感影像；利用最大似然分类法得到水体标签图；裁剪并筛选，组成遥感影像水体数据集；图像增强，得到增强图像数据集；设计并构建基于FASPP的卷积神经网络DUPnet；建立图像数据输入DUPnet网络的水体特征提取流程；构建混合损失函数TCELosss和设置DUPnet训练参数获得最优网络；得到水体提取结果图；本发明设计并构建基于FASPP的卷积神经网络DUPnet，在DUPnet网络中引入密集连接模块DB缓解梯度消失的问题，加强特征传播；在网络的编码器使用深度可分离卷积减少特征信息丢失；在网络的跳跃连接使用FASPP模块弥补采样过程所造成的特征损失；构建混合损失函数TCELoss改善遥感影像水体数据集中正负样本不平衡的问题，本发明用于从遥感影像中高质量提取水体，提高了制作遥感影像水体样本效率和水体分割精度。

Claims (7)

1.基于深度可分离卷积和跳跃连接的遥感影像水体提取方法，其特征在于，利用Brovey变换提高图像分辨率，通过最大似然分类法制作水体标签，利用标准化增强图像特征，利用一种混合损失函数优化DUPnet网络，使用DUPnet网络提取遥感影像水体；包括有如下步骤：
1)获取原始待提取遥感图像，预处理原始待提取遥感影像：对原始遥感影像进行预处理，首先，对原始遥感影像进行几何校正、大气校正和辐射校正，得到校正后的遥感影像；其次，对校正后的遥感影像进行伪彩色合成；对伪彩色合成影像进行Brovey变换，得到水体待提取的高分辨率遥感影像；
2)利用最大似然分类法得到水体标签图：利用最大似然分类法提取高分辨率遥感影像中的水体并制作水体标签，得到高分辨率遥感影像的水体标签图；
3)裁剪并筛选，组成遥感影像水体数据集：将水体待提取的高分辨率遥感影像和对应的高分辨遥感影像的水体标签图分别裁剪为128×128像素的大小的图片，筛选裁剪后的图片中提取精度高的水体标签图和其对应的高分辨率遥感图像组成遥感影像水体数据集，并划分该数据集为训练集、验证集和测试集；
4)图像增强，得到增强图像数据集：对遥感影像水体数据集中所有图像进行图像增强，依次执行水平翻转、随机高斯模糊和标准化，得到增强图像数据集；
5)设计并构建基于FASPP的卷积神经网络DUPnet：DUPnet网络包含编码器、解码器和跳跃连接三个部分；DUPnet的编码器采用多个密集连接模块DB和下采样模块，其中下采样模块使用深度可分离卷积；网络的解码器采用多个密集连接模块DB和上采样模块，其中上采样模块使用反卷积；编码器的最末下采样模块的通过密集连接模块DB连接到解码器的首个上采样模块；编码器和解码器之间通过多个基于特征空间金字塔池化的跳跃连接传递多尺度特征和空间信息，网络的输出即解码器的输出；
6)建立图像数据输入DUPnet网络的水体特征提取流程：将训练集、验证集所有图像输入DUPnet编码器，输出图像的浅层特征；浅层特征经过DUPnet解码器得到图像的深层特征，其与浅层特征通过FASPP跳跃连接获得的多尺度特征进行融合，得到融合特征；最终融合特征由DUPnet解码器分类层处理得到图像水体分割概率图；
7)构建混合损失函数TCELosss和设置DUPnet训练参数获得最优网络：通过向Tversky指数损失函数和交叉熵损失函数Cross-Entropy Loss分别添加权重系数构建TCELoss混合损失函数；设置DUPnet训练参数包括迭代次数、批次大小、学习率，得到最优DUPnet网络；
8)得到水体提取结果图：将测试集输入最优DUPnet网络，由解码器的分类层输出测试集遥感影像水体分割概率图，再将分割概率图转化，得到原始待提取遥感图像的水体提取结果图。
2.根据权利要求1所述的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法，其特征在于，步骤2所述的利用最大似然分类法得到水体标签图，具体是基于ENVI软件平台，利用最大似然分类法提取遥感影像水体，得到遥感影像水体分类结果，再将该图像转为二值图，得到水体标签图。
3.根据权利要求1所述的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法，其特征在于，步骤5所述设计并构建基于FASPP的卷积神经网络DUPnet，其中构建编码器包括有以下步骤：
5a)确定网络编码器的输入层：采用2个3×3卷积层Conv和1个密集连接模块DB依次连接作为编码器输入层；
5b)编码器输入层连接下采样卷积层：编码器输入层依次连接多个下采样卷积层，每个下采样卷积层由下采样模块、密集连接模块DB顺序连接组成；
5c)最末下采样卷积层连接下采样输出层：最末下采样卷积层依次连接由1个下采样模块和1个密集连接模块DB组成得下采样输出层；其中每个下采样模块包含3×3空洞可分离卷积层。每个DB模块由多个1×1卷积和3×3卷积顺序连接组成。
4.根据权利要求1所述的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法，其特征在于，步骤5所述设计并构建基于FASPP的卷积神经网络DUPnet，其中构建解码器包括有以下步骤：
5d)编码器的下采样输出层连接解码器的上采样输入层：编码器的下采样输出层连接由1个上采样模块组成的解码器的上采样输入层；
5e)解码器上采样输入层连接上采样卷积层：解码器上采样输入层依次连接多个上采样卷积层，每个上采样卷积层按照DB模块、上采样模块顺序连接组成，其中上采样模块使用反卷积；
5f)最末上采样卷积层连接分类输出层：最末上采样卷积层连接解码器的分类输出层，其中分类输出层由密集连接模块DB和分类层顺序连接组成，其中分类层包含多个3×3卷积。
5.根据权利要求1所述的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法，其特征在于，步骤5所述设计并构建基于FASPP的卷积神经网络DUPnet，其中构建跳跃连接步骤为：
5g)编码器和解码器连接跳跃连接传递特征：将解码器上采样结果与编码器下采样结果中具有相同分辨率的卷积层的输出进行跳跃连接，跳跃连接采用多个FASPP模块跳跃连接传输多尺寸特征，其中FASPP包含多个不同膨胀率的空洞卷积和1个池化层组成，池化层选择为平均池化。
6.根据权利要求1所述的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法，其特征在于，步骤6所述建立图像数据输入DUPnet网络的水体特征提取流程，包括有以下步骤：
6a)获取浅层特征：对于输入的训练集、验证集，经过DUPnet网络编码器的网络输入层、多个下采样卷积层，得到多个浅层特征；
6b)获取深层特征：浅层特征经过下采样输出层输入到解码器上采样输入层，得到深层特征；
6c)获取融合特征：深层特征与具有相同分辨率的浅层特征通过网络跳跃连接FASPP拼接，得到融合特征；将融合特征作为解码器下一个上采样卷积层的输入，再次得到深层特征；根据跳跃连接数量重复此步骤，直至得到的融合特征大小与输入图像尺寸大小一致；
6d)获取分割概率图：融合特征通过网络解码器的输出分类层得到分割概率图。
7.根据权利要求1所述的基于深度可分离卷积和跳跃连接的遥感影像水体提取方法，其特征在于，步骤7所述构建混合损失函数TCELoss和设置DUPnet训练参数获得最优网络，包括有以下步骤：
7a)构建混合损失函数：通过向Tversky指数损失函数和交叉熵损失函数Cross-Entropy Loss分别添加权重系数构建混合损失函数TCELoss，水体标签二值图数据和解码器输出的水体分割概率图数据分别用yt，yp表示；所构建的TCELoss公式如下：
TCEL＝αTL+(1-α)LBinary-CE
其中权重系数α为(0,1)之间，TL代表Tversky指数损失函数，LBinary-CE代表交叉熵损失函数Cross-Entropy Loss，TL和LBinary-CE公式如下：
Figure FDA0003729957550000041
LBinary-CE(yt,yp)＝-[(yt)log(yp)+(1-yt)log(1-yp)]
其中TL式中β为(0,1)之间；
7b)设置DUPnet训练参数：设置迭代次数epoch为150；批次大小batch size为8；学习率设置poly学习策略，初始学习率为0.0001；
7c)得到最优DUPnet网络：使用TCELoss混合损失函数，根据设置DUPnet训练参数最小化训练集、验证集水体的分割概率图和水体标签的差异，训练完成后，得到最优DUPnet网络；将待提取水体遥感图像使用最优DUPnet网络进行水体提取，可得到该图像的水体提取结果图。
CN202210790355.XA 2022-07-05 2022-07-05 基于深度可分离卷积和跳跃连接的遥感影像水体提取方法 Pending CN115131680A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210790355.XA CN115131680A (zh) 2022-07-05 2022-07-05 基于深度可分离卷积和跳跃连接的遥感影像水体提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210790355.XA CN115131680A (zh) 2022-07-05 2022-07-05 基于深度可分离卷积和跳跃连接的遥感影像水体提取方法

Publications (1)

Publication Number Publication Date
CN115131680A true CN115131680A (zh) 2022-09-30

Family

ID=83381209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210790355.XA Pending CN115131680A (zh) 2022-07-05 2022-07-05 基于深度可分离卷积和跳跃连接的遥感影像水体提取方法

Country Status (1)

Country Link
CN (1) CN115131680A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546652A (zh) * 2022-11-29 2022-12-30 城云科技（中国）有限公司 一种多时态目标检测模型及其构建方法、装置及应用
CN115797184A (zh) * 2023-02-09 2023-03-14 天地信息网络研究院(安徽)有限公司 一种基于遥感影像的水体超分辨率提取模型
CN116030063A (zh) * 2023-03-30 2023-04-28 同心智医科技(北京)有限公司 Mri图像的分类诊断系统、方法、电子设备及介质
CN117132902A (zh) * 2023-10-24 2023-11-28 四川省水利科学研究院 基于自监督学习算法的卫星遥感影像水体识别方法及系统
CN117274834A (zh) * 2023-11-22 2023-12-22 安徽大学 顾及光学特征多尺度融合的水体遥感提取方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546652A (zh) * 2022-11-29 2022-12-30 城云科技（中国）有限公司 一种多时态目标检测模型及其构建方法、装置及应用
CN115797184A (zh) * 2023-02-09 2023-03-14 天地信息网络研究院(安徽)有限公司 一种基于遥感影像的水体超分辨率提取模型
CN115797184B (zh) * 2023-02-09 2023-06-30 天地信息网络研究院(安徽)有限公司 一种地表水体超分辨率提取方法
CN116030063A (zh) * 2023-03-30 2023-04-28 同心智医科技(北京)有限公司 Mri图像的分类诊断系统、方法、电子设备及介质
CN116030063B (zh) * 2023-03-30 2023-07-04 同心智医科技(北京)有限公司 Mri图像的分类诊断系统、方法、电子设备及介质
CN117132902A (zh) * 2023-10-24 2023-11-28 四川省水利科学研究院 基于自监督学习算法的卫星遥感影像水体识别方法及系统
CN117132902B (zh) * 2023-10-24 2024-02-02 四川省水利科学研究院 基于自监督学习算法的卫星遥感影像水体识别方法及系统
CN117274834A (zh) * 2023-11-22 2023-12-22 安徽大学 顾及光学特征多尺度融合的水体遥感提取方法

Similar Documents

Publication Publication Date Title
CN115131680A (zh) 基于深度可分离卷积和跳跃连接的遥感影像水体提取方法
CN109871798B (zh) 一种基于卷积神经网络的遥感影像建筑物提取方法
CN115797931B (zh) 一种基于双分支特征融合的遥感图像语义分割方法及设备
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN112288647B (zh) 一种基于门控卷积的遥感影像云和阴影修复的方法
CN111259828B (zh) 基于高分辨率遥感图像多特征的识别方法
CN113807210A (zh) 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN112183258A (zh) 一种基于上下文信息和注意力机制的遥感图像道路分割方法
CN110084108A (zh) 基于gan神经网络的行人重识别系统及方法
CN111915592A (zh) 基于深度学习的遥感图像云检测方法
US20220358765A1 (en) Method for extracting oil storage tank based on high-spatial-resolution remote sensing image
CN117078943B (zh) 融合多尺度特征和双注意力机制的遥感影像道路分割方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN112818920B (zh) 一种双时相高光谱图像空谱联合变化检测方法
CN114973011A (zh) 一种基于深度学习的高分辨率遥感影像建筑物提取方法
CN116343053B (zh) 基于光学遥感影像和sar遥感影像融合的固废自动提取方法
CN115661655A (zh) 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN112560624A (zh) 基于模型深度集成的高分遥感影像语义分割方法
CN116958827A (zh) 一种基于深度学习的撂荒区域提取方法
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
CN111738052A (zh) 基于深度学习的多特征融合高光谱遥感地物分类方法
CN116704350B (zh) 基于高分辨遥感影像水域变化监测方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination