CN112949550B - 一种基于深度学习的水体识别方法、系统和介质 - Google Patents

一种基于深度学习的水体识别方法、系统和介质 Download PDF

Info

Publication number
CN112949550B
CN112949550B CN202110297122.1A CN202110297122A CN112949550B CN 112949550 B CN112949550 B CN 112949550B CN 202110297122 A CN202110297122 A CN 202110297122A CN 112949550 B CN112949550 B CN 112949550B
Authority
CN
China
Prior art keywords
water body
image
network model
data
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110297122.1A
Other languages
English (en)
Other versions
CN112949550A (zh
Inventor
吴樊
李娟娟
王超
张红
张波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202110297122.1A priority Critical patent/CN112949550B/zh
Publication of CN112949550A publication Critical patent/CN112949550A/zh
Application granted granted Critical
Publication of CN112949550B publication Critical patent/CN112949550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种基于深度学习的水体识别方法、系统和介质。其中所述方法包括：步骤S1、获取水体样本集，利用所述水体样本集中的图像通过训练来获取用于识别所述水体的网络模型，所述网络模型为U型全卷积神经网络模型，包括降采样卷积编码层和上采样卷积编码层，各个卷积编码层通过ResNet残差结构连接；步骤S2、接收待识别的水体图像，并对所述水体图像进行预处理，所述水体图像为中分辨率大区域SAR图像；以及步骤S3、利用所述网络模型对经预处理的水体图像进行识别。所述方法通过构建稳健的水体识别网络模型，从而实现高精度、自动化地水体识别和多时相监测。

Description

一种基于深度学习的水体识别方法、系统和介质
技术领域
本公开涉及图像处理领域，更具体地，涉及一种基于深度学习的水体识别方法、系统和介质。
背景技术
及时准确地进行水体大范围制图和动态监测对于水资源监测和防洪减灾具有重要意义。合成孔径雷达(Synthetic aperture radar,SAR)具有全天时、全天候、大范围周期性对地观测的特点，在大范围水体监测应用中起着关键作用。但是，大范围高效率和高精度的水体识别和动态监测依然存在一定挑战。
遥感的出现为洪水信息的获取提供了先进的技术手段。随着遥感数据源的增多，利用光学传感器数据获取地表水体信息的研究已有较多发展。但是，洪水期云雨天气限制了光学数据的有效性。合成孔径雷达数据具有全天时、全天候的数据可获取性，且水体在SAR图像中后向散射系数值较低，具有与其他地物明显的可分性，可用于应对复杂天气的水文监测挑战，实现对洪水扩张和消退的时间序列的近实时监测。
随着星载合成孔径雷达SAR技术的发展，大量星载雷达SAR数据，如ALOS PALSAR、COSMO-SkyMed、TerraSAR-X、Sentinel-1、GF-3等在水文信息监测方面具有广泛的应用。基于SAR数据进行水体范围提取的方法主要包括阈值法、监督分类和非监督分类法、面向对象技术、图像纹理算法、主动轮廓建模以及机器学习等方法。
传统方法基于SAR图像中水体的低散射回波与周围地物的高回波的对比。该方法存在的挑战主要有四个方面：一是城市内部水体提取，高层建筑产生的阴影很容易被分割为水体；二是在密集分布的植被下的水体，由于植被层的双重回波散射导致水体区域后向散射值较高，导致分类错误；三是不同时期湖水面积发生变化，水位下降湖泊表面的后向散射值不均匀，以及郊区水田呈现与水体相似的特征；四是山区水体提取方面，山体阴影呈现与水体相似的散射特征，不易与水体区分。针对上述挑战，很难设置一个合适的阈值，且阈值的设置受人为干预较多。
近年来，随着深度学习技术在SAR图像场景分类、目标识别、变化检测等领域取得显著成果，存在一些尝试将深度学习技术应用到SAR数据水体的自动提取中。例如选择城市洪涝区作为研究区，并使用多时相SAR数据开发主动的自学习方法训练CNN模型，其与单纯训练的分类器相比，表现出了更好的性能。又例如对FCN网络进行改进，实现GF-3SAR数据水体的自动和高精度提取。基于U-Net网络和XNet网络，利用阈值法提取的水体作为样本，节约了大量人工标注时间，并且获得了精确的制图结果,但是阈值法的设定受人为干预影响较大，且样本数据的人工清洗比较耗时。再例如由多尺度空间特征(MSF)提取、多级选择性注意网络(MLSAN)和改进策略三部分的端到端的SAR图像水体和阴影区域自动分类框架，实现了山区水体的精确提取。上述成果说明应用深度学习技术进行SAR数据进行洪水范围提取具有一定应用潜力。但是上述方法并没有在大区域范围多时相SAR数据进行算法的泛化性能的测试。
发明内容
本公开提供一种基于深度学习的水体识别方案，以解决上述技术问题。该方案针对水文快速监测需求，采用自动化的多时相水体快速检测框架。通过引用双峰阈值分割方法生成多时相水体样本集；将残差模块引入到U-Net模型，对于大范围SAR图像水体提取具有良好的效果，从而为洪水监测、抗洪救灾提供技术和决策支持。
本公开的第一方面提供了一种基于深度学习的水体识别方法，所述方法包括：步骤S1、获取水体样本集，利用所述水体样本集中的图像通过训练来获取用于识别所述水体的网络模型，所述网络模型为U型全卷积神经网络模型，包括降采样卷积编码层和上采样卷积编码层，各个卷积编码层通过ResNet残差结构连接；步骤S2、接收待识别的水体图像，并对所述水体图像进行预处理，所述水体图像为中分辨率大区域SAR图像；以及步骤S3、利用所述网络模型对经预处理的水体图像进行识别。
根据本公开第一方面的基于深度学习的水体识别方法，在所述步骤S1中，获取所述水体样本集具体包括：获取包含所述水体的原始图像，所述原始图像为中分辨率大区域SAR图像；对所述原始图像中的水体进行初提取，并通过结果矢量化和图像修正得到水体矢量图；以及将所述原始图像与所述水体矢量图进行空间匹配，以生成与所述原始图像对应的标签图像。
根据本公开第一方面的基于深度学习的水体识别方法，在所述步骤S1中，利用所述水体样本集中的图像通过训练来获取所述网络模型具体包括：获取所述水体样本集中的测试数据和训练数据；利用所述测试数据来训练所述网络模型，并利用所述训练数据来测试经训练的网络模型的分类性能；根据测试结果，通过最小化损失函数来优化所述网络模型。
根据本公开第一方面的基于深度学习的水体识别方法，所述最小化损失函数为Dice损失函数，优化所述网络模型包括：利用所述Dice损失函数计算数据重叠度，所述数据重叠度表征所述测试数据中经所述网络模型提取的水体图像与所述标签图像的相似度；基于所述数据重叠度来确定所述网络模型的参数，并通过调整所述参数来优化所述网络模型。
根据本公开第一方面的基于深度学习的水体识别方法，所述降采样卷积编码层用于提取所述原始图像的图像特征，所述图像特征包括多尺度纹理特征和高维语义特征；以及所述上采样卷积编码层用于基于所述图像特征，还原经降采样的特征图像，并提取其中的水体部分。
根据本公开第一方面的基于深度学习的水体识别方法，所述预处理包括：对所述水体图像进行辐射标定和几何修正。
本公开的第二方面提供了一种基于深度学习的水体识别系统，所述系统包括：网络模型获取单元，被配置为，获取水体样本集，利用所述水体样本集中的图像通过训练来获取用于识别所述水体的网络模型，所述网络模型为U型全卷积神经网络模型，包括降采样卷积编码层和上采样卷积编码层，各个卷积编码层通过ResNet残差结构连接；水体图像预处理单元，被配置为，接收待识别的水体图像，并对所述水体图像进行预处理，所述水体图像为中分辨率大区域SAR图像；以及水体图像识别单元，被配置为，利用所述网络模型对经预处理的水体图像进行识别。
根据本公开第二方面的基于深度学习的水体识别系统，所述网络模型获取单元具体被配置为，利用如下方式获取所述水体样本集：获取包含所述水体的原始图像，所述原始图像为中分辨率大区域SAR图像；对所述原始图像中的水体进行初提取，并通过结果矢量化和图像修正得到水体矢量图；以及将所述原始图像与所述水体矢量图进行空间匹配，以生成与所述原始图像对应的标签图像。
根据本公开第二方面的基于深度学习的水体识别系统，所述网络模型获取单元具体被配置为，利用如下方式来获取所述网络模型：获取所述水体样本集中的测试数据和训练数据；利用所述测试数据来训练所述网络模型，并利用所述训练数据来测试经训练的网络模型的分类性能；根据测试结果，通过最小化损失函数来优化所述网络模型。
根据本公开第二方面的基于深度学习的水体识别系统，最小化损失函数为Dice损失函数，优化所述网络模型包括：利用所述Dice损失函数计算数据重叠度，所述数据重叠度表征所述测试数据中经所述网络模型提取的水体图像与所述标签图像的相似度；基于所述数据重叠度来确定所述网络模型的参数，并通过调整所述参数来优化所述网络模型。
根据本公开第二方面的基于深度学习的水体识别系统，所述降采样卷积编码层用于提取所述原始图像的图像特征，所述图像特征包括多尺度纹理特征和高维语义特征；以及所述上采样卷积编码层用于基于所述图像特征，还原经降采样的特征图像，并提取其中的水体部分。根据本公开第二方面的基于深度学习的水体识别系统，所述预处理包括：对所述水体图像进行辐射标定和几何修正。
本公开的第三方面提供了一种存储有指令的非暂时性计算机可读介质，当所述指令由处理器执行时，执行根据本公开第一方面的基于深度学习的水体识别方法中的步骤。
综上，本公开提供的技术方案针对水文快速监测需求，采用自动化的多时相水体快速检测框架。通过引用双峰阈值分割方法生成多时相水体样本集；将残差模块引入到U-Net模型，对于大范围SAR图像水体提取具有良好的效果，从而为洪水监测、抗洪救灾提供技术和决策支持。
附图说明
在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
图1示出了根据本公开实施例的基于深度学习的水体识别方法的流程图；以及
图2a-2b示出了根据本公开实施例的具体示例中的切片图像；
图3a-3d示出了根据本公开实施例的具体示例中的水体提取结果；
图4示出了根据本公开实施例的具体示例中基于Sentinel-2数据提取的水体结果相关性的示意图；
图5示出了根据本公开实施例的具体示例中基于不同方法进行结果比对的示意图；
图6示出了根据本公开实施例的具体示例的另一应用的结果示意图；以及
图7示出了根据本公开实施例的基于深度学习的水体识别系统的结构图。
具体实施方式
为使本领域技术人员更好的理解本公开的技术方案，下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述，但不作为对本公开的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
本公开的第一方面提供了一种基于深度学习的水体识别方法。图1示出了根据本公开实施例的基于深度学习的水体识别方法的流程图，如图1所示，所述方法包括：步骤S1、获取水体样本集，利用所述水体样本集中的图像通过训练来获取用于识别所述水体的网络模型，所述网络模型为U型全卷积神经网络模型，包括降采样卷积编码层和上采样卷积编码层，各个卷积编码层通过ResNet残差结构连接；步骤S2、接收待识别的水体图像，并对所述水体图像进行预处理，所述水体图像为中分辨率大区域SAR图像；以及步骤S3、利用所述网络模型对经预处理的水体图像进行识别。
在步骤S1，获取水体样本集，利用所述水体样本集中的图像通过训练来获取用于识别所述水体的网络模型。
具体地所述网络模型为U型全卷积神经网络模型，包括降采样卷积编码层(编码器)和上采样卷积编码层(解码器)，各个卷积编码层通过ResNet残差结构连接。在一些实施例中，每一组卷积结构都由ResNet的残差连接设计，上一层的特征图被分为两个分支，分别进行多次卷积、批归一化操作，获取不同层次的特征，并在每组末尾的累积层(Add Layer)进行特征的融合。
具体地，在所述步骤S1中，获取所述水体样本集具体包括：获取包含所述水体的原始图像，所述原始图像为中分辨率大区域SAR图像；对所述原始图像中的水体进行初提取，并通过结果矢量化和图像修正得到水体矢量图；以及将所述原始图像与所述水体矢量图进行空间匹配，以生成与所述原始图像对应的标签图像。
在一些实施例中，水体在洪水前、洪水期、洪水后等不同时期在SAR图像中具有不同的表征，因此有必要设计多时相的水体样本集。对于水体位于于丘陵地区的区域，受山体阴影影响，导致非水体地物检测为水体，因此本发明将水体样本中加入一定比例的山区样本。本文中水体样本不依赖于手工制作，基于双峰阈值分割方法水体提取的工作生产样本初始数据。具体为：(1)基于预处理后数据利用双峰阈值分割方法的水体提取流程进行水体的初提取，获取二值图；(2)将水体提取结果在ArcGIS软件中进行栅格转矢量操作，再结合Google Earth图像进行数据清洗，进一步保证样本的精度；(3)将SAR图像与水体矢量图层进行空间匹配操作，最后将SAR图像和水体矢量图都转换为8bit的TIF数据，制作成SAR图像及对应的标签图像；(4)将SAR图像和标签图像制作成256x256大小的切片。在水体切片中加入部分山区样本切片，完成多时相水体样本集制作。
在所述步骤S1中，利用所述水体样本集中的图像通过训练来获取所述网络模型具体包括：获取所述水体样本集中的测试数据和训练数据；利用所述测试数据来训练所述网络模型，并利用所述训练数据来测试经训练的网络模型的分类性能；根据测试结果，通过最小化损失函数来优化所述网络模型。
在一些实施例中，其中训练数据和测试数据的数目为8727，大小为256x256像素，训练数据和测试数据的比例为8:2或者7:3。训练数据用于训练网络模型，测试数据用来测试训练好的网络模型的分类性能。
在一些实施例中，所述降采样卷积编码层用于提取所述原始图像的图像特征，所述图像特征包括多尺度纹理特征和高维语义特征；以及所述上采样卷积编码层用于基于所述图像特征，还原经降采样的特征图像，并提取其中的水体部分。
在一些实施例中，在网络模型的编码阶段，前3个残差卷积块可获取不同尺度的纹理特征，第4个残差卷积块获取512个高维语义特征图；在网络模型的解码阶段，3个残差卷积块通过不断地上采样操作实现像素级的水体区提取。为了更好地定位目标的位置和大小，3个编码部分的Add节点通过跳跃连接的方式将特征信息传递到对应的解码模块的位置，这个操作由连接层完成。最终，网络模型的输出端使用Softmax函数对上采样的特征图进行分类，并生成与输入图像等大小的二值提取结果。加入残差连接结构是因为在不断地下采样过程中，池化操作会随着层数加深而丢失掉大量的纹理细节，甚至部分小面积的目标结构信息。残差卷积块则可将上层的特征图经过一层非降维的卷积、归一化后等效传递到下一层卷积结构。如此以来，网络模型的深层卷积结构中就有效地保持了更多的图像细节信息；此外，残差连接结构还能有效地缓解训练阶段可能出现的梯度消失/爆炸等异常情况，保证网络训练在不同的数据样本分布下稳定、快速地收敛。
在一些实施例中，所述最小化损失函数为Dice损失函数，优化所述网络模型包括：利用所述Dice损失函数计算数据重叠度，所述数据重叠度表征所述测试数据中经所述网络模型提取的水体图像与所述标签图像的相似度；基于所述数据重叠度来确定所述网络模型的参数，并通过调整所述参数来优化所述网络模型。
具体地，本文选用Dice损失函数。Dice损失由dice系数计算得出，该系数最初用于度量二分类结果中两个样本的重叠部分。该指标的值域范围为[0,1]，其中“0”表示预测结果与真值没有重叠部分，“1”表示预测结果与真值完整的重叠。在二分类任务中，Dice系数的计算公式为：
Figure BDA0002984761600000071
其中A∩B表示检测结果与真值的交集，|A|和|B|分别表示网络分割结果A和真值B的像素个数。在实际算法设计和程序实现过程中，将使用检测结果图与真值标签的点乘结果近似代替A∩B，并将求和的结果作为|A∩B|。因此，从公式1可以看出，dice系数越高，则算法对前景目标的分割性能越好。基于此，Dice损失函数的计算方法可直接表示为：Ldice＝1-Dice。Dice系数可以很好地反映出算法预测结果与真实结果的近似度及空间重合度，它通常比较适用于样本极度不均的情况。
这种损失的计算方式不仅能有效地避免了类别间不均衡导致的训练问题，更符合图像像素级分割的提取形式。Dice损失函数主要用于解决水体样本中正负样本(正：水体样本，负：非水体样本)不均衡分布问题。不均衡分布是因为水体的面积不同，导致256x256像素大小中水体像素和非水体像素的占比不均衡，导致网络不能充分学习面积较小水体的特征。
替换传统的交叉熵损失函数(Cross Entropy,CE)为Dice损失(Dice Loss,DL)，主要因为SAR图像中水体区域与其他地物间像素存在占比非均衡的现象。由于二值交叉熵损失函数中不同类别的权值相等，当其他类别的像素占比远大于水体区类别时，会使得模型的整体学习方向跑偏，导致无效学习，即只能分辨出是否有其他类别的出现，而无法分辨具体的水体区。DL损失来源于Dice系数，该系数通过度量真值和预测值两个集合的重叠度来计算提取结果与真实样本标签的相似度。这种损失的计算方式不仅能有效地避免了类别间不均衡导致的训练问题，更符合图像像素级分割的提取形式。
在步骤S2，接收待识别的水体图像，并对所述水体图像进行预处理，所述水体图像为中分辨率大区域SAR图像。具体地，所述预处理包括：对所述水体图像进行辐射标定和几何修正。在一些实施例中，对于Sentinel-1数据，利用SNAP软件对所获取的数据进行辐射标定，并对数据进行几何纠正。
在步骤S3，利用所述网络模型对所述水体图像进行识别。
在一些实施例中，对于上述识别结果还可以进行精度评价。精度评价包括两部分：(1)使用与实验数据相近日期的Sentinel-2图像提取水体结果，对本方法的水体提取结果进行精度评价。(2)基于与其他方法进行比较评价分析。精度评价的指标基于分类混淆矩阵计算，包括错分误差(Commission error，CE)、漏分误差(omission error，OE)、kappa系数、总体精度(overall accuracy，OA)。计算公式如下：
Figure BDA0002984761600000081
Figure BDA0002984761600000082
其中，TP(True positive)表示分类器识别正确，该样本为正样本，分类器也将其判定为正样本；FP(False positive)表示分类器识别结果错误，分类器认为该样本是正样本，实际上该样本是负样本；FN(False negative)表示分类器识别结果错误，分类器认为该样本是负样本，实际上该样本是正样本。
Figure BDA0002984761600000091
Figure BDA0002984761600000092
N为样本总个数；真值属于j类的样本总数为：
Figure BDA0002984761600000093
k为所有的类别数，本文中k＝2；被分类为样本i类的样本总数为：
Figure BDA0002984761600000094
具体示例
使用的主要实验数据为欧空局发布的Sentinel-1SAR数据，辅助数据为Sentinel-2光学数据。Sentinel-2数据提取水域结果作为真实数据对SAR图像水体提取结果进行评价。数据的详细信息如表1所示：
Figure BDA0002984761600000095
表1：实验数据基本信息
在模型训练阶段，获取了其他区域包含水体的Sentinel-1数据，利用前述方法，得到水体的二值标签图像(255为水体；0为非水体)。将二值标签图像进行切片，切片大小为256x256。利用获得的切片图像集对模型进行训练。获取了共8727个样本。对模型进行训练阶段，将其分为训练数据和验证数据，训练数据和验证数据的比例为8:2。图2a-2b示出了根据本公开实施例的具体示例中的切片图像；对于图2a和图2b，第一行为原始样本SAR图像，第二行为对应的标签图像。
结果分析与评价
获取洞庭湖2020年11月份Sentinel-2光学图像，其水体提取结果作为真实数据对结果进行评价。7月份由于多云雨天气，无法获取无云有效的光学图像，对7月SAR图像进行专家解译，得到水体分布范围作为真实数据对结果进行评价。Sentinel-2水体提取基于经典的改进的归一化水体指数方法，通过调整合适阈值进行水体提取，并结合高分辨率图像结合专家解译对结果进行完善和确认。
图3a-3d示出了根据本公开实施例的具体示例中的水体提取结果；其中图3a为2020年11月的Sentinel-2光学图像，图3b为Sentinel-1SAR图像，图3c为Sentinel-2图像水体提取结果，图3d为Sentinel-1图像水体提取结果。可见，基于本文方法提取的水体与基于光学数据提取的水体结果具有高度一致性。
图4示出了根据本公开实施例的具体示例中基于Sentinel-2数据提取的水体结果相关性的示意图。具体地，对提取结果进行定量评价，计算本文方法提取结果与Sentinel-2提取结果的Pearson相关系数。以两者共同分布的范围建立1kmx1km大小的格网，计算每个格网中两种水体结果的面积，再进行相关性的判断，从图4中的结果可以看出本文方法的结果与基于Sentinel-2数据获取的真实水体范围具有高度正相关性，再计算Pearson相关系数，最后求得Pearson相关系数为0.9741。这证明了基于本文方法提取的水体与基于光学数据提取的水体结果具有高度一致性。
不同方法的比对
图5示出了根据本公开实施例的具体示例中基于不同方法进行结果比对的示意图。利用两个时相的洞庭湖SAR图像，将本方法结果与U-Net方法的结果相比较，结果如图5所示。2020年7月份长江中下游发生洪水，洞庭湖水位上涨，湖水面积变大。随着降雨减少，2020年11月份湖水面积趋于稳定，从图5中的SAR图像中可以看出，洞庭湖两个时期SAR图像中水体范围变化较大。使用相同样本量、相同模型参数、相同环境训练和测试两个网络模型。从结果图像看，两种方法的检测结果具有类似的结果，但是从细节上看，本文方法对小尺度河流的检测更加完整。
为进一步定量评价本文方法的检测性能，基于同一Ground Truth数据对两种方法的检测结果进行评价，结果如表2所示：
Figure BDA0002984761600000111
表2：水体提取结果精度比较
从表2可以看出，本文方法的整体检测精度最高，在92％以上。但是本文方法也存在部分漏检和误检，如2020年11月15日洞庭湖的水体提取漏检率达到了3.10％。产生漏检的主要原因一方面是冬季湖水水位较低，河岸部分淤泥在SAR图像中后向散射系数值较高，另一方面是小尺度水流，水体在SAR图像中散射特征不明显，导致提取的完整度的不高。误检的主要原因是洪水期，降水导致部分水稻田积水较多，在SAR图像中表现出于水体相似的特征，网络将其提取为水体。整体来看，本文方法很好的检测到不同时相的水体，说明本文方法在水体快速精准检测应用方面具有良好的潜力。
方法应用
图6示出了根据本公开实施例的具体示例的另一应用的结果示意图。利用SAR数据对2020年7月淮河王家坝闸开启关闭前后蒙洼蓄洪区洪水水域变化开展了监测工作。获取了覆盖蓄洪区7月15日、7月20日、7月21日、7月26日SAR数据，对该区域进行处理，获取了各个时间点的水体分布图。通过与7月15日水体分布比较，可以看到随着王家坝闸的开闭，该区域水体面积的变化。得到的结果对洪水的发展过程能进行很好的监测，可以为防洪减灾提供决策支持。
综上，本公开的第一方面提出了一种基于深度学习的水体识别方法，其基于深度学习的中分辨率SAR图像大区域水体提取框架，实现无手工标记样本制作，水体快速和准确提取。使用双峰阈值分割方法进行水体样本的制作，节约了大量的人工标注时间。将残差模块引入U-Net网络，网络结构简单易行，实现了SAR图像中水体的快速和准确提取，提取精度在92％以上。上述结论表明，基于双峰阈值方法进行水体样本的自动化制作，结合深度学习方法可以实现大区域水体的智能化快速监测，对水文监测、防洪减灾以及政策制定具有重要参考价值。
本公开的第二方面提供了一种基于深度学习的水体识别系统，所述系统700包括：网络模型获取单元701，被配置为，获取水体样本集，利用所述水体样本集中的图像通过训练来获取用于识别所述水体的网络模型，所述网络模型为U型全卷积神经网络模型，包括降采样卷积编码层和上采样卷积编码层，各个卷积编码层通过ResNet残差结构连接；水体图像预处理单元702，被配置为，接收待识别的水体图像，并对所述水体图像进行预处理，所述水体图像为中分辨率大区域SAR图像；以及水体图像识别单元703，被配置为，利用所述网络模型对经预处理的水体图像进行识别。
根据本公开第二方面的基于深度学习的水体识别系统，所述网络模型获取单元701具体被配置为，利用如下方式获取所述水体样本集：获取包含所述水体的原始图像，所述原始图像为中分辨率大区域SAR图像；对所述原始图像中的水体进行初提取，并通过结果矢量化和图像修正得到水体矢量图；以及将所述原始图像与所述水体矢量图进行空间匹配，以生成与所述原始图像对应的标签图像。
根据本公开第二方面的基于深度学习的水体识别系统，所述网络模型获取单元具体701被配置为，利用如下方式来获取所述网络模型：获取所述水体样本集中的测试数据和训练数据；利用所述测试数据来训练所述网络模型，并利用所述训练数据来测试经训练的网络模型的分类性能；根据测试结果，通过最小化损失函数来优化所述网络模型。
根据本公开第二方面的基于深度学习的水体识别系统，所述最小化损失函数为Dice损失函数，优化所述网络模型包括：利用所述Dice损失函数计算数据重叠度，所述数据重叠度表征所述测试数据中经所述网络模型提取的水体图像与所述标签图像的相似度；基于所述数据重叠度来确定所述网络模型的参数，并通过调整所述参数来优化所述网络模型。
根据本公开第二方面的基于深度学习的水体识别系统，所述降采样卷积编码层用于提取所述原始图像的图像特征，所述图像特征包括多尺度纹理特征和高维语义特征；以及所述上采样卷积编码层用于基于所述图像特征，还原经降采样的特征图像，并提取其中的水体部分。
根据本公开第二方面的基于深度学习的水体识别系统，所述预处理包括：对所述水体图像进行辐射标定和几何修正。
本公开的第三方面提供了一种存储有指令的非暂时性计算机可读介质，当所述指令由处理器执行时，执行根据本公开第一方面的基于深度学习的水体识别方法中的步骤。
综上，本公开提供的技术方案针对水文快速监测需求，采用自动化的多时相水体快速检测框架。通过引用双峰阈值分割方法生成多时相水体样本集；将残差模块引入到U-Net模型，对于大范围SAR图像水体提取具有良好的效果，从而为洪水监测、抗洪救灾提供技术和决策支持。
注意，根据本公开的各个实施例中的各个单元或模块，可以实现为存储在存储器上的计算机可执行指令，由处理器执行时可以实现相应的步骤；也可以实现为具有相应逻辑计算能力的硬件；也可以实现为软件和硬件的组合(固件)。在一些实施例中，处理器可以实现为FPGA、ASIC、DSP芯片、SOC(片上系统)、MPU(例如但不限于Cortex)、等中的任何一种。处理器可以通信地耦合到存储器并且被配置为执行存储在其中的计算机可执行指令。存储器可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如，闪存、静态随机存取存储器)等，其上以任何格式存储计算机可执行指令。计算机可执行指令可以被处理器访问，从ROM或者任何其他合适的存储位置读取，并加载到RAM中供处理器执行。
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

Claims (6)

1.一种基于深度学习的水体识别方法，其特征在于，所述方法包括：
步骤S1、获取水体样本集，利用所述水体样本集中的图像通过训练来获取用于识别所述水体的网络模型，所述网络模型为U型全卷积神经网络模型，包括降采样卷积编码层和上采样卷积编码层，各个卷积编码层通过ResNet残差结构连接；
步骤S2、接收待识别的水体图像，并对所述水体图像进行预处理，所述水体图像为中分辨率大区域SAR图像；以及
步骤S3、利用所述网络模型对经预处理的水体图像进行识别；
在所述步骤S1中，获取所述水体样本集具体包括：
获取包含所述水体的原始图像，所述原始图像为中分辨率大区域SAR图像；
对所述原始图像中的水体进行初提取，并通过结果矢量化和图像修正得到水体矢量图；
以及将所述原始图像与所述水体矢量图进行空间匹配，以生成与所述原始图像对应的标签图像，将所述SAR图像和所述标签图像制作成切片；
所述水体样本中加入一定比例的山区样本；
所述降采样卷积编码层用于提取所述原始图像的图像特征，所述图像特征包括多尺度纹理特征和高维语义特征；以及
所述上采样卷积编码层用于基于所述图像特征，还原经降采样的特征图像，并提取其中的水体部分；
在网络模型的编码阶段，前3个残差卷积块可获取不同尺度的纹理特征，第4个残差卷积块获取512个高维语义特征图；在网络模型的解码阶段，3个残差卷积块通过不断地上采样操作实现像素级的水体区提取；3个编码部分的Add节点通过跳跃连接的方式将特征信息传递到对应的解码模块的位置，这个操作由连接层完成；网络模型的输出端使用Softmax函数对上采样的特征图进行分类，并生成与输入图像等大小的二值提取结果。
2.根据权利要求1所述的基于深度学习的水体识别方法，其特征在于，在所述步骤S1中，利用所述水体样本集中的图像通过训练来获取所述网络模型具体包括：
获取所述水体样本集中的测试数据和训练数据；
利用所述测试数据来训练所述网络模型，并利用所述训练数据来测试经训练的网络模型的分类性能；
根据测试结果，通过最小化损失函数来优化所述网络模型；
其中，所述最小化损失函数为Dice损失函数，优化所述网络模型包括：
利用所述Dice损失函数计算数据重叠度，所述数据重叠度表征所述测试数据中经所述网络模型提取的水体图像与所述标签图像的相似度；
基于所述数据重叠度来确定所述网络模型的参数，并通过调整所述参数来优化所述网络模型。
3.根据权利要求1所述的基于深度学习的水体识别方法，其特征在于，所述预处理包括：对所述水体图像进行辐射标定和几何修正。
4.一种基于深度学习的水体识别系统，其特征在于，所述系统包括：
网络模型获取单元，被配置为，获取水体样本集，利用所述水体样本集中的图像通过训练来获取用于识别所述水体的网络模型，所述网络模型为U型全卷积神经网络模型，包括降采样卷积编码层和上采样卷积编码层，各个卷积编码层通过ResNet残差结构连接；
水体图像预处理单元，被配置为，接收待识别的水体图像，并对所述水体图像进行预处理，所述水体图像为中分辨率大区域SAR图像；以及
水体图像识别单元，被配置为，利用所述网络模型对经预处理的水体图像进行识别；
其中所述网络模型获取单元具体被配置为，利用如下方式获取所述水体样本集：
获取包含所述水体的原始图像，所述原始图像为中分辨率大区域SAR图像；对所述原始图像中的水体进行初提取，并通过结果矢量化和图像修正得到水体矢量图；以及
将所述原始图像与所述水体矢量图进行空间匹配，以生成与所述原始图像对应的标签图像，将所述SAR图像和所述标签图像制作成切片；
所述水体样本中加入一定比例的山区样本；
其中：
所述降采样卷积编码层用于提取所述原始图像的图像特征，所述图像特征包括多尺度纹理特征和高维语义特征；以及
所述上采样卷积编码层用于基于所述图像特征，还原经降采样的特征图像，并提取其中的水体部分；
在网络模型的编码阶段，前3个残差卷积块可获取不同尺度的纹理特征，第4个残差卷积块获取512个高维语义特征图；在网络模型的解码阶段，3个残差卷积块通过不断地上采样操作实现像素级的水体区提取；3个编码部分的Add节点通过跳跃连接的方式将特征信息传递到对应的解码模块的位置，这个操作由连接层完成；网络模型的输出端使用Softmax函数对上采样的特征图进行分类，并生成与输入图像等大小的二值提取结果。
5.根据权利要求4所述的基于深度学习的水体识别系统，其特征在于，
其中所述网络模型获取单元具体被配置为，利用如下方式来获取所述网络模型：
获取所述水体样本集中的测试数据和训练数据；
利用所述测试数据来训练所述网络模型，并利用所述训练数据来测试经训练的网络模型的分类性能；
根据测试结果，通过最小化损失函数来优化所述网络模型；
其中，所述最小化损失函数为Dice损失函数，优化所述网络模型包括：
利用所述Dice损失函数计算数据重叠度，所述数据重叠度表征所述测试数据中经所述网络模型提取的水体图像与所述标签图像的相似度；
基于所述数据重叠度来确定所述网络模型的参数，并通过调整所述参数来优化所述网络模型。
6.一种存储有指令的非暂时性计算机可读介质，其特征在于，当所述指令由处理器执行时，执行根据权利要求1-3任一项所述的基于深度学习的水体识别方法中的步骤。
CN202110297122.1A 2021-03-19 2021-03-19 一种基于深度学习的水体识别方法、系统和介质 Active CN112949550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110297122.1A CN112949550B (zh) 2021-03-19 2021-03-19 一种基于深度学习的水体识别方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110297122.1A CN112949550B (zh) 2021-03-19 2021-03-19 一种基于深度学习的水体识别方法、系统和介质

Publications (2)

Publication Number Publication Date
CN112949550A CN112949550A (zh) 2021-06-11
CN112949550B true CN112949550B (zh) 2022-04-15

Family

ID=76227293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110297122.1A Active CN112949550B (zh) 2021-03-19 2021-03-19 一种基于深度学习的水体识别方法、系统和介质

Country Status (1)

Country Link
CN (1) CN112949550B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049551B (zh) * 2021-10-22 2022-08-05 南京航空航天大学 一种基于ResNet18的SAR原始数据目标识别方法
CN114032986B (zh) * 2021-10-26 2022-06-28 中国水利水电科学研究院 一种库区河道系统的治理方法及其治理系统
CN114202746B (zh) * 2021-11-10 2024-04-12 深圳先进技术研究院 路面状态识别方法、装置、终端设备及存储介质
CN115019168B (zh) * 2022-05-30 2024-04-26 杭州电子科技大学 基于混合注意力网络的sar图像水体提取方法及系统
CN115063411A (zh) * 2022-08-04 2022-09-16 湖南自兴智慧医疗科技有限公司 一种染色体异常区域分割检测方法和系统
CN117787511B (zh) * 2024-02-28 2024-05-10 福州工小四物联科技有限公司 一种工厂化高密度水产养殖监测预警方法及其系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059538B (zh) * 2019-02-27 2021-07-09 成都数之联科技有限公司 一种基于深度密集神经网络的水体识别方法
US11170504B2 (en) * 2019-05-02 2021-11-09 Keyamed Na, Inc. Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network
CN111914686B (zh) * 2020-07-15 2022-10-18 云南电网有限责任公司带电作业分公司 基于周域关联和模式识别的sar遥感图像水域提取方法、装置及系统
CN112183432B (zh) * 2020-10-12 2022-04-15 中国科学院空天信息创新研究院 一种基于中分辨率sar图像的建筑区提取方法以及系统

Also Published As

Publication number Publication date
CN112949550A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112949550B (zh) 一种基于深度学习的水体识别方法、系统和介质
CN111160276B (zh) 基于遥感影像的u型空洞全卷积分割网络识别模型
CN110705457B (zh) 一种遥感影像建筑物变化检测方法
CN113298818B (zh) 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
CN112183432B (zh) 一种基于中分辨率sar图像的建筑区提取方法以及系统
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
WO2017071160A1 (zh) 一种大幅面遥感图像海陆分割的方法及系统
CN113496104B (zh) 基于深度学习的降水预报订正方法及系统
CN113065578B (zh) 一种基于双路区域注意力编解码的图像视觉语义分割方法
CN111274918B (zh) 基于多源遥感影像的河流干涸断流监测方法和装置
CN111160268A (zh) 一种基于多任务学习的多角度sar目标识别方法
CN108447057A (zh) 基于显著性和深度卷积网络的sar图像变化检测方法
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
WO2023099665A1 (en) Method for near real-time flood detection at large scale in a geographical region covering both urban areas and rural areas and associated computer program product
CN115937707A (zh) 基于多尺度残差注意力模型的sar影像水体提取方法
CN117233869B (zh) 一种基于GRU-BiTCN的站点短期风速预测方法
Chen et al. A novel lightweight bilateral segmentation network for detecting oil spills on the sea surface
CN113591608A (zh) 一种基于深度学习的高分辨率遥感影像不透水面提取方法
Cui et al. Double-branch local context feature extraction network for hyperspectral image classification
Peng et al. Reconstruction of optical image time series with unequal lengths SAR based on improved sequence–sequence model
CN109753896A (zh) 一种基于共性自动编码器的无监督异源遥感图像变化检测方法
CN114419443A (zh) 一种遥感影像耕地地块自动提取方法及系统
Luo et al. Deep Fusion of Spectral–Spatial Priors for Cropland Segmentation in Remote Sensing Images
CN117315497B (zh) 一种大范围河湖总磷含量遥感产品生成方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant