CN113537177A - 一种基于视觉Transformer的洪涝灾害监测与灾情分析方法 - Google Patents

一种基于视觉Transformer的洪涝灾害监测与灾情分析方法 Download PDF

Info

Publication number
CN113537177A
CN113537177A CN202111087346.6A CN202111087346A CN113537177A CN 113537177 A CN113537177 A CN 113537177A CN 202111087346 A CN202111087346 A CN 202111087346A CN 113537177 A CN113537177 A CN 113537177A
Authority
CN
China
Prior art keywords
double
flood
time
disaster
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111087346.6A
Other languages
English (en)
Other versions
CN113537177B (zh
Inventor
董臻
王国杰
王艳君
姜彤
苏布达
冯爱青
缪丽娟
路明月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202111087346.6A priority Critical patent/CN113537177B/zh
Publication of CN113537177A publication Critical patent/CN113537177A/zh
Application granted granted Critical
Publication of CN113537177B publication Critical patent/CN113537177B/zh
Priority to US17/857,147 priority patent/US11521379B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉Transformer的洪涝灾害监测与灾情分析，包括步骤：（1）构建基于视觉Transformer的双时相图像变化检测模型；（2）选取双时相遥感影像，制作洪涝灾害标签；（3）根据步骤（1）构建的双时相图像变化检测模型，进行洪涝监测与灾情分析。本发明结合深度学习中基于先进视觉Transformer的双时相图像变化检测模型和不受时间、天气影响且穿透能力强的雷达数据，能获取洪涝发生时的数据和提高识别精度。

Description

一种基于视觉Transformer的洪涝灾害监测与灾情分析方法
技术领域
本发明涉及洪涝灾害监测与灾情分析方法，尤其涉及一种基于视觉Transformer的洪涝灾害监测与灾情分析方法。
背景技术
我国自然灾害频发，其中洪水发生最为频繁。洪涝灾害极具有破坏性，对生态环境、人类生命和财产构成巨大威胁。洪涝具有范围广、发生频繁、突发性强和损失大等特点。洪水爆发造成大面积区域淹没是动态变化的，对洪涝区域进行实时监测十分重要。基于3S技术及其相互配合，是监测洪涝灾害的主要手段。洪水淹没面积是进行灾害评估的基础，它依赖于及时有效的数据。随着遥感技术的迅速发展，有大量的卫星数据可用于监测洪水。传统的水体识别的研究工作主要依赖于水体在遥感影像中与其他地表物体之间反映强度的不同来提取水体信息，其中应用最为广泛的就是Mcfeeters提出的归一化水体指数（NDWI）。近年来深度学习技术发展迅速，且在各行各业中广泛应用。与传统特征提取方法不同，深度学习模型能在大量样本中自适应学习特征，具有普适性和灵活性等优点。尤其对于洪涝发生前后灾区地表覆盖极具变化的情况，深度学习算法能够迅速且高效的识别出洪涝面积。然而目前上述技术中仍存在以下缺点使得监测洪涝还具挑战性：1、传统遥感洪涝监测方法精确度不高，很难超过90%，且受限于可用数据等因素；2、基于CNN的语义分割网络常被应用在遥感图像变化检测与目标识别等任务中，但是对于较长范围的时空信息就显得差强人意。
鉴于目前利用遥感技术进行洪涝监测主要依赖于指数法、阈值分割和机器学习等算法，这些方法简单，容易受限于影像质量、地形和人为干预等因素的影响，很难达到精准高效的监测洪涝；此外由于洪涝发生时常伴随着云雨，光学卫星透过云雾捕捉到很多有用的水体信息，无法避免的是缺乏可用的数据进行洪涝监测。
发明内容
发明目的：为解决上述技术问题，本发明提供了一种基于视觉Transformer的洪涝灾害监测与灾情分析方法。
技术方案：本发明的洪涝灾害监测与灾情分析，包括步骤：
（1）构建双时相图像变化检测模型；所述双时相图像变化检测模型由CNN框架、语义标记器和Transformer模块组成，Transformer模块包括编码器和解码器；
（2）选取双时相遥感影像，制作洪涝灾害标签；
（3）根据步骤（1）构建的双时相图像变化检测模型，进行洪涝监测与灾情分析。
进一步，所述步骤（1）的实现过程如下：
（11）语义特征提取
先采用CNN框架进行特征提取，获取双时相遥感影像中的变化水体特征
Figure 559784DEST_PATH_IMAGE001
；
然后用空间注意力机制
Figure 699779DEST_PATH_IMAGE002
对变化水体特征
Figure 653697DEST_PATH_IMAGE001
进行处理，得到双时相特征集
Figure 992274DEST_PATH_IMAGE003
：
Figure 491389DEST_PATH_IMAGE004
其中，i为遥感影像时相顺序，
Figure 603833DEST_PATH_IMAGE005
；T为转置操作；
最后，将双时相特征集
Figure 846595DEST_PATH_IMAGE006
输入到Transformer模块中；
（12）Transformer编码
将步骤（11）中得到的双时相特征集
Figure 242941DEST_PATH_IMAGE006
进行编码，以构建具有时空关系的丰富语义 特征集
Figure 912957DEST_PATH_IMAGE007
；其中，注意力机制Attention和softmax激活函数的关系为：
Figure 799181DEST_PATH_IMAGE008
其中，注意力机制是由Q、K、V三个控制特征权重的功能键组成；
Figure 580055DEST_PATH_IMAGE009
为网络的层数，
Figure 96487DEST_PATH_IMAGE010
分别为学习参数，d为通道的尺寸；
（13）Transformer解码
将步骤（12）编码得到的丰富语义特征集
Figure 688136DEST_PATH_IMAGE007
，在像素空间上通过解码器优化变化 水体特征
Figure 86757DEST_PATH_IMAGE001
，以得到优化后的变化水体特征
Figure 671322DEST_PATH_IMAGE011
；然后通过浅层CNN计算特征差异图像，得 到像素级的预测结果。
进一步，所述步骤（2）中，选取广空间范围、长时间尺度的双时相遥感影像对来制作泛化性强的洪涝灾害标签，实现步过程如下：
（21）先对包含往年汛期前后的水体的双时相遥感影像对进行辐射定标、几何校正、对数转换的预处理工作；
（22）使用图片标记工具对双时相遥感影像进行标记；利用图片处理软件将汛期后较汛期前变化的水体部分和未变化的水体部分分别作区分标记，最终获得与原图同样大小的水体变化真值图；
（23）将完成标记的双时相遥感影像切割成可输入模型的样本集；对所述样本集进行筛选，将样本集中完全无水体变化的样本删除；将筛选后的样本集分为训练集、验证集和测试集。
进一步，所述步骤（3）中，根据步骤（2）中构建的洪涝灾害标签来训练双时相图像变化检测模型，通过不断调整模型参数，直至模型的损失曲线达到拟合并且数值逼近于0，同时识别遥感影像中洪涝淹没范围的精度达到95%以上。
本发明与现有技术相比，其显著效果如下：1、本发明结合深度学习中基于先进视觉Transformer的双时相图像变化检测模型和不受时间、天气影响且穿透能力强的雷达数据，能获取洪涝发生时的数据和提高识别精度；2、本发明在为监测洪涝提供新方法的同时，能高效、精准地为洪涝灾害的防灾减灾提供有效的决策依据，具有良好的社会和经济效果。
附图说明
图1为本发明的Transformer解码器示意图；
图2为基于视觉Transformer的双时相图像变化检测模型框架图，主要由CNN框架（ResNet）、语义标记器和Transformer模块（编码器和解码器）组成；
图3为本发明所构建的双时相微波遥感洪涝灾害标签示例图，第一行跟第二行是两个时相的哨兵一号数据，第三行是对应的目标变化水体标签；
图4为2020年夏季鄱阳湖湖区洪涝灾情分析示例图。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做进一步详细描述。
本发明提出了一种基于视觉Transformer的双时相图像变化检测模型来有效地对微波遥感影像时空信息进行建模，能高效获取洪涝发生前后的水体变化情况，从而对洪涝灾害进行精准监测与灾情分析。一方面采用视觉Transformer方法作为本发明的模型框架，其中Transformer利用注意力等机制增大感受野利用时空信息，可有效学习高分辨率遥感影像中目标物的变化以及充分利用时空信息；另一方面本发明制作了双时相洪涝灾害标签，将洪涝发生前后的遥感影像数据作为模型的训练数据，可用于精准监测洪涝事件，准确识别出洪水淹没范围。
具体步骤如下：
步骤一，基于视觉Transformer的双时相图像变化检测模型构建
如图1所示为本发明基于视觉Transformer的模型框架结构图，主要由CNN框架（ResNet）、语义标记器和Transformer模块组成，Transformer模块包括编码器和解码器。实现过程如下：
（11）语义特征提取
采用经典深度学习卷积神经网络ResNet作为提取双时相遥感影像中目标水体变化语义特征的框架，然后使用空间注意力机制将每个时相的遥感影像特征映射转换为一组丰富的语义特征集。
先采用CNN框架进行特征提取，获取双时相遥感影像中变化水体特征
Figure 25948DEST_PATH_IMAGE012
，然后用空间注意力机制
Figure 37767DEST_PATH_IMAGE013
对变化水体特征进行处理，得到双时相特征集
Figure 861366DEST_PATH_IMAGE014
并输入到 Transformer模块中：
Figure 249622DEST_PATH_IMAGE015
式（1）中，i为遥感影像时相顺序，T为遥感影像转置操作。
（12）Transformer编码
Transformer可以充分利用双时相遥感影像时空的全局语义关系，所以在为每个 时相生成丰富的语义特征表示后，使用Transformer编码器将所得到的双时相特征集
Figure 22537DEST_PATH_IMAGE014
在 时空中建模。该编码器会对时空中的相对或绝对位置有关元素信息进行编码，因为位置信 息有利于编码器上下文建模。
如图2所示，将步骤（11）中得到的双时相特征集
Figure 736416DEST_PATH_IMAGE014
进行编码，即在时空中建立双 时相特征的联系，以构建具有时空关系的丰富语义特征集
Figure 565088DEST_PATH_IMAGE016
。先用MSA对双时相特征集
Figure 225876DEST_PATH_IMAGE014
执行注意力机制操作，因为MSA可以将来自不同位置的不同特征的信息联系起来；再利用归 一化使
Figure 305828DEST_PATH_IMAGE014
在空间上保持一致，方便网络特征提取更加稳定；最后利用MLP将输入
Figure 925028DEST_PATH_IMAGE014
与输出
Figure 473952DEST_PATH_IMAGE016
更好的联系起来，提高网络训练的效率和稳定性。其中MSA (muti-head self- attention)是一种注意力机制由Q、K、V三个控制特征权重的功能键组成；MLP（Muti-Layer Perception）为多层感知器，softmax为激活函数：
Figure 748DEST_PATH_IMAGE017
T为转置操作，
Figure 935206DEST_PATH_IMAGE009
为网络的层数，
Figure 708996DEST_PATH_IMAGE018
分别为学习参数，d为通道的尺寸。
（13）Transformer解码
编码器所得到的上下文丰富语义特征集
Figure 994484DEST_PATH_IMAGE016
被孪生解码器重新映射到像素空间 中，以增强原始的像素级语义特征。最后，从两个优化后的特征图中计算特征差异图像，然 后将特征差异图像输入一个浅层的CNN中，以得到像素水平的水体变化预测结果。
步骤二，基于哨兵一号微波遥感的洪涝灾害标签制作
目前洪涝监测都是对每张遥感影像进行水体识别，从而得到洪水的演进过程，工作量大、费时费力。本发明利用双时相遥感影像对进行洪涝监测，通过灾前灾后两张同一地区遥感影像可以快速识别洪水淹没范围，大大缩短了前期数据处理时间，提高效率。为提高本发明满足多种应用场景，以监测不同地区不同时间的洪涝事件，选取了广空间范围、长时间尺度的双时相微波遥感影像对来制作泛化性强的洪涝灾害标签。具体实现步骤如下：
（21）为了满足数据样本具有良好的时间与空间泛化性，能应用到不同地区、不同季节的洪涝监测中。将2015～2020年汛期前后的长江中下游哨兵一号双时相遥感影像对进行必要的预处理，包括辐射定标、几何校正、对数转换等工作；
（22）根据水体在SAR影像中的形状、纹理、颜色等信息，利用目视解译，人工注释各影像，得到双时相遥感影像的水体变化结果图。利用PS等图片处理软件将因汛期（洪涝）发生变化的水体部分标记为白色，未变化部分标记为黑色（如图3所示），最终获得与原图同样大小的水体变化真值图；
（23）将已完成标记的双时遥感影像切割成可输入模型的固定大小：256*256形成样本集；依照Transformer模型通道尺寸切割标记好的数据集，同时为提高模型训练效率，对样本进行筛选，将图像中完全无水体变化的样本删除，可有效缩短模型训练时加载影像的时间。本发明针对哨兵一号影像共制作了6296对（ 训练集：70%，验证集：20%，测试集：10%）变化水体样本，可应用在不同地区不同时相的洪涝监测中。
步骤三，基于视觉Transformer变化检测模型的哨兵一号洪涝精准监测与灾情分析
（31）利用步骤二所制作的哨兵一号水体变化数据集来训练基于视觉Transformer的双时相图像变化检测模型，通过调参、更换损失函数以及调整网络结构，直至网络的损失曲线达到拟合并且数值逼近于0，同时能将遥感影像中变化水体识别精度达到95%以上，即可满足高效、精准识别水体变化的要求，从而应用于洪涝监测；
（32）结合双时相图像变化检测模型所得到的灾区变化水体分布图和灾区地表覆盖类型数据分析洪涝灾情，可以获得洪水的扩张趋势以及不同地表类型淹没面积，为防洪救灾提供决策依据。
根据上述构建水体变化数据集来训练Transformer的双时相图像变化检测模型，通过不断调整模型参数，使其满足高效且精准识别洪涝淹没范围的能力。针对洪涝事件进行快速精准监测，获取洪涝发生前后的水体变化情况以及洪水的扩张趋势，为防洪救灾提供决策依据；结合当地土地利用图，可以得到的灾区不同地表类型淹没面积以及变化情况，从而可以定量分析洪涝灾害带来的损失。
图4是2020年夏季鄱阳湖湖区洪涝灾情分析示例图。利用双时相图像变化检测模型识别出的洪涝面积与灾区土地覆盖类型数据叠合分析，得到灾区洪水淹没情况。
本发明提出一种基于视觉Transformer的双时相图像变化检测的深度学习模型，并采用能够穿过云层勘测地表的主动微波遥感卫星（哨兵一号）数据，能实现高精度的全天时全天候洪涝灾害精准监测与灾情分析，其技术指标能将洪涝识别准确率提高到95%以上。

Claims (4)

1.一种基于视觉Transformer的洪涝灾害监测与灾情分析方法，其特征在于，包括步骤：
（1）构建双时相图像变化检测模型；所述双时相图像变化检测模型由CNN框架、语义标记器和Transformer模块组成，Transformer模块包括编码器和解码器；
（2）选取双时相遥感影像，制作洪涝灾害标签；
（3）根据步骤（1）构建的双时相图像变化检测模型，进行洪涝监测与灾情分析。
2.根据权利要求1所述的基于视觉Transformer的洪涝灾害监测与灾情分析方法，其特征在于，所述步骤（1）的实现过程如下：
（11）语义特征提取
先采用CNN框架进行特征提取，获取双时相遥感影像中的变化水体特征
Figure 598814DEST_PATH_IMAGE001
；
然后用空间注意力机制
Figure 354280DEST_PATH_IMAGE002
对变化水体特征
Figure 743674DEST_PATH_IMAGE001
进行处理，得到双时相特征集
Figure 309915DEST_PATH_IMAGE003
：
Figure 253600DEST_PATH_IMAGE004
其中，i为遥感影像时相顺序，
Figure 547179DEST_PATH_IMAGE005
；T为转置操作；
最后，将双时相特征集
Figure 259920DEST_PATH_IMAGE003
输入到Transformer模块中；
（12）Transformer编码
将步骤（11）中得到的双时相特征集
Figure 232948DEST_PATH_IMAGE003
进行编码，以构建具有时空关系的丰富语义特征 集
Figure 460667DEST_PATH_IMAGE006
；其中，注意力机制Attention 和softmax激活函数的关系为：
Figure 557936DEST_PATH_IMAGE007
其中，注意力机制是由Q、K、V三个控制特征权重的功能键组成；
Figure 141495DEST_PATH_IMAGE008
为网络的层数，
Figure 767649DEST_PATH_IMAGE009
分别为学习参数，d为通道的尺寸；
（13）Transformer解码
将步骤（12）编码得到的丰富语义特征集
Figure 685926DEST_PATH_IMAGE006
，在像素空间上通过解码器优化变化水体特 征
Figure 632891DEST_PATH_IMAGE001
，以得到优化后的变化水体特征
Figure 54645DEST_PATH_IMAGE010
；然后通过浅层CNN计算特征差异图像，得到像素 级的预测结果。
3.根据权利要求1所述的基于视觉Transformer的洪涝灾害监测与灾情分析方法，其特征在于，所述步骤（2）中，选取广空间范围、长时间尺度的双时相遥感影像对来制作泛化性强的洪涝灾害标签，实现步过程如下：
（21）先对包含往年汛期前后的水体的双时相遥感影像对进行辐射定标、几何校正、对数转换的预处理工作；
（22）使用图片标记工具对双时相遥感影像进行标记；利用图片处理软件将汛期后较汛期前变化的水体部分和未变化的水体部分分别作区分标记，最终获得与原图同样大小的水体变化真值图；
（23）将完成标记的双时相遥感影像切割成可输入模型的样本集；对所述样本集进行筛选，将样本集中完全无水体变化的样本删除；将筛选后的样本集分为训练集、验证集和测试集。
4.根据权利要求1所述的基于视觉Transformer的洪涝灾害监测与灾情分析方法，其特征在于，所述步骤（3）中，根据步骤（2）中构建的洪涝灾害标签来训练双时相图像变化检测模型，通过不断调整模型参数，直至模型的损失曲线达到拟合并且数值逼近于0，同时识别遥感影像中洪涝淹没范围的精度达到95%以上。
CN202111087346.6A 2021-09-16 2021-09-16 一种基于视觉Transformer的洪涝灾害监测与灾情分析方法 Active CN113537177B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111087346.6A CN113537177B (zh) 2021-09-16 2021-09-16 一种基于视觉Transformer的洪涝灾害监测与灾情分析方法
US17/857,147 US11521379B1 (en) 2021-09-16 2022-07-04 Method for flood disaster monitoring and disaster analysis based on vision transformer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111087346.6A CN113537177B (zh) 2021-09-16 2021-09-16 一种基于视觉Transformer的洪涝灾害监测与灾情分析方法

Publications (2)

Publication Number Publication Date
CN113537177A true CN113537177A (zh) 2021-10-22
CN113537177B CN113537177B (zh) 2021-12-14

Family

ID=78092749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111087346.6A Active CN113537177B (zh) 2021-09-16 2021-09-16 一种基于视觉Transformer的洪涝灾害监测与灾情分析方法

Country Status (2)

Country Link
US (1) US11521379B1 (zh)
CN (1) CN113537177B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869290A (zh) * 2021-12-01 2021-12-31 中化学交通建设集团有限公司 一种基于人工智能技术的消防通道占用识别方法和装置
CN114373129A (zh) * 2021-12-30 2022-04-19 山东锋士信息技术有限公司 基于域自适应和变化检测的河湖四乱遥感监测方法及系统
CN114581771A (zh) * 2022-02-23 2022-06-03 南京信息工程大学 一种高分异源遥感坍塌建筑物检测方法
CN114679232A (zh) * 2022-04-06 2022-06-28 西南交通大学 一种基于数据驱动的光载无线传输链路建模方法
CN115953351A (zh) * 2022-10-20 2023-04-11 广州市城市规划勘测设计研究院 一种耕地洪涝受灾分析方法、装置、设备及存储介质
CN116310581A (zh) * 2023-03-29 2023-06-23 南京信息工程大学 一种半监督变化检测洪涝识别方法
CN116778395A (zh) * 2023-08-21 2023-09-19 成都理工大学 基于深度学习的山洪漫流视频识别监测方法
CN117152561A (zh) * 2023-09-08 2023-12-01 中国水利水电科学研究院 一种洪涝灾害重置成本遥感样本集构建及更新方法
CN118230186A (zh) * 2024-04-09 2024-06-21 长江水利委员会长江科学院 一种可见光遥感影像水体变化检测方法
CN118467978A (zh) * 2024-07-09 2024-08-09 南京信息工程大学 一种基于ST-Transformer的暴雨预测方法、系统、介质及设备
CN118570739A (zh) * 2024-08-02 2024-08-30 自然资源部第二海洋研究所 一种海洋环境质量评价方法及系统

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7095046B2 (ja) * 2020-09-30 2022-07-04 楽天グループ株式会社 情報処理システム、情報処理装置、及び情報処理方法
CN116045104B (zh) * 2023-01-10 2024-05-10 浙江伟众科技有限公司 空调软硬管连接密封装置及其方法
CN115907574B (zh) * 2023-01-10 2023-08-15 中国水利水电科学研究院 一种流域性暴雨洪涝承灾体重置成本遥感模拟方法
CN116052007B (zh) * 2023-03-30 2023-08-11 山东锋士信息技术有限公司 一种融合时间和空间信息的遥感图像变化检测方法
CN116091492B (zh) * 2023-04-06 2023-07-14 中国科学技术大学 一种图像变化像素级检测方法与系统
CN116135797B (zh) * 2023-04-19 2023-07-04 江苏海峡环保科技发展有限公司 污水处理智能控制系统
CN116363521B (zh) * 2023-06-02 2023-08-18 山东科技大学 一种遥感影像语义预测方法
CN116385889B (zh) * 2023-06-07 2023-09-19 国网电力空间技术有限公司 基于铁路识别的电力巡检方法、装置、电子设备
CN116434072B (zh) * 2023-06-12 2023-08-18 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) 基于多源数据的地质灾害早期识别方法、装置
CN116704350B (zh) * 2023-06-16 2024-01-30 浙江时空智子大数据有限公司 基于高分辨遥感影像水域变化监测方法、系统及电子设备
CN116546431B (zh) * 2023-07-04 2023-09-19 北京江云智能科技有限公司 一种基于北斗全网通多网融合数据采集通信系统及方法
TWI846598B (zh) * 2023-09-15 2024-06-21 華碩電腦股份有限公司 三維表面重建方法
CN117152618B (zh) * 2023-10-16 2024-08-30 北京邮电大学 遥感图像中时敏目标变化检测方法及装置
CN117132902B (zh) * 2023-10-24 2024-02-02 四川省水利科学研究院 基于自监督学习算法的卫星遥感影像水体识别方法及系统
CN117310705B (zh) * 2023-11-28 2024-02-09 中国石油大学(华东) 一种基于双极化sar影像的洪涝灾害快速检测方法
CN117975287B (zh) * 2024-01-12 2024-09-24 成都理工大学 用于滑坡灾害InSAR早期识别的关键参数分析方法
CN118097449B (zh) * 2024-02-23 2024-08-16 中科星睿科技(北京)有限公司 基于多源遥感的洪涝灾害监测方法、装置和电子设备
CN118114827A (zh) * 2024-03-07 2024-05-31 江苏省水利勘测设计研究院有限公司 一种基于水文水动力学模型的平原河网地区洪涝灾害预报预警方法及系统
CN118072479A (zh) * 2024-03-22 2024-05-24 山东科技大学 基于物联网技术的灾害应急预警方法、系统、设备及介质
CN118091657B (zh) * 2024-04-28 2024-07-02 水利部交通运输部国家能源局南京水利科学研究院 基于分类三元搭配的流域洪涝淹没范围集成识别方法及系统
CN118397480B (zh) * 2024-06-28 2024-08-30 华东交通大学 一种用于双时相遥感图像语义变化检测的网络模型
CN118470659B (zh) * 2024-07-15 2024-09-24 南昌航空大学 城市监控视角下基于去噪扩散模型的内涝检测方法与装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257154A (zh) * 2018-01-12 2018-07-06 西安电子科技大学 基于区域信息和cnn的极化sar图像变化检测方法
CN112686086A (zh) * 2019-10-19 2021-04-20 中国科学院空天信息创新研究院 一种基于光学-sar协同响应的作物分类方法
CN112750138A (zh) * 2021-01-14 2021-05-04 黄河勘测规划设计研究院有限公司 一种黄河流域淤地坝空间分布识别方法
CN113191285A (zh) * 2021-05-08 2021-07-30 山东大学 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统
WO2021151344A1 (zh) * 2020-07-23 2021-08-05 平安科技（深圳）有限公司 歌声合成方法、装置及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201403287VA (en) * 2014-06-16 2016-01-28 Ats Group Ip Holdings Ltd Flash flooding detection system
US11907819B2 (en) * 2019-11-20 2024-02-20 University Of Connecticut Systems and methods to generate high resolution flood maps in near real time
US11691646B2 (en) * 2020-02-26 2023-07-04 Here Global B.V. Method and apparatus for generating a flood event warning for a flood prone location
CA3132706A1 (en) * 2020-10-05 2022-04-05 Bank Of Montreal Systems and methods for generating flood hazard estimation using machine learning model and satellite data
US20220156636A1 (en) * 2020-11-13 2022-05-19 International Business Machines Corporation Efficient flood waters analysis from spatio-temporal data fusion and statistics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257154A (zh) * 2018-01-12 2018-07-06 西安电子科技大学 基于区域信息和cnn的极化sar图像变化检测方法
CN112686086A (zh) * 2019-10-19 2021-04-20 中国科学院空天信息创新研究院 一种基于光学-sar协同响应的作物分类方法
WO2021151344A1 (zh) * 2020-07-23 2021-08-05 平安科技（深圳）有限公司 歌声合成方法、装置及计算机可读存储介质
CN112750138A (zh) * 2021-01-14 2021-05-04 黄河勘测规划设计研究院有限公司 一种黄河流域淤地坝空间分布识别方法
CN113191285A (zh) * 2021-05-08 2021-07-30 山东大学 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869290A (zh) * 2021-12-01 2021-12-31 中化学交通建设集团有限公司 一种基于人工智能技术的消防通道占用识别方法和装置
CN113869290B (zh) * 2021-12-01 2022-02-25 中化学交通建设集团有限公司 一种基于人工智能技术的消防通道占用识别方法和装置
CN114373129A (zh) * 2021-12-30 2022-04-19 山东锋士信息技术有限公司 基于域自适应和变化检测的河湖四乱遥感监测方法及系统
CN114581771A (zh) * 2022-02-23 2022-06-03 南京信息工程大学 一种高分异源遥感坍塌建筑物检测方法
CN114679232A (zh) * 2022-04-06 2022-06-28 西南交通大学 一种基于数据驱动的光载无线传输链路建模方法
CN114679232B (zh) * 2022-04-06 2023-04-07 西南交通大学 一种基于数据驱动的光载无线传输链路建模方法
CN115953351A (zh) * 2022-10-20 2023-04-11 广州市城市规划勘测设计研究院 一种耕地洪涝受灾分析方法、装置、设备及存储介质
CN116310581A (zh) * 2023-03-29 2023-06-23 南京信息工程大学 一种半监督变化检测洪涝识别方法
CN116778395A (zh) * 2023-08-21 2023-09-19 成都理工大学 基于深度学习的山洪漫流视频识别监测方法
CN116778395B (zh) * 2023-08-21 2023-10-24 成都理工大学 基于深度学习的山洪漫流视频识别监测方法
CN117152561A (zh) * 2023-09-08 2023-12-01 中国水利水电科学研究院 一种洪涝灾害重置成本遥感样本集构建及更新方法
CN117152561B (zh) * 2023-09-08 2024-03-19 中国水利水电科学研究院 一种洪涝灾害重置成本遥感样本集构建及更新方法
CN118230186A (zh) * 2024-04-09 2024-06-21 长江水利委员会长江科学院 一种可见光遥感影像水体变化检测方法
CN118467978A (zh) * 2024-07-09 2024-08-09 南京信息工程大学 一种基于ST-Transformer的暴雨预测方法、系统、介质及设备
CN118467978B (zh) * 2024-07-09 2024-10-01 南京信息工程大学 一种基于ST-Transformer的暴雨预测方法、系统、介质及设备
CN118570739A (zh) * 2024-08-02 2024-08-30 自然资源部第二海洋研究所 一种海洋环境质量评价方法及系统

Also Published As

Publication number Publication date
CN113537177B (zh) 2021-12-14
US11521379B1 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
CN113537177B (zh) 一种基于视觉Transformer的洪涝灾害监测与灾情分析方法
CN111639748B (zh) 一种基于lstm-bp时空组合模型的流域污染物通量预测方法
WO2023103587A1 (zh) 短临降水预测方法及装置
Xu et al. High-resolution remote sensing image change detection combined with pixel-level and object-level
CN112597815A (zh) 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法
CN105787501A (zh) 输电线路走廊区域自动选择特征的植被分类方法
CN113642475B (zh) 基于卷积神经网络模型的大西洋飓风强度估算方法
CN114627389B (zh) 一种基于多时相光学遥感影像的筏式养殖区提取方法
CN111178149A (zh) 一种基于残差金字塔网络的遥感影像水体自动提取方法
CN109034184A (zh) 一种基于深度学习的均压环检测识别方法
CN114943893B (zh) 一种土地覆盖分类的特征增强方法
Dianati Tilaki et al. Rangelands production modeling using an artificial neural network (ANN) and geographic information system (GIS) in Baladeh rangelands, North Iran
CN116188993A (zh) 一种基于多任务学习的遥感图像耕地地块分割方法
CN117975282B (zh) 基于多元光学特征融合的紫菜养殖区遥感提取方法及系统
CN113591633A (zh) 基于动态自注意力Transformer的面向对象土地利用信息解译方法
CN116415730A (zh) 一种预测水位的融合自注意力机制时空深度学习模型
CN111242134A (zh) 一种基于特征自适应学习的遥感影像地物分割方法
CN114119630B (zh) 基于耦合图谱特征的海岸线深度学习遥感提取方法
CN111523732A (zh) 一种日本鳀冬季渔场模型筛选预测方法
Bao et al. E-unet++: A semantic segmentation method for remote sensing images
CN117409320A (zh) 一种基于卫星遥感的流域洪水监测方法、系统及存储介质
CN117409020A (zh) 一种基于地基的全天空图像云量计算方法和系统
CN116612387A (zh) 一种基于改进的Segformer网络与遥感影像的地表水水体提取方法、系统、设备及介质
CN116206210A (zh) 一种基于NAS-Swin的遥感影像农业大棚提取方法
Wang et al. Fuzzy integral based information fusion for water quality monitoring using remote sensing data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211022

Assignee: NANJING HETU GEOGRAPHIC INFORMATION ENGINEERING CO.,LTD.

Assignor: Nanjing University of Information Science and Technology

Contract record no.: X2022980023745

Denomination of invention: A Method of Flood Monitoring and Disaster Analysis Based on Visual Transformer

Granted publication date: 20211214

License type: Common License

Record date: 20221130

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211022

Assignee: Nanjing Blueprint Data Analysis Co.,Ltd.

Assignor: Nanjing University of Information Science and Technology

Contract record no.: X2022980023780

Denomination of invention: A Method of Flood Monitoring and Disaster Analysis Based on Visual Transformer

Granted publication date: 20211214

License type: Common License

Record date: 20221205

EE01 Entry into force of recordation of patent licensing contract