CN116403121A - 水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备 - Google Patents

水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备 Download PDF

Info

Publication number
CN116403121A
CN116403121A CN202310375149.7A CN202310375149A CN116403121A CN 116403121 A CN116403121 A CN 116403121A CN 202310375149 A CN202310375149 A CN 202310375149A CN 116403121 A CN116403121 A CN 116403121A
Authority
CN
China
Prior art keywords
data
layer
image
path
water
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310375149.7A
Other languages
English (en)
Inventor
王蓉芳
张晨晨
李卫斌
慕彩红
焦昶哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310375149.7A priority Critical patent/CN116403121A/zh
Publication of CN116403121A publication Critical patent/CN116403121A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Astronomy & Astrophysics (AREA)

Abstract

水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备，利用多光谱图像和SAR图像这两类多源遥感数据，对原始的UNet算法引入水体指数，设计多路径多源数据融合编码器，利用Gated Channel Transform(GCT)注意力机制等，以应对遥感图像中复杂的地物环境对水域分割的不利影响，实现在较少的计算资源的前提下，提高水域分割的精度；其系统及设备用于实现水体指数与极化信息多路径融合的遥感图像水域分割；本发明具有计算成本低、检测耗时短、分割精度高的优点，并能够随时进行迭代更新，提升模型性能。

Description

水体指数与极化信息多路径融合的遥感图像水域分割方法、 系统及设备
技术领域
本发明属于水域分割技术领域，尤其涉及一种水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备。
背景技术
检测地表水域范围对于水资源管理以及洪灾监测非常重要，通常利用卫星拍摄的遥感图像来分析水域范围。水域分割是指从遥感图像中将水域部分逐像素点分割出来，制作出水域范围图。绘制水域范围的数据多来自光学卫星和合成孔径雷达(SAR)[Gka B,SvkA,Skaa C.Exploring Sentinel-1and Sentinel-2diversity for flood inundationmapping using deep learning[J].ISPRS Journal of Photogrammetry and RemoteSensing,2021,180:163-173.]，光谱数据是在无云条件下绘制水域图的首选数据，它能提供多波段、高分辨率和噪声少的遥感影像。光谱图像的不足在于光谱成像仪是一种被动的成像仪器，需要太阳光线提供光源，因此无法全天候提供卫星图像，并且光线会受到云层的干扰。基于后向散射极化信息成像的SAR，可以在不受云层干扰的情况下探测到水，并且能够全天候地拍摄地面图像。然而极化信息无法很好的区分水、类水表面和类噪声斑点等情况[Shen X,Wang D,Mao K,et al.Inundation extent mapping by synthetic apertureradar:A review[J].Remote Sensing,2019,11(7):879]。这些缺陷可能会限制极化信息在水域分割中的应用。研究人员发现，水体指数和极化信息组合在洪水淹没制图方面表现更好。因此，将水体指数和极化信息结合起来有助于提升自动水域分割的效果。
利用人工进行水域分割的方法费时费力，并且十分依赖标注人员的专业能力。神经网络模型在完成训练后，就不再需要过多的人力干涉，是一种遥感图像自动水域分割的可行方法。本发明面向遥感图像水域分割任务，研究改进U型卷积网络，设计能够融合多光谱图像和SAR图像这两类遥感数据的网络模型，以提升水域分割的性能。
现有技术方案包括基于传统阈值过滤的水域分割方法和基于深度学习的水域分割方法。
在早期研究中，水域分割的方法受限于遥感技术和影像质量[苏龙飞,李振轩,高飞,等.遥感影像水体提取研究综述[J].国土资源遥感,2021,33(1):9-11]。在低分辨率的遥感图像中，只能利用水体在不同波段的辐射强弱不同进行阈值过滤。但是，在原始成像的数据上直接进行阈值过滤，大多数情况下无法产生精确的分割图。为此，出现了组合多波段数据的水体指数方法。这种方法是利用多个波段的成像数据进行组合计算，以达到突显水体而抑制其他地物的效果。在计算出水体指数后，利用阈值法对新的数据进行过滤来提取分割水域。阈值法分割水域的不足在于阈值难以确定，且无法适应多样的环境。在进行阈值法操作的过程中，需要研究人员自行设置阈值进行分割操作。在不同场景和不同水体指数下，阈值的大小是不统一的。遥感图像水域分割技术经过了多代发展，基于深度学习技术的全自动水域分割，逐渐替代了传统的人工提取方式。为了解决阈值法的不足，一些研究人员开始探究如何将深度学习方法应用到水域分割领域。例如：张金松等人[张金松,邢孟道,孙光才.一种基于密集深度分离卷积的极化信息水域分割算法[J].雷达学报,2019,8(3):13]为了解决利用极化信息分割水域存在的困难，提出了一种深度分离卷积的分割网络。吕文涛等人发明了一种基于正弦SPF分布和水平集模型的SAR图像水域分割方法，克服了SAR图像固有的乘性相干斑噪声和目标强度的异质性变化等内在特点，提高了SAR图像的分割性能。
目前，遥感图像通常包括的地面范围广，图像中包含大量的地物信息，背景占比大，而水域范围普遍较小。相较于自然图像，遥感图像存在的干扰和噪声更多，会影响水域分割的精度。在高空拍摄的情况下，由于云层的遮挡，导致仅依赖多光谱影像无法有效地分割出云影下的水域范围，需要借助合成孔径雷达数据的帮助。此外，可用的多模态遥感图像水域分割的标注数据较少，数据源单一，没有充分挖掘利用多源遥感数据的互补信息，模型对单一数据质量的依赖性过大，分割效果不够理想；且手动标注代价高昂，不足以支撑大型复杂网络的训练。
现有的多模态水域分割方法中，对于多模态数据的使用，一般采用原始数据的简单叠加或者特征的简单叠加方法。这种简单叠加的方式不能有效地提取出不同模态之间的互补特征，反倒会产生许多冗余的特征，影响最终的分割结果。
水体指数作为一种特殊的特征选择方式，现有的方法极少利用深度网络对水体指数进行信息挖掘；且现有的技术网络结构设计过于复杂，模块繁多，对硬件设备的需求较高，不利于部署和实时性检测。
发明内容
为了克服上述现有技术的不足，本发明的目的在于提出一种水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备，利用多光谱图像和SAR图像这两类多源遥感数据，对原始的UNet算法引入水体指数，设计多路径多源数据融合编码器，利用GatedChannel Transform(GCT)注意力机制等，以应对遥感图像中复杂的地物环境对水域分割的不利影响，实现在较少的计算资源的前提下，提高水域分割的精度。
为实现上述目的，本发明采用的技术方案如下：
一种水体指数与极化信息多路径融合的遥感图像水域分割方法，包括以下步骤：
S1、从不同地区洪水事件数据集中收集同区域且时间段相近的SAR遥感卫星和多光谱遥感卫星采集的图像；
S2、对多光谱遥感卫星采集的遥感图像进行水体指数计算；
S3、构建包含水体指数和极化信息的多源遥感数据集(WIPI)；
S4、将步骤S3中的WIPI数据集以地区为单位，自定义比例随机划分为训练集、验证集和测试集；
S5、构建由无效区域屏蔽、数据归一化、数据标准化、数据增强和随机采样组成的水域分割网络的输入处理模块，对WIPI全数据集进行归一化和标准化预处理，并对其中的训练集和验证集进行数据增强；
S6、设计水体指数与极化信息多路径融合的水域分割深度网络模型；
S7、对水域分割模型进行训练；
S8、用步骤S5中的测试集对步骤S7中训练得到最优模型进行测试，利用F1系数、模型参数量和模型计算量对水域分割模型的分割性能和复杂度进行评估；
S9、对比不同融合结构的分割效果给出最佳融合方案。
所述步骤S2具体方法为：
S201、波段选择：选择能够提供蓝色波段、绿色波段、红色波段、近红外或短波红外波段的多光谱遥感卫星图像；
S202、根据步骤S201选择波段的多光谱图像数据集计算水体指数，水体指数包括归一化水分指数(NDMI)、归一化植被指数(NDVI)、归一化差异水体指数(NDWI)、改进的归一化差异水体指数(MNDWI)、自动水体提取指数(AWEInsh及AWEIsh)和线性判别分析的水体指数(LDA)；
S203、将每一张多光谱图像计算出的多个水体指数，保存为一张与水体指数数量相同的通道数的图像，用于后续的水域分割工作。
所述步骤S3具体方法为：
从步骤S1的SAR遥感卫星采集的图像中极化信息，将包含极化信息的SAR图像和步骤S203中计算出的水体指数组合成数据对，构建水体指数和极化信息数据集(WIPI)，用于后续分割模型的训练、验证和测试。
所述步骤S4具体方法为：
首先，将采集自不同地区的WIPI数据集，按照地区分组；其次，每组按照自定义比例随机划分为训练集、验证集和测试集；最后，将分组划分后的训练集合并、验证集合并以及测试集合并，得到最终的划分结果。
所述步骤S5具体方法为：将步骤S4得到的数据图像，在输入水域分割模型之前进行数据预处理和数据增强操作，具体方法为：
S501、生成无效区域掩膜：根据步骤S4得到每张图像的无效值像素位置，得到一张无效区域掩膜，根据无效区域掩膜对数据归一化和标准化处理，来屏蔽无效值像素点，去除无效区域的影响；
S502、数据归一化处理：按照通道维度方向，计算步骤S501处理后所有图像中相同通道的总体最大值和总体最小值，并利用得到的两个总体最大值和总体最小值指标对该通道的数据进行归一化，具体公式如下：
Figure BDA0004170139450000061
Figure BDA0004170139450000062
其中，
Figure BDA0004170139450000063
表示第i张图像的第c个通道中的第j个像素值，/>
Figure BDA0004170139450000064
表示/>
Figure BDA0004170139450000065
归一化后的像素值，minc为第c个通道层的像素最小值，maxc为第c个通道层的像素最大值；
S503、经过归一化后，所有图像中相同通道层分为一组，组内计算总体均值和总体方差，总体均值和总体方差的计算公式如下：
Figure BDA0004170139450000071
Figure BDA0004170139450000072
其中，Meanc表示第c个通道的像素均值，Stdc表示第c个通道的像素标准差，
Figure BDA0004170139450000073
表示第i张图像的第c个通道的第j个像素值，N表示图像数量，M表示单张图像中的像素个数；
S504、数据标准化处理：对步骤S502得到的归一化后的数据
Figure BDA0004170139450000076
进行通道维度的标准化处理，标准化公式如下：
Figure BDA0004170139450000074
其中，
Figure BDA0004170139450000075
表示标准化后的表示第i张图像的第c个通道中的第j个像素值；
S505、数据增强：对经过归一化和标准化处理后的数据，进行包括水平翻转、垂直翻转、随机角度(45°-180°)逆时针旋转、添加随机噪声、增强对比度的数据增强，将训练数据和验证数据进行扩充；
S506、随机采样：对数据增强扩充的WIPI数据中的训练集和验证集进行随机采样出宽高为w×h的图像块,遍历每一张图像，从每一张图像中截取出[25,50]张图像块，其中，h大于等于32，小于图像的高，w大于32，小于图像的宽；
通过随机数函数生成两组数据X和Y，每组中包括[25,50]个数字，按照下标一一对应组合成待截取图像块的左上角坐标,在确定待截取图像块的左上角坐标和截取宽高后，便可以生成图像块,具体实现公式如下：
Figure BDA0004170139450000081
其中，N为图像总个数，H为纵轴坐标数列，W为横轴坐标数列，Range(·)为数列生成函数，公式中可以生成指定范围内以[10，30]为步长的一个等差数列，RandomSample(·)为随机采样函数，从Range(·)生成的数列中，随机抽取出[25,50]个数字，[Hj,Wj]表示第j张图像块的左上角坐标，ImageBlocki,j表示第i张图像的第j张图像块。
所述步骤S6具体方法为：
对原始的UNet算法进行改进，包括引入多路径多源数据融合编码器，利用GCT(Gated Channel Transform)注意力机制，构建多路径融合网络，具体包括如下步骤：
S601、设计水体指数与极化信息多路径融合的遥感图像水域分割深度网络模型，该水域分割网络采用卷积网络结构包括：一侧的多路径收缩网络是编码器，用于多模态特征提取；中间的跳跃连接结合GCT，用于对多路径特征进行通道加权，将加权后的特征输入至解码器；解码器处于网络的另一侧，作为扩张网络用于恢复图像尺寸和融合深层与浅层的特征；
S602、构建包含卷积层、批归一化层和ReLU非线性激活层的CBR(Convolution-BatchNormalization-ReLU水域分割网络)模块，编码器中的CBR模块，保持特征分辨率不变，通道数增加，解码器中的CBR模块，保持特征分辨率不变，通道数减少；
S603、构建包含卷积层、批归一化层和ReLU非线性激活层的分类器模块，用于将特征图的通道数降低为类别数，作为整个水域分割深度网络模型的输出结果；
S604、基于步骤S602的CBR模块和水域分割网络中的最大池化层构建水域分割网络的编码器模块，该模块是将CBR模块和最大池化层交替使用，形成一个多路径多尺度的收缩网络结构，该结构会对输入的多模态数据进行多路径逐层特征提取；编码器模块的每一层接收上一层的特征输入，产生的特征输出有两种去向：向下输入到最大池化层和横向输送到GCT模块；
S605、基于步骤S602的CBR模块和反卷积层构建水域分割网络的解码器模块，该模块是将CBR模块和反卷积层交替使用，形成一个多尺度深浅层特征融合的扩张网络结构，该结构通过跳跃连接接受来自编码器提取的多路径特征，将来自编码器的浅层特征与自身上一层提取的深层特征进行融合，并逐层扩大特征图的分辨率；
S606、根据SAR图像的极化信息和水体指数的个数，在WIPI数据集上对多路径编码器的输入路径个数进行设定；SAR图像的VV和VH两种极化信息作为一个输入路径，水体指数中的NDWI和MNDWI作为一个输入路径，AWEIsh和LDA作为一个输入路径，NDVI、NDMI和AWEInsh分别经由单独的输入路径输入到网络；
S607、多路径编码器接收不同模态数据的输入，并对其进行逐层次的提取特征，得到的中间特征；具体公式如下：
Figure BDA0004170139450000101
Figure BDA0004170139450000102
其中，n表示编码器的第n层，p表示编码器的第p个路径，
Figure BDA0004170139450000103
表示编码器的第p个路径中的第n层的输入，/>
Figure BDA0004170139450000104
表示编码器的第p个路径中的第n层的输出特征，MP()表示2×2的最大池化操作；
然后，将不同路径但相同层的中间特征进行通道维度拼接，形成步骤S604中的编码器模块的每一层的输出特征，即拼接特征Fn，具体公式如下：
Figure BDA0004170139450000105
其中，Fn是由编码器的第n层中所有路径输出特征的拼接而成；
S608、对多路径编码器的每一层输出特征进行GCT通道注意计算，GCTn中包括三组可学习参数：α、γ、β，可为第n层拼接特征Fn的每一个通道生成一个可学习参数；具体公式如下：
GCE＝α×(L2Norm(Fn))
Figure BDA0004170139450000106
CSFn＝tanh(γ×(CN)+β)×Fn+Fn
其中，GSFn是第n层的通道选择特征(Channel Selection Feature)，L2Norm()是L2归一化函数，GCE是全局上下文嵌入(Global Context Embedding),CN是通道归一化(Channel Normlization)。
S702、用经过步骤S5处理后的训练集和验证集对步骤S6中设计的模型进行训练，每次训练过程中，将验证集上F1系数最高的模型保存为最优模型。
所述步骤S9具体方法为：
设计“多路径与单路经”、“多模态与单模态”、“水体指数与多光谱原始波段”三组实验，并利用步骤S5中的数据集和步骤S7中的方法对不同实验进行模型训练；最后，通过模型评估，得到最佳融合方案；具体步骤如下：
S901、设计“多路径与单路径”的对比方案，将极化信息和水体指数分成多个路径输入到水域分割模型中，此时的编码器为“多路径编码器”；将极化信息和水体指数按照通道维度连接在一起，经由一个路径输入到水域分割模型中，此时的编码器为“单路经编码器”，分别训练出两个模型，对比在测试集上的预测结果；
S902、设计“多模态与单模态”的对比方案，需要分别训练出“仅使用极化信息”、“仅使用水体指数”和“使用两种数据”的模型，对比在测试集上的预测结果；
S903、设计“水体指数与多光谱原始波段”的对比方案，该方案不使用极化信息，并且采用“单路经编码器”，分别训练出两个模型，对比在测试集上的预测结果。
一种实现步骤1至9的水体指数与极化信息多路径融合的遥感图像水域分割方法的分割系统包括：
数据集构建模块，用于从采集的遥感图像中提取出水体指数，并与SAR图像结合构建出用于完成本发明中的水域分割模型的训练、验证与测试任务的数据集；
数据输入处理模块，用于完成无效区域屏蔽、数据归一化、数据标准化、数据增强和随机采样任务；
多路径编码器模块，用于对输入的多模态数据进行多路径逐层特征提取；
通道加权跳跃连接模块，用于重新分配不同通道之间的权重，使模型更关注重要数据的通道；
解码器模块，用于将多路径编码器提取的多路径特征与自身上一层提取的深层特征进行融合，并逐层扩大特征图的分辨率；
分类器模块，用于将特征图的通道数降低为类别数，作为整个水域分割深度网络模型的输出结果。
一种实现步骤1至9的水体指数与极化信息多路径融合的遥感图像水域分割方法的分割设备包括：
图像采集器，用于从不同地区洪水事件数据集中收集同区域且时间段相近的SAR遥感卫星和多光谱遥感卫星采集的图像；
程序处理器，用于存储计算机程序，并在执行所述计算机程序时实现步骤1至步骤9所述的水体指数与极化信息多路径融合的遥感图像水域分割方法。
相对于现有技术，本发明有益效果如下：
1、本发明从水体指数和极化信息中提取的特征更加可分。本发明中，采用融合水体指数与极化信息的方式，以多路径多尺度形式提取特征信息，能够帮助模型更轻松地分割出水域范围，并在复杂环境下存在某一模态数据不完整，这是可以从另一模态中提取到互补的信息，保证模型分割精度不会大幅度降低。
2、本发明特征融合方式更有效。本发明中，首先利用多路径编码器网络对水体指数和极化信息进行特征提取，之后相同层次的不同模态数据的中间特征以拼接的方式进行初步融合，最后利用加权跳跃连接输入到解码器中进行深与浅层的特征融合，可以提取到多模态数据的不同层次特征，更好的用于水域分割任务。
3、本发明提出了一种简单的U型卷积网络，仅包括：编码器、跳跃连接、解码器和分类器，左边的多路径收缩网络是编码器部分用于多模态特征提取，中间的跳跃连接结合GCT用于对多路径特征进行通道加权，将加权后的特征输入至解码器，解码器处于网络的右边，作为扩张网络用于恢复图像尺寸和融合深层与浅层的特征，分类器在网络的最后一层，用于将前一层输出的特征图通道数变为类别数；可以实现快速训练与部署，计算成本低，检测耗时短。相较于现有技术，本发明提出网络的计算量更小，在性能较差的设备上也能较好地运行。
4、本发明中的模型采用模块化的设计思路，多路径编码器、解码器和分类器中的基础网络结构均可替换，加权跳跃连接中的权重计算机制也可以替换，根据基础网络在预测任务中的不足增加或修改模块，随着新兴技术的发展以及更优网络模块的提出，本发明能够随时进行迭代更新，提升模型性能。
1)基础特征提取块的迭代
为了实现模型的效率和高性能，本发明中选取了最适合任务的CBR作为特征提取基础块。后续可以选用Resnet34的基础块，结合深度可分离卷积，进一步提高水域分割的精度。当有性能更好、效率更高的网络被提出时，可以通过使用更优的基础块实现技术的更新。
2)多模态融合方法的迭代
本发明的编码器采用了多路径多尺度的特征提取结构来融合多模态信息，在一定程度上避免了不同模态数据在提取特征时存在的干扰，提高了水域分割的性能，因此，本发明可通过更新多模态融合框架中具体的实现方法来实现技术的迭代。例如，本发明使用了多路径多尺度融合方式，当有更好的多模态特征融合方法被提出时，使用更优的方法来替换，以进一步提升模型的性能。
3)通道注意力的迭代
本发明在融合多路径特征时，使用GCT模块对不同通道进行注意力加权，因此，本发明可通过更新通道注意力模块中具体的实现方法来实现技术的迭代。
附图说明
图1为本发明的流程图。
图2为本发明的水体指数与极化信息融合分割网络总体结构图。
图3为本发明的Gated Channel Transform(GCT)注意力机制结构图。
图4为本发明的训练流程图。
图5为本发明的测试流程图。
图6为本发明的对比模型ModelV1。
图7为本发明的对比模型ModelV2。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细的描述。
一种水体指数与极化信息多路径融合的遥感图像水域分割方法，包括以下步骤：(参见图1、图2)
S1、从11个地区的11次洪水事件收集同区域且时间段相近的SAR遥感卫星哨兵一号(Sentinel-1)采集的图像和多光谱遥感卫星哨兵二号(Sentinel-2)采集的图像。
由于Sentinel-1和Sentinel-2的图像来自两个不同的卫星，如果数据采集的时间相隔太长，图像中的地物会发生变化，两种数据无法提供互补的信息，在水域分割过程中产生干扰。因此，在利用多模态数据时，首先对Sentinel-1和Sentinel-2采集的图像进行筛选，确保同一区域的两种模态数据采集时间相差间隔在两天以内。
S2、对Sentinel-2的多光谱图像进行水体指数计算。
S201、波段选择。Sentinel-2卫星产生的遥感图像共有13个通道，分别是B1,B2,B3,B4,B5,B6,B7,B8,B8A,B9,B10,B11,B12，对应地物在13个不同波段的成像信息。由于水体指数通过对不同波段信息的组合计算，能够突显水体区域，有助于将水体与其他地物区分开，因此，本文使用归一化水分指数、归一化植被指数、归一化差异水体指数、改进的归一化差异水体指数、自动水体提取指数和线性判别分析的水体指数，这些指数的计算需要用到的波段为B2，B3，B4，B8，B8A，B11和B12，每个波段的具体含义如下：
B2：10米空间分辨率蓝色波段。
B3：10米空间分辨率绿色波段。
B4：10米空间分辨率红色波段。
B8：10米空间分辨率近红外线波段(NIR)。
B8A是：20米空间分辨率近红外线波段(NIR)。
B11和B12：20米空间分辨率短波红外线波段(SWIR)。
S202、水体指数计算。读取步骤S1中的多光谱图像，然后根据表1中的计算公式，将不同的波段进行组合，得到七种不同的水体指数。
表1本发明使用的水体指数
Figure BDA0004170139450000161
S203、每一张多光谱图像可以计算出七种不同的水体指数，将这七种水体指数保存为一张七通道的图像，用于后续的水域分割工作。
S3、构建包含水体指数和极化信息的多源遥感数据集(WIPI)；
Sentinel-1卫星的SAR图像包含VV和VH两种极化方式，因此，可以获得两种极化信息，将步骤S1中的包含极化信息的SAR图像和步骤S203中计算出的水体指数组合成数据对，构建水体指数和极化信息数据集(WIPI)，用于后续分割模型的训练、验证和测试。
S4、将步骤S3中的WIPI数据集以地区为单位，按照7:1:2的比例随机划分为训练集、验证集和测试集；
首先，将采集自11个不同地区的WIPI数据集，按照地区分为11组。其次，每组按照7:1:2的比例随机划分为训练集、验证集和测试集。最后，将11组训练集合并，11组验证集合并以及11组测试集合并。得到最终的划分结果。
S5、构建由无效区域屏蔽、数据归一化、数据标准化、数据增强和随机采样组成的水域分割网络的输入处理模块，对WIPI全数据集进行归一化和标准化预处理，并对其中的训练集和验证集进行数据增强。
将步骤S4得到的数据，在输入水域分割模型之前进行数据预处理和数据增强操作，具体方法为：
S501、生成无效区域掩膜。根据每张图像的无效值像素位置，得到一张无效区域掩膜，在数据归一化和标准化处理时，均根据无效区域掩膜来屏蔽无效值像素点，去除无效区域的影响。
S502、数据归一化处理。按照通道维度方向，计算所有图像中相同通道的总体最大值和总体最小值，并利用得到的两个指标对该通道的数据进行归一化，具体公式如下：
Figure BDA0004170139450000181
Figure BDA0004170139450000182
其中：
Figure BDA0004170139450000183
表示第i张图像的第c个通道中的第j个像素值，/>
Figure BDA0004170139450000184
表示/>
Figure BDA0004170139450000185
归一化后的像素值，minc为第c个通道层的像素最小值，maxc为第c个通道层的像素最大值；
S503、经过归一化后，所有图像中相同通道层分为一组，组内计算总体均值和总体方差。总体均值和总体方差的计算公式如下：
Figure BDA0004170139450000186
Figure BDA0004170139450000187
其中，Meanc表示第c个通道的像素均值，Stdc表示第c个通道的像素标准差，
Figure BDA0004170139450000188
表示第i张图像的第c个通道的第j个像素值，N表示图像数量，M表示单张图像中的像素个数；
S504、数据标准化处理；对S502得到的归一化后的数据
Figure BDA00041701394500001811
进行通道维度的标准化处理，标准化公式如下：
Figure BDA0004170139450000189
其中，
Figure BDA00041701394500001810
表示标准化后的表示第i张图像的第c个通道中的第j个像素值；
S505、数据增强。
目前，用于水域分割任务的多模态精确标记的数据较少，采用数据增强来生成更多的训练和验证数据，有助于使得扩充的数据尽可能接近真实分布，从而有效地提高模型的泛化能力。本发明，对经过归一化和标准化处理后的数据，进行水平翻转、垂直翻转、随机角度(45°-180°)逆时针旋转、添加随机噪声、增强对比度五种方式的数据增强，将训练数据和验证数据扩充6倍；
S506、随机采样。对数据增强扩充的WIPI数据中的训练集和验证集进行随机采样出宽高为128×128的图像块。遍历每一张图像，从每一张图像中截取出16张图像块。
通过随机数函数生成两组数据X和Y，每组中包括16个数字，按照下标一一对应组合成待截取图像块的左上角坐标。在确定待截取图像块的左上角坐标和截取宽高后，便可以生成图像块。具体实现公式如下：
Figure BDA0004170139450000191
其中，N为图像总个数，H为纵轴坐标数列，W为横轴坐标数列，Range(·)为数列生成函数，公式中可以生成[0,384)范围内以10为步长的一个等差数列，RandomSample(·)为随机采样函数，从Range(·)生成的数列中，随机抽取出32个数字，[Hj,Wj]表示第j张图像块的左上角坐标，ImageBlocki,h表示第i张图像的第j张图像块。
S6、设计水体指数与极化信息多路径融合的水域分割深度网络模型。
为了设计一种能够融合水体指数和极化信息的轻量级网络，本发明对原始的UNet算法进行了一系列的改进，包括引入多路径多源数据融合编码器，利用Gated ChannelTransform(GCT)注意力机制等，构建多路径融合网络，请参阅图3。具体包括如下步骤：
S601、设计水体指数与极化信息多路径融合的遥感图像水域分割深度网络模型，如图2所示。该水域分割网络采用U型卷积网络结构，主要由三部分组成，一侧的多路径收缩网络是编码器，用于多模态特征提取；中间的跳跃连接结合GCT，用于对多路径特征进行通道加权，将加权后的特征输入至解码器；解码器处于网络的另一侧，作为扩张网络用于恢复图像尺寸和融合深层与浅层的特征；
S602、构建包含1个卷积层、1个批归一化层和1个ReLU非线性激活层的CBR(Convolution-BatchNormalization-ReLU水域分割网络)模块，编码器中的CBR模块，可以保持特征分辨率不变，通道数增加一倍，解码器中的CBR模块，可以保持特征分辨率不变，通道数减半。
S603、构建包含1个卷积层、1个批归一化层和1个ReLU非线性激活层的分类器模块，用于将特征图的通道数降低为类别数，作为整个水域分割深度网络模型的输出结果。
S604、基于步骤S602的CBR模块和最大池化层构建水域分割网络的编码器模块，该模块是将CBR模块和最大池化层交替使用，形成一个多路径多尺度的收缩网络结构，该结构会对输入的多模态数据进行多路径逐层特征提取；编码器模块的每一层接收上一层的特征输入，产生的特征输出有两种去向：向下输入到最大池化层和横向输送到GCT模块。
S605、基于步骤S602的CBR模块和反卷积层构建水域分割网络的解码器模块，该模块是将CBR模块和反卷积层交替使用，形成一个多尺度深浅层特征融合的扩张网络结构，该结构会通过跳跃连接接受来自编码器提取的多路径特征，将来自编码器的浅层特征与自身上一层提取的深层特征进行融合，并逐层扩大特征图的分辨率。
S606、本发明中，将多路径编码器的输入路径个数SAR图像的极化信息和水体指数的个数决定，在WIPI数据集上设定6；SAR图像的VV和VH两种极化信息作为一个输入路径，水体指数中的NDWI和MNDWI作为一个输入路径，AWEIsh和LDA作为一个输入路径，NDVI、NDMI和AWEInsh分别经由单独的输入路径输入到网络。
S607、多路径编码器接收不同模态数据的输入，并对其进行逐层次的提取特征，得到的中间特征。具体公式如下：
Figure BDA0004170139450000211
Figure BDA0004170139450000212
其中，n表示编码器的第n层，p表示编码器的第p个路径，
Figure BDA0004170139450000213
表示编码器的第p个路径中的第n层的输入，/>
Figure BDA0004170139450000214
表示编码器的第p个路径中的第n层的输出特征，MP()表示2×2的最大池化操作；
然后，将不同路径但相同层的中间特征进行通道维度拼接，形成步骤S604中的编码器模块的每一层的输出特征，即拼接特征Fn。具体公式如下：
Figure BDA0004170139450000221
其中，Fn是由编码器的第n层中所有路径输出特征的拼接而成。
S608、对多路径编码器的每一层输出特征进行GCT通道注意计算，GCTn中包括三组可学习参数：α、γ、β，可为第n层拼接特征Fn的每一个通道生成一个可学习参数；具体公式如下：
GCE＝α×(L2Norm(Fn))
Figure BDA0004170139450000222
CSFn＝tanh(γ×(CN)+β)×Fn+Fn
其中，CSFn是第n层的通道选择特征(Channel Selection Feature)，L2Norm()是L2归一化函数，GCE是全局上下文嵌入(Global Context Embedding),CN是通道归一化(Channel Normlization)。
S7、对水域分割模型进行训练(参见图4)
S701、训练分割模型过程中，损失函数使用交叉熵损失函数Llog(y,p)，定义为：
Llog(y,p)＝-(ylog(p)+(1-y)log(1-p))
其中，y为标签，p为分割模型的预测概率。
S702、用经过S5处理后的训练集和验证集对S6中设计的模型进行训练，每次训练过程中，将验证集上F1系数最高的模型保存为最优模型；
S8、用S5中的测试集对S7中训练得到最优模型进行测试，利用F1系数、模型参数量和模型计算量对水域分割模型的分割性能和复杂度进行评估；(参见图5)
S9、对比不同融合结构的分割效果给出最佳融合方案；
通过设计“多路径与单路经”、“多模态与单模态”、“水体指数与多光谱原始波段”三组实验，并利用S5中的数据集和S7中的方法对不同实验进行模型训练；最后，通过模型评估，得到最佳融合方案(参见图2、图6、图7)；具体方法如下：
S901、设计“多路径与单路径”的对比方案，将极化信息和水体指数分成多个路径输入到水域分割模型中，此时的编码器为“多路径编码器”；将极化信息和水体指数按照通道维度连接在一起，经由一个路径输入到水域分割模型中，此时的编码器为“单路经编码器”，分别训练出两个模型，对比在测试集上的预测结果。
S902、设计“多模态与单模态”的对比方案，需要分别训练出“仅使用极化信息”、“仅使用水体指数”和“使用两种数据”的模型，对比在测试集上的预测结果。
S903、设计“水体指数与多光谱原始波段”的对比方案，该方案不使用极化信息，并且采用“单路经编码器”，分别训练出两个模型，对比在测试集上的预测结果。
一种实现步骤1至9的水体指数与极化信息多路径融合的遥感图像水域分割方法的分割系统包括：
数据集构建模块，用于从采集的遥感图像中提取出水体指数，并与SAR图像结合构建出用于完成本发明中的水域分割模型的训练、验证与测试任务的数据集；
数据输入处理模块，用于完成无效区域屏蔽、数据归一化、数据标准化、数据增强和随机采样任务；
多路径编码器模块，用于对输入的多模态数据进行多路径逐层特征提取；
通道加权跳跃连接模块，用于重新分配不同通道之间的权重，使模型更关注重要数据的通道；
解码器模块，用于将多路径编码器提取的多路径特征与自身上一层提取的深层特征进行融合，并逐层扩大特征图的分辨率；
分类器模块，用于将特征图的通道数降低为类别数，作为整个水域分割深度网络模型的输出结果。
一种实现步骤1至9的水体指数与极化信息多路径融合的遥感图像水域分割方法的分割设备包括：
图像采集器，用于从不同地区洪水事件数据集中收集同区域且时间段相近的SAR遥感卫星和多光谱遥感卫星采集的图像；
程序处理器，用于存储计算机程序，并在执行所述计算机程序时实现步骤1至步骤9所述的水体指数与极化信息多路径融合的遥感图像水域分割方法。
本发明利用多光谱图像和SAR图像这两类多源遥感数据，提出一种水体指数与极化信息多路径融合的遥感图像水域分割方法，该方法对原始的UNet算法进行了一系列的改进，包括引入水体指数，设计多路径多源数据融合编码器，利用Gated Channel Transform(GCT)注意力机制等，以应对遥感图像中复杂的地物环境对水域分割的不利影响，实现在较少的计算资源的前提下，提高水域分割的精度。

Claims (10)

1.一种水体指数与极化信息多路径融合的遥感图像水域分割方法，其特征在于，具体包括以下步骤：
S1、从不同地区洪水事件数据集中收集同区域且时间段相近的SAR遥感卫星和多光谱遥感卫星采集的图像；
S2、对多光谱遥感卫星采集的遥感图像进行水体指数计算：
S3、构建包含水体指数和极化信息的多源遥感数据集(WIPI)；
S4、将步骤S3中的WIPI数据集以地区为单位，自定义比例随机划分为训练集、验证集和测试集；
S5、构建由无效区域屏蔽、数据归一化、数据标准化、数据增强和随机采样组成的水域分割网络的输入处理模块，对WIPI全数据集进行归一化和标准化预处理，并对其中的训练集和验证集进行数据增强；
S6、设计水体指数与极化信息多路径融合的水域分割深度网络模型；
S7、对水域分割模型进行训练；
S8、用步骤S5中的测试集对步骤S7中训练得到最优模型进行测试，利用F1系数、模型参数量和模型计算量对水域分割模型的分割性能和复杂度进行评估；
S9、对比不同融合结构的分割效果给出最佳融合方案。
2.根据权利要求1所述的水体指数与极化信息多路径融合的遥感图像水域分割方法，其特征在于，所述步骤S2具体方法为：
S201、波段选择：选择能够提供蓝色波段、绿色波段、红色波段、近红外、短波红外波段的多光谱遥感卫星图像；
S202、根据步骤S201选择波段的多光谱图像数据集计算水体指数，水体指数包括归一化水分指数(NDMI)、归一化植被指数(NDVI)、归一化差异水体指数(NDWI)、改进的归一化差异水体指数(MNDWI)、自动水体提取指数(AWEInsh及AWEIsh)和线性判别分析的水体指数(LDA)；
S203、将每一张多光谱图像计算出的多个水体指数，保存为一张与水体指数数量相同的通道数的图像，用于后续的水域分割工作。
3.根据权利要求1所述的水体指数与极化信息多路径融合的遥感图像水域分割方法，其特征在于，所述步骤S3具体方法为：
从步骤S1的SAR遥感卫星采集的图像中极化信息，将包含极化信息的SAR图像和步骤S203中计算出的水体指数组合成数据对，构建水体指数和极化信息数据集(WIPI)，用于后续分割模型的训练、验证和测试。
4.根据权利要求1所述的水体指数与极化信息多路径融合的遥感图像水域分割方法，其特征在于，所述步骤S4具体方法为：
首先，将采集自不同地区的WIPI数据集，按照地区分组；其次，每组按照自定义比例随机划分为训练集、验证集和测试集；最后，将分组划分后的训练集合并、验证集合并以及测试集合并，得到最终的划分结果。
5.根据权利要求1所述的水体指数与极化信息多路径融合的遥感图像水域分割方法，其特征在于，所述步骤S5具体方法为：将步骤S4得到的数据图像，在输入水域分割模型之前进行数据预处理和数据增强操作，具体方法为：
S501、生成无效区域掩膜：根据步骤S4得到每张图像的无效值像素位置，得到一张无效区域掩膜，根据无效区域掩膜对数据归一化和标准化处理，来屏蔽无效值像素点，去除无效区域的影响；
S502、数据归一化处理：按照通道维度方向，计算步骤S501处理后所有图像中相同通道的总体最大值和总体最小值，并利用得到的两个总体最大值和总体最小值指标对该通道的数据进行归一化，具体公式如下：
Figure QLYQS_1
Figure QLYQS_2
其中：
Figure QLYQS_3
表示第i张图像的第c个通道中的第j个像素值，/>
Figure QLYQS_4
表示/>
Figure QLYQS_5
归一化后的像素值，minc为第c个通道层的像素最小值，maxc为第c个通道层的像素最大值；
S503、经过归一化后，所有图像中相同通道层分为一组，组内计算总体均值和总体方差，总体均值和总体方差的计算公式如下：
Figure QLYQS_6
Figure QLYQS_7
其中，Meanc表示第c个通道的像素均值，Stdc表示第c个通道的像素标准差，
Figure QLYQS_8
表示第i张图像的第c个通道的第j个像素值，N表示图像数量，M表示单张图像中的像素个数；
S504、数据标准化处理：对步骤S502得到的归一化后的数据X进行通道维度的标准化处理，标准化公式如下：
Figure QLYQS_9
其中，
Figure QLYQS_10
表示标准化后的表示第i张图像的第c个通道中的第j个像素值；
S505、数据增强：对经过归一化和标准化处理后的数据，进行包括水平翻转、垂直翻转、随机角度(45°-180°)逆时针旋转、添加随机噪声、增强对比度的数据增强，将训练数据和验证数据进行扩充；
S506、随机采样：对数据增强扩充的WIPI数据中的训练集和验证集进行随机采样出宽高为w×h的图像块,遍历每一张图像，从每一张图像中截取出[25,50]张图像块，其中，h大于等于32，小于图像的高，w大于等于32，小于图像的宽；
通过随机数函数生成两组数据X和Y，每组中包括[25,50]个数字，按照下标一一对应组合成待截取图像块的左上角坐标,在确定待截取图像块的左上角坐标和截取宽高后，便可以生成图像块,具体实现公式如下：
Figure QLYQS_11
其中，N为图像总个数，H为纵轴坐标数列，W为横轴坐标数列，Range(·)为数列生成函数，公式中可以生成指定范围内以[10，30]为步长的一个等差数列，RandomSample(·)为随机采样函数，从Range(·)生成的数列中，随机抽取出[25,50]个数字，[Hj,Wj]表示第j张图像块的左上角坐标，ImageBlocki,j表示第i张图像的第j张图像块。
6.根据权利要求1所述的水体指数与极化信息多路径融合的遥感图像水域分割方法，其特征在于，所述步骤S6具体方法为：对原始的UNet算法进行改进，包括引入多路径多源数据融合编码器，利用GCT(Gated Channel Transform)注意力机制，构建多路径融合网络，具体包括如下步骤：
S601、设计水体指数与极化信息多路径融合的遥感图像水域分割深度网络模型，该水域分割网络采用卷积网络结构，包括：一侧的多路径收缩网络是编码器，用于多模态特征提取；中间的跳跃连接结合GCT，用于对多路径特征进行通道加权，将加权后的特征输入至解码器；解码器处于网络的另一侧，作为扩张网络用于恢复图像尺寸和融合深层与浅层的特征；
S602、构建包含卷积层、批归一化层和ReLU非线性激活层的CBR(Convolution-BatchNormalization-ReLU水域分割网络)模块，编码器中的CBR模块，保持特征分辨率不变，通道数增加，解码器中的CBR模块，保持特征分辨率不变，通道数减少；
S603、构建包含卷积层、批归一化层和ReLU非线性激活层的分类器模块，用于将特征图的通道数降低为类别数，作为整个水域分割深度网络模型的输出结果；
S604、基于步骤S602的CBR模块和水域分割网络中的最大池化层构建水域分割网络的编码器模块，该模块是将CBR模块和最大池化层交替使用，形成一个多路径多尺度的收缩网络结构，该结构会对输入的多模态数据进行多路径逐层特征提取；编码器模块的每一层接收上一层的特征输入，产生的特征输出有两种去向：向下输入到最大池化层和横向输送到GCT模块；
S605、基于步骤S602的CBR模块和反卷积层构建水域分割网络的解码器模块，该模块是将CBR模块和反卷积层交替使用，形成一个多尺度深浅层特征融合的扩张网络结构，该结构通过跳跃连接接受来自编码器提取的多路径特征，将来自编码器的浅层特征与自身上一层提取的深层特征进行融合，并逐层扩大特征图的分辨率；
S606、根据SAR图像的极化信息和水体指数的个数，在WIPI数据集上对多路径编码器的输入路径个数进行设定；SAR图像的VV和VH两种极化信息作为一个输入路径，水体指数中的NDWI和MNDWI作为一个输入路径，AWEIsh和LDA作为一个输入路径，NDVI、NDMI和AWEInsh分别经由单独的输入路径输入到网络；
S607、多路径编码器接收不同模态数据的输入，并对其进行逐层次的提取特征，得到的中间特征；具体公式如下：
Figure QLYQS_12
Figure QLYQS_13
其中，n表示编码器的第n层，p表示编码器的第p个路径，
Figure QLYQS_14
表示编码器的第p个路径中的第n层的输入，/>
Figure QLYQS_15
表示编码器的第p个路径中的第n层的输出特征，MP(·)表示2×2的最大池化操作；
然后，将不同路径但相同层的中间特征进行通道维度拼接，形成步骤S604中的编码器模块的每一层的输出特征，即拼接特征Fn，具体公式如下：
Figure QLYQS_16
其中，Fn是由编码器的第n层中所有路径输出特征的拼接而成；
S608、对多路径编码器的每一层输出特征进行GCT通道注意计算，GCTn中包括三组可学习参数：α、γ、β，可为第n层拼接特征Fn的每一个通道生成一个可学习参数；具体公式如下：
GCE＝α×(L2Norm(Fn))
Figure QLYQS_17
CSFn＝tanh(γ×(CN)+β)×Fn+Fn
其中，CSFn是第n层的通道选择特征(Channel Selection Feature)，L2Norm()是L2归一化函数，GCE是全局上下文嵌入(Global Context Embedding),CN是通道归一化(ChannelNormlization)。
7.根据权利要求1所述的水体指数与极化信息多路径融合的遥感图像水域分割方法，其特征在于，所述步骤S7具体方法为：
S701、训练分割模型过程中，损失函数使用交叉熵损失函数
Llog(y,p)，定义为：
Llog(y,p)＝-(ylog(p)+(1-y)log(1-p))
其中，y为标签，p为分割模型的预测概率；
S702、用经过步骤S5处理后的训练集和验证集对步骤S6中设计的模型进行训练，每次训练过程中，将验证集上F1系数最高的模型保存为最优模型。
8.根据权利要求1所述的水体指数与极化信息多路径融合的遥感图像水域分割方法，其特征在于，所述步骤S9具体方法如下：设计“多路径与单路经”、“多模态与单模态”、“水体指数与多光谱原始波段”三组实验，并利用步骤S5中的数据集和步骤S7中的方法对不同实验进行模型训练；最后，通过模型评估，得到最佳融合方案；具体步骤如下：
S901、设计“多路径与单路径”的对比方案，将极化信息和水体指数分成多个路径输入到水域分割模型中，此时的编码器为“多路径编码器”；将极化信息和水体指数按照通道维度连接在一起，经由一个路径输入到水域分割模型中，此时的编码器为“单路经编码器”，分别训练出两个模型，对比在测试集上的预测结果；
S902、设计“多模态与单模态”的对比方案，需要分别训练出“仅使用极化信息”、“仅使用水体指数”和“使用两种数据”的模型，对比在测试集上的预测结果；
S903、设计“水体指数与多光谱原始波段”的对比方案，该方案不使用极化信息，并且采用“单路经编码器”，分别训练出两个模型，对比在测试集上的预测结果。
9.一种实现权利要求1至8任一项水体指数与极化信息多路径融合的遥感图像水域分割方法的分割系统，其特征在于：所述分割系统包括：
数据集构建模块，用于从采集的遥感图像中提取出水体指数，并与SAR图像结合构建出用于完成本发明中的水域分割模型的训练、验证与测试任务的数据集；
数据输入处理模块，用于完成无效区域屏蔽、数据归一化、数据标准化、数据增强和随机采样任务；
多路径编码器模块，用于对输入的多模态数据进行多路径逐层特征提取；
通道加权跳跃连接模块，用于重新分配不同通道之间的权重，使模型更关注重要数据的通道；
解码器模块，用于将多路径编码器提取的多路径特征与自身上一层提取的深层特征进行融合，并逐层扩大特征图的分辨率；
分类器模块，用于将特征图的通道数降低为类别数，作为整个水域分割深度网络模型的输出结果。
10.一种实现权利要求1至8任一项水体指数与极化信息多路径融合的遥感图像水域分割方法的分割设备，其特征在于：所述分割设备包括：
图像采集器，用于从不同地区洪水事件数据集中收集同区域且时间段相近的SAR遥感卫星和多光谱遥感卫星采集的图像；
程序处理器，用于存储计算机程序，并在执行所述计算机程序时实现步骤1至步骤9所述的水体指数与极化信息多路径融合的遥感图像水域分割方法。
CN202310375149.7A 2023-04-10 2023-04-10 水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备 Pending CN116403121A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310375149.7A CN116403121A (zh) 2023-04-10 2023-04-10 水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310375149.7A CN116403121A (zh) 2023-04-10 2023-04-10 水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备

Publications (1)

Publication Number Publication Date
CN116403121A true CN116403121A (zh) 2023-07-07

Family

ID=87019552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310375149.7A Pending CN116403121A (zh) 2023-04-10 2023-04-10 水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备

Country Status (1)

Country Link
CN (1) CN116403121A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116629459A (zh) * 2023-07-24 2023-08-22 长江三峡集团实业发展(北京)有限公司 一种基于遥感和降水对水域淹没范围进行预测的方法
CN116699096A (zh) * 2023-08-08 2023-09-05 凯德技术长沙股份有限公司 一种基于深度学习的水质检测方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116629459A (zh) * 2023-07-24 2023-08-22 长江三峡集团实业发展(北京)有限公司 一种基于遥感和降水对水域淹没范围进行预测的方法
CN116629459B (zh) * 2023-07-24 2024-01-19 长江三峡集团实业发展(北京)有限公司 一种基于遥感和降水对水域淹没范围进行预测的方法
CN116699096A (zh) * 2023-08-08 2023-09-05 凯德技术长沙股份有限公司 一种基于深度学习的水质检测方法和系统
CN116699096B (zh) * 2023-08-08 2023-11-03 凯德技术长沙股份有限公司 一种基于深度学习的水质检测方法和系统

Similar Documents

Publication Publication Date Title
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN105160309B (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN110111345B (zh) 一种基于注意力网络的3d点云分割方法
CA2840436C (en) System for mapping and identification of plants using digital image processing and route generation
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN116403121A (zh) 水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN104318051B (zh) 基于规则的大范围水体信息遥感自动提取系统及方法
CN106295613A (zh) 一种无人机目标定位方法及系统
CN106650812A (zh) 一种卫星遥感影像的城市水体提取方法
CN104835175A (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN103745453B (zh) 基于Google Earth遥感影像的城镇信息提取方法
CN111524117A (zh) 一种基于特征金字塔网络的隧道表面缺陷检测方法
CN107506769A (zh) 一种城市水体信息的提取方法及系统
CN112308156A (zh) 一种基于对抗学习的两阶段图像变化检测方法
CN109829426A (zh) 基于高分遥感影像的铁路建设临时建筑监测方法及系统
CN115272876A (zh) 一种基于深度学习的遥感图像船舶目标检测方法
Jiang et al. Arbitrary-shaped building boundary-aware detection with pixel aggregation network
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
CN112529828B (zh) 参考数据非敏感的遥感影像时空融合模型构建方法
Cheng et al. Multi-scale Feature Fusion and Transformer Network for urban green space segmentation from high-resolution remote sensing images
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法
CN115424140A (zh) 星载海量图像数据分布式协同快速高精度处理系统及方法
Parkan Combined use of airborne laser scanning and hyperspectral imaging for forest inventories
Balajee et al. Detection of water availability in SAR images using deep learning architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination