CN116403103A - 基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法 - Google Patents
基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法 Download PDFInfo
- Publication number
- CN116403103A CN116403103A CN202310017318.XA CN202310017318A CN116403103A CN 116403103 A CN116403103 A CN 116403103A CN 202310017318 A CN202310017318 A CN 202310017318A CN 116403103 A CN116403103 A CN 116403103A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- network
- convolution
- risk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 241000192700 Cyanobacteria Species 0.000 title claims abstract description 57
- 238000010191 image analysis Methods 0.000 title claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 42
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 claims abstract description 40
- 108010053210 Phycocyanin Proteins 0.000 claims abstract description 39
- 229930002868 chlorophyll a Natural products 0.000 claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 238000005070 sampling Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 22
- 241000192710 Microcystis aeruginosa Species 0.000 claims description 20
- 238000013136 deep learning model Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 15
- 230000008439 repair process Effects 0.000 claims description 9
- 239000004973 liquid crystal related substance Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 229930002875 chlorophyll Natural products 0.000 claims description 5
- 235000019804 chlorophyll Nutrition 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000007787 long-term memory Effects 0.000 claims description 2
- 230000006403 short-term memory Effects 0.000 claims description 2
- 241000801118 Lepidium Species 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000013135 deep learning Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 241000195493 Cryptophyta Species 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012851 eutrophication Methods 0.000 description 3
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- Astronomy & Astrophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明是一种基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法。本发明方法包括：基于空间权重矩阵及基于注意力机制的Pix2Pix模型对存在损坏点的叶绿素a浓度、温度以及藻蓝素浓度遥感图像进行修复；基于三次样条与卷积长短时网络及三维卷积对遥感图像时间序列进行填补；基于时间生成对抗网络对遥感图像时间序列进行扩充；基于四维生成对抗网络进行多因素遥感图像像素级预测；根据预测的三种遥感图像预测蓝藻水华暴发风险。本发明将叶绿素a浓度、温度以及藻蓝素浓度的遥感图像共同用于对蓝藻水华暴发的预测，修补和扩充了预测样本，提高了对未来时刻多因素遥感图像的预测精度，以及对未来时刻蓝藻水华暴发的时空分布预测精度。
Description
技术领域
本发明属于人工智能技术与环境学科交叉领域，涉及水华预测技术，具体涉及一种基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法。
背景技术
随着科技和社会的发展，水环境污染所导致的水体富营养化现象越来越严重，成为了全球化的环境问题。蓝藻水华是在水体富营养化状态下，藻类大量繁殖聚集并达到一定浓度后使水体呈现蓝绿色的一种水体污染现象。蓝藻水华的暴发会给人们的日常生活带来极大的危害，不仅会引起巨大的环境污染，导致当地水资源短缺，还会影响当地经济发展，研究表明经济发展与环境水平息息相关。由于蓝藻水华暴发属于突发事件，而且一旦发生控制难度很大，并耗费大量的人力物力。如果能够提前预见到蓝藻水华的发生，使得有关部门尽早地做出决策并及时采取相应的应急措施就会取得事半功倍的治理效果，避免因蓝藻水华暴发带来的种种危害。因此，对水华进行预测具有重要的科学意义和应用价值。
目前的水质来源主要由传统的水质监测和卫星遥感技术获得，由于传统的水质监测是通过在水下固定点位放置传感器监测得到，因此数据量和监测范围较小，难以实现大面积水域的同步测量，而遥感监测技术则是通过航空卫星实现远距离对目标水域进行监测，可以实现对整体水域水质的同步测量。因此本发明基于遥感图像，通过像素级预测未来时刻遥感图像的方式实现对蓝藻水华暴发进行预测。而由于现有通过像素级预测未来时刻遥感图像实现蓝藻水华预测中大多使用叶绿素a浓度遥感图像进行建模，没有考虑其他因素对蓝藻水华暴发的影响，并且在遥感图像的采集过程中，由于天气原因往往导致遥感图像中部分内容存在损坏并且采样时间间隔不等，进而导致现有遥感图像数据量较少。并且现有研究尚未将叶绿素a浓度、温度以及藻蓝素浓度的遥感图像共同用于对蓝藻水华暴发的评价。
因此，在了解通过像素级预测未来时刻遥感图像的方式实现对蓝藻水华暴发进行预测以及现有遥感图像数据存在的问题后，如何对现有遥感图像进行预处理使其可以作为时间序列建模的数据，以及如何同时提取多因素遥感图像的时间序列信息实现对未来时刻多因素遥感图像像素级的预测，用于对蓝藻水华暴发进行建模是蓝藻水华研究领域中亟待解决的问题。
发明内容
为了解决现有遥感图像在采样过程中存在遥感图像损坏、采样时间间隔不等以及数据量少，并且未能实现同时提取多种因素遥感图像的时间序列信息用于对未来时刻多因素遥感图像的像素级预测从而导致现有蓝藻水华暴发预测精度不高的问题，本发明提供了一种基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法，针对叶绿素a、温度以及藻蓝素的遥感反演图像，将深度学习模型与数理统计模型相结合，进行遥感图像预处理，在此基础上，通过对多因素时间序列遥感图像建立四维生成对抗网络模型，预测未来时刻的遥感图像，从而实现蓝藻水华预测。
本发明的基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法，包括如下步骤：
步骤一，基于空间权重矩阵及基于注意力机制的Pix2Pix模型对存在损坏点的遥感图像进行修复；所述遥感图像包括叶绿素a浓度遥感图像、温度遥感图像以及藻蓝素浓度遥感图像三种；
对每一种遥感图像，对完好的遥感图像人工添加掩膜生成训练集，将添加掩模后的遥感图像作为输入，对应完好的遥感图像作为输出，对基于注意力机制的Pix2Pix模型进行训练，利用训练好的Pix2Pix模型对存在损坏点的遥感图像进行修复；对经Pix2Pix模型修复后仍存在损坏点的遥感图像采用空间权重矩阵进行二次修复。
步骤二，基于三次样条与卷积长短时网络及3DCNN(三维卷积)对遥感图像时间序列进行填补；
设遥感图像采样时间为ts，对经步骤一修复后的每种遥感图像数据集，先采用三次样条插值方法填补数据集，再采用基于卷积长短时网络及3DCNN的深度学习模型填补数据集，最后再使用三次样条插值方法填补数据集，获得时间间隔ts的完整遥感图像序列数据集；其中，对数据集中两相邻遥感图像的时间间隔小于4ts的情况，使用三次样条插值方法填补缺失的遥感图像，对数据集中两相邻遥感图像的时间间隔大于3ts的情况，使用所述的深度学习模型填补缺失的遥感图像；所述的深度学习模型的输入为连续三个采样时间的遥感图像序列，预测输出向前一个或向后一个采样时间的遥感图像。
步骤三，基于时间生成对抗网络TimeGAN对遥感图像时间序列进行扩充；
对每一种遥感图像时间序列的数据集进行扩充，将三维的遥感图像时间序列拉伸为一维数据，将拉伸后的一维数据采用时间生成对抗网络扩充，再将扩充后的一维数据重构为遥感图像时间序列，获得具有相同分布的遥感图像时间序列。
步骤四，基于四维生成对抗网络进行多因素遥感图像像素级预测；
所构建的四维生成对抗网络，由生成器和判别器构成，生成器为3D卷积长短时网络与融入残差结构的3DUnet网络串联而成，判别器为3D PatchGAN网络；
四维生成对抗网络的输入是三种遥感图像的时间序列，在生成器中，通过3D卷积长短时网络对同一时刻三种遥感图像提取多因素遥感图像特征，将输入序列中最后一个时刻提取的多因素遥感图像特征输入融入残差结构的3DUnet网络，通过3DUnet网络的编码解码，进行输入序列的下一时刻的多因素遥感图像预测；通过判别器和生成器对抗训练使网络达到性能最优，利用训练后的生成器进行多因素遥感图像预测。
步骤五，根据预测的三种遥感图像进行蓝藻水华暴发风险预测；
分别根据叶绿素a浓度、温度以及藻蓝素浓度设置蓝藻水华暴发风险等级的划分，由四维生成对抗网络的生成器获取预测的叶绿素a浓度遥感图像、温度遥感图像以及藻蓝素浓度遥感图像，依据各自蓝藻水华暴发风险等级划分确定对应的风险等级，然后对三个风险等级加权求和确定最终的蓝藻水华暴发风险等级。
相比现有技术，本发明的优点在于：
(1)本发明方法针对采集的遥感图像中存在损坏区域的情况，提出了基于空间权重矩阵与深度学习相结合的遥感图像修复，利用已有数据构造基于注意力机制的Pix2Pix模型进行遥感图像修复。在使用该模型修复遥感图像时不仅考虑到图像本身的因素，还考虑到整体数据集的特征，使修复效果更加合理。针对在数据集样本较少深度学习模型修复较差的情况，本发明方法采用空间权重矩阵进行二次修复使遥感图像修复完整。
(2)本发明方法利用基于卷积长短时网络及3DCNN的深度学习模型与三次样条相结合的方式对遥感图像时间序列进行填补，以解决数据集中部分时间采样缺失，遥感图像时间序列采样间隔不等的问题。由于三次样条仅仅由前后部分时刻的采样点进行拟合后插值，因此在长时间序列数据丢失的情况下无法精准填补，因此将时间间隔小于三天的数据使用三次样条插值进行填补，面对长时间序列丢失的情况使用深度学习模型，将二者结合不仅可以扩充深度学习的训练数据，并且在填补长时间序列中充分考虑整体数据集的特征。
(3)本发明方法考虑到遥感图像时间序列数据样本较少的情况，利用TimeGAN扩充插值后的遥感图像数据集，由于遥感图像时间序列为三维数据，为了节省运算资源，将遥感图像时间序列数据拉伸成一维数据进行扩充，再将扩充后的一维数据重构为遥感图像时间序列数据，从而生成多组具有相同分布的遥感图像时间序列，增加了预测模型的训练集，使后面预测网络能更好的对真实情况进行预测。
(4)本发明方法构建了四维生成对抗网络实现对未来时刻多因素遥感图像的像素级预测，将多种蓝藻水华影响因素(叶绿素a、藻蓝素、温度)作为第四维度，构成四维的多因素遥感图像时间序列，通过将3D卷积核引入卷积长短时网络，提出3D卷积长短时网络模型，并与3DUnet模型结合，提出四维生成对抗网络，提取四维的多因素遥感图像时间序列信息并对未来时刻多因素遥感图像进行像素级预测，由于该模型不仅考虑了多因素遥感图像时间序列的二维空间和时间关系，更考虑到各因素间关系，因此可以提高对未来时刻多因素遥感图像预测的精度。
(5)本发明方法提出基于多因素遥感图像像素级预测的蓝藻水华暴发预测方法，通过对未来时刻多种因素遥感图像的像素级预测，以及提出相应的多因素蓝藻水华暴发风险评价标准，综合考虑叶绿素a浓度、温度以及藻蓝素浓度，来共同用于对蓝藻水华暴发的预测，提高了对未来时刻蓝藻水华暴发的时空分布预测精度。
附图说明
图1是本发明的四维生成对抗网络的遥感图像分析及蓝藻水华预测方法整体流程图；
图2是本发明使用的基于注意力机制的Pix2Pix模型的结构图；
图3是本发明的Pix2Pix模型中的通道注意力的模型图；
图4是本发明的基于注意力的Pix2Pix模型的生成器结构图；
图5是本发明的基于注意力的Pix2Pix模型中下采样结构图；
图6是本发明的基于注意力的Pix2Pix模型中上采样结构图；
图7是本发明对遥感图像时间序列进行填补的流程图；
图8是本发明进行图像填补所用的卷积长短时网络及3D CNN网络的模型图；
图9是本发明基于多因素遥感图像预测的生成对抗网络结构图；
图10是生成对抗网络中的3D卷积长短时网络结构图；
图11是生成对抗网络中的3DUnet网络结构图；
图12是3DUnet网络中的下采样结构图；
图13是3DUnet网络中的上采样结构图；
图14是生成对抗网络中的3D判别器的结构图；
图15是本发明根据叶绿素a浓度划分的蓝藻水华暴发风险等级图；
图16是本发明根据藻蓝素浓度划分的蓝藻水华暴发风险等级图；
图17是本发明根据温度划分的蓝藻水华暴发风险等级图；
图18是本发明实施例中示例的含有损坏点的遥感图像的灰度示意图；
图19是本发明实施例中遥感图像添加掩膜前后的对比图；
图20是本发明实施例修复遥感图像的示意图；
图21是本发明实施例填补时间序列的示意图；
图22是本发明实施例原有数据与扩充数据对比示意图；
图23是本发明实施例多因素预测结果对比图；
图24是本发明实施例基于多因素蓝藻水华暴发风险评价结果图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明提供的基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法，将叶绿素a浓度、温度以及藻蓝素浓度的遥感图像共同用于对蓝藻水华暴发的预测，目前尚未有如此预测蓝藻水华的技术。本发明方法中，分别提出了基于注意力机制Pix2Pix模型以及空间权重矩阵的遥感图像修复方法、基于卷积长短时网络和3DCNN以及三次样条插值方法的遥感图像时间序列填补方法以及基于TimeGAN的遥感图像时间序列扩充方法，在此基础上，将多种影响因素作为一个继二维平面图像、一维时间后的第四维度，通过将3D卷积核引入传统2D卷积长短时网络模型，提出3D卷积长短时网络模型，并与3DUnet模型结合，构建四维生成对抗网络(4D-GAN)，用于对四维的多因素遥感图像时间序列信息进行提取，实现对多因素遥感图像时-空序列信息的提取及像素级预测，对蓝藻水华暴发多因素时空分布状态的预测。本发明方法能够提高蓝藻水华的预测精度，为蓝藻水华预测提供了一种新思路。
如图1所示，本发明实施例的四维生成对抗网络的遥感图像分析及蓝藻水华预测方法，分下面五个步骤来说明。本发明获取叶绿素a浓度、温度以及藻蓝素浓度三种遥感图像，然后对这三种遥感图像分别进行修复、时间序列填补和扩充，然后一起基于四维生成对抗网络进行多因素遥感图像像素级预测，以及蓝藻水华预测。
步骤一、基于空间权重矩阵及注意力机制Pix2Pix模型对遥感图像进行修复。
由于天气原因部分遥感图像采样时会有云层遮挡，并且图像上还存在一些像数值异常点，这些统称为损坏点。本发明通过结合基于注意力机制的Pix2Pix模型和空间权重矩阵法对存在损坏点的遥感图像进行修复。挑选数据集中未被损坏的遥感图像，通过人工添加掩膜生成训练集来训练基于注意力机制的Pix2Pix模型，添加掩膜的遥感图像作为输入，未添掩膜的遥感图像作为输出。利用训练好的Pix2Pix模型对存在损坏点的遥感图像进行修复。遥感图像数据样本较少时，对Pix2Pix模型修复效果较差的遥感图像的部位采用空间权重矩阵进行二次修复。
首先构造基于注意力机制的Pix2Pix模型的训练集。对一种遥感图像，本发明定义已有数据集为X，其中X＝(x1,x2,x5...xk,xk+m...xn)，x1代表第1天的遥感图像，xk+m代表第k+m天的遥感图像，xn代表第n天的遥感图像。在已有数据集X中选取没有损坏点的遥感图像构建新的数据集，记为X′，X′＝(x′1,x′2,...x′m,x′m+k,...x′n)，x′m为选取入X′的第m天遥感图像，为完好的遥感图像。X中剩余数据集记为X”。首先对X′中的每个数据添加随机掩膜构建基于注意力机制的Pix2Pix模型的输入数据Xin，
表示Xin中第n天遥感图像，Xin中的每个数据通过X′中每个数据添加随机掩膜得到，添加掩膜的具体方式如下公式：
其中，
为x′i的白色掩膜，x′i为数据集X'中第i天的遥感图像数据，/>
为数据集Xin中第i天的遥感图像数据；pa,b与p′a,b为权重矩阵，权重矩阵的维度与遥感图像数据维度相同，矩阵中元素为随机的0与1；/>
为哈达玛积。
Xin中的每个数据为Pix2Pix模型的输入，X′中的每个数据为对应的输出。本发明基于注意力机制的Pix2Pix模型具体结构如图2所示，注意力机制主要分为通道注意力机制与空间注意力机制，其中，通道注意力机制的构建如图3所示，具体可以描述为：
a2＝f(Wc*a1(C,1)) (4)
其中
代表Xin中第i天的遥感图像，(H,W,C)代表遥感图像的数据格式为一个三维数据，表示遥感图像的高和宽分别为H、W个像素，通道数为C，GlobalAveragePooling表示进行全局平局池化，a1为全局平均池化的结果，是一个长度为C的特征，Wc为一个权重矩阵，a1(C,1)表示将a1的数据重构为一个C×1的矩阵，a1中的数据顺序不发生改变，*代表卷积，f为sigmoid激活函数，a2为激活函数输出的二维矩阵，a2(1,1,C)是将a2重构为一个1×1×C的矩阵，fchannel为通道注意力机制的输出。
空间注意力机制参考文献1(Sanghyun Woo等人在2018年公开的《CBAM:Convolutional Block Attention Module》)中的空间注意力机制进行构建，空间注意力机制的输入为通道注意力机制的输出。最后得到的注意力机制输出记为fatten。本步骤中的Pix2Pix模型包含生成器和马尔科夫判别器，参考文献2(Isola P等人在2016年公开的《Image-to-Image Translation with Conditional Adversarial Networks》)结构，通过在原生成器中添加注意力机制与残差网络构建新的生成器，新的生成器结构如图4所示，新的生成器包含了9个下采样模块和9个上采样模块，下采样模块如图5所示。下采样模块可以描述为：
fdown_2＝Att(fdown_1) (7)
fdown_3＝f(B(fdown_2*ω2+b2)) (8)
fdown_4＝f(B(fdown_3*ω3+b3)) (9)
fdown_out＝fdown_2+fdown_4 (10)
其中
为输入的图像，ω1，ω2，ω3为权重矩阵，b1，b2，b3为偏置值，B为批标准化过程，f为sigmoid激活函数，fdown_1为二维卷积(Conv2d)输出，Att为添加的注意力机制过程，fdown_2为注意力机制的输出，fdown_2即fatten，fdown_3、fdown_4分别为残差模块的两次特征提取的输出，fdown_out为残差模块的最终输出。
如图6所示，上采样模块在原Pix2Pix模型的生成器的采样部分添加了步长为1的带残差的下采样模块。
本发明实施例马尔科夫判别器使用文献2中的判别器进行对抗训练。
基于注意力机制的Pix2Pix模型的遥感图像修复输入为Xin，输出为X′，保存训练后的生成器，通过输入X”，对存在数据损坏的遥感图像进行修复，得到的修复后的图像记为X″1。由于数据样本量较少，因此针对部分深度学习模型修复效果较差的图像，通过空间权重矩阵进行修复，具体参考文献3(发明专利：王立等人，《基于ACONV－LSTM与New－GANs组合的蓝藻水华预测系统及预测方法》，公开号为CN114821285A，公开日为2022-07-29)，将X″1中深度学习修复效果较差的图像使用空间权重矩阵进行修复后得到全部修复好的遥感图像数据集X″2。则步骤一现有完整数据集表示为X完整，X完整是X″2与X′的并集，记为
X完整的长度与X的长度相等。
步骤二、基于三次样条与卷积长短时网络及3DCNN(三维卷积)对遥感图像时间序列进行填补。
实际情况中遥感图像数据集可能存在部分时间遥感图像采样缺失的情况，导致遥感图像时间序列采样间隔不等，无法直接用于建模预测。即步骤一中的数据集X完整存在采样时间间隔不等的问题，本发明采用三次样条与卷积长短时及3DCNN网络相结合的深度学习模型进行填补得到空缺的采样时间，具体流程如图7所示。本发明实施例中遥感图像的采样时间ts为一天，则经过本步骤填补后，将获得采样时间间隔为1天的三种遥感图像数据集。
首先在数据集X完整中选取间隔时间小于四天的时间遥感图像时间序列，使用三次样条插值进行填补。由于遥感图像是矩阵数据，因此需要针对遥感图像中每个像素点分别进行三次样条函数。将数据集X完整中的遥感图像按照时间从1开始编号，利用整体数据集构建基于三次样条的曲线，空缺时间的遥感图像使用拟合的三次样条曲线插值得到。具体的可以描述为：首先由数据集X完整的采样时间序列构造采样时间矩阵time＝[1,2,5,...,k,k+j,...,n]，针对数据集X完整中的每一张遥感图像的每一个像素点，分别建立一个三次样条多项式。则：
p(i,j,k)(t)＝f(i,j,k)(t)，t∈time (11)
其中，p(i,j,k)(t)是第t个时刻第k个通道上高度为i、宽度为j的遥感图像像素值，f(i,j,k)(t)是在第t个时刻使用三次样条插值得到的结果，其中f(i,j,k)的表达式通过使用X完整中所有遥感图像中第k个通道上高度为i、宽度为j的像素值进行拟合得到，将插值后的数据与X完整进行合并得到数据集XSa，
表示XSa中第n天的遥感图像。XSa中缺失的时间间隔全部大于3天。
对于时间间隔大于三天的遥感图像，本发明采用深度学习的方式进行填补。如图8所示，本发明构建了基于卷积长短时网络(ConvLSTM)和3DCNN网络的深度学习模型，该模型由生成器和判别器构成，生成器由两层卷积长短时网络和一层3DCNN网络构成，判别器由三层2D卷积神经网络构成。该模型分为向前预测模型和向后预测模型。其中向后预测是利用该模型通过输入连续的前三个时刻的遥感图像实现当前第4个时刻遥感图像的预测，即
其中xd_b(t)是时刻t通过深度学习得到的遥感图像，Deep_b是训练后的向后预测的深度学习模型。
向前预测模型通过输入后三个时刻的遥感图像预测前一个时刻的遥感头像，即
其中xd_f(t)是时刻t通过深度学习得到的遥感图像，Deep_f是训练后的向前预测的深度学习模型。
通过深度学习模型分别从前向后以及从后向前进行插值预测，若间隔时间d为偶数，则分别插值(d-2)/2天的遥感图像，若时间间隔d为奇数，则分别插值(d-3)/2天的遥感图像。将深度学习得到的遥感图像与XSa进行合并得到新的数据集Xd_s，在处理Xd_s中时间序列缺失的遥感图像中，同样首先构建时间序列矩阵time_d＝[1,2,3,4,5,...,k,k+1,k+2,...,n]，利用Xd_s中的数据构建三次样条插值曲线，缺失时刻的遥感图像使用该三次样条曲线拟合得到。将三次样条拟合得到遥感图像与Xd_s进行合并，得到时间序列连续的遥感图像数据集Xd，表示为
步骤三、基于时间生成对抗网络对遥感图像时间序列进行扩充。
针对遥感图像时间序列数据样本较少的情况，本发明方法采用的时间生成对抗网络参考Yoon J等人在2019年公开的《Time-series Generative Adversarial Networks》中的TimeGAN网络结构实现，对遥感图像时间序列扩充。本发明方法对输入数据格式进行了修改，实现了针对遥感图像的时间序列扩充。
首先将针对数据集Xd中的每张遥感图像
重构为/>
具体方式为：
其中
表示数据集Xd中第i个时刻的遥感图像，p1,1,k代表第k个通道上第1行第1列的遥感图像像素值，/>
是一个三维矩阵，大小为a×b×3，R代表数据重构，/>
为/>
重构后的数据，保持数据位置不变，将其拉伸为一维数据，数据大小为1×(a×b×3)，共3个通道。
由于将三维矩阵拉伸成一维数据后，每个一维数据的长度较大，因此为了降低运算需求，本发明将一次性生成全部数据集代替为每次生成三十个时刻的遥感图像，即首先取Xd中前30个时刻的遥感图像按照公式进行数据重构，将重构后的数据输入至TimeGAN中进行训练，之后输入随机的噪音得到这30个时刻的遥感图像的扩充序列图像，再将扩充后的一维数据重构为遥感图像时间序列数据；然后输入第31个时刻到第60个时刻的遥感图像重新进行训练，到的该组时刻的扩充序列图像，直到Xd中所有的数据都被扩充后，保存所有的TimeGAN模型，通过输入随机噪音产生多组时间序列数据，生成多组具有相同分布的遥感图像时间序列。
步骤四、基于四维生成对抗网络进行多因素遥感图像像素级预测。
本发明的四维生成对抗网络模型从空间的长和宽两个维度、多因素维度以及时间维度这四个维度实现了对未来时刻的遥感图像的像素级预测。其中多因素维度是指叶绿素a浓度、温度以及藻蓝素浓度这三个因素，作为一个维度。
本发明构建的基于多因素的遥感图像像素级预测的生成对抗网络由生成器和判别器构成，如图9所示，其中生成器为3D卷积长短时网络与融入残差结构的3DUnet串联而成，判别器为3D PatchGAN网络。3D卷积长短时网络用于提取多因素遥感图像时间序列信息，3D卷积长短时网络结构如图10所示，通过将卷积长短时网络中的2D卷积使用3D卷积进行替换，将对应的输入门、遗忘门、输出门以及新生信息的权重由二维权重升级为三维权重，再采用3D卷积长短时网络对第四维度即时间维度的特征提取并对时间降维，得到降维后的三维多因素遥感图像特征。具体利用3D卷积长短时网络对每一个时间步提取一组多因素遥感图像特征，可以描述为：
it＝σ(Wi*[Xt,Yt,Zt]+Wi*Ht-1+bi) (16)
ft＝σ(Wf*[Xt,Yt,Zt]+Wf*Ht-1+bf) (17)
ot＝σ(Wo*[Xt,Yt,Zt]+Wo*Ht-1+bo) (19)
其中，Xt,Yt,Zt分别是三个影响因素(叶绿素a浓度、温度以及藻蓝素浓度)在相同时刻t的遥感图像，it为输入门输出，ft为遗忘门输出，
为新生信息，ot为输出门输出，Ct为长期记忆，Ht是短期记忆，σ为sigmoid激活函数，tanh为tanh激活函数，Wi，Wf，Wc，Wo分别是输入门、遗忘门、新生信息以及输出门的三维卷积核，bi，bo，bf，bc分别为输入门、输出门、遗忘门以及新生信息的偏置，*代表卷积运算。Ht为对时刻t的三种遥感图像所提取的多因素遥感图像特征。
将三种遥感图像时间序列数据输入至3D卷积长短时网络，经过多因素遥感图像特征提取后，输出最后一个时刻的多因素遥感图像特征至融入残差结构的3DUnet网络中进行编码解码，如图11所示，本发明中融入残差的3DUnet网络由上采样模块和下采样模块构成。
如图12所示，每个下采样模块由一个3D卷积层，一个3D批标准化层，一个激活函数层，和一个残差模块构成。残差模块由两个3D卷积层和一个连接层构成，其中第二个3D卷积核个数为第一个3D卷积核的二倍，卷积核大小分别是1*1和3*3，步长为一，保证在经过残差模块后网络输出大小与输入大小相同，经过两个3D卷积层后将所得到的输出与残差模块的输入相加完成残差模块的构建。
如图13所示，上采样模块由一个3D反卷积层，一个3D批标准化层，一个激活函数层，一个dropout层，以及一个残差模块组成。通道连接是指将上采样的输出与对应的下采样输出在通道上进行叠加。通过3DUnet网络的编码解码，输出未来一个时刻的多因素遥感图像，即未来同一时刻的叶绿素a浓度遥感图像、温度遥感图像以及藻蓝素浓度遥感图像，将输出的图像与真实图像输入至判别器中进行判别。
如图14所示，本发明中判别器由3个步长为2和一个步长为1的3D卷积层构成，前三个3D卷积层使用批标准化层以及LeakyReLU激活函数，最后一个3D卷积层不使用激活函数判别结构图。通过生成器和判别器的对抗训练使网络达到纳什均衡，利用训练后的生成器进行多因素遥感图像预测。
步骤五、基于多因素遥感图像像素级预测结果进行蓝藻水华预测。
在得到未来时刻多因素遥感图像后，同时考虑三种影响因素对蓝藻水华暴发的作用。通过借鉴文献3中对遥感图像中叶绿素a浓度实现对水体富营养化等级的划分，用于对叶绿素a浓度进行蓝藻水华暴发风险等级划分。参考文献4(Mchau G J等人在2019年公开的《Phycocyanin as a proxy for algal blooms in surface waters:case study ofUkerewe Island,Tanzania》)中表示，藻蓝素浓度为30μg/L时需要每周进行水质监测以评估水华风险，藻蓝素浓度为90μg/L时水华暴发风险很高必须限制用水，借鉴该标准实现对基于藻蓝素浓度的蓝藻水华暴发风险等级划分。参考文献5(李建松等人在2016年公开的《蓝藻水华暴发与水体细菌关系的研究进展》)中表示适宜蓝藻生长的温度范围为25～35℃，较高的水体温度有利于蓝藻成为优势种群，且有利于蓝藻水华的发生，而15℃以下时很少有蓝藻水华的发生，借鉴该标准实现基于温度的蓝藻水华暴发风险等级划分。
本发明首先对叶绿素a浓度进行风险等级划分，划分结果如图15所示。由于上述藻蓝素覆盖范围过小，因此本发明基于遥感图像重新定义了蓝藻水华暴发风险的9个风险等级，如图16所示。而针对温度的遥感图像同样是依据遥感图像的数据标尺，定义了蓝藻水华暴发风险的9个风险等级，如图17所示。为了方便计算，将对应的风险等级进行赋值操作，具体对应关系如表1所示。
表1 风险等级与对应的赋值关系表
| 风险等级 | 赋值 |
| 轻风险 | 1 |
| 中风险I | 2 |
| 中风险II | 3 |
| 中风险III | 4 |
| 重风险I | 5 |
| 重风险II | 6 |
| 重风险III | 7 |
| 重风险IV | 8 |
| 重风险V | 9 |
如表1所示，本发明方法将蓝藻水华暴发风险分为一个轻风险、3个中风险和5个重风险共9个等级。如图15所示，9个风险等级对应的叶绿素a浓度值范围分别如下：
轻风险：2.3-18.6μg/L； 重风险I：70.5-94.4μg/L；
中风险I：18.7-31.1μg/L； 重风险II：94.5-119.4μg/L；
中风险II：31.2-48.3μg/L； 重风险III：119.5-148.2μg/L；
中风险III：48.4-70.4μg/L； 重风险IV：148.3-185.6μg/L；
重风险V：185.7-247μg/L。
如图16所示，9个风险等级对应的藻蓝素浓度值范围分别如下：
轻风险：2.3-25.3μg/L； 重风险I：260.0-351.9μg/L；
中风险I：25.4-71.3μg/L； 重风险II：352.0-448.5μg/L；
中风险II：71.4-154.1μg/L； 重风险III：448.6-609.6μg/L；
中风险III：154.2-259.9μg/L； 重风险IV：609.7-876.4μg/L；
重风险V：876.5-1175.4μg/L。
如图17所示，9个风险等级对应的温度值范围分别如下：
轻风险：<2℃； 重风险I：14.1-18℃；
中风险I：2.1-6℃； 重风险II：18.1-22℃；
中风险II：6.1-10℃； 重风险III：22.1-26℃；
中风险III：10.1-14℃； 重风险IV：26.1-30℃；
重风险V：>30℃。
由于蓝藻水华的暴发主要影响因素由叶绿素与藻蓝素决定，因此针对每一因素的影响分别做了加权处理，则最终的蓝藻水华暴发等级计算公式为：
grade水华＝0.45×grade叶绿素+0.45×grade藻蓝素+0.1×grade温度 (22)
grade水华暴发＝round(grade水华) (23)
其中grade水华为蓝藻水华暴发的风险等级对应的赋值，grade叶绿素为叶绿素a对应的风险等级的赋值，grade藻蓝素为藻蓝素对应的风险等级的赋值，grade温度为温度对应的风险等级的赋值，round为四舍五入操作。将grade水华四舍五入取整得到grade水华暴发，根据grade水华暴发的值确定最终蓝藻水华暴发风险等级。
实施例
以江苏省太湖流域遥感反演的叶绿素a浓度、温度以及藻蓝素浓度为例，采用本发明提出的基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法对蓝藻水华暴发进行预测。经数据筛选后选取2010年3月10日到2010年12月29日采集到的叶绿素a浓度、温度以及藻蓝素浓度各100张原始数据作为训练样本，选取2009年10月6日期至2009年12月28日采集到的叶绿素a浓度、温度以及藻蓝素浓度各28张原始图片作为测试样本，首先使用参考文献3中的步骤2，标准化叶绿素a浓度及藻蓝素浓度范围值。由于温度遥感图像每一张的数据标尺变化范围较小，则选取整体数据集中最小的浓度值以及最大的浓度值，按照每4℃的间隔人工设定9个数据标尺后，进行温度遥感图像标尺进行标准化。
步骤一、基于空间权重矩阵及注意力机制Pix2Pix模型进行遥感图像修复。
因为天气原因，采样到的部分数据会有云层遮挡，并且由于图像上还存在一些数值异常点，这些统称为损坏点，如图18展示了叶绿素a浓度含有损坏点的遥感图像。将原数据集中没有损坏点的遥感图像添加掩膜人为构造包含“损坏点”，图19展示了叶绿素a浓度遥感图像添加掩膜前后的对比，将人为制造的具有“损坏点”的遥感图像输入至基于注意力的Pix2Pix模型，将对应的没有损坏点的遥感图像作为输出训练模型。基于注意力的Pix2Pix模型生成器下采样参数如表2所示。
表2下采样参数
上采样参数如表3所示：
表3上采样参数
使用训练后的模型进行修复原数据集中存在“损坏点”的遥感图像，对于经过基于注意力的Pix2Pix模型修后的遥感图像中修复效果较差的部位使用基于空间权重矩阵的方法进行二次修复，如图20展示了叶绿素a浓度修复前后的对比。
步骤二、基于三次样条与卷积长短时网络及3DCNN进行遥感图像时间序列填补。
将原数据集中含有损坏点的遥感图像修复后，使用三次样条插值进行填补间隔时间小于4天的遥感图像，将时间间隔大于三天的使用卷积长短时网络和3DCNN网络进行双向填补，具体参数如表4所示，中间时刻使用三次样条插值进行填补，填补后的部分时间序列如图21所示。完成时间遥感图像时间序列填充后共获得训练数据897张，测试数据252张。
表4 卷积长短时及3DCNN网络参数
| 网络层 | 卷积核个数 | 卷积核大小 | 步长 | Padding方式 |
| 卷积长短时网络-1 | 64 | 2*2 | 1 | Same |
| 卷积长短时网络-1 | 128 | 2*2 | 1 | Same |
| 3D-CNN | 3 | 3*1*1 | 1 | Valid |
步骤三、基于时间生成对抗网络进行遥感图像时间序列扩充。
经过步骤一和步骤二后获得了采样时间连续的遥感图像数据集，但是现有连续的遥感图像数据集数据量较少，因此使用时间生成对抗网络对现有数据进行扩充。首先选取一次性生成遥感图像数据量，本发明为了一次性生成30个连续时刻的遥感图像。首先选取30个连续时刻的遥感图像，将这30个遥感图像构建为数据格式为(1,30,128*128*3)的数据进行训练，训练200个epoch后保存模型，通过输入格式为(1,30,128*128*3)的随机噪声用于产生全新的遥感图像，模型的输出格式同样为(1,30,128*128*3)，将该数据重构为(30,128,128,3)即可得到30张生成的遥感图像。本发明实施例中遥感图像的长和宽均为128像素，具有RGB3个通道。
由于每次输入的噪音为随机噪音，因此在保存模型后每次运行的结果都不相同，因此只需重复运行便可得到多组遥感图像时间序列的扩充值。图22展示了原有数据和扩充数据的对比。扩充后用于训练的遥感图像为1764张。
步骤四、基于四维生成对抗网络进行多因素遥感图像像素级预测。
将叶绿素a浓度遥感图像，藻蓝素浓度遥感图像和温度遥感图像分别使用步骤一至步骤三进行处理，将得到的遥感图像构建为(8,4,3,3,128,128)的数据用于模型的输出，(1,3,3,128,128)用于模型的目标输出，其中模型输入中的8代表batchsize，4代表四个时刻，第一个3代表3个因素，第二个3代表每个因素的通道数，后两个维度分别为每个因素的长度和高度；模型的目标输出中的1代表batchsize，4代表四个时刻，一个3代表3个因素，第二个3代表每个因素的通道数，后两个维度分别为每个因素的长度和高度。分别使用每个因素的前四个时刻的遥感图像预测第五个时刻的遥感图像。3D卷积长短时网络参数如表5所示。
表5 3D卷积长短时网络参数
| 网络层 | 卷积核个数 | 卷积核大小 | 步长 |
| 3D卷积长短时网络 | 32 | 3*3*3 | 1 |
生成器中下采样参数表如表6所示。
表6 生成器下采样参数
| 网络层 | 卷积核个数 | 卷积核大小 | 步长 |
| 初始层 | 32 | 3*3*3 | 1 |
| 下采样1 | 64 | 1*3*3 | (1,2,2) |
| 下采样2 | 128 | 1*3*3 | (1,2,2) |
| 下采样3 | 256 | 2*3*3 | (2,2,2) |
| 下采样4 | 128 | 1*3*3 | (1,2,2) |
| 下采样5 | 128 | 3*3*3 | (2,2,2) |
| 下采样6 | 256 | 1*3*3 | (1,2,2) |
| 下采样7 | 512 | 1*3*3 | (1,2,2) |
生成器中上采样参数如表7所示。
表7 生成器上采样参数
| 网络层 | 反卷积核个数 | 反卷积核大小 | 步长 |
| 上采样1 | 256 | 1*4*4 | (1,2,2) |
| 上采样2 | 256 | 1*4*4 | (1,2,2) |
| 上采样3 | 256 | 2*4*4 | (2,2,2) |
| 上采样4 | 256 | 1*4*4 | (1,2,2) |
| 上采样5 | 128 | 2*4*4 | (1,2,2) |
| 上采样6 | 64 | 1*4*4 | (1,2,2) |
| 上采样7 | 32 | 1*4*4 | (1,2,2) |
图23展示了部分时刻的遥感图像的预测对，可以看出真实图像与预测图像十分接近。
步骤五、基于多因素遥感图像像素级预测结果进行蓝藻水华预测。
在得到未来时刻多因素遥感图像的预测图像后，对比各因素定义好的蓝藻水华风险等级根据公式(22)表计算最终蓝藻水华暴发的风险等级即可判断整体水域中各个区域的蓝藻水华暴发风险等级。例如图24中所示的10月29日预测的多因素遥感图像中，太湖左上侧边缘部位中叶绿素a对应的蓝藻水华暴发等风险等级为重风险II，温度对应的蓝藻水华暴发风险等级为中风险II，藻蓝素对应的蓝藻水华暴发风险等级为重风险II，则该区域对应的蓝藻水华暴发风险为Grade水华＝0.45×6+0.45×6+0.1×3，Grade水华＝5.7根据四舍五入取整的规则，Grade水华暴发＝6，则该区域蓝藻水华暴发的风险为重风险II。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。本发明省略了对公知组件和公知技术的描述，以避免赘述和不必要地限制本发明。上述实施例中所描述的实施方式也并不代表与本申请相一致的所有实施方式，在本发明技术方案的基础上，本领域技术人员不需要付出创造性的劳动即可做出的各种修改或变形仍在本发明的保护范围内。
Claims (10)
1.一种基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法，其特征在于，包括如下步骤：
步骤一，基于空间权重矩阵及基于注意力机制的Pix2Pix模型对存在损坏点的遥感图像进行修复；所述遥感图像包括叶绿素a浓度遥感图像、温度遥感图像以及藻蓝素浓度遥感图像三种；
对每一种遥感图像，对完好的遥感图像人工添加掩膜生成训练集，将添加掩模后的遥感图像作为输入，对应完好的遥感图像作为输出，对基于注意力机制的Pix2Pix模型进行训练，利用训练好的Pix2Pix模型的生成器对存在损坏点的遥感图像进行修复；对经Pix2Pix模型修复后仍存在损坏点的遥感图像采用空间权重矩阵进行二次修复；
步骤二，基于三次样条与卷积长短时网络及3DCNN对遥感图像时间序列进行填补；其中，3DCNN表示三维卷积；
设遥感图像采样时间为ts，对经步骤一修复后的每种遥感图像数据集，先采用三次样条插值方法填补数据集，再采用基于卷积长短时网络及3DCNN的深度学习模型填补数据集，最后再使用三次样条插值方法填补数据集，获得时间间隔ts的完整遥感图像时间序列数据集；其中，对数据集中两相邻遥感图像的时间间隔小于4ts的情况，使用三次样条插值方法填补缺失的遥感图像，对数据集中两相邻遥感图像的时间间隔大于3ts的情况，使用所述的深度学习模型填补缺失的遥感图像；所述的深度学习模型的输入为连续三个采样时间的遥感图像序列，预测输出向前一个或向后一个采样时间的遥感图像；
步骤三，基于时间生成对抗网络对遥感图像时间序列进行扩充；
对每一种遥感图像时间序列的数据集进行扩充，将三维的遥感图像时间序列拉伸为一维数据，将拉伸后的一维数据采用时间生成对抗网络扩充，再将扩充后的一维数据重构为遥感图像时间序列，获得具有相同分布的遥感图像时间序列；
步骤四，基于四维生成对抗网络进行多因素遥感图像像素级预测；多因素是指绿素a浓度、温度和藻蓝素浓度三个因素；
所构建的四维生成对抗网络，由生成器和判别器构成，生成器为3D卷积长短时网络与融入残差结构的3DUnet网络串联而成，判别器为3D PatchGAN网络；
四维生成对抗网络的输入是三种遥感图像的时间序列，在生成器中，通过3D卷积长短时网络对同一时刻三种遥感图像提取多因素遥感图像特征，将输入序列中最后一个时刻提取的多因素遥感图像特征输入融入残差结构的3DUnet网络，通过3DUnet网络的编码解码，进行输入序列的下一时刻的多因素遥感图像预测；通过判别器和生成器对抗训练使网络达到性能最优，利用训练后的生成器进行多因素遥感图像预测；
步骤五，根据预测的三种遥感图像进行蓝藻水华暴发风险预测；
分别根据叶绿素a浓度、温度以及藻蓝素浓度设置关于蓝藻水华暴发风险等级，由四维生成对抗网络的生成器获取预测的叶绿素a浓度遥感图像、温度遥感图像以及藻蓝素浓度遥感图像，依据各自蓝藻水华暴发风险等级划分确定对应的风险等级，然后对三个风险等级加权求和确定最终的蓝藻水华暴发风险等级。
2.根据权利要求1所述的方法，其特征在于，所述的步骤一中，构建基于注意力机制的Pix2Pix模型如下：
所述的Pix2Pix模型包含生成器和马尔科夫判别器，其中生成器包含9个下采样模块和9个上采样模块，在下采样模块中添加注意力机制与残差模块，在上采样模块中添加步长为1的带残差的下采样模块；
所添加的注意力机制包括通道注意力机制与空间注意力机制，通道注意力机制的构建描述如下：
a2＝f(Wc*a1(C,1))
其中，
表示输入图像，(H,W,C)为输入图像的数据格式，i为图像编号，GlobalAveragePooling表示全局平局池化，a1为全局平均池化结果，a1是一个长度为C的特征；a1(C,1)是将a1重构为一个C×1的矩阵，a1中的数据顺序不发生改变；Wc为权重矩阵，*代表卷积，f为sigmoid激活函数，a2为激活函数输出的二维矩阵，a2(1,1,C)是将a2重构为一个1×1×C的矩阵，fchannel为通道注意力机制的输出；通道注意力机制的输出为空间注意力机制的输入，空间注意力机制的输出为注意力机制的输出；
所述下采样模块的构建描述为如下：
fdown_2＝Att(fdown_1)
fdown_3＝f(B(fdown_2*ω2+b2))
fdown_4＝f(B(fdown_3*ω3+b3))
fdown_out＝fdown_2+fdown_4
其中，fdown_1为二维卷积输出，
为输入的遥感图像，B表示批标准化，ω1、ω2和ω3为权重矩阵，b1、b2和b3为偏置值，Att为注意力机制，fdown_2为注意力机制的输出，fdown_3、fdown_4为残差模块两次特征提取的输出，fdown_out为残差模块的最终输出。
3.根据权利要求1或2所述的方法，其特征在于，所述的步骤一中，构建基于注意力机制的Pix2Pix模型的训练集包括：设一张完好遥感图像为x′i，i为图像编号，则添加随机掩模如下：
其中，pa,b与p'a,b为权重矩阵，权重矩阵的维度与遥感图像的数据维度相同，权重矩阵中元素为随机的0与1；
为哈达玛积，/>
为xi'的白色掩膜，/>
为对遥感图像xi'添加随机掩模后生成的遥感图像。
4.根据权利要求1或2所述的方法，其特征在于，所述的步骤二中，采用三次样条插值方法填补缺失的遥感图像，包括：
设经步骤一修复后的某一种遥感图像数据集为X完整，对X完整中每一张遥感图像的每一个像素点分别建立一个三次样条多项式，表示如下：
p(i,j,k)(t)＝f(i,j,k)(t)
其中，p(i,j,k)(t)是第t个时刻第k个通道上高度为i、宽度为j的遥感图像像素值，f(i,j,k)(t)是在第t个时刻使用三次样条插值曲线得到的结果；三次样条插值曲线f(i,j,k)通过使用X完整中所有遥感图像中第k个通道上高度为i、宽度为j的像素值进行拟合得到。
5.根据权利要求1或2所述的方法，其特征在于，所述的步骤二中，基于卷积长短时网络及3DCNN的深度学习模型由生成器和判别器构成，生成器由两层卷积长短时网络和一层3DCNN网络构成，判别器由三层2D卷积神经网络构成；
设两相邻遥感图像的时间间隔为d个ts，当d为偶数，利用所述深度学习模型在两相邻遥感图像间，分别从前向后以及从后向前插值(d-2)/2个ts的遥感图像；当d为奇数，利用所述深度学习模型在两相邻遥感图像间，分别从前向后以及从后向前插值(d-3)/2个ts的遥感图像；对于中间剩余的缺失采样时间，使用三次样条插值方法填补完整，此时三次样条插值方法根据当前已经填补的数据集Xd_s构建三次样条插值曲线。
6.根据权利要求1或2所述的方法，其特征在于，所述的步骤三中，设由步骤二得到的某一种遥感图像数据集为Xd，将Xd中的每张遥感图像
重构为/>
如下：
设
其中，
的大小为a×b×3，p1,1,k表示第k个通道上第1行第1列的遥感图像像素值，保持
中像素值位置不变，拉伸为一维数据/>
的大小为1×(a×b×3)，R代表数据重构；
将数据集Xd中图像按照时间序列分组，将每组中的遥感图像时间序列重构为一维数据后输入时间生成对抗网络TimeGAN进行训练，然后加入随机噪声获取扩充后的一维数据，将扩充后的一维数据重构为遥感图像时间序列，即得到该组扩充的遥感图像时间序列；保存每组训练的TimeGAN模型，通过输入随机噪音产生多组扩充的遥感图像时间序列。
7.根据权利要求1所述的方法，其特征在于，所述的步骤四中，四维生成对抗网络中，3D卷积长短时网络是将卷积长短时网络中的2D卷积使用3D卷积替换得到，利用3D卷积长短时网络提取多因素遥感图像特征，描述如下：
it＝σ(Wi*[Xt,Yt,Zt]+Wi*Ht-1+bi)
ft＝σ(Wf*[Xt,Yt,Zt]+Wf*Ht-1+bf)
ot＝σ(Wo*[Xt,Yt,Zt]+Wo*Ht-1+bo)
其中，Xt,Yt,Zt分别是在同一时刻t的叶绿素a浓度、温度以及藻蓝素浓度遥感图像，it为输入门输出，ft为遗忘门输出，
为新生信息，ot为输出门输出，Ct为长期记忆，Ht是短期记忆，σ为sigmoid激活函数，tanh为tanh激活函数，Wi，Wf，Wc，Wo分别是输入门、遗忘门、新生信息以及输出门的三维卷积核，bi，bo，bf，bc分别为输入门、输出门、遗忘门以及新生信息的偏置，*代表卷积运算；通过3D卷积长短时网络对Xt,Yt,Zt提取得到多因素遥感图像特征Ht；
将3D卷积长短时网络对输入时间序列的最后一个时刻提取的多因素遥感图像特征输入融入残差结构的3DUnet网络；所述融入残差结构的3DUnet网络由上采样模块和下采样模块构成；其中，下采样模块由一个3D卷积层，一个3D批标准化层，一个激活函数层和一个残差模块构成，残差模块由两个3D卷积层和一个连接层构成，其中第二个3D卷积核个数为第一个3D卷积核的二倍，卷积核大小分别是1*1和3*3，步长为一，保证在经过残差模块后网络输出大小与输入大小相同，经过两个3D卷积层后将所得到的输出与残差模块的输入相加完成残差模块的构建；上采样模块由一个3D反卷积层，一个3D批标准化层，一个激活函数层，一个dropout层以及一个残差模块组成；通过融入残差结构的3DUnet网络的编码解码，输出未来一个时刻的叶绿素a浓度、温度以及藻蓝素浓度遥感图像。
8.根据权利要求1或7所述的方法，其特征在于，所述的步骤四中，四维生成对抗网络中，判别器由3个步长为2和一个步长为1的3D卷积层构成，前三个3D卷积层使用批标准化层以及LeakyReLU激活函数，最后一个3D卷积层不使用激活函数判别结构图。
9.根据权利要求1所述的方法，其特征在于，所述的步骤五中，设置蓝藻水华暴发风险有9个等级，分别为：轻风险、中风险I、中风险II、中风险III、重风险I、重风险II、重风险III、重风险IV和重风险V；其中：
9个风险等级依次对应的叶绿素a浓度值范围为：2.3-18.6μg/L、18.7-31.1μg/L、31.2-48.3μg/L、48.4-70.4μg/L、70.5-94.4μg/L、94.5-119.4μg/L、119.5-148.2μg/L、148.3-185.6μg/L、185.7-247μg/L；
9个风险等级依次对应的藻蓝素浓度值范围为：2.3-25.3μg/L、25.4-71.3μg/L、71.4-154.1μg/L、154.2-259.9μg/L、260.0-351.9μg/L、352.0-448.5μg/L、448.6-609.6μg/L、609.7-876.4μg/L、876.5-1175.4μg/L；
9个风险等级依次对应的温度范围为：<2℃、2.1-6℃、6.1-10℃、10.1-14℃、14.1-18℃、18.1-22℃、22.1-26℃、26.1-30℃、>30℃。
10.根据权利要求1或9所述的方法，其特征在于，所述的步骤五中，为蓝藻水华暴发风险9个等级分别赋值1-9，设由叶绿素a浓度遥感图像确定的蓝藻水华暴发风险等级对应的赋值为grade叶绿素，由温度遥感图像确定的蓝藻水华暴发风险等级对应的赋值为grade温度，由藻蓝素浓度遥感图像确定的蓝藻水华暴发风险等级对应的赋值为grade藻蓝素，则最终的蓝藻水华暴发风险等级的赋值grade水华暴发如下：
grade水华＝0.45×grade叶绿素+0.45×grade藻蓝素+0.1×grade温度
grade水华暴发＝round(grade水华)
其中grade水华为蓝藻水华暴发的风险等级对应的赋值，round为四舍五入操作，根据得到的grade水华暴发确定蓝藻水华暴发风险等级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310017318.XA CN116403103A (zh) | 2023-01-06 | 2023-01-06 | 基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310017318.XA CN116403103A (zh) | 2023-01-06 | 2023-01-06 | 基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116403103A true CN116403103A (zh) | 2023-07-07 |
Family
ID=87018602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310017318.XA Pending CN116403103A (zh) | 2023-01-06 | 2023-01-06 | 基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116403103A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116757507A (zh) * | 2023-08-14 | 2023-09-15 | 武汉理工大学 | 一种作物灌浆过程预测方法、系统、电子设备及存储介质 |
| CN117725345A (zh) * | 2024-02-08 | 2024-03-19 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于绿潮生物量密度的多源遥感绿潮生长速率测量方法 |
| CN117831301A (zh) * | 2024-03-05 | 2024-04-05 | 西南林业大学 | 一种结合三维残差卷积神经网络和时空注意力机制的交通流量预测方法 |
| CN117725345B (zh) * | 2024-02-08 | 2024-05-31 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于绿潮生物量密度的多源遥感绿潮生长速率测量方法 |
-
2023
- 2023-01-06 CN CN202310017318.XA patent/CN116403103A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116757507A (zh) * | 2023-08-14 | 2023-09-15 | 武汉理工大学 | 一种作物灌浆过程预测方法、系统、电子设备及存储介质 |
| CN116757507B (zh) * | 2023-08-14 | 2023-11-10 | 武汉理工大学 | 一种作物灌浆过程预测方法、系统、电子设备及存储介质 |
| CN117725345A (zh) * | 2024-02-08 | 2024-03-19 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于绿潮生物量密度的多源遥感绿潮生长速率测量方法 |
| CN117725345B (zh) * | 2024-02-08 | 2024-05-31 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于绿潮生物量密度的多源遥感绿潮生长速率测量方法 |
| CN117831301A (zh) * | 2024-03-05 | 2024-04-05 | 西南林业大学 | 一种结合三维残差卷积神经网络和时空注意力机制的交通流量预测方法 |
| CN117831301B (zh) * | 2024-03-05 | 2024-05-07 | 西南林业大学 | 一种结合三维残差卷积神经网络和时空注意力机制的交通流量预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111882002B (zh) | 一种基于msf-am的低照度目标检测方法 | |
| CN116403103A (zh) | 基于四维生成对抗网络的遥感图像分析及蓝藻水华预测方法 | |
| CN108537742A (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
| CN112184554B (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN109035267B (zh) | 一种基于深度学习的图像目标抠取方法 | |
| CN111127374A (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN113327218B (zh) | 一种基于级联网络的高光谱与全色图像融合方法 | |
| US11978146B2 (en) | Apparatus and method for reconstructing three-dimensional image | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| CN112561799A (zh) | 一种红外图像超分辨率重建方法 | |
| CN113870124A (zh) | 基于弱监督的双网络互激励学习阴影去除方法 | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN114821285A (zh) | 基于ACONV－LSTM与New－GANs组合的蓝藻水华预测系统及预测方法 | |
| CN114842216A (zh) | 一种基于小波变换的室内rgb-d图像语义分割方法 | |
| CN116468645A (zh) | 一种对抗性高光谱多光谱遥感融合方法 | |
| CN116205962A (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
| CN112766099B (zh) | 一种从局部到全局上下文信息提取的高光谱影像分类方法 | |
| CN113744134B (zh) | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 | |
| CN113902646A (zh) | 基于深浅层特征加权融合网络的遥感影像泛锐化方法 | |
| CN111563844A (zh) | 一种遥感图像自适应融合方法 | |
| CN115439849B (zh) | 基于动态多策略gan网络的仪表数字识别方法及系统 | |
| CN113743188B (zh) | 一种基于特征融合的互联网视频低俗行为检测方法 | |
| CN115797181A (zh) | 一种面向矿井模糊环境的图像超分辨率重建方法 | |
| CN113222206B (zh) | 一种基于ResLS-C深度学习组合的交通状态预测方法 | |
| Yu et al. | A hybrid model-based and data-driven approach for cloud removal in satellite imagery using multi-scale distortion-aware networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |