CN114943365A - 融合多源数据的降水估测模型建立方法及降水估测方法 - Google Patents
融合多源数据的降水估测模型建立方法及降水估测方法 Download PDFInfo
- Publication number
- CN114943365A CN114943365A CN202210373230.7A CN202210373230A CN114943365A CN 114943365 A CN114943365 A CN 114943365A CN 202210373230 A CN202210373230 A CN 202210373230A CN 114943365 A CN114943365 A CN 114943365A
- Authority
- CN
- China
- Prior art keywords
- precipitation
- data
- determining
- features
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000001556 precipitation Methods 0.000 claims abstract description 112
- 230000007246 mechanism Effects 0.000 claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000001537 neural effect Effects 0.000 claims abstract description 17
- 230000008447 perception Effects 0.000 claims abstract description 12
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000000306 recurrent effect Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010845 search algorithm Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 3
- 235000019580 granularity Nutrition 0.000 description 20
- 230000004927 fusion Effects 0.000 description 15
- 238000000605 extraction Methods 0.000 description 11
- 238000002592 echocardiography Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000000379 polymerizing effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供了一种融合多源数据的降水估测模型建立方法及降水估测方法，涉及遥感影像处理技术领域。本发明所述的融合多源数据的降水估测模型建立方法，包括：获取观测数据；采用门控循环神经网络和神经常微分方程网络根据所述高维时空特征确定在时间维度上连续分布的隐特征；采用自注意力机制和多层感知机制根据所述隐特征确定估测降水量；将所述观测数据作为输入，将所述估测降水量作为输出，形成训练集进行训练，当满足参数要求时建立融合多源数据的降水估测模型。本发明所述的技术方案，通过使用深度学习的方法融合多种观测数据，实现高精度、细时间粒度的分钟级定量降水估测。
Description
技术领域
本发明涉及遥感影像处理技术领域，具体而言，涉及一种融合多源数据的降水估测模型建立方法及降水估测方法。
背景技术
降水天气在日常生活中经常出现，强降雨作为诱发极端自然灾害的重要元素之一，给人们造成了人身安全和经济上的损失。降水受各种不同的气象因素影响，分布十分不均匀，给气象研究人员带来了很大的不便。人工方式效率低下，且容易出现错漏，而现有的算法由于数据周期的差异，只能实现较大尺度的降水，存在精度以及实效性的问题。
发明内容
本发明解决的问题是如何提高降水估测结果的精度和实效性。
为解决上述问题，本发明提供一种融合多源数据的降水估测模型建立方法，包括：获取观测数据，其中，所述观测数据包括雷达回波图像数据、卫星云图数据以及地面自动监测站监测的雨量数据和数值数据；采用注意力机制根据所述观测数据确定对应的高维时空特征；采用门控循环神经网络和神经常微分方程网络根据所述高维时空特征确定在时间维度上连续分布的隐特征；采用自注意力机制和多层感知机制根据所述隐特征确定估测降水量；将所述观测数据作为输入，将所述估测降水量作为输出，形成训练集进行训练，当满足参数要求时建立融合多源数据的降水估测模型。
本发明所述的融合多源数据的降水估测模型建立方法，通过使用深度学习的方法融合多种观测数据，一方面结合了雷达、卫星等多种观测数据，能够发挥出不同数据的优势，另一方面由于采用了卷积神经网络以及门控循环单元，结合时间维度以及空间维度上的信息，将高维时空特征连续化，最终实现高精度、细时间粒度的分钟级定量降水估测。
可选地，所述采用注意力机制根据所述观测数据确定对应的高维时空特征包括：采用结合时间注意力机制的循环神经网络，根据所述观测数据的时序属性信息确定高维时序特征；采用结合空间注意力机制的深度残差网络，根据所述观测数据的空间属性信息确定高维空间特征；根据所述高维时序特征和所述高维空间特征确定所述高维时空特征。
本发明所述的融合多源数据的降水估测模型建立方法，采用时间注意力机制和空间注意力机制分别捕获观测数据的时序属性信息和空间属性信息，进而确定高维时空特征，有利于更好地捕捉输入数据的时空特征，最终提高降水估测的精度。
可选地，采用所述注意力机制的具体步骤包括：对所述观测数据进行编码并映射到特征空间得到特征；根据所述特征确定查询向量、键向量和值向量，结合归一化指数函数确定注意力。
本发明所述的融合多源数据的降水估测模型建立方法，通过注意力机制给不同的特征分配不同的关注，使网络更关注于关键信息，最终提高降水估测的精度。
可选地，所述融合多源数据的降水估测模型建立方法还包括：采用全连接神经网络对所述特征进行转换并通过点积方式进行融合。
本发明所述的融合多源数据的降水估测模型建立方法，采用全连接神经网络对所述特征进行转换并通过点积方式进行融合，从而得到连续化的多源融合高维特征，实现特征融合。
可选地，所述采用门控循环神经网络和神经常微分方程网络根据所述高维时空特征确定在时间维度上连续分布的隐特征包括：根据上一时刻的隐藏状态和当前时刻的输入确定重置门和更新门；根据所述重置门和所述更新门确定隐状态差值，根据所述隐状态差值确定对应的微分等式，采用神经常微分方程网络对所述微分等式积分确定任意时刻的隐特征。
本发明所述的融合多源数据的降水估测模型建立方法，采用门控循环神经网络和神经常微分方程网络来确定在时间维度上连续分布的隐特征，可以使不同数据的隐特征在时间上对齐，进而可以得到任意时刻的隐特征，输出分钟级的降雨，实现更细粒度的分钟级定量降水估测。
可选地，所述采用自注意力机制和多层感知机制根据所述隐特征确定估测降水量包括：采用所述自注意力机制为所述隐特征分配不同的权重，通过聚合网络对所述隐特征进行聚合，并通过所述多层感知机制进行回归确定所述估测降水量。
本发明所述的融合多源数据的降水估测模型建立方法，采用自注意力机制和多层感知机制确定估测降水量，有利于提高降水估测的精度。
可选地，所述融合多源数据的降水估测模型建立方法还包括：设置过滤条件，采用二分查找算法从数据库中检索出符合所述过滤条件的观测数据。
本发明所述的融合多源数据的降水估测模型建立方法，通过设置过滤条件并采用二分查找算法从数据库中检索出符合过滤条件的观测数据，能够提高降水估测模型的典型程度。
可选地，所述融合多源数据的降水估测模型建立方法还包括：通过SMOTE过采样和EasyEnsemble欠采样对所述训练集的数据分布进行平衡。
本发明所述的融合多源数据的降水估测模型建立方法，通过SMOTE过采样和EasyEnsemble欠采样对训练集的数据分布进行平衡，提高训练集的质量，进而有利于提高降水估测的精度。
本发明还提供一种融合多源数据的降水估测方法，包括：获取待估测降水量的观测数据，将所述待估测降水量的观测数据输入到上述融合多源数据的降水估测模型建立方法所建立的融合多源数据的降水估测模型中，获得估测降水量。所述融合多源数据的降水估测方法与上述融合多源数据的降水估测模型建立方法相对于现有技术所具有的优势相同，在此不再赘述。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上融合多源数据的降水估测模型建立方法或融合多源数据的降水估测方法。所述计算机可读存储介质与上述融合多源数据的降水估测模型建立方法相对于现有技术所具有的优势相同，在此不再赘述。
附图说明
图1为本发明实施例的融合多源数据的降水估测模型建立方法的流程示意图；
图2为本发明实施例的融合多源数据的降水估测模型建立方法的模块化示意图；
图3为本发明实施例的时空特征提取模块的示意图；
图4为本发明实施例的融合连续化模块的示意图；
图5为本发明实施例的特征回归模块的示意图。
具体实施方式
多普勒天气雷达作为一种遥感手段，通过发射电磁波遇到目标物后反射、散射得到各种回波图，进而探测较大范围内的气象回波，形成气象回波的直接因素是大气中的云、降水中的各种水汽凝结物等对电磁波的后向散射。其具有数据分辨率较高、扫描范围广的特点，可以实现全天时、全天候观测，是降水领域中小尺度最有力的检测方法之一。地面自动站作为直观测量降水量的方式，可以得到小范围内相对精确的降水数值。但地面自动站维护成本较高，因此分布较为稀疏，不能实现全面覆盖。多普勒雷达和地面自动站雨量监测各自存在优势，融合二者的优势是获得更高精度降水估测的有效方式。
目前，卫星数据以及温度、湿度等不同的数据也被广泛应用到降水领域，但现有的技术大多专注于雷达数据及卫星数据等单一形式的输入。降水变化规律复杂，随着大气运动的变化，雷达回波会随时间出现平移、变化、分裂等现象，并且雷达回波图像存在一定量的地面杂波和错误信息噪声的干扰，部分时段由于硬件设备问题还会存在数据缺失现象，因此，仅仅使用雷达回波信息的技术无法有效地提高模型输出结果的精度。卫星数据具有更多的通道，包含丰富的信息，但存在数据获取时间周期上不规律的问题，这限制了降水估测结果向更细时间粒度的迈进。不同的数据蕴含着不同的信息，对于最终的降水结果有不同的帮助，但各种不同的观测手段在空间分布、时间尺度上等都存在差异，如何充分利用不同观测数据的优势是研究的一个热点。
当前解决定量降水估测问题使用的传统技术有光流法，光流法是通过连续的图像序列来检测物体微小的动作变化，对当前雷达回波图像对流云运动进行估计，通过半拉格朗日线性外推预测生成雷达回波图，这种方法更适合跟踪预测云团规模较大且持续周期更长的回波目标，当回波发生分裂或者合并时，输出降水结果的准确率将迅速下降。另一种常见技术是交叉相关法，交叉相关法作为研究较早的跟踪算法之一，将整幅雷达图像上的回波作为一个整体处理，进而跟踪整个回波区域的移动，得到最终的降水结果。但随着外推时间的增加，回波存在不同程度的辐射失真现象，导致最终结果的精确度降低。而数值天气预报技术则是基于气象物理方法，根据大气环境来描述天气的演变过程，最后根据数值结果预测未来大气运动和天气现象。这种方法会受到启动时间的制约，不能满足短临分钟级降水的需求。上述方法仅使用单一观测数据进行建模，不能很好地捕捉大气规律，同时方法的鲁棒性较差。因此本发明融合多种观测数据，通过使用深度学习神经网络训练回归模型来实现高实效性、高精度的分钟级定量降水估测。
除了传统方法，也有引入机器学习方法和深度学习方法的技术。现有采用机器学习的技术，由于受限于机器学习表达能力的限制，不能很好建模非线性关系，这进一步限制了模型的精确度。同时，由于模型对于特征的要求比较高，需要花费大量精力设计特征工程部分。此外，在过拟合问题上，传统机器学习方法通常没有防止过拟合的能力，对于训练数据的数量，纯度，特征的维度，模型的复杂度等等均有着较高的要求。而现有的深度学习技术也存在两个问题，一是现有技术大多采用卷积神经网络(CNN)和前馈神经网络(FNN)的方法，这种方法由于卷积神经网络(CNN)存在平移不变性而限制了精确度。例如雷达回波图中，高回波的区域对于模型输出降水量的影响更大，因此本专利采用了注意力机制，通过模型计算给不同的区域分配不同的权重，使模型更关注对于降水量影响大的区域。第二个问题是由于受雷达回波等数据在工作周期上的限制，导致现有的技术解决定量降水估测任务都处于小时级的时间粒度，这限制了降水任务对于实效性的需求。因此本发明向更细时间粒度的降水任务探索，实现了分钟级定量降水估测，提高了技术的实效性，并且解决了现有方法较大依赖人工和特征处理的缺点，提高了结果的准确率。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
如图1所示，本发明实施例提供一种融合多源数据的降水估测模型建立方法，包括：获取观测数据，其中，所述观测数据包括雷达回波图像数据、卫星云图数据以及地面自动监测站监测的雨量数据和数值数据；采用注意力机制根据所述观测数据确定对应的高维时空特征；采用门控循环神经网络和神经常微分方程网络根据所述高维时空特征确定在时间维度上连续分布的隐特征；采用自注意力机制和多层感知机制根据所述隐特征确定估测降水量；将所述观测数据作为输入，将所述估测降水量作为输出，形成训练集进行训练，当满足参数要求时建立融合多源数据的降水估测模型。
具体地，在本实施例中，结合图2所示，观测数据采集自各个地方气象局及国家气象局提供的相关气象数据，包括雷达回波图像数据，卫星云图数据，地面自动监测站监测到的雨量数据，温度、湿度等数值数据。这些不同的观测数据会输入到系统中，首先通过时空特征提取模块得到不同观测数据的高维时空特征表示，然后通过融合连续化模块得到连续化的融合表示，将不同数据的特征结合起来，最后通过注意力回归模块得到最终的降水估测结果。
结合图3所示，时空特征提取模块由两个关键部分组成，第一个部分是时序特征提取网络，这一部分关注于输入观测数据的时序属性信息，捕获数据的时序属性进而得到高维时序特征表示。第二个部分是空间特征提取网络，这一部分关注于输入的观测数据的空间属性信息，如雷达回波的变化等，将其表示为高维空间特征。二者结合使得时空特征提取模块可以更好地捕捉输入数据的时空特征，如雷达回波的运动趋势，卫星云图的变化规律等。
结合图4所示，融合连续化模块接受多源数据的高维时空特征，通过特征转换网络得到不同特征的统一表示进行融合，对于融合后的特征，利用连续化操作得到在时间维度上连续分布的隐特征。
结合图5所示，特征回归模块接收融合并连续化的隐特征作为输入，首先通过自注意力网络得到不同的权重，再通过聚合网络对连续化的隐特征进行处理，最后通过回归网络得到最终的分钟级降水量输出。
在数据收集和特征工程方面，本发明对深圳市气象局及国家气象局提供的多源降水观测数据进行预处理，去除缺失值，并根据地区经纬度进行数据自动对齐，将多源数据同地面自动监测站监测的雨量值关联起来，主要用于解决广东省的降水任务。为了提升数据读取的效率，本发明将数据处理为规范化的二进制格式以便提升模型的训练速度。广东省属于东亚季风区，从北向南分别为中亚热带、南亚热带和热带气候，降水十分充沛，广东受台风影响较为频繁，多发强降水天气，因此广东省的降水数据具有很好的研究价值。本发明利用相关气象学知识，实现了通过人工制定降水量条件自动对典型过程进行筛选，筛选出了近几年的降水典型样例，共计58061个典型样例一个典型样例包括对应的雷达回波图、卫星云图、温度及湿度等数值数据以及地面自动监测站的降水量等数据，将所有的典型样例划分为训练集、验证集和测试集。对于训练集部分，通过SMOTE过采样、EasyEnsemble欠采样等数据增强算法对数据分布进行平衡，以提升训练集的质量。验证集和测试集部分不做处理以模拟真实应用场景，得到更准确的结果指标。完成以上特征工程部分后，使用数据对模型进行训练。
模型的输入数据不是静态的图片，而是具有时空属性的，如雷达回波随时间的变化趋势、卫星云图随时间的运动趋势等。在对输入数据进行特征提取的过程中，要充分考虑到数据的时空特征。因此本发明自主研发的时空特征提取模块分别关注于数据的时序属性特征和空间属性特征，并将二者结合得到时空特征表示。时序属性特征特区部分使用结合时间注意力的RNN(Recurrent Neural Network，循环神经网络)，空间属性特征提取部分使用加入空间注意力机制的ResNet(Deep Residual Network，深度残差网络)实现。由于数据的不同部分对于特征表示有不同的贡献，本发明考虑引入注意力机制为其分配不同的权重。
注意力机制的计算过程如下：
1、对于输入的数据x进行编码，将其映射到特征空间，公式为zi＝Wxi+b，其中xi表示不同的多源数据i，得到编码后的特征zi。
2、对于得到的编码后的特征，分别计算query、key、value向量用于计算权重，计算query、key、value向量(查询、键、值)的公式分别如下所示：
Qi＝WQLayerNormlize(zi)
Ki＝WKLayerNormlize(zi)
Vi＝WVLayerNormlize(zi)
其中LayerNormlize表示对特征在特征空间进行平移和伸缩变化等操作，将特征的分布规范化，使网络可以更好地学习到数据的特征表示。WQ、WK、WV分别表示不同的权重变化矩阵。
3、通过点积计算公式
得到最终的计算结果，其中
是缩放因子，起到归一化的作用，SoftMax()用于将输出结果映射到(0，1)区间内，转换为概率。
通过注意力机制，网络可以给不同的特征分配不同的关注，使网络更关注于关键信息，如雷达数据中高回波的区域，这些信息对于最终降水量的输出有更重要的影响。将时间注意力和空间注意力结合，通过前馈神经网络得到数据的高维时空特征。
由于多源数据以及地面自动站工作周期不同，限制了模型向更细时间粒度的任务进行探索，因此，本发明提出了隐特征连续化模块来实现时空特征的连续化。对于特征连续化部分，本发明引入了GRU(Gate Recurrent Neural Network，门控循环神经网络)及NeuralODE(Neural Ordinary Differential Equations，神经常微分方程)来实现隐特征的连续化(实现分钟级降水的关键因素。)，门控循环神经网络中有一种特殊的门控机制，可以捕捉长效的时序信息。重置门的设置有助于捕捉时间序列里短期的依赖关系，而更新门有助于捕捉时间序列里长期的依赖关系。重置门Rt和更新门Zt的计算公式如下：
Rt＝σ(XtWxr+Ht-1Whr+br)
Zt＝σ(XtWxz+Ht-1Whz+bz)
其中，σ是激活函数sigmoid函数，重置门Rt和更新门Zt中每个元素的值域都是[0，1]。Ht-1是上一时刻的隐藏状态，Xt是当前时刻的输入。接下来，通过公式：
可以计算出候选的隐藏状态，然后通过门控循环神经网络的更新记忆阶段得到新的隐藏状态。其中Wxr、Whr、Wxz、Whz、Wxh、Whh分别表示不同的权重参数矩阵。br、bz、bh分别表示不同的偏置矩阵。tanh()是tanh激活函数，可以提升模型的表示能力。
由此可以得到隐状态差值如下：
则通过如下公式可以得到微分等式：
其中
表示隐藏层对时间t的导数，通过深度神经网络将其参数化，进一步通过神经常微分方程网络计算积分，可以求出任意时刻t0的隐状态
进而实现隐状态的连续化。由此，对于周期尺度不同的多源数据，通过连续化后可以实现时间维度的对齐，进而实现更细粒度的分钟级降雨。
将时空特征提取模块得到的多源高维时空表示作为输入，通过深度神经网络进行连续化，得到连续的隐特征。通过FCN(Fully Connected Neural Network，全连接神经网络)将特征进行转换，然后通过点积的方式进行融合，如此就得到了连续化的多源融合高维特征。
对于连续化的隐特征，通过特征回归模块进行聚合回归，引入自注意力机制编码器，通过自注意力过程分配不同的权重，将连续化的隐特征聚合起来，并通过多层感知机进行回归得到最终的降水量。
在模型训练方面，将处理好的训练数据输入到模型中进行训练，训练出的模型准确地完成了降水估测任务，提高了降水的实效性并且实现了传统方法不能做到的更细粒度的分钟级定量降水估测，传统方法光流法、数值估计法和交叉相关法等仅能实现小时粒度的定量降水估测。同时本方法利用分钟级降水结果累计出小时粒度的降水量作为评测，在RMSE等指标上要高于传统方法，可见使用深度学习方法融合多源数据提高了定量降水估测任务的准确率。例如在时间粒度上，现有方法例如Optical flow(光流法)、Cotrec(交叉相关法)、XGBoost(Extreme Gradient Boosting，极端梯度提升)和Random Forest(随机森林)等均只能达到30min和1h的时间粒度，但本发明的时间粒度能够达到5min/6min。
由于雷达回波数据及地面自动站数据存在时间周期上的差异，雷达回波图每6分钟更新一次，而地面自动站降水量每5分钟更新一次(每次更新5min的累积降水量)，因此现有方法为了消除时间周期上的差异，只能取二者更新周期的公倍数，通过将5张雷达回波图累加到30min(或将10张雷达回波图累加到1h、或将20张雷达回波图累加到2h)，实现半小时或一小时粒度的定量降水估计，但这种做法限制了任务的实效性以及数据利用率。本发明通过门控循环神经网络结合神经常微分方程对隐特征连续化，可以实现5min/6min时间粒度的定量降水估测，与地面自动监测站、雷达回波图同步更新，大大提高了数据的利用率(事实上本发明可以实现任意分钟粒度的降水输出、但其他分钟粒度暂无实际应用需求。随着设备的发展，如有需求，只需更换训练模型的数据集即可实现其他分钟粒度的输出)。
在本实施例中，通过使用深度学习的方法融合多种观测数据，一方面结合了雷达、卫星等多种观测数据，能够发挥出不同数据的优势，另一方面由于采用了卷积神经网络以及门控循环单元，结合时间维度以及空间维度上的信息，将高维时空特征连续化，最终实现高精度、细时间粒度的分钟级定量降水估测。
可选地，所述采用注意力机制根据所述观测数据确定对应的高维时空特征包括：采用结合时间注意力机制的循环神经网络，根据所述观测数据的时序属性信息确定高维时序特征；采用结合空间注意力机制的深度残差网络，根据所述观测数据的空间属性信息确定高维空间特征；根据所述高维时序特征和所述高维空间特征确定所述高维时空特征。
具体地，在本实施例中，结合图3所示，采用时间注意力机制和空间注意力机制分别捕获观测数据的时序属性信息和空间属性信息，表示为高维时序特征和高维空间特征，二者结合使得时空特征提取模块可以更好地捕捉输入数据的时空特征，如雷达回波的运动趋势，卫星云图的变化规律等。
在本实施例中，采用时间注意力机制和空间注意力机制分别捕获观测数据的时序属性信息和空间属性信息，进而确定高维时空特征，有利于更好地捕捉输入数据的时空特征，最终提高降水估测的精度。
可选地，采用所述注意力机制的具体步骤包括：对所述观测数据进行编码并映射到特征空间得到特征；根据所述特征确定查询向量、键向量和值向量，结合归一化指数函数确定注意力。
具体地，在本实施例中，query是查询向量，代表与学习任务相关的信息，key是键向量，代表像素本身的属性，value是值向量，代表像素的特征表示。由于数据的不同部分对于特征表示有不同的贡献，引入注意力机制为其分配不同的权重，从而可以给不同的特征分配不同的关注，使网络更关注于关键信息，如雷达数据中高回波的区域，这些信息对于最终降水量的输出有更重要的影响。
在本实施例中，通过注意力机制给不同的特征分配不同的关注，使网络更关注于关键信息，最终提高降水估测的精度。
可选地，所述融合多源数据的降水估测模型建立方法还包括：采用全连接神经网络对所述特征进行转换并通过点积方式进行融合。
具体地，在本实施例中，通过FCN(Fully Connected Neural Network，全连接神经网络)将特征进行转换，然后通过点积的方式进行融合，如此就得到了连续化的多源融合高维特征。
在本实施例中，采用全连接神经网络对所述特征进行转换并通过点积方式进行融合，从而得到连续化的多源融合高维特征，实现特征融合。
可选地，所述采用门控循环神经网络和神经常微分方程网络根据所述高维时空特征确定在时间维度上连续分布的隐特征包括：根据上一时刻的隐藏状态和当前时刻的输入确定重置门和更新门；根据所述重置门和所述更新门确定隐状态差值，根据所述隐状态差值确定对应的微分等式，采用神经常微分方程网络对所述微分等式积分确定任意时刻的隐特征。
具体地，在本实施例中，通过神经常微分方程加门控循环网络可以实现隐状态的连续化，进而可以使不同数据的隐特征在时间上对齐，通过神经常微分方程进行推导，可以得到任意时刻的隐特征，输出分钟级的降雨。
现有的其他方法不能实现分钟级降水主要受限于多源数据在周期上存在差异，如雷达回波图每6分钟更新一次，自动站降雨量每5分钟更新一次，二者存在周期上的差异，因此为了利用数据，取二者的公倍数30分钟或1小时作为时间粒度进行定量降水估测。
在本实施例中，采用门控循环神经网络和神经常微分方程网络来确定在时间维度上连续分布的隐特征，可以使不同数据的隐特征在时间上对齐，进而可以得到任意时刻的隐特征，输出分钟级的降雨，实现更细粒度的分钟级定量降水估测。
可选地，所述采用自注意力机制和多层感知机制根据所述隐特征确定估测降水量包括：采用所述自注意力机制为所述隐特征分配不同的权重，通过聚合网络对所述隐特征进行聚合，并通过所述多层感知机制进行回归确定所述估测降水量。
具体地，在本实施例中，对于连续化的隐特征，通过特征回归模块进行聚合回归，引入自注意力机制编码器，通过自注意力过程分配不同的权重，将连续化的隐特征聚合起来，并通过多层感知机进行回归得到最终的降水量。
在本实施例中，采用自注意力机制和多层感知机制确定估测降水量，有利于提高降水估测的精度。
可选地，所述融合多源数据的降水估测模型建立方法还包括：设置过滤条件，采用二分查找算法从数据库中检索出符合所述过滤条件的观测数据。
具体地，在本实施例中，利用相关气象学知识，通过人工制定降水量条件自动对典型过程进行筛选，筛选出了近几年的降水典型样例作为观测数据样例，能够提高降水估测模型的典型程度。
在本实施例中，通过设置过滤条件并采用二分查找算法从数据库中检索出符合过滤条件的观测数据，能够提高降水估测模型的典型程度。
可选地，所述融合多源数据的降水估测模型建立方法还包括：通过SMOTE过采样和EasyEnsemble欠采样对所述训练集的数据分布进行平衡。
具体地，在本实施例中，一个典型样例包括对应的雷达回波图、卫星云图、温度及湿度等数值数据以及地面自动监测站的降水量等数据，将所有的典型样例划分为训练集、验证集和测试集。对于训练集部分，通过SMOTE过采样、EasyEnsemble欠采样等数据增强算法对数据分布进行平衡，以提升训练集的质量。验证集和测试集部分不做处理以模拟真实应用场景，得到更准确的结果指标。
在本实施例中，通过SMOTE过采样和EasyEnsemble欠采样对训练集的数据分布进行平衡，提高训练集的质量，进而有利于提高降水估测的精度。
本发明另一实施例还提供一种融合多源数据的降水估测方法，包括：获取待估测降水量的观测数据，将所述待估测降水量的观测数据输入到上述融合多源数据的降水估测模型建立方法所建立的融合多源数据的降水估测模型中，获得估测降水量。
本发明另一实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上融合多源数据的降水估测模型建立方法或融合多源数据的降水估测方法。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (10)
1.一种融合多源数据的降水估测模型建立方法，其特征在于，包括：
获取观测数据，其中，所述观测数据包括雷达回波图像数据、卫星云图数据以及地面自动监测站监测的雨量数据和数值数据；
采用注意力机制根据所述观测数据确定对应的高维时空特征；
采用门控循环神经网络和神经常微分方程网络根据所述高维时空特征确定在时间维度上连续分布的隐特征；
采用自注意力机制和多层感知机制根据所述隐特征确定估测降水量；
将所述观测数据作为输入，将所述估测降水量作为输出，形成训练集进行训练，当满足参数要求时建立融合多源数据的降水估测模型。
2.根据权利要求1所述的融合多源数据的降水估测模型建立方法，其特征在于，所述采用注意力机制根据所述观测数据确定对应的高维时空特征包括：
采用结合时间注意力机制的循环神经网络，根据所述观测数据的时序属性信息确定高维时序特征；
采用结合空间注意力机制的深度残差网络，根据所述观测数据的空间属性信息确定高维空间特征；
根据所述高维时序特征和所述高维空间特征确定所述高维时空特征。
3.根据权利要求1所述的融合多源数据的降水估测模型建立方法，其特征在于，采用所述注意力机制的具体步骤包括：
对所述观测数据进行编码并映射到特征空间得到特征；
根据所述特征确定查询向量、键向量和值向量，结合归一化指数函数确定注意力。
4.根据权利要求3所述的融合多源数据的降水估测模型建立方法，其特征在于，还包括：采用全连接神经网络对所述特征进行转换并通过点积方式进行融合。
5.根据权利要求1所述的融合多源数据的降水估测模型建立方法，其特征在于，所述采用门控循环神经网络和神经常微分方程网络根据所述高维时空特征确定在时间维度上连续分布的隐特征包括：
根据上一时刻的隐藏状态和当前时刻的输入确定重置门和更新门；
根据所述重置门和所述更新门确定隐状态差值，根据所述隐状态差值确定对应的微分等式，采用神经常微分方程网络对所述微分等式积分确定任意时刻的隐特征。
6.根据权利要求1所述的融合多源数据的降水估测模型建立方法，其特征在于，所述采用自注意力机制和多层感知机制根据所述隐特征确定估测降水量包括：
采用所述自注意力机制为所述隐特征分配不同的权重，通过聚合网络对所述隐特征进行聚合，并通过所述多层感知机制进行回归确定所述估测降水量。
7.根据权利要求1所述的融合多源数据的降水估测模型建立方法，其特征在于，还包括：设置过滤条件，采用二分查找算法从数据库中检索出符合所述过滤条件的观测数据。
8.根据权利要求1所述的融合多源数据的降水估测模型建立方法，其特征在于，还包括：通过SMOTE过采样和EasyEnsemble欠采样对所述训练集的数据分布进行平衡。
9.一种融合多源数据的降水估测方法，其特征在于，包括：
获取待估测降水量的观测数据，将所述待估测降水量的观测数据输入到权利要求1至8任一项所述的融合多源数据的降水估测模型建立方法所建立的融合多源数据的降水估测模型中，获得估测降水量。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如权利要求1至8任一项所述的融合多源数据的降水估测模型建立方法或权利要求9所述的融合多源数据的降水估测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210373230.7A CN114943365A (zh) | 2022-04-11 | 2022-04-11 | 融合多源数据的降水估测模型建立方法及降水估测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210373230.7A CN114943365A (zh) | 2022-04-11 | 2022-04-11 | 融合多源数据的降水估测模型建立方法及降水估测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114943365A true CN114943365A (zh) | 2022-08-26 |
Family
ID=82907179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210373230.7A Pending CN114943365A (zh) | 2022-04-11 | 2022-04-11 | 融合多源数据的降水估测模型建立方法及降水估测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114943365A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115792847A (zh) * | 2022-11-08 | 2023-03-14 | 江西师范大学 | 一种基于神经网络和回波垂直信息的定量降水估测方法 |
| CN117349795A (zh) * | 2023-12-04 | 2024-01-05 | 水利部交通运输部国家能源局南京水利科学研究院 | 基于ann和gwr耦合的降水融合方法和系统 |
| CN117368881A (zh) * | 2023-12-08 | 2024-01-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种融合多源数据的长序列雷达图像预测方法及系统 |
| CN117909927A (zh) * | 2024-03-19 | 2024-04-19 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 基于多源数据融合模型的降水定量估计方法和装置 |
-
2022
- 2022-04-11 CN CN202210373230.7A patent/CN114943365A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115792847A (zh) * | 2022-11-08 | 2023-03-14 | 江西师范大学 | 一种基于神经网络和回波垂直信息的定量降水估测方法 |
| CN117349795A (zh) * | 2023-12-04 | 2024-01-05 | 水利部交通运输部国家能源局南京水利科学研究院 | 基于ann和gwr耦合的降水融合方法和系统 |
| CN117349795B (zh) * | 2023-12-04 | 2024-02-02 | 水利部交通运输部国家能源局南京水利科学研究院 | 基于ann和gwr耦合的降水融合方法和系统 |
| CN117368881A (zh) * | 2023-12-08 | 2024-01-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种融合多源数据的长序列雷达图像预测方法及系统 |
| CN117368881B (zh) * | 2023-12-08 | 2024-03-26 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种融合多源数据的长序列雷达图像预测方法及系统 |
| CN117909927A (zh) * | 2024-03-19 | 2024-04-19 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 基于多源数据融合模型的降水定量估计方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Han et al. | Convective precipitation nowcasting using U-Net Model | |
| CN111639787B (zh) | 一种基于图卷积网络的时空数据预测方法 | |
| CN114943365A (zh) | 融合多源数据的降水估测模型建立方法及降水估测方法 | |
| CN109508360A (zh) | 一种基于元胞自动机的地理多元流数据时空自相关分析方法 | |
| CN112415521A (zh) | 基于cgru的强时空特性雷达回波临近预报方法 | |
| Xiong et al. | Contextual sa-attention convolutional LSTM for precipitation nowcasting: A spatiotemporal sequence forecasting view | |
| CN114417693A (zh) | 一种基于深度学习的海洋三维温度场反演方法 | |
| CN117556197B (zh) | 一种基于人工智能的台风涡旋初始化方法 | |
| Qin et al. | A typhoon trajectory prediction model based on multimodal and multitask learning | |
| Zheng et al. | Weather image-based short-term dense wind speed forecast with a ConvLSTM-LSTM deep learning model | |
| Li et al. | PV resource evaluation based on Xception and VGG19 two-layer network algorithm | |
| CN113127531A (zh) | 一种基于神经网络的区域地面沉降时空模拟系统和方法 | |
| CN116720156A (zh) | 基于图神经网络多模态气象数据融合的气象要素预报方法 | |
| CN117494034A (zh) | 基于交通拥堵指数和多源数据融合的空气质量预测方法 | |
| CN116148864A (zh) | 一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法 | |
| Porto et al. | Machine learning approaches to extreme weather events forecast in urban areas: Challenges and initial results | |
| CN113537450A (zh) | 一种基于多模型集成的融合外推预报方法 | |
| Fang et al. | A Novel Method for Precipitation Nowcasting Based on ST-LSTM. | |
| Zhao et al. | Advancing Realistic Precipitation Nowcasting with a Spatiotemporal Transformer-Based Denoising Diffusion Model | |
| Li et al. | MSDM: a machine learning model for precipitation nowcasting over east China using multi-source data | |
| Zhang | Deep learning-based hybrid short-term solar forecast using sky images and meteorological data | |
| Wang et al. | A typhoon center location method on satellite images based on deep reinforcement learning | |
| Guo et al. | High-precision reconstruction method based on MTS-GAN for electromagnetic environment data in SAGIoT | |
| Long et al. | Prediction of Vegetation Change by Discrete Wavelet Decomposition Based on Remote Sensing Time Series Images. | |
| Li et al. | WSPTGAN for Global Ocean Surface Wind Speed Generation with High Temporal Resolution and Spatial Coverage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |