CN116148864A - 一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法 - Google Patents
一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法 Download PDFInfo
- Publication number
- CN116148864A CN116148864A CN202310177279.XA CN202310177279A CN116148864A CN 116148864 A CN116148864 A CN 116148864A CN 202310177279 A CN202310177279 A CN 202310177279A CN 116148864 A CN116148864 A CN 116148864A
- Authority
- CN
- China
- Prior art keywords
- layer
- radar echo
- input
- channels
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
- G01S13/958—Theoretical aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,属于短临气象预测领域。该方法依次包括以下步骤:S1:对雷达灰度图像进行预处理,划分训练样本集和测试样本集;S2:构建DyConvGRU和判别器网络,将步骤S1得到的训练样本输入到构建的模型并训练,得到收敛的DyConvGRU和判别器网络;S3:将步骤S1得到的训练样本输入到步骤S2获得的收敛的模型,得到预测结果O;S4:构建Unet和判别器网络,将步骤S3中的输出O输入到构建的模型中并训练,得到收敛的Unet模型和判别器网络;S5:将S1中的测试样本依次输入到步骤S2和步骤S3中收敛的DyConvGRU和Unet模型,得到雷达回波外推图像。本发明能够对雷达外推图像进行有效的预测,为短临气象预报提供有效的技术支持。
Description
技术领域
本发明涉及一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,属于气象短临预报技术领域。
背景技术
准确的气象预测在农业、交通、供水、以及人类生活生产的各个方面都有着至关重要的作用。但由于大气环境的复杂性,准确地进行气象预测成为了一项极具挑战的任务,特别是短临预报任务。短临预报指的是0-2小时内的预报,其主要研究对象是中小尺度系统。和中长期以及短期预报相比,就需求区域、预报时效性等要素而言,短临预报有着更高的要求。早期传统的短临预报方法包括统计预报、经验外推和数值模式预报。统计方法利用ARIMA、LR等模型寻找时间序列之间的数学关系;数值预报依赖于大量的计算资源和数据来校正模型,计算复杂,不适合进行两小时内的气象预测。
雷达回波外推技术预测雷达回波未来位置和强度,可以对强对流系统的跟踪预报更加快速,再利用Z-R关系,将回波强度转化为降水量,实现对降水的预测。因此,精准的雷达外推结果往往表示着精准的降水预测。
在雷达外推中经典的方法为光流法。光流法的基本原理基于以下两个假设:场景像素强度在相邻两张雷达回波图像之间基本不变,相邻像素具有相似的运动。光流法的预测过程主要分为两个步骤:首先通过计算雷达回波的光流场,得到回波的运动矢量场;在向量场不变的前提下,可以根据向量场外推雷达回波图。但由于向量场的估计和外推是分开的,所以很难确定模型参数。这种方法虽然可以预测云的运动趋势,但不能预测云的消散。
随着计算机硬件和深度学习理论的发展,深度学习模型被用于解决各式各样的问题(如图像分类,目标检测,语音识别,自然语言处理等),并取得非常不错的效果。研究人员开始将深度学习模型应用到短临气象预测领域。基于雷达回波外推的短临降水预测在短临降水预测中扮演着重要的角色。雷达回波外推问题可以看成是时空序列(既包含了时序信息又包含了空间信息的序列)预测问题。深度学习模型通过多层网络结构和非线性变化来提取底层的特征,并抽象成高层的表示,发现数据的概率分布,为短临降水预测问题提供了一种端到端的解决方案,具有非常大的发展潜力。
现有的基于深度学习的雷达外推大多基于ConvRNN,如Shi等人提出来的ConvLSTM和TrajGRU[1-2]。ConvLSTM将全连接LSTM(FC-LSTM)中输入到状态和状态到状态的全连接结构都采用卷积结构替换,相较于FC-LSTM,ConvLSTM大大提高了模型对空间相关性的捕获能力;TrajGRU在ConvGRU的基础上提出利用子网络在状态转换之前输出状态到状态的连接结构,该模型能够主动学习循环连接末位置的空间结构的变化(如平移,旋转等)。Lin等人提出了SA-ConvLSTM模型[3],该模型在ConvLSTM基础上引入了一个基于记忆的自相关模块(memory-based self-attention module,SAM),SAM利用相似度得分对输入和记忆特征的所有位置聚合,生成新的特征。引入SAM模块的SA-ConvLSTM相较于ConvLSTM大大提高了在长时间序列中对空间相关性的捕获能力,但是由于自注意力机制计算的复杂性,使其在大分辨率图像的预测中需要消耗较大的计算资源和较长的时间。前人的这些模型往往遭受很难预测较长时间的雷达回波图像和丢失高回波区域特征的困境。本发明方法提出了一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,提高雷达回波预测图像的质量,特别是对高回波区域的预测质量。
[1]Shi,Xingjian&Chen,Zhourong&Wang,Hao&Yeung,Dit-Yan&Wong,Wai Kin&WOO,Wang-chun.(2015).Convolutional LSTM Network:A Machine Learning Approachfor Precipitation Nowcasting.
[2]Shi,Xingjian&Gao,Zhihan&Lausen,Leonard&Wang,Hao&Yeung,Dit-Yan&Wong,Wai Kin&WOO,Wang-chun.(2017).Deep Learning for Precipitation Nowcasting:A Benchmark and A New Model.
[3]Lin,Zhihui&Li,Maomao&Zheng,Zhuobin&Cheng,Yangyang&Yuan,Chun.(2020).Self-Attention ConvLSTM for Spatiotemporal Prediction.Proceedings ofthe AAAI Conference on Artificial Intelligence.34.11531-11538.10.1609/aaai.v34i07.6819.
发明内容
本发明的目的是提供一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,粗预测模块使用DyConvGRU网络对未来雷达回波图像进行预测,细化模块使用Unet对粗预测模块的预测结果进行精细化操作,提高生成的雷达回波图像质量,特别是对高回波区域图像的预测质量。
本发明方法采用下述技术方案:
一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,其依次包括以下步骤:
S1:对气象雷达图像序列中的雷达回波灰度图像进行数据清洗,得到雷达回波图像序列,并从雷达回波图像序列中提取样本并进行归一化,从而构建形成第一训练集;所述第一训练集中的每个样本包含输入数据和标签数据,输入数据为若干张历史时刻的雷达回波图像,标签数据为若干张未来时刻的雷达回波图像;
S2:构建由第一生成器和第一判别器级联形成的粗预测模型;所述第一生成器采用DyConvGRU模型,其输入为若干张历史时刻的雷达回波图像,输出为由若干张未来时刻的雷达回波粗图像组成的粗预测结果;所述第一判别器包括时间判别器和空间判别器;初始化第一生成器和第一判别器的网络参数后,将步骤S1得到的第一训练集输入到构建的粗预测模型中并基于对抗生成训练框架进行训练,得到收敛后的第一生成器和第一判别器;
S3:将步骤S1得到的第一训练集输入到S2获得的收敛的第一生成器中,得到每个样本对应的粗预测结果;将第一训练集中每个样本的输入数据更新为粗预测结果,从而构建形成第二训练集;
S4:构建由第二生成器和第二判别器级联形成的细化模型;所述第二生成器采用Unet模型,其输入为第一生成器输出的粗预测结果中任一随机时刻的雷达回波粗图像,输出为输入的雷达回波粗图像对应的雷达回波精细化图像;所述第二判别器为空间判别器;初始化第二生成器和第二判别器的网络参数后,将步骤S3中得到的第二训练集输入到细化模型中并基于对抗生成训练框架进行训练,得到收敛后的第二生成器和第二判别器;
S5:由收敛后的第一生成器和收敛后的第二生成器级联形成雷达回波外推模型,将目标时刻之前的若干张历史时刻雷达回波图像作为模型输入,先由DyConvGRU模型输出若干张未来时刻的雷达回波粗图像,再由Unet模型对每张未来时刻的雷达回波粗图像进行精细化操作,最终输出若干张未来时刻的雷达回波精细化图像作为外推结果。
作为优选,步骤S1中,构建第一训练集具体包括以下步骤:
获取采样间隔为m的气象雷达灰度图像序列,并将图像中的灰度值转换为雷达回波强度,得到雷达回波图像序列;去除雷达回波图像序列中最大雷达回波强度小于设定阈值的雷达回波图像,然后按照输入数据和标签数据的总长度l,利用长度为l的滑动窗口在雷达回波图像序列上进行滑动,每个滑动窗口从序列上提取出连续的l张雷达回波图像作为一个样本,其中前若干张雷达回波图像作为样本的输入数据,剩余雷达回波图像作为样本的标签数据;对于每一个提取出的样本,将其中的雷达回波图像的像素值除以雷达所能探测的最大回波强度从而实现雷达回波图像的归一化,由所有完成归一化后的样本构成第一训练集。
作为优选,所述设定阈值为15dbz,所述雷达所能探测的最大回波强度为70。
作为优选,所述第一训练集中,每个样本的输入数据为5张历史时刻的雷达回波图像,标签数据为15张未来时刻的雷达回波图像。
作为优选,所述的步骤S2中,粗预测模型中的第一生成器采用编码器-解码器结构的DyConvGRU模型;其中编码器部分由多组下采样层和DyConvGRU层交替级联组成;解码器部分除最后一层外的其他层由多组DyConvGRU层和上采样层交替级联组成,解码器部分的最后一层为3D卷积层,用于将输出的图像通道数变为雷达回波图像的通道数;第一生成器中的每一层DyConvGRU层均为一个改进的ConvGRU网络,通过将ConvGRU网络中的卷积操作替换为动态卷积操作实现;
粗预测模型中的第一判别器由时间判别器和空间判别器组成;时间判别器由多层3D动态卷积和多层全连接层级联组成,其输入为第一生成器输出的粗预测结果中所有未来时刻的雷达回波粗图像,输出为时间维度的判别结果;空间判别器由多层2D动态卷积和多层全连接层级联组成,其输入为第一生成器输出的粗预测结果中任一随机时刻的雷达回波粗图像,输出为空间维度的判别结果。
作为优选,所述粗预测模型的第一生成器中,编码器部分采用6层网络结构,第一层为下采样层且其用于将输入长宽下采样到原来的1/4,第二层为DyConvGRU层,第三层为下采样层且其用于将输入长宽下采样到原来的1/2,第四层为DyConvGRU层,第五层为下采样层且其用于将输入长宽下采样到原来的1/2,第六层为DyConvGRU层;第一生成器的解码器部分采用7层网络结构,第一层为DyConvGRU层,第二层为上采样层且其用于将输入长宽变为原来的2倍,第三层为DyConvGRU层,第四层为上采样层且其用于将输入长宽变为原来的2倍,第五层为DyConvGRU,第六层为上采样层且其用于将输入长宽变为原来的4倍,第七层为3D卷积层且其用于将输出的图像通道数变为1;
所述粗预测模型的第一判别器中,时间判别器采用三层动态3D卷积和三层全连接层级联,第一层3D动态卷积层输入为1通道,输出为8通道,卷积核大小为3,步长为(2,8,8);第二层3D动态卷积层输入为8通道,输出为16通道,卷积核大小为3,步长为(2,4,4);第三层3D动态卷积层输入为16通道,输出为32通道,卷积核大小为3,步长为(1,2,2);第一层全连接层输入为512通道,输出为256通道;第二层全连接层输入为256通道,输出为128通道;第三层全连接层输入为128通道,输出为1通道;
所述粗预测模型的第一判别器中,空间判别器采用三层2D动态卷积和三层全连接层级联,第一层2D动态卷积层输入为1通道,输出为8通道,卷积核大小为3,步长为8;第二层2D动态卷积层输入为8通道,输出为16通道,卷积核大小为3,步长为4;第三层2D动态卷积层输入为16通道,输出为32通道,卷积核大小为3,步长为2;第一层全连接层输入为512通道,输出为256通道;第二层全连接层输入为256通道,输出为128通道;第三层全连接层输入为128通道,输出为1通道。
作为优选,所述粗预测模型的训练采用WGAN的对抗生成训练方法。
作为优选,所述的步骤S4中,细化模型中的第二生成器采用Unet模型,其输入为第一生成器输出的粗预测结果中任一随机时刻的雷达回波粗图像,输出为输入的雷达回波粗图像经过精细化操作后的雷达回波精细化图像;细化模型中的第二判别器采用由多层2D动态卷积和多层全连接层级联组成的空间判别器,其输入为第二生成器输出的雷达回波精细化图像,输出为空间维度的判别结果。
作为优选,所述细化模型中的第二生成器中,第二判别器采用的空间判别器由三层2D动态卷积和三层全连接层级联,第一层2D动态卷积层输入为1通道,输出为8通道,卷积核大小为3,步长为8;第二层2D动态卷积层输入为8通道,输出为16通道,卷积核大小为3,步长为4;第三层2D动态卷积层输入为16通道,输出为32通道,卷积核大小为3,步长为2;第一层全连接层输入为512通道,输出为256通道;第一层全连接层输入为256通道,输出为128通道;第一层全连接层输入为128通道,输出为1通道。
作为优选,所述细化模型的训练采用WGAN的对抗生成训练方法。
本发明通过将雷达数据集进行数据清洗、归一化操作后得到灰度雷达图像数据集,再构建DyConvGRU、时间判别器和空间判别器通过反向传播更新模型参数,最终训练出收敛的DyConvGRU作为预测模型,得到初预测图像,然后构建Unet和空间判别器,以初预测图像作为输入,通过反向传播更新模型参数,得到收敛的Unet模型作为细化模型。使用时,将雷达回波图像先输入到DyConvGRU进行预测,再将预测结果输入到Unet进行细化操作,得到最终的雷达回波图像。相较于传统光流法外推和前人的深度学习方法,本发明对高回波区域的预测能力大大提高,并且在较长时间预测结果中高回波区域的CSI(关键成功指数)得到提升,FAR(误警率)得到降低。
附图说明
图1为本发明流程图。
图2为预测模块训练过程示意图。
图3为动态卷积结构示意图。
图4为DyConvGRU网络的Encoder-Decoder结构示意图。
图5为判别器结构示意图。
图6为细化模块训练过程示意图。
图7为模型实际预测过程示意图。
图8为预测效果示例。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下,均可进行相应组合。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于区分描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
如图1所示,本发明一个较佳实施例中,基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,依次包含以下步骤:
S1:对气象雷达图像序列中的雷达回波灰度图像进行数据清洗,得到雷达回波图像序列,并从雷达回波图像序列中提取样本并进行归一化,从而构建形成第一训练集;所述第一训练集中的每个样本包含输入数据和标签数据,输入数据为若干张历史时刻的雷达回波图像,标签数据为若干张未来时刻的雷达回波图像。
S2:构建由第一生成器和第一判别器级联形成的粗预测模型;所述第一生成器采用DyConvGRU模型,其输入为若干张历史时刻的雷达回波图像,输出为由若干张未来时刻的雷达回波粗图像组成的粗预测结果O;所述第一判别器包括时间判别器和空间判别器;初始化第一生成器和第一判别器的网络参数后,将步骤S1得到的第一训练集输入到构建的粗预测模型中并基于对抗生成训练框架进行训练,得到收敛后的第一生成器和第一判别器。
S3:将步骤S1得到的第一训练集输入到S2获得的收敛的第一生成器中,得到每个样本对应的粗预测结果O;将第一训练集中每个样本的输入数据更新为粗预测结果O,从而构建形成第二训练集。
S4:构建由第二生成器和第二判别器级联形成的细化模型;所述第二生成器采用Unet模型,其输入为第一生成器输出的粗预测结果O中任一随机时刻的雷达回波粗图像,输出为输入的雷达回波粗图像对应的雷达回波精细化图像;所述第二判别器为空间判别器;初始化第二生成器和第二判别器的网络参数后,将步骤S3中得到的第二训练集输入到细化模型中并基于对抗生成训练框架进行训练,得到收敛后的第二生成器和第二判别器。
S5:由收敛后的第一生成器和收敛后的第二生成器级联形成雷达回波外推模型,将目标时刻之前的若干张历史时刻雷达回波图像作为模型输入,先由DyConvGRU模型输出若干张未来时刻的雷达回波粗图像,再由Unet模型对每张未来时刻的雷达回波粗图像进行精细化操作,最终输出若干张未来时刻的雷达回波精细化图像作为外推结果。
本实施例中,多普勒气象雷达得到的雷达回波图像的分辨率大小为501×501灰度图像,每一个像素点表示1km×1km的范围,图像名称为雷达回波探测并生成为原始雷达回波图像的时间。模型输入雷达回波灰度图像数据的序列长度为5张,总时长为0.5小时,相邻两张雷达回波图像的间隔时间为6分钟;目标雷达回波灰度图像数据的序列长度为15张,总时长为1.5小时,相邻两张雷达回波图像的间隔时间为6分钟。总雷达回波图像序列长度(模型输入雷达回波图像序列长度加上目标雷达回波图像序列长度)为20,覆盖时长为2小时。为了图像可视化的效果并易于使用者使用,本实施例在进行结果展示时,对于不同回波强度赋予不同的颜色,将雷达回波灰度图像转化为彩色雷达回波图像。
下面对上述S1~S5步骤在本实施例中的具体实现形式以及技术效果进行详细展示。
上述步骤S1中核心是数据清洗和归一化,具体包括:去除图像中最大回波强度小于设定阈值的图像;利用滑动窗口选取长度为l的时间间隔为m的连续气象雷达图像序列;利用公式为回波强度,scale为归一化后的数值,maxval为最大的回波强度)将雷达图像归一化;
具体的,在本实施例中步骤S1包含以下具体步骤:
步骤S1.1:获取气象雷达灰度图像序列,将利用公式E=I÷255.0×70将序列中的灰度图像值转化为雷达回波强度值(E为回波强度值,I为灰度图像的灰度值,70为生成该雷达回波图像的雷达所能探测的最大雷达回波值),共获得127342张雷达回波图像;
步骤S1.2:去除S1.1得到的雷达回波图像序列中最大回波强度小于15dbz的雷达回波图像。由于回波强度小于15dbz的时候为无降水,去除无降水的雷达回波图像有利于减少无雨天气对模型训练的影响,共得到96427张雷达回波图像。
步骤S1.3:基于S1.2得到的雷达回波图像序列,利用滑动窗口在序列上进行滑动,每一个滑动步长选取长度为20时间间隔为6分钟的连续图像序列,总共得到78837个长度为20的雷达回波图像序列;
在本实施例中,滑动窗口长度为20,步长为1。当滑动窗口选定20张雷达回波图像时,判断相邻两张雷达回波图像的时间间隔是否为6分钟,若时间间隔为6分钟,则将序列中雷达回波图像对应的文件名称按行写入data.csv文件(即每一行的数据表示长度为20的连续雷达回波图像序列中各图像对应的文件名称)并且滑动窗口整体向后移动一格;否则,不做任何处理,滑动窗口整体向后移动一格。
步骤S1.5:将S1.4归一化后的雷达回波图像大小统一缩放为128×128,缩小图像的分辨率有利于提高模型的训练和预测效率;
步骤S1.6:将获得的data.csv中雷达回波图像文件名称序列的80%作为训练样本,共得到63069个长度为20序列,并保存为train.csv;20%作为测试集样本,共得到15768个长度为20序列,并保存为test.csv。每个样本的20张雷达回波图像中,前5张作为模型预测所需的输入数据,后15张作为预测标签,即15个未来时刻的雷达回波图像。
具体的,步骤S2包含以下具体步骤:
步骤S2.1:构建第一生成器(采用DyConvGRU模型)和第一判别器(包括时间判别器和空间判别器)并级联组成粗预测模型,初始化第一生成器和第一判别器的权重和偏置值,以及训练相关参数;
步骤S2.2:将步骤S1.6中得到的train.csv文件按行读出(每一行为时间间隔为6分钟的连续20张雷达回波图像对应的文件名称),并根据每行的文件名读取雷达回波图像,输入到第一生成器中,训练集的每一个样本包含训练输入图像input={xi|1≤i≤5}以及标签target={xi|6≤i≤20},其中xi为雷达回波图像序列中第i张图像。
步骤S2.3:第一生成器得到生成的15张雷达回波图像,再将生成图像与真实标签依次输入第一判别器;
步骤S2.4:计算预测图像与真实图像的损失以及第一生成器、第一判别器的损失;
步骤S2.5:基于对抗生成训练框架,根据计算得到的损失,对第一生成器和第一判别器每层网络的权重和偏置进行更新,得到新的权重和偏置值;
步骤S2.6:重复步骤S2.2至步骤S2.5,直到完成模型训练完成最大迭代次数,得到最终收敛的第一生成器即DyConvGRU模型、时间判别器和空间判别器,如图2所示。
上述步骤S2.1所述的第一生成器采用了编码器-解码器(Encoder-Decoder)结构的DyConvGRU模型,Encoder由多组下采样层和DyConvGRU层交替级联组成;Decoder部分除最后一层外的其他层由多组DyConvGRU层和上采样层交替级联组成,Decoder部分的最后一层为3D卷积层,用于将输出的图像通道数变为雷达回波图像的通道数。第一生成器的Encoder和Decoder部分中的每一层DyConvGRU层均为一个改进的ConvGRU网络,其相对于ConvGRU网络而言,区别在于使用添加了核注意力机制的动态卷积操作代替ConvGRU网络中原始的常规卷积操作。动态卷积操作属于现有技术,如图3所示,其设置K个大小和通道数相同的卷积核,通过各自的权重πk进行融合,从而得到该层的卷积核参数。计算πk的过程为:首先对输入x做GobalAvgPooling,得到全局的空间特征,再通过两个FC层映射到K的维度,最后做softmax归一化。得到的K个注意力权重就可以分配给该层的K个卷积核,然后对这K个卷积核的结果线性相加,将相加的结果与原输入x进行卷积操作,再依次通过一个BatchNormal层和一个激活函数得到最终的结果y。
具体的,添加了核注意力机制的动态卷积数学表达式为:
其中g为激活函数,是第k个感知机的权重,/>为第k个感知机的偏置值πk(x)第k个线性函数/>的权重,他随着输入的不同而变化;zj为图三中注意力分支的第二个FC层的输出,τ是温度,本实施例中τ设定为30,K设定为4。相较于常规的卷积,添加了核注意力机制的动态卷积通过多卷积核的融合提升模型的表达能力。所得的卷积与输入相关,即对于不同的输入数据具有不同卷积操作。/>
DyConvGRU网络的数学表达式为:
zt=σ(Wxz*xt+Whz*ht-1)
rt=σ(Wxr*xt+Whr*ht-1)
其中σ表示Sigmoid激活函数;*和⊙分别表示添加了核注意力机制的动态卷积操作和hadamard积;zt和rt是复位门和更新门;f是激活函数,本实施例中f采用tanh函数。
需注意的是,本发明的描述中,DyConvGRU模型和DyConvGRU网络时两个不同概念,DyConvGRU网络作为DyConvGRU模型中的部分网络层,与其他上采样层、下采样层等一起构成DyConvGRU模型。
在本实施例中,整个作为第一生成器的DyConvGRU模型采用Encoder-Decoder结构,如图4所示,具体的网络结构参数如下:
在DyConvGRU模型的Encoder中,第一层为下采样层,将输入长宽下采样到原来的1/4,第二层为DyConvGRU层,第三层为下采样层,将输入长宽下采样到原来的1/2,第四层为DyConvGRU层,第五层为下采样层,将输入长宽下采样到原来的1/2,第六层为DyConvGRU层。
在DyConvGRU模型的Decoder中,第一层为DyConvGRU层,第二层为上采样层,将输入长宽变为原来的2倍,第三层为DyConvGRU层,第四层为上采样层,将输入长宽变为原来的2倍,第五层为DyConvGRU,第六层为上采样层,将输入长宽变为原来的4倍,第七层为3D卷积层,将图像通道数变为1。
DyConvGRU模型的Encoder中六层堆叠,数据从第一层到第六层依次传递,即第一层的输出作为第二层的输入,第二层的输出作为第三层的输入,依次传递;Decoder中七层依次堆叠,数据从第一层依次传递,即第一层的输出作为第二层的输入,第二层的输出作为第三层的输入,依次传递。DyConvGRU模型的Encoder和Decoder依次串联,即Endcoder的输出作为Decoder的输入。在本实施例中,样本是批量输入的,因此Encoder-Decoder结构的DyConvGRU网络的输入维度对应为(B,T,C,W,H),B为批量大小,T为粗预测模型需预测的时间步长,C为雷达回波图像通道数,W为雷达回波图像宽度,H为雷达回波图像高度。本实施例中,DyConvGRU网络的输入维度(B,T,C,W,H)对应为(16,15,1,128,128),输出维度为(16,15,1,128,128)。
上述粗预测模型的第二判别器有两个,分为时间判别器和空间判别器,都由动态卷积层和全连接层组成,如图5所示。
具体的,第二判别器中的时间判别器采用三层动态3D卷积和三层全连接层级联,第一层3D动态卷积层输入为1通道,输出为8通道,卷积核大小为3,步长为(2,8,8);第二层3D动态卷积层输入为8通道,输出为16通道,卷积核大小为3,步长为(2,4,4);第三层3D动态卷积层输入为16通道,输出为32通道,卷积核大小为3,步长为(1,2,2);第一层全连接层输入为512通道,输出为256通道;第二层全连接层输入为256通道,输出为128通道;第三层全连接层输入为128通道,输出为1通道。时间判别器的输入维度为(B,T,C,W,H)其中,B为批量大小,T为时间步长,C为通道数,W为雷达回波图像宽度,H为雷达回波图像高度,本实施例中的时间判别器的输入维度为(16,15,1,128,128),输出维度为(16,1)。
具体的,第二判别器中的空间判别器采用三层动态2D卷积和三层全连接层级联,第一层2D动态卷积层输入为1通道,输出为8通道,卷积核大小为3,步长为8;第二层2D动态卷积层输入为8通道,输出为16通道,卷积核大小为3,步长为4;第三层2D动态卷积层输入为16通道,输出为32通道,卷积核大小为3,步长为2;第一层全连接层输入为512通道,输出为256通道;第二层全连接层输入为256通道,输出为128通道;第三层全连接层输入为128通道,输出为1通道。空间判别器的输入维度为(B,C,W,H)其中,B为批量大小,C为雷达回波图像通道数,W为雷达回波图像宽度,H为雷达回波图像高度。本实施例中空间判别器的输入维度为(16,1,128,128),由DyConvGRU网络预测结果(维度为(16,15,1,128,128))中的15个步长中采用随机函数随机选取一个步长(即未来时刻)得到,输出维度为(16,1)。
在本实施例中,上述粗预测模型的训练采用WGAN的对抗生成训练方法,所述训练相关参数可设置如下:第一生成器DyConvGRU模型采用Adam优化器进行参数优化,初始化学习率为0.0002;空间判别器采用Adam优化器进行参数优化,初始化学习率为0.0001;时间判别器采用Adam优化器进行参数优化,初始化学习率为0.0001;模型权重和偏置值采用Kaiming初始化;训练次数为100epochs。最终,本实施例中经过100轮迭代训练训练损失从311.77降到84.76;测试损失从218.95降到90.50。
另外,本实施例在粗预测模型对抗生成训练过程中,第一生成器DyConvGRU模型的损失函数lossG可按照如下公式计算:
其中DT,DS分别表示第一判别器中的时间判别器和空间判别器;output表示第一生成器生成的雷达回波图像;T表示第一生成器输出的预测雷达回波图像数量,即预测的总步长;H,W分别表示雷达回波图像的高和宽;targeti,j表示真实雷达回波图像标签像素点的值;outputi,j表示生成器生成的雷达回波图像像素点的值;weighti,j表示每个像素点对应的权重。
同时,本实施例在粗预测模型训练过程中,第一判别器的损失函数lossD可按如下公式计算:
lossD=DT(output)+Ds(output)-DT(target)-DS(target)
其中DT,DS分别表示第一判别器中的时间判别器和空间判别器,target为标签,output为第一生成器(DyConvGRU模型)生成的雷达回波图像。
本发明的雷达回波图像预测采用了两步法,即先用一个DyConvGRU模型作为预测模型得到粗预测图像,然后用一个Unet模型以初预测图像作为输入进行精细化操作生成精细化图像。因此,为了训练Unet模型,需要重新构建训练集。
本实施例的上述步骤S3中,其目的是利用S2训练后获得的收敛的第一生成器,重新针对第一训练集中每个样本的输入数据生成粗预测结果,然后用粗预测结果替换第一训练集中对应样本的输入数据,而标签数据不变,从而将第一训练集转换为第二训练集。基于该第二训练集,即可对Unet模型进行训练。
本实施例的上述步骤S4包含以下具体步骤:
步骤S4.1:构建第二生成器(采用Unet网络)和第二判别器(采用空间判别器)并级联组成细化模型,初始化第二生成器和第二判别器的权重和偏置值;
步骤S4.2:从步骤S3中第二训练集中采样批次样本,在每个样本中由DyConvGRU模型输出的15张雷达回波图像(粗预测结果O)中随机选择一张输入到第二生成器Unet,再将Unet生成的图像输入到第二判别器中。
步骤S4.3:计算Unet输出图像和真实图像的损失以及第二判别器、第二生成器的损失;
步骤S4.4:基于对抗生成训练框架,根据计算得到的损失,对第二生成器和第二判别器每层网络的权重和偏置进行更新,得到新的权重和偏置值;
步骤S4.5:重复步骤S4.2和步骤S4.4,直到完成模型训练迭代,最终得到收敛后的Unet模型和空间判别器,如图6所示。
其中本实施例细化模型中,第二生成器采用Unet模型,其输入为第一生成器输出的粗预测结果中任一随机时刻的雷达回波粗图像,输出为输入的雷达回波粗图像经过精细化操作后的雷达回波精细化图像;细化模型中的第二判别器采用由多层2D动态卷积和多层全连接层级联组成的空间判别器,其输入为第二生成器输出的雷达回波精细化图像,输出为空间维度的判别结果。。
具体的,本实施例中作为细化模型中第二生成器的Unet网络属于现有技术,可参见2015年的论文《U-Net:Convolutional Networks for Biomedical ImageSegmentation》中的模型结构,输入维度和输出维度都为(B,C,W,H),其中,B为批量大小,C为雷达回波图像通道数,W为雷达回波图像宽度,H为雷达回波图像高度。本实施例中的维度(B,C,W,H)为(16,1,128,128)。Unet输入为步骤S3中的预测结果O(维度为(16,15,1,128,128))中15张雷达回波图像采用随机函数随机选取的一张雷达回波图像。
本实施例中作为细化模型中第二判别器的空间判别器采用三层动态2D卷积和三层全连接层级联,第一层2D动态卷积层输入为1通道,输出为8通道,卷积核大小为3,步长为8;第二层2D动态卷积层输入为8通道,输出为16通道,卷积核大小为3,步长为4;第三层2D动态卷积层输入为16通道,输出为32通道,卷积核大小为3,步长为2;第一层全连接层输入为512通道,输出为256通道;第二层全连接层输入为256通道,输出为128通道;第三层全连接层输入为128通道,输出为1通道;空间判别器的输入维度为(B,C,W,H)其中,B为批量大小,C为通道数,W为雷达回波图像宽度,H为雷达回波图像高度,本实施例中的空间判别器的输入维度(B,C,W,H)为(16,1,128,128)。
在本实施例中,上述细化模型的训练采用WGAN的对抗生成训练方法,训练相关参数可设置如下:第二生成器Unet网络采用Adam优化器进行参数优化,初始化学习率为0.00005;空间判别器采用Adam优化器进行参数优化,初始化学习率为0.00005;Unet的权重和偏置值采用Xavier初始化,空间判别器的权重和偏置值采用Kaiming初始化;训练次数为100epochs。本实施例中,经过100轮迭代训练训练损失从88.41降到65.79;测试损失从89.87降到75.14。
另外,本实施例在细化模型对抗生成训练过程中,第二生成器的损失函数lossG可按照如下公式计算:
其中Dt分别表示细化模型中的第二判别器;output表示第二生成器生成的雷达回波图像;T表示输出的预测雷达回波图像数量,即预测未来时刻雷达回波图像的总步长;H,W分别表示雷达回波图像的高和宽;targeti,j表示真实图像标签像素点的值;outputi,j表示第二生成器生成的雷达回波图像像素点的值;weighti,j表示每个像素点对应的权重。
另外,本实施例在细化模型对抗生成训练过程中,作为第二判别器的空间判别器的损失函数lossD按下式计算:
lossD=DS(output)-DS(target)
其中Ds分别表示作为第二判别器的空间判别器,target为标签数据中的真实雷达回波图像,output为第二生成器(Unet)生成的雷达回波图像。
步骤4.4中收敛模型保存策略为:保存训练损失和测试损失最小的两个模型,后通过验证集测试,选择表现好的模型作为最终的收敛模型。
如图7所示,当得到收敛的第一生成器(DyConvGRU模型)和第二生成器(Unet)后,即可采用两步预测的方法进行未来时刻雷达回波图像的预测。
在本实施例中,上述步骤S5包含以下具体步骤:
步骤S5.1:将步骤S1.5中的测试集样本中图像序列中的前五张雷达回波图像输入到步骤S2.6中收敛的DyConvGRU模型,得到粗预测结果,即未来1.5小时的15张雷达回波图像。
步骤S5.2:将步骤S5.1中得到的粗预测结果中15张雷达回波图像依次输入到步骤S4.5中收敛的Unet模型,对粗预测结果中每张图像进行精细化操作,得到最终的精细化操作以后的雷达回波图像,最终部分雷达图像效果如图8所示。
为了对雷达回波外推图像生成的质量进行量化评估,本实施例采用CSI(关键成功指数)、FAR(误警率),在测试集中随机抽取40个雷达图像序列进行测试,并计算阈值分别为20dbz,30dbz以及40dbz对应的CSI和FAR,其结果如表1、表2所示。
其中表示预测正确的为真的事件与真实为真的事件以及误报为真的时间之和的比例;/>表示预测为真的事件中未发生的比例。TP、FP、FN、TN含义如表3所示。其中当imagei,j<threshold时为false;当imagei,j≥threshold时为true。imagei,j表示图像中的像素点,threshold为用户自定义阈值,本实施例中分别选取了20、30和40。
表1 CSI指标
T=6min | T=30min | T=60min | T=90min | |
Threshold=20 | 0.85 | 0.81 | 0.81 | 0.79 |
Threshold=30 | 0.69 | 0.62 | 0.61 | 0.58 |
Threshold=40 | 0.49 | 0.41 | 0.41 | 0.30 |
表2 FAR指标
T=6min | T=30min | T=60min | T=90min | |
Threshold=20 | 0.09 | 0.11 | 0.11 | 0.11 |
Threshold=30 | 0.23 | 0.28 | 0.28 | 0.28 |
Threshold=40 | 0.32 | 0.37 | 0.39 | 0.37 |
表3混淆矩阵
以上所述的实施例只是本发明的一种较佳的方案,然其并非用以限制本发明。有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。
Claims (10)
1.一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,其特征在于,依次包括以下步骤:
S1:对气象雷达图像序列中的雷达回波灰度图像进行数据清洗,得到雷达回波图像序列,并从雷达回波图像序列中提取样本并进行归一化,从而构建形成第一训练集;所述第一训练集中的每个样本包含输入数据和标签数据,输入数据为若干张历史时刻的雷达回波图像,标签数据为若干张未来时刻的雷达回波图像;
S2:构建由第一生成器和第一判别器级联形成的粗预测模型;所述第一生成器采用DyConvGRU模型,其输入为若干张历史时刻的雷达回波图像,输出为由若干张未来时刻的雷达回波粗图像组成的粗预测结果;所述第一判别器包括时间判别器和空间判别器;初始化第一生成器和第一判别器的网络参数后,将步骤S1得到的第一训练集输入到构建的粗预测模型中并基于对抗生成训练框架进行训练,得到收敛后的第一生成器和第一判别器;
S3:将步骤S1得到的第一训练集输入到S2获得的收敛的第一生成器中,得到每个样本对应的粗预测结果;将第一训练集中每个样本的输入数据更新为粗预测结果,从而构建形成第二训练集;
S4:构建由第二生成器和第二判别器级联形成的细化模型;所述第二生成器采用Unet模型,其输入为第一生成器输出的粗预测结果中任一随机时刻的雷达回波粗图像,输出为输入的雷达回波粗图像对应的雷达回波精细化图像;所述第二判别器为空间判别器;初始化第二生成器和第二判别器的网络参数后,将步骤S3中得到的第二训练集输入到细化模型中并基于对抗生成训练框架进行训练,得到收敛后的第二生成器和第二判别器;
S5:由收敛后的第一生成器和收敛后的第二生成器级联形成雷达回波外推模型,将目标时刻之前的若干张历史时刻雷达回波图像作为模型输入,先由DyConvGRU模型输出若干张未来时刻的雷达回波粗图像,再由Unet模型对每张未来时刻的雷达回波粗图像进行精细化操作,最终输出若干张未来时刻的雷达回波精细化图像作为外推结果。
2.根据权利要求1所述的基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,其特征在于,步骤S1中,构建第一训练集具体包括以下步骤:
获取采样间隔为m的气象雷达灰度图像序列,并将图像中的灰度值转换为雷达回波强度,得到雷达回波图像序列;去除雷达回波图像序列中最大雷达回波强度小于设定阈值的雷达回波图像,然后按照输入数据和标签数据的总长度l,利用长度为l的滑动窗口在雷达回波图像序列上进行滑动,每个滑动窗口从序列上提取出连续的l张雷达回波图像作为一个样本,其中前若干张雷达回波图像作为样本的输入数据,剩余雷达回波图像作为样本的标签数据;对于每一个提取出的样本,将其中的雷达回波图像的像素值除以雷达所能探测的最大回波强度从而实现雷达回波图像的归一化,由所有完成归一化后的样本构成第一训练集。
3.根据权利要求2所述的基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,其特征在于,所述设定阈值为15dbz,所述雷达所能探测的最大回波强度为70。
4.根据权利要求1所述的基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,其特征在于,所述第一训练集中,每个样本的输入数据为5张历史时刻的雷达回波图像,标签数据为15张未来时刻的雷达回波图像。
5.根据权利要求1所述的基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,其特征在于,所述的步骤S2中,粗预测模型中的第一生成器采用编码器-解码器结构的DyConvGRU模型;其中编码器部分由多组下采样层和DyConvGRU层交替级联组成;解码器部分除最后一层外的其他层由多组DyConvGRU层和上采样层交替级联组成,解码器部分的最后一层为3D卷积层,用于将输出的图像通道数变为雷达回波图像的通道数;第一生成器中的每一层DyConvGRU层均为一个改进的ConvGRU网络,通过将ConvGRU网络中的卷积操作替换为动态卷积操作实现;
粗预测模型中的第一判别器由时间判别器和空间判别器组成;时间判别器由多层3D动态卷积和多层全连接层级联组成,其输入为第一生成器输出的粗预测结果中所有未来时刻的雷达回波粗图像,输出为时间维度的判别结果;空间判别器由多层2D动态卷积和多层全连接层级联组成,其输入为第一生成器输出的粗预测结果中任一随机时刻的雷达回波粗图像,输出为空间维度的判别结果。
6.根据权利要求5所述的基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,其特征在于,所述粗预测模型的第一生成器中,编码器部分采用6层网络结构,第一层为下采样层且其用于将输入长宽下采样到原来的1/4,第二层为DyConvGRU层,第三层为下采样层且其用于将输入长宽下采样到原来的1/2,第四层为DyConvGRU层,第五层为下采样层且其用于将输入长宽下采样到原来的1/2,第六层为DyConvGRU层;第一生成器的解码器部分采用7层网络结构,第一层为DyConvGRU层,第二层为上采样层且其用于将输入长宽变为原来的2倍,第三层为DyConvGRU层,第四层为上采样层且其用于将输入长宽变为原来的2倍,第五层为DyConvGRU,第六层为上采样层且其用于将输入长宽变为原来的4倍,第七层为3D卷积层且其用于将输出的图像通道数变为1;
所述粗预测模型的第一判别器中,时间判别器采用三层动态3D卷积和三层全连接层级联,第一层3D动态卷积层输入为1通道,输出为8通道,卷积核大小为3,步长为(2,8,8);第二层3D动态卷积层输入为8通道,输出为16通道,卷积核大小为3,步长为(2,4,4);第三层3D动态卷积层输入为16通道,输出为32通道,卷积核大小为3,步长为(1,2,2);第一层全连接层输入为512通道,输出为256通道;第二层全连接层输入为256通道,输出为128通道;第三层全连接层输入为128通道,输出为1通道;
所述粗预测模型的第一判别器中,空间判别器采用三层2D动态卷积和三层全连接层级联,第一层2D动态卷积层输入为1通道,输出为8通道,卷积核大小为3,步长为8;第二层2D动态卷积层输入为8通道,输出为16通道,卷积核大小为3,步长为4;第三层2D动态卷积层输入为16通道,输出为32通道,卷积核大小为3,步长为2;第一层全连接层输入为512通道,输出为256通道;第二层全连接层输入为256通道,输出为128通道;第三层全连接层输入为128通道,输出为1通道。
7.根据权利要求1所述的基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,其特征在于,所述粗预测模型的训练采用WGAN的对抗生成训练方法。
8.根据权利要求1所述的基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,其特征在于,所述的步骤S4中,细化模型中的第二生成器采用Unet模型,其输入为第一生成器输出的粗预测结果中任一随机时刻的雷达回波粗图像,输出为输入的雷达回波粗图像经过精细化操作后的雷达回波精细化图像;细化模型中的第二判别器采用由多层2D动态卷积和多层全连接层级联组成的空间判别器,其输入为第二生成器输出的雷达回波精细化图像,输出为空间维度的判别结果。
9.根据权利要求8所述的基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,其特征在于,所述细化模型中的第二生成器中,第二判别器采用的空间判别器由三层2D动态卷积和三层全连接层级联,第一层2D动态卷积层输入为1通道,输出为8通道,卷积核大小为3,步长为8;第二层2D动态卷积层输入为8通道,输出为16通道,卷积核大小为3,步长为4;第三层2D动态卷积层输入为16通道,输出为32通道,卷积核大小为3,步长为2;第一层全连接层输入为512通道,输出为256通道;第一层全连接层输入为256通道,输出为128通道;第一层全连接层输入为128通道,输出为1通道。
10.根据权利要求1所述的基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法,其特征在于,所述细化模型的训练采用WGAN的对抗生成训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310177279.XA CN116148864A (zh) | 2023-02-28 | 2023-02-28 | 一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310177279.XA CN116148864A (zh) | 2023-02-28 | 2023-02-28 | 一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116148864A true CN116148864A (zh) | 2023-05-23 |
Family
ID=86373387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310177279.XA Pending CN116148864A (zh) | 2023-02-28 | 2023-02-28 | 一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116148864A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117368881A (zh) * | 2023-12-08 | 2024-01-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种融合多源数据的长序列雷达图像预测方法及系统 |
-
2023
- 2023-02-28 CN CN202310177279.XA patent/CN116148864A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117368881A (zh) * | 2023-12-08 | 2024-01-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种融合多源数据的长序列雷达图像预测方法及系统 |
CN117368881B (zh) * | 2023-12-08 | 2024-03-26 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种融合多源数据的长序列雷达图像预测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107609460B (zh) | 一种融合时空双重网络流和attention机制的人体行为识别方法 | |
Wang et al. | Neuron linear transformation: Modeling the domain shift for crowd counting | |
CN112418409B (zh) | 一种利用注意力机制改进的卷积长短期记忆网络时空序列预测方法 | |
Liu et al. | Time series prediction based on temporal convolutional network | |
CN109743642B (zh) | 基于分层循环神经网络的视频摘要生成方法 | |
CN111259786A (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
CN113313123B (zh) | 一种基于语义推断的扫视路径预测方法 | |
Yao et al. | Unsupervised transfer learning for spatiotemporal predictive networks | |
CN111723667A (zh) | 基于人体关节点坐标的智慧灯杆人群行为识别方法和装置 | |
Zhang et al. | Semi-supervised action quality assessment with self-supervised segment feature recovery | |
CN111708030A (zh) | 基于能量生成对抗性预测器的灾害天气预报方法 | |
CN113297972A (zh) | 一种基于数据融合深度学习的变电站设备缺陷智能分析方法 | |
CN115131565A (zh) | 基于半监督学习的组织学图像分割模型 | |
CN116148864A (zh) | 一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法 | |
CN115113165A (zh) | 雷达回波外推方法、装置及系统 | |
Jing et al. | REMNet: Recurrent evolution memory-aware network for accurate long-term weather radar echo extrapolation | |
Dong et al. | Motion-guided global–local aggregation transformer network for precipitation nowcasting | |
CN117373116A (zh) | 基于图神经网络的轻量级特征保留的人体动作检测方法 | |
CN117197632A (zh) | 一种基于Transformer的电镜花粉图像目标检测方法 | |
Fang et al. | Stunner: Radar echo extrapolation model based on spatio-temporal fusion neural network | |
Wang et al. | Better deep visual attention with reinforcement learning in action recognition | |
Yao et al. | A Forecast-Refinement Neural Network Based on DyConvGRU and U-Net for Radar Echo Extrapolation | |
Wang et al. | Efficient convolutional neural architecture search for lidar dsm classification | |
CN114821337A (zh) | 基于时相一致性伪标签的半监督sar图像建筑区提取方法 | |
CN113935458A (zh) | 基于卷积自编码深度学习的空气污染多站点联合预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |