CN110929543B - 一种气象数据处理方法及装置 - Google Patents
一种气象数据处理方法及装置 Download PDFInfo
- Publication number
- CN110929543B CN110929543B CN201811000387.5A CN201811000387A CN110929543B CN 110929543 B CN110929543 B CN 110929543B CN 201811000387 A CN201811000387 A CN 201811000387A CN 110929543 B CN110929543 B CN 110929543B
- Authority
- CN
- China
- Prior art keywords
- model component
- machine learning
- time period
- radar echo
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Astronomy & Astrophysics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请实施例公开了一种气象数据处理方法及装置。所述方法包括:获取目标地点在历史预设时间段内的气象雷达回波数据;将所述气象雷达回波数据输入至机器学习模型组件中,获取所述目标地点在未来预设时间段内的降水信息,所述机器学习模型组件根据所述目标地点在历史时间段内的气象雷达回波数据及所述历史时间段内的降水信息之间的对应关系进行机器学习得到。利用本申请各个实施例,可以快速、准确地获取到未来预设时间段内的降水信息。
Description
技术领域
本申请涉及数据处理技术领域,特别涉及一种气象数据处理方法及装置。
背景技术
气象降水预报对于我国水利、电力、民航、运输等部门工作起着关键的作用,因此,气象信息作为重要的经济资源,其预测的准确性与国家民生就有较强的关联性。现有技术中的气象降水预测通常采用定量降雨预测(Quantitative Precipitation Forecasts,QPF)的方式,QPF是根据雷达回波数据,对一定时间内的降雨量进行定量的外推预测。
光流法是目前QPF中的常用方法之一,即通过现有的雷达回波图的时序走势去推算未来若干帧的雷达回波图,从而达到预测降雨的目的。在光流法中,可以将给雷达回波图像中的每个像素点赋予速度矢量,形成一个图像运动场。在运动的一个特定时刻,图像上的点与三维物体上的点具有一一对应的关系,其对应关系可由投影关系得到,根据各个像素点的速度矢量特征,可以对图像进行动态分析。如果图像中没有运动物体,则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时,目标和图像背景存在相对运动,运动物体所形成的速度矢量必然和邻域背景速度矢量不同,从而检测出运动物体(如水汽、冰雹等)及位置。光流法的优点在于光流不仅可以携带运动物体的运动信息,而且还可以携带有关景物三维结构的丰富信息,能够在不知道场景信息的情况下,检测出运动对象。
将光流法运用到气象降雨预测中,确实极大地提升了QPF的准确率,但该方法也具有诸如以下的缺点:
(1)光流法只能对平面图像做运动轨迹分析,目前只对一层高空(通常是2500米)的雷达回波数据进行外推。但是采集到的雷达回波数据远远不止一层,从500米到11500米共12层都有对应的雷达回波图,这相当于只利用上了1/12的数据来进行分析预测;
(2)光流法对雷达回波的生消规律预测准确度不高。光流法更适合于预测事物本体平均移动的场景,而大气在运动过程中,时刻伴随着生消,导致这个问题的根本原因还是光流法只运用了平面数据,而大气的实际运动是三维方向的运动;
(3)经过图时序推演预测出来的依旧是雷达回波图而非真正的降雨信息。实际过程中,还需将推测出来的雷达回波图经过ZR方程转换才可以得到真正的降雨信息,而ZR方程转换过程中具有较大的准确率损失;
(4)光流法计算耗时,实时性和实用性都比较差。
因此,现有技术中亟需一种可以直接预测未来时间段的降水信息并且预测结果更加准确的气象数据处理方式。
发明内容
本申请实施例的目的在于提供一种气象数据处理方法及装置,可以快速、准确地获取到未来预设时间段内的降水信息。
本申请实施例提供的一种气象数据处理方法及装置具体是这样实现的:
一种气象数据处理方法,包括:
获取目标地点在历史预设时间段内的气象雷达回波数据;
将所述气象雷达回波数据输入至机器学习模型组件中,获取所述目标地点在未来预设时间段内的降水信息,所述机器学习模型组件根据所述目标地点在历史时间段内的气象雷达回波数据及所述历史时间段内的降水信息之间的对应关系进行机器学习得到。
一种气象数据处理装置,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取目标地点在历史预设时间段内的气象雷达回波数据;
将所述气象雷达回波数据输入至机器学习模型组件中,获取所述目标地点在未来预设时间段内的降水信息,所述机器学习模型组件根据所述目标地点在历史时间段内的气象雷达回波数据及所述历史时间段内的降水信息之间的对应关系进行机器学习得到。
本申请提供的气象数据处理方法及装置,可以通过对历史时间段内的气象雷达回波数据以及真实降水信息进行机器学习,生成机器学习模型组件。利用训练完成的机器学习模型组件,可以快速、准确地获取到未来预设时间段内的降水信息。相对于现有技术中的光流法,本申请提供的技术方案,具有诸如以下的技术优势:
(1)在训练所述机器学习学习模型组件的过程中,充分利用到了历经时间段尽可能久的气象雷达回波数据中的大部分数据,也就是说机器学习的样本数据的数据量充分,对提高机器学习模型组件的准确率具有重要作用;
(2)光流法对于雷达回波的生消规律预测准确度不高,在本申请的技术方案中,机器学习模型可以三维数据进行学习,更好地学习到雷达回波数据的生消变化以及运动规律。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的气象数据处理方法的一种实施例的方法流程示意图;
图2是本申请提供的气象数据处理方法的一种应用场景的示意图;
图3是本申请提供的气象数据处理装置的一种实施例的模块结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
为了方便本领域技术人员理解本申请实施例提供的技术方案,下面先对技术方案实现的技术环境进行说明。
如上所述,现有技术中的光流法只能处理二维的时序变化规律,并且对雷达回波生消预测准确率不高、不能直接预测降水量。
基于类似于上文所述的实际技术需求,本申请提供的气象数据处理方式,能够基于机器学习方法,建立机器学习模型,对历史时间段内的雷达回波数据进行充分学习,并且,所述机器学习模型的输出为目标地点的降雨信息,因此,在使用所述机器学习模型的过程中,可以快速准确地获取到目标地点的降雨信息。
下面结合附图1对本申请所述的气象数据处理方法进行说明。图1是本申请提供的气象数据处理方法的一种实施例的方法流程示意图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的气象数据处理过程中,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
具体的本申请提供的气象数据处理方法的一种实施例如图1所示,所述方法可以包括:
S101:获取目标地点在历史预设时间段内的气象雷达回波数据。
S103:气象雷达回波数据输入至机器学习模型组件中,获取所述目标地点在未来预设时间段内的降水信息,所述机器学习模型组件根据所述目标地点在历史时间段内的气象雷达回波数据及所述历史时间段内的降水信息之间的对应关系进行机器学习得到。
本实施例中,所述气象雷达回波数据可以通过下述方式获取:利用使用经过调制的波形通过定向天线向空间的搜索区域发射电磁波以搜索目标物体。当搜索区域内的目标物体将部分能量通过回波反射回雷达时,作为回波的电磁波可以被调制成具有该目标物体的信息。雷达接收机接收并处理所述回波,可以从中提取目标物体的位置信息以及速度、形状、类型等多种特征信息。本实施例中,所述目标地点可以具有预设范围,由于不同地区的气象状况差异较大,因此,可以分别针对预设范围内的区域进行降水预测。在另一个示例中,所述预设范围可以包括以雷达自动站为中心的150平方公里、300平方公里、600平方公里等。在另一个示例中,所述预设范围可以包括深圳市、苏州市、杭州市等。当然,所述目标地点的预设范围可以根据实际情况下地区时间的气象状况的相似性划分,相似度较高的可以划分为同一个预设范围,本申请对此不做限制。本实施例中,在需要对目标地点在未来时间预设时间段内的降水信息进行预测时,可以利用所述目标地点在历史预设时间段内的气象雷达回波数据。在一个示例中,若要预测2018年8月24日6:00-7:00的降水信息,可以利用当天5:00-6:00的气象雷达回波数据。当然所述历史预设时间段和所述未来预设时间段的长度可以根据实际情况任意设置,本申请对此不做限制。
在本申请的一个实施例中,可以将获取的所述目标地点在历史预设时间段内的气象雷达回波数据输入至机器学习模型组件中,获取所述目标地点在未来预设时间段内的降水信息。其中,所述机器学习模型组件可以根据所述目标地点在历史时间段内的气象雷达回波数据及所述历史时间段内的降水信息之间的对应关系进行机器学习得到。具体的,在本申请的一个实施例中,在训练生成所述机器学习模型组件的过程中,可以获取到所述目标地点在历史时间段内的气象雷达回波数据以及所述历史阶段内的降水信息。其中,所述历史时间段可以包括尽可能多的年限,在一个实施例中,所述气象雷达回波数据可以包括至少近三年的历史数据。另外,在训练过程中,可以将其中的一部分数据作为训练样本,另一部分数据作为测试样本。当然,在其他实施例中,所述历史时间段可以包括任意年限,本申请对此不做限制。
在本申请的一个实施例中,所述气象雷达回波数据可以至少包括时间、高度、经度、纬度四个维度的特征数据。其中,所述时间维度可以以时次为单位,所述时次可以为气象雷达回波数据的采样频率,例如,所述采样频率可以为5分钟、6分钟、10分钟等等。所述高度维度可以包括多个离散的分层高度,例如,从地平面上500米开始,每间隔1000米作为一层,一共17层。经度和纬度也可以具有一定的采样频率,例如1公里、1.5公里、4公里等。在一个具体的示例中,对于面积为900公里*700公里的地区A的一小时内的气象雷达回波数据,共具有17个高度层、900个经度值,700个纬度值,以6分钟采样频率来计算,具有10个时次,因此,从时间、高度、经度、纬度四个维度来说,地区A的气象雷达回波数据一共具有10*17*700*900=107100000个特征。当然,在其他实施例中,所述气象雷达回波数据在各个维度上的划分还可以采用其他方式,例如,经度和纬度上可以采用每0.125度或0.25度进行划分,高度上可以基于气压值进行划分,例如选取925、850、700、500、200百帕位势的气象雷达回波数据。
在本申请的一个实施例中,所述历史时间段内的降水信息包括由具有相关资质的气象部门提供的在所述历史时间段内的降水量。并且,可以将所述降水量划分成强降雨和弱降雨,例如,可以将单日降水量大于等于2厘米的情况划分为强降雨,反之,为弱降雨。
需要说明的是,在获取到的所述历史时间段内的所述气象雷达回波数据以及所述降水信息,还可以对上述进行预处理,以确保数据的稳定性与高效性。具体可以包括对无用数据、空值数据、脏数据的过滤填充,例如,气象雷达回波数据中可能会遇到一些DBZ值(DBZ可用来估算降雨和降雪强度及预测诸如冰雹、大风等灾害性天气出现的可能性)非常大的数据,可能是障碍物阻挡或者结冰造成,此类数据可能会对后续的模型训练造成干扰,故可以将此类数据值做缺省值处理,或者采用在一定范围内做聚合求平均来分担这些脏数据的风险。
本实施例中,在获取到所述历史时间段内的所述气象雷达回波数据以及所述降水信息之后,可以将上述数据处理成能够输入至所述机器学习模型组件进行训练的样本数据。在一个实施例中,可以将所述历史时间段内的气象雷达回波数据的地理范围按照预设距离划分成多个网格点。然后,分别以所述网格点以中心,生成所述网格点的样本数据,所述样本数据包括以所述网格点为中心的预设范围内在多个历史时次多个高度处的气象雷达回波数据与所述预设范围内的降水信息之间的对应关系。在一个示例中,对于900*700的雷达回波图,地理范围为900里*700里,因此,在一个实施例中可以将该雷达回波图划分成900*700个网格点。然后,可以从所述雷达回波图中抽取以各个网格点为中心的为401*401范围内的雷达回波数据。因此,可以生成(900-200)*(700-200)=700*500个样本数据。在本申请的一个实施例中,由于相邻多个网格点内的气象状况比较相似,因此,还可以对上述样本数据做聚合处理,这样不仅可以去除样本数据中的DBZ数据噪声,还可以降低后续模型训练的复杂度,尽可能预防训练模型的过拟合现象。若对上述网格点内的雷达回波数据进行5*5的聚合处理,则可以将上述样本数据的数量压缩成140*100。
在本申请的一个实施例中,可以构建所述机器学习模型组件,所述机器学习模型组件中设置有训练参数。在本申请的一个实施例中,所述机器学习模型组件可以包括三维卷积神经网络模型组件以及循环神经网络模型组件,所述循环神经网络模型组件的输入端耦合于所述三维卷积神经网络模型组件的输出端。利用所述三维卷积神经网络模型组件可以提取所述样本数据中的特征信息,其中,所述三维卷积神经网络模型组件中的卷积核为三维空间卷积核,例如,可以以时间、经度、纬度为纬度构建三维空间卷积核,并以高度为通道。当然,为了能够从所述样本数据中提取到更多种类的特征,相应的,可以在所述三维卷积神经网络模型组件中设置多个空间卷积核。
本实施例中,由于经过空间卷积之后,所生成的依然是未来时次的空间立体图像,在此,可以首先将卷积后得到的图像特征打平,即将所述图像特征当做一般特征处理。然后在所述三维卷积神经网络模型组件的输出端连接长短时记忆(LSTM)模型组件。由于LSTM模型组件具有较强的短时记忆能力,适合用于对时间序列的预测,通过LSTM可以更好地学习到雷达回波数据的生消变化以及运动规律。所述LSTM模型组件的输出为一维的数据值,即预测的降雨量。
在本申请的一个实施例中,通过在实际的模型训练过程中总结到,当所述样本数据中强降水样本数据和弱降水样本数据的数量关系为一比一时,所述机器学习模型组件的准确率越高。其中,所述强降雨样本数据包括所述网格点在所述预设范围内的降水量大于等于预设降水阈值,所述弱降水样本数据包括所述网格点在所述预设范围内的降水量小于所述预设降水阈值。
在深度学习中,网络的构造调参是比较艰难的过程,卷积层数过浅会导致特征局部抽象效果不好,不能抽象出特征间复杂的内在规律;卷积层数过深,又可能会导致过拟合现象,即在训练集表现良好,而在测试集上效果不尽人意。在本申请的一个实施例中,所述三维卷积神经网络模型组件包括四层卷积网络结构。
在本申请的一个实施例中,所述样本数据中的高度可以只选择一层。在模型训练的过程中发现,使用多层高度的样本数据和使用一层高度的样本数据训练得到的机器学习模型的准确率几乎相同,因此,为了降低模型训练的复杂度,可以只选用一层高度的样本数据。
在训练所述机器学习模型的过程中,可以不断调整模型的参数,直至所述机器学习模型组件达到预设要求,例如准确率达到96%以上等等,本申请对此不做限制。
下面结合附图2对本申请技术方案的应用场景进行详细的说明。如图2所示,首先准备输入图像,可以获取在10个历史时次内以目标站点为中心纵深取150公里、高度为3层的气象雷达回波数据,并将所述气象雷达回波数据转换成形状为(10*301*301*3)的原始雷达回波图像流。如图2所示,本场景中对所述原始雷达回波图像流的处理包括两个分支,第一个分支为3D卷积处理,第二个分支为雷达外推处理。
在3D卷积神经网络中,为了能够充分利用雷达回波数据的三维特性以及随时间变化的流动性,可以使用三维的卷积神经网络模型,具体地,可以将时间、纬度、经度视为一张立体的图像,将高度视为所述立体图像的通道。然后,选择三维的卷积核进行卷积计算。在传统二维图像中,由于二维图像中的矩形区域提供了重要的局部特征,因此卷积核大小通常设置为d×d(d为参数,代表卷积核的感受野大小)。而在三维图像中,卷积核不但需要捕捉满足局部平面的关系特征,还需获取到来自相邻时次的变化关系,因此三维卷积核需要设置为(3,d,d),将时间维度的卷积核感受野设置为3是为了使模型能够更加清晰地学习到时次前后的变化关系。在经过卷积计算之后,需要对所提取的卷积特征应用池化技术以减少特征映射的长度。该过程可以帮助减少模型的冗余参数数量,使模型不影响预测准确性的同时,尽可能低的降低模型的复杂度。若设置池化过滤器尺寸为1×2×2,则意味图像的时间维度不变,将纬度、经度的映射数量缩减一半。另一方面,为了使特征信息不至于过多损失,在缩减特征维度的同时,可以增加通道数量。如图2所示,对原始雷达回波图像进行第一次三维卷积计算和池化(3dconv+pooling)后,得到尺寸为10*151*151的立体图像,通道为16,经过第二次的3dconv+pooling之后,立体图像的尺寸就变为10*76*76,通道为32。
如图2所示,在本申请的技术方案中,采用了四层卷积网络结构。即连续进行四次3dconv+pooling的步骤后,可构造出整个图像特征处理的基本框架,并且随着图像的尺寸越来越小,相应的通道也越来越多。多层卷积的目的是一层卷积学到的特征往往是局部的,层数越高,学到的特征就越全局化。在完成卷积计算之后,可以将所有特征进行打平处理,就是将多维特征转化成一维,为后面的深度全连接神经网络学习做好准备。如图2所示,将图像尺寸为10*19*19,通道为128的图像特征进行打平之后,可以获取到462080个特征。然后,可以利用全连接网络层对打平后的图像特征进行训练,最终可以将特征数量压缩到256个。
如图2所示,在雷达外推处理中,可以在原始雷达回波图像中加入图像外推后的信息。原因在于3d卷积计算过程由“黑盒”组成,其中的变化规律难以理解,故加入可以更加直观理解的外推特征,达到“黑盒”与“白盒”相结合的目的。具体外推算法可以是传统气象方法,如光流法、交叉相关法、对抗生成网络(GAN)方法等。在经过图像外推之后,同样可以将图像特征之后,并与卷积特征相结合,共同组成全连接网络的初始训练特征。
将通过3D卷积处理和雷达外推处理提取到的图像特征进行合并之后,输入至深度全链接网络。在此,可以运用四层的全连接网络,神经元个数分别为512、256、128、64,最后的全连接层将所有权重汇集到输出端,便可以获取最终预测目标,即未来第N小时的降雨信息。
本申请提供的气象数据处理方法,可以通过对历史时间段内的气象雷达回波数据以及真实降水信息进行机器学习,生成机器学习模型组件。利用训练完成的机器学习模型组件,可以快速、准确地获取到未来预设时间段内的降水信息。相对于现有技术中的光流法,本申请提供的技术方案,具有诸如以下的技术优势:
(1)在训练所述机器学习学习模型组件的过程中,充分利用到了历经时间段尽可能久的气象雷达回波数据中的大部分数据,也就是说机器学习的样本数据的数据量充分,对提高机器学习模型组件的准确率具有重要作用;
(2)光流法对于雷达回波的生消规律预测准确度不高,在本申请的技术方案中,机器学习模型可以三维数据进行学习,更好地学习到雷达回波数据的生消变化以及运动规律。
图3是本申请提供的气象数据处理装置的一种实施例的模块结构示意图,如图3所示,所述装置包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时可以实现:
获取目标地点在历史预设时间段内的气象雷达回波数据;
将所述气象雷达回波数据输入至机器学习模型组件中,获取所述目标地点在未来预设时间段内的降水信息,所述机器学习模型组件根据所述目标地点在历史时间段内的气象雷达回波数据及所述历史时间段内的降水信息之间的对应关系进行机器学习得到。
可选的,在本申请的一个实施例中,所述机器学习模型组件可以被设置为按照下述方式训练得到:
获取所述目标地点在历史时间段内的气象雷达回波数据以及所述历史时间段内的降水信息;
构建机器学习模型组件,所述机器学习模型组件中设置有训练参数;
分别利用所述历史时间段内的气象雷达回波数据以及降水信息之间的对应关系对所述机器学习模型组件进行训练,调整所述训练参数,直至所述机器学习模型组件达到预设要求。
可选的,在本申请的一个实施例中,所述气象雷达回波数据至少可以包括时间、高度、经度、纬度四个维度的特征数据。
可选的,在本申请的一个实施例中,所述处理器在实现步骤分别利用所述历史时间段内的气象雷达回波数据以及降水信息之间的对应关系对所述机器学习模型组件进行训练,调整所述训练参数,直至所述机器学习模型组件达到预设要求时可以包括:
将所述历史时间段内的气象雷达回波数据的地理范围按照预设距离划分成多个网格点;
分别以所述网格点以中心,生成所述网格点的样本数据,所述样本数据包括以所述网格点为中心的预设范围内在多个历史时次多个高度处的气象雷达回波数据与所述预设范围内的降水信息之间的对应关系;
利用所述多个网格点的样本数据对所述机器学习模型组件进行训练,调整所述训练参数,直至所述机器学习模型组件达到预设要求。
可选的,在本申请的一个实施例中,所述样本数据中强降水样本数据和弱降水样本数据的数量关系可以为一比一,其中,所述强降雨样本数据包括所述网格点在所述预设范围内的降水量大于等于预设降水阈值,所述弱降水样本数据包括所述网格点在所述预设范围内的降水量小于所述预设降水阈值。
可选的,在本申请的一个实施例中,所述机器学习模型组件可以包括三维卷积神经网络模型组件以及循环神经网络模型组件,所述循环神经网络模型组件的输入端耦合于所述三维卷积神经网络模型组件的输出端。
可选的,在本申请的一个实施例中,所述循环神经网络模型组件可以包括长短时记忆模型组件。
可选的,在本申请的一个实施例中,所述三维卷积神经网络模型组件中可以包括多层卷积网络结构,所述卷积网络结构中设置有多个空间卷积核,所述空间卷积核包括时间、经度、纬度三个空间维度。
可选的,在本申请的一个实施例中,所述三维卷积神经网络模型组件可以包括四层卷积网络结构。
可选的,在本申请的一个实施例中,所述历史预设时间段可以包括当前时刻之前的一小时,所述未来预设时间段包括当前时刻之后的一小时。
本申请另一方面还提出一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时可以实现以上任意一种实施例所述的气象数据处理方法。
所述计算机可读存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。本实施例所述的计算机可读存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (21)
1.一种气象数据处理方法,其特征在于,包括:
获取目标地点在历史预设时间段内的气象雷达回波数据;
将所述气象雷达回波数据输入至机器学习模型组件中,获取所述目标地点在未来预设时间段内的降水信息,所述机器学习模型组件根据所述目标地点在历史时间段内的气象雷达回波数据及所述历史时间段内的降水信息之间的对应关系进行机器学习得到;
其中,所述机器学习模型组件包括三维卷积神经网络模型组件以及循环神经网络模型组件;
相应的,将所述气象雷达回波数据输入至机器学习模型组件中,获取所述目标地点在未来预设时间段内的降水信息,包括:将所述气象雷达回波数据输入三维卷积神经网络模型组件,得到多维特征数据,将多维特征数据进行打平处理,得到一维特征数据;对所述气象雷达回波数据进行外推处理,得到图像特征,将所述一维特征数据和所述图像特征输入所述循环神经网络模型组件,获取所述目标地点在未来预设时间段内的降水信息。
2.根据权利要求1所述的方法,其特征在于,所述机器学习模型组件被设置为按照下述方式训练得到:
获取所述目标地点在历史时间段内的气象雷达回波数据以及所述历史时间段内的降水信息;
构建机器学习模型组件,所述机器学习模型组件中设置有训练参数;
分别利用所述历史时间段内的气象雷达回波数据以及降水信息之间的对应关系对所述机器学习模型组件进行训练,调整所述训练参数,直至所述机器学习模型组件达到预设要求。
3.根据权利要求2所述的方法,其特征在于,所述气象雷达回波数据至少包括时间、高度、经度、纬度四个维度的特征数据。
4.根据权利要求2所述的方法,其特征在于,所述分别利用所述历史时间段内的气象雷达回波数据以及降水信息之间的对应关系对所述机器学习模型组件进行训练,调整所述训练参数,直至所述机器学习模型组件达到预设要求包括:
将所述历史时间段内的气象雷达回波数据的地理范围按照预设距离划分成多个网格点;
分别以所述网格点以中心,生成所述网格点的样本数据,所述样本数据包括以所述网格点为中心的预设范围内在多个历史时次多个高度处的气象雷达回波数据与所述预设范围内的降水信息之间的对应关系;
利用所述多个网格点的样本数据对所述机器学习模型组件进行训练,调整所述训练参数,直至所述机器学习模型组件达到预设要求。
5.根据权利要求4所述的方法,其特征在于,所述样本数据中强降水样本数据和弱降水样本数据的数量关系为一比一,其中,所述强降雨样本数据包括所述网格点在所述预设范围内的降水量大于等于预设降水阈值,所述弱降水样本数据包括所述网格点在所述预设范围内的降水量小于所述预设降水阈值。
6.根据权利要求1-5中任意一项所述的方法,其特征在于,所述机器学习模型组件包括三维卷积神经网络模型组件以及循环神经网络模型组件,所述循环神经网络模型组件的输入端耦合于所述三维卷积神经网络模型组件的输出端。
7.根据权利要求6所述的方法,其特征在于,所述循环神经网络模型组件包括长短时记忆模型组件。
8.根据权利要求6所述的方法,其特征在于,所述三维卷积神经网络模型组件中包括多层卷积网络结构,所述卷积网络结构中设置有多个空间卷积核,所述空间卷积核包括时间、经度、纬度三个空间维度。
9.根据权利要求8所述的方法,其特征在于,所述三维卷积神经网络模型组件包括四层卷积网络结构。
10.根据权利要求1所述的方法,其特征在于,所述历史预设时间段包括当前时刻之前的一小时,所述未来预设时间段包括当前时刻之后的一小时。
11.一种气象数据处理装置,其特征在于,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现:
获取目标地点在历史预设时间段内的气象雷达回波数据;
将所述气象雷达回波数据输入至机器学习模型组件中,获取所述目标地点在未来预设时间段内的降水信息,所述机器学习模型组件根据所述目标地点在历史时间段内的气象雷达回波数据及所述历史时间段内的降水信息之间的对应关系进行机器学习得到;
其中,所述机器学习模型组件可以包括三维卷积神经网络模型组件以及循环神经网络模型组件;
相应的,将所述气象雷达回波数据输入至机器学习模型组件中,获取所述目标地点在未来预设时间段内的降水信息,包括:将所述气象雷达回波数据输入三维卷积神经网络模型组件,得到多维特征数据,将多维特征数据进行打平处理,得到一维特征数据;对所述气象雷达回波数据进行外推处理,得到图像特征,将所述一维特征数据和所述图像特征输入所述循环神经网络模型组件,获取所述目标地点在未来预设时间段内的降水信息。
12.根据权利要求11所述的装置,其特征在于,所述机器学习模型组件被设置为按照下述方式训练得到:
获取所述目标地点在历史时间段内的气象雷达回波数据以及所述历史时间段内的降水信息;
构建机器学习模型组件,所述机器学习模型组件中设置有训练参数;
分别利用所述历史时间段内的气象雷达回波数据以及降水信息之间的对应关系对所述机器学习模型组件进行训练,调整所述训练参数,直至所述机器学习模型组件达到预设要求。
13.根据权利要求12所述的装置,其特征在于,所述气象雷达回波数据至少包括时间、高度、经度、纬度四个维度的特征数据。
14.根据权利要求12所述的装置,其特征在于,所述处理器在实现步骤分别利用所述历史时间段内的气象雷达回波数据以及降水信息之间的对应关系对所述机器学习模型组件进行训练,调整所述训练参数,直至所述机器学习模型组件达到预设要求时包括:
将所述历史时间段内的气象雷达回波数据的地理范围按照预设距离划分成多个网格点;
分别以所述网格点以中心,生成所述网格点的样本数据,所述样本数据包括以所述网格点为中心的预设范围内在多个历史时次多个高度处的气象雷达回波数据与所述预设范围内的降水信息之间的对应关系;
利用所述多个网格点的样本数据对所述机器学习模型组件进行训练,调整所述训练参数,直至所述机器学习模型组件达到预设要求。
15.根据权利要求14所述的装置,其特征在于,所述样本数据中强降水样本数据和弱降水样本数据的数量关系为一比一,其中,所述强降雨样本数据包括所述网格点在所述预设范围内的降水量大于等于预设降水阈值,所述弱降水样本数据包括所述网格点在所述预设范围内的降水量小于所述预设降水阈值。
16.根据权利要求11-15中任意一项所述的装置,其特征在于,所述机器学习模型组件包括三维卷积神经网络模型组件以及循环神经网络模型组件,所述循环神经网络模型组件的输入端耦合于所述三维卷积神经网络模型组件的输出端。
17.根据权利要求16所述的装置,其特征在于,所述循环神经网络模型组件包括长短时记忆模型组件。
18.根据权利要求16所述的装置,其特征在于,所述三维卷积神经网络模型组件中包括多层卷积网络结构,所述卷积网络结构中设置有多个空间卷积核,所述空间卷积核包括时间、经度、纬度三个空间维度。
19.根据权利要求18所述的装置,其特征在于,所述三维卷积神经网络模型组件包括四层卷积网络结构。
20.根据权利要求11所述的装置,其特征在于,所述历史预设时间段包括当前时刻之前的一小时,所述未来预设时间段包括当前时刻之后的一小时。
21.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,所述指令被执行时实现权利要求1至10中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811000387.5A CN110929543B (zh) | 2018-08-30 | 2018-08-30 | 一种气象数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811000387.5A CN110929543B (zh) | 2018-08-30 | 2018-08-30 | 一种气象数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110929543A CN110929543A (zh) | 2020-03-27 |
CN110929543B true CN110929543B (zh) | 2023-08-25 |
Family
ID=69854908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811000387.5A Active CN110929543B (zh) | 2018-08-30 | 2018-08-30 | 一种气象数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110929543B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111812643B (zh) * | 2020-06-03 | 2023-03-24 | 中国科学院空天信息创新研究院 | 一种雷达成像方法、装置、设备及存储介质 |
CN111694000B (zh) * | 2020-06-11 | 2023-03-21 | 成都信息工程大学 | 雹云单体发展过程中雹胚形成及冰雹增长的预报方法 |
CN111814960B (zh) * | 2020-07-03 | 2023-10-24 | 国家气候中心 | 天气气候系统的识别方法、装置、存储介质及处理器 |
CN113568068B (zh) * | 2021-07-22 | 2022-03-29 | 河南大学 | 一种基于mpi并行的三维神经网络的强对流天气预测方法 |
CN115390161B (zh) * | 2022-07-26 | 2023-11-24 | 北京百度网讯科技有限公司 | 基于人工智能的降水预测方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107230351A (zh) * | 2017-07-18 | 2017-10-03 | 福州大学 | 一种基于深度学习的短时交通流预测方法 |
CN107703564A (zh) * | 2017-10-13 | 2018-02-16 | 中国科学院深圳先进技术研究院 | 一种降雨预测方法、系统及电子设备 |
CN107967532A (zh) * | 2017-10-30 | 2018-04-27 | 厦门大学 | 融合区域活力的城市交通流量预测方法 |
-
2018
- 2018-08-30 CN CN201811000387.5A patent/CN110929543B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107230351A (zh) * | 2017-07-18 | 2017-10-03 | 福州大学 | 一种基于深度学习的短时交通流预测方法 |
CN107703564A (zh) * | 2017-10-13 | 2018-02-16 | 中国科学院深圳先进技术研究院 | 一种降雨预测方法、系统及电子设备 |
CN107967532A (zh) * | 2017-10-30 | 2018-04-27 | 厦门大学 | 融合区域活力的城市交通流量预测方法 |
Non-Patent Citations (1)
Title |
---|
《基于卷积神经网络的雷达回波外推方法》;施恩等;《计算机应用》;第38卷(第3期);第661- 665, 676页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110929543A (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110929543B (zh) | 一种气象数据处理方法及装置 | |
Sønderby et al. | Metnet: A neural weather model for precipitation forecasting | |
CN107703564B (zh) | 一种降雨预测方法、系统及电子设备 | |
CN108508505A (zh) | 基于多尺度卷积神经网络的强降雨及雷暴预报方法和系统 | |
GB2547816A (en) | Actually-measured marine environment data assimilation method based on sequence recursive spare filtering three-dimensional variation | |
CN107193060B (zh) | 一种多路径台风风暴潮快速预测方法及系统 | |
JP2021174496A (ja) | 軌跡予測方法及びシステム | |
CN103743402B (zh) | 一种基于地形信息量的水下智能自适应地形匹配方法 | |
CN111582323B (zh) | 一种输电线路通道检测方法、装置及介质 | |
CN113344291A (zh) | 城市内涝淹没范围的预报方法、装置、介质和设备 | |
TW202105306A (zh) | 發電量預測裝置、發電量預測方法、及程式 | |
Kuwano-Yoshida | Using the local deepening rate to indicate extratropical cyclone activity | |
CN115792913B (zh) | 一种基于时空网络的雷达回波外推方法及系统 | |
WO2024109848A1 (zh) | 一种台风强度预测方法、装置、设备及存储介质 | |
CN116106988A (zh) | 天气预测方法、装置、电子设备及存储介质 | |
CN117233870B (zh) | 一种基于多气象要素的短临降水集合预报及降尺度方法 | |
Drisya et al. | Deterministic prediction of surface wind speed variations | |
CN116467933A (zh) | 基于深度学习的风暴潮增水预测方法及系统 | |
Byun et al. | Deep Learning-Based Rainfall Prediction Using Cloud Image Analysis | |
CN113947250A (zh) | 一种基于有限数据资源的城市细粒度流量预测方法及系统 | |
Di et al. | A quantitative method for the similarity assessment of typhoon tracks | |
CN105787493A (zh) | 一种基于bim智能提取放样特征点的方法 | |
Bhowmik et al. | Spatially shifting temporal points: estimating pooled within-time series variograms for scarce hydrological data | |
CN112270294A (zh) | 一种水下航行器涡旋识别方法、装置及水下航行器 | |
Huang et al. | Deep ConvLSTM-inception network for traffic prediction in smart cities |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |