CN107609702A - 一种气象数据处理方法及装置 - Google Patents

Abstract

本发明提供一种气象数据处理方法及装置，上述方法包括以下步骤：获取气象数据特征信息；根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，并对所述气象数据进行并行处理。上述技术方案中，根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，并对所述气象数据进行并行处理，一方面提高了气象数据处理效率，另一方面，提供了一种新型的气象数据处理方式(根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式)，使得气象预报产品的可靠性大大增强。

Description

一种气象数据处理方法及装置

技术领域

本发明属于数据处理技术领域，尤其涉及一种气象数据处理方法及装置。

背景技术

气象预报的实现通常是利用气象数值模式以及已有的气象数据在高性能计算机上数值模拟得到未来一段时间的气象数据，通过数据处理分析以及可视化方法得到气象预报产品。

随着气象预报技术不断发展，由传统的预报系统发展到同化预报系统，集合预报系统，精细化预报系统，多源预报系统等，气象预报的计算规模和数据规模随着预报技术的发展呈现指数型的增长，这就要求更高性能和更大规模的计算资源和存储资源。目前计算机技术的发展速度远超过气象预报技术的发展，气象数值模式算法技术以及气象数据分析处理技术制约着气象预报技术的发展；气象数值模式算法技术受到更广泛的关注，目前已有较好的算法提高气象数值模式的物理过程复杂性、计算精确度、并行扩展性，但是气象数据分析处理技术相对滞后，数据分析的算法和数据处理的效率严重影响预报系统的总体效率以及预报产品的可靠性。

因此，迫切需要提供一种气象数据处理方案来解决上述技术问题。

发明内容

本发明提供一种气象数据处理方法及装置，以解决上述问题。

本发明实施例提供一种气象数据处理方法，包括以下步骤：获取气象数据特征信息；

根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，并对所述气象数据进行并行处理。

本发明实施例还提供一种气象数据处理装置，包括处理器，适于实现各指令；存储设备，适于存储多条指令，所述指令适于由所述处理器加载并执行；

获取气象数据特征信息；

根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，并对所述气象数据进行并行处理。

本发明实施例还提供一种气象数据处理装置，其特征在于，包括传统气象预报数据处理模块、多源气象数据集合分析处理模块、系统并行化处理模块、系统控制执行模块；其中，所述系统控制执行模块分别与所述传统气象预报数据处理模块、多源气象数据集合分析处理模块、系统并行化处理模块相连；

所述系统控制执行模块，用于调用所述系统并行化处理模块，对传统气象预报数据处理模块、多源气象数据集合分析处理模块中的气象数据进行并行处理。

本发明实施例提供的技术方案：获取气象数据特征信息；根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，并对所述气象数据进行并行处理。

上述技术方案中，根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，并对所述气象数据进行并行处理，一方面提高了气象数据处理效率，另一方面，提供了一种新型的气象数据处理方式，即根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，使得气象预报产品的可靠性大大增强。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明实施例的气象数据处理装置结构图；

图2所示为图1中的系统并行化处理模块处理流程图；

图3所示为图1中的系统控制执行模块处理流程图；

图4所示为本发明实施例的气象数据处理流程图；

图5所示为本发明实施例的气象数据处理装置结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1所示为本发明实施例的气象数据处理装置结构图，包括传统气象预报数据处理模块、多源气象数据集合分析处理模块、系统并行化处理模块以及系统控制执行模块；

其中，所述系统控制执行模块分别与所述传统气象预报数据处理模块、多源气象数据集合分析处理模块、系统并行化处理模块相连；

所述系统控制执行模块，用于调用所述系统并行化处理模块，对传统气象预报数据处理模块、多源气象数据集合分析处理模块中的气象数据进行并行处理。

所述传统气象预报数据处理模块和多源气象数据集合分析处理模块，均通过NCL软件程序语言实现。

需要说明的是，NCL软件是开源的数据处理及绘图的软件，普遍应用于地球科学领域，尤其是针对大气科学与海洋科学领域的观测数据和常见数值模式模拟数据，最常用的数据文件类型为NETCDF格式。NCL功能的实现是通过编写NCL程序代码，在Linux系统环境下执行。

为了能够详细的说明该装置各模块的功能实现，下文中将以广泛应用的气象预报模式WRF预报数据展开介绍，其中，气象预报模式WRF为美国国家环境预报中心NCEP开发的开源数值模式，WRF通常的输入输出数据类型为NETCDF格式，NCL软件为WRF模式提供了专门的函数库，收录于WRFUserARW.ncl和WRF_contributed.ncl文件中，使得WRF模式的数据处理和可视化实现更为便利。

其中，所述传统气象预报数据处理模块，实现的功能步骤为：

1)批量读取预报模式的结果文件数据即气象数据，其中，所述气象数据特征信息包括以下至少之一：气象数据类型、气象数据值、时间、经度、纬度，读取WRF数据使用代码段为addfiles、wrf_user_getvar；

所述气象数据为气象预报模式WRF数据。

2)气象数据处理，处理方式包括推导计算、插值和统计分析；其中，需要推导计算的一般为WRF预报结果不能直接输出的气象数据，比如能见度、云量、水凝物；需要插值的部分主要是针对高空基本量和指定站点气象数据的时序曲线，需要说明的是一般气象模式的垂向网格分层采用sigma坐标系，而气象要素的等值线图一般采用等压面来表示高空气象要素的时空分布，因此需要通过插值得到符合要求的气象数据，用于插值的代码段为wrf_user_intrp3d，指定站点的气象数据一般采用双线性插值的方法得到；需要进行统计分析的一般是降水和温度，降水是气象预报的难点；直接使用预报模式的结果数据需要通过统计分析订正以后输出。

3)数据可视化，该过程包括计算区域地图绘制、气象数据绘图、气象数据动画绘制；其中，区域地图绘制包括海岸线、国界、省界等的绘制，需要指定经度和纬度范围，一般采用Earth..4/MediumRes的地图数据库，经纬度通过WRF输出的数据表示，地图绘制使用代码段gsn_csm_map命令；气象数据绘图一般使用代码段gsn_csm系列命令；气象数据动画绘制一般使用convert命令。

优选地，气象数据类型包括但不限于地面基本量(风速、温度、湿度、海平面压强)、高空基本量(位温、位势高度、水平风场、垂向风速、相对湿度、云水混合比)、低空云量、高空云量、能见度、总水凝物、逐小时累计降水量、6小时累计降水量、日累计降水量、日最低温度、日最高温度。

优选地，绘图类型包括：矢量图、等值线图、时序曲线图、玫瑰图；其中，等值线图和玫瑰图均使用gsn_csm_contour实现，玫瑰图需要增加设置cnFillMode＝”RasterFill”，而等值线图采用默认设置；矢量图一般采用gsn_csm_vector(方向)和gsn_csm_contour(大小)；时序曲线图采用gsn_xy命令。

其中，所述多源气象数据集合分析处理模块，实现的功能步骤为：

1)批量读取预报模式的结果文件数据即气象数据，其中，所述气象数据特征信息包括以下至少之一：气象数据类型、气象数据值、时间、气象数据源数量、经度、纬度，具体实现与传统气象预报数据处理部分类同；

2)气象数据处理，处理方式包括推导计算、插值，具体实现与传统气象预报数据处理部分类同；

所述气象数据为气象预报模式WRF数据。

3)集合分析，分析方法包括最大值、最小值、集合平均值、集合均方差、概率匹配(Probability Matched Mean)PM、邻域概率(Neighborhood Probability)PN、降雨概率、集合误差分析；

其中，最大值、最小值、集合均方差和集合平均值可采用dim_max_n、dim_rmsd_n、dim_min_n和dim_avg_n命令实现，这里针对的是不同预报数据源的统计结果。

概率匹配表示方法为利用概率分布函数将不同的数据源进行融合，实现将高精确度的数据替换较低精确度的数据。

4)数据可视化，该过程包括计算区域地图绘制、气象数据绘图、集合分析数据绘图、动画绘制，具体实现与传统气象预报数据处理部分类同。

其中，所述的集合分析数据包括但不限于气象数据(高空位势高度、高空位温、高空相对湿度、高空风速、地面温度、地面风速、海平面气压)的集合误差、集合平均值、集合均方差、集合最大值、集合最小值；累计降水量(逐小时、6小时、逐日)的降水概率、概率匹配(Probability Matched Mean)PM、邻域概率(Neighborhood Probability)PN和集合平均值。

所述绘图类型包括：矢量图、等值线图、时序曲线图、玫瑰图。

其中，所述系统并行化处理模块的主要功能需要结合图2进行详细描述，如图2所示，主要包括以下步骤：

1)读取任务信息；

2)主进程用于向从进程分发任务；

3)从进程，用于执行NCL程序。

系统并行化处理模块，通过C程序语言实现，这里结合图2进行详细介绍：

在此之前需要说明，由于NCL软件程序代码只能串行执行，气象数据变量较多并且数据量非常大，需要通过多个程序文件分别执行获得不同类型和不同气象变量的图像，这就产生大量的执行文件。通过串行方式运行将耗费大量的时间，气象预报系统需要在有限短的时间内获取预报产品，气象数据后处理的并行化非常必要。

系统并行化处理的方法具体为：

1、将所有需要执行的命令分行写入同一个文本文件中，比如：job.sh文件中

ncl varl.ncl

ncl var2.ncl

…

2、编写C程序代码，实现读取任务信息，主进程向从进程分发任务，从进程接受任务并执行，通过点对点通信完成任务的分发和接收，程序文件命名为parallel.c，具体实现代码段为：

读取job.sh文件任务信息fopen、fgets；

点对点通信MPI_Send、MPI_Recv；

任务执行system。

3、C程序编译，指定所需要的任务文件，并行运行程序。

需要说明的是编译和运行使用的是INTEL编译环境，其中，编译过程为mpiicc -cc＝icc -c -w -O3 -ip parallel.c；运行过程为mpirun -np $NP-machinefilehostfile./parallel job.sh。

系统控制执行模块，通过shell脚本语言实现。该部分控制传统气象预报数据处理模块、多源气象数据集合分析处理模块、系统并行化处理模块的正常运行。

其中，所述系统控制执行模块的主要功能需要结合图3进行详细描述，如图3所示，主要包括以下步骤：

步骤301：读取任务信息；

步骤302：调用数据处理程序代码库；

步骤303：在数据处理程序代码库中插入气象数据信息；

步骤304：生成需要执行任务的文本文件；

步骤305：并行控制程序编译并运行；

步骤306：预报产品输出。

下面将结合图3进行详细说明，所述系统控制执行模块，实现的功能步骤为：

1)气象数据准备，即给定气象预报数据的文件位置，比如export wrfout＝data_path/wrfout_d01_？？？？-？？-？？_？？：？？：？？；

数据读取(NCL)为：

FILES＝systemfunc(“ls-1${wrfout}”)；

F＝addfiles(FILES，”r”)。

2)调用数据程序代码库，包括传统气象预报数据处理和多源气象数据集合分析处理的NCL程序代码库，调用命令为ln-sf；其中，NCL程序中也需要调用必须的库文件，包括gsn_code.ncl、gsn_csm.ncl、contributed.ncl、WRFUserARW.ncl、WRF_contributed.ncl；

3)在数据处理程序代码库中插入气象数据信息，这里的气象数据信息包括需要输出的预报产品变量名、预报区域、预报时间、地图区域信息以及LOGO信息，具体操作代码段为：

#！/bin/bash

气象数据信息指定

cat＞info＜＜EOF1

气象数据信息

EOF1

insert info var 1.ncl

需要说明的是这里的insert是将info通过插入NCL程序代码中，insert不是shell语言中默认函数命令，需要自行设计实现该功能的shell脚本。

4)生成需要执行任务的文本文件，将需要执行的数据处理程序的执行命令分行写入指定文本文件中，具体操作的代码段为：

for name in varl var2 varn

do

echo“ncl$name.ncl”＞＞job.sh

done

5)并行控制程序编译并运行，即编译并行控制的C程序，指定执行任务文件后运行，具体方法可参照系统并行化处理模块；

6)预报产品输出，预报产品主要包括站点数据、气象要素的时空分布图及动图。

以上模块叙述的均为该装置的功能实现以及程序代码示例，下面需要说明部署该装置所需要的环境。

该装置作为一套完整气象预报系统中的后处理方案需要部署在气象预报系统所在计算机系统环境下面，一般为Redhat或CentOS操作系统，其依赖的软件有编译器，这里推荐使用intel编译器，还有NETCDF和NCL软件。

图4所示为本发明实施例的气象数据处理流程图，包括以下步骤：

步骤401：获取气象数据特征信息；

进一步地，所述气象数据特征信息包括以下至少之一：气象数据类型、气象数据值、时间、气象数据源数量、经度、纬度。

优选地，所述气象数据源数量为一个或多个。

优选地，所述气象数据源包括：气象预报模式数据、遥感气象数据、气象站观测数据。

步骤402：根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，并对所述气象数据进行并行处理。

进一步地，若所述气象数据源数量为多个，则对所述气象数据的处理方式包括：推导计算、插值、集合分析、绘图并显示。

优选地，所述集合分析包括以下至少之一：集合最大值、集合最小值、集合平均值、集合均方差、概率匹配、邻域概率、累计降水量的降雨概率、集合误差分析。

进一步地，对不同类型的气象数据，调用对应的任务进程进行并行处理。

图5所示为本发明实施例的气象数据处理装置结构图，包括处理器，适于实现各指令；存储设备，适于存储多条指令，所述指令适于由所述处理器加载并执行；

获取气象数据特征信息；

根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，并对所述气象数据进行并行处理。

进一步地，所述气象数据特征信息包括以下至少之一：气象数据类型、气象数据值、时间、气象数据源数量、经度、纬度。

优选地，所述气象数据源数量为一个或多个。

优选地，优选地，所述气象数据源包括：气象预报模式数据、遥感气象数据、气象站观测数据。

进一步地，若所述气象数据源数量为多个，则对所述气象数据的处理方式包括：推导计算、插值、集合分析、绘图并显示。

优选地，所述集合分析包括以下至少之一：集合最大值、集合最小值、集合平均值、集合均方差、概率匹配、邻域概率、累计降水量的降雨概率、集合误差分析。

进一步地，对不同类型的气象数据，调用对应的任务进程进行并行处理。

本发明实施例提供的技术方案：获取气象数据特征信息；根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，并对所述气象数据进行并行处理。

上述技术方案中，根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，并对所述气象数据进行并行处理，一方面提高了气象数据处理效率，另一方面，提供了一种新型的气象数据处理方式(根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式)，使得气象预报产品的可靠性大大增强。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种气象数据处理方法，其特征在于，包括以下步骤：

获取气象数据特征信息；

根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，并对所述气象数据进行并行处理。

2.根据权利要求1所述的气象数据处理方法，其特征在于，所述气象数据特征信息包括以下至少之一：气象数据类型、气象数据值、时间、气象数据源数量、经度、纬度。

3.根据权利要求2所述的气象数据处理方法，其特征在于，所述气象数据源数量为一个或多个。

4.根据权利要求2或3所述的气象数据处理方法，其特征在于，所述气象数据源包括：气象预报模式数据、遥感气象数据、气象站观测数据。

5.根据权利要求4所述的气象数据处理方法，其特征在于，若所述气象数据源数量为多个，则对所述气象数据的处理方式包括：推导计算、插值、集合分析、绘图并显示。

6.根据权利要求5所述的气象数据处理方法，其特征在于，所述集合分析包括以下至少之一：集合最大值、集合最小值、集合平均值、集合均方差、概率匹配、邻域概率、累计降水量的降水概率、集合误差分析。

7.根据权利要求2所述的气象数据处理方法，其特征在于，对不同类型的气象数据，调用对应的任务进程进行并行处理。

8.一种气象数据处理装置，其特征在于，包括处理器，适于实现各指令；存储设备，适于存储多条指令，所述指令适于由所述处理器加载并执行；

获取气象数据特征信息；

根据所述气象数据特征信息，确定对应的对所述气象数据的处理方式，并对所述气象数据进行并行处理。

9.根据权利要求8所述的气象数据处理装置，其特征在于，所述气象数据特征信息包括以下至少之一：气象数据类型、气象数据值、时间、气象数据源数量、经度、纬度。

10.根据权利要求9所述的气象数据处理装置，其特征在于，所述气象数据源数量为一个或多个。

11.根据权利要求9或10所述的气象数据处理装置，其特征在于，所述气象数据源包括：气象预报模式数据、遥感气象数据、气象站观测数据。

12.根据权利要求11所述的气象数据处理装置，其特征在于，若所述气象数据源数量为多个，则对所述气象数据的处理方式包括：推导计算、插值、集合分析、绘图并显示。

13.根据权利要求12所述的气象数据处理装置，其特征在于，所述集合分析包括以下至少之一：集合最大值、集合最小值、集合平均值、集合均方差、概率匹配、邻域概率、累计降水量的降水概率、集合误差分析。

14.根据权利要求9所述的气象数据处理装置，其特征在于，对不同类型的气象数据，调用对应的任务进程进行并行处理。

15.一种气象数据处理装置，其特征在于，包括传统气象预报数据处理模块、多源气象数据集合分析处理模块、系统并行化处理模块、系统控制执行模块；其中，所述系统控制执行模块分别与所述传统气象预报数据处理模块、多源气象数据集合分析处理模块、系统并行化处理模块相连；

所述系统控制执行模块，用于调用所述系统并行化处理模块，对传统气象预报数据处理模块、多源气象数据集合分析处理模块中的气象数据进行并行处理。