CN111125237B - 一种基于NoSql数据库的气象数值预报产品动态成图方法 - Google Patents

Abstract

本发明提供的基于NoSql数据库的气象数值预报产品动态成图方法，通过加载和解析气象元数据信息，获取与快速出图相关的平面数据及其属性数据信息，利用NoSql数据库的气象属性数据拼接生成Key/Value键值对，根据实时动态传入的查询参数，以Key/Value键值对形式实时动态读取请求的数据，最后将读取的块数据在图形算法器中并行处理，生成PNG格式图片，实现了气象数据实时高效快速出图，避免了数据冗余存储；采用非关系型的NoSql数据库进行数据存储，避免了由关系型数据库造成的I/O瓶颈以及高并发问题，提高数据处理分析效率。

Description

一种基于NoSql数据库的气象数值预报产品动态成图方法

技术领域

本发明涉及一种基于NoSql数据库的气象数值预报产品动态成图方法，属于气象数据动态成图技术领域。

背景技术

我国气象领域和数值天气预报中心等业务单位仍在广泛使用NetCDF数据集，它包括栅格格式的平面数据和描述形式的属性数据。由于数值天气预报的单个NetCDF文件数据量大，非结构化程度高，图片文件数量多，导致计算数据量极大且需要实时动态计算性较差。

目前，气象数值预报产品出图技术一般均需要提前按照业务需求对原始数据进行成图处理(包括区域定制、比例尺设置等)，然后将所有的图片以big block的方式存储到关系型数据库中，在进行气象数据展示的时候，再到数据库中去获取对应格式下的图片数据。这种气象成图方式存储了原始数据与图片数据，数据冗余大，成图实时性不高，难以做到数据的所见即所得(需借助其他系统的成图功能，才能根据数据得到自己想要的结果)。并且气象数据中单个平面数据往往达到成百上千兆大小，这样的大小不利于数据的快速检索，尤其是在只获取单点数据的时候，对全部平面数据进行响应处理将大大的降低数据处理分析的性能。此外，采用关系型数据库的存储方式，I/O瓶颈以及高并发问题也变得更加严重。

发明内容

本发明的目的在于解决现有技术的不足，并提供一种气象数据实时成图、避免数据冗余的基于NoSql数据库的气象数值预报产品动态成图方法。

实现本发明目的所采用的技术方案是：该基于NoSql数据库的气象数值预报产品动态成图方法，具体包括以下步骤：

(1)加载和解析气象元数据信息：从获取的原始气象数据中解析出与快速出图相关的栅格类平面数据及平面数据的属性信息，属性信息包括记录气象数据的数据记录方向、数据经纬度范围、数据经纬圈间隔大小、气象要素名称、资料时间、预报高程和预报时效；

(2)Key/Value键值对生成：将从原始气象数据中解析出的单个平面数据设置为Value，结合当前平面数据的气象要素名称、资料时间、预报高程和预报时效这部分属性信息，将这部分属性信息的每部分按照固定大小字节进行拼接处理，形成该平面数据所对应的Key值，最终形成整体的Key/Value键值对存储到NoSql数据库中；

(3)定制化的查询参数传入：输入定制的查询参数，查询参数包括气象要素名称、资料时间、预报高程、预报时效和平面数据经纬度范围这部分属性信息，通过移动和缩放地图窗口，使得气象数据的经纬度范围发生动态变化，获取当前窗口的经纬度范围，并将当前窗口的经纬度范围作为实时参数一并传入；

(4)区域数据读取：根据实时动态传入的气象要素名称、资料时间、预报高程、预报时效和平面数据经纬度范围，从NoSql数据库中获取该气象数据所有的栅格格式的平面数据，然后根据气象数据经纬度范围以及平面数据信息，以Key/Value键值对形式实时动态读取请求的区域数据；

区域数据读取的过程如下：

a.计算经度方向数据个数，

其中，CN为经度方向数据个数，LoE为经度开始位置值，LoW为经度结束位置值，LoI为经度间隔，abs()表示取绝对值运算符，

表示向下取整操作符；

b.计算纬度方向数据个数，

其中，RN为纬度方向数据个数，LaS为纬度开始位置值，LaN为纬度结束位置值，LaI为纬度间隔；

c.读取区域块数据形成出图数据集，当前查询区域范围,左下角(searchLoE，seachLaS)，右下角(seachLoW，seachLaN)

第一步，设置RN循环体，循环序号为i，定义新的数据集；

第二步，计算当前循环中的当前纬度，即LaD＝LaS+i*LaI，其中，LaD为当前纬度；

第三步，判断当前纬度是否在区域范围内，即满足条件(LaD-seachLaS)*(LaD-seachLaN)小于0；

第四步，设置CN循环体，循环序号为j；

第五步，计算当前循环中的当前经度，即LoD＝LoE+j*LoI，其中，LoD为当前经度；

第六步，判断当前经度是否在区域范围内，即满足条件(LoD-searchLoE)*(LoD-seachLoW)小于0；

第七步，得到在当前查询区域内数据的行号、列号；

行号Row＝i；

列号Col＝j；

第八步，以行号、列号为参数，从整个平面数据范围内，获取当前双重循环体对应行列号下的数据值，然后根据该位置信息，读取该行列数据，以逗号为分隔符将其写入块数据；

第九步，完成一个j循环后，返回到第四步，直到所有的j遍历完成；

第十步，完成所有的CN循环遍历后，返回到第一步，直到所有的i遍历完成，即RN循环结束；

d.当当前范围区域的块数据读取完毕时，数据集终止；

(5)数值预报产品图片生成：将读取数据集中的每个气象块数据装入到图形算法器中，对应选择相关的常见成图算法，设置成图参数，通过进行分布式并行处理，形成单张PNG格式图片。

由上述技术方案可知，本发明提供的基于NoSql数据库的气象数值预报产品动态成图方法，通过加载和解析气象元数据信息，获取与快速出图相关的必要的平面数据及其属性数据信息，利用气象属性数据拼接生成Key/Value键值对存储到NoSql数据库中，根据实时动态传入的查询参数，以Key/Value键值对形式实时动态读取请求的数据，最后将读取的块数据在图形算法器中并行处理，生成PNG格式图片，该方法能够实时响应客户端请求，实现了气象数据实时高效快速出图，避免了数据冗余存储；采用NoSql数据库进行数据存储，避免了由关系型数据库造成的I/O瓶颈以及高并发问题；采用区域数据读取的方法，使得数据查询可以在直接在服务器端进行处理，从而减少数据返回，提高数据处理分析效率。

综上，本发明技术方案所具有的有益效果在于：

(1)该基于NoSql数据库的气象数值预报产品动态成图方法，根据实时动态传入的查询参数，以Key/Value键值对形式实时动态读取请求的数据，最后生成PNG格式图片，能够实时响应客户端请求，实现了气象数据实时高效快速出图，避免了数据冗余存储；

(2)采用NoSql数据库进行数据存储，避免了由关系型数据库造成的I/O瓶颈以及高并发问题；

(3)采用区域数据读取的方法，使得数据查询可以在直接在服务器端进行处理，从而减少数据返回，提高数据处理分析效率。

附图说明

图1是本发明实施例中气象数值预报产品快速动态成图方法的流程图。

图2是本发明实施例中气象数值预报产品快速动态成图方法的数据流示意结构图。

图3是本发明实施例中区域数据读取流程图。

图4是本发明实施例中出图数据集形成步骤的流程图。

具体实施方式

结合附图和实施例对本发明作进一步说明。

图1是本发明实施例中气象数值预报产品快速动态成图方法的流程图，图2是本发明实施例中气象数值预报产品快速动态成图方法的数据流示意结构图。参照图1和图2，该基于NoSql数据库的气象数值预报产品动态成图方法包括以下步骤：

1.加载和解析气象元数据信息：将获取的原始气象数据预先读取到计算机内存中，从原始气象数据中解析出与快速出图相关的必要的栅格类平面数据及平面数据的属性信息，属性信息包括记录气象数据的数据记录方向(从南到北，从西向东)、数据经纬度范围、数据经纬圈间隔大小、气象要素名称、资料时间、预报高程和预报时效。

2.Key/Value键值对生成：在解析气象元数据的同时，将从原始气象数据中获取单个平面的数据设置为Value，并结合当前平面数据的气象要素名称、资料时间、预报高程、预报时效这部分属性信息，将这部分属性信息的每部分按照8个字节进行拼接处理(对于不足8字节的，采取往前补0方式)，形成该平面所对应的key值，最终形成整体的Key/Value键值对存储到非关系型Nosql数据库中。

如某区域气象平面数据的信息如下：

137:221060160:d＝18073012:SKT:sfc:3hr fcst:NAve＝0

其中产品要素名为SKT，资料时间为2018年7月30日12时，预报高程为sfc(地面，高程为0)，预报时效为3小时。按照此方法形成的key值为：

00000SKT+18073012+00000000+00000003＝00000SKT180730120000000000000003；

所有的平面数据的key值均按照此方法构建。

3.定制化的查询参数传入：输入定制的查询参数，包括气象要素名称、资料时间、预报高程、预报时效和平面数据经纬度范围这部分属性信息。如查询参数为00000SKT180730120000000000000003。并且，随着地图窗口的移动和缩放，气象数据的经纬度范围也随着动态发生变化，便可将获取的当前窗口的经纬度范围作为实时参数一并传入。如某区域当前窗口的经纬度范围左下角坐标为(109.9082，20.8786)，右上角坐标为(114.7202，25.3830)。

4.区域数据读取：先根据气象要素名称、资料时间、预报高程、预报时效等属性信息，从非关系型NoSql数据库获取该气象数据的所有的栅格格式的平面数据。然后根据气象数据的经纬度的空间坐标范围以及平面元数据信息，对数据进行读取，返回Byte形式的区域数据。本发明提供区域数据读取的方法，使得数据查询可以在直接在服务器端进行处理，从而减少数据返回，提高数据处理分析效率。

图3是本发明实施例中区域数据读取流程图，参照图3上述区域数据读取过程如下：

(1)计算经度方向数据个数，其中，平面数据经度范围为(0，360)，经度间隔LoI设为0.1。

(2)计算纬度方向数据个数，其中，平面纬度范围为(0，180)，纬度间隔LaI设为0.1。

(3)读取区域块数据形成出图数据集，图4是本发明实施例中出图数据集形成步骤的流程图，参照图4出图数据集形成步骤如下：

第一步，设置RN循环体，循环序号为i，范围为从0开始，3601结束。并定义新的数据集，用于写入指定的块数据。

第二步，计算当前循环中的当前纬度，即LaD＝0+i*0.1。

假设当前i＝210，则LaD＝21。

第三步，判断当前纬度是否在区域范围内，即满足条件

(LaD-20.8786)*(LaD-25.3830)小于0。显然i＝210时，满足上述条件，程序继续往下执行。

第四步，设置CN循环体，循环序号为j，范围为从0开始，1801结束。

第五步，计算当前循环中的当前经度，即LoD＝0+j*0.1。

假设当前j＝1120，则LoD＝112。

第六步，判断当前经度是否在区域范围内，即满足条件(LoD-109.9082)*(LoD-114.7202)小于0。显然j＝1120时，满足上述条件，程序继续往下执行。

第七步，得到在当前区域内数据的行列号。

行号Row＝210；

列号Col＝1120；

第八步，将行号、列号代入查询出的数据范围，定位到相应的数据，然后向数据集写入块数据及分隔符“，”。

第九步，完成一个j循环后，返回到第四步，直到所有的j遍历完成。

第十步，完成所有的CN循环遍历后，返回到第一步，直到所有的i遍历完成，即RN循环结束。

(4)当当前范围区域的块数据读取完毕时，数据集终止。

5.数值预报产品图片生成：将读取数据集中的每个气象块数据装入到图形算法器中，对应选择相关的成图算法(如等值线等值面制图算法)和设置成图参数，如图片高度、图片宽度、水平分辨率(1200dpi)、垂直分辨率(1200dpi)、格式类型PNG、颜色设置(色表模版)等。通过常用的等值线等值面制图算法进行分布式并行处理，生成等值线等值面图，再形成单张PNG格式图片。

本方法在广东气象局数值预报产品展示课题中也得到验证，使用本方法后，同样大小和规模的气象数据，出图效率提升20％以上，数据查询时间响应可达1秒以内，可快速地以全普屏模式和平面/球面模式多维一体化显示，切换无卡顿，应用效果显著。

本发明提供的基于NoSql数据库的气象数值预报产品动态成图方法，适用于所有的NoSql数据库；该基于NoSql数据库的气象数值预报产品动态成图方法能够充分发挥分布式数据库的高吞吐性，高扩展性，稀松性等优点，动态提供数值预报产品出图服务(包括等值线、等值面、风矢图等)，实现气象数据实时高效快速出图；便于进行某区域平面数据及其属性数据的检索与读取，无需预先将全部气象数据生成图片，解决了当前云环境下气象数值预报产品时效性的问题，为大数据时代气象数据的实时动态出图，提高气象数值预报工作效率提供了新的解决方案。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于NoSql数据库的气象数值预报产品动态成图方法，其特征在于，具体包括以下步骤：

(1)加载和解析气象元数据信息：从获取的原始气象数据中解析出与快速出图相关的栅格类平面数据及平面数据的属性信息，属性信息包括记录气象数据的数据记录方向、数据经纬度范围、数据经纬圈间隔大小、气象要素名称、资料时间、预报高程和预报时效；

(2)Key/Value键值对生成：将从原始气象数据中解析出的单个平面数据设置为Value，结合当前平面数据的气象要素名称、资料时间、预报高程和预报时效这部分属性信息，将这部分属性信息的每部分按照固定大小字节进行拼接处理，形成该平面数据所对应的Key值，最终形成整体的Key/Value键值对存储到NoSql数据库中；

(3)定制化的查询参数传入：输入定制的查询参数，查询参数包括气象要素名称、资料时间、预报高程、预报时效和平面数据经纬度范围这部分属性信息，通过移动和缩放地图窗口，使得气象数据的经纬度范围发生动态变化，获取当前窗口的经纬度范围，并将当前窗口的经纬度范围作为实时参数一并传入；

(4)区域数据读取：根据实时动态传入的气象要素名称、资料时间、预报高程、预报时效和平面数据经纬度范围，从NoSql数据库中获取该气象数据所有的栅格格式的平面数据，然后根据气象数据经纬度范围以及平面数据信息，以Key/Value键值对形式实时动态读取请求的区域数据；

区域数据读取的过程如下：

a.计算经度方向数据个数，

其中，CN为经度方向数据个数，LoE为经度开始位置值，LoW为经度结束位置值，LoI为经度间隔，abs()表示取绝对值运算符，

表示向下取整操作符；

b.计算纬度方向数据个数，

其中，RN为纬度方向数据个数，LaS为纬度开始位置值，LaN为纬度结束位置值，LaI为纬度间隔；

c.读取区域块数据形成出图数据集，当前查询区域范围,左下角(searchLoE，seachLaS)，右下角(seachLoW，seachLaN)

第一步，设置RN循环体，循环序号为i，定义新的数据集；

第二步，计算当前循环中的当前纬度，即LaD＝LaS+i*LaI，其中，LaD为当前纬度；

第三步，判断当前纬度是否在区域范围内，即满足条件(LaD-seachLaS)*(LaD-seachLaN)小于0；

第四步，设置CN循环体，循环序号为j；

第五步，计算当前循环中的当前经度，即LoD＝LoE+j*LoI，其中，LoD为当前经度；

第六步，判断当前经度是否在区域范围内，即满足条件(LoD-searchLoE)*(LoD-seachLoW)小于0；

第七步，得到在当前查询区域内数据的行号、列号；

行号Row＝i；

列号Col＝j；

第八步，以行号、列号为参数，从整个平面数据范围内，获取当前双重循环体对应行列号下的数据值，然后根据该位置信息，读取该行列数据，以逗号为分隔符将其写入块数据；

第九步，完成一个j循环后，返回到第四步，直到所有的j遍历完成；

第十步，完成所有的CN循环遍历后，返回到第一步，直到所有的i遍历完成，即RN循环结束；

d.当当前范围区域的块数据读取完毕时，数据集终止；

(5)数值预报产品图片生成：将读取数据集中的每个气象块数据装入到图形算法器中，对应选择相关的常见成图算法，设置成图参数，通过进行分布式并行处理，形成单张PNG格式图片。

Images