CN108595511B - 一种多样化气象水文数据分类存储处理方法和系统 - Google Patents

Abstract

本发明公开了一种多样化气象水文数据分类存储处理方法和系统，能够提高海量、多样化气象水文数据的查询处理速率。该方法针对气象报文分两路进行存储，其中一路是将气象报文解析数据进行格式转换，得到包括时间、报文类型以及报文详情的三字段信息，存入动态缓存库；动态缓存库保留近n小时的三字段信息将超出n小时的三字段信息存入三字段信息数据库；另外一路是直接将气象报文解析数据存入报文数据全文数据库；查询气象报文时，根据外部请求，先按照时间点、报文类型和/或报文详情部分或全部字段的组合，从动态缓存库和三字段信息数据库中查询所需信息；对于超出三字段信息存储范围的数据，从报文数据全文数据库中查询。

Description

一种多样化气象水文数据分类存储处理方法和系统

技术领域

本发明属于气象水文数据存储处理技术领域，特别涉及一种多样化气象水文数据分类存储处理方法和系统。

背景技术

传统的气象水文数据存储通常采用关系型数据库进行存储。随着气象业务的不断发展，气象水文数据格式越来越多、数据量越来越大，传统的关系型数据库已不能满足气象数据查询处理要求。在大数据存储应用中，现今各类非关系型数据库开始崭露头角，并得到广泛应用。为了使气象业务系统能够快速地进行填图、搜索和预报产品制作，需要一种基于非关系型数据库，能够对多样化气象水文数据分类存储处理的方法，来解决海量气象水文数据存储、查询、处理效率的问题。

发明内容

有鉴于此，本发明提供了一种多样化气象水文数据分类存储处理方法和系统，能够提高海量、多样化气象水文数据的查询处理速率。

为了解决上述技术问题，本发明是这样实现的。

一种多样化气象水文数据分类存储处理系统，报文存储子系统和文件存储子系统；所述报文存储子系统包括格式转换模块、动态缓存库、三字段信息数据库、报文数据全文数据库和报文查询接口；所述三字段信息数据库和报文数据全文数据库均采用非关系型数据库；

所述格式转换模块，用于将气象报文解析数据格式转换为包括时间、报文类型以及报文详情的三字段信息；所述报文详情为自定义的关注信息；

所述动态缓存库，用于缓存近n小时的所述三字段信息，将超出n小时的三字段信息存入三字段信息数据库；新三字段信息存入本动态缓存库之前判断动态缓存库中是否有时间、报文类型相同的数据条目，如果有，则将新三字段信息中的报文详情追加到已有的三字段信息中；如果没有，直接存储新三字段信息；所述n为设定的时间长度；

所述三字段信息数据库，用于存储动态缓存库发来的三字段信息；

所述报文数据全文数据库，用于存储未经加工的气象报文解析数据；

所述报文查询接口，用于根据外部请求，先按照时间点、报文类型和/或报文详情部分或全部字段的组合，从动态缓存库和三字段信息数据库中查询所需信息；对于超出三字段信息存储范围的数据，从报文数据全文数据库中查询；

所述文件存储子系统，用于存储气象产品文件，并响应外部文件下载请求。

优选地，所述报文存储子系统进一步包括缓存备份模块，用于备份动态缓存库中的数据；每n小时删除一次超时的数据。

优选地，所述报文数据全文数据库按照报文类型存储报文数据。

优选地，所述文件存储子系统包括文件索引库、文件存储库和文件下载接口；文件索引库、文件存储库均为非关系型数据库；所述文件索引库存储气象产品解析文件的文件索引，所述文件索引由文件基本信息和气象产品唯一标识码ID生成；所述文件存储库存储气象产品解析文件；文件下载接口根据外部请求，先查询文件索引库，找到所述气象产品唯一标识码ID，使用气象产品唯一标识码ID从文件存储库中获取文件。

优选地，所述动态缓存库保存在掉电即失的存储介质中；所述三字段信息数据库和报文数据全文数据库保存在掉电不失的存储介质中。

本发明还提供了一种多样化气象水文数据分类存储处理方法，包括：

针对气象报文分两路进行存储；

其中一路是将气象报文解析数据进行格式转换，得到包括时间、报文类型以及报文详情的三字段信息，存入动态缓存库；所述报文详情为自定义的关注信息；动态缓存库保留近n小时的三字段信息将超出n小时的三字段信息存入三字段信息数据库；新三字段信息存入本动态缓存库之前判断动态缓存库中是否有时间、报文类型相同的数据条目，如果有，则将新三字段信息中的报文详情追加到已有的三字段信息中；如果没有，直接存储新三字段信息；所述n为设定的时间长度；另外一路是直接将气象报文解析数据存入报文数据全文数据库；

查询气象报文时，根据外部请求，先按照时间点、报文类型和/或报文详情部分或全部字段的组合，从动态缓存库和三字段信息数据库中查询所需信息；对于超出三字段信息存储范围的数据，从报文数据全文数据库中查询；

所述三字段信息数据库和报文数据全文数据库均采用非关系型数据库。

优选地，动态缓存库中的数据进一步备份到掉电不失的存储介质中，并每n小时删除一次超时的数据。

优选地，该方法进一步包括：针对气象产品文件，气象产品解析文件的文件索引和文件本身分别存储在文件索引库和文件存储库中；所述文件索引由文件基本信息和气象产品唯一标识码ID生成；所述文件索引库、文件存储库均为非关系型数据库；

查询气象产品文件时，先查询文件索引库，找到气象产品唯一标识码ID，使用气象产品唯一标识码ID调用下载接口从文件存储库中获取文件本身。

有益效果：

(1)本发明将气象水文数据分为报文类和文件类，对于报文类，又分别分为字段库和全文库。将查询经常涉及的时间、类型和常关注的报文详情存储在字段库中，该库中的数据量比全文数据库少，能够快速响应部分的查询请求；对于超出时间点、类型和报文详情的查询请求，再由全文数据库来响应。兼顾了快速性和全面性的要求。而且可以支持从多个维度进行查询，如按照类型、时间点、报文详情、时间点+类型、时间点+报文详情、类型+报文详情、时间点+类型+报文详情等方式查询。报文详情的也可以灵活选择全部或部分字段参与查询。

(2)本发明将属于同一时间、类型的数据存储在一条数据中，一方面是降低了存储空间，另一方面是属于同一时间和类型的数据不需要多次查询，提高了查找速度。

(3)本发明增加动态缓存库，既可提高数据查询速度，又解决了数据延迟到达不能快速存储的问题。

(4)在一优选实施例中，将动态缓存库中的缓存数据备份到缓存备份模块中。目的是防止突然断电导致缓存中数据丢失。若突然断电，再次启动，程序会先把缓存文件中数据读取到缓存中。

(5)在一优选实施例中，将文件索引和文件分库存储。若把文件及文件索引直接存入一个数据库，那么数据库将会非常的巨大，会严重降低文件的查询及下载。而文件索引和文件分库存储，文件索引库将会比较小，每次先查询索引库，根据索引信息下载文件，这样将会提高查询及下载速度。

附图说明

图1为本发明多样化气象水文数据分类存储处理方案的示意图。

具体实施方式

本发明提供了一种多样化气象水文数据分类存储处理方案，其基本思想是，本发明所有数据库均采用非关系型数据库，例如MongoDB，对报文类和文件类气象水文数据进行分类处理，为报文类气象水文数据设置报文直接存储库和按照报文时间点、报文类型和报文详情存储的动态库，并根据气象水文数据的查询特点设计了动态库的数据存储形式，同时，为文件类气象水文数据设置文件索引库和文件库，来提高海量、多样化气象水文数据的查询处理速率。

下面结合附图1对本发明进行详细描述。

首先介绍一下报文解析、数据存储结构设计和存储策略。

一、报文解析

根据《常用气象水文资料手册》，对报文进行解析。

(1)对于报文类信息解析，按照报文类型，对报文的时间点、所关注的报文详情进行解析。其中所关注的报文详情可以自定义。

(2)对于气象产品文件解析，为每个气象产品生成唯一标识码ID，根据产品文件名解析出文件基本信息(例如文件类型、文件最后修改时间等)，用基本信息和唯一标识码ID生成文件索引。

二、数据存储结构设计

(1)为报文类气象水文数据设置报文直接存储库，称为报文数据全文数据库；以及按照报文时间点、类型和报文详情存储的数据库，称为三字段信息数据库。

(2)为文件类气象水文数据设置文件索引库和文件库。索引库与文件库相比较，索引库数据量较少，数据查询时间较短。若索引库和文件库共用一个库，会导致库过大，查询速度大大降低。

三、存储策略

(1)如上所述，报文类数据存储分两种库分别进行存储，一种是按照单条报文直接存储的库，即上述报文数据全文数据库；另外一种是按照时间点、类型和报文详情存储的库，即上述三字段信息数据库。系统需要按照时间点、报文类型、报文详情的任意组合进行查询的时候，直接从三字段信息数据库中查询；这以外的数据查询，再从报文数据全文数据库中查询。其中，按照时间点、报文类型、报文详情的任意组合进行查询包含利用单独元素的查询，以及组合元素的查询，其中的报文详情还可以是全部字段，也可以是个别字段的组合。

本发明将查询经常涉及的时间、类型和常关注的报文详情存储在一个库中，该库中的数据量比全文数据库少，能够快速响应部分的查询请求；对于超出时间点、类型和报文详情的查询请求，再由全文数据库来响应。

(2)增加24小时动态缓存库。将近24小时内按照时间点、类型和报文详情3个字段分类的数据存入动态缓存库，将动态缓存库中超过24小时的数据存入三字段信息数据库。当有新数据进入动态缓存库时，检查缓存中是否有和新数据时间点和类型一样的数据，若有直接将新数据追加到该条缓存数据中。增加24小时缓存库，既可提高数据查询速度，又解决了数据延迟到达不能快速存储的问题。

(3)文件索引和文件分库存储。若把文件及文件索引直接存入一个数据库，那么数据库将会非常的巨大，会严重降低文件的查询及下载。而文件索引和文件分库存储，文件索引库将会比较小，每次先查询索引库，根据索引信息下载文件，这样将会提高查询及下载速度。

基于上述介绍，本发明提供了一种多样化气象水文数据分类存储处理系统，如图1所示，其包括报文存储子系统和文件存储子系统。报文存储子系统具体包括格式转换模块、动态缓存库、缓存备份模块、三字段信息数据库、报文数据全文数据库和报文查询接口。动态缓存库设置在诸如内存等速度快、掉电即失的存储介质中；缓存备份模块、三字段信息数据库、报文数据全文数据库均设置在诸如硬盘等容量大、掉电不失的存储介质中。

文件存储子系统具体包括文件索引库、文件存储库和文件下载接口。文件索引库、文件存储库均设置在掉电不失的存储介质中。

下面对多样化气象水文数据分类存储处理系统的存储方法进行详细描述。

该存储方法分为气象报文解析数据存储过程、报文查询过程、气象产品文件存储过程、文件下载过程。

(1)气象报文解析数据存储过程

解析完成的气象报文数据(下称气象报文解析数据)分两路分别进行存储：

第一路：

处理过程①：将气象报文解析数据格式转换成包括时间、报文类型以及自定义格式报文详情的三字段信息。报文详情的格式和内容可以自定义。

例如:解析完成的常规地面报文数据格式为：

{"id":"5988449b57f5 8fe77cb6d746","station":56137,"ix":"人工测站","at":15.3,"td":-0.9,"lp":83.4,"ln":9,"aOdate":"2017-08-07T10:00:00.000Z"}

格式转换为时间(time)、报文类型(type)以及报文详情(details)三个字段格式为：

{"time":"2017-08-07T10:00:00.000Z","type":"ZrSurfEles","details":[[56137,”人工测站”,15.3,-0.9,83.4,9}]。其中报文类型可以根据《常用气象水文资料手册》解析得出。

处理过程②：将转换格式的三字段信息存入动态缓存库。存入动态缓存库之前检查动态缓存库中是否存在该日期和类型的数据。若存在，则将新进来的三字段信息的报文详情追加到已有的三字段信息的报文详情字段中。

例如：新进数据为：{"time":"2017-08-07T10:00:00.000Z","type":"ZrSurfEles","details":[[8888,”人工测站”,19.3,-0.8,70.4,5}]。则将其追加在处理过程①例的数据里，数据变为：

{"time":"2017-08-07T10:00:00.000Z","type":"ZrSurfEles","details":[{56137,”人工测站”,15.3,-0.9,83.4,9},{“8888”,”人工测站”,19.3,-0.8,70.4,5}]。

若动态缓存库中没有相同日期和类型的数据条目，则直接将新的三字段信息存入动态缓存库。

本实施例中，动态缓存库动态保留近24小时数据。根据实际应用，该时间长度可以做调整。

处理过程③：动态缓存库中的缓存数据备份到缓存备份模块中。实际操作时，就是将缓存数据写入缓存文件，缓存文件保存在硬盘中。写缓存文件是为了防止突然断电导致缓存中数据丢失。若突然断电，再次启动，程序会先把缓存文件中数据读取到缓存中。

处理过程④：每小时清除一次动态缓存库中超过24小时的数据，按照时间点、类型直接存入三字段信息数据库，同时删除超过24小时的缓存文件。

第二路：

处理过程⑤：将气象报文解析数据，按照报文类型直接存入数据库。

(2)报文查询过程

处理过程⑨：报文查询接口提供了灵活的查询API，可以从多个维度进行查询，如按照类型、时间点、时间点+类型等方式查询。具体来说，根据外部请求，先按照时间点、报文类型和/或报文详情部分或全部字段的组合，从动态缓存库和三字段信息数据库中查询所需信息；对于超出三字段信息存储范围的数据，从报文数据全文数据库中查询。经测试近24小时内数据查询仅需70ms左右，超出24小时需要200ms左右。

(3)气象产品文件存储过程

处理过程⑥：将解析完成的文件索引直接存入文件索引库。其中解析参见前文描述。

处理过程⑦：将解析完成文件数据流存入文件存储库。其中每小时清除一次超过120个小时的传真图、超过168个小时的欧洲数值预报等。

(4)文件下载过程

处理过程⑧：先查询文件索引库，找到所属文件ID，使用文件ID调用下载接口获文件。索引库与文件库相比较，索引库数据量较少，数据查询时间较短。若索引库和文件库共用一个库，会导致库过大，查询速度大大降低。

本发明解决了多样化气象水文数据存储的问题，提高了海量气象水文数据填图、处理、查询的效率，本发明已在实际系统中应用，取得了良好的军事经济效益。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多样化气象水文数据分类存储处理系统，其特征在于，包括：报文存储子系统和文件存储子系统；所述报文存储子系统包括格式转换模块、动态缓存库、三字段信息数据库、报文数据全文数据库和报文查询接口；所述三字段信息数据库和报文数据全文数据库均采用非关系型数据库；

针对气象报文分两路进行存储，一路进入格式转换模块，另一路进入报文数据全文数据库；

所述格式转换模块，用于将气象报文解析数据格式转换为包括时间、报文类型以及报文详情的三字段信息；所述报文详情为自定义的关注信息；

所述动态缓存库，用于缓存近n小时的所述三字段信息，将超出n小时的三字段信息存入三字段信息数据库；新三字段信息存入本动态缓存库之前判断动态缓存库中是否有时间、报文类型相同的数据条目，如果有，则将新三字段信息中的报文详情追加到已有的三字段信息中；如果没有，直接存储新三字段信息；所述n为设定的时间长度；

所述三字段信息数据库，用于存储动态缓存库发来的三字段信息；

所述报文数据全文数据库，用于存储未经加工的气象报文解析数据；

所述报文查询接口，用于根据外部请求，先按照时间点、报文类型和/或报文详情部分或全部字段的组合，从动态缓存库和三字段信息数据库中查询所需信息；对于超出三字段信息存储范围的数据，从报文数据全文数据库中查询；

所述文件存储子系统，用于存储气象产品文件，并响应外部文件下载请求。

2.如权利要求1所述的系统，其特征在于，所述报文存储子系统进一步包括缓存备份模块，用于备份动态缓存库中的数据；每n小时删除一次超时的数据。

3.如权利要求1所述的系统，其特征在于，所述报文数据全文数据库按照报文类型存储报文数据。

4.如权利要求1所述的系统，其特征在于，所述文件存储子系统包括文件索引库、文件存储库和文件下载接口；文件索引库、文件存储库均为非关系型数据库；所述文件索引库存储气象产品解析文件的文件索引，所述文件索引由文件基本信息和气象产品唯一标识码ID生成；所述文件存储库存储气象产品解析文件；文件下载接口根据外部请求，先查询文件索引库，找到所述气象产品唯一标识码ID，使用气象产品唯一标识码ID从文件存储库中获取文件。

5.如权利要求1所述的系统，其特征在于，所述动态缓存库保存在掉电即失的存储介质中；所述三字段信息数据库和报文数据全文数据库保存在掉电不失的存储介质中。

6.一种多样化气象水文数据分类存储处理方法，其特征在于，包括：

针对气象报文分两路进行存储；

其中一路是将气象报文解析数据进行格式转换，得到包括时间、报文类型以及报文详情的三字段信息，存入动态缓存库；所述报文详情为自定义的关注信息；动态缓存库保留近n小时的三字段信息将超出n小时的三字段信息存入三字段信息数据库；新三字段信息存入本动态缓存库之前判断动态缓存库中是否有时间、报文类型相同的数据条目，如果有，则将新三字段信息中的报文详情追加到已有的三字段信息中；如果没有，直接存储新三字段信息；所述n为设定的时间长度；另外一路是直接将气象报文解析数据存入报文数据全文数据库；

查询气象报文时，根据外部请求，先按照时间点、报文类型和/或报文详情部分或全部字段的组合，从动态缓存库和三字段信息数据库中查询所需信息；对于超出三字段信息存储范围的数据，从报文数据全文数据库中查询；

所述三字段信息数据库和报文数据全文数据库均采用非关系型数据库。

7.如权利要求6所述的方法，其特征在于，动态缓存库中的数据进一步备份到掉电不失的存储介质中，并每n小时删除一次超时的数据。

8.如权利要求6所述的方法，其特征在于，该方法进一步包括：针对气象产品文件，气象产品解析文件的文件索引和文件本身分别存储在文件索引库和文件存储库中；所述文件索引由文件基本信息和气象产品唯一标识码ID生成；所述文件索引库、文件存储库均为非关系型数据库；

查询气象产品文件时，先查询文件索引库，找到气象产品唯一标识码ID，使用气象产品唯一标识码ID调用下载接口从文件存储库中获取文件本身。

Images