CN106599158A - 基于时空双重近似索引的台风海域Argo资料的快速查询方法 - Google Patents

Abstract

本发明公开了一种基于时空双重近似索引的台风海域Argo资料的快速查询方法，步骤如下：1）从全球Argo资料集中提取元数据文件存储记录到PostgreSQL数据库；2）对元数据表中的时间字段和空间字段建立索引；3）将全球Argo资料原文件存储到分布式文件系统HDFS；4）将Argo资料原文件在HDFS上的存储地址记录到PostgreSQL数据库中对应的元数据索引字段中；5）服务器基于特定台风的轨迹路径构建时间与空间组合的查询条件；6）移动时空窗口以快速的近似匹配用户的时空查询条件，并将初步的匹配结果放到数据库缓存池中；7）快速定位到符合条件的Argo资料并将结果返回给用户。本发明可以根据任意给定的台风轨迹，快速查询出该台风海域实时的Argo资料。

Description

基于时空双重近似索引的台风海域Argo资料的快速查询方法

技术领域

本发明涉及海洋数据处理领域，尤其涉及一种基于时空双重近似索引的台风海域Argo资料的快速查询方法。

背景技术

近年来，台风对我国沿海地区人民的生命财产以及海上交通、海洋渔业等造成了巨大威胁，已成为我国海洋经济可持续发展的一个制约因素。因此，深化对台风生成与发展机理的认识，提高对台风预测预报的能力，无疑是防灾减灾、保障海洋环境安全的迫切需要。过去的台风观测手段主要有抛弃式温度测量仪、锚碇浮标以及调查船等，这些观测手段容易受到台风恶劣天气的影响，观测寿命比较短，且成本和维护费用都非常大。

21世纪初国际Argo计划实施以来，一个由3000个Argo剖面浮标组成的全球海洋观测网已经建立，可实时收集深海大洋上从海面到2000米深层的海水温度和盐度资料。十五年以来，各国在全球海洋布放的Argo浮标数量超过12,000个，已累计获得了约150万条温、盐度剖面，形成了庞大的全球Argo数据海洋。这些Argo资料将会有效的改善台风的基础研究。

然而随着全球Argo资料数据量的不断递增，如何从特定台风海域中快速统计查询出符合条件的Argo资料成为一个挑战性的难题。目前通常的方法是人工手动从海量的全球Argo资料集中进行层层筛选，挑选出符合条件的Argo资料，这种方法非常耗时，且经常会漏掉一部分Argo资料；另一种较为先进的方法是使用传统的数据库用一张表存储全部的全球Argo资料，然后进行查询，但使用该方法来进行查询得效率很低，当需要统计查询特点台风海域的Argo资料时，则需要遍历整个数据表从上百万条记录中查询特定的资料，也非常耗费时间，且对数据的可靠性也得不到充分的保障。

发明内容

本发明的目的是为克服现有技术存在的问题，提供一种基于时空双重近似索引的台风海域Argo资料的快速查询方法。

基于时空双重近似索引的台风海域Argo资料的快速查询方法，它的步骤如下：

1)从全球Argo资料集中提取元数据文件按照年份与月份分表存储记录到PostgreSQL数据库；

2)对元数据表中的时间字段和空间字段建立索引；

3)将全球Argo资料原文件存储到分布式文件系统HDFS；

4)将Argo资料原文件在HDFS上的存储地址记录到PostgreSQL数据库中对应的元数据 索引字段中；

5)服务器基于特定台风的轨迹路径构建时间与空间组合的查询条件；

6)移动时空窗口以快速的近似匹配用户的时空查询条件，并将初步的匹配结果放到数据库缓存池中；

7)在数据库缓存池中，将初步的匹配结果与时空查询条件进行精确的逐一匹配，快速定位到符合条件的Argo资料并将结果返回给用户。

所述的步骤1)具体为：从全球Argo资料集中提取元数据时，分别提取该Argo资料的年份信息、月份信息、经纬度信息、海区信息，视用户的查询需求也可及再继续提取其他有用信息，并按照年份信息和月份信息将元数据存储记录到PostgreSQL数据库对应的表中。

所述的步骤2)具体为：对元数据表中的时间字段Time和空间字段Latitude和Longitude分别建立R树索引。

所述的步骤3)具体为：将全球Argo资料原文件存储到分布式文件系统HDFS，存储时进行三重冗余备份。

所述的步骤4)具体为：将Argo资料原文件存储到HDFS上后，自动将存储地址记录到PostgreSQL数据库中该原文件对应的元数据索引字段中。

所述的步骤5)具体为：当用户统计查询某一台风海域的Argo资料时，服务器依据该台风发生的时间和空间，按照公式(1)构建统计查询条件；

STSql＝∮(dist<d_max∩time<t_max) (1)

其中∮表示时空影响域约束运算符，dist<d_max为空间影响域条件，表示小于最大台风影响距离d_max的为有效距离空间，time<t_max为时间影响域条件，表示小于最大台风影响时间t_max为有效时间范围，通过空间和时间的影响域条件筛选，构建了该台风海域符合条件Argo资料的时空统计查询条件STSql。

所述的步骤6)具体为：设计数据库中间引擎件，通过移动时间窗口以定位到用户查询条件中对应的年月份所在的分区表，即Table(year，month)time，然后根据Argo资料的经纬度信息(lat，lon)和台风有效的距离空间范围dist，确定Argo资料所在的海区信息，在该分区表中利用海区字段近似匹配用户的空间查询条件，并将初步的匹配结果放到数据库缓存池中。

所述的步骤7)具体为：在数据库缓存池中，根据公式(2)将初步的匹配结果与时间查询条件进行精确的逐一匹配，再将匹配结果根据公式(3)与空间查询条件进行精确的逐一匹配，从而快速定位到符合条件的Argo资料并将结果返回给用户

│Time-time│≤t_max (2)

本发明与现有技术相比具有的有益效果是：

本发明基于时空双重近似索引对全球Argo资料集进行时间和空间的有效组织存储，可以根据任意给定的台风轨迹，快速查询出该台风海域实时的Argo资料，避免大数据量的访问，提高了台风海域Argo资料的查询效率。

附图说明

图1为台风海域Argo资料快速统计查询方法的流程图；

图2为Argo资料元数据信息存储结构示意图；

具体实施方式

下面结合附图对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

如图1所示，一种基于时空双重近似索引的台风海域Argo资料的快速查询方法，它的步骤如下：

1)从全球Argo资料集中提取元数据文件按照年份与月份分表存储记录到PostgreSQL数据库。具体为：

从全球Argo资料集中提取元数据时，分别提取该Argo资料的年份信息、月份信息、经纬度信息、海区信息及其他有用信息，并按照年份信息和月份信息将元数据存储记录到PostgreSQL数据库对应的表中。

2)对元数据表中的时间字段和空间字段建立索引。具体为：

对元数据表中的时间字段Time和空间字段Latitude和Longitude分别建立R树索引。

3)将全球Argo资料原文件存储到分布式文件系统HDFS。具体为：

将全球Argo资料原文件存储到分布式文件系统HDFS，存储时进行三重冗余备份。

4)将Argo资料原文件在HDFS上的存储地址记录到PostgreSQL数据库中对应的元数据索引字段中。具体为：

将Argo资料原文件存储到HDFS上后，自动将存储地址记录到PostgreSQL数据库中该原文件对应的元数据索引字段中。

5)服务器基于特定台风的轨迹路径构建时间与空间组合的查询条件。具体为：

当用户统计查询某一台风海域的Argo资料时，服务器依据该台风发生的时间和空间，按照公式(1)构建统计查询条件；

STSql＝∮(dist<d_max∩time<t_max) (1)

其中∮表示时空影响域约束运算符，dist<d_max为空间影响域条件，表示小于最大台风影响距离d_max的为有效距离空间，time<t_max为时间影响域条件，表示小于最大台风影响时间t_max为有效时间范围，通过空间和时间的影响域条件筛选，构建了该台风海域符合条件Argo资料的时空统计查询条件STSql。

6)移动时空窗口以快速的近似匹配用户的时空查询条件，并将初步的匹配结果放到数据库缓存池中。具体为：

设计数据库中间引擎件，通过移动时间窗口以定位到用户查询条件中对应的年月份所在的分区表，即Table(year，month)time，然后根据Argo资料的经纬度信息(lat，lon)和台风有效的距离空间范围dist，确定Argo资料所在的海区信息，在该分区表中利用海区字段近似匹配用户的空间查询条件，并将初步的匹配结果放到数据库缓存池中。

7)在数据库缓存池中，将初步的匹配结果与时空查询条件进行精确的逐一匹配，快速定位到符合条件的Argo资料并将结果返回给用户。具体为：

在数据库缓存池中，根据公式(2)将初步的匹配结果与时间查询条件进行精确的逐一匹配，再将匹配结果根据公式(3)与空间查询条件进行精确的逐一匹配，从而快速定位到符合条件的Argo资料并将结果返回给用户。

│Time-time│≤t_max (2)

下面以实施例对本发明做进一步阐述，实施例的操作步骤与上述方法一致，因此简洁起见，部分步骤未具体说明。

实施例

1)从全球Argo资料集所在的共享服务器(ftp://ftp.argo.org.cn/pub/ARGO)去提取Argo资料元数据，分别提取Argo资料的年份信息、月份信息、经纬度信息、海区信息及其他有用信息，例如Argo资料2902688_007.nc文件，提取到该资料的年份信息为2016年，月份信息为11月，经纬度信息为东经132.282度和北纬12.972度，海区为太平洋海域，以及其他有用信息，然后按照年份信息和月份信息将元数据存储记录到PostgreSQL数据库对应的表中，即Table(2016，11)，具体如图2所示；

2)对元数据表Table(2016，11)中的时间字段Time和空间字段Latitude和Longitude分别建立R树索引；

3)将全球Argo资料原文件存储到分布式文件系统HDFS，例如将Argo资料2902688_007.nc文件上传到HDFS进行存储，在存储时同时设定该资料为三重冗余备份，保证原始文件的安全性；

4)将Argo资料原文件2902688_007.nc存储到HDFS上后，自动将存储地址(hdfs：//192.168.1.2:9000/Argo/2902688_007.nc)记录到PostgreSQL数据库中该原文件对应的元数据 索引字段HdfsAddress中；

5)当用户需要统计查询2016年第22号台风海马附近海域的Argo资料时，服务器依据该台风轨迹点的时间(2016-10-20)和空间(118.5°E,19.2°N)，按照公式(1)构建统计查询条件；

STSql＝∮(dist<300公里∩time<10天) (1)

其中∮表示时空影响域约束运算符，dist<300公里为空间影响域条件，表示小于最大台风影响距离300公里的为有效距离空间，time<10天为时间影响域条件，表示小于最大台风影响时间10天为有效时间范围，通过空间和时间的影响域条件筛选，构建了该台风海域符合条件Argo资料的时空统计查询条件STSql；

6)设计数据库中间引擎件，通过移动时间窗口以定位到用户查询条件中对应的年月份所在的分区表，即Table(2016，10)2016-10-20，也就是从上百万条记录中快速定位到只有几万条记录的分区表，然后根据Argo资料的经纬度信息(118.5°E,19.2°N)和台风有效的距离空间范围300公里，确定Argo资料所在的海区信息为南海区域，在该分区表中利用南海海区字段近似匹配用户的空间查询条件，快速的从原有的几万条记录中筛选出2500多条记录，并将这初步的匹配结果放到数据库缓存池中。

7)在数据库缓存池中，根据公式(2)将初步的匹配结果与时间查询条件进行精确的逐一匹配，即从2500多条记录中进一步筛选出325条记录，再将匹配结果根据公式(3)与空间查询条件进行精确的逐一匹配，最后查询出来符合条件的Argo资料有21个，将查询出来的Argo资料元数据信息及对应存储在HDFS中的原数据返回给用户。

│Time-(2016-10-20)│≤10天 (2)

以上所述的实施方式只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (8)

1.一种基于时空双重近似索引的台风海域Argo资料的快速查询方法，其特征在于它的步骤如下：

1)从全球Argo资料集中提取元数据文件按照年份与月份分表存储记录到PostgreSQL数据库；

2)对元数据表中的时间字段和空间字段建立索引；

3)将全球Argo资料原文件存储到分布式文件系统HDFS；

4)将Argo资料原文件在HDFS上的存储地址记录到PostgreSQL数据库中对应的元数据索引字段中；

5)服务器基于特定台风的轨迹路径构建时间与空间组合的查询条件；

6)移动时空窗口以快速的近似匹配用户的时空查询条件，并将初步的匹配结果放到数据库缓存池中；

7)在数据库缓存池中，将初步的匹配结果与时空查询条件进行精确的逐一匹配，快速定位到符合条件的Argo资料并将结果返回给用户。

2.根据权利要求1所述的一种基于时空双重近似索引的台风海域Argo资料的快速查询方法，其特征在于所述的步骤1)为：从全球Argo资料集中提取元数据时，分别提取该Argo资料的年份信息、月份信息、经纬度信息、海区信息及其他有用信息，并按照年份信息和月份信息将元数据存储记录到PostgreSQL数据库对应的表中。

3.根据权利要求1所述的一种基于时空双重近似索引的台风海域Argo资料的快速查询方法，其特征在于所述的步骤2)为：对元数据表中的时间字段Time和空间字段Latitude和Longitude分别建立R树索引。

4.根据权利要求1所述的一种基于时空双重近似索引的台风海域Argo资料的快速查询方法，其特征在于所述的步骤3)为：将全球Argo资料原文件存储到分布式文件系统HDFS，存储时进行三重冗余备份。

5.根据权利要求1所述的一种基于时空双重近似索引的台风海域Argo资料的快速查询方法，其特征在于所述的步骤4)为：将Argo资料原文件存储到HDFS上后，自动将存储地址记录到PostgreSQL数据库中该原文件对应的元数据索引字段中。

6.根据权利要求1所述的一种基于时空双重近似索引的台风海域Argo资料的快速查询方法，其特征在于所述的步骤5)为：当用户统计查询某一台风海域的Argo资料时，服务器依据该台风发生的时间和空间，按照公式(1)构建统计查询条件；

STSql＝∮(dist<d_max∩time<t_max) (1)

其中∮表示时空影响域约束运算符，dist<d_max为空间影响域条件，表示小于最大台风影响距离d_max的为有效距离空间，time<t_max为时间影响域条件，表示小于最大台风影响时间t_max为有效时间范围，通过空间和时间的影响域条件筛选，构建了该台风海域符合条件Argo资料的时空统计查询条件STSql。

7.根据权利要求1所述的一种基于时空双重近似索引的台风海域Argo资料的快速查询方法，其特征在于所述的步骤6)为：设计数据库中间引擎件，通过移动时间窗口以定位到用户查询条件中对应的年月份所在的分区表，即Table然后根据Argo资料的经纬度信息(lat，lon)和台风有效的距离空间范围dist，确定Argo资料所在的海区信息，在该分区表中利用海区字段近似匹配用户的空间查询条件，并将初步的匹配结果放到数据库缓存池中。

8.根据权利要求1所述的一种基于时空双重近似索引的台风海域Argo资料的快速查询方法，其特征在于所述的步骤7)为：在数据库缓存池中，根据公式(2)将初步的匹配结果与时间查询条件进行精确的逐一匹配，再将匹配结果根据公式(3)与空间查询条件进行精确的逐一匹配，从而快速定位到符合条件的Argo资料并将结果返回给用户

│Time-time│≤t_max (2)

$\sqrt{{(Latitude-lat)}^2+{(Longitude-lon)}^2}\&le;d_{max}---\left(3\right).$