CN110362618A - 一种分布式海洋在线监测数据的实时聚合系统及聚合方法 - Google Patents

Abstract

本发明公开了一种分布式海洋在线监测数据的实时聚合系统及聚合方法，该系统包括数据注册器、数据聚合服务和数据集成器三部分，所述数据注册器和数据聚合服务分布于每一个海洋监测数据接收终端服务器上，通过数据注册器对各海洋监测数据接收终端服务器的异构数据资源进行整合，并建立数据聚合服务实现数据的跨平台跨系统发布，数据集成器根据需要集成一个或多个数据聚合服务，对数据进行按需存储和显示。本发明所公开的系统及方法解决了目前的海洋监测岸站系统数据接收地理位置分散、数据结构各异，数据集中接收、集中显示困难的问题，可以实现实时的数据聚合，实现数据的跨平台显示，具有很好的应用前景。

Description

一种分布式海洋在线监测数据的实时聚合系统及聚合方法

技术领域

本发明涉及海洋环境监测和信息技术领域，特别涉及一种分布式海洋在线监测数据的实时聚合系统及聚合方法。

背景技术

浮标、岸基站、海床基设备对海洋环境进行实时监测，在线监测数据被传给陆地上的岸站系统，进行接收、解析、处理、显示、长久保存，并用于数据共享、分发，提供数据服务。由于受到功耗、通信带宽的限制，现有的数据接收方案是采用单一的岸站系统接收数据，且现有方案中的通讯节点之间的耦合度较高、可扩展性和伸缩性较差。

增加海陆通信成本的方式不利于系统稳定且会带来较高的维护成本，数据离散接收的模式导致数据利用率不高、数据聚合困难。双数据接收中心模式在一定程度上缓解了这问题，但是难以实现跨节点的数据聚合，无法改变信息孤岛和碎片化的局面。

因此，需要建立海洋在线监测数据实时聚合方法，提供一种机制运行于分布式环境中，在数据落地后对其进行汇集、整理，提供数据服务。

发明内容

为解决上述技术问题，本发明提供了一种分布式海洋在线监测数据的实时聚合系统及聚合方法，以达到提供多种数据集成方式，建立动态数据聚合服务机制，实现数据分布式接收、集中显示的目的。

为达到上述目的，本发明的技术方案如下：

一种分布式海洋在线监测数据的实时聚合系统，包括数据注册器、数据聚合服务和数据集成器三部分，所述数据注册器和数据聚合服务分布于每一个海洋监测数据接收终端服务器上，通过数据注册器对各海洋监测数据接收终端服务器的异构数据资源进行整合，并建立数据聚合服务实现数据的跨平台跨系统发布，数据集成器根据需要集成一个或多个数据聚合服务，对数据进行按需存储和显示。

上述方案中，所述数据注册器包括元数据提取模块、元数据生成模块和元数据存储模块。

上述方案中，所述数据聚合服务器包括元数据信息获取模块和海洋监测数据获取模块，负责向上层的数据集成器提供元数据和海洋监测数据。

上述方案中，所述数据集成器包括数据下载中间件、数据同步中间件、数据融合中间件和数据显示中间件。

一种分布式海洋在线监测数据的实时聚合方法，包括如下过程：

(1)把一个海洋监测数据接收终端服务器记作一个节点，每个节点上均部署数据注册器和数据聚合服务；

(2)数据注册器中的元数据提取模块从每个节点的源数据库中提取数据表结构信息，然后元数据生成模块将信息进行有机组合生成海洋监测数据元数据信息，并将生成的元数据信息保存到JSON文件中，然后元数据存储模块建立和维护海洋监测元数据目录；

(3)数据聚合服务中的元数据信息获取模块遍历本节点元数据目录，输出本节点上所有符合条件的海洋监测数据的元数据信息，海洋监测数据获取模块查询本节点的海洋监测数据，并输出相应的观测值；

(4)数据集成器中的数据下载中间件从多个数据聚合服务中下载元数据信息和海洋监测数据，数据同步中间件定时将源数据库中最新数据同步到本地数据仓库，数据融合中间件负责冗余数据的筛选和踢出，数据显示中间件将最终数据进行显示。

上述方案中，所述元数据信息获取模块对外提供一个名为GetCapabilities的webservice接口，该接口接收一个时间戳作为输入参数，输出该时间戳之后产生的元数据文件内容，对于更新的元数据文件，还提供其历史元数据ID号。

上述方案中，所述海洋监测数据获取模块对外提供一个名为GetRecords的webservice接口，输入参数为元数据ID、表名、字段名集合、查询条件,输入参数所需信息从GetCapabilities接口的输出结果中获得。

上述方案中，所述数据下载中间件先调用列表中每一个数据聚合服务的Getcapabities接口获取各节点的海洋监测数据元数据信息；然后，对元数据信息进行解析，得到数据源信息和数据表结构信息，并根据这些信息创建本地数据仓库，在本地数据仓库中创建与数据源中表名和表结构相同的数据表。

上述方案中，所述数据同步中间件以一定的时间间隔调用各个数据聚合服的GetRecords接口，下载岸站软件最新接收的监测数据，将其保存到本地数据仓库的相应数据表中。

通过上述技术方案，本发明提供的分布式海洋在线监测数据的实时聚合系统及聚合方法解决了目前的海洋监测岸站系统数据接收地理位置分散、数据结构各异，数据集中接收、集中显示困难的问题，通过数据注册器对各分布式节点的异构数据资源进行整合，并建立数据聚合服务实现数据的跨平台跨系统发布，数据集成器根据需要集成一个或多个数据聚合服务，对数据进行按需存储和显示。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例所公开的一种海洋在线监测数据的实时聚合方法实施流程图；

图2为本发明实施例所公开的数据注册器的工作流程图；

图3为本发明实施例所公开的数据聚合服务的工作流程图；

图4为本发明实施例所公开的数据集成器的工作流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提供了一种分布式海洋在线监测数据的实时聚合系统及聚合方法，如图1所示的流程图，该分布式海洋在线监测数据的实时聚合系统，包括数据注册器、数据聚合服务和数据集成器三部分，数据注册器和数据聚合服务分布于每一个海洋监测数据接收终端服务器上，通过数据注册器对各海洋监测数据接收终端服务器的异构数据资源进行整合，并建立数据聚合服务实现数据的跨平台跨系统发布，数据集成器根据需要集成一个或多个数据聚合服务，对数据进行按需显示。

我们把一个海洋监测数据接收终端服务器记作一个节点，每个节点上均需部署数据注册器和数据聚合服务。实际中，每个节点上拥有独立的岸站软件系统，用于在线接收海洋监测设备传回的观测数据，所采用的通信方式通常有DTU网络、北斗通信机、VHF电台、海事卫星等，数据通信方式在设备出厂时就已确定。岸站软件实时接收的数据，存储在本节点的数据库(如SQL Server、Access、Oracle等)中。不同的海洋监测设备采用的岸站软件不同、数据库不同、数据逻辑结构也不同。

数据注册器自动扫描岸站系统数据库，提取原始数据物理存储信息、数据逻辑结构，生成元数据信息，并建立元数据目录。数据注册器和数据聚合服务通过元数据目录相连接。数据聚合服务利用可以通过网络访问的应用程序接口向数据集成器提供海洋监测数据元数据信息和数据内容，数据集成器可以集成一个或多个数据聚合服务接口，解析海洋监测数据的元数据信息，重构数据模型，建立本地数据仓库，并调用数据聚合服务的相应接口，获取解析来自于不同服务器的数据聚合服务，并对数据进行按需显示。

数据注册器包括元数据提取模块、元数据生成模块和元数据存储模块。

如图2所示，元数据提取模块负责从源数据库中提取数据表结构信息。首先通过源数据库类型(Oracle、SQL Server、Access等)、数据库名称、数据库访问信息等数据源信息，建立与源数据库的连接，然后扫描源数据库中的表，提取各个数据表的结构信息，一个完整的数据表信息为{表名，描述，字段1名称，字段1类型，字段1描述，字段2名称，字段2类型，字段2描述，...,字段n名称，字段n类型，字段n描述}。

元数据生成模块负责将数据源信息、数据表结构信息等信息进行有机组合，生成海洋监测数据元数据信息，并将生成的元数据信息保存到JSON文件中。另外，元数据生成模块为每条元数据生成一条全局唯一的ID号，元数据ID号的生成规则为“数据接收系统编号_节点IP地址_数据库名称_创建时间”。海洋监测数据元数据信息由元数据ID，描述信息，数据源信息和数据表结构信息集合组成。每个数据源对应一条元数据信息，一条完整海洋监测数据元数据信息的结构为{元数据ID，描述，{源数据库类型,数据库名称，用户名,密码，IP地址/文件名},{表名1，描述，字段1名称，字段1类型，字段1描述，字段2名称，字段2类型，字段2描述，...,字段n名称，字段n类型，字段n描述}，{表名2，描述，字段1名称，字段1类型，字段1描述，字段2名称，字段2类型，字段2描述，...,字段n名称，字段n类型，字段n描述},{......},{表名n，描述，字段1名称，字段1类型，字段1描述，字段2名称，字段2类型，字段2描述，...,字段n名称，字段n类型，字段n描述}}

元数据存储模块负责建立和维护海洋监测元数据目录。当一个节点上有多个海洋监测设备的数据接收系统且有多个数据源时，元数据存储模块将建立海洋监测元数据目录，以文件夹的形式统一存放所有数据源的元数据文件。当有新的元数据文件生成时，元数据存储模块将检测元数据目录中是否已经存在该数据，如果不存在则将其加入当前元数据目录。如果存在则对比新数据与已有的元数据是否相同，相同则保持原有数据不变，不同则将已有数据存入历史元数据目录，并将新数据加入当前元数据目录。当删除元数据时，元数据存储模块将其移入历史元数据目录。

数据注册器以手动和自动两种模式更新数据源的元数据信息。一方面数据注册器提供人机交互界面，手动触发数据源扫描事件；另一方面，提供自动扫描模式，在每个设定的时间周期到达时，数据注册器将自动启动数据源扫描事件。数据源扫描事件被触发时，首先，元数据提取模块对已有的数据源和表结构信息进行扫描，并读取该数据源的已有元数据信息，对二者进行比对，如果二者相同，则不做处理；如果二者不同，则调用元数据生成模块生成新的元数据文件。然后，调用元数据存储模块将新的元数据文件保存到元数据目录中。

如图3所示，数据聚合服务的具体实现方式如下：

采用web service技术建立数据聚合服务提供可以通过网络访问的应用程序接口。数据聚合服务包括两个功能模块，即元数据信息获取模块和海洋监测数据获取模块，负责向上层的数据集成器提供元数据和海洋监测数据。

元数据信息获取模块提供遍历本节点元数据目录的功能，输出结果为本节点上所有符合条件的海洋监测数据的元数据信息。该模块对外提供一个名为GetCapabilities的web service接口，该接口接收一个时间戳作为输入参数，输出该时间戳之后产生的元数据文件内容，对于更新的元数据文件，还会提供其历史元数据ID号。

海洋监测数据获取模块提供查询本节点海洋监测数据的功能，该模块对外提供一个名为GetRecords的web service接口，输入参数为元数据ID、表名、字段名集合、查询条件,输入参数所需信息从GetCapabilities接口的输出结果中获得。收到数据查询请求后，该模块根据输入参数构建数据库查询语句，从相应的源数据库中查询符合条件的观测值，提供给上层的数据集成器，输出海洋监测数据集合的结构为[{时间戳，观测设备ID/观测站ID,观测变量名1:观测值1，观测变量名2:观测值2,...,观测变量名n:观测值n},...,{时间戳，观测设备ID/观测站ID,观测变量名1:观测值1，观测变量名2:观测值2,...,观测变量名n:观测值n}]。

如图4所示，数据集成器通过网络采用http的方式调用数据聚合服务接口获取海洋监测数据元数据信息和观测数据，将其保存在应用系统数据库中或者用于显示系统中。

数据集成器提供按需下载数据、实时增量式同步数据、自动融合相同或相似数据的功能，由数据下载中间件、数据同步中间件、数据融合中间件和数据显示中间件构成。

数据下载中间件负责从多个数据聚合服务中下载数据元数据和海洋监测数据。数据下载中间件维护一个全的数据聚合服务列表。下载数据时，数据下载中间件先调用列表中每一个数据聚合服务的Getcapabities接口获取各节点的海洋监测数据元数据信息。然后，对元数据进行解析，得到数据源信息和数据表结构信息，并根据这些信息创建本地数据仓库，在本地数据仓库中创建与数据源中表名和表结构原表相同的数据表。当不同数据源存在相同的表名时，在本地数据仓库中对表结构进行整合，将所有重名表的字段合集作为新表的字段。完成本地数据仓库的创建后，数据下载中间件根据时间戳、观测设备ID/观测站ID、观测参数名称以及数据聚合服务接口的根URL，构建一个相应的http请求，通过http方式调用各个数据聚合服务的GetRecords接口，依次从各数据源中查询所需的海洋监测数据，并保存到本地数据仓库的相应数据表中，对于本地数据仓库中已经存在的数据不再重复写入。

数据同步中间件负责定时将源数据库中最新数据同步到本地数据仓库，设置定时器，以一定的时间间隔调用各个数据聚合服的GetRecords接口，下载岸站软件最新接收的监测数据，将其保存到本地数据仓库的相应数据表中。

数据融合中间件负责冗余数据的筛选和踢出。根据预先设置的监测数据的起始时间和结束时间，数据融合中间件对本地数据仓库进行整体扫描，通过相似度分析找出重复数据，并将其移除，进而消除数据冗余，提高系统运行的效率。

数据显示中间件以文字符号、表格及图片的形式对最终数据进行可视化显示。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种分布式海洋在线监测数据的实时聚合系统，其特征在于，包括数据注册器、数据聚合服务和数据集成器三部分，所述数据注册器和数据聚合服务分布于每一个海洋监测数据接收终端服务器上，通过数据注册器对各海洋监测数据接收终端服务器的异构数据资源进行整合，并建立数据聚合服务实现数据的跨平台跨系统发布，数据集成器根据需要集成一个或多个数据聚合服务，对数据进行按需存储和显示。

2.根据权利要求1所述的一种分布式海洋在线监测数据的实时聚合系统，其特征在于，所述数据注册器包括元数据提取模块、元数据生成模块和元数据存储模块。

3.根据权利要求1所述的一种分布式海洋在线监测数据的实时聚合系统，其特征在于，所述数据聚合服务器包括元数据信息获取模块和海洋监测数据获取模块，负责向上层的数据集成器提供元数据和海洋监测数据。

4.根据权利要求1所述的一种分布式海洋在线监测数据的实时聚合系统，其特征在于，所述数据集成器包括数据下载中间件、数据同步中间件、数据融合中间件和数据显示中间件。

5.一种分布式海洋在线监测数据的实时聚合方法，其特征在于，包括如下过程：

(1)把一个海洋监测数据接收终端服务器记作一个节点，每个节点上均部署数据注册器和数据聚合服务；

(2)数据注册器中的元数据提取模块从每个节点的源数据库中提取数据表结构信息，然后元数据生成模块将信息进行有机组合生成海洋监测数据元数据信息，并将生成的元数据信息保存到JSON文件中，然后元数据存储模块建立和维护海洋监测元数据目录；

(3)数据聚合服务中的元数据信息获取模块遍历本节点元数据目录，输出本节点上所有符合条件的海洋监测数据的元数据信息，海洋监测数据获取模块查询本节点的海洋监测数据，并输出相应的观测值；

(4)数据集成器中的数据下载中间件从多个数据聚合服务中下载元数据信息和海洋监测数据，数据同步中间件定时将源数据库中最新数据同步到本地数据仓库，数据融合中间件负责冗余数据的筛选和踢出，数据显示中间件将最终数据进行显示。

6.根据权利要求5所述的一种分布式海洋在线监测数据的实时聚合方法，其特征在于，所述元数据信息获取模块对外提供一个名为GetCapabilities的web service接口，该接口接收一个时间戳作为输入参数，输出该时间戳之后产生的元数据文件内容，对于更新的元数据文件，还提供其历史元数据ID号。

7.根据权利要求5所述的一种分布式海洋在线监测数据的实时聚合方法，其特征在于，所述海洋监测数据获取模块对外提供一个名为GetRecords的web service接口，输入参数为元数据ID、表名、字段名集合、查询条件,输入参数所需信息从GetCapabilities接口的输出结果中获得。

8.根据权利要求6所述的一种分布式海洋在线监测数据的实时聚合方法，其特征在于，所述数据下载中间件先调用列表中每一个数据聚合服务的Getcapabities接口获取各节点的海洋监测数据元数据信息；然后，对元数据信息进行解析，得到数据源信息和数据表结构信息，并根据这些信息创建本地数据仓库，在本地数据仓库中创建与数据源中表名和表结构相同的数据表。

9.根据权利要求7所述的一种分布式海洋在线监测数据的实时聚合方法，其特征在于，所述数据同步中间件以一定的时间间隔调用各个数据聚合服的GetRecords接口，下载岸站软件最新接收的监测数据，将其保存到本地数据仓库的相应数据表中。