CN105430055A - 基于分布式及多层次汇交的大数据交换系统及方法 - Google Patents

Abstract

本发明涉及一种基于分布式及多层次汇交的大数据交换系统及方法。本发明通过同步和推送机制，实现了各个数据中心节点数据更新的一致性及有效性，而且任何一个更新节点故障都不会影响整体，从而提高地理信息数据的高效、网络化。并且对数据的应用更加广泛，减少数据传输的次数，提高工作效率。

Description

基于分布式及多层次汇交的大数据交换系统及方法

技术领域

本发明涉及一种数据交换系统及方法，属于地理信息数据管理领域，具体涉及一种基于分布式及多层次汇交的大数据交换系统及方法。

背景技术

目前在地理信息数据的管理和保障方面，各级各类应用系统还是采取独立建设和维护的模式。这样就造成了如下不足：

(1)地理信息数据的保障模式不统一

由于地理数据由各级应用系统独立建设、维护和保障，“烟卤”式的使得不同时期，不同用户在地理信息的数据处理，使用上缺少一致的保障维护体制及规范。

(2)地理信息数据的管理时效不足

目前主要依靠人工通过存储介质来进行地理数据的导入导出，各级各类应用系统之间缺少地理信息数据的网络化共享能力，虽然系统建设耗时耗力，数据更新周期长，但是数据共享及应用比较局限。而且通常的手工操作的模式不仅导致数据的管理及维护投入巨大，同时也容易受到人为因素的影响，使得数据管理的安全性问题频发。

(3)地理信息数据的支持能力不够

现有的地理信息的数据管理模式比较单一，而且未能提供对地理空间数据的多源、多时相版本，同时可以跨平台的统一的数据管理支持，因此，大大的限制了地理数据的应用发展。

由于存在以上问题，现有地理数据的管理还是各级、各类系统，各自管理各自地理数据的模式。这样一来，各系统所负责管理的那部分地理信息数据，在完成数据的订阅使用及数据下发时，主要依靠人工通过存储介质来进行地理数据的导入导出来进行同步和传送。这样的方式会有以下缺点：

(1)人工处理，简单重复，但需要有较大投入，而且手工操作的模式也容易造成人为问题。

(2)现有的同步机制，各个应用系统所需要的数据管理，由各个系统单独处理，只支持单数据源，属于是单纯的数据同步操作，对于包含数据版本的时相数据无法提供更新、同步及版本管理的能力。

(3)对不同时期、不同用户在地理信息数据的受领、处理和使用上，也缺少一致的管理、保障、维护体制和规范。

本发明将解决通过同步和推送机制，实现了各个数据中心节点数据更新的一致性及有效性，而且任何一个更新节点故障都不会影响整体。从而提高地理信息数据的高效、网络化。并对数据的应用更加广泛。减少数据传输的次数，提高工作效率。

发明内容

本发明主要是解决现有技术所存在的上述的技术问题，提供了一种基于分布式及多层次汇交的大数据交换系统及方法。该系统及方法使用无人值守方式，自动完成对分布存储于各级不同数据中心的地理信息数据交汇、同步与更新，并提供全方位的任务的状态监控，并且支持数据订阅及推送两种方式，来实现对数据的更新。

为了解决上述问题，根据本发明的一方面，提供了一种基于分布式及多层次汇交的大数据交换系统，包括：

服务中心，与地理信息源相连，用于提供地理信息的存储和服务；

前置节点，部署于用户系统内，用于为其所属的用户系统进行数据管理、缓存和服务，以及从区域中心获取地理信息数据；

其中，所述服务中心进一步包括：

全国中心，用于提供各类地理数据的接入存储以及同步操作，进行地理数据的编目和同步；

区域中心，与全国中心相连，用于承担区域地理数据服务，各区域中心形成分布式数据服务网络。

优化的，上述的一种基于分布式及多层次汇交的大数据交换系统，还包括用于进行数据订阅和获取的同步模块，所述同步模块进一步包括：

区域中心同步模块，位于区域中心内，用于向全国中心订阅所需数据，接收全国中心所返回的订阅数据；

前置节点同步模块，位于前置节点内，用于向区域中心订阅所需数据，接收区域中心所返回的订阅数据。

优化的，上述的一种基于分布式及多层次汇交的大数据交换系统，所述同步模块在设置需要订阅数据的数据中心信息，然后通过设置定时任务间隔性的探测和同步节点编目表，在编目表的相关属性标记发生变化时，开始触发数据的同步和推送操作。

优化的，上述的一种基于分布式及多层次汇交的大数据交换系统，其特征在于，还包括：

服务发布系统，与用户系统相连，用于在用户系统接受到推送或同步的数据后发布或更新服务；

运维系统，与服务中心、前置节点以及服务发布系统相连，用于对数据分类和数据推送取向提供全方位的任务的状态监控。

为了解决上述问题，根据本发明的另一方面，提供了一种基于分布式及多层次汇交的大数据交换方法，包括：

建立与地理信息源相连的服务中心，由服务中心提供地理信息的存储和服务；

在用户系统部署前置节点，由前置节点为用户系统进行数据管理、缓存和服务，以及从区域中心获取地理信息数据；

其中，在所述服务中心内分别建立全国中心和与全国中心相连的区域中心，由全国中心提供各类地理数据的接入存储以及同步操作，进行地理数据的编目和同步；由区域中心承担区域地理数据服务，各区域中心形成分布式数据服务网络。

优化的，上述的一种基于分布式及多层次汇交的大数据交换方法，通过同步模式来订阅和获取数据，由区域中心向全国中心订阅所需数据，接收全国中心所返回的订阅数据；前置节点向区域中心订阅所需数据，接收区域中心所返回的订阅数据。

优化的，上述的一种基于分布式及多层次汇交的大数据交换方法，在数据同步时，先设置需要订阅数据的数据中心信息，然后通过设置定时任务间隔性的探测和同步节点编目表，在编目表的相关属性标记发生变化时，开始触发数据的同步和推送操作。

优化的，上述的一种基于分布式及多层次汇交的大数据交换方法，其特征在于，还包括：

在用户系统接受到推送或同步的数据后，利用与用户系统相连的服务发布系统发布或更新服务；

利用与服务中心、前置节点以及服务发布系统相连的运维系统对数据分类和数据推送取向提供全方位的任务状态监控。

因此，本发明具有如下优点：1.使用无人值守方式，自动完成对分布存储于各级不同数据中心的地理信息数据交汇、同步与更新，并提供全方位的任务的状态监控；2.支持数据订阅及推送两种方式，来实现对数据的更新。

附图说明

附图1是本发明的系统原理图；

附图2是本发明的信息交互图；

附图3是本发明的信息同步机制图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

如图1所示，一种基于分布式及多层次汇交的大数据交换系统，该系统采用分布式架构，面向服务的思路，构建出服务中心和各级各类用户系统的前置节点。其中：服务中心与地理信息源相连，用于提供地理信息的存储和服务；前置节点部署于用户系统内，用于为其所属的用户系统进行数据管理、缓存和服务，以及从区域中心获取地理信息数据。

其中，服务中心进一步包括全国中心和区域中心，全国中心用于提供各类地理数据的接入存储以及同步操作，进行地理数据的编目和同步；区域中心与全国中心相连，用于承担区域地理数据服务，各区域中心形成分布式数据服务网络。逻辑上服务中心包含全国中心和区域中心两级结构。从而形成规范的、多层次、可靠的、高效的、网络化的地理信息数据保障和服务体系。

本发明的内部信息关系主要包括全国中心和区域中心的关系、区域中心和各级应用系统的关系，如图2所示。下面分别详述。

(1)全国中心与区域中心

全国中心即是数据的管理者也是数据的服务者，区域中心主要作为数据服务提供者。区域中心为全国中心的二级服务节点，主要存储本区域范围的所需数据，使得全国中心的数据能够分布式存储在各个区域中心，区域中心向全国中心订制相应数据，全国中心采用数据同步方式向各个区域中心推送数据，与各个区域中心的数据形成互备关系。区域中心之间能够通过动态热接替，承担故障区域中心节点的任务。区域中心在特殊情况下具备对全国中心的热接替的能力。

(2)区域中心与用户系统

用户系统为分布式部署和支持多层次数据交汇的大数据模式的末端节点，用户系统根据任务和权限获取数据，区域中心根据用户系统进行数据部署和同步。用户系统也可以向区域中心订阅数据，经过全国中心审核通过后向用户系统提供数据服务。

(3)用户系统与服务发布系统

用户系统在接受到推送或同步的数据后，通知服务发布系统发布或更新服务。

(4)运维系统与各级系统

运维系统能对数据分类和数据推送取向提供全方位的任务的状态监控。

如图2所示，全国中心有主备中心组成，是地理信息数据和入网用户的管理机构。区域中心为全国中心的二级服务主干节点，全国中心通过数据同步服务将各个区域范围内的地理信息和目录同步到不同的区域中心，从而将地理信息空间数据分布式存储到各个区域中心，区域中心可以根据需求进行分布实施和扩展。

本发明中，系统的同步和推送机制还可采用基于触发方式的数据同步机制。在系统中设置需要订阅数据(或者推送数据)的数据中心相关信息，然后通过在系统中设置定时任务，间隔性的探测和同步节点编目表，在编目表的相关属性标记发生变化时，开始触发数据的同步和推送操作。根据数据重要性、网络状况等排列优先级，数据传输按照统一的网络端口规格，进行各级节点之间同步。数据的同步传输具备断点续传和逐级传输的功能。

如图3中所示为编目信息同步机制。数据同步机制和元表信息同步机制同编目信息同步机制相同。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于分布式及多层次汇交的大数据交换系统，其特征在于，包括：

服务中心，与地理信息源相连，用于提供地理信息的存储和服务；

前置节点，部署于用户系统内，用于为其所属的用户系统进行数据管理、缓存和服务，以及从区域中心获取地理信息数据；

其中，所述服务中心进一步包括：

全国中心，用于提供各类地理数据的接入存储以及同步操作，进行地理数据的编目和同步；

区域中心，与全国中心相连，用于承担区域地理数据服务，各区域中心形成分布式数据服务网络。

2.根据权利要求1所述的一种基于分布式及多层次汇交的大数据交换系统，其特征在于，还包括用于进行数据订阅和获取的同步模块，所述同步模块进一步包括：

区域中心同步模块，位于区域中心内，用于向全国中心订阅所需数据，接收全国中心所返回的订阅数据；

前置节点同步模块，位于前置节点内，用于向区域中心订阅所需数据，接收区域中心所返回的订阅数据。

3.根据权利要求2所述的一种基于分布式及多层次汇交的大数据交换系统，其特征在于，所述同步模块在设置需要订阅数据的数据中心信息，然后通过设置定时任务间隔性的探测和同步节点编目表，在编目表的相关属性标记发生变化时，开始触发数据的同步和推送操作。

4.根据权利要求1所述的一种基于分布式及多层次汇交的大数据交换系统，其特征在于，还包括：

服务发布系统，与用户系统相连，用于在用户系统接受到推送或同步的数据后发布或更新服务；

运维系统，与服务中心、前置节点以及服务发布系统相连，用于对数据分类和数据推送取向提供全方位的任务的状态监控。

5.一种基于分布式及多层次汇交的大数据交换方法，其特征在于，包括：

建立与地理信息源相连的服务中心，由服务中心提供地理信息的存储和服务；

在用户系统部署前置节点，由前置节点为用户系统进行数据管理、缓存和服务，以及从区域中心获取地理信息数据；

其中，在所述服务中心内分别建立全国中心和与全国中心相连的区域中心，由全国中心提供各类地理数据的接入存储以及同步操作，进行地理数据的编目和同步；由区域中心承担区域地理数据服务，各区域中心形成分布式数据服务网络。

6.根据权利要求4所述的一种基于分布式及多层次汇交的大数据交换方法，其特征在于，通过同步模式来订阅和获取数据，由区域中心向全国中心订阅所需数据，接收全国中心所返回的订阅数据；前置节点向区域中心订阅所需数据，接收区域中心所返回的订阅数据。

7.根据权利要求5所述的一种基于分布式及多层次汇交的大数据交换方法，其特征在于，在数据同步时，先设置需要订阅数据的数据中心信息，然后通过设置定时任务间隔性的探测和同步节点编目表，在编目表的相关属性标记发生变化时，开始触发数据的同步和推送操作。

8.根据权利要求5所述的一种基于分布式及多层次汇交的大数据交换方法，其特征在于，还包括：

在用户系统接受到推送或同步的数据后，利用与用户系统相连的服务发布系统发布或更新服务；

利用与服务中心、前置节点以及服务发布系统相连的运维系统对数据分类和数据推送取向提供全方位的任务状态监控。