CN111625510A - 一种基于云映射的多源数据共享系统及方法 - Google Patents

Abstract

本发明公开了一种基于云映射的多源数据共享系统及方法，系统包括数据源管理模块、元数据管理引擎、云映射库引擎和资源服务共享模块；所述数据源管理模块用于从各业务系统中获取所需业务数据存储于数据库中，所述元数据管理引擎用于将所述数据源管理模块获取数据进行分类管理，所述云映射库引擎用于将所有数据基于上层云映射进行转化，构建数据的虚拟云映射，所述资源服务共享模块用于对云映射处理后的数据进行共享。本发明实现电网不同业务系统之间的信息共享及无缝连接，对数据的使用者提供统一的服务接口，有效解决数据孤岛和信息孤岛问题，同时减少了各业务系统间接口的重复开发。

Description

一种基于云映射的多源数据共享系统及方法

技术领域

本发明实施例涉及多源数据共享技术领域，具体涉及一种基于云映射的多源数据共享系统及方法。

背景技术

随着电网行业的快速发展，电网企业的信息化建设在市场、管理等因素的推动下不断演进，在不同的历史时期建设了大量的信息系统，同时在业务整合的驱动下产生了不同的互联需求,由于这些内部信息系统在不同的历史时期、不同厂家、不同技术、不同规范的情况下建设，导致这些内部业务系统的数据往往不能进行融合共享，只能通过单一的业务系统进行查询分析，在使用过程中也需要切换不同的子系统进行数据分析，再进行人工的数据汇总分析，使用过程中存在诸多不便。

大数据时代的到来，也让电网企业的管理者认识到数据共享的重要性和必要性，大多存在各类业务系统数据相互孤立，缺乏信息共享的问题。

发明内容

为此，本发明实施例提供一种基于云映射的多源数据共享系统及方法，以解决现有技术中各类业务系统数据相互孤立，缺乏信息共享的问题。

为了实现上述目的，本发明的实施方式提供如下技术方案：

在本发明的一个方面，提供了一种基于云映射的多源数据共享系统，包括数据源管理模块、元数据管理引擎、云映射库引擎和资源服务共享模块；

所述数据源管理模块用于从各业务系统中获取所需业务数据存储于数据库中，所述元数据管理引擎用于将所述数据源管理模块获取数据进行分类管理，所述云映射库引擎用于将所有数据基于上层云映射进行转化，构建数据的虚拟云映射，所述资源服务共享模块用于对云映射处理后的数据进行共享。

作为本发明的一种优选方案，所述数据源管理模块通过系统配置的JDBC适配器获取数据库中的各类数据，使用WEB接口适配器对WEB类型接口数据进行适配，实时调用接口获取需要的业务数据；所述数据源管理模块支持对接入的数据库进行实时监控，监控数据库的基本信息和状态信息。

作为本发明的一种优选方案，所述元数据管理引擎包括资源分类模块、数据检索模块及元数据目录模块，所述资源分类模块用以将获取的数据按照业务系统、业务类型、业务关联度、业务血统进行分类，所述数据检索模块用于对外提供数据检索的功能，所述元数据目录模块用以对管理的元数据进行统一目录管理。

作为本发明的一种优选方案，所述云映射库引擎的云映射库包括云模型管理模块、云映射管理模块和云映射转换模块，所述云模型管理模块是系统管理员按照业务需要定制的业务模型，所述云映射管理模块用于实现映射关系管理、新增映射和删除映射，所述云映射转换模块用于在进行映射过程中，对不同的源数据库数据进行转换。

作为本发明的一种优选方案，还包括权限管理模块，所述权限管理模块为基于JWT的TOKEN验证方式进行元数据共享的限权管理；即需要进行数据共享的消费者，系统将给对应的消费者提供一个TOKEN的验证值，只有在调用共享接口时添加TOKEN的验证才能通过，进行共享数据的获取，即使在某消费者知道共享的接口地址，如果没有系统给的TOKEN值也是无法直接调用接口进行数据访问的。

作为本发明的一种优选方案，所述业务模型支持自定义云模型名称、云模型列、列的数据类型、云模型关键词PK、云模型约定关系FK。

作为本发明的一种优选方案，所述云映射管理模块提供定义的云映射模型与元数据之间的关系，包括一对一关系和一对多关系；在云映射管理模块中选择映射进行编辑，进行新增映射关系操作，系统采用界面线型拉动的方式进行映射，在进行云模型关键词PK关联设置时，选择云映射模型的列，选择关联的其他数据，进行关联关系选择，支持多种关联关系设置。

作为本发明的一种优选方案，所述云映射转换模块包括三种转换方式：简单的字段类型转换、Sql语言函数转换和使用JAVA编写的CLASS类文件的转换，在云映射操作完成，系统将云映射数据存入到基于HBASE的数据库中，形成云映射库，云映射库对外提供统一的数据共享服务。

作为本发明的一种优选方案，所述资源服务共享模块包括服务注册模块、服务管理模块、服务监控模块和服务统计模块；所述服务注册模块用于系统管理人员将系统云映射库中的融合数据进行服务注册，所述服务管理模块用于对已经完成注册的服务进行管理，包括服务搜索、注销、编辑操作；所述服务监控模块用于对发布的服务进行在线状态进行监控；所述服务统计模块用于对发布的服务进行各类数据统计。

在本发明的另一个方面，提供了一种云映射的多源数据共享方法，其特征在于，包括如下步骤：

步骤100、接入源数据库，获取源数据库中的数据结构和信息；

步骤200、在对应的数据结构上层建立起相应云映射关系，通过映射关联将多个数据源之间的数据进行融合；

步骤300、形成逻辑的云映射库，再通过服务的方式将云映射库的数据进行共享发布。

本发明的实施方式具有如下优点：

本发明实现电网不同业务系统之间的信息共享及无缝连接，对数据的使用者提供统一的服务接口，有效解决数据孤岛和信息孤岛问题，同时减少了各业务系统间接口的重复开发。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施例提供的系统连接示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种基于云映射的多源数据共享系统，包括数据源管理模块、元数据管理引擎、云映射库引擎和资源服务共享模块；所述数据源管理模块用于从各业务系统中获取所需业务数据存储于数据库中，所述元数据管理引擎用于将所述数据源管理模块获取数据进行分类管理，所述云映射库引擎用于将所有数据基于上层云映射进行转化，构建数据的虚拟云映射，所述资源服务共享模块用于对云映射处理后的数据进行共享。

所述数据源管理模块通过系统配置的JDBC适配器获取数据库中的各类数据，使用WEB接口适配器对WEB类型接口数据进行适配，实时调用接口获取需要的业务数据；所述数据源管理模块支持对接入的数据库进行实时监控，监控数据库的基本信息和状态信息。

在数据源管理层获取的数据主要是结构化数据：现有从RDBMS中获取的数据，系统通过对应的JDBC适配器获取SCHEMA信息以及SCHEMA下所有的表的信息，包括表的列、主外键、字段长度、字段类型等信息，同时将获取的列的信息存入到系统的数据库中。在数据源管理层支持对接入的数据库进行实时监控，监控数据库的基本信息、状态信息包括数据库的操作系统、数据库类型、最大连接数、当前连接数、系统日志路径和归档日志路径等。

元数据管理引擎包括资源分类模块、数据检索模块及元数据目录模块，所述资源分类模块用以将获取的数据按照业务系统、业务类型、业务关联度、业务血统进行分类，所述数据检索模块用于对外提供数据检索的功能，便于及时定位查找元数据，所述元数据目录模块用以对管理的元数据进行统一目录管理，在元数据管理引擎中数据地图模块主要是展示当前接入的数据库地理分布，数据库在线状态等。

所述云映射库引擎的云映射库包括云模型管理模块、云映射管理模块和云映射转换模块。

所述云模型管理模块是系统管理员按照业务需要定制的业务模型，业务模型支持自定义云模型名称、云模型列、列的数据类型、云模型关键词PK、云模型约定关系FK以及一些其他备注说明等，例如：对于电网用户来说，电网数据属性复杂，各业务系统之间的数据存在关联性，在这种情况下，用户可以定制自己需要的云映射模型，同时一个云映射的模型可以通过KF关系将来自元数据目录的多个数据关联到一起，在进行数据查询时，可直接通过该定义的云映射模型获取多个数据，

所述云映射管理模块用于实现映射关系管理、新增映射和删除映射，等操作，在映射关系管理中可以看到定义的云映射模型与元数据之间的关系，包括一对一关系和一对多关系；在云映射管理中选择映射进行编辑，可以进行新增映射关系操作，系统采用界面线型拉动的方式进行映射，便于新增和删除映射关系；在进行FK关联设置时，选择云映射模型的列，选择KF关联的其他数据，进行关联关系选择，支持多种关联关系设置，如：左连接(LeftJoin)、左外连接(Left Outer Join)、右连接(Right Join)、右外连接(Right OuterJoin)、全连接(Full Join)或全外连接(Full Outer Join)等。

所述云映射转换模块用于在进行映射过程中，对不同的源数据库数据进行转换，转换的方式分为三种：1)支持简单的字段类型转换；2)支持Sql语言函数转换；3)支持使用JAVA编写的CLASS类文件的转换。在云映射操作完成，系统将做的云映射数据存入到基于HBASE的数据库中，形成云映射库，云映射库对外提供统一的数据共享服务。

所述资源服务共享模块包括服务注册模块、服务管理模块、服务监控模块和服务统计模块；所述服务注册模块用于系统管理人员将系统云映射库中的融合数据进行服务注册，所述服务管理模块用于对已经完成注册的服务进行管理，包括服务搜索、注销、编辑操作；所述服务监控模块用于对发布的服务进行在线状态进行监控；所述服务统计模块用于对发布的服务进行各类数据统计。

服务注册模块用于系统的管理人员将系统云映射库中的融合数据进行服务注册，系统支持多种的服务方式，如：

1)云映射库数据共享方式，这种方式主要是将系统的云映射库作为一个数据库的方式，通过云映射数据库的JDBC驱动程序以及数据库URL地址来共享数据；

2)支持WEB接口数据共享方式，该方式是将云映射库中的数据通过JAVA代码或者SQL语言的方式进行数据要求规范，然后通过共有的SAOP的方式进行WEBSERVICE的接口共享。

所述服务管理模块用于对已经完成注册的服务进行管理，包括服务搜索、注销、编辑等。

还包括服务申请审批流程模块，用于对共享服务的消费者进行控制以及安全认证，服务消费者按照自己的需求多系统发布的共享数据服务进行申请，填写申请相关说明，提交到系统的管理员，管理员对消费者申请的服务进行审批同时进行调用限制，如：

1)限制调用次数(月调用次数、周调用次数、日调用次数等)；

2)控制网络访问，通过IP+MAC地址的方式进行访问控制。

所述服务监控模块用于对发布的服务进行在线状态进行监控；所述服务统计模块用于对发布的服务进行各类数据统计，如：

1)调用次数统计，统计服务在某段时间内的调用次数并形成趋势图，包括成功次数、失败次数以及成功率；

2)调用流量统计，统计服务在某段时间内的调用流量大小并形成趋势图，包括最大流量、最小流量、平均流量等；

3)调用时间统计，统计服务在某段时间的调用时间，包括最大调用时间、最小调用时间、平均调用时间等；

4)异常分类统计，统计服务在某段时间内的调用异常情况，同时按照异常的情况进行分类，可获取异常的具体信息；

5)服务调用排名，统计在某段时间内，所有服务的调用次数排名、调用流量排名以及调用时间排名等。

整个系统还包括系统权限管理模块，所述权限管理模块包括功能权限模块和数据共享服务安全权限模块，所述功能权限模块用以对每一个功能模块的每一项操作授权；所述数据共享服务安全权限模块既可以用以对数据共享服务进行访问授权，还可以用以对元数据管理中的数据访问权限授权，在对服务进行安全限权控制时，系统采用基于JWT的Token认证机制来实现授权。所述权限管理模块为基于JWT的TOKEN验证方式进行元数据共享的限权管理；即需要进行数据共享的消费者，系统将给对应的消费者提供一个TOKEN的验证值，只有在调用共享接口时添加TOKEN的验证才能通过，进行共享数据的获取，即使在某消费者知道共享的接口地址，如果没有系统给的TOKEN值也是无法直接调用接口进行数据访问的。

消费者第一次登录，输入对应的用户名/密码，提交后到服务器的登录处理的Action层(Login Action)，Login Action调用认证服务进行用户名密码认证，如果认证通过，Login Action层调用用户信息服务获取用户信息(包括完整的用户信息及系统功能权限信息)，返回用户信息后，Login Action从配置文件中获取Token签名生成的秘钥信息，进行Token的生成，生成Token的过程中可以调用第三方的JWT Lib生成签名后的JWT数据，最终将Token配置到对应的用户数据共享服务中生效。

本实施例的基于云映射的多源数据共享系统采用目前最常用的J2EE技术架构，基于多层软件构架Client tier客户层、表示层、Spring业务逻辑层、MVC控制层，其中客户层主要是基于web方式进行交互，其中表示层采用Jquery、Easyui等框架；控制层、业务层采用Jfinal框架。采用面向服务的集成各种应用系统，能够为用户提供先进实用、安全可靠、便于兼容、易于扩展的应用解决方案。系统设计采用B/S的Web架构方式，用户只需要通过浏览器访问即可，避免了用户安装所需软件环境的麻烦。

J2EE(Java 2 Platform Enterprise Edition)是Java2平台企业版。J2EE是一套全然不同于传统应用开发的技术架构，包含大量组件，主要可简化且规范应用系统的开发与部署，进而提高可移植性、伸缩性、安全性与再用价值。J2EE核心是一组技术规范与指南，其中所包含的各类组件、服务架构及技术层次，均有共同的标准及规格，让各种遵循J2EE架构开发的软件存在良好的兼容性，解决过去部分的软件产品彼此之间无法兼容、导致内部或外部应用难以互通的窘境。J2EE企业级应用的不同部分纳入不同的容器(Container)，每个容器中都包含若干组件(这些组件是需要部署在相应容器中的)，同时各种组件都能使用各种J2EE Service与API。J2EE容器与相应的组件可以部署在网络中的任一服务器上，具有良好的可伸缩性。J2EE组件的安全是由各自的容器来负责的，组件的开发人员几乎可以不用或者很少在组件中添加有关安全的代码。这种安全逻辑和业务逻辑相对独立的架构，使得企业级应用系统有更好的灵活性和扩展性。

在本发明的另一个方面，提供了一种云映射的多源数据共享方法，其特征在于，包括如下步骤：

步骤100、接入源数据库，获取源数据库中的数据结构和信息；

步骤200、在对应的数据结构上层建立起相应云映射关系，通过映射关联将多个数据源之间的数据进行融合；

步骤300、形成逻辑的云映射库，再通过服务的方式将云映射库的数据进行共享发布。

本发明提供的系统和方法适用于各企业部门、大型教育机构、电网等各个行业中，本发明基于“云映射”架构，为各业务系统提供统一的接入平台，系统引入“虚拟云映射“概念，可以针对多个业务系统的相对独立、异构的数据库进行数据库融合和数据共享，实现针对不同业务系统之间的数据进行共享和连接，有效解决信息孤岛和数据孤岛的问题。

本系统采用数据库JDBC接口接入的方式进行数据获取映射融合，避免数据进行ETL抽取，减少源数据库的压力，同时避免数据进行多次转运、存储，省时省力，节省数据存储空间，也节约了大量硬件经济投入。本系统对其他各个业务系统的数据融合方式不同于目前的“数据大集中”的方式，“数据大集中”是采用硬件堆砌成的数据中心的方法，采用ETL等数据抽取的方式把各业务系统数据库中的数据进行抽取到数据中心，再进行数据的融合处理，在这种方式下，实际是将原始数据进行了搬运，在数据搬运过程中存在造成数据泄漏的风险，同时往往需要投入大量的硬件且数据集中的规模并不大，数据在搬运过程中需花费大量的时间在成数据共享见效慢，数据更新周期较大不便于进行实时数据共享。本系统采集虚拟云映射的方式进行数据集中融合共享，首先不需要投入大量的硬件资源，减少了经济资源投入，由于无需对数据进行搬运，保证了数据的原始拥有权和数据的安全性以及数据的实时性。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种基于云映射的多源数据共享系统，其特征在于，包括数据源管理模块、元数据管理引擎、云映射库引擎和资源服务共享模块；

所述数据源管理模块用于从各业务系统中获取所需业务数据存储于数据库中；所述元数据管理引擎用于将所述数据源管理模块获取数据进行分类管理；所述云映射库引擎用于将所有数据基于上层云映射进行转化，构建数据的虚拟云映射；所述资源服务共享模块用于对云映射处理后的数据进行共享。

2.根据权利要求1所述的一种基于云映射的多源数据共享系统，其特征在于，所述数据源管理模块通过系统配置的JDBC适配器获取数据库中的各类数据，使用WEB接口适配器对WEB类型接口数据进行适配，实时调用接口获取需要的业务数据；所述数据源管理模块支持对接入的数据库进行实时监控，监控数据库的基本信息和状态信息。

3.根据权利要求1所述的一种基于云映射的多源数据共享系统，其特征在于，所述元数据管理引擎包括资源分类模块、数据检索模块及元数据目录模块；所述资源分类模块用以将获取的数据按照业务系统、业务类型、业务关联度、业务血统进行分类；所述数据检索模块用于对外提供数据检索的功能；所述元数据目录模块用以对管理的元数据进行统一目录管理。

4.根据权利要求1所述的一种基于云映射的多源数据共享系统，其特征在于，所述云映射库引擎的云映射库包括云模型管理模块、云映射管理模块和云映射转换模块；所述云模型管理模块是系统管理员按照业务需要定制的业务模型；所述云映射管理模块用于实现映射关系管理、新增映射和删除映射；所述云映射转换模块用于在进行映射过程中，对不同的源数据库数据进行转换。

5.根据权利要求1所述的一种基于云映射的多源数据共享系统，其特征在于，还包括权限管理模块，所述权限管理模块为基于JWT的TOKEN验证方式进行元数据共享的限权管理；即需要进行数据共享的消费者，系统将给对应的消费者提供一个TOKEN的验证值，只有在调用共享接口时添加TOKEN的验证才能通过，进行共享数据的获取，即使在某消费者知道共享的接口地址，如果没有系统给的TOKEN值也是无法直接调用接口进行数据访问的。

6.根据权利要求4所述的一种基于云映射的多源数据共享系统，其特征在于，所述业务模型支持自定义云模型名称、云模型列、列的数据类型、云模型关键词PK、云模型约定关系FK。

7.根据权利要求6所述的一种基于云映射的多源数据共享系统，其特征在于，所述云映射管理模块提供定义的云映射模型与元数据之间的关系，包括一对一关系和一对多关系；在云映射管理模块中选择映射进行编辑，进行新增映射关系操作，系统采用界面线型拉动的方式进行映射，在进行云模型关键词PK关联设置时，选择云映射模型的列，选择关联的其他数据，进行关联关系选择，支持多种关联关系设置。

8.根据权利要求7所述的一种基于云映射的多源数据共享系统，其特征在于，所述云映射转换模块包括三种转换方式：简单的字段类型转换、Sql语言函数转换和使用JAVA编写的CLASS类文件的转换，在云映射操作完成，系统将云映射数据存入到基于HBASE的数据库中，形成云映射库，云映射库对外提供统一的数据共享服务。

9.根据权利要求7所述的一种基于云映射的多源数据共享系统，其特征在于，所述资源服务共享模块包括服务注册模块、服务管理模块、服务监控模块和服务统计模块；所述服务注册模块用于系统管理人员将系统云映射库中的融合数据进行服务注册，所述服务管理模块用于对已经完成注册的服务进行管理，包括服务搜索、注销、编辑操作；所述服务监控模块用于对发布的服务进行在线状态进行监控；所述服务统计模块用于对发布的服务进行各类数据统计。

10.一种基于权利要求1-9任一项所述云映射的多源数据共享系统的共享方法，其特征在于，包括如下步骤：

步骤100、接入源数据库，获取源数据库中的数据结构和信息；

步骤200、在对应的数据结构上层建立起相应云映射关系，通过映射关联将多个数据源之间的数据进行融合；

步骤300、形成逻辑的云映射库，再通过服务的方式将云映射库的数据进行共享发布。

Images