CN108647265B - 基于多平台数据交互式系统 - Google Patents

Abstract

本发明公开了一种基于多平台数据交互式系统，通过对底层集成平台将抽取来的数据应用于数据资源管理平台和大数据应用支撑平台，资源管理平台通过抽取器将SOLR、HBASE、ORACLE、GP中的各种结构类型的数据进行抽取、转换并通过列表式展示出来；大数据应用支撑平台对数据的处理则是以用户服务的形式展开，针对不同用户的需求给角色分配不同权限，以致于每个角色看到的数据服务都是不同的，根据服务的类型不同还提供了用户根据不同需求订阅不同服务的方案，方便用户对所需数据的管理和使用。

Description

基于多平台数据交互式系统

技术领域

本发明涉及大数据交互技术领域，具体来说，涉及一种基于多平台数据交互式系统。。

背景技术

当前，政府和企业的信息化建设的状况是，政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统，独立、异构、涵盖各自业务内容的信息处理系统，系统设计建设的时期不同、业务模式不同，信息化建设缺乏有效的总体规划，重复建设，缺乏统一的设计标准，大多数系统都是由不同的厂商在不同的平台上，使用不同的语言进行开发的，信息交互共享困难，存在大量的信息孤岛和流程孤岛。

发明内容

本发明的目的在于提出一种基于多平台数据交互式系统，以克服现有技术中存在的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

基于多平台数据交互式系统，所述系统包括：

数据资源管理平台，包括集成平台和资源管理平台，所述集成平台包括集成任务管理模块和数据源管理模块，所述数据源管理模块用于将抽取的数据以树结构的展现方式进行分类，所述集成任务管理模块用于将分类好的数据从数据源配置配置到目标源配置，并将配置成目标源配置的数据传送给资源管理平台，所述资源管理平台用于将数据通过列表展示出来，所述列表包括数据资源目录、数据标准管理、资源池管理和数据标准化；

大数据应用支撑平台，包括应用开发模块、应用运行模块和应用管理模块，所述应用开发模块包括数据资源开发模块和服务发布模块，所述数据资源开发模块用于用户进行数据资源的开发，所述服务发布模块用于将数据资源发送给数据源管理模块以及将所述数据资源发布成服务，所述应用运行模块用于实现用户对所述服务的访问，所述应用管理模块包括服务管理模块和授权管理模块，所述服务管理模块用于依据用户的身份信息建立所述身份信息和服务的映射关系，所述映射关系包括用户是否能够访问所述服务以及能够访问所述服务下的哪些数据对象，所述授权管理模块包括用户访问授权管理模块，用于验证用户的访问权限。

进一步的，所述集成平台还包括：

集成作业管理模块，用于对集成平台进行定时处理、实时监控、刷新频率、任务执行情况监测以及设定指定时间内所抽取数据总量；

异常管理模块，用于展示在数据抽取过程中出现的异常数据；

基础配置管理模块，用于对系统中的组件进行管理配置。

进一步的，用户基于J2EE框架进行数据资源的开发。

进一步的，所述应用运行模块还包括访问日志记录模块，用于记录服务的访问日志。

进一步的，所述服务发布模块包括：

搭建环境模块，用于搭建shell脚本运行环境，编译项目，运行预先编写的插件，所述插件基于项目管理工具Maven、版本控制工具SVN、JDK和Tomcat编写；

代码检出模块，从SVN获取最新代码；

编译打包模块，使用Maven对获取的所述最新代码进行编译打包，形成打包文件；

发布模块，将所述打包文件发布到Tomcat服务器当中进行发布。

进一步的，所述授权管理模块还包括用户开发授权管理模块，用于对用户进行数据范围、专题应用数据存储容量和计量资源容量的授权控制。

进一步的，还包括服务负载查询管理模块，所述服务负载查询管理模块包括：

框架搭建模块，用于搭建spring boot框架，运行spring cloud中的网关组件；

网关，接收用户访问授权管理模块发送的授权情况并根据查询请求选择所要请求的服务节点下负荷较小的节点分发所述查询请求。

进一步的，所述网关还包括服务状态监测模块，用于查看服务是否正常，若服务下的所有节点均异常，则由断路器返回异常信息。

进一步的，所述网关依据心跳机制通过注册中心实时检测各个服务节点的负载情况。

进一步的，所述负载包括请求负载和数据负载中的一种或多种。

本发明的有益效果：本发明所述系统利用数据仓库数据资源管理理论，利用大数据技术整合企事业单位各条线业务数据资源，为各业务条线和相关部门提供基础专业数据共享及数据“运营”打下扎实基础。基于先进的企业服务总线ESB技术，遵循先进技术标准和规范，为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的互联互通提供包含抽取、转换、载入等操作的数据传输服务，实现扩展性良好的“松耦合”结构的应用和数据集成；同时数据资源管理平台能够通过分布式部署和集中式管理架构，可以有效解决各节点之间数据及时、高效地上传下达，在安全、方便、快捷、顺畅的进行数据管理的同时精准的保证数据的一致性和准确性，实现数据的一次采集、多系统共享；数据资源管理平台节点服务适配器的可视化配置，可以有效解决数据资源管理平台的“最后一公里”问题，快速实现不同机构、不同应用系统、不同数据库之间基于不同传输协议的数据交换与信息共享，为各种应用和决策支持提供良好的数据环境。数据资源管理平台能够把各种纷繁复杂的数据系统集成在一起完成特定的业务，提供同构数据、异构数据之间的数据抽取、格式转换、内容过滤、同异步传输、动态部署、可视化管理监控等方面的功能，支持的数据包括主流数据库(如MYSQL、ORACLE、 HBASE等)并可以根据用户需求定制开发特定业务服务。

附图说明

图1是本发明所述的系统的结构示意图；

图2是本发明所述的集成平台和资源管理平台的数据流向结构示意图；

图3是本发明所述的集成任务管理模块的配置流程图之一；

图4是本发明所述的集成任务管理模块的配置流程图之二；

图5是本发明所述的服务发布模块的结构示意图；

图6是本发明的JDK环境检测流程图；

图7是本发明的SVN环境检测流程图；

图8是本发明的编译环境检测流程图；

图9是本发明的打包环境检测流程图；

图10是本发明的发布环境检测流程图；

图11是本发明的服务负载查询管理模块的作用结构示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如图1所示，根据本发明的实施例所述的一种基于多平台数据交互式系统，所述系统包括数据资源管理平台和大数据应用支撑平台，所述数据资源管理平台包括集成平台和资源管理平台，所述集成平台包括集成任务管理模块、集成作业管理模块、异常管理模块、基础配置管理模块和数据源管理模块，所述大数据应用支撑平台包括应用开发模块、应用运行模块和应用管理模块。

所述数据源管理模块用于将抽取到的数据注册到不同源或目标中，在不同的源和目标中以树结构的展现方式体现出数据源的分类和目标分类。

所述集成任务管理模块用于将数据从数据源配置配置到目标源配置，并将配置成目标源配置的数据传送给资源管理平台。具体的，如图3-4所示，其中数据源(包括SOLR、HBASE、 ORACLE、GP中的各种结构类型的数据)经过抽取器、转换器和载入器的处理过程，最终配置成目标源配置。

所述集成作业管理模块用于对集成平台进行定时处理、实时监控、刷新频率、任务执行情况监测以及设定指定时间内所抽取数据总量。

所述异常管理模块用于展示在数据抽取过程中出现的异常数据。

所述基础配置管理模块用于对系统中的组件进行管理配置。如抽取器管理、转换器管理、载入器管理、枚举字典配置、枚举配置等。

所述资源管理平台用于将数据通过列表展示出来，所述列表包括数据资源目录、数据标准管理、资源池管理和数据标准化。

所述应用开发模块包括数据资源开发模块和服务发布模块，所述数据资源开发模块用于用户进行数据资源的开发，所述服务发布模块用于将数据资源发送给数据源管理模块以及将所述数据资源发布成服务。具体的，本发明所述系统中用户基于J2EE框架实现数据资源的开发。java平台企业版是一种利用Java2平台来简化且规范应用系统的研发与部署，进而提高可移植性、安全与再用价值。其核心是一组技术规范与指南，其中包含的各类组件、服务架构及技术层次，均有共同的标准及规格，让各种依循J2EE架构的不同平台之间，存在良好的兼容性，解决过去企业后端使用的信息产品彼此之间无法兼容，企业内部或外部难以互通的窘境。其主要的技术规范有JDBC、EJB、JSP、JAVA、XML等。JDBC为访问不同数据库提供了统一的路径，使其对数据库的访问具有平台无关性。EJB提供了一个框架来开发和实施分布式商务逻辑，简化了具有可伸缩性和高度复杂的企业级应用程序的开发。JSP页面由HTML代码和嵌入其中的java代码组成，简化了页面的输出，保留了脚本语言易于使用的优点。XML提供了一种描述结构数据的格式，简化了网络中数据交换和表示，使得代码、数据和表示分离，作为数据交换的标准格式。

进一步的，如图5所示，所述服务发布模块包括：

搭建环境模块，用于搭建shell脚本运行环境，编译项目，运行预先编写的插件，所述插件基于项目管理工具Maven、版本控制工具SVN、JDK和Tomcat编写。

具体的，在部署自动化脚本前需检查相应的插件是否已安装，首先是JDK路径、版本号 (推荐JDK1.7以上)和相关的配置文件；其次是SVN环境、所对应的的版本号以及SVN账号、密码、URL是否正确等；然后是Maven环境、配置文件及版本号；最后则是Tomcat发布环境、版本号以及相关配置文件和端口号。

项目管理工具Maven不仅是构建工具，它还是依赖管理工具和项目管理工具，提供了中央仓库，能够帮助我们自动下载构件，为了解决依赖的增多，版本不一致，版本冲突，依赖臃肿等问题，它通过一个坐标系统来精确地定位每一个构件，还能帮助我们分散在各个角落的的项目信息，包括项目描述，开发者列表，版本控制系统，许可证，缺陷管理系统地址， maven还为全世界的Java开发者提供了一个免费的中央仓库，在其中衍生工具(Nexus)我们还能对其进行快速搜索，maven对于目录结构有要求，约定优于配置，用户在项目间切换就省去了学习成本。

版本控制工具SVN在对版本控制方面以下几个特点：

提高性能，SVN不管文件是文本还是二进制类型，在内部都是以二进制差异比较算法来表示文件的更新部分，这表示所有的文件在文件库中都是以差异的形式存储，而且在网络上传输的都是较小的文件差异部分，这也使创建分支、打标签、合并等操作可以非常快的完成。

方便管理组织目录，SVN不光对文件做版本跟踪，也会对目录做版本跟踪，因此可以根据项目的需要，对目录结构随时进行修改，可以把现有的目录移动到新的地方。

保证提交操作的完整性，SVN对提交的操作的处理方式类似数据库的事务处理，要么全部成功，要么全部无效，保证了原子性。

在本发明中根据这两个工具的特点来对版本控制进行优化和自动化部署。

代码检出模块，从SVN获取最新代码。

本发明运用了shell，java编程语言等技术，通过java反射机制自动加载文件，获取到文件的版本信息，并写入系统。

SVN是一种集中式文件版本管理系统，插件执行时首先自动化到SVN服务器获取最新代码。

编译打包模块，使用Maven对获取的所述最新代码进行编译打包，形成打包文件。

发布模块，将所述打包文件发布到Tomcat服务器当中进行发布。

本发明对运行环境的要求较高，必须具备相应的插件才可部署成功，否则很容易部署失败，因此，在部署的过程中必须对部署环境进行检测。

具体的，如图6所示，搭建环境时对JDK环境进行相应的检查，检测JDK环境时先判断环境中是否已安装所需的JDK，若已安装则进入代码检出流程；若未安装则需安装JDK，若安装成功则进入代码检出流程；若安装失败，需重新安装。

如图7所示，代码检出时对SVN环境进行相应的检查，在代码检出的过程中需确保SVN 账号密码及URL正确，当程序执行到检测SVN环境时，首先会判断SVN账号密码及URL是否存在异常，若环境正常则执行代码编译；若环境异常，则会提示账号密码或地址异常，结束该流程检出失败。

如图8所示，编译打包前对JDK环境和Maven环境进行检测，在代码编译阶段中对于环境的检测有两个，一是Maven环境；二是JDK环境，但在通常情况下主要还是Maven环境，因为在第一阶段已经对JDK环境检测完成，所以该阶段JDK的环境一般是没有问题的，所以若在此出现问题更多的应该考虑是否是Maven环境出现的异常，若JDK环境和Maven环境均正常，则进行编译，若JDK环境和Maven环境中至少有一个异常，则结束该流程编译失败。编译完成后进入到打包流程，如图9所示，执行打包流程时对Maven环境的版本号和配置文件进行检测，若Maven环境正常，则打包成功进行发布流程，若Maven环境异常则结束该流程打包失败。

如图10所示，发布之前判断Tomcat环境是否异常，若Tomcat环境正常对系统服务进行验证，若环境正常对系统服务进行验证如启动服务(service start)、停止服务(service stop)、重启服务(service restart)、查看服务状态(service state)，验证完成之后将项目发布到服务器中在页面进行查看；若发布失败则会提示服务器环境异常，此时应检查Tomcat 服务器中的配置文件或版本号是否出现问题。

所述应用运行模块用于实现用户对所述服务的访问。

所述应用管理模块包括服务管理模块和授权管理模块，所述服务管理模块用于依据用户的身份信息建立所述身份信息和服务的映射关系，所述映射关系包括用户是否能够访问所述服务以及能够访问所述服务下的哪些数据对象，所述授权管理模块包括用户访问授权管理模块，用于验证用户的访问权限。具体的处理方式如下，设计针对性的数据库表来存储相应的信息，设计用户信息表来存储用户的身份信息；设计用户权限表来存储用户和服务的映射关系。同时将用户的访问日志存储在数据库中。在整个系统启动时内置的算法会将用户信息加载到缓存里(这里使用redis作为缓存容器)，其中加载的用户信息包括用户基本信息、用户权限信息(能够访问的服务以及服务下的数据对象)、用户访问次数(通过计算日志中记录的用户访问量获得)，用户基本信息会以用户唯一标示为key存储在缓存中，用户权限信息会以用户唯一标示+服务唯一标示为key存储在缓存中，系统会为每一个注册的用户分配一个 token，用户在访问服务时需要提供token进行权限验证。系统在获取token后首先验证token 的有效性，非法token将被拒绝访问；如果token有效，接下来会进行服务访问控制验证，根据用户信息判断用户授权时间是否过期，如果过期拒绝访问；接下来根据获取的用户访问 IP地址与用户授权时的IP地址进行比较，如果不一致拒绝访问；然后根据用户唯一标示+服务唯一标示在缓存中快速匹配，如果没有匹配到则说明没有访问权限，则拒绝访问；最后根据用户的访问申请在授权信息中进行匹配，过滤掉不允许访问的数据对象，整个权限验证结束。

在本实施例中，所述应用运行模块还包括访问日志记录模块，用于记录服务的访问日志。所述访问日志至少包括请求时间、请求响应时间、请求者编号、请求者所用IP、服务编号’、请求信息、请求结果和请求结果数据量中的一种或多种。具体的，在本发明技术方案不仅包含底层服务实现，还包括上层服务总线的部分功能，因此在整个流程中能够充分控制数据的使用。首先在底层服务实现层面，本发明在服务实现层中增加了日志记录功能，能够记录查询服务时一共返回数据量大小、整个查询过程是否产生异常(具体的异常信息是什么)、能够记录精确的查询用时(去除安全验证所耗费的时间)；其次在服务总线层面，本申请在其中也增加日志记录功能，由于每次访问都是在服务总线中验证用户token信息，因此日志能够记录访问者信息(账号、访问所用IP)、访问时间等。

进一步的，所述授权管理模块还包括用户开发授权管理模块，用于对用户进行数据范围、专题应用数据存储容量和计量资源容量的授权控制。

在本实施例中，如图11所示，还包括服务负载查询管理模块，所述服务负载查询管理模块包括：

框架搭建模块，用于搭建spring boot框架，运行spring cloud中的网关组件。注册中心和各服务间根据心跳进行检测服务的状态状态，包括但不限于服务是否存活，网关通过注册中心实时检测各个节点负载情况。具体的，各个服务节点启动后，会在注册中心中进行注册，这样注册中心中就有了所有服务节点的信息，并且有监控页面，可以在页面中直观的看到所有注册的服务的情况。同时有心跳机制，当某个节点服务在规定时间内没有发送心跳信号时，注册中心会从服务注册表中把这个服务节点移除，服务节点包括各个负载以及网关等功能部件，都会维持心跳，检测对应状态。

Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。

Spring Cloud是一系列框架的有序集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用Spring Boot的开发风格做到一键启动和部署。Spring并没有重复制造轮子，它只是将目前各家公司开发的比较成熟、经得起实际考验的服务框架组合起来，通过Spring Boot风格进行再封装屏蔽掉了复杂的配置和实现原理，最终给开发者留出了一套简单易懂、易部署和易维护的分布式系统开发工具包。

在本发明中，spring cloud一方面很好的解决了负载均衡问题，同时springcloud还提供了大量的组件，例如断路器等，这些组件有助于拓展模块功能，减少项目开发量，另一方面spring cloud有利于项目的后期扩展，其可插拔的组件式开发模式将模块与整体隔离开来，使后期的升级成为可能。

网关，接收权限验证模块发送的授权情况并根据查询请求控制数据查询模块选择所要请求的服务节点下负荷较小的节点分发所述查询请求。

具体的，网关通过注册中心检测各个服务节点的心跳频率，以此来得知各个服务节点的负载情况。所述负载包括请求负载和数据负载中的一种或多种。

综上本发明所述系统具有以下优点：

(1)先进性、开放性，基于B/S结构的JAVA应用技术和SOA开放式的体系架构，结构化设计，灵活可拆分，具有灵活的可扩充接口，易于修改调整、二次开发和扩充，最大限度降低因上游技术升级带来的系统实施风险，保证投资的有效性和延续性。

(2)可扩展性，由于采用平台化建构思想，整个系统可做到与底层多种硬件环境、操作系统、数据库的自由适配，保证系统在软件、硬件环境的灵活配置以及未来的拓展应用。基于采用SOA思想的模块化设计，可根据需要进行灵活动态的模块扩充，并保证原系统环境不受影像。

系统提供开放的标准接口，可实现与外围系统的无缝集成应用，灵活扩展系统的业务应用范围。

(3)稳定性、可靠性，系统采用B/S结构应用模式，集中安装部署，所以系统的运行不受任何客户段单点故障的影响。技术框架的支撑，可以实现数据库的持久、稳定连接，确保事务处理的连续和完整，保证业务数据准确完全。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于多平台数据交互式系统，其特征在于，所述系统包括：

数据资源管理平台，包括集成平台和资源管理平台，所述集成平台包括集成任务管理模块和数据源管理模块，所述数据源管理模块用于将抽取的数据以树结构的展现方式进行分类，所述集成任务管理模块用于将分类好的数据从数据源配置到目标源配置，并将配置成目标源配置的数据传送给资源管理平台，所述资源管理平台用于将数据通过列表展示出来，所述列表包括数据资源目录、数据标准管理、资源池管理和数据标准化；

大数据应用支撑平台，包括应用开发模块、应用运行模块和应用管理模块，所述应用开发模块包括数据资源开发模块和服务发布模块，所述数据资源开发模块用于用户进行数据资源的开发，所述服务发布模块用于将数据资源发送给数据源管理模块以及将所述数据资源发布成服务，所述应用运行模块包括服务访问模块，用于实现用户对所述服务的访问，所述应用管理模块包括服务管理模块和授权管理模块，所述服务管理模块用于依据用户的身份信息建立所述身份信息和服务的映射关系，所述映射关系包括用户是否能够访问所述服务以及能够访问所述服务下的哪些数据，所述授权管理模块包括用户访问授权管理模块，用于验证用户的访问权限。

2.根据权利要求1所述的系统，其特征在于，所述集成平台还包括：

集成作业管理模块，用于对集成平台进行定时处理、实时监控、刷新频率、任务执行情况监测以及设定指定时间内所抽取数据总量；

异常管理模块，用于展示在数据抽取过程中出现的异常数据；

基础配置管理模块，用于对系统中的组件进行管理配置。

3.根据权利要求1所述的系统，其特征在于，用户基于J2EE框架进行数据资源的开发。

4.根据权利要求1所述的系统，其特征在于，所述应用运行模块还包括访问日志记录模块，用于记录服务的访问日志。

5.根据权利要求1所述的系统，其特征在于，所述服务发布模块包括：

搭建环境模块，用于搭建shell脚本运行环境，编译项目，运行预先编写的插件，所述插件基于项目管理工具Maven、版本控制工具SVN、JDK和Tomcat编写；

代码检出模块，从SVN获取最新代码；

编译打包模块，使用Maven对获取的所述最新代码进行编译打包，形成打包文件；

发布模块，将所述打包文件发布到Tomcat服务器当中进行发布。

6.根据权利要求1所述的系统，其特征在于，所述授权管理模块还包括用户开发授权管理模块，用于对用户进行数据范围、专题应用数据存储容量和计量资源容量的授权控制。

7.根据权利要求1所述的系统，其特征在于，还包括服务负载查询管理模块，所述服务负载查询管理模块包括：

框架搭建模块，用于搭建spring boot框架，运行spring cloud中的网关组件；

网关，接收用户访问授权管理模块发送的授权情况并根据查询请求选择所要请求的服务节点下负荷较小的节点分发所述查询请求。

8.根据权利要求7所述的系统，其特征在于，所述网关还包括服务状态监测模块，用于查看服务是否正常，若服务下的所有节点均异常，则由断路器返回异常信息。

9.根据权利要求7所述的系统，其特征在于，所述网关依据心跳机制通过注册中心实时检测各个服务节点的负载情况。

10.根据权利要求9所述的系统，其特征在于，所述负载包括请求负载和数据负载中的一种或多种。

Images