CN110909059A

CN110909059A - 一种数据集成系统、方法、设备及存储介质

Info

Publication number: CN110909059A
Application number: CN201911166447.5A
Authority: CN
Inventors: 汤家兴; 胡昌明; 冯志豪; 王珏; 潘红平
Original assignee: Hangzhou Transinfo Tech Co Ltd
Current assignee: Hangzhou Transinfo Tech Co Ltd
Priority date: 2019-11-25
Filing date: 2019-11-25
Publication date: 2020-03-24

Abstract

本申请公开了一种数据集成系统、方法、设备及存储介质，该系统包括：多个数据源系统；数据接入系统，与多个数据源系统连接，用于从数据源系统中查询所需数据，对数据进行格式转换并上报至目标系统进行处理；目标系统，与数据接入系统连接，用于对数据接入系统上报的数据进行重建关联和统一保存，并提供查询接口以支持客户端访问。应用本申请提供的上述数据集成系统能够降低部署和配置的复杂度，提升系统的稳定性和数据集成率。

Description

一种数据集成系统、方法、设备及存储介质

技术领域

本发明涉及数据集成领域，特别是涉及一种数据集成系统、方法、设备及存储介质。

背景技术

为了满足部队的信息化战略需求，对部队中已部署的设备与系统所产生的巨量数据进行有效的整合、分析、呈现已成为今后部队信息化发展的方向。而当前部队的数据基层系统需要考虑以下限制：1、地理跨度范围大，不同基层部队之间网络通信受到影响；2、信息系统多样化，针对不同业务，一般会有多个厂家提供不同解决方案。

目前，传统的数据集成技术一般采用Web service、FTP(File TransferProtocol，文件传输协议)文件、消息队列(MQ，Message queen)等实施方式，主要采用一种集成方式设计一套技术，一类数据设计一种处理方法的方式进行集成。同时，传统的数据集成方案一般针对企业内部信息系统设计，一般只需要考虑简单几个系统数据的整合，内部网络环境好，带宽可以支撑集团单一数据中心的方式。所以，传统的数据集成方案无法做到数据中心的小型化、基层化、配置简单化。

因此，如何设计一种新的数据集成方案来降低部署和配置的复杂度，是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种数据集成系统、方法、设备及存储介质，能够降低部署和配置的复杂度，提升系统的稳定性和数据集成率。

其具体方案如下：

一种数据集成系统，包括：

多个数据源系统；

数据接入系统，与多个所述数据源系统连接，用于从所述数据源系统中查询所需数据，对数据进行格式转换并上报至目标系统进行处理；

所述目标系统，与所述数据接入系统连接，用于对所述数据接入系统上报的数据进行重建关联和统一保存，并提供查询接口以支持客户端访问。

优选地，在本发明实施例提供的上述数据集成系统中，所述数据接入系统包括：

数据源系统管理模块，用于管理和配置所述数据源系统；

数据查询模块，用于从所述数据源系统中查询所需数据；

任务调度模块，用于控制所述数据查询模块定时查询所述数据源系统中的基础数据，以及在接收到业务数据更新通知后控制所述数据查询模块查询所述数据源系统中的新增业务数据；

数据转换模块，用于将所述数据查询模块查询到的数据格式转换为所述目标系统支持的中间数据格式；

数据上报模块，用于将转换后的所述中间数据上报至所述目标系统；

进度管理模块，用于管理数据的上报进度。

优选地，在本发明实施例提供的上述数据集成系统中，所述目标系统包括：

数据处理服务，用于接收所述数据接入系统上报的数据，将其进行转换、验证和关联处理并发送至数据存储服务；

所述数据存储服务，用于保存结构性数据和非结构的多媒体数据；

数据查询服务，用于提供查询接口以支持客户端访问。

优选地，在本发明实施例提供的上述数据集成系统中，所述数据处理服务包括：

数据转换模块，用于将接收到的所述中间数据转换为目标数据；

消息队列模块，使用持久化消息队列，用于暂存上报的所述目标数据；

数据验证模块，用于验证所述目标数据是否符合要求，若无法满足则丢弃；

数据关联模块，用于根据配置将数据之间进行关联，若数据还未传输完成则将当前数据加入所述持久化消息队列延迟重试，若数据全部传输完成时则进行关联并发送至所述数据存储服务。

优选地，在本发明实施例提供的上述数据集成系统中，所述数据存储服务包括：

结构化数据存储模块，用于将结构化的数据存储到关系数据库中；

多媒体数据存储模块，用于将非结构的多媒体数据保存到相关服务器上，并与记录进行绑定。

本发明实施例还提供了一种数据集成方法，包括：

数据接入系统从多个数据源系统中查询所需数据，对数据进行格式转换并上报至目标系统进行处理；

所述目标系统对所述数据接入系统上报的数据进行重建关联和统一保存，并提供查询接口以支持客户端访问。

优选地，在本发明实施例提供的上述数据集成方法中，数据接入系统从多个数据源系统中查询所需数据，对数据进行格式转换并上报至目标系统进行处理，具体包括：

任务调度模块控制所述数据查询模块定时查询所述数据源系统中的基础数据；

任务调度模块在接收到业务数据更新通知后控制所述数据查询模块查询所述数据源系统中的新增业务数据；

数据转换模块将所述数据查询模块查询到的数据格式转换为所述目标系统支持的中间数据格式；

数据上报模块将转换后的所述中间数据上报至所述目标系统；

进度管理模块管理数据的上报进度。

优选地，在本发明实施例提供的上述数据集成方法中，所述目标系统对所述数据接入系统上报的数据进行重建关联和统一保存，并提供查询接口以支持客户端访问，具体包括：

数据处理服务接收所述数据接入系统上报的数据，将其进行转换、验证和关联处理并发送至数据存储服务；

所述数据存储服务将结构性数据和非结构的多媒体数据进行保存；

数据查询服务提供查询接口以支持客户端访问。

优选地，在本发明实施例提供的上述数据集成方法中，数据处理服务接收所述数据接入系统上报的数据，将其进行转换、验证和关联处理并发送至数据存储服务，具体包括：

数据转换模块将接收到的所述中间数据转换为目标数据；

消息队列模块使用持久化消息队列暂存上报的所述目标数据；

数据验证模块验证所述目标数据是否符合要求，若无法满足则丢弃；

数据关联模块根据配置将数据之间进行关联，若数据还未传输完成则将当前数据加入所述持久化消息队列延迟重试，若数据全部传输完成时则进行关联并发送至所述数据存储服务。

优选地，在本发明实施例提供的上述数据集成方法中，所述数据存储服务将结构性数据和非结构的多媒体数据进行保存，具体包括：

结构化数据存储模块将结构化的数据存储到关系数据库中；

多媒体数据存储模块将非结构的多媒体数据保存到相关服务器上，并与记录进行绑定。

本发明实施例还提供了一种数据查询设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述数据集成方法。

本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述数据集成方法。

从上述技术方案可以看出，本发明所提供的一种数据集成系统、方法、设备及存储介质，包括：多个数据源系统；数据接入系统，与多个数据源系统连接，用于从数据源系统中查询所需数据，对数据进行格式转换并上报至目标系统进行处理；目标系统，与数据接入系统连接，用于对数据接入系统上报的数据进行重建关联和统一保存，并提供查询接口以支持客户端访问。

本发明提供的上述数据集成系统通过多个数据源系统、数据接入系统和目标系统的相互作用来实现数据集成，能够降低部署和配置的复杂度，提升系统的稳定性和数据集成率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的数据集成系统的结构示意图；

图2为本发明实施例提供的数据集成系统的具体结构示意图；

图3为本发明实施例提供的数据集成方法的流程图；

图4为本发明实施例提供的数据集成方法中步骤S301的具体流程图；

图5为本发明实施例提供的数据集成方法中步骤S302的具体流程图；

图6为本发明实施例提供的数据集成方法中步骤S501的具体流程图；

图7为本发明实施例提供的数据集成方法中步骤S502的具体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种数据集成系统，如图1所示，包括：

多个数据源系统1；

数据接入系统2，与多个数据源系统1连接，用于从数据源系统中查询所需数据，对数据进行格式转换并上报至目标系统进行处理；

目标系统3，与数据接入系统2连接，用于对数据接入系统上报的数据进行重建关联和统一保存，并提供查询接口以支持客户端访问。

需要说明的是，不同类型的数据源系统1均提供数据查询和消息订阅接口，数据接入系统2通过该接口访问原始业务数据。

在本发明实施例提供的上述数据集成系统中，通过多个数据源系统、数据接入系统和目标系统的相互作用来实现数据集成，能够降低部署和配置的复杂度，提升系统的稳定性和数据集成率。

进一步地，在具体实施时，在本发明实施例提供的上述数据集成系统中，如图2所示，数据接入系统2包括：

数据源系统管理模块21，用于管理和配置数据源系统；在实际应用中，数据源系统管理模块21可以对数据源的名称、所属部门、类型及连接方式等进行配置，并将数据保存在数据库或者配置文件中；

数据查询模块22，用于从数据源系统1中查询所需数据；具体地，数据查询模块22根据从数据源系统管理模块21获取的数据源信息选择合适的连接协议，并通过指定的连接方式连接到数据源系统1，可获取各类业务数据；在实际应用中，数据查询模块22能够通过订阅或者定时查询(周期性查询)的方式及时获取到新增记录，用于后续处理；

任务调度模块23，用于控制数据查询模块22定时查询数据源系统1中的基础数据，以及在接收到业务数据更新通知后控制数据查询模块22查询数据源系统中的新增业务数据；在实际应用中，基础数据(如人员信息、设备信息等)会在数据接入系统2分别与目标系统3和数据源系统1建立连接成功后上报，之后定时上报或者在信息变更后上报；业务数据会在接收到更新通知后查询补全完整信息，再上报给目标系统3；

数据转换模块24，用于将数据查询模块22查询到的数据格式转换为目标系统支持的中间数据格式；

数据上报模块25，用于将转换后的中间数据上报至目标系统；在实际应用中，目标系统3提供WebAPI接口，接收JSON格式的数据，多媒体信息则通过直接上报网络路径或者经过BASE64编码后作为字符串进行传输；

进度管理模块26，用于管理数据的上报进度，保证数据不会出现上报不全或者重复上报的情况。作为优选，目标系统3处理失败时还应具备延时重复上报功能。

进一步地，在具体实施时，在本发明实施例提供的上述数据集成系统中，如图2所示，目标系统3包括：

数据处理服务31，用于接收数据接入系统上报的数据，将其进行转换、验证和关联处理并发送至数据存储服务；

数据存储服务32，用于保存结构性数据和非结构的多媒体数据；

数据查询服务33，用于提供查询接口以支持客户端访问。

在具体实施时，在本发明实施例提供的上述数据集成系统中，如图2所示，数据处理服务31包括：

数据转换模块311，用于将接收到的中间数据转换为目标数据；

消息队列模块312，使用持久化消息队列，用于暂存上报的目标数据；这样可以减轻系统压力；

数据验证模块313，用于验证目标数据是否符合要求，若无法满足则丢弃；

数据关联模块314，用于根据配置将数据之间进行关联，若数据还未传输完成则将当前数据加入持久化消息队列延迟重试，若数据全部传输完成时则进行关联并发送至数据存储服务。

在具体实施时，在本发明实施例提供的上述数据集成系统中，如图2所示，数据存储服务32包括：

结构化数据存储模块321，用于将结构化的数据存储到关系数据库中；

多媒体数据存储模块322，用于将非结构的多媒体数据保存到相关服务器上，并与记录进行绑定。

基于同一发明构思，本发明实施例还提供了一种数据集成方法，由于该方法解决问题的原理与前述一种数据集成系统相似，因此该方法的实施可以参见数据集成系统的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的数据集成系统的数据集成方法，如图3所示，具体包括以下步骤：

S301、数据接入系统从多个数据源系统中查询所需数据，对数据进行格式转换并上报至目标系统进行处理；

S302、目标系统对数据接入系统上报的数据进行重建关联和统一保存，并提供查询接口以支持客户端访问。

在本发明实施例提供的上述数据查询装置中，通过上述步骤可以降低部署和配置的复杂度，提升系统的稳定性和数据集成率。

需要注意的是，在执行步骤S301之前，需要定义数据属性，规范所需的数据类型，定义基础数据与基础数据之间的关联关系(数据依赖)，定义基础数据与业务数据的关联关系(数据依赖)，以及定义数据传输模型和接口，规范接收数据格式和接收接口。

进一步地，在具体实施时，在本发明实施例提供的上述数据集成方法中，如图4所示，步骤S301数据接入系统从多个数据源系统中查询所需数据，对数据进行格式转换并上报至目标系统进行处理，具体可以包括以下步骤：

S401、任务调度模块控制数据查询模块定时查询数据源系统中的基础数据；

S402、任务调度模块在接收到业务数据更新通知后控制数据查询模块查询数据源系统中的新增业务数据；

S403、数据转换模块将数据查询模块查询到的数据格式转换为目标系统支持的中间数据格式；

S404、数据上报模块将转换后的中间数据上报至目标系统；

S405、进度管理模块管理数据的上报进度；具体地，上报成功后更新上报进度，失败时延迟重试。

需要说明的是，在执行步骤S401之前，需要通过数据源系统管理模块配置数据源系统的信息，保存数据源系统连接属性、类型和数据传输精度；定义数据源系统查询方法，可以通过API调用数据源系统数据查询接口，返回数据；定义目标系统上报方法，可以通过API调用目标系统上报接口，将各类中间数据传输至目标系统。

进一步地，在具体实施时，在本发明实施例提供的上述数据集成方法中，如图5所示，步骤S302目标系统对数据接入系统上报的数据进行重建关联和统一保存，并提供查询接口以支持客户端访问，具体可以包括以下步骤：

S501、数据处理服务接收数据接入系统上报的数据，将其进行转换、验证和关联处理并发送至数据存储服务；

S502、数据存储服务将结构性数据和非结构的多媒体数据进行保存；

S503、数据查询服务提供查询接口以支持客户端访问。

进一步地，在具体实施时，在本发明实施例提供的上述数据集成方法中，如图6所示，步骤S501数据处理服务接收数据接入系统上报的数据，将其进行转换、验证和关联处理并发送至数据存储服务，具体可以包括以下步骤：

S601、数据转换模块将接收到的中间数据转换为目标数据；

S602、消息队列模块使用持久化消息队列暂存上报的目标数据；

S603、数据验证模块验证目标数据是否符合要求，若无法满足则丢弃；

S604、数据关联模块根据配置将数据之间进行关联，若数据还未传输完成则将当前数据加入持久化消息队列延迟重试，若数据全部传输完成时则进行关联并发送至数据存储服务。

进一步地，在具体实施时，在本发明实施例提供的上述数据集成方法中，如图7所示，步骤S502数据存储服务将结构性数据和非结构的多媒体数据进行保存，具体可以包括以下步骤：

S701、结构化数据存储模块将结构化的数据存储到关系数据库中；

S702、多媒体数据存储模块将非结构的多媒体数据保存到相关服务器上，并与记录进行绑定。

相应的，本发明实施例还公开了一种数据查询设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的数据集成系统。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的数据集成系统。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本发明实施例提供的一种数据集成系统、方法、设备及存储介质，包括：多个数据源系统；数据接入系统，与多个数据源系统连接，用于从数据源系统中查询所需数据，对数据进行格式转换并上报至目标系统进行处理；目标系统，与数据接入系统连接，用于对数据接入系统上报的数据进行重建关联和统一保存，并提供查询接口以支持客户端访问。这样通过多个数据源系统、数据接入系统和目标系统的相互作用来实现数据集成，能够降低部署和配置的复杂度，提升系统的稳定性和数据集成率。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的数据集成系统、方法、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种数据集成系统，其特征在于，包括：

多个数据源系统；

2.根据权利要求1所述的数据集成系统，其特征在于，所述数据接入系统包括：

数据源系统管理模块，用于管理和配置所述数据源系统；

数据查询模块，用于从所述数据源系统中查询所需数据；

进度管理模块，用于管理数据的上报进度。

3.根据权利要求2所述的数据集成系统，其特征在于，所述目标系统包括：

数据查询服务，用于提供查询接口以支持客户端访问。

4.根据权利要求3所述的数据集成系统，其特征在于，所述数据处理服务包括：

5.根据权利要求4所述的数据集成系统，其特征在于，所述数据存储服务包括：

6.一种数据集成方法，其特征在于，包括：

7.根据权利要求6所述的数据集成方法，其特征在于，数据接入系统从多个数据源系统中查询所需数据，对数据进行格式转换并上报至目标系统进行处理，具体包括：

进度管理模块管理数据的上报进度。

8.根据权利要求7所述的数据集成方法，其特征在于，所述目标系统对所述数据接入系统上报的数据进行重建关联和统一保存，并提供查询接口以支持客户端访问，具体包括：

数据查询服务提供查询接口以支持客户端访问。

9.根据权利要求8所述的数据集成方法，其特征在于，数据处理服务接收所述数据接入系统上报的数据，将其进行转换、验证和关联处理并发送至数据存储服务，具体包括：

数据转换模块将接收到的所述中间数据转换为目标数据；

10.根据权利要求9所述的数据集成方法，其特征在于，所述数据存储服务将结构性数据和非结构的多媒体数据进行保存，具体包括：

结构化数据存储模块将结构化的数据存储到关系数据库中；

11.一种数据查询设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求6至10任一项所述的数据集成方法。

12.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求6至10任一项所述的数据集成方法。