CN112035494A - 基于数据链路动态构造的数据交换方法和系统 - Google Patents

Abstract

本发明公开了一种基于数据链路动态构造的数据交换方法和装置，利用数据交换系统实现异构数据系统之间的数据同步。数据交换系统接收到待同步的数据同步请求后，在数据交换系统的元数据中进行查询，如查询到相匹配的元数据，即可根据元数据确定待同步数据的源数据系统的源表或源视图、待同步数据的目标数据系统和目标表，并依据数据系统中的元数据进而自动生成数据链路配置信息，与各数据系统建立连接构造数据交换链路，进行数据交换；元数据中保存有多个数据系统的描述信息，以便于多源数据系统之间进行数据交换。本发明能够针对不同数据源的连接，解决多源异构数据的接入与集成问题；能够动态构造数据链路，解决自动配置数据交换链路问题。

Description

基于数据链路动态构造的数据交换方法和系统

技术领域

本发明涉及数据交换技术领域，尤其涉及一种基于数据链路动态构造的数据交换方法和系统。

背景技术

数据交换技术是一种可以整合信息资源的技术，是解决信息系统间信息数据共享和更新问题的方法。随着各行政机构内部数据不断增多，数据共享与交换的需求不断增加，发展数据共享交换技术就显得十分必要。基于不同的系统，目前的数据交换技术存在多种方式，有基于硬件拷贝的方式，有利用前置机和交换中心在异构网络中进行数据交换的技术，有利用标准JDBC、ODBC接口连接多数据库的方式，也有利用WebService接口连接进行传输的方式。这些方式都可以在特定情形下完成数据交换，但任意的系统间数据采集和整合难度较大，因此，目前的数据交换技术只适用于当前使用的小型系统，难以大量连接，推广使用。主要存在如下问题：

1、缺乏通用的数据交换技术：不同的数据交换系统技术差异较大，仅适用于特定信息系统的数据交换，普适性较差。

2、交换过程配置复杂：交换过程不够直观简捷配置参数较多，缺乏自动分析匹配能力，对技术人员要求较高，难以快速便捷地完成数据交换任务。

发明内容

有鉴于此，本发明提供了一种基于数据链路动态构造的数据交换方法，并基于该方法实现了一种基于数据链路动态构造的数据交换系统，能够针对不同数据源的连接，解决多源异构数据的接入与集成问题；能够动态构造数据链路，解决自动配置数据交换链路问题。

为了解决上述技术问题，本发明是这样实现的：

一种基于数据链路动态构造的数据交换方法，利用数据交换系统实现异构数据系统之间的数据同步；该方法包括：

数据交换系统接收到待同步的数据同步请求后，在数据交换系统的元数据中进行查询，如查询到相匹配的元数据，即可根据元数据确定待同步数据的源数据系统的源表或源视图、待同步数据的目标数据系统和目标表，并依据数据系统中的元数据进而自动生成数据链路配置信息，与各数据系统建立连接构造数据交换链路，进行数据交换；

所述元数据为数据的描述信息，其中包括数据系统的描述信息、数据表与数据视图的描述信息、数据集的描述信息；所属描述信息包括名称、连接属性；元数据中保存有多个数据系统的描述信息，以便于多源数据系统之间进行数据交换；

如果所述同步数据为数据集，即同步数据来自不同数据表或视图中，并组织成为新的虚拟表；则数据交换系统利用数据集的元数据确定待同步数据的源表、源视图以至源数据系统；数据集中的数据可以由多个数据源组成，以满足用户不同的数据同步需求。

优选地，数据交换系统从各数据系统中获取的元数据进一步存储到自身；存储的元数据定期更新或手动更新。

优选地，所述数据系统元数据中的连接配置信息预先存储在数据交换系统，并根据数据系统内部的改变进行重新配置；所述数据交换系统支持多种异构数据系统连接，支持异构数据系统之间的数据同步。

优选地，如果所述同步数据为数据集，则所述数据集的元数据信息包括其结构中的表或视图中的字段来源信息，该元数据信息也即数据集的组织方式。

优选地，在向目标数据系统发送数据之前，进一步通过人机交互界面显示数据交换链路配置信息，当用户确认当前同步操作的情况下，将待同步数据发送给目标数据系统。

优选地，该方法进一步包括对数据交换系统与数据系统之间连接的工作状态进行监控，在数据交换链路成功运行、出现错误等情况发生时，系统中会有数据交换链路运行的提示。

本发明还提供了一种基于数据链路动态构造的数据交换系统，利用数据交换系统实现异构数据系统之间的数据同步，所述数据交换系统包括：元数据管理模块、数据交换模块、数据链路动态配置模块、数据链路监控模块、用户交互模块；

元数据管理模块，包括了数据交换系统中所有的数据描述信息即配置信息；

数据交换模块，用于数据系统的连接和数据的交换；

数据链路配置模块，按照搭建数据链路的方法将数据交换系统中存储的元数据与数据交换请求进行匹配，确定同步数据所在数据系统，反馈给同步数据交换模块；搭建数据链路的方法包括搭建数据抽取链路、搭建消息通道链路、搭建数据服务链路以及数据链路动态构造方式；

数据链路动态构造方式指数据交换系统接收到待同步的数据同步请求后，在数据交换系统的元数据查询，如查询到相匹配的元数据，即可根据元数据确定待同步数据的源数据系统的源表或源视图、待同步数据的目标数据系统和目标表，并依据数据系统中的元数据进而自动生成数据链路配置信息，与各数据系统建立连接构造数据交换链路，进行数据交换；

用户交互模块，用于与外部用户进行信息交互，用户可以使用交互模块发起数据同步请求、管理数据系统元数据，确认数据交换链路信息、监控数据链路交换信息等；

优选地，元数据管理模块分为数据系统管理模块、表管理模块、视图管理模块、数据集管理模块；元数据管理模块中存储的元数据定期更新，或者手动从各数据系统获取元数据；

数据系统管理模块，用于存储数据系统的连接配置信息和描述信息；所存储的连接配置信息可根据数据系统的变化由用户交互模块重新配置；

表管理模块，用于存储数据系统中的数据表的描述信息，以及表中字段的描述信息；所存储的描述信息可根据数据系统的变化由数据交换模块或用户配置模块重新配置；

视图管理模块，视图是存储于数据系统中的虚拟表，视图管理模块用于存储数据系统中的数据视图的描述信息，以及视图中字段的描述信息；所存储的描述信息可根据数据系统的变化由数据交换模块或用户配置模块重新配置；

数据集管理模块，数据集是存储于数据交换系统中的虚拟表，数据集管理模块存储数据集中字段的描述信息，其中包括字段与数据系统、数据表的归属关系；所存储的描述信息可由用户配置模块重新配置。

优选地，数据交换模块包括数据系统连接模块和同步数据交换模块；

数据系统连接模块实现了数据交换系统与数据系统之间的连接，也可以实现数据系统相互之间的连接；数据系统连接功能依靠的是数据系统管理模块中存储的连接配置信息，在数据系统连接后，可以获取多种元数据管理模块中的描述信息；

同步数据交换模块在用户从用户交互模块发出数据交换请求、数据链路动态配置模块配置好数据交换链路信息后，进行同步数据的交换；其根据数据交换链路信息和数据系统的连接配置信息，连接数据系统进行数据交换。

优选地，该数据交换系统进一步包括数据链路监控模块，用于对数据交换系统与数据系统之间连接的工作状态进行监控；该数据链路监控模块包括数据抽取任务监控模块、数据服务监控模块以及系统总体监控模块；

数据抽取任务监控模块获取抽取任务的开始执行时间、结束执行时间、交换的输入输出数据条数、抽取状态、抽取执行的日志，通过用户交互模块进行展示；

数据服务监控模块获取最近调用方、调用IP、最近调用时间、服务调用总数、调用参数、调用详情，形成日志，通过用户交互模块进行展示；

系统总体监控模块获取数据交换的总量、交换配置的总量、交换通道的总量以及交换任务的总量，通过用户交互模块进行展示。

有益效果：

(1)本发明的数据交换系统隔离了用户端与数据源之间的差异性，通过连接配置信息，能够支撑数据链路类型的自动分析，从而完成数据链路的自动构建。

(2)本发明通过元数据的获取的匹配，能够自动为同步数据找到数据源，可以实现业务数据的集成和管理，用户所需的业务数据不限制于从某一个数据源中获取，可以由数据交换系统从多个数据源获取中拼接而成，从而解决多源异构数据的接入与集成问题，同时解决了数据同步的自动化配置问题，以减少数据同步配置的繁琐工作。

(3)通过数据链路监控，可以给出数据链路运行的实时状态，便于使用者实时关注数据链路的运行情况，有助于确保数据交换过程中数据的正确同步。

附图说明

图1为本发明数据交换系统与数据系统和用户端的连接示意图。

图2为本发明数据交换系统的组成框图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于数据链路动态构造的数据交换方案，如图1所示，使用基于数据链路动态构造方法搭建的数据交换系统设置在用户端与由多个数据系统组成的多源异构数据源之间，利用数据交换系统实现多源异构数据系统之间的数据同步。

在现有技术中，数据系统之间的同步多为一对一传输，如果数据同步的源头和数据同步的目标产生变化，现有的数据系统同步方式难以满足这样的需求。本发明提出了一种能够利用连接配置信息，根据需要动态建立不同源和不同目标数据系统之间的连接，将源数据同步到目标数据系统中的方法，从而隔离了数据源之间的差异性，从而解决多源异构数据的接入、集成、同步问题。

在现有技术中，数据系统间同步数据配置较为繁琐，需要数据手动配置数据同步源和目标的连接信息、同步数据表及字段信息等多种配置信息，且通常只能由单个数据系统同步数据到另一个数据系统中。本发明无需繁琐的人工配置，当数据交换系统接收到数据同步请求时，能够通过元数据的获取和匹配，自动确定同步数据的来源，并提取同步数据，无需限定同步数据必须来自同一个数据系统。本发明给出一种数据同步的自动化配置方法，以减少数据同步配置的复杂工作。

具体来说，本发明基于数据链路动态构造的数据交换方法具体包括如下步骤：

步骤一、在数据交换系统中配置元数据。

元数据是数据的描述信息。数据交换系统针对数据进行操作，因此，要配置元数据信息。

元数据信息包括数据系统的元数据、数据系统中表、视图的元数据、按照业务需求组建的数据集的元数据信息。

1.1数据系统可以实现数据的存储、读取、维护，其异构性主要体现在数据系统本身，不同的数据系统允许的外接链路类型不同或者说使其数据传输方式不同。数据系统的元数据包含了数据系统的连接信息，其它元数据需要在连接数据系统之后获取或配置，因此，在配置其它元数据信息之前，应当先配置数据系统管理模块中的连接信息。该连接配置信息也可以根据数据系统的变化进行重新配置。

1.2配置数据表和数据视图的元数据，数据表和数据视图是从数据系统中获取到的数据。其中数据表是数据系统中存储数据的基本结构，包含多个字段。而数据视图是数据系统中存储数据的虚拟表，其包含数据系统中不同表中的字段。数据表和数据视图的元数据包括表和字段的描述信息。数据表和数据视图的元数据信息，可以根据数据系统的变化进行重新配置。

1.3配置数据集的元数据。数据集是从数据系统中不同数据表或视图中选取字段组成的虚拟表，数据交换系统中通过存储数据集的描述信息，在数据同步时可以将数据系统中的数据重组为新的表，进而完成数据交换。

步骤二、在数据交换系统中搭建数据交换链路，完成数据同步。

数据交换链路是数据交换系统建立的从源数据系统流向目标数据系统的数据交换连接。数据交换系统建立数据交换链路的过程无需存储数据，只需对数据进行处理和转发。

数据交换链路主要包含三种，分别是数据抽取链路、消息通道链路、数据服务链路。数据抽取指通过抽取、转换、加载的步骤将数据从源数据系统交换到目标数据系统。消息通道指数据交换系统通过消息中间件接收源数据系统发送的消息以及向目标数据系统发送包含着数据的消息。消息中间件只关注于数据的发送和接收，是一种利用高效可靠的异步消息传递机制进行数据交流的集成分布式子系统。数据服务指数据系统通过WebService发送与接收的方式传输数据。WebService是一种基于HTTP协议的跨编程语言、跨系统平台的网络远程访问调用技术。数据交换的过程中，源数据系统的数据交换链路类型无需与目标数据系统的数据交换链路类型一致。

数据交换链路运行时数据交换系统进行数据交换监控，在数据交换链路成功运行、出现错误等情况发生时，系统中会有数据交换链路运行的提示。

2.1数据抽取链路

数据抽取链路通过配置源数据和目标数据来搭建数据链路，数据源可以使用数据表、数据视图和数据集。数据抽取配置中可以对源数据和目标数据中的字段进行匹配，也可以对传输的数据进行过滤。数据抽取链路配置好后，可以设置交换任务执行数据抽取链路，交换任务可以设置任务时间范围内周期运行或定时单次运行，也可以手动激活执行。

2.2消息通道链路

消息通道链路选择数据表、数据视图或数据集作为传输数据，并需配置消息通道链路的类型，如kafka或rabbitMQ通道。同一消息通道链路可以使用多个表、视图、数据集的数据作为消息通道同步的数据，并可以针对每一张单独的表单独开启或停止传输。消息通道链路配置好后，可以手动开启停止通道，进行数据传输。

2.3数据服务链路

数据服务链路选择数据表、数据视图或数据集作为传输数据，并需配置数据服务链路的服务代码，配置访问权限并将数据服务链路进行发布，其中数据服务链路中服务方法、URL、参数均为系统自动生成。配置完成后外部即可通过数据服务链路传输数据。

2.4数据链路动态构造

构造数据链路时，需要明确待同步数据的源和目标。在数据交换系统中，为了简化用户的操作，数据交换系统在接收到数据同步请求后可以自动生成上文中的数据链路配置，在用户确认配置信息后，可以动态构造数据交换链路，并完成数据交换。

具体来说自动生成数据链路配置的过程：数据交换系统首先接收到待同步的数据同步请求，即目标数据系统中待同步的数据表。根据待同步的数据表元数据，在数据交换系统中存储的元数据中进行查询，如查询到相匹配的元数据，即可自动生成数据链路的配置信息。其中包括待同步数据的源数据系统和源表或视图的元数据，待同步数据的目标数据系统和目标表的元数据，以及其它相关的数据链路的配置信息。需要说明的是，当查询到的相匹配的元数据对应为数据集时，根据数据集的元数据，可以将待同步的数据源归为数据集对应的源表、源视图以至源数据系统。

基于上述方法，本发明还提供了一种基于数据链路动态构造的数据交换系统，该数据交换系统能够实现异构数据系统之间的数据同步。如图2所示，该数据交换系统包括：元数据管理模块、数据交换模块、数据链路动态配置模块、数据链路监控模块、用户交互模块。

元数据管理模块包含了系统中所有的数据描述信息及配置信息。元数据管理模块分为数据系统管理模块、表管理模块、视图管理模块、数据集管理模块。元数据管理模块中存储的元数据定期更新，或者手动从各数据系统获取元数据。

数据系统管理模块，用于存储数据系统的连接配置信息和描述信息。所存储的连接配置信息可根据数据系统的变化由用户交互模块重新配置。

表管理模块，用于存储数据系统中的数据表的描述信息，以及表中字段的描述信息。所存储的描述信息可根据数据系统的变化由数据交换模块或用户配置模块重新配置。

视图管理模块，视图是存储于数据系统中的虚拟表，视图管理模块用于存储数据系统中的数据视图的描述信息，以及视图中字段的描述信息。所存储的描述信息可根据数据系统的变化由数据交换模块或用户配置模块重新配置。

数据集管理模块，数据集是存储于数据交换系统中的虚拟表，数据集管理模块存储数据集中字段的描述信息，其中包括字段与数据系统、数据表的归属关系。所存储的描述信息可由用户配置模块重新配置。

数据交换模块用于数据系统的连接和数据的交换。数据交换模块包括数据系统连接模块和同步数据交换模块。

数据系统连接模块实现了数据交换系统与数据系统之间的连接，也可以实现数据系统相互之间的连接。数据系统连接功能依靠的是数据系统管理模块中存储的连接配置信息，在数据系统连接后，可以获取多种元数据管理模块中的描述信息。

同步数据交换模块在用户从用户交互模块发出数据交换请求、数据链路动态配置模块配置好数据交换链路信息后，进行同步数据的交换。其根据数据交换链路信息和数据系统的连接配置信息，连接数据系统进行数据交换。

数据链路配置模块，按照搭建数据链路的方法将数据交换系统中存储的元数据与数据交换请求进行匹配，确定同步数据所在数据系统，反馈给同步数据交换模块。搭建数据链路的方法包括搭建数据抽取链路、搭建消息通道链路、搭建数据服务链路以及数据链路动态构造方式。

数据链路监控模块，用于对数据交换链路的工作状态进行监控。数据链路监控模块包括数据抽取任务监控模块、数据服务监控模块以及系统总体监控模块。

数据抽取任务监控模块获取抽取任务的开始执行时间、结束执行时间、交换的输入输出数据条数、抽取状态、抽取执行的日志，通过用户交互模块进行展示；

数据服务监控模块获取最近调用方、调用IP、最近调用时间、服务调用总数、调用参数、调用详情，形成日志，通过用户交互模块进行展示；

系统总体监控模块获取数据交换的总量、交换配置的总量、交换通道的总量以及交换任务的总量，通过用户交互模块进行展示。

用户交互模块，用于与外部用户进行信息交互，用户可以使用交互模块发起数据同步请求、管理数据系统元数据，确认数据交换链路信息、监控数据链路交换信息等。综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于数据链路动态构造的数据交换方法，其特征在于，利用数据交换系统实现异构数据系统之间的数据同步；该方法包括：

数据交换系统接收到待同步的数据同步请求后，在数据交换系统的元数据中进行查询，如查询到相匹配的元数据，即可根据元数据确定待同步数据的源数据系统的源表或源视图、待同步数据的目标数据系统和目标表，并依据数据系统中的元数据进而自动生成数据链路配置信息，与各数据系统建立连接构造数据交换链路，进行数据交换；

所述元数据为数据的描述信息，其中包括数据系统的描述信息、数据表与数据视图的描述信息、数据集的描述信息；所属描述信息包括名称、连接属性；元数据中保存有多个数据系统的描述信息，以便于多源数据系统之间进行数据交换；

如果所述同步数据为数据集，即同步数据来自不同数据表或视图中，并组织成为新的虚拟表；则数据交换系统利用数据集的元数据确定待同步数据的源表、源视图以至源数据系统；数据集中的数据可以由多个数据源组成，以满足用户不同的数据同步需求。

2.如权利要求1所述的数据交换方法，其特征在于，数据交换系统从各数据系统中获取的元数据进一步存储到自身；存储的元数据定期更新或手动更新。

3.如权利要求1所述的数据交换方法，其特征在于，所述数据系统元数据中的连接配置信息预先存储在数据交换系统，并根据数据系统内部的改变进行重新配置；所述数据交换系统支持多种异构数据系统连接，支持异构数据系统之间的数据同步。

4.如权利要求1所述的数据交换方法，其特征在于，如果所述同步数据为数据集，则所述数据集的元数据信息包括其结构中的表或视图中的字段来源信息，该元数据信息也即数据集的组织方式。

5.如权利要求1所述的数据交换方法，其特征在于，在向目标数据系统发送数据之前，进一步通过人机交互界面显示数据交换链路配置信息，当用户确认当前同步操作的情况下，将待同步数据发送给目标数据系统。

6.如权利要求1所述的数据交换方法，其特征在于，该方法进一步包括对数据交换系统与数据系统之间连接的工作状态进行监控，在数据交换链路成功运行、出现错误等情况发生时，系统中会有数据交换链路运行的提示。

7.一种基于数据链路动态构造的数据交换系统，其特征在于，利用数据交换系统实现异构数据系统之间的数据同步，所述数据交换系统包括：元数据管理模块、数据交换模块、数据链路动态配置模块、数据链路监控模块、用户交互模块；

元数据管理模块，包括了数据交换系统中所有的数据描述信息即配置信息；

数据交换模块，用于数据系统的连接和数据的交换；

数据链路配置模块，按照搭建数据链路的方法将数据交换系统中存储的元数据与数据交换请求进行匹配，确定同步数据所在数据系统，反馈给同步数据交换模块；搭建数据链路的方法包括搭建数据抽取链路、搭建消息通道链路、搭建数据服务链路以及数据链路动态构造方式；

数据链路动态构造方式指数据交换系统接收到待同步的数据同步请求后，在数据交换系统的元数据查询，如查询到相匹配的元数据，即可根据元数据确定待同步数据的源数据系统的源表或源视图、待同步数据的目标数据系统和目标表，并依据数据系统中的元数据进而自动生成数据链路配置信息，与各数据系统建立连接构造数据交换链路，进行数据交换；

用户交互模块，用于与外部用户进行信息交互，用户可以使用交互模块发起数据同步请求、管理数据系统元数据，确认数据交换链路信息、监控数据链路交换信息等；

8.如权利要求7所述的数据交换系统，其特征在于，元数据管理模块分为数据系统管理模块、表管理模块、视图管理模块、数据集管理模块；元数据管理模块中存储的元数据定期更新，或者手动从各数据系统获取元数据；

数据系统管理模块，用于存储数据系统的连接配置信息和描述信息；所存储的连接配置信息可根据数据系统的变化由用户交互模块重新配置；

表管理模块，用于存储数据系统中的数据表的描述信息，以及表中字段的描述信息；所存储的描述信息可根据数据系统的变化由数据交换模块或用户配置模块重新配置；

视图管理模块，视图是存储于数据系统中的虚拟表，视图管理模块用于存储数据系统中的数据视图的描述信息，以及视图中字段的描述信息；所存储的描述信息可根据数据系统的变化由数据交换模块或用户配置模块重新配置；

数据集管理模块，数据集是存储于数据交换系统中的虚拟表，数据集管理模块存储数据集中字段的描述信息，其中包括字段与数据系统、数据表的归属关系；所存储的描述信息可由用户配置模块重新配置。

9.如权利要求7所述的数据交换系统，其特征在于，数据交换模块包括数据系统连接模块和同步数据交换模块；

数据系统连接模块实现了数据交换系统与数据系统之间的连接，也可以实现数据系统相互之间的连接；数据系统连接功能依靠的是数据系统管理模块中存储的连接配置信息，在数据系统连接后，可以获取多种元数据管理模块中的描述信息；

同步数据交换模块在用户从用户交互模块发出数据交换请求、数据链路动态配置模块配置好数据交换链路信息后，进行同步数据的交换；其根据数据交换链路信息和数据系统的连接配置信息，连接数据系统进行数据交换。

10.如权利要求7所述的数据交换系统，其特征在于，该数据交换系统进一步包括数据链路监控模块，用于对数据交换系统与数据系统之间连接的工作状态进行监控；该数据链路监控模块包括数据抽取任务监控模块、数据服务监控模块以及系统总体监控模块；

数据抽取任务监控模块获取抽取任务的开始执行时间、结束执行时间、交换的输入输出数据条数、抽取状态、抽取执行的日志，通过用户交互模块进行展示；

数据服务监控模块获取最近调用方、调用IP、最近调用时间、服务调用总数、调用参数、调用详情，形成日志，通过用户交互模块进行展示；

系统总体监控模块获取数据交换的总量、交换配置的总量、交换通道的总量以及交换任务的总量，通过用户交互模块进行展示。

Images