CN116414896A - 基于元数据驱动的集成平台 - Google Patents

Abstract

本发明公开了基于元数据驱动的集成平台,该平台包括总体架构模块、逻辑结构模块、执行流程模块；总体架构模块，用于数据集成为企业使用人员提供相应的集成操作，包括数据可视化配置、流程可视化配置，通用能力以及基础能力；逻辑结构模块包括平台接入层组件、平台业务层组件、平台适配层组件、平台执行层组件、平台协议层组件、平台管理系统组件，该发明提供业务标准的含义和规则，统一数据集成的标准模型，减少面向不同企业数据集成的成本，同时提供一种用以实现这套数据获取引擎流程的元数据，适配流程场景开启不同的任务处理流程，减少面向不同数据集成场景时的数据集成工作量。

Description

基于元数据驱动的集成平台

技术领域

本发明涉及元数据、数据库、数据集成、计算机系统等领域，特别是一种基于元数据驱动的集成平台。

背景技术

随着互联网的发展，企业每年收集和使用的数据成倍增长，企业大数据环境中的数据形态多种多样，标准不统一，在这些类型不同的数据之间要进行采集、传播和共享就成了难事，这就要求企业对这些数据进行统一标准的管控。

在数据集成领域，不少企业、组织进行了大量有益的探索，如：从早期的Informatica、IBM提供的企业级的数据集成能力；到流、批一体的Spark、Flink等，再到最近的数据中台的探索，都为DT世界提供了一定的动力，但他们仍然没有改变数据集成工作的工作量占整个数据管理工作量70％的现实，甚至其中的有些新的探索，将数据集成工作技术化，使业务驱动的数据管理渐行渐远、使业务人员更加远离数据价值探索的过程。当前数据集成方案有三种典型的集成方式：ETL数据共享、数据库共享、API共享。存在的问题主要表现在：

1.企业信息碎片化，难以集成和管理。企业数据通常呈现碎片化分布，一共有多少系统，各系统之间有哪些关联，对应的关联表又有哪些，企业一时很难厘清的。进而企业的数据信息、服务信息与业务信息不能完成自动化采集，企业信息资产的集中管理，以及数据的交互和共享比较困难。

2.响应业务数据问题慢。在企业中，往往会遇到业务人员发现分析报表中有问题，要求IT部门进行修改，但由于数据加工链路长，修改将涉及到多个部门，甚至整个公司，很难精准定位到问题数据的相关表和字段。

3.数据集成成本高。数据模型变更时，数据错乱；结构化、半结构化，非结构化的数据源，数据集成工作量大。

发明内容

为了克服现有技术存在的缺点与不足,本发明解决的技术问题是企业数据集成平台与企业业务运作分离的问题，引入元数据驱动的企业数据集成，将企业产生的业务元数据，通过分类分层的业务解析模型，自动生成与业务模型相适配的企业数据模型，再由数据模型拆分到企业数据集成平台的各业务标准模型，实现企业数据集成平台对企业业务的智能适配，提高企业数据集成质量，降低集成成本。本发明提供基于元数据驱动的集成平台。

本发明所采用的技术方案是，基于元数据驱动的集成平台，该平台包括：总体架构模块、逻辑结构模块、执行流程模块；

所述总体架构模块，用于数据集成为企业使用人员提供相应的集成操作，包括数据可视化配置、流程可视化配置，通用能力以及基础能力；

所述逻辑结构模块包括平台接入层组件、平台业务层组件、平台适配层组件、平台执行层组件、平台协议层组件、平台管理系统组件；

进一步地，所述数据可视化配置，用于产生业务元数据，其中业务元数据包括采集数据源的元数据和目标数据源的元数据，以及它们之间的转换映射关系。

进一步地，所述流程可视化配置，用于产生流程元数据，其中流程元数据包括适用所有作业任务细节的可配置数据集。

进一步地，所述通用能力，用于抽象集成的通用能力，复用适配不同的集成场景，包括扩展点、适配器、协议转换器、字段映射器。

进一步地，所述基础能力，用于支撑数据集成的流程触发和异常处理，包括权限、日志、调度、限流、重试策略。

进一步地，所述平台接入层组件，是服务调用入口，需要将调用逻辑按服务化封装，做好路由适配，并完成一些安全调用，以及权限控制。

进一步地，所述平台业务层组件，是集成平台核心功能的实现，主要包括调用数据交换、服务调用、作业流引用、元数据引用。

进一步地，所述平台适配层组件，是集成平台重要的实现部分，主要包括接收数据转换用的适配器、发送数据的适配器、用于数据处理的转换器。通过业务元数据实现适配不同系统的数据格式、数据内容，并统一输出系统内的数据标准；通过流程元数据实现数据解析、结构转换、字段映射、规则执行功能；

进一步地，所述平台执行层组件，执行层是数据拉取或推送的发起处，包含实时的同步调用，也存在并行的异步调用，或者定时的任务调用。执行层管理所有的调用执行逻辑，同时支持触发器逻辑，支持外部通过触发器触发执行。

进一步地，所述平台协议层组件，集成平台兼容和适配不同系统的不同接口协议，支持RESTful、DB、MQ协议，以及JSON和XML的数据格式。

进一步地，所述管理系统组件，能够对集成平台中的各个环节进行灵活的配置。

进一步地，所述数据集成是将数据从一方同步到另一方，这里的两方是内部系统与外部系统，或是两个内部系统之间，甚至是两个外部系统之间。

进一步地，所述数据交换，适配数据源方与目标方的多种数据协议，源与目标的协议也可以任务组合，即可以将源数据库同步到目标数据库，以可以将源API接口同步到目标数据库，也可以将源API接口同步到目标API接口，数据交换过程是以数据链路为基础、作业任务调度为方式实现的，每一个数据交换就是一个任务，由分布式任务组件定时进行调度触发执行，执行的过程是根据数据链路的配置进行的。

进一步地，所述数据链路执行包括：

1)读取适配器，用于抽象出读取适配器接口，通过协议元数据路由到对应的读取适配器，实现内容读取；

2)数据通道，用于数据读取后将被送到数据通道，数据通道分为两类：一类是异步通道，通常应对大数据量、大并发量的数据交换场景。另一类是同步通道，用于读取快存储快的小数据量场景；

3)数据转换，用于写入之前需要进行数据转换，包括数据格式转换、数据映射、数据处理，这个过程由数据转换器配合流程元数据来实现；数据转换器在写入端是插件方式的，根据实际场景需要，可以灵活扩展；可以支持的数据转换方式包括：字段映射转换或者基于规则引擎的复杂数据转换处理；

4)数据写入端，用于数据写入端与数据读取端是分离的，这样有助于各自水平扩展，读取端不够扩充读取节点，写入端不够了扩充写入节点；写入端同读取端一样，也有各类协议的写入适配器。

有益效果：

1)基于元数据驱动的数据集成系统，通过企业业务元数据，建立数据流动的全景视图，从根源上解决企业数据信息碎片化，有利于企业集中管理数据资产，更好的完成数据交换和共享；

2)基于元数据驱动的数据集成系统，通过解析、转换、映射等元数据，产生一套大范围的配置，这些值满足所有数据交换步骤的需求，完成自动化数据集成；

3)基于元数据驱动的数据集成，通过业务标准元数据，提供业务标准的含义和规则，统一数据集成的标准模型，减少面向不同企业数据集成的成本；

4)基于元数据驱动的数据集成，通过流程元数据，提供一种用以实现这套数据获取引擎流程的元数据，适配流程场景开启不同的任务处理流程，减少面向不同数据集成场景时的数据集成工作量。

附图说明

图1为本发明的总体架构图；

图2为本发明的逻辑结构图；

图3为本发明的采集流程图；

图4为本发明的推送流程图。

具体实施方式

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和有具体实施例对本申请作进一步详细说明。

基于元数据驱动的集成平台，该平台包括：总体架构模块、逻辑结构模块、执行流程模块；

如图1所示,总体架构模块，用于数据集成为企业使用人员提供相应的集成操作，包括数据可视化配置、流程可视化配置，通用能力以及基础能力；

逻辑结构模块包括平台接入层组件、平台业务层组件、平台适配层组件、平台执行层组件、平台协议层组件、平台管理系统组件；

数据集成为企业使用人员提供相应的集成操作，功能包括数据可视化配置、流程可视化配置，以及查看任务运行数据。

数据可视化配置，产生业务元数据，其中业务元数据包括采集数据源的元数据和目标数据源的元数据，以及它们之间的转换映射关系。

流程可视化配置，产生流程元数据，其中流程元数据包括适用所有作业任务细节的可配置数据集。

通用能力，抽象集成的通用能力，复用适配不同的集成场景，包括扩展点、适配器、协议转换器、字段映射器等。

基础能力，支撑数据集成的流程触发和异常处理，包括权限、日志、调度、限流、重试策略等。

如图2所示,从层次上，数据集成平台大致分为五层，由上至下分别为：平台接入层组件、平台业务层组件、平台适配层组件、平台执行层组价、平台协议层组件。同时，对于集成平台还应有一套管理功能，对整个平台运行进行管控，具体说明如下：

1)平台接入层组件，是服务调用入口，需要将调用逻辑按服务化封装，做好路由适配，并完成一些安全调用，以及权限控制。

2)平台业务层组件，是集成平台核心功能的实现，主要包括调用数据交换、服务调用、作业流引用、元数据引用。

3)平台适配层组价，是集成平台重要的实现部分，主要包括接收数据转换用的适配器、发送数据的适配器、用于数据处理的转换器。通过业务元数据实现适配不同系统的数据格式、数据内容，并统一输出系统内的数据标准；通过流程元数据实现数据解析、结构转换、字段映射、规则执行等功能；

4)平台执行层组件，执行层是数据拉取或推送的发起处，包含实时的同步调用，也存在并行的异步调用，或者定时的任务调用。执行层管理所有的调用执行逻辑，同时支持触发器逻辑，支持外部通过触发器触发执行。

5)平台协议层组件，集成平台兼容和适配不同系统的不同接口协议，通常来说应支持RESTful、DB、MQ等常见协议，以及JSON和XML的数据格式。

6)平台管理系统组件，能够对集成平台中的各个环节进行灵活的配置。

数据集成的核心目的是将数据从一方同步到另一方，这里的两方可以是内部系统与外部系统，也可以是两个内部系统之间，甚至是两个外部系统之间。

数据交换适配数据源方与目标方的多种数据协议，源与目标的协议也可以任务组合，即可以将源数据库同步到目标数据库，以可以将源API接口同步到目标数据库，也可以将源API接口同步到目标API接口。

数据交换过程是以数据链路为基础、作业任务调度为方式实现的，每一个数据交换就是一个任务，由分布式任务组件定时进行调度触发执行。执行的过程是根据数据链路的配置进行的。

数据链路执行主要为三块组成：

1)读取适配器，抽象出读取适配器接口，通过协议元数据路由到对应的读取适配器，实现内容读取。

2)数据通道，数据读取后将被送到数据通道，数据通道分为两类：一类是异步通道，通常应对大数据量、大并发量的数据交换场景。另一类是同步通道，用于读取快存储快的小数据量场景。

3)数据转换，写入之前需要进行数据转换，包括数据格式转换、数据映射、数据处理等，这个过程由数据转换器配合流程元数据来实现。数据转换器在写入端是插件方式的，根据实际场景需要，可以灵活扩展。可以支持的数据转换方式包括：字段映射转换或者基于规则引擎的复杂数据转换处理。

4)数据写入端，数据写入端与数据读取端是分离的，这样有助于各自水平扩展，读取端不够扩充读取节点，写入端不够了扩充写入节点。写入端同读取端一样，也有各类协议的写入适配器。

如图3所示,采集流程包括：选择数据源类型、配置数据源、测试数据源、选择数据源、参数配置、解析原数据配置、选择目标数据源、映射元数据配置、流程元数据配置、生成作业任务、调度频次、任务测试、保存任务、开启任务、任务检测、任务报警、任务恢复、人工执行。

如图4所示,推送流程包括：选择事件类型、配置事件、测试事件、选择事件、参数配置、解析元数据配置、选择接收源、映射元数据配置、流程元数据配置、生成作业任务、调度频次、任务测试、保存任务、开启任务、任务检测、任务报警、任务恢复、人工执行。

基于元数据驱动的数据集成系统，通过企业业务元数据，建立数据流动的全景视图，从根源上解决企业数据信息碎片化，有利于企业集中管理数据资产，更好的完成数据交换和共享；

基于元数据驱动的数据集成系统，通过解析、转换、映射等元数据，产生一套大范围的配置，这些值满足所有数据交换步骤的需求，完成自动化数据集成；

基于元数据驱动的数据集成，通过业务标准元数据，提供业务标准的含义和规则，统一数据集成的标准模型，减少面向不同企业数据集成的成本；

基于元数据驱动的数据集成，通过流程元数据，提供一种用以实现这套数据获取引擎流程的元数据，适配流程场景开启不同的任务处理流程，减少面向不同数据集成场景时的数据集成工作量。

在本发明描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解的是,在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型,本发明的范围由所附权利要求及其等同范围限定。

Claims (6)

1.基于元数据驱动的集成平台，其特征在于,该平台包括：总体架构模块、逻辑结构模块、执行流程模块；

所述总体架构模块，用于数据集成为企业使用人员提供相应的集成操作，包括数据可视化配置、流程可视化配置，通用能力以及基础能力；

所述逻辑结构模块包括平台接入层组件、平台业务层组件、平台适配层组件、平台执行层组件、平台协议层组件、平台管理系统组件。

2.如权利要求1所述的基于元数据驱动的集成平台，其特征在于，

所述数据可视化配置，用于产生业务元数据，其中业务元数据包括采集数据源的元数据和目标数据源的元数据，以及它们之间的转换映射关系；

所述流程可视化配置，用于产生流程元数据，其中流程元数据包括适用所有作业任务细节的可配置数据集；

所述通用能力，用于抽象集成的通用能力，复用适配不同的集成场景，包括扩展点、适配器、协议转换器、字段映射器；

所述基础能力，用于支撑数据集成的流程触发和异常处理，包括权限、日志、调度、限流、重试策略。

3.如权利要求1所述的基于元数据驱动的集成平台，其特征在于，

所述平台接入层组件，是服务调用入口，需要将调用逻辑按服务化封装，做好路由适配，并完成一些安全调用，以及权限控制；

所述平台业务层组件，是集成平台核心功能的实现，主要包括调用数据交换、服务调用、作业流引用、元数据引用；

所述平台适配层组件，是集成平台重要的实现部分，主要包括接收数据转换用的适配器、发送数据的适配器、用于数据处理的转换器；通过业务元数据实现适配不同系统的数据格式、数据内容，并统一输出系统内的数据标准；通过流程元数据实现数据解析、结构转换、字段映射、规则执行功能；

所述平台执行层组件，执行层是数据拉取或推送的发起处，包含实时的同步调用，也存在并行的异步调用，或者定时的任务调用；执行层管理所有的调用执行逻辑，同时支持触发器逻辑，支持外部通过触发器触发执行；

所述平台协议层组件，集成平台兼容和适配不同系统的不同接口协议，支持RESTful、DB、MQ协议，以及JSON和XML的数据格式；

所述管理系统组件，能够对集成平台中的各个环节进行灵活的配置。

4.如权利要求1所述的基于元数据驱动的集成平台，其特征在于，

所述数据集成是将数据从一方同步到另一方，这里的两方是内部系统与外部系统，或是两个内部系统之间，甚至是两个外部系统之间。

5.如权利要求3所述的基于元数据驱动的集成平台，其特征在于，

所述数据交换，适配数据源方与目标方的多种数据协议，源与目标的协议也可以任务组合，即可以将源数据库同步到目标数据库，以可以将源API接口同步到目标数据库，也可以将源API接口同步到目标API接口，数据交换过程是以数据链路为基础、作业任务调度为方式实现的，每一个数据交换就是一个任务，由分布式任务组件定时进行调度触发执行，执行的过程是根据数据链路的配置进行的。

6.如权利要求5所述的基于元数据驱动的集成平台，其特征在于，所述数据链路执行包括：

1)读取适配器，用于抽象出读取适配器接口，通过协议元数据路由到对应的读取适配器，实现内容读取；

2)数据通道，用于数据读取后将被送到数据通道，数据通道分为两类：一类是异步通道，通常应对大数据量、大并发量的数据交换场景；另一类是同步通道，用于读取快存储快的小数据量场景；

3)数据转换，用于写入之前需要进行数据转换，包括数据格式转换、数据映射、数据处理，这个过程由数据转换器配合流程元数据来实现；数据转换器在写入端是插件方式的，根据实际场景需要，可以灵活扩展；可以支持的数据转换方式包括：字段映射转换或者基于规则引擎的复杂数据转换处理；

4)数据写入端，用于数据写入端与数据读取端是分离的，这样有助于各自水平扩展，读取端不够扩充读取节点，写入端不够了扩充写入节点；写入端同读取端一样，也有各类协议的写入适配器。

Images