CN108763387A - 异构平台的大数据融合方法、电子设备、存储介质及系统 - Google Patents

Abstract

本发明提供异构平台的大数据融合方法，包括步骤：获取用户配置的文件信息，文件信息包括源端编码、目标端编码、地址、数据交互频率、数据映射关系；通过数据同步工具抽取源端数据库的数据，获得抽取数据，将源端的文件系统和抽取数据进行日志格式化存储，生成源端数据；实时监听源端数据的变化，获取变化数据，将变化数据发送至消息队列组件；订阅消息队列组件的主题信息，对变化数据进行解析，根据配置文件将变化数据转换为目标端存储格式对应的数据；根据目标端的数据源将变化数据同步到目标端系统。本发明还涉及一种电子设备、存储介质、异构平台的大数据融合系统。本发明实现同构或异构平台间快速高效的数据同步及数据转换服务。

Description

异构平台的大数据融合方法、电子设备、存储介质及系统

技术领域

本发明涉及数据处理技术领域，尤其涉及异构平台的大数据融合方法、电子设备、存储介质及系统。

背景技术

随着互联网+及大数据的不断发展与大规模应用，各行各业在资源共享的同时数据共享已成为常态。然而目前大多数企业的信息系统与外部进行数据对接时采用定制化开发，定制化开发的实施周期长，成本高，重复性的定制化开发已造成资源浪费，且成为目前各行各业数据共通共享的壁垒。现有的系统数据传输通过目标端按源端同等顺序执行源端的数据变化，这要求源端和目标端具有相同的数据结构设计。这种方式部署复杂，需相关专业人员长时间学习研究后才能使用，且没有透明化、可视化的操作配置界面，只支持在Oracle、Mysql等数据库间进行同步，不支持WepService服务、文件系统、XML等数据类型的数据同步。

发明内容

本发明正是基于上述技术问题至少之一，提出了异构平台的大数据融合方法、电子设备、存储介质及系统，解决了当前异构平台之间大数据无法快速、高效对接的问题。

为达到上述目的，本发明提供异构平台的大数据融合方法，包括以下步骤：

获取配置文件，获取用户配置的文件信息，所述文件信息包括源端编码、目标端编码、地址、数据交互频率、数据映射关系；

生成源端数据，通过数据同步工具抽取源端数据库的数据，获得抽取数据，将所述源端的文件系统和所述抽取数据进行日志格式化存储，生成源端数据；

监听数据变化，实时监听所述源端数据的变化，获取变化数据，将所述变化数据发送至消息队列组件；

解析变化数据，订阅所述消息队列组件的主题信息，对所述变化数据进行解析，根据所述配置文件将所述变化数据转换为目标端存储格式对应的数据；

同步变化数据，根据所述目标端的数据源将所述变化数据同步到目标端系统。

进一步地，所述数据同步工具具体为Oracle Golden Gate，所述步骤生成源端数据具体为通过Oracle Golden Gate实时捕获源端数据库的交易日志，将所述源端的文件系统和所述交易日志进行日志格式化存储，生成所述源端数据。

进一步地，所述消息队列组件具体为Kafka，所述步骤监听数据变化具体为实时监听所述源端数据的变化，获取变化数据，将所述变化数据发送至Kafka。

进一步地，所述步骤解析变化数据具体为订阅Kafka主题信息对所述变化数据进行JSON串反解析，根据所述配置文件将解析后的变化数据转换为目标端存储格式对应的数据。

一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现述异构平台的大数据融合方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述异构平台的大数据融合方法。

异构平台的大数据融合系统，包括：

配置文件模块：用于配置文件信息，所述文件信息包括源端编码、目标端编码、地址、数据交互频率、数据映射关系；

生成源端数据模块：用于通过数据同步工具抽取源端数据库的数据，获得抽取数据，将所述源端的文件系统和所述抽取数据进行日志格式化存储，生成源端数据；

监听数据变化模块：用于实时监听所述源端数据的变化，获取变化数据，将所述变化数据发送至消息队列组件；

解析变化数据模块：用于订阅所述消息队列组件的主题信息，对所述变化数据进行解析，根据所述配置文件将所述变化数据转换为目标端存储格式对应的数据；

同步变化数据模块：用于根据所述目标端的数据源将所述变化数据同步到目标端系统。

进一步地，所述数据同步工具具体为Oracle Golden Gate，所述生成源端数据模块具体为通过Oracle Golden Gate实时捕获源端数据库的交易日志，将所述源端的文件系统和所述交易日志进行日志格式化存储，生成所述源端数据。

进一步地，所述消息队列组件具体为Kafka，所述监听数据变化模块具体为实时监听所述源端数据的变化，获取变化数据，将所述变化数据发送至Kafka。

进一步地，所述解析变化数据模块具体为订阅Kafka主题信息对所述变化数据进行JSON串反解析，根据所述配置文件将解析后的变化数据转换为目标端存储格式对应的数据。

与现有技术相比，本发明的优势在于：本发明提供异构平台的大数据融合方法，包括步骤获取配置文件，生成源端数据，监听数据变化，解析变化数据，同步变化数据，获取用户配置的文件信息，文件信息包括源端编码、目标端编码、地址、数据交互频率、数据映射关系；通过数据同步工具抽取源端数据库的数据，获得抽取数据，将源端的文件系统和抽取数据进行日志格式化存储，生成源端数据；实时监听源端数据的变化，获取变化数据，将变化数据发送至消息队列组件；订阅消息队列组件的主题信息，对变化数据进行解析，根据配置文件将变化数据转换为目标端存储格式对应的数据；根据目标端的数据源将变化数据同步到目标端系统。本发明还涉及一种电子设备、存储介质、异构平台的大数据融合系统。本发明通过实时监听源端数据的变化并将变化数据根据配置规则同步至目标端系统，支持短时间大规模的数据融合需求，能够随着业务的需求进行弹性扩张；部署简便，支持Windows，Linux等多种平台服务应用；通过用户配置文件信息，实现满足用户自身需求的大数据融合需求；本发明采用C/S应用部署，所有配置过程和服务状态可视化，用户能够随时随地掌握平台间数据融合运行情况及相关异常信息，去除了目前大部分数据复核同步工具命令操作不便的弊端；本发明实现同构或异构平台间的快速高效的数据同步及数据转换服务。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

下面结合附图和本发明的实施方式作进一步详细说明。

图1为本发明的异构平台的大数据融合方法流程图；

图2为本发明的异构平台的大数据融合系统结构示意图；

图3为本发明实施例的异构平台的大数据融合系统整体架构图；

图4为本发明实施例的异构平台的大数据融合系统部署架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清除明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

异构平台的大数据融合方法，如图1所示，包括以下步骤：

获取配置文件，获取用户配置的文件信息，文件信息包括源端编码、目标端编码、地址、数据交互频率、数据映射关系。

生成源端数据，通过数据同步工具抽取源端数据库的数据，获得抽取数据，将源端的文件系统和抽取数据进行日志格式化存储，生成源端数据。

监听数据变化，实时监听源端数据的变化，并通过支持关系型数据系统或分布式数据文件系统中相关表记录信息或文件系统日志信息获取变化数据，将变化数据发送至消息队列组件进行排序缓冲及暂存。

解析变化数据，订阅消息队列组件的主题信息，对变化数据进行解析，根据配置文件将变化数据转换为目标端存储格式对应的数据。

同步变化数据，根据目标端的数据源将变化数据同步到目标端系统，如关系型数据库Oracle、Mysql、文件系统、HDFS、RestFul Web服务。满足不同类型数据库之间，不同文件系统之间的数据融合，如Web服务或API之间任意类型的系统接口进行数据交互。通过实时监听源端数据的变化并将变化数据根据配置规则同步至目标端系统，支持短时间大规模的数据融合需求，能够随着业务的需求进行弹性扩张。

在一实施例中，优选的，数据同步工具具体为Oracle Golden Gate，步骤生成源端数据具体为通过Oracle Golden Gate实时捕获源端数据库的交易日志，交易日志为已提交数据，包含DML和DDL，可根据规则进行过滤，将源端的文件系统和交易日志进行日志格式化存储，生成源端数据。

在一实施例中，优选的，消息队列组件具体为Kafka，步骤监听数据变化具体为实时监听源端数据的变化，获取变化数据，将变化数据发送至Kafka。优选的，步骤解析变化数据具体为订阅Kafka主题信息对变化数据进行JSON串反解析，根据配置文件将解析后的变化数据转换为目标端存储格式对应的数据。

一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现述异构平台的大数据融合方法。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述异构平台的大数据融合方法。

异构平台的大数据融合系统，采用C/S部署，所有配置过程和服务状态可视化，用户能够随时随地掌握平台间数据融合运行情况及相关异常信息，去除了目前大部分数据复核同步工具命令操作不便的弊端。如图2-图4所示，系统支持集群式平台部署方式也支持分布式部署方式，图4中DXH LMIS、BEIJING TMS、GD TPL、GD LMIS、JLP分别作为伺服，数据通过消息队列组件Kafka进行排序缓冲及暂存，通过流式计算引擎进行流程配置和节点配置，通过原子服务进行数据操作和业务计算，实现不同平台之间的数据融合，系统部署简便，支持Windows，Linux等多种平台服务应用，系统包括：

配置文件模块配置文件信息，文件信息包括源端编码、目标端编码、地址、数据交互频率、数据映射关系。本实施例中，配置文件模块提供页面配置服务、运行参数配置、运行日志服务。

生成源端数据模块通过数据同步工具抽取源端数据库的数据，获得抽取数据，将源端的文件系统和抽取数据进行日志格式化存储，生成源端数据。

监听数据变化模块实时监听源端数据的变化，并通过支持关系型数据系统或分布式数据文件系统中相关表记录信息或文件系统日志信息获取变化数据，将变化数据发送至消息队列组件进行排序缓冲及暂存。本实施例中，监听数据变化模块提供文件监听服务、SQL解析服务、消息封装服务、消息发送服务。

解析变化数据模块订阅消息队列组件的主题信息，对变化数据进行解析，根据配置文件将变化数据转换为目标端存储格式对应的数据。本实施例中，解析变化数据模块提供消息订阅服务、内容解析服务。

同步变化数据模块根据目标端的数据源将变化数据同步到目标端系统，如关系型数据库Oracle、Mysql、文件系统、HDFS、RestFul Web服务。满足不同类型数据库之间，不同文件系统之间的数据融合，如Web服务或API之间任意类型的系统接口进行数据交互。通过监听数据变化模块实时监听源端数据的变化并通过同步变化数据模块将变化数据根据配置规则同步至目标端系统，支持短时间大规模的数据融合需求，能够随着业务的需求进行弹性扩张。本实施例中，同步变化数据模块提供映射关系服务、数据转储服务。

在一实施例中，如图3所示，优选的，数据同步工具具体为Oracle Golden Gate，生成源端数据模块具体为通过Oracle Golden Gate实时捕获源端数据库的交易日志，交易日志为已提交数据，包含DML和DDL，可根据规则进行过滤，数据库为Database，将源端的文件系统和交易日志进行日志格式化存储，生成源端数据。

在一实施例中，如图3所示，优选的，消息队列组件具体为Kafka，监听数据变化模块具体为实时监听源端数据的变化，获取变化数据，将变化数据发送至Kafka，通过通用数据接口将数据源端的消息服务和数据配置发送至Kafka。优选的，解析变化数据模块具体为订阅Kafka主题信息对变化数据进行JSON串反解析，根据配置文件将解析后的变化数据转换为目标端存储格式对应的数据，生成日志服务框架，同步变化数据模块根据目标端的数据源将变化数据同步到目标端系统，如Redis/Kafka、文件系统、Database等。

本发明提供异构平台的大数据融合方法，包括步骤获取配置文件，生成源端数据，监听数据变化，解析变化数据，同步变化数据，获取用户配置的文件信息，文件信息包括源端编码、目标端编码、地址、数据交互频率、数据映射关系；通过数据同步工具抽取源端数据库的数据，获得抽取数据，将源端的文件系统和抽取数据进行日志格式化存储，生成源端数据；实时监听源端数据的变化，获取变化数据，将变化数据发送至消息队列组件；订阅消息队列组件的主题信息，对变化数据进行解析，根据配置文件将变化数据转换为目标端存储格式对应的数据；根据目标端的数据源将变化数据同步到目标端系统。本发明还涉及一种电子设备、存储介质、异构平台的大数据融合系统。本发明通过实时监听源端数据的变化并将变化数据根据配置规则同步至目标端系统，支持短时间大规模的数据融合需求，能够随着业务的需求进行弹性扩张；部署简便，支持Windows，Linux等多种平台服务应用；通过用户配置文件信息，实现满足用户自身需求的大数据融合需求；本发明采用C/S应用部署，所有配置过程和服务状态可视化，用户能够随时随地掌握平台间数据融合运行情况及相关异常信息，去除了目前大部分数据复核同步工具命令操作不便的弊端；本发明实现同构或异构平台间的快速高效的数据同步及数据转换服务。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.异构平台的大数据融合方法，其特征在于包括以下步骤：

获取配置文件，获取用户配置的文件信息，所述文件信息包括源端编码、目标端编码、地址、数据交互频率、数据映射关系；

生成源端数据，通过数据同步工具抽取源端数据库的数据，获得抽取数据，将所述源端的文件系统和所述抽取数据进行日志格式化存储，生成源端数据；

监听数据变化，实时监听所述源端数据的变化，获取变化数据，将所述变化数据发送至消息队列组件；

解析变化数据，订阅所述消息队列组件的主题信息，对所述变化数据进行解析，根据所述配置文件将所述变化数据转换为目标端存储格式对应的数据；

同步变化数据，根据所述目标端的数据源将所述变化数据同步到目标端系统。

2.如权利要求1所述的异构平台的大数据融合方法，其特征在于：所述数据同步工具具体为Oracle Golden Gate，所述步骤生成源端数据具体为通过Oracle Golden Gate实时捕获源端数据库的交易日志，将所述源端的文件系统和所述交易日志进行日志格式化存储，生成所述源端数据。

3.如权利要求1所述的异构平台的大数据融合方法，其特征在于：所述消息队列组件具体为Kafka，所述步骤监听数据变化具体为实时监听所述源端数据的变化，获取变化数据，将所述变化数据发送至Kafka。

4.如权利要求3所述的异构平台的大数据融合方法，其特征在于：所述步骤解析变化数据具体为订阅Kafka主题信息对所述变化数据进行JSON串反解析，根据所述配置文件将解析后的变化数据转换为目标端存储格式对应的数据。

5.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-4任一项方法的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任一项方法的步骤。

7.异构平台的大数据融合系统，其特征在于包括：

配置文件模块：用于配置文件信息，所述文件信息包括源端编码、目标端编码、地址、数据交互频率、数据映射关系；

生成源端数据模块：用于通过数据同步工具抽取源端数据库的数据，获得抽取数据，将所述源端的文件系统和所述抽取数据进行日志格式化存储，生成源端数据；

监听数据变化模块：用于实时监听所述源端数据的变化，获取变化数据，将所述变化数据发送至消息队列组件；

解析变化数据模块：用于订阅所述消息队列组件的主题信息，对所述变化数据进行解析，根据所述配置文件将所述变化数据转换为目标端存储格式对应的数据；

同步变化数据模块：用于根据所述目标端的数据源将所述变化数据同步到目标端系统。

8.如权利要求7所述的异构平台的大数据融合系统，其特征在于：所述数据同步工具具体为Oracle Golden Gate，所述生成源端数据模块具体为通过Oracle Golden Gate实时捕获源端数据库的交易日志，将所述源端的文件系统和所述交易日志进行日志格式化存储，生成所述源端数据。

9.如权利要求7所述的异构平台的大数据融合系统，其特征在于：所述消息队列组件具体为Kafka，所述监听数据变化模块具体为实时监听所述源端数据的变化，获取变化数据，将所述变化数据发送至Kafka。

10.如权利要求9所述的异构平台的大数据融合系统，其特征在于：所述解析变化数据模块具体为订阅Kafka主题信息对所述变化数据进行JSON串反解析，根据所述配置文件将解析后的变化数据转换为目标端存储格式对应的数据。