CN108804613A - 一种多源数据库实时融合系统及其融合方法 - Google Patents

Abstract

一种多源数据库实时融合系统及其融合方法，属于数据库管理技术领域。包括源数据库、规则定义模块、规则执行模块、运行监控模块以及大数据中心，源数据库采用Oracle，并利用Oracle内置的LogMiner进行内存日志进行挖掘，规则定义模块包括源数据库配置信息、目标数据库配置信息、规则转换插件以及规则定义结果，规则执行模块包括规则解析组件、消息队列以及规则执行组件，运行监控模块，采用图形统计消息队列中的消息个数，大数据中心采用分布式文件系统HDFS进行历史数据的存储。解决了数据库融合实时性和可定制性低的问题，利用本方案可以在不影响业务运行的情况下，按照数据中心需求定制化地将生产数据实时融合，具备实时性和可定制性。

Description

一种多源数据库实时融合系统及其融合方法

技术领域

本发明涉及一种多源数据库实时融合系统及其融合方法，属于数据库管理技术领域。

背景技术

目前，在信息化建设的过程中，很多企业的部门根据自身业务和功能需要，构建了企业大数据中心。现有技术中采用的业务数据库大多是oracle，而数据同步大多采用两种方式：一是人工定期拷贝，采用人工的方法定期从业务数据库备份数据，自行脱敏处理，在导入数据中心时进行格式转换，这种方法效率低，数据同步不及时，并且格式处理人工工作量很大，容易出错；二是采用OGG的方法同步数据，OGG作为一个主要用于数据复制的商业产品，可以捕捉Oracle的redo日志变更信息，并生成ogg消息并通过传输进程发送出去。但是，由于传统的数据库大多数关系型数据库，随着数据量的暴增，关系型数据库的局限性体现出来，即查询速度慢、结构不灵活，冗余多、浪费存储空间等，因此在大数据中心的构建上需要采用分布式的NOSQL数据库，而OGG在与多种NOSQL数据库的数据融合上缺乏适用性，同时传统的数据同步工具主要针对可实施操作的非计算机专业用户，因此功能上缺少复杂的数据转换的灵活性，进而导致ogg在规则的定制性上缺少灵活性，无法参考外部动态需求进行定制化开发，因此急需一种相应的数据融合工具。

针对上述已有技术状况，本发明申请人做了大量反复而有益的探索，最终产品取得了有效的成果，并且形成了下面将要介绍的技术方案。

发明内容

针对上述的不足，本发明提供了一种多源数据库实时融合系统及其融合方法，可以在不影响业务运行的情况下，按照数据中心需求定制化地将生产数据实时融合到分布式环境的数据资源池中，具备实时性和可定制性。

本发明是通过以下技术方案实现的：一种多源数据库实时融合系统，包括源数据库、规则定义模块、规则执行模块、运行监控模块以及大数据中心，所述的源数据库采用Oracle，并利用Oracle内置的LogMiner对Oracle的内存日志进行挖掘，所述的规则定义模块包括源数据库配置信息、目标数据库配置信息、规则转换插件以及规则定义结果，所述的源数据库配置信息和目标数据库配置信息均包括ip地址、端口、用户名、密码、表格名称，所述的规则转换插件采用组件统一的编程接口编写，用于数据格式转化、字段对应以及数据脱敏的需求功能。

所述的规则执行模块包括规则解析组件、消息队列以及规则执行组件，用于针对规则定义模块制定的规则执行数据同步，所述的规则解析组件，用于解析规则定义结果，读取源数据库配置信息进行连接、调用Oracle内置的LogMiner接口完成源数据库的日志挖掘，并将变更信息实时发送，所述的消息队列用于暂存源数据库传输的数据变更信息，以及对待出队列的信息进行变换，每个消息队列对应一个数据变换规则，所述的规则执行组件，用于在规则解析组件完成规则解析后加载规则转换插件。

所述的运行监控模块采用图形统计消息队列中的消息个数，并监控规则解析组件和规则执行组件中线程的运行状态。

所述的大数据中心采用分布式文件系统HDFS进行历史数据的存储，规则定义模块参照数据建模方式进行编制。

进一步地，所述的运行监控模块采用的统计图形包括但不限于柱状图、饼状图、折线图。

进一步地，所述的源数据库配置信息和目标数据库配置信息均以表为单位进行数据同步。

进一步地，所述的规则定义结果采用XML配置文件。

进一步地，所述的一种多源数据库实时融合系统的融合方法，包括以下步骤：

首先，利用规则定义模块编制数据同步的规则，并部署在数据库服务器上，数据同步规则包括数据来源、数据目的地、中间字段的隐藏以及数据格式转换标准，最终的规则定义结果生成一个XML配置文件，该XML文件中记录了源数据库配置信息中的ip地址、访问借口和访问方式，以及目标数据库配置信息中的ip地址、访问借口和访问方式，并以规则转换插件的方式定义表数据的变换规则，包括格式转化、字段对应和数据脱敏。

其次，规则执行模块中的规则解析组件在装置运行时通过加载XML配置文件完成解析预定义的规则，同时利用源数据库端的数据操作均会体现在内存变化中的特点，进一步加载XML文件制定的格式转化插件调用Oracle的内存挖掘工具LogMiner挖掘Oracle内存日志信息，从而进行数据变更的捕获，并以SQL语句的形式通过网络连接实时发送到对应的消息队列中，消息队列中的消息传输至规则执行组件，进而规则执行组件启动一个线程读取相应消息队列中的数据，通过规则转换插件对每条消息进行处理后，进一步同步发送至大数据中心，达到数据库实时融合。

最后，运行监控模块对规则执行模块的运行实时监控，采用可视化的方式展示预定义的转换规则，监控规则解析组件的运行状态、规则执行组件的运行状态，监控每个消息队列的消息数目，根据消息传输速度分析软硬件资源的调整，可跟踪消息的运行过程，从而分析消息有无丢失。

本发明的有益效果：

1.该方案可以在不影响业务运行的情况下，按照数据中心需求定制化地将生产数据实时融合到分布式环境的数据资源池中，具备实时性和可定制性；

2.可以通过编程的方式进行可定制化变换；

3.在指明变化规则的地方，采用的是XML记录规则变换插件，实现手段采用了编写插件的方式完成，因此可以在插件的编写过程中根据需求定义多样化的规则，甚至是动态的需求规则。

4.在规则执行组件中可以根据大数据中心的数据存储方式不同，按需调用数据导入的接口，并可以根据性能需求实现批量录入；

5.提供了数据实时同步融合功能，主要是使用LogMiner进行Oracle的日志挖掘，有效利用Oracle的数据变更会首先在内存日志中体现出来的特性，且该方案触发性的挖掘和定时挖掘不同，在出发点和捕获点之间时间延误很少，因此可以做到实时的进行Oracle数据变更捕获，并且消息在整个装置中的停留时间只是存在于队列中排队等候处理的时间，装置可通过提升规则执行模块运行机器的硬件性能来减少这个等待时间，从而有效达到实时的效果，提高了效率。

6.数据转换规则以插件的方式编写，且在XML规则文件中指明用到的插件，有效生成了规则定义的规范。

7.消息在第三方平台执行变更处理，对oracle数据库压力小，不会影响原有业务。

附图说明

图1为本发明的整体结构原理示意图。

图中，源数据库1、规则定义模块2、源数据库配置信息21、目标数据库配置信息22、规则转换插件23、规则定义结果24、规则执行模块3、规则解析组件31、消息队列32、规则执行组件33、运行监控模块4、大数据中心5。

具体实施方式

如图1所示，一种多源数据库实时融合系统，包括源数据库1、规则定义模块2、规则执行模块3、运行监控模块4和大数据中心5，所述的源数据库1采用Oracle，用于在定义数据同步规则时指明源数据库的访问信息，并利用Oracle内置的LogMiner对Oracle的内存日志进行挖掘，从而将数据变更信息解析提取。

所述的规则定义模块2包括源数据库配置信息21、目标数据库配置信息22、规则转换插件23以及规则定义结果24，所述的源数据库配置信息21和目标数据库配置信息22均包括ip地址、端口、用户名、密码、表格名称，且均以表为单位进行数据同步，所述的规则转换插件23采用组件统一的编程接口编写，用于数据格式转化、字段对应以及数据脱敏的需求功能，所述的规则定义结果24采用XML配置文件。

所述的规则执行模块3包括规则解析组件31、消息队列32以及规则执行组件33，用于针对规则定义模块2制定的规则执行数据同步，所述的规则解析组件31，用于解析XML配置文件、读取源数据库配置信息21进行连接、调用Oracle内置的LogMiner接口完成源数据库1的日志挖掘，并将变更信息实时发送，所述的消息队列32，用于暂存源数据库1传输的数据变更信息，以及对待出队列的信息进行变换，每个消息队列32对应一个数据变换规则，所述的规则执行组件33，用于在规则解析组件31完成规则解析后加载规则转换插件23。

所述的运行监控模块4采用柱状图、饼状图或折线图统计消息队列32中的消息个数，并监控规则解析组件31和规则执行组件33中线程的运行状态。

所述的大数据中心5采用分布式文件系统HDFS进行历史数据的存储，规则定义模块2参照数据建模方式进行编制。

一种多源数据库实时融合系统的融合方法，包括以下步骤：

首先，利用规则定义模块2编制数据同步的规则，并部署在数据库服务器上，数据同步规则包括数据来源、数据目的地、中间字段的隐藏以及数据格式转换标准，最终的规则定义结果24生成一个XML配置文件，该XML文件中记录了源数据库配置信息21中的ip地址、访问借口和访问方式，以及目标数据库配置信息22中的ip地址、访问借口和访问方式，并以规则转换插件23的方式定义表数据的变换规则，包括格式转化、字段对应和数据脱敏。

其次，规则执行模块3中的规则解析组件31在装置运行时通过加载XML配置文件完成解析预定义的规则，同时利用源数据库1端的数据操作均会体现在内存变化中的特点，进一步加载XML文件制定的格式转化插件调用Oracle的内存挖掘工具LogMiner挖掘Oracle内存日志信息，从而进行数据变更的捕获，并以SQL语句的形式通过网络连接实时发送到对应的消息队列32中，消息队列32中的消息传输至规则执行组件33，进而规则执行组件33启动一个线程读取相应消息队列32中的数据，通过规则转换插件23对每条消息进行处理后，进一步同步发送至大数据中心5，达到数据库实时融合。

最后，运行监控模块4对规则执行模块3的运行实时监控，采用可视化的方式展示预定义的转换规则，监控规则解析组件31的运行状态、规则执行组件33的运行状态，监控每个消息队列32的消息数目，根据消息传输速度分析软硬件资源的调整，可跟踪消息的运行过程，从而分析消息有无丢失。

对于本领域的普通技术人员而言，根据本发明的教导，在不脱离本发明的原理与精神的情况下，对实施方式所进行的改变、修改、替换和变型仍落入本发明的保护范围之内。

Claims (5)

1.一种多源数据库实时融合系统，包括源数据库(1)和大数据中心(5)，所述的源数据库(1)采用Oracle，并利用Oracle内置的LogMiner对Oracle的内存日志进行挖掘，其特征在于：还包括规则定义模块(2)、规则执行模块(3)以及运行监控模块(4)，所述的规则定义模块(2)包括源数据库配置信息(21)、目标数据库配置信息(22)、规则转换插件(23)以及规则定义结果(24)，所述的源数据库配置信息(21)和目标数据库配置信息(22)均包括ip地址、端口、用户名、密码、表格名称，所述的规则转换插件(23)采用组件统一的编程接口编写，用于数据格式转化、字段对应以及数据脱敏的需求功能；

所述的规则执行模块(3)包括规则解析组件(31)、消息队列(32)以及规则执行组件(33)，用于针对规则定义模块(2)制定的规则执行数据同步，所述的规则解析组件(31)，用于解析规则定义结果(24)，读取源数据库配置信息(21)进行连接、调用Oracle内置的LogMiner接口完成源数据库(1)的日志挖掘，并将变更信息实时发送，所述的消息队列(32)用于暂存源数据库(1)传输的数据变更信息，以及对待出队列的信息进行变换，每个消息队列(32)对应一个数据变换规则，所述的规则执行组件(33)，用于在规则解析组件(31)完成规则解析后加载规则转换插件(23)；

所述的运行监控模块(4)采用图形统计消息队列(32)中的消息个数，并监控规则解析组件(31)和规则执行组件(33)中线程的运行状态；

所述的大数据中心(5)采用分布式文件系统HDFS进行历史数据的存储，规则定义模块(2)参照数据建模方式进行编制。

2.如权利要求1所述的一种多源数据库实时融合系统，其特征是，所述的运行监控模块(4)采用的统计图形包括但不限于柱状图、饼状图、折线图。

3.如权利要求1所述的一种多源数据库实时融合系统，其特征是，所述的源数据库配置信息(21)和目标数据库配置信息(22)均以表为单位进行数据同步。

4.如权利要求1所述的一种多源数据库实时融合系统，其特征是，所述的规则定义结果(24)采用XML配置文件。

5.如权利要求1-4任一所述的一种多源数据库实时融合系统的融合方法，其特征是，包括以下步骤：

首先，利用规则定义模块(2)编制数据同步的规则，并部署在数据库服务器上，数据同步规则包括数据来源、数据目的地、中间字段的隐藏以及数据格式转换标准，最终的规则定义结果(24)生成一个XML配置文件，该XML文件中记录了源数据库配置信息(21)中的ip地址、访问借口和访问方式，以及目标数据库配置信息(22)中的ip地址、访问借口和访问方式，并以规则转换插件(23)的方式定义表数据的变换规则，包括格式转化、字段对应和数据脱敏；

其次，规则执行模块(3)中的规则解析组件(31)在装置运行时通过加载XML配置文件完成解析预定义的规则，同时利用源数据库(1)端的数据操作均会体现在内存变化中的特点，进一步加载XML文件制定的格式转化插件调用Oracle的内存挖掘工具LogMiner挖掘Oracle内存日志信息，从而进行数据变更的捕获，并以SQL语句的形式通过网络连接实时发送到对应的消息队列(32)中，消息队列(32)中的消息传输至规则执行组件(33)，进而规则执行组件(33)启动一个线程读取相应消息队列(32)中的数据，通过规则转换插件(23)对每条消息进行处理后，进一步同步发送至大数据中心(5)，达到数据库实时融合；

最后，运行监控模块(4)对规则执行模块(3)的运行实时监控，采用可视化的方式展示预定义的转换规则，监控规则解析组件(31)的运行状态、规则执行组件(33)的运行状态，监控每个消息队列(32)的消息数目，根据消息传输速度分析软硬件资源的调整，可跟踪消息的运行过程，从而分析消息有无丢失。