CN106446243A - 一种关系型数据库的数据集成结构 - Google Patents

一种关系型数据库的数据集成结构 Download PDF

Info

Publication number
CN106446243A
CN106446243A CN201610889114.5A CN201610889114A CN106446243A CN 106446243 A CN106446243 A CN 106446243A CN 201610889114 A CN201610889114 A CN 201610889114A CN 106446243 A CN106446243 A CN 106446243A
Authority
CN
China
Prior art keywords
task
data
module
data integration
integration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610889114.5A
Other languages
English (en)
Inventor
胡晓庆
李锦峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Cloud Service Information Technology Co Ltd
Original Assignee
Shandong Inspur Cloud Service Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Cloud Service Information Technology Co Ltd filed Critical Shandong Inspur Cloud Service Information Technology Co Ltd
Priority to CN201610889114.5A priority Critical patent/CN106446243A/zh
Publication of CN106446243A publication Critical patent/CN106446243A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种关系型数据库的数据集成结构，包括由集成中心管理模块、集成节点管理模块、数据源管理模块以及任务配置模块组成的数据集成配置模块、数据集成调度监控模块和数据集成执行器，集成中心管理模块用于配置数据中心；集成节点管理模块用于物理交换节点的管理；数据源管理模块用于数据源，即物理节点下关系型数据库实例的管理；任务配置模块用于定制交换任务，完成任务属性配置；数据集成调度监控模块用于交换任务调度和交换日志审计；数据集成执行器负责执行交换任务。该关系型数据库的数据集成结构与现有技术相比，提供了一种从MySQL数据库到MySQL数据库、从Oracle数据库到MySQL数据库的全量、增量同步实现方案及部署解决方案，实用性强。

Description

一种关系型数据库的数据集成结构
技术领域
本发明涉及计算机数据集成技术领域，具体地说是一种实用性强、关系型数据库的数据集成结构。
背景技术
随着互联网技术的发展，数据集成也吸引了越来越多的关注，对数据的共享和融合也提出了越来越高的要求，急切需要对已有的数据进行整合，联通“信息孤岛”，共享信息。目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出。用户倾向于一种简单、快捷的方式实现关系型数据库之间的数据集成。
数据集成是使数据从一个或多个源前进到一个或多个目标表，数据移动的步骤包括确定应该从中抽取数据的源、数据应当进行的转换以及向什么地方发送数据。
基于此，本发明提供一种软件产品原型云端分享协作方法，通过该专利可使用户通过界面配置便捷的实现从MySQL到MySQL、从Oracle到MySQL数据库之间的数据全量、增量同步的问题。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强、关系型数据库的数据集成结构。
一种关系型数据库的数据集成结构，包括数据集成配置模块、数据集成调度监控模块和数据集成执行器，其中，
数据集成配置包括集成中心管理模块、集成节点管理模块、数据源管理模块以及任务配置模块：
集成中心管理模块用于配置数据中心；
集成节点管理模块用于物理交换节点的管理；
数据源管理模块用于数据源，即物理节点下关系型数据库实例的管理；
任务配置模块用于定制交换任务，完成任务属性配置；
数据集成调度监控模块用于交换任务调度和交换日志审计；
数据集成执行器负责执行交换任务。
所述集成节点管理模块管理物理交换节点是指用于配置数据中心下的物理交换节点，该配置信息包括：节点名称、节点IP地址、所属机构信息。
数据源管理模块管理数据源是指用于配置交换节点下的数据源信息，这里的配置信息包括：数据源名称、数据源地址信息以及测试数据库的连通性。
所述任务配置模块用于定制交换任务且完成的任务属性配置内容包括：任务的源端数据库与目标数据库设置、任务的同步数据表映射设置、同步字段设置、同步方式设置、任务类型设置、定时规则信息配置，上述同步方式包括全量同步、增量同步，任务类型包括定时任务、手动任务；并生成使用数据同步任务执行器执行数据交换任务所需的JSON文件。
所述数据集成调度监控模块进行交换任务调度是指同步任务的调度操作，该调度操作包括任务启动、停止、暂停、恢复操作。
所述数据集成调度监控模块进行交换日志审计：用于查看已经完成的交换任务的详细信息，该详细信息包括任务启动时间、结束时间、总共读出记录数、写入记录数、失败记录数、写入速度信息，同时提供日志文件的查看、下载功能。
所述数据集成执行器负责已启动同步任务的执行，根据交换任务配置模块所生成的JSON文件执行交换任务，从源端数据库的相应表中读出数据写入到目标数据库的相应表中。
本发明的一种关系型数据库的数据集成结构，具有以下优点：
本发明提供的一种关系型数据库的数据集成结构，实现了方便、快捷的从MySQL数据库到MySQL数据库、从Oracle数据库到MySQL数据库的数据集成，提供了按照手动任务、定时任务的方式对数据进行全量、增量同步，减少了导入导出数据的工作量，使得数据同步工作更加简便、可控，用户只需要通过界面进行任务配置模块和任务调度即可完成数据集成；用户可以控制数据同步这一动作，控制数据集成任务的启动时间点，数据集成任务的暂停、恢复、停止，对同步过程中的日志信息进行监控，实用性强，适用范围广泛，易于推广。
附图说明
附图1为本发明的实现结构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步说明。
如附图1所示，本发明的一种关系型数据库的数据集成结构，涉及到数据同步工具、开源作业调度框架Quartz、分布式定时任务框架、分布式协调服务zookeeper等技术，使得从MySQL到MySQL、从Oracle到MySQL数据库之间能够方便、快捷、高效的进行数据的全量、增量同步。
包括数据集成配置、数据集成调度监控和数据集成执行器三大块。
其中，数据集成配置包括集成中心管理模块、集成节点管理模块、数据源管理模块以及任务配置模块。
集成节点管理模块其功能是物理交换节点的管理。
数据源管理模块其功能是物理节点下关系型数据库实例的管理。
任务配置模块其功能是数据交换的源端数据库和目标数据库设置、同步数据表设置、同步字段设置、同步方式设置、任务类型设置等任务属性配置。
数据集成调度监控主要是任务的启动、暂停、恢复、停止等调度操作以及数据交换任务运行过程中的日志信息监控。
数据集成执行器主要是负责执行交换任务。
更加具体的，上述三大模块描述如下：
一、数据集成配置。
中心管理：用于配置各个行政区划下的数据中心，数据中心便于对物理交换节点进行隔离和控制。
节点管理：用于配置数据中心下的物理交换节点，包括：节点名称、节点IP地址、所属机构等信息。物理节点便于对交换数据源进行隔离和控制。
数据源管理模块：用于配置交换节点下的数据源（关系型数据库）信息，包括：数据源名称、数据源地址等信息，以及测试数据库的连通性等功能。
交换任务配置模块：用于定制交换任务，包括：任务的源端数据库与目标数据库设置、任务的同步数据表映射设置、同步字段设置、同步方式（全量同步、增量同步）设置、任务类型（定时任务、手动任务）设置、定时规则等信息配置，并生成使用数据同步任务执行器执行数据交换任务所需的JSON文件。
二、数据集成调度监控。
（1）交换任务调度：用于同步任务的调度操作，主要包括：任务启动、停止、暂停、恢复等操作。
（2）交换日志审计：用于查看已经完成的交换任务的详细信息，包括：任务启动时间、结束时间、总共读出记录数、写入记录数、失败记录数、写入速度等信息，同时提供日志文件的查看、下载功能。
三、数据集成执行器。
数据同步任务执行器主要负责已启动同步任务的执行，根据交换任务配置模块所生成的JSON文件执行交换任务，从源端数据库的相应表中读出数据写入到目标数据库的相应表中。
本发明提供了同步任务启动、停止、暂停、恢复、删除等操作按钮，每次数据同步任务执行的结果会记录到日志中，用户可以通过前台监控界面查看已完成的同步任务执行结果：包括同步任务启动时刻、结束时刻、总共耗时、任务读取记录数、写入记录数、失败记录总数、写入记录速度等信息。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种关系型数据库的数据集成结构的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (7)

1.一种关系型数据库的数据集成结构，其特征在于，包括数据集成配置模块、数据集成调度监控模块和数据集成执行器，其中，
数据集成配置包括集成中心管理模块、集成节点管理模块、数据源管理模块以及任务配置模块：
集成中心管理模块用于配置数据中心；
集成节点管理模块用于物理交换节点的管理；
数据源管理模块用于数据源，即物理节点下关系型数据库实例的管理；
任务配置模块用于定制交换任务，完成任务属性配置；
数据集成调度监控模块用于交换任务调度和交换日志审计；
数据集成执行器负责执行交换任务。
2.根据权利要求1所述的一种关系型数据库的数据集成结构，其特征在于，所述集成节点管理模块管理物理交换节点是指用于配置数据中心下的物理交换节点，该配置信息包括：节点名称、节点IP地址、所属机构信息。
3.根据权利要求1所述的一种关系型数据库的数据集成结构，其特征在于，数据源管理模块管理数据源是指用于配置交换节点下的数据源信息，这里的配置信息包括：数据源名称、数据源地址信息以及测试数据库的连通性。
4.根据权利要求1所述的一种关系型数据库的数据集成结构，其特征在于，所述任务配置模块用于定制交换任务且完成的任务属性配置内容包括：任务的源端数据库与目标数据库设置、任务的同步数据表映射设置、同步字段设置、同步方式设置、任务类型设置、定时规则信息配置，上述同步方式包括全量同步、增量同步，任务类型包括定时任务、手动任务；并生成使用数据同步任务执行器执行数据交换任务所需的JSON文件。
5.根据权利要求1所述的一种关系型数据库的数据集成结构，其特征在于，所述数据集成调度监控模块进行交换任务调度是指同步任务的调度操作，该调度操作包括任务启动、停止、暂停、恢复操作。
6.根据权利要求5所述的一种关系型数据库的数据集成结构，其特征在于，所述数据集成调度监控模块进行交换日志审计：用于查看已经完成的交换任务的详细信息，该详细信息包括任务启动时间、结束时间、总共读出记录数、写入记录数、失败记录数、写入速度信息，同时提供日志文件的查看、下载功能。
7.根据权利要求1所述的一种关系型数据库的数据集成结构，其特征在于，所述数据集成执行器负责已启动同步任务的执行，根据交换任务配置模块所生成的JSON文件执行交换任务，从源端数据库的相应表中读出数据写入到目标数据库的相应表中。
CN201610889114.5A 2016-10-10 2016-10-10 一种关系型数据库的数据集成结构 Pending CN106446243A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610889114.5A CN106446243A (zh) 2016-10-10 2016-10-10 一种关系型数据库的数据集成结构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610889114.5A CN106446243A (zh) 2016-10-10 2016-10-10 一种关系型数据库的数据集成结构

Publications (1)

Publication Number Publication Date
CN106446243A true CN106446243A (zh) 2017-02-22

Family

ID=58173421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610889114.5A Pending CN106446243A (zh) 2016-10-10 2016-10-10 一种关系型数据库的数据集成结构

Country Status (1)

Country Link
CN (1) CN106446243A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203617A (zh) * 2017-05-24 2017-09-26 杭州铭师堂教育科技发展有限公司 基于MHA的mysql在线迁移系统及方法
CN108304473A (zh) * 2017-12-28 2018-07-20 石化盈科信息技术有限责任公司 数据源之间的数据传输方法和系统
CN110209534A (zh) * 2019-06-14 2019-09-06 四川长虹电器股份有限公司 自动备份mysql数据库的系统及方法
CN113407633A (zh) * 2018-09-13 2021-09-17 华东交通大学 一种分布式数据源异构同步的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1687922A (zh) * 2005-05-30 2005-10-26 北京慧讯信息技术有限公司 分布式数据源数据集成系统及方法
US20050278458A1 (en) * 2004-06-09 2005-12-15 Microsoft Corporation Analysis services database synchronization
CN102096684A (zh) * 2009-12-11 2011-06-15 华大天元(北京)电力科技有限公司 电网实时数据集成与共享平台
CN102542007A (zh) * 2011-12-13 2012-07-04 中国电子科技集团公司第十五研究所 关系型数据库之间的同步方法及系统
CN103780682A (zh) * 2014-01-07 2014-05-07 中国船舶重工集团公司第七0九研究所 一种面向Ad Hoc网络的信息共享系统
CN105243067A (zh) * 2014-07-07 2016-01-13 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050278458A1 (en) * 2004-06-09 2005-12-15 Microsoft Corporation Analysis services database synchronization
CN1687922A (zh) * 2005-05-30 2005-10-26 北京慧讯信息技术有限公司 分布式数据源数据集成系统及方法
CN102096684A (zh) * 2009-12-11 2011-06-15 华大天元(北京)电力科技有限公司 电网实时数据集成与共享平台
CN102542007A (zh) * 2011-12-13 2012-07-04 中国电子科技集团公司第十五研究所 关系型数据库之间的同步方法及系统
CN103780682A (zh) * 2014-01-07 2014-05-07 中国船舶重工集团公司第七0九研究所 一种面向Ad Hoc网络的信息共享系统
CN105243067A (zh) * 2014-07-07 2016-01-13 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203617A (zh) * 2017-05-24 2017-09-26 杭州铭师堂教育科技发展有限公司 基于MHA的mysql在线迁移系统及方法
CN108304473A (zh) * 2017-12-28 2018-07-20 石化盈科信息技术有限责任公司 数据源之间的数据传输方法和系统
CN108304473B (zh) * 2017-12-28 2020-09-04 石化盈科信息技术有限责任公司 数据源之间的数据传输方法和系统
CN113407633A (zh) * 2018-09-13 2021-09-17 华东交通大学 一种分布式数据源异构同步的方法
CN110209534A (zh) * 2019-06-14 2019-09-06 四川长虹电器股份有限公司 自动备份mysql数据库的系统及方法

Similar Documents

Publication Publication Date Title
CN106446243A (zh) 一种关系型数据库的数据集成结构
CN102915331B (zh) 用于云选择的协调引擎
CN109949111A (zh) 电子票据标识分配方法、电子票据生成方法、装置及系统
CN103677973A (zh) 一种分布式多任务调度管理系统
CN106790455A (zh) 一种基于混合模式的分布式云管理系统及方法
WO2015168132A1 (en) Situation dashboard system and method from event clustering
CA2896973A1 (en) Methods, devices and systems for dynamically managing memberships in replicated state machines within a distributed computing environment
CN106022007A (zh) 面向生物组学大数据计算的云平台系统及方法
CN109325200B (zh) 获取数据的方法、装置及计算机可读存储介质
CN111176613B (zh) 基于体系结构模型的协同任务自动分解系统
EP2923319A2 (en) Calendaring between user profiles
CN104318354A (zh) 任务信息处理方法和系统
CN103701633A (zh) 对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统
CN103413041B (zh) 一种基于复杂产品研制对象的协同感知系统构建方法
CN104461743A (zh) 资源和配置的自动生成装置和方法
CN111190814B (zh) 软件测试用例的生成方法、装置、存储介质及终端
CN111324538A (zh) 一种基于动态路由的微服务并行测试环境管理方法
CN113672240A (zh) 一种基于容器的多机房批量自动化部署应用的方法及系统
CN111324667A (zh) 一种数据同步方法、装置、电子设备及存储介质
CN110119341A (zh) 一种idc设备管控系统
CN101504610A (zh) 管理软件开发方法和系统
CN104662566B (zh) 用于将排程问题切分成子问题的方法和系统
CN107729305A (zh) 基于数据库及前端显示技术的会议材料自动生成方法
CN104598211B (zh) 管理维护软件程序的方法及装置
Taher et al. BDLaaS: Big data lab as a service for experimenting big data solution

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222