CN113157657A - 一种多数据源数据库定时同步的方法及系统 - Google Patents

一种多数据源数据库定时同步的方法及系统 Download PDF

Info

Publication number
CN113157657A
CN113157657A CN202110537605.4A CN202110537605A CN113157657A CN 113157657 A CN113157657 A CN 113157657A CN 202110537605 A CN202110537605 A CN 202110537605A CN 113157657 A CN113157657 A CN 113157657A
Authority
CN
China
Prior art keywords
data
module
configuring
synchronization
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110537605.4A
Other languages
English (en)
Inventor
彭浩
罗宝利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Health Medical Big Data Co ltd
Original Assignee
Shandong Health Medical Big Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Health Medical Big Data Co ltd filed Critical Shandong Health Medical Big Data Co ltd
Priority to CN202110537605.4A priority Critical patent/CN113157657A/zh
Publication of CN113157657A publication Critical patent/CN113157657A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages

Abstract

本发明公开了一种多数据源数据库定时同步的方法及系统，属于数据同步处理领域；所述的方法的具体步骤包括：S1通过数据源和数据指标绑定；S2将多数据源数据信息进行同步配置；S3配置数据指标信息；S4配置定时任务实现数据同步；本发明提供一种多数据源数据库定时同步的方法，实现自动定时从多个数据源向一个数据库同步数据；本发明方法先配置多种数据源，实现对多种数据源的连接，将数据源绑定对应的数据指标实现定时从数据源对应表中同步数据。

Description

一种多数据源数据库定时同步的方法及系统
技术领域
本发明公开一种多数据源数据库定时同步的方法及系统，涉及数据同步处理技术领域。
背景技术
随着信息技术的大力发展，“互联网+健康医疗”也成了社会热点，医疗数据也进入了数据爆炸的时代，医疗数据互联互通的需求也与日俱增，不同机构的数据有可能存储在不同类型的数据库比如mysql,oracle,kudu中，如何保证大量不同数据源的数据及时同步，是医疗数据实现互联互通所面临的主要问题之一。
目前关于医疗数据的同步业界有着很多种的同步方式，比如相同类型的数据库直接导入sql，或者在一个服务器上的数据库直接进行数据库复制等。但是对于多种数据源的数据进行同步到一个数据库的场景还有待完善。拿oracle数据向mysql中数据同步举例子，oracle中有许多语法和数据类型和mysql中的不一样字段比如oracle中的CLOB和mysql中的text类型才能对应，这就导致数据同步过程中很多问题，基于此类场景本发明实现了一种多数据源数据库定时同步的方法及系统，解决多数据源不易同步到对应数据库中的问题。
发明内容
本发明针对现有技术的问题，提供一种多数据源数据库定时同步的方法及系统，所采用的技术方案为：一种多数据源数据库定时同步的方法，所述的方法的具体步骤包括：
S1通过数据源和数据指标绑定；
S2将多数据源数据信息进行同步配置；
S3配置数据指标信息；
S4配置定时任务实现数据同步。
所述S1通过数据源和数据指标绑定的具体步骤包括：
S101数据源和数据指标配置生成对应datasourceId；
S102根据数据源信息与需要同步的数据库进行连接。
所述S3配置数据指标信息的具体步骤包括：
S301选择数据源信息再配置对应的cron表达式和SQL语句；
S302利用SQL语句获取对应数据；
S303将datasourceId注册到数据指标的表中实现数据源和数据指标绑定。
所述S4配置定时任务实现数据同步的具体步骤包括：
S401配置数据指标定时任务；
S402配置手动执行数据指标功能。
一种多数据源数据库定时同步的系统，所述的系统具体包括绑定模块、信息配置模块、指标配置模块和定时同步模块：
绑定模块：通过数据源和数据指标绑定；
信息配置模块：将多数据源数据信息进行同步配置；
指标配置模块：配置数据指标信息；
定时同步模块：配置定时任务实现数据同步。
所述绑定模块具体包括生成模块和连接模块：
生成模块：数据源和数据指标配置生成对应datasourceId；
连接模块：根据数据源信息与需要同步的数据库进行连接。
所述指标配置模块具体包括逻辑配置模块、数据获取模块和注册绑定模块：
逻辑配置模块：选择数据源信息再配置对应的cron表达式和SQL语句；
数据获取模块：利用SQL语句获取对应数据；
注册绑定模块：将datasourceId注册到数据指标的表中实现数据源和数据指标绑定。
所述定时同步模块具体包括定时同步模块和手动同步模块：
定时同步模块：配置数据指标定时任务；
手动同步模块：配置手动执行数据指标功能。
本发明的有益效果为：本发明提供一种多数据源数据库定时同步的方法，实现自动定时从多个数据源向一个数据库同步数据；本发明方法先配置多种数据源，实现对多种数据源的连接，将数据源绑定对应的数据指标实现定时从数据源对应表中同步数据；采用该发明方法，可以有效的解决用户原始数据存在于多数据源中难以同步到对应数据库的问题；该发明实现了定时同步多数据源，减少人工成本，为企业带来更大经济效益，而且可以同时同步多个数据源的医疗数据。一次配置用户之后就不需要再次配置了。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法的流程图；图2是本发明系统的结构示意图；图3是本发明实施例的实施流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一：
一种多数据源数据库定时同步的方法，所述的方法的具体步骤包括：
S1通过数据源和数据指标绑定；
S2将多数据源数据信息进行同步配置；
S3配置数据指标信息；
S4配置定时任务实现数据同步；
本发明实现了一种多数据源数据库定时同步的方法，可用于医疗数据多数据源的同步，采用数据源信息，定时任务和数据指标绑定的模式，实现用户原始的多数据源医疗数据及时同步的控制；提供了数据源信息配置，数据指标配置，配置成功之后就可以提供定时同步多种数据源数据的功能；
首先按照S1通过数据源和数据指标绑定，然后按照S2将多数据源数据信息进行同步配置，可配置Mysql、Oracle、Kudu、SqlServer这几种数据库，配置完数据源之后服务使用者按照S3需要配置数据指标，最后再按照S4配置定时任务实现数据同步；
进一步的，所述S1通过数据源和数据指标绑定的具体步骤包括：
S101数据源和数据指标配置生成对应datasourceId；
S102根据数据源信息与需要同步的数据库进行连接；
配置成功之后会生成对应datasourceId，之后我们便能根据数据源信息连接到需要进行数据同步的数据库；
进一步的，所述S3配置数据指标信息的具体步骤包括：
S301选择数据源信息再配置对应的cron表达式和SQL语句；
S302利用SQL语句获取对应数据；
S303将datasourceId注册到数据指标的表中实现数据源和数据指标绑定；
配置数据指标的信息时，先选择数据源信息再配置对应的cron表达式和SQL语句，SQL语句可以在服务启动的时候将我们所需要的数据从数据源中读取出来从获取自己对应的数据；最后会将datasourceId注册到数据指标的表中实现数据源和数据指标绑定；
再进一步的，所述S4配置定时任务实现数据同步的具体步骤包括：
S401配置数据指标定时任务；
S402配置手动执行数据指标功能；
配置的数据指标中配置了对应的定时任务，在对应的时间会定时连接对应的数据源然后查询数据源中所需要的数据同步到服务对应的数据库当中去；也提供了手动执行对应的数据指标功能，当需要的时候可以手动及时将数据源中所需要的数据同步到服务的数据库中。
实施例二：
一种多数据源数据库定时同步的系统，所述的系统具体包括绑定模块、信息配置模块、指标配置模块和定时同步模块：
绑定模块：通过数据源和数据指标绑定；
信息配置模块：将多数据源数据信息进行同步配置；
指标配置模块：配置数据指标信息；
定时同步模块：配置定时任务实现数据同步；
首先利用绑定模块通过数据源和数据指标绑定，然后通过信息配置模块将多数据源数据信息进行同步配置，可配置Mysql、Oracle、Kudu、SqlServer这几种数据库，配置完数据源之后服务使用者通过指标配置模块需要配置数据指标，最后再通过定时同步模块配置定时任务实现数据同步；
进一步的，所述绑定模块具体包括生成模块和连接模块：
生成模块：数据源和数据指标配置生成对应datasourceId；
连接模块：根据数据源信息与需要同步的数据库进行连接；
配置成功之后会生成对应datasourceId，之后我们便能根据数据源信息连接到需要进行数据同步的数据库；
进一步的，所述指标配置模块具体包括逻辑配置模块、数据获取模块和注册绑定模块：
逻辑配置模块：选择数据源信息再配置对应的cron表达式和SQL语句；
数据获取模块：利用SQL语句获取对应数据；
注册绑定模块：将datasourceId注册到数据指标的表中实现数据源和数据指标绑定；
配置数据指标的信息时，先选择数据源信息再配置对应的cron表达式和SQL语句，SQL语句可以在服务启动的时候将我们所需要的数据从数据源中读取出来从获取自己对应的数据；最后会将datasourceId注册到数据指标的表中实现数据源和数据指标绑定；
再进一步的，所述定时同步模块具体包括定时同步模块和手动同步模块：
定时同步模块：配置数据指标定时任务；
手动同步模块：配置手动执行数据指标功能；
配置的数据指标中配置了对应的定时任务，在对应的时间会定时连接对应的数据源然后查询数据源中所需要的数据同步到服务对应的数据库当中去；也提供了手动执行对应的数据指标功能，当需要的时候可以手动及时将数据源中所需要的数据同步到服务的数据库中。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种多数据源数据库定时同步的方法，其特征是所述的方法的具体步骤包括：
S1通过数据源和数据指标绑定；
S2将多数据源数据信息进行同步配置；
S3配置数据指标信息；
S4配置定时任务实现数据同步。
2.根据权利要求1所述的方法，其特征是所述S1通过数据源和数据指标绑定的具体步骤包括：
S101数据源和数据指标配置生成对应datasourceId；
S102根据数据源信息与需要同步的数据库进行连接。
3.根据权利要求2所述的方法，其特征是所述S3配置数据指标信息的具体步骤包括：
S301选择数据源信息再配置对应的cron表达式和SQL语句；
S302利用SQL语句获取对应数据；
S303将datasourceId注册到数据指标的表中实现数据源和数据指标绑定。
4.根据权利要求3所述的方法，其特征是所述S4配置定时任务实现数据同步的具体步骤包括：
S401配置数据指标定时任务；
S402配置手动执行数据指标功能。
5.一种多数据源数据库定时同步的系统，其特征是所述的系统具体包括绑定模块、信息配置模块、指标配置模块和定时同步模块：
绑定模块：通过数据源和数据指标绑定；
信息配置模块：将多数据源数据信息进行同步配置；
指标配置模块：配置数据指标信息；
定时同步模块：配置定时任务实现数据同步。
6.根据权利要求5所述的系统，其特征是所述绑定模块具体包括生成模块和连接模块：
生成模块：数据源和数据指标配置生成对应datasourceId；
连接模块：根据数据源信息与需要同步的数据库进行连接。
7.根据权利要求6所述的系统，其特征是所述指标配置模块具体包括逻辑配置模块、数据获取模块和注册绑定模块：
逻辑配置模块：选择数据源信息再配置对应的cron表达式和SQL语句；
数据获取模块：利用SQL语句获取对应数据；
注册绑定模块：将datasourceId注册到数据指标的表中实现数据源和数据指标绑定。
8.根据权利要求7所述的系统，其特征是所述定时同步模块具体包括定时同步模块和手动同步模块：
定时同步模块：配置数据指标定时任务；
手动同步模块：配置手动执行数据指标功能。
CN202110537605.4A 2021-05-18 2021-05-18 一种多数据源数据库定时同步的方法及系统 Pending CN113157657A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110537605.4A CN113157657A (zh) 2021-05-18 2021-05-18 一种多数据源数据库定时同步的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110537605.4A CN113157657A (zh) 2021-05-18 2021-05-18 一种多数据源数据库定时同步的方法及系统

Publications (1)

Publication Number Publication Date
CN113157657A true CN113157657A (zh) 2021-07-23

Family

ID=76876268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110537605.4A Pending CN113157657A (zh) 2021-05-18 2021-05-18 一种多数据源数据库定时同步的方法及系统

Country Status (1)

Country Link
CN (1) CN113157657A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2891994A1 (en) * 2013-11-04 2015-07-08 Guangdong Electronics Industry Institute Ltd. Method for achieving automatic synchronization of multisource heterogeneous data resources
CN109669983A (zh) * 2018-12-27 2019-04-23 杭州火树科技有限公司 可视化多数据源etl工具
CN110032575A (zh) * 2019-04-15 2019-07-19 网易（杭州）网络有限公司 数据查询方法、装置、设备和存储介质
CN112000732A (zh) * 2020-07-16 2020-11-27 北京计算机技术及应用研究所 一种基于触发器的异构数据库间相互同步方法
CN112765272A (zh) * 2021-01-19 2021-05-07 城云科技（中国）有限公司 多源数据同步方法、系统及其应用的模型中枢

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2891994A1 (en) * 2013-11-04 2015-07-08 Guangdong Electronics Industry Institute Ltd. Method for achieving automatic synchronization of multisource heterogeneous data resources
CN109669983A (zh) * 2018-12-27 2019-04-23 杭州火树科技有限公司 可视化多数据源etl工具
CN110032575A (zh) * 2019-04-15 2019-07-19 网易（杭州）网络有限公司 数据查询方法、装置、设备和存储介质
CN112000732A (zh) * 2020-07-16 2020-11-27 北京计算机技术及应用研究所 一种基于触发器的异构数据库间相互同步方法
CN112765272A (zh) * 2021-01-19 2021-05-07 城云科技（中国）有限公司 多源数据同步方法、系统及其应用的模型中枢

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋玲等: "VC++中应用ODBC实现异构数据库的访问", 《计算机系统应用》 *
陈宇收: "基于Datax的数据同步方案研究", 《电脑编程技巧与维护》 *

Similar Documents

Publication Publication Date Title
US8195605B2 (en) Data cache techniques in support of synchronization of databases in a distributed environment
CN110032575A (zh) 数据查询方法、装置、设备和存储介质
US9286368B2 (en) Linking framework for information technology management
WO2015062181A1 (zh) 用于实现多源异构数据资源自动同步的方法
CN106933859B (zh) 一种医疗数据的迁移方法和装置
CN110704398A (zh) 从MySQL到Oracle的数据库迁移方法、装置及计算机设备
CN103970833A (zh) 一种基于日志的异构数据库同步系统中双向同步数据循环的解决方法
CN106886535A (zh) 一种适配多种数据源的数据抽取方法和装置
CN107391611A (zh) 一种基于工作流的通用etl工具的过程模型生成方法
US10078663B2 (en) Dual overlay query processing
CN114722119A (zh) 数据同步方法及系统
CN105975489A (zh) 一种基于元数据的在线sql代码补全方法
CN112084208A (zh) 数据可视化方法及系统、存储介质及电子设备
CN109376142A (zh) 数据迁移方法及终端设备
CN111177173A (zh) 大数据环境下实现数据同步优化处理的系统及其方法
CN109271448A (zh) 基于数据库为平台的数据同步系统及方法
CN113157657A (zh) 一种多数据源数据库定时同步的方法及系统
CN111930862A (zh) 一种基于大数据平台的sql交互式分析方法及系统
RU2016129564A (ru) Способ построения единого информационного пространства и система для его осуществления
CN110472127A (zh) 一种数据查询方法及系统
CN111611227A (zh) 一种自定义监听数据库变化产生自定义消息结构的方法及控制装置
CN113254457B (zh) 一种对账方法、系统及计算机可读存储介质
CN114610803A (zh) 一种数据处理方法、装置、电子设备和存储介质
CN115048359A (zh) 一种多类型接入数据源的通用数据处理架构设计方法
CN108664503A (zh) 一种数据归档方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723