CN108228621A - 一种异地实时同步sql数据的方法 - Google Patents

一种异地实时同步sql数据的方法 Download PDF

Info

Publication number
CN108228621A
CN108228621A CN201611157645.1A CN201611157645A CN108228621A CN 108228621 A CN108228621 A CN 108228621A CN 201611157645 A CN201611157645 A CN 201611157645A CN 108228621 A CN108228621 A CN 108228621A
Authority
CN
China
Prior art keywords
strange land
data
real
database
time synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611157645.1A
Other languages
English (en)
Inventor
许德朕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Blessing Health Management Consulting Co Ltd
Original Assignee
Shanghai Blessing Health Management Consulting Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Blessing Health Management Consulting Co Ltd filed Critical Shanghai Blessing Health Management Consulting Co Ltd
Priority to CN201611157645.1A priority Critical patent/CN108228621A/zh
Publication of CN108228621A publication Critical patent/CN108228621A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种异地实时同步SQL数据的方法，所述异地实时同步SQL数据的方法包括：对数据库的增量日志进行解析；对解析的数据进行过滤加工处理；建立异地数据库之间的链接并进行延迟优化；将过滤加工处理后的数据按需求分配到相应的异地数据库中。能够实时的同步高延迟的多个区域的数据库数据.方便逻辑开发,跨区域的实时数据访问。

Description

一种异地实时同步SQL数据的方法
技术领域
本发明涉及数据库管理领域，尤其涉及一种异地实时同步SQL数据的方法。
背景技术
随着时代的发展，数据传输呈全球化趋势，而目前在数据库管理领域，异地调用数据显得非常慢。
发明内容
鉴于目前存在的上述不足，本发明提供一种异地实时同步SQL数据的方法，能够实现MySQL超远距离实时同步。
为达到上述目的，本发明的实施例采用如下技术方案：
一种异地实时同步SQL数据的方法，所述异地实时同步SQL数据的方法包括以下步骤：
对数据库的增量日志进行解析；
对解析的数据进行过滤加工处理；
建立异地数据库之间的链接并进行延迟优化；
将过滤加工处理后的数据按需求分配到相应的异地数据库中。
依照本发明的一个方面，所述建立异地数据库之间的链接并进行延迟优化包括：采用protobuf进行传输数据。
依照本发明的一个方面，所述建立异地数据库之间的链接并进行延迟优化包括：通过权限控制建立异地数据库之间的连接，对数据库内容进行认购并在验证通过后获得连接。
依照本发明的一个方面，数据库进行数据处理，并通过认购内容返回相应数据。
依照本发明的一个方面，所述对数据库的增量日志进行解析包括以下步骤：
增量订阅组件canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议；
mysql master收到dump请求，开始推送binary log给slave(也就是canal)；
canal解析binary log对象(原始为byte流)。
依照本发明的一个方面，所述进行延迟优化包括：通过2PC异步响应模型进行高并发响应。
本发明实施的优点：本发明所述的异地实时同步SQL数据的方法包括：对数据库的增量日志进行解析；对解析的数据进行过滤加工处理；建立异地数据库之间的链接并进行延迟优化；将过滤加工处理后的数据按需求分配到相应的异地数据库中；能够实时的同步高延迟的多个区域的数据库数据.方便逻辑开发,跨区域的实时数据访问。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述的一种异地实时同步SQL数据的方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种异地实时同步SQL数据的方法，所述异地实时同步SQL数据的方法包括以下步骤：
步骤S1：对数据库的增量日志进行解析；
所述步骤S1对数据库的增量日志进行解析的具体实施方式可为：
增量订阅组件canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议；
mysql master收到dump请求，开始推送binary log给slave(也就是canal)；
canal解析binary log对象(原始为byte流)。
步骤S2：对解析的数据进行过滤加工处理；
所述步骤S2对解析的数据进行过滤加工处理的具体实施方式可为：首先增量订阅组件canal对异地数据库相关内容进行订阅，数据库将解析后的数据按照订阅要求进行过滤加工处理，得到最终订阅的数据。
步骤S3：建立异地数据库之间的链接并进行延迟优化；
所述步骤S3建立异地数据库之间的链接并进行延迟优化的具体实施方式：采用protobuf来摒弃传统的xml进行传输数据；通过权限控制建立异地数据库之间的连接，对数据库内容进行认购并在验证通过后获得连接；数据库进行数据处理，并通过认购内容返回相应数据。
在实际应用中，通过2PC异步响应模型进行高并发响应。
步骤S4：将过滤加工处理后的数据按需求分配到相应的异地数据库中。
本发明实施的优点：本发明所述的异地实时同步SQL数据的方法包括：对数据库的增量日志进行解析；对解析的数据进行过滤加工处理；建立异地数据库之间的链接并进行延迟优化；将过滤加工处理后的数据按需求分配到相应的异地数据库中；能够实时的同步高延迟的多个区域的数据库数据.方便逻辑开发,跨区域的实时数据访问。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种异地实时同步SQL数据的方法，其特征在于，所述异地实时同步SQL数据的方法包括以下步骤：
对数据库的增量日志进行解析；
对解析的数据进行过滤加工处理；
建立异地数据库之间的链接并进行延迟优化；
将过滤加工处理后的数据按需求分配到相应的异地数据库中。
2.根据权利要求1所述的异地实时同步SQL数据的方法，其特征在于，所述建立异地数据库之间的链接并进行延迟优化包括：采用protobuf进行传输数据。
3.根据权利要求2所述的异地实时同步SQL数据的方法，其特征在于，所述建立异地数据库之间的链接并进行延迟优化包括：通过权限控制建立异地数据库之间的连接，对数据库内容进行认购并在验证通过后获得连接。
4.根据权利要求3所述的异地实时同步SQL数据的方法，其特征在于，数据库进行数据处理，并通过认购内容返回相应数据。
5.根据权利要求1至4之一所述的异地实时同步SQL数据的方法，其特征在于，所述对数据库的增量日志进行解析包括以下步骤：
增量订阅组件canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysqlmaster发送dump协议；
mysql master收到dump请求，开始推送binary log给slave(也就是canal)；
canal解析binary log对象(原始为byte流)。
6.根据权利要求5所述的异地实时同步SQL数据的方法，其特征在于，所述进行延迟优化包括：通过2PC异步响应模型进行高并发响应。
CN201611157645.1A 2016-12-15 2016-12-15 一种异地实时同步sql数据的方法 Pending CN108228621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611157645.1A CN108228621A (zh) 2016-12-15 2016-12-15 一种异地实时同步sql数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611157645.1A CN108228621A (zh) 2016-12-15 2016-12-15 一种异地实时同步sql数据的方法

Publications (1)

Publication Number Publication Date
CN108228621A true CN108228621A (zh) 2018-06-29

Family

ID=62651261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611157645.1A Pending CN108228621A (zh) 2016-12-15 2016-12-15 一种异地实时同步sql数据的方法

Country Status (1)

Country Link
CN (1) CN108228621A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046434A (zh) * 2019-12-19 2020-04-21 济南东驰网络科技有限公司 基于canal实现数据脱敏的一种方法
CN111177254A (zh) * 2019-12-05 2020-05-19 武汉达梦数据库有限公司 一种异构关系型数据库之间数据同步的方法和装置
CN111324618A (zh) * 2020-02-18 2020-06-23 青岛农业大学 一种异地实时同步药用生物资源数据的系统及方法
WO2020147392A1 (zh) * 2019-01-16 2020-07-23 平安科技（深圳）有限公司 数据库之间的数据同步方法和系统
CN113760836A (zh) * 2021-01-27 2021-12-07 北京京东振世信息技术有限公司 一种宽表计算方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020147392A1 (zh) * 2019-01-16 2020-07-23 平安科技（深圳）有限公司 数据库之间的数据同步方法和系统
CN111177254A (zh) * 2019-12-05 2020-05-19 武汉达梦数据库有限公司 一种异构关系型数据库之间数据同步的方法和装置
CN111046434A (zh) * 2019-12-19 2020-04-21 济南东驰网络科技有限公司 基于canal实现数据脱敏的一种方法
CN111324618A (zh) * 2020-02-18 2020-06-23 青岛农业大学 一种异地实时同步药用生物资源数据的系统及方法
CN113760836A (zh) * 2021-01-27 2021-12-07 北京京东振世信息技术有限公司 一种宽表计算方法和装置
CN113760836B (zh) * 2021-01-27 2024-04-12 北京京东振世信息技术有限公司 一种宽表计算方法和装置

Similar Documents

Publication Publication Date Title
CN108228621A (zh) 一种异地实时同步sql数据的方法
CN102685239B (zh) 分布式渲染方法
CN103699638B (zh) 一种基于配置参数实现跨数据库类型同步数据的方法
CN112118321A (zh) 一种工业区块链的实用拜占庭容错共识机制优化系统
CN105574109A (zh) 一种数据库同步方法、同步设备及系统
CN105447253B (zh) 一种三维工艺数据的集成方法
CN103839155A (zh) 一种基于语义网关的异构信息系统模型集成方法
CN109508355A (zh) 一种数据抽取方法、系统及终端设备
CN104077671A (zh) 一种同步库存信息的方法和系统
CN103970833A (zh) 一种基于日志的异构数据库同步系统中双向同步数据循环的解决方法
CN104750866B (zh) 基于嵌入式web服务器动态生成菜单栏的方法及系统
CN110222407A (zh) 一种bim数据的融合方法及装置
US20180121532A1 (en) Data table partitioning management method and apparatus
Törmä et al. Distributed transactional building information management
CN104517014A (zh) 一种基于Pro/E的产品自动装配设计系统及其装配处理算法
CN103914293B (zh) 生成页面的方法及服务器
CN109992801B (zh) 一种基于pads软件的pcb更新方法
CA3019543C (en) Generating source code for creating database triggers
CN102955801A (zh) 基于分布式数据库系统的数据控制方法及系统
CN204331731U (zh) 一种基于Pro/E的产品自动装配设计系统
CN109145378B (zh) 一种快速复制pcb线段的方法及系统
CN112052295A (zh) 一种数据同步方法、装置、电子设备和可读存储介质
CN103699737A (zh) 一种多专业仿真软件数据交换方法
CN115964440A (zh) 数据同步的方法及装置、数据同步系统
CN114297292A (zh) 一种基于canal平台的数据同步系统及执行方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180629

WD01 Invention patent application deemed withdrawn after publication