CN106294713A - 基于增量日志解析的数据同步方法和数据同步装置 - Google Patents

基于增量日志解析的数据同步方法和数据同步装置 Download PDF

Info

Publication number
CN106294713A
CN106294713A CN201610644607.2A CN201610644607A CN106294713A CN 106294713 A CN106294713 A CN 106294713A CN 201610644607 A CN201610644607 A CN 201610644607A CN 106294713 A CN106294713 A CN 106294713A
Authority
CN
China
Prior art keywords
data
mdl
incremental log
data base
resolved based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610644607.2A
Other languages
English (en)
Inventor
张志红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE ICT Technologies Co Ltd
Original Assignee
ZTE ICT Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE ICT Technologies Co Ltd filed Critical ZTE ICT Technologies Co Ltd
Priority to CN201610644607.2A priority Critical patent/CN106294713A/zh
Publication of CN106294713A publication Critical patent/CN106294713A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明提出了一种基于增量日志解析的数据同步方法和数据同步装置，其中，所述基于增量日志解析的数据同步方法包括：配置主数据库与从数据库之间的映射信息；根据所述主数据库与所述从数据库之间的交互协议，向所述主数据库发送增量日志获取请求；接收来自所述主数据库的增量日志，并对所述增量日志进行解析；根据解析结果和所述映射信息更新所述从数据库，以使所述主数据库和所述从数据库之间的数据同步。通过本发明的技术方案，可以更加准确、安全的实现数据同步。

Description

基于增量日志解析的数据同步方法和数据同步装置
技术领域
本发明涉及数据同步技术领域，具体而言，涉及一种基于增量日志解析的数据同步方法和一种基于增量日志解析的数据同步装置。
背景技术
目前，随着Internet技术的迅速发展和信息共享要求的不断提高，数据库由小型化向大型化发展，由集中式向分布式发展。能处理分散地域的分布式数据库系统成为一个重要研究方向。
对于分布式数据库系统来说，为了提高运行效率，数据就要分布在各个不同的节点，同一数据被存储在多个节点上，即存在多个副本(数据冗余)，这样就存在维护数据一致性即数据同步准确率低、安全性低。尤其是异地数据库间数据的同步。
因此，如何更加准确、安全的实现数据同步成为亟待解决的技术问题。
发明内容
本发明正是基于上述问题，提出了一种新的技术方案，可以更加准确、安全的实现数据同步。
有鉴于此，本发明的第一方面提出了一种基于增量日志解析的数据同步方法，包括：配置主数据库与从数据库之间的映射信息；根据所述主数据库与所述从数据库之间的交互协议，向所述主数据库发送增量日志获取请求；接收来自所述主数据库的增量日志，并对所述增量日志进行解析；根据解析结果和所述映射信息更新所述从数据库，以使所述主数据库和所述从数据库之间的数据同步。
在该技术方案中，通过配置主数据库与从数据库之间的映射信息，保证了在异常情况下(例如，网络发生故障)也可实现从数据库中数据的同步，而且还提高了从数据库中数据同步的准确性。另外，通过从主数据库中获取其增量日志，以更新从数据库中数据，即实现主数据库与从数据库中数据的同步，不仅保证了增量日志在传输过程中的安全，还确保了增量日志在传输过程中不会出现丢包。其中，主数据库和从数据库不仅可以是本地数据库，还可以是异地数据库。
在上述技术方案中，优选地，所述接收来自所述主数据库的增量日志之后，且所述对所述增量日志进行解析之前，还包括：生成所述主数据库与所述从数据库的数据同步状态反馈。
在该技术方案中，在对增量日志进行解析之前，虽然未完成主数据库与从数据库之间的数据同步，但是在接收到增量日志之后，表示主数据库与从数据库之间将会进行数据同步，则生成主数据库与从数据库的数据同步状态反馈，从而提高了数据同步的速度。
在上述任一技术方案中，优选地，还包括：监控所述从数据库中的数据是否更新成功；若监控到所述从数据库中的数据更新失败，提示用户手动更新所述从数据库中的数据。
在该技术方案中，通过监控从数据库的数据更新是否成功，以在更新失败时用户可以手动更新从数据库中的数据，从而保证了数据同步的可靠性。
在上述任一技术方案中，优选地，所述映射信息包括以下之一或其组合：所述主数据库的主业务表和所述从数据库的从业务表之间的映射关系、所述主业务表中的字段组与所述从业务表中的字段组之间的映射关系、所述主业务表中的字段与所述从业务表中的字段之间的映射关系。
在该技术方案中，通过配置上述的映射信息，实现了在故障时也可以进行数据同步。
另外，配置主数据库与从数据库之间的映射信息的步骤，还包括：配置数据源，即配置抽象的数据介质源信息；配置节点，即配置数据同步过程中的工作节点，每一工作节点对应一个JVM(Java Virtual Machine，Java虚拟机)；配置主数据库与从数据库之间的同步集群。
在上述任一技术方案中，优选地，所述向所述主数据库发送增量日志获取请求之后，还包括：根据资源总容量为所述主数据库所在的服务器分配资源，以供所述服务器根据分配的资源传输所述增量日志。
在该技术方案中，根据资源总容量为主数据库所在的服务器分配资源，以使资源可以平均分配到各个服务器上，从而充分利用资源，进而使得数据同步效率达到最佳状态。
本发明的第二方面提出了一种基于增量日志解析的数据同步装置，包括：配置单元，用于配置主数据库与从数据库之间的映射信息；发送单元，用于根据所述主数据库与所述从数据库之间的交互协议，向所述主数据库发送增量日志获取请求；解析单元，用于接收来自所述主数据库的增量日志，并对所述增量日志进行解析；同步单元，用于根据解析结果和所述映射信息更新所述从数据库，以使所述主数据库和所述从数据库之间的数据同步。
在该技术方案中，通过配置主数据库与从数据库之间的映射信息，保证了在异常情况下(例如，网络发生故障)也可实现从数据库中数据的同步，而且还提高了从数据库中数据同步的准确性。另外，通过从主数据库中获取其增量日志，以更新从数据库中数据，即实现主数据库与从数据库中数据的同步，不仅保证了增量日志在传输过程中的安全，还确保了增量日志在传输过程中不会出现丢包。其中，主数据库和从数据库不仅可以是本地数据库，还可以是异地数据库。
在上述技术方案中，优选地，还包括：生成单元，用于在所述接收来自所述主数据库的增量日志之后，且在所述对所述增量日志进行解析之前，生成所述主数据库与所述从数据库的数据同步状态反馈。
在该技术方案中，在对增量日志进行解析之前，虽然未完成主数据库与从数据库之间的数据同步，但是在接收到增量日志之后，表示主数据库与从数据库之间将会进行数据同步，则生成主数据库与从数据库的数据同步状态反馈，从而提高了数据同步的速度。
在上述任一技术方案中，优选地，还包括：监控单元，用于监控所述从数据库中的数据是否更新成功；提示单元，用于若监控到所述从数据库中的数据更新失败，提示用户手动更新所述从数据库中的数据。
在该技术方案中，通过监控从数据库的数据更新是否成功，以在更新失败时用户可以手动更新从数据库中的数据，从而保证了数据同步的可靠性。
在上述任一技术方案中，优选地，所述映射信息包括以下之一或其组合：所述主数据库的主业务表和所述从数据库的从业务表之间的映射关系、所述主业务表中的字段组与所述从业务表中的字段组之间的映射关系、所述主业务表中的字段与所述从业务表中的字段之间的映射关系。
在该技术方案中，通过配置上述的映射信息，实现了在故障时也可以进行数据同步。
另外，配置主数据库与从数据库之间的映射信息的步骤，还包括：配置数据源，即配置抽象的数据介质源信息；配置节点，即配置数据同步过程中的工作节点，每一工作节点对应一个JVM(Java Virtual Machine，Java虚拟机)；配置主数据库与从数据库之间的同步集群。
在上述任一技术方案中，优选地，还包括：资源分配单元，用于根据资源总容量为所述主数据库所在的服务器分配资源，以供所述服务器根据分配的资源传输所述增量日志。
在该技术方案中，根据资源总容量为主数据库所在的服务器分配资源，以使资源可以平均分配到各个服务器上，从而充分利用资源，进而使得数据同步效率达到最佳状态。
通过本发明的技术方案，可以更加准确、安全的实现数据同步。
附图说明
图1示出了根据本发明的一个实施例的基于增量日志解析的数据同步方法的流程示意图；
图2示出了根据本发明的一个实施例的基于增量日志解析的数据同步装置的结构示意图。
具体实施方式
为了可以更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的一个实施例的基于增量日志解析的数据同步方法的流程示意图。
如图1所示，根据本发明的一个实施例的基于增量日志解析的数据同步方法，包括：
步骤102，配置主数据库与从数据库之间的映射信息。
步骤104，根据所述主数据库与所述从数据库之间的交互协议，向所述主数据库发送增量日志获取请求。其中，增量日志获取请求可以是文件备份的请求，以获取到主数据库中的增量日志。
步骤106，接收来自所述主数据库的增量日志，并对所述增量日志进行解析。其中，对增量日志进行解析的结果是获取主数据库中的更新数据。
步骤108，根据解析结果和所述映射信息更新所述从数据库，以使所述主数据库和所述从数据库之间的数据同步。
在该技术方案中，通过配置主数据库与从数据库之间的映射信息，保证了在异常情况下(例如，网络发生故障)也可实现从数据库中数据的同步，而且还提高了从数据库中数据同步的准确性。另外，通过从主数据库中获取其增量日志，以更新从数据库中数据，即实现主数据库与从数据库中数据的同步，不仅保证了增量日志在传输过程中的安全，还确保了增量日志在传输过程中不会出现丢包。其中，主数据库和从数据库不仅可以是本地数据库，还可以是异地数据库。
在上述技术方案中，优选地，所述接收来自所述主数据库的增量日志之后，且所述对所述增量日志进行解析之前，还包括：生成所述主数据库与所述从数据库的数据同步状态反馈。
在该技术方案中，在对增量日志进行解析之前，虽然未完成主数据库与从数据库之间的数据同步，但是在接收到增量日志之后，表示主数据库与从数据库之间将会进行数据同步，则生成主数据库与从数据库的数据同步状态反馈，从而提高了数据同步的速度。
在上述任一技术方案中，优选地，还包括：监控所述从数据库中的数据是否更新成功；若监控到所述从数据库中的数据更新失败，提示用户手动更新所述从数据库中的数据。
在该技术方案中，通过监控从数据库的数据更新是否成功，以在更新失败时用户可以手动更新从数据库中的数据，从而保证了数据同步的可靠性。
在上述任一技术方案中，优选地，所述映射信息包括以下之一或其组合：所述主数据库的主业务表和所述从数据库的从业务表之间的映射关系、所述主业务表中的字段组与所述从业务表中的字段组之间的映射关系、所述主业务表中的字段与所述从业务表中的字段之间的映射关系。
在该技术方案中，通过配置上述的映射信息，实现了在故障时也可以进行数据同步。
另外，配置主数据库与从数据库之间的映射信息的步骤，还包括：配置数据源，即配置抽象的数据介质源信息；配置节点，即配置数据同步过程中的工作节点，每一工作节点对应一个JVM(Java Virtual Machine，Java虚拟机)；配置主数据库与从数据库之间的同步集群。
在上述任一技术方案中，优选地，所述向所述主数据库发送增量日志获取请求之后，还包括：根据资源总容量为所述主数据库所在的服务器分配资源，以供所述服务器根据分配的资源传输所述增量日志。
在该技术方案中，根据资源总容量为主数据库所在的服务器分配资源，以使资源可以平均分配到各个服务器上，从而充分利用资源，进而使得数据同步效率达到最佳状态。
图2示出了根据本发明的一个实施例的基于增量日志解析的数据同步装置的结构示意图。
如图2所示，根据本发明的一个实施例的基于增量日志解析的数据同步装置200，包括：配置单元202、发送单元204、解析单元206和同步单元208。
配置单元202，用于配置主数据库与从数据库之间的映射信息。
发送单元204，用于根据所述主数据库与所述从数据库之间的交互协议，向所述主数据库发送增量日志获取请求。
解析单元206，用于接收来自所述主数据库的增量日志，并对所述增量日志进行解析。
优选地，在接收来自主数据库的增量日志之后，对增量日志进行数据过滤和数据加工的处理。
同步单元208，用于根据解析单元206的解析结果和配置单元202配置的所述映射信息更新所述从数据库，以使所述主数据库和所述从数据库之间的数据同步。
在该技术方案中，通过配置主数据库与从数据库之间的映射信息，保证了在异常情况下(例如，网络发生故障)也可实现从数据库中数据的同步，而且还提高了从数据库中数据同步的准确性。另外，通过从主数据库中获取其增量日志，以更新从数据库中数据，即实现主数据库与从数据库中数据的同步，不仅保证了增量日志在传输过程中的安全，还确保了增量日志在传输过程中不会出现丢包。其中，主数据库和从数据库不仅可以是本地数据库，还可以是异地数据库。
在上述技术方案中，优选地，基于增量日志解析的数据同步装置200还包括：生成单元210，用于在所述接收来自所述主数据库的增量日志之后，且在所述对所述增量日志进行解析之前，生成所述主数据库与所述从数据库的数据同步状态反馈。
在该技术方案中，在对增量日志进行解析之前，虽然未完成主数据库与从数据库之间的数据同步，但是在接收到增量日志之后，表示主数据库与从数据库之间将会进行数据同步，则生成主数据库与从数据库的数据同步状态反馈，从而提高了数据同步的速度。
在上述任一技术方案中，优选地，基于增量日志解析的数据同步装置200还包括：监控单元212，用于监控所述从数据库中的数据是否更新成功；提示单元214，用于若监控到所述从数据库中的数据更新失败，提示用户手动更新所述从数据库中的数据。
在该技术方案中，通过监控从数据库的数据更新是否成功，以在更新失败时用户可以手动更新从数据库中的数据，从而保证了数据同步的可靠性。
在上述任一技术方案中，优选地，所述映射信息包括以下之一或其组合：所述主数据库的主业务表和所述从数据库的从业务表之间的映射关系、所述主业务表中的字段组与所述从业务表中的字段组之间的映射关系、所述主业务表中的字段与所述从业务表中的字段之间的映射关系。
在该技术方案中，通过配置上述的映射信息，实现了在故障时也可以进行数据同步。
另外，配置主数据库与从数据库之间的映射信息的步骤，还包括：配置数据源，即配置抽象的数据介质源信息；配置节点，即配置数据同步过程中的工作节点，每一工作节点对应一个JVM(Java Virtual Machine，Java虚拟机)；配置主数据库与从数据库之间的同步集群。
在上述任一技术方案中，优选地，基于增量日志解析的数据同步装置200还包括：资源分配单元216，用于根据资源总容量为所述主数据库所在的服务器分配资源，以供所述服务器根据分配的资源传输所述增量日志。
在该技术方案中，根据资源总容量为主数据库所在的服务器分配资源，以使资源可以平均分配到各个服务器上，从而充分利用资源，进而使得数据同步效率达到最佳状态。
以上结合附图详细说明了本发明的技术方案，可以更加准确、安全的实现数据同步，特别是可以实现异地数据库之间数据的同步。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于增量日志解析的数据同步方法，其特征在于，包括：
配置主数据库与从数据库之间的映射信息；
根据所述主数据库与所述从数据库之间的交互协议，向所述主数据库发送增量日志获取请求；
接收来自所述主数据库的增量日志，并对所述增量日志进行解析；
根据解析结果和所述映射信息更新所述从数据库，以使所述主数据库和所述从数据库之间的数据同步。
2.根据权利要求1所述的基于增量日志解析的数据同步方法，其特征在于，所述接收来自所述主数据库的增量日志之后，且所述对所述增量日志进行解析之前，还包括：
生成所述主数据库与所述从数据库的数据同步状态反馈。
3.根据权利要求1所述的基于增量日志解析的数据同步方法，其特征在于，还包括：
监控所述从数据库中的数据是否更新成功；
若监控到所述从数据库中的数据更新失败，提示用户手动更新所述从数据库中的数据。
4.根据权利要求1至3中任一项所述的基于增量日志解析的数据同步方法，其特征在于，所述映射信息包括以下之一或其组合：所述主数据库的主业务表和所述从数据库的从业务表之间的映射关系、所述主业务表中的字段组与所述从业务表中的字段组之间的映射关系、所述主业务表中的字段与所述从业务表中的字段之间的映射关系。
5.根据权利要求1至3中任一项所述的基于增量日志解析的数据同步方法，其特征在于，所述向所述主数据库发送增量日志获取请求之后，还包括：
根据资源总容量为所述主数据库所在的服务器分配资源，以供所述服务器根据分配的资源传输所述增量日志。
6.一种基于增量日志解析的数据同步装置，其特征在于，包括：
配置单元，用于配置主数据库与从数据库之间的映射信息；
发送单元，用于根据所述主数据库与所述从数据库之间的交互协议，向所述主数据库发送增量日志获取请求；
解析单元，用于接收来自所述主数据库的增量日志，并对所述增量日志进行解析；
同步单元，用于根据解析结果和所述映射信息更新所述从数据库，以使所述主数据库和所述从数据库之间的数据同步。
7.根据权利要求6所述的基于增量日志解析的数据同步装置，其特征在于，还包括：
生成单元，用于在所述接收来自所述主数据库的增量日志之后，且在所述对所述增量日志进行解析之前，生成所述主数据库与所述从数据库的数据同步状态反馈。
8.根据权利要求6所述的基于增量日志解析的数据同步装置，其特征在于，还包括：
监控单元，用于监控所述从数据库中的数据是否更新成功；
提示单元，用于若监控到所述从数据库中的数据更新失败，提示用户手动更新所述从数据库中的数据。
9.根据权利要求6至8中任一项所述的基于增量日志解析的数据同步装置，其特征在于，所述映射信息包括以下之一或其组合：所述主数据库的主业务表和所述从数据库的从业务表之间的映射关系、所述主业务表中的字段组与所述从业务表中的字段组之间的映射关系、所述主业务表中的字段与所述从业务表中的字段之间的映射关系。
10.根据权利要求6至8中任一项所述的基于增量日志解析的数据同步装置，其特征在于，还包括：
资源分配单元，用于根据资源总容量为所述主数据库所在的服务器分配资源，以供所述服务器根据分配的资源传输所述增量日志。
CN201610644607.2A 2016-08-09 2016-08-09 基于增量日志解析的数据同步方法和数据同步装置 Pending CN106294713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610644607.2A CN106294713A (zh) 2016-08-09 2016-08-09 基于增量日志解析的数据同步方法和数据同步装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610644607.2A CN106294713A (zh) 2016-08-09 2016-08-09 基于增量日志解析的数据同步方法和数据同步装置

Publications (1)

Publication Number Publication Date
CN106294713A true CN106294713A (zh) 2017-01-04

Family

ID=57666711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610644607.2A Pending CN106294713A (zh) 2016-08-09 2016-08-09 基于增量日志解析的数据同步方法和数据同步装置

Country Status (1)

Country Link
CN (1) CN106294713A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329853A (zh) * 2017-06-13 2017-11-07 上海微烛信息技术有限公司 数据库集群的备份方法、备份系统及电子设备
CN108009252A (zh) * 2017-12-04 2018-05-08 传神语联网网络科技股份有限公司 数据同步的方法及装置
CN108763234A (zh) * 2018-02-01 2018-11-06 宝付网络科技（上海）有限公司 一种数据实时同步方法及系统
CN109344200A (zh) * 2018-10-10 2019-02-15 武汉达梦数据库有限公司 一种被动式数据同步方法及系统
CN109597687A (zh) * 2018-10-31 2019-04-09 东软集团股份有限公司 数据同步的资源分配方法、装置、存储介质和电子设备
CN109783573A (zh) * 2018-12-18 2019-05-21 北京华夏电通科技有限公司 多路推送的数据同步方法及终端
CN110046168A (zh) * 2019-03-28 2019-07-23 苏宁易购集团股份有限公司 一种增量数据一致性实现方法及装置
CN110232097A (zh) * 2019-06-21 2019-09-13 北京奇艺世纪科技有限公司 一种数据同步方法及装置
CN110740291A (zh) * 2018-07-20 2020-01-31 视联动力信息技术股份有限公司 一种基于视联网监控数据的同步方法及装置
CN109710698B (zh) * 2018-12-28 2020-02-21 北京明朝万达科技股份有限公司 一种数据汇聚方法、装置、电子设备及介质
CN110941665A (zh) * 2019-10-31 2020-03-31 北京浪潮数据技术有限公司 节点间的数据同步方法、数据同步装置及数据同步设备
CN113407641A (zh) * 2021-07-23 2021-09-17 中共四川省委组织部 一种基于国产数据库的数据同步方法
US11182260B1 (en) 2021-03-02 2021-11-23 International Business Machines Corporation Avoiding recovery log archive access in database accelerator environments
CN113761051A (zh) * 2020-07-01 2021-12-07 北京沃东天骏信息技术有限公司 消息推送方法、数据获取方法、装置、系统、设备和介质
US11226878B1 (en) 2021-03-02 2022-01-18 International Business Machines Corporation Accelerator-based database recovery
US11397718B2 (en) 2020-09-09 2022-07-26 International Business Machines Corporation Dynamic selection of synchronization update path
US11500733B2 (en) 2021-03-19 2022-11-15 International Business Machines Corporation Volatile database caching in a database accelerator
US11675809B2 (en) 2021-03-02 2023-06-13 International Business Machines Corporation Replicating data changes using multiple storage devices and tracking records of pending data changes stored on the storage devices
US11704335B2 (en) 2020-11-13 2023-07-18 International Business Machines Corporation Data synchronization in a data analysis system
US11797570B2 (en) 2021-03-19 2023-10-24 International Business Machines Corporation Asynchronous persistency of replicated data changes in a database accelerator

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609479A (zh) * 2012-01-20 2012-07-25 北京神州数码思特奇信息技术股份有限公司 一种内存数据库节点复制方法
CN104951474A (zh) * 2014-03-31 2015-09-30 阿里巴巴集团控股有限公司 一种用于获取MySQL binlog增量日志的方法和装置
CN105005618A (zh) * 2015-07-21 2015-10-28 杭州合众数据技术有限公司 一种异构数据库之间的数据同步方法及系统
CN105243067A (zh) * 2014-07-07 2016-01-13 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609479A (zh) * 2012-01-20 2012-07-25 北京神州数码思特奇信息技术股份有限公司 一种内存数据库节点复制方法
CN104951474A (zh) * 2014-03-31 2015-09-30 阿里巴巴集团控股有限公司 一种用于获取MySQL binlog增量日志的方法和装置
CN105243067A (zh) * 2014-07-07 2016-01-13 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置
CN105005618A (zh) * 2015-07-21 2015-10-28 杭州合众数据技术有限公司 一种异构数据库之间的数据同步方法及系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329853A (zh) * 2017-06-13 2017-11-07 上海微烛信息技术有限公司 数据库集群的备份方法、备份系统及电子设备
CN108009252A (zh) * 2017-12-04 2018-05-08 传神语联网网络科技股份有限公司 数据同步的方法及装置
CN108763234A (zh) * 2018-02-01 2018-11-06 宝付网络科技（上海）有限公司 一种数据实时同步方法及系统
CN110740291A (zh) * 2018-07-20 2020-01-31 视联动力信息技术股份有限公司 一种基于视联网监控数据的同步方法及装置
CN109344200A (zh) * 2018-10-10 2019-02-15 武汉达梦数据库有限公司 一种被动式数据同步方法及系统
CN109344200B (zh) * 2018-10-10 2021-01-26 武汉达梦数据库股份有限公司 一种被动式数据同步方法及系统
CN109597687A (zh) * 2018-10-31 2019-04-09 东软集团股份有限公司 数据同步的资源分配方法、装置、存储介质和电子设备
CN109783573A (zh) * 2018-12-18 2019-05-21 北京华夏电通科技有限公司 多路推送的数据同步方法及终端
CN109710698B (zh) * 2018-12-28 2020-02-21 北京明朝万达科技股份有限公司 一种数据汇聚方法、装置、电子设备及介质
CN110046168B (zh) * 2019-03-28 2021-03-26 南京苏宁软件技术有限公司 一种增量数据一致性实现方法及装置
CN110046168A (zh) * 2019-03-28 2019-07-23 苏宁易购集团股份有限公司 一种增量数据一致性实现方法及装置
CN110232097A (zh) * 2019-06-21 2019-09-13 北京奇艺世纪科技有限公司 一种数据同步方法及装置
CN110941665A (zh) * 2019-10-31 2020-03-31 北京浪潮数据技术有限公司 节点间的数据同步方法、数据同步装置及数据同步设备
CN113761051A (zh) * 2020-07-01 2021-12-07 北京沃东天骏信息技术有限公司 消息推送方法、数据获取方法、装置、系统、设备和介质
US11397718B2 (en) 2020-09-09 2022-07-26 International Business Machines Corporation Dynamic selection of synchronization update path
US11704335B2 (en) 2020-11-13 2023-07-18 International Business Machines Corporation Data synchronization in a data analysis system
US11182260B1 (en) 2021-03-02 2021-11-23 International Business Machines Corporation Avoiding recovery log archive access in database accelerator environments
US11226878B1 (en) 2021-03-02 2022-01-18 International Business Machines Corporation Accelerator-based database recovery
US11675809B2 (en) 2021-03-02 2023-06-13 International Business Machines Corporation Replicating data changes using multiple storage devices and tracking records of pending data changes stored on the storage devices
US11500733B2 (en) 2021-03-19 2022-11-15 International Business Machines Corporation Volatile database caching in a database accelerator
US11797570B2 (en) 2021-03-19 2023-10-24 International Business Machines Corporation Asynchronous persistency of replicated data changes in a database accelerator
CN113407641A (zh) * 2021-07-23 2021-09-17 中共四川省委组织部 一种基于国产数据库的数据同步方法

Similar Documents

Publication Publication Date Title
CN106294713A (zh) 基于增量日志解析的数据同步方法和数据同步装置
CN106412113B (zh) 一种能源云服务系统及其通信方法
CN101309175B (zh) 网格许可服务器和容错网格系统及使用方法
US10341509B2 (en) Client device state collection and network-based processing solution
CN110955725B (zh) 一种工业互联网标识解析根节点数据同步方法
CN104468648B (zh) 数据处理系统及方法
CN108134764B (zh) 一种分布式数据共享交换方法及系统
CN104168333B (zh) Proxzone服务平台的工作方法
US10127296B2 (en) Cooperative naming for configuration items in a distributed configuration management database environment
US10956501B2 (en) Network-wide, location-independent object identifiers for high-performance distributed graph databases
CN105955674B (zh) 虚拟机磁盘镜像模块化快速组装方法、装置和系统
CN113515364B (zh) 一种数据迁移的方法及装置、计算机设备和存储介质
KR20130114575A (ko) 프로비저닝 서비스를 위한 리더 중재
CN102843432B (zh) 适用于多客户端数据共享和同步更新的网络通信系统
CN103475734A (zh) 一种Linux集群用户备份迁移的方法
CN111708668B (zh) 集群故障的处理方法、装置及电子设备
WO2015139565A1 (en) Heterogeneous logging system management configuration
EP3403432B1 (en) Database based redundancy in a telecommunications network
CN102036188A (zh) 多节点系统下的邮件代理方法、设备和系统
Gankevich et al. Subordination: Cluster management without distributed consensus
CN104954505B (zh) Dns数据更新全过程的监测方法及系统
CN110008006B (zh) 基于容器的大数据工具部署方法及系统
CN106657360A (zh) 一种Linux系统下NIS服务器的同步方法和系统
EP3306471B1 (en) Automatic server cluster discovery
CN115422184A (zh) 一种数据获取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170104

RJ01 Rejection of invention patent application after publication