CN108984337A - 一种数据同步异常的修复方法、修复装置、介质和计算设备 - Google Patents

Abstract

本发明提供一种数据同步异常的修复方法、修复装置、介质和计算设备。其中该方法用于修复数据同步过程中发生的异常，基于所述第一节点中的第一数据库日志对所述第二节点进行数据同步后，判断在第一节点与第二节点之间的数据同步是否出现异常，如果出现异常则执行如下修复步骤：在第二节点中查找第二数据与第一数据不一致的异常数据片段，并解析与该异常数据片段相对应的第二数据库日志；以及所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句，执行该回滚语句完成对异常数据片段的修复。通过本发明的方法解决了数据同步过程中第一节点与第二节点记录数据不一致的问题，提高了数据同步的效率和准确性。

Description

一种数据同步异常的修复方法、修复装置、介质和计算设备

技术领域

本发明的实施方式涉及软件技术领域，更具体地，本发明的实施方式涉及一种数据同步异常的修复方法、修复装置、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着社会发展，因工作或者其他需要，很多人都在同时使用多台计算机：家里，办公室，或者其它秘密地方。多台电脑对应多个硬盘，也对应着多个文件夹。如何进行数据同步是很多人头痛的问题，完全靠U盘来同步，时间长了根本无法记得哪个版本最新，哪个版本需要修改，到最后，弄错文件也是经常发生的事情，这时就需要多个节点之间数据同步。

MySQL是一种关系数据库管理系统，因其不是将所有数据放在一个大仓库内，而是将数据保存在不同的表中，大大增加了数据保存的速度以及灵活性，进而在各行各业广受人们使用。

目前在MySQL环境下，主机与从机之间(或多个节点之间)进行数据同步时，大都是通过主机记录操作日志并同步到从机，从机通过回放操作日志来完成数据同步。其中，MySQL环境下的操作日志模式目前支持三种格式：Statement格式、Mixed格式和ROW格式。但是Statement格式和Mixed格式的操作日志因在数据同步过程中存在无法完整记录数据的缺陷而使用受限。ROW格式的操作日志则具备如下优点：1)记录的数据完整性比较高，ROW格式的操作日志会记录整条操作记录数据；2)从机同步数据时具备较高的一致性，并且从机在数据同步过程中如果遇到所记录数据不一致的情况，从机则会中断同步并报错。但是在从机中断同步并报错时，则需要人工介入纠正错误，如此则增加了主机与从机之间(或多个节点之间)的同步延迟，并增加了管理成本。

为了避免从机同步中断，造成主机与从机之间同步延迟，现有MySQL环境内部提供了两种解决方案，一种是提供控制命令，例如提供SQL_SLAVE_SKIP_COUNTER命令，人们通过执行该命令可以跳过报错的语句，重新开启主机与从机之间的同步；另一种是提供一种参数，例如提供SLAVE_SKIP_ERRORS参数，通过在从机的配置文件中添加该参数可以强制跳过指定的同步错误，从而使得从机在同步数据时不中断。

发明内容

但是，现有的用于解决主机与从机之间(或多个节点之间)数据同步延迟的技术方案中均是跳过同步错误，通过同步不中断的方法解决同步延迟的问题，这种解决方案存在从机数据丢失的风险，极易造成主机与从机(或多个节点之间)记录的数据不一致的问题。这是非常令人烦恼的过程。

为此，非常需要一种数据同步异常的修复方法，以使主机与从机之间(或多个节点之间)数据同步一致。

在本上下文中，本发明的实施方式期望提供一种数据同步异常的修复方法、修复装置、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种数据同步异常的修复方法，用于修复第一节点与第二节点之间数据同步过程中发生的异常，其中所述第一节点记录第一数据、所述第二节点记录第二数据，基于所述第一节点中的第一数据库日志对所述第二节点进行数据同步后，判断在第一节点与第二节点之间的数据同步是否出现异常，如果出现异常则执行如下修复步骤：在第二节点中查找第二数据与第一数据不一致的异常数据片段，并解析与该异常数据片段相对应的第二数据库日志；以及所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句，执行该回滚语句完成对异常数据片段的修复。

在本发明的一个实施例中，所述修复方法用于修复MySQL环境下第一节点与第二节点之间数据同步过程中的异常，其中第一节点中的第一数据库日志是第一格式。

在本发明的另一个实施例中，所述第一节点中的第一数据库日志的第一格式是ROW格式。

在本发明的又一个实施例中，所述判断在第一节点与第二节点之间进行数据同步时是否出现异常的步骤，包括：连接第二节点，判断所述第一节点与所述第二节点之间数据同步异常的类型，如果所述第一节点与所述第二节点之间数据同步异常的类型不是指定的类型则退出报错。

在本发明的再一个实施例中，所述第一节点与所述第二节点之间数据同步异常的指定类型包括1032类型和/或1062类型。

在本发明的再一个实施例中，所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句，执行该回滚语句完成对异常数据片段的修复的步骤，包括：在所述第二节点中查找与异常数据片段相对应的第二数据库日志的起始偏移量和结束偏移量；以及根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句。

在本发明的再一个实施例中，所述第二节点中与异常数据片段相对应的第二数据库日志的起始偏移量是与异常数据片段相对应的第二数据库日志中当前的扫描偏移量。

在本发明的再一个实施例中，所述第二节点中与异常数据片段相对应的第二数据库日志的结束偏移量是本次数据同步时第二数据库日志的当前位置加第二数据库日志的结束位置与第二数据库日志的开始位置的差。

在本发明的再一个实施例中，根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句的步骤，包括：自所述第二节点中当前的扫描偏移量处的与异常数据片段相对应的第二数据库日志中所记录的相关信息开始生成回滚语句，直至扫描偏移量与结束偏移量重合，则终止生成回滚语句。

在本发明的再一个实施例中，根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句的步骤，包括：解析起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志；获取该与异常数据片段相对应的第二数据库日志中的操作的表；获取该操作的表的相关信息；以及根据该操作的表中的相关信息生成回滚语句。

在本发明的再一个实施例中，获取该与异常数据片段相对应的第二数据库日志中的操作的表的步骤后，还包括：根据预设条件验证所述操作的表，如所述操作的表不符合预设条件，则退出报错。

在本发明的再一个实施例中，所述预设条件为所述操作的表具有主键和/或唯一索引。

在本发明的再一个实施例中，所述操作的表的相关信息至少包括：字段、属性和索引。

在本发明的再一个实施例中，所述第二节点根据该操作的表中的字段和属性生成回滚语句。

在本发明的再一个实施例中，所述操作的表中记录的相关信息还包括操作类型。

在本发明的再一个实施例中，所述操作类型包括更新操作、删除操作和写入操作中的至少一种。

在本发明的再一个实施例中，所述回滚语句是幂等语句。

在本发明实施方式的第二方面中，提供了一种用于数据同步异常时的修复装置，该修复装置用于修复第一节点与第二节点之间数据同步过程中发生的异常，其中所述第一节点记录第一数据、所述第二节点记录第二数据，该修复装置基于所述第一节点中的第一数据库日志对所述第二节点进行数据同步后，判断在第一节点与第二节点之间的数据同步是否出现异常，如果出现异常则执行修复操作，该修复装置包括：第一处理单元，用于在第二节点中查找第二数据与第一数据不一致的异常数据片段，并解析与该异常数据片段相对应的第二数据库日志；以及第二处理单元，用于在所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句后，执行该回滚语句完成对异常数据片段的修复。

在本发明的一个实施例中，所述修复装置用于修复MySQL环境下第一节点与第二节点之间数据同步过程中的异常，其中第一节点中的第一数据库日志是第一格式。

在本发明的另一实施例中，所述第一节点中的第一数据库日志的第一格式是ROW格式。

在本发明的又一个实施例中，还包括：判断单元，用于在连接第二节点后，判断所述第一节点与所述第二节点之间数据同步异常的类型，如果所述第一节点与所述第二节点之间数据同步异常的类型不是指定的类型则退出报错。

在本发明的再一个实施例中，所述第一节点与所述第二节点之间数据同步异常的指定类型包括1032类型和/或1062类型。

在本发明的再一个实施例中，所述第二处理单元包括：查询单元，用于在所述第二节点中查找与异常数据片段相对应的第二数据库日志的起始偏移量和结束偏移量；以及第一回滚语句生成单元，用于根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句。

在本发明的再一个实施例中，所述查询单元中的起始偏移量是与异常数据片段相对应的第二数据库日志中当前的扫描偏移量。

在本发明的再一个实施例中，所述查询单元中的结束偏移量是本次数据同步时第二数据库日志的当前位置加第二数据库日志的结束位置与第二数据库日志的开始位置的差。

在本发明的再一个实施例中，所述第二处理单元包括：第三处理单元，用于自所述第二节点中当前的扫描偏移量处的与异常数据片段相对应的第二数据库日志中所记录的相关信息开始生成回滚语句，直至扫描偏移量与结束偏移量重合，则终止生成回滚语句。

在本发明的再一个实施例中，所述第三处理单元包括：解析单元，用于解析起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志；第一获取单元，用于获取该与异常数据片段相对应的第二数据库日志中的操作的表；第二获取单元，用于获取该操作的表的相关信息；以及第二回滚语句生成单元，用于根据该操作的表中的相关信息生成回滚语句。

在本发明的再一个实施例中，所述第一获取单元还包括：验证单元，用于根据预设条件验证所述操作的表，如所述操作的表不符合预设条件，则退出报错。

在本发明的再一个实施例中，所述验证单元中的预设条件为所述操作的表具有主键和/或唯一索引。

在本发明的再一个实施例中，所述第一获取单元中操作的表的相关信息至少包括：字段、属性和索引。

在本发明的再一个实施例中，所述第二回滚语句生成单元根据该操作的表中的字段和属性生成回滚语句。

在本发明的再一个实施例中，所述第一获取单元中操作的表中记录的相关信息还包括操作类型。

在本发明的再一个实施例中，所述操作类型包括更新操作、删除操作和写入操作中的至少一种。

在本发明的再一个实施例中，所述回滚语句是幂等语句。

在本发明实施方式的第三方面中，提供了一种介质，该介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本发明实施方式的第一方面中任一实施例的方法。

在本发明实施方式的第四方面中，提供了一种计算设备，包括上述实施方式第三方面中所提供的介质。

通过本发明提供的技术方案，可以解决主机和从机(或多个节点)之间同步延迟的问题，并且不存在从机在同步时丢失数据的风险，使主机与从机(或多个节点)数据同步一致，为用户带来了更好的体验。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了本发明实施方式适用场景的结构示意图；

图2示意性地示出了根据本发明实施例涉及的一种数据同步异常的修复方法的流程示意图；

图3示意性地示出了根据本发明实施例涉及的一种数据同步异常的修复方法的另一流程示意图；

图4示意性地示出了根据本发明实施例涉及的一种用于数据同步异常时的修复装置的结构示意图；

图5示意性地示出了根据本发明实施例涉及的一种用于数据同步异常时的修复装置的另一结构示意图；

图6示意性地示出了根据本发明实施例涉及的一种介质的结构示意图；

图7示意性地示出了根据本发明实施例涉及的一种计算设备的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种数据同步异常的修复方法、修复装置、介质和计算设备。

在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，目前在MySQL环境下，主机与从机(或多个节点)之间进行数据同步，如果从机在数据同步过程中遇到与主机所记录数据不一致的情况，则会中断同步并报错。为了避免从机同步中断，造成主机与从机之间同步延迟，现有MySQL环境内部提供的解决方案大都是通过执行命令或设置参数来跳过报错或跳过指定错误，从而使得从机在同步时不中断。因此目前的这种解决方案存在从机数据丢失的风险，极易造成主机与从机之间(或多个节点之间)记录的数据不一致的问题。

针对上述问题，本发明提供了一种数据同步异常的修复方法、修复装置、介质和计算设备，用于修复第一节点(例如可以是主机)与第二节点(例如可以是从机)之间数据同步过程中发生的异常，其中第一节点记录第一数据、第二节点记录第二数据，基于第一节点中的第一数据库日志对第二节点进行数据同步后，判断在第一节点与第二节点之间的数据同步是否出现异常，如果出现异常，则在第二节点中查找第二数据与第一数据不一致的异常数据片段，并解析与该异常数据片段相对应的第二数据库日志；以及第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句，执行该回滚语句完成对异常数据片段的修复。即本发明提供的技术方案是在判断出第一节点与第二节点之间数据同步出现异常后，在第二节点中查找异常数据片段并解析与该异常数据片段相对应的第二数据库日志，根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句，并通过执行该回滚语句以完成对异常数据片段的修复，从而使得第二节点中记录的数据与第一节点中记录的数据一致。通过本发明提供的技术方案，可以解决同步过程中主机与从机(或多个节点)之间记录数据不一致的问题，并且不存在从机在同步时丢失数据的风险，使主机与从机(或多个节点)之间数据同步一致。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

参考图1，本发明实施例可以应用于如图1所示的多个设备间进行数据同步的场景。本发明实施例涉及的第一节点和第二节点，可以是相同类型的设备，也可以是不同类型的设备。例如第一节点可以是主机、存储器、服务器或终端等，第二节点可以是从机、存储器、服务器或终端等；第一节点的数量可以为一个或多个，第二节点的数量也可以为一个或多个，本实施例中并不限定。

示例性方法

下面结合图1所示的应用场景，参考图2来描述根据本发明示例性实施方式的用于数据同步异常时的修复方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

如图2所示，本发明实施例提供了一种数据同步异常的修复方法，用于修复第一节点与第二节点之间数据同步过程中发生的异常，其中所述第一节点记录第一数据、所述第二节点记录第二数据，基于所述第一节点中的第一数据库日志对所述第二节点进行数据同步后，判断在第一节点与第二节点之间的数据同步是否出现异常。具体来说，可以在连接第一节点(例如可以是主机)与第二节点(例如可以是从机)后，执行控制指令，通过该控制指令判断第一节点与第二节点的工作状态是否正常，即判断第二节点记录的数据与第一节点中记录的数据是否一致，如不一致，则表示第一节点与第二节点之间数据同步是异常的，则执行如下修复步骤：

S201、在第二节点中查找第二数据与第一数据不一致的异常数据片段，并解析与该异常数据片段相对应的第二数据库日志。具体来说，即在第二节点中查找其记录的第二数据与第一节点中所记录的第一数据不一致的异常数据片段，并查找第二节点中的第二数据库日志，解析与该异常数据片段对应的第二数据库日志。

作为示例，本发明实施方式中的修复方法用于修复MySQL环境下第一节点与第二节点之间数据同步过程中的异常，其中第一节点中的第一数据库日志是第一格式。所述第一节点中的第一数据库日志的第一格式可以是ROW格式。ROW格式的第一数据库日志中会清楚的记录每一行数据被修改的细节，并且较少会出现复制错误的问题，降低了本发明实施方式的数据同步过程中数据丢失的风险，提高了数据同步的效率和准确率。

如图3所示，作为示例，本发明实施方式中的判断在第一节点与第二节点之间进行数据同步时是否出现异常的步骤，包括：

S301、连接第二节点，判断所述第一节点与所述第二节点之间数据同步异常的类型，如果所述第一节点与所述第二节点之间数据同步异常的类型不是指定的类型则退出报错。具体来说，即将第一节点与第二节点连接后进行同步，在同步过程中检测第二节点中记录的数据是否与第一节点中的数据不一致，如果不一致，则排查同步过程中数据不一致的原因，即判断第一节点与第二节点之间数据同步异常的类型。如果第一节点与第二节点之间数据同步异常的类型是指定类型，则执行本发明实施方式中的修复操作，否则，退出报错。

其中，所述第一节点与所述第二节点之间数据同步异常的指定类型包括1032类型和/或1062类型。1032类型是指第二节点中的数据被误删造成需要更改的数据不存在，即使更新也无法恢复从而造成了第一节点与第二节点之间同步失败或同步停止，使得第一节点与第二节点之间同步的数据不一致；1062类型是指第二节点在同步过程中插入数据，造成第一节点与第二节点之间数据不一致。当然本发明实施例中的数据同步异常的指定类型也可以是其他类型，并不仅仅局限于此。

S202、所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句，执行该回滚语句完成对异常数据片段的修复。其中，为了提高数据同步异常的修复效率，本发明实施方式中回滚语句可以是幂等语句。当然本发明实施方式中的回滚语句还可以是其他类型的语句并不仅仅局限于此。

作为示例，本发明实施方式中的所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句，执行该回滚语句完成对异常数据片段的修复的步骤，包括：在所述第二节点中查找与异常数据片段相对应的第二数据库日志的起始偏移量和结束偏移量；以及根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句。具体来说，可以在第二节点(例如可以是从机)执行控制命令，通过执行该控制命令使得第二节点(例如可以是从机)回放与异常数据片段相对应的第二数据库日志。其中，控制命令例如可以是show slave status命令，第二节点(例如可以是从机)通过执行show slave status命令可回放与异常数据片段相对应的第二数据库日志。通过与异常数据片段相对应的第二数据库日志的起始偏移量和结束偏移量之间记录的相关信息生成回滚语句，执行回滚语句以完成对异常数据片段的修复。

作为示例，本发明实施方式中的第二节点中与异常数据片段相对应的第二数据库日志的起始偏移量是与异常数据片段相对应的第二数据库日志中当前的扫描偏移量。将与异常数据片段相对应的第二数据库日志时的当前扫描偏移量设置为起始偏移量，从当前的扫描偏移量处记录的相关信息开始生成回滚语句，可提高对异常数据片段修复的效率。当然本发明实施例中的起始偏移量也可以是其他指定位置，并不仅仅局限于此。

作为示例，本发明实施方式中的第二节点中与异常数据片段相对应的第二数据库日志的结束偏移量是本次数据同步时第二数据库日志的当前位置加第二数据库日志的结束位置与第二数据库日志的开始位置的差。其中，第二数据库日志中当前位置可以是起始偏移量。那么，本发明实施例可以按照如下公式计算第二节点中与异常数据片段相对应的第二数据库日志的结束偏移量：

End Offset＝Relay_Log_Pos+(End_Log_Pos-Exec_Master_Log_Pos)该公式中，

End Offset表示结束偏移量；

Relay_Log_Pos表示本次数据同步时第二数据库日志的当前位置；

End_Log_Pos表示本次数据同步时第二数据库日志的结束位置；

Exec_Master_Log_Pos表示本次数据同步时第二数据库日志的开始位置。

作为示例，本发明实施方式中的根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句的步骤，包括：自所述第二节点中当前的扫描偏移量处的与异常数据片段相对应的第二数据库日志中所记录的相关信息开始生成回滚语句，直至扫描偏移量与结束偏移量重合，则终止生成回滚语句。具体来说，当起始偏移量或扫描偏移量与结束偏移量重合，即自第二节点中与异常数据片段相对应的第二数据库日志中的起始偏移量或当前扫描偏移量与结束偏移量之间的相关信息均生成回滚语句后，则终止生成回滚语句。

作为示例，本发明实施方式中的根据起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句的步骤，包括：解析起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志；获取该与异常数据片段相对应的第二数据库日志中的操作的表；获取该操作的表的相关信息；以及根据该操作的表中的相关信息生成回滚语句。具体来说，即解析与异常数据片段相对应的第二数据库日志，从中获取操作的表，根据操作的表中的相关信息生成回滚语句。例如，自起始偏移量处解析与异常数据片段相对应的第二数据库日志，获取类型为TABLE_MAP_EVENT的文件，通过解析该文件获取操作的表，进而从该操作的表中提取相关信息，根据所提取的相关信息生成回滚语句。

作为示例，本发明实施方式中的获取该与异常数据片段相对应的第二数据库日志中的操作的表的步骤后，还包括：根据预设条件验证所述操作的表，如所述操作的表不符合预设条件，则退出报错。其中，预设条件为所述操作的表具有主键和/或唯一索引。具体来说，即验证所获取的操作的表是否具有主键和唯一索引中至少一种，如有则继续修复同步过程中的不一致数据；如无，则退出修复并报错。其中，可以采用查询数据库表的方式来获取操作的表的主键和唯一索引，所查询的数据库表例如可以是INFORMATION_SCHEMA.STATISTICS等等。

作为示例，本发明实施方式中的所述操作的表中记录的相关信息还包括操作类型。具体的，操作类型包括更新操作、删除操作和写入操作中的至少一种。当然本发明实施例中的操作类型还可以包括其他操作，并不仅仅局限于此。其中，在ROW格式的第二操作日志中，更新操作、删除操作和写入操作会对应记录在UPDATE_ROWS_EVENT、WRITE_ROWS_EVENT和DELETE_ROWS_EVENT类型的文件中。对于更新操作来说，其对应的UPDATE_ROWS_EVENT文件不仅包含了修改后的数据，还包含了修改前的数据；对于写入操作来说，其对应的WRITE_ROWS_EVENT文件还包含了要插入的数据。

作为示例，本发明实施方式中的操作的表的相关信息至少包括：字段、属性和索引等等。其中，本发明实施方式中的第二节点根据该操作的表中的字段和属性生成回滚语句。回滚语句例如可以是DELETE语句或REPLACE语句等。

示例性装置

在介绍了本发明示例性实施方式的方法之后，接下来，介绍本发明提供的示例性实施的装置。

参考图4，本发明提供了一种用于数据同步异常时的修复装置，该修复装置可以实现图2对应的对本发明示例性实施方式中的方法，其工作原理与本发明示例性实施方式中的方法的工作原理一致，此处不再赘述。该修复装置用于修复第一节点与第二节点之间数据同步过程中发生的异常，其中所述第一节点记录第一数据、所述第二节点记录第二数据，参阅图4所示，该修复装置基于所述第一节点中的第一数据库日志对所述第二节点进行数据同步后，判断在第一节点与第二节点之间的数据同步是否出现异常，如果出现异常则执行修复操作，该修复装置包括第一处理单元和第二处理单元，其中，

第一处理单元401，用于在第二节点中查找第二数据与第一数据不一致的异常数据片段，并解析与该异常数据片段相对应的第二数据库日志；以及

第二处理单元402，用于在所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句后，执行该回滚语句完成对异常数据片段的修复。

作为示例，本发明实施方式中的修复装置用于修复MySQL环境下第一节点与第二节点之间数据同步过程中的异常，其中第一节点中的第一数据库日志是第一格式。

作为示例，本发明实施方式中的第一节点中的第一数据库日志的第一格式是ROW格式。

如图5所示，作为示例，本发明实施方式中的修复装置还包括：判断单元501，用于在连接第二节点后，判断所述第一节点与所述第二节点之间数据同步异常的类型，如果所述第一节点与所述第二节点之间数据同步异常的类型不是指定的类型则退出报错。

作为示例，本发明实施方式中的第一节点与所述第二节点之间数据同步异常的指定类型包括1032类型和/或1062类型。

作为示例，本发明实施方式中的第二处理单元包括：查询单元，用于在所述第二节点中查找与异常数据片段相对应的第二数据库日志的起始偏移量和结束偏移量；以及第一回滚语句生成单元，用于根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句。

作为示例，本发明实施方式中的查询单元中的起始偏移量是与异常数据片段相对应的第二数据库日志中当前的扫描偏移量。

作为示例，本发明实施方式中的查询单元中的结束偏移量是本次数据同步时第二数据库日志的当前位置加第二数据库日志的结束位置与第二数据库日志的开始位置的差。

作为示例，本发明实施方式中的第二处理单元包括：第三处理单元，用于自所述第二节点中当前的扫描偏移量处的与异常数据片段相对应的第二数据库日志中所记录的相关信息开始生成回滚语句，直至扫描偏移量与结束偏移量重合，则终止生成回滚语句。

作为示例，本发明实施方式中的第三处理单元包括：解析单元，用于解析起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志；第一获取单元，用于获取该与异常数据片段相对应的第二数据库日志中的操作的表；第二获取单元，用于获取该操作的表的相关信息；以及第二回滚语句生成单元，用于根据该操作的表中的相关信息生成回滚语句。

作为示例，本发明实施方式中的第一获取单元还包括：验证单元，用于根据预设条件验证所述操作的表，如所述操作的表不符合预设条件，则退出报错。

作为示例，本发明实施方式中的验证单元中的预设条件为所述操作的表具有主键和/或唯一索引。

作为示例，本发明实施方式中的第一获取单元中操作的表的相关信息至少包括：字段、属性和索引。

作为示例，本发明实施方式中的第二回滚语句生成单元根据该操作的表中的字段和属性生成回滚语句。

作为示例，本发明实施方式中的第一获取单元中操作的表中记录的相关信息还包括操作类型。

作为示例，本发明实施方式中的操作类型包括更新操作、删除操作和写入操作中的至少一种。

作为示例，本发明实施方式中的回滚语句是幂等语句。

示例性介质

在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图6，本发明提供了一种示例性介质600，该介质存储有计算机可执行指令，该计算机可执行指令可用于使所述计算机执行图2对应的本发明示例性实施方式中任一项所述的方法。

示例性计算设备

图7示出了适于用来实现本发明实施方式的示例性计算机系统/服务器70的框图。图7显示的计算机系统/服务器70仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统/服务器70以通用计算设备的形式表现。计算机系统/服务器70的组件可以包括但不限于：一个或者多个处理器或者处理单元701，系统存储器702，连接不同系统组件(包括系统存储器702和处理单元701)的总线703。

计算机系统/服务器70典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器70访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器702可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)7021和/或高速缓存存储器7022。计算机系统/服务器70可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM7023可以用于读写不可移动的、非易失性磁介质(图7中未显示，通常称为“硬盘驱动器”)。尽管未在图7中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线703相连。系统存储器702中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块7024的程序/实用工具7025，可以存储在例如系统存储器702中，且这样的程序模块7024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块7024通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器70也可以与一个或多个外部设备704(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口705进行。并且，计算机系统/服务器70还可以通过网络适配器706与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器706通过总线703与计算机系统/服务器70的其它模块(如处理单元701等)通信。应当明白，尽管图7中未示出，可以结合计算机系统/服务器70使用其它硬件和/或软件模块。

处理单元701通过运行存储在系统存储器702中的程序，从而执行各种功能应用以及数据处理。

应当注意，尽管在上文详细描述中提及了用于数据同步异常时的修复装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

综上，在根据本公开的实施例中，本公开提供了如下方案，但不限于此：

方案1.一种数据同步异常的修复方法，用于修复第一节点与第二节点之间数据同步过程中发生的异常，其中所述第一节点记录第一数据、所述第二节点记录第二数据，其特征在于，基于所述第一节点中的第一数据库日志对所述第二节点进行数据同步后，判断在第一节点与第二节点之间的数据同步是否出现异常，如果出现异常则执行如下修复步骤：

在第二节点中查找第二数据与第一数据不一致的异常数据片段，并解析与该异常数据片段相对应的第二数据库日志；以及

所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句，执行该回滚语句完成对异常数据片段的修复。

方案2.根据方案1所述的数据同步异常的修复方法，其特征在于，所述修复方法用于修复MySQL环境下第一节点与第二节点之间数据同步过程中的异常，其中第一节点中的第一数据库日志是第一格式。

方案3、根据方案2所述的数据同步异常的修复方法，其特征在于，所述第一节点中的第一数据库日志的第一格式是ROW格式。

方案4、根据方案1-3中任一项所述的数据同步异常的修复方法，其特征在于，所述判断在第一节点与第二节点之间进行数据同步时是否出现异常的步骤，包括：

连接第二节点，判断所述第一节点与所述第二节点之间数据同步异常的类型，如果所述第一节点与所述第二节点之间数据同步异常的类型不是指定的类型则退出报错。

方案5、根据方案4所述的数据同步异常的修复方法，其特征在于，所述第一节点与所述第二节点之间数据同步异常的指定类型包括1032类型和/或1062类型。

方案6.根据方案1-5中任一项所述的数据同步异常的修复方法，其特征在于，所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句，执行该回滚语句完成对异常数据片段的修复的步骤，包括：

在所述第二节点中查找与异常数据片段相对应的第二数据库日志的起始偏移量和结束偏移量；以及

根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句。

方案7.根据方案6所述的数据同步异常的修复方法，其特征在于，所述第二节点中与异常数据片段相对应的第二数据库日志的起始偏移量是与异常数据片段相对应的第二数据库日志中当前的扫描偏移量。

方案8.根据方案6或7所述的数据同步异常的修复方法，其特征在于，所述第二节点中与异常数据片段相对应的第二数据库日志的结束偏移量是本次数据同步时第二数据库日志的当前位置加第二数据库日志的结束位置与第二数据库日志的开始位置的差。

方案9.根据方案6-8中任一项所述的数据同步异常的修复方法，其特征在于，根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句的步骤，包括：

自所述第二节点中当前的扫描偏移量处的与异常数据片段相对应的第二数据库日志中所记录的相关信息开始生成回滚语句，直至扫描偏移量与结束偏移量重合，则终止生成回滚语句。

方案10.根据方案6所述的数据同步异常的修复方法，其特征在于，根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句的步骤，包括：

解析起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志；

获取该与异常数据片段相对应的第二数据库日志中的操作的表；

获取该操作的表的相关信息；以及

根据该操作的表中的相关信息生成回滚语句。

方案11.根据方案10所述的数据同步异常的修复方法，其特征在于，获取该与异常数据片段相对应的第二数据库日志中的操作的表的步骤后，还包括：

根据预设条件验证所述操作的表，如所述操作的表不符合预设条件，则退出报错。

方案12.根据方案11所述的数据同步异常的修复方法，其特征在于，所述预设条件为所述操作的表具有主键和/或唯一索引。

方案13.根据方案10所述的数据同步异常的修复方法，其特征在于，所述操作的表的相关信息至少包括：字段、属性和索引。

方案14.根据方案13所述的数据同步异常的修复方法，其特征在于，所述第二节点根据该操作的表中的字段和属性生成回滚语句。

方案15.根据方案10所述的数据同步异常的修复方法，其特征在于，所述操作的表中记录的相关信息还包括操作类型。

方案16.根据方案15所述的数据同步异常的修复方法，其特征在于，所述操作类型包括更新操作、删除操作和写入操作中的至少一种。

方案17.根据方案1-16中任一项所述的数据同步异常的修复方法，其特征在于，所述回滚语句是幂等语句。

方案18.一种用于数据同步异常时的修复装置，该修复装置用于修复第一节点与第二节点之间数据同步过程中发生的异常，其中所述第一节点记录第一数据、所述第二节点记录第二数据，其特征在于，该修复装置基于所述第一节点中的第一数据库日志对所述第二节点进行数据同步后，判断在第一节点与第二节点之间的数据同步是否出现异常，如果出现异常则执行修复操作，该修复装置包括：

第一处理单元，用于在第二节点中查找第二数据与第一数据不一致的异常数据片段，并解析与该异常数据片段相对应的第二数据库日志；以及

第二处理单元，用于在所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句后，执行该回滚语句完成对异常数据片段的修复。

方案19.根据方案18所述的修复装置，其特征在于，所述修复装置用于修复MySQL环境下第一节点与第二节点之间数据同步过程中的异常，其中第一节点中的第一数据库日志是第一格式。

方案20、根据方案19所述的修复装置，其特征在于，所述第一节点中的第一数据库日志的第一格式是ROW格式。

方案21、根据方案18-20中任一项所述的修复装置，其特征在于，包括：

判断单元，用于在连接第二节点后，判断所述第一节点与所述第二节点之间数据同步异常的类型，如果所述第一节点与所述第二节点之间数据同步异常的类型不是指定的类型则退出报错。

方案22、根据方案21所述的修复装置，其特征在于，所述第一节点与所述第二节点之间数据同步异常的指定类型包括1032类型和/或1062类型。

方案23.根据方案18-22中任一项所述的修复装置，其特征在于，所述第二处理单元包括：

查询单元，用于在所述第二节点中查找与异常数据片段相对应的第二数据库日志的起始偏移量和结束偏移量；以及

第一回滚语句生成单元，用于根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句。

方案24.根据方案23所述的修复装置，其特征在于，所述查询单元中的起始偏移量是与异常数据片段相对应的第二数据库日志中当前的扫描偏移量。

方案25.根据方案23或24所述的修复装置，其特征在于，所述查询单元中的结束偏移量是本次数据同步时第二数据库日志的当前位置加第二数据库日志的结束位置与第二数据库日志的开始位置的差。

方案26.根据方案23-25中任一项所述的修复装置，其特征在于，所述第二处理单元包括：

第三处理单元，用于自所述第二节点中当前的扫描偏移量处的与异常数据片段相对应的第二数据库日志中所记录的相关信息开始生成回滚语句，直至扫描偏移量与结束偏移量重合，则终止生成回滚语句。

方案27.根据方案23所述的修复装置，其特征在于，所述第三处理单元包括：

解析单元，用于解析起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志；

第一获取单元，用于获取该与异常数据片段相对应的第二数据库日志中的操作的表；

第二获取单元，用于获取该操作的表的相关信息；以及

第二回滚语句生成单元，用于根据该操作的表中的相关信息生成回滚语句。

方案28.根据方案27所述的修复装置，其特征在于，所述第一获取单元还包括：

验证单元，用于根据预设条件验证所述操作的表，如所述操作的表不符合预设条件，则退出报错。

方案29.根据方案28所述的修复装置，其特征在于，所述验证单元中的预设条件为所述操作的表具有主键和/或唯一索引。

方案30.根据方案27所述的修复装置，其特征在于，所述第一获取单元中操作的表的相关信息至少包括：字段、属性和索引。

方案31.根据方案30所述的修复装置，其特征在于，所述第二回滚语句生成单元根据该操作的表中的字段和属性生成回滚语句。

方案32.根据方案27所述的修复装置，其特征在于，所述第一获取单元中操作的表中记录的相关信息还包括操作类型。

方案33.根据方案32所述的修复装置，其特征在于，所述操作类型包括更新操作、删除操作和写入操作中的至少一种。

方案34.根据方案18-33中任一项所述的修复装置，其特征在于，所述回滚语句是幂等语句。

方案35、一种介质，其特征在于，所述介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行方案1至17任一项所述的方法。

方案36、一种计算设备，其特征在于，包括如方案35中所述的介质。

Claims (10)

1.一种数据同步异常的修复方法，用于修复第一节点与第二节点之间数据同步过程中发生的异常，其中所述第一节点记录第一数据、所述第二节点记录第二数据，其特征在于，基于所述第一节点中的第一数据库日志对所述第二节点进行数据同步后，判断在第一节点与第二节点之间的数据同步是否出现异常，如果出现异常则执行如下修复步骤：

在第二节点中查找第二数据与第一数据不一致的异常数据片段，并解析与该异常数据片段相对应的第二数据库日志；以及

所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句，执行该回滚语句完成对异常数据片段的修复。

2.根据权利要求1所述的数据同步异常的修复方法，其特征在于，所述修复方法用于修复MySQL环境下第一节点与第二节点之间数据同步过程中的异常，其中第一节点中的第一数据库日志是第一格式。

3.根据权利要求1或2所述的数据同步异常的修复方法，其特征在于，所述判断在第一节点与第二节点之间进行数据同步时是否出现异常的步骤，包括：

连接第二节点，判断所述第一节点与所述第二节点之间数据同步异常的类型，如果所述第一节点与所述第二节点之间数据同步异常的类型不是指定的类型则退出报错。

4.根据权利要求1-3中任一项所述的数据同步异常的修复方法，其特征在于，所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句，执行该回滚语句完成对异常数据片段的修复的步骤，包括：

在所述第二节点中查找与异常数据片段相对应的第二数据库日志的起始偏移量和结束偏移量；以及

根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句。

5.根据权利要求4所述的数据同步异常的修复方法，其特征在于，根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句的步骤，包括：

自所述第二节点中当前的扫描偏移量处的与异常数据片段相对应的第二数据库日志中所记录的相关信息开始生成回滚语句，直至扫描偏移量与结束偏移量重合，则终止生成回滚语句。

6.根据权利要求4所述的数据同步异常的修复方法，其特征在于，根据所述起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志所记录的相关信息生成回滚语句的步骤，包括：

解析起始偏移量和结束偏移量之间的与异常数据片段相对应的第二数据库日志；

获取该与异常数据片段相对应的第二数据库日志中的操作的表；

获取该操作的表的相关信息；以及

根据该操作的表中的相关信息生成回滚语句。

7.根据权利要求6所述的数据同步异常的修复方法，其特征在于，获取该与异常数据片段相对应的第二数据库日志中的操作的表的步骤后，还包括：

根据预设条件验证所述操作的表，如所述操作的表不符合预设条件，则退出报错。

8.一种用于数据同步异常时的修复装置，该修复装置用于修复第一节点与第二节点之间数据同步过程中发生的异常，其中所述第一节点记录第一数据、所述第二节点记录第二数据，其特征在于，该修复装置基于所述第一节点中的第一数据库日志对所述第二节点进行数据同步后，判断在第一节点与第二节点之间的数据同步是否出现异常，如果出现异常则执行修复操作，该修复装置包括：

第一处理单元，用于在第二节点中查找第二数据与第一数据不一致的异常数据片段，并解析与该异常数据片段相对应的第二数据库日志；以及

第二处理单元，用于在所述第二节点根据该与异常数据片段相对应第二数据库日志所记录的相关信息生成回滚语句后，执行该回滚语句完成对异常数据片段的修复。

9.一种介质，其特征在于，所述介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至7中任一项所述的方法。

10.一种计算设备，其特征在于，包括如权利要求9所述的介质。