CN108228789A - 从节点触发的同步异常恢复方法及装置 - Google Patents

从节点触发的同步异常恢复方法及装置 Download PDF

Info

Publication number
CN108228789A
CN108228789A CN201711475433.2A CN201711475433A CN108228789A CN 108228789 A CN108228789 A CN 108228789A CN 201711475433 A CN201711475433 A CN 201711475433A CN 108228789 A CN108228789 A CN 108228789A
Authority
CN
China
Prior art keywords
node
daily record
synch command
sent
host node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711475433.2A
Other languages
English (en)
Other versions
CN108228789B (zh
Inventor
王康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201711475433.2A priority Critical patent/CN108228789B/zh
Publication of CN108228789A publication Critical patent/CN108228789A/zh
Application granted granted Critical
Publication of CN108228789B publication Critical patent/CN108228789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种从节点触发的同步异常恢复方法及装置。其中，方法包括：从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令；从节点对接收到的日志同步命令中包含的信息进行检查验证；若检查验证失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。采用本方案，可在主从节点日志同步过程中，通过从节点来触发同步异常的恢复，进而降低主节点负载，提高主从节点数据同步的整体同步效率，并且与现有的主从节点数据同步系统相比，具有结构简单，系统复杂度低的特点。

Description

从节点触发的同步异常恢复方法及装置
技术领域
本发明涉及计算机技术领域，具体涉及一种从节点触发的同步异常恢复方法及装置。
背景技术
在数据库系统中，通常采用主从结构的方式来实现数据读写分离，数据恢复等，从而提高数据的可靠性，降低服务节点负荷，以及提升数据的读写效率。
在现有的主从结构的数据库系统中，为实现主从节点数据的同步，主节点会顺序发送位于主节点侧的日志文件，从节点根据主节点发送的日志文件来更新位于从节点侧的日志文件，并对接收到每个日志同步命令进行应答。而主节点根据从节点的应答检查主从节点同步的日志是否一致。
然而，在上述主从节点数据的同步过程中，从节点需对主节点发送的每个同步命令进行应答，从而增加了系统开销，提高了系统复杂度，降低了主从节点日志同步的效率；并且，由于主从结构的系统中通常包含一个主节点，多个从节点，主节点承担对主从节点日志同步一致性的检验，从而会增加主节点的负载，进而影响整个系统的性能。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的从节点触发的同步异常恢复方法及装置。
根据本发明的一个方面，提供了一种从节点触发的同步异常恢复方法，包括：
从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令；
从节点对接收到的日志同步命令中包含的信息进行检查验证；
若检查验证失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。
根据本发明的另一方面，提供了一种从节点触发的同步异常恢复装置，包括：
接收模块，适于从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令；
从节点检测验证模块，适于从节点对接收到的日志同步命令中包含的信息进行检查验证；
恢复请求模块，适于若从节点检测验证模块中检查验证失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述从节点触发的同步异常恢复方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述从节点触发的同步异常恢复方法对应的操作。
根据本发明提供的从节点触发的同步异常恢复方法及装置。首先，从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令；从节点对接收到的日志同步命令中包含的信息进行检查验证；若检查验证失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。采用本方案，可在主从节点数据同步过程中，通过从节点来实现同步异常的恢复，进而减低主节点的负载，提高主从节点数据同步的整体同步效率；并且，从节点无需对主节点发送的每个日志同步命令进行应答，从而进一步降低系统开销，提高主从节点的数据同步效率；并且，与现有的具有同步异常恢复功能的主从节点数据同步系统相比，具有结构简单，系统复杂度低的特点。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例提供的从节点触发的同步异常恢复方法的流程示意图；
图2示出了根据本发明另一个实施例提供的从节点触发的同步异常恢复方法的流程示意图；
图3示出了根据本发明一个实施例提供的从节点触发的同步异常恢复装置的结构框图；
图4示出了根据本发明一个实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例提供的从节点触发的同步异常恢复方法的流程示意图。如图1所示，该方法包括：
步骤S110，从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令。
其中，主节点中记录有第一日志，第一日志中记录了针对主节点中数据执行的操作，和/或主节点中数据的变化等信息。其中，本实施例对第一日志的类型不做限定，例如，第一日志可以为binlog日志(二进制日志)，或者redo log日志(重做日志)等。
主节点根据第一日志向各个从节点发送日志同步命令。在具体的实施过程中，主节点根据第一日志中记录的各条日志数据，顺次地以sync命令的形式向从节点发送日志同步命令，并根据发送的推进不断刷新第一日志的日志同步偏移量。而从节点依次地接收主节点根据第一日志向从节点发送日志同步命令。
步骤S120，从节点对接收到的日志同步命令中包含的信息进行检查验证。
从节点在接收到主节点发送的日志同步命令后，无需对每条日志同步命令进行应答，而是对接收到的日志同步名中包含的信息进行检查验证。其中，具体的检查验证方法本领域技术人员可自行设置，本实施例不做限定。例如，可对接收到的每条日志同步命令中的主节点的标识信息进行验证，判断该条日志同步命令是否为与该从节点所匹配的主节点发送的日志同步命令，若是，则检查验证成功，否则，则检查验证失败。
步骤S130，若检查验证失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。
其中，从节点中记录有第二日志，若步骤S120中从节点对接收到的日志同步命令中包含的信息进行的检查验证失败，表明出现日志同步异常，为保证第一日志与第二日志的一致性，本步骤中从节点根据第二日志的同步偏移量向主节点发起日志同步异常恢复请求。其中，日志同步异常恢复请求中包含有第二日志同步偏移量。
根据本实施例提供的从节点触发的同步异常恢复方法。首先，从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令；从节点对接收到的日志同步命令中包含的信息进行检查验证；若检查验证失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。采用本方案，可在主从节点数据同步过程中，通过从节点来实现同步异常的恢复，进而减低主节点的负载，提高主从节点数据同步的整体同步效率；并且，从节点无需对主节点发送的每个日志同步命令进行应答，从而进一步降低系统开销，提高主从节点的数据同步效率；并且，与现有的具有同步异常恢复功能的主从节点数据同步系统相比，具有结构简单，系统复杂度低的特点。
图2示出了根据本发明另一个实施例提供的从节点触发的同步异常恢复方法的流程示意图。如图2所示，该方法包括：
步骤S210，从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令。
其中，主节点中记录有第一日志，第一日志中记录了针对主节点中数据执行的操作，和/或主节点中数据的变化等信息。其中，本实施例对第一日志的类型不做限定，例如，第一日志可以为binlog日志(二进制日志)，或者redo log日志(重做日志)等。
具体地，主节点中包含有至少一个发送线程。其中，发送线程负责向从节点发送日志同步命令。可选的，当发送线程为多个时，可为每个发送线程分配相应的时间片，其中，时间片为发送线程开始发送日志同步命令到该发送线程结束发送日志同步命令之间的时间段。每个发送线程的时间片长度可以相同也可以不同。当发送线程执行时间长度等于为其分配的时间片长度(即该发送线程的时间片结束)时，则该线程结束该时间片内向从节点发送日志同步命令的任务。在具体实施过程中，多个发送线程依据第一日志中记录的各条日志数据，以sync命令的形式向从节点发送日志同步命令，并根据发送的推进不断刷新第一日志的日志同步偏移量。
步骤S220，从节点对接收到的日志同步命令中包含的信息进行检查验证。
其中，日志同步命令中包含的信息包括但不限于：主节点的epoch信息、主节点的IP port信息、和/或pre_log_index信息等。其中，主节点的epoch信息应与该主从结构发生主节点切换的次数相匹配(每当该主从结构发生主节点切换时，epoch的数值增加1)，若从节点接收到的主节点的epoch信息与主从结构中发生主节点切换的次数不匹配时，则检查验证失败。如，当前主从结构中发生过5次主节点切换，而从节点接收到的主节点的epoch为1，则确定检查验证失败；主节点的IP port信息可用于标识该主节点，通过对该主节点IPport信息的验证，可确定该主节点是否为与该从节点所匹配的主节点(即判断该主节点是否为该从节点所希望进行日志同步的主节点)，若确定该主节点不是与该从节点所匹配的主节点，则检查验证失败；pre_log_index信息为上一个日志同步命令中包含的日志同步信息在第一日志中的偏移量，若pre_log_index信息与从节点处记录的上一个日志同步命令中信息不匹配，则检查验证失败。
步骤S230，若在预设时间段内，从节点对接收到的至少一条日志同步命令中包含的信息进行的至少一次检查验证全部失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。
首先，确定步骤S220中从节点对接收到的日志同步命令中包含的信息进行检查验证的结果。若检查验证成功，则从节点根据日志同步命令进行日志同步；若检查验证不成功，则执行本步骤及后续步骤。
其中，在确定检查验证结果的过程中，倘若发现一条日志同步命令检测验证失败后便确定检查验证结果为失败，则从节点向主节点发起日志同步异常恢复请求，采用该种方法会增加系统开销，并且，当多个发送线程向从节点发送日志同步命令，若某一发送线程Sent1仍处在执行主节点T1时刻发布的日志同步命令任务的时间片中，而其他发送线程Sent2及Sent3处在执行新的(主节点T2时刻发布的)日志同步命令任务的时间片中，当从节点对Sent1中的日志同步命令中的信息进行验证失败后，便确认检查验证结果为失败，则向主节点发送日志同步异常恢复请求，从而使主节点下发最新的(T3时刻发布的)日志同步请求命令，此时，Sent2及Sent3发送的日志同步命令中的信息会确认为验证失败，从而便引发从节点再次发送日志同步恢复请求，从而大大增大了从节点对日志同步命令中的信息检查验证失败的次数，大幅增加系统的网络开销。
所以，本步骤中当在预设时间段内，从节点对接收到的至少一条日志同步命令中包含的信息进行的至少一次检查验证全部失败时，确认检查验证结果为失败，从而降低系统开销及负载。举例来说，当在15秒内，从节点对接收到的7个日志同步命令中包含的信息进行的检查验证全部失败时，则确定检查验证失败。可选的，预设时间段可根据发送线程个数设定，并可根据发送线程个数的变化自适应调整。
进一步地，当预设时间段内，从节点对接收到的至少一条日志同步命令中包含的信息进行的至少一次检查验证全部失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。在具体实施过程中，从节点向主节点发送trysync命令，其中trysync命令中包含有第二日志的同步偏移量。
步骤S240，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
其中，主节点中除了包含有至少一个发送线程之外，还包含有至少一个接收线程。其中，接收线程负责接收从节点发送的日志同步异常恢复请求。
在一种实施方式中，当发送线程向从节点发送日志同步命令的任务结束后，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
在另一种实施方式中，当发送线程向从节点发送日志同步命令的时间片结束后，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。具体地，当主节点的接收线程接收到从节点发送的日志同步异常恢复请求时，利用第二日志的同步偏移量生成新的日志同步命令，每当一个发送线程的时间片结束后，该发送线程获取该新的日志同步命令，重新向从节点发送该新的日志同步命令。
根据本实施例提供的从节点触发的同步异常恢复方法。首先，主节点向从节点发送位于主节点侧的第一日志的日志同步命令；从节点接收日志同步命令，并对接收到的日志同步命令中包含的信息进行检查验证；在预设时间段内，从节点对接收到的至少一条日志同步命令中包含的信息进行的至少一次检查验证全部失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求；主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。采用本方案，可在主从节点数据同步过程中，通过从节点来实现同步异常的恢复，进而减低主节点的负载，提高主从节点数据同步的整体同步效率；并且，从节点无需对主节点发送的每个日志同步命令进行应答，从而进一步降低系统开销，提高主从节点的数据同步效率；并且，与现有的具有同步异常恢复功能的主从节点数据同步系统相比，具有结构简单，系统复杂度低的特点。
图3示出了根据本发明一个实施例提供的从节点触发的同步异常恢复装置的结构框图。如图3所示，该装置包括：接收模块31、从节点检测验证模块32、恢复请求模块33。
接收模块31，适于从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令。
从节点检测验证模块32，适于从节点对接收到的日志同步命令中包含的信息进行检查验证。
恢复请求模块33，适于若检测验证模块32中检查验证失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。
可选的，本装置还包括：同步命令发送模块，适于主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
可选的，主节点中包含有至少一个接收线程以及至少一个发送线程；其中，接收线程负责接收从节点发送的日志同步异常恢复请求，发送线程负责向从节点发送日志同步命令。
可选的，第二同步命令发送模块34进一步适于：当发送线程向从节点发送日志同步命令的任务结束后，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
可选的，第二同步命令发送模块34进一步适于：当发送线程向从节点发送日志同步命令的时间片结束后，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
可选的，所述检查验证失败进一步包括：在预设时间段内，从节点对接收到的至少一条日志同步命令中包含的信息进行的至少一次检查验证全部失败。
可选的，日志同步命令中包含的信息包括：主节点的epoch信息、主节点的IP port信息、和/或pre_log_index信息。
其中，本实施例中的从节点触发的同步异常恢复装置的具体实施方式可参照如图1和如图2所示的从节点触发的同步异常恢复方法实施例中相应部分的阐述，在此不做赘述。
根据本实施例提供的从节点触发的同步异常恢复装置。通过第一同步命令发送模块使主节点向从节点发送位于主节点侧的第一日志的日志同步命令；并通过从节点检查验证模块使从节点接收日志同步命令，并对接收到的日志同步命令中包含的信息进行检查验证；若检查验证失败，通过恢复请求模块使从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求；最后通过第二同步命令发送模块使主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。采用本方案，可在主从节点数据同步过程中，通过从节点来实现同步异常的恢复，进而减低主节点的负载，提高主从节点数据同步的整体同步效率；并且，从节点无需对主节点发送的每个日志同步命令进行应答，从而进一步降低系统开销，提高主从节点的数据同步效率；并且，与现有的具有同步异常恢复功能的主从节点数据同步系统相比，具有结构简单，系统复杂度低的特点。
根据本发明一个实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的从节点触发的同步异常恢复方法。
图4示出了根据本发明一个实施例提供的一种计算设备的结构示意图，本发明具体实施例并不对终端的具体实现做限定。
如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述从节点触发的同步异常恢复方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作：
从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令；
从节点对接收到的日志同步命令中包含的信息进行检查验证；
若检查验证失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。
在一种可选的实施方式中，程序410具体可以用于使得处理器402执行以下操作：
主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
在一种可选的实施方式中，所述主节点中包含有至少一个接收线程以及至少一个发送线程；其中，所述接收线程负责接收从节点发送的日志同步异常恢复请求，所述发送线程负责向从节点发送日志同步命令。
在一种可选的实施方式中，程序410具体可以用于使得处理器402执行以下操作：
当发送线程向从节点发送日志同步命令的任务结束后，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
在一种可选的实施方式中，程序410具体可以用于使得处理器402执行以下操作：
当发送线程向从节点发送日志同步命令的时间片结束后，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
在一种可选的实施方式中，所述检查验证失败进一步包括：在预设时间段内，从节点对接收到的至少一条日志同步命令中包含的信息进行的至少一次检查验证全部失败。
在一种可选的实施方式中，所述日志同步命令中包含的信息包括：主节点的epoch信息、主节点的IP port信息、和/或pre_log_index信息。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的从节点触发的同步异常恢复装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了：A1.一种从节点触发的同步异常恢复方法，包括：
从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令；
从节点对接收到的日志同步命令中包含的信息进行检查验证；
若检查验证失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。
A2.根据A1所述的方法，其中，所述方法还包括：
主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
A3.根据A2所述的方法，其中，所述主节点中包含有至少一个接收线程以及至少一个发送线程；其中，所述接收线程负责接收从节点发送的日志同步异常恢复请求，所述发送线程负责向从节点发送日志同步命令。
A4.根据A3所述的方法，其中，所述主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令进一步包括：
当发送线程向从节点发送日志同步命令的任务结束后，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
A5.根据A3所述的方法，其中，所述主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令进一步包括：
当发送线程向从节点发送日志同步命令的时间片结束后，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
A6.根据A1-A5中任一项所述的方法，其中，所述检查验证失败进一步包括：
在预设时间段内，从节点对接收到的至少一条日志同步命令中包含的信息进行的至少一次检查验证全部失败。
A7.根据A1-A6中任一项所述的方法，其中，所述日志同步命令中包含的信息包括：主节点的epoch信息、主节点的IP port信息、和/或pre_log_index信息。
本发明还公开了：B8.一种从节点触发的同步异常恢复装置，包括：
接收模块，适于从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令；
从节点检测验证模块，适于从节点对接收到的日志同步命令中包含的信息进行检查验证；
恢复请求模块，适于若从节点检测验证模块中检查验证失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求；
B9.根据B8所述的装置，其中，所述装置还包括：
同步命令发送模块，适于主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
B10.根据B9所述的装置，其中，所述主节点中包含有至少一个接收线程以及至少一个发送线程；其中，所述接收线程负责接收从节点发送的日志同步异常恢复请求，所述发送线程负责向从节点发送日志同步命令。
B11.根据B10所述的装置，其中，所述同步命令发送模块进一步适于：
当发送线程向从节点发送日志同步命令的任务结束后，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
B12.根据B10所述的装置，其中，所述同步命令发送模块进一步适于：
当发送线程向从节点发送日志同步命令的时间片结束后，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
B13.根据B8-B12中任一项所述的装置，其中，所述检查验证失败进一步包括：
在预设时间段内，从节点对接收到的至少一条日志同步命令中包含的信息进行的至少一次检查验证全部失败。
B14.根据B8-B13中任一项所述的装置，其中，所述日志同步命令中包含的信息包括：主节点的epoch信息、主节点的IP port信息、和/或pre_log_index信息。
本发明还公开了：C15.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如A1-A7中任一项所述的从节点触发的同步异常恢复方法对应的操作。
本发明还公开了：D16.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如A1-A7中任一项所述的从节点触发的同步异常恢复方法对应的操作。

Claims (10)

1.一种从节点触发的同步异常恢复方法，包括：
从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令；
从节点对接收到的日志同步命令中包含的信息进行检查验证；
若检查验证失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。
2.根据权利要求1所述的方法，其中，所述方法还包括：
主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
3.根据权利要求2所述的方法，其中，所述主节点中包含有至少一个接收线程以及至少一个发送线程；其中，所述接收线程负责接收从节点发送的日志同步异常恢复请求，所述发送线程负责向从节点发送日志同步命令。
4.根据权利要求3所述的方法，其中，所述主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令进一步包括：
当发送线程向从节点发送日志同步命令的任务结束后，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
5.根据权利要求3所述的方法，其中，所述主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令进一步包括：
当发送线程向从节点发送日志同步命令的时间片结束后，主节点根据从节点发送的日志同步异常恢复请求，利用第二日志的同步偏移量重新向从节点发送日志同步命令。
6.根据权利要求1-5中任一项所述的方法，其中，所述检查验证失败进一步包括：
在预设时间段内，从节点对接收到的至少一条日志同步命令中包含的信息进行的至少一次检查验证全部失败。
7.根据权利要求1-6中任一项所述的方法，其中，所述日志同步命令中包含的信息包括：主节点的epoch信息、主节点的IP port信息、和/或pre_log_index信息。
8.一种从节点触发的同步异常恢复装置，包括：
接收模块，适于从节点接收主节点向从节点发送位于主节点侧的第一日志的日志同步命令；
从节点检测验证模块，适于从节点对接收到的日志同步命令中包含的信息进行检查验证；
恢复请求模块，适于若从节点检测验证模块中检查验证失败，从节点根据位于从节点侧的第二日志的同步偏移量向主节点发起日志同步异常恢复请求。
9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的从节点触发的同步异常恢复方法对应的操作。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的从节点触发的同步异常恢复方法对应的操作。
CN201711475433.2A 2017-12-29 2017-12-29 从节点触发的同步异常恢复方法及装置 Active CN108228789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711475433.2A CN108228789B (zh) 2017-12-29 2017-12-29 从节点触发的同步异常恢复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711475433.2A CN108228789B (zh) 2017-12-29 2017-12-29 从节点触发的同步异常恢复方法及装置

Publications (2)

Publication Number Publication Date
CN108228789A true CN108228789A (zh) 2018-06-29
CN108228789B CN108228789B (zh) 2021-12-21

Family

ID=62646956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711475433.2A Active CN108228789B (zh) 2017-12-29 2017-12-29 从节点触发的同步异常恢复方法及装置

Country Status (1)

Country Link
CN (1) CN108228789B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558267A (zh) * 2018-11-16 2019-04-02 郑州云海信息技术有限公司 一种存储集群数据恢复验证方法及装置
CN110688254A (zh) * 2019-09-06 2020-01-14 北京达佳互联信息技术有限公司 一种数据同步方法、装置、电子设备及存储介质
CN112527901A (zh) * 2020-12-10 2021-03-19 杭州比智科技有限公司 数据存储系统、方法、计算设备及计算机存储介质
CN113515574A (zh) * 2021-05-17 2021-10-19 聚好看科技股份有限公司 一种数据同步方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500229A (zh) * 2013-10-24 2014-01-08 北京奇虎科技有限公司 一种数据库同步方法和数据库系统
CN104504062A (zh) * 2014-12-22 2015-04-08 浙江宇视科技有限公司 主备数据库数据同步方法及装置
US20150293712A1 (en) * 2012-12-28 2015-10-15 Tencent Technology (Shenzhen) Co., Ltd. Data synchronization method, apparatus and system
CN105912628A (zh) * 2016-04-07 2016-08-31 北京奇虎科技有限公司 主从数据库的同步方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150293712A1 (en) * 2012-12-28 2015-10-15 Tencent Technology (Shenzhen) Co., Ltd. Data synchronization method, apparatus and system
CN103500229A (zh) * 2013-10-24 2014-01-08 北京奇虎科技有限公司 一种数据库同步方法和数据库系统
CN104504062A (zh) * 2014-12-22 2015-04-08 浙江宇视科技有限公司 主备数据库数据同步方法及装置
CN105912628A (zh) * 2016-04-07 2016-08-31 北京奇虎科技有限公司 主从数据库的同步方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
码迷: "《分布式存储系统设计（4）—备份容灾》", 《HTTP://WWW.MAMICODE.COM/INFO-DETAIL-1465597.HTML》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558267A (zh) * 2018-11-16 2019-04-02 郑州云海信息技术有限公司 一种存储集群数据恢复验证方法及装置
CN109558267B (zh) * 2018-11-16 2021-10-29 郑州云海信息技术有限公司 一种存储集群数据恢复验证方法及装置
CN110688254A (zh) * 2019-09-06 2020-01-14 北京达佳互联信息技术有限公司 一种数据同步方法、装置、电子设备及存储介质
CN110688254B (zh) * 2019-09-06 2022-06-03 北京达佳互联信息技术有限公司 一种数据同步方法、装置、电子设备及存储介质
CN112527901A (zh) * 2020-12-10 2021-03-19 杭州比智科技有限公司 数据存储系统、方法、计算设备及计算机存储介质
CN113515574A (zh) * 2021-05-17 2021-10-19 聚好看科技股份有限公司 一种数据同步方法及装置

Also Published As

Publication number Publication date
CN108228789B (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN108228789A (zh) 从节点触发的同步异常恢复方法及装置
CN105718570B (zh) 用于数据库的数据迁移方法和装置
US8359493B2 (en) Mechanism to provide assured recovery for distributed application
CN111124755B (zh) 集群节点的故障恢复方法、装置、电子设备及存储介质
CN110807064B (zh) Rac分布式数据库集群系统中的数据恢复装置
CN104376127B (zh) 一种数据操作方法及装置
JP2020035430A (ja) ホットバックアップシステム、ホットバックアップ方法、及びコンピュータ機器
CN108123851A (zh) 分布式系统中主从节点同步链路的存活检测方法及装置
CN112631846A (zh) 一种故障演练方法、装置、计算机设备及存储介质
CN106250254B (zh) 一种任务处理方法及系统
CN105607968B (zh) 一种增量备份方法及设备
CN105677673A (zh) 业务处理方法、装置及系统
CN112506702A (zh) 数据中心容灾方法、装置、设备及存储介质
CN109814917A (zh) 微服务发布方法、装置、计算机设备和存储介质
CN113163011A (zh) 区块链中修改数据的方法、系统、设备及存储介质
CN106790378A (zh) 设备间的数据全同步方法、装置及系统
CN110291505A (zh) 减少应用的恢复时间
US20090031302A1 (en) Method for minimizing risks of change in a physical system configuration
CN114554593A (zh) 数据处理方法及装置
CN108205588B (zh) 基于主从结构的数据同步方法及装置
CN108200157A (zh) 主节点触发回退的日志同步方法及装置
CN109634979A (zh) 数据更新方法及装置
CN107864209A (zh) 数据写入的方法、装置及服务器
CN111198920B (zh) 一种基于数据库同步确定对比表快照的方法及装置
CN110825758A (zh) 一种交易处理的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant