CN107153660B - 分布式数据库系统的故障检测处理方法及其系统 - Google Patents

分布式数据库系统的故障检测处理方法及其系统 Download PDF

Info

Publication number
CN107153660B
CN107153660B CN201610124021.3A CN201610124021A CN107153660B CN 107153660 B CN107153660 B CN 107153660B CN 201610124021 A CN201610124021 A CN 201610124021A CN 107153660 B CN107153660 B CN 107153660B
Authority
CN
China
Prior art keywords
node
component
database
identifier
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610124021.3A
Other languages
English (en)
Other versions
CN107153660A (zh
Inventor
刘德建
陈小钟
贾玉博
陈霖
吴拥民
陈宏展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian TQ Digital Co Ltd
Original Assignee
Fujian TQ Digital Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian TQ Digital Co Ltd filed Critical Fujian TQ Digital Co Ltd
Priority to CN201610124021.3A priority Critical patent/CN107153660B/zh
Publication of CN107153660A publication Critical patent/CN107153660A/zh
Application granted granted Critical
Publication of CN107153660B publication Critical patent/CN107153660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3055Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer And Data Communications (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种分布式数据库系统的故障检测处理方法及其系统,方法包括:各个HA组件发送写请求给协调组件;协调组件根据写请求,分别赋予各个HA组件唯一的标识,获取各个HA组件与其对应标识的关联信息;一HA组件获取关联信息;一HA组件依据关联信息获取与其对应的标识;判断标识是否为预设的主节点标识;主节点按照预设的时间周期探测数据库节点,得到第一探测结果;若第一探测结果为失败的次数大于等于预设值,则主节点发送数据库节点故障确认的通知;至少一个从节点接收通知后对数据库节点进行探测,得到第二探测结果;主节点根据第二探测结果,判断数据库节点是否故障。本发明可确定出唯一的主节点,并可提高故障检测的准确性。

Description

分布式数据库系统的故障检测处理方法及其系统
技术领域
本发明涉及分布式数据库领域,尤其涉及一种分布式数据库系统的故障检测处理方法及其系统。
背景技术
大数据时代,分布式数据库成为数据存储的必要基础设施。分布式数据库系统存在一些问题,其中,对于大多数应用服务来说,可用性问题是一个基本问题。提供一定程度高可用性服务,是分布式数据库系统必备的特征之一。
目前有很多分布式数据库系统的高可用性方案,常采用单节点高可用性组件(HA组件)进行故障检测和故障处理。该方案存在单点故障,在高可用性组件本身异常时,将无法提供高可用性服务。
对于高可用性组件多节点部署的分布式高可用性系统,可以解决单点问题。但是,多个高可用性组件节点之间必须确定主备关系,只有主节点可以对故障进行处理,否则多个高可用性节点的操作很容易造成冲突。如果采用固定的主从角色关系,当主节点异常,其它从节点将不能进行故障处理,因此,常见的该类方案采用动态的主从角色关系。通过一定的算法确定主从节点,当主节点异常时,再从从节点中选出一个节点作为主节点。选主算法通常比较复杂,在网络不稳定的时候,易出现脑裂现象,即同一时刻存在多于一个的主节点。而理论上能保证一致性的算法,如常见的paxos算法、raft算法等,实现比较困难,容易产生死锁。
在申请号为201410854727.6的专利公开文件中,提出了一种应用于分布式数据库的解决2PC模型单点故障问题的方法,包括:建立一列从协调者队列,存入多个站点作为从协调者,其中每个从协调者的功能和协调者是相同的;协调者与多个参与者之间按照两阶段提交协议通过数据包进行通信;同时,协调者和所有从协调者之间每隔一时间段进行一次通信;若从协调者在这个时间段后没有收到协调者发送的消息,则认为协调者发生阻塞,系统立即根据一定算法从协调者队列中选择一从协调者作为新的协调者与多个参与者进行通信。该方法虽然能解决单点故障的问题,但只能应用于2PC模型,且可能发生协调者之间数据状态不一致的情况。
发明内容
本发明所要解决的技术问题是:提供一种分布式数据库系统的故障检测处理方法及其系统,实现分布式数据库主节点的选择和故障检测处理,防止单点故障,且可提高故障检测的准确率。
为了解决上述技术问题,本发明采用的技术方案为:一种分布式数据库系统的故障检测处理方法,包括:
各个HA组件发送写请求给协调组件;
协调组件根据所述写请求,分别赋予各个HA组件唯一的标识,获取各个HA组件与其对应标识的关联信息;
一HA组件获取所述关联信息;
所述一HA组件依据所述关联信息获取与其对应的标识;
判断所述标识是否为预设的主节点标识;
主节点按照预设的时间周期探测数据库节点,得到第一探测结果;
若所述第一探测结果为失败的次数大于等于预设值,则所述主节点发送所述数据库节点故障确认的通知;
至少一个从节点接收所述通知后对所述数据库节点进行探测,得到第二探测结果;
所述从节点将第二探测结果反馈给主节点;
所述主节点根据所述第二探测结果,判断所述数据库节点是否故障。
本发明还涉及一种分布式数据库系统的故障检测处理系统,包括
第一发送模块,用于各个HA组件发送写请求给协调组件;
赋予模块,用于协调组件根据所述写请求,分别赋予各个HA组件唯一的标识,获取各个HA组件与其对应标识的关联信息;
第一获取模块,用于一HA组件获取所述关联信息;
第二获取模块,用于所述一HA组件依据所述关联信息获取与其对应的标识;
第一判断模块,用于判断所述标识是否为预设的主节点标识。
第一探测模块,用于主节点按照预设的时间周期探测数据库节点,得到第一探测结果;
第二发送模块,用于若所述第一探测结果为失败的次数大于等于预设值,则所述主节点发送所述数据库节点故障确认的通知;
第二探测模块,用于至少一个从节点接收所述通知后对所述数据库节点进行探测,得到第二探测结果;
反馈模块,用于所述从节点将第二探测结果反馈给主节点;
第二判断模块,用于所述主节点根据所述第二探测结果,判断所述数据库节点是否故障。
本发明的有益效果在于:通过在分布式数据库的总体架构中引入协调组件,通过协调组件实现HA组件之间的相互通信,可提高HA组件的效率;根据协调组件的顺序一致性等特性,赋予各个HA组件唯一的标识,可使各个HA组件根据所述标识的唯一性,确定出唯一的主节点,进而防止脑裂现象;同一时刻只有主节点和数据库节点交互,可有效保证集群状态数据的一致性,在此基础上,若发生故障,则采用主节点进行故障探测,从节点辅助故障确认的故障检测策略,能有效防止发生误检测,显著提高了故障检测的准确性。
附图说明
图1为本发明一种分布式数据库系统的故障检测处理方法的流程图;
图2为本发明实施例一的分布式数据库系统的架构示意图;
图3为本发明实施例一的分布式数据库系统的客户端请求数据的时序图;
图4为本发明实施例一的数据库节点主备切换过程的数据交互时序图;
图5为本发明实施例一的方法流程图;
图6为本发明实施例二的方法流程图;
图7为本发明实施例三的方法流程图;
图8为一种分布式数据库系统的故障检测处理系统的结构示意图;
图9为本发明实施例二的系统结构示意图。
标号说明:
1、数据库集群;2、HA组件集群;3、数据库代理;4、协调组件;
101、第一发送模块;102、赋予模块;103、第一获取模块;104、第二获取模块;105、第一判断模块;106、第一探测模块;107、第二发送模块;108、第二探测模块;109、反馈模块;110、第二判断模块;111、第一判定模块;112、第一删除模块;113、通知模块;114、选定模块;115、第二判定模块;116、第二删除模块;117、第三判断模块;118、第一处理模块;119、第二处理模块;
1071、第一发送单元;1072、第二发送单元;
1091、第一反馈单元;1092、第二反馈单元;
1101、第一判定单元;1102、第二判定单元。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图详予说明。
本发明最关键的构思在于:基于协调组件实现HA组件之间的角色分配,根据唯一的标识,确定出唯一的主节点,并采用主节点进行故障探测,从节点辅助故障确认的故障检测机制。
请参阅图1,一种分布式数据库系统的故障检测处理方法,包括:
各个HA组件发送写请求给协调组件;
协调组件根据所述写请求,分别赋予各个HA组件唯一的标识,获取各个HA组件与其对应标识的关联信息;
一HA组件获取所述关联信息;
所述一HA组件依据所述关联信息获取与其对应的标识;
判断所述标识是否为预设的主节点标识;
主节点按照预设的时间周期探测数据库节点,得到第一探测结果;
若所述第一探测结果为失败的次数大于等于预设值,则所述主节点发送所述数据库节点故障确认的通知;
至少一个从节点接收所述通知后对所述数据库节点进行探测,得到第二探测结果;
所述从节点将第二探测结果反馈给主节点;
所述主节点根据所述第二探测结果,判断所述数据库节点是否故障。
从上述描述可知,本发明的有益效果在于:可根据唯一的标识,确定唯一的主节点,防止脑裂现象;同时,采用主节点进行故障探测,从节点辅助故障确认的故障检测策略,能有效防止发生误检测,可提高故障检测的准确性。
进一步地,所述“协调组件根据所述写请求,分别赋予各个HA组件唯一的标识,获取各个HA组件与其对应标识的关联信息”具体为:
协调组件根据收到各个HA组件的所述写请求的时间先后,分别赋予各个HA组件一个依次递增的序列号,获取各个HA组件与其序列号的关联信息。
由上述描述可知,根据协调组件的特性,各个HA组件均对应一个不重复的序列号,可根据判断唯一的序列号是否为预选为备用主节点的序列号来快速地确定出唯一的主节点。
进一步地,所述“判断所述标识是否为预设的主节点标识”之后,进一步包括:
若所述标识为预设的主节点标识,则判定所述一HA组件为主节点;
若原主节点故障,则协调组件删除原主节点与其对应标识的关联信息;
协调组件发送所述原主节点异常的事件通知给各个HA组件;
选定已判定为主节点的所述一HA组件为新的主节点。
进一步地,所述“判断所述标识是否为预设的主节点标识”之后,进一步包括:
若所述标识不是预设的主节点标识,则判定所述一HA组件为从节点;
若从节点故障,则协调组件删除所述从节点与其对应标识的关联信息。
由上述描述可知,在节点发生故障时,协调组件自动删除对应的关联信息,防止出现故障的节点被选为主节点的情况;若为主节点发生故障,则在启动且正常的从节点中选出新的主节点,解决了单点故障问题,可继续执行高可用性功能。
进一步地,所述“所述主节点根据所述第二探测结果,判断所述数据库节点是否故障”具体为:若所述从节点反馈的第二探测结果均为异常,则判定所述数据库节点故障;若至少一个从节点反馈的第二探测结果为正常,则判定所述数据库节点正常。
由上述描述可知,根据所有从节点反馈的第二探测结果来判断数据库节点是否故障,极大降低因网络抖动引起的误检测,保证了数据库服务的高可用性。
进一步地,所述“所述主节点根据所述第二探测结果,判断所述数据库节点是否故障”之后,进一步包括:
若故障的数据库节点为主数据库节点,则在可用的备数据库节点中选取一个新的主数据库节点。
由上述描述可知,若主数据库节点故障则选取新的主数据库节点,继续提供服务,进一步保证了数据库服务的高可用性。
进一步地,所述“所述主节点发送所述数据库节点故障确认的通知”具体为:
所述主节点发送所述数据库节点故障确认的通知给协调组件;
协调组件将所述通知发送给HA组件集群中的所有从节点。
进一步地,所述“所述从节点将第二探测结果反馈给主节点”具体为:
所述从节点将第二探测结果反馈给协调组件;
协调组件将第二探测结果反馈给所述主节点。
由上述描述可知,通过协调组件实现主节点和从节点之间的相互通信,提高了主节点和从节点的效率。
请参照图8,本发明还提出一种分布式数据库系统的故障检测处理系统,包括
第一发送模块,用于各个HA组件发送写请求给协调组件;
赋予模块,用于协调组件根据所述写请求,分别赋予各个HA组件唯一的标识,获取各个HA组件与其对应标识的关联信息;
第一获取模块,用于一HA组件获取所述关联信息;
第二获取模块,用于所述一HA组件依据所述关联信息获取与其对应的标识;
第一判断模块,用于判断所述标识是否为预设的主节点标识。
第一探测模块,用于主节点按照预设的时间周期探测数据库节点,得到第一探测结果;
第二发送模块,用于若所述第一探测结果为失败的次数大于等于预设值,则所述主节点发送所述数据库节点故障确认的通知;
第二探测模块,用于至少一个从节点接收所述通知后对所述数据库节点进行探测,得到第二探测结果;
反馈模块,用于所述从节点将第二探测结果反馈给主节点;
第二判断模块,用于所述主节点根据所述第二探测结果,判断所述数据库节点是否故障。
进一步地,所述写请求包括与HA组件唯一对应的HA组件数据。
进一步地,所述赋予模块具体用于协调组件根据收到各个HA组件的所述写请求的时间先后,分别赋予各个HA组件一个依次递增的序列号,获取各个HA组件与其序列号的关联信息。
进一步地,还包括:
第一判定模块,用于若所述标识为预设的主节点标识,则判定所述一HA组件为主节点;
第一删除模块,用于若原主节点故障,则协调组件删除原主节点与其对应标识的关联信息;
通知模块,用于协调组件发送所述原主节点异常的事件通知给各个HA组件;
选定模块,用于选定已判定为主节点的所述一HA组件为新的主节点。
进一步地,还包括:
第二判定模块,用于若所述标识不是预设的主节点标识,则判定所述一HA组件为从节点;
第二删除模块,用于若从节点故障,则协调组件删除所述从节点与其对应标识的关联信息。
进一步地,所述第二判断模块包括:
第一判定单元,用于若所述从节点反馈的第二探测结果均为异常,则判定所述数据库节点故障;
第二判定单元,用于若至少一个从节点反馈的第二探测结果为正常,则判定所述数据库节点正常。
进一步地,还包括:
第一处理模块,用于若故障的数据库节点为主数据库节点,则在可用的备数据库节点中选取一个新的主数据库节点。
进一步地,所述第二发送模块包括:
第一发送单元,用于所述主节点发送所述数据库节点故障确认的通知给协调组件;
第二发送单元,用于协调组件将所述通知发送给HA组件集群中的所有从节点。
进一步地,所述反馈模块包括:
第一反馈单元,用于所述从节点将第二探测结果反馈给协调组件;
第二反馈单元,用于协调组件将第二探测结果反馈给所述主节点。
实施例一
请参照图1,本发明的实施例一为一种分布式数据库系统的故障检测处理方法,请参照图2,所述分布式数据库系统包括数据库集群1、HA组件集群2、数据库代理3和协调组件4。所述数据库集群1由至少一个数据库组构成,一个数据库组包含一个主数据库节点和至少一个备数据库节点。所述HA组件集群2中的HA组件提供数据库集群1的高可用性功能。所述协调组件4保存数据库集群1信息,包括所有的数据库组和其中的数据库节点的主备信息等,当数据库集群1信息发生改变时,主动通知数据库代理3和HA组件。所述数据库代理3从协调组件4读取整个数据库集群1信息,根据一定的分片规则,将客户端的请求路由到对应的数据库节点。当数据库集群1信息发生变化时,由协调组件4通知数据库代理3更新信息。HA组件从协调组件4读取数据库集群1信息,随后定期对数据库节点进行故障检测,若有故障发生,则进行相应的故障处理。
所述HA组件采用分布式多节点部署,避免单点问题。每个HA组件有两种角色状态,主节点和从节点。在一个分布式部署的HA组件集群2中,同一时刻有且只有一个HA组件节点是主节点,其它HA组件节点均是从节点。
所述协调组件4可多节点分布式部署,且应具有如下特征:
顺序一致性,按照客户端发送请求的顺序更新数据;
原子性,更新要么成功,要么失败,不会出现部分更新;
单一性,无论客户端连接哪个节点,都会看到同一个视图;
可靠性,一旦数据更新成功,将一直保持,直到新的更新;
及时性,客户端会在一个确定的时间内得到最新的数据。
图2中的实线表示数据传输,点划线表示心跳,虚线表示监听。
所述协调组件4可以自主开发,也可以使用如zookeeper、ETCD等开源的分布式应用程序协调服务软件。本实施例以zookeeper作为协调组件4为例。
搭建分布式数据库系统集群时,将数据库集群的信息写入协调组件,包括数据库组信息、数据库节点的主备信息等,由协调组件维护这些数据;图3为客户端请求数据的时序图,即分布式数据库系统的工作流程,包括如下步骤:
S101:数据库代理启动时,向协调组件读取数据库集群信息;
S102:协调组件将数据库集群信息返回给数据库代理;
S103:客户端通过数据库代理读写数据记录,将读写数据的请求发送给数据库代理;
S104:当数据库代理收到客户端的读写数据请求时,根据路由算法,计算出所请求的数据所在的数据库组,将请求路由到对应数据库组的主数据库节点上;
S105:数据库节点处理读写请求,并将结果返回给数据库代理;
S106:数据库代理获取到数据库节点的返回结果后,返回给客户端。
如图4所示,在分布式数据库系统中,由于某些原因,如数据库节点维护、更换硬件等任务,需要对数据库节点进行主备切换,包括如下步骤:
S201:协调组件的客户端,如图2中的数据库代理和HA组件,改写保存在协调组件中的关于数据库节点主备状态信息的数据;
S202:协调组件将服务器组状态修改的事件通知给所有的数据库代理;
S203:数据库代理修改自己保存的数据库组状态数据,并将修改结果返回协调组件;
S204:协调组件通知客户端状态修改的结果。
本实施例提出一种分布式数据库系统的故障检测处理方法,基于上述的分布式数据库系统,实现分布式数据库的高可用性,如图5所示,包括如下步骤:
S1:启动HA组件;例如,在HA组件集群中启动ID分别为HA_x、HA_y、HA_z三个HA组件。
S2:所述HA组件启动后,自动连接协调组件zookeeper。
S3:各个HA组件发送写请求给协调组件,所述写请求包括与HA组件唯一对应的HA组件数据;例如,各个HA组件将各自的节点ID以临时节点和顺序节点的方式写入所述协调组件zookeeper中。
S4:协调组件根据所述写请求,分别赋予各个HA组件唯一的标识,获取各个HA组件与其对应标识的关联信息;可选地,协调组件根据收到各个HA组件的写请求的时间先后,分别赋予各个HA组件一个依次递增的序列号,从而获取各个HA组件与其序列号的关联信息;例如,协调组件zookeeper根据实际收到写清求的时间,写入包括节点ID和一个递增的序列号的数据,也就是说,zookeeper最终写入的数据为HA_x_0001、HA_y_0002和HA_z_0003。
S5:各个HA组件从协调组件中获取所述关联信息;例如,从协调组件zookeeper中获取所述最终写入的数据。
S6:各个HA组件依据所述关联信息获取与其对应的标识;例如,ID为HA_x的HA组件获取了HA_x_0001、HA_y_0002和HA_z_0003,将自身ID与HA_x_0001、HA_y_0002和HA_z_0003进行对比,得到自身对应的序列号为001。
S7:各个HA组件判断所述标识是否为预设的主节点标识;例如,预设备选的主节点为序列号最小的HA组件,则每个HA组件都将判断自身对应的序列号是否最小,若是,执行步骤S8,若否,执行步骤S9;可选地,也可以预设主节点为序列号最大的HA组件。
S8:判定所述HA组件为主节点,所述HA组件将自身的角色设为主节点,开始执行主节点的功能,即执行步骤S10。
S9:判定所述HA组件为从节点。
S10:主节点按照预设的时间周期探测数据库节点,判断所述数据库节点是否能够正常提供服务,例如,使用ping数据库命令进行探测,得到第一探测结果。
S11:判断第一探测结果为失败的次数是否大于等于预设,若否,则继续执行步骤S10,若是,则执行步骤S12。
S12:主节点发送对所述数据库节点进行故障确认的通知给从节点;优选地,通过协调组件发送给从节点,即主节点发送所述通知给协调组件;协调组件将所述通知发送给HA组件集群中的所有从节点。
S13:至少一个从节点接收所述通知后对所述数据库节点进行一次性的状态探测,得到第二探测结果;
S14:所述从节点将第二探测结果反馈给主节点;优选地,通过协调组件反馈给主节点,即从节点将第二探测结果反馈给协调组件;协调组件将第二探测结果反馈给所述主节点。
S15:判断从节点反馈的第二探测结果是否均为异常,若否,执行步骤S16,若是,执行步骤S17。
S16:判定所述数据库节点能够正常提供服务,执行步骤S10。
S17:判定所述数据库节点故障。
本实施例基于协调组件的顺序一致性特性,不会同时有两个HA组件对应相同的序列号,这就保证了对应最小序列号的HA组件只有一个,从而确定出唯一的主节点,防止出现脑裂现象;同时,采用主节点进行故障探测,从节点辅助故障确认的故障检测策略,主节点可根据所有从节点反馈的第二探测结果来判断数据库节点是否故障,能有效降低因网络抖动引起的误检测,提高了故障检测的准确性,保证了数据库服务的高可用性。
实施例二
请参照图6,本实施例为实施例一的进一步延伸,在HA组件中确定出主节点和从节点之后,增加对异常或故障HA组件的处理过程,即在步骤S8和S9之后均执行下述步骤:
S18:所有启动的HA组件监听协调组件,即主节点和从节点都监听协调组件。
S19:若有节点故障,判断故障的节点是否为主节点,若否,执行步骤S12,若是,执行步骤S13。
S20:协调组件删除所述从节点与其对应标识的关联信息。
S21:协调组件删除主节点与其对应标识的关联信息,并发送主节点异常的事件通知给从节点,从节点执行步骤S5。
本实施例可解决单点故障,在HA组件出现异常或故障之后,仍可以继续提供高可用性服务。
实施例三
请参照图7,本实施例为实施例一的进一步延伸,在步骤S21后还包括如下步骤:
S22:判断所述故障的数据库节点是否为主数据库节点,若是,执行步骤S23,若否,执行步骤S24。
S23:进行主备节点的切换,在可用的备数据库节点中选取一个新的主数据库节点,继续提供服务。
S24:根据预设流程对所述故障的备数据库节点进行处理,如重启所述数据库节点或发送邮件通知等。
本实施例通过根据故障的数据库节点的主备角色状态,对故障的数据库节点进行相应的处理,使数据库集群能继续提供服务。
实施例四
请参照图9,本实施例为对应实施例一的方法的一种分布式数据库系统的故障检测处理系统,包括:
第一发送模块101,用于各个HA组件发送写请求给协调组件;所述写请求包括与HA组件唯一对应的HA组件数据;
赋予模块102,用于协调组件根据所述写请求,分别赋予各个HA组件唯一的标识,获取各个HA组件与其对应标识的关联信息;可选地,所述赋予模块具体用于协调组件根据收到各个HA组件的所述写请求的时间先后,分别赋予各个HA组件一个依次递增的序列号,获取各个HA组件与其序列号的关联信息;
第一获取模块103,用于一HA组件获取所述关联信息;
第二获取模块104,用于所述一HA组件依据所述关联信息获取与其对应的标识;
第一判断模块105,用于判断所述标识是否为预设的主节点标识,得到第一判断结果。
第一探测模块106,用于主节点按照预设的时间周期探测数据库节点,得到第一探测结果;
第二发送模块107,用于若所述第一探测结果为失败的次数大于等于预设值,则所述主节点发送所述数据库节点故障确认的通知;
第二探测模块108,用于至少一个从节点接收所述通知后对所述数据库节点进行探测,得到第二探测结果;
反馈模块109,用于所述从节点将第二探测结果反馈给主节点;
第二判断模块110,用于所述主节点根据所述第二探测结果,判断所述数据库节点是否故障。
还包括:
第一判定模块111,用于若所述第一判断结果为是,则判定所述一HA组件为主节点;
第一删除模块112,用于若原主节点故障,则协调组件删除原主节点与其对应标识的关联信息;
通知模块113,用于协调组件发送所述原主节点异常的事件通知给各个HA组件;
选定模块114,用于选定已判定为主节点的所述一HA组件为新的主节点;
第二判定模块115,用于若所述第一判断结果为否,则判定所述一HA组件为从节点;
第二删除模块116,用于若从节点故障,则协调组件删除所述从节点与其对应标识的关联信息。
第三判断模块117,用于判断故障的数据库节点为是否为主数据库节点,得到第三判断结果;
第一处理模块118,用于若第三判断结果为是,则在可用的备数据库节点中选取一个新的主数据库节点。
第二处理模块119,用于若第三判断结果为否,则根据预设流程对所述数据库节点进行处理。
所述第二判断模块110包括:
第一判定单元1101,用于若所述从节点反馈的第二探测结果均为异常,则判定所述数据库节点故障;
第二判定单元1102,用于若至少一个从节点反馈的第二探测结果为正常,则判定所述数据库节点正常。
所述第二发送模块107包括:
第一发送单元1071,用于若所述第一探测结果为失败的次数大于等于预设值,所述主节点发送所述数据库节点故障确认的通知给协调组件;
第二发送单元1072,用于协调组件将所述通知发送给HA组件集群中的所有从节点。
所述反馈模块109包括:
第一反馈单元1091,用于所述从节点将第二探测结果反馈给协调组件;
第二反馈单元1092,用于协调组件将第二探测结果反馈给所述主节点。
综上所述,本发明提供的一种分布式数据库系统的故障检测处理方法及其系统,通过在分布式数据库的总体架构中引入协调组件,通过协调组件实现HA组件之间的相互通信,可提高HA组件的效率;通过唯一对应HA组件的HA组件数据,可使各个HA组件唯一获取到与其对应的标识,防止出现一个HA组件获取到多个标识的情况;根据协调组件的顺序一致性等特性,各个HA组件均对应一个不重复的序列号,可根据判断唯一的序列号是否为预选为备用主节点的序列号来快速地确定出唯一的主节点,防止脑裂现象;同一时刻只有主节点和数据库节点交互,可有效保证数据库集群状态数据的一致性;在此基础上,若发生故障,则采用主节点进行故障探测,从节点辅助故障确认的故障检测策略,能有效防止发生误检测,显著提高了故障检测的准确性;根据所有从节点反馈的第二探测结果来判断数据库节点是否故障,极大降低因网络抖动引起的误检测,保证了数据库服务的高可用性;通过协调组件实现主节点和从节点之间的相互通信,提高了主节点和从节点的效率。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种分布式数据库系统的故障检测处理方法,其特征在于,包括:
各个HA组件发送写请求给协调组件,所述HA组件为高可用性组件;
协调组件根据所述写请求,分别赋予各个HA组件唯一的标识,获取各个HA组件与其对应标识的关联信息;
一HA组件获取所述关联信息;
所述一HA组件依据所述关联信息获取与其对应的标识;
判断所述标识是否为预设的主节点标识;
主节点按照预设的时间周期探测数据库节点,得到第一探测结果;
若所述第一探测结果为失败的次数大于等于预设值,则所述主节点发送所述数据库节点故障确认的通知;
至少一个从节点接收所述通知后对所述数据库节点进行探测,得到第二探测结果;
所述从节点将第二探测结果反馈给主节点;
所述主节点根据所述第二探测结果,判断所述数据库节点是否故障。
2.根据权利要求1所述的分布式数据库系统的故障检测处理方法,其特征在于,所述写请求包括与HA组件唯一对应的HA组件数据。
3.根据权利要求1所述的分布式数据库系统的故障检测处理方法,其特征在于,所述“协调组件根据所述写请求,分别赋予各个HA组件唯一的标识,获取各个HA组件与其对应标识的关联信息”具体为:
协调组件根据收到各个HA组件的所述写请求的时间先后,分别赋予各个HA组件一个依次递增的序列号,获取各个HA组件与其序列号的关联信息。
4.根据权利要求1所述的分布式数据库系统的故障检测处理方法,其特征在于,所述“判断所述标识是否为预设的主节点标识”之后,进一步包括:
若所述标识为预设的主节点标识,则判定所述一HA组件为主节点;
若原主节点故障,则协调组件删除原主节点与其对应标识的关联信息;
协调组件发送所述原主节点异常的事件通知给各个HA组件;
选定已判定为主节点的所述一HA组件为新的主节点。
5.根据权利要求1所述的分布式数据库系统的故障检测处理方法,其特征在于,所述“判断所述标识是否为预设的主节点标识”之后,进一步包括:
若所述标识不是预设的主节点标识,则判定所述一HA组件为从节点;
若从节点故障,则协调组件删除所述从节点与其对应标识的关联信息。
6.根据权利要求1所述的分布式数据库系统的故障检测处理方法,其特征在于,所述“所述主节点根据所述第二探测结果,判断所述数据库节点是否故障”具体为:若所述从节点反馈的第二探测结果均为异常,则判定所述数据库节点故障;若至少一个从节点反馈的第二探测结果为正常,则判定所述数据库节点正常。
7.根据权利要求1所述的分布式数据库系统的故障检测处理方法,其特征在于,所述“所述主节点根据所述第二探测结果,判断所述数据库节点是否故障”之后,进一步包括:
若故障的数据库节点为主数据库节点,则在可用的备数据库节点中选取一个新的主数据库节点。
8.根据权利要求1所述的分布式数据库系统的故障检测处理方法,其特征在于,所述“所述主节点发送所述数据库节点故障确认的通知”具体为:
所述主节点发送所述数据库节点故障确认的通知给协调组件;
协调组件将所述通知发送给HA组件集群中的所有从节点。
9.根据权利要求1所述的分布式数据库系统的故障检测处理方法,其特征在于,所述“所述从节点将第二探测结果反馈给主节点”具体为:
所述从节点将第二探测结果反馈给协调组件;
协调组件将第二探测结果反馈给所述主节点。
10.一种分布式数据库系统的故障检测处理系统,其特征在于,包括
第一发送模块,用于各个HA组件发送写请求给协调组件,所述HA组件为高可用性组件;
赋予模块,用于协调组件根据所述写请求,分别赋予各个HA组件唯一的标识,获取各个HA组件与其对应标识的关联信息;
第一获取模块,用于一HA组件获取所述关联信息;
第二获取模块,用于所述一HA组件依据所述关联信息获取与其对应的标识;
第一判断模块,用于判断所述标识是否为预设的主节点标识;
第一探测模块,用于主节点按照预设的时间周期探测数据库节点,得到第一探测结果;
第二发送模块,用于若所述第一探测结果为失败的次数大于等于预设值,则所述主节点发送所述数据库节点故障确认的通知;
第二探测模块,用于至少一个从节点接收所述通知后对所述数据库节点进行探测,得到第二探测结果;
反馈模块,用于所述从节点将第二探测结果反馈给主节点;
第二判断模块,用于所述主节点根据所述第二探测结果,判断所述数据库节点是否故障。
CN201610124021.3A 2016-03-04 2016-03-04 分布式数据库系统的故障检测处理方法及其系统 Active CN107153660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610124021.3A CN107153660B (zh) 2016-03-04 2016-03-04 分布式数据库系统的故障检测处理方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610124021.3A CN107153660B (zh) 2016-03-04 2016-03-04 分布式数据库系统的故障检测处理方法及其系统

Publications (2)

Publication Number Publication Date
CN107153660A CN107153660A (zh) 2017-09-12
CN107153660B true CN107153660B (zh) 2020-03-17

Family

ID=59791457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610124021.3A Active CN107153660B (zh) 2016-03-04 2016-03-04 分布式数据库系统的故障检测处理方法及其系统

Country Status (1)

Country Link
CN (1) CN107153660B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833164B (zh) * 2018-06-14 2021-10-08 杭州网易再顾科技有限公司 服务器控制方法、装置、电子设备及存储介质
CN110928943B (zh) * 2018-08-29 2023-06-20 阿里云计算有限公司 一种分布式数据库及数据写入方法
CN110874382B (zh) * 2018-08-29 2023-07-04 阿里云计算有限公司 一种数据写入方法、装置及其设备
CN110795291A (zh) * 2019-10-23 2020-02-14 中国银联股份有限公司 一种数据库处理方法及装置
CN110825758B (zh) * 2019-10-31 2022-11-15 中国银联股份有限公司 一种交易处理的方法及装置
CN113381874B (zh) * 2020-03-10 2023-06-02 上海杰之能软件科技有限公司 一种故障信号处理方法、存储介质及终端
CN112100004A (zh) * 2020-08-12 2020-12-18 福建天泉教育科技有限公司 Redis集群节点的管理方法、存储介质
CN112328421B (zh) * 2020-11-05 2022-04-08 腾讯科技(深圳)有限公司 一种系统故障处理方法、装置、计算机设备和存储介质
CN112486776B (zh) * 2020-12-07 2024-08-02 中国船舶集团有限公司第七一六研究所 一种集群成员节点可用性监测设备及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103259832A (zh) * 2012-12-24 2013-08-21 中国科学院沈阳自动化研究所 实现动态负载平衡、故障诊断与转移的群集资源控制方法
CN103425645A (zh) * 2012-05-14 2013-12-04 阿里巴巴集团控股有限公司 数据库集群单点故障的监控系统及方法
CN104408071A (zh) * 2014-10-30 2015-03-11 北京思特奇信息技术股份有限公司 一种基于集群管理器的分布式数据库高可用方法及系统
CN104504130A (zh) * 2014-12-31 2015-04-08 天津南大通用数据技术股份有限公司 应用于分布式数据库的解决2pc模型单点故障问题的方法
CN104601365A (zh) * 2014-12-05 2015-05-06 杭州华三通信技术有限公司 一种节点设备监测方法以及装置
CN104933132A (zh) * 2015-06-12 2015-09-23 广州巨杉软件开发有限公司 基于操作序列号的分布式数据库有权重选举方法
CN105138441A (zh) * 2015-06-30 2015-12-09 中标软件有限公司 高可用集群系统及基于该系统的告警方法、告警系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425645A (zh) * 2012-05-14 2013-12-04 阿里巴巴集团控股有限公司 数据库集群单点故障的监控系统及方法
CN103259832A (zh) * 2012-12-24 2013-08-21 中国科学院沈阳自动化研究所 实现动态负载平衡、故障诊断与转移的群集资源控制方法
CN104408071A (zh) * 2014-10-30 2015-03-11 北京思特奇信息技术股份有限公司 一种基于集群管理器的分布式数据库高可用方法及系统
CN104601365A (zh) * 2014-12-05 2015-05-06 杭州华三通信技术有限公司 一种节点设备监测方法以及装置
CN104504130A (zh) * 2014-12-31 2015-04-08 天津南大通用数据技术股份有限公司 应用于分布式数据库的解决2pc模型单点故障问题的方法
CN104933132A (zh) * 2015-06-12 2015-09-23 广州巨杉软件开发有限公司 基于操作序列号的分布式数据库有权重选举方法
CN105138441A (zh) * 2015-06-30 2015-12-09 中标软件有限公司 高可用集群系统及基于该系统的告警方法、告警系统

Also Published As

Publication number Publication date
CN107153660A (zh) 2017-09-12

Similar Documents

Publication Publication Date Title
CN107153660B (zh) 分布式数据库系统的故障检测处理方法及其系统
US11360854B2 (en) Storage cluster configuration change method, storage cluster, and computer system
US8671151B2 (en) Maintaining item-to-node mapping information in a distributed system
JP6382454B2 (ja) 分散ストレージ及びレプリケーションシステム、並びに方法
US8375001B2 (en) Master monitoring mechanism for a geographical distributed database
CN107153595B (zh) 分布式数据库系统的故障检测方法及其系统
US7139925B2 (en) System and method for dynamic cluster adjustment to node failures in a distributed data system
US7231461B2 (en) Synchronization of group state data when rejoining a member to a primary-backup group in a clustered computer system
US11736371B2 (en) Heartbeat information sending method and apparatus, and heartbeat sending node
US20120254342A1 (en) Method for Providing Access to Data Items from a Distributed Storage System
US9367261B2 (en) Computer system, data management method and data management program
WO2018107772A1 (zh) 写入请求处理方法、装置及设备
US6968359B1 (en) Merge protocol for clustered computer system
JP2004246892A (ja) マルチノード分散データ処理システムにおいてリモート・アクセス可能なリソースを管理する方法
CN109144748B (zh) 一种服务器、分布式服务器集群及其状态驱动方法
CN112015744A (zh) 配置数据访问方法、装置、设备、配置中心及存储介质
TW201824030A (zh) 主備資料庫的管理方法、系統及其設備
CN112865995B (zh) 分布式主从系统
CN109189854B (zh) 提供持续业务的方法及节点设备
JP2010044553A (ja) データ処理方法、クラスタシステム、及びデータ処理プログラム
CN114090342A (zh) 存储容灾的链路管理方法及消息执行节点、存储控制集群
US7240088B2 (en) Node self-start in a decentralized cluster
CN112000444A (zh) 数据库事务处理方法、装置、存储介质和电子设备
CN107153594B (zh) 分布式数据库系统的ha组件选主方法及其系统
US20180285404A1 (en) Message Processing Node and Database in a Message Processing System and Methods of Operating the Same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant