CN105354108B - 一种数据备份方法及节点 - Google Patents

一种数据备份方法及节点 Download PDF

Info

Publication number
CN105354108B
CN105354108B CN201410419266.XA CN201410419266A CN105354108B CN 105354108 B CN105354108 B CN 105354108B CN 201410419266 A CN201410419266 A CN 201410419266A CN 105354108 B CN105354108 B CN 105354108B
Authority
CN
China
Prior art keywords
backup
service node
node
cooperative service
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410419266.XA
Other languages
English (en)
Other versions
CN105354108A (zh
Inventor
郭斌
韩银俊
高洪
黄震江
程宁
屠要峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201410419266.XA priority Critical patent/CN105354108B/zh
Priority to EP15833967.1A priority patent/EP3185125B1/en
Priority to PCT/CN2015/076055 priority patent/WO2016026306A1/zh
Publication of CN105354108A publication Critical patent/CN105354108A/zh
Application granted granted Critical
Publication of CN105354108B publication Critical patent/CN105354108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据备份方法及节点;其中,所述数据备份方法包括:确定一协作服务节点为主控协作服务节点后,所述主控协作服务节点获取备份规则;在满足备份触发条件时,所述主控协作服务节点依据所述备份规则发起备份操作。

Description

一种数据备份方法及节点
技术领域
本发明涉及数据存储技术,具体涉及一种数据备份方法及节点。
背景技术
所述分布式存储系统,是由若干服务器节点互相连接构成的无中心的分布式集群,集群中的服务器节点接受写入、读取、更新、删除等操作,并负责数据的存储。在分布式存储系统中,完整的数据集是根据一定的分区规则划分为若干个数据子集来管理的,并且出于可靠性需要会存储至少一个副本。各数据子集的所有副本,会根据一定的分布规则均匀地存放在多个存储节点上,同一个数据子集的多副本间采用主从(Master-Slave)方式互相进行数据同步。
在分布式存储系统中,数据备份是比较难以解决的关键问题,尤其是根据运维的需要进行定期的自动数据备份。虽然高可靠、高容灾性是分布式存储系统的优势,但仍然无法很好的应对某些极端的情况,因此对于生产环境中某些重要的数据来说,出于安全考虑,仍然有定期对数据进行备份的需要。
现有技术中,分布式系统的数据备份通常采用两种方式:
第一种方案是客户端以查询或遍历的方式获得服务器端的数据并存储在客户端。这种方案的缺点在于数据备份不能并行实行,在数据规模较大时很难在有限的时间完成数据备份。
第二种方案是将各个节点上的数据分别导出,并采用集中存储。这种技术的缺点在于:首先,由于没有集中的备份机制控制,使得多个存储节点上分别将副本导出后不易将多个重复的副本数据进行合并,导致存储资源浪费;并且,由于没有集中的备份机制的控制,使得每次备份操作时需将全部的数据子集进行备份,导致备份的时间过长。
发明内容
为解决现有存在的技术问题,本发明实施例提供一种数据备份方法及节点,能够实现分布式存储系统中备份机制的集中控制,且缩短数据备份的时间。
为达到上述目的,本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种数据备份方法,所述方法包括:
确定一协作服务节点为主控协作服务节点后,所述主控协作服务节点获取备份规则;
在满足备份触发条件时,所述主控协作服务节点依据所述备份规则发起备份操作。
上述方案中,所述主控协作服务节点发起备份操作,包括:
所述主控协作服务节点根据所述备份规则及存储节点中的数据备份情况生成备份策略,将所述备份策略写入分布式文件锁服务节点中,并将所述备份策略发送至所有存储节点,使所有存储节点根据所述备份策略执行备份操作。
上述方案中,所述确定一协作服务节点为主控协作服务节点,包括:所有协作服务节点向分布式文件锁服务节点发起竞争控制权流程,以使所述分布式文件锁服务节点将最先完成所述竞争控制流程的协作服务节点确定为主控协作服务节点,获得所述分布式文件锁服务节点确定的竞争结果。
上述方案中,当所述协作服务节点确定为非主控协作服务节点时,在所述主控协作服务节点将所述备份策略发送至所有存储节点之前、或所有存储节点根据所述备份策略执行备份操作过程中,所述方法还包括:
发现所述主控协作服务节点故障时,所有协作服务节点重新向分布式文件锁服务节点发起竞争控制权流程,以使所述分布式文件锁服务节点将最先完成所述竞争控制流程的协作服务节点重新确定为主控协作服务节点,获得所述分布式文件锁服务节点确定的竞争结果。
上述方案中,所述主控协作服务节点中依据备份规则中的备份周期设置定时器;所述满足备份触发条件,包括:所述定时器时间到,确定满足备份触发条件;
相应的,当重新确定主控协作服务节点之后,所述方法还包括:重新确定的所述主控协作服务节点获取备份规则,依据所述备份规则中的备份周期判断当前时间是否满足预设触发条件,获得判断结果;
当所述判断结果为所述当前时间满足预设触发条件时,所述主控协作服务节点根据所述备份规则及存储节点中的数据备份情况重新生成备份策略,将所述备份策略发送至所有存储节点;
当所述判断结果为所述当前时间不满足预设触发条件时,依据所述备份规则重新设置定时器,并在所述定时器时间到时,根据所述备份规则及存储节点中的数据备份情况重新生成备份策略,将所述备份策略发送至所有存储节点。
上述方案中,当所述主控协作服务节点发现存储节点发生故障时,所述方法还包括:
所述主控协作服务节点重新生成备份策略,将重新生成的所述备份策略发送至接替发生故障的所述存储节点的其他存储节点,以使所述其他存储节点依据所述备份策略执行备份操作。
上述方案中,所述主控协作服务节点获取备份规则,包括:
所述主控协作服务节点从分布式文件锁服务节点中获取备份规则;或者,
所述主控协作服务节点从用户操作的控制台中直接获得备份规则。
上述方案中,所述备份规则包括:每次备份的触发周期、要备份的数据集、备份的目标设备以及备份属性信息。
上述方案中,所述数据备份情况包括:数据集中的数据子集在存储节点中的分布情况、数据子集的至少一个副本之间的数据同步情况、以及所有数据集的备份记录。
上述方案中,所述方法还包括:所述主控协作服务节点按预设时间间隔获取所有存储节点的备份进度,将所述备份进度写入分布式文件锁服务节点。
本发明实施例还提供了一种节点,所述节点为协作服务节点;所述节点包括:获取单元和触发单元;其中,
所述获取单元,用于当所述协作服务节点确定为主控服务节点后,获取备份规则;
所述触发单元,用于在满足备份触发条件时,依据所述获取单元获取的备份规则发起备份操作。
上述方案中,所述触发单元,用于根据所述获取单元获取的备份规则及存储节点中的数据备份情况生成备份策略,将所述备份策略写入分布式文件锁服务节点中,并将所述备份策略发送至所有存储节点,使所有存储节点根据所述备份策略执行备份操作。
上述方案中,所述节点还包括第一竞争处理单元,用于向分布式文件锁服务节点发起竞争控制权流程,使所述分布式文件锁服务节点将最先完成所述竞争控制流程的协作服务节点确定为主控协作服务节点;获得所述分布式文件锁服务节点确定的竞争结果。
上述方案中,所述节点还包括第一竞争处理单元,用于当所述协作服务节点确定为非主控服务节点时,且主控协作服务节点将备份策略发送至所有存储节点之前、或所有存储节点根据所述备份策略执行备份操作过程中,发现所述主控协作服务节点发生故障时,重新向分布式文件锁服务节点发起竞争控制权流程,使所述分布式文件锁服务节点将最先完成所述竞争控制流程的协作服务节点重新确定为主控协作服务节点,获得所述分布式文件锁服务节点确定的竞争结果。
上述方案中,所述触发单元,用于所述协作服务节点确定为主控协作服务节点时,依据备份规则中的备份周期设置定时器,在所述定时器时间到时,确定满足备份触发条件;
所述触发单元,还用于当所述协作服务节点重新确定主控协作服务节点之后,获取备份规则,依据所述备份规则中的备份周期判断当前时间是否满足预设触发条件,获得判断结果;当所述判断结果为所述当前时间满足预设触发条件时,所述主控协作服务节点根据所述备份规则及存储节点中的数据备份情况重新生成备份策略,将所述备份策略发送至所有存储节点;当所述判断结果为所述当前时间不满足预设触发条件时,依据所述备份规则重新设置定时器,并在所述定时器时间到时,根据所述备份规则及存储节点中的数据备份情况重新生成备份策略,将所述备份策略发送至所有存储节点。
上述方案中,所述触发单元,还用于当发现存储节点发生故障时,重新生成备份策略,将重新生成的所述备份策略发送至接替发生故障的所述存储节点的其他存储节点,以使所述其他存储节点依据所述备份策略执行备份操作。
上述方案中,所述获取单元,用于从分布式文件锁服务节点中获取备份规则;或者,从用户操作的控制台中直接获得备份规则。
上述方案中,所述节点还包括第一接收单元和第一发送单元;其中,
所述第一接收单元,用于按预设时间间隔获取所有存储节点的备份进度;
所述第一发送单元,用于将所述第一接收单元获得的所述备份进度发送至分布式文件锁服务节点。
本发明实施例提供的数据备份方法及节点,在确定一协作服务节点为主控协作服务节点后,所述主控协作服务节点获取备份规则;在满足备份触发条件时,所述主控协作服务节点依据所述备份规则发起备份操作。如此,通过主控协作服务节点实现了分布式存储系统中备份机制的集中控制,克服了现有技术中不能实现数据备份的集中控制,提升了分布式存储系统的数据可靠性,以及生产环境运维的易用性;并且通过主控协作服务节点触发所有存储节点的备份操作,使得所有存储节点能够并行进行数据备份,大大缩短了数据备份的时间。
附图说明
图1为本发明实施例一的数据备份方法的流程示意图;
图2为本发明实施例二的数据备份方法的流程示意图;
图3为本发明实施例三的数据备份过程中发生故障的处理方法流程示意图;
图4为本发明实施例的数据备份系统的组成架构示意图;
图5为本发明实施例的协作服务节点的组成结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
本发明实施例提供了一种数据备份方法,所述数据备份方法应用于主控协作服务节点中;图1为本发明实施例一的数据备份方法的流程示意图;如图1所示,包括以下步骤:
步骤101:确定一协作服务节点为主控协作服务节点后,所述主控协作服务节点获取备份规则。
在本实施例中,所述协作服务节点的数量为至少两个,以便能够满足故障后的容灾、以及容量扩展等需要。
这里,所述确定一协作服务节点为主控协作服务节点,包括:所有协作服务节点向分布式文件锁服务节点发起竞争控制权流程,将最先完成所述竞争控制流程的协作服务节点确定为主控协作服务节点。
具体的,所有协作服务节点向分布式文件锁服务节点发起竞争控制权流程时,所有协作服务节点在所述分布式文件锁服务节点上创建一个文件,其中只有一个协作服务节点最先创建完成,则最先创建完成的所述协作服务节点确定为主控协作服务节点。
其中,所述备份规则是定时备份规则,具体包括:每次备份的触发周期、要备份的数据集、备份的目标设备以及备份属性信息;其中,所述备份属性信息为增量备份或全量备份等属性信息;具体的,所述增量备份指的是在上一次备份后,对所有发生变化的数据进行备份;所述全量备份指的是对所有数据进行备份。
本实施例中,所述主控协作服务节点获取备份规则,包括:
所述主控协作服务节点从分布式文件锁服务节点中获取备份规则;或者,
所述主控协作服务节点从用户操作的控制台中直接获得备份规则。
具体的,所述主控协作服务节点可在所述分布式文件锁服务节点查询是否存储备份规则,当确定所述分布式文件锁服务节点中存储有备份规则时,则从所述分布式文件锁服务节点中获取所述备份规则;当确定所述分布式文件锁服务节点中未存储有备份规则时,可从用户操作的控制台中直接获得备份规则;
当然,所述主控协作服务节点也可以直接从用户操作的控制台中获得备份规则,当所述主控协作服务节点直接从用户操作的控制台中获得备份规则后,将所述备份规则写入所述分布式文件锁服务节点中,以替换所述分布式文件锁服务节点中已存储的备份规则。
具体的,所述控制台最初与所述至少两个协作服务节点中的任一协作服务节点连接,当确定出主控协作服务节点后,所述控制台通过连接的所述协作服务节点获得所述主控协作服务节点的地址,根据所述主控协作服务节点的地址与所述主控协作服务节点建立连接。
优选地,所述控制台具有人机交互界面,用户可在所述控制台上设置备份规则,所述控制台将所述备份规则发送至所述主控协作服务节点;其中,所述控制台可随时发起备份。
步骤102:在满足备份触发条件时,所述主控协作服务节点依据所述备份规则发起备份操作。
这里,所述主控协作服务节点发起备份操作,包括:
所述主控协作服务节点根据所述备份规则及存储节点中的数据备份情况生成备份策略,将所述备份策略写入分布式文件锁服务节点中,并将所述备份策略发送至所有存储节点,使所有存储节点根据所述备份策略执行备份操作。
本实施例中,所述备份触发条件可以是:在所述备份规则中设定的每次备份的触发周期,根据所述触发周期设定定时器,当所述定时器时间到时,确定满足备份触发条件;所述备份触发条件还可以是从用户操作的控制台中直接控制触发,即用户通过所述控制台直接触发备份,所述控制台向所述主控协作服务节点下发备份指令,所述主控协作服务节点接收到所述备份指令时,确定满足备份触发条件。
其中,所述数据备份情况包括:数据集中的数据子集在存储节点中的分布情况、数据子集的至少一个副本之间的数据同步情况、以及所有数据集的备份记录。
具体的,所述主控协作服务节点根据所述备份规则及存储节点中的数据备份情况生成备份策略,具体包括:
所述主控协作服务节点根据每次备份的触发周期设定定时器,所述主控协作服务节点在所述定时器时间到时,将生成的备份策略发送至存储节点,从而触发备份操作;所述主控协作服务节点根据所述备份属性信息确定待备份的属性是全量备份还是增量备份,进一步的根据所述备份规则中的所述要备份的数据集以及所述备份属性信息确定要备份的数据集;所述主控协作服务节点根据所述备份的目标设备确定备份数据的存储位置。
所述主控协作服务节点还可根据所述数据备份情况确定备份策略;例如:在所述备份策略中设定只有完整的副本进行数据备份,不完整的副本不参与数据备份,则所述主控协作服务节点在同一个数据子集的至少一个副本中识别出完整的副本,设定从哪一个副本所在的存储节点开始进行数据备份,以及备份数据的目标设备和在所述目标设备上的存储位置。
在本实施例中,所述分布式文件锁服务节点的数量为至少两个,以便能够满足故障后的容灾、以及容量扩展等需要。
这里,所述分布式文件锁服务节点主要用于存储备份策略,以及备份规则、配置信息或其他管理信息;并且,通过所述分布式文件锁服务节点可以确定至少两个协作服务节点中哪个协作服务节点作为主控协作服务节点。
在本实施例中,当所述协作服务节点确定为非主控协作服务节点时,在所述主控协作服务节点将所述备份策略发送至所有存储节点之前、或所有存储节点根据所述备份策略执行备份操作过程中,所述方法还包括:
发现所述主控协作服务节点故障时,所有协作服务节点向分布式文件锁服务节点发起竞争控制权流程,将最先完成所述竞争控制流程的协作服务节点重新确定为主控协作服务节点,
重新确定的所述主控协作服务节点获取备份规则,根据所述备份规则及存储节点中的数据备份情况生成备份策略。
其中,重新确定的所述主控协作服务节点可从所述分布式文件锁服务节点中获取备份策略,根据所述备份策略重新设置定时器;而原主控协作服务节点若故障恢复,则为普通的协作服务节点。
基于上述实施例,所述主控协作服务节点中依据备份规则中的备份周期设置定时器;所述满足备份触发条件,包括:所述定时器时间到,确定满足备份触发条件;
相应的,当重新确定主控协作服务节点之后,所述方法还包括:重新确定的所述主控协作服务节点获取备份规则,依据所述备份规则中的备份周期判断当前时间是否满足预设触发条件,获得判断结果;
当所述判断结果为所述当前时间满足预设触发条件时,所述主控协作服务节点立即将所述备份策略发送至所有存储节点;
当所述判断结果为所述当前时间不满足预设触发条件时,依据所述备份规则重新设置定时器,并在所述定时器时间到时,将所述备份策略发送至所有存储节点。
具体的,所述当前时间为重新确定所述主控协作服务节点的时间;所述当前时间是否满足预设触发条件,包括:预先设定一个时间阈值,以当前时间减去这个时间阈值获得一个时间点t’,如果所述时间点t’距离所述当前时间的时间段内,包含一次应当触发备份的时间点,且根据分布式文件锁服务节点中的备份记录,所述时间段内不包含上一次备份完成的时间点,则确定当前时间满足预设触发条件,即所述主控协作服务节点立即将所述备份策略发送至所有存储节点;当所述当前时间不满足上述条件时,则确定当前时间不满足预设触发条件,则所述主控协作服务节点依据所述预设触发条件设置定时器,在所述定时器时间到时,将所述备份策略发送至所有存储节点。
在本实施例中,当所述主控协作服务节点发现存储节点发生故障时,所述方法还包括:
所述主控协作服务节点重新生成备份策略,将重新生成的所述备份策略发送至接替发生故障的所述存储节点的其他存储节点,以使所述其他存储节点依据所述备份策略执行备份操作。
具体的,所述存储节点在备份过程中,可按第一时间间隔向所述主控协作服务节点发送备份进度,则当所述主控协作服务节点超过第二时间间隔仍未收到任一存储节点发送的备份进度时,可确定所述任一存储节点发生故障且所述故障无法修复;则所述主控协作服务节点修改所述备份策略,安排其他存储节点接替发生故障的所述存储节点,并将所述存储节点上一次发送的备份进度发送至所述其他存储节点,使得所述其他存储节点依据所述备份进度将尚未进行备份的数据进行备份。
在本实施例中,所述主控协作服务节点按预设时间间隔获取所有存储节点的备份进度,将所述备份进度写入分布式文件锁服务节点。
在本实施例中,当所有存储节点的备份操作完成后,所述主控协作服务节点获取存储节点的备份成功信息,将所述备份成功信息写入分布式文件锁服务节点。
本发明实施例还提供了一种数据备份方法;图2为本发明实施例二的数据备份方法的流程示意图;如图2所示,所述方法包括:
步骤201:协作服务节点A和协作服务节点B向分布式文件锁服务节点发起竞争控制权流程。
步骤202:协作服务节点A竞争成功,成为主控协作服务节点。
步骤203:协作服务节点A在所述分布式文件锁服务节点中查询是否存在备份规则、备份策略和备份记录。
步骤204:当所述分布式文件锁服务节点中存在备份规则、备份策略和备份记录时,所述分布式文件锁服务节点将所述备份规则、备份策略和备份记录发送至所述协作服务节点A。
步骤205:协作服务节点A判断当前是否正在进行备份操作,当判断的结果为是时,所述协作服务节点A接管当前的备份操作控制。
步骤206:协作服务节点A判断当前是否正在进行备份操作,当判断的结果为否时,所述协作服务节点A判断是否错过了本周期的数据备份;当判断的结果为是时,所述协作服务节点A立即发起备份操作;当判断的结果为否时,则根据所述备份规则,为下一次备份操作设置定时器。
步骤207:控制台连接协作服务节点A。
步骤208:用户在控制台上设置备份规则,由控制台指示协作服务节点A。
步骤209:协作服务节点A将备份规则写入分布式文件锁服务节点。
步骤210:协作服务节点A向控制台返回备份规则的写入结果。
步骤211:协作服务节点A根据备份规则设置定时器,在定时器时间到时,触发备份操作,生成备份策略。
步骤212:协作服务节点A将备份策略写入分布式文件锁服务节点。
步骤213:协作服务节点A将备份策略下发至所有存储节点。
步骤214:所有存储节点根据备份策略,向目标备份设备的指定位置执行备份操作。
步骤215:所有存储节点在备份过程中按预设时间向协作服务节点A反馈备份进度。
步骤216:协作服务节点A将备份进度记录在分布式文件锁服务节点中。
步骤217:协作服务节点A在所有存储节点备份完成后,向分布式文件锁服务节点写入备份成功记录。
步骤218:协作服务节点A为下一次备份操作设置定时器。
本发明实施例还提供了一种在数据备份过程中发生故障的处理方法;图3为本发明实施例三的数据备份过程中发生故障的处理方法流程示意图;本实施例基于图2所示的数据备份方法,且应用与步骤214之后,步骤215之前;如图3所示,所述处理方法包括:
步骤301:主控协作服务节点发现与存储节点A断链,所述主控协作服务节点判断可能是网络故障,或者所述存储节点A发生故障。
步骤302:主控协作服务节点等待存储节点A恢复。
步骤303:存储节点A同样在等待与所述主控协作服务节点重新建链。
步骤304:存储节点A暂时终止正在进行的对目标备份设备的数据发送。
步骤305:经过预先配置时间后,所述主控协作服务节点发现与所述存储节点A建链仍未成功,则所述主控协作服务节点放弃所述存储节点A,重新生成备份策略,将存储节点A的工作交给存储节点B继续执行。
步骤306:主控协作服务节点将重新生成的备份策略写入分布式文件锁服务节点中。
步骤307:主控协作服务节点将重新生成的备份策略下发给存储节点B。
步骤308:存储节点B接替存储节点A,继续执行备份操作,将数据发送至目标备份设备。
本发明实施例还提供了一种数据备份系统;图4为本发明实施例的数据备份系统的组成架构示意图;如图4所示,所述系统包括:协作服务节点41、分布式文件锁服务节点42和存储节点43;其中,
所述协作服务节点41,用于确定为主控协作服务节点后,获取备份规则;在满足备份触发条件时,根据所述备份规则及所述存储节点中的数据备份情况生成备份策略,将所述备份策略写入所述分布式文件锁服务节点42中,并将所述备份策略发送至所有存储节点43;
所述分布式文件锁服务节点42,用于接收所述协作服务节点41发送的备份策略,保存所述备份策略;
所述存储节点43,用于接收所述协作服务节点41发送的备份策略,根据所述备份策略执行备份操作。
在本实施例中,所述协作服务节点41、所述分布式文件锁服务节点42和所述存储节点43的数量均为至少两个,以便能够满足故障后的容灾、以及容量扩展等需要。
具体的,所述协作服务节点41确定为主控协作服务节点的具体过程包括:
所有所述协作服务节点41向分布式文件锁服务节点42发起竞争控制权流程,以使所述分布式文件锁服务节点42将最先完成所述竞争控制流程的协作服务节点41确定为主控协作服务节点,获得所述分布式文件锁服务节点42确定的竞争结果;
其中,所述分布式文件锁服务节点42,还用于接收到所有所述协作服务节点41发送的竞争控制权流程,将最先完成所述竞争控制流程的协作服务节点41确定为主控协作服务节点,向所有协作服务节点41发送竞争结果。
具体的,所有协作服务节点41向分布式文件锁服务节点42发起竞争控制权流程时,所有协作服务节点41在所述分布式文件锁服务节点42上创建一个文件,其中只有一个协作服务节点最先创建完成,则最先创建完成的所述协作服务节点确定为主控协作服务节点。
具体的,所述协作服务节点41,用于从分布式文件锁服务节点42中获取备份规则;或者,从用户操作的控制台44中直接获得备份规则。
所述备份规则包括:每次备份的触发周期、要备份的数据集、备份的目标设备以及备份属性信息。
所述数据备份情况包括:数据集中的数据子集在存储节点中的分布情况、数据子集的至少一个副本之间的数据同步情况、以及所有数据集的备份记录。
本实施例中,所述备份触发条件可以是:在所述备份规则中设定的每次备份的触发周期,根据所述触发周期设定定时器,当所述定时器时间到时,确定满足备份触发条件;所述备份触发条件还可以是从用户操作的控制台中直接控制触发,即用户通过所述控制台直接触发备份,所述控制台向所述主控协作服务节点下发备份指令,所述主控协作服务节点接收到所述备份指令时,确定满足备份触发条件。
其中,所述数据备份情况包括:数据集中的数据子集在存储节点中的分布情况、数据子集的至少一个副本之间的数据同步情况、以及所有数据集的备份记录。
具体的,所述主控协作服务节点根据所述备份规则及存储节点中的数据备份情况生成备份策略,具体包括:
所述主控协作服务节点根据每次备份的触发周期设定定时器,所述主控协作服务节点在所述定时器时间到时,将生成的备份策略发送至存储节点,从而触发备份操作;所述主控协作服务节点根据所述备份属性信息确定待备份的属性是全量备份还是增量备份,进一步的根据所述备份规则中的所述要备份的数据集以及所述备份属性信息确定要备份的数据集;所述主控协作服务节点根据所述备份的目标设备确定备份数据的存储位置。
所述主控协作服务节点还可根据所述数据备份情况确定备份策略;例如:在所述备份策略中设定只有完整的副本进行数据备份,不完整的副本不参与数据备份,则所述主控协作服务节点在同一个数据子集的至少一个副本中识别出完整的副本,设定从哪一个副本所在的存储节点开始进行数据备份,以及备份数据的目标设备和在所述目标设备上的存储位置。
本实施例中,当所述分布式文件锁服务节点42中未存储有备份策略时,所述分布式文件锁服务节点42接收并保存作为主控协作服务节点的协作服务节点41发送的备份策略;当用户通过控制台64修改备份策略时,所述分布式文件锁服务节点42接收所述备份策略,并替换自身存储的备份策略。
依据本发明的另一实施例,所述协作服务节点41,还用于确定为非主控协作服务节点时,在所述主控协作服务节点将所述备份策略发送至所有存储节点之前、或所有存储节点根据所述备份策略执行备份操作过程中,发现所述主控协作服务节点故障时,重新向分布式文件锁服务节点发起竞争控制权流程,以使所述分布式文件锁服务节点将最先完成所述竞争控制流程的协作服务节点重新确定为主控协作服务节点,获得所述分布式文件锁服务节点确定的竞争结果。
进一步地,所述协作服务节点41,还用于重新确定为主控协作服务节点之后,判断当前时间是否满足预设触发条件,获得判断结果;当所述判断结果为所述当前时间满足预设触发条件时,根据所述备份规则及存储节点中的数据备份情况重新生成备份策略,将所述备份策略发送至所有存储节点43;当所述判断结果为所述当前时间不满足预设触发条件时,依据所述预设触发条件设置定时器,在所述定时器时间到时,根据所述备份规则及存储节点中的数据备份情况重新生成备份策略,将所述备份策略发送至所有存储节点43。
依据本发明的另一实施例,所述协作服务节点41,还用于确定为主控协作服务节点后,发现存储节点发生故障时,重新生成备份策略,将重新生成的所述备份策略发送至接替发生故障的所述存储节点的其他存储节点,以使所述其他存储节点依据所述备份策略执行备份操作。
依据本发明的另一实施例,所述存储节点43,还用于在备份操作过程中,按预设时间间隔向作为主控协作服务节点的所述协作服务节点41发送备份进度;
所述作为主控协作服务节点的所述协作服务节点41,还用于接收所述存储节点43按预设时间间隔获取的备份进度,将所述备份进度写入分布式文件锁服务节点42。
本发明实施例还提供了一种节点,所述节点为协作服务节点;图5为本发明实施例的协作服务节点的组成结构示意图;如图5所示,所述协作服务节点包括:获取单元411和触发单元412;其中,
所述获取单元411,用于当所述协作服务节点确定为主控服务节点后,获取备份规则;
所述触发单元412,用于在满足备份触发条件时,依据所述获取单元获取的备份规则发起备份操作。
具体的,所述触发单元412,用于根据所述获取单元411获取的备份规则及存储节点中的数据备份情况生成备份策略,将所述备份策略写入分布式文件锁服务节点中,并将所述备份策略发送至所有存储节点,使所有存储节点根据所述备份策略执行备份操作。
优选地,所述节点还包括第一竞争处理单元413,用于向分布式文件锁服务节点发起竞争控制权流程,使所述分布式文件锁服务节点将最先完成所述竞争控制流程的协作服务节点确定为主控协作服务节点;获得所述分布式文件锁服务节点确定的竞争结果。
优选地,所述节点还包括第一竞争处理单元413,用于当所述协作服务节点确定为非主控服务节点时,且主控协作服务节点将备份策略发送至所有存储节点之前、或所有存储节点根据所述备份策略执行备份操作过程中,发现所述主控协作服务节点发生故障时,重新向分布式文件锁服务节点发起竞争控制权流程,使所述分布式文件锁服务节点将最先完成所述竞争控制流程的协作服务节点重新确定为主控协作服务节点,获得所述分布式文件锁服务节点确定的竞争结果。
优选地,所述触发单元412,用于所述协作服务节点确定为主控协作服务节点时,依据备份规则中的备份周期设置定时器,在所述定时器时间到时,确定满足备份触发条件;
所述触发单元412,还用于当所述协作服务节点重新确定主控协作服务节点之后,获取备份规则,依据所述备份规则中的备份周期判断当前时间是否满足预设触发条件,获得判断结果;当所述判断结果为所述当前时间满足预设触发条件时,所述主控协作服务节点根据所述备份规则及存储节点中的数据备份情况重新生成备份策略,将所述备份策略发送至所有存储节点;当所述判断结果为所述当前时间不满足预设触发条件时,依据所述备份规则重新设置定时器,并在所述定时器时间到时,根据所述备份规则及存储节点中的数据备份情况重新生成备份策略,将所述备份策略发送至所有存储节点。
优选地,所述触发单元412,还用于当发现存储节点发生故障时,重新生成备份策略,将重新生成的所述备份策略发送至接替发生故障的所述存储节点的其他存储节点,以使所述其他存储节点依据所述备份策略执行备份操作。
优选地,所述获取单元411,用于从分布式文件锁服务节点中获取备份规则;或者,从用户操作的控制台中直接获得备份规则。
所述节点还包括第一接收单元415和第一发送单元414;其中,
所述第一接收单元415,用于按预设时间间隔获取所有存储节点的备份进度;
所述第一发送单元414,还用于将所述第一接收单元415获得的所述备份进度发送至分布式文件锁服务节点。
本实施例中,所述协作服务节点中的获取单元411和触发单元412在实际应用中,均可由所述协作服务节点中的中央处理器(CPU,Central Processing Unit)、数字信号处理器(DSP,Digital Signal Processor)或可编程门阵列(FPGA,Field-ProgrammableGate Array)实现;所述协作服务节点中的第一发送单元414在实际应用中,均可由所述协作服务节点中的发射机或发射天线实现;所述协作服务节点中的第一竞争处理单元413在实际应用中,可由所述协作服务节点中的CPU、DSP或FPGA结合收发机或收发天线实现;所述协作服务节点中的第一接收单元415在实际应用中,可由所述协作服务节点中的接收机或接收天线实现。
本领域技术人员应当理解,本发明实施例的协作服务节点中各处理单元的功能,可参照前述数据备份方法的相关描述而理解,本发明实施例的协作服务节点中各处理单元,可通过实现本发明实施例所述的功能的模拟电路而实现,也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (14)

1.一种数据备份方法,其特征在于,所述方法包括:
确定一协作服务节点为主控协作服务节点后,所述主控协作服务节点获取备份规则;
在满足备份触发条件时,所述主控协作服务节点依据所述备份规则发起备份操作;
所述确定一协作服务节点为主控协作服务节点,包括:所有协作服务节点向分布式文件锁服务节点发起竞争控制权流程,以使所述分布式文件锁服务节点将最先完成所述竞争控制流程的协作服务节点确定为主控协作服务节点,获得所述分布式文件锁服务节点确定的竞争结果;
所述主控协作服务节点发起备份操作,包括:
所述主控协作服务节点根据所述备份规则及存储节点中的数据备份情况生成备份策略;
当所述协作服务节点确定为非主控协作服务节点时,在所述主控协作服务节点将所述备份策略发送至所有存储节点之前、或所有存储节点根据所述备份策略执行备份操作过程中,所述方法还包括:
发现所述主控协作服务节点故障时,所有协作服务节点重新向分布式文件锁服务节点发起竞争控制权流程,以使所述分布式文件锁服务节点将最先完成所述竞争控制流程的协作服务节点重新确定为主控协作服务节点,获得所述分布式文件锁服务节点确定的竞争结果。
2.根据权利要求1所述的方法,其特征在于,所述主控协作服务节点发起备份操作,还包括:
将所述备份策略写入分布式文件锁服务节点中,并将所述备份策略发送至所有存储节点,使所有存储节点根据所述备份策略执行备份操作。
3.根据权利要求1所述的方法,其特征在于,所述主控协作服务节点中依据备份规则中的备份周期设置定时器;所述满足备份触发条件,包括:所述定时器时间到,确定满足备份触发条件;
相应的,当重新确定主控协作服务节点之后,所述方法还包括:重新确定的所述主控协作服务节点获取备份规则,依据所述备份规则中的备份周期判断当前时间是否满足预设触发条件,获得判断结果;
当所述判断结果为所述当前时间满足预设触发条件时,所述主控协作服务节点根据所述备份规则及存储节点中的数据备份情况重新生成备份策略,将所述备份策略发送至所有存储节点;
当所述判断结果为所述当前时间不满足预设触发条件时,依据所述备份规则重新设置定时器,并在所述定时器时间到时,根据所述备份规则及存储节点中的数据备份情况重新生成备份策略,将所述备份策略发送至所有存储节点。
4.根据权利要求1所述的方法,其特征在于,当所述主控协作服务节点发现存储节点发生故障时,所述方法还包括:
所述主控协作服务节点重新生成备份策略,将重新生成的所述备份策略发送至接替发生故障的所述存储节点的其他存储节点,以使所述其他存储节点依据所述备份策略执行备份操作。
5.根据权利要求1所述的方法,其特征在于,所述主控协作服务节点获取备份规则,包括:
所述主控协作服务节点从分布式文件锁服务节点中获取备份规则;或者,
所述主控协作服务节点从用户操作的控制台中直接获得备份规则。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述备份规则包括:每次备份的触发周期、要备份的数据集、备份的目标设备以及备份属性信息。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述数据备份情况包括:数据集中的数据子集在存储节点中的分布情况、数据子集的至少一个副本之间的数据同步情况、以及所有数据集的备份记录。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:所述主控协作服务节点按预设时间间隔获取所有存储节点的备份进度,将所述备份进度写入分布式文件锁服务节点。
9.一种节点,所述节点为协作服务节点;其特征在于,所述节点包括:获取单元和触发单元;其中,
所述获取单元,用于当所述协作服务节点确定为主控服务节点后,获取备份规则;
所述触发单元,用于在满足备份触发条件时,依据所述获取单元获取的备份规则发起备份操作;
所述节点还包括第一竞争处理单元,用于向分布式文件锁服务节点发起竞争控制权流程,使所述分布式文件锁服务节点将最先完成所述竞争控制流程的协作服务节点确定为主控协作服务节点;获得所述分布式文件锁服务节点确定的竞争结果;
所述节点还包括第一竞争处理单元,用于当所述协作服务节点确定为非主控服务节点时,且主控协作服务节点将备份策略发送至所有存储节点之前、或所有存储节点根据所述备份策略执行备份操作过程中,发现所述主控协作服务节点发生故障时,重新向分布式文件锁服务节点发起竞争控制权流程,使所述分布式文件锁服务节点将最先完成所述竞争控制流程的协作服务节点重新确定为主控协作服务节点,获得所述分布式文件锁服务节点确定的竞争结果。
10.根据权利要求9所述的节点,其特征在于,所述触发单元,用于根据所述获取单元获取的备份规则及存储节点中的数据备份情况生成备份策略,将所述备份策略写入分布式文件锁服务节点中,并将所述备份策略发送至所有存储节点,使所有存储节点根据所述备份策略执行备份操作。
11.根据权利要求9所述的节点,其特征在于,
所述触发单元,用于所述协作服务节点确定为主控协作服务节点时,依据备份规则中的备份周期设置定时器,在所述定时器时间到时,确定满足备份触发条件;
所述触发单元,还用于当所述协作服务节点重新确定主控协作服务节点之后,获取备份规则,依据所述备份规则中的备份周期判断当前时间是否满足预设触发条件,获得判断结果;当所述判断结果为所述当前时间满足预设触发条件时,所述主控协作服务节点根据所述备份规则及存储节点中的数据备份情况重新生成备份策略,将所述备份策略发送至所有存储节点;当所述判断结果为所述当前时间不满足预设触发条件时,依据所述备份规则重新设置定时器,并在所述定时器时间到时,根据所述备份规则及存储节点中的数据备份情况重新生成备份策略,将所述备份策略发送至所有存储节点。
12.根据权利要求9所述的节点,其特征在于,所述触发单元,还用于当发现存储节点发生故障时,重新生成备份策略,将重新生成的所述备份策略发送至接替发生故障的所述存储节点的其他存储节点,以使所述其他存储节点依据所述备份策略执行备份操作。
13.根据权利要求9所述的节点,其特征在于,所述获取单元,用于从分布式文件锁服务节点中获取备份规则;或者,从用户操作的控制台中直接获得备份规则。
14.根据权利要求9所述的节点,其特征在于,所述节点还包括第一接收单元和第一发送单元;其中,
所述第一接收单元,用于按预设时间间隔获取所有存储节点的备份进度;
所述第一发送单元,用于将所述第一接收单元获得的所述备份进度发送至分布式文件锁服务节点。
CN201410419266.XA 2014-08-22 2014-08-22 一种数据备份方法及节点 Active CN105354108B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410419266.XA CN105354108B (zh) 2014-08-22 2014-08-22 一种数据备份方法及节点
EP15833967.1A EP3185125B1 (en) 2014-08-22 2015-04-08 Data backup method, system, node and computer storage media
PCT/CN2015/076055 WO2016026306A1 (zh) 2014-08-22 2015-04-08 一种数据备份方法、系统、节点及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410419266.XA CN105354108B (zh) 2014-08-22 2014-08-22 一种数据备份方法及节点

Publications (2)

Publication Number Publication Date
CN105354108A CN105354108A (zh) 2016-02-24
CN105354108B true CN105354108B (zh) 2020-01-07

Family

ID=55330082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410419266.XA Active CN105354108B (zh) 2014-08-22 2014-08-22 一种数据备份方法及节点

Country Status (3)

Country Link
EP (1) EP3185125B1 (zh)
CN (1) CN105354108B (zh)
WO (1) WO2016026306A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130271813A1 (en) 2012-04-17 2013-10-17 View, Inc. Controller for optically-switchable windows
US11300848B2 (en) 2015-10-06 2022-04-12 View, Inc. Controllers for optically-switchable devices
CN106330945B (zh) * 2016-08-31 2020-04-24 北京信安世纪科技股份有限公司 数字证书同步方法、数字签名服务器及数字证书同步系统
CN108241544B (zh) * 2016-12-23 2023-06-06 中科星图股份有限公司 一种基于集群的故障处理方法
CN109308233A (zh) * 2017-07-28 2019-02-05 中兴通讯股份有限公司 数据备份方法、装置及系统
CN107992326B (zh) * 2017-12-19 2021-03-23 上海新炬网络技术有限公司 基于Struts2框架的Java自动化代码发布方法
CN108170559A (zh) * 2017-12-22 2018-06-15 维沃移动通信有限公司 一种数据备份方法及终端
CN108874918B (zh) * 2018-05-30 2021-11-26 郑州云海信息技术有限公司 一种数据处理装置、数据库一体机及其数据处理方法
CN111404647B (zh) * 2019-01-02 2023-11-28 中兴通讯股份有限公司 一种节点协同关系的控制方法及相关设备
CN109756918B (zh) * 2019-03-26 2022-05-06 京信网络系统股份有限公司 数据备份方法、装置、计算机设备和存储介质
CN111240899B (zh) * 2020-01-10 2023-07-25 北京百度网讯科技有限公司 状态机复制方法、装置、系统及存储介质
CN111459718B (zh) * 2020-03-31 2024-02-09 珠海格力电器股份有限公司 一种多终端系统及其数据备份方法和存储介质
CN114764377A (zh) * 2020-12-30 2022-07-19 花瓣云科技有限公司 一种数据备份方法、电子设备、数据备份系统及芯片系统
CN113190619B (zh) * 2021-04-29 2022-12-27 优刻得科技股份有限公司 分布式kv数据库的数据读写方法、系统、设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123054A (zh) * 2011-04-19 2011-07-13 北京神州数码思特奇信息技术股份有限公司 一种管理控制云计算网络技术系统
CN103873501A (zh) * 2012-12-12 2014-06-18 华中科技大学 一种云备份系统及其数据备份方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7941404B2 (en) * 2006-03-08 2011-05-10 International Business Machines Corporation Coordinated federated backup of a distributed application environment
CN101252603B (zh) * 2008-04-11 2011-03-30 清华大学 基于存储区域网络san的集群分布式锁管理方法
CN102693168B (zh) * 2011-03-22 2014-12-31 中兴通讯股份有限公司 一种数据备份恢复的方法、系统和服务节点
CN103186554B (zh) * 2011-12-28 2016-11-23 阿里巴巴集团控股有限公司 分布式数据镜像方法及存储数据节点
US20140149346A1 (en) * 2012-02-28 2014-05-29 Gigaspaces Ltd. System and method for maintaining distributed data transaction atomicity and isolation during a replication to a different target cluster
US20130339298A1 (en) * 2012-06-13 2013-12-19 Commvault Systems, Inc. Collaborative backup in a networked storage system
CN103793425B (zh) * 2012-10-31 2017-07-14 国际商业机器公司 用于分布式系统的数据处理方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123054A (zh) * 2011-04-19 2011-07-13 北京神州数码思特奇信息技术股份有限公司 一种管理控制云计算网络技术系统
CN103873501A (zh) * 2012-12-12 2014-06-18 华中科技大学 一种云备份系统及其数据备份方法

Also Published As

Publication number Publication date
EP3185125A4 (en) 2018-01-03
WO2016026306A1 (zh) 2016-02-25
EP3185125B1 (en) 2019-04-03
EP3185125A1 (en) 2017-06-28
CN105354108A (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
CN105354108B (zh) 一种数据备份方法及节点
TWI751402B (zh) 一種資料同步方法、分散式系統、電腦可讀取儲取媒體、電腦設備及分散式設備
WO2017177941A1 (zh) 主备数据库切换方法和装置
US11256539B2 (en) Task processing method, apparatus, and system based on distributed system
US9251230B2 (en) Exchanging locations of an out of synchronization indicator and a change recording indicator via pointers
US20090265520A1 (en) Method and apparatus for backing up data
WO2014060881A1 (en) Consistency group management
CN104486319A (zh) 适用于高可用系统的配置文件实时同步方法及其系统
CN107832169B (zh) 内存数据迁移方法、装置、终端设备和存储介质
CN109063005B (zh) 一种数据迁移方法及系统、存储介质、电子设备
CN110099108B (zh) 一种区块链事件去重方法、装置、计算机设备及存储介质
CN109491832A (zh) 数据容灾方法与站点
CN103870362A (zh) 一种数据恢复方法、装置及备份系统
CN104750738A (zh) 一种更新数据信息的方法、数据节点、管理节点及系统
CN104767794A (zh) 一种分布式系统中的节点选举方法及节点
US20120324279A1 (en) Method and Apparatus of Backing up Subversion Repository
CN104486373A (zh) 一种锁资源迁移方法、节点及分布式系统
CN108733808B (zh) 大数据软件系统切换方法、系统、终端设备及存储介质
CN113986450A (zh) 一种虚拟机备份方法及装置
CN105323271B (zh) 一种云计算系统以及云计算系统的处理方法和装置
CN116185697B (zh) 容器集群管理方法、装置、系统、电子设备及存储介质
WO2017080362A1 (zh) 数据管理方法及装置
CN110825758A (zh) 一种交易处理的方法及装置
CN111625402A (zh) 数据恢复方法、装置、电子设备及计算机可读存储介质
CN111880947A (zh) 一种数据传输方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant