CN114579353A - 数据备份方法、数据恢复方法、系统、装置以及存储介质 - Google Patents

数据备份方法、数据恢复方法、系统、装置以及存储介质 Download PDF

Info

Publication number
CN114579353A
CN114579353A CN202011385722.5A CN202011385722A CN114579353A CN 114579353 A CN114579353 A CN 114579353A CN 202011385722 A CN202011385722 A CN 202011385722A CN 114579353 A CN114579353 A CN 114579353A
Authority
CN
China
Prior art keywords
backup
file
information table
data
task allocation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011385722.5A
Other languages
English (en)
Inventor
杨孝平
陈刚
苏伟杰
温健军
杨名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Sichuan Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Sichuan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Sichuan Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011385722.5A priority Critical patent/CN114579353A/zh
Publication of CN114579353A publication Critical patent/CN114579353A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据备份方法,用以解决采用现有备份方法进行数据备份时,由于采用集中式架构,数据备份系统可扩展性较差,在面对大量数据备份任务的情况下,极易到达性能瓶颈,导致备份任务执行成功率较低,从而对生产系统的正常运行造成影响,给整个生产系统的安全运行带来了极大地隐患的问题。方法包括:数据备份服务器接收备份客户端上传的备份文件信息表;其中,所述备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称;根据所述备份文件信息表,确定备份任务分配策略;其中,所述备份任务分配策略用于确定各备份节点所对应的切块名称;根据所述备份任务分配策略,调用至少两个备份节点进行数据备份。

Description

数据备份方法、数据恢复方法、系统、装置以及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据备份方法、数据恢复方法、系统、装置以及存储介质。
背景技术
备份技术是计算机系统领域防止软硬件故障、人为事件、恶意篡改、黑客攻击、病毒、不可抗力等因素造成的数据丢失和损坏,保证计算机系统连续运行的重要措施,是防灾、减灾的核心,它的目的就是在灾难发生后保护业务系统的连续性,尽量地减少非计划的宕机时间。
备份技术是通过对原始数据创建数据副本和将数据副本单独存储的方式,来保障原数据出现故障时有副本数据可以来恢复。备份是保护数据的最后一道屏障,对于任何IT企业或者数据中心来说都至关重要。
目前,在现有的数据系统架构下,备份系统一般是一个相对独立的系统,采用集中式架构,通过将各个生产系统的待备份数据集中到一个统一接口,再通过该接口向后端备份存储设备进行备份写入。
且在现有的备份系统中,数据的备份与恢复都将通过该统一接口集中实现的,随着生产系统的不断覆盖,数据量的不断增加,且备份系统在进行数据备份时,往往同时也会有恢复数据需要进行恢复,而备份数据与恢复数据均会从该统一接口输入/输出,当备份(或者恢复)数据量极大时,则极易形成性能瓶颈,影响备份任务或者恢复任务的正常进行,严重时还可能会影响业务系统的正常运行。
由此可见,目前的备份系统所提供的数据备份以及恢复方案,由于采用集中式架构,数据备份系统可扩展性较差,且易导致备份任务以及恢复任务的执行成功率较低,对各个生产系统的正常运行造成影响,进而给整个生产系统的安全运行带来了极大地隐患。
发明内容
本申请实施例提供一种数据备份方法,用以解决采用现有备份方法进行数据备份时,由于采用集中式架构,数据备份系统可扩展性较差,在面对大量数据备份任务的情况下,极易到达性能瓶颈,导致备份任务执行成功率较低,从而对生产系统的正常运行造成影响,给整个生产系统的安全运行带来了极大地隐患的问题。
本申请实施例还提供一种数据恢复方法,用以解决采用现有备份方法进行数据恢复时,由于采用集中式架构,数据备份系统可扩展性较差,在面对大量数据备份任务的情况下,极易到达性能瓶颈,导致备份任务执行成功率较低,从而对生产系统的正常运行造成影响,给整个生产系统的安全运行带来了极大地隐患的问题。
本申请实施例还提供一种数据备份系统,用以解决采用现有备份方法进行数据备份时,由于采用集中式架构,数据备份系统可扩展性较差,在面对大量数据备份任务的情况下,极易到达性能瓶颈,导致备份任务执行成功率较低,从而对生产系统的正常运行造成影响,给整个生产系统的安全运行带来了极大地隐患的问题。
本申请实施例还提供一种数据备份装置,用以解决采用现有备份方法进行数据备份时,由于采用集中式架构,数据备份系统可扩展性较差,在面对大量数据备份任务的情况下,极易到达性能瓶颈,导致备份任务执行成功率较低,从而对生产系统的正常运行造成影响,给整个生产系统的安全运行带来了极大地隐患的问题。
本申请实施例还提供一种计算机可读存储介质,用以解决采用现有备份方法进行数据备份时,由于采用集中式架构,数据备份系统可扩展性较差,在面对大量数据备份任务的情况下,极易到达性能瓶颈,导致备份任务执行成功率较低,从而对生产系统的正常运行造成影响,给整个生产系统的安全运行带来了极大地隐患的问题。
本申请实施例采用下述技术方案:
一种数据备份方法,包括:接收备份客户端上传的备份文件信息表;其中,所述备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称;根据所述备份文件信息表,确定备份任务分配策略;根据所述备份任务分配策略,调用至少两个备份节点进行数据备份。
一种数据恢复方法,包括:数据备份服务器接收备份客户端上传的文件恢复信息表;其中,所述文件恢复信息表中携带有待恢复文件名、待恢复文件切块数量以及待恢复文件各切块对应的切块名称;根据所述文件恢复信息表中携带的待恢复文件名,确定与所述待恢复文件名对应的备份文件信息表;根据所述文件恢复信息表以及所述备份文件信息表,确定文件恢复任务分配策略;根据所述文件恢复任务分配策略,调用至少两个备份节点进行数据恢复。
一种数据备份系统,包括:
接收单元,用于接收备份客户端上传的备份文件信息表;其中,所述备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称;任务分配策略确定单元,用于根据所述备份文件信息表,确定备份任务分配策略;备份单元,用于根据所述备份任务分配策略,调用至少两个备份节点进行数据备份。
一种数据恢复系统,包括:
恢复信息接收单元,用于接收备份客户端上传的文件恢复信息表;其中,所述文件恢复信息表中携带有待恢复文件名、待恢复文件切块数量以及待恢复文件各切块对应的切块名称;备份信息确定单元,用于根据所述文件恢复信息表中携带的待恢复文件名,确定与所述待恢复文件名对应的备份文件信息表;恢复任务分配单元,用于根据所述文件恢复信息表以及所述备份文件信息表,确定文件恢复任务分配策略;恢复单元,用于根据所述文件恢复任务分配策略,调用至少两个备份节点进行数据恢复。
一种数据备份装置,包括:
处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:接收备份客户端上传的备份文件信息表;其中,所述备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称;根据所述备份文件信息表,确定备份任务分配策略;根据所述备份任务分配策略,调用至少两个备份节点进行数据备份。
一种数据恢复装置,包括:
处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:接收备份客户端上传的文件恢复信息表;其中,所述文件恢复信息表中携带有待恢复文件名、待恢复文件切块数量以及待恢复文件各切块对应的切块名称;根据所述文件恢复信息表中携带的待恢复文件名,确定与所述待恢复文件名对应的备份文件信息表;根据所述文件恢复信息表以及所述备份文件信息表,确定文件恢复任务分配策略;根据所述文件恢复任务分配策略,调用至少两个备份节点进行数据恢复。
一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:接收备份客户端上传的备份文件信息表;其中,所述备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称;根据所述备份文件信息表,确定备份任务分配策略;根据所述备份任务分配策略,调用至少两个备份节点进行数据备份。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
采用本申请实施例提供的数据备份方法,当需要进行数据备份时,数据备份服务器可以接收备份客户端上传的备份文件信息表,其中,该备份文件信息表中携带有待备份文件名、待备份文件被分割成的切块数量以及该待备份文件各个切块所对应的切块名称;进而数据备份服务器可以根据接收到的该备份文件信息表,确定备份任务分配策略,根据该备份任务分配策略,可以确定各个备份节点所对应的切块名称;最后,数据备份服务器可以根据该备份任务分配策略,调用至少两个备份节点共同进行数据备份。由于采用本方案的所提供的数据备份方法,在进行数据备份时,备份客户端可以预先将待备份文件分割成多个切块,并将备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称写入备份文件信息表,将该备份文件信息表上传至数据备份服务器,进而数据备份服务器可以根据该备份文件信息表中携带的相关信息,确定各备份节点分别需要备份的切块名称,进而调用至少两个备份节点分别对该备份客户端上的备份文件进行数据备份,由于针对同一个备份文件可以调用多个备份节点分别进行备份处理,相比于现有技术采用单一接口进行数据备份的方案,本方案极大地提高了数据备份的效率,且避免了现有技术中采用单一接口进行数据备份时,在数据备份量激增的情况下,单一备份接口很容易达到性能瓶颈,进行导致数据备份失败的问题,极大地提高了数据备份成功率,进而极大地保证了生产系统安全稳定的运行。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种数据备份方法的具体流程示意图;
图2为本申请实施例提供的一种数据备份系统的具体架构示意图;
图3为本申请实施例提供的一种数据恢复方法的具体流程示意图;
图4为本申请实施例提供的一种数据备份系统的具体结构示意图;
图5为本申请实施例提供的一种数据恢复系统的具体结构示意图;
图6为本申请实施例提供的一种数据备份装置的具体结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
本申请实施例提供的一种数据备份方法,用以解决采用现有备份方法进行数据备份时,由于采用集中式架构,数据备份系统可扩展性较差,在面对大量数据备份任务的情况下,极易到达性能瓶颈,导致备份任务执行成功率较低,从而对生产系统的正常运行造成影响,给整个生产系统的安全运行带来了极大地隐患的问题。
本申请所提供的数据备份方法的具体实现流程示意图如图1所示,主要包括下述步骤:
步骤11,数据备份服务器接收备份客户端上传的备份文件信息表;
其中,备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称。
在本申请实施例中,备份客户端是指安装在备份设备上,与数据备份服务器对应,用于对备份设备上数据进行备份的应用程序,而备份设备是指生产系统中有数据备份需要的设备。另外,在本申请实施例所提供的备份系统中,还包括备份存储设备以及若干备份节点,其中,备份存储设备是指备份系统中用于存储备份数据的设备,而备份节点主要用于从备份设备处获取备份数据,并将备份数据上传至备份存储设备中保存。
本申请实施例所提供的数据备份系统,相比于相关技术中所提供的数据备份系统,将单一数据备份接口替换成了若干个备份节点,该些备份节点均可以处理数据备份(恢复)任务,极大地降低了采用单一数据备份接口所带来的设备负载,提高了数据备份成功率。
除了采用多备份节点处理数据备份(恢复)任务外,本申请实施例还提供了一种多备份节点并行处理同一备份任务的方法,即通过多个备份节点同时对待备份文件的不同部分进行数据备份,从而进一步提高了数据的备份效率。假设,100G文件的备份速度为100秒,如果采用相关技术中提供的数据备份方法,备份完该文件需要100秒,而采用本申请实施例所提供的数据备份方法,可以通过10个备份节点共同对该文件进行备份,每个备份节点备份10G的文件,则备份完该文件仅需要10秒,极大地提高了数据备份效率。
为了可以实现多个备份节点同时对待备份文件的不同部分进行数据备份这一方案,在本申请实施例中,在进行数据备份之前,备份客户端首先需要对备份设备上待备份的文件进行分割,将待备份文件分割成若干个切块,以便于后续通过多个备份节点同时对该待备份文件进行数据备份。
在一种实施方式中,本申请实施例所提供的数据备份方法,数据备份服务器在接收备份客户端上传的备份文件信息表之前,还包括:数据备份服务器向备份客户端发送备份开始指令,以使得所述备份客户端响应于所述备份开始指令,对所述备份文件进行拆分切块,并将拆分切块后得到的备份文件切块数量以及各切块对应的切块名称保存至备份文件信息表中。
在本申请实施例中,当备份客户端接收到备份服务器发送的备份开始指令后,备份客户端可以按照定长的方式,对待备份文件进行分割切块,比如,备份客户端可以按照100比特字节长度对待备份文件进行定长切块,以得到若干个100比特字节长度的文件切块。另外,除了按照定长方式进行备份文件切块外,本申请实施例还可以通过其他方式进行备份文件的切块,在本申请实施例中,对备份客户端的切块方式不做限定,只要保证备份文件可以被分割切块成多个部分,以便后续多备份节点共同进行数据备份即可。
在切块完成后,备份客户端会将切块信息记录在备份文件信息表中,并将该备份文件信息表上传给备份服务器。在本申请实施例中,备份文件信息表如下表1所示,其中主要包括备份文件名、备份文件切块数量、切块长度以及备份文件各切块对应的切块名称,等信息。
表1备份文件信息表
Figure BDA0002810932610000081
步骤12,根据通过执行步骤11接收到的备份文件信息表,确定备份任务分配策略;
其中,所述备份任务分配策略用于确定各备份节点所对应的切块名称,即各备份节点所需要处理的备份任务所对应的切块名称,后续即可根据该备份任务分配策略,选择备份节点对待备份文件的切块进行数据备份。
这里需要说明的是,为了保证备份系统中各备份节点间性能的负载均衡,在确定备份任务分配策略时,一般会保证每个备份节点均能分配到备份任务,从而避免仅针对个别备份节点进行备份任务的分配,而造成该些备份节点性能达到瓶颈的问题。在一种实施方式中,数据备份服务器一般可以根据系统当前可用的备份节点数量,以及待执行备份任务的数量,来确定备份任务分配策略。
在本申请实施例中,确定备份任务分配策略的方法具体可以包括:确定当前可用备份节点数量;根据所述备份文件信息表中的备份文件切块数量,确定待执行备份任务数量;根据所述待执行备份任务数量以及所述当前可用备份节点数量,确定针对各所述当前可用备份节点分配的备份任务数量。
在一种实施方式中,数据备份服务器具体可以按照下述方法确定备份任务分配策略:
子步骤1:确定待执行备份任务的数量以及当前可用备份节点数量;
在本申请实施例中,数据备份服务器可以根据备份文件信息表,确定待备份文件的切块数量,每个切块对应与一个备份任务,进而根据切块数量确定待执行备份任务数量。
另外,数据备份服务器可以通过查询备份节点的状态,确定备份节点当前是否空闲,进而以此确定备份系统中当前可用的备份节点。
子步骤2:比较通过执行子步骤1获取到的待执行备份任务数量与当前可用备份节点数量的大小;
子步骤3:当所述待执行备份任务数量大于所述当前可用备份节点数量时,根据以下公式[1]确定针对各所述当前可用备份节点分配的备份任务数量:
INT(M/N)≤P≤INT(M/N)+1 [1]
其中,M表示待执行备份任务数量,N表示当前可用备份节点数量,P表示针对各所述当前可用备份节点分配的备份任务数量。
例如,以表1备份文件信息表中所示的信息为例,假设数据备份服务器需要确定备份文件-A文件对应的备份任务分配策略,通过查看备份文件信息表可以确定备份文件-A有5个文件切块,即待分配备份任务为5个,通过查看备份节点状态,可以确定当前可用的备份节点有3个,根据上述公式[1]可以确定备份任务分配策略为:
为每个备份节点所分配的任务量不小于INT(5/3)=2个,不多于INT(5/3)+1=3个,并按照切块名称的顺序进行分配:
例如,备份节点1处理:A-块1、A-块2对应的备份任务;
备份节点2处理:A-块3、A-块4对应的备份任务;
备份节点3处理:A-块5对应的备份任务。
子步骤4:当待执行备份任务数量小于等于当前可用备份节点数量时,根据待执行备份任务数量,按顺序依次为各所述当前可用备份节点分配一个备份任务。
步骤13,根据通过执行步骤12确定的备份任务分配策略,调用至少两个备份节点进行数据备份;
数据备份服务器按照通过执行步骤12确定的备份任务分配策略,对备份任务进行分配调度并进行记录,使每个备份节点明确所需备份的具体文件切块。
各个备份节点在接收到数据备份服务器分配的备份任务后,将会按照数据备份服务器的分配,根据各自备份任务中的文件切块名称,通过备份客户端去备份设备中读取相应的文件切块内容,并将读取到的文件切块内容写入到备份存储设备进行保存。
以上述表1所示的备份文件信息表为例,则采用本申请实施例所提供的数据备份系统的具体框架如图2所示。
采用本申请实施例提供的数据备份方法,当需要进行数据备份时,数据备份服务器可以接收备份客户端上传的备份文件信息表,其中,该备份文件信息表中携带有待备份文件名、待备份文件被分割成的切块数量以及该待备份文件各个切块所对应的切块名称;进而数据备份服务器可以根据接收到的该备份文件信息表,确定备份任务分配策略,根据该备份任务分配策略,可以确定各个备份节点所对应的切块名称;最后,数据备份服务器可以根据该备份任务分配策略,调用至少两个备份节点共同进行数据备份。由于采用本方案的所提供的数据备份方法,在进行数据备份时,备份客户端可以预先将待备份文件分割成多个切块,并将备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称写入备份文件信息表,将该备份文件信息表上传至数据备份服务器,进而数据备份服务器可以根据该备份文件信息表中携带的相关信息,确定各备份节点分别需要备份的切块名称,进而调用至少两个备份节点分别对该备份客户端上的备份文件进行数据备份,由于针对同一个备份文件可以调用多个备份节点分别进行备份处理,相比于现有技术采用单一接口进行数据备份的方案,本方案极大地提高了数据备份的效率,且避免了现有技术中采用单一接口进行数据备份时,在数据备份量激增的情况下,单一备份接口很容易达到性能瓶颈,进行导致数据备份失败的问题,极大地提高了数据备份成功率,进而极大地保证了生产系统安全稳定的运行。
在一种实施方式中,本申请实施例还提供了一种数据恢复方法,用以解决采用现有备份方法进行数据恢复时,由于采用集中式架构,数据备份系统可扩展性较差,在面对大量数据备份任务的情况下,极易到达性能瓶颈,导致备份任务执行成功率较低,从而对生产系统的正常运行造成影响,给整个生产系统的安全运行带来了极大地隐患的问题。
本申请所提供的数据恢复方法的具体实现流程示意图如图3所示,本申请实施例所提供的数据恢复方饭主要针对按照上述实施例所提供的数据备份方法进行备份后的数据恢复,该数据恢复方法主要包括下述步骤:
步骤21,接收备份客户端上传的文件恢复信息表;
其中,所述文件恢复信息表中携带有待恢复文件名、待恢复文件切块数量以及待恢复文件各切块对应的切块名称。
由于在进行备份时,是按照文件切块进行分别备份的,因而在进行数据恢复时,也可以确定待恢复文件发生变化的部分,并仅针对该部分进行数据恢复,从而极大地提高了数据恢复的效率。
为了确定文件发生变化的切块部分,在本申请实施例中,在进行数据恢复前,数据备份服务器首先会向备份客户端发送备份文件信息表,以使得备份客户端根据备份文件信息表,确定该文件在备份过程中的切块方式,并按照该切块方式对当前文件进行相同的切块处理。
具体地,当数据备份服务器接收到备份设备通过备份客户端上传的数据恢复请求时,数据备份服务器会根据恢复请求中所携带的待恢复文件名称,查找该待恢复文件所对应的备份文件信息表,并将备份文件信息表作为与该恢复请求对应备份文件信息表,发送至备份客户端,则备份客户端可以根据备份文件信息表中的切块长度,确定该文件在备份时的切块方式,进而按照同样的切块方式对当前文件进行切块,并将拆分切块后得到的待恢复文件名、待恢复文件切块数量以及待恢复文件各切块对应的切块名称保存至文件恢复信息表中。
步骤22,根据通过执行步骤22获取到的文件恢复信息表中携带的待恢复文件名,确定与所述待恢复文件名对应的备份文件信息表;
步骤23,根据通过执行上述步骤21~步骤22获得的文件恢复信息表以及所述备份文件信息表,确定文件恢复任务分配策略;
其中,所述文件恢复任务分配策略用于确定各备份节点所对应的待恢复文件切块的切块名称。
在本申请实施例中,数据备份服务器可以仅针对待恢复文件相对于备份时,发生变化的部分,进行部分恢复,则数据备份服务器可以根据对通过执行步骤21以及步骤22得到的备份文件信息表以及文件恢复信息表中的信息进行比较,进而确定该待恢复文件中发生变化的部分,进而根据该发生变化的部分,确定文件恢复任务分配策略。
在一种实施方式中,确定文件恢复任务分配策略的方法,具体可以包括:根据所述文件恢复信息表中携带的待恢复文件各切块对应的切块名称,以及所述备份文件信息表中携带的备份文件各切块对应的切块名称,确定待恢复的切块名称以及待恢复切块数量;根据所述待恢复的切块名称以及所述待恢复切块数量,确定文件恢复任务分配策略。
例如,备份设备上文件A通过上述实施例提供的数据备份方法,被拆分为了切块a,切块b,切块c,切块d,切块e五个文件切块,并进行了数据备份。经过一段时间后,文件A的部份内容遭到了修改,现需要将文件A恢复到之前的一个备份状态,因此向备份服务器发起恢复请求,此时,备份服务器将文件A对应的备份文件信息表反馈给客户端,客户端将按照该备份文件信息表记录中的切块长度进行再次切块,重新切块后得到:切块a,切块b,切块c’,切块d’这四个文件切块,并生成文件恢复信息表。
数据备份服务器经过对比,发现文件A的切块a,切块b无变化,切块c,切块d发生了变化,切块e确实,则数据备份服务器可以确定文件恢复任务分配策略为:执行切块c以及切块d对应备份任务的备份节点将切块c,切块d恢复至备份客户端,将执行切块e对应备份任务的备份节点将切块e恢复至备份客户端。
步骤24,根据通过执行步骤23确定的文件恢复任务分配策略,调用至少两个备份节点进行数据恢复。
采用本申请实施例提供的数据恢复方法,当需要进行数据恢复时,数据备份服务器接收备份客户端上传的文件恢复信息表;其中,所述文件恢复信息表中携带有待恢复文件名、待恢复文件切块数量以及待恢复文件各切块对应的切块名称;进而数据备份服务器可以根据所述文件恢复信息表中携带的待恢复文件名,确定与所述待恢复文件名对应的备份文件信息表;并根据所述文件恢复信息表以及所述备份文件信息表,确定文件恢复任务分配策略;其中,所述文件恢复任务分配策略用于确定各备份节点所对应的待恢复文件切块的切块名称;最后根据所述文件恢复任务分配策略,调用至少两个备份节点进行数据恢复。由于采用本方案的所提供的数据恢复方法,在进行数据恢复时,备份客户端首先可以确定待恢复文件相对于备份时所发生变化的部分,进而通过多个备份节点,仅对确定的变化部分进行文件恢复,从而极大地提高了数据恢复的效率。
另外,在一种实施方式中,本申请实施例还提供了一种数据备份系统,用以解决采用现有备份方法进行数据备份时,由于采用集中式架构,数据备份系统可扩展性较差,在面对大量数据备份任务的情况下,极易到达性能瓶颈,导致备份任务执行成功率较低,从而对生产系统的正常运行造成影响,给整个生产系统的安全运行带来了极大地隐患的问题。该数据备份系统的具体结构示意图如图4所示,包括:接收单元41、任务分配策略确定单元42以及备份单元43。
其中,接收单元41,用于接收备份客户端上传的备份文件信息表;其中,所述备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称;
任务分配策略确定单元42,用于根据所述备份文件信息表,确定备份任务分配策略;其中,所述备份任务分配策略用于确定各备份节点所对应的切块名称;
备份单元43,用于根据所述备份任务分配策略,调用至少两个备份节点进行数据备份。
在一种实施方式中,还包括指令发送单元,用于向备份客户端发送备份开始指令,以使得所述备份客户端响应于所述备份开始指令,对所述备份文件进行拆分切块,并将拆分切块后得到的备份文件切块数量以及各切块对应的切块名称保存至备份文件信息表中。
在一种实施方式中,任务分配策略确定单元42,具体用于:确定当前可用备份节点数量;根据所述备份文件信息表中的备份文件切块数量,确定待执行备份任务数量;根据所述待执行备份任务数量以及所述当前可用备份节点数量,确定针对各所述当前可用备份节点分配的备份任务数量。
在一种实施方式中,任务分配策略确定单元42,具体用于:当所述待执行备份任务数量大于所述当前可用备份节点数量时,根据以下公式确定针对各所述当前可用备份节点分配的备份任务数量:
INT(M/N)≤P≤INT(M/N)+1
其中,M表示所述待执行备份任务数量,N表示所述当前可用备份节点数量,P表示针对各所述当前可用备份节点分配的备份任务数量;
当所述待执行备份任务数量小于等于所述当前可用备份节点数量时,根据所述待执行备份任务数量,按顺序依次为各所述当前可用备份节点分配一个备份任务。
采用本申请实施例提供的数据备份系统,当需要进行数据备份时,数据备份服务器可以接收备份客户端上传的备份文件信息表,其中,该备份文件信息表中携带有待备份文件名、待备份文件被分割成的切块数量以及该待备份文件各个切块所对应的切块名称;进而数据备份服务器可以根据接收到的该备份文件信息表,确定备份任务分配策略,根据该备份任务分配策略,可以确定各个备份节点所对应的切块名称;最后,数据备份服务器可以根据该备份任务分配策略,调用至少两个备份节点共同进行数据备份。由于采用本方案的所提供的数据备份方法,在进行数据备份时,备份客户端可以预先将待备份文件分割成多个切块,并将备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称写入备份文件信息表,将该备份文件信息表上传至数据备份服务器,进而数据备份服务器可以根据该备份文件信息表中携带的相关信息,确定各备份节点分别需要备份的切块名称,进而调用至少两个备份节点分别对该备份客户端上的备份文件进行数据备份,由于针对同一个备份文件可以调用多个备份节点分别进行备份处理,相比于现有技术采用单一接口进行数据备份的方案,本方案极大地提高了数据备份的效率,且避免了现有技术中采用单一接口进行数据备份时,在数据备份量激增的情况下,单一备份接口很容易达到性能瓶颈,进行导致数据备份失败的问题,极大地提高了数据备份成功率,进而极大地保证了生产系统安全稳定的运行。
此外,在一种实施方式中,本申请实施例还提供了一种数据恢复系统,用以解决采用现有备份方法进行数据恢复时,由于采用集中式架构,数据备份系统可扩展性较差,在面对大量数据备份任务的情况下,极易到达性能瓶颈,导致备份任务执行成功率较低,从而对生产系统的正常运行造成影响,给整个生产系统的安全运行带来了极大地隐患的问题。该数据备份系统的具体结构示意图如图5所示,包括:恢复信息接收单元51、备份信息确定单元52、恢复任务分配单元53以及恢复单元54。
其中,恢复信息接收单元51,用于接收备份客户端上传的文件恢复信息表;其中,所述文件恢复信息表中携带有待恢复文件名、待恢复文件切块数量以及待恢复文件各切块对应的切块名称;
备份信息确定单元52,用于根据所述文件恢复信息表中携带的待恢复文件名,确定与所述待恢复文件名对应的备份文件信息表;
恢复任务分配单元53,用于根据所述文件恢复信息表以及所述备份文件信息表,确定文件恢复任务分配策略;其中,所述文件恢复任务分配策略用于确定各备份节点所对应的待恢复文件切块的切块名称;
恢复单元54,用于根据所述文件恢复任务分配策略,调用至少两个备份节点进行数据恢复。
采用本申请实施例提供的数据恢复系统,当需要进行数据恢复时,数据备份服务器接收备份客户端上传的文件恢复信息表;其中,所述文件恢复信息表中携带有待恢复文件名、待恢复文件切块数量以及待恢复文件各切块对应的切块名称;进而数据备份服务器可以根据所述文件恢复信息表中携带的待恢复文件名,确定与所述待恢复文件名对应的备份文件信息表;并根据所述文件恢复信息表以及所述备份文件信息表,确定文件恢复任务分配策略;其中,所述文件恢复任务分配策略用于确定各备份节点所对应的待恢复文件切块的切块名称;最后根据所述文件恢复任务分配策略,调用至少两个备份节点进行数据恢复。由于采用本方案的所提供的数据恢复方法,在进行数据恢复时,备份客户端首先可以确定待恢复文件相对于备份时所发生变化的部分,进而通过多个备份节点,仅对确定的变化部分进行文件恢复,从而极大地提高了数据恢复的效率。
图6是本申请的一个实施例电子设备的结构示意图。请参考图6,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成数据同步装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
接收备份客户端上传的备份文件信息表;其中,所述备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称;
根据所述备份文件信息表,确定备份任务分配策略;其中,所述备份任务分配策略用于确定各备份节点所对应的切块名称;
根据所述备份任务分配策略,调用至少两个备份节点进行数据备份。
上述如本申请图6所示实施例揭示的数据备份电子设备执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
当然,除了软件实现方式之外,本申请的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图1所示实施例的方法,并具体用于执行以下操作:
接收备份客户端上传的备份文件信息表;其中,所述备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称;
根据所述备份文件信息表,确定备份任务分配策略;其中,所述备份任务分配策略用于确定各备份节点所对应的切块名称;
根据所述备份任务分配策略,调用至少两个备份节点进行数据备份。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据备份方法,其特征在于,包括:
数据备份服务器接收备份客户端上传的备份文件信息表;其中,所述备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称;
根据所述备份文件信息表,确定备份任务分配策略;其中,所述备份任务分配策略用于确定各备份节点所对应的切块名称;
根据所述备份任务分配策略,调用至少两个备份节点进行数据备份。
2.根据权利要求1所述的方法,其特征在于,数据备份服务器接收备份客户端上传的备份文件信息表之前,还包括:
数据备份服务器向备份客户端发送备份开始指令,以使得所述备份客户端响应于所述备份开始指令,对所述备份文件进行拆分切块,并将拆分切块后得到的备份文件切块数量以及各切块对应的切块名称保存至备份文件信息表中。
3.根据权利要求1所述的方法,其特征在于,根据所述备份文件信息表,确定备份任务分配策略,具体包括:
确定当前可用备份节点数量;
根据所述备份文件信息表中的备份文件切块数量,确定待执行备份任务数量;
根据所述待执行备份任务数量以及所述当前可用备份节点数量,确定针对各所述当前可用备份节点分配的备份任务数量。
4.根据权利要求3所述的方法,其特征在于,根据所述待执行备份任务数量以及所述当前可用备份节点数量,确定针对各所述当前可用备份节点分配的备份任务数量,具体包括:
当所述待执行备份任务数量大于所述当前可用备份节点数量时,根据以下公式确定针对各所述当前可用备份节点分配的备份任务数量:
INT(MN)≤P≤INT(MN)+1
其中,M表示所述待执行备份任务数量,N表示所述当前可用备份节点数量,P表示针对各所述当前可用备份节点分配的备份任务数量;
当所述待执行备份任务数量小于等于所述当前可用备份节点数量时,根据所述待执行备份任务数量,按顺序依次为各所述当前可用备份节点分配一个备份任务。
5.一种数据恢复方法,其特征在于,包括:
数据备份服务器接收备份客户端上传的文件恢复信息表;其中,所述文件恢复信息表中携带有待恢复文件名、待恢复文件切块数量以及待恢复文件各切块对应的切块名称;
根据所述文件恢复信息表中携带的待恢复文件名,确定与所述待恢复文件名对应的备份文件信息表;
根据所述文件恢复信息表以及所述备份文件信息表,确定文件恢复任务分配策略;其中,所述文件恢复任务分配策略用于确定各备份节点所对应的待恢复文件切块的切块名称;
根据所述文件恢复任务分配策略,调用至少两个备份节点进行数据恢复。
6.根据权利要求5所述的方法,其特征在于,根据所述文件恢复信息表以及所述备份文件信息表,确定文件恢复任务分配策略,具体包括:
根据所述文件恢复信息表中携带的待恢复文件各切块对应的切块名称,以及所述备份文件信息表中携带的备份文件各切块对应的切块名称,确定待恢复的切块名称以及待恢复切块数量;
根据所述待恢复的切块名称以及所述待恢复切块数量,确定文件恢复任务分配策略。
7.一种数据备份系统,其特征在于,包括:
接收单元,用于接收备份客户端上传的备份文件信息表;其中,所述备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称;
任务分配策略确定单元,用于根据所述备份文件信息表,确定备份任务分配策略;其中,所述备份任务分配策略用于确定各备份节点所对应的切块名称;
备份单元,用于根据所述备份任务分配策略,调用至少两个备份节点进行数据备份。
8.一种数据恢复系统,其特征在于,包括:
恢复信息接收单元,用于接收备份客户端上传的文件恢复信息表;其中,所述文件恢复信息表中携带有待恢复文件名、待恢复文件切块数量以及待恢复文件各切块对应的切块名称;
备份信息确定单元,用于根据所述文件恢复信息表中携带的待恢复文件名,确定与所述待恢复文件名对应的备份文件信息表;
恢复任务分配单元,用于根据所述文件恢复信息表以及所述备份文件信息表,确定文件恢复任务分配策略;其中,所述文件恢复任务分配策略用于确定各备份节点所对应的待恢复文件切块的切块名称;
恢复单元,用于根据所述文件恢复任务分配策略,调用至少两个备份节点进行数据恢复。
9.一种数据备份装置,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
接收备份客户端上传的备份文件信息表;其中,所述备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称;
根据所述备份文件信息表,确定备份任务分配策略;其中,所述备份任务分配策略用于确定各备份节点所对应的切块名称;
根据所述备份任务分配策略,调用至少两个备份节点进行数据备份。
10.一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
接收备份客户端上传的备份文件信息表;其中,所述备份文件信息表中携带有备份文件名、备份文件切块数量以及备份文件各切块对应的切块名称;
根据所述备份文件信息表,确定备份任务分配策略;其中,所述备份任务分配策略用于确定各备份节点所对应的切块名称;
根据所述备份任务分配策略,调用至少两个备份节点进行数据备份。
CN202011385722.5A 2020-12-01 2020-12-01 数据备份方法、数据恢复方法、系统、装置以及存储介质 Pending CN114579353A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011385722.5A CN114579353A (zh) 2020-12-01 2020-12-01 数据备份方法、数据恢复方法、系统、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011385722.5A CN114579353A (zh) 2020-12-01 2020-12-01 数据备份方法、数据恢复方法、系统、装置以及存储介质

Publications (1)

Publication Number Publication Date
CN114579353A true CN114579353A (zh) 2022-06-03

Family

ID=81767153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011385722.5A Pending CN114579353A (zh) 2020-12-01 2020-12-01 数据备份方法、数据恢复方法、系统、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN114579353A (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414426A (zh) * 2020-03-26 2020-07-14 北京云图科瑞科技有限公司 一种基于区块链的数据处理方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414426A (zh) * 2020-03-26 2020-07-14 北京云图科瑞科技有限公司 一种基于区块链的数据处理方法及系统

Similar Documents

Publication Publication Date Title
EP3680787B1 (en) Method for synchronization between primary database and standby database, database system and device
EP3258396A1 (en) Data synchronization method, device and system
US9053166B2 (en) Dynamically varying the number of database replicas
US7698602B2 (en) Systems, methods and computer products for trace capability per work unit
CN106933843B (zh) 数据库心跳检测方法以及装置
CN107391269B (zh) 一种用于通过持久化队列处理消息的方法与设备
US8195619B2 (en) Extent reference count update system and method
US10819611B2 (en) Dynamic timeout-based fault detection
US20230030856A1 (en) Distributed table storage processing method, device and system
CN111866210A (zh) 一种虚拟ip均衡分配方法、系统、终端及存储介质
CN115629901A (zh) 日志回放方法及装置、数据恢复方法及装置、电子设备
US8015375B1 (en) Methods, systems, and computer program products for parallel processing and saving tracking information for multiple write requests in a data replication environment including multiple storage devices
EP3696658A1 (en) Log management method, server and database system
CN109684130B (zh) 一种机房间数据备份的方法及装置
CN102629223B (zh) 一种数据修复方法及装置
CN107276998B (zh) 一种基于OpenSSL的性能优化方法及装置
CN114579353A (zh) 数据备份方法、数据恢复方法、系统、装置以及存储介质
US20180309702A1 (en) Method and device for processing data after restart of node
CN116264535A (zh) 消息故障处理方法、装置、计算设备及计算机存储介质
CN118193280A (zh) 数据恢复方法、装置、存储设备及存储介质
US10102052B2 (en) Dumping resources
CN111610849B (zh) 一种阻止应用之间关联启动的方法与设备
CN108520069A (zh) 一种数据库高可用实现方法及数据库服务器
CN112118294B (zh) 一种基于服务端集群的请求处理方法、设备及介质
CN110532135B (zh) 一种集群系统的服务迁移方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220603