CN115756955A - 一种数据备份、数据恢复的方法、装置及计算机设备 - Google Patents

一种数据备份、数据恢复的方法、装置及计算机设备 Download PDF

Info

Publication number
CN115756955A
CN115756955A CN202211396232.4A CN202211396232A CN115756955A CN 115756955 A CN115756955 A CN 115756955A CN 202211396232 A CN202211396232 A CN 202211396232A CN 115756955 A CN115756955 A CN 115756955A
Authority
CN
China
Prior art keywords
data
backup
target
backed
storage medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211396232.4A
Other languages
English (en)
Inventor
刘变红
陈相如
杨经纬
赵树东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Digital Intelligence Technology Co Ltd
Original Assignee
China Telecom Digital Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Digital Intelligence Technology Co Ltd filed Critical China Telecom Digital Intelligence Technology Co Ltd
Priority to CN202211396232.4A priority Critical patent/CN115756955A/zh
Publication of CN115756955A publication Critical patent/CN115756955A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据备份、数据恢复的方法、装置及计算机设备,涉及计算机和互联网技术领域。数据备份方法包括:确定待备份数据;确定可用于存储待备份数据的至少两个存储介质的故障率;通过预设分配规则,确定在该故障率下分配给待备份数据的目标存储介质;利用目标存储介质,对待备份数据进行备份。这样,可以基于故障率及预设分配规则,动态地确定备份方案,即可以动态地调整备份的副本数量,使得副本数量更合理,避免了存储资源的浪费。

Description

一种数据备份、数据恢复的方法、装置及计算机设备
技术领域
本申请实施例涉及计算机和互联网技术领域,特别涉及一种数据备份、数据恢复的方法、装置及计算机设备。
背景技术
为了保证数据的可靠性,常常需要对数据进行备份。在目前的备份方式中,通常会给待备份数据固定备份N个副本。例如,固定备份3个副本,从而通过3个副本来保障待备份数据的可靠性。
但是,申请人在实现本申请的过程中发现,该种固定备份数量的方式,会面临如下情况:当待备份数据仅需要2个副本,就可以保障数据可靠性时,仍然会备份3个副本。这就导致,备份数据大量占用紧缺的存储资源,造成存储资源的浪费。
发明内容
本申请实施例提供了一种数据备份、数据恢复的方法、装置及计算机设备,该技术方案如下:
根据本申请实施例的一个方面,提供了一种数据备份方法,该方法可以包括如下步骤:
确定待备份数据;
确定可用于存储待备份数据的至少两个存储介质的故障率;
通过预设分配规则,确定在故障率下分配给待备份数据的目标存储介质;
利用目标存储介质,对待备份数据进行备份。
可选地,在本申请实施例中,预设分配规则可以包括:
选择故障率小于故障率阈值的第一数量个存储介质,作为目标存储介质;
当不存在小于故障率阈值的故障率时,选择第二数量个存储介质,作为目标存储介质;
或,当不存在小于故障率阈值的故障率时,按照故障率从低到高的顺序,选择第二数量个存储介质,作为目标存储介质;
其中,第一数量小于第二数量。
可选地,在利用目标存储介质,对待备份数据进行备份之后,还可以包括如下步骤:
记录每个备份数据对应的元数据;其中,元数据包括:备份数据的标识、存储地址和预期存储时长。
可选地,在本申请的另一个实施例中,元数据可以包括:备份数据的标识、存储地址、预期存储时长和备份数据检查频率。
可选地,在本申请实施例中,在记录每个备份数据对应的元数据之后,还可以包括如下步骤:
根据备份数据的预期存储时长和备份数据检查频率,计算备份数据检查时刻;
当到达备份数据检查时刻时,查询备份数据;当备份数据无法查询时,重新对备份数据进行备份;
或者,当到达备份数据检查时刻时,触发确定可用于存储待备份数据的至少两个存储介质的故障率的步骤。
可选地,在本申请实施例中,存储介质的故障率与存储介质的平均故障间隔时间负相关,与存储介质的运行时长正相关。
根据本申请实施例的另一个方面,相应于上述提供的数据备份方法,还提供了一种数据恢复方法,该方法可以包括如下步骤:
当接收到针对目标数据的数据恢复请求时,确定目标数据对应的各个备份数据;
基于各个备份数据,对目标数据进行恢复;
其中,备份数据的生成方式包括:通过预设分配规则,确定在故障率下分配给目标数据的目标存储介质;利用目标存储介质,对目标数据进行备份;故障率为可用于存储目标数据的至少两个存储介质的故障率。
可选地,基于各个备份数据,对目标数据进行恢复,可以包括如下步骤:
根据目标数据的存储位置与各个备份数据的存储位置的数据传输距离,确定最短数据传输距离对应的备份数据作为目标备份数据;
利用目标备份数据对目标数据进行恢复。
根据本申请实施例的又一个方面,相应于上述提供的数据备份方法,还提供了一种数据备份装置,该装置可以包括:
第一确定模块,用于确定待备份数据;
第二确定模块,用于确定可用于存储待备份数据的至少两个存储介质的故障率;
第三确定模块,用于通过预设分配规则,确定在故障率下分配给待备份数据的目标存储介质;
第一备份模块,用于利用目标存储介质,对待备份数据进行备份。
可选地,在本申请实施例中,预设分配规则可以包括:
选择故障率小于故障率阈值的第一数量个存储介质,作为目标存储介质;
当不存在小于故障率阈值的故障率时,选择第二数量个存储介质,作为目标存储介质;
或,当不存在小于故障率阈值的故障率时,按照故障率从低到高的顺序,选择第二数量个存储介质,作为目标存储介质;
其中,第一数量小于第二数量。
可选地,在本申请实施例中,该装置还可以包括:
记录模块,用于在利用目标存储介质,对待备份数据进行备份之后,记录每个备份数据对应的元数据;其中,元数据包括:备份数据的标识、存储地址和预期存储时长。
可选地,在本申请的另一个实施例中,元数据可以包括:备份数据的标识、存储地址、预期存储时长和备份数据检查频率。
可选地,在本申请实施例中,该装置还可以包括:
计算模块,用于在记录每个备份数据对应的元数据之后,根据备份数据的预期存储时长和备份数据检查频率,计算备份数据检查时刻;
查询模块,用于当到达备份数据检查时刻时,查询备份数据;
第二备份模块,用于当备份数据无法查询时,重新对备份数据进行备份;
或者包括,
触发模块,用于当到达备份数据检查时刻时,触发二确定模块确定可用于存储待备份数据的至少两个存储介质的故障率。
可选地,在本申请实施例中,存储介质的故障率与存储介质的平均故障间隔时间负相关,与存储介质的运行时长正相关。
根据本申请实施例的又一个方面,相应于上述数据恢复方法,本申请实施例还提供了一种数据恢复装置,该装置可以包括:
第四确定模块,用于当接收到针对目标数据的数据恢复请求时,确定目标数据对应的各个备份数据;
恢复模块,用于基于各个备份数据,对目标数据进行恢复;
其中,备份数据的生成方式包括:通过预设分配规则,确定在故障率下分配给目标数据的目标存储介质;利用目标存储介质,对目标数据进行备份;故障率为可用于存储目标数据的至少两个存储介质的故障率。
可选地,在本申请实施例中恢复模块可以包括:
确定单元,用于根据目标数据的存储位置与各个备份数据的存储位置的数据传输距离,确定最短数据传输距离对应的备份数据作为目标备份数据;
恢复单元,用于利用目标备份数据对目标数据进行恢复。
根据本申请实施例的又一个方面,相应于上述数据备份方法及数据恢复方法,还提供了一种计算机设备,计算机设备包括处理器和存储器,存储器中存储有计算机程序,计算机程序由处理器加载并执行以实现上述任一项数据备份方法的方法步骤,或实现上述任一项数据恢复方法的方法步骤。
本申请实施例提供的技术方案可以包括如下有益效果:
本申请提供了一种新的数据备份方法,可以在确定待备份数据之后,确定可用于存储该待备份数据的至少两个存储介质的故障率。然后,可以通过预设分配规则,确定在该故障率下分配给待备份数据的目标存储介质。这样,即可以得到针对待备份数据的备份方案。然后,可以利用备份方案涉及的目标存储介质,对待备份数据进行备份,得到一份或多份备份数据。这样,可以基于故障率及预设分配规则,动态地确定备份方案,即可以动态地调整备份的副本数量,使得副本数量更合理,避免了存储资源的浪费。
相应于上述数据备份方法,本申请还提供了一种数据恢复方法,当接收到针对目标数据的数据恢复请求时,确定目标数据对应的各个备份数据。其中,备份数据是根据预设分配规则及可用于存储目标数据的存储介质的故障率,确定用于存储目标数据的目标存储介质后备份得到的。这样,可以基于故障率及预设分配规则,动态地确定备份方案,即可以动态地调整备份的副本数量,使得副本数量更合理,避免了存储资源的浪费。进而,可以基于备份数据对该目标数据进行恢复。
附图说明
图1为本申请实施例提供的一种数据备份方法的流程图;
图2为本申请实施例提供的一种用于存储元数据的表单的示意图;
图3为本申请实施例提供的另一种用于存储元数据的表单的示意图;
图4为本申请实施例提供的又一种用于存储元数据的表单的示意图;
图5为本申请实施例提供的另一种数据备份方法的流程图;
图6为本申请实施例提供的一种数据恢复方法的流程图;
图7为本申请实施例提供的另一种数据恢复方法的流程图;
图8为本申请实施例提供的一种数据备份装置的框图;
图9为本申请实施例提供的一种数据恢复装置的框图;
图10是本申请实施例提供的一种计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在现有技术中,为了保证数据可靠性,通常会给数据(即待备份数据)固定备份N个副本。例如,固定备份3个副本,从而通过3个副本来保障待备份数据的可靠性。
但是,该种固定备份数量的方式,会面临如下情况:当待备份数据仅需要2个副本,就可以保障数据可靠性时,仍然会备份3个副本。这就导致,备份数据大量占用紧缺的存储资源,造成存储资源的浪费。
为了解决上述技术问题,本申请实施例提供了一种数据备份、数据恢复的方法、装置及计算机设备。
下面首先对本申请实施例提供的数据备份方法进行说明,该方法可以包括如下步骤:
确定待备份数据;
确定可用于存储待备份数据的至少两个存储介质的故障率;
通过预设分配规则,确定在故障率下分配给待备份数据的目标存储介质;
利用目标存储介质,对待备份数据进行备份。
应用本申请实施例提供的数据备份方法,可以在确定待备份数据之后,确定可用于存储该待备份数据的至少两个存储介质的故障率。然后,可以通过预设分配规则,确定在该故障率下分配给待备份数据的目标存储介质。这样,即可以得到针对待备份数据的备份方案。然后,可以利用备份方案涉及的目标存储介质,对待备份数据进行备份,得到一份或多份备份数据。这样,可以基于故障率及预设分配规则,动态地确定备份方案,即可以动态地调整备份的副本数量,使得副本数量更合理,避免了存储资源的浪费。
下面结合图1至图4,对本申请实施例提供的数据备份方法进行详细说明。
图1为本申请实施例提供的一种数据备份方法的流程图。参见图1,该数据备份方法可以包括如下步骤:
S101:确定待备份数据;
可以理解的是,待备份数据可以为图片、文字、音频、代码等文件及其组合,当然并不局限于此。
S102:确定可用于存储待备份数据的至少两个存储介质的故障率;
在本申请实施例中,存储介质可以为任性形式呈现的、可用于存储数据的载体。举例而言,存储介质可以为软盘、光盘、硬盘、闪存、U盘、云服务商磁盘等等,当然并不局限于此。
其中,可用于存储待备份数据的存储介质包括:存储量足够存储该待备份数据,且可正常运行的存储介质。
存储介质的故障率为存储介质发生故障的概率。在一种实现方式中,存储介质的故障率可以基于该存储介质的平均故障间隔时间与运行时长计算得到。具体地,存储介质的故障率与存储介质的平均故障间隔时间负相关,与存储介质的运行时长正相关。
举例而言,存储介质的故障率λ=1/MTBF*TIME,其中MTBF表示该存储介质的平均故障间隔时间,TIME表示该存储介质的运行时长。其中,该平均故障间隔时间可以为存储介质生产厂商给出,也可以根据存储介质的历史故障情况计算得到,当然并不局限于此。
可以理解的是,也可以根据存储介质的历史故障情况计算得到平均故障间隔时间,给上述故障率计算公式配置一个校准系数a,例如λ=a*1/MTBF*TIME。
在另一种实现方式,还可以根据存储介质所处位置的温度及湿度,给上述故障率计算公式配置一个高温故障加权系数b、低温故障加权系数c、高湿故障加权系数d,例如,λ=(b+c+d)*1/MTBF*TIME。
当然,也可以对上述方式进行组合来计算该故障率,在此不做详细说明。
另外,上述至少两个存储介质可以为相同的存储介质,也可以为不相同的存储介质,这都是合理的。
可以理解的是,目前常常通过多云来对待备份数据进行备份,从而保准数据可靠性。因而,在本申请实施例中,该至少两个存储介质也可以是多云中的存储介质。
其中,多云是指多个云服务提供商。采用多云提供商,可以为企业存储带来如下好处:员工可以根据不同项目要求,选择计算性能不同的云服务提供商。例如,一些员工为项目A使用一云服务供应商提供的存储服务,而另外一些员工为项目B选择另一云服务供应商。这样,在需要对数据进行备份时,还可以基于不同云服务提供商提供的存储介质,来保证数据的可靠性。此外,还可以避免云服务供应商出现大范围的业务故障导致数据丢失的情况。
S103:通过预设分配规则,确定在故障率下分配给待备份数据的目标存储介质;
其中,预设分配规则可以包括:
第一种分配规则:选择故障率小于故障率阈值的第一数量个存储介质,作为目标存储介质。
可以理解的是,当存在故障率小于故障率阈值的存储介质时,可以选择这些存储介质中的第一数量个存储介质作为:存储该待备份数据的备份数据的目标存储介质。
其中,该第一数量的数值可以为1,当然并不局限于此。其中,故障率阈值与第一数量可以由技术人员根据经验值设置,在此不做详细描述。
这样,可以优先选择故障率小于预设故障阈值的存储介质,从而可以用该存储介质进行备份。由于所选择的存储介质故障率较低,因而通过第一数量(例如1)个存储介质,即可在保证数据可靠性的基础上实现对待备份数据进行备份。
第二种分配规则:当不存在小于故障率阈值的故障率时,选择第二数量个存储介质,作为目标存储介质。
可以理解的是,当不存在故障率小于故障率阈值的存储介质时,可以选择第二数量个存储介质作为:存储该待备份数据的备份数据的目标存储介质。
其中,该第二数量的数值可以为2,当然并不局限于此。其中,故障率阈值与第二数量可以由技术人员根据经验值设置,在此不做详细描述。
这样,可以在故障率都较高时,可以选择分配数量大于第一种分配规则的第一数量的第二数量。从而,可以用该第二数量个存储介质进行备份。这样,即使存储介质故障率较高,但是通过较多数量的第二数量(例如2)个存储介质,也可以在保证数据可靠性的基础上实现对待备份数据进行备份。
需要说明的是,在本申请实施例中,第一数量小于第二数量。
第三种分配规则:当不存在小于故障率阈值的故障率时,按照故障率从低到高的顺序,选择第二数量个存储介质,作为目标存储介质;
可以理解的是,当不存在故障率小于故障率阈值的存储介质时,为了进一步保证备份数据的可靠性,还可以按照故障率从低到高的顺序,选择第二数量个存储介质作为:存储该待备份数据的备份数据的目标存储介质。其中,该第二数量的数值可以为2,当然并不局限于此。其中,故障率阈值与第二数量可以由技术人员根据经验值设置,在此不做详细描述。
这样,可以在故障率都较高时,可以优先选择这些存储介质中故障率较低的第二数量个存储介质,从而可以用该第二数量个存储介质进行备份。这样,进一步地在保证数据可靠性的基础上,实现对待备份数据进行备份。
可以理解的是,故障率阈值、第一数量和第二数量也可以由技术人员根据经验值及待备份数据的重要等级设置,在此不做详细描述。
S104:利用目标存储介质,对待备份数据进行备份。
可以理解的是,例如当存储介质为磁盘或者硬盘时,那么当该存储介质遭受损坏时,内在所有数据都会被损坏,因而在本申请实施例中,一个存储介质中存储一个备份数据,即存储一个副本。
可选地,在利用目标存储介质,对待备份数据进行备份之后,还可以包括如下步骤:
记录每个备份数据对应的元数据;其中,元数据包括:备份数据的标识、存储地址和预期存储时长。
可以理解的是,在对待备份数据进行备份之后,记录每个备份数据对应的标识、存储地址和预期存储时长。其中,可以通过备份数据对应的标识、存储地址来查找该备份数据。
通过预期存储时长,可以在从备份完成时刻起,至该预期存储时长的时间段内,对该备份数据进行查询,以检查该备份数据是否丢失。
其中,备份数据的元数据可以通过如图2所示的表单存储。图2示出了本申请实施例提供的一种用于存储元数据的表单的示意图。其中,表单中的XXX表示对应标签的具体内容,在此不做限定。
在另一种实现方式中,参见图3,备份数据的元数据可以包括:备份数据的标识、存储地址、预期存储时长和备份数据检查频率。其中,备份数据检查频率可以用于基于该频率检查备份数据是否丢失。图3示出了本申请实施例提供的另一种用于存储元数据的表单的示意图。
在又一种实现方式中,参见图4,元数据可以包括:备份数据的标识、存储地址、预期存储时长和备份数据检查时刻。其中,备份数据检查时刻可以用于基于该时刻检查备份数据是否丢失。可以理解的是,元数据可以包括多个备份数据检查时刻,这是合理的。图4示出了本申请实施例提供的又一种用于存储元数据的表单的示意图。
其中,可以设置一个副本管理模块首先初始化上述表单用于管理副本的元数据。需要说明的是,备份数据的元数据还可以包括:存储该备份数据的时间戳、该备份数据的重要等级等等,当然并不局限于此。
可选地,在本申请实施例中,还可以执行如下步骤:
根据备份数据的预期存储时长和备份数据检查频率,计算备份数据检查时刻;当到达备份数据检查时刻时,查询备份数据;当备份数据无法查询时,重新对备份数据进行备份。
在该种实现方式中,可以在预期存储时长的时间内,按照备份数据检查频率,来查询该备份数据。当数据不能被查询到时,说明该备份数据丢失,可以重新对该备份数据进行备份,即重新备份一份待备份数据的副本。
其中,针对存储介质的备份数据检查频率,可以根据预期存储时长及该存储设备的故障率计算得到。
在另一种实现方式中,当到达备份数据检查时刻时,触发确定可用于存储待备份数据的至少两个存储介质的故障率的步骤。在该种实现方式中,当到达备份数据检查时刻时,可以触发确定可用于存储待备份数据的至少两个存储介质的故障率的步骤,即可以触发执行步骤S102至步骤S104。这样,可以在检查时刻,基于存储介质的当前故障率,重新确定待备份数据的备份方案,并执行备份操作。
可以理解的是,在该种情况下,当本次选中的存储介质与上一次选中的存储介质不同时,删除上一次选中的存储介质中备份数据,这样可以避免存储资源浪费。当本次选中的存储介质与上一次选中的存储介质相同时,则保留上次选中的存储介质中备份数据,这样可以节省写资源。
下面结合图5,对本申请实施例提供的数据备份方法进行再次说明。图5为本申请实施例提供的另一种数据备份方法的流程图。参见图5:
步骤501:接收用户发出的数据备份请求;其中,数据备份请求中携带待备份数据;
步骤502:验证用户是否具备备份权限;
步骤503:当用户具备备份权限时,根据存储介质故障率计算待备份数据所需备份的副本数量及对应的目标存储介质;该副本数量为1个或2个;当用户不具备备份权限时,结束流程;
步骤504:基于副本数量及对应的目标存储介质,创建待备份数据的副本;并记录副本的元数据;
步骤505:确定副本是否可查询;
步骤506:针对每个副本,当副本无法查询时,重新创建该副本;当副本可查询时,结束流程。
可以理解的是,用户提出数据备份请求,系统检查用户权限,若通过则执行后续流程,否则拒绝本次请求。其次,根据根据存储介质故障率计算待备份数据所需备份的副本数量及对应的目标存储介质,得到最佳的数据备份方案。之后,系统可以根据该数据备份方案创建待备份数据的副本,并可以记录相应的元数据。之后,根据元数据中每个副本的检查时间间隔来检查副本是否可用,若不可用,则重新创建新的副本。
相应于上述数据备份方法,还提供了一种数据恢复方法。图6示出了本申请实施例提供的一种数据恢复方法的流程图。参见图6,该方法可以包括如下步骤:
步骤601:当接收到针对目标数据的数据恢复请求时,确定目标数据对应的各个备份数据;
步骤602:基于各个备份数据,对目标数据进行恢复;
其中,备份数据的生成方式包括:通过预设分配规则,确定在故障率下分配给目标数据的目标存储介质;利用目标存储介质,对目标数据进行备份;故障率为可用于存储目标数据的至少两个存储介质的故障率。
应用本申请实施例提供的数据恢复方法,当接收到针对目标数据的数据恢复请求时,确定目标数据对应的各个备份数据。其中,备份数据是根据预设分配规则及可用于存储目标数据的存储介质的故障率,确定用于存储目标数据的目标存储介质后备份得到的。这样,可以基于故障率及预设分配规则,动态地确定备份方案,即可以动态地调整备份的副本数量,使得副本数量更合理,避免了存储资源的浪费。进而,可以基于备份数据对该目标数据进行恢复。
可选地,基于各个备份数据,对目标数据进行恢复,可以包括如下步骤:
根据目标数据的存储位置与各个备份数据的存储位置的数据传输距离,确定最短数据传输距离对应的备份数据作为目标备份数据;
利用目标备份数据对目标数据进行恢复。
其中,可以利用拓扑距离,来计算目标数据的存储位置与各个备份数据的存储位置的数据传输距离,当然并不局限于此。
具体地,拓扑距离计算方式可以为:针对每个备份数据,确定目标数据与备份数据的存储位置,若是处于相同服务器节点,则拓扑距离为0;若处于同一机架上不同服务器节点,则拓扑距离为2;在同一集群的不同机架的服务器节点上,则它们的共同祖先是集群,而它们要到达集群,首先要到这个机架(距离1),然后到达集群(距离2),则拓扑距离为2+2=4。
当然,也可以基于最短数据传输距离确定最短传输时间,从而将最短传输时间对应的备份数据作为目标备份数据,这也是合理的。
下面结合图7,对本申请实施例提供的数据恢复方法进行再次说明。图7为本申请实施例提供的另一种数据恢复方法的流程图。参见图7:
步骤701:接收用户发出针对目标数据的数据恢复请求;
步骤702:验证用户是否具备恢复权限;
步骤703:当用户具备恢复权限时,确定目标数据对应的各个副本;
步骤704:根据目标数据的存储位置与各个副本的存储地址的拓扑距离,确定最短数据传输距离对应的副本作为目标备份数据;
步骤705:根据最短数据传输距离对应的存储介质的存储地址查找该目标备份数据;
步骤706:利用该目标副本恢复该目标数据。
可以理解的是,用户提出数据恢复请求后,系统检查用户权限,若通过验证则执行后续流程,否则拒绝本次请求。当验证通过时,可以确定待恢复的目标数据的各个副本的存储位置与目标数据的存储位置的拓扑距离。然后,可以将拓扑距离最近的副本来恢复该目标数据。
根据本申请实施例的又一个方面,相应于上述提供的数据备份方法,还提供了一种数据备份装置。图8示出了本申请实施例提供的一种数据备份装置的框图,参见图8,该装置可以包括:
第一确定模块801,用于确定待备份数据;
第二确定模块802,用于确定可用于存储待备份数据的至少两个存储介质的故障率;
第三确定模块803,用于通过预设分配规则,确定在故障率下分配给待备份数据的目标存储介质;
第一备份模块804,用于利用目标存储介质,对待备份数据进行备份。
应用本申请实施例提供的数据备份装置,可以在确定待备份数据之后,确定可用于存储该待备份数据的至少两个存储介质的故障率。然后,可以通过预设分配规则,确定在该故障率下分配给待备份数据的目标存储介质。这样,即可以得到针对待备份数据的备份方案。然后,可以利用备份方案涉及的目标存储介质,对待备份数据进行备份,得到一份或多份备份数据。这样,可以基于故障率及预设分配规则,动态地确定备份方案,即可以动态地调整备份的副本数量,使得副本数量更合理,避免了存储资源的浪费。
可选地,在本申请实施例中,预设分配规则可以包括:
选择故障率小于故障率阈值的第一数量个存储介质,作为目标存储介质;
当不存在小于故障率阈值的故障率时,选择第二数量个存储介质,作为目标存储介质;
或,当不存在小于故障率阈值的故障率时,按照故障率从低到高的顺序,选择第二数量个存储介质,作为目标存储介质;
其中,第一数量小于第二数量。
可选地,在本申请实施例中,该装置还可以包括:
记录模块,用于在利用目标存储介质,对待备份数据进行备份之后,记录每个备份数据对应的元数据;其中,元数据包括:备份数据的标识、存储地址和预期存储时长。
可选地,在本申请的另一个实施例中,元数据可以包括:备份数据的标识、存储地址、预期存储时长和备份数据检查频率。
可选地,在本申请实施例中,该装置还可以包括:
计算模块,用于在记录每个备份数据对应的元数据之后,根据备份数据的预期存储时长和备份数据检查频率,计算备份数据检查时刻;
查询模块,用于当到达备份数据检查时刻时,查询备份数据;
第二备份模块,用于当备份数据无法查询时,重新对备份数据进行备份;
或者包括,
触发模块,用于当到达备份数据检查时刻时,触发二确定模块确定可用于存储待备份数据的至少两个存储介质的故障率。
可选地,在本申请实施例中,存储介质的故障率与存储介质的平均故障间隔时间负相关,与存储介质的运行时长正相关。
根据本申请实施例的又一个方面,相应于上述数据恢复方法,本申请实施例还提供了一种数据恢复装置。图9示出了本申请实施例提供的一种数据恢复装置的框图,参见图9,该装置可以包括:
第四确定模块901,用于当接收到针对目标数据的数据恢复请求时,确定目标数据对应的各个备份数据;
恢复模块902,用于基于各个备份数据,对目标数据进行恢复;
其中,备份数据的生成方式包括:通过预设分配规则,确定在故障率下分配给目标数据的目标存储介质;利用目标存储介质,对目标数据进行备份;故障率为可用于存储目标数据的至少两个存储介质的故障率。
应用本申请实施例提供的数据恢复装置,当接收到针对目标数据的数据恢复请求时,确定目标数据对应的各个备份数据。其中,备份数据是根据预设分配规则及可用于存储目标数据的存储介质的故障率,确定用于存储目标数据的目标存储介质后备份得到的。这样,可以基于故障率及预设分配规则,动态地确定备份方案,即可以动态地调整备份的副本数量,使得副本数量更合理,避免了存储资源的浪费。进而,可以基于备份数据对该目标数据进行恢复。
可选地,在本申请实施例中恢复模块902可以包括:
确定单元,用于根据目标数据的存储位置与各个备份数据的存储位置的数据传输距离,确定最短数据传输距离对应的备份数据作为目标备份数据;
恢复单元,用于利用目标备份数据对目标数据进行恢复。
根据本申请实施例的又一个方面,相应于上述数据备份方法及数据恢复方法,还提供了一种计算机设备,计算机设备包括处理器和存储器,存储器中存储有计算机程序,计算机程序由处理器加载并执行以实现上述任一项数据备份方法的方法步骤,或实现上述任一项数据恢复方法的方法步骤。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供了一种计算机设备,参见图10,图10是本申请一个实施例提供的计算机设备的结构框图。计算机设备包括处理器1001和存储器1002,存储器1002中存储有计算机程序,计算机程序由处理器1001加载并执行以实现如上述应用于云管理平台的任一项云资源管理方法,或,实现如上述应用于云适配器的任一项云资源管理方法的方法。
另外,通常计算机设备包括有:处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、17核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以在集成有GPU,GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是有形的和非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质存储有计算机程序,该计算机程序由处理器1001加载并执行以实现上述数据备份方法或数据恢复方法,或由上述计算机设备执行的数据备份方法或数据恢复方法。
本领域技术人员可以理解,图10中示出的结构并不构成对计算机设备1700的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例还提供了一种存储介质,存储介质中存储有计算机程序,计算机程序由处理器加载并执行以实现如上述任一项数据备份方法的方法步骤,或,实现如上述任一项数据恢复方法的方法步骤。
可选地,该计算机可读存储介质可以包括:ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、SSD(Solid State Drives,固态硬盘)或光盘等。其中,随机存取存储器可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取存储器)和DRAM(Dynamic Random Access Memory,动态随机存取存储器)
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。上述各个实施例也可以进行任意组合,在此不再对组合方案进行赘述。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据备份方法,其特征在于,所述方法包括:
确定待备份数据;
确定可用于存储所述待备份数据的至少两个存储介质的故障率;
通过预设分配规则,确定在所述故障率下分配给所述待备份数据的目标存储介质;
利用所述目标存储介质,对所述待备份数据进行备份。
2.根据权利要求1所述的方法,其特征在于,所述预设分配规则包括:
选择故障率小于故障率阈值的第一数量个所述存储介质,作为目标存储介质;
当不存在小于所述故障率阈值的故障率时,选择第二数量个所述存储介质,作为目标存储介质;
或,当不存在小于所述故障率阈值的故障率时,按照所述故障率从低到高的顺序,选择所述第二数量个所述存储介质,作为目标存储介质;
其中,所述第一数量小于所述第二数量。
3.根据权利要求1所述的方法,其特征在于,在所述利用所述目标存储介质,对所述待备份数据进行备份之后,还包括:
记录每个备份数据对应的元数据;其中,述元数据包括所述备份数据的标识、存储地址和预期存储时长;或,所述元数据包括所述备份数据的标识、存储地址、预期存储时长和备份数据检查频率。
4.根据权利要求3所述的方法,其特征在于,在所述记录每个备份数据对应的元数据之后,还包括:
根据所述备份数据的预期存储时长和备份数据检查频率,计算备份数据检查时刻;
当到达所述备份数据检查时刻时,查询所述备份数据;当所述备份数据无法查询时,重新对所述备份数据进行备份;
或者,当到达所述备份数据检查时刻时,触发所述确定可用于存储所述待备份数据的至少两个存储介质的故障率的步骤。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述存储介质的故障率与该存储介质的平均故障间隔时间负相关,与该存储介质的运行时长正相关。
6.一种数据恢复方法,其特征在于,所述方法包括:
当接收到针对目标数据的数据恢复请求时,确定所述目标数据对应的各个备份数据;
基于所述各个备份数据,对所述目标数据进行恢复;
其中,所述备份数据的生成方式包括:通过预设分配规则,确定在故障率下分配给所述目标数据的目标存储介质;利用所述目标存储介质,对所述目标数据进行备份;所述故障率为可用于存储所述目标数据的至少两个存储介质的故障率。
7.根据权利要求6所述的方法,其特征在于,所述基于所述各个备份数据,对所述目标数据进行恢复,包括:
根据所述目标数据的存储位置与所述各个备份数据的存储位置的数据传输距离,确定最短数据传输距离对应的备份数据作为目标备份数据;
利用所述目标备份数据对所述目标数据进行恢复。
8.一种数据备份装置,其特征在于,所述装置包括:
第一确定模块,用于确定待备份数据;
第二确定模块,用于确定可用于存储所述待备份数据的至少两个存储介质的故障率;
第三确定模块,用于通过预设分配规则,确定在所述故障率下分配给所述待备份数据的目标存储介质;
第一备份模块,用于利用所述目标存储介质,对所述待备份数据进行备份。
9.一种数据恢复装置,其特征在于,所述装置包括:
第四确定模块,用于当接收到针对目标数据的数据恢复请求时,确定目标数据对应的各个备份数据;
恢复模块,用于基于所述各个备份数据,对所述目标数据进行恢复;
其中,所述备份数据的生成方式包括:通过预设分配规则,确定在故障率下分配给所述目标数据的目标存储介质;利用所述目标存储介质,对所述目标数据进行备份;所述故障率为可用于存储所述目标数据的至少两个存储介质的故障率。
10.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至5任一项所述的方法,或实现如权利要求6至7任一项所述的方法。
CN202211396232.4A 2022-11-09 2022-11-09 一种数据备份、数据恢复的方法、装置及计算机设备 Pending CN115756955A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211396232.4A CN115756955A (zh) 2022-11-09 2022-11-09 一种数据备份、数据恢复的方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211396232.4A CN115756955A (zh) 2022-11-09 2022-11-09 一种数据备份、数据恢复的方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN115756955A true CN115756955A (zh) 2023-03-07

Family

ID=85368414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211396232.4A Pending CN115756955A (zh) 2022-11-09 2022-11-09 一种数据备份、数据恢复的方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN115756955A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116755939A (zh) * 2023-08-14 2023-09-15 北京泰利思诺信息技术股份有限公司 一种基于系统资源的智能化数据备份任务规划方法及系统
CN117971564A (zh) * 2024-03-29 2024-05-03 苏州元脑智能科技有限公司 数据恢复方法、装置、计算机设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116755939A (zh) * 2023-08-14 2023-09-15 北京泰利思诺信息技术股份有限公司 一种基于系统资源的智能化数据备份任务规划方法及系统
CN116755939B (zh) * 2023-08-14 2023-10-27 北京泰利思诺信息技术股份有限公司 一种基于系统资源的智能化数据备份任务规划方法及系统
CN117971564A (zh) * 2024-03-29 2024-05-03 苏州元脑智能科技有限公司 数据恢复方法、装置、计算机设备及存储介质
CN117971564B (zh) * 2024-03-29 2024-06-07 苏州元脑智能科技有限公司 数据恢复方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US11586673B2 (en) Data writing and reading method and apparatus, and cloud storage system
CN109634932B (zh) 一种智能合约存储方法及存储系统
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN107368260A (zh) 基于分布式系统的存储空间整理方法、装置及系统
US20180246793A1 (en) Data stripping, allocation and reconstruction
CN106293492B (zh) 一种存储管理方法及分布式文件系统
CN110147203B (zh) 一种文件管理方法、装置、电子设备及存储介质
CN108540315A (zh) 分布式存储系统、方法和装置
US11372549B2 (en) Reclaiming free space in a storage system
CN107133228A (zh) 一种数据重分布的方法及装置
CN112256433B (zh) 基于Kafka集群的分区迁移方法和装置
CN111930716A (zh) 一种数据库扩容方法、装置及系统
CN111459399A (zh) 一种数据写入方法、数据读取方法及装置
CN111399761B (zh) 存储资源分配方法、装置及设备、存储介质
CN109634524B (zh) 一种数据处理守护进程的数据分区配置方法、装置及设备
CN106708865B (zh) 流处理系统中访问窗口数据的方法和装置
CN117520278A (zh) 一种分布式文件系统多客户端高精度目录配额控制方法
US11531642B2 (en) Synchronous object placement for information lifecycle management
CN110298031B (zh) 一种词典服务系统及模型版本一致性配送方法
CN111404828A (zh) 实现全局流控的方法及装置
US10296354B1 (en) Optimized boot operations within a flash storage array
CN113254271B (zh) 一种数据序列恢复方法、装置、设备及存储介质
CN114513469A (zh) 分布式系统的流量整形方法、装置和存储介质
CN109151016B (zh) 流量转发方法和装置、服务系统、计算设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination