CN113419901A - 数据灾备方法、装置及服务器 - Google Patents

数据灾备方法、装置及服务器 Download PDF

Info

Publication number
CN113419901A
CN113419901A CN202110689091.4A CN202110689091A CN113419901A CN 113419901 A CN113419901 A CN 113419901A CN 202110689091 A CN202110689091 A CN 202110689091A CN 113419901 A CN113419901 A CN 113419901A
Authority
CN
China
Prior art keywords
data
bucket
data center
storage bucket
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110689091.4A
Other languages
English (en)
Inventor
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202110689091.4A priority Critical patent/CN113419901A/zh
Publication of CN113419901A publication Critical patent/CN113419901A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023Failover techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据灾备方法、装置及服务器,应用于第一数据中心,第一数据中心与第二数据中心通信连接,第一数据中心和第二数据中心配置有公有云存储对象,第一数据中心和第二数据中心均包括多个存储桶,方法包括:获取预先配置的解析记录;基于解析记录,分别从第一数据中心内的各个存储桶中确定第一备存储桶,以及从第二数据中心内的各个存储桶中确定第二主存储桶;基于公有云存储对象监听第二主存储桶内是否存储有第一新增数据;如果是,将第二主存储桶内存储的第一新增数据复制至第一备存储桶。本发明可以有效提高数据灾备的效率,而且有效降低数据灾备的成本。

Description

数据灾备方法、装置及服务器
技术领域
本发明涉及数据管理技术领域,尤其是涉及一种数据灾备方法、装置及服务器。
背景技术
容灾是指建立两套或多套功能相同的IT系统,互相之间可以进行健康状态监视和功能切换,当一处系统因意外停止工作时,整个应用系统可以切换到另一处,使得该系统功能可以继续正常工作。目前的容灾方案包括同城跨机房全量数据备份容灾、跨地域数据全量备份容灾、两地三中心数据备份容灾等。然而在构造容灾方案或提升系统抗风险能力时,大多由业务侧自行进行数据的异地或同城备份,甚至需要进行全量数据备份,虽然系统安全得到一定保障,但是较为费时费力,而且需要较高的容灾成本。
发明内容
有鉴于此,本发明的目的在于提供一种数据灾备方法、装置及服务器,可以有效提高数据灾备的效率,而且有效降低数据灾备的成本。
第一方面,本发明实施例提供了一种数据灾备方法,所述方法应用于第一数据中心,所述第一数据中心与第二数据中心通信连接,所述第一数据中心和所述第二数据中心配置有公有云存储对象,所述第一数据中心和所述第二数据中心均包括多个存储桶,所述方法包括:获取预先配置的解析记录;其中,所述解析记录包括存储桶域名和存储桶优先级;基于所述解析记录,分别从所述第一数据中心内的各个所述存储桶中确定第一备存储桶,以及从所述第二数据中心内的各个所述存储桶中确定第二主存储桶;其中,所述第二主存储桶用于存储写入所述第二数据中心的业务数据,所述第一备存储桶用于备份所述第二主存储桶内存储的业务数据;基于所述公有云存储对象监听所述第二主存储桶内是否存储有第一新增数据;如果是,将所述第二主存储桶内存储的所述第一新增数据复制至所述第一备存储桶。
在一种实施方式中,所述方法还包括:基于所述解析记录,分别从所述第一数据中心内的各个所述存储桶中确定第一主存储桶,以及从所述第二数据中心内的各个所述存储桶中确定第二备存储桶;其中,所述第一主存储桶用于存储写入所述第一数据中心的业务数据,所述第二备存储桶用于备份所述第一主存储桶内存储的业务数据;如果接收到写入所述第一数据中心的第二新增数据,将所述第二新增数据存储至所述第一主存储桶,以使所述第二数据中心基于所述公有云存储对象监听到所述第一主存储桶内存储有第二新增数据,并将所述第一主存储桶内存储的所述第二新增数据复制至所述第二备存储桶。
在一种实施方式中,所述方法还包括:如果监听到所述第二数据中心存在故障,获取用户上传的配置文件;其中,所述配置文件包括数据操作的操作类型和可用存储桶的存储桶域名,所述可用存储桶部署在所述第一数据中心;当监听到用户针对所述第二数据中心的数据操作时,基于所述配置文件在所述第一数据中心执行所述数据操作。
在一种实施方式中,所述数据操作的操作类型包括写入类型;所述基于所述配置文件在所述第一数据中心执行所述数据操作的步骤,包括:获取所述数据操作对应的第三新增数据,并将所述第三新增数据存储至所述可用存储桶,以使所述第二数据中心恢复使用时,将所述可用存储桶内存储的所述第三新增数据复制至第二备存储桶;其中,所述可用存储桶包括第一主存储桶。
在一种实施方式中,所述数据操作的操作类型包括下载类型;所述基于所述配置文件在所述第一数据中心执行所述数据操作的步骤,包括:从所述可用存储桶中下载所述数据操作对应的业务数据;其中,所述可用存储桶包括所述第一备存储桶。
在一种实施方式中,所述方法还包括:按照指定周期验证所述第一备存储桶内存储的业务数据是否与预设规则匹配;如果是,将所述第一备存储桶内存储的所述业务数据删除。
在一种实施方式中,所述第一主存储桶的优先级高于所述第一备存储桶的优先级,所述第二主存储桶的优先级高于所述第二备存储桶的优先级。
第二方面,本发明实施例还提供一种数据灾备装置,所述装置应用于第一数据中心,所述第一数据中心与第二数据中心通信连接,所述第一数据中心和所述第二数据中心配置有公有云存储对象,所述第一数据中心和所述第二数据中心均包括多个存储桶,所述装置包括:记录获取模块,用于获取预先配置的解析记录;其中,所述解析记录包括存储桶域名和存储桶优先级;存储桶确定模块,用于基于所述解析记录,分别从所述第一数据中心内的各个所述存储桶中确定第一备存储桶,以及从所述第二数据中心内的各个所述存储桶中确定第二主存储桶;其中,所述第二主存储桶用于存储写入所述第二数据中心的业务数据,所述第一备存储桶用于备份所述第二主存储桶内存储的业务数据;监听模块,用于基于所述公有云存储对象监听所述第二主存储桶内是否存储有第一新增数据;复制模块,用于在所述监听模块的监听结果为是时,将所述第二主存储桶内存储的所述第一新增数据复制至所述第一备存储桶。
第三方面,本发明实施例还提供一种服务器,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。
本发明实施例提供的一种数据灾备方法、装置及服务器,应用于第一数据中心,第一数据中心与第二数据中心通信连接,第一数据中心和第二数据中心配置有公有云存储对象,第一数据中心和第二数据中心均包括多个存储桶,首先获取预先配置的解析记录(存储桶域名和存储桶优先级),然后基于解析记录分别从第一数据中心内的各个存储桶中确定第一备存储桶,以及从第二数据中心内的各个存储桶中确定第二主存储桶,当基于公有云存储对象监听第二主存储桶内存储有第一新增数据时,将第二主存储桶内存储的第一新增数据复制至第一备存储桶。其中,上述第二主存储桶用于存储写入第二数据中心的业务数据,上述第一备存储桶用于备份第二主存储桶内存储的业务数据。上述方法首先基于解析记录确定第一数据中心的第一备存储桶和第二数据中心的第二主存储桶,并利用公有云对象存储对第二主存储桶进行监听,以及时发现第二主存储桶中的第一新增数据,从而进行业务数据的复制备份,本发明实施例无需用户自行进行数据的复制备份,不仅可以有效提高数据灾备的效率,而且有效降低数据灾备所需的人力物力。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据灾备方法的流程示意图;
图2为本发明实施例提供的一种数据中心架构的示意图;
图3为本发明实施例提供的一种数据灾备装置的结构示意图;
图4为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,相关技术中提供的数据灾备方法需要由业务侧自行进行数据的异地或同城备份,较为费时费力,而且需要较高的容灾成本,基于此,本发明实施提供了一种数据灾备方法、装置及服务器,可以有效提高数据灾备的效率,而且有效降低数据灾备的成本。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种数据灾备方法进行详细介绍,方法应用于第一数据中心,第一数据中心与第二数据中心通信连接,第一数据中心和第二数据中心配置有公有云存储对象,其中,公有云对象存储是指面向互联网的分布式存储,另外,第一数据中心和第二数据中心均包括多个存储桶,存储桶用于存储用户上传的业务数据或操作时产生的业务数据,参见图1所示的一种数据灾备方法的流程示意图,该方法主要包括以下步骤S102至步骤S108:
步骤S102,获取预先配置的解析记录。其中,解析记录包括存储桶域名和存储桶优先级,存储桶域名可以理解为各个存储桶的定位标识,存储桶优先级可以用于表征每个存储桶的优先等级。在一种实施方式中,可以通过用户图形界面提供解析记录上传控件,并响应用户针对该解析记录上传控件的点触操作,从而获取到用户上传的解析记录。
步骤S104,基于解析记录,分别从第一数据中心内的各个存储桶中确定第一备存储桶,以及从第二数据中心内的各个存储桶中确定第二主存储桶。其中,第二主存储桶用于存储写入第二数据中心的业务数据,第一备存储桶用于备份第二主存储桶内存储的业务数据。可选的,上述第一备存储桶和第二主存储桶的数量均可以为至少一个。在一种实施方式中,可以基于解析记录中的存储桶优先级确定第一备存储桶和第二主存储桶,例如,第一数据中心和第二数据中心分别包含有两个存储桶,其中,第一数据中心内的存储桶A1的优先级高于存储桶A2的优先级,此时可以将存储桶A2确定为第一备存储桶,第二数据中心内的存储桶B1的优先级高于存储桶B2的优先级,此时可以将存储桶B1确定为第二主存储桶。
步骤S106,基于公有云存储对象监听第二主存储桶内是否存储有第一新增数据。其中,第一新增数据也即新存储至第二主存储桶内的业务数据。公有云存储对象支持通过Http/Https(HyperText Transfer Protocol,超文本传输协议)在任何时间、地点对文件进行读写与管理,支持标准的Rest(Representational State Transfer,表述性状态传递)API(Application Programming Interface,应用程序接口),通过扁平的存储架构为客户提供无限的存储空间,对象存储是一种高可靠、高可用、低成本、无限扩展的存储方式,适用海量的非结构化数据存储,资源可支持弹性扩容。在一种实施方式中,当用户在第二数据中心上传业务数据时,该业务数据即为上述第一新增数据,第二主存储桶内将存储有该第一新增数据,此时第一数据中心可基于公有云存储对象获知第二主存储桶内存储有第一新增数据。
步骤S108,如果是,将第二主存储桶内存储的第一新增数据复制至第一备存储桶。在一种实施方式中,可以基于解析记录中的存储桶域名确定第二主存储桶对应的域名和第一备存储桶对应的域名,公有云对象存储可以精确复制第二主存储桶内的第一新增数据到第一备存储桶中,复制的第一新增数据副本与第二主存储桶内存储的原第一新增数据拥有完全一致的属性信息。
本发明实施例提供的上述数据灾备方法,首先基于解析记录确定第一数据中心的第一备存储桶和第二数据中心的第二主存储桶,并利用公有云对象存储对第二主存储桶进行监听,以及时发现第二主存储桶中的第一新增数据,从而进行业务数据的复制备份,本发明实施例无需用户自行进行数据的复制备份,不仅可以有效提高数据灾备的效率,而且有效降低数据灾备所需的人力物力。
在一种实施方式中,还可以基于解析记录,分别从第一数据中心内的各个存储桶中确定第一主存储桶,以及从第二数据中心内的各个存储桶中确定第二备存储桶,如果接收到写入第一数据中心的第二新增数据,将第二新增数据存储至第一主存储桶,以使第二数据中心基于公有云存储对象监听到第一主存储桶内存储有第二新增数据,并将第一主存储桶内存储的第二新增数据复制至第二备存储桶。其中,第一主存储桶用于存储写入第一数据中心的业务数据,第二备存储桶用于备份第一主存储桶内存储的业务数据。在实际应用中,可以将第一数据中心内的存储桶A1确定为第一主存储桶,将第二数据中心内的存储桶B2确定为第二备存储桶。第二新增数据也即新存储至第一主存储桶内的业务数据。示例性的,当用户在第一数据中心上传业务数据时,该业务数据即为上述第二新增数据,第一主存储桶内将存储有该第二新增数据,此时第二数据中心可基于公有云存储对象获知第一主存储桶内存储有第二新增数据。然后基于解析记录中的存储桶域名第一主存储桶对应的域名和第二备存储桶对应的域名,公有云对象存储可以精确复制第一主存储桶内的第二新增数据到第二备存储桶中。
在一种实施方式中,第一主存储桶的优先级高于第一备存储桶的优先级,第二主存储桶的优先级高于第二备存储桶的优先级。
为便于对上述解析记录进行理解,本发明实施例提供了一种解析记录的应用示例,以第一数据中心部署在北京、第二数据中心部署在上海为例,参见图2所示的一种数据中心架构的示意图,其中,解析记录1可以为:“primary,bucketl.ks3-cn-beijing.ksyun.com(北京);second,bucket4.ks3-cn-shanghaiksyun.com(上海)”,解析记录2可以为“primary,bucket3.ks3-cn-shanghai.ksyun.com(北京);second,bucket2.ks3-cn-beijingksyun.com(上海)”,基于此,可以确定上述bucketl即为第一主存储桶,bucket2即为第一备存储桶,bucket3即为第二主存储桶,bucket4即为第二备存储桶。其中,解析记录也可称之为DNS(Domain Name System,域名系统)解析,在实际应用中,为实现构造高可用、低延时、容灾方案,需要用户手动添加DNS解析。
另外,还可以配置公有云对象存储的存储桶复制规则,示例性的,存储桶复值规则可以包括:Bucket1内存储的业务数据复制到Bucket4中,Bucket3内存储的业务数据复制到Bucket2中。存储桶跨区域复制是针对存储桶的一项配置,通过配置存储桶复制规则,可以在不同存储桶中自动、异步地复制新增数据。启用存储桶复制规则后,公有云对象存储将精确复制源存储桶(包括上述第一主存储桶和第二主存储桶)中的业务数据到目标存储桶(包括上述第一备存储桶和第二备存储桶)中,复制的业务数据(也可称之为对象)副本拥有完全一致的属性信息。此外,源存储桶中对于业务数据的操作,如添加对象、删除对象等操作,也将被复制到目标存储桶中。其中,上述业务数据可以包括对象元数据和版本ID(Identitydocument,身份证标识号)等。
在实际应用中,用户可以分别在第一数据中心和第二数据中心写入业务数据,并在第一数据中心和第二数据中心中明确记录数据写入的地域,以便于从该地域对应的数据中心下载该业务数据。例如,用户在第一数据中心上传业务数据X,业务数据X和该业务数据X的上传地域信息(北京)将存储在Bucket1中,同时备份至Bucket4中,若用户需要下载业务数据X,则将从Bucket1中进行下载。
在实际应用中,为应对其中一个数据中心不可用的情况,需要应用层支持区分域名进行处理,以第二数据中心不可用为例,本发明实施例还提供了如下步骤1至步骤2所示的实施方式:
步骤1,如果监听到第二数据中心存在故障,获取用户上传的配置文件。其中,配置文件包括数据操作的操作类型和可用存储桶的存储桶域名,可用存储桶部署在第一数据中心,操作类型可以包括写入类型或下载类型,不同操作类型对应的可用存储桶可能不同。在一种实施方式中,可通过图形用户界面提供配置文件上传控件,响应用户针对配置文件上传控件的点触操作,以获取用户上传的配置文件。
步骤2,当监听到用户针对第二数据中心的数据操作时,基于配置文件在第一数据中心执行数据操作。本发明实施例针对操作类型为写入类型和操作类型为下载类型两种情况,分别提供了如下方式一至方式二所示的基于配置文件在第一数据中心执行数据操作的实施方式:
方式一,如果数据操作的操作类型包括写入类型,可以获取数据操作对应的第三新增数据,并将第三新增数据存储至可用存储桶,以使第二数据中心恢复使用时,将可用存储桶内存储的第三新增数据复制至第二备存储桶。其中,可用存储桶包括第一主存储桶,第三新增数据也即新存储至第二主存储桶内的业务数据。例如,当用户在第二数据中心上传业务数据时,由于第二数据中心不可用,此时可以基于业务数据携带的地址,从该地址处下载业务数据,并将下载的业务数据存储至Bucket1。当第二数据中心恢复使用时,将从Bucket1中获取业务数据,并将其存储至Bucket4中。
方式二,如果数据操作的操作类型包括下载类型,可以从可用存储桶中下载数据操作对应的业务数据。其中,可用存储桶包括第一备存储桶。例如,当用户在第二数据中心下载业务数据时,由于第二数据中心不可用,此时可以从Bucket2中获取并下载所需的业务数据。
同理,当第一数据中心不可用时,第二数据中心将获取用户上传的配置文件,并在监听到用户针对第一数据中心的数据操作时,基于配置文件在第二数据中心执行数据操作。具体的,数据操作的操作类型为写入类型时,可以获取数据操作对应的第四新增数据,并将第四新增数据存储至可用存储桶,该可用存储桶配置在第二数据中心,可以为第二主存储桶,并在第一数据中心回复使用时,将第二主存储桶内存储的第四新增数据复制至第一备存储桶;数据操作的操作类型为下载类型时,可以从第二备存储桶中下载数据操作对应的业务数据。具体可参见前述步骤1至步骤2,本发明实施例对此不再赘述。
为便于理解,请继续参见图2,假设第二数据中心不可用,则解析记录2的次解析记录升为主解析记录,但Bucket2仅用于下载上海地域写入的业务数据,不用Bucket2写入新的业务数据。另外,在第二数据中心上传的业务数据均写入第一数据中心的Bucketl,包括正常写入的业务数据和从Bucket2中读取的数据。假设第一数据中心不可用,解析记录1的次解析记录提升为主解析记录,但Bucket4仅用于下载北京地域写入的业务数据,不用Bucket4写入新的业务数据。另外,在第一数据中心上传的业务数据均写入第二数据中心的Bucket3,包括正常写入的业务数据和从Bucket4中读取的数据。
本发明实施例提供的数据灾备方法,提供了针对海量非机构化数据高可用容灾架构,借助公有云对象存储,同时借助其跨区域复制功能实现,若考虑数据灾备成本,还可以结合生命周期管理定期删除备桶文件。在一种实施方式中,可以按照指定周期验证第一备存储桶内存储的业务数据是否与预设规则匹配,并在验证结果为是时,将第一备存储桶内存储的业务数据删除。同理,还可以按照指定周期验证第二备存储桶内存储的业务数据是否与预设规则匹配,并在验证结果为是时,将第二备存储桶内存储的业务数据删除。通过为Bucket2和Bucket4配置生命周期管理,匹配Bucket2和Bucket4内存储的全部业务数据,文件更新设置为固定天数后自动删除,比如设置更新90天删除,具体时间可以根据业务数据是否重要决定,可以延长或缩短时间配置,本发明实施例对此不进行限制。本发明实施例通过配置生命周期管理,可以有效节约存储成本。另外,若实际应用中无成本压力,则可省略生命周期管理规则的配置,保留Bucket2和Bucket4内存储的全部业务数据。
本发明实施例提供的上述数据灾备方法,提供成本更优的高可用灾备架构,结合公有云对象存储,利用其多的地域提供的弹性扩容能力,与跨地域自动复制功能,进行业务初始上传与下载分别将二分之一的分别写入与读取在两个地域,同时利用跨区域复制建立不同地域的桶之间类实时复制,最后保证2个桶中文件数量与文件内容最终一致,互为备源,同时双活的架构。另外,本发明实施例提供的数据灾备方法实质为双活、异地备份方案,每个数据中心正常情况下都是主,无备概念,在双活的基础上,各自应对一般业务访问,可实现减少数据存储整体成本的同时,均分存储系统压力,做到双活互备。
综上所述,本发明实施例提供的上述数据灾备方法至少包括以下特点:
(1)本发明实施例提供的数据灾备方法,基于公有云对象存储自动扩展,海量廉价的特点,进行非结构化业务数据的存储,并利用实时数据复制实现异地数据实时复制,数据中心跨地域容灾。
(2)本发明实施例提供的数据灾备方法,同地域主备与跨地域主备结合,配置4个存储桶,其中,2个主存储桶和2个备存储桶,进行故障时访问快速切换,业务侧无感知底层数据存储集群故障,业务无损,可轻松实现同城内数据中心之间甚至城市和城市之间也可以自如地进行故障发生时的应急切换。
对于前述实施例提供的数据灾备方法,本发明实施例提供了一种数据灾备装置,该装置应用于第一数据中心,第一数据中心与第二数据中心通信连接,第一数据中心和第二数据中心配置有公有云存储对象,第一数据中心和第二数据中心均包括多个存储桶,参见图3所示的一种数据灾备装置的结构示意图,该装置主要包括以下部分:
记录获取模块302,用于获取预先配置的解析记录;其中,解析记录包括存储桶域名和存储桶优先级。
存储桶确定模块304,用于基于解析记录,分别从第一数据中心内的各个存储桶中确定第一备存储桶,以及从第二数据中心内的各个存储桶中确定第二主存储桶;其中,第二主存储桶用于存储写入第二数据中心的业务数据,第一备存储桶用于备份第二主存储桶内存储的业务数据。
监听模块306,用于基于公有云存储对象监听第二主存储桶内是否存储有第一新增数据。
复制模块308,用于在监听模块的监听结果为是时,将第二主存储桶内存储的第一新增数据复制至第一备存储桶。
本发明实施例提供的上述数据灾备装置,首先基于解析记录确定第一数据中心的第一备存储桶和第二数据中心的第二主存储桶,并利用公有云对象存储对第二主存储桶进行监听,以及时发现第二主存储桶中的第一新增数据,从而进行业务数据的复制备份,本发明实施例无需用户自行进行数据的复制备份,不仅可以有效提高数据灾备的效率,而且有效降低数据灾备所需的人力物力。
在一种实施方式中,上述装置还包括存储模块,用于:基于解析记录,分别从第一数据中心内的各个存储桶中确定第一主存储桶,以及从第二数据中心内的各个存储桶中确定第二备存储桶;其中,第一主存储桶用于存储写入第一数据中心的业务数据,第二备存储桶用于备份第一主存储桶内存储的业务数据;如果接收到写入第一数据中心的第二新增数据,将第二新增数据存储至第一主存储桶,以使第二数据中心基于公有云存储对象监听到第一主存储桶内存储有第二新增数据,并将第一主存储桶内存储的第二新增数据复制至第二备存储桶。
在一种实施方式中,上述装置还包括配置模块,用于:如果监听到第二数据中心存在故障,获取用户上传的配置文件;其中,配置文件包括数据操作的操作类型和可用存储桶的存储桶域名,可用存储桶部署在第一数据中心;当监听到用户针对第二数据中心的数据操作时,基于配置文件在第一数据中心执行数据操作。
在一种实施方式中,数据操作的操作类型包括写入类型;配置模块还用于:获取数据操作对应的第三新增数据,并将第三新增数据存储至可用存储桶,以使第二数据中心恢复使用时,将可用存储桶内存储的第三新增数据复制至第二备存储桶;其中,可用存储桶包括第一主存储桶。
在一种实施方式中,数据操作的操作类型包括下载类型;配置模块还用于:从可用存储桶中下载数据操作对应的业务数据;其中,可用存储桶包括第一备存储桶。
在一种实施方式中,上述装置还包括删除模块,用于:按照指定周期验证第一备存储桶内存储的业务数据是否与预设规则匹配;如果是,将第一备存储桶内存储的业务数据删除。
在一种实施方式中,上述第一主存储桶的优先级高于第一备存储桶的优先级,第二主存储桶的优先级高于第二备存储桶的优先级。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种服务器,具体的,该服务器包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图4为本发明实施例提供的一种服务器的结构示意图,该服务器100包括:处理器40,存储器41,总线42和通信接口43,所述处理器40、通信接口43和存储器41通过总线42连接;处理器40用于执行存储器41中存储的可执行模块,例如计算机程序。
其中,存储器41可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器41用于存储程序,所述处理器40在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中,或者由处理器40实现。
处理器40可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41,处理器40读取存储器41中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见前述方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据灾备方法,其特征在于,所述方法应用于第一数据中心,所述第一数据中心与第二数据中心通信连接,所述第一数据中心和所述第二数据中心配置有公有云存储对象,所述第一数据中心和所述第二数据中心均包括多个存储桶,所述方法包括:
获取预先配置的解析记录;其中,所述解析记录包括存储桶域名和存储桶优先级;
基于所述解析记录,分别从所述第一数据中心内的各个所述存储桶中确定第一备存储桶,以及从所述第二数据中心内的各个所述存储桶中确定第二主存储桶;其中,所述第二主存储桶用于存储写入所述第二数据中心的业务数据,所述第一备存储桶用于备份所述第二主存储桶内存储的业务数据;
基于所述公有云存储对象监听所述第二主存储桶内是否存储有第一新增数据;
如果是,将所述第二主存储桶内存储的所述第一新增数据复制至所述第一备存储桶。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述解析记录,分别从所述第一数据中心内的各个所述存储桶中确定第一主存储桶,以及从所述第二数据中心内的各个所述存储桶中确定第二备存储桶;其中,所述第一主存储桶用于存储写入所述第一数据中心的业务数据,所述第二备存储桶用于备份所述第一主存储桶内存储的业务数据;
如果接收到写入所述第一数据中心的第二新增数据,将所述第二新增数据存储至所述第一主存储桶,以使所述第二数据中心基于所述公有云存储对象监听到所述第一主存储桶内存储有第二新增数据,并将所述第一主存储桶内存储的所述第二新增数据复制至所述第二备存储桶。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果监听到所述第二数据中心存在故障,获取用户上传的配置文件;其中,所述配置文件包括数据操作的操作类型和可用存储桶的存储桶域名,所述可用存储桶部署在所述第一数据中心;
当监听到用户针对所述第二数据中心的数据操作时,基于所述配置文件在所述第一数据中心执行所述数据操作。
4.根据权利要求3所述的方法,其特征在于,所述数据操作的操作类型包括写入类型;
所述基于所述配置文件在所述第一数据中心执行所述数据操作的步骤,包括:
获取所述数据操作对应的第三新增数据,并将所述第三新增数据存储至所述可用存储桶,以使所述第二数据中心恢复使用时,将所述可用存储桶内存储的所述第三新增数据复制至第二备存储桶;其中,所述可用存储桶包括第一主存储桶。
5.根据权利要求3所述的方法,其特征在于,所述数据操作的操作类型包括下载类型;
所述基于所述配置文件在所述第一数据中心执行所述数据操作的步骤,包括:
从所述可用存储桶中下载所述数据操作对应的业务数据;其中,所述可用存储桶包括所述第一备存储桶。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
按照指定周期验证所述第一备存储桶内存储的业务数据是否与预设规则匹配;
如果是,将所述第一备存储桶内存储的所述业务数据删除。
7.根据权利要求2所述的方法,其特征在于,所述第一主存储桶的优先级高于所述第一备存储桶的优先级,所述第二主存储桶的优先级高于所述第二备存储桶的优先级。
8.一种数据灾备装置,其特征在于,所述装置应用于第一数据中心,所述第一数据中心与第二数据中心通信连接,所述第一数据中心和所述第二数据中心配置有公有云存储对象,所述第一数据中心和所述第二数据中心均包括多个存储桶,所述装置包括:
记录获取模块,用于获取预先配置的解析记录;其中,所述解析记录包括存储桶域名和存储桶优先级;
存储桶确定模块,用于基于所述解析记录,分别从所述第一数据中心内的各个所述存储桶中确定第一备存储桶,以及从所述第二数据中心内的各个所述存储桶中确定第二主存储桶;其中,所述第二主存储桶用于存储写入所述第二数据中心的业务数据,所述第一备存储桶用于备份所述第二主存储桶内存储的业务数据;
监听模块,用于基于所述公有云存储对象监听所述第二主存储桶内是否存储有第一新增数据;
复制模块,用于在所述监听模块的监听结果为是时,将所述第二主存储桶内存储的所述第一新增数据复制至所述第一备存储桶。
9.一种服务器,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
CN202110689091.4A 2021-06-21 2021-06-21 数据灾备方法、装置及服务器 Pending CN113419901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110689091.4A CN113419901A (zh) 2021-06-21 2021-06-21 数据灾备方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110689091.4A CN113419901A (zh) 2021-06-21 2021-06-21 数据灾备方法、装置及服务器

Publications (1)

Publication Number Publication Date
CN113419901A true CN113419901A (zh) 2021-09-21

Family

ID=77789809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110689091.4A Pending CN113419901A (zh) 2021-06-21 2021-06-21 数据灾备方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN113419901A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442947A (zh) * 2022-01-14 2022-05-06 苏州浪潮智能科技有限公司 跨域桶删除方法、系统、终端及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442947A (zh) * 2022-01-14 2022-05-06 苏州浪潮智能科技有限公司 跨域桶删除方法、系统、终端及存储介质
CN114442947B (zh) * 2022-01-14 2023-08-22 苏州浪潮智能科技有限公司 跨域桶删除方法、系统、终端及存储介质

Similar Documents

Publication Publication Date Title
JP6404907B2 (ja) 効率的な読み取り用レプリカ
US10642694B2 (en) Monitoring containers in a distributed computing system
CA2885059C (en) Retrieving point-in-time copies of a source database for creating virtual databases
US8918392B1 (en) Data storage mapping and management
US20150019495A1 (en) Customizable storage system for virtual databases
CN113168404B (zh) 用于在分布式数据库系统中复制数据的系统和方法
CN111475483B (zh) 数据库迁移方法、装置及计算设备
WO2018121456A1 (zh) 一种数据存储方法、服务器以及存储系统
JP2016513306A (ja) データ格納方法、データストレージ装置、及びストレージデバイス
CN106452836B (zh) 主节点设置方法及装置
CN113849352A (zh) 业务数据存储异常处理方法、装置及服务器
CN113157487A (zh) 数据恢复方法及其设备
CN113419901A (zh) 数据灾备方法、装置及服务器
CN111198885A (zh) 数据的处理方法及装置
CN111752892B (zh) 分布式文件系统及其实现方法、管理系统、设备及介质
JP6376626B2 (ja) データ格納方法、データストレージ装置、及びストレージデバイス
CN115470041A (zh) 一种数据灾备管理方法及装置
CN114968963A (zh) 文件覆盖写方法、装置和电子设备
CN109151016B (zh) 流量转发方法和装置、服务系统、计算设备及存储介质
WO2016046951A1 (ja) 計算機システム及びそのファイル管理方法
CN113821176B (zh) 一种数据迁移的处理方法、装置及存储介质
US11645333B1 (en) Garbage collection integrated with physical file verification
US20240045777A1 (en) Processing of Data Access Requests in a Storage Network
WO2023151547A1 (zh) 一种数据处理系统、方法及设备
US10360107B2 (en) Modifying allocation of storage resources in a dispersed storage network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination