CN114860505B - 一种对象存储数据异步备份方法及系统 - Google Patents

Abstract

本发明公开了一种对象存储数据异步备份方法及系统，其中，方法包括以下步骤：设置备份点与对象异步备份状态标识；在源对象存储集群的N台服务器上进行配置，构建分布式异步备份集群；将备份脚本分发至分布式异步备份集群的每个节点并定时执行；在整个异步备份过程中，全程监控分布式异步备份集群、源/目的对象存储集群的主机状态，以及进程执行状态。本发明利用现有对象存储集群构建数据分布式异步备份集群，备份集群的每个节点均处理与对象id取模的结果一致的异步备份任务，每个任务多线程执行，保证数据传输效率。另外，本发明将每个异步备份任务从物理上进行隔离，确保存储对象无重复传输，无覆盖传输，无遗漏传输，从传输过程中保证可靠性。

Description

一种对象存储数据异步备份方法及系统

技术领域

本发明涉及对象存储数据备份的技术领域，具体涉及一种对象存储数据异步备份方法。

背景技术

对象存储(Object-based Storage，OBS)是用于存储大规模非结构化数据的数据存储架构。它将每项数据指定为一个对象，保存在单独的仓库中，然后与元数据和唯一标识符捆绑在一起，以方便访问和检索。随着大数据时代的到来，对象存储系统逐渐被青睐，用于存储海量且多样的数据。因此，数据的物理安全显得尤为重要。

容灾备份是通过在异地建立和维护一个备份存储系统，利用地理上的分离来保证系统和数据对灾难性事件的抵御能力。对象存储集群的容灾备份是指在异地建立一个相同的对象存储集群，进行有计划地或实时地数据备份，当出现灾难时，可由异地系统迅速接替本地系统而保证业务的连续性。目前，关于对象存储数据容灾分为实时备份、异步备份。所谓实时备份，是指用户在客户端进行对象操作时，同时会将数据操作应用于异地备份集群，保持主备集群“零数据”，在主备集群均操作成功才会返回客户端成功的响应信息。而异步备份，是指将数据备份任务添加至消息队列或缓存队列中，不强调主备集群在时间上的一致性，主集群操作成功即可响应客户端请求。目前，通过建立异步任务的方式完成集群间的数据备份具备普遍性、通用性。

云服务提供商如阿里云、腾讯云、京东云、华为云、七牛云等均提供数据异地备份功能，尽可能消除用户对安全的顾虑。对象存储桶之间的数据复制技术能将存储对象的新建、覆盖、删除等改动同步到目标空间。目标空间中的对象副本是源存储空间中对象的精确副本，它们具有相同的对象名、元数据以及内容。在数据上传至目标空间时，必须经过数据一致性校验。因此，对象存储之间的数据备份并不是一个简单的“复制、粘贴”过程，其中包含非常多的技术难点，比如：任务拆解分发策略、对象备份状态标识、错误处理、多线程、一致性校验、用户信息校验等。

巨大量级的数据备份任务往往需要较长的时间。单节点架构通常带宽有限，数据处理效率低下。通过分布式并发进行数据备份，能够充分利用设备资源，提高处理效率。数据备份任务一般会采用消息队列、缓存等方式分发子任务并发执行。以消息队列的方式处理异步备份任务易发生消息堆积、消息重复执行等问题，其以对象数据块为单位进行上传，极易造成对象数据不完整、不一致，只能通过复杂的锁机制来解决。以缓存队列的方式处理备份任务，需要非常高的内存支撑，对内存资源是一种浪费，同时，一旦服务器因某种原因宕机，缓存中的数据很难或无法复原，影响数据备份进度。因此，本发明的创新之处在于解决对象存储数据异步备份过程中任务的拆解分发问题，本发明以一个对象数据为备份任务的一个处理单元，将对象id取模的结果与分布式备份集群的节点服务器绑定，实现备份任务均匀分发和多线程执行，避免大文件上时间复制上传导致的性能瓶颈，大大提高了数据异步备份效率。

发明内容

本发明的目的在于，利用现有对象存储集群构建数据分布式异步备份集群，备份集群的每个节点均处理与对象id取模的结果一致的异步备份任务，每个任务多线程执行，保证数据传输效率。该方法将每个异步备份任务从物理上进行隔离，确保存储对象无重复传输，无覆盖传输，无遗漏传输，从传输过程中保证可靠性。

为实现上述目的，一方面，本发明提供了一种对象存储数据异步备份方法，该方法包括以下步骤：

设置备份点与对象异步备份状态标识；

在源对象存储集群的N台服务器上进行配置，构建分布式异步备份集群；

将备份脚本分发至分布式异步备份集群的每个节点并定时执行；

在整个异步备份过程中，全程监控分布式异步备份集群、源/目的对象存储集群的主机状态，以及进程执行状态。

优选地，所述设置备份点与对象异步备份状态标识步骤，包括：

在源对象存储集群的数据库建立表“备份点”，在“备份点”表中添加的记录表示该存储桶将要开启数据备份，该表中记录了包括每个存储桶的异步备份状态和错误信息；

在目的对象存储集群的数据库创建“备份点”中的同名存储桶，并为每个存储桶创建一个读写Token，用于对象数据备份时的认证。

优选地，所述在源对象存储集群的N台服务器上进行配置，构建分布式异步备份集群步骤，包括：

在分布式异步备份集群的每台服务器上配置代理，包括：数据库代理、对象存储服务代理；修改每台服务器的host id；安装备份脚本执行时需要的依赖文件；

将备份脚本分发至分布式异步备份集群的每个节点并定时执行。

优选地，所述将备份脚本分发至分布式异步备份集群的每个节点并定时执行步骤中，分布式异步备份集群有N个节点，节点的host id为M；备份脚本只处理对象id取模N的余数与M相等的对象备份任务，即对象id mod N＝M。

优选地，一次定时备份执行过程如下：

以存储桶id为序，查询源数据库“备份点”表中状态为“start”的存储桶；

以对象id为序，查询存储桶中未备份对象，获取桶内async为null或async小于对象上次更新时间，且对象id取模N的余数与M相等的对象元数据；

根据对象元数据表，从源对象存储集群获取对象数据；

调用对象存储服务API，上传对象至目的对象存储集群。此时分为以下几种处理情况：若第1次上传成功，则更新源集群数据库async的开始备份时间，备份下一个对象或下一个备份点的数据；若第1次上传失败，则启动重传，若重传成功，则更新源集群数据库async的开始备份时间，备份下一个对象或下一个备份点的数据；若重传失败，则更新备份点error字段，记录失败信息，停止该备份点在该节点的上传，进行下一个备份点的备份。

另一方面，本发明提供了一种对象存储数据异步备份系统，该系统包括：源对象存储集群、目的对象存储集群、分布式异步备份集群和监控模块。

源对象存储集群，是数据备份的源端，构建了对象存储服务、数据库和底层存储。

目的对象存储集群，是数据备份的目的端，构建了对象存储服务、数据库和底层存储，与源对象存储集群具备相同的应用业务和底层数据存储结构。

分布式异步备份集群，由N个服务器组成，是执行异步备份任务、返回任务执行结果的主体，一般可同时构建在源对象存储集群的服务节点上。

监控模块，用于监控分布式异步备份集群、源/目的对象存储集群的运行状态，以及每个服务器异步备份任务的执行状态，保证整个数据备份过程透明、可控。

本发明利用现有对象存储集群构建数据分布式异步备份集群，备份集群的每个节点均处理与对象id取模的结果一致的异步备份任务，每个任务多线程执行，保证数据传输效率。另外，本发明将每个异步备份任务从物理上进行隔离，确保存储对象无重复传输，无覆盖传输，无遗漏传输，从传输过程中保证可靠性。

附图说明

图1为本发明实施例提供的一种对象存储数据异步备份方法流程示意图；

图2为本发明实施例提供的数据备份脚本执行流程示意图；

图3为本发明实施例提供的异步备份任务分发示意图；

图4为本发明实施例提供的对象存储数据异步备份系统结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种对象存储数据异步备份方法流程示意图。如1所示，本例中的分布式异步备份集群包含N个节点。

S101：给要备份的存储桶设置备份点，并开启数据异步备份(即设置status＝“start”)。

具体地，在源对象存储集群的数据库建立表“备份点”(如表1所示)，在“备份点”表中添加的记录表示该存储桶将要开启数据备份，该表中记录了每个存储桶的异步备份状态(status)、错误信息(error)等。其中，“status”字段：取值为start、stop，表示该存储桶开始、停止数据异步备份。“error”字段：记录存储桶发生异常未备份完成时，出现的错误信息。存储桶内每个对象均记录备份完成时间(async)。“async”字段：初始值为null，表示对象未备份；若对象备份完成，则更新本字段，记录备份开始时间。

表1-源对象存储集群的数据库的备份点

存储桶名称	备份状态(status)	错误信息(error)	备份完成时间(async)
				存储桶1	Start	xxx	null
存储桶2	stop	xxx	xxx
				……	……	……	……
存储桶N	Start	xxx	xxx

在目的对象存储集群的数据库创建“备份点”中的同名存储桶，并为每个存储桶创建一个读写Token(如表2所示)，该读写Token负责与目的对象存储集群完成权限认证，即headers携带该读写Token的API即可实现对象数据在目的对象存储集群的读写上传。

表2-存储桶对应的读写Token

S102：在分布式异步备份集群(即N个节点)上配置代理，包括：数据库代理、对象存储服务；修改每个服务器的host id；安装备份脚本执行的依赖文件，根据所用编程语言配套安装即可。

具体地，在N个节点上均安装、配置数据库代理用于负载均衡对源/目的数据库的TCP连接；配置对象存储服务代理，用于均衡对目的对象存储集群的http连接，降低单点写入压力。

批量修改N个节点的host id，改为host1、host2、host3、…、hostN。

在N个节点均安装备份脚本所需依赖文件，本发明实施例使用python语言编写备份脚本，其所需依赖文件有mysqlclient，requests，pytz，rados，psutil等。

S103：分发备份脚本至N个节点并执行备份脚本，所述备份脚本将完成图2所示的源/目的对象存储集群数据异步备份任务。

S104：监测分布式异步备份集群、源/目的对象存储集群以及相关异步复制任务进程执行情况。

具体地，在整个异步备份过程中，由监控模块全程监控分布式异步备份集群、源/目的对象存储集群的主机状态，以及进程执行状态。

图2为本发明实施例提供的数据备份脚本执行流程示意图。如图2所示，本示例以分布式异步备份集群部署有N个节点，在host id为M的节点部署为例描述执行脚本的过程。

第一步，获取一个设置了备份点(开启异步备份状态)的存储桶。

第二步，以id为序在该存储桶中获取async为null(即未备份的对象)或async小于更新时间(即被覆盖上传的对象)，并且对象id取模N的余数与M相等(如图3所示)的对象元数据。

第三步，根据对象元数据，从源集群对象存储系统中获取对象数据。

第四步，调用对象存储服务API，上传对象至目的对象存储集群。此时分为以下几种处理情况：若第1次上传成功，则更新源集群数据库async的开始备份时间，备份下一个对象或下一个备份点的数据；若第1次上传失败，则启动重传，若重传成功，则更新源集群数据库async的开始备份时间，备份下一个对象或下一个备份点的数据；若重传失败，则更新备份点error字段，记录失败信息，停止该备份点在该节点的上传，进行下一个备份点的备份。

第五步，在所有存储桶的对象数据备份完成后，定时执行备份脚本。

图3为本发明实施例提供的异步备份任务分发示意图。如图3所示，有多个待备份的存储桶，如存储桶1、存储桶2、……；每个存储桶内有多个对象，每个对象均有唯一的对象id，对象id是一串数字，如”567”、”12356”等；异步备份集群由N台服务器组成。图中的虚线框所示为存储桶内对象id mod N＝M的对象备份任务分发给服务器M处理。

图4为本发明实施例提供的对象存储数据异步备份系统结构图。如图4所示，该系统包括：源对象存储集群、目的对象存储集群、分布式异步备份集群和监控模块；其中，

源对象存储集群，是数据备份的源端，构建了对象存储服务、数据库和底层存储。

目的对象存储集群，是数据备份的目的端，构建了对象存储服务、数据库和底层存储，与源对象存储集群具备相同的应用业务和底层数据存储结构。

分布式异步备份集群，由N个服务器组成，是执行异步备份任务、返回任务执行结果的主体，一般可建立同时构建在源对象存储集群的服务节点上。

监控模块，用于监控分布式异步备份集群、源/目的对象存储集群的运行状态，以及每个服务器异步备份任务的执行状态，保证整个数据备份过程透明、可控。

其中，分布式异步备份集群和监控模块部署在源对象存储集群的N台服务器上，为了便于显示模块之间的关系，分开作图。

显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。

Claims (3)

1.一种对象存储数据异步备份方法，其特征在于，包括以下步骤：

设置备份点与对象异步备份状态标识；在源对象存储集群的数据库建立备份点表，在备份点表中添加的记录表示存储桶将要开启数据备份，该表中记录了每个存储桶的异步备份状态和错误信息；其中，异步备份状态字段：取值为start、stop，表示该存储桶开始、停止数据异步备份；错误信息字段：记录存储桶发生异常未备份完成时，出现的错误信息；存储桶内每个对象记录备份完成时间，备份完成时间字段：初始值为null，表示对象未备份；若对象备份完成，则更新本字段，记录备份开始时间；在目的对象存储集群的数据库创建备份点中的同名存储桶，并为每个存储桶创建一个读写Token，该读写Token负责与目的对象存储集群完成权限认证；

在源对象存储集群的N台服务器上进行配置，构建分布式异步备份集群；

将备份脚本分发至分布式异步备份集群的每个节点并定时执行；分布式异步备份集群有N个节点，节点的主机序号host id为M；备份脚本只处理对象id取模N的余数与M相等的对象备份任务，即对象idmod N = M；

在整个异步备份过程中，全程监控分布式异步备份集群、源/目的对象存储集群的主机状态，以及进程执行状态；

一次定时备份执行过程如下：

以存储桶id为序，查询源数据库备份点表中状态为start的存储桶；

以对象id为序，查询存储桶中未备份对象，获取桶内async为null或async小于对象上次更新时间，且对象id取模N的余数与M相等的对象元数据；

调用对象存储服务API，上传对象至目的对象存储集群；此时分为以下几种处理情况：若第1次上传成功，则更新源集群数据库async的开始备份时间，备份下一个对象或下一个备份点的数据；若第1次上传失败，则启动重传，若重传成功，则更新源集群数据库async的开始备份时间，备份下一个对象或下一个备份点的数据；若重传失败，则更新备份点error字段，记录失败信息，停止该备份点在该节点的上传，进行下一个备份点的备份。

2.根据权利要求1所述的方法，其特征在于，所述在源对象存储集群的N台服务器上进行配置，构建分布式异步备份集群步骤，包括：

在分布式异步备份集群的每台服务器上配置代理，包括：数据库代理、对象存储服务代理；修改每台服务器的hostid；安装备份脚本执行时需要的依赖文件；

将备份脚本分发至分布式异步备份集群的每个节点并定时执行。

3.一种对象存储数据异步备份系统，其特征在于，包括：源对象存储集群、目的对象存储集群、分布式异步备份集群和监控模块；其中，

源对象存储集群，是数据备份的源端，构建了对象存储服务、数据库和底层存储；在源对象存储集群的数据库建立备份点表，在备份点表中添加的记录表示存储桶将要开启数据备份，该表中记录了每个存储桶的异步备份状态和错误信息；其中，异步备份状态字段：取值为start、stop，表示该存储桶开始、停止数据异步备份；错误信息字段：记录存储桶发生异常未备份完成时，出现的错误信息；存储桶内每个对象记录备份完成时间，备份完成时间字段：初始值为null，表示对象未备份；若对象备份完成，则更新本字段，记录备份开始时间；在目的对象存储集群的数据库创建备份点中的同名存储桶，并为每个存储桶创建一个读写Token，该读写Token负责与目的对象存储集群完成权限认证；

目的对象存储集群，是数据备份的目的端，构建了对象存储服务、数据库和底层存储，与源对象存储集群具备相同的应用业务和底层数据存储结构；

分布式异步备份集群，由N个服务器组成，是执行异步备份任务、返回任务执行结果的主体，同时构建在源对象存储集群的服务节点上；一次定时备份执行过程为：以存储桶id为序，查询源数据库备份点表中状态为start的存储桶；以对象id为序，查询存储桶中未备份对象，获取桶内async为null或async小于对象上次更新时间，且对象id取模N的余数与M相等的对象元数据；调用对象存储服务API，上传对象至目的对象存储集群；此时分为以下几种处理情况：若第1次上传成功，则更新源集群数据库async的开始备份时间，备份下一个对象或下一个备份点的数据；若第1次上传失败，则启动重传，若重传成功，则更新源集群数据库async的开始备份时间，备份下一个对象或下一个备份点的数据；若重传失败，则更新备份点error字段，记录失败信息，停止该备份点在该节点的上传，进行下一个备份点的备份；

监控模块，用于监控分布式异步备份集群、源/目的对象存储集群的运行状态，以及每个服务器异步备份任务的执行状态。

Images