CN112667153A - 一种基于分布式raid切片的多站点容灾备份方法 - Google Patents

Abstract

本发明公开了一种基于分布式RAID切片的多站点容灾备份方法，属于数据容灾存储技术领域。所述方法将生产中心的源数据，按照特定的raid策略进行数据切片和校验计算，将切片数据和校验数据分散备份到广域分布、网络互连的多个容灾站点。本发明的特点在于，一是提高了系统抗毁能力，部分容灾站点整体损毁后，可通过网络上其他容灾站点恢复数据；二是提高了数据内容保密能力，任一容灾站点均无法获取有效数据，截获一定数量容灾站点的数据才可能获取有效数据。本发明可为信息系统提供抗毁顽存、安全保密、广域分布的数据容灾备份服务。

Description

一种基于分布式raid切片的多站点容灾备份方法

技术领域

本发明属于数据容灾备份技术领域，具体公开了一种基于分布式raid切片的多站点容灾备份方法。

背景技术

随着信息技术的持续发展，数据中心部署的应用系统产生的数据量急遽增加，可达到TB、甚至PB量级。数据的可靠性是信息系统可靠运行的基础，当前的数据保护技术主要有快照、克隆、远程文件复制和远程磁盘镜像。其中，快照和克隆是保存某一时间点的静态数据，当数据源发生变化时，之前存储的快照、克隆不会发生变化，因此达不到数据实时备份的目的。远程文件复制是一种文件级别的备份方案，把需要备份的文件，通过网络传输到异地容灾站点上，这种方法需要建立在文件系统的层次上，相比远程磁盘镜像而言速度较慢，同时，该方法不能用于SAN业务的备份。远程磁盘镜像是块存储级别的备份，在运行过程中需依次备份存储设备上的每个块，不管这个块上有没有数据，或者这个块的数据是属于哪个文件。远程磁盘镜像的优点是速度很快，可备份SAN业务和NAS业务。

目前，常用的两地三中心容灾备份解决方案就是基于远程磁盘镜像实现的，但此方案容灾中心的单站点的数据完整，当该容灾中心发生灾难时，备份的数据存在安全性和可靠性的风险，急需建立具备高可靠性、高安全性的网络化容灾备份方法。

发明内容

针对上述技术问题，本发明提供基于分布式raid切片的多站点容灾备份方法。

为解决上述技术问题，本发明所采取的技术方案是：

S1、备份管理节点根据容灾拓扑预先设置分布式RAID策略，并将所述RAID策略发送至生产中心和容灾站点；

S2、预先在所述生产中心设置备份策略，根据所述备份策略将从所述生产中心读取的源数据发送至所述备份管理节点；

S3、所述备份管理节点将备份数据发送至相应的容灾站点，所述备份数据包括根据所述容灾拓扑和所述分布式RAID策略对源数据进行切片处理的得到的数据以及相应的校验数据；

S4、所述容灾站点接收并保存所述切片数据。

进一步地，所述分布式RAID策略为固定的策略或随所述容灾拓扑的变化动态更新的策略，对于随所述容灾拓扑的变化动态更新的分布式RAID策略，需要在所述生产中心和容灾站点记录所述分布式RAID策略变化过程。

进一步地，所述容灾站点是物理相互独立的、用于存储备份数据的数据中心。

进一步地，当生产中心存储的所述源数据损坏时，任一容灾站点将所述备份数据和所述分布式RAID策略发回恢复目标中心，并根据分布式RAID策略从发回的所述备份数据中恢复所述源数据；其中，所述恢复目标中心是原生产中心或其他生产中心。

进一步地，根据各容灾站点负载情况，选取部分容灾站点回传所述备份数据和所述分布式RAID策略完成数据恢复，最少回传站点数量根据所述分布式RAID策略确定。

进一步地，当1个或多个容灾站点损毁导致存储的备份数据丢失时，根据所述分布式Raid策略，从正常运行的容灾站点存储的备份数据中，恢复出损毁容灾站点存储的备份数据；

其中，根据所述分布式Raid策略确定可同时恢复损毁的容灾站点数量上限。

进一步地，恢复部分容灾站点数据时，需要占用容灾站点存储访问资源和网络资源，设置存储访问资源占用阈值和网络资源占用阈值，当所述容灾站点存储访问资源和网络资源的占用率超过设置的存储访问资源占用阈值和网络资源占用阈值时，对所述容灾备份中心进行服务降级。

本发明由于采用以上技术方案，其达到的技术效果为：

1.提高了系统抗毁能力，部分容灾站点整体损毁后，可通过网络上其他容灾站点恢复数据；

2.提高了数据内容保密能力，任一容灾站点均无法获取有效数据，截获一定数量容灾站点的数据才可能获取有效数据。

本发明可为信息系统提供抗毁顽存、安全保密、广域分布的数据容灾备份服务。

附图说明

下面结合附图对本发明作进一步说明：

图1是本发明的基于分布式RAID切片的多站点容灾备份系统的结构示意图；

图2是本发明的基于分布式RAID切片的多站点容灾备份方法的流程示意图；

图3是本发明实施例一中数据备份示意图；

图4是本发明实施例二中生产中心数据恢复示意图；

图5是本发明实施例三中数据重构示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，一种基于低功耗广域网的电机软启动器控制系统包括电机1，电机软启动器2和监控云平台3，电机软启动器与监控云平台通过无线网络4连接，其中无线网络为低功耗广域网LPWAN。

本发明中基于分布式RAID切片的多站点容灾备份系统的结构如图1所示。

本发明提供一种基于分布式RAID切片的多站点容灾备份方法，如图2所示，包括以下步骤：

S1、备份管理节点根据容灾拓扑预先设置分布式RAID策略，并将所述RAID策略发送至生产中心和容灾站点。

在本实施方式中，分布式RAID容灾备份系统搭建时，备份管理节点根据容灾拓扑，预置分布式RAID策略，并将RAID策略发送给生产中心和各容灾站点。

S2、预先在所述生产中心设置备份策略，根据所述备份策略将从所述生产中心读取的源数据发送至所述备份管理节点。

在本实施方式中，应用服务系统运行过程中，产生的生产数据，实时保存到生产中心存储作为源数据。备份策略包括同步、异步、全量、差量、增量等。

S3、所述备份管理节点将备份数据发送至相应的容灾站点，所述备份数据包括根据所述容灾拓扑和所述分布式RAID策略对源数据进行切片处理的得到的数据以及相应的校验数据。

在本实施方式中，根据分布式RAID策略将备份数据发送至相应的容灾站点，数据切片采用传统RAID技术数据切片方法。校验数据是根据用户采用的分布式RAID策略，比如RAID0-5，以及校验算法确定的，比如P校验、Q校验、PQ校验等等。

S4、所述容灾站点接收并保存所述切片数据。

在本实施方式中，当1个容灾站点或数个容灾站点遭受攻击导致数据泄露时，攻击方无法从部分站点数据中，恢复出原始数据；无法恢复数据的最大容灾站点数量根据分布式RAID策略确定。

在上述技术方案的基础上进一步地，所述分布式RAID策略为固定的策略或随所述容灾拓扑的变化动态更新的策略，对于随所述容灾拓扑的变化动态更新的分布式RAID策略，需要在所述生产中心和容灾站点记录所述分布式RAID策略变化过程。

在上述技术方案的基础上进一步地，所述容灾站点是物理相互独立的、用于存储备份数据的数据中心。

在上述技术方案的基础上进一步地，当生产中心存储的所述源数据损坏时，任一容灾站点将所述备份数据和所述分布式RAID策略发回恢复目标中心，并根据分布式RAID策略从发回的所述备份数据中恢复所述源数据；其中，所述恢复目标中心是原生产中心或其他生产中心。

在上述技术方案的基础上进一步地，根据各容灾站点负载情况，选取部分容灾站点回传所述备份数据和所述分布式RAID策略完成数据恢复，最少回传站点数量根据所述分布式RAID策略确定。

在上述技术方案的基础上进一步地，当1个或多个容灾站点损毁导致存储的备份数据丢失时，根据所述分布式Raid策略，从正常运行的容灾站点存储的备份数据中，恢复出损毁容灾站点存储的备份数据；

其中，根据所述分布式Raid策略确定可同时恢复损毁的容灾站点数量上限。

在本实施方式中，当1个或多个容灾站点损毁导致存储的备份数据丢失时，读取正常运行的容灾站点数据以及校验数据，根据校验算法反向推导计算出损坏的数据，将计算得到的数据保存到新的容灾站点或者恢复运营的容灾站点。

在上述技术方案的基础上进一步地，恢复部分容灾站点数据时，需要占用容灾站点存储访问资源和网络资源，设置存储访问资源占用阈值和网络资源占用阈值，当所述容灾站点存储访问资源和网络资源的占用率超过设置的存储访问资源占用阈值和网络资源占用阈值时，对所述容灾备份中心进行服务降级。

在本实施方式中，存储访问资源指数据从存储到内存之间的读写带宽，网络资源主要指站点之间数据交互的资源。恢复数据时，需要从正常站点读取存储的备份数据或校验数据，此时正常业务同样需要读写数据，会产生访问冲突，系统只能分时共享存储访问带宽，从而导致访问时延变大。所示设置存储访问资源占用阈值和网络资源占用阈值，当超过设定的阈值时，对所有容灾站点组成的容灾备份中心进行服务降级。

下面，为了使本发明的目的、技术方案及优点更加清楚明白，以下以部署10个容灾站点，采用RAID5和PQ校验为例，结合附图3-图5对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一：数据备份

S101、数据备份操作按事件顺序依次开展，如备份数据0、备份数据1和备份数据2三次数据备份事件，按照0、1、2的顺序依次开展；

S102、当有新数据需要备份时，生产中心将待备份数据划分成固定大小的数据条带，如图3中备份数据0，划分成条带0、条带1、条带2三个条带；

S103、根据容灾拓扑和分布式RAID策略，对数据条带进行切片和校验计算，校验数据和源数据切片一并发送至容灾站点；如图3中，采用10个容灾站点(容灾站点0-9)，以及RAID5+PQ检验的RAID策略，将数据条带切片成8个数据块D1-D8，同时增加P、Q两个校验数据块，数据块排列顺序相右循环位移；

S104、生产中心为同一条带数据块(D1-D9、P、Q)加盖相同时间戳，并通过互联网络发送至相应容灾站点(容灾站点0-9)；

S105、各容灾站点依次保存数据块和时间戳，完成数据备份。

实施例二：数据恢复

当生产中心数据损坏后，需要将数据恢复到恢复目标中心(可以是原生产中心，也可以是其他生产中心)，恢复步骤示例如下。

S201、生产中心数据恢复以条带为单位，逐条恢复；

S202、恢复目标中心通过互联网络，读取容灾站点中条带0的源数据切片数据块，如图4所示，条带0恢复时读取容灾站点0-7；

S203、恢复目标中心根据RAID策略，按照原始数据顺序(D1-D8)，重新组织数据；

S204、将重组后的数据保存到恢复目标中心存储，完成条带0数据恢复；

S205、按条带重复步骤S202至S204，直到所有条带数据得到恢复，即完成数据恢复。

实施例三：数据重构

若采用PQ校验，最多支持2个容灾站点数据同时损坏时的数据重构和数据恢复。如图5所示，假设容灾站点8和9数据损坏时，数据重构过程如下。

S301、数据重构过程，以数据条带为单位，逐条带恢复数据；

S302、生产中心通过互联网络，读取条带0保存在容灾站点0-7的8个数据块；

S303、生产中心根据RAID策略和PQ校验算法，从读取的8个数据块中计算得到容灾站点8和容灾站点9的数据块；

S304、生产中心将计算的到数据块，通过互联网络分别发送到容灾站点8和容灾站点9；

S305、容灾站点8和容灾站点9将数据块写入存储，完成条带0数据重构；

S306、按条带重复步骤S302至S305，直到所有条带数据均完成重构。

上述实施方式旨在举例说明本发明可为本领域专业技术人员实现或使用，对上述实施方式进行修改对本领域的专业技术人员来说将是显而易见的，故本发明包括但不限于上述实施方式，任何符合本权利要求书或说明书描述，符合与本文所公开的原理和新颖性、创造性特点的方法、工艺、产品，均落入本发明的保护范围之内。

Claims (7)

1.一种基于分布式raid切片的多站点容灾备份方法，其特征在于包括以下步骤：

S1、备份管理节点根据容灾拓扑预先设置分布式RAID策略，并将所述RAID策略发送至生产中心和容灾站点；

S2、预先在所述生产中心设置备份策略，根据所述备份策略将从所述生产中心读取的源数据发送至所述备份管理节点；

S3、所述备份管理节点将备份数据发送至相应的容灾站点，所述备份数据包括根据所述容灾拓扑和所述分布式RAID策略对源数据进行切片处理的得到的数据以及相应的校验数据；

S4、所述容灾站点接收并保存所述切片数据。

2.如权利要求1所述的多站点容灾备份方法，其特征在于：

所述分布式RAID策略为固定的策略或随所述容灾拓扑的变化动态更新的策略，对于随所述容灾拓扑的变化动态更新的分布式RAID策略，需要在所述生产中心和容灾站点记录所述分布式RAID策略变化过程。

3.如权利要求1所述的多站点容灾备份方法，其特征在于：

所述容灾站点是物理相互独立的、用于存储备份数据的数据中心。

4.如权利要去1所述的多站点容灾备份方法，其特征在于方法还包括：

当生产中心存储的所述源数据损坏时，任一容灾站点将所述备份数据和所述分布式RAID策略发回恢复目标中心，并根据分布式RAID策略从发回的所述备份数据中恢复所述源数据；其中，所述恢复目标中心是原生产中心或其他生产中心。

5.如权利要求4所述的多站点容灾备份方法，其特征在于：

根据各容灾站点负载情况，选取部分容灾站点回传所述备份数据和所述分布式RAID策略完成数据恢复，最少回传站点数量根据所述分布式RAID策略确定。

6.如权利要求1所述的多站点容灾备份方法，其特征在于方法还包括：

当1个或多个容灾站点损毁导致存储的备份数据丢失时，根据所述分布式Raid策略，从正常运行的容灾站点存储的备份数据中，恢复出损毁容灾站点存储的备份数据；

其中，根据所述分布式Raid策略确定可同时恢复损毁的容灾站点数量上限。

7.如权利要去6所述的多站点容灾备份方法，其特征在于：

恢复部分容灾站点数据时，需要占用容灾站点存储访问资源和网络资源，设置存储访问资源占用阈值和网络资源占用阈值，当所述容灾站点存储访问资源和网络资源的占用率超过设置的存储访问资源占用阈值和网络资源占用阈值时，对所述容灾站点进行服务降级。

Images