CN116015552A - 针对跨域数据中心的纠删码方法、系统及可读存储介质 - Google Patents

Abstract

本发明提供了一种针对跨域数据中心的纠删码方法、系统及可读存储介质，方法包括以下步骤：S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和局部校验分组一起共生成p+1个分组；S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；S3、根据分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。本发明通过使用MSR和RS的双层编码，并进行放置策略优化，有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题。

Description

针对跨域数据中心的纠删码方法、系统及可读存储介质

技术领域

本发明涉及数据存储技术领域，尤其涉及一种针对跨域数据中心的纠删码方法、系统及可读存储介质。

背景技术

近年来，为了进一步增大存储容量、降低存储成本、提供数据中心级的高容错能力，跨数据中心的纠删码存储系统逐渐得到关注。现有的跨数据中心纠删码技术包括XORBAS、MXOR、AZCode等。

XORBAS：它将数据块等分为若干个局部校验组，每个校验组使用异或编码生成一个局部校验块，使用生成局部校验块的方式对RS码进行扩展，同时进行高效恢复。

MXOR：它将十个数据块重新分布成两行，每行五个，然后计算得到五个垂直异或校验块和两个水平异或校验块，共计七个校验块。在处理单节点错误时，MXOR下载垂直校验上的两个存活节点的数据完成恢复任务。多节点错误发生时，需要同时使用水平异或校验和垂直异或校验来恢复数据。

AZCode：它使用双层编码，第一层使用MSR编码作为局部校验，第二层使用RS编码作为全局校验，通过可用区内的局部校验降低跨可用区的传输开销。

在跨数据中心的云存储环境下，数据恢复过程中会产生大量的跨数据中心传输流量，不同数据中心之间的网络延时远高于数据中心内的网络延时，带宽小于数据中心内的带宽，因此故障恢复恢复性能和用户访问性能都较差，从而影响系统的整体性能和可靠性。

发明内容

本发明的目的在于提供一种针对跨域数据中心的纠删码方法、系统及可读存储介质，解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题。

为达到上述目的，本发明提供一种针对跨域数据中心的纠删码方法，包括以下步骤：

S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和所述局部校验分组一起共生成p+1个分组；

S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；

S3、根据所述分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。

可选的，所述S2具体包括：

S21、建立优化访问延时的目标函数和约束条件：

s.t.S_i,_jX_i,kX_j,k＝01≤i≠j≤n,1≤k≤N

Xi,_k∈{0,1}1≤i≤n,1≤k≤N

n＝p+1

式中：i，j分别为p+1个分组中的第i个块分组和第j个块分组，k为数据中心的数量，X_i,k，X_j,k分别为块分组i和块分组j是否位于数据中心k的指示变量，h_i为块分组i的热度，C_k为用户访问数据中心k的某一块分组的延时，S_i,j为块分组i和块分组j是否属于同一条带的指示变量，γ为最大存储系数；

S22、确定优化恢复传输延时的目标函数和约束条件：

s.t.S_i,jX_i,kX_j,k＝01≤i≠j≤n,1≤k≤N

Xi_,k∈{0,1}1≤i≤n,1≤k≤N

式中：C_k,l为数据中心k的某一块分组数据传输到数据中心l的延时，X_j,l为块分组j是否位于数据中心l的指示变量；

S23、将优化访问延时和优化恢复传输延时的目标函数和约束条件合并为一个优化问题：

s.t.S_i,jX_i,kX_j,k＝01≤i≠j≤n,1≤k≤N

X_i,k∈{0,1}1≤i≤n,1≤k≤N

式中，η为权重系数；

S24、将上述优化问题转化为近似的几何规划问题并求解：

p_i,k≤1

式中，p_,k和pj_,l分别为块分组i和块分组j是否位于数据中心k和数据中心l的概率。

可选的，所述S3具体包括：

S31、初始化i＝1；

S32、取出块分组放置概率矩阵P中第i个条带对应的子矩阵；

S33、找到子矩阵中最大的元素，所述子矩阵的行索引对应块分组索引，所述子矩阵的列索引对应数据中心索引，将所述块分组放置在对应的所述数据中心内，并将该最大的元素所在的行和列都置为0；

S34、检查子矩阵是否全零，如果否，回到S3。

可选的，所述S3还包括：

S35、若所述子矩阵全零，检查所有条带是否放置完，如果否，递增i，回到S32，如果是，说明所有块分组放置完毕。

基于同一发明构思，本申请还提出一种针对跨域数据中心的纠删码系统，包括：

编码模块，其被配置为使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和所述局部校验分组一起共生成p+1个分组；

优化模块，其被配置为对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；

放置模块，其被配置为根据所述分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。

基于同一发明构思，本申请还提出一种可读存储介质，其上存储有计算机程序，所述计算机程序被一处理器执行时能实现如上所述的针对跨域数据中心的纠删码方法。

在本发明提供的一种针对跨域数据中心的纠删码方法、系统及可读存储介质中，通过使用MSR和RS的双层编码，并对优化访问延时和恢复性能进行放置策略优化，有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题，使得系统的恢复性能和访问性能提升。

附图说明

本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：

图1为本发明一实施例提供的针对跨域数据中心的纠删码方法的流程图；

图2为本发明一实施例提供的针对跨域数据中心的纠删码装置的示意图。

附图中：

100-编码模块；200-优化模块；300-放置模块。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在与本发明所能产生的功效及所能达成的目的相同或近似的情况下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，除非内容另外明确指出外。如在本发明中所使用的，术语“或”通常是以包括“和/或”的含义而进行使用的，除非内容另外明确指出外。如在本发明中所使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，除非内容另外明确指出外。如在本发明中所使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，除非内容另外明确指出外。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征。

在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参照图1，图1为本发明一实施例提供的针对跨域数据中心的纠删码方法的流程图。本实施例提供了一种针对跨域数据中心的纠删码方法，包括以下步骤：

S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和所述局部校验分组一起共生成p+1个分组；

S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；

S3、根据所述分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。

本发明通过使用MSR和RS的双层编码，并对优化访问延时和恢复性能进行放置策略优化，有效解决了恢复过程中跨数据中心传输流量大和用户访问延时高的问题，使得系统的恢复性能和访问性能提升。

首先，执行步骤S1，使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和所述局部校验分组一起共生成p+1个分组。

然后执行步骤S2，求解分组概率矩阵，在完成步骤S1中局部校验和全局校验的构建之后，我们得到了p个局部校验分组以及1个全局校验分组，并且需要将p+1个分组存储在不同的数据中心内，为了同时兼顾低访问延时和高恢复性能，我们需要对分组放置策略进行建模，求解优化问题。具体求解步骤如下：

S21、建立优化访问延时的目标函数和约束条件：

s.t.S_i,_jX_i,kX_j,k＝01≤i≠j≤n,1≤k≤N

X_i,k∈{0,1}1≤i≤n,1≤k≤N

n＝p+1

式中：i，j分别为p+1个分组中的第i个块分组和第j个块分组，k为数据中心的数量，X_i,k，X_j,k分别为块分组i和块分组j是否位于数据中心k的指示变量，h_i为块分组i的热度，C_k为用户访问数据中心k的某一块分组的延时，S_i,j为块分组i和块分组j是否属于同一条带的指示变量，γ为最大存储系数；

S22、确定优化恢复传输延时的目标函数和约束条件：

s.t.S_i,jX_i,kX_j,k＝0 1≤i≠j≤n,1≤k≤N

X_i,k∈{0,1}1≤i≤n,1≤k≤N

式中：C_k,l为数据中心k的某一块分组数据传输到数据中心l的延时，X_j,l为块分组j是否位于数据中心l的指示变量；

S23、将优化访问延时和优化恢复传输延时的目标函数和约束条件合并为一个优化问题：

s.t.S_i,_jX_i,kX_j,k＝01≤i≠j≤n,1≤k≤N

X_i,k∈{0,1}1≤i≤n,1≤τ≤N

式中，η为权重系数。

S24、将上述优化问题转化为近似的几何规划问题并求解：

p_i,k≤1

式中，p_i,k和p_j,l分别为块分组i和块分组j是否位于数据中心k和数据中心l的概率。

由于该问题是一个n×N维的0-1整数规划问题，而0-1整数规划是一个NP完全问题，求解的时间复杂度随着n和N呈指数上升，如果块分组总数n和数据中心总数N很大的话，求解非常困难，因此本实施例将该问题转化为近似的几何规划问题并求解。

最后执行步骤S3，根据所述分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。

所述S3具体包括：

S31、初始化i＝1；

S32、取出块分组放置概率矩阵P中第i个条带对应的子矩阵；

S33、找到子矩阵中最大的元素，所述子矩阵的行索引对应块分组索引，所述子矩阵的列索引对应数据中心索引，将所述块分组放置在对应的所述数据中心内，并将该最大的元素所在的行和列都置为0；

S34、检查子矩阵是否全零，如果否，回到S3。

进一步的，S35、若所述子矩阵全零，检查所有条带是否放置完，如果否，递增i，回到S32，如果是，说明所有块分组放置完毕。

请参考图2，基于同一发明构思，本发明实施例还提供了一种针对跨域数据中心的纠删码系统，包括：

编码模块100，其被配置为使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和所述局部校验分组一起共生成p+1个分组；

优化模块200，其被配置为对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；

放置模块300，其被配置为根据所述分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。

基于同一发明构思，本申请还提出一种可读存储介质，其上存储有计算机程序，所述计算机程序被一处理器执行时能实现上述特征描述中任一项所述的针对跨域数据中心的纠删码方法。

所述可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备，例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所描述的计算机程序可以从可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收所述计算机程序，并转发该计算机程序，以供存储在各个计算/处理设备中的可读存储介质中。用于执行本发明操作的计算机程序可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。所述计算机程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机程序的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、系统和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序实现。这些计算机程序可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些程序在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机程序存储在可读存储介质中，这些计算机程序使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有该计算机程序的可读存储介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机程序加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的计算机程序实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

综上，本发明实施例提供了一种针对跨域数据中心的纠删码方法、系统及可读存储介质，通过使用MSR和RS的双层编码，并对优化访问延时和恢复性能进行放置策略优化，有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题，使得系统的恢复性能和访问性能提升。

上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明的保护范围。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若这些修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (6)

1.一种针对跨域数据中心的纠删码方法，其特征在于，包括以下步骤：

S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和所述局部校验分组一起共生成p+1个分组；

S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；

S3、根据所述分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。

2.根据权利要求1所述的针对跨域数据中心的纠删码方法，其特征在于，所述S2具体包括：

S21、建立优化访问延时的目标函数和约束条件：

s.t.S_i,jX_i,kX_j,k＝0 1≤i≠j≤n,1≤k≤N

X_i,k∈{0,1} 1≤i≤n,1≤k≤N

n＝p+1

式中：i，j分别为p+1个分组中的第i个块分组和第j个块分组，k为数据中心的数量，X_i,k，X_j,k分别为块分组i和块分组j是否位于数据中心k的指示变量，h_i为块分组i的热度，C_k为用户访问数据中心k的某一块分组的延时，S_i,j为块分组i和块分组j是否属于同一条带的指示变量，γ为最大存储系数；

S22、确定优化恢复传输延时的目标函数和约束条件：

s.t.S_i,jX_i,kX_j,k＝0 1≤i≠j≤n,1≤k≤N

X_i,k∈{0,1} 1≤i≤n,1≤k≤N

式中：C_k,l为数据中心k的某一块分组数据传输到数据中心l的延时，X_j,l为块分组j是否位于数据中心l的指示变量；

S23、将优化访问延时和优化恢复传输延时的目标函数和约束条件合并为一个优化问题：

s.t.S_i,jX_i,kX_j,k＝0 1≤i≠j≤n,1≤k≤N

X_i,k∈{0,1} 1≤i≤n,1≤k≤N

式中，η为权重系数；

S24、将上述优化问题转化为近似的几何规划问题并求解：

p_i,k≤1

式中，p_i,k和p_j,l分别为块分组i和块分组j是否位于数据中心k和数据中心l的概率。

3.根据权利要求1所述的针对跨域数据中心的纠删码方法，其特征在于，所述S3具体包括：

S31、初始化i＝1；

S32、取出块分组放置概率矩阵P中第i个条带对应的子矩阵；

S33、找到子矩阵中最大的元素，所述子矩阵的行索引对应块分组索引，所述子矩阵的列索引对应数据中心索引，将所述块分组放置在对应的所述数据中心内，并将该最大的元素所在的行和列都置为0；

S34、检查子矩阵是否全零，如果否，回到S3。

4.根据权利要求1所述的针对跨域数据中心的纠删码方法，其特征在于，所述S3还包括：

S35、若所述子矩阵全零，检查所有条带是否放置完，如果否，递增i，回到S32，如果是，说明所有块分组放置完毕。

5.一种针对跨域数据中心的纠删码系统，其特征在于，包括：

编码模块，其被配置为使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和所述局部校验分组一起共生成p+1个分组；

优化模块，其被配置为对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；

放置模块，其被配置为根据所述分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。

6.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被一处理器执行时能实现权利要求1-4中任一项所述的针对跨域数据中心的纠删码方法。

Images