CN116881052A - 一种分布式存储的数据修复系统 - Google Patents

Abstract

本发明提供了一种分布式存储的数据修复系统，所述系统包括：若干个tgt节点、网关节点、n个数据备份节点和目标服务器，所述目标服务器包括：tgt节点ID列表、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：获取到tgt节点ID列表对应的目标数据备份请求列表，获取tgt节点ID列表对应的中间数据备份节点ID列表,当接收到目标数据备份指令时，获取任一对应的中间数据备份节点的工作状态，当中间数据备份节点的工作状态为异常状态时，对中间数据备份节点进行修复，以使得中间数据备份节点完成目标数据备份请求。本发明能够在承担部分业务压力的同时保证数据的完整性和强一致性。

Description

一种分布式存储的数据修复系统

技术领域

本发明涉及数据存储技术领域，特别是涉及一种分布式存储的数据修复系统。

背景技术

分布式存储中面临很多出错的可能性，比如机器宕机，网络分区，程序崩溃等等，分布式存储中为了提高数据可靠性和系统性能，通常会将数据复制多个副本，存储在不同的节点中，这样在出现机器宕机或者单机数据损坏的时候也能保证数据不丢失。

但是，在节点工作异常时，通常需要对节点进行修复，目前有被动修复和主动修复两种，被动修复是统计节点内所有需要修复的数据，然后按照数据块的索引顺序进行全面的修复；主动修复是当被上层的备份请求命中某个数据块时，首先对该数据块进行修复，修复完成后再实现数据的备份，但上述两种修复方法还分别存在以下问题：

一方面，若在单个节点内的全量数据量较大，采用被动修复时，如果备份请求所命中的节点中的数据块在修复队列中靠后，会导致业务请求等待的时间过长，影响备份效率和存储性能。

另一方面，采用主动修复能避免上述问题，但是在主动修复时，会使得异常节点在整个分布式存储系统中暂时不提供任何服务，不能保证数据的最终一致性。

发明内容

针对上述技术问题，本发明采用的技术方案为：

一种分布式存储的数据修复系统，所述系统包括：m个tgt节点、网关节点、n个数据备份节点和目标服务器，其中，每一tgt节点、网关节点和每一数据备份节点均与所述目标服务器通信连接；

所述目标服务器包括：tgt节点ID列表A={A₁，A₂，……，A_i，……，A_m}、数据备份节点ID列表B={B₁，B₂，……，B_j，……，B_n}、处理器和存储有计算机程序的存储器，其中，A_i是指第i个tgt节点ID，i=1……m，B_j是指第j个数据备份节点ID，j=1……n，当所述计算机程序被处理器执行时，实现以下步骤：

S100，获取到A对应的目标数据备份请求列表D={D₁，D₂，……，D_i，……，D_m}，D_i={D_i1，D_i2，……，D_ir，……，D_is}，D_ir是指A_i对应的tgt节点接收到的第r个目标数据备份请求，r=1……s，s为任一tgt节点接收到的目标数据备份请求数量。

S200，获取A对应的中间数据备份节点ID列表U={U₁，U₂，……，U_i，……，U_m}，U_i={U_i1，U_i2，……，U_ij，……，U_in},U_ij是指A_i对应的第j个中间数据备份节点ID。

S300，当接收到目标数据备份指令时，获取U_ij对应的中间数据备份节点的工作状态。

S400，当U_ij对应的中间数据备份节点的工作状态为异常状态时，对U_ij对应的中间数据备份节点进行修复，以使得U_ij对应的中间数据备份节点完成目标数据备份请求。

本发明至少具有以下有益效果：

本发明提供了一种分布式存储的数据修复系统，所述系统包括：m个tgt节点、网关节点、n个数据备份节点和目标服务器，其中，每一tgt节点、网关节点和每一数据备份节点均与所述目标服务器通信连接，所述目标服务器包括：tgt节点ID列表A、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：获取到A对应的目标数据备份请求列表D，获取A对应的中间数据备份节点ID列表U,当接收到目标数据备份指令时，获取任一对应的中间数据备份节点的工作状态，当中间数据备份节点的工作状态为异常状态时，对中间数据备份节点进行修复，以使得中间数据备份节点完成目标数据备份请求。本发明提供了一种新的分布式存储的数据修复系统，一方面，在数据备份节点异常工作时，对其进行修复，待其修复完成后再实现数据的备份，防止数据丢失；另一方面，当中间数据备份节点内的全量数据量较大时，取消了主动修复，在中间数据备份节点修复的同时，存储中间数据备份请求的目标标识信息来代替具体备份的数据，在中间数据备份节点修复完成后，再根据目标标识信息完成目标数据备份请求，在承担部分业务压力的同时保证数据的完整性和强一致性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种分布式存储的数据修复系统执行计算机程序的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明提供了一种分布式存储的数据修复系统，所述系统包括：m个tgt节点、网关节点、n个数据备份节点和目标服务器，其中，每一tgt节点、网关节点和每一数据备份节点均与所述目标服务器通信连接。

所述目标服务器包括：tgt节点ID列表A={A₁，A₂，……，A_i，……，A_m}、数据备份节点ID列表B={B₁，B₂，……，B_j，……，B_n}、处理器和存储有计算机程序的存储器，其中，A_i是指第i个tgt节点ID，i=1……m，B_j是指第j个数据备份节点ID，j=1……n，当所述计算机程序被处理器执行时，实现以下步骤，如图1所示：

S100，获取到A对应的目标数据备份请求列表D={D₁，D₂，……，D_i，……，D_m}，D_i={D_i1，D_i2，……，D_ir，……，D_is}，D_ir是指A_i对应的tgt节点接收到的第r个目标数据备份请求，r=1……s，s为任一tgt节点接收到的目标数据备份请求数量。

具体的，所述目标数据备份请求是指客服端发送的数据备份请求。

具体的，所述tgt节点ID为tgt节点对应的唯一身份标识。

具体的，所述数据备份节点ID是指数据备份节点对应的唯一身份标识。

S200，获取A对应的中间数据备份节点ID列表U={U₁，U₂，……，U_i，……，U_m}，U_i={U_i1，U_i2，……，U_ij，……，U_in},U_ij是指A_i对应的第j个中间数据备份节点ID。

具体的，中间数据备份节点ID是指与任一tgt节点通信连接的所述数据备份节点的ID，可以理解为：每一所述数据备份节点均与任一tgt节点通信连接，即每一tgt节点与若干个数据备份节点通信连接。

S300，当接收到目标数据备份指令时，获取U_ij对应的中间数据备份节点的工作状态。

具体的，所述目标数据备份指令是指通过所述网关节点发送D_ir至U_ij对应的中间数据备份节点中的指令。

上述，在获取到目标数据备份指令时，首先要判断发送的目标数据备份请求对应的中间数据备份节点是否正常工作，因此要获取该中间数据备份节点的工作状态，以使该中间数据备份节点在完成目标数据备份请求。

S400，当U_ij对应的中间数据备份节点的工作状态为异常状态时，对U_ij对应的中间数据备份节点进行修复，以使得U_ij对应的中间数据备份节点完成目标数据备份请求。

具体的，所述异常状态是指数据备份节点处于宕机状态或者数据备份节点处于网络异常状态，例如，网络异常状态为网络崩溃状态。

上述，通过在数据备份之前对异常的中间数据备份节点进行修复，能够将目标数据备份请求对应的目标数据在正常工作的中间数据备份节点中进行备份，保证多个数据备份节点中的数据的一致性。

在一个具体的实施例中，在S400步骤中还包括如下步骤：

S401，当网关节点的当前状态为修复状态时，从D中获取第一中间数据备份请求列表D⁰={D⁰ ₁，D⁰ ₂，……，D⁰ _g，……，D⁰ _z}，D⁰ _g是指第g个第一中间数据备份请求，g=1……z，z为第一中间数据备份请求数量。

具体的，所述第一中间数据备份请求是指在D中当前时间点之后的任一目标数据备份请求，其中，所述当前时间点是指网关节点的当前状态处于修复状态时的时间点。

S403，当U_ij对应的中间数据备份节点内的全量数据量小于预设的数据量阈值时，对所述中间数据备份节点进行修复，并获取D⁰对应的第二中间数据备份请求列表DD⁰，以使所述中间数据备份节点修复完成后完成目标数据备份请求。

具体的，所述全量数据量是指任一所述中间数据备份节点中的总数据量。

具体的，所述数据量阈值为本领域技术人员根据实际需求设定的，在此不再赘述。

具体的，对所述中间数据备份节点进行修复的方式为本领域技术人员知晓的，在此不再赘述。

在一个具体的实施例中，在S403中还包括如下步骤：

S4031，在对所述中间数据备份节点进行修复的起始时刻，获取DD⁰={DD⁰ ₁，DD⁰ ₂，……，DD⁰ _g，……，DD⁰ _z}，其中，DD⁰ _g是指第g个第二中间数据备份请求。

具体的，所述第二中间数据备份请求是指将D⁰中的中间数据备份请求按照发送时间在预设任务队列进行排序后的任一目标数据备份请求，其中，所述预设任务队列为所述中间数据备份节点在修复时，依次获取第二中间数据备份请求的队列。

S4033，在所述中间数据备份节点修复完成时，根据DD⁰中的第二中间数据备份请求的排列顺序，使得U_ij对应的中间数据备份节点依次完成目标数据备份请求。

上述，在所述中间数据备份节点进行修复时，将多个第一中间数据备份请求在预设任务队列里进行排队得到对应的第二中间数据备份请求，直至中间数据备份节点修复完成后才进行第二中间数据备份请求的分配，从而能保证中间数据备份节点在完成数据请求时，实现数据的安全性和一致性。

S405，当U_ij对应的中间数据备份节点内的全量数据量不小于预设的数据量阈值时，对所述中间数据备份节点进行修复，并获取D⁰对应的目标标识数据表E={E₁，E₂，……，E_g，……，E_z}，E_g为D⁰ _g对应的目标标识数据。

具体的，所述目标标识数据为任一第一中间数据备份请求对应的用于与其他第一中间数据备份请求区分的标识信息，例如：标识信息可以是请求行、头信息、host字段和统一资源定位符中的一个或多个信息的组合。

上述，在所述中间数据备份节点进行修复时，不对获取的D⁰中的第一中间数据备份请求进行处理，以防止数据丢失或错乱，只记录第一中间数据备份请求的目标标识数据，以使在中间数据备份节点修复完成后完成目标数据备份请求。

S407，当U_ij对应的中间数据备份节点修复完成后，根据E，获取目标数据备份请求，以使得U_ij对应的中间数据备份节点完成目标数据备份请求。

在一个具体的实施例中，在S407中还包括如下步骤：

S4071，获取所述中间数据备份节点对应的第一时间戳列表和关键数据备份请求列表对应的第二时间戳列表。

具体的，所述第一时间戳列表为所述中间数据备份节点中需要修复的若干个数据块的时间戳组成的列表；所述第二时间戳列表为若干个关键数据备份请求对应的时间戳组成的列表，其中，所述关键数据备份请求为若干个数据块中的任一数据块存储的数据对应的备份请求。

S4073，若所述第一时间戳列表和所述第二时间戳列表一致，获取U_i对应的目标数据备份节点U^’ _i={U_i1，U_i2，……，U_i（j-1），U_i（j+1）……，U_in}。

具体的，所述第一时间戳列表和所述第二时间戳列表一致为第一时间戳列表里的时间戳与第二时间戳列表里的时间戳完全一致。

上述，所述第一时间戳列表和所述第二时间戳列表一致时判断所述中间数据备份节点修复完成，在修复完成后再获取目标数据备份请求，从而保证数据的强一致性。

S4075，根据E，从U^’ _i中任意一个节点获取目标数据备份请求，以使得U_ij对应的中间数据备份节点完成目标数据备份请求。

上述，一方面，中间数据备份节点内的全量数据量较小时，由于修复完成比较快，选择等待中间数据备份节点修复，并在中间数据备份节点修复完成后，依次完成在预设任务队列排队的中间数据备份请求；另一方面，中间数据备份节点内的全量数据量较大时，由于修复完成较慢，在修复的同时应承担部分业务能力，也即，首先存储中间数据备份请求的目标标识数据，而不存储具体备份的数据，以防备份数据丢失，在中间数据备份节点修复完成后，再根据目标标识数据完成目标数据备份请求，从而保证数据的完整性和一致性。

本发明提供了一种分布式存储的数据修复系统，所述系统包括：m个tgt节点、网关节点、n个数据备份节点和目标服务器，其中，每一tgt节点、网关节点和每一数据备份节点均与所述目标服务器通信连接，所述目标服务器包括：tgt节点ID列表A、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：获取到A对应的目标数据备份请求列表D，获取A对应的中间数据备份节点ID列表U,当接收到目标数据备份指令时，获取任一对应的中间数据备份节点的工作状态，当中间数据备份节点的工作状态为异常状态时，对中间数据备份节点进行修复，以使得中间数据备份节点完成目标数据备份请求。本发明提供了一种新的分布式存储的数据修复系统，一方面，在数据备份节点异常工作时，对其进行修复，待其修复完成后再实现数据的备份，防止数据丢失；另一方面，当中间数据备份节点内的全量数据量较大时，取消了主动修复，在中间数据备份节点修复的同时，存储中间数据备份请求的目标标识信息来代替具体备份的数据，在中间数据备份节点修复完成后，再根据目标标识信息完成目标数据备份请求，在承担部分业务压力的同时保证数据的完整性和强一致性。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (9)

1.一种分布式存储的数据修复系统，其特征在于，所述系统包括：m个tgt节点、网关节点、n个数据备份节点和目标服务器，其中，每一tgt节点、网关节点和每一数据备份节点均与所述目标服务器通信连接，所述目标服务器包括：tgt节点ID列表A、数据备份节点ID列表B、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：

S100，获取到A对应的目标数据备份请求列表D={D₁，D₂，……，D_i，……，D_m}，D_i={D_i1，D_i2，……，D_ir，……，D_is}，D_ir是指A_i对应的tgt节点接收到的第r个目标数据备份请求，r=1……s，s为任一tgt节点接收到的目标数据备份请求数量；

S200，获取A对应的中间数据备份节点ID列表U={U₁，U₂，……，U_i，……，U_m}，U_i={U_i1，U_i2，……，U_ij，……，U_in},U_ij是指A_i对应的第j个中间数据备份节点ID；

S300，当接收到目标数据备份指令时，获取U_ij对应的中间数据备份节点的工作状态；

S400，当U_ij对应的中间数据备份节点的工作状态为异常状态时，对U_ij对应的中间数据备份节点进行修复，以使得U_ij对应的中间数据备份节点完成目标数据备份请求。

2.根据权利要求1所述的分布式存储的数据修复系统，其特征在于，所述tgt节点ID列表中的tgt节点ID为tgt节点对应的唯一身份标识。

3.根据权利要求1所述的分布式存储的数据修复系统，其特征在于，所述数据备份节点ID中的数据备份节点ID为数据备份节点对应的唯一身份标识。

4.根据权利要求1所述的分布式存储的数据修复系统，其特征在于，所述目标数据备份指令是指通过所述网关节点发送D_ir至U_ij对应的中间数据备份节点中的指令。

5.根据权利要求1所述的分布式存储的数据修复系统，其特征在于，所述异常状态是指数据备份节点处于宕机状态或者数据备份节点处于网络异常状态。

6.根据权利要求1所述的分布式存储的数据修复系统，其特征在于，在S400步骤中还包括如下步骤：

S401，当网关节点的当前状态为修复状态时，从D中获取中间数据备份请求列表D⁰={D⁰ ₁，D⁰ ₂，……，D⁰ _g，……，D⁰ _z}，D⁰ _g是指第g个中间数据备份请求，g=1……z，z为中间数据备份请求数量；

S403，当U_ij对应的中间数据备份节点内的全量数据量小于预设的数据量阈值时，对所述中间数据备份节点进行修复，并获取D⁰对应的第二中间数据备份请求列表DD⁰，以使所述中间数据备份节点修复完成后完成目标数据备份请求；

S405，当U_ij对应的中间数据备份节点内的全量数据量不小于预设的数据量阈值时，对所述中间数据备份节点进行修复，并获取D⁰对应的目标标识数据表E={E₁，E₂，……，E_g，……，E_z}，E_g为D⁰ _g对应的目标标识数据；

S407，当U_ij对应的中间数据备份节点修复完成后，根据E，获取目标数据备份请求，以使得U_ij对应的中间数据备份节点完成目标数据备份请求。

7.根据权利要求6所述的分布式存储的数据修复系统，其特征在于，在S403中还包括如下步骤：

S4031，在对所述中间数据备份节点进行修复的起始时刻，获取DD⁰={DD⁰ ₁，DD⁰ ₂，……，DD⁰ _g，……，DD⁰ _z}，其中，DD⁰ _g是指第g个第二中间数据备份请求；

S4033，在所述中间数据备份节点修复完成时，根据DD⁰中的第二中间数据备份请求的排列顺序，使得U_ij对应的中间数据备份节点依次完成目标数据备份请求。

8.根据权利要求6所述的分布式存储的数据修复系统，其特征在于，所述目标标识数据为任一第一中间数据备份请求对应的用于与其他第一中间数据备份请求区分的标识信息。

9.根据权利要求6所述的分布式存储的数据修复系统，其特征在于，在S407中还包括如下步骤：

S4071，获取所述中间数据备份节点对应的第一时间戳列表和关键数据备份请求列表对应的第二时间戳列表；

S4073，若所述第一时间戳列表和所述第二时间戳列表一致，获取U_i对应的目标数据备份节点U^’ _i={U_i1，U_i2，……，U_i（j-1），U_i（j+1）……，U_in}；

S4075，根据E，从U^’ _i中任意一个节点获取目标数据备份请求，以使得U_ij对应的中间数据备份节点完成目标数据备份请求。