CN111581020B - 一种分布式块存储系统中数据恢复的方法和装置 - Google Patents

Abstract

本发明涉及一种分布式块存储系统中数据恢复的方法和装置，所述分布式块存储系统包括块存储访问客户端、存储服务集群和元数据服务集群，所述存储服务集群包括多个存储服务节点，所述方法包括以下步骤：1)实时监听集群状态，在监听到集群异常时执行步骤2)；2)判断是否延迟重构，若是，则延迟设定时间后执行步骤3)，若否，则直接执行步骤3)；3)构建待恢复数据对象列表；4)根据所述待恢复数据对象列表进行数据恢复；各存储服务节点并行执行上述数据恢复的步骤。与现有技术相比，本发明具有可提高数据恢复速度，并降低数据恢复对前端应用性能影响等优点。

Description

一种分布式块存储系统中数据恢复的方法和装置

技术领域

本发明涉及计算机分布式块存储软件系统领域，尤其是涉及一种分布式块存储系统中数据恢复的方法和装置。

背景技术

分布式块存储系统中，一般均采用副本机制及DHT哈希计算数据存储位置。集群状态改变时，比如节点离线/重新上线、磁盘故障、扩容，部分存储对象的部分数据副本存储位置发生改变，数据恢复模块一般采用主副本Push方式恢复其他副本或者Pull方式从其他可用副本执行恢复，当数据对象副本未恢复时，如果发生前端应用数据访问，一般均需要等待数据对象恢复完后再执行写入操作，这对前端应用数据访问的性能影响是巨大的，可能导致前端应用挂起，服务不可用。前端应用可能只写入4K，而数据对象恢复粒度一般都至少为1M及以上，写放大问题严重，导致在集群异常时写性能可能降低到集群正常时的十分之一水平。同时，存储节点短暂离线后重新上线没有记录增量写数据，每次执行数据恢复的数据量是巨大的，很多未写过的数据均需要重新执行恢复。

现有公开技术中，为了减少恢复数据量，在集群异常甚至于集群正常场景均通过Journal Log记录增量写数据，等待Journal Log持久化到存储介质后再执行写入操作，这对前端应用数据访问的性能影响同样是巨大的。为了平衡数据恢复及对前端应用数据访问的，一般通过设置恢复QOS，限制数据恢复的速率降低对前端应用数据访问的影响，但这种设置一般均为静态的，完全可以通过动态的方式提升恢复效率。

上述诸多问题在性能敏感性应用场景例如数据库，是完全不可接受的，从而限制了分布式块存储的应用场景，只能应用在边缘业务场景。

发明内容

本发明的目的在于克服上述现有技术存在的存储集群进行数据恢复过程中的性能问题而提供一种分布式块存储系统中数据恢复的方法和装置。

本发明的目的可以通过以下技术方案来实现：

一种分布式块存储系统中数据恢复的方法，所述分布式块存储系统包括块存储访问客户端、存储服务集群和元数据服务集群，所述存储服务集群包括多个存储服务节点，所述方法包括以下步骤：

1)实时监听集群状态，在监听到集群异常时执行步骤2)；

2)判断是否延迟重构，若是，则延迟设定时间后执行步骤3)，若否，则直接执行步骤3)；

3)构建待恢复数据对象列表；

4)根据所述待恢复数据对象列表进行数据恢复；

各存储服务节点并行执行上述数据恢复的步骤。

进一步地，该方法还包括：

动态监测前端应用的数据访问压力，根据所述数据访问压力调节各存储服务节点的恢复并发度。

进一步地，基于设定的最低并发度调节所述各存储服务节点的恢复并发度。

进一步地，在发生集群异常时，记录写入请求的数据对象的对象ID，加入Dirty 数据对象列表，以所述Dirty数据对象列表作为所述待恢复数据对象列表。

进一步地，所述待恢复数据对象列表还包括设定时间内的数据对象列表。

进一步地，对于计划内的集群状态变更，根据配置增加临时副本，将所述临时加入到对应节点的待恢复数据对象列表。

进一步地，构建完成所述待恢复数据对象列表时，同时执行故障副本的数据恢复和所有可用数据对象副本的写入操作。

进一步地，通过心跳网络监听所述集群状态。

进一步地，所述数据恢复具体为：

从其他存储服务节点读取副本数据恢复到本地存储服务节点；

处于数据恢复状态的数据对象，若有前端应用的读写请求，则产生需前端应用请求pending的提示信息，直至数据对象完成数据恢复；

处于数据恢复状态的数据对象，若有前端应用的写请求，则等待写请求完成，解锁数据对象后再进行恢复。

本发明还提供一种分布式块存储系统中数据恢复的装置，所述分布式块存储系统包括块存储访问客户端、存储服务集群和元数据服务集群，所述存储服务集群包括多个存储服务节点，所述装置包括恢复管理器，该恢复管理器执行所述的方法的步骤。

与现有技术相比，本发明具有如下有益效果：

1、本发明解决了上述存储集群进行数据恢复过程中的性能问题，从而保证了天玑分布式块存储在客户核心数据库应用场景的性能要求及落地部署实施，可提高数据恢复速度，并降低数据恢复对前端应用性能影响。

2、本发明无需通过Journal log方式记录所有增量写入数据，避免写Journal log导致的前端应用数据访问性能下降的问题。

3、本发明动态监测前端应用的数据访问压力，根据前端应用的数据访问压力动态地调整数据恢复速率，降低数据恢复对前端应用数据访问的影响；同时也可以配置最低恢复并发度，避免出现前端应用数据访问压力一直很大，数据恢复时间很长，加大出现二次故障导致数据丢失的风险。

4、本发明在进行数据恢复时，仅恢复dirty的数据对象，clean的数据对象无需进行恢复，从而加快数据恢复速度。

5、本发明Dirty数据对象列表仅在内存中保存，不进行持久化到存储介质，从而极大避免了持久化带来的前端应用额外的数据访问延时。

6、本发明集群正常工作时，无需记录Dirty数据对象列表，仅仅在集群发生异常时才开始记录，从而避免了集群正常时记录Dirty数据对象带来的前端应用数据访问额外延时，集群恢复正常清除Dirty数据对象列表，停止记录。

7、本发明在特定状态恢复场景，比如节点短暂离线重新上线，仅从Dirty数据对象列表执行恢复，避免存储服务节点单节点容量巨大时出现的增量恢复时各存储服务节点构建数据对象恢复列表耗时达几十分钟级问题，有效缩短数据恢复时间。

8、本发明当存储服务节点完成构建待恢复数据对象列表，如果前端应用需要写入存储副本不全的数据对象时，无需等待故障副本数据恢复完成后再执行写入操作，而是写入当前所有可用数据对象副本，从而极大降低了存储系统异常执行恢复时对前端应用数据访问的性能影响。

9、本发明当发生节点离线、磁盘故障等存储集群事件，数据恢复不会马上进行，会根据设定值延迟一段时间再启动数据恢复，避免因节点短暂离线后又重新上线导致的不必要的数据重新分布。

10、本发明对于计划内的升级、节点维护或者磁盘替换，可临时将涉及的数据对象副本提升副本冗余度，等数据重分布完成后，再移除相应节点或磁盘，避免数据可用副本数的降低，提高存储数据可靠性。

附图说明

图1为本发明应用的分布式块存储系统示意图；

图2为本发明的数据恢复流程示意图；

图3为本发明分布式块存储系统数据恢复状态读请求处理流程；

图4为本发明分布式块存储系统数据恢复状态写请求处理流程。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种分布式块存储系统中数据恢复的方法，当集群出现节点离线、磁盘故障等事件导致数据可用副本不足时，将根据存储集群最新状态以合理的速率将数据可用副本恢复到正常水平。

如图1所示，该方法应用的分布式块存储系统包括块存储访问客户端、存储服务集群及元数据服务集群，存储服务集群由多个存储服务节点组成，各存储服务节点实现数据恢复功能。

图2为本发明数据恢复方法的流程示意图。在图2中，元数据服务集群通过心跳网络感知到存储服务节点离线事件和磁盘故障场景，存储服务节点通过心跳网络汇报给元数据服务集群，元数据服务集群再通知所有存储服务节点。每个存储服务节点从数据对象的正常副本恢复故障副本，最终整个存储服务节点数据副本恢复正常状态。接收到集群异常事件时，每个存储服务节点并行恢复数据，即每个存储服务节点可按一定的并行度独立执行数据恢复过程，以获得最短的数据恢复时间。

上述数据恢复方法的具体过程包括：

1)实时监听集群状态，在监听到集群异常时执行步骤2)；

2)判断是否延迟重构，若是，则延迟设定时间后执行步骤3)，若否，则直接执行步骤3)；

3)构建待恢复数据对象列表；

4)根据所述待恢复数据对象列表进行数据恢复。

上述步骤可由各存储服务节点内设置的恢复管理器实现。

上述步骤1)中存储服务集群通过与元数据服务集群的心跳网络感知、接收到集群故障事件，记录集群后续写请求到Dirty数据对象列表。

待恢复数据对象列表包括需要恢复的数据对象列表及dirty数据对象列表，构建过程包括：

301)通过DHT数据分布算法计算出对应节点待恢复数据对象列表；

302)对于计划内的集群状态变更，根据配置，对要离线的节点或磁盘，增加临时副本，加入到对应节点待恢复数据对象列表；

303)根据存储节点集群返回的待恢复数据对象列表，构建待恢复数据Btree，并标记对应数据对象是否可执行增量恢复。

根据所述待恢复数据对象列表进行数据恢复具体为：

401)每个存储服务节点的恢复管理器监控本前端收到的前端应用读写请求的IOPS及吞吐量，动态调整本节点数据恢复的并发度，如果无前端应用读写请求，执行最大并发度数据恢复，如果数据恢复导致前端应用读写请求性能下降，降低数据恢复并发度，如果数据恢复未降到前端应用读写请求性能下降，提高数据恢复并发度，直至达到动态平衡状态；

402)恢复管理器使用Pull方式从其他存储服务节点读取副本数据恢复到本地存储服务节点；

403)处于数据恢复状态的数据对象，如果前端应用正好需要读写该数据对象，前端应用请求pending，直至数据对象完成数据恢复；

404)如果准备恢复的数据对象有前端应用的写请求，恢复线程等待写请求完成，解锁数据对象后再进行恢复；

405)执行数据恢复过程中，如果再次收到集群故障事件，停止本地数据恢复流程，更新状态，按照最新集群视图重新执行数据恢复。

该方法动态监测前端应用的数据访问压力，根据前端应用的数据访问压力动态地调整数据恢复速率，当前端应用数据访问压力低时，加大恢复并发度，缩短数据恢复所需时间，当前端应用数据访问压力高时，降低恢复并发度，降低数据恢复对前端应用数据访问的影响。可以配置最低并发度，避免出现前端应用数据访问压力一直很大，数据恢复时间很长，加大出现二次故障导致数据丢失的风险。

该方法支持增量数据恢复。在集群异常时，会记录写入请求的数据对象的对象ID，加入Dirty数据对象列表。在进行数据恢复时，仅恢复dirty的数据对象，clean 的数据对象无需进行恢复，从而加快数据恢复速度。

图3为本发明分布式块存储系统数据恢复状态读请求处理示意图。读请求首先尝试从第一副本读取数据，如果数据副本故障未恢复，则跳过，依次尝试读取第二副本，第三副本，如果3副本均读取失败，则读请求失败。

图4为本发明分布式块存储系统数据恢复状态写请求处理示意图。对于3数据副本设置，首先，写请求转换成对3个数据副本的并发副本写入请求，对于最小写入副本设置为1场景，3个数据副本写入请求只要有一个副本写入成功，应用写请求返回成功，对于故障副本，在收到3个数据副本写入返回结果后，需执行解锁，否则恢复管理器将睡眠等待直到数据对象被解锁再执行数据恢复操作。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由本发明所确定的保护范围内。

Claims (9)

1.一种分布式块存储系统中数据恢复的方法，其特征在于，所述分布式块存储系统包括块存储访问客户端、存储服务集群和元数据服务集群，所述存储服务集群包括多个存储服务节点，所述方法包括以下步骤：

1）实时监听集群状态，在监听到集群异常时执行步骤2）；

2）判断是否延迟重构，若是，则延迟设定时间后执行步骤3），若否，则直接执行步骤3）；

3）构建待恢复数据对象列表；

4）根据所述待恢复数据对象列表进行数据恢复；

各存储服务节点并行执行上述数据恢复的步骤；

所述数据恢复具体为：

从其他存储服务节点读取副本数据恢复到本地存储服务节点；

处于数据恢复状态的数据对象，若有前端应用的读写请求，则产生需前端应用请求pending的提示信息，直至数据对象完成数据恢复；

处于数据恢复状态的数据对象，若有前端应用的写请求，则等待写请求完成，解锁数据对象后再进行恢复。

2.根据权利要求1所述的分布式块存储系统中数据恢复的方法，其特征在于，还包括：

动态监测前端应用的数据访问压力，根据所述数据访问压力调节各存储服务节点的恢复并发度。

3.根据权利要求2所述的分布式块存储系统中数据恢复的方法，其特征在于，基于设定的最低并发度调节所述各存储服务节点的恢复并发度。

4.根据权利要求1所述的分布式块存储系统中数据恢复的方法，其特征在于，在发生集群异常时，记录写入请求的数据对象的对象ID，加入Dirty 数据对象列表，以所述Dirty 数据对象列表作为所述待恢复数据对象列表。

5.根据权利要求4所述的分布式块存储系统中数据恢复的方法，其特征在于，所述待恢复数据对象列表还包括设定时间内的数据对象列表。

6.根据权利要求1所述的分布式块存储系统中数据恢复的方法，其特征在于，对于计划内的集群状态变更，根据配置增加临时副本，将所述临时加入到对应节点的待恢复数据对象列表。

7.根据权利要求1所述的分布式块存储系统中数据恢复的方法，其特征在于，构建完成所述待恢复数据对象列表时，同时执行故障副本的数据恢复和所有可用数据对象副本的写入操作。

8.根据权利要求1所述的分布式块存储系统中数据恢复的方法，其特征在于，通过心跳网络监听所述集群状态。

9.一种分布式块存储系统中数据恢复的装置，其特征在于，所述分布式块存储系统包括块存储访问客户端、存储服务集群和元数据服务集群，所述存储服务集群包括多个存储服务节点，所述装置包括恢复管理器，该恢复管理器执行如权利要求1所述的方法的步骤。