CN117851132B - 一种分布式对象存储的数据恢复优化方法 - Google Patents

Abstract

本发明涉及一种分布式对象存储的数据恢复优化方法，属于数据处理技术领域，本发明根据数据池的状态生成可写存储池集合，在部分数据存储池降级时，减少降级写入数据。从而减少需要恢复的数据，降低了数据丢失的风险。本发明在分布式对象存储进行数据恢复时，根据数据存储池的状态和可用容量进行分类，一部分数据存储池提供外部写服务，一部分数据存储池进行数据恢复。从物理资源上，对外部写请求和数据恢复进行了隔离，数据恢复产生的随机读不影响外部写请求。根据数据存储池集合的状态自适应调整数据池的恢复速度，进行数据恢复的存储池可以长时间保持较高的恢复速度，缩短数据恢复的时间。

Description

一种分布式对象存储的数据恢复优化方法

技术领域

本发明属于数据处理技术领域，具体涉及一种分布式对象存储的数据恢复优化方法。

背景技术

分布式存储系统中，通常采用多副本或者纠删码（Erasure Code，EC）的方式来存储数据，以提高数据的安全性。实际上，分布式存储系统在发生硬盘故障时,会采用降级写来保证系统的可用性。降级写通常是减少副本数或者EC分块数，降低写操作的副本数量要求,使写入可以成功完成。当硬盘恢复正常，重新构建缺失的副本数据或者分片数据，通常称这个过程为数据恢复。数据恢复过程会在分布式存储系统内部产生大量读写数据的操作，从而影响分布式存储系统外部读写数据的性能。

现有技术的问题：

1、根据外部读写请求来对数据恢复速度进行调节，但是，实际需要恢复的数据量并未减少。

2、数据恢复产生大量的随机读，导致机械硬盘的写时延显著增加。数据恢复和外部请求使用相同的硬盘，从而导致外部写请求变慢。

3、数据恢复速度根据时间或者根据外部请求数据量自适应调整，若外部请求数据量持续较大，数据恢复速度则会一直很慢。

发明内容

本发明目的在于提供一种分布式对象存储的数据恢复优化方法，用于解决上述现有技术中存在的技术问题，即，根据外部读写请求来对数据恢复速度进行调节，但是，实际需要恢复的数据量并未减少。数据恢复产生大量的随机读，导致机械硬盘的写时延显著增加。数据恢复和外部请求使用相同的硬盘，从而导致外部写请求变慢。数据恢复速度根据时间或者根据外部请求数据量自适应调整，若外部请求数据量持续较大，数据恢复速度则会一直很慢。

为实现上述目的，本发明的技术方案是：

一种分布式对象存储的数据恢复优化方法，包括以下步骤：

S1、基于不同的硬盘，创建不同的数据存储池；

S2、创建桶，桶关联步骤S1中创建的多个数据存储池；

S3、监控步骤S2中数据存储池的状态；

S4、根据步骤S3中数据存储池的状态，确定数据写入的位置。

进一步的，步骤S1具体如下：

在分布式对象存储系统选择一定数量硬盘创建数据存储池，数据存储池用于存储数据；

每个数据存储池相互独立，互不影响；

数据存储池的冗余策略包括多副本和纠删码；

多副本是将数据复制若干份，存储到不同存储节点上；

纠删码是将数据分为K个数据块，并进行编码，生成M个校验块，只要有任意K个块都可重建完整数据。

进一步的，在分布式对象存储系统选择一定数量硬盘创建数据存储池，具体如下：

根据实际物理资源选择选择硬盘数量，即，每个存储池存储的数据量预计为total，存储节点的数量为N，每个硬盘的容量为space，冗余策略的数据利用率为util，其中，若为n副本，数据利用率为1/n * 100%，若为EC K + M，数据利用率为K/(K+M) * 100%，则每个存储节点选择d个硬盘，d = total/(space*N*util)。

进一步的，步骤S2中，用户可往桶里面写入数据，分布式对象存储系统根据算法决定数据存入的某个数据存储池，即一个桶内的数据可存入不同的数据存储池。

进一步的，步骤S3中数据存储池的状态具体如下：

数据存储池的状态分为正常、降级、数据恢复、异常状态；

正常状态是数据存储池对应的硬盘无异常；

降级状态是数据存储池有硬盘故障或存储节点异常，可降级写入数据；

数据恢复状态是数据存储池发生硬盘故障或存储节点异常，降级写入数据以后，硬盘或者存储节点恢复正常，数据存储池正在进行数据恢复；

异常状态是数据存储池出现故障，不能提供读写服务；

其中，数据存储池的状态发生变化，需记录数据存储池最新的状态。

进一步的，步骤S3中监控步骤S2的数据存储池的状态具体如下：

对象网关为客户提供对象存储服务，将客户的请求转化为对分布式存储系统的操作；

监控集群是分布式强一致性的集群，负责修改和扩散分布式存储系统的信息，即，硬盘状态、数据存储池的状态；

当数据存储池的状态发生变化时，监控集群向对象网关和分布式存储系统扩散最新的信息；同时，对象网关向监控集群获取最新的数据存储池的信息；

如果数据存储池的状态未发生改变，监控集群不会向对象网关推送数据存储池的信息；但是，对象网关会定时获取数据存储池的信息。

进一步的，步骤S4具体如下：

S41、生成可写存储池集合；

依次从状态为正常、降级、数据恢复、异常的数据存储池放入可写存储池集合，直到满足以下2个条件停止将存储池放入可写存储池集合：1、正常状态的数据存储池全部放入可写存储池集合，2、可写存储池集合的存储池数量不小于M；

S42、容量均衡地写入数据；

若可写存储池集合有3个数据存储池，数据存储池的剩余容量依次为available_space1、available_space2、available_space3，数据存储池已写入的数据量分别为write_bytes1、write_bytes2、write_bytes3；分别计算write_bytes1/available_space1、write_bytes2/available_space2、write_bytes3/available_space3，选择结果最小的数据存储池进行写入；写入成功后，对应数据存储池的write_bytes加上当前的写入的数据量；在更新状态时会更新available_space；同时，也会定时更新数据存储池的available_space；在更新available_space时，将对应的write_bytes设置为0；

S43、若存在数据恢复的数据存储池，调整对应的恢复策略；

若数据恢复的数据存储池在可写存储池集合，设置恢复策略为业务优先；否则，设置恢复策略为恢复优先。

进一步的，步骤S42中，分别计算write_bytes1/available_space1、write_bytes2/available_space2、write_bytes3/available_space3，选择结果最小的数据存储池进行写入，选择步骤具体如下：

判断三个计算结果中的最小值是否唯一，若判断为唯一，则保存当前最小值，记为预留最小值，并，重复上述计算过程，此时，若最小值仍唯一且与预留最小值一致，则写入预留最小值；

判断三个计算结果中的最小值是否唯一，若判断为不唯一，则更换计算模块后再次计算；若此时三个计算结果中的最小值唯一，则将更换计算模块后的最小值写入；若此时三个计算结果中的最小值仍不唯一，则将更换计算模块前的多个最小值写入。

一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被运行时执行如上述的一种分布式对象存储的数据恢复优化方法。

与现有技术相比，本发明所具有的有益效果为：

本方案其中一个有益效果在于，本发明根据数据池的状态生成可写存储池集合，在部分数据存储池降级时，减少降级写入数据。从而减少需要恢复的数据，降低了数据丢失的风险。本发明在分布式对象存储进行数据恢复时，根据数据存储池的状态和可用容量进行分类，一部分数据存储池提供外部写服务，一部分数据存储池进行数据恢复。从物理资源上，对外部写请求和数据恢复进行了隔离，数据恢复产生的随机读不影响外部写请求。根据数据存储池集合的状态自适应调整数据池的恢复速度，进行数据恢复的存储池可以长时间保持较高的恢复速度，缩短数据恢复的时间。

附图说明

图1为分布式对象存储示意图。

图2为一个桶关联多个数据存储池示意图。

图3为本发明步骤流程示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。

1、对象存储

对象存储是一种计算机数据存储架构，它将数据作为对象进行管理，与其他存储架构不同（如文件系统将数据作为文件层次结构进行管理，而块存储则将数据作为扇区和轨道内的块进行管理）。对象存储对外呈现的是桶（bucket），用户可以往桶里面放“对象”。每个对象通常包括数据、元数据和一个全局唯一的标识符。其中，

数据是用户存储的真实数据。

元数据是对象的各种描述信息（如数据大小、修改时间等）。

对象的全局唯一标识符可以理解文件名，用于检索对象。

2、分布式存储系统

分布式存储是一种计算机数据存储架构，它将数据存储在多台服务器上，以实现数据的高可靠性、可扩展性和性能。在分布式存储中，每台服务器都可以称为一个存储节点，它们通过网络连接相互通信和协作，以实现数据的分布式存储和管理。分布式存储系统可以提供文件存储、块存储和对象存储这三种形式的服务。

3、分布式对象存储，如图1所示。

分布式对象存储系统给用户提供了”桶”，用于存储数据。桶关联了数据存储池，数据存储池对应分布式对象存储中实际的存储空间。

4、一个桶关联多个数据存储池，如图2所示。

一个桶关联了多个分布式对象存储系统的数据存储池，每个数据存储池相互独立，互不影响。

大多数分布式对象存储厂商实现了一个桶关联多个存储池。

5、冗余技术

分布式存储系统中，通常采用多副本或者纠删码（Erasure Code，EC）的方式来存储数据，以提高数据的安全性。其中，多副本是将数据复制若干份(通常为3份),存储到不同存储节点上。纠删码是将数据分为K个数据块，并进行编码,生成M个校验块，只要有任意K个块（数据块或者校验块）都可以重建完整数据。

6、降级写入

分布式存储系统在发生故障或异常时,会采用降级写入来保证系统的可用性。降级写入通常是减少副本数或者EC的分块数，在某些节点或硬盘不可用时,降低写操作的副本数量要求,使写入可以成功完成。大幅减少系统的不可用时间,保持系统的高可用性。

7、数据恢复

分布式存储的数据恢复是重新生成降级写入的数据，如3个存储节点存储3副本数据，某个存储节点故障，为了不影响外部写入，此时降级写入2副本数据。等故障的存储节点恢复，需要将该段时间写入的2副本数据恢复成3副本数据。

如图3所示，提出一种分布式对象存储的数据恢复优化方法，包括以下步骤：

S1、基于不同的硬盘，创建不同的数据存储池；

S2、创建桶，桶关联步骤S1中创建的多个数据存储池；

S3、监控步骤S2中数据存储池的状态；

S4、根据步骤S3中数据存储池的状态，确定数据写入的位置。

进一步的，步骤S1具体如下：

在分布式对象存储系统选择一定数量硬盘创建数据存储池，数据存储池用于存储数据；

每个数据存储池相互独立，互不影响；

数据存储池的冗余策略包括多副本和纠删码；

多副本是将数据复制若干份，存储到不同存储节点上；

纠删码是将数据分为K个数据块，并进行编码，生成M个校验块，只要有任意K个块（数据块或者校验块）都可重建完整数据。

进一步的，在分布式对象存储系统选择一定数量硬盘创建数据存储池，具体如下：

根据实际物理资源选择选择硬盘数量，即，每个存储池存储的数据量预计为total，存储节点的数量为N，每个硬盘的容量为space，冗余策略的数据利用率为util，其中，若为n副本，数据利用率为1/n * 100%，若为EC K + M，数据利用率为K/(K+M) * 100%，则每个存储节点选择d个硬盘，d = total/(space*N*util)。

进一步的，步骤S2中，用户可往桶里面写入数据，分布式对象存储系统根据算法决定数据存入的某个数据存储池，即一个桶内的数据可存入不同的数据存储池。

进一步的，步骤S3中数据存储池的状态具体如下：

数据存储池的状态分为正常、降级、数据恢复、异常状态；

正常状态是数据存储池对应的硬盘无异常；

降级状态是数据存储池有硬盘故障或存储节点异常，可降级写入数据；

数据恢复状态是数据存储池发生硬盘故障或存储节点异常，降级写入数据以后，硬盘或者存储节点恢复正常，数据存储池正在进行数据恢复；

异常状态是数据存储池出现故障，不能提供读写服务；

其中，数据存储池的状态发生变化，需记录数据存储池最新的状态。

进一步的，步骤S3中监控步骤S2的数据存储池的状态具体如下：

对象网关为客户提供对象存储服务，将客户的请求转化为对分布式存储系统的操作；

监控集群是分布式强一致性的集群，负责修改和扩散分布式存储系统的信息，即，硬盘状态、数据存储池的状态（包括存储池的状态、剩余可用容量）等；

当数据存储池的状态发生变化时，监控集群向对象网关和分布式存储系统扩散最新的信息；同时，对象网关向监控集群获取最新的数据存储池的信息；

如果数据存储池的状态未发生改变，监控集群不会向对象网关推送数据存储池的信息；但是，对象网关会定时获取数据存储池的信息。

进一步的，步骤S4具体如下：

S41、生成可写存储池集合；

为了保证外部读写请求的性能，需要保证给外部业务使用的数据存储池的数量至少为M（通常M = N/2，N为数据存储池的数量，若N/2不为整数，则向上取整)。同时，优先将数据写入正常状态的数据存储池，尽量少进行降级写，减少恢复的数据量。

依次从状态为正常、降级、数据恢复、异常的数据存储池放入可写存储池集合，直到满足以下2个条件停止将存储池放入可写存储池集合：1、正常状态的数据存储池全部放入可写存储池集合，2、可写存储池集合的存储池数量不小于M；

S42、容量均衡地写入数据；

为了最大化使用所有数据存储池的容量空间，数据存储池的剩余容量应全部为零。

若可写存储池集合有3个数据存储池，数据存储池的剩余容量依次为available_space1、available_space2、available_space3，数据存储池已写入的数据量分别为write_bytes1、write_bytes2、write_bytes3；分别计算write_bytes1/available_space1、write_bytes2/available_space2、write_bytes3/available_space3，选择结果最小的数据存储池进行写入；写入成功后，对应数据存储池的write_bytes加上当前的写入的数据量；在更新状态时会更新available_space；同时，也会定时更新数据存储池的available_space；在更新available_space时，将对应的write_bytes设置为0；

S43、若存在数据恢复的数据存储池，调整对应的恢复策略；

由于将外部写请求和数据恢复进行了隔离，数据恢复的存储池可以进行高速的数据恢复，尽快将数据恢复完。恢复策略分为业务优先和恢复优先，业务优先是保障外部请求的性能，不进行数据恢复或者用极低的速度进行数据恢复；恢复优先是保障数据恢复的性能，不考虑对外部请求的影响，以最快的速度进行数据恢复。

若数据恢复的数据存储池在可写存储池集合，设置恢复策略为业务优先；否则，设置恢复策略为恢复优先。

进一步的，步骤S42中，分别计算write_bytes1/available_space1、write_bytes2/available_space2、write_bytes3/available_space3，选择结果最小的数据存储池进行写入，选择步骤具体如下：

判断三个计算结果中的最小值是否唯一，若判断为唯一，则保存当前最小值，记为预留最小值，并，重复上述计算过程，此时，若最小值仍唯一且与预留最小值一致，则写入预留最小值；可避免偶然的计算出错导致后续连发性误动作。

判断三个计算结果中的最小值是否唯一，若判断为不唯一，则更换计算模块后再次计算；若此时三个计算结果中的最小值唯一，则将更换计算模块后的最小值写入；若此时三个计算结果中的最小值仍不唯一，则将更换计算模块前的多个最小值写入；可针对性验证三个计算结果中最小值不唯一的情况。

一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被运行时执行如上述的一种分布式对象存储的数据恢复优化方法。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种分布式对象存储的数据恢复优化方法，其特征在于，包括以下步骤：

S1、基于不同的硬盘，创建不同的数据存储池；

S2、创建桶，桶关联步骤S1中创建的多个数据存储池；

S3、监控步骤S2中数据存储池的状态；

S4、根据步骤S3中数据存储池的状态，确定数据写入的位置；

步骤S1具体如下：

在分布式对象存储系统选择一定数量硬盘创建数据存储池，数据存储池用于存储数据；

每个数据存储池相互独立，互不影响；

数据存储池的冗余策略包括多副本和纠删码；

多副本是将数据复制若干份，存储到不同存储节点上；

纠删码是将数据分为K个数据块，并进行编码，生成M个校验块，只要有任意K个块都可重建完整数据；

在分布式对象存储系统选择一定数量硬盘创建数据存储池，具体如下：

根据实际物理资源选择选择硬盘数量，即，每个存储池存储的数据量预计为total，存储节点的数量为N，每个硬盘的容量为space，冗余策略的数据利用率为util，其中，若为n副本，数据利用率为1/n * 100%，若为EC K + M，数据利用率为K/(K+M) * 100%，则每个存储节点选择d个硬盘，d = total/(space*N*util)；

步骤S2中，用户可往桶里面写入数据，分布式对象存储系统根据算法决定数据存入的某个数据存储池，即一个桶内的数据可存入不同的数据存储池；

步骤S3中数据存储池的状态具体如下：

数据存储池的状态分为正常、降级、数据恢复、异常状态；

正常状态是数据存储池对应的硬盘无异常；

降级状态是数据存储池有硬盘故障或存储节点异常，可降级写入数据；

数据恢复状态是数据存储池发生硬盘故障或存储节点异常，降级写入数据以后，硬盘或者存储节点恢复正常，数据存储池正在进行数据恢复；

异常状态是数据存储池出现故障，不能提供读写服务；

其中，数据存储池的状态发生变化，需记录数据存储池最新的状态；

步骤S3中监控步骤S2的数据存储池的状态具体如下：

对象网关为客户提供对象存储服务，将客户的请求转化为对分布式存储系统的操作；

监控集群是分布式强一致性的集群，负责修改和扩散分布式存储系统的信息，即，硬盘状态、数据存储池的状态；

当数据存储池的状态发生变化时，监控集群向对象网关和分布式存储系统扩散最新的信息；同时，对象网关向监控集群获取最新的数据存储池的信息；

如果数据存储池的状态未发生改变，监控集群不会向对象网关推送数据存储池的信息；但是，对象网关会定时获取数据存储池的信息；

步骤S4具体如下：

S41、生成可写存储池集合；

依次从状态为正常、降级、数据恢复、异常的数据存储池放入可写存储池集合，直到满足以下2个条件停止将存储池放入可写存储池集合：1、正常状态的数据存储池全部放入可写存储池集合，2、可写存储池集合的存储池数量不小于M；

S42、容量均衡地写入数据；

若可写存储池集合有3个数据存储池，数据存储池的剩余容量依次为available_space1、available_space2、available_space3，数据存储池已写入的数据量分别为write_bytes1、write_bytes2、write_bytes3；分别计算write_bytes1/available_space1、write_bytes2/available_space2、write_bytes3/available_space3，选择结果最小的数据存储池进行写入；写入成功后，对应数据存储池的write_bytes加上当前的写入的数据量；在更新状态时会更新available_space；同时，也会定时更新数据存储池的available_space；在更新available_space时，将对应的write_bytes设置为0；

S43、若存在数据恢复的数据存储池，调整对应的恢复策略；

若数据恢复的数据存储池在可写存储池集合，设置恢复策略为业务优先；否则，设置恢复策略为恢复优先。

2.根据权利要求1所述的一种分布式对象存储的数据恢复优化方法，其特征在于，步骤S42中，分别计算write_bytes1/available_space1、write_bytes2/available_space2、write_bytes3/available_space3，选择结果最小的数据存储池进行写入，选择步骤具体如下：

判断三个计算结果中的最小值是否唯一，若判断为唯一，则保存当前最小值，记为预留最小值，并重复上述计算过程，此时，若最小值仍唯一且与预留最小值一致，则写入预留最小值；

判断三个计算结果中的最小值是否唯一，若判断为不唯一，则更换计算模块后再次计算；若此时三个计算结果中的最小值唯一，则将更换计算模块后的最小值写入；若此时三个计算结果中的最小值仍不唯一，则将更换计算模块前的多个最小值写入。

3.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被运行时执行如权利要求1或2所述的一种分布式对象存储的数据恢复优化方法。