CN109814804A - 一种降低分布式存储系统能耗的方法和装置 - Google Patents

Abstract

本发明提供了一种降低分布式存储系统能耗的方法和装置，通过为分布式存储系统分配一组SSD，创建以该组SSD为存储资源的分布式SSD存储池，将该SSD存储池设置为以该系统中所有硬盘为存储资源的分布式硬盘存储池的cache，在对该系统的硬盘存储池的读写操作满足低能耗设置时，将所有硬盘设置为睡眠状态，使得通过SSD存储盘对硬盘存储池的读写操作转变为对SSD存储池的读写操作，由于SSD具有低能耗特点，因此可以有效降低能耗，并且对业务运行也不会产生影响。

Description

一种降低分布式存储系统能耗的方法和装置

技术领域

本发明涉及分布式存储技术领域，特别涉及一种降低分布式存储系统能耗的方法和装置。

背景技术

在分布式存储系统中，存储节点比较多，每个存储节点会配置很多机械硬盘，用于存储不用业务的数据。

现有机械硬盘的能耗非常高，为了降低分布式存储系统中机械硬盘的功耗，传统的解决方法是：当某个机械硬盘在一定时间内没有IO读写时，将该机械硬盘设置为睡眠状态，以此达到降低功耗的目的。

上述方法可以在一定程度上降低分布式存储系统的机械硬盘功耗，然而，当有业务需要访问该系统中处于睡眠状态的机械硬盘时，重启激活该机械硬盘需要时间，在此段时间内如果有业务写数据需求，则系统无法响应，从而影响业务运行。

发明内容

有鉴于此，本发明的目的在于提供一种降低分布式存储系统能耗的方法和装置，能够在不影响业务运行的情况下降低能耗。

为了达到上述目的，本发明提供了如下技术方案：

一种降低分布式存储系统能耗的方法，所述分布式存储系统创建有以该系统中所有存储节点的机械硬盘为存储资源的分布式硬盘存储池；该方法包括：

为分布式存储系统分配一组固态硬盘SSD，创建以该组SSD为存储资源的分布式SSD存储池，将该SSD存储池设置为所述硬盘存储池的快速缓存cache；

当对所述硬盘存储池的读写操作不满足低功耗设置条件时，根据接收的对所述硬盘存储池的读写请求，通过该SSD存储池对所述硬盘存储池进行数据读写操作；

当对所述硬盘存储池的读写操作满足低功耗设置条件时，将所述硬盘存储池中的所有硬盘设置为休眠状态，根据接收的对所述硬盘存储池的读写请求，对该SSD存储池进行数据读写操作，并在写入该SSD存储池中的数据量超过预设阈值时，唤醒所述硬盘存储池中的所有硬盘，将写入该SSD存储池中的数据同步到所述硬盘存储池。

一种降低分布式存储系统能耗的装置，所述分布式存储系统创建有以该系统中所有存储节点的机械硬盘为存储资源的分布式硬盘存储池；该装置包括：创建单元、接收单元、处理单元；

所述创建单元，用于为分布式存储系统分配一组固态硬盘SSD，创建以该组SSD为存储资源的分布式SSD存储池，将该SSD存储池设置为所述硬盘存储池的快速缓存cache；

所述接收单元，用于接收对所述硬盘存储池的读写请求；

所述处理单元，用于当对所述硬盘存储池的读写操作不满足低功耗设置条件时，根据接收单元接收的对所述硬盘存储池的读写请求，通过该SSD存储池对所述硬盘存储池进行数据读写操作；用于当对所述硬盘存储池的读写操作满足低功耗设置条件时，将所述硬盘存储池中的所有硬盘设置为休眠状态，根据接收单元接收的对所述硬盘存储池的读写请求，对该SSD存储池进行数据读写操作，并在写入该SSD存储池中的数据量超过预设阈值时，唤醒所述硬盘存储池中的所有硬盘，将写入该SSD存储池中的数据同步到所述硬盘存储池。

由上面的技术方案可知，本发明中，通过为分布式存储系统分配一组SSD，创建以该组SSD为存储资源的分布式SSD存储池，将该SSD存储池设置为以该系统中所有硬盘为存储资源的分布式硬盘存储池的cache，从而在对该系统的硬盘的访问量较少，即满足低能耗设置时，将所有硬盘设置为睡眠状态，使得对硬盘存储池的读写暂时改变为对cache(即SSD存储池)的读写，由于SSD本身的能耗较小，因此，可以有效降低能耗，并且由于还可以继续使用SSD存储池响应业务的读写请求，因此对业务运行也不会产生影响。

附图说明

图1是本发明实施例降低分布式存储系统能耗的方法流程图；

图2是本发明实施例降低分布式存储系统能耗的装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并据实施例，对本发明的技术方案进行详细说明。

参见图1，图1是本发明实施例降低分布式存储系统能耗的方法流程图，所述分布式存储系统创建有以该系统中所有存储节点的机械硬盘为存储资源的分布式硬盘存储池；如图1所示，该方法包括以下步骤：

步骤101、为分布式存储系统分配一组固态硬盘SSD，创建以该组SSD为存储资源的分布式SSD存储池，将该SSD存储池设置为所述硬盘存储池的快速缓存(cache)。

固态硬盘(SSD)具有高性能和低功耗的特点，本发明中，为分布式存储系统分配一组SSD，创建以该组SSD为存储资源的分布式SSD存储池，将该SSD存储池作为以该系统中所有存储节点的机械硬盘为存储资源的分布式硬盘存储池的cache，使得对该硬盘资源池的所有读写操作都要经由其对应的cache(即该SSD存储池)实现。

步骤102、当对所述硬盘存储池的读写操作不满足低功耗设置条件时，根据接收的对所述硬盘存储池的读写请求，通过该SSD存储池对所述硬盘存储池进行数据读写操作。

本发明实施例中，低功耗设置条件为：预设时间内从所述硬盘存储池读取的数据量小于预设读取阈值(read_size)，且向所述硬盘存储池写入的数据量小于预设写入阈值(write_size)。

当对所述硬盘存储池的读写操作不满足低功耗设置条件时，说明对硬盘存储池的读写操作比较多，硬盘存储池中的数据处于活跃状态，硬盘存储池中的硬盘不适宜休眠。硬盘资源池中的硬盘不休眠时，需要经由硬盘资源池的cache执行对硬盘资源池进行读写操作。

在正常情况下，当任一业务有从分布式存储系统的硬盘存储池中读数据需求或向分布式存储系统的硬盘存储池写数据需求时，可以向分布式存储系统发送读请求或写请求。其中，对分布式存储系统的硬盘存储池的读请求，需要先在cache中查找读请求对应的数据，查找到，则直接从cache读取数据，查找不到，则再到硬盘存储池查找和读取读请求对应的数据，并将读取的数据缓存在cache。对分布式存储系统的硬盘存储池的写请求，需要在cache中写入写请求对应的数据，并将写入cache的数据同步到硬盘存储池中。无论是从硬盘存储池读取的数据，还是写入到硬盘存储池的数据，都需要在cache中缓存一段时间，以便后续有读取相应数据的请求时，可以直接从cache中读取，不需要再到硬盘存储池中读取。

因此，本步骤102中，根据接收的对所述硬盘存储池的读写请求，通过该SSD存储池对所述硬盘存储池进行数据读写操作，具体包括：

如果接收的是对所述硬盘存储池的读请求，则在该SSD存储池中读取该读请求对应的数据，如果读取失败，则在所述硬盘资源池读取该读请求对应的数据，并将读取的数据缓存在该SSD存储池；

如果接收的是对所述硬盘存储池的写请求，则在该SSD存储池中写入该写请求对应的数据，并将写入该SSD存储池中的该数据同步到所述硬盘资源池。

步骤103、当对所述硬盘存储池的读写操作满足低功耗设置条件时，将所述硬盘存储池中的所有硬盘设置为休眠状态，根据接收的对所述硬盘存储池的读写请求，对该SSD存储池进行数据读写操作，并在写入该SSD存储池中的数据量超过预设阈值时，唤醒所述硬盘存储池中的所有硬盘，将写入该SSD存储池中的数据同步到所述硬盘存储池。

本发明中，当对所述硬盘存储池的读写操作满足低功耗设置条件时，说明对硬盘存储池的读写操作比较少，硬盘存储池中的数据处于不活跃状态，此时可以将硬盘存储池中的所有硬盘设置为休眠状态，使用硬盘存储池的cache暂代硬盘存储池响应对硬盘存储池的读写请求。

本发明实施例中，根据接收的对所述硬盘存储池的读写请求，对该SSD存储池进行数据读写操作，具体包括：

如果接收的是对所述硬盘存储池的读请求，则从该SSD存储池读取该读请求对应的数据，如果读取失败，则唤醒所述硬盘存储池中的所有硬盘，从所述硬盘存储池读取该读请求对应的数据，并将读取的数据缓存在该SSD存储池；

如果接收的是对所述硬盘资源的写请求，则在SSD存储池中缓存该写请求对应的数据。

从本步骤103，以及上述对该SSD存储池进行数据读写操作的具体实现可以看出，在硬盘存储池中的硬盘休眠后，有两种情况需要唤醒硬盘，一种是需要读取的数据未缓存在该SSD存储池中，此时需要唤醒硬盘资源池中的所有硬盘，从而可以从硬盘资源池中读取该数据，以避免数据读取失败的情况出现；另一种是向该SSD存储池中写入的数据量过多，也需要唤醒硬盘资源池中的所有硬盘，将写入该SSD存储池的数据同步到硬盘资源池，这主要是因为该SSD存储池的容量是有限的，如果该SSD存储池中缓存的数据量过多，将对其作为cache的正常工作产生影响，而同步数据到硬盘存储池的操作可以释放SSD存储池的存储空间。

另外，需要说明的是，在唤醒硬盘存储池中的所有硬盘后，再有对硬盘存储池的读写请求时，需要通过该SSD存储池对所述硬盘存储池进行数据读写操作，如果对所述硬盘存储池的读写操作再次满足低功耗设置条件，则可以再次将硬盘存储池中的所有硬盘设置为休眠状态，从而再次由该SSD存储池取代硬盘存储池响应对硬盘存储池的读写操作。

在实际实现中，确定对所述硬盘存储池的读写操作满足低功耗设置条件之后，将所述硬盘存储池中的所有硬盘设置为休眠状态之前，如果该SSD存储池中存在尚未同步到所述硬盘资源池的写入数据，此时需要先将该SSD存储池中尚未同步到所述硬盘资源池的写入数据同步到所述硬盘资源池，然后再将所述硬盘存储池中的所有硬盘设置为休眠状态。

以上对本发明降低分布式存储系统能耗的方法进行了详细说明，本发明还提供了一种降低分布式存储系统能耗的装置，以下结合图2进行详细说明：

参见图2，图2是本发明实施例降低分布式存储系统能耗的装置的结构示意图，所述分布式存储系统创建有以该系统中所有存储节点的机械硬盘为存储资源的分布式硬盘存储池；如图2所示，该装置包括：创建单元201、接收单元202、处理单元203；其中，

创建单元201，用于为分布式存储系统分配一组固态硬盘SSD，创建以该组SSD为存储资源的分布式SSD存储池，将该SSD存储池设置为所述硬盘存储池的快速缓存cache；

接收单元202，用于接收对所述硬盘存储池的读写请求；

处理单元203，用于当对所述硬盘存储池的读写操作不满足低功耗设置条件时，根据接收单元202接收的对所述硬盘存储池的读写请求，通过该SSD存储池对所述硬盘存储池进行数据读写操作；用于当对所述硬盘存储池的读写操作满足低功耗设置条件时，将所述硬盘存储池中的所有硬盘设置为休眠状态，根据接收单元202接收的对所述硬盘存储池的读写请求，对该SSD存储池进行数据读写操作，并在写入该SSD存储池中的数据量超过预设阈值时，唤醒所述硬盘存储池中的所有硬盘，将写入该SSD存储池中的数据同步到所述硬盘存储池。

图2所示装置中，

所述低功耗设置条件为：预设时间内从所述硬盘存储池读取的数据量小于预设读取阈值，且向所述硬盘存储池写入的数据量小于预设写入阈值。

图2所示装置中，

所述处理单元203，根据接收单元202接收的对所述硬盘存储池的读写请求，通过该SSD存储池对所述硬盘存储池进行数据读写操作，包括：

如果接收的是对所述硬盘存储池的读请求，则在该SSD存储池中读取该读请求对应的数据，如果读取失败，则在所述硬盘资源池读取该读请求对应的数据，并将读取的数据缓存在该SSD存储池；

如果接收的是对所述硬盘存储池的写请求，则先在SSD存储池中写入该写请求对应的数据，并将写入该SSD存储池中的该数据同步到所述硬盘资源池。

图2所示装置中，

所述处理单元203，确定对所述硬盘存储池的读写操作满足低功耗设置条件之后，将所述硬盘存储池中的所有硬盘设置为休眠状态之前，进一步用于：如果该SSD存储池中存在尚未同步到所述硬盘资源池的写入数据，则将该SSD存储池中尚未同步到所述硬盘资源池的写入数据同步到所述硬盘资源池。

图2所示装置中，

所述处理单元203，根据接收单元202接收的对所述硬盘存储池的读写请求，对该SSD存储池进行数据读写操作，包括：

如果接收的是对所述硬盘存储池的读请求，则从该SSD存储池读取该读请求对应的数据，如果读取失败，则唤醒所述硬盘存储池中的所有硬盘，从所述硬盘存储池读取该读请求对应的数据，并将读取的数据缓存在该SSD存储池；

如果接收的是对所述硬盘资源的写请求，则在SSD存储池中写入该写请求对应的数据。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种降低分布式存储系统能耗的方法，其特征在于，所述分布式存储系统创建有以该系统中所有存储节点的机械硬盘为存储资源的分布式硬盘存储池；该方法包括：

为分布式存储系统分配一组固态硬盘SSD，创建以该组SSD为存储资源的分布式SSD存储池，将该SSD存储池设置为所述硬盘存储池的快速缓存cache；

当对所述硬盘存储池的读写操作不满足低功耗设置条件时，根据接收的对所述硬盘存储池的读写请求，通过该SSD存储池对所述硬盘存储池进行数据读写操作；

当对所述硬盘存储池的读写操作满足低功耗设置条件时，将所述硬盘存储池中的所有硬盘设置为休眠状态，根据接收的对所述硬盘存储池的读写请求，对该SSD存储池进行数据读写操作，并在写入该SSD存储池中的数据量超过预设阈值时，唤醒所述硬盘存储池中的所有硬盘，将写入该SSD存储池中的数据同步到所述硬盘存储池。

2.根据权利要求1所述的方法，其特征在于，

所述低功耗设置条件为：预设时间内从所述硬盘存储池读取的数据量小于预设读取阈值，且向所述硬盘存储池写入的数据量小于预设写入阈值。

3.根据权利要求1所述的方法，其特征在于，

根据接收的对所述硬盘存储池的读写请求，通过该SSD存储池对所述硬盘存储池进行数据读写操作，包括：

如果接收的是对所述硬盘存储池的读请求，则在该SSD存储池中读取该读请求对应的数据，如果读取失败，则在所述硬盘资源池读取该读请求对应的数据，并将读取的数据缓存在该SSD存储池；

如果接收的是对所述硬盘存储池的写请求，则在该SSD存储池中写入该写请求对应的数据，并将写入该SSD存储池中的该数据同步到所述硬盘资源池。

4.根据权利要求3所述的方法，其特征在于，

确定对所述硬盘存储池的读写操作满足低功耗设置条件之后，将所述硬盘存储池中的所有硬盘设置为休眠状态之前，进一步包括：如果该SSD存储池中存在尚未同步到所述硬盘资源池的写入数据，则将该SSD存储池中尚未同步到所述硬盘资源池的写入数据同步到所述硬盘资源池。

5.根据权利要求1所述的方法，其特征在于，

根据接收的对所述硬盘存储池的读写请求，对该SSD存储池进行数据读写操作，包括：

如果接收的是对所述硬盘存储池的读请求，则从该SSD存储池读取该读请求对应的数据，如果读取失败，则唤醒所述硬盘存储池中的所有硬盘，从所述硬盘存储池读取该读请求对应的数据，并将读取的数据缓存在该SSD存储池；

如果接收的是对所述硬盘资源的写请求，则在SSD存储池中缓存该写请求对应的数据。

6.一种降低分布式存储系统能耗的装置，其特征在于，所述分布式存储系统创建有以该系统中所有存储节点的机械硬盘为存储资源的分布式硬盘存储池；该装置包括：创建单元、接收单元、处理单元；

所述创建单元，用于为分布式存储系统分配一组固态硬盘SSD，创建以该组SSD为存储资源的分布式SSD存储池，将该SSD存储池设置为所述硬盘存储池的快速缓存cache；

所述接收单元，用于接收对所述硬盘存储池的读写请求；

所述处理单元，用于当对所述硬盘存储池的读写操作不满足低功耗设置条件时，根据接收单元接收的对所述硬盘存储池的读写请求，通过该SSD存储池对所述硬盘存储池进行数据读写操作；用于当对所述硬盘存储池的读写操作满足低功耗设置条件时，将所述硬盘存储池中的所有硬盘设置为休眠状态，根据接收单元接收的对所述硬盘存储池的读写请求，对该SSD存储池进行数据读写操作，并在写入该SSD存储池中的数据量超过预设阈值时，唤醒所述硬盘存储池中的所有硬盘，将写入该SSD存储池中的数据同步到所述硬盘存储池。

7.根据权利要求6所述的装置，其特征在于，

所述低功耗设置条件为：预设时间内从所述硬盘存储池读取的数据量小于预设读取阈值，且向所述硬盘存储池写入的数据量小于预设写入阈值。

8.根据权利要求6所述的装置，其特征在于，

所述处理单元，根据接收单元接收的对所述硬盘存储池的读写请求，通过该SSD存储池对所述硬盘存储池进行数据读写操作，包括：

如果接收的是对所述硬盘存储池的读请求，则在该SSD存储池中读取该读请求对应的数据，如果读取失败，则在所述硬盘资源池读取该读请求对应的数据，并将读取的数据缓存在该SSD存储池；

如果接收的是对所述硬盘存储池的写请求，则先在SSD存储池中写入该写请求对应的数据，并将写入该SSD存储池中的该数据同步到所述硬盘资源池。

9.根据权利要求8所述的装置，其特征在于，

所述处理单元，确定对所述硬盘存储池的读写操作满足低功耗设置条件之后，将所述硬盘存储池中的所有硬盘设置为休眠状态之前，进一步用于：如果该SSD存储池中存在尚未同步到所述硬盘资源池的写入数据，则将该SSD存储池中尚未同步到所述硬盘资源池的写入数据同步到所述硬盘资源池。

10.根据权利要求6所述的装置，其特征在于，

所述处理单元，根据接收单元接收的对所述硬盘存储池的读写请求，对该SSD存储池进行数据读写操作，包括：

如果接收的是对所述硬盘存储池的读请求，则从该SSD存储池读取该读请求对应的数据，如果读取失败，则唤醒所述硬盘存储池中的所有硬盘，从所述硬盘存储池读取该读请求对应的数据，并将读取的数据缓存在该SSD存储池；

如果接收的是对所述硬盘资源的写请求，则在SSD存储池中写入该写请求对应的数据。