CN105138416A - 磁盘休眠处理方法及装置 - Google Patents

Abstract

本发明提供了一种磁盘休眠处理方法及装置，其中，该方法包括：采用统计对第一磁盘中各个存储块chunk进行访问的访问热度；判断对chunk进行访问的访问热度是否达到预定阈值；在判断结果为是的情况下，将第一磁盘中访问热度超过预定阈值的chunk迁移到第二磁盘，其中，第二磁盘的性能高于第一磁盘；对第一磁盘进行休眠，通过本发明，解决了相关技术中，磁盘休眠技术中存在的只能固定时间休眠和不必要分片修复造成的系统性能浪费的缺陷，进而达到了实现磁盘的动态休眠，提高磁盘系统性能的效果。

Description

磁盘休眠处理方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种磁盘休眠处理方法及装置。

背景技术

纠删码(ErasureCoding，简称为EC)是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如，磁盘、存储节点或者其它地理位置。它会创建一个数学函数来描述一组数字，这样就可以检查它们的准确性，而且一旦其中一个数字丢失，还可以恢复。多项式插值(polynomialinterpolation)或过采样(oversampling)就是纠删码所使用的关键技术。

EC模式可以用于有大量数据和任何需要容错的应用程序或系统中，比如，磁盘阵列系统、数据网格、分布式存储应用程序、对象存储或归档存储。目前，纠删码的一个常见的使用案例是基于对象的云存储。

在相关技术中，磁盘阵列磁盘休眠是通过经验配置，选择在系统读操作较少的固定时间进行磁盘休眠，这样在休眠过程中也会有文件访问，在EC模式下表现尤为明显。因为休眠会导致文件访问的计算量大大地增加，造成不必要的分片修复耗费了系统大量性能，提高了维护成本，尤其EC环境表现尤为明显。

因此，在相关技术的磁盘休眠方案中，存在以下缺点：磁盘休眠只能在固定时间对磁盘进行休眠。不能保证长期运行过程中，系统一直在固定时间段空闲，或者空闲的时间段没有被合理利用。从而使磁盘休眠功能处于基本不可用状态。对于EC环境，由于存储规律的不同，休眠的磁盘也会被访问到。这样就造成了大量不必要的分片修复，耗费了大量的系统性能。现有技术的缺点表现尤为严重。

因此，在相关技术中，磁盘休眠技术中存在的只能固定时间休眠和不必要分片修复造成的系统性能浪费的缺陷。

发明内容

本发明提供了一种磁盘休眠处理方法及装置，以至少解决相关技术中，磁盘休眠技术中存在的只能固定时间休眠和不必要分片修复造成的系统性能浪费的缺陷。

根据本发明的一个方面，提供了一种磁盘休眠处理方法，包括：统计对第一磁盘中各个存储块chunk进行访问的访问热度；判断对chunk进行访问的所述访问热度是否达到预定阈值；在判断结果为是的情况下，将所述第一磁盘中访问热度超过所述预定阈值的chunk迁移到第二磁盘，其中，所述第二磁盘的性能高于第一磁盘；对所述第一磁盘进行休眠。

优选地，在所述第一磁盘存在至少两个的情况下，对所述第一磁盘进行休眠包括：在预定时间内采用预定轮流休眠的方式对所述第一磁盘进行休眠。

优选地，在对所述第一磁盘进行休眠之后，还包括：在满足以下条件至少之一时，唤醒所述第一磁盘：所述第二磁盘达到预定存储阈值、在所述第一磁盘中存在超过所述预定阈值的chunk。

优选地，在所述第二磁盘达到所述预定存储阈值的情况下，唤醒所述第一磁盘包括：对所述第二磁盘中的chunk，依据所述chunk的访问热度的高低进行排序；将访问热度排在队列尾端的chunk迁移到所述第一磁盘。

优选地，将所述第一磁盘中访问热度超过所述预定阈值的chunk迁移到所述第二磁盘包括：对统计所述第一磁盘中的所述chunk，依据所述访问热度进行排序；将超过所述预定阈值的chunk迁移到所述第二磁盘。

根据本发明的另一方面，提供了一种磁盘休眠处理装置，包括：统计模块，用于统计对第一磁盘中各个存储块chunk进行访问的访问热度；判断模块，用于判断对chunk进行访问的所述访问热度是否达到预定阈值；迁移模块，用于在所述判断模块的判断结果为是的情况下，将所述第一磁盘中访问热度超过所述预定阈值的chunk迁移到第二磁盘，其中，所述第二磁盘的性能高于第一磁盘；休眠模块，用于对所述第一磁盘进行休眠。

优选地，所述休眠模块包括：休眠单元，用于在所述第一磁盘存在至少两个的情况下，在预定时间内采用预定轮流休眠的方式对所述第一磁盘进行休眠。

优选地，该装置还包括：唤醒模块，用于在满足以下条件至少之一时，唤醒所述第一磁盘：所述第二磁盘达到预定存储阈值、在所述第一磁盘中存在超过所述预定阈值的chunk。

优选地，所述唤醒模块包括：第一排序单元，用于在所述第二磁盘达到所述预定存储阈值的情况下，对所述第二磁盘中的chunk，依据所述chunk的访问热度的高低进行排序；第一迁移单元，用于将访问热度排在队列尾端的chunk迁移到所述第一磁盘。

优选地，所述迁移模块包括：第二排序单元，用于对统计所述第一磁盘中的所述chunk，依据所述访问热度进行排序；第二迁移单元，用于将超过所述预定阈值的chunk迁移到所述第二磁盘。

通过本发明，采用统计对第一磁盘中各个存储块chunk进行访问的访问热度；判断对chunk进行访问的所述访问热度是否达到预定阈值；在判断结果为是的情况下，将所述第一磁盘中访问热度超过所述预定阈值的chunk迁移到第二磁盘，其中，所述第二磁盘的性能高于第一磁盘；对所述第一磁盘进行休眠，解决了相关技术中，磁盘休眠技术中存在的只能固定时间休眠和不必要分片修复造成的系统性能浪费的缺陷，进而达到了实现磁盘的动态休眠，提高磁盘系统性能的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的磁盘休眠处理方法的流程图；

图2是根据本发明实施例的磁盘休眠处理装置的结构框图；

图3是根据本发明实施例的磁盘休眠处理装置中休眠模块28的优选结构框图；

图4是根据本发明实施例的磁盘休眠处理装置的优选结构框图；

图5是根据本发明实施例的磁盘休眠处理装置中唤醒模块42的优选结构框图；

图6是根据本发明实施例的磁盘休眠处理装置中迁移模块26的优选结构框图；

图7是根据本发明优选实施例的分级存储动态休眠磁盘系统架构示意图；

图8是根据本发明优选实施例的磁盘动态休眠方法的交互示意图；

图9是根据本发明优选实施例的磁盘动态休眠方法的流程图；

图10是根据本发明优选实施例的磁盘动态唤醒方法的交互示意图；

图11是根据本发明优选实施例的磁盘动态唤醒方法的流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种磁盘休眠处理方法，图1是根据本发明实施例的磁盘休眠处理方法的流程图，如图1所示，该流程包括如下步骤：

步骤S102，统计对第一磁盘中各个存储块chunk进行访问的访问热度；

步骤S104，判断对chunk进行访问的访问热度是否达到预定阈值；

步骤S106，在判断结果为是的情况下，将第一磁盘中访问热度超过预定阈值的chunk迁移到第二磁盘，其中，第二磁盘的性能高于第一磁盘；

步骤S108，对第一磁盘进行休眠。

通过上述步骤，依据磁盘中的chunk的访问热度来实现chunk在磁盘间的迁移，使得访问高的chunk能够迁移到性能高的磁盘中，访问低的chunk甚至不访问的chunk可以集中到不热的磁盘，进而可以将该热度不高的磁盘进行休眠，不仅解决了相关技术中，磁盘休眠技术中存在的只能固定时间休眠和不必要分片修复造成的系统性能浪费的缺陷，进而达到了实现磁盘的动态休眠，提高磁盘系统性能的效果。

需要说明的是，在第一磁盘存在至少两个的情况下，对第一磁盘进行休眠时，可以采用以下处理：在预定时间内采用预定轮流休眠的方式对第一磁盘进行休眠。

需要指出的是，对该第一磁盘进行休眠是实现第一磁盘的动态休眠，在热度高的磁盘即第二磁盘的存储达到预定的存储阈值时，或是在第一磁盘中存在超过预定阈值的chunk时，可以在对该第一磁盘进行休眠之后，唤醒该第一磁盘，通过这样的处理，一方面，可以有效避免热度高的磁盘过负荷，另一方面，也可以使得空闲的磁盘得到有效利用。

在对磁盘进行动态休眠时，涉及到磁盘中chunk的动态迁移。在对磁盘中的chunk进行动态迁移时，可以采用多种方式，在此介绍一种队列优先级的处理方式，下面举例说明。

例如，在第二磁盘达到预定存储阈值的情况下，唤醒第一磁盘时可以采用以下处理：对第二磁盘中的chunk，依据chunk的访问热度的高低进行排序(即形成具备一定优先级的队列)；将访问热度排在队列尾端的chunk迁移到第一磁盘。

又例如，将第一磁盘中访问热度超过预定阈值的chunk迁移到第二磁盘也可以采用类似的处理：对统计第一磁盘中的chunk，依据访问热度进行排序(也即形成具备一定优先级的队列)；将超过预定阈值的chunk迁移到第二磁盘。采用队列优先级的处理方式，不仅可以提高处理的效率，而且简单方便。

在本实施例中还提供了一种磁盘休眠处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的磁盘休眠处理装置的结构框图，如图2所示，该装置包括统计模块22、判断模块24、迁移模块26和休眠模块28，下面对该装置进行说明。

统计模块22，用于统计对第一磁盘中各个存储块chunk进行访问的访问热度；判断模块24，连接至上述统计模块22，用于判断对chunk进行访问的访问热度是否达到预定阈值；迁移模块26，连接至上述判断模块24，用于在判断模块的判断结果为是的情况下，将第一磁盘中访问热度超过预定阈值的chunk迁移到第二磁盘，其中，第二磁盘的性能高于第一磁盘；休眠模块28，连接至上述迁移模块26，用于对第一磁盘进行休眠。

图3是根据本发明实施例的磁盘休眠处理装置中休眠模块28的优选结构框图，如图3所示，该休眠模块28包括：休眠单元32，下面对该休眠单元32进行说明。

休眠单元32，用于在第一磁盘存在至少两个的情况下，在预定时间内采用预定轮流休眠的方式对第一磁盘进行休眠。

图4是根据本发明实施例的磁盘休眠处理装置的优选结构框图，如图4所示，该装置除包括图2所示的所有结构外，还包括唤醒模块42，下面对该唤醒模块42进行说明。

唤醒模块42，连接至上述休眠模块28，用于在满足以下条件至少之一时，唤醒第一磁盘：第二磁盘达到预定存储阈值、在第一磁盘中存在超过预定阈值的chunk。

图5是根据本发明实施例的磁盘休眠处理装置中唤醒模块42的优选结构框图，如图5所示，该唤醒模块42包括：第一排序单元52和第一迁移单元54，下面对该唤醒模块42进行说明。

第一排序单元52，用于在第二磁盘达到预定存储阈值的情况下，对第二磁盘中的chunk，依据chunk的访问热度的高低进行排序；第一迁移单元54，连接至上述第一排序单元52，用于将访问热度排在队列尾端的chunk迁移到第一磁盘。

图6是根据本发明实施例的磁盘休眠处理装置中迁移模块26的优选结构框图，如图6所示，该迁移模块26包括：第二排序单元62和第二迁移单元64，下面对该迁移模块26进行说明。

第二排序单元62，用于对统计第一磁盘中的chunk，依据访问热度进行排序；第二迁移单元64，连接到上述第二排序单元62，用于将超过预定阈值的chunk迁移到第二磁盘。

针对相关技术中，磁盘休眠技术中存在的只能固定时间休眠，以及不必要分片修复造成的系统性能浪费的缺陷，在本实施例中，提供了一种在分级存储基础上实现磁盘动态休眠的方案。下面先对基于分级存储的磁盘动态休眠磁盘系统的架构进行说明。

图7是根据本发明优选实施例的分级存储动态休眠磁盘系统架构示意图，如图7所示，该系统包括：chunk访问统计模块70、IO负载上报模块72(上述两者结合功能同上述统计模块22)、chunk访问统计管理模块74(功能同上述判断模块24)、chunk冷热调度模块76(功能同上述迁移模块26)和磁盘休眠控制模块78(功能同上述休眠模块28)。以下以第一磁盘为串行高级技术附件(SerialAdvancedTechnologyAttachment，简称为SATA)，第二磁盘为固态磁盘(SolidStateDisk，简称为SSD)为例进行说明。其中，该第二磁盘的性能高于第一磁盘，即是指该第二磁盘不管是读写能力，还是存储能力，处理统计信息的能力等性能均高于第一磁盘。

chunk访问统计模块70，在FAC侧，主要上报用户对chunk的读字节数统计信息给chunk访问统计管理模块74。该模块在有用户读文件的时候，将用户对文件指定chunk的访问统计信息在读文件结束关闭文件的时候上报给chunk访问统计管理模块74。chunk的访问统计信息包括，chunkid(chunk标识)，访问的字节数。访问多次则累加每次访问的字节数。

chunk访问统计管理模块74，在FLR侧，根据FAC上报的统计信息计算当前的收益，并修改数据库中的收益字段。该模块收集对chunk的访问统计信息，计算在统计周期内对chunk的访问收益，调用数据库的接口修改chunk表chunk的收益字段。

chunk冷热调度模块76，在数据库侧，根据chunk的访问收益，在设定的周期内，根据chunk的历史访问收益以及当前访问收益计算chunk的收益，并构建chunk升级、降级的优先级队列。并通知FLR进行chunk在SSD、SATA之间进行迁移。

磁盘休眠控制模块78，在FAS侧。在热点chunk迁移成功后，对部分SATA磁盘进行休眠。在SSD空间达到阈值时，需要对热点chunk做降级处理时，对休眠的SATA盘动态唤醒。

SSD管理模块，属于支撑模块，需要增加对SSD磁盘的管理，包括磁盘识别、建卷、删卷、告警上报恢复。

图8是根据本发明优选实施例的磁盘动态休眠方法的交互示意图，如图8所示，该磁盘动态休眠方法包括如下处理：由FLR的调度模块发起chunk升级请求，将SATA盘的热点数据迁移到SSD盘，并删除SATA盘上的数据。并修改数据库中的chunk位置信息。完成热点迁移后，将即将休眠的磁盘做chunk扫描，并上报给FLR的chunk级访问统计模块。依次对N块SATA盘进行休眠。迁移成功后，将chunk放到chunk收益降级队列。在系统设定的分级存储迁移周期(以小时为单位)时间到，发起冷热chunk之间的迁移流量。数据库收集FAS上迁移队列的长度以及正常的读写访问的队列长度，在读写队列长度在阈值之内的，并且迁移队列长度在设定的阈值之内的chunk发起迁移流程，通知FLR将chunk从SATA存储迁移到一级缓存，完成迁移后，对非热点存储的N个SATA盘进行休眠。

图9是根据本发明优选实施例的磁盘动态休眠方法的流程图，如图9所示，该流程包括如下步骤：

步骤S902，开始对chunk进行分级处理；

步骤S904，判断是否达到降级的阈值，在判断结果为是的情况下，进入步骤S906，否则返回步骤S902；

步骤S906，启用降级流程；

步骤S908，获取该卷负载情况，包括：迁移队列长度，IO读写队列长度；

步骤S910，判断读写队列长度是否小于预设阈值，在判断结果为是的情况下，进入步骤S912，否则返回步骤S902；

步骤S912，判断迁移队列长度是否小于预定阈值，在判断结果为是的情况下，进入步骤S914，否则返回步骤S902；

步骤S914，从迁移队列头部取出一个chunk；

步骤S916，通知FLR迁移到一级缓存目的卷；

步骤S918，判断迁移是否成功，在判断结果为是的情况下，进入步骤S920，否则返回步骤S912；

步骤S920，将该chunk从迁移升级队列中删除；

步骤S922，将该chunk放到降级优先级队列中；

步骤S924，修改该chunk的位置信息，并删除源chunk；

步骤S926，统计SATA盘上的所有chunk并记录；

步骤S928，将SATA盘休眠，返回步骤S912。

图10是根据本发明优选实施例的磁盘动态唤醒方法的交互示意图，如图10所示，该磁盘动态唤醒方法包括如下处理：当SSD盘空间达到阈值时，需要对chunk进行降级。由FLR的调试模块发起降级请求，FAS响应对对休眠的磁盘进行动态唤醒。迁移成功后，修改FLR数据库中的chunk位置信息。并将chunk从降级队列中删除。当休眠状态下的磁盘chunk收益达到热点的阈值，对该休眠磁盘进行唤醒。在一级缓存中空间达到设定的阈值，比如80％，则需要发起热点chunk的降级处理。通知FAS唤醒休眠的磁盘，降级处理从chunk降级队列的尾端取出收益低的chunk，从SSD盘迁移到SATA盘中，同时删除SSD盘上的数据，并通知FLR修改chunk位置信息。

图11是根据本发明优选实施例的磁盘动态唤醒方法的流程图，如图11所示，该流程包括如下步骤：

步骤S1102，获取所有一级缓存卷列表；

步骤S1104，取一个卷；

步骤S1106，判断该卷空间使用是否已经达到预定阈值，在判断结果为是的情况下，进入步骤S1108，否则返回步骤S1104；

步骤S1108，从chunk降级队列尾部取出一个收益低的chunk；

步骤S1110，唤醒休眠的SATA盘；

步骤S1112，通知FLR从一级存储卷SSD中迁移chunk到SATA；

步骤S1114，判断迁移是否成功，在判断结果为是的情况下，进入步骤S1116，否则返回步骤S1106；

步骤S1116，将该chunk从迁移队列尾部删除；

步骤S1118，删除SSD中的物理chunk；

步骤S1120，修改数据库chunk的位置信息。

另外，需要说明的是，上述实施例及优选实施方式可以广泛用于使用海量存储长时间运行的磁盘存储中。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种磁盘休眠处理方法，其特征在于，包括：

统计对第一磁盘中各个存储块chunk进行访问的访问热度；

判断对chunk进行访问的所述访问热度是否达到预定阈值；

在判断结果为是的情况下，将所述第一磁盘中访问热度超过所述预定阈值的chunk迁移到第二磁盘，其中，所述第二磁盘的性能高于第一磁盘；

对所述第一磁盘进行休眠。

2.根据权利要求1所述的方法，其特征在于，在所述第一磁盘存在至少两个的情况下，对所述第一磁盘进行休眠包括：

在预定时间内采用预定轮流休眠的方式对所述第一磁盘进行休眠。

3.根据权利要求1所述的方法，其特征在于，在对所述第一磁盘进行休眠之后，还包括：

在满足以下条件至少之一时，唤醒所述第一磁盘：所述第二磁盘达到预定存储阈值、在所述第一磁盘中存在超过所述预定阈值的chunk。

4.根据权利要求3所述的方法，其特征在于，在所述第二磁盘达到所述预定存储阈值的情况下，唤醒所述第一磁盘包括：

对所述第二磁盘中的chunk，依据所述chunk的访问热度的高低进行排序；

将访问热度排在队列尾端的chunk迁移到所述第一磁盘。

5.根据权利要求1所述的方法，其特征在于，将所述第一磁盘中访问热度超过所述预定阈值的chunk迁移到所述第二磁盘包括：

对统计所述第一磁盘中的所述chunk，依据所述访问热度进行排序；

将超过所述预定阈值的chunk迁移到所述第二磁盘。

6.一种磁盘休眠处理装置，其特征在于，包括：

统计模块，用于统计对第一磁盘中各个存储块chunk进行访问的访问热度；

判断模块，用于判断对chunk进行访问的所述访问热度是否达到预定阈值；

迁移模块，用于在所述判断模块的判断结果为是的情况下，将所述第一磁盘中访问热度超过所述预定阈值的chunk迁移到第二磁盘，其中，所述第二磁盘的性能高于第一磁盘；

休眠模块，用于对所述第一磁盘进行休眠。

7.根据权利要求6所述的装置，其特征在于，所述休眠模块包括：

休眠单元，用于在所述第一磁盘存在至少两个的情况下，在预定时间内采用预定轮流休眠的方式对所述第一磁盘进行休眠。

8.根据权利要求6所述的装置，其特征在于，还包括：

唤醒模块，用于在满足以下条件至少之一时，唤醒所述第一磁盘：所述第二磁盘达到预定存储阈值、在所述第一磁盘中存在超过所述预定阈值的chunk。

9.根据权利要求8所述的装置，其特征在于，所述唤醒模块包括：

第一排序单元，用于在所述第二磁盘达到所述预定存储阈值的情况下，对所述第二磁盘中的chunk，依据所述chunk的访问热度的高低进行排序；

第一迁移单元，用于将访问热度排在队列尾端的chunk迁移到所述第一磁盘。

10.根据权利要求6所述的装置，其特征在于，迁移模块包括：

第二排序单元，用于对统计所述第一磁盘中的所述chunk，依据所述访问热度进行排序；

第二迁移单元，用于将超过所述预定阈值的chunk迁移到所述第二磁盘。