CN104793901B - 一种存储装置及存储方法 - Google Patents

Abstract

本发明公开了一种存储装置及存储方法，其中存储装置包括相互连接的高速存储模块、低速存储模块和缓存处理模块；所述低速存储模块用于存储冷数据，所述高速存储模块用于存储热数据；所述缓存处理模块根据数据提升命令，控制所述低速存储模块将目标冷数据发送到所述高速存储模块，提升为目标热数据，并启动所述目标热数据对应的老化定时器；在所述老化定时器到期后，所述缓存处理模块获取所述高速存储模块中其他全部热数据的平均引用次数，若所述目标热数据的被引用次数低于所述平均引用次数，则将所述目标热数据移出所述高速存储模块。本发明提供的一种存储装置及存储方法有效地提高了现有高速存储介质的使用效率和I/O处理能力。

Description

一种存储装置及存储方法

技术领域

本发明涉及数据存储领域，特别是指一种能够提升高速存储介质使用效率的存储装置及存储方法。

背景技术

大量虚拟机同时启动会给后端存储带来巨大I/O(Input/Output，输入/输出)压力，启动过程响应极慢，一些数据库业务也存在同样类似的问题，如12306、淘宝网等网站在目标时间点，I/O的访问量会出现海量增加，大幅增加网页的响应时间，甚至引起服务器崩溃。解决上述问题的方法主要是通过SSD(Solid State Drives，固态硬盘)等高速存储介质作为缓存来加速热点数据，即经过一段时间的访问，对原本存储在SAS硬盘(SerialAttached SCSI，串行连接SCSI)等低速存储介质中的“冷数据”进行预热，通过记录全部冷数据的被引用次数，将被引用次数达到额度的冷数据从SAS等低速存储介质中提升至SSD等高速存储介质中，形成“热数据”供I/O访问，降低后端低速存储介质的I/O压力，从而对后续虚拟机的启动进行加速。

然而，现有技术对于冷数据预热需要一定的时间，其间有业务I/O访问，整体的I/O性能提升较慢；尤其是对于在可预期的特定时间点，爆炸式出现的大量I/O访问，如果采用现有技术，则迫于服务器压力，无法及时将预热完毕的冷数据提升至SSD中，仍然会造成虚拟机启动缓慢，影响用户体验。同时，现有技术通常仅通过判断高速存储介质的剩余存储容量较低时，才会对其容纳的数据进行降级处理，降低了高速存储介质的使用效率和I/O处理能力。

发明内容

有鉴于此，本发明的目的在于提出一种能够提高高速存储介质的使用效率和I/O处理能力的存储装置及存储方法。

基于上述目的本发明提供的一种存储装置，包括相互连接的高速存储模块、低速存储模块和缓存处理模块；所述低速存储模块用于存储冷数据，所述高速存储模块用于存储热数据。

所述缓存处理模块根据数据提升命令，控制所述低速存储模块将目标冷数据发送到所述高速存储模块，提升为目标热数据，并启动所述目标热数据对应的老化定时器；在所述老化定时器到期后，所述缓存处理模块获取所述高速存储模块中其他全部热数据的平均引用次数，若所述目标热数据的被引用次数低于所述平均引用次数，则将所述目标热数据移出所述高速存储模块。

可选的，所述缓存处理模块将被移出所述高速存储模块的所述目标热数据，和与其对应的目标冷数据对比，若二者内容完全一致，则所述高速存储模块删除被移出的所述目标热数据，若二者内容不同，则所述缓存处理模块用被移出的所述目标热数据替换原本与其对应的所述目标冷数据，生成新的冷数据并存储于所述低速存储模块中。

可选的，所述高速存储模块为固态硬盘或使用固态硬盘组成的存储阵列；所述低速存储模块为普通的硬盘驱动器或使用硬盘驱动器组成的存储阵列。

可选的，所述数据提升命令包括：

数据原始路径，其为目标冷数据所在低速存储模块的名称；数据目标路径，其为冷数据待提升至的高速存储模块的名称；数据起始扇区，其为冷数据在低速存储模块中的起始位置；数据结束扇区，其为冷数据在低速存储模块中的结束位置；数据老化时间，其为所述老化定时器的到期时间。

基于上述目的本发明提供的一种存储方法，包括以下步骤：

缓存处理模块获取数据提升命令，所述数据提升命令包括数据老化时间；

缓存处理模块根据数据提升命令，控制低速存储模块将目标冷数据发送到高速存储模块，提升为目标热数据；

缓存处理模块启动所述热数据对应的老化定时器；

所述老化定时器经历所述数据老化时间后到期，所述老化定时器到期后，所述缓存处理模块判断所述目标热数据的被引用数，若所述目标热数据的被引用数低于其他全部热数据被引用数的平均值，则将所述热数据移出所述高速存储模块。

可选的，所述数据提升命令还包括：

数据原始路径，冷数据所在低速存储模块的名称；数据目标路径，冷数据待提升至的高速存储模块的名称；数据起始扇区，冷数据在低速存储模块中的起始位置；数据结束扇区，冷数据在低速存储模块中的结束位置。

可选的，所述缓存处理模块将被移出所述高速存储模块的所述目标热数据，和与其对应的所述目标冷数据对比，若二者内容完全一致，则所述高速存储模块删除被移出的所述目标热数据，若二者内容不同，则所述高速存储模块用被移出的所述目标热数据替换原本与其对应的所述目标冷数据，生成新的冷数据并存储于所述低速存储模块中。

可选的，当高速存储模块中的数据总量大于或等于容量阈值时，高速存储模块对其容纳的全部热数据按照被引用数升序进行排序，并将老化计时器已经到期的、被引用数最少的且总容量不低于矫正阈值的一个或多个热数据移出高速存储模块。

可选的，所述容量阈值为所述高速存储模块总容量的80％至90％，所述矫正阈值为所述高速存储模块总容量的10％至20％。

可选的，还包括以下步骤：

缓存处理模块获取低速存储模块中的冷数据的被引用次数，将被引用次数达到预设阈值的冷数据发送至高速存储模块，提升为热数据。

从上面所述可以看出，本发明提供的一种存储装置及存储方法有效地提高了现有高速存储介质的使用效率和I/O处理能力。

附图说明

图1为本发明提供的一种存储装置的实施例的整体示意图；

图2为本发明提供的一种存储方法的实施例的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

首先介绍本发明提供的一种存储装置。

图1为本发明提供的一种存储装置的实施例的整体示意图。如图所示，本发明提供的一种存储装置包括相互连接的高速存储模块1、低速存储模块2和缓存处理模块3；所述低速存储模块2用于存储冷数据，所述高速存储模块1用于存储热数据；

所述缓存处理模块3根据数据提升命令，控制所述低速存储模块2将目标冷数据发送到所述高速存储模块1，提升为目标热数据，并启动所述目标热数据对应的老化定时器；在所述老化定时器到期后，所述缓存处理模块3获取所述高速存储模块1中其他全部热数据的平均引用次数，若所述目标热数据的被引用次数低于所述平均引用次数，则将所述目标热数据移出所述高速存储模块1。

可选的，所述缓存处理模块3将被移出所述高速存储模块1的所述目标热数据，和与其对应的目标冷数据对比，若二者内容完全一致，则所述高速存储模块1删除被移出的所述目标热数据，若二者内容不同，则所述缓存处理模块3用被移出的所述目标热数据替换原本与其对应的所述目标冷数据，生成新的冷数据并存储于所述低速存储模块2中。

可选的，所述高速存储模块1为固态硬盘或使用固态硬盘组成的存储阵列；所述低速存储模块2为普通的硬盘驱动器(HDD，如SAS/SATA硬盘等)或使用硬盘驱动器组成的存储阵列。

需要说明，在本申请文件中，“被引用次数”“平均被引用次数”等均表示一定时间内的被引用次数，即被引用的频率，而并非指从目标时间点开始总的被引用次数。

下面介绍基于上述存储装置的存储方法。

图2为本发明提供的一种存储方法的实施例的流程示意图。如图所示，本发明提供的一种存储方法包括：

S1，缓存处理模块3获取数据提升命令，所述数据提升命令包括数据老化时间；

S2，缓存处理模块3根据数据提升命令，控制低速存储模块2将目标冷数据提升为目标热数据，并发送到高速存储模块1；

S3，缓存处理模块3启动所述目标热数据对应的老化定时器；

S4，所述老化定时器经历所述老化时间后到期，所述老化定时器到期后，所述缓存处理模块判断所述目标热数据的被引用数，若所述目标热数据的被引用数低于其他全部热数据被引用数的平均值，则将所述热数据移出所述高速存储模块1。具体的，步骤S4包括以下子步骤：

S41，老化定时器到期后，启动数据回调函数。

S42，缓存处理模块判断目标热数据热度，若所述目标热数据的被引用数低于其他全部热数据被引用数的平均值，执行步骤S43；否则执行步骤S44。

S43，将所述目标热数据移出所述高速存储模块1，被移出的所述目标热数据被降级至慢速存储模块或被删除。

S44，将所述目标热数据继续保存在高速存储模块1。

步骤S1中的所述数据提升命令是指，用户在可计划性、可预期性的I/O访问量增加之前，发出的用于提前将“冷数据”“预热”(将即将被大量引用以满足用户访问所需虚拟机启动需求的数据，提前由低速存储模块发送至高速存储模块)的命令。首先对“冷数据”“热数据”和“预热”进行说明：“冷数据”和“热数据”是相对概念，“冷数据”是指被引用次数较少的数据，而“热数据”是指被引用次数较多的数据；在本实施例中，存储于低速存储单元中的数据均称为冷数据，而存储于高速存储单元中的热数据，在经过一段时间后，也可能因不再被引用而变为冷数据；在本实施例中，判定高速存储数据冷热的方法是，将该数据的被引用次数与其他存储于高速存储介质中的数据的平均被引用次数对比，若该数据的被引用次数小于其他数据的平均被引用次数，则判定该数据为冷数据，否则判定其为热数据。

步骤S1中的所述数据提升命令的内容包括：命令类型、数据原路径、数据目标路径，数据老化时间等。具体命令格式如下：

pb_cache message"[cahce_virtual_device][new_promote_device][begain_sector][end_sector][old_time][cmd_type]"，cahce_virtual_device为用户可见的虚拟缓存设备ID，也即上文中的数据目标路径，此处的虚拟缓存设备是指建立在高速存储模块中的数据分区；new_promote_device为数据原路径，即数据所在低速存储模块的ID，begain_sector为待提升数据所在低速存储模块的数据起始扇区(默认值-1代表为整个低速存储模块的开始地址)，end_sector为提升数数据所在低速存储模块的数据结束扇区(默认值-1代表为整个低速存储模块的结束地址)，old_time为数据老化时间(指成功执行命令后多久时间对数据热度进行判断，单位为秒，下文会对此进行详述)，cmd_type为命令类型(具体值可以是promote数据提升或demote数据降级，在此处的数据提升命令中为promote数据提升)。

上述数据提升命令由用户预先制定，并在指定时间点发送至缓存处理模块3；缓存处理模块3按照数据提升命令，将制定低速存储模块中的指定冷数据发送至高速存储单元中的虚拟缓存设备中，提升为热数据。

可见，本发明可以根据用户主动给出的数据提升命令，有计划地在可预期的I/O访问量增加之前，把即将被大量引用的冷数据预热，提前将存储于低速存储模块中的冷数据提升至高速存储模块，可以避免现有技术中通过引用次数增加提升冷数据时，存在的延迟问题，可以满足虚拟机快速启动的条件。当然，本发明提供的存储方法并不限于仅使用上述步骤S1中的、采用数据提升命令的方式进行数据提升，步骤S1针对的是有计划的、可预期的I/O事件的爆发式增加，而对于I/O事件数量起伏较为平稳的时期，通过缓存处理模块3获取低速存储模块2中的冷数据被引用次数，并将被引用次数达到预设阈值的数据发送至高速存储模块1，提升为热数据，即可满足业务需求。通过将数据提升命令和判断被引用数的方式结合进行冷数据预热，既可以保证常规的业务需求，又具备对有计划的、可预期的I/O事件的爆发式增加的处理能力。

执行完步骤S1后，执行步骤S2，缓存处理模块3根据数据提升命令，控制低速存储模块2将目标冷数据提升为目标热数据，并发送到高速存储模块1。

执行完步骤S2后，执行步骤S3，缓存处理模块3启动所述目标热数据对应的老化定时器，即对每项被新提升进入高速存储模块1中热数据都配置一个特定的老化定时器，缓存处理模块3调用内核API启动老化定时器，老化定时器的超时时长为上述数据提升命令中由用户设置的数据老化时间。

执行完步骤S3后，执行步骤S4。具体的，步骤S4包括以下子步骤：

S41，老化定时器到期后，启动数据回调函数。

S42，缓存处理模块判断目标热数据热度，若所述目标热数据的被引用数低于其他全部热数据被引用数的平均值，执行步骤S43；否则执行步骤S44。

S43，将所述目标热数据移出所述高速存储模块1，被移出的所述目标热数据被降级至慢速存储模块或被删除。

S44，将所述目标热数据继续保存在高速存储模块1。

事实上在完成步骤S2后，冷数据已经被提升为热数据，在数据提升完毕之后，再批量启动虚拟机，此时虚拟机启动所需要的热数据已经存在高速存储模块1中，不需要再经过缓慢的提升过程，批量虚拟机的启动过程快速，启动响应时间缩短。在虚拟机启动之后，部分位于高速存储模块1中的热数据(例如系统镜像文件等)很少被频繁访问，热度不断降低，当目标老化定时器超时后，启动老化定时器的超时回调函数，此函数遍历之前提升的所有热数据的被引用计数信息，将该目标老化定时器所对应的目标热数据的被引用数与其他全部热数据被引用数的平均值进行对比，若该目标热数据的被引用数大于其他全部热数据被引用数的平均值，则仍将该目标热数据保留在高速存储模块1中，并定时采用上述同样的方法对其热度进行判定；若该目标热数据的被引用数小于其他全部热数据被引用数的平均值，则将该目标热数据移出高速存储模块1。

在本实施例的子步骤S43中，所述缓存处理模块3将被移出所述高速存储模块1的所述目标热数据，和与其对应的所述目标冷数据(及该热数据被提升前在低速存储模块中的源文件)对比，若二者内容完全一致，则所述高速存储模块1删除被移出的所述目标热数据，若二者内容不同，则所述缓存处理模块3用被移出的所述目标热数据替换原本与其对应的所述目标冷数据，生成新的冷数据并存储于所述低速存储模块中。

在高速存储模块1中，因热数据被移出而空出的存储空间可以继续用来存储用户业务的热点数据。在本实施例中，当高速存储模块1中的数据总量大于或等于容量阈值时，高速存储模块1对其容纳的全部热数据按照被引用数升序进行排序，并将老化计时器已经到期的、被引用数最少的且总容量不低于矫正阈值的一个或多个热数据移出高速存储模块1。其中，所述容量阈值为所述高速存储模块总容量的80％至90％，所述矫正阈值为所述高速存储模块总容量的10％至20％。通过上述方式，在一些特殊情况下(例如热数据提升速率过快导致高速存储模块中的热数据容量骤增，或者原本早高速存储模块中存储有大量的其他热点数据，导致用于存储热数据的空间较小等)，也可以采用剩余空间限额判定的方法进行热数据的降级，以保证高速存储模块1中存储容量保持在健康值。

可见，本发明采用老化定时器的方式较现有技术中剩余空间限额的方式可更快速地触发热数据向下降级，而不必完全等待高速存储模块空间不足时再将热数据向下降级，可及时清理高速存储模块的存储空间，提高高速存储模块的使用效率以及I/O的访问性能。

下面通过一个具体应用例说明本发明提出的一种存储装置及存储方法相对现有技术的优势。

某电商网站推出降价促销，预计在某日9时、12时、15时整点限量发售打折商品。可预期的，在上述三个时间点，必然有大量用户提交交易请求，给服务器带来爆发式的I/O事件；此时若采用现有技术的存储方法，则冷数据预热需要过程，用户虚拟机的建立在一定时间内(如5分钟)需要从低速存储模块获取数据，而低速存储模块无法满足全部用户的业务需求，导致部分用户排队；反映在用户方面为，部分用户无法刷新出交易页面，只有等到5分钟后，冷数据预热完毕，才能刷新交易页面，而此时打折商品或已售完，会引起用户的不满。而如果采用本发明提供的存储方法，则可以在上述三个时间点前几分钟内，发出数据提升命令，将冷数据预热，进而保证了特定时间点的业务需求。

综上可见，本发明提供的一种存储装置及存储方法的有益效果包括：

1、采用数据提升命令作为冷数据预热的标识，相对现有技术采用冷数据被引用数进行数据提升判定的方式，在处理有计划的、可预期的I/O业务爆发式增加时，可以提高处理速度，保证用户体验。

2、采用老化定时器的方式触发热数据降级，较现有技术中剩余空间限额的方式可更快速地触发降级，而不必完全等待高速存储模块空间不足时再执行降级，可及时清理高速存储模块的存储空间，提高高速存储模块的使用效率以及I/O的访问性能。

所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种存储装置，其特征在于，包括相互连接的高速存储模块、低速存储模块和缓存处理模块；所述低速存储模块用于存储冷数据，所述高速存储模块用于存储热数据；

所述缓存处理模块根据数据提升命令，控制所述低速存储模块将目标冷数据发送到所述高速存储模块，提升为目标热数据，并启动所述目标热数据对应的老化定时器；在所述老化定时器到期后，所述缓存处理模块获取所述高速存储模块中其他全部热数据的平均引用次数，若所述目标热数据的被引用次数低于所述平均引用次数，则将所述目标热数据移出所述高速存储模块；其中，所述数据提升命令是指，用户在可计划性、可预期性的I/O访问量增加之前，发出的用于提前将目标冷数据进行预热的命令。

2.根据权利要求1所述的存储装置，其特征在于，所述缓存处理模块将被移出所述高速存储模块的所述目标热数据，和与其对应的目标冷数据对比，若二者内容完全一致，则所述高速存储模块删除被移出的所述目标热数据，若二者内容不同，则所述缓存处理模块用被移出的所述目标热数据替换原本与其对应的所述目标冷数据，生成新的冷数据并存储于所述低速存储模块中。

3.根据权利要求1所述的存储装置，其特征在于，所述高速存储模块为固态硬盘或使用固态硬盘组成的存储阵列；所述低速存储模块为普通的硬盘驱动器或使用硬盘驱动器组成的存储阵列。

4.根据权利要求1所述的存储装置，其特征在于，所述数据提升命令包括：

数据原始路径，其为目标冷数据所在低速存储模块的名称；数据目标路径，其为冷数据待提升至的高速存储模块的名称；数据起始扇区，其为冷数据在低速存储模块中的起始位置；数据结束扇区，其为冷数据在低速存储模块中的结束位置；数据老化时间，其为所述老化定时器的到期时间。

5.一种用于权利要求1-4任意一项所述的存储装置的存储方法，其特征在于，包括以下步骤：

缓存处理模块获取数据提升命令，所述数据提升命令包括数据老化时间；

缓存处理模块根据数据提升命令，控制低速存储模块将目标冷数据发送到高速存储模块，提升为目标热数据；

缓存处理模块启动所述热数据对应的老化定时器；

所述老化定时器经历所述数据老化时间后到期，所述老化定时器到期后，所述缓存处理模块判断所述目标热数据的被引用数，若所述目标热数据的被引用数低于其他全部热数据被引用数的平均值，则将所述热数据移出所述高速存储模块。

6.根据权利要求5所述的存储方法，其特征在于，所述数据提升命令还包括：

数据原始路径，冷数据所在低速存储模块的名称；数据目标路径，冷数据待提升至的高速存储模块的名称；数据起始扇区，冷数据在低速存储模块中的起始位置；数据结束扇区，冷数据在低速存储模块中的结束位置。

7.根据权利要求5所述的存储方法，其特征在于，所述缓存处理模块将被移出所述高速存储模块的所述目标热数据，和与其对应的所述目标冷数据对比，若二者内容完全一致，则所述高速存储模块删除被移出的所述目标热数据，若二者内容不同，则所述高速存储模块用被移出的所述目标热数据替换原本与其对应的所述目标冷数据，生成新的冷数据并存储于所述低速存储模块中。

8.根据权利要求5所述的存储方法，其特征在于，当高速存储模块中的数据总量大于或等于容量阈值时，高速存储模块对其容纳的全部热数据按照被引用数升序进行排序，并将老化计时器已经到期的、被引用数最少的且总容量不低于矫正阈值的一个或多个热数据移出高速存储模块。

9.根据权利要求8所述的存储方法，其特征在于，所述容量阈值为所述高速存储模块总容量的80％至90％，所述矫正阈值为所述高速存储模块总容量的10％至20％。

10.根据权利要求5所述的存储方法，其特征在于，还包括以下步骤：

缓存处理模块获取低速存储模块中的冷数据的被引用次数，将被引用次数达到预设阈值的冷数据发送至高速存储模块，提升为热数据。