CN107807798A - 一种分级存储性能优化方法及系统 - Google Patents

Abstract

本发明公开了一种分级存储性能优化方法及系统，该方法包括：当需要将数据从第一存储迁移到第二存储中时，获取第一存储中各数据在预设的时间段内的访问频率及各数据最近一次被访问的时刻；按照访问频率由小到大、时刻较当前时刻由远到近将对应的数据迁移到第二存储，直到已经迁移的数据量达到预设的阈值为止。本方法中，迁移到第二存储中的数据是第一存储中访问频率较小且最近一次访问时刻距离当前时刻较远的数据，而留在第一存储中的数据是访问频率较大且最近一次访问时刻距离当前时刻较近的数据，因此在第一存储中访问到需要的数据的概率增加了，提高了存储系统的读写性能。本发明提供的一种分级存储性能优化系统也能提高存储系统的读写性能。

Description

一种分级存储性能优化方法及系统

技术领域

本发明涉及数据存储技术领域，更具体地说，涉及一种分级存储性能优化方法，还涉及一种分级存储性能优化系统。

背景技术

对于一个存储系统而言，该存储系统中所存储数据的数据量可能会很大，这些数据中存在一些可能不经常被访问的数据，因此分级存储应运而生。通常的方法是将高性能存储设备用于存储“热数据”，即访问频率较高的数据，而将低性能存储设备用于存储“冷数据”，即访问频率较低的数据。用户在访问存储系统的时候，首先访问的是高性能存储设备，若在该高性能存储设备中没有访问到需要的数据，再去访问低性能存储设备，而当从低性能存储设备访问到该数据后，该数据会被认为是“热数据”，然后该数据将被从低性能存储设备中迁移到高性能存储设备中。

可见，高性能存储设备中的数据会越来越多，为了防止高性能存储设备存储空间被完全占用后影响读写性能，当高性能存储设备中数据量达到一定值后开始将高性能存储设备中的数据迁移到低性能存储设备中，该迁移的原则为：按照数据写入到高性能存储设备中的时间先后顺序，先写入的数据在迁移时先被迁移到低性能存储设备中。但是这种迁移原则会导致很严重的“乒乓效应”：当有数据从高性能存储设备中迁移到低性能存储设备中，用户需要访问的数据在低性能存储设备中时，用户访问该数据后，该数据被迁移到高性能存储设备中，但由于此时高性能存储设备中的数据已经达到需要迁移的数据量，因此当该数据迁移到高性能存储设备后，又将会导致高性能存储设备中最先写入的数据迁移到低存储设备中。“乒乓效应”表现为数据在高性能存储设备与低性能存储设备之间来回迁移，会降低存储系统的读写性能。

综上所述，如何提供一种能提高存储系统的读写性能的方案，是目前本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种分级存储性能优化方法及系统，能提高存储系统的读写性能。

为了实现上述目的，本发明提供如下技术方案：

一种分级存储性能优化方法，包括：

当需要将数据从第一存储迁移到第二存储中时，获取所述第一存储中的各数据在预设的时间段内的访问频率及所述各数据最近一次被访问的时刻；

按照所述访问频率由小到大、所述时刻较当前时刻由远到近将对应的所述数据迁移到所述第二存储中，直到已经迁移的所述各数据的数据量达到预设的阈值为止。

优选的，所述访问频率及时刻存储在所述第一存储中。

优选的，在将所述各数据迁移到所述第二存储前，还包括：

设置迁移数据的迁移速率，所述迁移速率不小于预设的第一速率且不大于预设的第二速率。

优选的，已经迁移的所述各数据的数据量达到所述预设的阈值后，还包括：

发出迁移结束的提示。

优选的，已经迁移的所述各数据的数据量达到预设的阈值后，还包括：

从所述第一存储中删除已经迁移的所述各数据的所述访问频率及时刻。

一种分级存储性能优化系统，包括：

第一存储、第二存储、获取装置、迁移装置；

所述获取装置用于：当需要将数据从第一存储迁移到第二存储中时，获取所述第一存储中的各数据在预设的时间段内的访问频率及所述各数据最近一次被访问的时刻；

所述迁移装置用于：按照所述访问频率由小到大、所述时刻较当前时刻由远到近将对应的所述数据迁移到所述第二存储中，直到已经迁移的所述各数据的数据量达到预设的阈值为止。

优选的，所述访问频率及时刻存储在所述第一存储中。

优选的，还包括：

设置装置，用于：在所述迁移装置将所述各数据迁移到所述第二存储前，设置迁移数据的迁移速率，所述迁移速率不小于预设的第一速率且不大于预设的第二速率。

优选的，还包括：

提示装置，用于：在已经迁移的所述各数据的数据量达到所述预设的阈值后，发出迁移结束的提示。

优选的，还包括：

删除装置，用于：从所述第一存储中删除已经迁移的所述各数据的所述访问频率及时刻。

本发明提供的一种分级存储性能优化方法，包括：当需要将数据从第一存储迁移到第二存储中时，获取所述第一存储中的各数据在预设的时间段内的访问频率及所述各数据最近一次被访问的时刻；按照所述访问频率由小到大、所述时刻较当前时刻由远到近将对应的所述数据迁移到所述第二存储中，直到已经迁移的所述各数据的数据量达到预设的阈值为止。本方法中，迁移到第二存储中的数据是第一存储中访问频率较小且最近一次访问时刻距离当前时刻较远的数据，而留在第一存储中的数据是访问频率较大且最近一次访问时刻距离当前时刻较近的数据，因此在第一存储中访问到需要的数据的概率增加了，提高了存储系统的读写性能。本发明提供的一种分级存储性能优化系统也能提高存储系统的读写性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种分级存储性能优化方法的流程图；

图2为本发明实施例提供的一种分级存储性能优化方法应用在分布式分级存储系统中对应的结构示意图；

图3为本发明实施例提供的一种分级存储性能优化方法应用在分布式分级存储系统中对应的流程图；

图4为本发明实施例提供的一种分级存储性能优化系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种分级存储性能优化方法的流程图，可以包括：

步骤S11：当需要将数据从第一存储迁移到第二存储中时，获取第一存储中的各数据在预设的时间段内的访问频率及各数据最近一次被访问的时刻。

预设的时间段可以根据实际情况进行选择，最好选择距离当前时刻最近的一个时间段，然后获取这个时间段内第一存储中各个数据的访问频率。访问频率越大说明对应的数据在这段时间内被访问得越频繁，除了获取访问频率外，还需要获取各数据最近一次被访问的时刻，为步骤S12做好准备。

步骤S12：按照访问频率由小到大、时刻较当前时刻由远到近将对应的数据迁移到第二存储中，直到已经迁移的各数据的数据量达到预设的阈值为止。

迁移的数据量的大小可以根据实际情况来进行设置，例如：可以根据第一存储的存储空间的大小来设置，旨在迁移后第一存储具有适当大小的空间完成数据的读写操作；还可以根据步骤S11中获取到数据访问频率来设置，当获取到的数据访问频率显示某些数据访问频率极低，虽然此时第一存储中有足够空间存储这些数据，但是为了进一步提高第一存储的读写性能，可以将这些数据访问频率极低的数据迁移到第二存储中。

本发明实施例中，迁移到第二存储中的数据是第一存储中访问频率较小且最近一次访问时刻距离当前时刻较远的数据，而留在第一存储中的数据是访问频率较大且最近一次访问时刻距离当前时刻较近的数据，因此在第一存储中访问到需要的数据的概率增加了，提高了存储系统的读写性能。

本发明实施例提供的一种分级存储性能优化方法，访问频率及时刻存储在第一存储中。

获取第一存储设备中各数据的数据访问频率及最近一次被访问的时刻后，可以将这些访问频率及时刻存储在第一存储中，有利于在进行迁移数据的时候及时获得这些信息，然后按照访问频率由小到大、时刻较当前时刻由远到近将对应的数据迁移到第二存储中。另外，存储的时候可以以一个频度时间表的形式存储起来，具体地，该表中可以包含各个数据的数据ID，每个数据ID行或列中对应保存该数据的数据访问频率及最近一次访问时刻，当获取到一个数据ID的时候就能很方便地获取到该数据对应的数据访问频率及最近一次访问时刻。

本发明实施例提供的一种分级存储性能优化方法，在将各数据迁移到第二存储前，还包括：

设置迁移数据的迁移速率，迁移速率不小于预设的第一速率且不大于预设的第二速率。

由于将数据从第一存储迁移到第二存储的过程中需要占用网络资源，因此可以根据实际情况设置一个迁移数据的迁移速率，例如可以考虑当前的网络状况：如果当前网络状况良好，那么可以将该迁移速率设置得大一些，若当前网络状况较差，可以将该迁移速率设置得小一些。另外，若迁移速率太大，可能会影响到其他服务的正常使用，但是如果迁移速率太小，又会导致迁移时间太长，预设的第一速率是迁移速率的最小速率，可以用于保证迁移速率不至于过低；预设的第二速率是迁移速率的最大速率，可以保证迁移速率不会过大。

本发明实施例提供的一种分级存储性能优化方法，已经迁移的各数据的数据量达到预设的阈值后，还包括：

发出迁移结束的提示。

如果用户当前需要访问的数据正在进行迁移，那么该用户将不能访问到该数据，因此发出迁移的提示可以使用户及时获知此时迁移结束，然后再对该存储系统进行访问，具有更好的使用体验。

本发明实施例提供的一种分级存储性能优化方法，已经迁移的各数据的数据量达到预设的阈值后，还包括：

从第一存储中删除已经迁移的各数据的访问频率及时刻。

当将需要迁移的数据迁移到第二存储中后，可以将已经存储的各数据的访问频率及时刻删除，释放相应的空间用于存储另外的数据。

下面以本发明实施例提供的一种分级存储性能优化方法应用在分布式分级存储中进行举例说明。请参阅图2和图3，图2示出了本发明实施例提供的一种分级存储性能优化方法应用在分布式分级存储系统中对应的结构示意图，图3示出了本发明实施例提供的一种分级存储性能优化方法应用在分布式分级存储系统中对应的流程图。

在分布式分级存储系统中，将多个服务器对应的存储磁盘统一在一起，形成一个大的存储资源池，将该存储资源池划分为高性能存储资源池与低性能存储资源池，高性能存储资源池(相当于本发明中的第一存储)由高性能磁盘组成，低性能存储资源池(相当于本发明中的第二存储)由低性能磁盘组成。当高性能存储资源池中的数据未达到饱和(饱和可以认为是高性能存储资源池的存储空间用尽也可以认为是存储的数据量达到预定的阈值)时，用户发出的读写请求首先访问高性能存储资源池，若在高性能存储资源池中能访问到需要的数据，那么直接返回该请求，表明访问成功，若在高性能存储资源池中没有访问到需要的数据，那么将继续访问低性能存储资源池中的数据，若在低性能存储资源池中访问到需要的数据后，除了返回该请求，表明访问成功外，被访问的数据还会被迁移到高性能存储资源池中。当高性能存储资源池中的数据饱和时，需要将高性能存储资源池中一部分数据迁移到低性能存储资源池。在迁移之前，先获取高性能存储资源池中的各数据的ID、预设的一段时间内的数据访问频率、最近一次访问时刻，然后将这些信息以一个频度时间表的形式存储在高性能存储资源池中，每个数据的ID所在的行或列中对应保存了这个数据的上述数据访问频率及最近一次访问时刻，将数据访问频率按照从小到大进行排序，频率相等的则按照最近一次访问时刻较当前时刻由远到近排序，迁移时则将数据访问频率越小的、最近一次访问时刻较当前时刻越远的越先被迁移到低性能存储资源池中，当迁移的数据量达到预设的阈值的时候，迁移停止。迁移停止后，将高性能存储资源池中存储的频度时间表删除。迁移后，高性能存储资源池中的数据整体上是数据访问频率较高、最近一次访问时刻较当前时刻较近的数据，也就是说用户在访问高性能存储资源池时就能访问到需要的数据的概率增大，相应地，需要访问低性能存储资源池的概率减小，进而减小了数据从低性能存储资源池迁移到高性能存储资源池的概率，降低了“乒乓效应”发生的概率，提高了存储系统的读写性能。

请参阅图4，其示出了本发明实施例提供的一种分级存储性能优化系统，可以包括：

第一存储11、第二存储12、获取装置13、迁移装置14；

获取装置13用于：当需要将数据从第一存储迁移到第二存储中时，获取第一存储中的各数据在预设的时间段内的访问频率及各数据最近一次被访问的时刻；

迁移装置14用于：按照访问频率由小到大、时刻较当前时刻由远到近将对应的数据迁移到第二存储中，直到已经迁移的各数据的数据量达到预设的阈值为止。

本发明实施例提供的一种分级存储性能优化系统，访问频率及时刻可以存储在第一存储中。

本发明实施例提供的一种分级存储性能优化系统，还可以包括：

设置装置，用于：在迁移装置将各数据迁移到第二存储前，设置迁移数据的迁移速率，迁移速率不小于预设的第一速率且不大于预设的第二速率。

本发明实施例提供的一种分级存储性能优化系统，还可以包括：

提示装置，用于：在已经迁移的各数据的数据量达到预设的阈值后，发出迁移结束的提示。

本发明实施例提供的一种分级存储性能优化系统，还可以包括：

删除装置，用于：从第一存储中删除已经迁移的各数据的访问频率及时刻。

本发明实施例提供的一种分级存储性能优化系统中相关部分的说明请参见本发明实施例提供的一种分级存储性能优化方法中对应部分的详细说明，在此不再赘述。

本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种分级存储性能优化方法，其特征在于，包括：

当需要将数据从第一存储迁移到第二存储中时，获取所述第一存储中的各数据在预设的时间段内的访问频率及所述各数据最近一次被访问的时刻；

按照所述访问频率由小到大、所述时刻较当前时刻由远到近将对应的所述数据迁移到所述第二存储中，直到已经迁移的所述各数据的数据量达到预设的阈值为止。

2.根据权利要求1所述的优化方法，其特征在于，所述访问频率及时刻存储在所述第一存储中。

3.根据权利要求1或2所述的优化方法，其特征在于，在将所述各数据迁移到所述第二存储前，还包括：

设置迁移数据的迁移速率，所述迁移速率不小于预设的第一速率且不大于预设的第二速率。

4.根据权利要求3所述的优化方法，其特征在于，已经迁移的所述各数据的数据量达到所述预设的阈值后，还包括：

发出迁移结束的提示。

5.根据权利要求2所述的优化方法，其特征在于，已经迁移的所述各数据的数据量达到预设的阈值后，还包括：

从所述第一存储中删除已经迁移的所述各数据的所述访问频率及时刻。

6.一种分级存储性能优化系统，其特征在于，包括：

第一存储、第二存储、获取装置、迁移装置；

所述获取装置用于：当需要将数据从第一存储迁移到第二存储中时，获取所述第一存储中的各数据在预设的时间段内的访问频率及所述各数据最近一次被访问的时刻；

所述迁移装置用于：按照所述访问频率由小到大、所述时刻较当前时刻由远到近将对应的所述数据迁移到所述第二存储中，直到已经迁移的所述各数据的数据量达到预设的阈值为止。

7.根据权利要求6所述的优化系统，其特征在于，所述访问频率及时刻存储在所述第一存储中。

8.根据权利要求6或7所述的优化系统，其特征在于，还包括：

设置装置，用于：在所述迁移装置将所述各数据迁移到所述第二存储前，设置迁移数据的迁移速率，所述迁移速率不小于预设的第一速率且不大于预设的第二速率。

9.根据权利要求8所述的优化系统，其特征在于，还包括：

提示装置，用于：在已经迁移的所述各数据的数据量达到所述预设的阈值后，发出迁移结束的提示。

10.根据权利要求7所述的优化系统，其特征在于，还包括：

删除装置，用于：从所述第一存储中删除已经迁移的所述各数据的所述访问频率及时刻。