CN105740167A - 一种文件系统缓存删除的方法及系统 - Google Patents

Abstract

本发明公开了文件系统缓存删除的方法及系统，包括：计算缓存空间中的每个缓存数据块的命中次数，根据所述命中次数对各个缓存数据块进行排序，并根据排序结果计算得到每个缓存数据块的时间性因子；获取缓存空间中的每个缓存数据块的地址偏移量，计算所有缓存数据块的平均地址偏移量，并根据每个缓存数据块的地址偏移量及所述平均地址偏移量计算得到每个缓存数据块的地址性因子；根据每个缓存数据块的时间性因子及每个缓存数据块的地址性因子得到每个缓存数据块的删除综合因子；根据每个缓存数据块的删除综合因子确定删除的缓存数据块；能够通过增加缓存数据块地址性因子，并且结合缓存数据块时间性因子，进而提高缓存数据块删除的命中率。

Description

一种文件系统缓存删除的方法及系统

技术领域

本发明涉及数据处理领域，特别涉及一种文件系统缓存删除的方法及系统。

背景技术

随着科技的进一步发展，大数据时代的逐步来临，存储系统应用越来越广泛。在存储系统中，数据读写性能尤其重要。由于磁盘读写速度和CPU计算速度差异巨大，所以把磁盘数据缓存到内存中，对于数据的读写性能有很大帮助。存储系统通常只能缓存有限的缓存数据，为了保证数据读取的命中率，所以必须对缓存数据进行删除，使留下来的缓存数据更有可能被系统使用。如何删除替换缓存数据，是保证缓存命中率的关键。

对于缓存数据删除，目前有两种比较稳定的方法：一种方法是当一个缓存数据块进入缓存时，统计该数据块的被访问次数，即缓存读取命中次数。然后对缓存空间中的所有缓存数据根据该读取命中次数进行排序。当缓存空间填满，有新的缓存数据需要替换时，系统删除被访问次数最少的缓存数据块。另一种方法是当一个缓存数据块进入缓存时，统计该数据块的最后被访问时间。然后对缓存空间中的所有缓存数据根据该访问时间进行排序。当缓存空间填满，有新的缓存数据需要替换时，系统删除最后访问时间最早的缓存数据块。但是以上两种方法，在对缓存数据进行删除时，均是通过缓存数据块的时间因子进行操作，但是仅仅考虑时间因子并不能充分挖掘缓存数据有效性，使得缓存数据的读取命中率尚不能达到最优的效果。

缓存数据命中率的提高严重影响着存储系统数据读写的性能，所以设计一种合理的缓存删除方法，对缓存数据命中率的提高至关重要，对存储系统的发展意义重大。

发明内容

本发明的目的是提供一种文件系统缓存删除的方法及系统，能够通过增加缓存数据块地址性因子，并且结合缓存数据块时间性因子，进而提高缓存数据块删除的命中率。

为解决上述技术问题，本发明提供一种文件系统缓存删除的方法，包括：

计算缓存空间中的每个缓存数据块的命中次数，根据所述命中次数对各个缓存数据块进行排序，并根据排序结果计算得到每个缓存数据块的时间性因子；

获取缓存空间中的每个缓存数据块的地址偏移量，计算所有缓存数据块的平均地址偏移量，并根据每个缓存数据块的地址偏移量及所述平均地址偏移量计算得到每个缓存数据块的地址性因子；

根据每个缓存数据块的时间性因子及每个缓存数据块的地址性因子得到每个缓存数据块的删除综合因子；

根据每个缓存数据块的删除综合因子确定删除的缓存数据块。

其中，根据所述命中次数对各个缓存数据块进行排序，并根据排序结果计算得到每个缓存数据块的时间性因子，包括：

将各个缓存数据块按照每个缓存数据块对应的命中次数的数值从大到小进行排序，得到每个缓存数据块对应的排序名次数值；

将每个缓存数据块对应的排序名次数值除以缓存数据块的总个数，得到每个缓存数据块对应的时间性因子。

其中，根据每个缓存数据块的地址偏移量及所述平均地址偏移量计算得到每个缓存数据块的地址性因子，包括：

计算得到每个缓存数据块的地址偏移量与所述平均地址偏移量的绝对差值；

将每个缓存数据块对应的绝对差值量化到0至1之间的数值，作为每个缓存数据块对应的地址性因子。

其中，根据每个缓存数据块的时间性因子及每个缓存数据块的地址性因子得到每个缓存数据块的删除综合因子，包括：

将每个缓存数据块的时间性因子与每个缓存数据块的地址性因子相加，得到每个缓存数据块的删除综合因子。

其中，根据每个缓存数据块的时间性因子及每个缓存数据块的地址性因子得到每个缓存数据块的删除综合因子，包括：

将每个缓存数据块的时间性因子分别与时间性因子权重相乘，得到每个缓存数据块的时间性数值；

将每个缓存数据块的地址性因子分别与地址性因子权重相乘，得到每个缓存数据块的地址性数值；

将每个缓存数据块的时间性数值与每个缓存数据块的地址性数值相加，得到每个缓存数据块的删除综合因子。

本发明提供一种文件系统缓存删除的系统，包括：

时间性因子模块，用于计算缓存空间中的每个缓存数据块的命中次数，根据所述命中次数对各个缓存数据块进行排序，并根据排序结果计算得到每个缓存数据块的时间性因子；

地址性因子模块，用于获取缓存空间中的每个缓存数据块的地址偏移量，计算所有缓存数据块的平均地址偏移量，并根据每个缓存数据块的地址偏移量及所述平均地址偏移量计算得到每个缓存数据块的地址性因子；

删除综合因子模块，用于根据每个缓存数据块的时间性因子及每个缓存数据块的地址性因子得到每个缓存数据块的删除综合因子；

确定模块，用于根据每个缓存数据块的删除综合因子确定删除的缓存数据块。

其中，所述时间性因子模块包括：

命中次数单元，用于将各个缓存数据块按照每个缓存数据块对应的命中次数的数值从大到小进行排序，得到每个缓存数据块对应的排序名次数值；

时间性因子单元，用于将每个缓存数据块对应的排序名次数值除以缓存数据块的总个数，得到每个缓存数据块对应的时间性因子。

其中，所述地址性因子模块包括：

绝对差值单元，用于计算得到每个缓存数据块的地址偏移量与所述平均地址偏移量的绝对差值；

地址性因子单元，用于将每个缓存数据块对应的绝对差值量化到0至1之间的数值，作为每个缓存数据块对应的地址性因子。

其中，所述删除综合因子模块包括：

第一删除综合因子单元，用于将每个缓存数据块的时间性因子与每个缓存数据块的地址性因子相加，得到每个缓存数据块的删除综合因子。

其中，所述删除综合因子模块包括：

时间性数值单元，用于将每个缓存数据块的时间性因子分别与时间性因子权重相乘，得到每个缓存数据块的时间性数值；

地址性数值单元，用于将每个缓存数据块的地址性因子分别与地址性因子权重相乘，得到每个缓存数据块的地址性数值；

第二删除综合因子单元，用于将每个缓存数据块的时间性数值与每个缓存数据块的地址性数值相加，得到每个缓存数据块的删除综合因子。

本发明所提供的文件系统缓存删除的方法及系统，包括：计算缓存空间中的每个缓存数据块的命中次数，根据所述命中次数对各个缓存数据块进行排序，并根据排序结果计算得到每个缓存数据块的时间性因子；获取缓存空间中的每个缓存数据块的地址偏移量，计算所有缓存数据块的平均地址偏移量，并根据每个缓存数据块的地址偏移量及所述平均地址偏移量计算得到每个缓存数据块的地址性因子；根据每个缓存数据块的时间性因子及每个缓存数据块的地址性因子得到每个缓存数据块的删除综合因子；根据每个缓存数据块的删除综合因子确定删除的缓存数据块；

该方法及系统在删除系统缓存中的数据块时，不仅考虑系统中缓存数据块的时间相关性，而且考虑了系统中缓存数据块之间的地址相关性，通过增加缓存数据块地址性因子，并且结合缓存数据块时间性因子，使得该缓存删除方法能进一步提高缓存数据块删除的命中率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的文件系统缓存删除的方法的流程图；

图2为本发明实施例所提供的文件系统缓存删除的系统的结构框图。

具体实施方式

本发明的核心是提供一种文件系统缓存删除的方法及系统，能够通过增加缓存数据块地址性因子，并且结合缓存数据块时间性因子，进而提高缓存数据块删除的命中率。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的文件系统缓存删除的方法的流程图；该方法可以包括：

S100、计算缓存空间中的每个缓存数据块的命中次数，根据所述命中次数对各个缓存数据块进行排序，并根据排序结果计算得到每个缓存数据块的时间性因子；

S110、获取缓存空间中的每个缓存数据块的地址偏移量，计算所有缓存数据块的平均地址偏移量，并根据每个缓存数据块的地址偏移量及所述平均地址偏移量计算得到每个缓存数据块的地址性因子；

其中，缓存空间被填满时，当需要缓存新的数据时，需要对缓存空间中的已有缓存数据进行删除。在删除系统缓存时，该方法不仅考虑系统中缓存数据块的时间相关性，而且考虑了系统中缓存数据块之间的地址相关性，使得删除的缓存数据更合理，进而缓存命中率得到进一步提高。

其中步骤S100是进行缓存数据块的时间性因子的计算。即当一个缓存数据块进入缓存时，统计该缓存数据块的被访问次数，即缓存数据块的读取命中次数。然后对缓存空间中的所有缓存数据根据该读取命中次数进行排序；这里的排序可以是根据用户后续算法有关，可以是按照命中次数从大到小进行排序，也可以是按照命中次数从小到大进行排序。缓存数据块的时间性因子即对应该数据块的排序结果；并根据排序结果计算得到每个缓存数据块的时间性因子。具体过程可以是：

将各个缓存数据块按照每个缓存数据块对应的命中次数的数值从大到小进行排序，得到每个缓存数据块对应的排序名次数值；

将每个缓存数据块对应的排序名次数值除以缓存数据块的总个数，得到每个缓存数据块对应的时间性因子。

其中，计算缓存空间中的每个缓存数据块的命中次数，即从数据块进入缓存空间后，系统再次读取该缓存数据块的次数。然后对所有缓存数据块基于该访问次数进行从大到小排序，得到排序结果，并且量化到[0-1]范围内，得到缓存数据块的时间性因子。例如，如果缓存空间中总共有10个数据块，其中一个数据块的访问次数排序后，排在了第6位，则该缓存数据块的时间性因子为6/10即0.6。需要说明的是，这时按照从大到小排序，即时间性因子数值越大，说明该数据块的命中率越低；若排序是按照小到大进行的，则时间性因子数值越大，说明该数据块的命中率越高。

其中步骤S110是进行缓存数据块的地址性因子的计算。即当一个缓存数据块进入缓存时，计算该数据块地址偏移对缓存空间中所有数据块地址偏移均值的距离。缓存数据块地址相关性因子即对应计算出来的距离。具体过程可以是：

计算得到每个缓存数据块的地址偏移量与所述平均地址偏移量的绝对差值；

将每个缓存数据块对应的绝对差值量化到0至1之间的数值，作为每个缓存数据块对应的地址性因子。

其中，得到缓存空间中每个缓存数据块的地址偏移量，然后计算一个平均地址偏移。缓存数据块的地址性因子是该缓存数据块的地址偏移和平均地址偏移的绝对差值。该值越小，表明该缓存数据块和缓存空间中的其他数据越有可能在一个局部空间。该值越大，表明该缓存数据块和缓存空间中的其他数据越不可能在一个局部空间，进行缓存删除时可以优先考虑删除该值比较大的缓存数据块。为了与时间性因子进行同样的处理这里可以将地址性因子量化到[0-1]之间的数值，这样做主要是方便和时间因子进行等级量化处理。当然这里也可以用其他方式，例如对时间性因子和地址性因子赋予不同的权值。

S120、根据每个缓存数据块的时间性因子及每个缓存数据块的地址性因子得到每个缓存数据块的删除综合因子；

其中，用户可以根据已经获取的每个缓存数据块的时间性因子及每个缓存数据块的地址性因子，计算得到每个缓存数据块的删除综合因子。

具体的算法可以根据用户的实际需要进行确定，可以是简单的将获取的时间性因子与地址性因子进行相加，如将每个缓存数据块的时间性因子与每个缓存数据块的地址性因子相加，得到每个缓存数据块的删除综合因子。

也可以是分别根据时间性因子与地址性因子的权重，得到删除综合因子，如将每个缓存数据块的时间性因子分别与时间性因子权重相乘，得到每个缓存数据块的时间性数值；将每个缓存数据块的地址性因子分别与地址性因子权重相乘，得到每个缓存数据块的地址性数值；将每个缓存数据块的时间性数值与每个缓存数据块的地址性数值相加，得到每个缓存数据块的删除综合因子。

S130、根据每个缓存数据块的删除综合因子确定删除的缓存数据块。

其中，进行缓存数据删除时，删除即要最近访问次数尽可能少，又要尽可能删除空间上离散的缓存数据块，从而极大提高缓存命中率。删除的个数也要根据用户对缓存空间的需求进行确定。

如根据上述算法，按照从大到小排序，在进行时间性因子的量化；计算得到的地址性因子也进行量化后，这里就需要将删除综合因子最大的缓存数据块进行删除。这里删除的缓存数据块的个数需要根据用户实际需要进行，若需要删除两个则将删除综合因子最大的两个缓存数据块进行删除。即按照删除综合因子数值从大到小确定需要删除的缓存数据块。

该方法在删除系统缓存时，不仅考虑系统中缓存数据块的时间相关性，而且考虑了系统中缓存数据块之间的地址相关性，通过增加缓存数据块地址相关性因子，并且结合缓存数据块时间性因子，使得该缓存删除方法能进一步提高缓存命中率。缓存数据是系统进行读写时放在内存中的数据，因为磁盘读写速度比较慢，所以系统为了提高数据读写效率，将最近最常使用的数据放在内存，这样就避免了磁盘频繁的读写，提高了性能。系统读写数据时，往往当前任务所访问的数据在地址上具有一定连续性，即计算机程序局部性原理。所以同样，在缓存空间中，如果缓存数据地址越是相近，其同时被用到的几率就更大。基于此原理，该方法充分考虑缓存数据地址相关性，将最不相关的缓存数据进行删除。可以有效提高缓存命中率。

基于上述技术方案，本发明实施例提供的文件系统缓存删除的方法，在删除系统缓存时，不仅考虑系统中缓存数据块的时间相关性，而且考虑了系统中缓存数据块之间的地址相关性，使得删除的缓存数据更合理，缓存命中率得到进一步提高。

本发明实施例提供了文件系统缓存删除的方法，能够通过增加缓存数据块地址性因子，并且结合缓存数据块时间性因子，进而提高缓存数据块删除的命中率。

下面对本发明实施例提供的文件系统缓存删除的系统进行介绍，下文描述的文件系统缓存删除的系统与上文描述的文件系统缓存删除的方法可相互对应参照。

请参考图2，图2为本发明实施例所提供的文件系统缓存删除的系统的结构框图；该系统可以包括：

时间性因子模块100，用于计算缓存空间中的每个缓存数据块的命中次数，根据所述命中次数对各个缓存数据块进行排序，并根据排序结果计算得到每个缓存数据块的时间性因子；

地址性因子模块200，用于获取缓存空间中的每个缓存数据块的地址偏移量，计算所有缓存数据块的平均地址偏移量，并根据每个缓存数据块的地址偏移量及所述平均地址偏移量计算得到每个缓存数据块的地址性因子；

删除综合因子模块300，用于根据每个缓存数据块的时间性因子及每个缓存数据块的地址性因子得到每个缓存数据块的删除综合因子；

确定模块400，用于根据每个缓存数据块的删除综合因子确定删除的缓存数据块。

可选的，所述时间性因子模块100包括：

命中次数单元，用于将各个缓存数据块按照每个缓存数据块对应的命中次数的数值从大到小进行排序，得到每个缓存数据块对应的排序名次数值；

时间性因子单元，用于将每个缓存数据块对应的排序名次数值除以缓存数据块的总个数，得到每个缓存数据块对应的时间性因子。

可选的，所述地址性因子模块200包括：

绝对差值单元，用于计算得到每个缓存数据块的地址偏移量与所述平均地址偏移量的绝对差值；

地址性因子单元，用于将每个缓存数据块对应的绝对差值量化到0至1之间的数值，作为每个缓存数据块对应的地址性因子。

基于上述任意技术方案，所述删除综合因子模块300包括：

第一删除综合因子单元，用于将每个缓存数据块的时间性因子与每个缓存数据块的地址性因子相加，得到每个缓存数据块的删除综合因子。

基于上述任意技术方案，所述删除综合因子模块300包括：

时间性数值单元，用于将每个缓存数据块的时间性因子分别与时间性因子权重相乘，得到每个缓存数据块的时间性数值；

地址性数值单元，用于将每个缓存数据块的地址性因子分别与地址性因子权重相乘，得到每个缓存数据块的地址性数值；

第二删除综合因子单元，用于将每个缓存数据块的时间性数值与每个缓存数据块的地址性数值相加，得到每个缓存数据块的删除综合因子。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的文件系统缓存删除的方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种文件系统缓存删除的方法，其特征在于，包括：

计算缓存空间中的每个缓存数据块的命中次数，根据所述命中次数对各个缓存数据块进行排序，并根据排序结果计算得到每个缓存数据块的时间性因子；

获取缓存空间中的每个缓存数据块的地址偏移量，计算所有缓存数据块的平均地址偏移量，并根据每个缓存数据块的地址偏移量及所述平均地址偏移量计算得到每个缓存数据块的地址性因子；

根据每个缓存数据块的时间性因子及每个缓存数据块的地址性因子得到每个缓存数据块的删除综合因子；

根据每个缓存数据块的删除综合因子确定删除的缓存数据块。

2.如权利要求1所述的方法，其特征在于，根据所述命中次数对各个缓存数据块进行排序，并根据排序结果计算得到每个缓存数据块的时间性因子，包括：

将各个缓存数据块按照每个缓存数据块对应的命中次数的数值从大到小进行排序，得到每个缓存数据块对应的排序名次数值；

将每个缓存数据块对应的排序名次数值除以缓存数据块的总个数，得到每个缓存数据块对应的时间性因子。

3.如权利要求1所述的方法，其特征在于，根据每个缓存数据块的地址偏移量及所述平均地址偏移量计算得到每个缓存数据块的地址性因子，包括：

计算得到每个缓存数据块的地址偏移量与所述平均地址偏移量的绝对差值；

将每个缓存数据块对应的绝对差值量化到0至1之间的数值，作为每个缓存数据块对应的地址性因子。

4.如权利要求1至3任一项所述的方法，其特征在于，根据每个缓存数据块的时间性因子及每个缓存数据块的地址性因子得到每个缓存数据块的删除综合因子，包括：

将每个缓存数据块的时间性因子与每个缓存数据块的地址性因子相加，得到每个缓存数据块的删除综合因子。

5.如权利要求1至3任一项所述的方法，其特征在于，根据每个缓存数据块的时间性因子及每个缓存数据块的地址性因子得到每个缓存数据块的删除综合因子，包括：

将每个缓存数据块的时间性因子分别与时间性因子权重相乘，得到每个缓存数据块的时间性数值；

将每个缓存数据块的地址性因子分别与地址性因子权重相乘，得到每个缓存数据块的地址性数值；

将每个缓存数据块的时间性数值与每个缓存数据块的地址性数值相加，得到每个缓存数据块的删除综合因子。

6.一种文件系统缓存删除的系统，其特征在于，包括：

时间性因子模块，用于计算缓存空间中的每个缓存数据块的命中次数，根据所述命中次数对各个缓存数据块进行排序，并根据排序结果计算得到每个缓存数据块的时间性因子；

地址性因子模块，用于获取缓存空间中的每个缓存数据块的地址偏移量，计算所有缓存数据块的平均地址偏移量，并根据每个缓存数据块的地址偏移量及所述平均地址偏移量计算得到每个缓存数据块的地址性因子；

删除综合因子模块，用于根据每个缓存数据块的时间性因子及每个缓存数据块的地址性因子得到每个缓存数据块的删除综合因子；

确定模块，用于根据每个缓存数据块的删除综合因子确定删除的缓存数据块。

7.如权利要求6所述的系统，其特征在于，所述时间性因子模块包括：

命中次数单元，用于将各个缓存数据块按照每个缓存数据块对应的命中次数的数值从大到小进行排序，得到每个缓存数据块对应的排序名次数值；

时间性因子单元，用于将每个缓存数据块对应的排序名次数值除以缓存数据块的总个数，得到每个缓存数据块对应的时间性因子。

8.如权利要求6所述的系统，其特征在于，所述地址性因子模块包括：

绝对差值单元，用于计算得到每个缓存数据块的地址偏移量与所述平均地址偏移量的绝对差值；

地址性因子单元，用于将每个缓存数据块对应的绝对差值量化到0至1之间的数值，作为每个缓存数据块对应的地址性因子。

9.如权利要求6至8任一项所述的系统，其特征在于，所述删除综合因子模块包括：

第一删除综合因子单元，用于将每个缓存数据块的时间性因子与每个缓存数据块的地址性因子相加，得到每个缓存数据块的删除综合因子。

10.如权利要求6至8任一项所述的系统，其特征在于，所述删除综合因子模块包括：

时间性数值单元，用于将每个缓存数据块的时间性因子分别与时间性因子权重相乘，得到每个缓存数据块的时间性数值；

地址性数值单元，用于将每个缓存数据块的地址性因子分别与地址性因子权重相乘，得到每个缓存数据块的地址性数值；

第二删除综合因子单元，用于将每个缓存数据块的时间性数值与每个缓存数据块的地址性数值相加，得到每个缓存数据块的删除综合因子。