CN107180118A - 一种文件系统缓存数据管理方法及装置 - Google Patents

Abstract

本发明公开了一种文件系统缓存数据管理方法，该方法包括以下步骤：接收针对新数据的加入请求；如果缓存链表当前处于已满状态，则确定缓存链表中待淘汰数据；将待淘汰数据从缓存链表中删除，并将新数据加入到缓存链表的头部节点中。应用本发明所提供的技术方案，在需要对缓存链表中的数据进行删除时，先确定出缓存链表中的待淘汰数据，进而对待淘汰数据进行删除，可以在有限的内存中高效管理文件系统中的缓存数据。本发明还公开了一种文件系统缓存数据管理装置，具有相应技术效果。

Description

一种文件系统缓存数据管理方法及装置

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种文件系统缓存数据管理方法及装置。

背景技术

随着计算机技术的发展，全球的数据量急剧增长，高效处理大量数据的需求也不断增加。数据的处理过程包括很多个环节，数据存储就是其中重要的一个环节。在实际应用中，存储系统存在诸多限制，如磁盘速度慢、不易扩展等。好的文件系统有助于提升磁盘性能。

在文件系统层面，缓存发挥了重要作用。所谓缓存，就是数据交换的缓冲区，称为Cache。对文件系统而言，当某一进程需要从磁盘上读取数据时，会首先从文件系统缓存中查找需要的数据，如果查找到了则直接执行读取操作，如果未查找到则由文件系统进行下盘读取。文件系统的缓存一般放置在高速访问设备中，例如内存中。受限于成本控制，计算机系统中配置的内存数量是有限的，操作系统需保留大量的内存用于进程管理、调度等。这样导致计算机系统中分配给文件系统用作缓存的内存数量相当有限。

如何在有限的内存中高效管理文件系统中的缓存数据，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种文件系统缓存数据管理方法及装置，以在有限的内存中高效管理文件系统中的缓存数据。

为解决上述技术问题，本发明提供如下技术方案：

一种文件系统缓存数据管理方法，包括：

接收针对新数据的加入请求；

如果缓存链表当前处于已满状态，则确定所述缓存链表中待淘汰数据；

将所述待淘汰数据从所述缓存链表中删除，并将所述新数据加入到所述缓存链表的头部节点中。

在本发明的一种具体实施方式中，所述确定所述缓存链表中待淘汰数据，包括：

从所述缓存链表的尾部节点的数据开始，通过以下步骤从下至上逐一确定所述缓存链表的每一节点的数据是否为待淘汰数据：

针对每一节点，将该节点的数据确定为目标数据；

根据所述目标数据的属性，确定所述目标数据是否满足相应的预设的淘汰条件；

如果是，则将所述目标数据确定为待淘汰数据；

如果否，则将该节点的上一节点的数据确定为目标数据，重复执行所述根据所述目标数据的属性，确定所述目标数据是否符合相应的预设的淘汰条件的步骤。

在本发明的一种具体实施方式中，在所述接收针对新数据的加入请求之后，还包括：

如果所述缓存链表当前处于未满状态，则直接将所述新数据加入到所述缓存链表的头部节点中。

在本发明的一种具体实施方式中，还包括：

在监测到所述缓存链表中存在被访问数据时，将所述被访问数据移到所述缓存链表的头部节点中。

一种文件系统缓存数据管理装置，包括：

加入请求接收模块，用于接收针对新数据的加入请求；

待淘汰数据确定模块，用于在缓存链表当前处于已满状态时，确定所述缓存链表中待淘汰数据；

待淘汰数据删除模块，用于将所述待淘汰数据从所述缓存链表中删除；

新数据加入模块，用于将所述新数据加入到所述缓存链表的头部节点中。

在本发明的一种具体实施方式中，所述待淘汰数据确定模块，具体用于：

从所述缓存链表的尾部节点的数据开始，通过以下步骤从下至上逐一确定所述缓存链表的每一节点的数据是否为待淘汰数据：

针对每一节点，将该节点的数据确定为目标数据；

根据所述目标数据的属性，确定所述目标数据是否满足相应的预设的淘汰条件；

如果是，则将所述目标数据确定为待淘汰数据；

如果否，则将该节点的上一节点的数据确定为目标数据，重复执行所述根据所述目标数据的属性，确定所述目标数据是否符合相应的预设的淘汰条件的步骤。

在本发明的一种具体实施方式中，所述新数据加入模块，还用于：

在所述接收针对新数据的加入请求之后，如果所述缓存链表当前处于未满状态，则直接将所述新数据加入到所述缓存链表的头部节点中。

在本发明的一种具体实施方式中，还包括数据转移模块，用于：

在监测到所述缓存链表中存在被访问数据时，将所述被访问数据移到所述缓存链表的头部节点中。

应用本发明实施例所提供的技术方案，在接收到对新数据的加入请求时，先判断缓存链表当前是否处于已满状态，如果是，则确定缓存链表中的待淘汰数据。确定出待淘汰数据之后，将待淘汰数据从缓存链表中删除，并将新数据加入到缓存链表的头部节点中。在需要对缓存链表中的数据进行删除时，先确定出缓存链表中的待淘汰数据，进而对待淘汰数据进行删除，可以在有限的内存中高效管理文件系统中的缓存数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种文件系统缓存数据管理方法的实施流程图；

图2为本发明实施例中一种文件系统缓存数据管理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，为本发明实施例所提供的一种文件系统缓存数据管理方法的实施流程图，该方法可以包括以下步骤：

S110：接收针对新数据的加入请求。

在实际应用中，当某一进程需要从磁盘上读取数据时，如果在文件系统缓存中没有找到相应数据，则文件系统将进行下盘读取，读取到的数据作为新数据将加入到文件系统缓存中，以便再有对该数据的读取请求时，可以直接从文件系统缓存中读取到，提高数据访问效率。

文件系统在接收到针对新数据的加入请求后，可以继续执行步骤S120的操作。

S120：如果缓存链表当前处于已满状态，则确定缓存链表中待淘汰数据。

在文件系统中，通常通过缓存链表保存缓存数据。缓存链表由多个节点构成，通过节点保存缓存数据。

在接收到新数据的加入请求时，可以判断缓存链表当前存储状态。

如果缓存链表当前处于未满状态，则可以直接将新数据加入到缓存链表的头部节点中。

如果缓存链表当前处于已满状态，则要加入新数据，需要将缓存链表中的部分数据清除。在这种情况下，需要在缓存链表缓存的数据中确定出待淘汰数据，以便释放出相应内存空间，供新数据加入到缓存链表使用。

确定出的待淘汰数据占用的内存空间需大于或等于新数据需要的内存空间。

在本发明的一种具体实施方式中，从缓存链表的尾部节点的数据开始，可以通过以下步骤从下至上逐一确定缓存链表的每一节点的数据是否为待淘汰数据：

第一个步骤：针对每一节点，将该节点的数据确定为目标数据；

第二个步骤：根据目标数据的属性，确定目标数据是否满足相应的预设的淘汰条件，如果是，则进入第三个步骤，如果否，则执行第四个步骤。

第三个步骤：将目标数据确定为待淘汰数据；

第四个步骤：将该节点的上一节点的数据确定为目标数据，重复执行第二个步骤的操作。

在本发明实施例中，可以按照访问记录在缓存链表中保存相应的缓存数据，如果数据最近被访问过，那么将来被访问的几率也更高，这也是LRU(Least recently used，最近最少使用)算法的核心思想。最近被访问的数据存储在缓存链表的头部几个节点中，长时间未被访问的数据则逐渐转移到缓存链表的尾部几个节点中。也就是说，从缓存链表头部节点开始，从上至下每一节点保存的数据被访问的几率逐渐减小，被淘汰几率逐渐增大。

从缓存链表的尾部节点的数据开始，可以从下至上逐一确定缓存链表的每一节点的数据是否为待淘汰数据。

具体的，针对每一节点，可以将该节点的数据确定为目标数据。目标数据具有一定属性，如数据类型、数据归属应用、被访问频率等。在本发明实施例中，可以预先设定与各属性相对应的淘汰条件。根据目标数据的属性，确定目标数据是否满足相应的预设的淘汰条件。

例如，媒资的非线编应用要求读取数据的时延越小越好，为降低读取的时延，可以通过提高缓存命中率来保证。由于其IO访问的不规律性，就有必要尽量推迟其缓存数据的淘汰时间。针对归属于该类应用的目标数据，相应的淘汰条件可以基于存活时间设定，当目标数据在缓存链表中的存活时间大于预设的存活时间阈值时，认为目标数据满足相应的淘汰条件。满足了特定应用的性能需求，可以提升用户体验。

具体的淘汰条件可以根据实际情况进行设定和调整，本发明实施例对此不做限制。如预设的淘汰条件也可以基于被访问频率设定，如果目标数据在一定时间段内被访问频率低于预设频率阈值，则确定目标数据满足预设的淘汰条件。

针对不同属性设定不同淘汰条件，能够实现对不同缓存数据进行差异化处理的目的。

当目标数据满足了相应的预设的淘汰条件时，就将该目标数据确定为待淘汰数据；如果目标数据未满足预设的淘汰条件，则认为目标数据非待淘汰数据，进而将该节点上一节点的数据确定为目标数据，重复执行根据目标数据的属性，确定目标数据是否符合相应的预设的淘汰条件的步骤。

从缓存链表的尾部节点的数据开始，逐一确定每一节点的数据是否为待淘汰数据，确定出的待淘汰数据可以是一个或多个节点的数据。

在实际应用中，在确定某个或某几个节点的数据为待淘汰数据，且确定出的待淘汰数据占用的内存空间大于或等于新数据需要的内存空间时，可以停止操作。或者，确定出缓存链表中所有待淘汰数据，如果确定的缓存链表中所有待淘汰数据占用的内存空间小于新数据需要的内存空间，则可以输出提示信息，以使管理员调整淘汰条件。

S130：将待淘汰数据从缓存链表中删除，并将新数据加入到缓存链表的头部节点中。

在确定缓存链表中待淘汰数据后，可以将待淘汰数据从缓存链表中删除，以释放出一定的内存空间。同时，可以将新数据加入到缓存链表的头部节点中，缓存链表中的其他数据依次下移。

应用本发明实施例所提供的方法，在接收到对新数据的加入请求时，先判断缓存链表当前是否处于已满状态，如果是，则确定缓存链表中的待淘汰数据。确定出待淘汰数据之后，将待淘汰数据从缓存链表中删除，并将新数据加入到缓存链表的头部节点中。在需要对缓存链表中的数据进行删除时，先确定出缓存链表中的待淘汰数据，进而对待淘汰数据进行删除，可以在有限的内存中高效管理文件系统中的缓存数据。

在本发明的一个实施例中，该方法还可以包括以下步骤：

在监测到缓存链表中存在被访问数据时，将被访问数据移到缓存链表的头部节点中。

在实际应用中，针对缓存链表中某数据而言，如果该数据刚被访问过，则其在将来被访问的几率较高。在监测到缓存链表中存在被访问数据时，可以将被访问数据移到缓存链表的头部节点中。使得缓存链表的头部几个节点中的数据为近期被访问过的数据，被淘汰几率较小。这样，在需要对缓存链表中的数据进行删除，从缓存链表尾部节点的数据开始，从下至上确定各节点的数据是否为待淘汰数据时，可以较容易确定出待淘汰数据，提高效率。

相应于上面的方法实施例，本发明实施例还提供了一种文件系统缓存数据管理装置，下文描述的一种文件系统缓存数据管理装置与上文描述的一种文件系统缓存数据管理方法可相互对应参照。

参见图2所示，该装置包括以下模块：

加入请求接收模块210，用于接收针对新数据的加入请求；

待淘汰数据确定模块220，用于缓存链表当前处于已满状态时，确定缓存链表中待淘汰数据；

待淘汰数据删除模块230，用于将待淘汰数据从缓存链表中删除；

新数据加入模块240，用于将新数据加入到缓存链表的头部节点中。

应用本发明实施例所提供的装置，在接收到对新数据的加入请求时，先判断缓存链表当前是否处于已满状态，如果是，则确定缓存链表中的待淘汰数据。确定出待淘汰数据之后，将待淘汰数据从缓存链表中删除，并将新数据加入到缓存链表的头部节点中。在需要对缓存链表中的数据进行删除时，先确定出缓存链表中的待淘汰数据，进而对待淘汰数据进行删除，可以在有限的内存中高效管理文件系统中的缓存数据。

在本发明的一种具体实施方式中，待淘汰数据确定模块220，具体用于：

从缓存链表的尾部节点的数据开始，通过以下步骤从下至上逐一确定缓存链表的每一节点的数据是否为待淘汰数据：

针对每一节点，将该节点的数据确定为目标数据；

根据目标数据的属性，确定目标数据是否满足相应的预设的淘汰条件；

如果是，则将目标数据确定为待淘汰数据；

如果否，则将该节点的上一节点的数据确定为目标数据，重复执行根据目标数据的属性，确定目标数据是否符合相应的预设的淘汰条件的步骤。

在本发明的一种具体实施方式中，新数据加入模块240，还用于：

在接收针对新数据的加入请求之后，如果缓存链表当前处于未满状态，则直接将新数据加入到缓存链表的头部节点中。

在本发明的一种具体实施方式中，还包括数据转移模块，用于：

在监测到缓存链表中存在被访问数据时，将被访问数据移到缓存链表的头部节点中。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种文件系统缓存数据管理方法，其特征在于，包括：

接收针对新数据的加入请求；

如果缓存链表当前处于已满状态，则确定所述缓存链表中待淘汰数据；

将所述待淘汰数据从所述缓存链表中删除，并将所述新数据加入到所述缓存链表的头部节点中。

2.根据权利要求1所述的方法，其特征在于，所述确定所述缓存链表中待淘汰数据，包括：

从所述缓存链表的尾部节点的数据开始，通过以下步骤从下至上逐一确定所述缓存链表的每一节点的数据是否为待淘汰数据：

针对每一节点，将该节点的数据确定为目标数据；

根据所述目标数据的属性，确定所述目标数据是否满足相应的预设的淘汰条件；

如果是，则将所述目标数据确定为待淘汰数据；

如果否，则将该节点的上一节点的数据确定为目标数据，重复执行所述根据所述目标数据的属性，确定所述目标数据是否符合相应的预设的淘汰条件的步骤。

3.根据权利要求1或2所述的方法，其特征在于，在所述接收针对新数据的加入请求之后，还包括：

如果所述缓存链表当前处于未满状态，则直接将所述新数据加入到所述缓存链表的头部节点中。

4.根据权利要求3所述的方法，其特征在于，还包括：

在监测到所述缓存链表中存在被访问数据时，将所述被访问数据移到所述缓存链表的头部节点中。

5.一种文件系统缓存数据管理装置，其特征在于，包括：

加入请求接收模块，用于接收针对新数据的加入请求；

待淘汰数据确定模块，用于在缓存链表当前处于已满状态时，确定所述缓存链表中待淘汰数据；

待淘汰数据删除模块，用于将所述待淘汰数据从所述缓存链表中删除；

新数据加入模块，用于将所述新数据加入到所述缓存链表的头部节点中。

6.根据权利要求5所述的装置，其特征在于，所述待淘汰数据确定模块，具体用于：

从所述缓存链表的尾部节点的数据开始，通过以下步骤从下至上逐一确定所述缓存链表的每一节点的数据是否为待淘汰数据：

针对每一节点，将该节点的数据确定为目标数据；

根据所述目标数据的属性，确定所述目标数据是否满足相应的预设的淘汰条件；

如果是，则将所述目标数据确定为待淘汰数据；

如果否，则将该节点的上一节点的数据确定为目标数据，重复执行所述根据所述目标数据的属性，确定所述目标数据是否符合相应的预设的淘汰条件的步骤。

7.根据权利要求5或6所述的方法，其特征在于，所述新数据加入模块，还用于：

在所述接收针对新数据的加入请求之后，如果所述缓存链表当前处于未满状态，则直接将所述新数据加入到所述缓存链表的头部节点中。

8.根据权利要求7所述的方法，其特征在于，还包括数据转移模块，用于：

在监测到所述缓存链表中存在被访问数据时，将所述被访问数据移到所述缓存链表的头部节点中。