CN110263010B - 一种缓存文件自动更新方法及装置 - Google Patents

Abstract

本发明公开了一种缓存文件自动更新方法及装置，通过构建热点文件双向链表，智能的调控热点文件双向链表中的缓存文件的缓存过期时间，通过调节缓存过期时间,通过对热点文件的主动更新，延长热点文件在缓存中的生存寿命，提升热点文件的响应IO响应效率，能够有效减轻缓存的压力，增加缓存命中率，并有效的提升热点文件的访问性能，进而为缓存的使用者提供更好的使用体验。

Description

一种缓存文件自动更新方法及装置

技术领域

本公开属于文件缓存领域，具体涉及一种缓存文件自动更新方法及装置。

背景技术

随着云计算存储网络的发展，对于文件系统的存储性能需求，即速度、准确、容量等性能指标逐渐主导了用户的体验。近年来，以提升存储系统的性能为目标的大量技术与相关研究不断地被提出。其中，文件缓存技术，作为一种改善网站系统或云存储、分布式存储系统性能的技术方案，逐步广泛的普及到了存储领域的各个方面，通过针对高访问频率的文件进行缓存，提高热点文件的缓存的命中率来提升速度并减小延迟。在现有的文件缓存技术中，存在以下2个方面的问题：一、依靠硬件成本较高的最新的硬件构建存储服务器；二、缓存的命中率不稳定。在文件缓存系统中，针对比较实际的第二个方面，如何提升文件访问的命中率一直是一个热点的研究课题,也是本公开所要解决的问题。

发明内容

本公开提供一种缓存文件自动更新方法及装置，通过对热点文件的主动更新，延长热点文件在缓存中的生存寿命，提升热点文件的IO(输入输出)响应效率，能够有效减轻缓存的压力，增加缓存命中率。

为了实现上述目的，根据本公开的一方面，提供一种缓存文件自动更新方法，所述方法包括以下步骤：

步骤1，初始化缓存文件的自动更新系统；

步骤2，初始化热点文件双向链表；

步骤3，遍历热点文件双向链表，获取热点文件双向链表中的缓存文件的缓存过期时间；

步骤4，如果缓存过期时间和当前时间的差大于时间差阈值，转到步骤3，小于时间差阈值则转到步骤5；

步骤5,主动更新缓存文件的内容。即缓存文件接近缓存过期时间，所以主动从缓存文件的来源重新获取文件的内容，并覆盖当前的缓存文件，并重新设置缓存文件的过期时间。

进一步地，在步骤1中，初始化缓存文件的自动更新系统包括以下子步骤,

步骤1.1，设立一个最小热点文件信息指针，初始时该指针为空，用于指向缓存文件；

步骤1.2，设立一个热点文件信息结构体，以下热点文件信息结构体称为结构体，结构体即链表节点，结构体包含四个成员，分别第一成员、第二成员、第三成员和第四成员，所述第一成员为缓存文件指针，第一成员初始值为空，所述第二成员为缓存文件的访问频率数值，第二成员为正整数且初始值为0，所述第三成员为前向指针，第三成员初始值为空，所述第四成员为后向指针，第四成员初始值为空，多个的意义为大于或等于一个,所述结构体通过第三成员和第四成员进行连接前驱结点和后继结点连接形成一个双向链表，即第三成员和第四成员分别指向相邻的链表节点，所述前驱结点为前向指针连接的相邻结构体，所述后继结点为后向指针连接的相邻结构体；

步骤1.3，设立一个最大热点文件记录阈值用于记录缓存文件中的具有最长过期时间的值；

步骤1.4，设立一个缓存文件自动更新阈值，若热点缓存文件的缓存时间小于该阈值，则标明该文件需要进行主动更新；

自动更新系统至少包括最小热点文件信息指针、热点文件信息结构体、最大热点文件记录阈值、缓存文件自动更新阈值。

进一步地，在步骤2中，初始化热点文件双向链表包括以下步骤,

步骤2.1，初始化热点文件双向链表，所述热点文件双向链表为多个热点文件信息记录结构体构成的双向链表，以下热点文件信息记录结构体称为结构体，结构体即链表节点，结构体包含四个成员，分别第一成员、第二成员、第三成员和第四成员，所述第一成员为缓存文件指针，第一成员初始值为空，所述第二成员为缓存文件的缓存过期时间，第二成员初始值为空，所述第三成员为前向指针，第三成员初始值为空，所述第四成员为后向指针，第四成员初始值为空，多个的意义为大于或等于一个,所述结构体通过第三成员和第四成员进行连接前驱结点和后继结点连接形成一个双向链表，即第三成员和第四成员分别指向相邻的链表节点，所述前驱结点为前向指针连接的相邻结构体，所述后继结点为后向指针连接的相邻结构体；

步骤2.2，将缓存中的每个文件对应生成一个结构体，将所有的结构体作为链表节点依次连接到双向链表，双向链表的链表节点与缓存中文件的相互对应；

步骤2.3，将每个链表节点的缓存文件指针指向各自对应的缓存中文件；

步骤2.4，读取每个链表节点的缓存文件指针指向的缓存中文件的缓存过期时间到各种对应的第二成员中，则所有链表节点都保存有缓存过期时间；

所述缓存过期时间为缓存文件的过期时间，如果当前时间大于该过期时间，这缓存文件失效，如果再次访问该文件，则需要从文件源重新获取该文件，通过缓存过期时间的方法加速淘汰访问频率低的缓存文件，延长热点文件在缓存中的寿命。

进一步地，在步骤4中，所述时间差阈值为300毫秒，可以人工设置，取值范围为100～2000毫秒。

进一步地，在步骤5中，还需要删除缓存过期时间和当前时间的差小于时间差阈值的链表节点指向的缓存文件和链表节点，延长热点文件在缓存中的寿命，智能的对缓存文件进行自动更新，提高热点文件的缓存的命中率来提升速度并减小延迟，能够有效减轻缓存压力，增加缓存命中率。

本发明还提供了一种缓存文件自动更新装置，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的单元中：

缓存初始化单元，用于初始化缓存文件的自动更新系统；

链表初始化单元，用于初始化热点文件双向链表；

过期读取单元，用于遍历热点文件双向链表，获取热点文件双向链表中的缓存文件的缓存过期时间；

过期判断单元，用于判断如果缓存过期时间和当前时间的差小于时间差阈值，转到过期读取单元，大于时间差阈值则转到自动更新单元；

自动更新单元，用于主动更新缓存文件的内容，并重新设置缓存文件的过期时间。

本公开的有益效果为：本发明提供了一种缓存文件自动更新的方法及装置，通过对热点文件的主动更新，延长热点文件在缓存中的生存寿命，提升热点文件的IO(输入输出)响应效率，能够有效减轻缓存的压力，增加缓存命中率，并有效的提升热点文件的访问性能，进而为缓存的使用者提供更好的使用体验。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为一种缓存文件自动更新方法的流程图；

图2所示为一种缓存文件自动更新装置图。

具体实施方式

以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示为根据本公开的一种缓存文件自动更新方法的流程图，下面结合图1来阐述根据本公开的实施方式的一种缓存文件自动更新方法。

本公开提出一种缓存文件自动更新方法，具体包括以下步骤：

步骤1，初始化缓存文件的自动更新系统；

步骤2，初始化热点文件双向链表；

步骤3，遍历热点文件双向链表，获取热点文件双向链表中的缓存文件的缓存过期时间；

步骤4，如果缓存过期时间和当前时间的差大于时间差阈值，转到步骤3，小于时间差阈值则转到步骤5；

步骤5,主动更新缓存文件的内容。即缓存文件接近缓存过期时间，所以主动从缓存文件的来源重新获取文件的内容，并覆盖当前的缓存文件，并重新设置缓存文件的过期时间。

进一步地，在步骤1中，初始化缓存文件的自动更新系统包括以下子步骤,

步骤1.1，设立一个最小热点文件信息指针，初始时该指针为空，用于指向缓存文件；

步骤1.2，设立一个热点文件信息结构体，以下热点文件信息结构体称为结构体，结构体即链表节点，结构体包含四个成员，分别第一成员、第二成员、第三成员和第四成员，所述第一成员为缓存文件指针，第一成员初始值为空，所述第二成员为缓存文件的访问频率数值，第二成员为正整数且初始值为0，所述第三成员为前向指针，第三成员初始值为空，所述第四成员为后向指针，第四成员初始值为空，多个的意义为大于或等于一个,所述结构体通过第三成员和第四成员进行连接前驱结点和后继结点连接形成一个双向链表，即第三成员和第四成员分别指向相邻的链表节点，所述前驱结点为前向指针连接的相邻结构体，所述后继结点为后向指针连接的相邻结构体；

步骤1.3，设立一个最大热点文件记录阈值用于记录缓存文件中的具有最长过期时间的值；

步骤1.4，设立一个缓存文件自动更新阈值，若热点缓存文件的缓存时间小于该阈值，则标明该文件需要进行主动更新；

自动更新系统至少包括最小热点文件信息指针、热点文件信息结构体、最大热点文件记录阈值、缓存文件自动更新阈值。

进一步地，在步骤2中，初始化热点文件双向链表包括以下步骤,

步骤2.1，初始化热点文件双向链表，所述热点文件双向链表为多个热点文件信息记录结构体构成的双向链表，以下热点文件信息记录结构体称为结构体，结构体即链表节点，结构体包含四个成员，分别第一成员、第二成员、第三成员和第四成员，所述第一成员为缓存文件指针，第一成员初始值为空，所述第二成员为缓存文件的缓存过期时间，第二成员初始值为空，所述第三成员为前向指针，第三成员初始值为空，所述第四成员为后向指针，第四成员初始值为空，多个的意义为大于或等于一个,所述结构体通过第三成员和第四成员进行连接前驱结点和后继结点连接形成一个双向链表，即第三成员和第四成员分别指向相邻的链表节点，所述前驱结点为前向指针连接的相邻结构体，所述后继结点为后向指针连接的相邻结构体；

步骤2.2，将缓存中的每个文件对应生成一个结构体，将所有的结构体作为链表节点依次连接到双向链表，双向链表的链表节点与缓存中文件的相互对应；

步骤2.3，将每个链表节点的缓存文件指针指向各自对应的缓存中文件；

步骤2.4，读取每个链表节点的缓存文件指针指向的缓存中文件的缓存过期时间到各种对应的第二成员中，则所有链表节点都保存有缓存过期时间；

所述缓存过期时间为缓存文件的过期时间，如果当前时间大于该过期时间，这缓存文件失效，如果再次访问该文件，则需要从文件源重新获取该文件。

进一步地，在步骤4中，所述时间差阈值为300毫秒，可以人工设置，取值范围为100～2000毫秒，根据仿真测试，该取值范围为比较合适的取值区间。

进一步地，在步骤5中，还需要删除缓存过期时间和当前时间的差小于时间差阈值的链表节点指向的缓存文件和链表节点。

本公开的实施例提供的一种缓存文件自动更新装置，如图2所示为本公开的一种缓存文件自动更新装置图，该实施例的一种缓存文件自动更新装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种缓存文件自动更新装置实施例中的步骤。

所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的单元中：

缓存初始化单元，用于初始化缓存文件的自动更新系统；

链表初始化单元，用于初始化热点文件双向链表；

过期读取单元，用于遍历热点文件双向链表，获取热点文件双向链表中的缓存文件的缓存过期时间；

过期判断单元，用于判断如果缓存过期时间和当前时间的差小于时间差阈值，转到过期读取单元，大于时间差阈值则转到自动更新单元；

自动更新单元，用于主动更新缓存文件的内容，并重新设置缓存文件的过期时间。

所述一种缓存文件自动更新装置可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种缓存文件自动更新装置，可运行的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种缓存文件自动更新装置的示例，并不构成对一种缓存文件自动更新装置的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种缓存文件自动更新装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种缓存文件自动更新装置运行装置的控制中心，利用各种接口和线路连接整个一种缓存文件自动更新装置可运行装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种缓存文件自动更新装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (3)

1.一种缓存文件自动更新方法，其特征在于，所述方法包括以下步骤：

步骤1，初始化缓存文件的自动更新系统；

在步骤1中，初始化缓存文件的自动更新系统包括以下子步骤,

步骤1.1，设立一个最小热点文件信息指针，初始时该指针为空，用于指向缓存文件；

步骤1.2，设立一个热点文件信息结构体，以下热点文件信息结构体称为第一结构体，第一结构体即链表节点，第一结构体包含四个成员，分别第一成员、第二成员、第三成员和第四成员，所述第一成员为缓存文件指针，第一成员初始值为空，所述第二成员为缓存文件的访问频率数值，第二成员为正整数且初始值为0，所述第三成员为前向指针，第三成员初始值为空，所述第四成员为后向指针，第四成员初始值为空，多个的意义为大于或等于一个,所述第一结构体通过第三成员和第四成员进行连接前驱结点和后继结点连接形成一个双向链表，即第三成员和第四成员分别指向相邻的链表节点，所述前驱结点为前向指针连接的相邻第一结构体，所述后继结点为后向指针连接的相邻第一结构体；

步骤1.3，设立一个最大热点文件记录阈值用于记录缓存文件中的具有最长过期时间的值；

步骤1.4，设立一个缓存文件自动更新阈值，若热点缓存文件的缓存时间小于该阈值，则标明该文件需要进行主动更新；

步骤2，初始化热点文件双向链表；

在步骤2中，初始化热点文件双向链表包括以下步骤：

步骤2.1，初始化热点文件双向链表，所述热点文件双向链表为多个热点文件信息记录结构体构成的双向链表，以下热点文件信息记录结构体称为第二结构体，第二结构体即链表节点，第二结构体包含四个成员，分别第一成员、第二成员、第三成员和第四成员，所述第一成员为缓存文件指针，第一成员初始值为空，所述第二成员为缓存文件的缓存过期时间，第二成员初始值为空，所述第三成员为前向指针，第三成员初始值为空，所述第四成员为后向指针，第四成员初始值为空，多个的意义为大于或等于一个,所述第二结构体通过第三成员和第四成员进行连接前驱结点和后继结点连接形成一个双向链表，即第三成员和第四成员分别指向相邻的链表节点，所述前驱结点为前向指针连接的相邻第二结构体，所述后继结点为后向指针连接的相邻第二结构体；

步骤2.2，将缓存中的每个文件对应生成一个第二结构体，将所有的第二结构体作为链表节点依次连接到双向链表，双向链表的链表节点与缓存中文件的相互对应；

步骤2.3，将每个链表节点的缓存文件指针指向各自对应的缓存中文件；

步骤2.4，读取每个链表节点的缓存文件指针指向的缓存中文件的缓存过期时间到各种对应的第二成员中，则所有链表节点都保存有缓存过期时间；

所述缓存过期时间为缓存文件的过期时间，如果当前时间大于该过期时间，这缓存文件失效，如果再次访问该文件，这需要从文件源重新获取该文件；

步骤3，遍历热点文件双向链表，获取热点文件双向链表中的缓存文件的缓存过期时间；

步骤4，如果缓存过期时间和当前时间的差大于时间差阈值，转到步骤3，小于时间差阈值则转到步骤5；

步骤5，主动更新缓存文件的内容。

2.根据权利要求1所述的一种缓存文件自动更新方法，其特征在于，在步骤4中，所述时间差阈值为300毫秒。

3.一种缓存文件自动更新装置，其特征在于，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的单元中：

缓存初始化单元，用于初始化缓存文件的自动更新系统；

初始化缓存文件的自动更新系统包括以下子步骤,

步骤1.1，设立一个最小热点文件信息指针，初始时该指针为空，用于指向缓存文件；

步骤1.2，设立一个热点文件信息结构体，以下热点文件信息结构体称为第一结构体，第一结构体即链表节点，第一结构体包含四个成员，分别第一成员、第二成员、第三成员和第四成员，所述第一成员为缓存文件指针，第一成员初始值为空，所述第二成员为缓存文件的访问频率数值，第二成员为正整数且初始值为0，所述第三成员为前向指针，第三成员初始值为空，所述第四成员为后向指针，第四成员初始值为空，多个的意义为大于或等于一个,所述第一结构体通过第三成员和第四成员进行连接前驱结点和后继结点连接形成一个双向链表，即第三成员和第四成员分别指向相邻的链表节点，所述前驱结点为前向指针连接的相邻第一结构体，所述后继结点为后向指针连接的相邻第一结构体；

步骤1.3，设立一个最大热点文件记录阈值用于记录缓存文件中的具有最长过期时间的值；

步骤1.4，设立一个缓存文件自动更新阈值，若热点缓存文件的缓存时间小于该阈值，则标明该文件需要进行主动更新；

链表初始化单元，用于初始化热点文件双向链表；

初始化热点文件双向链表包括以下步骤：

步骤2.1，初始化热点文件双向链表，所述热点文件双向链表为多个热点文件信息记录结构体构成的双向链表，以下热点文件信息记录结构体称为第二结构体，第二结构体即链表节点，第二结构体包含四个成员，分别第一成员、第二成员、第三成员和第四成员，所述第一成员为缓存文件指针，第一成员初始值为空，所述第二成员为缓存文件的缓存过期时间，第二成员初始值为空，所述第三成员为前向指针，第三成员初始值为空，所述第四成员为后向指针，第四成员初始值为空，多个的意义为大于或等于一个,所述第二结构体通过第三成员和第四成员进行连接前驱结点和后继结点连接形成一个双向链表，即第三成员和第四成员分别指向相邻的链表节点，所述前驱结点为前向指针连接的相邻第二结构体，所述后继结点为后向指针连接的相邻第二结构体；

步骤2.2，将缓存中的每个文件对应生成一个第二结构体，将所有的第二结构体作为链表节点依次连接到双向链表，双向链表的链表节点与缓存中文件的相互对应；

步骤2.3，将每个链表节点的缓存文件指针指向各自对应的缓存中文件；

步骤2.4，读取每个链表节点的缓存文件指针指向的缓存中文件的缓存过期时间到各种对应的第二成员中，则所有链表节点都保存有缓存过期时间；

所述缓存过期时间为缓存文件的过期时间，如果当前时间大于该过期时间，这缓存文件失效，如果再次访问该文件，这需要从文件源重新获取该文件；

过期读取单元，用于遍历热点文件双向链表，获取热点文件双向链表中的缓存文件的缓存过期时间；

过期判断单元，用于判断如果缓存过期时间和当前时间的差大于时间差阈值，转到过期读取单元，小于时间差阈值则转到自动更新单元；

自动更新单元，用于主动更新缓存文件的内容，并重新设置缓存文件的过期时间。

Images