CN102737064B - 文件缓存方法及装置 - Google Patents

Abstract

本发明公开了一种文件缓存的方法及装置，属于文件缓存领域。方法包括：获取文件节点，所述文件节点包括文件ID；根据所述文件ID及预设哈希函数计算得到所述文件节点对应的哈希地址；判断缓存哈希表中所述哈希地址中是否存储有所述文件节点，如果未存储有所述文件节点，将所述文件节点放入所述缓存哈希表中。实现了基于文件ID的文件缓存，使得文件的缓存不会受文件重命名的影响，并且文件ID与文件名相比，在利用哈希函数进行哈希地址的运算时，使得计算更为简单。

Description

文件缓存方法及装置

技术领域

本发明涉及文件缓存领域，特别涉及一种文件缓存方法及装置。

背景技术

随着信息化社会的发展，计算机病毒的威胁日益严重。那么，为了降低及避免计算机病毒对计算机所存储文件的威胁，目前常用的解决办法是：使用杀毒软件来实时监控和扫描计算机磁盘上所存储的文件，以及时查杀病毒，保障存储文件的安全。

为了提高扫描计算机磁盘上所存储文件的速度，大部分的杀毒软件会将曾扫描过的文件内容(包括文件名、存储路径等资源)存放在内存里，此时被占用的内存空间被称为缓存。以后每次扫描计算机磁盘上所存储的文件时，杀毒软件会首先搜索缓存，如果缓存中存储有本次扫描的文件内容，则不必从计算机磁盘上获取，直接从缓存中取出即可，从而提高扫描速度。

现有技术中，采用基于文件名的缓存方法。具体地，整个计算机磁盘共用一个缓存，且缓存的空间大小固定；将文件的文件名作为关键值来进行哈希运算，得到的哈希值便对应一块连续的存储空间，将文件存入到该哈希值对应的内存中，缓存中则存储文件的文件名与文件存储地址间对应关系的哈希表。

由上可知，一旦文件被重命名，就需要重新计算其哈希值，尤其是对于多级文件目录下的文件，一旦某一级文件目录的名字发生变化，将导致该变化文件目录下的所有文件都需要重新计算其哈希值，带来很大的工作量，从而影响文件缓存的效率。

发明内容

为了解决上述技术问题，本发明实施例提供了一种文件缓存方法及装置。所述技术方案如下：

一种文件缓存的方法，所述方法包括：

获取文件节点，所述文件节点包括文件ID；

根据所述文件ID及预设哈希函数计算得到所述文件节点对应的哈希地址；

判断缓存哈希表中所述哈希地址中是否存储有所述文件节点，

如果未存储有所述文件节点，将所述文件节点放入所述缓存哈希表中。

一种文件缓存的装置，所述装置包括：获取模块、计算模块、判断模块和执行模块；

所述获取模块，用于获取文件节点，所述文件节点包括文件ID；

所述计算模块，用于根据所述获取模块获得的文件ID及预设哈希函数计算得到所述文件节点对应的哈希地址；

所述判断模块，用于判断缓存哈希表中所述计算模块计算得到的哈希地址中是否存储有所述文件节点；

所述执行模块，用于当所述判断模块的判断结果为未存储有所述文件节点时，将所述文件节点放入所述缓存哈希表中。

通过采用基于文件ID的文件缓存方法，当文件名被重命名时，文件ID并不会发生变化，使得文件的缓存不会受文件重命名的影响，并且文件ID与文件名相比，在利用哈希函数进行哈希地址的运算时，使得计算更为简单。

附图说明

图1是本发明实施例1中提供的一种文件缓存的方法流程图；

图2是本发明实施例2中提供的一种文件缓存的方法流程图；

图3是本发明实施例2中提供的基于每个卷独立的缓存结构图；

图4是本发明实施例2中提供的一种URL索引表示意图；

图5是本发明实施例3中提供的一种文件缓存的装置框图；

图6是本发明实施例4中提供的一种文件缓存的装置框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

参见图1，一种文件缓存的方法，该方法的执行主体包括但不限于计算机等设备，具体步骤如下：

步骤101：获取文件节点，该文件节点包括文件ID；

步骤102：根据该文件ID及预设哈希函数计算得到该文件节点对应的哈希地址；

步骤103：判断缓存哈希表中该哈希地址中是否存储有该文件节点；

步骤104：如果未存储有该文件节点，将所述文件节点放入所述缓存哈希表中。

通过采用基于文件ID的文件缓存方法，当文件名被重命名时，文件ID并不会发生变化，使得文件的缓存不会受文件重命名的影响，并且文件ID与文件名相比，在利用哈希函数进行哈希地址的运算时，使得计算更为简单。

实施例2

本发明提出了一种文件缓存的方法，主要指导思想是：为磁盘的每个卷分配一个预定大小的缓存，即每个卷都对应一个缓存哈希表；根据文件ID对文件进行本地缓存，即在缓存哈希表中根据文件ID对文件节点进行插入、查找及删除等操作；另外，当缓存被占满时，首先释放缓存中那些最长时间未被使用的文件，再释放那些按照一定统计规则估计出来的未来被使用的可能性最低的文件，如此就能实现对缓存文件进行选择性淘汰，以提高扫描的响应效率。参见图2，一种文件缓存的方法，该方法的执行主体包括但不限于计算机等设备，具体步骤如下：

步骤201：为磁盘的每个卷建立一个缓存哈希表，该缓存哈希表包括文件节点和文件节点对应的哈希地址，其中，缓存哈希表采用平衡二叉树或链表的存储结构；

这里，将一个磁盘分区称为一个卷，卷由卷ID来唯一标识，通常有两大类型：系统卷和普通卷。其中，系统卷通常用于存储系统文件，如计算机C盘便是一个系统卷，普通卷通常用于存储用户文件，如计算机上的本地磁盘D和E等均是普通卷。

具体地，系统卷的缓存默认可以存储50000个文件节点，普通卷的缓存默认可以存储5000个文件节点。

其中，文件节点包括：文件ID和文件的访问次数，除此之外还可以包括文件插入时间、文件信任度和文件连接关系等内容；本发明实施例重点利用文件节点中的文件ID和文件的访问次数来实现文件缓存，文件节点中的其他内容不再本发明实施例的保护范围之内，此处就不再叙述。

参见图3，图3示例性地给出了一个系统卷、两个普通卷所对应的缓存哈希表的情况。

这里，缓存哈希表采用平衡二叉树或链表的存储结构的好处在于：若哈希函数f对不同节点的关键字得到相同的哈希地址时，如关键字K1≠K2，而哈希地址f(K1)＝f(K2)，可以将哈希地址相同的不同的关键字连接在同一个单链表中，这种存储结构为平衡二叉树或链表结构。

本发明实施例采用哈希(即关键字-地址转换法)法来建立文件的缓存哈希表。哈希法的基本思想是：以节点的关键字K为自变量，通过一个确定的函数关系f，计算出对应的函数值f(K)，把函数值f(K)解释为节点的存储地址，将节点存入f(K)所指的存储位置上。用哈希法存储的线性表叫做哈希表，哈希表项给出了节点的关键字与存储地址间的对应关系，函数f称为哈希函数，f(K)称为哈希地址。

具体地，本发明实施例对文件进行缓存时，采用文件节点中的文件ID作为关键字。

下面以构建QQ杀毒软件已扫描文件的缓存哈希表为例来说明缓存哈希表的构建过程：

QQ杀毒软件已扫描过的文件有{文件1，文件2，......，文件25，......}，而文件ID对应的集合K＝{0，1，......，25，......}，选择哈希函数F，该哈希函数F(K)的取值为K，即F(K)＝K。那么，构建的缓存哈希表如表1所示：

表1

当文件ID的位数比缓存哈希表的哈希地址位数多时，还可以使用数字选择法来构造一个哈希函数。具体构造方法为：取文件ID中数字分布比较均匀的若干位作为哈希地址。例如，有一组由8位数字组成的文件ID，选择文件ID中均匀分许的若干位作为哈希地址，表2给出了根据数字选择法构建的哈希函数得到的文件ID与哈希地址间的关系：

表2

上表中，选择文件ID中的第四位、第六位及第七位中的数字组合作为文件ID所对应的哈希地址。

这里需要说明的是，可以使用多种哈希函数共同构建一个缓存哈希表，如当文件ID的位数小于哈希地址位数时，可以使用构建表1所用的哈希函数，即将文件ID所对应的哈希地址取值为文件ID，当文件ID的位数大于哈希地址位数时，可以使用构建表2所用的哈希函数，即将文件ID所对应的哈希地址取值为文件ID中均匀分布的若干位。

步骤202：为缓存哈希表分配一个预定大小的缓存空间，初始化缓存哈希表中文件节点中的访问次数为0；

本实施例中，在不至于混淆之处，这里将存储缓存哈希表的存储空间简称为缓存哈希表。

步骤203：等待扫描引擎触发文件扫描，当扫描引擎触发文件扫描时，建立一个文件节点，该文件节点包括文件ID和访问次数；

需要说明的是，当扫描引擎触发文件扫描时，还获得有新建文件节点所在卷的ID；

步骤204：将文件节点中的文件ID作为关键字并采用预设哈希函数来计算该文件节点所对应的哈希地址；

具体地，预设哈希函数与建立卷对应的哈希缓存表所使用的哈希函数一致，包括SHA1、MD5等常用哈希算法及自定义哈希函数，其中，自定义哈希函数包括使用数字选择法、平方取中法、折叠法及除余法等方法构造的哈希函数；

步骤205：根据新建文件节点所在卷ID查找得到新建节点所在卷对应的缓存哈希表，其中，文件所在卷ID唯一标识了卷及卷对应的缓存哈希表；

步骤206：根据文件节点对应的哈希地址查找步骤205得到的缓存哈希表，判断该缓存哈希表中是否存在文件节点，

如果存在，执行步骤207；

如果不存在，执行步骤208；

步骤207：将步骤205得到的缓存哈希表中的文件节点的访问次数加1，返回步骤203；

步骤208：计算步骤205得到的缓存哈希表的剩余容量，并判断剩余容量是否小于文件节点的大小，

当剩余容量大于等于文件节点的大小时，执行步骤209；

当剩余容量小于文件节点的大小时，执行步骤210；

步骤209：将文件节点放入步骤205得到的缓存哈希表中，返回步骤203；

具体地，将文件节点放入步骤205得到的缓存哈希表中该文件节点对应的哈希地址所对应的平衡二叉树中或链表中；

步骤210：按预设规则释放步骤205得到的缓存哈希表中的部分文件节点，返回步骤208；

具体地，优先释放步骤205得到的缓存哈希表中访问次数最少的文件节点；

需要说明的是，这里还可以在缓存中建立一个LRU(LeastRecentlyUsed，最久未使用)索引表，该LRU索引项用于存储缓存哈希表中符合释放条件的文件节点。如图4所示：该索引表包含64个项目，与文件节点的访问次数的对数一一对应，LRU索引表中的Level1项存放的是缓存哈希表中访问次数为1的文件节点，Level2项中存放的是缓存哈希表中访问次数为2的文件节点，等等。在需要释放缓存哈希表中的文件节点时，从该LRU索引表中的Level1开始从表后往前进行释放文件节点；

另外，本发明实施例还需要说明的是，在卷对应的缓存哈希表中进行文件节点的插入操作，且缓存哈希表中的剩余容量不足时，需要将部分文件节点从缓存哈希表中释放，那么，同时存在需要对释放的文件节点进行访问的操作时，就出现了访问和释放操作的同步问题，本实施例中采用读写自旋锁来协调上述现象，为现有技术，此处就不再赘述。

本发明实施例所提供的技术方案的实现，使得每一个卷都对应有一个缓存哈希表，那么，在对卷中文件进行缓存时，就可针对相应卷对应的缓存哈希表进行，提高了文件缓存操作的效率；另外，当文件名被重命名时，文件ID并不会发生变化，使得文件的缓存不会受文件重命名的影响，并且文件ID与文件名相比，在利用哈希函数进行哈希地址的运算时，使得计算更为简单；再者，根据缓存哈希表中的文件节点的访问次数来进行文件节点的淘汰与更替，保证缓存哈希表中的文件节点为最长使用的文件节点，提高了文件扫描及访问的效率。

实施例3

参见图5，一种文件缓存的装置，该装置具体与方法实施例中的执行主体相一致，包括：获取模块S01、计算模块S02、判断模块S03和执行模块S04；

该获取模块S01，用于获取文件节点，该文件节点包括文件ID；

该计算模块S02，用于根据该获取模块S01获得的文件ID及预设哈希函数计算得到该文件节点对应的哈希地址；

该判断模块S03，用于判断缓存哈希表中该计算模块S02计算得到的哈希地址中是否存储有该文件节点；

该执行模块S04，用于当该判断模块S03的判断结果为未存储有该文件节点时，将该文件节点放入该缓存哈希表中。

其中，执行模块S04，包括计算单元S041，用于计算该缓存哈希表的剩余容量；

判断单元S042，用于判断该计算单元S041得到的剩余容量是否小于该文件节点的大小；

第一执行单元S043，用于当该判断单元S042的判断结果为小于时，释放该缓存哈希表中访问次数小于预设值的文件节点，返回该计算单元；

第二执行单元S044，用于当该判断单元的判断结果为不小于时，将该文件节点放入该缓存哈希表中。

具体地，该第二执行单元S044，具体用于将该文件节点放入该缓存哈希表中该哈希地址对应的平衡二叉树或链表中。

需要说明的是，该装置还包括：

建立模块S05，用于建立卷对应的缓存哈希表，该卷对应的缓存哈希表由卷ID标识；

第二获取模块S06，用于获取该文件节点所在卷的卷ID；

查找模块S07，用于根据第二获取模块S06获取的卷ID查找得到该文件节点所在卷对应的缓存哈希表。

通过采用基于文件ID的文件缓存方法，当文件名被重命名时，文件ID并不会发生变化，使得文件的缓存不会受文件重命名的影响，并且文件ID与文件名相比，在利用哈希函数进行哈希地址的运算时，使得计算更为简单。

实施例4

参见图6，一种文件缓存的装置，该装置具体与方法实施例2中的执行主体相一致，包括：第一建立模块301、分配模块302、第二建立模块303、计算模块304、查找判断模块305、第一执行模块306、计算判断模块307、第二执行模块308和第三执行模块309；

第一建立模块301，用于建立卷对应的缓存哈希表，哈希表包括文件节点和文件节点对应的哈希地址；

分配模块302，用于为第一建立模块301建立的缓存哈希表分配一个预定大小的缓存空间，初始化缓存哈希表中文件节点的访问次数为零；

第二建立模块303，用于等待扫描引擎触发文件扫描，当扫描引擎触发文件扫描时，建立一个文件节点，文件节点包括文件ID和访问次数；

计算模块304，用于根据第二建立模块建立303的文件节点中的文件ID及预设哈希函数计算得到文件节点对应的哈希地址；

查找判断模块305，用于根据计算模块304计算得到的文件节点对应的哈希地址查找缓存哈希表，判断缓存哈希表中是否存在文件节点；

第一执行模块306，用于将第二建立模块303建立的文件节点的访问次数加1，返回第二建立模块；

计算判断模块307，用于计算缓存空间的剩余容量，并与第二建立模块建立的文件节点的大小进行比较；

第二执行模块308，用于当计算判断模块307的判断结果为剩余容量大于等于文件节点的大小时，将文件节点放入缓存哈希表中，返回第二执行模块；

第三执行模块309，用于当计算判断模块307的判断结果为剩余容量小于文件节点的大小时，按预设规则释放缓存哈希表中的部分文件节点，返回计算判断模块。

其中，第二执行模块308，具体用于当计算判断模块307的判断结果为剩余容量大于等于文件节点的大小时，将文件节点放入缓存哈希表中文件节点对应的哈希地址对应的平衡二叉树或链表中。

第三执行模块309，具体用于当计算判断模块307的判断结果为剩余容量小于文件节点的大小时，优选释放哈希缓存表中访问次数最少的文件节点。

通过本发明实施例所提供技术方案的实现，使得每一个卷都对应有一个缓存哈希表，那么，在对卷中文件进行缓存时，就可针对相应卷对应的缓存哈希表进行，提高了文件缓存操作的效率；另外，当文件名被重命名时，文件ID并不会发生变化，使得文件的缓存不会受文件重命名的影响，并且文件ID与文件名相比，在利用哈希函数进行哈希地址的运算时，使得计算更为简单；再者，根据缓存哈希表中的文件节点的访问次数来进行文件节点的淘汰与更替，保证缓存哈希表中的文件节点为最长使用的文件节点，提高了文件扫描及访问的效率。

以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如：计算机中的硬盘、光盘或软盘。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种文件缓存的方法，其特征在于，所述方法包括：

获取文件节点，所述文件节点包括文件ID和文件的访问次数；

根据所述文件ID及预设哈希函数计算得到所述文件节点对应的哈希地址；

判断缓存哈希表中所述哈希地址中是否存储有所述文件节点，

如果未存储有所述文件节点，将所述文件节点放入所述缓存哈希表中；

其中，所述将所述文件节点放入所述缓存哈希表中，包括：

计算所述缓存哈希表的剩余容量；

判断所述剩余容量是否小于所述文件节点的大小，

如果小于，释放所述缓存哈希表中访问次数小于预设值的文件节点，返回所述计算所述缓存哈希表的剩余容量的操作；

如果不小于，将所述文件节点放入所述缓存哈希表中所述哈希地址对应的平衡二叉树或链表中；

所述根据所述文件ID及预设哈希函数计算得到所述文件节点对应的哈希地址，包括：当所述文件ID的位数小于所述缓存哈希表的哈希地址位数时，将所述文件ID所对应的哈希地址取值为所述文件ID，当所述文件ID的位数大于所述缓存哈希表的哈希地址位数时，使用数字选择法将所述文件ID所对应的哈希地址取值为所述文件ID中的若干位。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

建立卷对应的缓存哈希表，所述卷对应的缓存哈希表由卷ID标识；

相应地，所述判断缓存哈希表中所述哈希地址中是否存储有所述文件节点之前包括：

获取所述文件节点所在卷的卷ID；

根据获取的卷ID查找得到所述文件节点所在卷对应的缓存哈希表。

3.一种文件缓存的装置，其特征在于，所述装置包括：获取模块、计算模块、判断模块和执行模块；

所述获取模块，用于获取文件节点，所述文件节点包括文件ID和文件的访问次数；

所述计算模块，用于根据所述获取模块获得的文件ID及预设哈希函数计算得到所述文件节点对应的哈希地址；

所述判断模块，用于判断缓存哈希表中所述计算模块计算得到的哈希地址中是否存储有所述文件节点；

所述执行模块，用于当所述判断模块的判断结果为未存储有所述文件节点时，将所述文件节点放入所述缓存哈希表中；

其中，所述执行模块，包括：

计算单元，用于计算所述缓存哈希表的剩余容量；

判断单元，用于判断所述计算单元得到的剩余容量是否小于所述文件节点的大小；

第一执行单元，用于当所述判断单元的判断结果为小于时，释放所述缓存哈希表中访问次数小于预设值的文件节点，返回所述计算单元；

第二执行单元，用于当所述判断单元的判断结果为不小于时，将所述文件节点放入所述缓存哈希表中；

所述将所述文件节点放入所述缓存哈希表中，包括：将所述文件节点放入所述缓存哈希表中所述哈希地址对应的平衡二叉树或链表中；

所述根据所述文件ID及预设哈希函数计算得到所述文件节点对应的哈希地址，包括：当所述文件ID的位数小于所述缓存哈希表的哈希地址位数时，将所述文件ID所对应的哈希地址取值为所述文件ID，当所述文件ID的位数大于所述缓存哈希表的哈希地址位数时，使用数字选择法将所述文件ID所对应的哈希地址取值为所述文件ID中的若干位。

4.根据权利要求3所述的装置，其特征在于，所述装置还包括：

建立模块，用于建立卷对应的缓存哈希表，所述卷对应的缓存哈希表由卷ID标识；

第二获取模块，用于获取所述文件节点所在卷的卷ID；

查找模块，用于根据所述第二获取模块获取的卷ID查找得到所述文件节点所在卷对应的缓存哈希表。