CN103581051A - 一种文件缓存方法、装置和系统 - Google Patents

Abstract

本申请公开了一种文件缓存方法和装置。该方法包括：根据缓存模块的存储空间容量，遍历占用的存储空间不大于缓存模块的存储空间的文件集合，比较遍历到的各个文件集合的访问次数之和、和/或访问流量之和，根据比较结果选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之和的加权和最大的文件集合；将选出的文件集合中的各个文件存储在所述缓存模块中。应用本申请能够提高缓存模块的利用率。

Description

一种文件缓存方法、装置和系统

技术领域

本申请涉及互联网技术领域，尤其涉及一种文件缓存方法、装置和系统。

背景技术

在内容发布系统中，文件一般会分布式地存储在多台存储设备上，当用户访问接入服务器时，接入服务器会从后台的存储设备中获取文件数据返回给用户。如果某个剧集正在热播、某个名人上传了视频、或者有重要新闻发布的时候，一个或多个文件就会有很高的关注度，导致在接入服务器上访问的频率非常高，这样就形成了热点文件。对于这些热点文件，如果接入服务器每次都需要重新从后台存储设备中获取文件数据，将给后台的存储设备带来巨大的压力。

目前，通过在接入服务器中设置缓存模块缓存热点文件来解决上述问题。

具体地，目前在接入服务器中缓存热点文件的方法为：判断文件的访问次数是否高于预设阈值，如果是，则将该文件记录为热点文件，否则，确定该文件不是热点文件，然后按照热点文件的访问次数由高到低的顺序，依次将各个热点文件缓存到所述缓存模块中，直至缓存模块中无法容纳下一热点文件为止。

可见，目前仅仅根据文件的访问次数来确定是否缓存该文件，方法过于简单，常常会导致缓存模块的利用率较低。

例如，假设缓存模块的容量是20M，当前访问次数最高的3个文件分别为：文件A，大小是15M，访问次数是20次；文件B，大小是12M，访问次数是15次；文件C，大小是7M，访问次数是10次。按照目前的方法，在缓存模块中将仅能缓存文件A，则缓存模块中有5M的空间没有得到利用，其能够减少对后台存储设备的访问次数也仅为20次，而如果将文件B和文件C缓存在缓存模块中，该缓存模块中将仅有1M的空间空闲，并且能够减少对后台存储设备的访问次数也将达到25次。

发明内容

本申请提供了一种文件缓存方法和装置，能够提高缓存模块的利用率。

一种文件缓存方法，该方法包括：

根据缓存模块的存储空间容量，遍历占用的存储空间容量之和不大于缓存模块的存储空间容量的文件集合，

比较遍历到的各个文件集合的访问次数之和、和/或访问流量之和，根据比较结果选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之加权和最大的最优文件集合；

将所述最优文件集合中的各个文件存储在所述缓存模块中。

一种文件缓存装置，该装置包括选择模块和写入模块；

所述选择模块，用于根据缓存模块的存储空间容量，遍历占用的存储空间容量之和不大于缓存模块的存储空间容量的文件集合，比较遍历到的各个文件集合的访问次数之和、和/或访问流量之和，根据比较结果选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之和的加权和最大的最优文件集合；

所述写入模块，将所述最优文件集合中的各个文件存储在所述缓存模块中。

一种系统，包括存储设备、接入服务器和客户端，

所述存储设备，用于存储文件；

所述接入服务器，用于根据其缓存模块的存储空间容量，遍历占用的存储空间容量之和不大于缓存模块的存储空间容量的文件集合，比较遍历到的各个文件集合的访问次数之和、和/或访问流量之和，根据比较结果选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之加权和最大的最优文件集合；将存储设备中的所述最优文件集合中的各个文件存储在所述缓存模块中；

所述客户端从所述接入服务器的所述缓存模块中读取其缓存的文件。

由上述方案可见，本申请在确定需要将哪些文件存储在缓存模块中时，不是仅仅根据文件的访问次数来确定是否缓存该文件，而是综合考虑缓存模块的存储空间容量和文件自身的访问次数和/或访问容量，从而使得在选出的若干个文件占用的存储空间不大于缓存模块的存储空间的前提下，该若干个文件的访问次数之和、和/或访问流量之和能够满足预定条件，由于考虑的因素较为全面，因此，能够提高缓存模块的利用率。

附图说明

图1是本发明提供的文件缓存方法流程图。

图2是本发明提供的选择文件集合的第一方法流程图。

图3是本发明提供的选择文件集合的第二方法流程图。

图4是本发明提供的文件缓存装置结构图。

具体实施方式

图1是本发明提供的文件缓存方法流程图。

如图1所示，该方法包括：

步骤101，根据缓存模块的存储空间容量、以及需要缓存的文件集合中各个文件的访问次数和/或访问流量，从需要缓存的文件集合中选择若干个文件，使得该若干个文件占用的存储空间不大于缓存模块的存储空间，且该若干个文件的访问次数之和、和/或访问流量之和满足预定条件。

其中，可以通过分析用户的访问日志，获得文件的访问次数和/或访问流量。

步骤102，将选出的该若干个文件存储在所述缓存模块中。

其中，本申请从需要缓存的文件集合中选出的若干个文件的访问次数之和、和/或访问流量之和所满足的预定条件具体可以包括：

该若干个文件的访问次数之和最大；或者该若干个文件的访问流量最大；或者该若干个文件的访问次数之和与访问流量之和的加权和最大；或者该若干个文件的访问次数之和、访问流量之和、或者访问次数之和与访问流量之和的加权和，在与占用的存储空间容量不大于所述缓存模块的存储空间容量其他若干个文件的访问次数之和、访问流量之和、或者访问次数之和与访问流量之和的加权和相同时，该若干个文件占用的存储空间容量小于该其他若干个文件占用的存储空间容量。

其中，从需要缓存的文件集合中选择若干个文件具体可以包括：

遍历占用的存储空间不大于缓存模块的存储空间的文件集合，比较遍历到的各个文件集合的访问次数之和、和/或访问流量之和，根据比较结果选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之和的加权和最大的文件集合，将选出的该文件集合中的所有文件确定为从需要缓存的文件集合中选出的所述若干个文件，其中，所述文件集合是从所述需要缓存的文件集合中选出的子集。将选出的文件集合中的各个文件存储在所述缓存模块中。

其中遍历占用的存储空间不大于缓存模块的存储空间的文件集合，比较遍历到的各个文件集合的访问次数之和，根据比较结果选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之和的加权和最大的文件集合、和/或访问流量之和，根据比较结果选出访问次数之和、和/或访问流量之和满足预定条件的文件集合的具体实现过程，可以有多种实现方式，下面举两个例子进行示例性说明，所举例子不用于限制本发明。

图2是本发明提供的选择文件集合的第一方法流程图。

如图2所示，该方法包括：

步骤201，遍历需要缓存的文件集合中的每个文件，对于遍历到的每个文件，以缓存模块的存储空间的容量大小作为起点，按照容量由大到小的顺序遍历各个存储空间容量，对于当前遍历到的存储空间容量和当前遍历到的文件，执行步骤202。

本步骤中，判断对于需要缓存的文件集合中的每个文件，是否已遍历完步骤201所述的各个存储空间容量，如果是，进入步骤210，否则，更新当前遍历到的文件和存储空间容量，并进入步骤202。

步骤202，比较当前遍历到的存储空间容量的解的访问次数与当前遍历到的文件的访问次数之和、或者该解的访问流量与当前遍历到的文件的访问流量之和、或者所述访问次数之和与所述访问流量之和的加权和，是否大于当前遍历到的存储空间容量和当前遍历到的文件占用的存储空间容量之和的解的访问次数、或者访问流量、或者访问次数与访问流量的加权和，在大于时，执行步骤203，在不大于时，执行步骤204。

步骤203，更新当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和的解信息，其中，所述更新包括：将当前遍历到的文件加入到该解的文件集合中，并更新该解的访问次数和访问流量，进入步骤205。

步骤204，保持当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和的解信息不变。

步骤205，比较当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和的解的访问次数、或者访问流量、或者访问次数与访问流量的加权和，是否大于所述缓存模块的最优解的访问次数、或者访问流量、或者访问次数与访问流量的加权和，在大于时，执行步骤206，在当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和的解的访问次数、或者访问流量、或者访问次数与访问流量的加权和，与所述缓存模块的最优解的访问次数、或者访问流量、或者访问次数与访问流量的加权和相等时，进入步骤207。

步骤206，将所述缓存模块的最优解信息更新为当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和的解信息，返回步骤201判断对于需要缓存的文件集合中的每个文件，是否已遍历完步骤201所述的各个存储空间容量，如果是，进入步骤210，否则，更新当前遍历到的文件和存储空间容量，并进入步骤202。

其中，每个存储空间容量的解的初始化信息、和所述缓存模块的最优解的初始化信息能够被占用的存储空间容量不大于缓存模块的存储空间容量的任意文件集合的信息更新，例如，可以将最优解的初始化信息设置为访问次数为0、访问流量也为0。

步骤207，比较当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和是否小于所述缓存模块的最优解的文件集合所占用的存储空间容量，如果小于，则执行步骤208，否则，执行步骤209。

步骤208，将所述缓存模块的最优解信息更新为当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和的解信息，返回步骤201判断对于需要缓存的文件集合中的每个文件，是否已遍历完步骤201所述的各个存储空间容量，如果是，进入步骤210，否则，更新当前遍历到的文件和存储空间容量，并进入步骤202。

步骤209，保持所述缓存模块的最优解信息不变，返回步骤201判断对于需要缓存的文件集合中的每个文件，是否已遍历完步骤201所述的各个存储空间容量，如果是，进入步骤210，否则，更新当前遍历到的文件和存储空间容量，并进入步骤202。

步骤210，将所述缓存模块的最优解的文件集合作为选出的需要存储在缓存模块中的文件集合。

图3是本发明提供的选择文件集合的第二方法流程图。

如图3所示，该方法包括：

步骤301，遍历需要缓存的文件集合中的每个文件，判断需要缓存的文件集合中所有文件是否都已遍历完毕，如果是，进入步骤306，否则，对于当前遍历到的文件，进入步骤302。

步骤302，基于当前遍历到的文件，逐个加入需要缓存的文件集合中的其他文件组成当前文件集合，并在每加入一个文件后，判断当前文件集合占用的存储空间是否大于所述缓存模块的存储空间，如果大于，则执行步骤303，如果不大于，执行步骤304。

步骤303，停止向当前文件集合中加入其它文件，并将从当前文件集合中删除最后一次加入的文件所得到的文件集合，确定为当前遍历到的文件对应的最优文件集合，返回步骤301。

步骤304，判断需要缓存的文件集合中的文件是否已全部加入到当前文件集合中，如果是，执行步骤305，否则，返回步骤302。

步骤305，将需要缓存的文件集合确定为需要缓存的文件集合中的每个文件对应的最优文件集合，返回步骤301。

步骤306，比较需要缓存的文件集合中的每个文件对应的最优文件集合的访问次数和/或访问流量，选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之和的加权和最大的最优文件集合。

步骤307，将选出的最优文件集合作为选出的需要存储在缓存模块中的文件集合，换言之，将选出的最优文件集合中的各个文件存储在所述缓存模块中。

其中，本发明所述的需要缓存的文件集合，可以是被访问的所有文件的集合。为了提高从需要缓存的文件集合中选择所述若干个文件的效率，所述需要缓存的文件集合可以是访问次数和/或访问流量满足预定条件的文件的集合，换言之，先根据所有被访问的文件的访问次数和/或访问流量，筛选出需要缓存的文件集合，然后再从需要缓存的文件集合中选出所述若干个文件。

根据本发明提供的上述方法，本发明还提供了相应的装置，具体请参见图2。

图4是本发明提供的文件缓存装置结构图。

如图4所示，该装置包括选择模块401和写入模块402。

选择模块401，用于根据缓存模块的存储空间容量，遍历占用的存储空间不大于缓存模块的存储空间的文件集合，比较遍历到的各个文件集合的访问次数之和、和/或访问流量之和，根据比较结果选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之和的加权和最大的文件集合。

写入模块402，将选出的文件集合中的各个文件存储在所述缓存模块中。

其中，选择模块401可以包括遍历模块、第一比较模块、第一更新模块、第二比较模块和第二更新模块。

所述遍历模块，用于遍历需要缓存的文件集合中的每个文件，对于遍历到的每个文件，以缓存模块的存储空间的容量大小作为起点，按照容量由大到小的顺序遍历各个存储空间容量。

所述第一比较模块，用于比较当前遍历到的存储空间容量的解的访问次数与当前遍历到的文件的访问次数之和、或者该解的访问流量与当前遍历到的文件的访问流量之和、或者所述访问次数之和与所述访问流量之和的加权和，是否大于当前遍历到的存储空间容量和当前遍历到的文件占用的存储空间容量之和的解的访问次数、或者访问流量、或者访问次数与访问流量的加权和，在大于时，向第一更新模块发送第一更新通知，在不大于时，向第一更新模块发送保持通知。

第一更新模块，用于接收第一更新通知，更新当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和的解信息，其中，所述更新包括：将当前遍历到的文件加入到该解的文件集合中，并更新该解的访问次数和访问流量，接收保持通知，保持当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和的解信息不变。

所述第二比较模块，用于比较当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和的解的访问次数、或者访问流量、或者访问次数与访问流量的加权和，是否大于所述缓存模块的最优解的访问次数、或者访问流量、或者访问次数与访问流量的加权和，在大于时，向第二更新模块发送第二更新通知。

所述第二更新模块，用于接收第二更新通知，将所述缓存模块的最优解信息更新为当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和的解信息。

其中，每个存储空间容量的解的初始化信息、和所述缓存模块的最优解的初始化信息能够被占用的存储空间容量不大于缓存模块的存储空间容量的任意文件集合的信息更新。

写入模块402，用于将所述缓存模块的最优解的文件集合存储在缓存模块中。

其中，所述第二比较模块，可以用于在当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和的解的访问次数、或者访问流量、或者访问次数与访问流量的加权和，与所述缓存模块的最优解的访问次数、或者访问流量、或者访问次数与访问流量的加权和相等时，比较当前遍历到的存储空间容量与当前遍历到的文件占用的存储空间容量之和是否小于所述缓存模块的最优解的文件集合所占用的存储空间容量，在小于时，向第二更新模块发送第二更新通知，在不小于时，向第二更新模块发送保持通知。

所述第二更新模块，还用于接收保持通知，保持所述缓存模块的最优解信息不变。

选择模块401可以包括遍历模块、确定模块和比较模块。

所述遍历模块，用于遍历需要缓存的文件集合中的每个文件。

所述确定模块，用于基于所述遍历模块当前遍历到的文件，逐个加入需要缓存的文件集合中的其他文件组成当前文件集合，并在每加入一个文件后，判断当前文件集合占用的存储空间是否大于所述缓存模块的存储空间，直至判断结果为大于时，停止向当前文件集合中加入其它文件，并将从当前文件集合中删除最后一次加入的文件所得到的文件集合，确定为当前遍历到的文件对应的最优文件集合，或者直至当前文件集合等于需要缓存的文件集合、且需要缓存的文件集合占用的存储空间不大于所述缓存模块的存储空间时，将需要缓存的文件集合确定为需要缓存的文件集合中的每个文件对应的最优文件集合。

所述比较模块，用于比较需要缓存的文件集合中的每个文件对应的最优文件集合的访问次数和/或访问流量，选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之和的加权和最大的最优文件集合。

写入模块402，用于将所述比较模块选出的最优文件集合存储在所述缓存模块中。

其中，所述需要缓存的文件集合是被访问的所有文件的集合，或者，所述需要缓存的文件集合是访问次数和/或访问流量大于预定值或者排在前预定数目位的文件的集合。

其中，所述装置还可以包括接收模块，用于接收需要缓存的文件集合，所述需要缓存的文件集合可以是被访问的所有文件的集合，或者，所述需要缓存的文件集合可以是访问次数和/或访问流量满足预定条件的文件的集合。

或者，所述装置可以包括需要缓存的集合确定模块，用于获取被访问的所有文件的集合，将该被访问的所有文件的集合确定为需要缓存的文件集合，或者用于获取访问次数和/或访问流量满足预定条件的集合，将该访问次数和/或访问流量满足预定条件的集合确定为需要缓存的文件集合。

其中，选择模块401可以按照存储空间容量从大到小或者从小到大遍历各个缓存模块，遍历得到各个缓存模块的最优文件集合后，写入模块402可以将各个最优文件集合存储到对应的各个缓存模块中。

其中，选择模块401遍历需要缓存的文件，所述需要缓存的文件的任意集合构成所述文件集合。

本发明所提供的上述方法和装置，可以用于多种场景中，例如，可以应用在在接入服务器中缓存热点文件，从而避免接入服务器频繁地到后台存储设备中拉取热点文件的场景中，从而降低了后台存储设备的负担，也提高了热点文件的访问速度。

本发明还提供了一种系统，该系统包括存储设备、接入服务器和客户端。

所述存储设备，用于存储文件。

所述接入服务器，用于根据其缓存模块的存储空间容量，遍历占用的存储空间容量之和不大于缓存模块的存储空间容量的文件集合，比较遍历到的各个文件集合的访问次数之和、和/或访问流量之和，根据比较结果选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之加权和最大的最优文件集合；将存储设备中的所述最优文件集合中的各个文件存储在所述缓存模块中。

所述客户端从所述接入服务器的所述缓存模块中读取其缓存的文件。

其中，所述接入服务器按照存储空间容量从大到小或者从小到大遍历其各个缓存模块，遍历得到各个缓存模块的最优文件集合后，将各个最优文件集合存储到对应的各个缓存模块中。

由于本发明的技术方案在确定将哪些文件存储在缓存模块中时，综合考虑了缓存模块的存储空间容量以及文件的访问次数和/或访问流量信息，因此，能够最大化利用缓存模块有限的存储空间，存储最需要缓存的文件数据，从而提高缓存模块中文件的命中率，使得缓存模块的利用率得以提高。

继续本发明背景技术部分的例子，如果采用本发明提供的技术方案，无论是采用图2所示选择文件集合的方法，还是图3所示选择文件集合的方法，都将选出文件B和文件C，在缓存模块中存储文件B和文件C，从而提高了缓存模块的利用率。

Claims (10)

1.一种文件缓存方法，其特征在于，该方法包括：

根据缓存模块的存储空间容量，遍历占用的存储空间容量之和不大于缓存模块的存储空间容量的文件集合，

比较遍历到的各个文件集合的访问次数之和、和/或访问流量之和，根据比较结果选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之加权和最大的最优文件集合；

将所述最优文件集合中的各个文件存储在所述缓存模块中。

2.根据权利要求1所述的方法，其特征在于，按照存储空间容量从大到小或者从小到大遍历各个缓存模块，遍历得到各个缓存模块的最优文件集合后，将各个最优文件集合存储到对应的各个缓存模块中。

3.根据权利要求1所述的方法，其特征在于，遍历需要缓存的文件，所述需要缓存的文件的任意集合构成所述文件集合。

4.根据权利要求3所述的方法，其特征在于，需要缓存的文件包括被访问的文件，或者，访问次数和/或访问流量大于预定值的文件，或者，访问次数和/或访问流量排在前预定数目位的文件。

5.根据权利要求3或4所述的方法，其特征在于，所述需要缓存的文件包括多媒体文件。

6.一种文件缓存装置，其特征在于，该装置包括选择模块和写入模块；

所述选择模块，用于根据缓存模块的存储空间容量，遍历占用的存储空间容量之和不大于缓存模块的存储空间容量的文件集合，比较遍历到的各个文件集合的访问次数之和、和/或访问流量之和，根据比较结果选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之和的加权和最大的最优文件集合；

所述写入模块，将所述最优文件集合中的各个文件存储在所述缓存模块中。

7.根据权利要求6所述的装置，其特征在于，所述选择模块按照存储空间容量从大到小或者从小到大遍历各个缓存模块，遍历得到各个缓存模块的最优文件集合后，所述写入模块将各个最优文件集合存储到对应的各个缓存模块中。

8.根据权利要求6所述的装置，其特征在于，所述选择模块遍历需要缓存的文件，所述需要缓存的文件的任意集合构成所述文件集合。

9.一种系统，包括存储设备、接入服务器和客户端，其特征在于：

所述存储设备，用于存储文件；

所述接入服务器，用于根据其缓存模块的存储空间容量，遍历占用的存储空间容量之和不大于缓存模块的存储空间容量的文件集合，比较遍历到的各个文件集合的访问次数之和、和/或访问流量之和，根据比较结果选出访问次数之和最大、或者访问流量之和最大、或者访问次数之和与访问流量之加权和最大的最优文件集合；将存储设备中的所述最优文件集合中的各个文件存储在所述缓存模块中；

所述客户端从所述接入服务器的所述缓存模块中读取其缓存的文件。

10.根据权利要求9所述的系统，其特征在于，所述接入服务器按照存储空间容量从大到小或者从小到大遍历其各个缓存模块，遍历得到各个缓存模块的最优文件集合后，将各个最优文件集合存储到对应的各个缓存模块中。

Images