CN112702399B - 网络社团协作缓存方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种网络社团协作缓存方法、装置、计算机设备和存储介质。所述方法包括：当网络节点接收到文件请求时，若检测到所述网络节点未缓存所述文件，则通过对网络进行搜索，得到缓存有所述文件的目标节点；所述网络包含至少一个网络社团；获取所述网络节点和所述目标节点之间的搜索路径；根据所述搜索路径所途经的网络社团，确定目标社团；根据所述目标社团，对所述文件进行缓存。采用本方法能够针对缓存命中率较低的节点，以社团为单位进行缓存，在提高缓存命中率的同时，节省网络存储空间，大幅度降低文件替换次数。

Description

网络社团协作缓存方法、装置、计算机设备和存储介质

技术领域

本申请涉及无线通信与互联网技术领域，特别是涉及一种网络社团协作缓存方法、装置、计算机设备和存储介质。

背景技术

随着无线通信和互联网技术的发展，出现了分布式缓存系统。在5G通信场景下，为了降低移动通信网络拥塞，可以将密集部署在各地的5G基站作为边缘存储设备，在5G基站搭载缓存，构成分布式缓存系统。在互联网领域，内容分发网络(Content DeliveryNetwork，CDN)是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台进行负载均衡、内容分发和调度，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率，CDN借助边缘服务器，也可以形成一个分布式缓存系统。在分布式缓存系统中，缓存放置与替换策略对于用户访问效率具有较大影响，例如，随着网络中的并发访问量日益增多，CDN系统逐渐成为一个高并发的系统，其上的缓存策略影响用户请求时的缓存命中率。

传统的处处缓存(leave copy everywhere，LCE)策略或向下拷贝(leave copydown，LCD)策略是将同一个文件在多个网络节点上进行存储，以保证任意节点尽可能就近获取文件。

然而，由于系统存储空间有限，将同一个文件在多个网络节点上进行存储，容易耗费存储空间，当需要放置其他文件时，容易导致存储空间匮乏，而且，当用其他文件对已存储的文件进行替换时，存在替换次数过多的问题。

因此，目前的缓存技术存在耗费存储空间以及文件替换次数过多的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够节省网络存储空间的缓存方法、装置、计算机设备和存储介质。

一种网络社团协作缓存方法，所述方法包括：

当网络节点接收到文件请求时，若检测到所述网络节点未缓存所述文件，则通过对网络进行搜索，得到缓存有所述文件的目标节点；所述网络包含至少一个网络社团；

获取所述网络节点和所述目标节点之间的搜索路径；

根据所述搜索路径所途经的网络社团，确定目标社团；

根据所述目标社团，对所述文件进行缓存。

在其中一个实施例中，所述通过对网络进行搜索，得到缓存有所述文件的目标节点，包括：

通过对所述网络进行广度优先搜索，得到所述目标节点和所述目标节点对应的最短搜索路径；

所述获取所述网络节点和所述目标节点之间的搜索路径，包括：

根据所述最短搜索路径，得到所述网络节点和所述目标节点之间的搜索路径。

在其中一个实施例中，所述根据所述搜索路径所途经的网络社团，确定目标社团，包括：

根据所述最短搜索路径，得到所述目标节点至所述网络节点的缓存路径；

将所述缓存路径所途经的所有网络社团确定为所述目标社团。

在其中一个实施例中，所述根据所述搜索路径所途经的网络社团，确定目标社团，还包括：

根据所述最短搜索路径，得到所述目标节点至所述网络节点的缓存路径；

将所述缓存路径上目标节点社团的下一个网络社团确定为所述目标社团；所述目标节点社团为包含所述目标节点的网络社团。

在其中一个实施例中，所述目标社团包含社团节点；所述根据所述目标社团，对所述文件进行缓存，包括：

检测所述目标社团中是否缓存有所述文件；

若否，则检测所述目标社团中社团节点的剩余存储空间是否低于预设的存储空间阈值；

若否，则将所述社团节点确定为所述目标社团的缓存节点；所述缓存节点的数量符合预设的数量值；

通过所述缓存节点，对所述文件进行缓存。

在其中一个实施例中，所述根据所述目标社团，对所述文件进行缓存，还包括：

若检测到所述目标社团中所有社团节点的剩余存储空间均低于所述存储空间阈值，则通过在所述目标社团中查找最近最少使用的文件，得到目标文件；

通过删除所述目标文件，得到目标存储空间；

通过所述目标存储空间，对所述文件进行缓存。

在其中一个实施例中，所述目标社团有且仅有一个缓存节点；所述根据所述目标社团，对所述文件进行缓存，还包括：

检测当前目标社团中是否存在一个缓存有所述文件的社团节点；

若是，则根据所述缓存路径确定下一目标社团，并检测所述下一目标社团中是否存在一个缓存有所述文件的社团节点；

若否，则根据所述缓存路径在所述当前目标社团的社团节点中确定所述一个缓存节点，并通过所述一个缓存节点对所述文件进行缓存。

一种网络社团协作缓存装置，所述装置包括：

搜索模块，用于当网络节点接收到文件请求时，若检测到所述网络节点未缓存所述文件，则通过对网络进行搜索，得到缓存有所述文件的目标节点；所述网络包含至少一个网络社团；

搜索路径获取模块，用于获取所述网络节点和所述目标节点之间的搜索路径；

目标社团确定模块，用于根据所述搜索路径所途经的网络社团，确定目标社团；

缓存模块，用于根据所述目标社团，对所述文件进行缓存。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

当网络节点接收到文件请求时，若检测到所述网络节点未缓存所述文件，则通过对网络进行搜索，得到缓存有所述文件的目标节点；所述网络包含至少一个网络社团；

获取所述网络节点和所述目标节点之间的搜索路径；

根据所述搜索路径所途经的网络社团，确定目标社团；

根据所述目标社团，对所述文件进行缓存。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

当网络节点接收到文件请求时，若检测到所述网络节点未缓存所述文件，则通过对网络进行搜索，得到缓存有所述文件的目标节点；所述网络包含至少一个网络社团；

获取所述网络节点和所述目标节点之间的搜索路径；

根据所述搜索路径所途经的网络社团，确定目标社团；

根据所述目标社团，对所述文件进行缓存。

上述网络社团协作缓存方法、装置、计算机设备和存储介质，通过当网络节点接收到文件请求时，若检测到网络节点未缓存文件，则通过对网络进行搜索，得到缓存有文件的目标节点，可以在文件请求的同时执行缓存策略，根据文件需求实时地进行缓存放置与替换，以提高缓存命中率，获取网络节点和目标节点之间的搜索路径，由于搜索路径上各个节点中，除了目标节点，均未缓存有请求的文件，可以得到缓存命中率较低的节点，进而，根据搜索路径所途经的网络社团确定目标社团，可以得到缓存命中率较低的网络社团，根据目标社团对文件进行缓存，可以针对缓存命中率较低的节点，以社团为单位进行缓存，在提高缓存命中率的同时，提升缓存空间的使用效率，节省网络存储空间，大幅度降低文件替换次数。

而且，上述网络社团协作缓存方法，可以在目标节点将用户所请求的文件传输至当前网络节点的同时，选择缓存节点，并在缓存节点对文件进行缓存，即文件传输与文件缓存可以并行处理，可以根据用户实时的需求进行缓存，且具备较高的缓存效率。

附图说明

图1为一个实施例中网络社团协作缓存方法的应用环境图；

图2为一个实施例中网络社团协作缓存方法的流程示意图；

图3为一个实施例中基于社团的处处缓存策略的流程示意图；

图4为一个实施例中网络社团的效果图；

图5为一个实施例中文件缓存路径的效果图；

图6为一个实施例中基于社团的处处缓存策略的效果图；

图7为一个实施例中基于社团的向下拷贝策略的效果图；

图8为一个实施例中传统处处缓存策略的效果图；

图9为一个实施例中传统向下拷贝策略的效果图；

图10为一个实施例中网络社团协作缓存方法的性能仿真结果图；

图11为一个实施例中网络社团协作缓存装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的网络社团协作缓存方法，可以应用于如图1所示的应用环境中。其中，城市1、城市2和城市3的5G基站共同组成分布式缓存系统，5G基站之间的连线表示基站之间可以互相通信。由于城市集聚效应，城市内部的基站之间距离较近，数据传输较为便利，而城市之间的基站距离较远，有时甚至需要多跳传输，数据传输延迟相对较长，可以将地理位置处于同一个城市的多个基站作为一个网络社团，因此，图1中的分布式缓存系统可以包含3个网络社团。与无线通信网络相似，也可以在CDN网络中构建网络社团，根据网络社团将缓存服务器分布到用户访问相对集中的地区或网络中，以便在用户访问时，可以从距离较近的缓存服务器中读取数据。

在一个实施例中，如图2所示，提供了一种网络社团协作缓存方法，以该方法应用于图1中的分布式缓存系统为例进行说明，包括以下步骤：

步骤S210，当网络节点接收到文件请求时，若检测到网络节点未缓存文件，则通过对网络进行搜索，得到缓存有文件的目标节点；网络包含至少一个网络社团。

其中，本领域技术人员可以将网络理解为分布式缓存系统。

其中，网络节点可以为无线通信网络中的基站，也可以为CDN网络中的服务器。

其中，网络社团可以为在复杂网络中对网络节点进行分组所得到的组，其中，网络社团可以根据节点之间的关联性进行划分，组内节点间连接紧密，组间节点间连接稀疏，其中，关联性可以为物理关联性，例如，若两个节点之间通过物理传输介质(例如，光纤)相连接，则两个节点具有关联性。

具体实现中，当分布式缓存系统中的网络节点A接收到用户对于文件i的请求时，可以检测节点A中是否缓存有文件i，若缓存有文件i，则可以判定缓存命中，并向用户返回文件i，否则，若未缓存有文件i，则可以判定缓存未命中，并在网络中搜索其他的网络节点，直至搜索到节点S中缓存有文件i时，将节点S作为目标节点。

实际应用中，当用户向网络节点A请求文件i时，可以检测在节点A中是否能读取到文件i，若能读取到，则可以判定缓存命中，否则，若未能读取到，则可以判定缓存未命中。当缓存未命中时，可以从节点A开始，通过广度优先搜索向网络中其他节点搜索文件i，直至在节点S中读取到文件i，将节点S确定为目标节点。

步骤S220，获取网络节点和目标节点之间的搜索路径。

其中，搜索路径可以为从网络节点搜索到目标节点的路径。

具体实现中，可以将网络节点和目标节点之间的最短搜索路径确定为搜索路径。

实际应用中，通过广度优先搜索可以得到从网络节点A搜索至目标节点S的最短搜索路径，将最短搜索路径作为网络节点A和目标节点S之间的搜索路径。为了在节点A获取到文件i，还可以按照最短搜索路径，将文件i由目标节点S返回至网络节点A，并将目标节点S至网络节点A的路径确定为缓存路径。

步骤S230，根据搜索路径所途经的网络社团，确定目标社团。

具体实现中，可以根据地理位置对网络中的各个节点进行划分，得到至少一个网络社团，网络社团可以包含若干网络节点。目标社团可以为一个或多个，具体地，可以将缓存路径所途经的所有网络社团确定为目标社团，还可以将目标节点S所在的网络社团作为目标节点社团，将缓存路径上目标节点社团的下一个网络社团确定为目标社团。

实际应用中，可以采用库姆普拉(Jussi M.Kumpula)等人提出的序贯团渗透(sequential clique percolation，SCP)算法确定网络社团。

步骤S240，根据目标社团，对文件进行缓存。

具体实现中，在确定目标社团后，可以检测当前目标社团中是否缓存有文件i，若当前目标社团中存在至少一个节点缓存有文件i，则不需要对文件i进行缓存，并继续对缓存路径上的下一个目标社团进行检测，否则，若当前目标社团中未缓存文件i，则检测当前目标社团中节点的剩余存储空间是否低于预设的存储空间阈值，若当前目标社团中存在一个节点的剩余存储空间不低于存储空间阈值，则可以使用该节点对文件i进行缓存，否则，若当前目标社团中各个节点的剩余存储空间均低于存储空间阈值，则可以根据预设的文件替换策略进行文件替换，其中，文件替换策略包括但不限于是最近最少使用替换策略。

实际应用中，可以通过遍历目标节点S至网络节点A缓存路径上的每一个节点来对文件进行缓存，可以设置缓存路径上各个节点的索引值为n(n＝0，1，……，N)，其中，n＝0可以为目标节点S的索引值，n＝N可以为网络节点A的索引值。若检测到节点n所在的社团c中存在一个节点缓存有文件i，则节点n不需要对文件i进行缓存，可以继续对下一个节点n+1进行检测，否则，若检测到节点n所在的社团c中任何节点均未缓存有文件i，则可以进一步检测社团c中各个节点的剩余存储空间是否小于文件i所需的存储空间大小，若社团c中存在一个节点Q的剩余存储空间不小于文件i所需的存储空间大小，则可以通过节点Q来缓存文件i，否则，若社团c中各个节点的剩余存储空间均小于文件i所需的存储空间大小，则可以在社团c中查找出最近最少使用的文件j，若文件j占用的存储空间不小于文件i所需的存储空间大小，则可以删除文件j，利用原文件j的存储空间对文件i进行缓存，之后，可以继续对下一个节点n+1执行上述处理。

上述网络社团协作缓存方法，通过当网络节点接收到文件请求时，若检测到网络节点未缓存文件，则通过对网络进行搜索，得到缓存有文件的目标节点，可以在文件请求的同时执行缓存策略，根据文件需求实时地进行缓存放置与替换，以提高缓存命中率，获取网络节点和目标节点之间的搜索路径，由于搜索路径上各个节点中，除了目标节点，均未缓存有请求的文件，可以得到缓存命中率较低的节点，进而，根据搜索路径所途经的网络社团确定目标社团，可以得到缓存命中率较低的网络社团，根据目标社团对文件进行缓存，可以针对缓存命中率较低的节点，以社团为单位进行缓存，在提高缓存命中率的同时，提升缓存空间的使用效率，节省网络存储空间，大幅度降低文件替换次数。

而且，上述网络社团协作缓存方法，可以在目标节点将用户所请求的文件传输至当前网络节点的同时，选择缓存节点，并在缓存节点对文件进行缓存，即文件传输与文件缓存可以并行处理，可以根据用户实时的需求进行缓存，且具备较高的缓存效率。

在一个实施例中，上述步骤S210，可以具体包括：通过对网络进行广度优先搜索，得到目标节点和目标节点对应的最短搜索路径；上述步骤S220，可以具体包括：根据最短搜索路径，得到网络节点和目标节点之间的搜索路径。

其中，广度优先搜索可以为在网络中先搜索与节点A距离为L(初始值为1)的所有节点，再搜索与节点A距离为L+1的所有节点，直至找到目标节点S的搜索算法。

具体实现中，当用户向网络节点A请求文件i时，若未能在节点A中读取到文件i，则可以从节点A开始，通过广度优先搜索向网络中其他节点搜索文件i，直至在节点S中读取到文件i，将节点S确定为目标节点，从网络节点A搜索到目标节点S的路径可以为相应的最短搜索路径，可以将最短搜索路径作为网络节点A和目标节点S之间的搜索路径。

本实施例中，通过对网络进行广度优先搜索得到目标节点和目标节点对应的最短搜索路径，根据最短搜索路径得到网络节点和目标节点之间的搜索路径，可以高效、快捷地搜索到目标节点和获取搜索路径，进而缩短文件返回时间和用户等待时间。

在一个实施例中，上述步骤S230，可以具体包括：根据最短搜索路径，得到目标节点至网络节点的缓存路径；将缓存路径所途经的所有网络社团确定为目标社团。

其中，缓存路径可以为由目标节点S返回至网络节点A的路径。

具体实现中，在确定目标节点S后，可以将目标节点S上的文件i沿最短搜索路径返回给网络节点A，以供用户获取，可以将由目标节点S返回至网络节点A的路径作为缓存路径，缓存路径可以看作是由若干个网络节点之间的连线所组成，缓存路径上除目标节点S以外，均未缓存有文件i，因此，缓存路径上网络节点的缓存命中率较低，可以将缓存路径上所有网络节点所属的网络社团确定为目标社团，得到若干个缓存命中率相对较低的网络社团，通过在目标社团上缓存文件，可以提高网络的缓存命中率。

本实施例中，通过根据最短搜索路径得到目标节点至网络节点的缓存路径，可以得到缓存命中率较低的网络节点，将缓存路径所途经的所有网络社团确定为目标社团，可以针对缓存命中率较低的节点，以社团为单位进行缓存，在提高缓存命中率的同时，提升缓存空间的使用效率，节省网络存储空间，大幅度降低文件替换次数。

在一个实施例中，上述步骤S230，具体还可以包括：根据最短搜索路径，得到目标节点至网络节点的缓存路径；将缓存路径上目标节点社团的下一个网络社团确定为目标社团；目标节点社团为包含目标节点的网络社团。

具体实现中，在确定目标节点S后，可以将目标节点S上的文件i沿最短搜索路径返回给网络节点A，并将由目标节点S返回至网络节点A的路径作为缓存路径，还可以目标节点S所属的网络社团确定为目标节点社团，在缓存路径上将目标节点社团的下一个网络社团确定为目标社团。

本实施例中，通过根据最短搜索路径得到目标节点至网络节点的缓存路径，可以得到缓存命中率较低的网络节点，将缓存路径上目标节点社团的下一个网络社团确定为目标社团，可以针对缓存命中率较低的节点，以社团为单位进行缓存，在提高缓存命中率的同时，提升缓存空间的使用效率，节省网络存储空间，大幅度降低文件替换次数。

在一个实施例中，目标社团包含社团节点；上述步骤S240，可以具体包括：检测目标社团中是否缓存有文件；若否，则检测目标社团中社团节点的剩余存储空间是否低于预设的存储空间阈值；若否，则将社团节点确定为目标社团的缓存节点；缓存节点的数量符合预设的数量值；通过缓存节点，对文件进行缓存。

其中，社团节点可以为目标社团中的网络节点。

其中，缓存节点可以为目标社团中用于缓存文件的节点。

具体实现中，在确定目标社团后，可以检测当前目标社团中是否缓存有文件i，若当前目标社团中存在至少一个社团节点缓存有文件i，则不需要对文件i进行缓存，并继续对缓存路径上的下一个目标社团进行检测，否则，若当前目标社团中未缓存文件i，则检测当前目标社团中社团节点的剩余存储空间是否小于文件i所需要的存储空间，若当前目标社团中存在一个社团节点的剩余存储空间不小于文件i所需要的存储空间，则可以将该社团节点确定为目标社团中的缓存节点，利用缓存节点对文件i进行缓存，否则，若当前目标社团中各个节点的剩余存储空间均小于文件i所需要的存储空间，则可以根据预设的文件替换策略进行文件替换。其中，缓存节点的数量可以符合预设的数量值，优选地，可以设置数量值为1，即每个目标社团中有且仅有一个缓存节点。

本实施例中，通过检测目标社团中是否缓存有文件，若未缓存文件，则检测目标社团中社团节点的剩余存储空间是否低于预设的存储空间阈值，可以在文件缓存前检测目标社团中是否有足够的存储空间，若不低于预设的存储空间阈值，则将社团节点确定为目标社团的缓存节点，通过缓存节点对文件进行缓存，可以在目标社团中选择具有足够存储空间的社团节点进行文件缓存，缓存节点的数量符合预设的数量值，可以在文件访问相对频繁的网络社团中设定缓存节点个数，控制网络存储空间和文件替换次数。

在一个实施例中，上述步骤S240，具体还可以包括：若检测到目标社团中所有社团节点的剩余存储空间均低于存储空间阈值，则通过在目标社团中查找最近最少使用的文件，得到目标文件；通过删除目标文件，得到目标存储空间；通过目标存储空间，对文件进行缓存。

具体实现中，在检测到目标社团中未缓存有文件i时，可以检测目标社团中所有社团节点的剩余存储空间，若所有社团节点的剩余存储空间均小于文件i所需要的存储空间，则可以在目标社团中查找最近最少使用的文件j，并判断文件j所占用的存储空间是否小于文件i所需要的存储空间，若不小于文件i所需要的存储空间，将文件j确定为目标文件，则可以将文件j确定为目标文件，并删除目标文件，腾出目标存储空间，利用目标存储空间对文件i进行缓存。

本实施例中，通过若检测到目标社团中所有社团节点的剩余存储空间均低于存储空间阈值，则通过在目标社团中查找最近最少使用的文件，得到目标文件，可以在目标社团剩余存储空间不足时，挑选出请求相对不频繁的文件作为替换文件，通过删除目标文件得到目标存储空间，通过目标存储空间对文件进行缓存，可以用请求频繁的文件替换请求相对不频繁的文件，根据用户的实时请求情况来提高网络的缓存命中率。

在一个实施例中，目标社团有且仅有一个缓存节点，上述步骤S240，具体还可以包括：检测当前目标社团中是否存在一个缓存有文件的社团节点；若是，则根据缓存路径确定下一目标社团，并检测下一目标社团中是否存在一个缓存有文件的社团节点；若否，则根据缓存路径在当前目标社团的社团节点中确定一个缓存节点，并通过一个缓存节点对文件进行缓存。

具体实现中，可以通过遍历目标节点S至网络节点A缓存路径上的每一个节点来对文件进行缓存，可以设置缓存路径上各个节点的索引值为n(n＝0，1，……，N)，其中，n＝0可以为目标节点S的索引值，n＝N可以为网络节点A的索引值，还可以设置缓存路径上各个目标社团的索引值为c(c＝0，1，……，C)，其中，c＝0可以为目标节点S所在的社团，c＝C可以为网络节点A所在的社团。若检测到节点n所在的目标社团c中存在一个社团节点缓存有文件i，则节点n不需要对文件i进行缓存，可以继续对下一个节点n+1进行检测，若节点n+1同样属于目标社团c，显然不需要对文件i进行缓存，否则，若节点n+1属于目标社团c+1，则可以检测目标社团c+1中是否存在一个缓存有文件i的社团节点。在上述过程中，若检测到节点n所在的目标社团c中任意社团节点均未缓存有文件i，则可以进一步检测目标社团c中各个社团节点的剩余存储空间是否小于文件i所需的存储空间大小，若目标社团c中存在一个社团节点Q的剩余存储空间不小于文件i所需的存储空间大小，则可以通过节点Q来缓存文件i，否则，若目标社团c中各个节点的剩余存储空间均小于文件i所需的存储空间大小，则可以在目标社团c中查找出最近最少使用的文件j，若文件j占用的存储空间不小于文件i所需的存储空间大小，则可以将文件j确定为缓存节点，删除文件j，利用原文件j的存储空间对文件i进行缓存，之后，可以继续对下一个节点n+1进行上述处理，显然，若节点n+1同样属于目标社团c，则不需要缓存文件i，否则，若节点n+1属于目标社团c+1，则可以重复执行上述过程。

需要说明的是，通过上述过程可以确保每个目标社团中有且仅有一个缓存节点。

本实施例中，通过检测当前目标社团中是否存在一个缓存有文件的社团节点，若是，则根据缓存路径确定下一目标社团，并检测下一目标社团中是否存在一个缓存有文件的社团节点，若否，则根据缓存路径在当前目标社团的社团节点中确定一个缓存节点，并通过一个缓存节点对文件进行缓存，可以确保对于同一个文件，每个目标社团中仅存在一个对该文件进行缓存的缓存节点，可以节省网络存储空间和大幅度降低文件替换次数。

为了便于本领域技术人员深入理解本申请实施例，以下将结合图3-9的具体示例进行说明。

基于传统的LCE策略，本申请利用网络的社团结构特征，提出了一种基于社团的处处缓存(community-based LCE，CLCE)策略，通过网络社团内部节点之间的单备份协作，可有效提升缓存空间的使用效率，降低系统的运行成本。

图3提供了一个基于社团的处处缓存策略的流程示意图，包括以下步骤：

步骤S310，用户向节点A请求文件i，若节点A恰好缓存了文件i，则命中缓存，并返回文件i，流程结束。若节点A没有缓存文件i，则执行以下步骤；

步骤S320，从节点A开始进行广度优先搜索，向周围其它节点寻找文件i，直到发现某个节点S中缓存了文件i，返回S→A的最短路径；

步骤S330，对S→A路径上的每一个节点n，如果节点n所在的社团中存在一个节点缓存了文件i，则不需要再进行缓存，继续遍历下一个节点；如果节点n所在的社团中没有任何节点缓存有文件i，则1)如果该社团中存在一个节点有足够的存储空间，则在该节点处缓存下文件i，2)如果该社团中没有足够的存储空间，则找到社团中最近最少使用的文件，将之删除以腾出空间缓存文件i。

基于社团的处处缓存策略提供了同一个社团内部节点之间的单备份协作缓存机制，即当一个文件想要缓存到节点i时，节点i首先查询自己以及位于同一社团的所有其它节点，看是否已经缓存有该文件，如果已经缓存，则该文件不会缓存到节点i中。只有当同一社团的所有其它节点都没有缓存该文件时，文件才会缓存到节点i中或根据不同的缓存替换策略缓存到同一社团内的某个节点中。基于社团的处处缓存策略可以保证一个文件在同一个社团中仅保存一份，从而最大程度地利用节点有限的存储容量，同时，由于社团内部节点之间连接非常紧密，协作的成本相对较低。基于社团的处处缓存策略可以应用于5G通信场景，以及其它可利用网络社团结构特征进行协作缓存的场景，如CDN中。

需要说明的是，上述步骤S302中使用了最近最少使用替换策略，来确定文件替换时具体应该替换哪一个节点中的哪一个文件，实际应用中，可以使用其它替换策略来代替最近最少使用策略，以优化系统性能。

还需要说明的是，社团划分算法可以采用SCP算法，SCP算法可以包括以下步骤：

步骤S301，设定参数k的值，通常可以取k＝3；

步骤S302，在网络中找到所有拥有k个节点的k-完全子图(k个节点两两之间都有连边的子图)，其中，本领域技术人员可以理解连边即两个节点之间相连。

步骤S303，检查所有找到的k-完全子图，如果任意两个k-完全子图之间共享k-1个节点，且这k-1个节点两两之间也有连边，那么这两个k-完全子图可以被合并成一个社团；

步骤S304，重复步骤S303直到网络中没有满足条件的k-完全子图，无法继续合并，可以得到划分完成的社团。

以CDN为例，以下结合图4-9对文件缓存过程进行说明：

图4提供了一个已经划分好的网络社团的效果图，每个节点可以表示一个CDN服务器，其中，节点Ai(i＝1，2，3，4，5)属于社团A，Bi(i＝1，2，3，4)属于社团B，Ci(i＝1，2，3，4)属于社团C，Di(i＝1，2，3，4，5)属于社团D，节点附近的数字表示(文件ID，文件最后一次被使用的时间)，例如，节点A1对应的(5，2)表示文件编号为5，最后一次被使用的时间戳为2。

图5提供了一个文件缓存路径的效果图，若在时间戳为4时，用户向D3请求文件1，由于D3没有缓存文件1，系统将为它找到如图5实线所示的最短路径，在往D3发送文件1的过程中，文件1将根据缓存策略，在路径上的一些服务器被缓存下来。

图6提供了一个基于社团的处处缓存策略的效果图，当使用CLCE策略时，在完成文件1的传输后，路径上各个服务器保存的文件情况如图6所示，可以看到路径上所经过的AC两个社团，都选择了社团内最近最少使用的一个文件替换为文件1。

基于传统的LCD策略，本申请还利用网络的社团结构特征，提出了一种基于社团的向下拷贝(community-based LCD，CLCD)策略，图7提供了一个基于社团的向下拷贝策略的效果图，在完成文件1的传输后，路径上所经过的A社团选择了社团内最近最少使用的一个文件替换为文件1。

图8提供了一个传统处处缓存策略的效果图，其中，路径上的每一个节点都缓存了文件1，特别是许多在同一个社团内距离很近的节点都缓存了同一个文件，造成了缓存的冗余。

图9提供了一个传统向下拷贝策略的效果图，在B4节点寻找到文件1后，将文件1缓存在路径上B4的下一个节点B3，容易造成系统缓存命中率不高。

通过采用三种网络模型，包括随机网络模型(random)、多局域世界模型(multi-local-world，MLW)和真实互联网数据(Internet)，进行模拟仿真，对比本申请提出的CLCE和传统的LCE缓存策略的运行效果。结果显示，使用CLCE策略能够可观地提高缓存系统中缓存的命中率，降低平均最短路径，大幅减少缓存的拷贝和替换操作。这说明，通过社团内部节点的协作缓存，在提升系统效率，优化用户体验的同时，还能减少缓存拷贝和替换带来的性能损耗和硬件损耗。具体地，仿真结果如下：

图10提供了一个网络社团协作缓存方法的性能仿真结果图，经过50万次模拟请求，得到图10中的四个图像，分别对应命中率(hit rate)、平均最短路径(averageshortest path)、缓存拷贝次数(number of copies)和缓存替换次数(number ofreplacements)4个指标，图中的x轴是文件分布模型(zipf)的参数，可以看到在所有情况下，CLCE性能均优于LCE，包括拥有更高的缓存命中率、更小的最短路径、更少的缓存拷贝和替换次数。这意味着，使用CLCE策略可以让一个分布式存储系统访问效率大幅提高，同时数据的拷贝和替换的次数大幅下降，这将减轻服务器处理数据的负担，降低运行成本，甚至延长硬件设备的使用寿命。

表1提供了缓存命中率指标对比以及提升的比例。表2提供了最短路径指标的对比以及降低的比例。表3提供了缓存拷贝次数的对比以及降低的比例。

表4提供了缓存替换次数的对比以及降低的比例。

模型	LCE命中率(H<sub>e</sub>)	CLCE命中率(H<sub>ce</sub>)	(H<sub>ce</sub>-H<sub>e</sub>)/H<sub>e</sub>
				random	0.385878	0.450410	16.72％
MLW	0.393976	0.481446	22.20％
				Internet	0.516484	0.644156	24.72％

表1

模型	LCE最短路径(T<sub>e</sub>)	CLCE最短路径(T<sub>ce</sub>)	(T<sub>e</sub>-T<sub>ce</sub>)/T<sub>e</sub>
				random	4.871012	4.701426	3.48％
MLW	3.798666	3.656232	3.75％
				Internet	2.990398	2.892452	3.27％

表2

模型	LCE缓存拷贝次数(C<sub>e</sub>)	CLCE缓存拷贝次数(C<sub>ce</sub>)	(C<sub>e</sub>-C<sub>ce</sub>)/C<sub>e</sub>
				random	2935506	823591	71.94％
MLW	2399333	482399	79.89％
				Internet	1995199	675174	66.16％

表3

模型	LCE缓存替换次数(R<sub>e</sub>)	CLCE缓存替换次数(R<sub>ce</sub>)	(R<sub>e</sub>-R<sub>ce</sub>)/R<sub>e</sub>
				random	2910506	798591	72.56％
MLW	2374333	457399	80.74％
				Internet	1898169	578336	69.53％

表4

从表中可以看出，CLCE策略相比传统的LCE策略在三种模型的四个指标上都有较大的提高，CLCE策略在命中率上较之LCE提高了至少15％，在因特网中的提高达到了将近25％，缓存命中率的提高将相应地使得请求在网络中经历的最短路径减少，CLCE在三种网络模型中都降低了平均响应时间3％以上，在缓存文件的拷贝和替换次数方面，CLCE比LCE减少了60％以上。

对于目前同样非常常用的LCD策略，我们也借助单备份的社团协作，给出了CLCD策略，我们发现采用CLCD策略同样比LCD策略具有更高的缓存命中率，更短的最短路径和更少的缓存替换、拷贝次数。这也进一步说明了单备份社团协作的思想可以为分布式的缓存策略带来可观的性能提升

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图11所示，提供了一种网络社团协作缓存装置，包括：搜索模块1102、搜索路径获取模块1104、目标社团确定模块1106和缓存模块1108，其中：

搜索模块1102，用于当网络节点接收到文件请求时，若检测到所述网络节点未缓存所述文件，则通过对网络进行搜索，得到缓存有所述文件的目标节点；所述网络包含至少一个网络社团；

搜索路径获取模块1104，用于获取所述网络节点和所述目标节点之间的搜索路径；

目标社团确定模块1106，用于根据所述搜索路径所途经的网络社团，确定目标社团；

缓存模块1108，用于根据所述目标社团，对所述文件进行缓存。

在一个实施例中，上述搜索模块1102，还用于通过对所述网络进行广度优先搜索，得到所述目标节点和所述目标节点对应的最短搜索路径，搜索路径获取模块1104，还用于根据所述最短搜索路径，得到所述网络节点和所述目标节点之间的搜索路径。

在一个实施例中，上述目标社团确定模块1106，还用于根据所述最短搜索路径，得到所述目标节点至所述网络节点的缓存路径；将所述缓存路径所途经的所有网络社团确定为所述目标社团。

在一个实施例中，上述目标社团确定模块1106，还用于根据所述最短搜索路径，得到所述目标节点至所述网络节点的缓存路径；将所述缓存路径上目标节点社团的下一个网络社团确定为所述目标社团；所述目标节点社团为包含所述目标节点的网络社团。

在一个实施例中，上述缓存模块1108，还用于检测所述目标社团中是否缓存有所述文件；若否，则检测所述目标社团中社团节点的剩余存储空间是否低于预设的存储空间阈值；若否，则将所述社团节点确定为所述目标社团的缓存节点；所述缓存节点的数量符合预设的数量值；通过所述缓存节点，对所述文件进行缓存。

在一个实施例中，上述缓存模块1108，还用于若检测到所述目标社团中所有社团节点的剩余存储空间均低于所述存储空间阈值，则通过在所述目标社团中查找最近最少使用的文件，得到目标文件；通过删除所述目标文件，得到目标存储空间；通过所述目标存储空间，对所述文件进行缓存。

在一个实施例中，上述缓存模块1108，还用于检测当前目标社团中是否存在一个缓存有所述文件的社团节点；若是，则根据所述缓存路径确定下一目标社团，并检测所述下一目标社团中是否存在一个缓存有所述文件的社团节点；若否，则根据所述缓存路径在所述当前目标社团的社团节点中确定一个缓存节点，并通过所述一个缓存节点对所述文件进行缓存。

关于网络社团协作缓存装置的具体限定可以参见上文中对于网络社团协作缓存方法的限定，在此不再赘述。上网络社团协作缓存装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储网络社团协作缓存数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种网络社团协作缓存方法。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述一种网络社团协作缓存方法的步骤。此处一种网络社团协作缓存方法的步骤可以是上述各个实施例的一种网络社团协作缓存方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述一种网络社团协作缓存方法的步骤。此处一种网络社团协作缓存方法的步骤可以是上述各个实施例的一种网络社团协作缓存方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种网络社团协作缓存方法，其特征在于，所述方法包括：

当网络节点接收到文件请求时，若检测到所述网络节点未缓存所述文件，则通过对网络进行广度优先搜索，得到缓存有所述文件的目标节点和所述目标节点对应的最短搜索路径；所述网络包含至少一个网络社团；

根据所述最短搜索路径，获取所述网络节点和所述目标节点之间的搜索路径；

根据所述搜索路径所途经的网络社团，确定目标社团；其中，确定目标社团，包括：根据所述最短搜索路径，得到所述目标节点至所述网络节点的缓存路径；将所述缓存路径所途经的所有网络社团确定为所述目标社团；所述目标社团包含社团节点；

根据所述目标社团，对所述文件进行缓存；具体包括：检测所述目标社团中是否存在缓存有所述文件的社团节点；若否，则检测所述目标社团中所有社团节点的剩余存储空间是否均低于预设的存储空间阈值；若是，则根据预设的文件替换策略进行文件替换。

2.根据权利要求1所述的方法，其特征在于，所述根据所述搜索路径所途经的网络社团，确定目标社团，还包括：

根据所述最短搜索路径，得到所述目标节点至所述网络节点的缓存路径；

将所述缓存路径上目标节点社团的下一个网络社团确定为所述目标社团；所述目标节点社团为包含所述目标节点的网络社团。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标社团，对所述文件进行缓存，包括：

检测所述目标社团中是否缓存有所述文件；

若否，则检测所述目标社团中社团节点的剩余存储空间是否低于所述预设的存储空间阈值；

若否，则将所述社团节点确定为所述目标社团的缓存节点；所述缓存节点的数量符合预设的数量值；

通过所述缓存节点，对所述文件进行缓存。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标社团，对所述文件进行缓存，还包括：

若检测到所述目标社团中所有社团节点的剩余存储空间均低于所述预设的存储空间阈值，则通过在所述目标社团中查找最近最少使用的文件，得到目标文件；

通过删除所述目标文件，得到目标存储空间；

通过所述目标存储空间，对所述文件进行缓存。

5.根据权利要求3所述的方法，其特征在于，所述目标社团有且仅有一个缓存节点；所述根据所述目标社团，对所述文件进行缓存，还包括：

检测当前目标社团中是否存在一个缓存有所述文件的社团节点；

若是，则根据所述缓存路径确定下一目标社团，并检测所述下一目标社团中是否存在一个缓存有所述文件的社团节点；

若否，则根据所述缓存路径在所述当前目标社团的社团节点中确定所述一个缓存节点，并通过所述一个缓存节点对所述文件进行缓存。

6.根据权利要求1所述的方法，其特征在于，所述通过对所述网络进行广度优先搜索，得到缓存有所述文件的目标节点和所述目标节点对应的最短搜索路径，包括：

在所述网络中先搜索与所述网络节点距离为L的所有节点，再搜索与所述网络节点距离为L+1的所有节点，直至找到所述目标节点。

7.根据权利要求1所述的方法，其特征在于，所述网络社团为通过序贯团渗透算法确定得到的。

8.一种网络社团协作缓存装置，其特征在于，所述装置包括：

搜索模块，用于当网络节点接收到文件请求时，若检测到所述网络节点未缓存所述文件，则通过对网络进行广度优先搜索，得到缓存有所述文件的目标节点和所述目标节点对应的最短搜索路径；所述网络包含至少一个网络社团；

搜索路径获取模块，用于根据所述最短搜索路径，获取所述网络节点和所述目标节点之间的搜索路径；

目标社团确定模块，用于根据所述搜索路径所途经的网络社团，确定目标社团；其中，确定目标社团，包括：根据所述最短搜索路径，得到所述目标节点至所述网络节点的缓存路径；将所述缓存路径所途经的所有网络社团确定为所述目标社团；所述目标社团包含社团节点；

缓存模块，用于根据所述目标社团，对所述文件进行缓存；具体包括：检测所述目标社团中是否存在缓存有所述文件的社团节点；若否，则检测所述目标社团中所有社团节点的剩余存储空间是否均低于预设的存储空间阈值；若是，则根据预设的文件替换策略进行文件替换。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images