CN105897828A - 节点缓存机制的确定方法及系统 - Google Patents

Abstract

本发明提供一种节点缓存机制的确定方法，包括：调取节点在当前缓存机制下的用户访问日志；确定所述节点的基准内存空间利用率和基准请求次数命中率，并按照预定规则建立标准缓存模型；提供待定缓存机制，模拟相同的访问请求，建立参照缓存模型；比较参照缓存模型与标准缓存模型的相似度，确定相似度大于预定阈值上限的待定缓存机制为可用的缓存机制。本发明还提供了相应的系统。本发明通过用户实际的访问数据建立节点的标准缓存模型，对节点在待定缓存机制下通过相同的访问数据得到的参照缓存模型进行相似度对比，相似度越高，该缓存机制越符合实际情况，因此将相似度最高的缓存机制作为该节点的缓存机制，可实现节点缓存机制的确定。

Description

节点缓存机制的确定方法及系统

技术领域

本发明涉及CDN技术领域，具体涉及一种节点缓存机制的确定方法及系统。

背景技术

内容分发网络CDN(Content Delivery Network)实现将内容从中心源站点分发到网络边缘节点，为用户提供就近性服务。特别地，CDN网络是流媒体系统重要的组成部分，它为保障流媒体服务质量提供了重要支撑。服务于流媒体业务的CDN网络所需缓存容量和带宽都非常巨大，合理进行缓存、尽量节省带宽显得尤为重要。

目前在服务于流媒体业务的CDN网络中，当用户访问某一个视频内容时，经过CDN调度过程后，会使用户访问到离该用户最近的且负载最小的节点。如果该节点中没有此视频内容的备份，则该节点向上一层节点或源节点访问此视频内容，同时也向该用户提供流媒体服务。节点的这种根据用户访问次数确定缓存哪些内容和无需缓存哪些内容被称为节点的缓存机制。若节点的缓存机制没有设计好，则会出现以下问题：当用户访问的视频是冷门节目时，即仅仅会被偶尔访问一次的节目，将该视频缓存在节点中则会导致边缘节点的缓存容量和缓存带宽的浪费；当用户访问的视频是热门视频时，节点中没有缓存该视频，则节点首次响应该视频的延迟较大，影响用户体验。因此，节点的缓存机制直接影响着对用户提供的服务的质量的好坏。

通常，针对节点的缓存会设计多种缓存机制，为减少节点缓存用户不常访问即不必要的数据或没有缓存用户经常访问即重要的数据等情况出现的概率，到底选择哪种缓存机制更符合用户实际的访问情况，即如何从多种不同的缓存机制中选择一种可用的甚至最佳的缓存机制作为该节点最终的缓存机制是目前业界亟待解决的需要课题。

发明内容

针对上述问题，本发明提供一种节点缓存机制的确定方法及系统，以确定待定的缓存机制是否为可用的缓存机制，实现从多种不同的缓存机制中选择一种作为该节点最优的缓存机制。

本发明提供一种节点缓存机制的确定方法，包括：

调取节点在当前缓存机制下的用户访问日志，所述用户访问日志中至少包含各个缓存内容的访问请求、各个缓存内容的访问请求次数和各个缓存内容的大小；

根据所述节点的内存空间和所述用户访问日志，确定所述节点的基准内存空间利用率和基准请求次数命中率，将所述基准内存空间利用率和基准请求次数命中率按照预定规则建立标准缓存模型；

提供待定缓存机制，模拟向所述节点发出的所述各个缓存内容的访问请求，模拟节点在所述待定缓存机制下的模拟用户访问日志，根据所述节点的内存空间和所述模拟用户访问日志，确定所述节点的模拟内存空间利用率和模拟请求次数命中率，将所述模拟内存空间利用率和所述模拟请求次数命中率按照所述预定规则建立参照缓存模型；

比较所述参照缓存模型与所述标准缓存模型的相似度，确定相似度大于预定阈值上限的待定缓存机制为可用的替代缓存机制。

另一方面本发明还提供一种节点缓存机制的确定系统，包括：

调取单元，用于调取节点在当前缓存机制下的用户访问日志，所述用户访问日志中至少包含各个缓存内容的访问请求、各个缓存内容的访问请求次数和各个缓存内容的大小；

标准模型建立单元，用于根据所述节点的内存空间和所述用户访问日志，确定所述节点的基准内存空间利用率和基准请求次数命中率，将所述基准内存空间利用率和基准请求次数命中率按照预定规则建立标准缓存模型；

参照模型建立单元，用于提供待定缓存机制，模拟向所述节点发出的所述各个缓存内容的访问请求，模拟节点在所述待定缓存机制下的模拟用户访问日志，根据所述节点的内存空间和所述模拟用户访问日志，确定所述节点的模拟内存空间利用率和模拟请求次数命中率，将所述模拟内存空间利用率和所述模拟请求次数命中率按照所述预定规则建立参照缓存模型；

缓存机制确定单元，用于比较所述参照缓存模型与所述标准缓存模型的相似度，所述缓存机制确定单元包括可用机制确定模块，用于确定相似度大于预定阈值上限的待定缓存机制为可用的替代缓存机制。

本发明提供的节点缓存机制的确定方法及系统，通过实际的用户访问数据建立节点的标准缓存模型，以用作标准来对该节点在待定缓存机制下通过相同的用户访问数据得到的参照缓存模型进行对比，参照缓存模型和标准缓存模型的相似度越高，表明参照缓存模型对应的缓存机制越符合实际情况，其节点在用户访问过程中缓存容量的浪费越小且命中率越高，由此可以将相似度最高的缓存机制作为该节点可用的缓存机制，实现节点缓存机制的确定。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施方式的确定方法的流程图；

图2是本发明一实施方式的确定系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一实施方式的节点缓存机制的确定方法的流程图。如图1所示，本发明实施例的确定方法包括：

S101：调取节点在当前缓存机制下的用户访问日志，所述用户访问日志中至少包含各个缓存内容的访问请求、各个缓存内容的访问请求次数和各个缓存内容的大小；

S102：根据所述节点的内存空间和所述用户访问日志，确定所述节点的基准内存空间利用率和基准请求次数命中率，将所述基准内存空间利用率和基准请求次数命中率按照预定规则建立标准缓存模型；

S103：提供待定缓存机制，模拟向所述节点发出的所述各个缓存内容的访问请求，模拟节点在所述待定缓存机制下的模拟用户访问日志，根据所述节点的内存空间和所述模拟用户访问日志，确定所述节点的模拟内存空间利用率和模拟请求次数命中率，将所述模拟内存空间利用率和所述模拟请求次数命中率按照所述预定规则建立参照缓存模型；

S104：比较所述参照缓存模型与所述标准缓存模型的相似度，确定相似度大于预定阈值上限的待定缓存机制为可用的替代缓存机制。

本发明实施例通过调取实际的用户访问数据建立节点的标准缓存模型，并模拟调取的用户访问数据建立节点在待定缓存机制下的参照缓存模型，将标准缓存模型用作基准与参照缓存模型进行相似度的对比，从而确定可用的替代缓存机制。节点的内存空间利用率是指节点内缓存所占空间与节点本身空间大小的比值，节点的请求次数命中率是指在该节点中请求被命中的次数与请求总次数的比值。由于节点中内存空间利用率和请求次数命中率存在约束关系，当节点内存空间利用率高时其请求次数命中率不一定高，当请求次数命中率高时其需要使用的节点空间可能大于节点本身的内存空间，因此在所调取的这一段用户访问时期内兼顾二者确定相对理想的基准内存空间利用率和基准请求次数命中率，将基准内存空间利用率和基准请求次数命中率按照预定规则建立相对理想的标准缓存模型。因此，与标准缓存模型比较，相似度越高，表明参照缓存模型对应的缓存机制越符合实际情况，其节点在用户访问过程中缓存容量的浪费越小且命中率越高，由此可以将相似度最高的缓存机制作为该节点可用的缓存机制，实现节点缓存机制的确定。

图1所示实施例在步骤S104之后还可以包括步骤S105：当所述待定缓存机制的数量为多个且可用的替代缓存机制的数量也为多个时，确定其中具有最高相似度的替代缓存机制为最佳替代缓存机制。通过步骤S105，本实施例可以在多个待定缓存机制中，先确定出可用的替代缓存机制，若可用替代缓存机制为多个，则可以在可用的替代缓存机制中选择相似度最高的缓存机制作为最佳的替代缓存机制，实现了逐渐缩小范围，在满足可用需求上选择最佳替代缓存机制的方式。

图1所示实施例还可以包括步骤S106：当待定缓存机制的相似度小于预定阈值上限且大于预定阈值下限时，选取所述相似度最高的待定缓存机制进行修改，使得修改后的待定缓存机制的相似度大于预定阈值上限，并确定为最佳替代缓存机制。本实施例中相似度在阈值上限和阈值下限之间的缓存机制虽然还存在一定缺陷，但已经能满足该节点基本的缓存需求，又由于缓存效果较好的节点其缓存机制在设计时并不是一件容易的事，需要一定的时间和精力来完成，因此在没有可用替代缓存机制的情况下，即没有更好的缓存机制时，可以对相似度在阈值上限和阈值下限内的缓存机制进行修改，使其相似度提高，超过预定阈值上限后作为该节点最终的缓存机制。本实施例通过步骤S106能够在现有缓存机制的基础上对其进行有目的的修改，可节省重新设计的时间和成本。

图1所示实施例还可以包括步骤S107：当所述待定缓存机制的最高相似度小于预定阈值下限时，重新选择其他的待定缓存机制建立参照缓存模型并进行相似度的确定。本实施例中为缓存机制的选择设定了相似度的阈值下限，当所有的缓存机制的缓存结果数据表与标准缓存结果数据表的相似度都低于阈值下限时，表明所有的缓存机制都存在较严重的缺陷，此时对这些缓存机制进行修改反而会花费大量的人力和资源，得不偿失。因此本实施例可以避免在缺陷严重的缓存机制上花费大量时间和精力进行修改，甚至错上加错。

图1所示实施例中，预定规则可以为：将内存空间利用率和请求次数命中率进行加权求和，确定和的最大值。

图1或图2所示实施例中，阈值上限不低于70％，阈值下限不高于35％。

图2是本发明一实施方式的确定系统的结构示意图。如图2所示，本实施例中确定系统包括：调取单元201、标准模型建立单元202、参照模型建立单元203和缓存机制确定单元204。

调取单元201用于调取节点在当前缓存机制下的用户访问日志，用户访问日志中至少包含各个缓存内容的访问请求、各个缓存内容的访问请求次数和各个缓存内容的大小；

标准模型建立单元202用于根据节点的内存空间和用户访问日志，确定节点的基准内存空间利用率和基准请求次数命中率，将基准内存空间利用率和基准请求次数命中率按照预定规则建立标准缓存模型；

参照模型建立单元203用于提供待定缓存机制，模拟向节点发出的各个缓存内容的访问请求，模拟节点在待定缓存机制下的模拟用户访问日志，根据节点的内存空间和模拟用户访问日志，确定节点的模拟内存空间利用率和模拟请求次数命中率，将模拟内存空间利用率和模拟请求次数命中率按照预定规则建立参照缓存模型；

缓存机制确定单元204用于比较参照缓存模型与标准缓存模型的相似度，其中，缓存机制确定单元包括可用机制确定模块2041，用于确定相似度大于预定阈值上限的待定缓存机制为可用的替代缓存机制。

图2所示实施例中，预定规则可以为：将内存空间利用率和请求次数命中率进行加权求和，确定和的最大值。

作为图2所示实施例系统的进一步优化，缓存机制确定单元204还可以用于在待定缓存机制的最高相似度小于预定阈值下限时，重新选择其他的待定缓存机制建立参照缓存模型并进行相似度的确定。

作为图2所示实施例系统的进一步优化，缓存机制确定单元204还包括最佳机制确定模块2042，用于在待定缓存机制的数量为多个且可用的替代缓存机制的数量也为多个时，确定其中具有最高相似度的替代缓存机制为最佳替代缓存机制。

作为图2所示实施例系统的进一步优化，缓存机制确定单元204还可以用于在待定缓存机制的相似度小于预定阈值上限且大于预定阈值下限时，选取所述相似度最高的待定缓存机制进行修改，使得修改后的待定缓存机制的相似度大于预定阈值上限，并确定为最佳替代缓存机制。

本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。

下面以视频领域为例对本发明做进一步的说明。

首先调取节点在当前缓存机制下某一段时间内的用户访问日志，用户访问日志中用户请求访问的内容有视频1、视频2、视频3、视频4和视频5，其中各个视频的大小及访问请求次数如下表：

名称	视频1	视频2	视频3	视频4	视频5
						视频大小	10	100	50	700	300
访问请求次数	200	88	1000	2	10

表1

该节点的内存空间为1000MB，预定规则为将内存空间利用率和请求次数命中率进行加权求和，确定和的最大值，其中空间利用率的权重比为0.2，请求次数命中率的权重比为0.8。根据数学中的目标规划可以得到该节点缓存的最佳方式如表2：

名称	视频1	视频2	视频3	视频4	视频5
						是否缓存	是	是	是	否	是
视频大小	10	500	50	700	300
						访问请求次数	200	88	700	2	10

表2

由此得到基准内存空间利用率为86％，基准请求次数命中率为99.8％。标准缓存模型为86％×0.2+99.8％×0.8＝97.04％。

现提供三种待定缓存机制。分别模拟向节点发送的各个视频的访问请求及节点在待定缓存机制下的模拟用户访问日志。根据该节点1000MB的内存空间大小及模拟用户访问日志，得到第一缓存机制、第二缓存机制、第三缓存机制和第四缓存机制的缓存情况，见表3、表4、表5、表6。

第一缓存机制	视频1	视频2	视频3	视频4	视频5
						是否缓存	是	否	否	是	否
视频大小	10	500	50	700	300
						访问请求次数	200	88	700	2	10

表3

第二缓存机制	视频1	视频2	视频3	视频4	视频5
						是否缓存	是	是	是	否	否
视频大小	10	500	50	700	300
						访问请求次数	200	88	700	2	10

表4

第三缓存机制	视频1	视频2	视频3	视频4	视频5
						是否缓存	否	否	是	否	是
视频大小	10	500	50	700	300
						访问请求次数	200	88	700	2	10

表5

第四缓存机制	视频1	视频2	视频3	视频4	视频5
						是否缓存	是	否	是	否	是
视频大小	10	500	50	700	300
						访问请求次数	200	88	700	2	10

表6

其中，第一缓存模型的模拟空间利用率为71％，模拟请求次数命中率为20.2％，按照预定规则得到第一参照模型为30.36％；

第二缓存模型的模拟空间利用率为56％，模拟请求次数命中率为98.8％，按照预定规则得到第二参照模型为90.24％；

第三缓存模型的模拟空间利用率为35％，模拟请求次数命中率为71％，按照预定规则得到第三参照模型为63.8％；

第四缓存模型的模拟空间利用率为36％，模拟请求次数命中率为91％，按照预定规则得到第三参照模型为80％。

本实施例中预定阈值上限为70％，预定阈值下限为35％。第二缓存模型与标准缓存模型的相似度最高，为93.0％，高于预定阈值上限；第一缓存模型与标准缓存模型的相似度最低，为31.3％，低于预定阈值下限；第三缓存模型与标准缓存模型的相似度为65.7％，在预定阈值上限和预定阈值下限之间；第四缓存模型与标准缓存模型的相似度为82.4％，高于预定阈值上限。

由此可得，第二缓存模型对应的第二缓存机制和第四缓存模型对应的第四缓存机制均为可用的替代缓存机制。其中，第二缓存机制为最佳替代缓存机制。

当不存在第二缓存机制和第四缓存机制，即当没有任何待定缓存机制的相似度大于预定阈值时，若具有最高相似度的待定缓存机制的相似度小于预定阈值上限且大于预定阈值下限，可以将该待定缓存机制(本例中为第三缓存机制)进行修改，使得修改后的第三缓存机制的相似度大于预定阈值上限，成为最佳替代缓存机制；若具有最高相似度的待定缓存机制的相似度小于预定阈值下限(本例中该待定缓存机制为第一缓存机制)，则所有经过相似度对比的待定缓存机制均丢弃不用。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种节点缓存机制的确定方法，包括：

调取节点在当前缓存机制下的用户访问日志，所述用户访问日志中至少包含各个缓存内容的访问请求、各个缓存内容的访问请求次数和各个缓存内容的大小；

根据所述节点的内存空间和所述用户访问日志，确定所述节点的基准内存空间利用率和基准请求次数命中率，将所述基准内存空间利用率和基准请求次数命中率按照预定规则建立标准缓存模型；

提供待定缓存机制，模拟向所述节点发出的所述各个缓存内容的访问请求，模拟节点在所述待定缓存机制下的模拟用户访问日志，根据所述节点的内存空间和所述模拟用户访问日志，确定所述节点的模拟内存空间利用率和模拟请求次数命中率，将所述模拟内存空间利用率和所述模拟请求次数命中率按照所述预定规则建立参照缓存模型；

比较所述参照缓存模型与所述标准缓存模型的相似度，确定相似度大于预定阈值上限的待定缓存机制为可用的替代缓存机制。

2.根据权利要求1所述的确定方法，其中当所述待定缓存机制的最高相似度小于预定阈值下限时，重新选择其他的待定缓存机制建立参照缓存模型并进行相似度的确定。

3.根据权利要求1所述的确定方法，其中，当所述待定缓存机制的数量为多个且可用的替代缓存机制的数量也为多个时，确定其中具有最高相似度的替代缓存机制为最佳替代缓存机制。

4.根据权利要求1所述的确定方法，其中当待定缓存机制的相似度小于预定阈值上限且大于预定阈值下限时，选取所述相似度最高的待定缓存机制进行修改，使得修改后的待定缓存机制的相似度大于预定阈值上限，并确定为最佳替代缓存机制。

5.根据权利要求1-4中任一项所述的确定方法，其中，所述预定规则为：将内存空间利用率和请求次数命中率进行加权求和，确定和的最大值。

6.一种节点缓存机制的确定系统，包括：

调取单元，用于调取节点在当前缓存机制下的用户访问日志，所述用户访问日志中至少包含各个缓存内容的访问请求、各个缓存内容的访问请求次数和各个缓存内容的大小；

标准模型建立单元，用于根据所述节点的内存空间和所述用户访问日志，确定所述节点的基准内存空间利用率和基准请求次数命中率，将所述基准内存空间利用率和基准请求次数命中率按照预定规则建立标准缓存模型；

参照模型建立单元，用于提供待定缓存机制，模拟向所述节点发出的所述各个缓存内容的访问请求，模拟节点在所述待定缓存机制下的模拟用户访问日志，根据所述节点的内存空间和所述模拟用户访问日志，确定所述节点的模拟内存空间利用率和模拟请求次数命中率，将所述模拟内存空间利用率和所述模拟请求次数命中率按照所述预定规则建立参照缓存模型；

缓存机制确定单元，用于比较所述参照缓存模型与所述标准缓存模型的相似度，所述缓存机制确定单元包括可用机制确定模块，用于确定相似度大于预定阈值上限的待定缓存机制为可用的替代缓存机制。

7.根据权利要求6所述的确定系统，其中所述缓存机制确定单元用于在所述待定缓存机制的最高相似度小于预定阈值下限时，重新选择其他的待定缓存机制建立参照缓存模型并进行相似度的确定。

8.根据权利要求6所述的确定系统，其中所述缓存机制确定单元用于在所述待定缓存机制的数量为多个且可用的替代缓存机制的数量也为多个时，确定其中具有最高相似度的替代缓存机制为最佳替代缓存机制。

9.根据权利要求6所述的确定系统，其中所述缓存机制确定单元用于在待定缓存机制的相似度小于预定阈值上限且大于预定阈值下限时，选取所述相似度最高的待定缓存机制进行修改，使得修改后的待定缓存机制的相似度大于预定阈值上限，并确定为最佳替代缓存机制。

10.根据权利要求6-9中任一项所述的确定系统，其中，所述预定规则为：将内存空间利用率和请求次数命中率进行加权求和，确定和的最大值。