CN105915585A - 用于节点群组的缓存机制确定方法及系统 - Google Patents

Abstract

本发明提供一种用于节点群组的缓存机制确定方法，包括：获取节点群组的访问日志；获取基准空间利用率和基准缓存命中率，确定参考缓存机制并建立参考缓存模型；将所述参考缓存机制应用在节点群组的每个节点中，建立测试缓存模型；根据所述参考缓存模型与所述测试缓存模型的相似度，将相似度大于第一预定阈值的测试缓存模型对应的节点中的所述参考缓存机制确定为所述节点的可用缓存机制。本发明还提供了相应的系统。本发明通过用户访问数据建立节点的参考缓存模型，对群组中的节点在应用参考缓存机制后得到的测试缓存模型进行对比，相似度越高，参考缓存机制在该节点的应用越符合实际情况，因此通过本发明可实现节点群组缓存机制的确定。

Description

用于节点群组的缓存机制确定方法及系统

技术领域

本发明涉及CDN技术领域，具体涉及一种用于节点群组的缓存机制确定方法及系统。

背景技术

内容分发网络CDN(Content Delivery Network)实现将内容从中心源站点分发到网络边缘节点，为用户提供就近性服务。特别地，CDN网络是流媒体系统重要的组成部分，它为保障流媒体服务质量提供了重要支撑。服务于流媒体业务的CDN网络所需缓存容量和带宽都非常巨大，合理进行缓存、尽量节省带宽显得尤为重要。

目前在服务于流媒体业务的CDN网络中，当用户访问某一个视频内容时，经过CDN调度过程后，会使用户访问到离该用户最近的且负载最小的节点。如果该节点中没有此视频内容的备份，则该节点向上一层节点或源节点访问此视频内容，同时也向该用户提供流媒体服务。节点的这种根据用户访问次数确定缓存哪些内容和无需缓存哪些内容被称为节点的缓存机制。若节点的缓存机制没有设计好，则会出现以下问题：当用户访问的视频是冷门节目时，即仅仅会被偶尔访问一次的节目，将该视频缓存在节点中则会导致边缘节点的缓存容量和缓存带宽的浪费；当用户访问的视频是热门视频时，节点中没有缓存该视频，则节点首次响应该视频的延迟较大，影响用户体验。因此，节点的缓存机制直接影响着对用户提供的服务的质量的好坏。

通常，CDN节点群组中节目数目较多，如果针对每一个节点都进行缓存机制的设计，其工作量是巨大的。因此，为了在CDN节点群组中实现减少节点缓存用户不常访问即不必要的数据或没有缓存用户经常访问即重要的数据等情况出现的概率，如何根据节点群组的数据确定一种缓存机制以应用在节点群组的节点中使得大部分节点的缓存命中率能够达到最低期望的阈值以上是目前业界亟待解决的需要课题。

发明内容

本发明提供一种用于节点群组的缓存机制确定方法及系统，用于解决上述现有技术中阐述的至少一个问题。

本发明提供一种用于节点群组的缓存机制确定方法，包括：

获取节点群组的访问日志，所述访问日志至少包括节点群组的每个节点中的各个缓存内容的访问请求及请求次数、所述各个缓存内容的大小；

根据每个节点的内存空间和访问日志，获取基准空间利用率和基准缓存命中率，根据所述基准空间利用率和所述基准缓存命中率确定参考缓存机制并建立参考缓存模型；

将所述参考缓存机制应用在节点群组的每个节点中，根据一段时间内所述每个节点的测试内存利用率和测试缓存命中率，建立测试缓存模型；

根据所述参考缓存模型与所述测试缓存模型的相似度，将相似度大于第一预定阈值的测试缓存模型对应的节点中的所述参考缓存机制确定为所述节点的可用缓存机制。

另一方面本发明还提供一种用于节点群组的缓存机制确定系统，包括：

日志获取单元，用于获取节点群组的访问日志，所述访问日志至少包括节点群组的每个节点中的各个缓存内容的访问请求及请求次数、所述各个缓存内容的大小；

参考模型建立单元，用于根据每个节点的内存空间和访问日志，获取基准空间利用率和基准缓存命中率，根据所述基准空间利用率和所述基准缓存命中率确定参考缓存机制并建立参考缓存模型；

测试模型建立单元，用于将所述参考缓存机制应用在节点群组的每个节点中，根据一段时间内所述每个节点的测试内存利用率和测试缓存命中率，建立测试缓存模型；

缓存机制确定单元，用于根据所述参考缓存模型与所述测试缓存模型的相似度，将相似度大于第一预定阈值的测试缓存模型对应的节点中的所述参考缓存机制确定为所述节点的可用缓存机制。

本发明提供的用于节点群组的缓存机制确定方法及系统，通过节点群组实际的用户访问数据建立该群组的参考缓存模型，以用作标准来对该群组中的节点在应用参考缓存机制后通过用户访问得到的测试缓存模型进行对比，若节点中的测试缓存模型和参考缓存模型的相似度越高，表明参考缓存机制在该节点的应用越符合实际情况，其节点在用户访问过程中缓存容量的浪费越小且命中率越高，由此可以将相似度大于第一预定阈值的测试缓存模型对应的节点中的所述参考缓存机制确定为所述节点的可用缓存机制，实现节点群组中每个节点的缓存机制的确定。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施方式的用于节点群组的缓存机制确定方法的流程图；

图2是本发明一实施方式的用于节点群组的缓存机制确定系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一实施方式的用于节点群组的缓存机制确定方法的流程图。如图1所示，本发明实施例的确定方法包括：

S101：获取节点群组的访问日志，所述访问日志至少包括节点群组的每个节点中的各个缓存内容的访问请求及请求次数、所述各个缓存内容的大小；

S102：根据每个节点的内存空间和访问日志，获取基准空间利用率和基准缓存命中率，根据所述基准空间利用率和所述基准缓存命中率确定参考缓存机制并建立参考缓存模型；

S103：将所述参考缓存机制应用在节点群组的每个节点中，根据一段时间内所述每个节点的测试内存利用率和测试缓存命中率，建立测试缓存模型；

S104：根据所述参考缓存模型与所述测试缓存模型的相似度，将相似度大于第一预定阈值的测试缓存模型对应的节点中的所述参考缓存机制确定为所述节点的可用缓存机制。

本发明实施例通过获取实际的用户访问数据建立节点群组的参考缓存模型，并通过相同或不同的用户访问数据建立群组中的节点在参考缓存机制下的测试缓存模型，将参考缓存模型用作基准与测试缓存模型进行相似度的对比，从而确定每个节点的可用缓存机制。节点的内存空间利用率是指节点内缓存所占空间与节点本身空间大小的比值，节点的缓存命中率至少包括请求次数命中率和/或访问流量命中率，其中，请求次数命中率是指在请求被命中的次数与请求总次数的比值，访问流量命中率是指从缓存中获取的数据字节与用户请求的数据字节的比值。由于节点中内存空间利用率和缓存命中率存在约束关系，当节点内存空间利用率高时其缓存命中率不一定高，当缓存命中率高时其需要使用的节点空间可能大于节点本身的内存空间，因此在所调取的这一段用户访问时期内兼顾二者确定相对理想的基准内存空间利用率和基准缓存命中率，根据基准内存空间利用率和基准缓存命中率建立相对理想的参考缓存模型。因此，与参考缓存模型比较，相似度越高，表明测试缓存模型对应的节点中参考缓存机制的应用越符合实际情况，其节点在用户访问过程中缓存容量的浪费越小且命中率越高，由此可以将相似度大于第一预定阈值的测试缓存模型对应的节点中的所述参考缓存机制确定为所述节点的可用缓存机制，实现节点群组的可用缓存机制的确定。

作为图1所示实施例的进一步优化，图1所示实施例在步骤S104之后还可以包括步骤S105：当测试缓存模型的相似度小于第二预定阈值且大于第一预定阈值时，对所述测试缓存模型对应的节点中的所述参考缓存机制进行修改，使得修改后的参考缓存机制在所述节点中建立的测试缓存模型与所述参考缓存模型的相似度大于第二预定阈值，以作为所述节点的最佳缓存机制。

本实施例中相似度在第一预定阈值和第二预定阈值之间的测试缓存模型对应的节点其应用的参考缓存机制虽然还存在一定缺陷，但已经能满足该节点基本的缓存需求，又由于缓存效果较好的节点其缓存机制在设计时并不是一件容易的事，需要一定的时间和精力来完成，因此在没有可用替代缓存机制的情况下，即没有更好的缓存机制时，可以对相似度在第一预定阈值和第二预定阈值内的缓存机制进行修改，使其相似度提高，超过第二预定阈值后作为该节点最终的缓存机制。本实施例通过步骤S105能够在参考缓存机制的基础上对其进行有目的的修改，可节省重新设计的时间和成本。

作为图1所示方法实施例的进一步优化，本发明实施例还可以包括步骤S106：当测试缓存机制的相似度小于第一预定阈值时，重新选择其他的缓存机制应用在所述测试缓存机制对应的节点中，建立测试缓存模型并进行相似度的确定。

本实施例中为节点群组的缓存机制的确定设定了相似度的第一预定阈值，当群组中节点的测试缓存模型与参考缓存模型的相似度低于第一预定阈值时，表明参考缓存机制在这些节点中的应用都存在较严重的缺陷，此时根据各个节点的具体情况对应用在这些节点中的参考缓存机制分别进行修改反而会花费大量的人力和资源，得不偿失。因此本实施例可以在参考缓存机制在某些节点中的应用缺陷严重时避免仍对这些节点中的参考缓存机制上花费大量时间和精力进行修改，甚至错上加错的问题。

作为图1所示方法实施例的进一步优化，本发明实施例步骤S103将所述参考缓存机制应用在节点群组的每个节点中，根据一段时间内所述每个节点的测试内存利用率和测试缓存命中率，建立测试缓存模型中包括：

S1031：将所述测试缓存命中率中相对于基准缓存命中率的波动大小超过预定范围的测试缓存命中率对应的节点确定为异常节点。

S1032：确定所述异常节点是否工作正常。

上述实施例中，测试缓存命中率中相对于基准缓存命中率的波动大小超过预定范围的节点，其测试缓存命中率较低的原因除了其应用的缓存机制不合适外，还有可能是该节点的内存空间已满，甚至是节点存在机械故障无法正常工作。因此通过本实施例可以找出缓存命中率明显与其他节点相差较大的节点，以确定其缓存命中率较低的原因并进行相应的措施。

图2是本发明一实施方式的用于节点群组的缓存机制确定系统的结构示意图。本发明所述的用于节点群组的缓存机制确定方法可以基于本实施例中的用于节点群组的缓存机制确定系统实施。如图2所示，本实施例中系统包括：日志获取单元201、参考模型建立单元202、测试模型建立单元203和缓存机制确定单元204。

日志获取单元201用于获取节点群组的访问日志，所述访问日志至少包括节点群组的每个节点中的各个缓存内容的访问请求及请求次数、所述各个缓存内容的大小；

参考模型建立单元202用于根据每个节点的内存空间和访问日志，获取基准空间利用率和基准缓存命中率，根据所述基准空间利用率和所述基准缓存命中率确定参考缓存机制并建立参考缓存模型；

测试模型建立单元203用于将所述参考缓存机制应用在节点群组的每个节点中，根据一段时间内所述每个节点的测试内存利用率和测试缓存命中率，建立测试缓存模型；

缓存机制确定单元204用于根据所述参考缓存模型与所述测试缓存模型的相似度，将相似度大于第一预定阈值的测试缓存模型对应的节点中的所述参考缓存机制确定为所述节点的可用缓存机制。

本发明实施例中，通过日志获取单元201获取实际的用户访问数据使参考模型建立单元202建立节点群组的参考缓存模型，并通过测试模型建立单元203建立群组中的节点在参考缓存机制下的测试缓存模型，通过缓存机制确定单元204将参考缓存模型用作基准与测试缓存模型进行相似度的对比，从而确定每个节点的可用缓存机制。节点的内存空间利用率是指节点内缓存所占空间与节点本身空间大小的比值，节点的缓存命中率至少包括请求次数命中率和/或访问流量命中率，其中，请求次数命中率是指在请求被命中的次数与请求总次数的比值，访问流量命中率是指从缓存中获取的数据字节与用户请求的数据字节的比值。由于节点中内存空间利用率和缓存命中率存在约束关系，当节点内存空间利用率高时其缓存命中率不一定高，当缓存命中率高时其需要使用的节点空间可能大于节点本身的内存空间，因此在所调取的这一段用户访问时期内兼顾二者确定相对理想的基准内存空间利用率和基准缓存命中率，根据基准内存空间利用率和基准缓存命中率建立相对理想的参考缓存模型。因此，与参考缓存模型比较，相似度越高，表明测试缓存模型对应的节点中参考缓存机制的应用越符合实际情况，其节点在用户访问过程中缓存容量的浪费越小且命中率越高，由此缓存机制确定单元204可以将相似度大于第一预定阈值的测试缓存模型对应的节点中的所述参考缓存机制确定为所述节点的可用缓存机制，实现节点群组的可用缓存机制的确定。

作为图2所示系统实施例的进一步优化，缓存机制确定单元204用于在测试缓存机制的相似度小于第一预定阈值时，重新选择其他的缓存机制应用在所述测试缓存机制对应的节点中，以建立测试缓存模型并进行相似度的确定。

本实施例中为节点群组的缓存机制的确定设定了相似度的第一预定阈值，当群组中节点的测试缓存模型与参考缓存模型的相似度低于第一预定阈值时，表明参考缓存机制在这些节点中的应用都存在较严重的缺陷，此时根据各个节点的具体情况对应用在这些节点中的参考缓存机制分别进行修改反而会花费大量的人力和资源，得不偿失。因此本实施例可以在参考缓存机制在某些节点中的应用缺陷严重时避免仍对这些节点中的参考缓存机制上花费大量时间和精力进行修改，甚至错上加错的问题。

作为图2所示实施例系统的进一步优化，当测试缓存模型的相似度小于第二预定阈值且大于第一预定阈值时，对所述测试缓存模型对应的节点中的所述参考缓存机制进行修改，使得修改后的参考缓存机制在所述节点中建立的测试缓存模型与所述参考缓存模型的相似度大于第二预定阈值，以作为所述节点的最佳缓存机制。

本实施例中相似度在第一预定阈值和第二预定阈值之间的测试缓存模型对应的节点其应用的参考缓存机制虽然还存在一定缺陷，但已经能满足该节点基本的缓存需求，又由于缓存效果较好的节点其缓存机制在设计时并不是一件容易的事，需要一定的时间和精力来完成，因此在没有可用替代缓存机制的情况下，即没有更好的缓存机制时，可以对相似度在第一预定阈值和第二预定阈值内的缓存机制进行修改，使其相似度提高，超过第二预定阈值后作为该节点最终的缓存机制。本实施例能够在参考缓存机制的基础上对其进行有目的的修改，可节省重新设计的时间和成本。

作为图2所示实施例系统的进一步优化，所述测试模型建立单元用于：

将所述测试缓存命中率中相对于基准缓存命中率的波动大小超过预定范围的测试缓存命中率对应的节点确定为异常节点；

确定所述异常节点是否工作正常。

上述实施例中，测试缓存命中率中相对于基准缓存命中率的波动大小超过预定范围的节点，其测试缓存命中率较低的原因除了其应用的缓存机制不合适外，还有可能是该节点的内存空间已满，甚至是节点存在机械故障无法正常工作。因此通过本实施例可以找出缓存命中率明显与其他节点相差较大的节点，以确定其缓存命中率较低的原因并进行相应的措施。

图1或图2所示实施例中，第二预定阈值可以不低于70％，第一预定阈值可以不高于35％。

在本发明实施例中，根据基准空间利用率和基准缓存命中率确定参考缓存机制并建立参考缓存模型，其中参考缓存模型的建立可以根据将内存空间利用率和缓存命中率进行加权求和，确定和的最大值进行。

在本发明实施例中，所述缓存命中率至少包括请求次数命中率和/或访问流量命中率。

在本发明实施例中，节点群组可以是CDN全网节点，也可以是CDN子系统节点。

本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种用于节点群组的缓存机制确定方法，包括：

获取节点群组的访问日志，所述访问日志至少包括节点群组的每个节点中的各个缓存内容的访问请求及请求次数、所述各个缓存内容的大小；

根据每个节点的内存空间和用户访问日志，获取基准空间利用率和基准缓存命中率，根据所述基准空间利用率和所述基准缓存命中率确定参考缓存机制并建立参考缓存模型；

将所述参考缓存机制应用在节点群组的每个节点中，根据一段时间内所述每个节点的测试内存利用率和测试缓存命中率，建立测试缓存模型；

根据所述参考缓存模型与所述测试缓存模型的相似度，将相似度大于第一预定阈值的测试缓存模型对应的节点中的所述参考缓存机制确定为所述节点的可用缓存机制。

2.根据权利要求1所述的方法，其中，当测试缓存机制的相似度小于第一预定阈值时，重新选择其他的缓存机制应用在所述测试缓存机制对应的节点中，建立测试缓存模型并进行相似度的确定。

3.根据权利要求1所述的方法，其中，当测试缓存模型的相似度小于第二预定阈值且大于第一预定阈值时，对所述测试缓存模型对应的节点中的所述参考缓存机制进行修改，使得修改后的参考缓存机制在所述节点中建立的测试缓存模型与所述参考缓存模型的相似度大于第二预定阈值，以作为所述节点的最佳缓存机制。

4.根据权利要求1-3中任一项所述的方法，其中，所述将所述参考缓存机制应用在节点群组的每个节点中，根据一段时间内所述每个节点的测试内存利用率和测试缓存命中率，建立测试缓存模型包括：

将所述测试缓存命中率中相对于基准缓存命中率的波动大小超过预定范围的测试缓存命中率对应的节点确定为异常节点。

5.根据权利要求4所述的方法，其中，所述在将所述测试缓存命中率中相对于基准缓存命中率的波动大小超过预定范围的测试缓存命中率对应的节点确定为异常节点之后包括：

确定所述异常节点是否工作正常。

6.一种用于节点群组的缓存机制确定系统，包括：

日志获取单元，用于获取节点群组的访问日志，所述访问日志至少包括节点群组的每个节点中的各个缓存内容的访问请求及请求次数、所述各个缓存内容的大小；

参考模型建立单元，用于根据每个节点的内存空间和访问日志，获取基准空间利用率和基准缓存命中率，根据所述基准空间利用率和所述基准缓存命中率确定参考缓存机制并建立参考缓存模型；

测试模型建立单元，用于将所述参考缓存机制应用在节点群组的每个节点中，根据一段时间内所述每个节点的测试内存利用率和测试缓存命中率，建立测试缓存模型；

缓存机制确定单元，用于根据所述参考缓存模型与所述测试缓存模型的相似度，将相似度大于第一预定阈值的测试缓存模型对应的节点中的所述参考缓存机制确定为所述节点的可用缓存机制。

7.根据权利要求6所述的系统，其中，当测试缓存机制的相似度小于第一预定阈值时，重新选择其他的缓存机制应用在所述测试缓存机制对应的节点中，建立测试缓存模型并进行相似度的确定。

8.根据权利要求6所述的系统，其中，当测试缓存模型的相似度小于第二预定阈值且大于第一预定阈值时，对所述测试缓存模型对应的节点中的所述参考缓存机制进行修改，使得修改后的参考缓存机制在所述节点中建立的测试缓存模型与所述参考缓存模型的相似度大于第二预定阈值，以作为所述节点的最佳缓存机制。

9.根据权利要求6-8中任一项所述的系统，其中，所述测试模型建立单元用于：

将所述测试缓存命中率中相对于基准缓存命中率的波动大小超过预定范围的测试缓存命中率对应的节点确定为异常节点。

10.根据权利要求9所述的系统，其中，所述测试模型建立单元用于确定所述异常节点是否工作正常。