CN105227665A - 一种用于缓存节点的缓存置换方法 - Google Patents

Abstract

本发明提供了一种用于缓存节点的缓存置换方法，包括：仅将小于预定的最大大小的缓存对象存入节点；根据节点中存储的缓存对象的参数计算缓存对象的价值；根据节点中的所有缓存对象的价值的大小关系，维护所有缓存对象的优先顺序列表；在所存储的所有缓存对象的总大小等于节点的缓存空间的最大存储量的情况下，从列表中取出优先顺序最低的缓存对象进行置换；其中，用于计算缓存对象的价值的缓存对象的大小的参数值为缓存对象的实际大小值的对数值。本发明的技术方案可以有效提高节点的缓存空间的资源利用率和缓存命中率；提高节点的字节命中率；提高缓存系统的全局命中率。

Description

一种用于缓存节点的缓存置换方法

技术领域

本发明涉及计算机网络传输控制领域，具体地说，本发明涉及一种用于缓存节点的缓存置换算法。

背景技术

随着移动和无线网络的不断发展，移动终端数目急剧增加。大量的WLAN(WirelessLocalAreaNetworks，无线局域网络)用户通过AP(AccessPoint)接入互联网，加剧了汇聚链路上的网络拥塞，从而进一步降低了实际的可用带宽，导致平均访问延时增加，TCP(TransmissionControlProtocol，传输控制协议)吞吐率下降等各种问题。为了缓解上述问题，提高网络业务服务性能，改善用户上网体验，当前较为通用的一种方式是利用缓存技术来实现缓存加速。

然而，海量的数据访问使得传统的利用缓存服务器等网络边缘设备实现的诸如CDN(ContentDeliveryNetwork，内容分发网络)缓存的方法正逐步受到设备成本和部署规模的制约，越来越多的研究转移到如何利用网络内部设备来实现缓存。另一方面，APs由于其庞大的使用规模、广泛的应用场景和自身硬件平台的可编程化以及可外接存储扩展等特点已经逐渐开始受到研究者们的青睐。APs作为缓存设备在降低开发成本的同时，还能大大增加对终端用户的服务能力。

尽管AP的硬件性能较近年来已经取得了较大的提高，但是整体而言，绝大多数AP的计算能力以及存储空间还十分有限。例如通用AP的配置如下：CPU频率为400MHz，内存大小为125MB，存储空间为1GB。这就使得AP的单点缓存策略面临着严峻的性能挑战。

此外，考虑到AP硬件设备有限的存储资源，其不可能将所有的用户历史访问记录全部保存下来，这就必然要求有合适的置换策略来不断更新缓存中的内容，以保证在一定的存储空间下尽可能大地提高缓存效果。当前主流的缓存替换算法主要考虑了对象访问时间、对象访问频率、对象大小和缓存内容的老化时间等因素，而综合考虑了如上要素的GDFS(Greedy-Dual-Frequency-Size)算法和Hybrid算法虽然一定程度上解决了基于单要素替换(如LRU、LFU、SIZE)等算法各自带来的误差以及缓存污染等问题，但是Hybrid混合策略的高度复杂性使得其不适合APs的应用场景；GDFS中，由于未充分考虑到体积较大对象对BHR(ByteHitRatio，字节命中率)的影响，从而在BHR指标方面仍存在很大改进空间。

发明内容

本发明的目的是提供一种能够克服上述技术问题的解决方案。

本发明提供了一种用于缓存节点的缓存置换方法，包括：仅将小于预定的最大缓存对象大小的缓存对象存入所述缓存节点；根据所述缓存节点中存储的缓存对象的参数计算所述缓存对象的价值；根据所述缓存节点中的所有缓存对象的价值的大小关系，维护所述缓存节点中所有缓存对象的优先顺序列表；在所述缓存节点所存储的所有缓存对象的总大小等于所述缓存节点的缓存空间的最大存储量的值的情况下，从所述列表中取出优先顺序最低的缓存对象进行置换；其中，所述缓存对象的参数，包括：从原始服务器获取所述缓存对象的代价的参数值、所述缓存对象的大小的参数值、所述缓存对象的被访问频率的参数值以及所述缓存对象的老化时间的参数值。

优选地，将所述缓存对象的实际大小值的对数值作为用于计算所述缓存对象的价值的所述缓存对象的大小的参数值。

优选地，将所述缓存对象被用户再次访问的可能性大小作为用于计算所述缓存对象的价值的所述缓存对象的被访问频率的参数值。

优选地，对所述缓存对象当前的被用户再次访问的可能性的计算依赖于其前一次被访问的时刻到当前时刻的时间间隔以及其前一次被访问的时刻的被用户再次访问的可能性。

优选地，所述缓存对象的参数还包括，与所述缓存对象上次被访问的实际时间的微小偏离参数。

优选地，在所述缓存节点所存储的所有缓存对象的总大小大于预定的所述缓存节点的存储空间的上限的情况下，进行所述缓存置换，其中所述缓存节点的存储空间的上限小于或等于所述缓存节点的缓存空间的最大存储量的值。

优选地，所述缓存置换开始之后一直持续，直到所述缓存节点所存储的所有缓存对象的总大小小于预定的所述缓存节点的存储空间的下限的情况下，停止所述缓存置换，其中所述缓存节点的存储空间的下限小于所述缓存节点的缓存空间的上限。

优选地，在进行所述缓存置换的情况下，还向所述缓存节点的所有兄弟节点查询是否存储有所述缓存节点置换出的缓存对象，并在所有所述兄弟节点都没有存储所述缓存对象的情况下，向所有所述兄弟节点发送所述缓存对象。

与现有技术相比，本发明提出的技术方案具有以下优点：

本发明的技术方案可以有效提高缓存节点的缓存空间的资源利用率和缓存命中率；提高缓存节点的字节命中率；提高缓存系统的全局命中率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图不构成对于本发明的限制。

图1是根据本发明的实施例的对象流行度对比示意图；

图2是根据本发明的实施例的缓存空间状态示意图；

图3是根据本发明的实施例的缓存节点协同环境下的缓存置换方法的流程图。

具体实施方式

下面将结合附图和具体实施例对本发明做进一步地描述。

下面描述根据本发明的实施例的缓存置换方法中对缓存对象价值的计算方法。

为了更好的描述根据本发明的下述实施例，现对现有技术中的原始的GDFS算法进行描述。

在原始的GDFS算法中，其基本置换方法是根据取得对象所花费的代价、对象大小、对象访问频率、对象老化时间来对每一个缓存的对象计算出一个缓存的键值(Key值)，该值表示了缓存该对象的价值，并按照该值对所有已缓存对象按照从大到小的顺序维护一个优先列表。每次置换操作发生时，从列表尾依次取出对象进行置换。Key值的计算公式如下公式(1)：

$Key\left(i\right)=\frac{Cost\left(i\right)}{Size\left(i\right)}\×Freq\left(i\right)+Age\left(i\right)---\left(1\right)$

其中，i表示第i个缓存对象；Key(i)表示第i个对象的价值；Cost(i)表示从原始服务器上取得第i个对象所需花费的代价，计算时可以用常量代替；Size(i)表示第i个对象的大小；Freq(i)表示第i个对象的用户访问频率；Age(i)表示第i个对象的老化时间。

下面具体描述根据本发明的实施例的对缓存对象价值的计算方法的改进。

根据本发明的一个实施例，对现有技术中的缓存节点对缓存对象的存储附加如下条件：当缓存对象大于或等于事先定义的缓存对象的大小的最大值Size_max时，缓存节点，例如AP，不对该缓存对象进行存储，直接丢弃该缓存对象。可具体表示为如下公式(2)：

Size(i)＝0,discard(Size_i≥Size_max)(2)

其中，Size_i表示缓存对象i的大小经计算处理之前的值；Size(i)表示缓存对象i的大小经计算处理之后的值。

根据本发明的一个实施例，具体的Size_max可以根据缓存节点(比如AP)的实际存储空间和用户请求对象的大小来具体确定。例如，经统计，缓存对象中间图片和视频是两类较大的对象，图片的平均大小约100KB，视频的平均大小约为4M。如果AP的存储空间为1GB，可以将Size_max设置为2倍于平均视频大小，即8M。

通过上述改进，可以改进现有技术中的如下情况：所有的新对象由于加入了老化时间Age(i)而使得其价值Key(i)值较高，从而都会比较容易被缓存节点缓存下来；当存在非常大的新对象被缓存节点获得需要发生缓存置换时，该新对象会导致众多的较小的缓存对象被替换出缓存节点的缓存空间；然而根据缓存对象的访问特性可知，较大的缓存对象被再次访问的概率会降低；这就使得对非常大的对象的缓存会明显降低缓存节点的缓存命中率。

通过前述改进，直接排除对部分过大的缓存对象进行存储，从而可以有效提高缓存节点的缓存空间的资源利用率和缓存命中率。

根据本发明的一个实施例，对现有技术中的原始的GDFS算法(前述公式(1))中的Size(i)参数做如下改进：对Size(i)做取对数处理，即以log_xSize代替原本的Size参数，以使得到的新的关于缓存对象的大小的参数值对缓存对象的Key值影响相对降低。可具体表示为如下公式(3)：

Size(i)＝log_xSize_i(3)

其中，x>1，进一步可选地，x＝2；Size_i表示缓存对象i的大小经计算处理之前的值；Size(i)表示缓存对象i的大小经计算处理之后的值。

通过上述改进，可以改进现有技术中的如下情况：由于原始的GDFS算法的公式中，越大的对象计算出来的Key值越小，进而导致其被置换出去的可能性越大，也就是说，越大的对象被缓存节点缓存的概率越小，故而，随着较大的对象的缓存概率降低，导致缓存节点的字节命中率也随之降低。

通过前述改进，可利用对数函数的性质有效缩小不同大小的缓存对象之间key值的差距，进而提高缓存节点的字节命中率。

根据本发明的的一个实施例，将前述改进同时加入原始的GDFS算法(公式(1))中，可以如下公式(4)表示：

$Size\left(i\right)=\left\{\begin{array}{c}{\log }_x{\mathrm{Size}}_i\left({\mathrm{Size}}_i<{\mathrm{Size}}_{\max }\right)\\ 0,discard\left({\mathrm{Size}}_i\&GreaterEqual;{\mathrm{Size}}_{\max }\right)\end{array}\right.---\left(4\right)$

其中，x>1，进一步可选地，x＝2；Size_i表示缓存对象i的大小经计算处理之前的值；Size(i)表示缓存对象i的大小经计算处理之后的值；Size_max为事先定义的缓存对象的大小的最大值，即缓存对象超过此大小即被直接丢弃。

通过上述改进，既可以直接排除对部分过大的缓存对象进行存储，从而有效提高缓存节点的缓存空间的资源利用率和缓存命中率，同时利用对数函数的性质有效缩小不同大小的缓存对象之间key值的差距，进而兼顾缓存节点的字节命中率。

根据本发明的一个实施例，对现有技术中的原始的GDFS算法(前述公式(1))中的Freq(i)参数的计算可以进行如下改进：将缓存对象i的Freq(i)值重新定义为缓存对象i当前的流行度，即缓存对象i被用户再次访问的可能性大小。具体而言，将对缓存对象i当前的Freq(i)的计算与其前一次被访问的时刻到当前时刻的时间间隔以及其前一次被访问的时刻的Freq(i)关联起来。可具体表示为如下公式(5)：

${\mathrm{Freq}}_{T_2}\left(i\right)=\left\{\begin{array}{c}{f}_0(refCnt=1)\\ {\mathrm{Freq}}_{T_1}\left(i\right)\&times;2^{-\frac{\mathrm{\&Delta;}t}{T}}(refCnt>1)\end{array}\right.---\left(5\right)$

其中，和Freq_T2(i)表示缓存对象i分别在T₁和T₂时刻的流行度，f₀为访问次数(refCnt)为1的缓存对象的初始流行度值。根据Zipf-like定律，在所有的被访问对象中，绝大多数对象都只是被访问了一次而已，因此，根据本发明的一个实施例，可以将f₀赋值为被访问超过1次的对象的占比；Δt为对缓存对象i的上一次访问距离当前时刻的时间间隔；T为老化参数，根据本发明的实施例，可以赋值为1到2天，以符合缓存对象访问的特性，即每过1天以后，该对象会被再次访问的可能性就会减半。

如图1所示，图中黑色圆点表示的是对缓存对象的一次访问。虽然缓存对象A和对象B在T₀-T_c的时间间隔内的总访问次数相同，都是4次，而且最后一次访问的时间点都是位于时刻T_c处，但是对象A被访问的相邻时间间隔越来越长，可以被认定为渐冷对象，即再被访问的可能性越来越小；对象B被访问的时间间隔越来越短，可以被认定为渐热对象，即再次被访问的可能性越来越大。在T_c时刻，按照缓存对象访问的局部性原理，对象B被再次访问的可能性大于对象A被再次访问的可能性，而在原始的GDFS算法中没有考虑这种情况，从而不能反映出对象被访问的相邻时间间隔对其将来被访问的可能性的影响，即不能很好的体现用户的访问习惯。相比之下，根据前述实施例所述的方法，即前述公式(5)，可以得到，在T_c时刻，Freq(B)>Freq(A)，进而在其他参数相同的情况下，Key(B)>Key(A)，即表示缓存对象B的价值更大，更应该将其存入缓存，进而提高缓存节点的缓存命中率，同时缓解可能存在的缓存污染问题。

根据本发明的一个实施例，可以在现有技术中的原始的GDFS算法的基础上，加入结合时间因素设置的微小偏离参数τ，用来进一步区分Key(i)几乎相同的对象。τ的具体计算公式如下：

$\mathrm{\&tau;}=\left\{\begin{array}{c}1/StartTime\left(refCnt=1\right)\\ 1/Last\mathrm{Re}fTime(refCnt>1)\end{array}\right.---\left(6\right)$

进而，

$Key\left(i\right)=\frac{Cost\left(i\right)}{Size\left(i\right)}\&times;Freq\left(i\right)+Age\left(i\right)+\mathrm{\&tau;}\left(i\right)---\left(7\right)$

当缓存对象第一次被访问(refCnt＝1)时，τ取1/StartTime，其中StartTime表示缓存节点所在系统初始运行时的开始时间，根据本发明的一个实施例，可以Unix时间戳作为时间戳记录；如果缓存对象被访问次数超过一次(refCnt>1)，τ取1/LastRefTime，其中LastRefTime为该对象上一次被访问的实际时间。

通过上述改进，可以更加精细的区分缓存对象的价值，更好的体现用户访问习惯，进一步提高缓存节点的缓存命中率。

图2示出了根据本发明的实施例的缓存空间状态示意图。

根据本发明的一个实施例，还可以对现有技术中的缓存置换方法进行如下改进。如图2所示，对于每个缓存节点，诸如AP，都设定一个发生缓存置换时的缓存空间下限(Low_bar)和缓存空间上限(High_bar)。当缓存空间存储的缓存对象总大小大于或等于High_bar时，触发缓存节点的缓存置换操作；缓存置换操作会一直持续，直到缓存对象所占用的总的存储空间减少到小于或等于Low_bar。

优选地，根据本发明的一个实施例，前述上下限可以设置为缓存节点的缓存空间的总存储量的一个百分比值，例如High_bar可设置为总存储量的90％，Low_bar可以设置为总存储量的80％，具体数值在缓存节点所在的系统实际运行时可通过缓存效果再做进一步调整。

进一步地，根据本发明的一个实施例，可以利用一个守护线程定期检测缓存空间。例如，在AP中缓存空间约为1G且其缓存空间上限设置为90％的情况下，所述AP的缓存空间中还有大概100M的冗余空间，由于缓存对象的存储在网络带宽的限制下基本不会超过100M/s，可将所述守护线程的检测周期为1s，进而不会引起缓存空间的溢出。

通过上述改进，可以避免现有技术中的下述情况：在原始的GDFS置换算法中，缓存置换总是在当缓存节点的缓存空间满时才触发，进而在触发缓存置换之后，每发生一次缓存置换操作都会发生磁盘的I/O操作，产生一定程度的进程切换开销，进而消耗缓存节点的CPU资源；在每次存入新的缓存对象时都进行磁盘空间大小的检测，这种做法在缓存对象数目较大时效率会变得很低。

通过上述改进，可以有效减少缓存置换操作给缓存节点带来的资源消耗压力，提高缓存节点的运行效率。

图3示出了根据本发明的实施例的多缓存节点协同环境下的缓存置换方法的流程图。如图1所示，根据本发明的实施例的缓存节点协同环境下的缓存置换方法的流程如下：

步骤302：缓存对象O(i)到达缓存节点AP₁，AP₁判断当前是否需要发生缓存置换操作：若不需要，则流程结束；若需要，则从缓存对象的Key值排序列表尾取出缓存对象O(j)，并进入步骤304；

步骤304：AP₁在全局(即整个协同缓存系统)范围内查询该对象O(j)是否唯一：若唯一，则进入步骤306；若不唯一，则表明该对象在其他兄弟节点上存在备份，此时无需再在其他兄弟节点上保存该对象，进入步骤310；

步骤306：AP₁从全局范围内获取符合如下条件的所有兄弟节点(即协同缓存系统中与该缓存节点发生协同关系的其他缓存节点)AP_x(如果AP_x返回的是一个列表，则按照缓存对象相对于每个AP的价值依次从小到大排列所述AP_x)，并且：若返回的AP_x为空，则进入步骤310；若返回的AP_x不为空，则进入步骤308；

所述条件包括：

满足一定负载条件，如CPU利用率低于某值等；

AP_x当前不会发生置换操作；

O(j)的Key值大于AP_x中至少一个其他缓存对象的Key值；

步骤308：AP₁将对象O(j)发送到对应的AP_x上进行缓存(AP_x对对象进行缓存的同时需要重新更新其Key值列表)，以保证下次用户请求该对象时仍然能够在协同缓存系统中直接获取，而非向源服务器发送请求消息；

步骤310：直接丢弃对象O(j)。

应用上述缓存置换方法能够尽量保证已被协同缓存系统中任意缓存节点缓存过的对象都被尽量长时间的保存在网络中，进而提高缓存系统的全局命中率。

根据本发明的实施例，前述根据本发明的各个实施例中所涉及的缓存节点的具体实现形式可以为WLAN中的AP，也可以是其他可以充当缓存节点的设备，例如，代理服务器等。

综上所述，应用根据本发明的实施例所述的缓存置换方法可以有效提高缓存节点的缓存空间的资源利用率和缓存命中率；提高缓存节点的字节命中率；提高缓存系统的全局命中率。

以上所述仅为本发明示意性的具体实施方式，并非用以限定本发明的范围。任何本领域的技术人员，在不脱离本发明的构思和原则的前提下所作的等同变化、修改与结合，均应属于本发明保护的范围。

Claims (10)

1.一种用于缓存节点的缓存置换方法，其特征在于，所述方法包括：

根据所述缓存节点中存储的缓存对象的参数，基于GDFS算法计算所述缓存对象的价值；

根据所述缓存节点中的所有缓存对象的价值的大小关系，将小于预定的最大缓存对象大小的缓存对象存入所述缓存节点。

2.根据权利要求1所述的方法，其特征在于，根据下述公式计算缓存对象的价值：

$Key\left(i\right)=\frac{Cost\left(i\right)}{Size\left(i\right)}\&times;Freq\left(i\right)+Age\left(i\right),$

其中，i表示第i个缓存对象；Key(i)表示第i个对象的价值；Cost(i)表示从原始服务器上取得第i个对象所需花费的代价；Size(i)表示第i个对象的大小；Freq(i)表示第i个对象的被访问频率；Age(i)表示第i个对象的老化时间。

3.根据权利要求1所述的方法，其特征在于，根据下述公式计算缓存对象的价值：

$Key\left(i\right)=\frac{Cost\left(i\right)}{Size\left(i\right)}\&times;Freq\left(i\right)+Age\left(i\right)+\mathrm{\&tau;}\left(i\right),$

其中，i表示第i个缓存对象；Key(i)表示第i个对象的价值；Cost(i)表示从原始服务器上取得第i个对象所需花费的代价；Size(i)表示第i个对象的大小；Freq(i)表示第i个对象的被访问频率；Age(i)表示第i个对象的老化时间；τ(i)为基于所述缓存对象上次被访问的实际时间的微小偏离参数。

4.根据权利要求2或3所述的方法，其特征在于，基于所述缓存对象的实际大小值的对数值确定关于所述缓存对象的大小的参数值Size(i)。

5.根据权利要求2或3所述的方法，其特征在于，基于所述缓存对象被用户再次访问的可能性大小确定关于所述缓存对象的被访问频率的参数值Freq(i)。

6.根据权利要求5所述的方法，其特征在于，基于所述缓存对象前一次被访问的时刻到当前时刻的时间间隔以及其前一次被访问的时刻的被用户再次访问的可能性计算所述缓存对象当前被用户再次访问的可能性。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述缓存节点所存储的所有缓存对象的总大小大于或等于预定的第一阈值的情况下，进行缓存置换。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

在所述缓存节点所存储的所有缓存对象的总大小小于或等于预定的第二阈值的情况下，停止所述缓存置换。

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

在进行所述缓存置换的情况下，还向所述缓存节点的所有兄弟节点查询是否存储有所述缓存节点置换出的缓存对象，并在所有所述兄弟节点都没有存储所述缓存对象的情况下，向全部或部分所述兄弟节点发送所述缓存对象。

10.根据权利要求7所述方法，其特征在于，所述方法还包括：

在进行所述缓存置换的情况下，还向所述缓存节点的所有兄弟节点查询是否存储有所述缓存节点置换出的缓存对象，并在存在至少一个所述兄弟节点存储有所述缓存对象的情况下，丢弃所述缓存对象。