CN103544119B

CN103544119B - 缓存调度方法与系统

Info

Publication number: CN103544119B
Application number: CN201310446326.2A
Authority: CN
Inventors: 谢善益; 梅桂华; 周刚; 曾强; 赵继光; 马明; 李玎; 徐柏榆; 翟瑞聪
Original assignee: Electric Power Research Institute of Guangdong Power Grid Co Ltd
Current assignee: Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority date: 2013-09-26
Filing date: 2013-09-26
Publication date: 2016-08-24
Anticipated expiration: 2033-09-26
Also published as: CN103544119A

Abstract

本发明提供一种缓存调度方法与系统，根据获取到的缓存数据，确定缓存对象，之后查找缓存对象的下一次预计访问时间，若缓存对象表中有当前缓存对象的下一次预计访问时间，则直接读取并根据缓存数据更新缓存对象访问信息，若缓存对象表中无当前缓存对象的下一次预计访问时间则计算下一次预计访问时间。在需要进行缓存对象调整时，只需根据缓存对象下一次预计访问时间的大小对缓存对象进行排序，简单、高效对缓存对象进行缓存调度。另外，缓存对象的下一次预计访问时间是严格按照当前缓存数据和/或历史缓存数据进行计算的，确保了最后计算的结果的精准和真实，也保证了缓存调度的准确。

Description

缓存调度方法与系统

技术领域

本发明涉及数据调度技术领域，特别是涉及缓存调度方法与系统及其介质。

背景技术

大规模信息系统中，由于数据量大，用户数多，为了快速响应用户请求，需要将用户经常访问的数据放入快速存储区域进行缓存。

目前的缓存策略主要有：

1)基于访问时间的算法，此类算法按各缓存项的被访问时间来组织缓存队列,决定替换对象。

2)基于访问频率:此类算法用缓存项的被访问频率来组织缓存。

3)访问时间与频率兼顾:通过兼顾访问时间与频率,使得在数据访问模式变化时缓存策略仍有较好性能。多数此类算法具有一个可调或自适应参数,通过该参数的调节使缓存策略在基于访问时间与频率间取得一定平衡。

4)基于访问模式:某些应用有较明确的的数据访问特点,进而产生与其相适应的缓存策略。

现有模式的方式主要的缺陷在于，其策略无法简单根据系统的动态运行特点进行缓存对象的调整。在信息系统的运行过程中，其数据量、用户量、数据访问方式都在动态调整，为了最优化缓存效率，常常需要根据其运行特点将缓存对象进行动态调整，而采用一般缓存调度的模式无法简单实现缓存对象的调整，导致缓存调度效率下。

发明内容

基于此，有必要针对一般缓存调度的模式缓存对象调整复杂的问题，提供一种缓存对象调整简单、且缓存调度效率高的缓存调度方法与系统及其介质。

一种缓存调度方法，包括步骤：

获取缓存数据，确定当前缓存对象；

检测缓存对象表中是否包含所述当前缓存对象，其中，所述缓存对象表包含有缓存对象以及与缓存对象相应的缓存对象的下一次预计访问时间的数据；

若所述缓存对象表中包含所述当前缓存对象，则从所述缓存对象表中获取当前缓存对象的下一次预计访问时间，并根据所述缓存数据更新所述缓存对象表中的缓存对象访问信息；

若所述缓存对象表中未包含所述当前缓存对象，则根据所述缓存数据建立当前缓存对象访问信息，根据当前缓存对象访问信息，计算所述当前缓存对象的下一次预计访问时间，将计算结果写入所述当前缓存对象访问信息中，并将携带有所述当前缓存对象的下一次预计访问时间的所述当前缓存对象访问信息写入缓存对象表中；

根据缓存对象表中各个缓存对象的下一次预计访问时间，确定当前缓存调度的对象。

一种缓存调度系统，包括：

获取模块，用于获取缓存数据，确定当前缓存对象；

检测模块，用于检测缓存对象表中是否包含所述当前缓存对象，其中，所述缓存对象表包含有缓存对象以及与缓存对象相应的缓存对象的下一次预计访问时间的数据；

第一处理模块，用于当所述缓存对象表中包含所述当前缓存对象时，从所述缓存对象表中获取当前缓存对象的下一次预计访问时间，并根据所述缓存数据更新所述缓存对象表中的缓存对象访问信息；

第二处理模块，用于当所述缓存对象表中未包含所述当前缓存对象，根据所述缓存数据建立当前缓存对象访问信息，根据当前缓存对象访问信息，计算所述当前缓存对象的下一次预计访问时间，将计算结果写入所述当前缓存对象访问信息中，并将携带有所述当前缓存对象的下一次预计访问时间的所述当前缓存对象访问信息写入缓存对象表中；

确定模块，用于根据缓存对象表中各个缓存对象的下一次预计访问时间，确定当前缓存调度的对象。

一种机器可读介质，所述机器可读介质加载有如上述的缓存调度方法。

附图说明

图1为本发明缓存调度方法第一个实施例的流程示意图；

图2为本发明缓存调度方法第二个实施例的流程示意图；

图3为本发明缓存调度系统第一个实施例的结构示意图；

图4为本发明缓存调度系统第二个实施例的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下根据附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施仅仅用以解释本发明，并不限定本发明。

如图1所示，一种缓存调度方法，其特征在于，包括步骤：

S100：获取缓存数据，确定当前缓存对象。

获取当前需要进行缓存调度的缓存数据，解析接收到缓存数据即可确定当前缓存对象。

S200：检测缓存对象表中是否包含所述当前缓存对象，其中，所述缓存对象表包含有缓存对象以及与缓存对象相应的缓存对象的下一次预计访问时间的数据。

检测已有的缓存对象表中是否包含有当前缓存对象，在这里，缓存对象表中包含有缓存对象以及与缓存对象相匹配的缓存对象的下一次预计访问时间。例如缓存对象表中有缓存对象A、B、C，以及与A、B、C下一次预计访问时间。简单来说，就是缓存对象表中包含了缓存对象以及与其对应下一次预计访问时间。

S300：若所述缓存对象表中包含所述当前缓存对象，则从所述缓存对象表中获取当前缓存对象的下一次预计访问时间，并根据所述缓存数据更新所述缓存对象表中的缓存对象访问信息。

当缓存对象表中包含有当前缓存对象时，可以直接从缓存对象表中直接读取该缓存对象的下一次预计访问时间。由于相同的缓存对象可能携带有不同的缓存信息或该缓存对象被缓存调度的周期、对缓存调度的状态等数据需要保存在缓存对象表中的，就需要将这些由该缓存数据缓存调度带来的信息更新到缓存对象表中的缓存对象访问信息中，以便在之后的步骤中查找使用。

S400：若所述缓存对象表中未包含所述当前缓存对象，则根据所述缓存数据建立当前缓存对象访问信息，根据当前缓存对象访问信息，计算所述当前缓存对象的下一次预计访问时间，将计算结果写入所述当前缓存对象访问信息中，并将携带有所述当前缓存对象的下一次预计访问时间的所述当前缓存对象访问信息写入缓存对象表中。

当缓存对象表中没有包含当前缓存对象，那么就无法直接从缓存对象表中直接读取当前缓存对象的下一次预计访问时间，需要根据当前缓存对象访问信息计算当前缓存对象的下一次预计访问时间，这个计算有多种方式，当计算出结果后，将结果写入当前缓存对象访问信息中，最后再将当前缓存对象访问信息写入缓存对象表中，以便在今后的操作中直接读取。简单来说，本步骤是一个类似于新的缓存对象在缓存对象表中建立一个存档数据的过程，这个存档数据包括缓存对象名称、下一次预计访问时间以及缓存对象访问信息等数据。

S500：根据缓存对象表中各个缓存对象的下一次预计访问时间，确定当前缓存调度的对象。

在这里，缓存对象表中保存有各个缓存对象以及与其相应的下一次预计访问时间，当需要进行缓存调度的对象确定时，只需要将缓存对象表中的缓存对象的下次一次预计访问时间按照一个大小顺序进行依次排序，根据这个排序对将缓存对象进行动态调整。

本发明提供一种缓存调度方法，根据获取到的缓存数据，确定缓存对象，之后查找缓存对象的下一次预计访问时间，若缓存对象表中有当前缓存对象的下一次预计访问时间，则直接读取并根据缓存数据更新缓存对象访问信息，若缓存对象表中无当前缓存对象的下一次预计访问时间则计算下一次预计访问时间。在需要进行缓存对象调整时，只需根据缓存对象下一次预计访问时间的大小对缓存对象进行排序，简单、高效对缓存对象进行缓存调度。另外，缓存对象的下一次预计访问时间是严格按照当前缓存数据和/或历史缓存数据进行计算的，确保了最后计算的结果的精准和真实，也保证了缓存调度的准确。

如图2所示，所述S400具体包括步骤：

S420：当缓存对象表中未包含有所述当前缓存对象时，根据所述缓存数据建立当前缓存对象访问信息；

S440：根据当前缓存对象访问信息，计算所述当前缓存对象的下一次预计访问时间，并将计算结果写入所述缓存对象访问信息中；

S460：检测所述缓存对象表剩余空间大小；

S480：当所述缓存对象表剩余空间大小不大于所述当前缓存对象访问信息的大小时，按照所述缓存对象表中已有缓存对象的下一次预计访问时间长度从长到短的顺序，依次剔除已有缓存对象访问信息，直至所述缓存对象表剩余空间大小大于所述当前缓存对象访问信息的大小；

S490：将携带有所述缓存对象的下一次预计访问时间的所述当前缓存对象访问信息更新到缓存对象表中。

由于缓存对象表的存储空间是有限的，而缓存对象的数量是未知的，当大量不同的缓存对象需要保存缓存对象访问信息到缓存对象表中时就有可能出现缓存对象表无剩余的空间存储更多个缓存对象访问信息，这时就需要安排一个机制来清除缓存对象表的已保存的缓存对象信息。在本实施例中，当所述缓存对象表剩余空间大小不大于所述当前缓存对象访问信息的大小时，按照所述缓存对象表中已有缓存对象的下一次预计访问时间长度从长到短的顺序，依次剔除已有缓存对象访问信息，直至所述缓存对象表剩余空间大小大于所述当前缓存对象访问信息的大小。在确保缓存对象访问信息正常写入缓存对象表中的同时也保证了正常的缓存调度的效率和准确。

在其中一个实施例中，缓存对象访问信息还包括缓存对象最近访问时间、缓存对象最近访问时间间隔、缓存对象载入时间、缓存对象在缓存中访问次数和缓存对象的缓存空间大小。

在其中一个实施例中，所述计算缓存对象的下一次预计访问时间，并将计算结果写入所述当前缓存对象访问信息中具体包括步骤：

获取缓存对象表中已存缓存对象的实际访问时间和下一次预计访问时间的历史数据；

根据缓存对象表中已存缓存对象的实际访问时间和下一次预计访问时间的历史数据计算策略参数；

根据当前缓存对象最近访问时间、缓存对象最近访问时间间隔、缓存对象载入时间、缓存对象在缓存中访问次数、缓存对象的缓存空间大小和所述策略参数计算当前缓存对象的下一次预计访问时间；

将计算得到结果写入所述当前缓存对象访问信息中。

本实施例为详细计算缓存对象的下一次预计访问时间的一种方法，首选利用历史数据计算得出策略参数，之后再根据当前缓存对象最近访问时间、缓存对象最近访问时间间隔、缓存对象载入时间、缓存对象在缓存中访问次数、缓存对象的缓存空间大小和所述策略参数计算当前缓存对象的下一次预计访问时间。其具体计算过程以及公式如下：

缓存对象最近访问时间tr、缓存对象最近访问时间间隔tp、缓存对象载入时间tl、缓存对象在缓存中访问次数nc；计算缓存对象下一次预访时间te的方法采用以下公式为：

t e = \{\begin{matrix} \frac{(t n - t r) \times t p \times n c}{t r - t l} + t r, & t r! = t l, t n! = t r \\ t p + t n, & t r! = t l, t n = t r \\ t k + t n, & t r = t l, t n = t r \end{matrix}

其中tn为当前时间，tk为预先设定的常量。

这种方法也能计算缓存对象下一次预访时间te。但是，该方法是固定的方法，不能根据具体数据处理情形作出适当的调整。为实现动态调整的目的，本发明优先采用以下公式计算缓存对象下一次预访时间te：

t e = W_{1} \times t k + W_{2} \times \frac{t n - t l}{n c} + W_{3} \times t p + {W_{4}}^{T} \times s v + t r

其中，sv为缓存对象的空间大小，是缓存对象访问信息的参数之一；tn为当前时间，T为常量，tk为当前时间段，W1、W2、W3、W4为策略参数。

在其中一个实施例中，所述根据缓存对象表中已存缓存对象的实际访问时间和下一次预计访问时间的历史数据计算策略参数具体为：

利用最小二乘法，根据缓存对象表中已存缓存对象的实际访问时间和下一次预计访问时间的历史数据计算策略参数。

实现根据缓存对象实际访问时间和下一次预访时间计算策略参数W1、W2、W3、W4的方法有很多。在本实施例中，优先采用最小二乘法实现。最小二乘法能够高效、准确计算出策略参数。

如图3所示，一种缓存调度系统，包括：

获取模块100，用于获取缓存数据，确定当前缓存对象；

检测模块200，用于检测缓存对象表中是否包含所述当前缓存对象，其中，所述缓存对象表包含有缓存对象以及与缓存对象相应的缓存对象的下一次预计访问时间的数据；

第一处理模块300，用于当所述缓存对象表中包含所述当前缓存对象时，从所述缓存对象表中获取当前缓存对象的下一次预计访问时间，并根据所述缓存数据更新所述缓存对象表中的缓存对象访问信息；

第二处理模块400，用于当所述缓存对象表中未包含所述当前缓存对象，根据所述缓存数据建立当前缓存对象访问信息，根据当前缓存对象访问信息，计算所述当前缓存对象的下一次预计访问时间，将计算结果写入所述当前缓存对象访问信息中，并将携带有所述当前缓存对象的下一次预计访问时间的所述当前缓存对象访问信息写入缓存对象表中；

确定模块500，用于根据缓存对象表中各个缓存对象的下一次预计访问时间，确定当前缓存调度的对象。

本发明提供一种缓存调度系统，根据获取到的缓存数据，确定缓存对象，之后查找缓存对象的下一次预计访问时间，若缓存对象表中有当前缓存对象的下一次预计访问时间，则直接读取并根据缓存数据更新缓存对象访问信息，若缓存对象表中无当前缓存对象的下一次预计访问时间则计算下一次预计访问时间。在需要进行缓存对象调整时，只需根据缓存对象下一次预计访问时间的大小对缓存对象进行排序，简单、高效对缓存对象进行缓存调度。另外，缓存对象的下一次预计访问时间是严格按照当前缓存数据和/或历史缓存数据进行计算的，确保了最后计算的结果的精准和真实，也保证了缓存调度的准确。

如图2所示，在其中一个实施例中，所述第二处理模块400具体包括：

建立单元420，用于当缓存对象表中未包含有所述当前缓存对象时，根据所述缓存数据建立当前缓存对象访问信息；

计算单元440，用于根据当前缓存对象访问信息，计算所述当前缓存对象的下一次预计访问时间，并将计算结果写入所述缓存对象访问信息中；

检测单元460，用于检测所述缓存对象表剩余空间大小；

空间处理单元480，用于当所述缓存对象表剩余空间大小不大于所述当前缓存对象访问信息的大小时，按照所述缓存对象表中已有缓存对象的下一次预计访问时间长度从长到短的顺序，依次剔除已有缓存对象访问信息，直至所述缓存对象表剩余空间大小大于所述当前缓存对象访问信息的大小；

更新单元490，用于将携带有所述缓存对象的下一次预计访问时间的所述当前缓存对象访问信息更新到缓存对象表中。

在其中一个实施例中，所述缓存对象访问信息还包括缓存对象最近访问时间、缓存对象最近访问时间间隔、缓存对象载入时间、缓存对象在缓存中访问次数和缓存对象的缓存空间大小。

在其中一个实施例中，所述计算单元具体包括：

历史数据获取单元，用于获取缓存对象表中已存缓存对象的实际访问时间和下一次预计访问时间的历史数据；

策略参数计算单元，用于根据缓存对象表中已存缓存对象的实际访问时间和下一次预计访问时间的历史数据计算策略参数；

计算执行单元，用于根据当前缓存对象最近访问时间、缓存对象最近访问时间间隔、缓存对象载入时间、缓存对象在缓存中访问次数、缓存对象的缓存空间大小和所述策略参数计算当前缓存对象的下一次预计访问时间；

结果写入单元，用于将计算得到结果写入所述当前缓存对象访问信息中。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种缓存调度方法，其特征在于，包括步骤：

获取缓存数据，确定当前缓存对象；

若所述缓存对象表中未包含所述当前缓存对象，则根据所述缓存数据建立当前缓存对象访问信息，根据所述当前缓存对象访问信息，计算所述当前缓存对象的下一次预计访问时间，将计算结果写入所述当前缓存对象访问信息中，并将携带有所述当前缓存对象的下一次预计访问时间的所述当前缓存对象访问信息写入缓存对象表中；

2.根据权利要求1所述的缓存调度方法，其特征在于，所述若所述缓存对象表中未包含所述当前缓存对象，则根据所述缓存数据建立当前缓存对象访问信息，根据当前缓存对象访问信息，计算所述当前缓存对象的下一次预计访问时间，将计算结果写入所述当前缓存对象访问信息中，并将携带有所述当前缓存对象的下一次预计访问时间的所述当前缓存对象访问信息写入缓存对象表中具体包括步骤：

当缓存对象表中未包含有所述当前缓存对象时，根据所述缓存数据建立当前缓存对象访问信息；

根据当前缓存对象访问信息，计算所述当前缓存对象的下一次预计访问时间，并将计算结果写入所述缓存对象访问信息中；

检测所述缓存对象表剩余空间大小；

当所述缓存对象表剩余空间大小不大于所述当前缓存对象访问信息的大小时，按照所述缓存对象表中已有缓存对象的下一次预计访问时间长度从长到短的顺序，依次剔除已有缓存对象访问信息，直至所述缓存对象表剩余空间大小大于所述当前缓存对象访问信息的大小；

将携带有所述缓存对象的下一次预计访问时间的所述当前缓存对象访问信息更新到缓存对象表中。

3.根据权利要求1或2所述的缓存调度方法，其特征在于，缓存对象访问信息还包括缓存对象最近访问时间、缓存对象最近访问时间间隔、缓存对象载入时间、缓存对象在缓存中访问次数和缓存对象的缓存空间大小。

4.根据权利要求3所述的缓存调度方法，其特征在于，计算缓存对象的下一次预计访问时间，并将计算结果写入所述当前缓存对象访问信息中具体包括步骤：

将计算得到结果写入所述当前缓存对象访问信息中。

5.根据权利要求4所述的缓存调度方法，其特征在于，所述根据缓存对象表中已存缓存对象的实际访问时间和下一次预计访问时间的历史数据计算策略参数具体为：

6.一种缓存调度系统，其特征在于，包括：

获取模块，用于获取缓存数据，确定当前缓存对象；

7.根据权利要求6所述的缓存调度系统，其特征在于，所述第二处理模块具体包括：

建立单元，用于当缓存对象表中未包含有所述当前缓存对象时，根据所述缓存数据建立当前缓存对象访问信息；

计算单元，用于根据当前缓存对象访问信息，计算所述当前缓存对象的下一次预计访问时间，并将计算结果写入所述缓存对象访问信息中；

检测单元，用于检测所述缓存对象表剩余空间大小；

空间处理单元，用于当所述缓存对象表剩余空间大小不大于所述当前缓存对象访问信息的大小时，按照所述缓存对象表中已有缓存对象的下一次预计访问时间长度从长到短的顺序，依次剔除已有缓存对象访问信息，直至所述缓存对象表剩余空间大小大于所述当前缓存对象访问信息的大小；

更新单元，用于将携带有所述缓存对象的下一次预计访问时间的所述当前缓存对象访问信息更新到缓存对象表中。

8.根据权利要求7所述的缓存调度系统，其特征在于，所述缓存对象访问信息还包括缓存对象最近访问时间、缓存对象最近访问时间间隔、缓存对象载入时间、缓存对象在缓存中访问次数和缓存对象的缓存空间大小。

9.根据权利要求8所述的缓存调度系统，其特征在于，所述计算单元具体包括：