CN102323898A

CN102323898A - 一种缓存调度方法和系统

Info

Publication number: CN102323898A
Application number: CN201110259151A
Authority: CN
Inventors: 代庆国
Original assignee: ZTE ICT Technologies Co Ltd
Current assignee: ZTE ICT Technologies Co Ltd
Priority date: 2011-09-02
Filing date: 2011-09-02
Publication date: 2012-01-18

Abstract

本发明提供一种缓存调度方法，包括：步骤1、根据用户访问历史记录进行分析，得到用户访问模式；步骤2、根据用户访问模式，在时间接近用户的高访问概率时间段时将用户信息调入缓存，在其已经访问或进入低访问概率时调出缓存。本发明还提供一种缓存调度系统。通过本发明提供的一种缓存调度方法及系统，可以解决在高并发但低重复的访问时，提高缓存访问的命中率，实现缓存存储的有效使用，提升了认证系统的业务处理速度。

Description

一种缓存调度方法和系统

技术领域

本发明涉及一种缓存中对象调度领域，特别是涉及一种适用于高并发低重复访问的缓存调度方法及系统。

背景技术

目前，在电信运营商使用的网络中，经常需要使用用户认证系统对用户进行认证，其中，认证系统中用户信息经常需要被调度调入调出缓存。现有的缓存调度是采用以下的方法：在系统第一次使用数据时将数据调入缓存，数据在一段时间内一直保持在缓存中，通过算法计算出特定的数据在重复使用率过低时调出缓存。

这种调度方法适用于重复访问比较频繁的情况下，但是在重复访问频率非常低或一定时间内如果有访问也只有一次，或高并发但低重复访问的情况下，这种调度方法会造成系统的效率非常低下，降低缓存存储的有效使用率，降低认证系统的业务处理速度。

所以，有必要提出一种新的缓存调度方法，以解决在高并发但低重复的访问时，提高缓存访问的命中率，实现缓存存储的有效使用，提升了认证系统的业务处理速度。

发明内容

本发明的目的在于提供一种缓存调度方法及系统，可以解决在高并发但低重复的访问时，提高缓存访问的命中率，实现缓存存储的有效使用，提升了认证系统的业务处理速度。

为解决以上技术问题，本发明提供一种缓存调度方法，包括，

步骤1、根据用户访问历史记录进行分析，得到用户访问模式；

步骤2、根据用户访问模式，在时间接近用户的高访问概率时间段时将用户信息调入缓存，在其已经访问或进入低访问概率时调出缓存。

进一步地，所述步骤1中，使用ABC分类方法与用户最近访问时间计算得到用户访问模式。

进一步地，所述步骤1具体包括：

步骤1.1，取用户最近的一段时间的访问历史记录，计算周期内的一段t时间内用户的访问概率；

步骤1.2，如果用户在t时间段内的访问概率超过预设值，则将t时间前后都减去一个小的时间，重新计算t时间段内的用户访问概率；

步骤1.3，重复步骤1.2，直到计算的用户访问概率小于预设值，再将上次计算时的t记录到用户访问模式表中。

进一步地，所述步骤2中的调入缓存，具体包括：

步骤2.1，取不在缓存中的并且在周期内没有访问过的用户列表；

步骤2.2，如果在下一个缓存调度周期内和用户的访问模式表中的用户高概率访问时间段有重叠，则将用户信息调入缓存。

进一步地，所述步骤2中的调出缓存，具体包括：

步骤2.3，取在缓存中用户列表；

步骤2.4，如果在下一个缓存调度周期内和用户的访问模式表中的用户高概率访问时间段没有重叠，则将用户信息调出缓存。

进一步地，所述方法进一步包括：步骤3、将用户的最近访问时间记录用户访问日志。

为解决以上技术问题，本发明还提供一种缓存调度系统，包括：用户访问历史分析模块、缓存调度模块、缓存数据库模块，

所述用户访问历史分析模块，根据用户访问历史记录进行分析，得到用户访问模式；

所述缓存调度模块，根据用户访问模式，在时间接近用户的高访问概率时间段时将用户信息调入缓存数据库模块，在其已经访问或进入低访问概率时调出缓存数据库模块。

进一步地，所述缓存调度模块包括数据调入子模块和数据调出子模块，

数据调入子模块，根据获取用户访问模块数据，在用户高可能性访问时间段将用户信息调入缓存数据库模块；

数据调出子模块，用于将已经访问或进入低访问概率时的用户调出缓存数据库模块。

进一步地，所述系统还包括用户访问模式存储模块，用于记录经过用户访问历史分析模块分析得到的分析用户访问模式。

进一步地，所述系统还包括用户访问日志模块，用于记录用户访问历史记录信息。

进一步地，所述系统还包括对外接口模块，用于与外部系统进行接口，以及将使用用户数据后记录到用户访问日志模块；以及发通知给缓存调度模块，通知所请求的数据在当前时间访问过。

与现有技术相比，本发明提供的一种缓存调度方法及系统，是基于用户的以往使用记录进行分析，得出用户的高概率访问时间段和低概率时间段，对于高并发低重复访问场景下，在时间接近用户的高访问概率时间段时调到缓存，在其已经访问或进入低访问概率时调出缓存。这种调度策略在高并发低重复访问场景下提高了用户访问时的缓冲命中率，实现缓存存储的有效使用，提升了认证系统的认证处理能力，改善了用户体验。并且，缓存系统调度模块和用户数据分析模块独立部署，不影响业务系统处理能力。经过试验，未使用本发明的方法时，单个系统缓存的命中率30％左右，系统并发能力达到每秒1200次数据访问，使用此方法和装置后，缓存的命中率提升到70％左右，系统的并发能力达到每秒2200次数据访问。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明提供一种适用于高并发低重复访问的缓存调度系统的结构示意图；

图2是本发明提供一种适用于高并发低重复访问的缓存调度方法的流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供一种适用于高并发低重复访问的缓存调度系统，是对基于用户的以往使用记录进行分析，得出用户的高概率访问时间段和低概率时间段，对于高并发低重复访问场景下，在时间接近用户的高访问概率时间段时调到缓存，在其已经访问或进入低访问概率时调出缓存。这种调度策略在高并发低重复访问场景下提高了用户访问时的缓冲命中率，提升了认证系统的认证处理能力。

该系统包括：用户访问历史分析模块10、缓存调度模块20、用户访问模式存储模块30、用户访问日志模块40、对外接口模块50、缓存数据库模块60、业务数据库模块70。

用户访问历史分析模块10，对根据用户访问日志模块40中存储的用户访问历史记录信息进行分析，使用ABC分类方法与用户最近访问时间的方式计算用户访问模式，存储到用户访问模式存储模块30中。

由于多数用户的访问都呈现出周期性的使用，此周期和用户的工作生活中的周期有较大关联，因此提供的待选的周期包括日周期D、周(星期)周期W，月周期M。考虑到运营商用户量的大小已经不同用户之间的数据独立性，部署方式包括分布式计算、云计算等。

根据待选用户的使用周期T，把周期T内时间按照ABC分类方法进行划分成TA、TB、TC三段，使该待选用户的70-80％的访问发生在TA段时间，10-20％的访问发生在TB段时间，0-10％的访问发生在TC段时间。每个用户的访问周期T和TA、TB、TC的划分都可能是不同的。同时考虑到用户活动的连续性，例如出差、节假日等，设定越新的历史访问记录信息的参考价值权重会越高。

用户访问历史分析模块处理流程如下所述：

第一步，取用户最近的一个月(30天)的访问历史记录，取周期T为24小时，取时间段t为周期的开始和结束时间，fn和FN为第N天用户在t时间段和T时间段内的访问的次数。缓存调度周期TF时间段内用户访问的加权概率采用的计算公式为：P＝(fn*N)/(FN*N)，计算t时间段内用户的访问概率。

第二步，如果用户在t时间段内的访问概率超过70％，则将t的时间前后都减去一个小的时间(例如半小时)，重新计算t时间段内的用户访问概率。

第三步，重复第二步，直到计算的用户访问概率小于70％，再将上次计算时的t记录到用户访问模式表中。

缓存调度模块20，根据从用户访问模式存储模块30获取用户访问模块数据，或者，根据用户访问历史分析模块10得到的用户数据访问模式，在用户访问时间段将用户信息调入调出缓存数据库模块60。其包括数据调入子模块22、数据调出子模块24和数据使用通知子模块26。其中：

数据调入子模块22，根据获取用户访问模块数据，在用户高可能性访问时间段将用户信息调入缓存数据库模块60。具体包括：设定一个缓存调度周期TF，对每个没进入缓存并在周期T内还没有发生访问的用户进行计算，若下一个本次调度周期TF和用户的高可能性访问时间段TA有时间交集，则把此用户信息调入缓存。

数据调入模块处理流程如下所述：

第一步，取不在缓存中的并且在周期T内没有访问过的(根据用户的最近访问时间)用户列表，对每一个用户进行处理。

第二步，如果在下一个缓存调度周期TF(时间大小可配置)内，和用户的访问模式表中的用户高概率访问时间段有重叠，则将用户信息调入缓存。

数据调出子模块24，用于将已经访问或进入低访问概率时的用户调出缓存数据库模块。调出缓存。具体包括：在用户的高访问时间段TA内若发生了用户访问，则在用户访问结束后，通知调度系统，调度系统接到通知后会马上把用户调查缓存并设置用户在本周期T内已经访问过一次，这样在这个T周期内此用户信息不会再次被调入缓存。若在TA时间段内没有发生访问，此用户信息将一直保持在缓存中。对于已经在缓存中的用户进行计算，若下一个缓存调度周期TF和用户的TA时间段没有交集，则把用户调出缓存。

数据调出模块处理流程如下所述：

第一步，取在缓存中用户列表，对每一个用户进行处理。

第二步，如果在下一个缓存调度周期TF(时间大小可配置)内，和用户的访问模式表中的用户高概率访问时间段没有重叠，则将用户信息调出缓存。

数据使用通知子模块26，接收对外接口模块50发出的已访问用户数据通知，用户如果在缓存中，则把用户调出缓存，并记录用户的最近访问时间。

数据使用通知处理模块流程如下所述：

第一步，取消息中的用户信息，用户如果在缓存中，则把用户调出缓存。

第二步，记录用户的最近访问时间。

用户访问模式存储模块30，用于记录经过用户访问历史分析模块10分析得到的分析用户访问模式。

用户访问日志模块40，用于记录用户访问历史记录信息。

缓存数据库模块60，用于存储用户高可能性访问时间段的用户信息。

业务数据库模块70，用于存储用户数据。

对外接口模块50，用于与外部系统进行接口，外部系统通过该对外接口模块访问本系统的数据，以及检查缓存数据库模块60中是否缓存了所请求的数据，若已经缓存，则使用缓存数据库模块60中的数据，如果缓存中没有此用户数据直接使用业务数据库模块70中的用户数据；以及将使用用户数据后记录到用户访问日志模块40；以及发通知给缓存调度模块20，通知所请求的数据在当前时间访问过。

对外接口模块处理流程如下所述：

第一步，外部系统通过本系统的对外接口访问系统数据。

第二步，对外接口模块检查缓存中是否缓存了所请求的数据，若已经缓存，则使用缓存中的数据。如果缓存中没有此用户数据直接使用业务数据库中的用户数据。

第三步，使用用户数据后记录业务访问日志

第四步，发通知给调度模块，通知所请求的数据在当前时间访问过。

如图2所示，本发明提供一种适用于高并发低重复访问的缓存调度方法，包括：

步骤1、根据用户访问历史记录进行分析，使用ABC分类方法与用户最近访问时间的方式计算得到用户访问模式，得出用户的高概率访问时间段和低概率时间段；

用户访问历史分析模块处理流程如下所述：

步骤1.1，取用户最近的一个月(30天)的访问历史记录，取周期T为24小时，取时间段t为周期的开始和结束时间，fn和FN为第N天用户在t时间段和T时间段内的访问的次数。缓存调度周期TF时间段内用户访问的加权概率采用的计算公式为：P＝(fn*N)/(FN*N)，计算t时间段内用户的访问概率。

步骤1.2，如果用户在t时间段内的访问概率超过70％，则将t的时间前后都减去一个小的时间(例如半小时)，重新计算t时间段内的用户访问概率。

步骤1.3，重复步骤1.2，直到计算的用户访问概率小于70％，再将上次计算时的t记录到用户访问模式表中。

步骤2、根据用户访问模式，在时间接近用户的高访问概率时间段时将用户信息调入缓存，在其已经访问或进入低访问概率时调出缓存。具体包括：

数据调入缓存具体包括：

步骤2.1，取不在缓存中的并且在周期T内没有访问过的(根据用户的最近访问时间)用户列表，对每一个用户进行处理。

步骤2.2，如果在下一个缓存调度周期TF(时间大小可配置)内，和用户的访问模式表中的用户高概率访问时间段有重叠，则将用户信息调入缓存。

数据调出缓存具体包括：

步骤2.3，取在缓存中用户列表，对每一个用户进行处理。

步骤2.4，如果在下一个缓存调度周期TF(时间大小可配置)内，和用户的访问模式表中的用户高概率访问时间段没有重叠，则将用户信息调出缓存。

步骤3、将用户的最近访问时间记录用户访问日志。

本发明涉及一种缓存中对象的调度的方法和装置，涉及在电信运营商中使用的网络用户认证系统中的用户信息作为高速缓存对象的调度方法和装置。这种认证系统访问用户信息时的特点是高并发但低重复的访问。本发明主要是基于用户的以往使用记录进行分析，得出用户的高概率访问时间段和低概率时间段，对于高并发低重复访问场景下，在时间接近用户的高访问概率时间段时调到缓存，在其已经访问或进入低访问概率时调出缓存。这种调度策略在高并发低重复访问场景下提高了用户访问时的缓冲命中率，实现缓存存储的有效使用，提升了认证系统的认证处理能力，改善了用户体验。并且，缓存系统调度模块和用户数据分析模块独立部署，不影响业务系统处理能力。经过试验，未使用本发明的方法时，单个系统缓存的命中率30％左右，系统并发能力达到每秒1200次数据访问，使用此方法和装置后，缓存的命中率提升到70％左右，系统的并发能力达到每秒2200次数据访问。

上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

1.一种缓存调度方法，其特征在于，包括，

2.如权利要求1所述的方法，其特征在于，所述步骤1中，使用ABC分类方法与用户最近访问时间计算得到用户访问模式。

3.如权利要求1所述的方法，其特征在于，所述步骤1具体包括：

4.如权利要求3所述的方法，其特征在于，所述步骤2中的调入缓存，具体包括：

5.如权利要求3所述的方法，其特征在于，所述步骤2中的调出缓存，具体包括：

步骤2.3，取在缓存中用户列表；

6.如权利要求1所述的方法，其特征在于，所述方法进一步包括：步骤3、将用户的最近访问时间记录用户访问日志。

7.一种缓存调度系统，其特征在于，包括：用户访问历史分析模块、缓存调度模块、缓存数据库模块，

8.如权利要求7所述的系统，其特征在于，所述缓存调度模块包括数据调入子模块和数据调出子模块，

9.如权利要求7所述的系统，其特征在于，所述系统还包括用户访问模式存储模块，用于记录经过用户访问历史分析模块分析得到的分析用户访问模式。

10.如权利要求7所述的系统，其特征在于，所述系统还包括用户访问日志模块，用于记录用户访问历史记录信息。

11.如权利要求7所述的系统，其特征在于，所述系统还包括对外接口模块，用于与外部系统进行接口，以及将使用用户数据后记录到用户访问日志模块；以及发通知给缓存调度模块，通知所请求的数据在当前时间访问过。