CN107483631B - 一种控制缓存实现移动互联网络服务访问的方法 - Google Patents

Abstract

本发明涉及一种采用配置文件控制缓存实现移动互联网络服务访问的系统及方法，包括设置在服务端缓存服务器上的主缓存区、副缓存区，及设置在服务端的用于存储和管理配置文件的容器，配置文件包括容器配置文件、路由配置文件、差异配置文件；当移动终端对服务器请求服务和访问数据时，对主缓存区进行填充，将服务关键字、优先级、时间戳、服务入口地址等字段存储在路由配置文件中；副缓存区随着主缓存区的填充进行自动填充，形成主缓存区的副本；差异配置文件用于记录主缓存区与副缓存区之间的差量变化。本发明减少了服务访问和数据获取的时间，提高了访问的效率。

Description

一种控制缓存实现移动互联网络服务访问的方法

技术领域

本发明涉及一种控制缓存实现移动互联网络服务访问的方法，属于移动互联网领域。

背景技术

近几年是移动互联网高速发展时期，为了应对用户数和带宽的迅速增长，降低网间流量结算，通信运营商开始广泛使用互联网缓存(Web Cache)技术，即把可以进一步使用或重复使用的内容存放在靠近用户的缓存服务器中。这样不但节省网络出口带宽，降低Web服务器负荷，还能降低用户访问内容的时延。现有的互联网缓存一般部署在运营商的公网上，主要有DNS重定向、HTTP重定向和策略路由三种方式。其中，策略路由的缓存方式会增加网络的复杂度，而且不稳定，所以很少采用。现在的网络多采用DNS重定向和HTTP重定向这两种方式。

缓存指的是将需要频繁访问的网络内容存放在离用户较近、访问速度更快的系统中，以提高内容访问速度的一种技术。缓存服务器就是存放频繁访问内容的服务器。

缓存提供了比将访问对象放在Internet Web服务器上更好的方法，它将需要频繁访问的Web页面和对象保存在离用户更近的系统中，当再次访问这些对象的时候加快了速度。缓存系统包含三个主要模块，包括重定向模块、数据分析模块和缓存模块。在移动互联网络模式中，海量的数据访问和请求通过不同的终端传递到服务提供端，这一过程要求服务提供端具有及时、可靠、准确的响应，涉及数据库访问、网络传输、访问路由等多种问题。

“互联网+”时代，移动性正在考验着企业的网络，传统的安全手段已经不足以应对今天的移动安全管理，企业需要重新审视和制定内部的BYOD策略。而企业移动战略中的关键技术—应用容器化与安全工作区就变得尤为重要。容器是伴随着瘦客户端系统的发展而诞生的。在开发瘦客户端系统时，开发人员要花费大量的精力去关注线程安全、事务、网络、资源等等细节，从而降低了开发效率。由于对这些细节的解决方法一般是固定不变，或者只是改变参数，所以从代码重用和设计模式的角度出发，开发人员将这些底层细节提取出来，做成平台，并提供一定的接口。这样，业务开发人员就不需要在关注与这些底层细节的实现，而专注于业务逻辑的实现。

容器一般遵守可配置的原则，即容器的使用者可以通过对容器参数的配置，来达到自己的使用需求，而不需要修改容器的代码。

中国专利文献CN103763371A公开一种动态控制移动端应用缓存方法，根据需求调整缓存策略，所以使用比较灵活，模块不更新，在缓存中配置到对应的缓存区域，模块以后将从本地缓存获取资源；如果需求改变，模块动需态获取数据，在缓存中配置到对于的动态缓存区域，模块将从服务器获取数据。但是，该专利还存在以下缺陷和不足：首先，该专利中在本地缓存与服务器缓存内容出现局部不一致的情况，也会全部替换本地缓存，造成时间和效率的浪费；其次，本地缓存在出现“脏数据”的情况反应缓慢，不能及时获取差异数据；最后，本地缓存没有副本备份，发生丢失、差错等故障后失去作用。

发明内容

针对现有技术的不足，本发明提供了一种采用配置文件控制缓存实现移动互联网络服务访问的系统及其工作方法；

术语解释：

1、优先级(priority)是一种约定，优先级高的先做，优先级低的后做。优先级是计算机分时操作系统在处理多个作业程序时，决定各个作业程序接受系统资源的优先等级的参数。

2、时间戳(timestamp)，一个能表示一份数据在某个特定时间之前已经存在的、完整的、可验证的数据,通常是一个字符序列，唯一地标识某一刻的时间。

发明概述：

本发明能够提高移动互联网服务提供端的访问效率，提高数据访问的安全性。本发明的核心是在服务端缓存服务器上设置主缓存区和副缓存区两种区域，主缓存与副缓存同级存在，初始状态皆为空。然后在服务端建立一个存储和管理配置文件的容器，容器中包含差异配置文件和路由配置文件两个文件，这两个文件的初始状态也为空。当系统运行后，各个移动终端对服务器进行服务请求和数据访问，根据访问的密集度对主缓存区进行填充，同时进行路由配置文件的填充，路由配置文件包含服务关键字、优先级、时间戳、服务入口地址等字段；副缓存随着主缓存的填充进行自动填充，形成主缓存的一个初始副本。差异文件是记录主缓存与副缓存之间差量变化的文件。

通过容器对配置文件进行综合管理，提高了配置文件访问的安全性；各种服务请求根据路由配置文件进行缓存地址的访问，容器通过差异文件来进行路由文件的更新操作。

发明详述：

一种采用配置文件控制缓存实现移动互联网络服务访问的系统，包括设置在服务端缓存服务器上的主缓存区、副缓存区，以及设置在服务端的用于存储和管理配置文件的容器，所述配置文件包括容器配置文件、路由配置文件、差异配置文件；

当移动终端对服务器请求服务和访问数据时，根据访问的密集度对所述主缓存区进行填充，与此同时，将服务关键字、优先级、时间戳、服务入口地址存储在所述路由配置文件中；所述服务关键字包括请求中的资源类型、接口类型、数据类型；例如客户信息、相册、文件等关键类型信息；

所述副缓存区随着主缓存区的填充进行自动填充，形成所述主缓存区的副本；

所述差异配置文件用于记录所述主缓存区与所述副缓存区之间的差量变化；差量的产生主要是由于服务器端资源修改、更新、重置等原因造成的资源变化，或者是客户端对服务器资源的修改、补充等造成服务器资源的修改，由于这些操作对资源的修改涉及到对磁盘或缓存的更新，在高并发访问的情况下，IO阻塞会极大地影响系统效率，缓存容器监听到这些变化时，将变化的地址和内容写入差异文件中，在不影响主缓存工作的情况下，通过副缓存进行差异的更新，并修改这些资源的时间戳，使其保持正确状态。

所述容器配置文件用于记录路由配置文件和差异配置文件的名称、大小、字段、入口地址。

根据本发明优选的，所述差量变化包括服务关键字、是否差异、是否已更新、入口地址和时间戳。差异的出现是由于资源的修改、重置、删除等操作，这一操作可能是通过服务端发起，也可能是由服务器主动发起。发生上述操作后，服务端资源与缓存中的资源就会存在不同，例如，服务端的最新资源没有更新到缓存中；容器通过系统进程进行资源监听，通过MD5值以及资源时间戳来检查资源的一致性和准确性，如果发现不一致的情况，就会在差异文件中写入该资源存在差异；如果某资源被更新，则差异配置文件中会写入该资源已更新。

根据本发明优选的，根据访问的密集度对所述主缓存区进行填充，所述主缓存区为哈希表，包括：

a、通过对访问请求的关键词的频繁性进行统计，按照访问请求的关键词的频繁性从大到小，将统计结果存储在优先级队列中，访问请求的关键词越频繁，在优先级队列中的优先级越高；

b、根据优先级由高到低，将优先级队列中的访问请求的关键词以及对应的优先级填充到所述主缓存区，访问请求的关键词即服务关键词，服务关键词对应的时间戳、服务入口地址也填充到所述主缓存区。

由于初始缓存为空，需要进行缓存内容的填充，缓存是由一张哈希表构成，根据访问的密集度(访问请求中关键字出现的频繁性，存在一线程进行访问密集的统计，将统计结果存储在优先级队列中，先出队列的优先级高，即访问密集)对主缓存区进行put操作，key为访问的关键字，value为访问的资源地址或者服务接口地址。

一种采用配置文件控制缓存实现移动互联网络服务访问的方法，包括步骤如下：

A、建立、初始化、更新过程

(1)在服务端建立缓存服务器，在缓存服务器中创建主缓存区和副缓存区，主缓存区域与副缓存区域是两个独立的存储空间，初始化均为空；

(2)构建存储和管理配置文件的容器，容器内建立容器配置文件、路由配置文件和差异配置文件，容器配置文件内设置路由配置文件和差异配置文件的名称、大小、字段、入口地址；系统根据容器配置文件中的名称和大小在内存中划分出区域创建主缓存区和副缓存区，并根据字段和入口地址创建路由配置文件和差异配置文件，同时，创建一个系统进程用来更新容器状态和一个监听进程来监听缓存和服务器中资源的状态。所述路由配置文件包括服务关键字、优先级、时间戳和服务入口地址；所述差异配置文件包括服务关键字、是否差异、是否已更新，由容器根据容器配置文件的参数进行创建；

(3)主缓存区、副缓存区、路由配置文件、差异配置文件初始化；

当移动终端对服务器请求服务和访问数据时，根据访问的密集度对所述主缓存区进行填充；根据访问的密集度(访问请求中关键字出现的频繁性)，容器创建的监听进程会进行访问密集的统计，将统计结果存储在优先级队列中，先出队列的优先级高，即访问密集)对主缓存区进行put操作，key为访问的关键字，value为访问的资源地址或者服务接口地址，将访问密集型的服务和数据放到所述主缓存区。

与此同时，将服务关键字、优先级、时间戳和服务入口地址填充在所述路由配置文件中；方便下次该服务访问时直接进行缓存访问；

所述副缓存区随着主缓存区的填充进行自动填充，形成所述主缓存区的副本；

(4)差异配置文件、副缓存区、路由配置文件的更新：当对主缓存区进行写入某一服务A时，系统线程将该服务A与服务器服务A进行比较，如果服务A没有发生变化，则正常写入主缓存区；如果服务A发生变化，主缓存区写入服务A，将该变化记录到差异配置文件中，服务A的变化包括：服务A关键字、是否差异、是否已更新；

当副缓存区进行服务A填充时，检查差异配置文件中是否存在服务A的差异，发现差异时，副缓存区根据差异配置文件获取最新的服务A，副缓存区存储服务A最新的时间戳，路由配置文件将服务A的入口地址更新为副缓存区服务A的地址；当客户端访问时，会根据路由配置文件标注的地址，直接访问副缓存中最新的服务A。

B、移动互联网络服务访问

(5)当移动终端对服务器请求服务或访问数据时，判断路由配置文件与差异配置文件中的时间戳是否一致，如果一致，则请求直接根据路由配置文件中的地址进行资源的访问；否则，将该服务直接转发至服务端进行处理，与此同时，副缓存区根据差异配置文件中的记录信息，从服务器中获取差异服务的最新版本，存放到副缓存区中，这一过程采用并发操作，不影响主缓存区工作，提高请求的处理效率和准确性，更新完成后，路由配置文件的该服务入口地址变成副缓存区地址，路由配置文件中记录的该服务的时间戳更新与差异配置文件中对应服务的时间戳一致。

如果路由配置文件和差异文件中同一服务的时间戳不一致，则不经过缓存直接访问服务器；主缓存与副缓存初始化完成后，对于某一项服务，两者的地位是相对的；

根据本发明优选的，当主缓存区容量达到饱和时，当某一从未出现过的请求服务或访问数据发生时，依据最近最少访问原则，即将主缓存区中的请求时间戳最早的服务删除，将新的服务存入主缓存区中，并在差异配置文件中记录发生变化的资源信息，同时，更新路由配置文件对应地址的服务关键字。

根据本发明优选的，副缓存区进行自身数据的填充操作，包括：副缓存区根据差异配置文件进行资源的审查，如果主缓存区时间戳是最新的且资源的准确性检验结果为真，则将主缓存区中的数据拷贝到副缓存中；如果主缓存区时间戳或者资源的准确性存在问题，则说明该资源发生变化，副缓存根据差异配置文件中记录的变化内容，将该资源更新到最新状态。这一过程保证了缓存中资源的准确性。

根据本发明优选的，所述移动终端为手机或电脑。

本发明的有益效果是：

1、本发明采用路由配置文件控制缓存访问的地址，终端的服务请求可以根据该配置文件直接进行缓存服务的访问，减少了服务访问和数据获取的时间，提高了访问的效率。

2、本发明采用差异配置文件记录主缓存和副缓存存储服务的变化，通过该文件实时对路由配置文件的地址进行更新，确保各个终端的请求获取的都是最新的服务版本，保证了服务的准确性。

3、本发明采用最近最少访问的原则和差异文件的时间戳进行缓存服务的替换，提高了服务请求的缓存命中率，减少了发生冲突的可能性，从而提高了服务的访问效率。

4、本发明采用异步更新缓存服务的方式进行缓存的更新，避免了服务不一致的情况，保证了下次该服务访问的最新版本，提高了服务访问的准确性。

5、本发明采用容器进行配置文件的管理，将配置文件放置于安全容器中，一方面有利于提高配置文件的管理效率，另一方面提高了配置文件管理的安全性。

6、本发明中采用主缓存和副缓存模式，并通过差异配置文件监控两者之间的数据差异，二者互为副本。访问到达缓存时可以通过差异配置文件第一时间获知最新的资源存储；当服务器的资源修改时，差异配置文件会及时将这些差异写入空闲的缓存中，并更新改缓存数据的时间戳，杜绝了“脏数据”；在主缓存发生故障时，副缓存会根据差异文件更新自身数据，并上升为主缓存。

附图说明

图1是本发明所述容器内配置文件的结构图；

图2是本发明所述基于配置文件的缓存服务访问与更新的流程图；

图3是本发明采用配置文件控制缓存实现移动互联网络服务访问的系统的整体架构框图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

一种采用配置文件控制缓存实现移动互联网络服务访问的系统，如图3所示，包括设置在服务端缓存服务器上的主缓存区、副缓存区，以及设置在服务端的用于存储和管理配置文件的容器，配置文件包括容器配置文件、路由配置文件、差异配置文件；

当移动终端对服务器请求服务和访问数据时，根据访问的密集度对主缓存区进行填充，主缓存区为哈希表，包括：

a、通过对访问请求的关键词的频繁性进行统计，按照访问请求的关键词的频繁性从大到小，将统计结果存储在优先级队列中，访问请求的关键词越频繁，在优先级队列中的优先级越高；

b、根据优先级由高到低，将优先级队列中的访问请求的关键词以及对应的优先级填充到主缓存区，访问请求的关键词即服务关键词，服务关键词对应的时间戳、服务入口地址也填充到主缓存区。

由于初始缓存为空，需要进行缓存内容的填充，缓存是由一张哈希表构成，根据访问的密集度(访问请求中关键字出现的频繁性，存在一线程进行访问密集的统计，将统计结果存储在优先级队列中，先出队列的优先级高，即访问密集)对主缓存区进行put操作，key为访问的关键字，value为访问的资源地址或者服务接口地址。

与此同时，将服务关键字、优先级、时间戳、服务入口地址存储在路由配置文件中；服务关键字包括请求中的资源类型、接口类型、数据类型；例如客户信息、相册、文件等关键类型信息；

副缓存区随着主缓存区的填充进行自动填充，形成主缓存区的副本；

差异配置文件用于记录主缓存区与副缓存区之间的差量变化；差量的产生主要是由于服务器端资源修改、更新、重置等原因造成的资源变化，或者是客户端对服务器资源的修改、补充等造成服务器资源的修改，由于这些操作对资源的修改涉及到对磁盘或缓存的更新，在高并发访问的情况下，IO阻塞会极大地影响系统效率，缓存容器监听到这些变化时，将变化的地址和内容写入差异文件中，在不影响主缓存工作的情况下，通过副缓存进行差异的更新，并修改这些资源的时间戳，使其保持正确状态。差量变化包括服务关键字、是否差异、是否已更新、入口地址和时间戳。差异的出现是由于资源的修改、重置、删除等操作，这一操作可能是通过服务端发起，也可能是由服务器主动发起。发生上述操作后，服务端资源与缓存中的资源就会存在不同，例如，服务端的最新资源没有更新到缓存中；容器通过系统进程进行资源监听，通过MD5值以及资源时间戳来检查资源的一致性和准确性，如果发现不一致的情况，就会在差异文件中写入该资源存在差异；如果某资源被更新，则差异配置文件中会写入该资源已更新。

容器配置文件用于记录路由配置文件和差异配置文件的名称、大小、字段、入口地址。容器内配置文件的结构图如图1所示；

移动终端为手机或电脑。

实施例2

一种采用配置文件控制缓存实现移动互联网络服务访问的方法，如图2所示，包括步骤如下：

A、建立、初始化、更新过程

(1)在服务端建立缓存服务器，在缓存服务器中创建主缓存区和副缓存区，主缓存区域与副缓存区域是两个独立的存储空间，初始化均为空；

(2)构建存储和管理配置文件的容器，容器内建立容器配置文件、路由配置文件和差异配置文件，容器配置文件内设置路由配置文件和差异配置文件的名称、大小、字段、入口地址；系统根据容器配置文件中的名称和大小在内存中划分出区域创建主缓存区和副缓存区，并根据字段和入口地址创建路由配置文件和差异配置文件，同时，创建一个系统进程用来更新容器状态和一个监听进程来监听缓存和服务器中资源的状态。路由配置文件包括服务关键字、优先级、时间戳和服务入口地址；差异配置文件包括服务关键字、是否差异、是否已更新，由容器根据容器配置文件的参数进行创建；

(3)主缓存区、副缓存区、路由配置文件、差异配置文件初始化；

当移动终端对服务器请求服务和访问数据时，根据访问的密集度对主缓存区进行填充；根据访问的密集度(访问请求中关键字出现的频繁性)，容器创建的监听进程会进行访问密集的统计，将统计结果存储在优先级队列中，先出队列的优先级高，即访问密集)对主缓存区进行put操作，key为访问的关键字，value为访问的资源地址或者服务接口地址，将访问密集型的服务和数据放到所述主缓存区。

与此同时，将服务关键字、优先级、时间戳和服务入口地址填充在路由配置文件中；方便下次该服务访问时直接进行缓存访问；

副缓存区随着主缓存区的填充进行自动填充，形成主缓存区的副本；包括：副缓存区根据差异配置文件进行资源的审查，如果主缓存区时间戳是最新的且资源的准确性检验结果为真，则将主缓存区中的数据拷贝到副缓存中；如果主缓存区时间戳或者资源的准确性存在问题，则说明该资源发生变化，副缓存根据差异配置文件中记录的变化内容，将该资源更新到最新状态。这一过程保证了缓存中资源的准确性。

(4)差异配置文件、副缓存区、路由配置文件的更新：当对主缓存区进行写入某一服务A时，系统线程将该服务A与服务器服务A进行比较，如果服务A没有发生变化，则正常写入主缓存区；如果服务A发生变化，主缓存区写入服务A，将该变化记录到差异配置文件中，服务A的变化包括：服务A关键字、是否差异、是否已更新；

当副缓存区进行服务A填充时，检查差异配置文件中是否存在服务A的差异，发现差异时，副缓存区根据差异配置文件获取最新的服务A，副缓存区存储服务A最新的时间戳，路由配置文件将服务A的入口地址更新为副缓存区服务A的地址；当客户端访问时，会根据路由配置文件标注的地址，直接访问副缓存中最新的服务A。

B、移动互联网络服务访问

(5)当移动终端对服务器请求服务或访问数据时，判断路由配置文件与差异配置文件中的时间戳是否一致，如果一致，则请求直接根据路由配置文件中的地址进行资源的访问；否则，将该服务直接转发至服务端进行处理，与此同时，副缓存区根据差异配置文件中的记录信息，从服务器中获取差异服务的最新版本，存放到副缓存区中，这一过程采用并发操作，不影响主缓存区工作，提高请求的处理效率和准确性，更新完成后，路由配置文件的该服务入口地址变成副缓存区地址，路由配置文件中记录的该服务的时间戳更新与差异配置文件中对应服务的时间戳一致。

如果路由配置文件和差异文件中同一服务的时间戳不一致，则不经过缓存直接访问服务器；主缓存与副缓存初始化完成后，对于某一项服务，两者的地位是相对的；

当主缓存区容量达到饱和时，当某一从未出现过的请求服务或访问数据发生时，依据最近最少访问原则，即将主缓存区中的请求时间戳最早的服务删除，将新的服务存入主缓存区中，并在差异配置文件中记录发生变化的资源信息，同时，更新路由配置文件对应地址的服务关键字。

本发明采用路由配置文件控制缓存访问的地址，终端的服务请求可以根据该路由配置文件直接进行缓存服务的访问，本发明在实验过程中采用多台PC终端进行服务器并发访问模拟，在未使用次架构的情况下，访问服务器获取某一资源的时间为433ms；使用路由配置文件控制缓存的模式后，在缓存填充阶段，访问该资源的时间为430ms，这一过程缓存未命中，请求仍旧从服务器中获取资源，访问时间基本无变化；当缓存填充完毕，请求访问时间趋于96ms，由此可见，使用路由配置文件控制缓存的模式减少了服务访问和数据获取的时间，提高了访问的效率。

Claims (4)

1.一种控制缓存实现移动互联网络服务访问的方法，其特征在于，包括步骤如下：

A、建立、初始化、更新过程

(1)在服务端建立缓存服务器，在缓存服务器中创建主缓存区和副缓存区，主缓存区域与副缓存区域是两个独立的存储空间，初始化均为空；

(2)构建存储和管理配置文件的容器，容器内建立容器配置文件、路由配置文件和差异配置文件，容器配置文件内设置路由配置文件和差异配置文件的名称、大小、字段、入口地址；所述路由配置文件包括服务关键字、优先级、时间戳和服务入口地址；所述差异配置文件包括服务关键字、是否差异、是否已更新，由容器根据容器配置文件的参数进行创建；

(3)主缓存区、副缓存区、路由配置文件、差异配置文件初始化；

当移动终端对服务器请求服务和访问数据时，根据访问的密集度对所述主缓存区进行填充；与此同时，将服务关键字、优先级、时间戳和服务入口地址填充在所述路由配置文件中；所述副缓存区随着主缓存区的填充进行自动填充，形成所述主缓存区的副本；

(4)差异配置文件、副缓存区、路由配置文件的更新：当对主缓存区进行写入某一服务A时，系统线程将该服务A与服务器服务A进行比较，如果服务A没有发生变化，则正常写入主缓存区；如果服务A发生变化，主缓存区写入服务A，将该变化记录到差异配置文件中，服务A的变化包括：服务A关键字、是否差异、是否已更新；

当副缓存区进行服务A填充时，检查差异配置文件中是否存在服务A的差异，发现差异时，副缓存区根据差异配置文件获取最新的服务A，副缓存区存储服务A最新的时间戳，路由配置文件将服务A的入口地址更新为副缓存区服务A的地址；

B、移动互联网络服务访问

(5)当移动终端对服务器请求服务或访问数据时，判断路由配置文件与差异配置文件中的时间戳是否一致，如果一致，则请求直接根据路由配置文件中的地址进行资源的访问；否则，将该服务直接转发至服务端进行处理，与此同时，副缓存区根据差异配置文件中的记录信息，从服务器中获取差异服务的最新版本，存放到副缓存区中，更新完成后，路由配置文件的该服务入口地址变成副缓存区地址，路由配置文件中记录的该服务的时间戳更新与差异配置文件中对应服务的时间戳一致。

2.根据权利要求1所述的一种控制缓存实现移动互联网络服务访问的方法，其特征在于，当主缓存区容量达到饱和时，当某一从未出现过的请求服务或访问数据发生时，依据最近最少访问原则，即将主缓存区中的请求时间戳最早的服务删除，将新的服务存入主缓存区中，并在差异配置文件中记录发生变化的资源信息，同时，更新路由配置文件对应地址的服务关键字。

3.根据权利要求1所述的一种控制缓存实现移动互联网络服务访问的方法，其特征在于，副缓存区进行自身数据的填充操作，包括：副缓存区根据差异配置文件进行资源的审查，如果主缓存区时间戳是最新的且资源的准确性检验结果为真，则将主缓存区中的数据拷贝到副缓存中；如果主缓存区时间戳或者资源的准确性存在问题，则说明该资源发生变化，副缓存根据差异配置文件中记录的变化内容，将该资源更新到最新状态。

4.根据权利要求1-3任一所述的一种控制缓存实现移动互联网络服务访问的方法，其特征在于，所述移动终端为手机或电脑。

Images