CN102624881B - 一种面向移动设备的服务缓存系统架构及开发方法 - Google Patents

Abstract

本发明公开了一种面向移动设备的服务缓存系统架构及开发方法，通过实现一个位于移动客户端和云端服务器之上的缓存系统，对服务器运算结果和下载数据进行缓存，减少对远端服务的调用次数从而降低整个系统的运行开销，提高执行效率。同时，在移动便携设备端实现一个缓存系统，对移动设备端需要上传和下载的数据同时进行缓存。在网络异常导致远端服务不可用的情况下，缓存的热点下载数据能够保证应用的随时可用，缓存的上传数据能够保证移动端收集的重要数据在网络故障时不会丢失，在服务可用时能恢复正常运行。

Description

一种面向移动设备的服务缓存系统架构及开发方法

技术领域

本发明属于Web服务领域，主要实现了一种面向移动智能终端的两层的服务缓存系统架构，尤其涉及一种面向移动设备的服务缓存系统架构及开发方法。

背景技术

随着移动通信和嵌入式技术的高速发展，便携移动智能设备的计算能力、存储能力、续航能力越来越强，能够集成传感器、近场通信、蓝牙、红外等功能模块，完成曾经需要台式机才能执行的任务。而利用Web服务技术、云计算技术作为服务提供者，向移动终端提供数据存储和计算的能力，能够实现强大的功能和丰富的应用模式。

然而由于通信代价和服务调用开销的不可避免性，反复的远程服务调用会造成较大的响应延迟，并且受限于移动设备端的电量、存储容量等因素，对于大型应用，不可能存储应用所需的所有数据。另外，无线网络和移动环境的不稳定性会经常导致服务端不可用的情况，而移动设备端需要保证随时的可用性。

发明内容

针对上述技术问题，本发明提出一种面向移动设备的服务缓存系统架构及开发方法，通过实现一个位于移动客户端和云端服务器之上的缓存系统，对服务器运算结果和下载数据进行缓存，减少对远端服务的调用次数从而降低整个系统的运行开销，提高执行效率。同时，在移动便携设备端实现一个缓存系统，对移动设备端需要上传和下载的数据同时进行缓存。在网络异常导致远端服务不可用的情况下，缓存的热点下载数据能够保证应用的随时可用，缓存的上传数据能够保证移动端收集的重要数据在网络故障时不会丢失，在服务可用时能恢复正常运行。

为了解决上述技术问题，本发明的技术方案如下：

一种面向移动设备的服务缓存系统架构，包括移动设备端的缓存模块、服务端缓存模块和辅助开发工具；

当移动设备端处在联网状态时，移动设备端应用发出的请求被所述移动设备端的缓存模块截获，并且检查移动设备端的缓存数据有效性，通过事先与该应用协商策略，选择返回移动设备端缓存数据或者从服务端更新数据，而当移动设备处在断网时，对于读写请求根据协商策略，进行分别处理，其中对读请求如同联网状态一样通过缓存数据进行选择性响应，而对于写请求则将写请求缓存于所述移动设备端的缓存模块的写队列中，直到检测到移动设备端处在联网状态时，对写请求进行重放，同时所述移动设备端的缓存模块可以对移动设备的电量进行实时检测，一旦电量超过报警阈值，则对缓存数据进行预先持久化备份，并在移动设备端断电重启之后自动恢复缓存状态；

所述服务端缓存模块为所有远程服务透明的提供缓存机制的一个通用服务模块，其包括缓存管理模块和服务代理，所述缓存管理模块可以在key-value存储引擎之上，针对服务缓存的特性，实现多级key-value、异步更新或失效检测，并可以根据对应的服务缓存语意描述，提供可动态调整的缓存策略，所述服务代理通过一个注册接口，将远程服务注册到所述服务端代理中，同时在服务端生成一个经过代理和缓存之后的等价代理服务，将其暴露给调用者；

所述辅助开发工具能读取目标远程服务的WSDL文件，自动的将其注册到所述服务代理中，并且解析对应的服务缓存语意描述，根据移动设备端的协商策略，自动生成在移动设备端可运行的服务调用框架代码。

进一步的，所述移动设备端的缓存模块所涉及的策略包括缓存更新、断网处理，所述服务端缓存模块所涉及的策略包括缓存失效、缓存更新。

一种利用面向移动设备的服务缓存系统架构的开发方法，包括如下步骤：

21)根据移动设备端应用需求，在服务库里搜索所需要的服务，得到目标服务的访问地址；

22)将步骤21)中所得到的目标服务地址注册到服务代理中；

23)在目标服务注册到服务代理之中后，首先通过对WSDL的结构分析自动生成服务缓存语意描述文件，再根据服务提供商所提供的服务信息对所述服务缓存语意描述进行修改发布；

所述服务缓存语意描述文件是用来描述一个Web服务在操作级的语义信息的XML，可以用来向缓存系统提供关于服务操作的读写特性和状态特性的语义化描述；

24)根据步骤23)中得到的服务缓存语意描述文件，在服务端构建服务缓存状态，并进行初始化策略；

25)根据服务缓存语意描述文件和调用者需求对移动设备端的缓存策略进行协商策略；

26)根据步骤25)协商策略的结果，生成相关基础代码。

本发明的有益效果在于：提供一个面向移动设备的服务缓存系统，在具有一般缓存减少延迟、降低服务器负担的优点的同时，对于移动终端的特点，针对性的提供了优化技术，使其更能满足移动设备的需求，提高移动终端上基于Web Service的应用的性能和可用性，具体包括：

1、本发明提出了一个移动端-服务端两层缓存架构，分离了面向移动设备的缓存需求，将提高一致性、可用性、减少访问延迟的需求放置到服务端缓存解决，同时将解决断网、断电、有限内存热点数据存储等移动设备特有的缓存需求，在移动端缓存解决。该设计大大简化了缓存系统的实现，同时降低了系统间耦合依赖，并且分离了目标需求，使得在不同模块实现上能够更好的针对目标进行优化。

2、本发明设计了基于服务缓存语意和协商的缓存策略系统。该策略系统通过对缓存语意描述的解析，结合用户需求，和运行时检测，动态的选择缓存策略使缓存系统的行为能够适应于不同的服务特性和多种用户需求，具有更好的灵活性，同时也提高了缓存系统的有效性，提升了性能。

3、本发明解决了移动设备上断网、断电、小内存的特殊缓存需求，提供了通用的移动设备端缓存模块CacheLib，为基于Web Service开发的移动应用提供了一个基础平台，并且通过辅助开发工具Wsdl2Mobile自动生成的代码，将对本地移动设备端缓存模块CacheLib的访问、代理服务的调用以及策略的协商选择封装到一个可重用的工具中，分离了逻辑和实现，方便了平台之上的应用开发。

附图说明

图1为面向移动设备的服务缓存系统原理及架构图；

图2为基于本架构的开发时概念流程图；

图3为运行时移动设备端缓存模块执行流程图；

图4为运行时服务端模块执行流程图。

具体实施方式

下面将结合附图和具体实施例对本发明做进一步的说明。

本发明的目标是提供一个面向移动设备的，两层架构的服务缓存系统，主要面向移动环境下对服务的缓存需求，同时针对web服务的特殊性，提出了针对性的缓存设计。

该缓存系统主要包括以下部分：

(1)位于移动设备端的缓存模块CacheLib。移动设备端的缓存模块CacheLib旨在解决移动设备在断网、断电等不稳定情况下，对服务调用结果的本地缓存问题，同时在有限的内存下，通过本地缓存，对少量集中访问的热点数据提供快速的响应，同时减少移动设备的对网络访问的流量消耗。当移动设备端处在联网状态时，移动设备端应用发出的请求被CacheLib截获，并且检查本地的缓存数据有效性，通过事先与应用协商策略，选择返回本地缓存数据或者从服务端更新数据。而在断网时，对于读写请求根据协商策略，采取不同的处理办法。其中对读请求同样通过缓存数据进行选择性响应，而对于写请求则将其缓存于写队列中，直到检测到联网之后，对起请求进行重放。同时CacheLib对设备的电量进行实时检测，一旦电量超过报警阈值，则对缓存数据进行预先持久化备份，并在设备断电重启之后自动恢复缓存状态。

(2)服务端缓存模块包括缓存管理模块ServerCache和服务代理ServiceProxy。服务端缓存是为所有远程服务提供缓存机制的一个通用服务，所有基于本缓存系统的应用都是与服务端缓存系统进行直接交互。本模块主要提供对原创服务的注册、代理转发、语意文件注册生成，缓存管理，缓存策略调整等功能。结构上可以划分为两个模块，ServerCache在现有的成熟key-value存储引擎之上，针对服务缓存的特性，实现了多级key-value，异步更新，失效检测等，并且根据服务对应的服务缓存语意描述，提供可动态调整的缓存策略。ServiceProxy则实现和对远端Web服务的真实调用，调用根据不同的策略，可以由缓存调用者发起，也可以由ServerCache发起。ServiceProxy通过一个注册接口，将远程服务注册到服务端代理中，同时在服务端生成一个经过代理和缓存之后的等价代理服务，将其暴露给调用者。调用者对该等价代理服务的调用，等效为对原远程服务的调用，通过这一代理过程，能够透明的提供对服务的缓存机制，同时对现有的大量客户端、运行中的Web服务具有良好的兼容性。

(3)辅助开发工具Wsdl2Mobile。Wsdl2Mobile是一个辅助基于本服务缓存的移动应用开发的工具。Wsdl2Mobile读取目标远程服务的WSDL文件，自动的将其注册到服务代理中，并且解析对应的服务缓存语意描述(CSD)，根据(1)中协商策略，自动生成在移动设备端可运行的服务调用框架代码。

在本发明部分(1)中所描述的协商策略包含服务缓存语意描述(CSD)和用户需求描述两部分，通过其二者的协商决定的缓存策略。服务缓存语意描述的定义和策略的协商在以下方案中详细描述。移动设备端所涉及的缓存策略，主要包括缓存更新、断网处理。服务端所涉及的缓存策略主要包括缓存失效、缓存更新。

如图1为面向移动设备的服务缓存系统模块及基本架构。

CacheLib对移动设备端缓存访问、服务代理调用、移动缓存策略管理提供封装。利用Wsdl2Mobile套件，可生成由CacheLib提供缓存功能的调用策略代码，同时Wsdl2Mobile将对原远程服务的调用，根据代理SOAP协议(Proxy-SOAP)转化为对服务代理的调用。以上过程所生成的基础代码可用于开发者进行具体业务逻辑层的开发。

(2)服务端缓存模块由两个协同工作的系统构成：缓存管理模块和服务代理。服务代理通过代理SOAP协议(Proxy-SOAP)，利用SOAP头中的源服务地址，将本地的请求代理转发到源服务，并利用远程服务的返回值构造代理服务的返回值。一个基于代理SOAP协议的SOAP请求包如表1

表1 Proxy-SOAP请求格式

其中Header标签之中插入的部分为代理SOAP协议的扩展部分，Target标签表明本SOAP请求发送的真实服务对象，Address表示原服务的地址。通过本机制可以实现系统对一般基于SOAP服务的直接接入，无需对现有服务进行修改，保证了系统的兼容性。同时在服务代理基础上，通过对请求数据的解析和远程服务响应的处理，可以实现对调用者透明的服务端缓存，实现客户端系统的无缝接入。

服务端缓存模块对每个注册到代理中的服务，维护了一个状态空间，包括对服务缓存语意描述(CSD)，服务的策略选择和参数，以及缓存数据空间。在以SOAP-In作为key值，SOAP-Out作为value的标准Key-value缓存基础上，实现基于缓存语意的策略选择和策略参数反馈调整。

通过上述的功能，将分布在不同地区的远程服务通过部署在可靠环境下的本系统(通常可以是一个企业的内部)进行代理访问和和数据缓存，将不稳定QoS的服务转化为有服务缓存提供的稳定服务，同时在源服务出现不可用的时候，仍然能够提供已经缓存的部分响应数据，提供服务的感知可用性(Availability)。

图2为基于本系统架构的开发时流程图。

主要流程如下：

(一)服务发现，用现有的服务发现方法，根据移动设备端业务需求，在服务库里搜索所需要的服务，得到目标服务的访问地址。

(二)服务注册，将(一)中所得到的目标服务地址注册到服务代理中。注册接口以Web服务的形式提供。服务通常由调用者将需要被缓存的服务注册到代理中，同时也可以由服务提供商在提供服务的时候主动注册到代理系统中。

(三)服务语意分析，在目标服务注册到服务代理之中后，首先通过对WSDL的结构分析自动生成服务缓存语意描述(Cache Semantci Description)文件，再根据服务提供商所提供的服务信息对CSD文件进行修改发布。

服务缓存语意描述(Cache Semantci Description)是用来描述一个Web服务在操作级的语义信息的XML，用来向缓存系统提供关于服务操作的读写特性和状态特性等的语义化描述，缓存系统可根据此语义描述来选择缓存访问策略、缓存更新失效策略等。CSD文件所定义一个操作主要属性值如表2：

表2 CSD定义Schema

服务缓存语意是简单明确的，它与服务的内部实现直接相关，该信息可以由服务提供商在服务注册或服务语意分析阶段给出。

(四)服务端缓存策略选择，根据(三)中得到的CSD文件，在服务端构建服务缓存状态，并根据以下表3中的原则进行初始化策略：

表3服务端缓存策略

服务端对于写操作全部采用No-Cache的策略。

(五)移动设备端缓存策略协商，移动设备端的缓存策略不仅受目标服务缓存语意的影响，同时也和服务调用者对服务缓存可用性、一致性的需求有关。因此移动设备端的缓存策略需要由CSD和调用者需求进行协商。协商策略如表4所示：

表4移动设备端缓存策略协商

一致需求对于调用者来说是明确的，服务调用者只需要在服务注册之后向Wsdl2Mobile工具套件提供其对目标服务的需求约束，该协商过程就会自动进行，并且在之后生成的代码中体现出策略的选择结果。

(六)代码生成，根据(五)中协商策略的结果，生成Cache访问，服务调用，策略参数调整等相关基础代码。

(七)在此基础上可进行相关业务逻辑开发。

图三、图四分别描述了移动设备端和服务端中缓存系统的工作流程。其中涉及的缓存策略及其反馈调整方法如表5所示：

移动设备端主要执行流程如下：

(一)Cachelib接收来自客户端业务流程的服务调用请求

(二)服务调用根据场景进行两方面的判断，首先根据事先由CSD定义好的语意规则，将请求分为读请求和写请求；然后根据CacheLib检测移动客户端的网络状况，探测是否能与服务端进行通信，若成功通信，则此次调用场景为联网调用，若无法通信，则此次调用场景为断网调用。

(三)移动端在对调用场景进行判断之后，策略选择模块根据开发时所商议的策略方案，选择合适的缓存策略

(四)根据选定的策略，执行调用请求，并且将请求结果反馈至策略选择模块，策略选择模块据此进行策略调整，具体方式参见表5.

(五)调用结果由CacheLib返回给业务流程中的调用者

服务端缓存系统主要执行流程如下：

(一)服务代理接受来自移动客户端的服务调用请求

(二)根据和请求相关的CSD语意信息，根据表3中所描述的方案，选择相应策略，对于需要调用远程真实服务的策略(对应于表5中的No-Cache，和其他缓存策略下CacheMiss的情况)，直接将调用转发给远程的真实服务。同时将对缓存访问结果传递到缓存更新策略选择模块中。

(三)缓存策略更新模块，依据本次请求的缓存策略，对缓存内容进行更新。根据缓存策略不同，主要分为同步更新和异步更新两类，具体方式参见表5。

(四)将缓存访问和更新之后的相关结果(缓存命中率、缓存更新频率等)反馈到更新策略选择模块中，用于对更新策略进行适当的调整，调整方法参见表5。

(五)向客户端返回服务调用结果，由于采用的策略不同，该结果可能来自于缓存，也可能来自对真实服务的直接调用。

表5缓存策略

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (3)

1.一种面向移动设备的服务缓存系统，其特征在于，包括移动设备端的缓存模块、服务端缓存模块和辅助开发工具；

当移动设备端处在联网状态时，移动设备端应用发出的请求被所述移动设备端的缓存模块截获，并且检查移动设备端的缓存数据有效性，通过事先与该应用协商策略，选择返回移动设备端缓存数据或者从服务端更新数据，而当移动设备处在断网时，对于读写请求根据协商策略，进行分别处理，其中对读请求如同联网状态一样通过缓存数据进行选择性响应，而对于写请求则将写请求缓存于所述移动设备端的缓存模块的写队列中，直到检测到移动设备端处在联网状态时，对写请求进行重放，同时所述移动设备端的缓存模块能够对移动设备的电量进行实时检测，一旦电量超过报警阈值，则对缓存数据进行预先持久化备份，并在移动设备端断电重启之后自动恢复缓存状态；

所述服务端缓存模块是为所有远程服务透明的提供缓存机制的一个通用服务模块，其包括缓存管理模块和服务代理，所述缓存管理模块能够在key-value存储引擎之上，针对服务缓存的特性，实现多级key-value、异步更新或失效检测，并能够根据对应的服务缓存语意描述，提供能够动态调整的缓存策略，所述服务代理通过一个注册接口，将远程服务注册到所述服务端代理中，同时在服务端生成一个经过代理和缓存之后的等价代理服务，将其暴露给调用者；

所述辅助开发工具能读取目标远程服务的WSDL文件，自动的将其注册到所述服务代理中，并且解析对应的服务缓存语意描述，根据移动设备端的协商策略，自动生成在移动设备端能够运行的服务调用框架代码。

2.一种利用权利要求1所述服务缓存系统的开发方法，其特征在于，包括如下步骤：

21)根据移动设备端应用需求，在服务库里搜索所需要的服务，得到目标服务的访问地址；

22)将步骤21)中所得到的目标服务的访问地址注册到服务代理中；

23)在目标服务注册到服务代理之中后，首先通过对WSDL的结构分析自动生成服务缓存语意描述文件，再根据服务提供商所提供的服务信息对所述服务缓存语意描述进行修改发布；

所述服务缓存语意描述文件是用来描述一个Web服务在操作级的语义信息的XML，可以用来向缓存系统提供关于服务操作的读写特性和状态特性的语义化描述；

24)根据步骤23)中得到的服务缓存语意描述文件，在服务端构建服务缓存状态，并进行初始化策略；

25)根据服务缓存语意描述文件和调用者需求对移动设备端的缓存策略进行协商策略；

26)根据步骤25)协商策略的结果，生成相关基础代码。

3.根据权利要求1所设定的一种面向移动设备的服务缓存系统，其特征在于，所述移动设备端的缓存模块所涉及的策略包括缓存更新、断网处理，所述服务端缓存模块所涉及的策略包括缓存失效、缓存更新。