CN105512053B

CN105512053B - 移动透明计算系统服务器端多用户访问的镜像缓存方法

Info

Publication number: CN105512053B
Application number: CN201510887231.3A
Authority: CN
Inventors: 郭克华; 唐雅媛; 潘威
Original assignee: Central South University
Current assignee: Central South University
Priority date: 2015-12-07
Filing date: 2015-12-07
Publication date: 2017-06-16
Anticipated expiration: 2035-12-07
Also published as: CN105512053A

Abstract

本发明公开了一种移动透明计算系统服务器端多用户访问的镜像缓存方法，设计缓存数据块的存储信息，所述存储信息包括标识区FLAG，信息区FI和数据区DATA；所述标识区FLAG用于存放代表缓存数据块的关键字；信息区FI用于存放缓存数据块的基本信息；数据区DATA用于存放所缓存的实际数据，并在客户端发起IO请求时，返回所缓存的实际数据；设计缓存空间存放所有的缓存数据块；在properties文件中设置缓存大小和生命周期；初始化缓存空间；为用户的IO请求块建立对应的缓存数据块，包括FLAG、FI和DATA信息，并存入初始化后的缓存空间；每次访问缓存空间前，检查并移除过期的缓存数据块，保证缓存数据块的实时有效。本发明提高了效率，减少了网络开销。

Description

移动透明计算系统服务器端多用户访问的镜像缓存方法

技术领域

本发明涉及移动透明计算系统服务器端多用户访问的镜像缓存方法。

背景技术

随着可穿戴设备和移动终端的快速发展，各种不同的移动操作系统（比如iOS,Andriod,Window phone 等）相继出现并在市场中竞相存在。人们在移动设备上存储的数据和安装的应用也越来越多，这就对其存储能力要求越来越高，增加了管理开销，影响了用户体验性。对于用户来说，其只需要随时通过终端设备获得各种所需的服务，而不需考虑设备的操作系统、硬件配置和网络连接方式等底层的信息。透明计算正是这样一种计算模式，即一种用户无需感知计算机操作系统、中间件、应用程序和通信网络的具体所在，只需根据自己的需求，通过网络从所使用的各种终端设备（包括固定、移动、以及家庭中的各类终端设备）中选择并使用相应服务（例如计算、电话、电视、上网和娱乐等）的计算模式。

透明计算系统的特征主要有如下几点：

（1）存储与计算分离。透明计算系统分为客户端与服务器两个部分，其中用户使用的客户端无需安装任何系统软件，所有软件资源均统一存储在服务器内。当用户访问透明计算服务器时，按需加载软件资源，并在本地执行与计算。

（2）跨终端、跨操作系统平台的支持。用户能够在任何终端上访问透明计算服务器获得所需的服务，并根据需要选择操作系统平台。对于终端设备来说，使用之前不需要或尽量减少对客户端的安装和配置，以提高用户体验性。

（3）客户端与服务器之间采用流块式传输指令和数据。客户端在远程加载操作系统时，不需要将整个操作系统下载到本地运行，而是将服务器存储的数据划分为大小相同的数据块，客户端仅下载所需部分的数据块，所有数据块以数据流的形式传输。

随着移动终端的多样化及普及，移动透明计算作为透明计算的一个分支，逐渐成为研究的热点。而当同时访问透明计算服务器的用户数过多时，所有客户端不断向服务器请求所需的软件资源数据块，此时服务器的磁盘I/O将成为系统的主要瓶颈之一，造成明显的性能下降。

当今分布式系统已经融入各行各业，人们对分布式系统下的处理及传输能力要求越来越高。透明计算实现计算与存储分离，将系统和用户数据存放在分布式服务端上，动态从远程加载并执行。针对目前移动透明计算的研究现状，存在以下几个缺点：

（1）客户端在访问远程透明服务器所存放的系统镜像时，需要发出大量的IO请求，特别是在系统开始启动的时候。

（2）多客户端访问透明服务器时，每次都需要从原始镜像中读取所请求的数据，用户使用过程中，镜像文件越来越大，在服务多客户端的情况下，存在大量重复的请求，造成系统资源浪费和效率低下。

（3）由于无线加载受到带宽的限制，当移动终端加载数据资源，比如操作系统时，往往需要很长的时间，这就造成了网络的传输延时，使得用户体验性差。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种移动透明计算系统服务器端多用户访问的镜像缓存方法。

为解决上述技术问题，本发明所采用的技术方案是：一种移动透明计算系统服务器端多用户访问的镜像缓存方法，包括以下步骤：

1）设计缓存数据块的存储信息，所述存储信息包括标识区FLAG，信息区FI和数据区DATA；所述标识区FLAG用于存放代表缓存数据块的关键字；信息区FI用于存放缓存数据块的基本信息；数据区DATA用于存放所缓存的实际数据，并在客户端发起IO请求时，返回所缓存的实际数据；

2）设计缓存空间存放所有的缓存数据块；

3）在properties文件中设置缓存大小和生命周期；

4）初始化缓存空间；

5）为用户的IO请求块建立对应的缓存数据块，包括FLAG、FI和DATA信息，并存入初始化后的缓存空间；

6）每次访问缓存空间前，检查并移除过期的缓存数据块，保证缓存数据块的实时有效。

所述步骤6）的具体实现过程包括：

1）当客户端向服务端请求访问数据时，首先查询缓存空间，根据flag判断数据是否为新数据，若是新访问的数据，则将新访问的数据插入到FIFO队列，并更新FI和DATA的信息；否则执行步骤3）；

2）如果缓存数据块在FIFO队列中一直没有被再次访问，则按照FIFO规则淘汰缓存数据块；或者如果该缓存数据块超过其生命周期，则直接淘汰该缓存数据块；

3）如果缓存数据块在FIFO队列中被再次访问，则将该缓存数据块移到LRU队列头部；或者如果缓存数据块在LRU队列中再次被访问，则将该缓存数据块移到LRU队列头部；

4）LRU队列淘汰末尾的缓存数据块。

所述步骤6）的具体实现过程包括：

1）设计新访问的数据块的缓存信息，为FI区的信息赋初值，并将所述初值插入到LFU队列；

2）如果缓存数据块在LFU队列中一直没有被再次访问，则按照LFU规则淘汰缓存数据块，淘汰的缓存数据块插入到LRU队列；如果该缓存数据块超过其生命周期，则直接淘汰该缓存数据块；

3）如果缓存数据块在LFU队列中被再次访问，则将缓存数据块FI区访问次数加1，访问时间更新为最新访问时间；或者如果缓存数据块在LRU队列再次被访问，则将缓存数据块移到LFU队列；

4）LRU队列按规则淘汰最久未访问的缓存数据块。

所述步骤6）的具体实现过程包括：

1）设计新访问的数据块的缓存信息，为FI区的信息赋初值，并将该初值插入到主队列的未锁定区；

2）如果缓存数据块在主队列的未锁定区中一直没有被再次访问，则按照LFU规则淘汰缓存数据块，然后将淘汰的缓存数据块插入到LRU队列；

3）如果缓存数据块在主队列的未锁定区中被再次访问，则将缓存数据块FI区访问次数加1、访问时间更新为最新访问时间；

4）若缓存数据块在固定时间段内被连续访问，则将缓存数据块移到锁定区，若锁定区大小超过缓存空间的一半，则按LRU规则淘汰锁定区中最久未被访问的缓存数据块，然后将淘汰的缓存数据块插入到LRU队列并更新缓存数据块FI区的信息；如果锁定区缓存数据块超过其生命周期，则直接淘汰该缓存数据块；或者如果缓存数据块在LRU队列再次被访问，则更新缓存数据块的FI区信息，并将数据移到主队列的未锁定区；所述固定时间段小于所述生命周期；

5）LRU队列按规则淘汰最久未访问的缓存数据块。

所述缓存空间采用哈希表结构，通过key关键字映射对应的缓存数据块。

与现有技术相比，本发明所具有的有益效果为：本发明在移动透明计算环境下，解决了两个基本问题：（1）针对系统启动阶段的大量数据请求，为服务端增加缓存模块，基于客户端所发出的IO请求，从镜像中读取具体数据，通过一定的形式复制一份放于缓存空间，因为多客户端在系统启动阶段，数据具有高度的一致性，因此只需要读取一次镜像文件，后面的请求直接从缓存中获取数据，从而提高了效率。（2）针对用户在使用过程中存在重复请求的情况，对缓存空间所存的数据进行更新，保证缓存中存放的是系统最需要的数据块，降低服务器端读取文件的次数，提高服务器读文件效率。对客户端来说，通过本地缓存避免向服务器发送重复的IO请求，从而减少网络开销。

附图说明

图1为bitmap 存储结构；

图2为MTC读数据流程图；

图3为本发明一实施例缓存块N信息；

图4为本发明一实施例缓存空间示意图；

图5为本发明2Q数据淘汰过程示意图；

图6为本发明TCCache 淘汰数据过程图；

图7为本发明TCCA淘汰数据过程图；

图8为5个用户访问的命中率对比图；

图9为10个用户访问的命中率对比图；

图10为15个用户访问的命中率对比图；

图11为20个用户访问的命中率对比图。

具体实施方式

为了节约存储空间并且区分数据是否已经缓存，移动透明计算系统采用Bitmap的存储结构。存储文件分为三个部分如图1所示。按照存储顺序从上到下分别是 HEADER、MAP以及 DATA。HEADER 数据结构如下：

Struct HEADER{

u_int16 FileType;

u_int32 MaxSize;

u_int16 MapUnit;

u_int16 DataUnit;

u_int32 MapStartOffset;

u_int32 DataStartOffset;

u_int32 DataTotalSize;}

HEADER 中的 FileType 为该存储文件的一种约定格式说明，这里取值为0x7C7C。MaxSize 表示该文件存储的逻辑块（512byte）的最大范围，这个值由具体的存储镜像大小决定。MapUnit 指的是 MAP 存储每个存储单元占的字节数。DataUnit 指的是 DATA 区域每个存储单元表示的字节数。MapStartOffset 指的是MAP 区域在该文件中的起始地址，同理，DataStartOffset 指的是 DATA 区域在该文件中的起始地址。DataTotalSize 指的是目前已存储的 DATA 区域的存储单元数，初始化时为 0。

MAP 区域存储的是以 M 字节为基本单位的连续二进制数据块，M 即MapUnit 定义的大小，共计 MaxSize 块，初始化时均为 1。

DATA 区域存储的是以 D 字节为基本单位的连续二进制数据块，D 即DataUnit定义的大小，系统的真实数据存储在该部分，共计 DataTotalSize 块，为动态增加。

实例操作系统读数据的流程图如图2所示。

MTC（Mobile transparent computing）中客户端与服务器之间采用流块式传输指令和数据。客户端在远程加载操作系统时，不需要将整个操作系统下载到本地运行，而是将服务器存储的数据划分为大小相同的数据块，客户端仅下载所需部分的数据块，所有数据块以数据流的形式传输当使用该系统用户过多时，所有客户端不断向服务器请求所需数据，此时服务器的磁盘I/O将成为系统的主要瓶颈之一，造成明显的性能下降。缓存（Cache）是用以解决存储系统之间巨大速度差异的有效手段之一。在移动透明计算系统中，结合其客户端存取数据块的特点，在服务器端预先将最有可能被客户端使用的一些数据块存储在缓存中，当需要时直接从缓存中读取并传送给客户端，将减少服务器端磁盘 I/O 的次数和时间，显著提高服务器数据读取的性能。而如何提高缓存数据的命中率是需要重点考虑的问题，即当缓存空间已满时，需要根据一定的替换策略，选择缓存内的数据块调出，并存入新的数据块。

本发明缓存数据结构设计如下：

针对客户端的网络请求数据块，为其定义缓存数据结构，便于标识，并放入缓存空间：

（1）设计缓存数据块的存储信息，包括：标识区（FLAG），信息区（FI）和数据区（DATA）。FLAG存放了代表缓存数据块的关键字，数据块的查找和区分是通过该关键字进行的，对缓存数据起标识作用；FI存放了缓存数据块的基本信息，如最后访问时间，访问次数，存活时间，大小等信息，用于缓存更新和替换策略的实现； DATA区存放所缓存的实际数据，在客户端发起IO请求时，将此部分数据返回。用N表示每个节点。如图3所示。

（2）设计缓存空间来存放所有的缓存数据块信息，采用哈希表结构，通过key关键字映射对应的数据块，便于查找。如图4所示。

缓存块从建立、加入缓存和从空间中移除，都需要维护并及时更新缓存基本信息。主要是对信息区相关内容进行修改，为缓存替换算法的实现提供决策依据。服务端缓存采用模块化设计，只需要在配置文件中进行简单的配置，便能决定使用缓存与否、缓存大小、缓存生命周期等。具体步骤如下：

步骤1： properties文件中设置缓存大小和生命周期，选择启用缓存；

步骤2：服务器主程序启动时会按要求初始化缓存空间，为用户的数据请求做准备；

步骤3：为用户的IO请求块建立对应的缓存块，包括FLAG、FI和DATA信息，并存入缓存空间；

FLAG信息由IO请求在镜像中的偏移量通过固定规则的转换生成，用于在缓存空间中查找定位该缓存块；FI信息在缓存块建立时候初始化，并在每次访问该块时都会更新当前访问时间、累计访问次数和存活时长等。

步骤4：每次访问缓存前，检查并移除过期的缓存块，保证缓存数据的实时有效。

服务器缓存空间的容量也是有限的，而且缓存也需要进行一定的更新，这时我们就会考虑采用何种策略用新的缓存来代替旧的缓存，这种策略我们统称为缓存替换算法。一个好的替换算法能够决定缓存系统的多个指标，比如缓存的命中率、缓存使用效率（时间和空间上的代价）、数据读取性能提高等。

当前常用的缓存替换算法是以数据的访问频率和数据的访问时间作为设计标准，如果访问频率使用较少或者距上一次的访问时间较长的缓存数据，则被认为将来访问频率更低，使其被新的缓存替代。但是，目前常用的缓存替换算法均是为通用存储系统所设计，并未考虑到具体系统的特点和使用环境，因此往往在具体应用中效率不高。因此根据与其相适应的系统设计缓存替换算法，往往效果较通用算法更好。因此我们在2Q算法的基础上，提出了在透明计算环境下的缓存优化替换算法。下面分别对三个算法进行介绍。

2Q：缓存在减少直接访问的同时，也额外增加一些开销。当缓存空间足够大时，可能会增加空间的维护和数据块的查找成本，因此考虑增加队列的实现。2Q维护两个缓存队列，当数据第一次访问时，2Q算法将数据缓存在FIFO队列里面，当数据第二次被访问时，则将数据从FIFO队列移到LRU队列里面，两个队列各自按照自己的方法淘汰数据。详细实现如图5所示。

步骤1. 根据FLag判断是否为新数据，若是新访问的数据，则将其插入到FIFO队列，并更新FI和DATA的信息；否则执行步骤3.

步骤2. 如果缓存数据在FIFO队列中一直没有被再次访问，则按照FIFO规则淘汰；并且如果该缓存数据超过缓存块的生命周期则直接淘汰。

步骤3. 如果缓存数据块在FIFO队列中被再次访问，则将该缓存数据块移到LRU队列头部；

步骤4. 如果缓存数据块在LRU队列再次被访问，则将该缓存数据块移到LRU队列头部；

步骤5. LRU队列淘汰末尾的缓存数据块。

TCCache：维护两个缓存队列，一个是LFU队列，一个是LRU队列。该算法能很好的平衡缓存空间过大导致查询效率降低的问题，同时防止抖动发生。

步骤1. 新访问的数据块建立缓存块结构，为FI区的信息赋初值，并插入到LFU队列；

步骤2. 如果缓存块在LFU队列中一直没有被再次访问，则最终按照LFU规则淘汰，淘汰的缓存数据块插入到LRU队列；如果该缓存数据块超过缓存块的生命周期则直接淘汰。

步骤3. 如果缓存数据块在LFU队列中被再次访问，则更新缓存块FI区访问次数加1,访问时间为最新访问时间；

步骤4. 如果缓存数据块在LRU队列再次被访问，则将缓存数据块移到LFU队列；

步骤5. LRU队列按规则淘汰最久未访问的缓存数据块（见图6）。

TCCA：鉴于TCCache算法致力于提高查询效率，对命中率没有明显的提升，因此将缓存空间分为两个部分，锁定区和未锁定区，该算法尽量保留高频访问数据块（锁定），使得提高了命中率。

两个缓存队列，一个是主缓存队列，主缓存队列又分为锁定区和未锁定区，一个是LRU队列。

步骤1. 新访问的数据块建立缓存块结构，为FI区的信息赋初值，并插入到主队列的未锁定区；

步骤2. 如果缓存数据块在主队列的未锁定区中一直没有被再次访问，则最终按照LFU规则淘汰，淘汰的缓存数据块插入到LRU队列；

步骤3. 如果缓存数据块在主队列的未锁定区中被再次访问，则更新缓存块FI区访问次数加一、访问时间为最新访问时间；

步骤4.若缓存数据块在固定时间段内被连续访问，则将之移到锁定区，锁定区大小超过缓存空间的一半，则按LRU规则淘汰，插入到LRU队列并更新缓存块FI区信息；如果锁定区缓存块超过其生命周期则直接淘汰。

步骤5. 如果缓存数据块在LRU队列再次被访问，则更新缓存块FI区信息，并将数据移到主队列的未锁定区；

步骤6. LRU队列按规则淘汰最久未访问的缓存数据块（见图7）。

为测试本发明的效果，使用JAVA实现了2Q、TCCache和TCCA三个算法，并对比三个算法的命中率差异。在测试过程中，测试程序分别模拟了5、10、15和20个用户访问随机访问移动透明计算系统，并且缓存大小依次为1M至30M，记录相应的命中率情况。

本次测试的服务器软件资源总大小为120M，图8至图11分别是5至20个用户访问时，三种缓存替换方法的命中率对比图。由这些图可知，使用TCCA方法后，命中率有明显提高。并且当缓存容量越小，其命中率差距越大，TCCA方法将显著好于其他对比方法。

Claims

1.一种移动透明计算系统服务器端多用户访问的镜像缓存方法，其特征在于，包括以下步骤：

1)设计缓存数据块的存储信息，所述存储信息包括标识区FLAG，信息区FI和数据区DATA；所述标识区FLAG用于存放代表缓存数据块的关键字；信息区FI用于存放缓存数据块的基本信息；数据区DATA用于存放所缓存的实际数据，并在客户端发起IO请求时，返回所缓存的实际数据；

2)设计缓存空间存放所有的缓存数据块；

3)在properties文件中设置缓存大小和生命周期；

4)初始化缓存空间；

5)为用户的IO请求块建立对应的缓存数据块，包括FLAG、FI和DATA信息，并存入初始化后的缓存空间；

6)每次访问缓存空间前，检查并移除过期的缓存数据块，保证缓存数据块的实时有效。

2.根据权利要求1所述的移动透明计算系统服务器端多用户访问的镜像缓存方法，其特征在于，所述步骤6）的具体实现过程包括：

1)当客户端向服务端请求访问数据时，首先查询缓存空间，根据FLAG判断数据是否为新数据，若是新访问的数据，则将新访问的数据插入到FIFO队列，并更新FI和DATA的信息；否则执行步骤3）；

2)如果缓存数据块在FIFO队列中一直没有被再次访问，则按照FIFO规则淘汰缓存数据块；或者如果该缓存数据块超过其生命周期，则直接淘汰该缓存数据块；

3)如果缓存数据块在FIFO队列中被再次访问，则将该缓存数据块移到LRU队列头部；或者如果缓存数据块在LRU队列中再次被访问，则将该缓存数据块移到LRU队列头部；

4)LRU队列淘汰末尾的缓存数据块。

3.根据权利要求1所述的移动透明计算系统服务器端多用户访问的镜像缓存方法，其特征在于，所述步骤6）的具体实现过程包括：

1)设计新访问的数据块的缓存信息，为FI区的信息赋初值，并将所述初值插入到LFU队列；

2)如果缓存数据块在LFU队列中一直没有被再次访问，则按照LFU规则淘汰缓存数据块，淘汰的缓存数据块插入到LRU队列；如果该缓存数据块超过其生命周期，则直接淘汰该缓存数据块；

3)如果缓存数据块在LFU队列中被再次访问，则将缓存数据块FI区访问次数加1，访问时间更新为最新访问时间；或者如果缓存数据块在LRU队列再次被访问，则将缓存数据块移到LFU队列；

4)LRU队列按规则淘汰最久未访问的缓存数据块。

4.根据权利要求1所述的移动透明计算系统服务器端多用户访问的镜像缓存方法，其特征在于，所述步骤6）的具体实现过程包括：

1)设计新访问的数据块的缓存信息，为FI区的信息赋初值，并将该初值插入到主队列的未锁定区；

2)如果缓存数据块在主队列的未锁定区中一直没有被再次访问，则按照LFU规则淘汰缓存数据块，然后将淘汰的缓存数据块插入到LRU队列；

3)如果缓存数据块在主队列的未锁定区中被再次访问，则将缓存数据块FI区访问次数加1、访问时间更新为最新访问时间；

4)若缓存数据块在固定时间段内被连续访问，则将缓存数据块移到锁定区，若锁定区大小超过缓存空间的一半，则按LRU规则淘汰锁定区中最久未被访问的缓存数据块，然后将淘汰的缓存数据块插入到LRU队列并更新缓存数据块FI区的信息；如果锁定区缓存数据块超过其生命周期，则直接淘汰该缓存数据块；或者如果缓存数据块在LRU队列再次被访问，则更新缓存数据块的FI区信息，并将数据移到主队列的未锁定区；所述固定时间段小于所述生命周期；

5)LRU队列按规则淘汰最久未访问的缓存数据块。

5.根据权利要求1所述的移动透明计算系统服务器端多用户访问的镜像缓存方法，其特征在于，所述缓存空间采用哈希表结构，通过key关键字映射对应的缓存数据块。