CN103905439A - 一种基于家庭网关的加速网页浏览方法 - Google Patents

Abstract

本发明提供一种基于家庭网关的加速网页浏览方法，家庭网关监听来自用户的HTTP请求，查找缓存中是否存在本请求对应的响应信息，如果查找失败，家庭网关转发HTTP请求给WEB服务器并接收来自WEB服务器响应，拷贝响应副本到家庭网关的缓存中，如果缓存充足，则直接存入缓存，如果缓存空间不够，计算权值，把权值较小的替换出缓存空间，定期对日志通过优化的PPM预测模型进行数据挖掘，得到预测模型树，通过Markov模型在预测模型树的基础上对用户下一个访问页面进行预测，进行预取操作并将预取内容更新到缓存中。本发明基于家庭网关运用缓存和预取技术实现网页浏览加速，成本低廉，加速效果更加明显。

Description

一种基于家庭网关的加速网页浏览方法

技术领域

本发明涉及计算机网络技术，尤其是涉及网页浏览加速技术。

背景技术

Web访问用户在迅速增加，Web访问流量在Internet的访问中已占据越来越重要的位置。WWW(World Wide Web)页面数量以大约每个月15%的速度增长，尽管Internet的主干容量每年增长60%，但是由于有越来越多的信息涌向Web，带宽的增长相对于WWW流量的增长仍然滞后。随着访问用户的激增和对“热点”数据的频繁访问，出现了访问延迟、服务器过载等一系列问题，有效的减少用户访问延时、提高服务质量是一个迫切需要解决的问题。

目前，解决网络延迟、提高服务质量的办法主要有以下两种途径。

(1)网络物理性能上提升，强化Web服务器的处理能力、增加网络带宽、在网络容易发生拥堵的地方设置镜像服务器、采用Web服务器集群技术等。

(2)网络性能上提高，提高现有系统的利用率，使用的技术主要包括：缓存技术、预取技术、CDN技术(Content Delivery Network)等。但目前通过web代理服务器和CDN技术实现的网页加速，都是基于高性能的服务器实现，成本比较高。目前主流服务器的处理器主频大于2GHZ，内存大于2G，硬盘空间大于200G；但是目前的大部分家庭网关的处理器主频小于1GHZ,内存小于128M，价格也比较便宜；家庭网关的成本比服务器小得多，本发明提供一种基于低成本的家庭网关的缓存与预取一体化技术来实现网页浏览加速方法。

发明内容

本发明所要解决的技术问题，针对现有技术中通过web代理服务器和CDN技术实现的网页加速成本比较高的问题，提供一种低成本的网页加速方法；提供一种开销小、效率高的网页加速方法用于低成本低性能的家庭网关。

为解决上述技术问题，本发明提供一种基于家庭网关的缓存与预取一体化技术实现网页浏览加速；包括以下步骤：

步骤101，家庭网关监听由客户端发出的HTTP请求R；

步骤102，请求到达家庭网关时，家庭网关在本地缓存中查找请求R的对象副本,如果缓存中存在对应对象副本,执行步骤103，如果缓存中不存在对象副本或者副本已经过期，则执行步骤104；

步骤103，将请求R需要的对象从缓存中取出对象副本并响应给用户，一次HTTP请求流程结束；

步骤104，家庭网关向远端WEB服务器转发请求并接收返回的新对象；

步骤105，家庭网关接收到新对象副本后,查看缓存空间容量,如果剩余空间能够容纳新的对象副本,将副本存入缓存，并执行步骤103，否则执行步骤106；

步骤105，家庭网关接收到新对象后,查看缓存空间容量,如果剩余空间能够容纳新的对象,保存一份新对象的副本到缓存中，并执行步骤103，如果没有足够的空间容纳新的对象，执行步骤106；

步骤106，计算缓存中所有对象副本的权值，按照权值从小到大的顺序释放副本所占用内存，直到能够存储新对象副本；

步骤107，有了足够的存储空间后，将新的对象副本存入缓存中,将请求R的对象副本响应给用户，一次HTTP请求流程结束；

步骤108，定时对家庭网关日志进行轻量级数据挖掘，根据优化参数对PPM预测模型进行优化，确定访问序列和Markov转移矩阵；

步骤109，根据Markov转移矩阵计算转移概率确定下一个要访问的页面P；

步骤110,对下一个要访问的页面进行预取操作，返回执行步骤104-107。

所述计算权值具体为：可根据公式：

计算权值，其中，t_s为家庭网关到WEB服务器的时延，t_a为接入网时延，f_i为第i个对象副本被请求的频率,l_i为第i个对象副本年龄老化因子。

定时对家庭网关日志进行轻量级数据挖掘，通过定义四个优化参数（网站请求次数阀值TH_COUNT、日志清空时间阀值TH_TIME、会话集时间间隔SESSION_TIME和模型树叶子节点访问次数阀值NODE_COUNT）对部分匹配预测PPM(Prediction by Partial Match）模型进行优化，PPM预测模型确定访问序列和马尔科夫Markov转移矩阵。所述优化参数包括：网站请求次数阀值TH_COUNT、日志清空时间阀值TH_TIME、会话集时间间隔ΔSESSION_TIME和模型树叶子节点访问次数阀值NODE_COUNT。

优化PPM预测模型包括：将家庭网关日志中的请求次数大于TH_COUNT的URL及其相关信息放进集合Count_URL中；在ΔSESSION_TIME时间内，把日志中用户IP的URL视为同一会话，Count_URL被划分为会话集Session_URL；遍历Session_URL中的Web页面序列并将其增加到模型树TREE中，用阀值NODE_COUNT对模型树进行裁剪，如果一条访问路径中有页面访问次数小于NODE_COUNT，则裁剪这条访问序列；根据优化后的模型树TREE，确定访问序列，每隔时间TH_TIME，清空家庭网关日志。

确定访问序列和Markov转移矩阵具体为：根据优化模型树TREE建立Markov模型，Markov模型为一个二元组MK={X,A}，其中，X是一个离散随机变量，值域为{X₁,X₂,…,X_n}，X中每个元素X_i代表一个页面，称为模型的一个状态，转移概率矩阵A中i行、j列的元素为P_ij，P_ij=P{X_t=X_j|X_t-1=X_i}表示在t-1时刻访问页面为X_i的条件下，在下一时刻t访问页面为X_j的概率。

本发明家庭网关监听来自用户的HTTP请求，查找缓存中是否存在本请求对应的响应信息，如果查找失败，家庭网关转发HTTP请求给WEB服务器并接收来自WEB服务器响应，拷贝响应副本到家庭网关的缓存中，如果缓存充足，则直接存入缓存，如果缓存空间不够，计算权值，把权值较小的替换出缓存空间，定期对日志通过优化的PPM预测模型进行数据挖掘，得到预测模型树，通过Markov模型在预测模型树的基础上对用户下一个访问页面进行预测，进行预取操作并将预取内容更新到缓存中。本发明基于家庭网关运用缓存和预取技术实现网页浏览加速，成本低廉，加速效果更加明显。

附图说明

图1本发明基于家庭网关的加速网页浏览方法流程图；

图2(a)用标准PPM预测模型生成的模型树的一个实施例；

图2(b)用基于家庭网关优化的PPM预测模型生成的模型树的一个实施例；

图3Markov模型转移矩阵；

图4本发明应该场景图的一个实施例。

具体实施方式

以下结合附图对本发明实施例进行详细描述。

图1为基于家庭网关的加速网页浏览方法流程图，包括如下步骤：

步骤101，家庭网关监听由客户端发出HTTP请求R；

步骤102，请求到达家庭网关时，家庭网关在本地缓存中查找请求R的对象副本,如果缓存中存在对应副本,则直接进入执行步骤103，如果缓存副本不存在或者已经过期则执行步骤104；

步骤103，家庭网关将请求R需要的对象从缓存中取出对象副本并响应给用户;一次HTTP请求流程结束。

步骤104，家庭网关向远端WEB服务器转发请求并接收返回的新对象；

步骤105，家庭网关接收到新对象后,查看缓存空间容量,如果剩余空间能够容纳新的对象,保存一份新对象的副本到缓存中，并执行步骤103;如果没有足够的空间容纳新的对象，执行步骤106；

步骤106，如果缓存空间剩余容量不能满足新到的数据副本，家庭网关缓存中计算存储的所有副本的权值，然后按照副本权值从小到大的顺序释放副本所占的存储器内存，释放内存的数量直到能够存储新到的数据副本。家庭网关处于网络拓扑结构中的接入网中，即处在“最后一公里”，根据描述家庭接入网性能的指标“接入网时延”，可采用公式：

计算副本权值。其中，t_s:家庭网关到网站服务器的时延；t_a:接入网时延，评价家庭接入网性能的指标；f_i:第i个对象副本被请求的频率；l_i:第i个对象副本年龄老化因子。

步骤107，有了足够的存储空间后，将新的对象副本存入缓存中,将请求R的对象副本响应给用户；一次HTTP请求流程结束。

步骤108，定时对家庭网关日志进行轻量级数据挖掘，通过定义优化参数（具体可为如下四个：网站请求次数阀值TH_COUNT、日志清空时间阀值TH_TIME、会话集时间间隔SESSION_TIME和模型树叶子节点访问次数阀值NODE_COUNT）对部分匹配预测PPM模型进行优化，由PPM预测模型确定访问序列和马尔科夫Markov转移矩阵。

目前Web预取中比较典型的预测模型是标准的PPM模型，PPM模型效率高但是空间复杂度高。这种模型的缺点非常明显，由于保存了每一个被访问的URL，所以占用较大的存储空间。为了符合家庭网关实际的性能状况，本发明提取URL中四个优化参数（网站请求次数阀值TH_COUNT、日志清空时间阀值TH_TIME、会话集时间间隔SESSION_TIME和模型树叶子节点访问次数阀值NODE_COUNT）对PPM预测模型进行了优化，优化后的PPM模型预测到的访问记录变少，内存消耗和计算复杂度都相对于标准PPM预测模型要小。

优化PPM预测模型的具体方法为：

①将家庭网关日志中的请求次数大于网站请求次数阀值TH_COUNT的互联网上标准资源的地址URL（统一资源定位符）及其相关信息放进自定义存放URL访问次数的集合Count_URL中；

②在SESSION_TIME时间内，把日志中用户IP的URL视为同一会话，根据会话划分原则，Count_URL被划分为会话集Session_URL；

③遍历Session_URL中的Web页面序列并将其增加到模型树TREE中；假定一个会话集Session_URL实施例为{CDABA}、{ABA}、{ACD}，图2(a)为一个实施例用标准PPM预测模型生成的模型树；从根节点到每个叶子节点的路径为一条完整的访问记录。

如图2(a)所示为用标准PPM预测模型生成的模型树。图2(a)中的模型树TREE有5条完整的访问记录:C/2-D/2-A/1-B/1-A/1,D/2-A/1-B/1-A/1，A/5-B/2-A/2，A/5-C/1-D/1，B/2-A/2(其中A/2表示页面A被访问2次)。本发明根据阀值NODE_COUNT对模型树进行裁剪，如果一条访问路径中有页面访问次数小于NODE_COUNT，则裁剪这条访问序列，假设NODE_COUNT=2，则图2(b)为这一个实施例用优化的PPM预测模型生成的模型树；优化后的模型树只有2条完整的访问记录:A/5-B/2-A/2，B/2-A/2。

④根据优化后的模型树TREE，确定访问序列。

⑤每隔日志清空时间阀值TH_TIME，清空家庭网关日志。

步骤109，在得到的模型树TREE基础上，用Markov模型对用户下一个访问页面进行预测。Markov模型可以表示为一个二元组MK={X,A}。如图3所示为Markov模型转移矩阵，其中，X是一个离散随机变量，值域为{X₁,X₂,…,X_n}，其中每个元素X_i代表一个页面，称为模型的一个状态，A为转移概率矩阵。A中i行、j列的元素为P_ij，P_ij=P{X_t=X_j|X_t-1=X_i}表示在t-1次访问页面为X_i的条件下，在t次访问页面为X_j的概率。

根据模型树TREE确定转移矩阵A。根据公式：

计算转移矩阵A中的元素P_ij，其中，S_ij表示在用户中从访问页面X_i转移到访问页面X_j的次数，P_ij表示从访问页面X_i转移到访问页面X_j的概率。根据用户当前的访问页面及Markov模型中的转移矩阵就可以预测用户下一个可能访问的页面。

步骤110，根据Markov转移矩阵预测用户下一步可能访问的页面后，将这些预测页面进行预取操作。返回执行步骤104-步骤107执行下一次访问。

图4为本发明一个实施例的应用场景图。在图4中，家庭网关（家庭路由器）42充当WEB代理服务器，并执行WEB服务器的基本职能。家庭网关42监听用户41的HTTP请求并转发给WEB服务器45，接受HTTP响应返回给用户并更新副本到家庭网关的缓存中；当缓存空间不足时，缓存模块44通过计算权值更新缓存。为了提高缓存命中率，预取模块43还能根据访问日志进行轻量级数据挖掘，预测用户接下来的最有可能访问的页面进行预取操作并存入到缓存中。相对于WEB服务器和其他WEB代理服务器，用户离家庭网关距离在短短数米之间，在家庭网关上提供缓存服务，使网页浏览速度更加快速。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于家庭网关的加速网页浏览方法，其特征在于：所述方法包括:

步骤101家庭网关监听由客户端发出的HTTP请求R；

步骤102请求到达家庭网关时，家庭网关在本地缓存中查找请求R的对象副本,如果缓存中存在对应对象副本,执行步骤103，如果缓存中不存在对象副本或者副本已经过期，则执行步骤104；

步骤103将请求R需要的对象从缓存中取出对象副本并响应给用户,一次HTTP请求流程结束；

步骤104家庭网关向远端WEB服务器转发请求并接收返回的新对象；

步骤105家庭网关接收到新对象后,查看缓存空间容量,如果剩余空间能够容纳新的对象,保存一份新对象的副本到缓存中，并返回步骤103；如果没有足够的空间容纳新的对象，执行步骤106；

步骤106计算缓存中对象副本的权值，按照权值从小到大的顺序释放副本所占用内存，直到能够存储新对象副本；

步骤107将新的对象副本存入缓存中,将请求R的对象副本响应给用户；

步骤108定时对家庭网关日志进行轻量级数据挖掘，优化URL参数，根据URL优化参数对PPM预测模型进行优化，确定访问序列和Markov转移矩阵；

步骤109根据Markov转移矩阵计算转移概率确定下一个要访问的页面P。

2.根据权利要求1所述的方法，其特征在于，根据公式：

计算对象副本的权值，其中，t_s为家庭网关到WEB服务器的时延，t_a为接入网时延，f_i为第i个对象副本被请求的频率,l_i为第i个对象副本年龄老化因子。

3.根据权利要求1所述的方法，其特征在于，所述优化参数包括：网站请求次数阀值TH_COUNT、日志清空时间阀值TH_TIME、会话集时间间隔ΔSESSION_TIME和模型树叶子节点访问次数阀值NODE_COUNT。

4.根据权利要求1所述的方法，其特征在于，优化PPM预测模型包括：将家庭网关日志中的请求次数大于TH_COUNT的URL及其相关信息放进集合Count_URL中；在ΔSESSION_TIME时间内，把日志中用户IP的URL视为同一会话，Count_URL被划分为会话集Session_URL；遍历Session_URL中的Web页面序列并将其增加到模型树TREE中，根据阀值NODE_COUNT对模型树进行裁剪，如果一条访问路径中有页面访问次数小于NODE_COUNT，则裁剪这条访问序列；获取优化模型树TREE，确定访问序列并建立Markov转移矩阵，每隔时间TH_TIME，清空家庭网关日志。

5.根据权利要求4所述的方法，其特征在于，确定访问序列并建立Markov转移矩阵具体为：根据优化模型树TREE建立Markov模型，Markov模型为一个二元组MK={X,A}，其中，X是一个离散随机变量，值域为{X₁,X₂,…,X_n}，X中每个元素X_i代表一个页面，称为模型的一个状态，转移概率矩阵A中i行、j列的元素为P_ij，P_ij表示在t-1时刻访问页面为X_i的条件下，在下一时刻t访问页面为X_j的概率。

6.根据权利要求5所述的方法，其特征在于，根据模型树TREE确定转移矩阵A具体包括：根据公式：

计算转移矩阵A中的元素P_ij，其中，S_ij表示在用户中从访问页面X_i转移到访问页面X_j的次数，P_ij表示从访问页面X_i转移到访问页面X_j的概率。

Images