CN102438045B - Web页面的预取方法、系统以及访问web页面的方法 - Google Patents

Abstract

本发明公开了一种WEB页面的预取方法、系统以及访问WEB页面的方法，其中WEB页面的预取方法包括步骤：WEB浏览器在空闲时，向WEB服务端发送HTTP预取请求；WEB服务端接收HTTP预取请求，并根据该HTTP预取请求和用户当前访问页面进行分析，获取预取目标页面的资源链接，并发送给WEB浏览器；WEB浏览器接收资源链接，并在空闲时根据该资源链接下载预取目标页面中的静态数据并缓存。当用户请求浏览相关的WEB页面时，可以直接从客户端的缓存中访问预先下载好的CSS、JS和图片等文件，避免了重新下载，从而大大减少了用户的等待时间，提升了用户体验。

Description

WEB页面的预取方法、系统以及访问WEB页面的方法

技术领域

本发明涉及网络技术，尤其涉及一种WEB页面的预取方法、系统以及访问WEB页面的方法。

背景技术

随着互联网的迅速普及和网民数量的不断飙升，基于Internet的各种WEB应用渗透到人们生活的各个角落。近些年各ISP(Internet Service Provider)基础通信技术的不断发展，使得网络连接从拔号上网时代进步到ADSL时代，用户的连接带宽大大增宽。但同时用户的网络需要也从传统的低流量的文字浏览转向当前的基于声音、视频、图像的等大容量内容的浏览；同时WEB风潮引领PC软件逐渐向B/S(Browser/Server)类型的Web应用迁移，依赖大量Javascript的富客户端应用逐渐成为流行趋势，这些都要求客户在进行WEB浏览之前有大量的宽带支持。除了耗巨资去购买更大的带宽，使用缓存、预选、压缩等加速技术因其低成本而受到青睐。

现有的预取技术主要有WebPush和Google的Webaccelerator，但是其对客户端有要求，需要额外的插件，这导致需要针对各平台开发插件，部署较麻烦，对于手机等API开放有限的平台更是无用武之地。同时WebPush类技术属被动型预取技术，只有用户发出请求后才会进行预取，当前页面请求完毕预取即停止，实际效果有限。

发明内容

本发明要解决的技术问题在于针对现有预取技术中需要针对各平台开发额外插件的缺陷，提供一种无需额外插件即可对页面内容进行预取的WEB页面的预取方法、系统以及访问WEB页面的方法。

本发明解决其技术问题所采用的技术方案是：

提供一种WEB页面的预取方法，包括以下步骤：

WEB浏览器在空闲时，向WEB服务端发送HTTP预取请求；

所述WEB服务端接收所述HTTP预取请求，并根据该HTTP预取请求和用户当前访问页面进行分析，获取预取目标页面的资源链接，并发送给所述WEB浏览器；

所述WEB浏览器接收所述资源链接，并在空闲时根据该资源链接下载预取目标页面中的静态数据并缓存。

本发明所述的WEB页面的预取方法中，所述WEB服务端根据该HTTP预取请求和用户当前访问页面获取预取目标页面的资源链接，具体为：

所述WEB服务端根据所述HTTP预取请求将用户访问的当前页面中的href链接作为预取目标页面；

所述WEB服务端向各预取目标页面的服务器发送请求，以获取预取目标页面中静态数据的预取资源链接。

本发明所述的WEB页面的预取方法中，所述静态数据包括CSS、脚本和图片。

本发明所述的WEB页面的预取方法中，所述WEB服务端对用户的访问行为进行分析，采用统计算法预测用户访问的深度，并根据预测的深度进一步获取预取资源链接。

本发明解决其技术问题所采用的另一技术方案是：

本发明还提供了一种WEB页面的预取系统，包括客户端和WEB服务端，所述客户端安装有WEB浏览器，

所述WEB浏览器包括预取请求发送单元，用于在所述WEB浏览器空闲时，向所述WEB服务端发送HTTP预取请求；

所述WEB服务端包括预取请求接收单元、资源链接分析获取单元和资源链接发送单元：

所述预取请求接收单元，用于接收所述HTTP预取请求；

所述资源链接分析获取单元，用于根据所述预取请求接收单元接收的所述HTTP预取请求和用户当前访问页面进行分析，获取用户将要访问的目标页面的资源链接；

所述资源链接发送单元，用于将所述资源链接分析获取单元获取的资源链接发送给所述WEB浏览器；

所述WEB浏览器还包括下载单元：

所述下载单元用于接收所述资源链接，并在空闲时根据该资源链接下载预取目标页面中的静态数据到所述客户端。

本发明所述的WEB页面的预取系统中，所述资源链接分析获取单元具体用于根据所述HTTP预取请求将用户访问的当前页面中的href链接作为预取目标页面，并向各预取目标页面的服务器发送请求，以获取预取目标页面中静态数据的预取资源链接，并发送给所述WEB浏览器。

本发明所述的WEB页面的预取系统中，所述静态数据包括CSS、脚本和图片。

本发明所述的WEB页面的预取系统中，所述资源链接分析获取单元还用于对用户的访问行为进行分析，采用统计算法预测用户访问的深度，并根据预测的深度进一步获取预取资源链接。

本发明解决其技术问题所采用的第三技术方案是：

本发明还提供了一种访问WEB页面的方法，包括以下步骤：

WEB浏览器发出HTTP请求；

若该HTTP请求所请求的资源已经被所述WEB浏览器缓存，则直接从缓存中获取所请求的资源；若该HTTP请求所请求的资源未被所述WEB浏览器缓存，则将该HTTP请求发送给所述WEB服务端，以请求所述WEB服务端返回所请求的资源；

其中，所述WEB浏览器中缓存的内容包括在所述WEB浏览器空闲时，所述WEB浏览器依据所述WEB服务端所返回的预取资源链接所下载的预取目标页面中的静态数据；

所述预取资源链接为在所述WEB浏览器发出的所述HTTP请求为预取请求时，所述WEB服务端根据该预取请求和用户当前访问页面进行分析后获取的预取目标页面的资源链接。

本发明所述的访问WEB页面的方法中，在所述WEB服务端接收的HTTP请求为HTML请求时，将预取的当前页面中的JS插入HTML代码，并将新的HTML代码返回给所述WEB浏览器。

本发明产生的有益效果是：WEB浏览器在空闲时向WEB服务端发送预取请求，WEB服务端根据该预取请求和用户当前访问页面进行分析，获取预取目标页面的资源链接，并发送给WEB浏览器；WEB浏览器接收资源链接，并在空闲时根据该资源链接下载预取目标页面中的静态数据并缓存。当用户请求浏览相关的网页时，可以直接从缓存中访问预先下载好的CSS、JS和图片等文件，避免了重新下载，从而大大减少了用户的等待时间，提升了用户体验。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例WEB页面的预取方法的示流程图；

图2是本发明实施例WEB页面的预取系统的结构示意图；

图3是本发明实施例访问WEB页面的方法流程图；

图4是本发明实施例WEB服务端处理客户端HTTP请求的流程图；

图5是本发明实施例WEB服务端分析获取预取资源链接的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例WEB页面的预取方法，包括以下步骤：

S1、WEB浏览器在空闲时，向WEB服务端发送HTTP预取请求；用户浏览网页时，找到目的资源时候将会停下来进行阅读，实际网页浏览的HTTP请求有间歇性的特征，一般表现是一个HTML页面请求伴随大量CSS(CascadingStyle Sheet级联样式表)、JS(Java Scrip脚本)和图片等子请求，因此HTTP请求被响应后，用户进入浏览操作，网络即处于空闲状态。用户在停留阅读的网络空闲时间里，WEB浏览器可向WEB服务端发送HTTP预取请求，以请求WEB服务端提前分析并获取相关的资源链接。

S2、WEB服务端接收HTTP预取请求，并根据该HTTP预取请求和用户当前访问页面进行分析，获取预取目标页面的资源链接，并发送给WEB浏览器；在本发明的一个实施例中，WEB服务端也可在接收到用户正常浏览的HTTP请求后即开始分析工作，WEB服务端异步分析好结果保存起来。待客户端闲暇时，WEB浏览器向WEB服务端请求是否有可以预取的资源链接，如果有则返回这些预取资源的URL(网页地址)信息，客户端再逐一下载这些URL对应的资源缓存起来。

S3、WEB浏览器接收资源链接，并在空闲时根据该资源链接下载预取目标页面中的静态数据并缓存。在本发明的一个实施例中，静态数据包括CSS、脚本(JS)和图片。当用户请求浏览相关的网页时，可以直接从缓存中访问预先下载好的CSS、JS和图片等文件，避免重新下载，从而大大减少了用户的等待时间，提升了用户体验。

在本发明的一个实施例中，步骤S2中WEB服务端根据该HTTP预取请求和用户当前访问页面获取预取目标页面的资源链接，具体为：

WEB服务端根据HTTP预取请求将用户访问的当前页面中的href(Hypertext Reference超文本引用)链接作为预取目标页面；假设当前页面为P1，则将用户可能访问的href链接{P2，P3，P4，..}作为预取目标页面。

WEB服务端向各预取目标页面的服务器发送请求，以获取预取目标页面中的预取资源链接，根据获取的预取资源链接分析目标页面中的CSS、JS和图片等，将可缓存的静态数据的链接作为预取资源链接转发给WEB浏览器。

上述预取分析部分均在WEB服务端进行，由于较为耗时，可以使用独立线程或者进程进行。

在本发明的一个实施例中，WEB服务端可以预先设置预取分析深度，根据该设置，可以把当前预取目标页面作进一步预取分析，以获取更多的预取资源链接。在预取尝试超过设置时，则不再进行预取操作；若没有超过设置，则将此时的目标页面设置为预取分析页面，以从该页面中获取预取资源链接。

在本发明的另一实施例中，在WEB服务端可对用户的访问行为进行分析，采用统计算法预测用户访问的深度，并根据预测的深度进一步获取预取资源链接。将统计算法加入预测分析，可避免将子页面全部进行分析。计算P(N)页面到{P(N+1)，P(N+2)，P(N+3)，...}的概率大小，预测用户最有可能访问的页面，计算可能访问各个页面的概率。或者利用前面的已经访问过的P(N-2)和P(N-1)构造P(N-2)-＞P(N-1)-＞PN-＞？的访问序列，按照“一个页面的序列通常是一个用户解决问题的路径的”的思路，可以更精准预测接下来要访问的页面。使用统计算法预测用户访问的深度，更贴近实际缓存用户需要的数据。

如图2所示，本发明实施例的WEB页面的预取系统，包括客户端和WEB服务端20，其中客户端安装有WEB浏览器10，WEB浏览器10包括预取请求发送单元11、下载单元12，WEB服务端20包括预取请求接收单元21、资源链接分析获取单元22和资源链接发送单元23。

预取请求发送单元11，用于在其空闲时，向WEB服务端发送HTTP预取请求；

预取请求接收单元21，用于接收预取请求发送单元11发送的HTTP预取请求；

资源链接分析获取单元22，用于根据预取请求接收单元21接收的HTTP预取请求和用户当前访问页面，获取用户将要访问的目标页面的资源链接；

资源链接发送单元23，用于将资源链接分析获取单元22获取的资源链接发送给WEB浏览器10；

下载单元12用于接收资源链接发送单元23发送的资源链接，并在空闲时根据该资源链接下载预取目标页面中的静态数据到客户端；在本发明的一个实施例中，静态数据包括CSS、脚本和图片，当用户访问资源链接时，则可以直接从本地客户端的缓存中读取，减少了用户等待的时间，提高了用户体验。

进一步地，资源链接分析获取单元22具体用于根据HTTP预取请求将用户访问的当前页面中的href链接作为预取目标页面，假设当前页面为P1，则将用户可能访问的href链接{P2，P3，P4，..}作为预取目标页面。

资源链接分析获取单元22向各预取目标页面的服务器发送请求，以获取预取目标页面中的资源链接，根据获取的资源链接分析目标页面中的CSS、JS和图片等，将可缓存的静态数据的链接作为预取资源链接转发给WEB浏览器10。上述预取分析部分均在WEB服务端20的资源链接分析获取单元22进行，由于较为耗时，可以使用独立线程或者进程进行。

在本发明的一个实施例中，可以预先在资源链接分析获取单元22中预先进行预取分析深度的设置，根据设置可以把当前预取目标页面作进一步预取分析，以获取更多的预取资源链接。资源链接分析获取单元22在预取尝试超过预先设置时，则不再进行预取操作；若没有超过设置，则将此时的目标页面设置为预取分析页面，以从该页面中获取预取资源链接。

在本发明的另一实施例中，在资源链接分析获取单元22可根据用户的访问行为采用统计算法预测用户访问的深度，并根据预测的深度进一步获取预取资源链接。将统计算法加入预测分析，可避免将子页面全部进行分析。具体计算过程在上文已有详细描述，在此不再赘述。

如图3所示，本发明访问WEB页面的方法，其特征在于，包括以下步骤：

S301、WEB浏览器发出HTTP请求；

S302、判断该HTTP请求所请求的资源是否已经被WEB浏览器缓存；

S303、若该HTTP请求所请求的资源已经被WEB浏览器缓存，则直接从缓存中获取所请求的资源；

S304、若该HTTP请求所请求的资源未被WEB浏览器缓存，则将该HTTP请求发送给WEB服务端，以请求WEB服务端返回所请求的资源；

其中，WEB浏览器中缓存的内容包括在WEB浏览器空闲时，WEB浏览器依据WEB服务端所返回的预取资源链接所下载的预取目标页面中的静态数据；

预取资源链接为在WEB浏览器发出的HTTP请求为预取请求时，WEB服务端根据该预取请求和用户当前访问页面进行分析后获取的预取目标页面的资源链接。

如图4所示，WEB服务端在接收到用户端通过浏览器发送的HTTP请求后的处理主要包括步骤：

S401接收到客户端的HTTP请求；S402判断所接收的HTTP请求是否是预取请求；S403若HTTP请求是预取请求，则向客户端的WEB浏览器返回需要预取的资源链接(WEB服务端如何根据预取请求分析获取资源链接将在下文详细描述)；S404若HTTP请求不是预取请求，则判断是否是HTLM请求；S405在HTTP请求为非HTLM请求时，则本次请求处理结束；在HTTP请求为HTLM请求时，根据HTLM文本发送预取资源分析请求到分析线程(分析线程的具体分析过程将在下文详细描述)；S406将当前页面中的JS预取代码插入HTLM代码，JS预取代码为WEB服务端从当前页面服务器获取的JS代码；S407将修改后新的HTLM代码返回给客户端的WEB浏览器，本次请求处理结束。

如图5所示，WEB服务端根据预取资源分析请求进行预取分析获取预取资源链接的过程主要包括步骤：

S501在WEB服务端接收客户端发送的HTLM请求时，会根据HTLM文本发送预取资源分析请求给WEB服务端的相应处理模块，另外在客户端的WEB浏览器空闲时，WEB浏览器会直接向WEB服务端发送预取请求，即上文步骤S403所判断出来的预取请求，处理模块接收这些请求；S502根据接收的请求对WEB浏览器的当前页面进行分析，将当前页面的href链接作为预取目标页面；S503WEB服务端发送请求给各预取目标页面的服务器，以请求该页面中的资源链接；S504获取各个预取目标页面服务器发送的资源链接并进行分析，将目标页面中的CSS、JS和图片等可缓存资源链接作为预取资源链接并发送给客户端；S505若WEB服务端可以预先设置了预取分析深度，则根据预先设置，可以把当前预取目标页面作进一步预取分析，以获取更多的预取资源链接，可先判断预取尝试是否超过预先设置；S506若预取尝试超过预先设置，则不再进行预取操作；若没有超过设置，则将此时的目标页面作为预取分析页面，转入执行步骤S502。

由于WEB服务端进行预取分析并获取预取资源链接的过程较为耗时，故可以使用独立线程或者进程进行。

在本发明的另一实施例中，WEB服务端还可以根据用户的访问行为采用统计算法预测用户访问的深度，并根据预测的深度进一步获取预取资源链接。将统计算法加入预测分析，可避免将子页面全部进行分析。具体计算过程在上文已有详细描述，在此不再赘述。

WEB服务端根据上述步骤获取预取资源链接并发送给客户端的WEB浏览器，WEB浏览器根据这些预取资源链接将网页上的CSS、JS和图片等静态数据下载并缓存到客户端，尤其是利用WEB浏览器的空闲时间，当用户需要访问相应WEB页面时，则可以直接从客户端的缓存中读取所需的静态文件，大大减少了用户的等待时间，提升了用户体验。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种WEB页面的预取方法，其特征在于，包括以下步骤：

WEB浏览器在空闲时，向WEB服务端发送HTTP预取请求，以请求WEB服务端提前分析并获取相关的资源链接；

所述WEB服务端接收所述HTTP预取请求，并根据该HTTP预取请求和用户当前访问页面使用独立线程或进程进行分析，采用统计算法预测用户访问的深度，并根据预测的深度进一步获取预取目标页面的资源链接，而且，根据预先设置的预取分析深度判断是否进行预取操作，并当预取尝试没有超过设置时，将所获取的预取目标页面设置为预取分析页面，从该页面中获取预取资源链接，并发送给所述WEB浏览器；

所述WEB浏览器接收所述资源链接，并在空闲时根据该资源链接下载预取目标页面中的静态数据并缓存。

2.根据权利要求1所述的WEB页面的预取方法，其特征在于，所述WEB服务端根据该HTTP预取请求和用户当前访问页面获取预取目标页面的资源链接，具体为：

所述WEB服务端根据所述HTTP预取请求将用户访问的当前页面中的href链接作为预取目标页面；

所述WEB服务端向各预取目标页面的服务器发送请求，以获取预取目标页面中静态数据的预取资源链接。

3.根据权利要求2所述的WEB页面的预取方法，其特征在于，所述静态数据包括CSS、脚本和图片。

4.一种WEB页面的预取系统，包括客户端和WEB服务端，所述客户端安装有WEB浏览器，其特征在于，

所述WEB浏览器包括预取请求发送单元，用于在所述WEB浏览器空闲时，向所述WEB服务端发送HTTP预取请求，以请求WEB服务端提前分析并获取相关的资源链接；

所述WEB服务端包括预取请求接收单元、资源链接分析获取单元和资源链接发送单元：

所述预取请求接收单元，用于接收所述HTTP预取请求；

所述资源链接分析获取单元，用于根据所述预取请求接收单元接收的所述HTTP预取请求和用户当前访问页面使用独立线程或进程进行分析，采用统计算法预测用户访问的深度，并根据预测的深度进一步获取用户将要访问的目标页面的资源链接，而且，根据预先设置的预取分析深度判断是否进行预取操作，当预取尝试没有超过设置时，将所获取的预取目标页面设置为预取分析页面，从该页面中获取预取资源链接；

所述资源链接发送单元，用于将所述资源链接分析获取单元获取的资源链接发送给所述WEB浏览器；

所述WEB浏览器还包括下载单元：

所述下载单元用于接收所述资源链接，并在空闲时根据该资源链接下载预取目标页面中的静态数据到所述客户端。

5.根据权利要求4所述的WEB页面的预取系统，其特征在于，所述资源链接分析获取单元具体用于根据所述HTTP预取请求将用户访问的当前页面中的href链接作为预取目标页面，并向各预取目标页面的服务器发送请求，以获取预取目标页面中静态数据的预取资源链接，并发送给所述WEB浏览器。

6.根据权利要求4所述的WEB页面的预取系统，其特征在于，所述静态数据包括CSS、脚本和图片。

7.一种访问WEB页面的方法，其特征在于，包括以下步骤：

WEB浏览器发出HTTP请求；

若该HTTP请求所请求的资源已经被所述WEB浏览器缓存，则直接从缓存中获取所请求的资源；若该HTTP请求所请求的资源未被所述WEB浏览器缓存，则将该HTTP请求发送给所述WEB服务端，以请求所述WEB服务端提前分析并获取相关的资源链接且返回所请求的资源；

其中，所述WEB浏览器中缓存的内容包括在所述WEB浏览器空闲时，所述WEB浏览器依据所述WEB服务端所返回的预取资源链接所下载的预取目标页面中的静态数据；

所述预取资源链接为在所述WEB浏览器发出的所述HTTP请求为预取请求时，所述WEB服务端根据该预取请求和用户当前访问页面使用独立线程或进程进行分析后采用统计算法预测用户访问的深度，并根据预测的深度进一步获取的预取目标页面的资源链接，而且，根据预先设置的预取分析深度判断是否进行预取操作。

8.根据权利要求7所述的访问WEB页面的方法，其特征在于，在所述WEB服务端接收的HTTP请求为HTML请求时，将预取的当前页面中的JS插入HTML代码，并将新的HTML代码返回给所述WEB浏览器。