CN105610909A - 一种基于云-端协同的移动浏览器资源加载优化方法 - Google Patents

Abstract

本发明公开了一种基于云-端协同的移动浏览器资源加载优化方法。本方法为：1)在用户的手机端建立一代理服务器，在该用户的个人云上搭建一云服务器；2)手机端代理服务器将接收并解析浏览器的URL请求，如果手机端代理服务器已缓存该URL请求对应的资源，或者通过URL匹配算法计算出存在对应的资源，则直接将该资源返回给浏览器；否则将其发送给云服务器；3)云服务器检查是否已缓存该URL请求对应的资源，如果已缓存则将该资源返回给代理服务器；否则向该URL请求对应的目标网站进行资源请求并将结果返回给手机端代理服务器；4)该手机端代理服务器将收到的返回结果依照HTTP响应的结构发回浏览器。本发明大大提高了加载速度。

Description

一种基于云-端协同的移动浏览器资源加载优化方法

技术领域

本发明是一种基于云-端协同的移动浏览器资源加载优化方法，属于软件技术领域。

背景技术

根据中国互联网络信息中心于2015年1月发布的《第35次中国互联网络发展状况统计报告》，截至2014年12月，我国手机网民规模达5.57亿，网民中使用手机上网的人群占比已达到85.8％。连续几年来，手机网民规模保持稳定增长，手机也早已成为第一大上网终端。

越来越多的人们正在利用手机或者平板电脑来通过Wi-Fi或3G网络上网，随之而来的，Web浏览器成为了移动设备上最常用的应用之一。据研究表明，浏览器占据了移动设备63％的显示时间。但是，现有移动浏览器的用户体验却远不尽如人意。资源加载是影响浏览器性能重要因素之一，有实验表明，网页加载65％的时间都消耗在资源加载上。由于移动设备的网络状况通常并不理想，尤其是可能出现网络拥挤或是用户正在移动的状况，这个问题就变得更为严重了。此外，下载资源的过程本身会消耗许多电量，而电量恰恰是移动设备上最为稀缺的资源。

为了加速Web资源加载，缓存机制被广泛运用。通过缓存的方法，可以为用户减少资源下载量，从而提高Web浏览性能。这种缓存机制给移动设备带来的好处更大，因为在移动设备上，该机制不仅可以减少网页加载时间，还可以减少网络流量和电量消耗。然而在实际运用中，缓存却常常并未被很好地配置与实现。有研究表明，缓存机制的理论性能与实际性能之间有很大差距因此当前有这样一个需求，在不改变现有浏览器与服务器实现的前提下，对现有的缓存机制进行优化，提高缓存的利用效果。希望可以以此进一步提高移动设备用户在浏览网页时的体验，减少用户的流量与电量消耗。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种基于云-端协同的移动浏览器资源加载优化方法。本发明是在不改变现有用户浏览习惯与Web应用缓存原有配置的前提下，最大程度减少Web资源的传输流量并提高加载速度。其核心思想是：在原有的Web应用架构的基础上，在手机端搭建代理服务器，并借助云服务器预取Web资源，即将原有的从浏览器到服务器的两层架构改变为四层架构。

该系统在手机端搭建HTTP代理服务器，并将手机端浏览器的HTTP代理配置为该手机端代理服务器；在个人云上为每个手机用户搭建云服务器。手机端代理服务器接收手机端浏览器的请求，并向手机端浏览器返回资源响应。手机端代理服务器并不直接向互联网请求资源，而向在个人云上搭建的云服务器请求资源，由云服务器从互联网上下载资源，并有选择地向手机端进行推送。在此过程中，通过URL匹配算法、资源校验码比对、数据压缩与网站预取等手段达到最大程度减少传输流量并提高加载速度的目的。

本发明的技术方案为：

一种云-端协同的移动浏览器缓存优化方法，具体步骤为：

1)在手机端建立代理服务器，该代理服务器可以接收浏览器的请求，并解析请求，对于代理服务器已缓存的资源，或者通过URL匹配算法计算出存在对应的资源，可以直接将资源返回给浏览器；对于本地未存储的资源，向云端服务器进行资源的查询。

2)在云端为每个手机用户建立一个云服务器，该云服务器可以进行Internet连接。云服务器可以预取网站的资源，并接收手机端代理服务器的资源请求。如果资源已经被缓存在云服务器上，则云服务器直接向手机端代理服务器返回该资源，如果没有，则向目标网站进行请求并将结果返回。

3)用户在手机端将浏览器的代理配置为手机端的代理服务器。

进一步的，每一个资源都会在云服务器端计算出该文件的校验值，作为标识资源内容的唯一依据，可以依据该值对缓存资源进行检索。在服务器端将资源传回手机端时，会先检索该校验值的文件是否已存在于手机端的缓存中，如果已存在，则仅返回该资源的校验值，手机端代理服务器会根据该校验值提取资源。

进一步的，云端服务器会定时预取用户可能访问的网站，提前建立网站的缓存以供用户访问。

进一步的，所有服务器到手机端的传输均经过压缩，以节省未经压缩资源的传输流量。

使用本发明的框架，资源访问主要包含三个步骤：

1.预取目标资源：云服务器端会定期对用户可能访问的资源进行预取。

2.接收浏览器请求并检查手机端缓存：手机端代理服务器接收浏览器请求，如果手机端没有缓存资源，则向云端服务器请求资源；如果该缓存存在或可以根据URL匹配算法找到相应资源，则直接向浏览器返回资源。

3.检查云服务器端缓存：如果云服务器端没有缓存资源，则向原网站请求，然后将资源传回手机端代理服务器。手机端代理服务器再将结果依照HTTP响应的结构发回浏览器。

上述步骤的具体技术方案如下：

1.预取目标资源：服务器端会对用户可能访问的资源进行提前预取，具体的资源列表会根据用户的访问习惯产生。服务器会将预取好的资源存储，同时计算好校验值，并将条目整理到数据库中。

2.代理服务器接收浏览器请求并检查手机端缓存：本发明可以与浏览器的原有缓存同时使用，浏览器会将原本需要向远程服务器请求的资源发到手机端代理服务器上。手机端的代理服务器会接收请求并根据HTTP协议对请求进行解析。之后在本地检测资源是否已被手机端代理服务器缓存。如果缓存不存在，手机会将解析到的资源URL通过URL匹配算法在缓存列表中进行查询，如果查询到相关资源，则返回资源，否则将资源请求通过HTTP2或SPDY协议发送给服务器。

URL匹配算法包含两部分，URL模式识别与URL匹配查询，其中模式识别在云服务器端进行，匹配查询在手机端进行。

云服务器会对同一网站定时进行的抓取与解析，由此可以得到URL和资源的对应列表。同一资源对应的URL可能会有多个。本算法的目的在于根据URL检索到潜在对应的资源，因此需要建立每个资源对应的URL模式。算法首先对URL根据常见URL分隔符进行切分，对于同一资源，计算得出URL每一部分发生变化时，该资源保持不变的可能性，这个值我们称为段落关键系数，计算方法为：

对于所有资源，该值永远介于0至1之间。

当服务器将资源与其URL发回手机端时，该URL中所有段落的关键系数都将被传回。

当手机端代理服务接收到一个URL的请求时，会首先进行匹配查询，将该URL与相应网站的所有URL记录进行相似度的对比(先根据该URL找到相应网站，然后将该网站的所有URL记录进行对比)，相似度的计算方法如下：

其中α_i表示检索中的待请求URL的段落是否与目标URL的段落匹配，如果不匹配则为1，匹配则为0。特别地，当待请求URL与目标URL完全相同时，该相似度结果为1。当相似度结果大于0.5时，我们认为目标URL的资源就是待请求URL的资源,并取最大相似度的结果作为待请求URL的资源，如果所有资源的相似度均不足0.5，则认为匹配失败。缓存中不存在该资源，需要发往服务器进一步确认。

3.检查服务器端缓存：服务器端接收到手机端的资源请求后，会根据相关算法计算出该URL对应的数据库条目，或者URL并不在数据库中，即资源并未缓存。如果资源没有被缓存，服务器会向原网站请求该资源，得到资源后，会将资源的校验值计算出并将条目存储到数据库中。

4.检查资源是否在手机端已存在并向浏览器发送响应：在服务器端准备好资源后，会依照资源的校验码在服务器端存储的手机资源列表中检索资源是否存在，如果资源存在，则不会返回数据体，只会返回资源对应的校验值，手机端会根据此校验值从本地列表中提取出相应资源。如果资源不存在，则服务器端会将资源压缩并通过HTTP2或SPDY协议将内容返回给手机端。手机端接收到数据后会进行解压缩，并按照HTTP响应的标准得到该资源的响应，最终将相应发回给浏览器。

与现有技术相比，本发明的积极效果为：

本发明通过四层架构进行Web浏览的优化，可以减少传输流量并提高加载速度。实验表明，使用该框架，在用户第一次访问网页时，平均可以节省流量17％，提高加载速度29％；再次访问同一网页，平均可以为第二次访问节省流量66％，提高加载速度9％。

附图说明

附图为本发明的系统架构图。

具体实施方式

本节以某新闻网站为例，给出用户利用本发明提供的框架先后两次访问该新闻网站的后台操作过程。

云服务器端会定期预取该网站的该资源，当用户第一次访问该网站时，浏览器会先把HTML的请求发送给手机端代理服务器，由于HTML属于最经常更新的资源，对于HTML的请求，手机端会默认此前的缓存不可用，而向服务器发起询问。代理服务解析出URL后，向云端的服务器发起询问，由于云端的服务器此前已经预取过该资源，服务器可以根据URL检索到该资源。此后服务器会在手机端资源列表中检索该资源，由于此前并未访问过此网站，该资源不存在手机端上，因此服务器会将资源进行压缩，并传回手机端代理服务器。手机端代理服务器会解析服务器传回的内容，并将其整理为HTTP响应，发回浏览器。浏览器将解析HTML的内容，并向代理服务发送其余资源的请求。对于剩余的资源，由于此前并未访问过该网站，缓存中不存在这些资源，通过URL匹配算法也无法计算得出与该资源相似的已缓存资源，因此手机端代理服务也会向服务器请求这些资源。

在第二次访问该网站时，浏览器会再次把HTML的请求发送给手机端代理，手机端会将该资源的请求发给云服务器，云服务器在本地检索到该资源后，再根据校验值在手机缓存列表中检索，如果HTML本身的内容并未改变，该资源的校验值会在手机缓存列表中存在，该资源本身将不会被返回，否则需要返回整个资源，并在手机端更新该缓存。

对于HTML解析出的某些资源，虽然在手机端不存在该URL的缓存数据，但这种URL的改变可能是由于网页的动态解析造成的，资源本身并未改变，通过URL匹配算法，可以检测到这类资源URL的改变从而返回相应的已缓存资源。如果算法判定找不到相关资源，手机端仍需将该请求发送给服务器进行询问。

当手机端将该资源的请求发送给云服务器端后，若云服务器检索或请求到该资源之后，发现该资源对应的校验值在手机端的资源列表中已存在，则不会返回该资源本身，而只会向手机端返回响应头和校验值。手机端会接收到该信息，然后从本地提取出资源本体，将两者(该响应头和资源本体)按照HTTP相应的结构进行重新组合，并将此内容发给浏览器。

Claims (9)

1.一种基于云-端协同的移动浏览器资源加载优化方法，其步骤为：

1)在用户的手机端建立一代理服务器，在该用户的个人云上搭建一云服务器；

2)手机端代理服务器将接收并解析浏览器的URL请求，如果手机端代理服务器已缓存该URL请求对应的资源，或者通过URL匹配算法计算出存在对应的资源，则直接将该资源返回给浏览器；否则将该URL请求发送给云服务器；

3)云服务器检查是否已缓存该URL请求对应的资源，如果已缓存则将该资源返回给该手机端代理服务器；否则向该URL请求对应的目标网站进行资源请求并将结果返回给该手机端代理服务器；

4)该手机端代理服务器将收到的返回结果依照HTTP响应的结构发回浏览器。

2.如权利要求1所述的方法，其特征在于，所述云服务器为一虚拟机。

3.如权利要求1或2所述的方法，其特征在于，所述云服务器将资源与其URL返回手机端代理服务器时，将该URL相关的段落关键系数同时传回。

4.如权利要求3所述的方法，其特征在于，所述段落关键系数为(段落的出现次数)/(相同资源对应URL总数+1)。

5.如权利要求1或2所述的方法，其特征在于，当该代理服务接收到一个URL请求时，先进行匹配查询，将该URL与相应网站的所有URL记录进行相似度对比，将相似度最大且超过设定阈值的URL记录对应的缓存资源返回给浏览器。

6.如权利要求5所述的方法，其特征在于，所述其中，α_i表示检索中的待请求URL的段落是否与目标URL的段落匹配，如果不匹配则为1，匹配则为0。

7.如权利要求1所述的方法，其特征在于，所述云服务器计算获取的资源的校验值并将该资源及其校验值存储到数据库中。

8.如权利要求1所述的方法，其特征在于，所述云服务器根据用户的访问习惯生成该用户的资源列表，然后根据该资源列表进行资源预取，并将预取好的资源及其校验值存储到数据库中。

9.如权利要求7或8所述的方法，其特征在于，所述云服务器将资源返回手机端代理服务器之前，检查该资源对应的校验值在手机端的资源列表中是否已存在，如果存在则返回响应头和该资源的校验值；该手机端代理服务器接收到该信息后从本地提取出资源本体，将该响应头和资源本体按照HTTP相应的结构进行重新组合，并将此内容发给浏览器；如果不存在，则将该资源及其校验值发送给手机端代理服务器。