CN102479250A

CN102479250A - 一种嵌入式浏览器磁盘缓存方法

Info

Publication number: CN102479250A
Application number: CN2011102115114A
Authority: CN
Inventors: 胡琳琳; 段虎才; 孙鹏
Original assignee: Institute of Acoustics CAS
Current assignee: Institute of Acoustics CAS
Priority date: 2010-11-26
Filing date: 2011-07-27
Publication date: 2012-05-30

Abstract

本发明提出一种针对嵌入式浏览器的磁盘缓存方法，该方法所述嵌入式浏览器采用的缓存介质为磁盘，所述方法包含如下步骤：将用户访问的网页资源存储在磁盘介质上的步骤；建立资源URL与磁盘缓存数据的映射关系的步骤，在内存中记录并维护资源URL与所述磁盘介质上的磁盘缓存数据的映射关系；依据记录的映射关系访问网页资源的步骤，当访问资源URL时，从所述映射关系中查找；若找到相应的映射值，则表明资源存储在磁盘上，到所述磁盘介质读取网页资源数据；否则，从服务器下载所需的网页资源数据。所述建立映射关系的步骤为：采用哈希算法得到资源URL的哈希值，将资源URL与哈希值构成的键值对写入磁盘缓存检索表中，完成资源URL与磁盘缓存数据的映射关系。

Description

一种嵌入式浏览器磁盘缓存方法

技术领域

本发明涉及嵌入式技术领域，尤其涉及一种嵌入式浏览器磁盘缓存方法。

背景技术

在嵌入式系统中，特别是作为三网融合终端的网络电视机顶盒中，嵌入式浏览器可能成为嵌入式操作系统最主要的应用软件，甚至有可能是唯一的直接支持与用户交互的应用软件。在这种情况下，嵌入式浏览器的访问速度直接影响到用户的体验效果。缓存，即在本地存储用户访问过的信息，以提高用户再次访问相关信息时的速度。现有的嵌入式浏览器缓存方面的专利都是基于内存缓存的，这是由嵌入式浏览器应用初期业务量小，硬盘容量少的应用场景决定的，随着三网融合产生了网络电视机顶盒等具有业务量多、硬盘容量大的嵌入式终端，因此导致目前仅采用内存进行网络资源缓存的嵌入式浏览器已经远远不能满足新的需求。嵌入式系统的资源非常有限，嵌入式浏览器内存缓存一方面受限于系统能够提供的缓存空间大小，另一方面受限于内存缓存的非持久性，当一次访问的资源太多或者浏览器重新启动时，访问过的网络资源就得重新下载。嵌入式浏览器磁盘缓存技术解决了内存缓存技术存在的问题，当访问过的资源已经不在内存中时，可以直接从磁盘读取，提高了资源的访问速度，增强了用户的体验。

发明内容

本发明目的在于，为克服现有技术的嵌入式浏览器缓存方面的技术都是基于内存缓存，但是内存缓存一方面受限于系统能够提供的缓存空间大小，另一方面受限于内存缓存的非持久性，当一次访问的资源太多或者浏览器重新启动时，访问过的网络资源就得重新下载，从而提供一种嵌入式浏览器磁盘缓存方法。

本发明提出一种嵌入式浏览器磁盘缓存方法，其与内存缓存相互配合，来提高网页的访问速度。

为实现上述目的本发明提供一种针对嵌入式浏览器的磁盘缓存方法，该方法所述嵌入式浏览器采用的缓存介质为磁盘，所述方法包含如下步骤：

将用户访问的网页资源存储在磁盘介质上的步骤。

建立资源URL与磁盘缓存数据的映射关系的步骤，在磁盘上存储资源URL与所述磁盘介质上的磁盘缓存数据的映射信息，在浏览器运行时将其导入到内存中，在内存中记录并维护映射表，并且及时与磁盘上的映射信息同步。

依据记录的映射关系访问网页资源的步骤，当访问资源URL时，从所述映射关系中查找；若找到相应的映射值，则表明资源存储在磁盘上，到所述磁盘介质读取网页资源数据；否则，从服务器下载所需的网页资源数据。

上述技术方案中，所述建立映射关系的步骤为：采用哈希算法得到资源URL的哈希值，将资源URL与哈希值构成的键值对写入磁盘缓存检索表中，完成资源URL与磁盘缓存数据的映射关系。所述哈希算法采用二次哈希算法。

所述磁盘介质将从网页资源提取的资源头信息和资源数据根据之前描述的映射表中映射值唯一地存储起来。

优化的，当所述磁盘缓存空间不足时，还可采用自动清除部分缓存数据的步骤。

所述自动清除部分缓存数据的步骤为：记录网页资源最后一次使用所述磁盘介质的时间和频率的步骤；根据上述步骤记录的内容对网页资源的进行优先级排序的步骤，网页资源最后一次被使用的时间相隔越久的，网页资源的优先级越低；删除磁盘介质缓存空间缓存的若干网页资源的步骤，需要删除磁盘缓存时，依据优先级排序删除优先级较低的若干个网页资源。

所述网页资源最后一次使用磁盘介质的记录信息存储在磁盘，当重新启动浏览器改记录信息被动态加载到内存中。所述的网页资源类型包括：HTML、JavaScript、CSS或image。

本发明所提出的嵌入式浏览器磁盘缓存方法具有以下优点：

从网页资源提取出资源头信息、资源数据两部分存储，在使用硬盘缓存时可以根据需要，方便地读取目的数据，避免了在一个文件中时对数据的区分；在内存中维护磁盘缓存文件的映射表(检索表)，采用高效的映射方法来建立资源URL与缓存资源的映射关系，检索操作可以在定长的时间内快速完成，避免了检索速度随着磁盘容量的增大而下降；依据磁盘缓存最近使用记录表来删除磁盘缓存，采用最近最少使用策略，依据磁盘缓存数据最近被使用的时间点以及资源的类型来建立磁盘缓存最近使用记录表，可以根据业务的不同来对不同类型的资源进行优先级设置，更加灵活。在内存中维护磁盘缓存资源最近使用记录表，可以快速找到需要删除的资源。

附图说明

图1为本发明的嵌入式浏览器磁盘缓存方法的流程图。

具体实施方式

下面结合附图对本发明的内容详细阐述。

本发明是一种基于磁盘的嵌入式浏览器缓存方法实现方案。其核心在于：本发明的嵌入式浏览器磁盘缓存的存储介质为磁盘；从网页资源提取出资源头信息、资源数据两部分存储到磁盘上，资源头信息文件中的内容用于对资源的有效性进行判断或验证，资源数据文件中的内容可以直接被作为资源来加载；建立资源URL与磁盘缓存数据的映射关系，在内存中存储并维护资源URL与磁盘缓存数据的映射表，根据映射表来快速检索网页资源在磁盘缓存中的数据，完成网页的渲染功能；当磁盘缓存空间不足时，自动清除部分缓存数据为新的资源提供空间。在内存中建立磁盘缓存资源最近使用记录，采用最近最少使用策略，结合资源最近使用时间点和资源类型来决定其在资源使用记录表中的位置。资源类型指网页的类型，如HTML，JavaScript，CSS，image等。资源最近被使用的时间越久，资源类型的优先级越低，资源在记录表中的位置越靠前。需要删除磁盘缓存时，依据资源最近使用记录表，优先删除记录表的首资源。及时将磁盘资源检索信息、磁盘资源最近使用记录信息存储到磁盘，重新启动浏览器时将相关信息重新加载到内存中。

实施例

本发明在实施中，采用哈希算法得到资源URL的哈希值，将资源URL与哈希值构成的键值对插入到磁盘缓存检索表中，得到资源URL与磁盘缓存数据的映射关系。计算资源URL的哈希值时，采用二次哈希来避免哈希碰撞。将磁盘缓存检索表的信息存储在硬盘，并且在浏览器运行时导入到内存中。

访问资源URL时，以资源URL作为键值，从磁盘缓存检索表中查找。若找到相应的映射值，则表明资源存储在磁盘上。否则，从服务器下载。

磁盘缓存最近使用记录表采用最近最少使用策略，依据资源最近使用时间点、资源的类型来调整资源在记录表中的位置。资源最近使用时间越早，资源所属类型的优先级越低，其在磁盘缓存最近使用记录表中的位置越靠前。当缓存空间不足，自动删除缓存时，优先删除磁盘缓存最近使用记录表靠前的资源。本实现中采用红黑树数据结构来建立磁盘资源最近使用记录表。

下面结合附图和具体实施例，详细阐述嵌入式浏览器磁盘缓存工作流程。图1为本发明关于嵌入式浏览器磁盘缓存工作的流程图。具体步骤如下：

步骤101：磁盘缓存初始化，主要是将嵌入式浏览器磁盘缓存的检索表、最近使用记录表导入内存，等待用户操作。

步骤102：URL请求，开始访问网络资源。进入步骤103.

步骤103：判断URL请求的资源是否在内存缓存中，如果在，则进入步骤104；反之，进入步骤105。

步骤104：从内存缓存读取资源。进入步骤114。

步骤105：从嵌入式浏览器磁盘缓存检索表中判断请求访问的资源是否在磁盘缓存中。由于嵌入式浏览器磁盘缓存检索表在步骤101中已被导入到内存，并且采用哈希算法实现检索，检索速度为定长时间。如果检索到所访问的资源，则进入步骤106，反之进入步骤110。

步骤106：判断磁盘缓存资源是否需要验证。读取磁盘缓存资源的头信息，如果包含有验证信息，则进入步骤107，反之进入步骤108。

步骤107：读取磁盘缓存资源的验证信息，连同URL请求一同发送给服务器，接收到服务器应答后进入步骤108。

步骤108：如果从步骤106进入步骤108，则分析磁盘缓存资源头信息中的有效期，如果资源已过有效期，则资源失效；如果从步骤107进入步骤108，则根据服务器的应答来判断资源是否有效；如果资源依旧有效，则进入步骤109，反之，进入步骤110。

步骤109：从磁盘缓存中读取资源，设置好HTTP请求的应答，将磁盘缓存读取到的数据发送给浏览器上层解析模块。进入步骤114。

步骤110：从服务器下载资源，将资源的头信息和数据分开存储。在存储资源的同时，进入步骤111。

步骤111：判断磁盘缓存空间是否足够，如果足够，则进入步骤113；反之，进入步骤112。

步骤112：删除部分资源。删除磁盘缓存最近使用记录表的首资源。删除资源数据的同时，也从磁盘缓存检索表、磁盘缓存最近使用记录表中删除资源的信息。操作结束后，进入步骤111。

步骤113：建立磁盘缓存检索映射。通过哈希算法在磁盘缓存检索表中增加URL与资源头信息文件、资源数据文件的映射关系。进入步骤114。

步骤114：更新磁盘缓存最近使用记录表。如果资源是第一次使用，则建立磁盘最近使用信息记录，如果资源已经在磁盘最近使用记录表中，则更新最近使用信息。根据资源的最近使用信息及其资源优先级来更新资源记录在磁盘缓存最近使用记录表中的位置。进入步骤115.

步骤115：保存磁盘缓存相关信息。将磁盘缓存检索表和最近使用记录表存储到硬盘。该操作可以在整个浏览器工作期间的任何时候进行。

本发明提出一种嵌入式浏览器磁盘缓存方法，存储的介质为磁盘，提出了一种将网络资源分为资源头和资源数据两部分存储的缓存存储方式，并通过在内存中建立资源URL与磁盘缓存网页数据的映射表实现了缓存的快速检索；通过采用最近最少使用策略，结合资源最近使用时间点和资源类型来决定其在资源使用记录表中的位置进行磁盘资源更新，和内存缓存配合，提高了网络资源的访问速度。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种针对嵌入式浏览器的磁盘缓存方法，该方法所述嵌入式浏览器采用的缓存介质为磁盘，所述方法包含如下步骤：

将用户访问的网页资源存储在磁盘介质上的步骤；

建立资源URL与磁盘缓存数据的映射关系的步骤，在内存中记录并维护资源URL与所述磁盘介质上的磁盘缓存数据的映射关系；

2.根据权利要求1所述的针对嵌入式浏览器的磁盘缓存方法，其特征在于，所述建立映射关系的步骤为：采用哈希算法得到资源URL的哈希值，将资源URL与哈希值构成的键值对写入磁盘缓存检索表中，完成资源URL与磁盘缓存数据的映射关系。

3.根据权利要求2所述的针对嵌入式浏览器的磁盘缓存方法，其特征在于，所述哈希算法采用二次哈希算法。

4.根据权利要求1所述的针对嵌入式浏览器的磁盘缓存方法，其特征在于，所述磁盘介质将从网页资源提取的资源头信息和资源数据存储分别存储在两个文件中。

5.根据权利要求1所述的针对嵌入式浏览器的磁盘缓存方法，其特征在于，当所述磁盘缓存空间不足时，采用自动清除部分缓存数据的步骤。

6.根据权利要求5所述的针对嵌入式浏览器的磁盘缓存方法，其特征在于，所述自动清除部分缓存数据的步骤为：

记录网页资源最后一次使用所述磁盘介质的时间和频率的步骤；

根据上述步骤记录的内容对网页资源的进行优先级排序的步骤，网页资源最后一次被使用的时间相隔越久的，网页资源的优先级越低；

删除磁盘介质缓存的步骤，需要删除磁盘缓存时，依据优先级排序删除优先级较低的若干个网页资源。

7.根据权利要求6所述的针对嵌入式浏览器的磁盘缓存方法，其特征在于，所述网页资源最后一次使用磁盘介质的记录信息存储在磁盘，当重新启动浏览器该记录信息被动态加载到内存中。

8.根据权利要求1所述的嵌入式浏览器磁盘缓存方法，其特征在于：所述的网页资源类型包括：HTML、JavaScript、CSS或image。