CN106326223A - 一种网页资源获取方法和装置 - Google Patents

一种网页资源获取方法和装置 Download PDF

Info

Publication number
CN106326223A
CN106326223A CN201510334446.2A CN201510334446A CN106326223A CN 106326223 A CN106326223 A CN 106326223A CN 201510334446 A CN201510334446 A CN 201510334446A CN 106326223 A CN106326223 A CN 106326223A
Authority
CN
China
Prior art keywords
web page
page resources
caching
prefetch
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510334446.2A
Other languages
English (en)
Inventor
梁捷
刘汭祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Guangzhou Dongjing Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Dongjing Computer Technology Co Ltd filed Critical Guangzhou Dongjing Computer Technology Co Ltd
Priority to CN201510334446.2A priority Critical patent/CN106326223A/zh
Priority to US15/176,803 priority patent/US10158740B2/en
Publication of CN106326223A publication Critical patent/CN106326223A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5681Pre-fetching or pre-delivering data based on network characteristics

Abstract

本发明提供了一种网页资源获取方法和装置,涉及互联网技术领域。本实施例提供的网页资源获取方法及装置,在预读网页时,将成功预取的预取网页资源的原始数据进行缓存,而不做任何解析处理。当需要加载该网页资源时,只需要从读取本地的预取缓存中的原始数据即可,而无需再发起网络请求。避免了预取后就对预取的预取网页资源的原始数据进行解析、解压缩、解密、预排版及预渲染等操作,系统资源占用相比现有方法大大减低,有效地解除了原有预加载方案中大量占用系统资源导致预加载页面数量较少的限制。

Description

一种网页资源获取方法和装置
技术领域
本发明涉及互联网技术领域,具体而言,涉及一种网页资源获取方法和装置。
背景技术
用户使用浏览器浏览网页过程中,网页的打开速度很大程度受制于网络环境。资源查找的绝大部分时间消耗在网络传输过程。预读技术是其中一个较好解决此问题的方法。现有网页预读的过程是:当用户使用浏览器的过程中,浏览器通过某种方式或手段判断用户接下来将要访问的网页,并提前加载判断需要预加载的网页的相关资源之后对所有的预读页面都进行预排版及预渲染。随后在用户访问其中某个预读网页时,则直接切换至已经完成排版渲染的页面。
所以从现有的预读过程来看,现有的预读方案会对预取的网页进行预先的解析、排版及渲染等操作,而这些操作会占用大量系统资源,导致终端系统性能受到很大影响。
发明内容
本发明的目的在于提供一种网页资源获取方法和装置,能够降低系统资源的占用,进一步提升使用效果和用户体验。
为了实现上述目的,本实施例采用的技术方案如下:
第一方面,本实施例提供了一种网页资源获取方法,所述方法包括:
根据预加载策略去网站服务器获得预取网页资源;
保存所述预取网页资源的原始数据于预取缓存中;
接收加载目标网页资源的加载指令后,根据所述加载指令,在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据。
结合第一方面,本实施例提供了第一方面的第一种可能的实施方式,其中,所述在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据之前,所述方法还包括:
检查HTTP缓存内是否保存有与所述目标网页资源对应的网页数据,如果没有,执行所述在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据。
结合第一方面,本实施例提供了第一方面的第二种可能的实施方式,其中,所述保存所述预取网页资源的原始数据于预取缓存中,包括:
将所述预取网页资源的URL(Uniform Resource Locator,统一资源定位符)与预取网页资源的原始数据相对应的保存于预取缓存中。
结合第一方面的第二种可能的实施方式,本实施例提供了第一方面的第三种可能的实施方式,其中,所述加载指令为加载所述目标网页资源的URL,
其中,接收加载目标网页资源的加载指令后,根据所述加载指令,在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据,包括:
根据所述目标网页资源的URL在所述预取缓存中查找所述目标网页资源的原始数据;
获取所述查找到的目标网页资源的原始数据。
结合第一方面的第三种可能的实施方式,本实施例提供了第一方面的第四种可能的实施方式,其中,还包括:
当满足预设的清理条件时或者在预设的清理周期内,根据所述预取网页资源保存入所述预取缓存的时间,以先保存先删除的方式,依次将所述预取缓存中的已经失效的预取网页资源删除。
第二方面,本实施例还提供了一种网页资源获取装置,所述装置包括:
网页资源预取单元,用于根据预加载策略从网站服务器获得预取网页资源;
预取缓存单元,用于存储所述预取网页资源的原始数据;
预取网页资源保存单元,用于将所述预取网页资源的原始数据保存于预取缓存中;
目标网页资源获取单元,用于接收加载目标网页资源的加载指令后,根据所述加载指令,在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据。
结合第二方面,本实施例提供了第二方面的第一种可能的实施方式,其中,所述装置还包括:
HTTP缓存检查单元,用于在所述目标网页资源获取单元执行所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据之前,检查所述HTTP缓存内是否保存有与所述目标网页资源对应的网页数据,如果没有,跳转到所述目标网页资源获取单元。
结合第二方面,本实施例提供了第二方面的第二种可能的实施方式,其中,所述目标网页资源获取单元包括:
预取缓存查找子单元,用于根据所述目标网页资源的URL在所述预取缓存中查找所述目标网页资源对应的原始数据;
目标网页资源获得子单元,用于获取所述预取缓存查找子单元查找到的原始数据。
结合第二方面的第二种可能的实施方式,本实施例提供了第二方面的第三种可能的实施方式,其中,所述装置还包括:
预取缓存清理单元,用于当满足预设的清理条件时或者在预设的清理周期内,根据所述预取网页资源保存入所述预取缓存的时间,以先保存先删除的方式,依次将所述预取缓存中的已经失效的预取网页资源删除。
本实施例提供的网页资源获取方法及装置,在预读网页时,将成功预取的预取网页资源的原始数据直接进行缓存,而不做任何解析处理。当需要加载该网页资源时,只需要从读取本地的预取缓存中的原始数据即可,而无需再发起网络请求。避免了预取后就对预取网页资源的原始数据进行解析、解压缩、解密、预排版及预渲染等操作,系统资源占用相比现有方法大大减低,有效地解除了原有预加载方案中大量占用系统资源导致预加载页面数量较少的限制。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。通过附图所示,本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图,重点在于示出本发明的主旨。
图1示出了本发明实施例提供的一种网页资源获取方法;
图2示出了本发明实施例提供的另一种网页资源获取方法;
图3示出了本发明实施例提供的一种网页资源获取装置;
图4示出了本发明实施例提供的另一种网页资源获取装置;
图5示出了本发明实施例提供的另一种网页资源获取装置。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例提供的网页资源获取方法,对于预加载的网页资源不进行解析,直接将网页资源的原始数据保存在本地的预取缓存中,待到确认需要时再将原始数据从预取缓存中取出后生成网页,减少系统资源占用的同时,增大了预加载的范围。
参阅图1,本实施例提供的一种网页资源获取方法,所述方法包括:
步骤S101,根据预加载策略去网站服务器获得预取网页资源。
当用户使用浏览器的过程中,浏览器可以通过一些预加载策略预测用户接下来将要访问的网页,并提前查找网页的相关网页资源,进而去网站服务器获得预取网页资源。
步骤S102,保存所述预取网页资源的原始数据于预取缓存中。
从网站服务器获得预取网页资源后,将取网页资源的原始数据直接保存与预取缓存中,不进行任何处理,而进不用去调用系统资源。
步骤S103,接收加载目标网页资源的加载指令后,根据所述加载指令,在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据。
已经预读的预取数据都是针对用户将要执行的动作的预测,当用户发出网页浏览指令时,浏览器会发出加载目标网页资源的加载指令,所述加载指令中包含了用户需要浏览的目标网页相关信息。当接收到加载指令后,从预取缓存中找到目标网页资源的原始数据。
在缓存容量有限的情况下,采用本实施例提供的网页资源获取方法,以原始数据的形式保存预取网页资源,占用空间较小,所以能够预取更多链接对应网页资源。而且对预取的网页资源只进行保存,不进行处理,占用的系统资源非常少。
本实施例提供的网页资源获取方法,在预读网页时,将成功预取的预取网页资源的原始数据直接进行缓存,而不做任何解析处理。当需要加载该网页资源时,只需要从读取本地的预取缓存中的原始数据即可,而无需再发起网络请求。避免了预取后就对预取网页资源的原始数据进行解析、解压缩、解密、预排版及预渲染等操作,系统资源占用相比现有方法大大减低,有效地解除了原有预加载方案中大量占用系统资源导致预加载页面数量较少的限制。
参阅图2,本实施例提供的另一种网页资源获取方法,所述方法包括:
步骤S201,根据预加载策略去网站服务器获得预取网页资源。
根据浏览器内核的预测结果从预测出来的用户将要访问的网页的网站服务器获得预取网页资源。
步骤S202,将所述预取网页资源的URL与预取网页资源的原始数据相对应的保存于预取缓存中。
为了查找方便,将预取网页资源以键值形式保存于所述预取缓存,其中,所述预取网页资源的URL为键,预取网页资源的原始数据为值。在保存时也可以将一些与预取网页资源相关的其他信息一起保存,比如预取网页资源的有效时间等。
步骤S203,检查HTTP缓存内是否保存有与所述目标网页资源对应的网页数据,如果没有,执行所述在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据。
网页资源获取装置还包括HTTP缓存,所述HTTP缓存保存有已经访问过的网页的网页数据。当浏览器发出加载目标网页资源的加载指令时,优先检查所述HTTP缓存,如果所述HTTP缓存中有与目标网页资源对应的网页数据时,直接调用即可;如果没有,再进行后续的步骤。
步骤S204,根据所述目标网页资源的URL在所述预取缓存中查找所述目标网页资源的原始数据。
如果在所述HTTP中没有查找到与目标网页资源对应的网页数据,则在所述预取缓存查找与所述目标网页资源的原始数据。收到的加载指令为加载所述目标网页资源的URL,而预取网页资源是以URL为键,原始数据为值的方式保存在预取缓存中的,因此只需要查找所述目标网页资源的URL对应的原始数据即可。
步骤S205,获取所述查找到的目标网页资源的原始数据。
将查找到的目标网页资源的原始数据从预取缓存中取出。
步骤S206,清理预取缓存,当满足预设的清理条件时或者在预设的清理周期内,根据所述预取网页资源保存入所述预取缓存的时间,以先保存先删除的方式,依次将所述预取缓存中的已经失效的预取网页资源删除。
具体实践中,预取缓存的空间是有限的,需要及时对其中保存的预取网页资源进行清理,以保证后续的预取网页资源能够保存。而且网页资源通常都是有实效性的,在一定时间过后,该网页资源就会失效,保存在预取缓存中也没有价值,例如预取网页资源的有效时间为20分钟,当该预取网页资源在预取缓存中已经保存了20分钟,就认为该预取网页资源已经失效了。根据预取网页资源存入预取缓存的时间以及该网页资源的有效时间,可以判断保存在预取缓存中的预取网页资源是否已经失效,再根据系统的配置对已经失效的预取网页资源删除。可以预先设定清理条件,例如预取缓存的占用率达到一定的数值或者保存的预取网页资源大小超过一定的数值等;也可以按照清理周期进行清理,例如一天一次或者一周一次等。进行清理时,按照先进先出的方式删除已经失效的预取网页资源,即先保存先删除。
例如,用户正在通过浏览器浏览网页,通过分析用户的行为,设定的预加载策略,分析出用户下一步可能需要获取的网页资源,网页资源获取装置依次获得这些网页资源的原始数据并保存到预取缓存中。在优选的实施方式中,获得预取网页资源时,是通过URL来指向网页资源位置的,每个链接对应的网页资源都有一个唯一的URL。在用户点击了某一个链接,浏览器发出加载该链接对应的网页资源的加载指令,所述加载指令为加载所述目标网页资源的URL。如果用户在之前已经浏览过该链接对应的网页,那么就直接可以在HTTP缓存中找到这个已经浏览过的网页的网页数据,直接调用即可。如果没有,就需要再从预取缓存中进行查找,判断该链接对应的网页资源是否已经预取,查找的方式就是对比已经保存在预取缓存中的预取网页资源的URL与加载指令的目标网页资源的URL,如果有相同的,说明该资源已经预取,直接从本地的预取缓存中取出预取网页资源的原始数据即可,如果没有,浏览器就需要向互联网发出网络请求。将预取网页资源取出后,对原始数据进行解压、解密、页面解析、页面排版、页面渲染等操作,得到目标网页。在使用一段时间后,需要对预取缓存进行清理,以先进先出的方式,将预取缓存中已经失效的预取网页资源删除。清理操作可以通过预设周期来执行,也可以通过预设条件来限定。
本实施例提供的网页资源获取方法,在预读网页时,将成功预取的预取网页资源的原始数据直接进行缓存,而不做任何解析处理。当需要加载该网页资源时,只需要从读取本地的预取缓存中的原始数据即可,而无需再发起网络请求。避免了预取后就对预取网页资源的原始数据进行解析、解压缩、解密、预排版及预渲染等操作,系统资源占用相比现有方法大大减低,有效地解除了原有预加载方案中大量占用系统资源导致预加载页面数量较少的限制。
参阅图3,本实施例提供的一种网页资源获取装置,所述装置包括:
网页资源预取单元301,用于根据预加载策略从网站服务器获得预取网页资源。
预取缓存单元302,用于存储所述预取网页资源的原始数据。
预取网页资源保存单元303,用于保存所述预取网页资源的原始数据于预取缓存中。
目标网页资源获取单元304,用于接收加载目标网页资源的加载指令后,根据所述加载指令,在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据。
本实施例所提供的网页资源获取装置,在具体实现中,可以由预取引擎和浏览器内核组成,两者相互独立但配合工作,也可以将具有预取功能的预取引擎与浏览器的内核集成在一起构成网页资源获取装置。用户使用浏览器的过程中,网页资源预取单元301可以通过预加载策略预测用户接下来将要访问的网页,从网站服务器获得预取网页资源。然后将获得的预取网页资源保存于预取缓存。网页资源获取装置接收到的是预取网页资源的原始数据,需要浏览器内核对原始数据进行处理后,才能得到用户可以浏览的网页。预取网页资源保存单元303对接收到的预取网页资源的原始数据不进行处理,而是将其保存于所述预取缓存。因此不用去调用系统资源,同时原始网络流数据的大小是远小于将其处理后得到的网页的。
如果用户执行了打开目标网页的操作,浏览器会发出加载目标网页资源的加载指令到网页资源获取装置。目标网页资源获取单元304接收到加载指令后,对预取缓存进行查找,如果在预取缓存中发现与加载指令指示的需要加载的目标网页资源,说明对应预取网页资源的原始数据已经保存在预取缓存了,将该预取网页资源的原始数据从预取缓存中取出。由于预取缓存中的原始数据都是本地资源,浏览器就无需再发起网络请求了。获得目标网页资源的原始数据后,按照现有的对原始数据的处理方式对目标网页资源的原始数据进行处理后,获得用户实现需要打开的网页。
缓存的容量是有限的,本实施例提供的网页资源获取装置,以原始数据的形式保存预取网页资源,占用空间较小,所以能够预取更多链接对应网页资源。而且对预取的网页资源只进行保存,不进行处理,占用的系统资源非常少。
本实施例所提供的网页资源获取装置,在预读网页时,将成功预取的预取网页资源的原始数据直接进行缓存,而不做任何解析处理。当需要加载该网页资源时,只需要从读取本地的预取缓存中的原始数据即可,而无需再发起网络请求。避免了预取后就对预取网页资源的原始数据进行解析、解压缩、解密、预排版及预渲染等操作,系统资源占用相比现有方法大大减低,有效地解除了原有预加载方案中大量占用系统资源导致预加载页面数量较少的限制。
参阅图4,本实施例提供的另一种网页资源获取装置,所述网页资源获取装置包括用于保存数据的预取缓存,所述装置包括:
网页资源预取单元401,用于根据预加载策略从网站服务器获得预取网页资源。
预取缓存单元402,用于存储所述预取网页资源的原始数据。
预取网页资源保存单元403,用于将所述预取网页资源的URL与预取网页资源的原始数据相对应的保存于预取缓存中。
HTTP缓存检查单元404,用于在所述目标网页资源获取单元执行所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据之前,检查所述HTTP缓存内是否保存有与所述目标网页资源对应的网页数据。
目标网页资源获取单元405,用于接收加载目标网页资源的加载指令后,根据所述加载指令,在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据。
目标网页资源获取单元405包括预取缓存查找子单元406以及目标网页资源获得子单元407。
预取缓存查找子单元406,用于根据所述目标网页资源的URL在所述预取缓存中查找所述目标网页资源对应的原始数据。
目标网页资源获得子单元407,用于获取所述预取缓存查找子单元406查找到的原始数据。
预取缓存清理单元408,用于当满足预设的清理条件时或者在预设的清理周期内,根据所述预取网页资源保存入所述预取缓存的时间,以先保存先删除的方式,依次将所述预取缓存中的已经失效的预取网页资源删除。
用户使用浏览器浏览网页时,由网页资源预取单元401根据预加载策略从网站服务器获得预取网页资源,对用户的行为进行一个预估。然后预取网页资源保存单元403由将所述预取网页资源的URL与预取网页资源的原始数据相对应的保存于预取缓存单元402。如果用户执行了打开目标网页的操作,浏览器会发出加载目标网页资源的加载指令到网页资源获取装置,所述加载指令为加载所述目标网页资源的URL。首先由HTTP缓存检查单元404检查所述HTTP缓存内是否保存有与所述目标网页资源对应的网页数据。如果用户之前已经浏览过目标网页,那么该网页的网页数据是保存在HTTP缓存中的,如果在所述HTTP缓存中没有与所述目标网页资源对应的网页数据,则由目标网页资源获取单元405,根据所述加载指令,在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据,所述加载指令为加载目标网页资源的URL。获取目标网页资源的原始数据分为两个子步骤,有目标网页资源获取单元405包括的两个子单元完成.预取缓存查找子单元406根据所述目标网页资源的URL在所述预取缓存中查找所述目标网页资源对应的原始数据;目标网页资源获得子单元407获取所述预取缓存查找子单元406查找到的原始数据。预取缓存单元402的容量是有限的,在使用一段时间后,需要通过预取缓存清理单元408对预取缓存进行清理,以先进先出的方式,将预取缓存中已经失效的预取网页资源删除。清理操作可以通过预设周期来执行,也可以通过预设条件来限定。
本实施例所提供的网页资源获取装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
参阅图5,本实施例提供的另一种网页资源获取装置600,包括:处理器504,存储器501,总线502和通信接口503,所述处理器504、通信接口503和存储器501通过总线502连接;处理器504用于执行存储器501中存储的可执行模块,例如计算机程序。
其中,存储器501可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口503(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线502可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器501用于存储程序,所述处理器504在接收到执行指令后,执行所述程序,前述本实施例任一实施例揭示的流程定义的装置所执行的方法可以应用于处理器504中,或者由处理器504实现。
处理器504可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器504中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器504可以是通用处理器,包括中央处理器(Central Processing Unit,简称数据请求端)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501,处理器504读取存储器501中的信息,结合其硬件完成上述方法的步骤。
另外,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本实施例所提供的进行一种网页资源获取装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (9)

1.一种网页资源获取方法,其特征在于,所述方法包括:
根据预加载策略去网站服务器获得预取网页资源;
保存所述预取网页资源的原始数据于预取缓存中;
接收加载目标网页资源的加载指令后,根据所述加载指令,在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据。
2.根据权利要求1所述的方法,其特征在于,所述在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据之前,所述方法还包括:
检查HTTP缓存内是否保存有与所述目标网页资源对应的网页数据,如果没有,执行所述在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据。
3.根据权利要求1所述的方法,其特征在于,所述保存所述预取网页资源的原始数据于预取缓存中,包括:
将所述预取网页资源的URL与预取网页资源的原始数据相对应的保存于预取缓存中。
4.根据权利要求3所述的方法,其特征在于,所述加载指令为加载所述目标网页资源的URL,
其中,接收加载目标网页资源的加载指令后,根据所述加载指令,在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据,包括:
根据所述目标网页资源的URL在所述预取缓存中查找所述目标网页资源的原始数据;
获取所述查找到的目标网页资源的原始数据。
5.根据权利要求4所述的方法,其特征在于,还包括:
当满足预设的清理条件时或者在预设的清理周期内,根据所述预取网页资源保存入所述预取缓存的时间,以先保存先删除的方式,依次将所述预取缓存中的已经失效的预取网页资源删除。
6.一种网页资源获取装置,其特征在于,所述装置包括:
网页资源预取单元,用于根据预加载策略从网站服务器获得预取网页资源;
预取缓存单元,用于存储所述预取网页资源的原始数据;
预取网页资源保存单元,用于将所述预取网页资源的原始数据保存于预取缓存中;
目标网页资源获取单元,用于接收加载目标网页资源的加载指令后,根据所述加载指令,在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
HTTP缓存检查单元,用于在所述目标网页资源获取单元在所述预取缓存中获取与所述目标网页资源对应的预取网页资源的原始数据之前,检查所述HTTP缓存内是否保存有与所述目标网页资源对应的网页数据。
8.根据权利要求6所述的装置,其特征在于,所述目标网页资源获取单元包括:
预取缓存查找子单元,用于根据所述目标网页资源的URL在所述预取缓存中查找所述目标网页资源对应的原始数据;
目标网页资源获得子单元,用于获取所述预取缓存查找子单元查找到的原始数据。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
预取缓存清理单元,用于当满足预设的清理条件时或者在预设的清理周期内,根据所述预取网页资源保存入所述预取缓存的时间,以先保存先删除的方式,依次将所述预取缓存中的已经失效的预取网页资源删除。
CN201510334446.2A 2015-06-16 2015-06-16 一种网页资源获取方法和装置 Pending CN106326223A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510334446.2A CN106326223A (zh) 2015-06-16 2015-06-16 一种网页资源获取方法和装置
US15/176,803 US10158740B2 (en) 2015-06-16 2016-06-08 Method and apparatus for webpage resource acquisition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510334446.2A CN106326223A (zh) 2015-06-16 2015-06-16 一种网页资源获取方法和装置

Publications (1)

Publication Number Publication Date
CN106326223A true CN106326223A (zh) 2017-01-11

Family

ID=57588610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510334446.2A Pending CN106326223A (zh) 2015-06-16 2015-06-16 一种网页资源获取方法和装置

Country Status (2)

Country Link
US (1) US10158740B2 (zh)
CN (1) CN106326223A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108628899A (zh) * 2017-03-23 2018-10-09 广州康昕瑞基因健康科技有限公司 基因突变数据库检索方法和系统
CN112115396A (zh) * 2020-09-21 2020-12-22 北京达佳互联信息技术有限公司 网页页面渲染方法、装置、设备及存储介质
CN114461589A (zh) * 2021-08-24 2022-05-10 荣耀终端有限公司 读取压缩文件的方法、文件系统及电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105336B (zh) * 2017-04-19 2021-01-08 腾讯科技(深圳)有限公司 数据处理方法及数据处理装置
CN110020290B (zh) * 2017-09-29 2022-12-13 腾讯科技(深圳)有限公司 网页资源缓存方法、装置、存储介质及电子装置
CN109753622B (zh) * 2019-01-31 2021-06-18 天津字节跳动科技有限公司 静态资源管理方法、装置、存储介质及电子设备
CN110765386A (zh) * 2019-10-28 2020-02-07 北京字节跳动网络技术有限公司 网页图像的监控方法、装置、电子设备及可读存储介质
CN112612982A (zh) * 2021-01-05 2021-04-06 上海哔哩哔哩科技有限公司 网页预加载方法、装置及计算机设备
CN113486273A (zh) * 2021-07-09 2021-10-08 上海淇馥信息技术有限公司 一种前端信息流页面加载方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106216A (zh) * 2011-11-15 2013-05-15 腾讯科技(深圳)有限公司 一种网页访问方法和设备
CN103123630A (zh) * 2011-11-21 2013-05-29 腾讯科技(深圳)有限公司 一种获取网页内容的方法、系统以及移动终端和服务器
CN103488636A (zh) * 2012-06-11 2014-01-01 腾讯科技(深圳)有限公司 一种离线浏览网页的方法及装置
US8856263B2 (en) * 2009-08-03 2014-10-07 Limelight Networks, Inc. Systems and methods thereto for acceleration of web pages access using next page optimization, caching and pre-fetching techniques
CN104202360A (zh) * 2014-08-13 2014-12-10 小米科技有限责任公司 访问网页的方法、装置及路由器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6467026B2 (en) * 1999-07-23 2002-10-15 Hitachi, Ltd. Web cache memory device and browser apparatus utilizing the same
US20050086435A1 (en) * 2003-09-09 2005-04-21 Seiko Epson Corporation Cache memory controlling apparatus, information processing apparatus and method for control of cache memory
CN103092834A (zh) * 2011-10-27 2013-05-08 腾讯科技(深圳)有限公司 浏览网页图片的方法及客户端装置
US9152732B2 (en) * 2011-11-02 2015-10-06 Microsoft Technology Licensing, Llc. Browser cache assist for accessing web-based content
US20140282163A1 (en) * 2013-03-15 2014-09-18 Jock Douglas MacKinlay Tree Map
US9507718B2 (en) * 2013-04-16 2016-11-29 Facebook, Inc. Intelligent caching

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8856263B2 (en) * 2009-08-03 2014-10-07 Limelight Networks, Inc. Systems and methods thereto for acceleration of web pages access using next page optimization, caching and pre-fetching techniques
CN103106216A (zh) * 2011-11-15 2013-05-15 腾讯科技(深圳)有限公司 一种网页访问方法和设备
CN103123630A (zh) * 2011-11-21 2013-05-29 腾讯科技(深圳)有限公司 一种获取网页内容的方法、系统以及移动终端和服务器
CN103488636A (zh) * 2012-06-11 2014-01-01 腾讯科技(深圳)有限公司 一种离线浏览网页的方法及装置
CN104202360A (zh) * 2014-08-13 2014-12-10 小米科技有限责任公司 访问网页的方法、装置及路由器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108628899A (zh) * 2017-03-23 2018-10-09 广州康昕瑞基因健康科技有限公司 基因突变数据库检索方法和系统
CN112115396A (zh) * 2020-09-21 2020-12-22 北京达佳互联信息技术有限公司 网页页面渲染方法、装置、设备及存储介质
CN112115396B (zh) * 2020-09-21 2024-04-02 北京达佳互联信息技术有限公司 网页页面渲染方法、装置、设备及存储介质
CN114461589A (zh) * 2021-08-24 2022-05-10 荣耀终端有限公司 读取压缩文件的方法、文件系统及电子设备

Also Published As

Publication number Publication date
US10158740B2 (en) 2018-12-18
US20160373545A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
CN106326223A (zh) 一种网页资源获取方法和装置
CN106886570B (zh) 页面处理方法及装置
CN105022750B (zh) 资源文件加载方法和装置
JP2013541774A (ja) ウェブサイトスキャンデバイスおよびウェブサイトスキャン方法
CN103338249B (zh) 缓存方法及装置
US20170323025A1 (en) Browser acceleration method and browser device having accelerator
CN103617241B (zh) 搜索信息处理方法、浏览器终端与服务器
CN107291756A (zh) 数据缓存的方法及装置
CN107040584A (zh) 客户端下载图片的方法及装置
US7533234B2 (en) Method and apparatus for storing compressed code without an index table
CN107766469A (zh) 一种缓存处理方法和装置
CN108021333B (zh) 随机读写数据的系统、装置及方法
CN104462571A (zh) 进行网页加载的方法、装置和浏览器客户端
CN110007978A (zh) 一种预加载页面的方法、装置及设备
CN105160027B (zh) 广告数据处理方法及装置
CN106933640A (zh) 在移动终端的浏览器内加载Web页面的方法及系统
CN105893409A (zh) 文件下载方法及装置
CN107291913A (zh) 超文本标记语言网页加载方法及装置
CN106649313A (zh) 用于处理缓存数据的方法和设备
CN103336812B (zh) 用于提高二次加载效率的网页资源缓存方法及装置
CN105912591A (zh) 回看图像文件的方法、装置和移动终端
CN105681380A (zh) 客户端离线化方法及其系统
CN106911735A (zh) 数据获取方法及装置
CN105653585A (zh) 一种浏览器标签内网页的切换方法及装置
US10691750B1 (en) Browser configured to efficiently store browsing session state

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200417

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 510627 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yun Lu Yun Ping B radio 14 floor tower square

Applicant before: GUANGZHOU UCWEB COMPUTER TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170111