CN110532455A - 一种基于Chrome浏览器的网页图片获取方法和系统 - Google Patents

一种基于Chrome浏览器的网页图片获取方法和系统 Download PDF

Info

Publication number
CN110532455A
CN110532455A CN201910839690.2A CN201910839690A CN110532455A CN 110532455 A CN110532455 A CN 110532455A CN 201910839690 A CN201910839690 A CN 201910839690A CN 110532455 A CN110532455 A CN 110532455A
Authority
CN
China
Prior art keywords
picture
chrome browser
downloaded
webpage
resources list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910839690.2A
Other languages
English (en)
Inventor
白冰
李国华
郭忠武
纪军
王荣芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bo Hui Science And Technology Co Ltd Of Beijing
Original Assignee
Bo Hui Science And Technology Co Ltd Of Beijing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bo Hui Science And Technology Co Ltd Of Beijing filed Critical Bo Hui Science And Technology Co Ltd Of Beijing
Priority to CN201910839690.2A priority Critical patent/CN110532455A/zh
Publication of CN110532455A publication Critical patent/CN110532455A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching

Abstract

本发明提供了一种基于Chrome浏览器的网页图片获取方法和系统，包括：获取待下载图片所在的网页的统一资源定位符；向Chrome浏览器发送访问统一资源定位符访问的指令，以使Chrome浏览器通过访问统一资源定位符加载网页；通过Chrome浏览器获取网页的缓存数据的资源列表；基于资源列表中的资源类型确定待下载图片的缓存地址；基于缓存地址获取待下载图片。本发明缓解了现有技术中存在的网页图片下载效率低和可靠性差的技术问题。

Description

一种基于Chrome浏览器的网页图片获取方法和系统
技术领域
本发明涉及互联网内容监测技术领域，尤其是涉及一种基于Chrome浏览器的网页图片获取方法和系统。
背景技术
现有网络爬虫技术风行的情况下，反爬技术随之日渐强大。JavaScript渲染已经成为一种通用的反爬手段。浏览器渲染已成为互联网数据获取的必备手段。通过反复的浏览器渲染，解析所需资源的信息，再访问，获得所需数据。现有技术中，网页图片的下载流程包括：抽出种子的统一资源定位符(Uniform Resource Locator，简称URL)，向种子URL发出请求，解析服务器返回响应，抽出图像资源URL地址，向URL地址发出请求，最后保存返回的数据。可见，现有技术对于网页图片的下载过程存在着，因需要多次访问资源URL地址而导致的下载效率低和可靠性差的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于Chrome浏览器的网页图片获取方法和系统，以缓解了现有技术中存在的网页图片下载效率低和可靠性差的技术问题。
第一方面，本发明实施例提供了一种基于Chrome浏览器的网页图片获取方法，应用于网络数据采集系统，包括：获取待下载图片所在的网页的统一资源定位符；向Chrome浏览器发送访问所述统一资源定位符访问的指令，以使所述Chrome浏览器通过访问所述统一资源定位符加载所述网页；通过Chrome浏览器获取所述网页的缓存数据的资源列表；基于所述资源列表中的资源类型确定所述待下载图片的缓存地址；基于所述缓存地址获取所述待下载图片。
进一步地，向Chrome浏览器发送访问所述统一资源定位符的指令，包括：通过devtools协议API向Chrome浏览器发送访问所述统一资源定位符的指令。
进一步地，通过Chrome浏览器获取所述网页的缓存数据的资源列表，包括：通过devtools协议API向所述Chrome浏览器发送获取所述网页的缓存数据的资源列表的获取指令，以使所述Chrome浏览器基于所述获取指令向所述devtools协议API返回所述缓存数据的资源列表。
进一步地，基于所述资源列表中的资源类型确定所述待下载图片的缓存地址，包括：获取所述资源列表中的目标缓存数据的缓存地址；其中，所述目标缓存数据的资源类型为图片类型；将所述目标缓存数据的缓存地址确定为所述待下载图片的缓存地址。
第二方面，本发明实施例还提供了一种基于Chrome浏览器的网页图片获取系统，包括：第一获取模块，访问模块，第二获取模块，确定模块和下载模块，其中，所述第一获取模块，用于获取待下载图片所在的网页的统一资源定位符；所述访问模块，用于向Chrome浏览器发送访问所述统一资源定位符访问的指令，以使所述Chrome浏览器通过访问所述统一资源定位符加载所述网页；所述第二获取模块，用于通过Chrome浏览器获取所述网页的缓存数据的资源列表；所述确定模块，用于基于所述资源列表中的资源类型确定所述待下载图片的缓存地址；所述下载模块，用于基于所述缓存地址获取所述待下载图片。
进一步地，所述访问模块，还用于：通过devtools协议API向Chrome浏览器发送访问所述统一资源定位符的指令。
进一步地，所述第二获取模块，还用于：通过devtools协议API向所述Chrome浏览器发送获取所述网页的缓存数据的资源列表的获取指令，以使所述Chrome浏览器基于所述获取指令向所述devtools协议API返回所述缓存数据的资源列表。
进一步地，所述确定模块，还用于：获取所述资源列表中的目标缓存数据的缓存地址；其中，所述目标缓存数据的资源类型为图片类型；将所述目标缓存数据的缓存地址确定为所述待下载图片的缓存地址。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
第四方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行第一方面所述方法。
本发明实施例提供了一种基于Chrome浏览器的网页图片获取方法，首先获取待下载图片所在的网页的统一资源定位符，然后向Chrome浏览器发送访问统一资源定位符访问的指令，以使Chrome浏览器通过访问统一资源定位符加载网页，通过Chrome浏览器获取网页的缓存数据的资源列表，基于资源列表中的资源类型确定待下载图片的缓存地址，最后基于缓存地址获取待下载图片。本发明实施例提供的网页图片获取方法，可以只对网页的统一资源定位符进行一次访问即可获取到待下载图片，缓解了现有技术对于网页图片的下载过程存在的，因需要多次访问资源URL地址而导致的下载效率低和可靠性差的技术问题，本发明保证了网页图片获取的可靠行以及提高了网页图片的下载效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于Chrome浏览器的网页图片获取方法的流程图；
图2为本发明实施例提供的另一种基于Chrome浏览器的网页图片获取方法的流程图；
图3为本发明实施例提供的一种基于Chrome浏览器的网页图片获取系统的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
图1是根据本发明实施例提供的一种基于Chrome浏览器的网页图片获取方法的流程图，应用于网络数据采集系统。如图1所示，该方法具体包括如下步骤：
步骤S102，获取待下载图片所在的网页的统一资源定位符。
步骤S104，向Chrome浏览器发送访问统一资源定位符访问的指令，以使Chrome浏览器通过访问统一资源定位符加载网页。
具体地，在本发明实施例中，通过devtools协议API(应用程序接口，ApplicationProgramming Interface，简称API)向Chrome浏览器发送访问统一资源定位符的指令，同时指定页面加载中止条件。其中，页面加载中止条件包括以下至少之一：页面加载时间，单位时间内的请求次数。
步骤S106，通过Chrome浏览器获取网页的缓存数据的资源列表。
具体地，在本发明实施例中，通过devtools协议API向Chrome浏览器发送获取网页的缓存数据的资源列表的获取指令，以使Chrome浏览器基于获取指令向devtools协议API返回缓存数据的资源列表。
步骤S108，基于资源列表中的资源类型确定待下载图片的缓存地址。
具体地，在本发明实施例中，首先获取资源列表中的目标缓存数据的缓存地址；其中，目标缓存数据的资源类型为图片类型；然后将目标缓存数据的缓存地址确定为待下载图片的缓存地址。
即，对于Chrome浏览器返回的缓存数据的资源列表，根据资源类型，筛选出图片类型的数据的缓存地址，将得到的缓存地址作为待下载图片的缓存地址。
在本发明实施例中，待下载图片为通过Chrome浏览器加载的URL网页页面下的所有图片。
步骤S110，基于缓存地址获取待下载图片。
具体地，通过devtools协议API向缓存地址发送待下载图片的获取请求，然后根据获取请求获取待下载图片。
本发明实施例提供了一种基于Chrome浏览器的网页图片获取方法，应用于网络数据采集系统，首先获取待下载图片所在的网页的统一资源定位符，然后向Chrome浏览器发送访问统一资源定位符访问的指令，以使Chrome浏览器通过访问统一资源定位符加载网页，通过Chrome浏览器获取网页的缓存数据的资源列表，基于资源列表中的资源类型确定待下载图片的缓存地址，最后基于缓存地址获取待下载图片。本发明实施例提供的网页图片获取方法，可以只对网页的统一资源定位符进行一次访问即可获取到待下载图片，缓解了现有技术对于网页图片的下载过程存在的，因需要多次访问资源URL地址而导致的下载效率低和可靠性差的技术问题，本发明保证了网页图片获取的可靠行以及提高了网页图片的下载效率。
实施例二：
图2是根据本发明实施例提供的另一种基于Chrome浏览器的网页图片获取方法的流程图。
需要说明的是，本发明基于一个高级API来控制DevTools协议上的Chrome浏览器或Chromium浏览器来进行网页的访问及相关图片的下载。其中，chrome devtools协议允许工具检测、检查、调试和配置chrome、chrome和其他基于blink的浏览器。许多现有项目目前都使用该协议。chrome devtools使用这个协议，由Google团队负责维护它的API。DevTools协议API检测分为多个域(DOM、调试器、网络等)。每个域定义了它支持的许多命令和它生成的事件。命令和事件都是固定结构的序列化JSON对象。
具体地，如图2所示，该方法具体包括如下步骤：
步骤S21，使用devtools协议API向Chrome浏览器发送打开种子URL的指令，并指定页面加载终止条件(包括时间，或单位时间内请求次数)。其中，种子URL为待下载图片所在网页的URL。
步骤S22，页面加载终止后，通过devtools协议API向Chrome浏览器发出指令，要求获得Chrome浏览器加载的资源列表。
例如，在JavaScript语言下，实现上述步骤S21和步骤S22的返回示例如下：
步骤S23，Chrome浏览器返回的资源列表中，根据资源类型(mimeType)，筛选出图片类型的缓存数据所在的本地地址。
步骤S24，向本地缓存地址发送数据获取请求。
例如，在JavaScript语言下，可以通过page._client.send()发送对应的资源信息。以及可以通过以下示例实现上述步骤S23和步骤S24：
步骤S25，将返回的缓存数据以文件形式保存在磁盘上。其中，返回的缓存数据即为待下载图片。
通过以上描述可知，本发明主要用于更快速的进行网页图片的下载，通过访问浏览器缓存，避免在HTML中解析图片资源以及可以减少请求次数，达到提高网页图片下载的效率及提高下载的稳定性的技术效果。
本发明实施例提供的方法与现有技术相比，具有以下优点：
(1)在图片资源的解析方式上，本发明实施例利用devtools协议API从Chrome浏览器端获取加载的信息资源列表，不用为各种不同的图片写解析程序，从而使图片资源的解析更准确，可靠性更高。
(2)在对图片的网络加载放上，本发明实施例利用Chrome浏览器原生加载，与人工操作无差别。不会因为单独的请求造成服务器拒绝连接，保证了图片资源获取的可靠性。
(3)在对图片的获取来源上，本发明实施例通过Chrome浏览器缓存获取数据。保证通信次数最少，从而提供了对网页图片的获取效率，最高可提高50％的效能。
实施例三：
本发明实施例还提供了一种基于Chrome浏览器的网页图片获取系统，如图3所示，该系统包括：第一获取模块10，访问模块20，第二获取模块30，确定模块40和下载模块50。
具体地，第一获取模块10，用于获取待下载图片所在的网页的统一资源定位符。
访问模块20，用于向Chrome浏览器发送访问统一资源定位符访问的指令，以使Chrome浏览器通过访问统一资源定位符加载网页。
具体地，访问模块20通过devtools协议API向Chrome浏览器发送访问统一资源定位符的指令。同时通过devtools协议API指定页面加载中止条件。其中页面加载中止条件包括以下至少之一：页面加载时间，单位时间内的请求次数。
第二获取模块30，用于通过Chrome浏览器获取网页的缓存数据的资源列表。
具体地，第二获取模块30通过devtools协议API向Chrome浏览器发送获取网页的缓存数据的资源列表的获取指令，以使Chrome浏览器基于获取指令向devtools协议API返回缓存数据的资源列表。
确定模块40，用于基于资源列表中的资源类型确定待下载图片的缓存地址。
具体地，确定模块40还用于：
获取资源列表中的目标缓存数据的缓存地址；其中，目标缓存数据的资源类型为图片类型；将目标缓存数据的缓存地址确定为待下载图片的缓存地址。
下载模块50，用于基于缓存地址获取待下载图片。
通过以上描述可知，本发明实施例提供的一种基于Chrome浏览器的网页图片获取系统，首先通过第一获取模块10获取待下载图片所在的网页的统一资源定位符，然后通过访问模块20向Chrome浏览器发送访问统一资源定位符访问的指令，以使Chrome浏览器通过访问统一资源定位符加载网页，利用第二获取模块30通过Chrome浏览器获取网页的缓存数据的资源列表，通过确定模块40基于资源列表中的资源类型确定待下载图片的缓存地址，最后利用下载模块50基于缓存地址获取待下载图片。本发明实施例提供的网页图片获取系统，可以只对网页的统一资源定位符进行一次访问即可获取到待下载图片，缓解了现有技术对于网页图片的下载过程存在的，因需要多次访问资源URL地址而导致的下载效率低和可靠性差的技术问题，本发明保证了网页图片获取的可靠行以及提高了网页图片的下载效率。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述实施例一或实施例二中的方法的步骤。
本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，其中，程序代码使处理器执行上述实施例一或实施例二中提供的任一方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于Chrome浏览器的网页图片获取方法，应用于网络数据采集系统，其特征在于，包括：
获取待下载图片所在的网页的统一资源定位符；
向Chrome浏览器发送访问所述统一资源定位符访问的指令，以使所述Chrome浏览器通过访问所述统一资源定位符加载所述网页；
通过Chrome浏览器获取所述网页的缓存数据的资源列表；
基于所述资源列表中的资源类型确定所述待下载图片的缓存地址；
基于所述缓存地址获取所述待下载图片。
2.根据权利要求1所述的方法，其特征在于，向Chrome浏览器发送访问所述统一资源定位符的指令，包括：
通过devtools协议API向Chrome浏览器发送访问所述统一资源定位符的指令。
3.根据权利要求1所述的方法，其特征在于，通过Chrome浏览器获取所述网页的缓存数据的资源列表，包括：
通过devtools协议API向所述Chrome浏览器发送获取所述网页的缓存数据的资源列表的获取指令，以使所述Chrome浏览器基于所述获取指令向所述devtools协议API返回所述缓存数据的资源列表。
4.根据权利要求1所述的方法，其特征在于，基于所述资源列表中的资源类型确定所述待下载图片的缓存地址，包括：
获取所述资源列表中的目标缓存数据的缓存地址；其中，所述目标缓存数据的资源类型为图片类型；
将所述目标缓存数据的缓存地址确定为所述待下载图片的缓存地址。
5.一种基于Chrome浏览器的网页图片获取系统，其特征在于，包括：第一获取模块，访问模块，第二获取模块，确定模块和下载模块，其中，
所述第一获取模块，用于获取待下载图片所在的网页的统一资源定位符；
所述访问模块，用于向Chrome浏览器发送访问所述统一资源定位符访问的指令，以使所述Chrome浏览器通过访问所述统一资源定位符加载所述网页；
所述第二获取模块，用于通过Chrome浏览器获取所述网页的缓存数据的资源列表；
所述确定模块，用于基于所述资源列表中的资源类型确定所述待下载图片的缓存地址；
所述下载模块，用于基于所述缓存地址获取所述待下载图片。
6.根据权利要求5所述的系统，其特征在于，所述访问模块，还用于：
通过devtools协议API向Chrome浏览器发送访问所述统一资源定位符的指令。
7.根据权利要求5所述的系统，其特征在于，所述第二获取模块，还用于：
通过devtools协议API向所述Chrome浏览器发送获取所述网页的缓存数据的资源列表的获取指令，以使所述Chrome浏览器基于所述获取指令向所述devtools协议API返回所述缓存数据的资源列表。
8.根据权利要求5所述的系统，其特征在于，所述确定模块，还用于：
获取所述资源列表中的目标缓存数据的缓存地址；其中，所述目标缓存数据的资源类型为图片类型；
将所述目标缓存数据的缓存地址确定为所述待下载图片的缓存地址。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至4任一项所述的方法的步骤。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-4任一所述方法。
CN201910839690.2A 2019-09-05 2019-09-05 一种基于Chrome浏览器的网页图片获取方法和系统 Pending CN110532455A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910839690.2A CN110532455A (zh) 2019-09-05 2019-09-05 一种基于Chrome浏览器的网页图片获取方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910839690.2A CN110532455A (zh) 2019-09-05 2019-09-05 一种基于Chrome浏览器的网页图片获取方法和系统

Publications (1)

Publication Number Publication Date
CN110532455A true CN110532455A (zh) 2019-12-03

Family

ID=68667204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910839690.2A Pending CN110532455A (zh) 2019-09-05 2019-09-05 一种基于Chrome浏览器的网页图片获取方法和系统

Country Status (1)

Country Link
CN (1) CN110532455A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782998A (zh) * 2020-06-19 2020-10-16 厦门市美亚柏科信息股份有限公司 一种基于chrome的网页镜像、回放及本地映射地图生成方法
CN111897617A (zh) * 2020-08-12 2020-11-06 腾讯科技（深圳）有限公司 图片加载方法、装置、计算机设备和存储介质
CN116610823A (zh) * 2023-04-28 2023-08-18 江苏传智播客教育科技股份有限公司 一种统一访问多媒体资源的方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963992A (zh) * 2010-10-20 2011-02-02 深圳市茁壮网络股份有限公司 提高网页显示速度的方法及浏览器
CN102890687A (zh) * 2011-07-21 2013-01-23 腾讯科技（北京）有限公司 一种浏览网页组图的方法、系统和装置
CN103916474A (zh) * 2014-04-04 2014-07-09 北京搜狗科技发展有限公司 缓存时间的确定方法、装置及系统
CN104063460A (zh) * 2014-06-25 2014-09-24 北京奇虎科技有限公司 一种在浏览器中加载网页的方法和装置
US20150143224A1 (en) * 2013-11-15 2015-05-21 Instart Logic, Inc. Partial website optimization for a web publisher

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101963992A (zh) * 2010-10-20 2011-02-02 深圳市茁壮网络股份有限公司 提高网页显示速度的方法及浏览器
CN102890687A (zh) * 2011-07-21 2013-01-23 腾讯科技（北京）有限公司 一种浏览网页组图的方法、系统和装置
US20150143224A1 (en) * 2013-11-15 2015-05-21 Instart Logic, Inc. Partial website optimization for a web publisher
CN103916474A (zh) * 2014-04-04 2014-07-09 北京搜狗科技发展有限公司 缓存时间的确定方法、装置及系统
CN104063460A (zh) * 2014-06-25 2014-09-24 北京奇虎科技有限公司 一种在浏览器中加载网页的方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782998A (zh) * 2020-06-19 2020-10-16 厦门市美亚柏科信息股份有限公司 一种基于chrome的网页镜像、回放及本地映射地图生成方法
CN111897617A (zh) * 2020-08-12 2020-11-06 腾讯科技（深圳）有限公司 图片加载方法、装置、计算机设备和存储介质
CN116610823A (zh) * 2023-04-28 2023-08-18 江苏传智播客教育科技股份有限公司 一种统一访问多媒体资源的方法和系统
CN116610823B (zh) * 2023-04-28 2024-05-07 江苏传智播客教育科技股份有限公司 一种统一访问多媒体资源的方法和系统

Similar Documents

Publication Publication Date Title
US10567407B2 (en) Method and system for detecting malicious web addresses
JP5443513B2 (ja) ドメインにわたりクッキーを処理する方法およびシステム
US9232021B2 (en) Dynamically rehosting web content
US9426200B2 (en) Updating dynamic content in cached resources
CN102469113B (zh) 一种安全网关及其转发网页的方法
CN103383687B (zh) 一种页面处理方法和装置
CN106897336A (zh) 网页文件发送方法、网页渲染方法及装置、网页渲染系统
CN110532455A (zh) 一种基于Chrome浏览器的网页图片获取方法和系统
CN104572777B (zh) 基于UIWebView组件的网页加载方法及装置
CN106294379A (zh) 一种页面的加载方法、装置和系统
CN112637361B (zh) 一种页面代理方法、装置、电子设备及存储介质
CN101382947A (zh) 在页面中确定点击分布信息的方法和装置
CN111177519B (zh) 网页内容获取方法、装置、存储介质及设备
WO2020207022A1 (zh) 基于Scrapy的数据爬取方法、系统、终端设备及存储介质
US20170111431A1 (en) Methods for transforming a server side template into a client side template and devices thereof
CN106126693A (zh) 一种网页的相关数据的发送方法及装置
CN102663074B (zh) 一种搜索结果页面中链接的连接方法及装置
CN106446617A (zh) 一种具有源文件保护功能的静态页面访问方法
CN104615597B (zh) 浏览器中清除缓存文件的方法、装置和系统
CN109213824A (zh) 数据抓取系统、方法和装置
CN103347069A (zh) 网络访问的实现方法及装置
CN110321510A (zh) 页面渲染方法和系统
CN105930385A (zh) 一种数据爬取方法及系统
CN103631926B (zh) 一种搜索结果页面中链接的连接方法及装置
CN112612943A (zh) 一种基于异步处理框架的具有自动测试功能的数据爬取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191203