CN110471887A - 一种获取网页内容渲染文件的方法及装置 - Google Patents

Abstract

本发明公开了一种获取网页内容渲染文件的方法及装置，应用于chrome浏览器，方法包括：预先安装捕获渲染文件的捕获工具；开启捕获工具，进入需要访问的网页；获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件。本发明实施例可保证数据完整性，获取所有相关文件，无缺失；操作便捷；借助chrome开发者平台，进行捕获暗暗行情开发，开发简单，为用户获取网页目标内容的渲染文件带来了方便。

Description

一种获取网页内容渲染文件的方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种获取网页内容渲染文件的方法及装置。

背景技术

网络的飞速发展，使互联网成为大量重要信息的载体。人们有时需要从网页内容中提取信息。

现有技术中从网页内容中提取信息的方法为：打开浏览器，进入开发者模式，点击页面关注的内容，经过层层解析获取该部分内容在加载渲染过程中相关的css，js,图片，音乐，视频等文件，并一一进行记录，保存，再从中提取关键信息。其中css是层叠样式表，是对网页最终呈现的内容。其中js是javascript的缩写，用来给HTML网页增加动态功能。

但现有技术中的网页内容中的渲染文件获取方法需要花费大量时间找出页面需要解析部分的所有关联文件，而且提取方法受操作人员技术制约，因操作人员的技术水平不同，可能出现关联缺失和错误的情形，导致找不到关键信息。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种获取网页内容渲染文件的方法及装置，旨在解决现有技术中网页内容中的渲染文件获取方法需要花费大量时间找出页面需要解析部分的所有关联文件，而且提取方法受操作人员技术制约，因操作人员的技术水平不同，可能出现关联缺失和错误的情形，导致找不到关键信息的问题。

本发明的技术方案如下：

一种获取网页内容渲染文件的方法，应用于chrome浏览器，所述方法包括：

预先安装捕获渲染文件的捕获工具；

开启捕获工具，进入需要访问的网页；

获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件。

可选地，所述预先安装捕获渲染文件的捕获工具，包括：

预先在chrome浏览器中安装捕获渲染文件的捕获插件。

可选地，所述获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件，包括：

捕获插件打开chrome浏览器的开发者工具，开启选取页面元素功能；

获取鼠标点击的网页上的目标信息，捕获插件在开发者工具的获取css文件和js文件。

可选地，所述预先安装捕获渲染文件的捕获工具，包括：

预先安装捕获渲染文件的抓包工具。

可选地，所述获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件，包括：

获取网页上的目标信息，对目标信息进行关键字提取；

根据抓包工具拦截网页页面呈现的所有渲染文件；

根据关键字对所有渲染文件进行搜索，获取目标信息对应在渲染过程中的所有渲染文件。

可选地，所述捕获工具为获取所有页面内容的捕获程序；

所述获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件，包括：

获取网页上的目标信息，对目标信息进行关键字提取；

将网页的所有内容保存至本地文件夹，将文件夹导入捕获程序；

捕获程序分别打开所有文件，在每个文件中根据关键字进行搜索，获取目标信息在渲染过程中的所有渲染文件。

可选地，所述获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件后，还包括：

将目标信息在渲染过程中的所有渲染文件存储至指定路径。

本发明的另一实施例提供了一种获取网页内容渲染文件的装置，所述装置包括至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的获取网页内容渲染文件的方法。

本发明的另一实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的获取网页内容渲染文件的方法。

本发明的另一种实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被处理器执行时，使所述处理器执行上述的获取网页内容渲染文件的方法。

有益效果：本发明公开了一种获取网页内容渲染文件的方法及装置，相比于现有技术，本发明实施例可保证数据完整性，获取所有相关文件，无缺失；操作便捷；借助chrome开发者平台，进行捕获暗暗行情开发，开发简单，为用户获取网页目标内容的渲染文件带来了方便。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明一种获取网页内容渲染文件的方法较佳实施例的流程图；

图2为本发明一种获取网页内容渲染文件的装置的较佳实施例的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下结合附图对本发明实施例进行介绍。

本发明实施例提供了一种获取网页内容渲染文件的方法。获取网页内容渲染文件的方法应用于chrome浏览器，请参阅图1，图1为本发明一种获取网页内容渲染文件的方法较佳实施例的流程图。如图1所示，其包括步骤：

步骤S100、预先安装捕获渲染文件的捕获工具；

步骤S200、开启捕获工具，进入需要访问的网页；

步骤S300、获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件。

具体实施时，预先在chrome浏览器安装捕获渲染文件的捕获工具；其中捕获工具为插件、抓包工具或是具有捕获功能的捕获程序。以安装好捕获工具后，开启捕获工具，进入需要访问的网页；获取网页上的目标信息，捕获工具对目标信息在渲染过程中的所有渲染文件进行捕获。本发明实施例中网页的网页格式为html格式，其中html是超文本标识语言，不是一种编程语言，而是一种标记语言，是网页制作所必备的。

以捕获工具为插件为例，在chrome浏览器安装相关插件；开启插件；刷新或者打开需要访问的网页，等待网页完全加载；鼠标点击网页上需要的目标信息，例如一张图片或者文章等；插件的对话框中自动弹出目标信息在渲染过程所有的相关文件。

在进一步地实施例中，预先安装捕获渲染文件的捕获工具，包括：

预先在chrome浏览器中安装捕获渲染文件的捕获插件。

具体实施时，预先在chrome浏览器中安装相关捕获插件，捕获插件为可自动捕获渲染文件的插件。

打开需要访问的网页，等待网页完全加载，F12打开浏览器的开发者工具，同时点击键盘ctrl+shift+c开启选取页面元素功能；鼠标点击需要关注的页面内容，在开发者工具的elments界面的styles页面获取css文件，在elments界面的sevent listeners页面获取js文件，如果点击的是图片、音频文件，则直接在elments界面的标签中获取链接，插件的实现方式是借助chrome浏览器的开发者工具，将上述过程自动实现，并通过爬虫技术对图片、音频等进行下载保存。

进一步地，获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件，包括：

捕获插件打开chrome浏览器的开发者工具，开启选取页面元素功能；

获取鼠标点击的网页上的目标信息，捕获插件在开发者工具的获取css文件和js文件。

具体实施时，基于插件获取目标信息在渲染过程的所有渲染文件的具体实施流程为打开chrome浏览器，安装插件，打开插件工具栏；访问目标网站；等待网站内容加载完成；鼠标点击需要分析页面内容；插件工具栏显示所有相关的文件，并在工具栏中给出是否下载到本地选项；结束。用户可要所需要将文件下载到本地，或不做任何处理。

在一些其他的实施例中，预先安装捕获渲染文件的捕获工具，包括：

预先安装捕获渲染文件的抓包工具。

具体实施时，可预先在终端中安装抓包工具，抓包工具可实现对网页上的所有渲染文件进行抓取。用户可根据目标信息在，所有相关文件中获取目标信息所对应的渲染文件。抓包工具可采用Fiddler或wireshark，Fiddler是在windows上运行的程序，专门用来捕获HTTP，HTTPS的。wireshark能获取HTTP，也能获取HTTPS，但是不能解密HTTPS，所以wireshark看不懂HTTPS中的内容。总结，如果是处理HTTP,HTTPS还是用Fiddler,其他协议比如TCP,UDP就用wireshark。因此优选地，本发明实施例中采用Fiddler抓包工具。

进一步地，当捕获工具为抓包工具时，获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件，包括：

获取网页上的目标信息，对目标信息进行关键字提取；

根据抓包工具拦截网页页面呈现的所有渲染文件；

根据关键字对所有渲染文件进行搜索，获取目标信息对应在渲染过程中的所有渲染文件。

具体实施时，借助抓包工具，手动搜索目标信息，获取相关文件，打开抓包工具，如fiddler，开启抓包；浏览网页，抓包工具界面会拦截获取页面呈现所需的所有文件，手动输入关键字进行搜索，获取相关文件。当启动fiddler，程序将会把自己作为一个代理，所以的http请求在达到目标服务器之前都会经过fiddler，同样的，所有的http响应都会在返回客户端之前流经fiddler。Fiddler可以抓取支持http代理的任意程序的数据包，如果要抓取https会话，要先安装证书。Fiddler是以代理web服务器的形式工作的,它使用代理地址:127.0.0.1,端口:8888.当Fiddler会自动设置代理，退出的时候它会自动注销代理，这样就不会影响别的程序。

进一步地，捕获工具为获取所有页面内容的捕获程序；

所述获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件，包括：

获取网页上的目标信息，对目标信息进行关键字提取；

将网页的所有内容保存至本地文件夹，将文件夹导入捕获程序；

捕获程序分别打开所有文件，在每个文件中根据关键字进行搜索，获取目标信息在渲染过程中的所有渲染文件。

具体实施时，将整个页面的内容保存到本地电脑，将文件夹导入可能的程序，程序是需要单独开发，手动搜索目标信息，获取相关文件，打开网页，使用键盘点击ctrl+s,保存整个页面所有页面到文件夹，文件夹导入程序，程序分开打开所有文件，在每个页面中根据关键字进行搜索，获取相关文件。

进一步地，获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件后，还包括：

将目标信息在渲染过程中的所有渲染文件存储至指定路径。

具体实施时，用户可选择性获取到的目标信息在渲染过程中的所有渲染文件保存到本地电脑的指定路径，保存到指定路径有利于对文件进行分类和查找。数据完整性，获取所有相关文件，无缺失；可将相关文件，保存到本地电脑指定位置；操作便捷。

由以上方法实施例可知，本发明提供了一种获取网页内容渲染文件的方法，应用于chrome浏览器，方法包括：：预先安装捕获渲染文件的捕获工具；开启捕获工具，进入需要访问的网页；获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件。本发明实施例可保证数据完整性，获取所有相关文件，无缺失；操作便捷；借助chrome开发者平台，进行捕获暗暗行情开发，开发简单，为用户获取网页目标内容的渲染文件带来了方便。

需要说明的是，在上述各个实施例中，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，变可以交换执行等等。

本发明另一实施例提供一种获取网页内容渲染文件的装置，如图2所示，装置10包括：

一个或多个处理器110以及存储器120，图2中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图2中以通过总线连接为例。

处理器110用于完成，装置10的各种控制逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(Acorn RISCMachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或任何其它这种配置。

存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的获取网页内容渲染文件的方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行装置10的各种功能应用以及数据处理，即实现上述方法实施例中的获取网页内容渲染文件的方法。

存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储根据装置10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至装置10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，执行上述任意方法实施例中的获取网页内容渲染文件的方法，例如，执行以上描述的图1中的方法步骤S100至步骤S300。

本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤S100至步骤S300。

作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(RAM)。通过说明丽非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。

本发明的另一种实施例提供了一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使所述处理器执行上述方法实施例的获取网页内容渲染文件的方法。例如，执行以上描述的图1中的方法步骤S100至步骤S300。

以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存在于计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分的方法。

除了其他之外，诸如"能够'、"能"、"可能"或"可以"之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地不旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个或多个实施方式必须包括用于在有或没有学生输入或提示的情况下判定这些特征、元件和/或操作是否被包括或者将在任何特定实施方式中被执行的逻辑。

已经在本文中在本说明书和附图中描述的内容包括能够提供获取网页内容渲染文件的方法及装置的示例。当然，不能够出于描述本公开的各种特征的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下能够对本公开做出各种修改。此外，或在替代方案中，本公开的其他实施例从对本说明书和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明书和附图中所提出的示例在所有方面被认为是说明性的而非限制性的。尽管在本文中采用了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。

Claims (10)

1.一种获取网页内容渲染文件的方法,其特征在于,应用于chrome浏览器，所述方法包括：

预先安装捕获渲染文件的捕获工具；

开启捕获工具，进入需要访问的网页；

获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件。

2.根据权利要求1所述的获取网页内容渲染文件的方法，其特征在于，所述预先安装捕获渲染文件的捕获工具，包括：

预先在chrome浏览器中安装捕获渲染文件的捕获插件。

3.根据权利要求2所述获取网页内容渲染文件的方法，其特征在于，所述获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件，包括：

捕获插件打开chrome浏览器的开发者工具，开启选取页面元素功能；

获取鼠标点击的网页上的目标信息，捕获插件在开发者工具的获取css文件和js文件。

4.根据权利要1所述的获取网页内容渲染文件的方法，其特征在于，所述预先安装捕获渲染文件的捕获工具，包括：

预先安装捕获渲染文件的抓包工具。

5.根据权利要求4所述的获取网页内容渲染文件的方法，其特征在于，所述获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件，包括：

获取网页上的目标信息，对目标信息进行关键字提取；

根据抓包工具拦截网页页面呈现的所有渲染文件；

根据关键字对所有渲染文件进行搜索，获取目标信息对应在渲染过程中的所有渲染文件。

6.根据权利要求1所述的获取网页内容渲染文件的方法，其特征在于，所述捕获工具为获取所有页面内容的捕获程序；

所述获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件，包括：

获取网页上的目标信息，对目标信息进行关键字提取；

将网页的所有内容保存至本地文件夹，将文件夹导入捕获程序；

捕获程序分别打开所有文件，在每个文件中根据关键字进行搜索，获取目标信息在渲染过程中的所有渲染文件。

7.根据权利要求1所述的获取网页内容渲染文件的方法，其特征在于，所述获取网页上的目标信息，根据捕获工具获取目标信息在渲染过程中的所有渲染文件后，还包括：

将目标信息在渲染过程中的所有渲染文件存储至指定路径。

8.一种获取网页内容渲染文件的装置，其特征在于，所述装置包括至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的获取网页内容渲染文件的方法。

9.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-7任一项所述的获取网页内容渲染文件的方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被处理器执行时，使所述处理器执行权利要求1-7任一项所述的获取网页内容渲染文件的方法。