CN111274519A - 一种页面加载提速方法 - Google Patents

Abstract

本发明提供了一种页面加载提速方法，其特征在于，包括：接收启动浏览器指令；接收配置指令，配置根节点下页面节点列表；接收初始化流程节点列表索引指令；接收自定义任务片段列表；接收检验配置指令，检验根节点下节点列表的配置状态；其中，在接收自定义任务片段列表中，对任务实例配置资源黑名单或资源白名单的路径规则，本发明减少爬虫的网络带宽占用、页面渲染时间和单个网页的内存占用的问题。

Description

一种页面加载提速方法

技术领域

本发明涉及爬虫领域，尤其涉及一种页面加载提速方法。

背景技术

传统爬虫技术是基于指定HTTP协议URL的单个请求处理，无法渲染HTML内容中的样式与脚本内容，并且当采集对象发生变化时需要编程开发人员修改爬虫代码的解析逻辑；现有已知基于浏览器的爬虫实现会渲染网页的完整内容，当网页内容出现大量与视频时也加大了内容的渲染时间和单个页面的内存占用。因此，亟需减少爬虫的网络带宽占用、页面渲染时间和单个网页的内存占用。

发明内容

本发明提供了一种页面加载提速方法，主要减少爬虫的网络带宽占用、页面渲染时间和单个网页的内存占用的问题。

本发明提供了一种页面加载提速方法，其特征在于，包括：接收启动浏览器指令；接收配置指令，配置根节点下页面节点列表；接收初始化流程节点列表索引指令；接收自定义任务片段列表；接收检验配置指令，检验根节点下节点列表的配置状态；其中，在接收自定义任务片段列表中，对任务实例配置资源黑名单或资源白名单的路径规则。

优选地，在接收初始化流程节点列表索引指令之后，包括：接收查找流程节点指令；接收初始化逻辑节点列表索引指令；接收查找逻辑节点指令；接收检验模式指令，检验模式为HTML元素的存在，当模式为HTML元素存在，检验逻辑成立状态。

优选地，在接收检验模式指令之后，当模式为HTML元素不存在时，结束进程。

优选地，在接收检验模式指令，检验模式为HTML元素的存在，当模式为HTML元素存在，检验逻辑成立状态之后，还包括接收执行逻辑节点预定义指令。

优选地，在接收查找逻辑节点指令之后，包括步骤如下：接收定义任务片段列表指令；初始化所述任务片段；接收判断任务片段指令。

优选地，接收逻辑节点预定义指令，包括如下至少之一：接收重启浏览器指令，用于释放浏览器内核长时间无法自动释放的内存资源；接收结束指令，结束所述任务片段的执行，进入下一任务片段；接收移动任务片段列表的指针指令；接收跳过指令，执行下一个流程节点。

优选地，接收判断任务片段指令，还包括步骤如下：当所述任务片段存在，所述流程节点是页面节点时，则需要读取所述页面中HTML内容保存到数据库；当所述任务片段存在，所述流程节点不是页面节点时，则执行控件行为。

优选地，所述执行控件行为，包括如下至少之一：文本输入指令，用于修改输入文本的HTML元素值；复选框指令，用于修改checkbox元素的值；单选框指令，用于修改radiobutton元素的值；下拉框指令，用于修改select元素的值；一般文本显示HTML元素指令，用于获取与修改HTML元素的innerText内容；HTML属性修改与读取控件指令，用于获取与修改所有HTML元素的节点属性；可点击控件指令，用于触发任意HTML元素的点击事件；URL跳转控件指令，用于操控浏览器的地址栏修改，跳转到新页面；JS脚本执行控件指令，用于在所述页面中执行javascript脚本；图片控件指令，用于获取与修改网页中的image元素显示图像；验证码图像控件指令，将验证码与普通图片区分开来用于特殊场景的处理；刷新验证码控件指令；WINDOWS事件消息触发控件指令，用于从WINDOWS事件消息机制层面去触发鼠标点击以及滚动事件；单个HTTP请求发起控件指令，在进程中单独对URL地址发起请求，COOKIE信息与浏览器保持同步，用于特定HTTP地址纯文本内容的HTTP请求。

本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述页面加载提速方法。

本发明提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行上述页面加载提速方法的计算机程序。

本发明的有益效果如下：

1.实现本发明本地HTTP代理服务功能，通过黑名单与白名单机制过滤图像与视频资源的远端下载请求，本地直接响应1字节资源内容或响应HTTP404代码，以减少爬虫的网络带宽占用、页面渲染时间和单个网页的内存占用；

2.任务调度控制终端与浏览器做进程分离，一个控制终端可同时操控多个浏览器多路执行采集任务，充分利用单台计算机的硬件资源；

3.任务调度控制终端与浏览器做进程分离，一个控制终端可同时操控多个浏览器多路执行采集任务，充分利用单台计算机的硬件资源，采集任务可切片化，可实现分布式采集。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例提供的一种页面加载提速方法示意图；

图2是根据本发明实施例提供的一种页面加载提速方法流程图。

具体实施例

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要明确的是，逻辑节点中可以包含多个条件，按照顺序逐个执行判断，当有一个条件满足时就会执行相应逻辑下的操作；校验模式属性指定条件表达式的执行模式；校验表达式属性指定条件表达式；其中，条件主要有3种判断模式:判断指定HTML元素存在，校验表达式的内容格式与控件节点的控件代码相同，元素存在则执行指定操作；判断指定HTML元素不存在，校验表达式的内容格式同上，元素不存在则执行指定操作；判断运算表达式是否成立，表达式运算结果成立则执行指定操作。

根据本发明实施例，提供了一种页面加载提速方法，主要减少爬虫的网络带宽占用、页面渲染时间和单个网页的内存占用的问题。

本发明提供了一种页面加载提速方法，其特征在于，包括：接收启动浏览器指令；接收配置指令，配置根节点下页面节点列表；接收初始化流程节点列表索引指令；接收自定义任务片段列表；接收检验配置指令，检验根节点下节点列表的配置状态；其中，在接收自定义任务片段列表中，对任务实例配置资源黑名单或资源白名单的路径规则。

需要说明的是，任务片段是指一个爬虫任务要工作的内容参数，就比如要机械的重复的在一个网页中执行搜索工作，这个任务片段就是该任务需要执行的一个待搜索的关键词；在页面节点和控件节点上可以配置一个任务片段列表；任务片段列表可以配置在多个节点上，如果配有任务片段列表的节点有嵌套关系，就可以实现一个流程的嵌套循环。

具体地，图1是根据本发明实施例提供的一种页面加载提速方法示意图，如图1所示，接收启动浏览器指令；接收配置指令，配置根节点下页面节点列表；接收初始化流程节点列表索引指令；接收自定义任务片段列表；接收检验配置指令，检验根节点下节点列表的配置状态；其中，在接收自定义任务片段列表中，对任务实例配置资源黑名单或资源白名单的路径规则。控制终端实现HTTP代理服务功能；在控制终端中可将当前终端的HTTP代理服务设置为指定任务实例所在浏览器进程的代理服务器，从而可针对性的定制该浏览器所执行任务实例下需要过滤与放行的远端图像或视频资源；用户仅需要在控制终端中针对任务实例配置资源黑名单或资源白名单的路径规则，即可达到过滤图像资源加速网页下载与渲染的目的；

在开始执行任务前，设置与爬虫采集任务关联的配置，软件界面上一个多行文本框将多个规则以多行文本形式填入，文本框上方两个单选按钮选择其一，该规则列表为“白名单”还是“黑名单”，在白名单模式下，把所有需要采集访问的页面URL路径规则配置到白名单中，黑名单则会拦截不需要的元素，资源黑名单与资源白名单仅能使用其中一种规则；资源黑名单:可使用*作为通配符，如mirror.abc.com/images/*或*/thumb？src＝*，凡路径符合黑名单匹配规则的资源请求都会被拦截替换为本地资源，不在黑名单规则内的资源将被放行，请求远端资源；资源白名单:可使用*作为通配符，如*.abc.com/userface/*或*/verifycode？t＝*，仅当资源路径符合白名单匹配规则时才请求远端资源，否则将被拦截替换为本地资源。

常规爬虫是使用代码针对性的访问某个路径，在浏览器模式下，浏览器默认会加载网页中所有资源内容，本发明中爬虫采集的主要是内容中的文本数据，设计这个规则主要是过滤掉网页中所有的图片与视频这样的大尺寸资源，不用到远端去下载，以加速网页内容的脚本与样式渲染，更快得到所需的数据。

图2是根据本发明实施例提供的一种页面加载提速方法流程图，如图2所示：

优选地，在接收初始化流程节点列表索引指令之后，包括：接收查找流程节点指令；接收初始化逻辑节点列表索引指令；接收查找逻辑节点指令；接收检验模式指令，检验模式为HTML元素的存在，当模式为HTML元素存在，检验逻辑成立状态。

优选地，在接收检验模式指令之后，当模式为HTML元素不存在时，结束进程。

优选地，在接收检验模式指令，检验模式为HTML元素的存在，当模式为HTML元素存在，检验逻辑成立状态之后，还包括接收执行逻辑节点预定义指令。

优选地，在接收查找逻辑节点指令之后，包括步骤如下：接收定义任务片段列表指令；初始化所述任务片段；接收判断任务片段指令。

优选地，接收逻辑节点预定义指令，包括如下至少之一：接收重启浏览器指令，用于释放浏览器内核长时间无法自动释放的内存资源；接收结束指令，结束所述任务片段的执行，进入下一任务片段；接收移动任务片段列表的指针指令；接收跳过指令，执行下一个流程节点。

优选地，接收判断任务片段指令，还包括步骤如下：当所述任务片段存在，所述流程节点是页面节点时，则需要读取所述页面中HTML内容保存到数据库；当所述任务片段存在，所述流程节点不是页面节点时，则执行控件行为。

优选地，所述执行控件行为，包括如下至少之一：文本输入指令，用于修改输入文本的HTML元素值；复选框指令，用于修改checkbox元素的值；单选框指令，用于修改radiobutton元素的值；下拉框指令，用于修改select元素的值；一般文本显示HTML元素指令，用于获取与修改HTML元素的innerText内容；HTML属性修改与读取控件指令，用于获取与修改所有HTML元素的节点属性；可点击控件指令，用于触发任意HTML元素的点击事件；URL跳转控件指令，用于操控浏览器的地址栏修改，跳转到新页面；JS脚本执行控件指令，用于在所述页面中执行javascript脚本；图片控件指令，用于获取与修改网页中的image元素显示图像；验证码图像控件指令，将验证码与普通图片区分开来用于特殊场景的处理；刷新验证码控件指令；WINDOWS事件消息触发控件指令，用于从WINDOWS事件消息机制层面去触发鼠标点击以及滚动事件；单个HTTP请求发起控件指令，在进程中单独对URL地址发起请求，COOKIE信息与浏览器保持同步，用于特定HTTP地址纯文本内容的HTTP请求。

需要说明的是，控件节点的定义中指定一个控件代码属性设定一个条件表达式以匹配页面中的HTML元素进行需要的操作，该属性值的格式如:name＝"myBtn"$or$data-val％＝"myValue"；使用者可以使用在页面HTML内容中可见或不可见(经脚本运算后在JS中存在的值)的属性来直观的定义该控件节点要操作的控件匹配条件以映射。

本发明实施例还提供一种计算机设备，用以减少爬虫的网络带宽占用、页面渲染时间和单个网页的内存占用的问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述页面加载提速方法。

本发明实施例还提供一种计算机可读存储介质，用以减少爬虫的网络带宽占用、页面渲染时间和单个网页的内存占用的问题，该计算机可读存储介质存储有执行上述页面加载提速方法的计算机程序。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种页面加载提速方法，其特征在于，包括：

接收启动浏览器指令；

接收配置指令，配置根节点下页面节点列表；

接收初始化流程节点列表索引指令；

接收自定义任务片段列表；

接收检验配置指令，检验根节点下节点列表的配置状态；

其中，在接收自定义任务片段列表中，对任务实例配置资源黑名单或资源白名单的路径规则。

2.根据权利要求1所述的一种页面加载提速方法，其特征在于，在接收初始化流程节点列表索引指令之后，包括：

接收查找流程节点指令；

接收初始化逻辑节点列表索引指令；

接收查找逻辑节点指令；

接收检验模式指令，检验模式为HTML元素的存在，当模式为HTML元素存在，检验逻辑成立状态。

3.根据权利要求2所述的一种页面加载提速方法，其特征在于，在接收检验模式指令之后，当模式为HTML元素不存在时，结束进程。

4.根据权利要求2所述的一种页面加载提速方法，其特征在于，在接收检验模式指令，检验模式为HTML元素的存在，当模式为HTML元素存在，检验逻辑成立状态之后，还包括接收执行逻辑节点预定义指令。

5.根据权利要求2所述的一种页面加载提速方法，其特征在于，在接收查找逻辑节点指令之后，包括步骤如下：

接收定义任务片段列表指令；

初始化所述任务片段；

接收判断任务片段指令。

6.根据权利要求4所述的一种页面加载提速方法，其特征在于，接收逻辑节点预定义指令，包括如下至少之一：

接收重启浏览器指令，用于释放浏览器内核长时间无法自动释放的内存资源；

接收结束指令，结束所述任务片段的执行，进入下一任务片段；

接收移动任务片段列表的指针指令；

接收跳过指令，执行下一个流程节点。

7.根据权利要求5所述的一种页面加载提速方法，其特征在于，接收判断任务片段指令，还包括步骤如下：

当所述任务片段存在，所述流程节点是页面节点时，则需要读取所述页面中HTML内容保存到数据库；

当所述任务片段存在，所述流程节点不是页面节点时，则执行控件行为。

8.根据权利要求7所述的一种页面加载提速方法，其特征在于，所述执行控件行为，包括如下至少之一：

文本输入指令，用于修改输入文本的HTML元素值；

复选框指令，用于修改checkbox元素的值；

单选框指令，用于修改radio button元素的值；

下拉框指令，用于修改select元素的值；

一般文本显示HTML元素指令，用于获取与修改HTML元素的innerText内容；

HTML属性修改与读取控件指令，用于获取与修改所有HTML元素的节点属性；

可点击控件指令，用于触发任意HTML元素的点击事件；

URL跳转控件指令，用于操控浏览器的地址栏修改，跳转到新页面；

JS脚本执行控件指令，用于在所述页面中执行javascript脚本；

图片控件指令，用于获取与修改网页中的image元素显示图像；

验证码图像控件指令，将验证码与普通图片区分开来用于特殊场景的处理；

刷新验证码控件指令；

WINDOWS事件消息触发控件指令，用于从WINDOWS事件消息机制层面去触发鼠标点击以及滚动事件；

单个HTTP请求发起控件指令，在进程中单独对URL地址发起请求，COOKIE信息与浏览器保持同步，用于特定HTTP地址纯文本内容的HTTP请求。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一所述的页面加载提速方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至8任一所述的页面加载提速方法的计算机程序。

Images