CN109815387B - 一种基于脚本的网页采集服务方法和系统 - Google Patents

Abstract

本发明涉及一种基于脚本的网页采集服务方法和系统，包括：客户端，服务前端和服务执行单元，服务执行单元处理服务请求的过程包括：根据脚本队列中采集脚本的顺序，调度脚本队列中位于队首的采集脚本作为执行脚本；解释执行执行脚本，当执行脚本执行到调用函数时，判断调用函数是否为采集函数，若是，则将采集网页的任务发给网页采集模块，对执行脚本指定的网址进行网页采集处理，得到网址的网页信息作为采集函数的返回值，否则执行调用函数调用的功能，并将执行结果作为调用函数的返回值。由此本发明可通过调用服务的方式处理复杂的网页采集任务，适应性更强。

Description

一种基于脚本的网页采集服务方法和系统

技术领域

本发明涉及互联网采集领域，特别涉及一种基于脚本的网页采集服务方法和系统。

背景技术

随着互联网的不断发展和演化，出现了各种新闻、论坛、微博等各种各样的网站，满足了人们各种不同的需求。出于搜索、监管等多方面需求，需要将其中的主要数据采集下来。例如：

1.新闻的数据：如新闻的标题、正文和发布时间等；

2.新闻评论的数据：如新闻评论的正文、作者和发布时间等；

3.论坛帖子及其跟帖的数据：如作者，版面，正文和发布时间等。

因此每个网站某种数据的采集功能一般包括采集网页和抽取两种功能，此外还有字符集转换等外围功能。

针对以上的采集需求，以往研发者提出了各种方法进行采集，在开发过程中会总结网站的规律，并根据规律对某种网站开发一套专用的采集程序，该采集程序使用一套统一的处理流程来完成采集。

如上方法可以解决常见问题，但在采集和抽取过程中，由于网站的多样性，如果采用这样的统一的处理流程会有一些弊端：

1.各个网站、各种数据的采集和抽取流程不同，尤其对于新闻评论的这种较复杂的采集，各个网站的采集方法有很大的不同；

2.例外网站的问题。如果某类网站的大部分采集需求都可以通过某个采集抽取流程来处理，但对于新出现的网站，有可能不能纳入到该流程中，需要修改流程来处理，这种方式会导致程序的复杂度提高，难以维护，而且还不能保证后续的采集需求得到满足。

3.开发速度。如果采用单独开发的方式解决这种需求，会导致开发速度的下降和维护成本的增加。

现有技术中方法大多是针对固定的采集流程设计的，比如采集新闻，一般要经历4个步骤：

1.采集板块页面；

2.抽取出新闻链接；

3.采集新闻网页；

4.抽取出相应数据。

这样存在的问题包括：

1.如果某类网站数据(例如新闻评论)没有固定的采集流程，就不能采用该程序采集。

2.即使某类网站大多数网站都存在着某种流程，还是不能保证未来不出现例外的情况和特殊的版面。

3.如果采用单独开发的方式来解决，会导致开发速度的下降。

发明内容

本发明的主要目的是为了解决如上问题，提出基于脚本的采集服务的方法。

具体地说，本发明公开了一种基于脚本的网页采集服务方法，包括：设置客户端，生成采集脚本作为服务请求；设置服务前端，接收并将该服务请求转发给服务执行单元，该服务执行单元处理该服务请求，并返回处理结果至该客户端，其中

该服务执行单元处理该服务请求的过程包括：

步骤1、将服务请求中该采集脚本加入待执行的脚本队列；

步骤2、根据该脚本队列中采集脚本的顺序，调度该脚本队列中位于队首的采集脚本作为执行脚本；

步骤3、解释执行该执行脚本，当该执行脚本执行到调用函数时，判断该调用函数是否为采集函数，若是，则执行步骤4，否则执行步骤5；

步骤4、将采集网页的任务发给网页采集模块，对该执行脚本指定的网址进行网页采集处理，得到该网址的网页信息作为该采集函数的返回值，执行步骤6；

步骤5、执行该调用函数调用的功能，并将执行结果作为该调用函数的返回值，执行步骤6；

步骤6、返回该步骤3继续解释执行该执行脚本，直到该执行脚本执行完毕，得到该执行脚本的执行结果。

所述的基于脚本的网页采集服务方法，其中该步骤4还包括：对该执行脚本进行网页采集处理时，挂起该执行脚本形成挂起脚本，同时保存该挂起脚本的执行状态，调度该脚本队列中位于队首的采集脚本作为执行脚本执行该步骤3，直到该挂起脚本的网页采集处理完成，恢复该挂起脚本形成恢复脚本，并将该恢复脚本作为采集脚本重新插入该脚本队列的队尾等待执行。

所述的基于脚本的网页采集服务方法，其中该步骤3包括：判断该执行脚本是否为恢复脚本，若是则读取该恢复脚本的执行状态，继续解释执行该恢复脚本。

所述的任意一种基于脚本的网页采集服务方法，其中步骤5中所调用的功能包括：网页抽取、正则匹配、字符串处理和/或字符集转换。

所述的任意一种基于脚本的网页采集服务方法，其中该脚本队列包括基于脚本语言编写的采集脚本，该脚本语言为lua语言。

本发明还公开了一种基于脚本的网页采集服务系统，包括：客户端，生成采集脚本作为服务请求；服务前端，接收并将该服务请求转发给服务执行单元，该服务执行单元处理该服务请求，并返回处理结果至该客户端，其中

该服务执行单元包括：

模块1、将服务请求中该采集脚本加入待执行的脚本队列；

模块2、根据该脚本队列中采集脚本的顺序，调度该脚本队列中位于队首的采集脚本作为执行脚本；

模块3、解释执行该执行脚本，当该执行脚本执行到调用函数时，判断该调用函数是否为采集函数，若是，则执行模块4，否则执行模块5；

模块4、将采集网页的任务发给网页采集模块，对该执行脚本指定的网址进行网页采集处理，得到该网址的网页信息作为该采集函数的返回值，执行模块6；

模块5、执行该调用函数调用的功能，并将执行结果作为该调用函数的返回值，执行模块6；

模块6、返回该模块3继续解释执行该执行脚本，直到该执行脚本执行完毕，得到该执行脚本的执行结果。

所述的基于脚本的网页采集服务系统，其中该模块4还包括：对该执行脚本进行网页采集处理时，挂起该执行脚本形成挂起脚本，同时保存该挂起脚本的执行状态，调度该脚本队列中位于队首的采集脚本作为执行脚本执行该模块3，直到该挂起脚本的网页采集处理完成，恢复该挂起脚本形成恢复脚本，并将该恢复脚本作为采集脚本重新插入该脚本队列的队尾等待执行。

所述的基于脚本的网页采集服务系统，其中该模块3包括：判断该执行脚本是否为恢复脚本，若是则读取该恢复脚本的执行状态，继续解释执行该恢复脚本。

所述的任意一种基于脚本的网页采集服务系统，其中模块5中所调用的功能包括：网页抽取、正则匹配、字符串处理和/或字符集转换。

所述的任意一种基于脚本的网页采集服务系统，其中该脚本队列包括基于脚本语言编写的采集脚本，该脚本语言为lua语言。

本发明总的技术效果包括：

使用该服务后，采集器可以通过调用服务的方式处理较为复杂的问题，对特殊的情况也可以进行很好的处理，同时由于采用多脚本并发的方式，采集速度很快。

附图说明

图1为内部模块图；

图2为脚本执行状态转移图；

图3为采集服务图。

具体实施方式

本发明根据采集开发的特点，把问题转换成一个通用的脚本解释服务问题：1.根据不同的采集需求，使用不同基于轻量化脚本语言lua的采集脚本，lua脚本解释器负责解释该采集脚本。2.一些单独开发的功能，将开发的模块(如抽取)以应用程序编程接口API方式提供给lua采集脚本调用。3.在脚本解释器内部，采用多个脚本并发执行的模式，并针对采集的特点进行了性能优化。4.提供服务接口。这样，每种采集流程都可以使用轻量化脚本语言lua来表达，系统可以同时支持各种不同流程，而且不同的采集流程之间相互隔离，便于维护。

具体地说，本发明用于为客户端提供和网页采集相关的服务，例如基于网页采集的抽取、正则匹配和字符串处理等。本发明提供的基于脚本的网页采集服务方法，包括：设置客户端，生成采集脚本作为服务请求；设置服务前端，接收并将该服务请求转发给服务执行单元，该服务执行单元处理该服务请求，并返回处理结果至该客户端，其中

该服务执行单元处理该服务请求的过程包括：

步骤1、将服务请求中该采集脚本加入待执行的脚本队列；

步骤2、根据该脚本队列中采集脚本的顺序，调度该脚本队列中位于队首的采集脚本作为执行脚本；

步骤3、解释执行该执行脚本，当该执行脚本执行到调用函数时，判断该调用函数是否为采集函数，若是，则执行步骤4，否则执行步骤5；

步骤4、将采集网页的任务发给网页采集模块，对该执行脚本指定的网址进行网页采集处理，得到该网址的网页信息作为该采集函数的返回值，执行步骤6；

步骤5、执行该调用函数调用的功能，并将执行结果作为该调用函数的返回值，执行步骤6；

步骤6、返回该步骤3继续解释执行该执行脚本，直到该执行脚本执行完毕，得到该执行脚本的执行结果。

所述的基于脚本的网页采集服务方法，其中该步骤4还包括：对该执行脚本进行网页采集处理时，挂起该执行脚本形成挂起脚本，同时保存该挂起脚本的执行状态，调度该脚本队列中位于队首的采集脚本作为执行脚本执行该步骤3，直到该挂起脚本的网页采集处理完成，恢复该挂起脚本形成恢复脚本，并将该恢复脚本作为采集脚本重新插入该脚本队列的队尾等待执行。

所述的基于脚本的网页采集服务方法，其中该步骤3包括：判断该执行脚本是否为恢复脚本，若是则读取该恢复脚本的执行状态，继续解释执行该恢复脚本。

本发明采用脚本语言作为采集的描述语言，提供了描述单个采集任务的方法。其中单个任务是指系统面向应用的一个“原子”任务，比如采集某个论坛版块，或者采集某个博客。构建语言脚本的服务化执行引擎，能够执行关键点1的语言脚本，且该执行引擎中的每个进程能同时并发执行上百个脚本。脚本执行时遇到采集网页操作时挂起，再执行其他脚本，在采集完成时恢复执行。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

脚本执行引擎的实现。如图1所示，现将各个模块的详细功能介绍如下：

1.并发采集模块。使用curl采集网页信息，采用单独的线程，使用异步采集的方法，可以不停的并发采集多个网页。

2.调度模块。由于系统同时解释多个lua脚本，如图2所示，每个脚本的状态可以分为：未导入状态、等待状态、采集网页状态、运行状态、运行成功、运行失败。

当一个脚本传输给服务时，是未导入状态，当服务程序加载该脚本后，转换成等待运行状态；调度模块调度该脚本运行时，转成运行状态；当脚本执行到采集网页语句时，转入采集网页状态，执行引擎将其挂起，由并发采集模块负责采集，采集完成后重新转入等待运行状态，调度模块调度运行该脚本时转入运行状态；当脚本执行到运行结束，转成运行成功状态；当脚本运行出错，转成运行出错状态。

3.脚本执行模块。调用lua解释器和API调用模块，对脚本进行解析执行。在执行过程中，如果要进行采集操作，将脚本执行状态和上下文进行保存，通知调度模块发下一个任务；如果解释结束或出错，通知调度模块发下一个任务。

4.API调用模块。该模块内置了抽取、正则匹配和字符串处理等算法，可以在lua脚本中以函数方式调用。例如，可以使用lua的API函数ExtractText来调用抽取功能。

5.事件收集模块。该模块负责收集相关的事件信息，例如采集失败等。

脚本执行服务实现。如图3所示，实现了一个脚本执行单元，本步骤将其转换成服务形式，为了支持分布式，设置一个服务前端，负责接收采集服务请求，接收后，将服务请求转发给一个服务执行单元(一个进程)处理，处理完毕后返回结果给客户端。

客户端可以用curl等工具完成调用，也可以使用各种编程语言进行调用。

上述技术方案还可拓展为多种实施例，例如客户端可具体为一种手机应用或小程序或网络站点，当用户输入采集需求，该应用或小程序或网络站点可自动将其翻译为采集脚本发往服务前端；网页采集服务方法中还可设置付费模块，用于当服务执行单元产生执行结果时，仅向客户端返回该执行结果中的部分内容，并在客户端显示付费以得到该执行结果的全部内容。由此通过应用或小程序或网络站点可更加便利的实现网页采集服务，通过付费模块实现服务方的盈利。

以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还公开了一种基于脚本的网页采集服务系统，包括：客户端，生成采集脚本作为服务请求；服务前端，接收并将该服务请求转发给服务执行单元，该服务执行单元处理该服务请求，并返回处理结果至该客户端，其中

该服务执行单元包括：

模块1、将服务请求中该采集脚本加入待执行的脚本队列；

模块2、根据该脚本队列中采集脚本的顺序，调度该脚本队列中位于队首的采集脚本作为执行脚本；

模块3、解释执行该执行脚本，当该执行脚本执行到调用函数时，判断该调用函数是否为采集函数，若是，则执行模块4，否则执行模块5；

模块4、将采集网页的任务发给网页采集模块，对该执行脚本指定的网址进行网页采集处理，得到该网址的网页信息作为该采集函数的返回值，执行模块6；

模块5、执行该调用函数调用的功能，并将执行结果作为该调用函数的返回值，执行模块6；

模块6、返回该模块3继续解释执行该执行脚本，直到该执行脚本执行完毕，得到该执行脚本的执行结果。

所述的基于脚本的网页采集服务系统，其中该模块4还包括：对该执行脚本进行网页采集处理时，挂起该执行脚本形成挂起脚本，同时保存该挂起脚本的执行状态，调度该脚本队列中位于队首的采集脚本作为执行脚本执行该模块3，直到该挂起脚本的网页采集处理完成，恢复该挂起脚本形成恢复脚本，并将该恢复脚本作为采集脚本重新插入该脚本队列的队尾等待执行。

所述的基于脚本的网页采集服务系统，其中该模块3包括：判断该执行脚本是否为恢复脚本，若是则读取该恢复脚本的执行状态，继续解释执行该恢复脚本。

所述的任意一种基于脚本的网页采集服务系统，其中模块5中所调用的功能包括：网页抽取、正则匹配、字符串处理和/或字符集转换。

所述的任意一种基于脚本的网页采集服务系统，其中该脚本队列包括基于脚本语言编写的采集脚本，该脚本语言为lua语言。

Claims (8)

1.一种基于脚本的网页采集服务方法，包括：设置客户端，生成采集脚本作为服务请求；设置服务前端，接收并将该服务请求转发给服务执行单元，该服务执行单元处理该服务请求，并返回处理结果至该客户端，其特征在于，

该服务执行单元处理该服务请求的过程包括：

步骤1、将服务请求中该采集脚本加入待执行的脚本队列；

步骤2、根据该脚本队列中采集脚本的顺序，调度该脚本队列中位于队首的采集脚本作为执行脚本；

步骤3、解释执行该执行脚本，当该执行脚本执行到调用函数时，判断该调用函数是否为采集函数，若是，则执行步骤4，否则执行步骤5；

步骤4、将采集网页的任务发给网页采集模块，对该执行脚本指定的网址进行网页采集处理，得到该网址的网页信息作为该采集函数的返回值，执行步骤6；

步骤5、执行该调用函数调用的功能，并将执行结果作为该调用函数的返回值，执行步骤6；

步骤6、返回该步骤3继续解释执行该执行脚本，直到该执行脚本执行完毕，得到该执行脚本的执行结果；

该步骤4还包括：对该执行脚本进行网页采集处理时，挂起该执行脚本形成挂起脚本，同时保存该挂起脚本的执行状态，调度该脚本队列中位于队首的采集脚本作为执行脚本执行该步骤3，直到该挂起脚本的网页采集处理完成，恢复该挂起脚本形成恢复脚本，并将该恢复脚本作为采集脚本重新插入该脚本队列的队尾等待执行。

2.如权利要求1所述的基于脚本的网页采集服务方法，其特征在于，该步骤3包括：判断该执行脚本是否为恢复脚本，若是则读取该恢复脚本的执行状态，继续解释执行该恢复脚本。

3.如权利要求1-2所述的任意一种基于脚本的网页采集服务方法，其特征在于，步骤5中所调用的功能包括：网页抽取、正则匹配、字符串处理和/或字符集转换。

4.如权利要求1-2所述的任意一种基于脚本的网页采集服务方法，其特征在于，该脚本队列包括基于脚本语言编写的采集脚本，该脚本语言为lua语言。

5.一种基于脚本的网页采集服务系统，包括：客户端，生成采集脚本作为服务请求；服务前端，接收并将该服务请求转发给服务执行单元，该服务执行单元处理该服务请求，并返回处理结果至该客户端，其特征在于，

该服务执行单元包括：

模块1、将服务请求中该采集脚本加入待执行的脚本队列；

模块2、根据该脚本队列中采集脚本的顺序，调度该脚本队列中位于队首的采集脚本作为执行脚本；

模块3、解释执行该执行脚本，当该执行脚本执行到调用函数时，判断该调用函数是否为采集函数，若是，则执行模块4，否则执行模块5；

模块4、将采集网页的任务发给网页采集模块，对该执行脚本指定的网址进行网页采集处理，得到该网址的网页信息作为该采集函数的返回值，执行模块6；

模块5、执行该调用函数调用的功能，并将执行结果作为该调用函数的返回值，执行模块6；

模块6、返回该模块3继续解释执行该执行脚本，直到该执行脚本执行完毕，得到该执行脚本的执行结果；

该模块4还包括：对该执行脚本进行网页采集处理时，挂起该执行脚本形成挂起脚本，同时保存该挂起脚本的执行状态，调度该脚本队列中位于队首的采集脚本作为执行脚本执行该模块3，直到该挂起脚本的网页采集处理完成，恢复该挂起脚本形成恢复脚本，并将该恢复脚本作为采集脚本重新插入该脚本队列的队尾等待执行。

6.如权利要求5所述的基于脚本的网页采集服务系统，其特征在于，该模块3包括：判断该执行脚本是否为恢复脚本，若是则读取该恢复脚本的执行状态，继续解释执行该恢复脚本。

7.如权利要求5-6所述的任意一种基于脚本的网页采集服务系统，其特征在于，模块5中所调用的功能包括：网页抽取、正则匹配、字符串处理和/或字符集转换。

8.如权利要求5-6所述的任意一种基于脚本的网页采集服务系统，其特征在于，该脚本队列包括基于脚本语言编写的采集脚本，该脚本语言为lua语言。

Images