CN111125478B

CN111125478B - 数据的爬取方法及装置

Info

Publication number: CN111125478B
Application number: CN201811277896.2A
Authority: CN
Inventors: 陆生辉
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2018-10-30
Filing date: 2018-10-30
Publication date: 2023-05-12
Anticipated expiration: 2038-10-30
Also published as: CN111125478A

Abstract

本发明公开了一种数据的爬取方法及装置，涉及爬虫技术领域，提高了数据爬取客户端爬取WebView界面中的数据内容的成功率。本发明的方法包括：当数据爬取模块获取到目标WebView对象时，创建目标WebView对象对应的动态代理，其中，数据爬取模块为在Xposed框架下创建的Xposed模块；将动态代理作为参数添加至预设脚本函数中，其中，预设脚本函数为数据爬取模块对应的执行脚本中的函数，执行脚本用于爬取目标WebView对象对应的数据内容；数据爬取模块通过调用预设脚本函数，指示执行脚本爬取目标WebView对象对应的数据内容；通过动态代理获取执行脚本爬取的数据内容。本发明适用于数据爬取客户端爬取WebView界面中的数据内容的过程中。

Description

数据的爬取方法及装置

技术领域

本发明涉及爬虫技术领域，特别是涉及一种数据的爬取方法及装置。

背景技术

混合模式应用程序(Hybrid App)介于本地化应用程序(Native App)和Web应用程序(Web App)之间，其兼具本地化应用程序和Web应用程序的优势：拥有良好用户交互体验以及可以跨平台开发。由于，混合模式应用程序中的重要数据内容大多显示在内嵌于应用程序的WebView界面中，因此，当需要爬取混合模式应用程序中的数据内容时，首先需要爬取内嵌于应用程序的WebView界面中的数据内容。

目前，在爬取内嵌于爬取混合模式应用程序的WebView界面中的数据内容时，通常是数据爬取客户端先通过创建的Xposed模块获取WebView界面对应的WebView对象，然后，控制Xposed模块调用WebView对象执行JS脚本函数，使得WebView对象执行预设JS脚本，WebView对象在执行预设JS脚本的过程中，预设JS脚本便会爬取WebView界面中的数据内容，并将爬取到的数据内容发送至服务器。

发明人在实现本发明的过程中，发现现有技术中存在以下技术问题，由于，数据爬取客户端不能控制WebView对象执行预设JS脚本的执行状态，因此，数据爬取客户端并不能获知WebView对象执行预设JS脚本的执行进度；并且，预设JS脚本在爬取到WebView界面中的数据内容后，是直接将爬取到的数据内容发送至服务器，因此，数据爬取客户端无法获取预设JS脚本爬取到的数据内容，从而数据爬取客户端无法确定预设JS脚本是否成功爬取到WebView界面中的数据内容，进而导致无法保证数据爬取客户端爬取WebView界面中的数据内容的成功率。

发明内容

有鉴于此，本发明提供的数据的爬取方法及装置，主要目的在于提高数据爬取客户端爬取WebView界面中的数据内容的成功率。

为了达到上述目的，本发明主要提供如下技术方案：

第一方面，本发明提供了一种数据的爬取方法，该方法包括：

当数据爬取模块获取到目标WebView对象时，创建所述目标WebView对象对应的动态代理，其中，所述数据爬取模块为在Xposed框架下创建的Xposed模块；

将所述动态代理作为参数添加至预设脚本函数中，其中，所述预设脚本函数为所述数据爬取模块对应的执行脚本中的函数，所述执行脚本用于爬取所述目标WebView对象对应的数据内容；

所述数据爬取模块通过调用所述预设脚本函数，指示所述执行脚本爬取所述目标WebView对象对应的数据内容；

通过所述动态代理获取所述执行脚本爬取的数据内容。

可选的，所述创建所述目标WebView对象对应的动态代理，包括：

根据Java反射机制查找所述目标WebView对象对应的回调接口类，所述回调接口类为目标应用程序运行环境下的回调接口类；

创建所述目标WebView对象对应的回调函数；

通过所述回调接口类对所述回调函数进行封装处理，得到所述动态代理。

可选的，在所述创建所述目标WebView对象对应的动态代理之前，所述方法还包括：

接收数据爬取任务，其中，所述数据爬取任务包含目标应用程序、目标WebView界面以及操作信息，所述目标WebView界面为所述目标应用程序中的界面，所述目标WebView对象为所述目标WebView界面对应的对象；

打开所述目标应用程序，并根据所述操作信息定位至所述目标WebView界面，以便所述数据爬取模块获取所述目标WebView界面中的目标WebView对象。

可选的，在所述通过所述动态代理获取所述执行脚本爬取的数据内容之后，所述方法还包括：

根据所述数据内容判断所述数据爬取任务是否执行成功；

若是，则将所述数据内容发送至服务器；

若否，则再次执行所述数据爬取任务。

可选的，所述通过所述动态代理获取所述执行脚本爬取的数据内容，包括：

通过所述动态代理读取所述执行脚本返回的数据内容，所述数据内容为所述目标WebView对象对应的数据内容。

第二方面，本发明还提供一种数据的爬取装置，该装置包括：

创建单元，用于当数据爬取模块获取到目标WebView对象时，创建所述目标WebView对象对应的动态代理，其中，所述数据爬取模块为在Xposed框架下创建的Xposed模块；

添加单元，用于将所述创建单元创建的所述动态代理作为参数添加至预设脚本函数中，其中，所述预设脚本函数为所述数据爬取模块对应的执行脚本中的函数，所述执行脚本用于爬取所述目标WebView对象对应的数据内容；

调用单元，所述数据爬取模块通过调用所述预设脚本函数，指示所述执行脚本爬取所述目标WebView对象对应的数据内容；

获取单元，用于通过所述动态代理获取所述执行脚本爬取的数据内容。

可选的，所述创建单元包括：

查找模块，用于根据Java反射机制查找所述目标WebView对象对应的回调接口类，所述回调接口类为目标应用程序运行环境下的回调接口类；

创建模块，用于创建所述目标WebView对象对应的回调函数；

封装模块，用于通过所述回调接口类对所述创建模块创建的所述回调函数进行封装处理，得到所述动态代理。

可选的，所述装置还包括：

接收单元，用于在所述创建单元创建所述目标WebView对象对应的动态代理之前，接收数据爬取任务，其中，所述数据爬取任务包含目标应用程序、目标WebView界面以及操作信息，所述目标WebView界面为所述目标应用程序中的界面，所述目标WebView对象为所述目标WebView界面对应的对象；

定位单元，用于打开所述目标应用程序，并根据所述操作信息定位至所述目标WebView界面，以便所述数据爬取模块获取所述目标WebView界面中的目标WebView对象。

可选的，所述装置还包括：

判断单元，用于在所述获取单元通过所述动态代理获取所述执行脚本爬取的数据内容之后，根据所述数据内容判断所述数据爬取任务是否执行成功；

发送单元，用于当所述判断单元判断所述数据爬取任务执行成功时，将所述数据内容发送至服务器；

执行单元，用于当所述判断单元判断所述数据爬取任务执行失败时，再次执行所述数据爬取任务。

可选的，所述获取单元包括：

读取模块，用于通过所述动态代理读取所述执行脚本返回的数据内容，所述数据内容为所述目标WebView对象对应的数据内容。

为了实现上述目的，根据本发明的第三方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的数据的爬取方法。

为了实现上述目的，根据本发明的第四方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的数据的爬取方法。

借由上述技术方案，本发明提供的技术方案至少具有下列优点：

本发明提供的一种数据的爬取方法及装置，与现有技术中，数据爬取客户端在通过Xposed模块获取目标WebView界面对应的目标WebView对象后，控制Xposed模块调用预设脚本函数，以指示执行脚本爬取目标WebView对象对应的数据内容，并由执行脚本将爬取到的数据内容发送至服务器相比，本发明能够在数据爬取客户端通过Xposed模块获取目标WebView界面对应的目标WebView对象后，创建目标WebView对象对应的动态代理，并将创建的动态代理作为参数添加至预设脚本函数中，从而使得Xposed模块通过调用预设脚本函数，指示执行脚本爬取目标WebView对象对应的数据内容后，数据爬取客户端能够通过创建的动态代理获取执行脚本爬取到的数据内容。由于，数据爬取客户端能够获取得到执行脚本爬取到的数据内容，因此，数据爬取客户端能够根据执行脚本爬取到的数据内容确定执行脚本是否成功爬取到目标WebView界面中的数据内容，从而当数据爬取客户端确定执行脚本爬取目标WebView界面中的数据内容失败时，可以再次执行爬取目标WebView界面中数据内容的操作，进而提高了数据爬取客户端爬取WebView界面中的数据内容的成功率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据的爬取方法流程图；

图2示出了本发明实施例提供的另一种数据的爬取方法流程图；

图3示出了本发明实施例提供的一种数据的爬取装置的组成框图；

图4示出了本发明实施例提供的另一种数据的爬取装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供一种数据的爬取方法，如图1所示，该方法包括：

101、当数据爬取模块获取到目标WebView对象时，创建目标WebView对象对应的动态代理。

其中，数据爬取模块为在Xposed框架下创建的Xposed模块。

在本发明实施例中，数据爬取客户端在接收到服务器下发的数据爬取任务后，根据数据爬取任务打开对应的目标应用程序，并根据数据爬取任务中包含的操作信息，定位至目标WebView界面。在目标WebView界面加载对应网页的过程中，数据爬取模块便能获取到目标WebView界面对应的目标WebView对象，此时，数据爬取客户端为了保证数据爬取模块能够获取得到目标WebView界面中的数据内容，需要创建目标WebView对象对应的动态代理，其中，动态代理的运行环境与目标应用程序的运行环境相同。

具体的，在本步骤中，数据爬取客户端在创建目标WebView对象对应的动态代理时，可以控制数据爬取模块创建目标WebView对象对应的动态代理，但不限于此。

102、将动态代理作为参数添加至预设脚本函数中。

其中，预设脚本函数为数据爬取模块对应的执行脚本中的函数，执行脚本用于爬取目标WebView对象对应的数据内容；其中，预设脚本函数可以但不限于为：WebView对象执行JS脚本函数，执行脚本可以但不限于为：JS脚本。

在本发明实施例中，数据爬取客户端在创建目标WebView对象对应的动态代理后，需要将创建的动态代理作为参数添加至预设脚本函数中，以便在数据爬取客户端控制数据爬取模块调用预设脚本函数，从而指示执行脚本爬取目标WebView界面中的数据内容(即目标WebView对象对应的数据内容)后，数据爬取客户端能够通过动态代理获取执行脚本爬取的数据内容。

103、数据爬取模块通过调用预设脚本函数，指示执行脚本爬取目标WebView对象对应的数据内容。

在本发明实施例中，数据爬取客户端在将创建的动态代理作为参数添加至预设脚本函数中后，控制数据爬取模块调用预设脚本函数，以使得目标WebView对象执行执行脚本。由于，WebView对象在执行执行脚本的过程中，执行脚本便会爬取目标WebView界面中的数据内容(即目标WebView对象对应的数据内容)，因此，数据爬取客户端控制数据爬取模块调用预设脚本函数，便能实现指示执行脚本爬取目标WebView对象对应的数据内容。

104、通过动态代理获取执行脚本爬取的数据内容。

在本发明实施例中，由于，创建的动态代理的运行环境与目标应用程序的运行环境相同，且将创建的动态代理作为参数添加至预设脚本函数中，因此，在数据爬取客户端控制数据爬取模块调用预设脚本函数，从而指示执行脚本爬取目标WebView界面中的数据内容(即目标WebView对象对应的数据内容)后，数据爬取客户端能够通过动态代理获取执行脚本爬取的数据内容。

本发明实施例提供的一种数据的爬取方法，与现有技术中，数据爬取客户端在通过Xposed模块获取目标WebView界面对应的目标WebView对象后，控制Xposed模块调用预设脚本函数，以指示执行脚本爬取目标WebView对象对应的数据内容，并由执行脚本将爬取到的数据内容发送至服务器相比，本发明实施例能够在数据爬取客户端通过Xposed模块获取目标WebView界面对应的目标WebView对象后，创建目标WebView对象对应的动态代理，并将创建的动态代理作为参数添加至预设脚本函数中，从而使得在Xposed模块通过调用预设脚本函数，指示执行脚本爬取目标WebView对象对应的数据内容后，数据爬取客户端能够通过创建的动态代理获取执行脚本爬取到的数据内容。由于，数据爬取客户端能够获取得到执行脚本爬取到的数据内容，因此，数据爬取客户端能够根据执行脚本爬取到的数据内容确定执行脚本是否成功爬取到目标WebView界面中的数据内容，从而当数据爬取客户端确定执行脚本爬取目标WebView界面中的数据内容失败时，可以再次执行爬取目标WebView界面中数据内容的操作，进而提高了数据爬取客户端爬取WebView界面中的数据内容的成功率。

以下为了更加详细地说明，本发明实施例提供了另一种数据的爬取方法，特别是数据爬取客户端创建目标WebView对象对应的动态代理的具体方法，具体如图2所示，该方法包括：

201、接收数据爬取任务。

其中，数据爬取任务包含目标应用程序、目标WebView界面以及操作信息，操作信息用于指示数据爬取客户端定位至目标WebView界面；其中，目标WebView界面为目标应用程序中的界面，目标WebView对象为目标WebView界面对应的对象。

在本发明实施例中，当服务器中存在未处理的数据爬取任务时，服务器便会将该数据爬取任务下发至数据爬取客户端中，以便数据爬取客户端处理该数据爬取任务，此时，数据爬取客户端便能接收到该数据爬取任务。

202、打开目标应用程序，并根据操作信息定位至目标WebView界面，以便数据爬取模块获取目标WebView界面中的目标WebView对象。

在本发明实施例中，数据爬取客户端在接收到服务器下发的数据爬取任务后，便会根据数据爬取任务打开目标应用程序，以及根据数据爬取任务中包含的操作信息，定位至目标WebView界面。在目标WebView界面加载对应网页的过程中，数据爬取模块便能获取到目标WebView界面对应的目标WebView对象。

203、当数据爬取模块获取到目标WebView对象时，创建目标WebView对象对应的动态代理。

在本发明实施例中，当数据爬取客户端根据操作信息定位至目标WebView界面，使得数据爬取模块获取到目标WebView界面对应的目标WebView对象时，数据爬取客户端创建目标WebView对象对应的动态代理。以下将对数据爬取客户端如何创建目标WebView对象对应的动态代理进行详细说明。

(1)根据Java反射机制查找目标WebView对象对应的回调接口类。

其中，回调接口类为目标应用程序运行环境下的回调接口类。

在本发明实施例中，由于，数据爬取客户端创建的回调函数的运行环境与目标应用程序的运行环境并不相同，从而使得数据爬取客户端无法通过创建的回调函数获取执行脚本爬取的数据内容，因此，数据爬取客户端需要根据Java反射机制查找运行环境与目标应用程序的运行环境相同的回调接口类(即目标WebView对象对应的回调接口类)，以便后续通过该回调接口类对创建的回调函数进行封装处理，从而得到运行环境与目标应用程序的运行环境相同的动态代理，进而通过该动态代理获取执行脚本爬取的数据内容。

(2)创建目标WebView对象对应的回调函数。

在本发明实施例中，数据爬取客户端在根据Java反射机制查找到目标WebView对象对应的回调接口类后，创建目标WebView对象对应的回调函数，以便后续通过查找到的回调接口类对该回调函数进行封装处理，从而得到运行环境与目标应用程序的运行环境相同的动态代理。

(3)通过回调接口类对回调函数进行封装处理，得到动态代理。

在本发明实施例中，数据爬取客户端在创建目标WebView对象对应的回调函数后，通过步骤(1)查找到的回调接口类对创建的回调函数进行封装处理，从而得到目标WebView对象对应的动态代理。由于，动态代理是基于目标WebView对象对应的回调函数创建的，并且，动态代理的运行环境与目标应用程序的运行环境相同，因此，当数据爬取客户端将动态代理作为参数添加至预设脚本函数中，且控制数据爬取模块调用预设脚本函数，从而指示执行脚本爬取目标WebView界面中的数据内容时，数据爬取客户端能够通过动态代理获取执行脚本爬取的数据内容。

需要进行说明的是，在实际应用过程中，数据爬取客户端可以控制数据爬取模块创建目标WebView对象对应的动态代理，即首先，控制数据爬取模块根据Java反射机制查找目标WebView对象对应的回调接口类，其中，查找到的回调接口类为目标应用程序运行环境下的回调接口类；然后，通过数据爬取模块创建目标WebView对象对应的回调函数；最后，控制数据爬取模块通过查找到的回调接口类对创建的回调函数进行封装处理，从而获得目标WebView对象对应的动态代理；数据爬取客户端也可以采用其他方式创建目标WebView对象对应的动态代理，本发明实施例对此不进行具体限定。

204、将动态代理作为参数添加至预设脚本函数中。

其中，关于步骤204、将动态代理作为参数添加至预设脚本函数中，可以参考图1对应部分的描述，本发明实施例此处将不再赘述。

205、数据爬取模块通过调用预设脚本函数，指示执行脚本爬取目标WebView对象对应的数据内容。

其中，关于步骤205、数据爬取模块通过调用预设脚本函数，指示执行脚本爬取目标WebView对象对应的数据内容，可以参考图1对应部分的描述，本发明实施例此处将不再赘述。

206、通过动态代理读取执行脚本返回的数据内容。

其中，数据内容为WebView对象对应的数据内容。

在本发明实施例中，在数据爬取客户端控制数据爬取模块调用预设脚本函数，从而指示执行脚本爬取目标WebView界面中的数据内容(即目标WebView对象对应的数据内容)后，执行脚本便会开始爬取目标WebView对象对应的数据内容，在目标WebView对象执行完毕执行脚本时，目标WebView对象会将执行脚本爬取到的数据内容(即目标WebView对象对应的数据内容)反馈给动态代理，此时，数据爬取客户端便可通过动态代理读取执行脚本返回的数据内容。

207、根据数据内容判断数据爬取任务是否执行成功。

在本发明实施例中，数据爬取客户端在通过动态代理获取到执行脚本爬取的数据内容后，可以根据获取到的数据内容判断数据爬取任务是否执行成功。具体的，在本步骤中，当数据爬取客户端判断获取到的数据内容的数据量大于或等于预设阈值时，数据爬取客户端便可判定数据爬取任务执行成功；当数据爬取客户端判断获取到的数据内容的数据量小于预设阈值时，数据爬取客户端便可判定数据爬取任务执行失败，但不限于此。

208a、若是，则将数据内容发送至服务器。

在本发明实施例中，数据爬取客户端在根据获取到的数据内容判定数据爬取任务执行成功时，数据爬取客户端便可将获取到的数据内容发送至服务器。

对于本发明实施例，与步骤208a并列的步骤208b、若否，则再次执行数据爬取任务。

在本发明实施例中，数据爬取客户端在根据获取到的数据内容判定数据爬取任务执行失败时，数据爬取客户端可以再次执行数据爬取任务，从而可以保证成功爬取到WebView界面中的数据内容。

为了实现上述目的，根据本发明的另一方面，本发明实施例还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的数据的爬取方法。

为了实现上述目的，根据本发明的另一方面，本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的数据的爬取方法。

进一步的，作为对上述图1及图2所示方法的实现，本发明另一实施例还提供了一种数据的爬取装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置应用于提高数据爬取客户端爬取WebView界面中的数据内容的成功率，具体如图3所示，该装置包括：

创建单元31，用于当数据爬取模块获取到目标WebView对象时，创建所述目标WebView对象对应的动态代理，其中，所述数据爬取模块为在Xposed框架下创建的Xposed模块；

添加单元32，用于将创建单元31创建的所述动态代理作为参数添加至预设脚本函数中，其中，所述预设脚本函数为所述数据爬取模块对应的执行脚本中的函数，所述执行脚本用于爬取所述目标WebView对象对应的数据内容；

调用单元33，所述数据爬取模块通过调用所述预设脚本函数，指示所述执行脚本爬取所述目标WebView对象对应的数据内容；

获取单元34，用于通过所述动态代理获取所述执行脚本爬取的数据内容。

进一步的，如图4所示，创建单元31包括：

查找模块311，用于根据Java反射机制查找所述目标WebView对象对应的回调接口类，所述回调接口类为目标应用程序运行环境下的回调接口类；

创建模块312，用于创建所述目标WebView对象对应的回调函数；

封装模块313，用于通过所述回调接口类对创建模块312创建的所述回调函数进行封装处理，得到所述动态代理。

进一步的，如图4所示，该装置还包括：

接收单元35，用于在创建单元31创建所述目标WebView对象对应的动态代理之前，接收数据爬取任务，其中，所述数据爬取任务包含目标应用程序、目标WebView界面以及操作信息，所述目标WebView界面为所述目标应用程序中的界面，所述目标WebView对象为所述目标WebView界面对应的对象；

定位单元36，用于打开所述目标应用程序，并根据所述操作信息定位至所述目标WebView界面，以便所述数据爬取模块获取所述目标WebView界面中的目标WebView对象。

进一步的，如图4所示，该装置还包括：

判断单元37，用于在获取单元34通过所述动态代理获取所述执行脚本爬取的数据内容之后，根据所述数据内容判断所述数据爬取任务是否执行成功；

发送单元38，用于当判断单元37判断所述数据爬取任务执行成功时，将所述数据内容发送至服务器；

执行单元39，用于当判断单元37判断所述数据爬取任务执行失败时，再次执行所述数据爬取任务。

进一步的，如图4所示，获取单元34包括：

读取模块341，用于通过所述动态代理读取所述执行脚本返回的数据内容，所述数据内容为所述目标WebView对象对应的数据内容。

本发明实施例提供的一种数据的爬取方法及装置，与现有技术中，数据爬取客户端在通过Xposed模块获取目标WebView界面对应的目标WebView对象后，控制Xposed模块调用预设脚本函数，以指示执行脚本爬取目标WebView对象对应的数据内容，并由执行脚本将爬取到的数据内容发送至服务器相比，本发明实施例能够在数据爬取客户端通过Xposed模块获取目标WebView界面对应的目标WebView对象后，创建目标WebView对象对应的动态代理，并将创建的动态代理作为参数添加至预设脚本函数中，从而使得在Xposed模块通过调用预设脚本函数，指示执行脚本爬取目标WebView对象对应的数据内容后，数据爬取客户端能够通过创建的动态代理获取执行脚本爬取到的数据内容。由于，数据爬取客户端能够获取得到执行脚本爬取到的数据内容，因此，数据爬取客户端能够根据执行脚本爬取到的数据内容确定执行脚本是否成功爬取到目标WebView界面中的数据内容，从而当数据爬取客户端确定执行脚本爬取目标WebView界面中的数据内容成功时，数据爬取客户端可以直接将获取到的数据内容发送至服务器；当数据爬取客户端确定执行脚本爬取目标WebView界面中的数据内容失败时，数据爬取客户端可以再次执行数据爬取任务，从而可以保证成功爬取到WebView界面中的数据内容，进而提高了数据爬取客户端爬取WebView界面中的数据内容的成功率。

所述数据的爬取装置包括处理器和存储器，上述创建单元、添加单元、调用单元和获取单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高数据爬取客户端爬取WebView界面中的数据内容的成功率。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现以上实施例中任一项所述的数据的爬取方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行以上实施例中任一项所述的数据的爬取方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

通过所述动态代理获取所述执行脚本爬取的数据内容。

进一步的，所述创建所述目标WebView对象对应的动态代理，包括：

创建所述目标WebView对象对应的回调函数；

进一步的，在所述创建所述目标WebView对象对应的动态代理之前，所述方法还包括：

进一步的，在所述通过所述动态代理获取所述执行脚本爬取的数据内容之后，所述方法还包括：

根据所述数据内容判断所述数据爬取任务是否执行成功；

若是，则将所述数据内容发送至服务器；

若否，则再次执行所述数据爬取任务。

进一步的，所述通过所述动态代理获取所述执行脚本爬取的数据内容，包括：

本文中的设备可以是手机、PC等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：当数据爬取模块获取到目标WebView对象时，创建所述目标WebView对象对应的动态代理，其中，所述数据爬取模块为在Xposed框架下创建的Xposed模块；将所述动态代理作为参数添加至预设脚本函数中，其中，所述预设脚本函数为所述数据爬取模块对应的执行脚本中的函数，所述执行脚本用于爬取所述目标WebView对象对应的数据内容；所述数据爬取模块通过调用所述预设脚本函数，指示所述执行脚本爬取所述目标WebView对象对应的数据内容；通过所述动态代理获取所述执行脚本爬取的数据内容。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种数据的爬取方法，其特征在于，包括：

通过所述动态代理获取所述执行脚本爬取的数据内容；

所述创建所述目标WebView对象对应的动态代理，包括：

创建所述目标WebView对象对应的回调函数；

2.根据权利要求1所述的方法，其特征在于，在所述创建所述目标WebView对象对应的动态代理之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，在所述通过所述动态代理获取所述执行脚本爬取的数据内容之后，所述方法还包括：

根据所述数据内容判断所述数据爬取任务是否执行成功；

若是，则将所述数据内容发送至服务器；

若否，则再次执行所述数据爬取任务。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述通过所述动态代理获取所述执行脚本爬取的数据内容，包括：

5.一种数据的爬取装置，其特征在于，包括：

获取单元，用于通过所述动态代理获取所述执行脚本爬取的数据内容；

所述创建单元包括：

创建模块，用于创建所述目标WebView对象对应的回调函数；

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求4中任一项所述的数据的爬取方法。

8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求4中任一项所述的数据的爬取方法。