CN112199568A

CN112199568A - 移动app数据抓取方法、装置及系统

Info

Publication number: CN112199568A
Application number: CN202011038357.0A
Authority: CN
Inventors: 曹特磊; 赵伟
Original assignee: Social Touch Beijing Technology Co ltd
Current assignee: Social Touch Beijing Technology Co ltd
Priority date: 2020-09-28
Filing date: 2020-09-28
Publication date: 2021-01-08

Abstract

本申请涉及一种移动APP数据抓取方法、装置及系统，移动APP数据抓取方法包括动态加载服务器提供的插桩脚本；将移动APP中数据交换函数替换为插桩脚本中对应抓取函数；模拟执行操作动作；通过抓取函数抓取操作动作和操作动作对应的APP界面数据。本申请无需设置代理，由于模拟执行操作动作为正常的APP操作，发送正常的数据请求，不会被sslpinning等技术阻挡，从而实现移动APP中数据抓取。

Description

移动APP数据抓取方法、装置及系统

技术领域

本申请属于互联网技术领域，具体涉及一种移动APP数据抓取方法、装置及系统。

背景技术

传统的数据抓取是针对pc时代的web网站，通过爬虫获取网站url所对应的http请求，并解析http请求的结果获取数据。随着近些年互联网的迅猛发展，流量使用和用户习惯已从web网站转移到手机等移动设备上，而现有的爬虫系统是基于流式处理的，使用爬虫集群来进行抓取，并通过后端大数据平台处理挖掘，获得新增数据链接再循环以上步骤。但现有传统抓取方法不能解决移动端App的数据抓取。相关技术中，使用中间人代理攻击方式抓取移动APP数据，其具体实施方法包括设置手机的网络代理，使得移动APP的数据请求经过爬虫用的代理server，实现变相抓去。但这种中间人代理技术需要依赖于https证书，由于移动APP会采用ssl pinning进行双向证书校验，因此中间人代理攻击方法会被sslpinning证书校验所阻挡而失效，导致移动APP数据抓取失败。

发明内容

为至少在一定程度上克服相关技术中使用中间人代理攻击方式抓取移动APP数据，由于移动APP会采用ssl pinning进行双向证书校验，因此中间人代理攻击方法会被sslpinning证书校验所阻挡而失效，导致移动APP数据抓取失败的问题，本申请提供一种移动APP数据抓取方法、装置及系统。

第一方面，本申请提供一种移动APP数据抓取方法，包括：

动态加载服务器提供的插桩脚本；

将移动APP中数据交换函数替换为所述插桩脚本中对应抓取函数；

模拟执行操作动作；

通过所述抓取函数抓取所述操作动作和所述操作动作对应的APP界面数据。

进一步的，还包括：

与服务器建立有线连接，将所述操作动作和所述操作动作对应的APP界面数据发送至服务器。

进一步的，所述模拟执行操作动作，包括：

在移动终端中加载ADB工具；

通过执行ADB工具中的命令模拟执行操作动作。

进一步的，还包括：

实时监控内存中的程序进程，并发送至服务器。

第二方面，本申请提供一种移动APP数据抓取方法，包括：

向移动终端发送插桩脚本；

通过所述插桩脚本获取移动APP的操作动作和所述操作动作对应的APP界面数据。

进一步的，还包括：

判断APP界面数据所属类别；

将所述APP界面数据送入消息队列或直接存入数据库对应类别中。

进一步的，还包括：

根据ADB工具建立类库，所述类库中包括多种操作动作；

与移动终端连接，以使所述移动终端执行所述多种操作动作。

第三方面，本申请提供一种移动APP数据抓取装置，包括：

动态加载模块，用于动态加载服务器提供的插桩脚本；

替换模块，用于将移动APP中数据交换函数替换为所述插桩脚本中对应抓取函数；

模拟执行模块，用于模拟执行操作动作；

抓取模块，用于通过所述抓取函数抓取所述操作动作和所述操作动作对应的APP界面数据。

第四方面，本申请提供一种移动APP数据抓取装置，包括：

发送模块，用于向移动终端发送插桩脚本；

获取模块，用于通过所述插桩脚本获取移动APP的操作动作和所述操作动作对应的APP界面数据。

第五方面，本申请提供一种移动APP数据抓取系统，包括：

移动终端和服务器；

所述移动终端包括如第三方面所述装置；

所述服务器包括如第四方面所述装置；

所述移动终端与所述服务器建立有线连接。

本申请的实施例提供的技术方案可以包括以下有益效果：

本发明实施例提供的移动APP数据抓取方法、装置及系统，通过动态加载服务器提供的插桩脚本，将移动APP中数据交换函数替换为插桩脚本中对应抓取函数，模拟执行操作动作，通过抓取函数抓取操作动作和操作动作对应的APP界面数据，无需设置代理，由于模拟执行操作动作为正常的APP操作，发送正常的数据请求，不会被ssl pinning等技术阻挡，从而实现移动APP中数据抓取。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请一个实施例提供的一种移动APP数据抓取方法的流程图。

图2为本申请另一个实施例提供的一种移动APP数据抓取方法的流程图。

图3为本申请另一个实施例提供的一种移动APP数据抓取方法的流程图。

图4为本申请另一个实施例提供的一种移动APP数据抓取方法的流程图。

图5为本申请一个实施例提供的一种移动APP数据抓取装置的功能结构图。

图6为本申请另一个实施例提供的一种移动APP数据抓取装置的功能结构图。

图7为本申请一个实施例提供的一种移动APP数据抓取系统的功能结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

图1为本申请一个实施例提供的移动APP数据抓取方法的流程图，如图1所示，该移动APP数据抓取方法，包括：

S11：动态加载服务器提供的插桩脚本；

S12：将移动APP中数据交换函数替换为插桩脚本中对应抓取函数；

S13：模拟执行操作动作；

S14：通过抓取函数抓取操作动作和操作动作对应的APP界面数据。

传统移动APP移动数据抓取方法，使用中间人代理攻击方式抓取移动APP数据，其具体实施方法包括设置手机的网络代理，使得移动APP的数据请求经过爬虫用的代理server，实现变相抓去。但这种中间人代理技术需要依赖于https证书，由于移动APP会采用ssl pinning进行双向证书校验，因此中间人代理攻击方法会被ssl pinning证书校验所阻挡而失效，导致移动APP数据抓取失败。

本实施例中，通过动态加载服务器提供的插桩脚本，将移动APP中数据交换函数替换为插桩脚本中对应抓取函数，模拟执行操作动作，通过抓取函数抓取操作动作和操作动作对应的APP界面数据，无需设置代理，由于模拟执行操作动作为正常的APP操作，发送正常的数据请求，不会被ssl pinning等技术阻挡，从而实现移动APP中数据抓取。

图2为本申请另一个实施例提供的一种移动APP数据抓取方法的流程图，如图2所示，该移动APP数据抓取方法应用于移动终端，包括：

S21：动态加载服务器提供的插桩脚本；

S22：将移动APP中数据交换函数替换为插桩脚本中对应抓取函数；

将移动APP中数据交换对应类也替换为插桩脚本中对应类，通过将方法、类进行替换，插桩脚本可以找到指定APP包的指定类和方法，并动态的替换为插桩脚本提供的方法或类。通过动态插桩模块中的插桩脚本把数据采集代码注入到APP的数据交互相关函数方法中，以便在APP发生数据请求时，能够采集到数据并回传到数据采集服务器。

在移动APP发生数据请求时，移动APP的数据收发方法正常移动APP调用，同时注入的数据采集代码也同时被调用；移动APP的网络交互数据被数据采集代码自动的发送到数据收集服务器上，完成移动APP数据采集。

S23：在移动终端中加载ADB工具；

S24：通过执行ADB工具中的命令模拟执行操作动作；

模拟执行操作动作是模拟人的行为来操作移动终端的APP。ADB工具是安卓官方提供的操作工具，可以通过命令行模式来操作移动终端的点击，拖动等动作。通过编写一系列的类库，通过执行ADB命令来操作移动终端的APP。

S25：通过抓取函数抓取操作动作和操作动作对应的APP界面数据；

S26：与服务器建立有线连接，将操作动作和操作动作对应的APP界面数据发送至服务器。

一些实施例中，还包括：

实时监控内存中的程序进程，并发送至服务器。

一些实施例中，与服务器建立有线连接，例如将移动终端与服务器通过USB数据线建立有线连接，服务器通过开放端口与移动终端进行数据交互，移动终端会加载服务器提供的插桩脚本，同时捕获插桩脚本发出的事件，并转发给服务器。

传统的移动APP数据抓取方法，由于中间人代理攻击方法需要移动终端和数据收集服务器在同一网络下，因此需要连入同一wifi下，而部分移动APP对于wifi下的宽带网的是有数据限制的，返回的数据很可能不是真实数据或不是全部数据，导致数据采集无法采集到真实的APP数据。

本实施例中，通过与服务器建立有线连接，无需连接wifi，可以使移动终端正常的使用移动网络，避免大量移动终端连接到同一wifi网的问题，避免带宽限制，保证采集数据的真实性。

图3为本申请另一个实施例提供的移动APP数据抓取方法的流程图，如图3所示，该移动APP数据抓取方法应用于服务器，包括：

S31：向移动终端发送插桩脚本；

S32：通过插桩脚本获取移动APP的操作动作和操作动作对应的APP界面数据。

与移动终端建立有线连接，如通过USB数据线连接，接收移动终端发展的操作动作和操作动作对应的APP界面数据。

一些实施例中，还包括：

S321：判断APP界面数据所属类别；

S322：将APP界面数据送入消息队列或直接存入数据库对应类别中。

数据采集任务执行时，模拟操作移动APP执行指定的浏览动作，此时APP会发生数据请求，便会被动态插桩模块中的数据采集代码捕获到，数据就会被转发到服务器。服务器再把采集到的数据转发给数据收集模块。

数据收集模块收到采集到的数据后，根据业务和技术需要把数据送入消息队列或者直接存入数据库，以便后续的数据处理。

一些实施例，还包括：

根据ADB工具建立类库，类库中包括多种操作动作；

与移动终端连接，以使移动终端执行多种操作动作。

本实施例中，通过向移动终端发送插桩脚本，通过插桩脚本获取移动APP的操作动作和操作动作对应的APP界面数据，无需设置代理，由于模拟执行操作动作为正常的APP操作，发送正常的数据请求，不会被ssl pinning等技术阻挡，从而实现移动APP中数据抓取，无需连接wifi，可以使移动终端正常的使用移动网络，避免大量移动终端连接到同一wifi网的问题，避免带宽限制，保证采集数据的真实性。

图4为本申请另一个实施例提供的移动APP数据抓取方法的流程图，如图4所示，该移动APP数据抓取方法，包括：

S41：服务器向移动终端发送插桩脚本；

S42：移动终端动态加载服务器提供的插桩脚本；

S43：移动终端将移动APP中数据交换函数替换为插桩脚本中对应抓取函数；

S44：移动终端模拟执行操作动作；

S45：移动终端通过抓取函数抓取操作动作和操作动作对应的APP界面数据；

S46：服务器获取移动APP的操作动作和操作动作对应的APP界面数据。

本实施例中，无需设置代理，由于模拟执行操作动作为正常的APP操作，发送正常的数据请求，不会被ssl pinning等技术阻挡，从而实现移动APP中数据抓取，无需连接wifi，可以使移动终端正常的使用移动网络，避免大量移动终端连接到同一wifi网的问题，避免带宽限制，保证采集数据的真实性。

本发明实施例提供一种移动APP数据抓取装置，如图5所示的功能结构图，该移动APP数据抓取装置包括：

动态加载模块51，用于动态加载服务器提供的插桩脚本；

替换模块52，用于将移动APP中数据交换函数替换为所述插桩脚本中对应抓取函数；

模拟执行模块53，用于模拟执行操作动作；

抓取模块54，用于通过抓取函数抓取所述操作动作和所述操作动作对应的APP界面数据。

本实施例中，通过动态加载模块动态加载服务器提供的插桩脚本，替换模块将移动APP中数据交换函数替换为所述插桩脚本中对应抓取函数，模拟执行模块模拟执行操作动作，抓取模块通过抓取函数抓取操作动作和操作动作对应的APP界面数据无需设置代理，由于模拟执行操作动作为正常的APP操作，发送正常的数据请求，不会被ssl pinning等技术阻挡，从而实现移动APP中数据抓取。

本发明实施例提供一种移动APP数据抓取装置，如图6所示的功能结构图，该移动APP数据抓取装置包括：

发送模块61，用于向移动终端发送插桩脚本；

获取模块62，用于通过插桩脚本获取移动APP的操作动作和操作动作对应的APP界面数据。

建立模块63，与移动终端建立有线连接。

本实施例中，发送模块向移动终端发送插桩脚本，建立模块与移动终端建立有线连接，获取模块通过插桩脚本获取移动APP的操作动作和操作动作对应的APP界面数据，无需连接wifi，可以使移动终端正常的使用移动网络，避免大量移动终端连接到同一wifi网的问题，避免带宽限制，保证采集数据的真实性。

本发明实施例提供一种移动APP数据抓取系统，如图7所示的功能结构图，该移动APP数据抓取系统包括：

移动终端71和服务器72；

移动终端71包括如图5所示移动APP数据抓取装置；

服务器72包括如图6所示移动APP数据抓取装置；

移动终端71与服务器72建立有线连接。

本实施例中，移动终端与服务器建立有线连接，使用动态插桩技术，把数据采集程序，在移动APP运行时，注入到移动APP的网络数据收发的相关方法内，再通过ADB技术来模拟人的行为控制移动APP的浏览操作行为，此时移动APP的数据收发方法正常被移动APP调用，同时注入的数据采集代码也同时被调用；移动APP的网络交互数据被数据采集代码自动的发送到数据收集服务器上，完成移动APP数据采集，从而能够解决传统数据抓取技术无法抓取APP内部数据的问题。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能组件的形式实现。所述集成的模块如果以软件功能组件的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

需要说明的是，本发明不局限于上述最佳实施方式，本领域技术人员在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims

1.一种移动APP数据抓取方法，其特征在于，包括：

动态加载服务器提供的插桩脚本；

模拟执行操作动作；

2.根据权利要求1所述的移动APP数据抓取方法，其特征在于，还包括：

3.根据权利要求1所述的移动APP数据抓取方法，其特征在于，所述模拟执行操作动作，包括：

在移动终端中加载ADB工具；

通过执行ADB工具中的命令模拟执行操作动作。

4.根据权利要求1所述的移动APP数据抓取方法，其特征在于，还包括：

实时监控内存中的程序进程，并发送至服务器。

5.一种移动APP数据抓取方法，其特征在于，包括：

向移动终端发送插桩脚本；

6.根据权利要求5所述的移动APP数据抓取方法，其特征在于，还包括：

判断APP界面数据所属类别；

7.根据权利要求5所述的移动APP数据抓取方法，其特征在于，还包括：

根据ADB工具建立类库，所述类库中包括多种操作动作；

8.一种移动APP数据抓取装置，其特征在于，包括：

动态加载模块，用于动态加载服务器提供的插桩脚本；

模拟执行模块，用于模拟执行操作动作；

9.一种移动APP数据抓取装置，其特征在于，包括：

发送模块，用于向移动终端发送插桩脚本；

10.一种移动APP数据抓取系统，其特征在于，包括：

移动终端和服务器；

所述移动终端包括如权利要求8所述装置；

所述服务器包括如权利要求9所述装置；

所述移动终端与所述服务器建立有线连接。