CN108804287B - 移动应用程序流量的自动获取方法、装置、系统及介质 - Google Patents

Abstract

本发明公开了一种移动应用程序流量的自动获取方法、装置、系统及存储介质，所述自动获取方法包括以下步骤：提取目标移动应用程序的预定特征；从预先构建的移动应用程序运行脚本库中选取与所述预定特征匹配的移动应用程序自动运行脚本；根据所述移动应用程序自动运行脚本驱动所述目标移动应用程序运行，采集所述目标移动应用程序运行中产生的网络流量数据。本发明自动流量获取方法能够全自动操作移动应用程序的运行，并采集运行过程中移动应用程序的网络流量数据。

Description

移动应用程序流量的自动获取方法、装置、系统及介质

技术领域

本发明涉及移动应用程序监测领域，尤其涉及一种移动应用程序流量的自动获取方法、装置、系统及存储介质。

背景技术

随着移动互联网的迅速发展，各种移动应用程序层出不穷，这些移动应用程序在给人们的生活带来各种便利的同时，也由于其网络通信行为的复杂性、不确定性，给移动互联网安全、稳定运行带来了严峻的挑战。例如，某些移动应用程序在运行过程中可能会与多个不同的服务器进行通信，甚至个别移动应用程序会与潜在的恶意服务器进行隐匿通信从而泄露个人隐私数据和其他重要信息。此外，这些移动应用程序在运行过程中还可能会存在个别通信会话占用大量带宽而导致其他正常通信会话流量受影响，最终干扰移动应用程序正常使用的情形。因此，有必要对移动应用程序运行过程中的网络流量数据进行获取，以便为进一步分析识别出恶意流量或抢占带宽流量等网络行为提供依据。

目前，采集移动应用程序网络流量数据比较常用的技术方案是将移动应用程序安装到受隔离的沙箱运行环境中，通过人工的方式操作移动应用程序并通过抓包软件记录其运行时的网络流量。但是，由于不同移动应用程序的操作繁琐程度各异，有些移动应用程序的流量可能要反复采集多次以供分析，依靠人工操作的方式不仅费时费力，而且容易引入人工操作失误造成的错误。虽然目前也有一些移动应用程序自动测试的软件可以通过编写移动应用程序自动操作的脚本来自动模拟运行移动应用程序来减轻工作量，但是编写和调试自动运行脚本过程中，仍然需要人工来判断每个运行阶段可执行的操作和当前操作是否会产生网络流量。从本质上来说，这仍然是一种非自动化的手段。

发明内容

本发明提供一种移动应用程序流量的自动获取方法、装置、系统及存储介质，全自动操作移动应用程序的运行，并采集运行过程中的网络流量数据。

依据本发明的一个方面，提供移动应用程序流量的自动获取方法，包括以下步骤：

提取目标移动应用程序的预定特征；

从预先构建的移动应用程序运行脚本库中选取与所述预定特征匹配的移动应用程序自动运行脚本；

根据所述移动应用程序自动运行脚本驱动所述目标移动应用程序运行，采集所述目标移动应用程序运行中产生的网络流量数据。

可选地，本发明所述方法中，所述提取目标移动应用程序的预定特征之前，还包括：

通过样本移动应用程序各运行界面和所述各运行界面对应的有效操作集合，得到操作触发的运行界面跳转关系，根据所述操作触发的运行界面跳转关系生成移动应用程序自动运行脚本，其中，所述有效操作为运行界面发生变化的操作或者产生网络流量的操作；

将生成的所述移动应用程序自动运行脚本添加到所述移动应用程序运行脚本库。

可选地，本发明所述方法中，通过样本移动应用程序各运行界面和所述各运行界面对应的有效操作集合，得到操作触发的运行界面跳转关系，根据所述操作触发的运行界面跳转关系生成移动应用程序自动运行脚本，包括：

获取样本移动应用程序各运行界面、所述界面对应的有效操作集合和操作指向关系，得到操作触发的运行界面跳转关系，建立移动应用程序操作关系有向图，根据所述移动应用程序操作关系有向图生成移动应用程序自动运行脚本。

可选地，本发明所述方法中，根据所述样本移动应用程序各运行界面和所述各运行界面对应的有效操作集合之前，还包括：

通过光学字符识别方式和图像识别方式识别出所述样本移动应用程序运行界面中可执行的操作；

确定所述可执行的操作是否为有效操作，并根据所有有效操作生成有效操作集合。

可选地，本发明所述方法中，根据所述移动应用程序操作关系有向图生成移动应用程序自动运行脚本，包括:

按照剪枝策略删除所述移动应用程序操作关系有向图中操作步骤冗余的分枝，根据剪枝后的所述移动应用程序操作关系有向图生成移动应用程序自动运行脚本。

可选地，本发明所述方法中，采集所述目标移动应用程序运行中产生的网络流量数据，包括：

采集目标移动应用程序运行中产生的所有网络流量，并对采集的非移动应用程序流量进行过滤，得到目标移动应用程序产生的网络流量。

依据本发明的另一个方面，提供一种移动应用程序流量的自动获取装置，包括：

信息采集模块，用于提取目标移动应用程序的预定特征；

信息匹配模块，用于从预先构建的移动应用程序运行脚本库中选取与所述预定特征匹配的移动应用程序自动运行脚本；

信息处理模块，用于根据所述移动应用程序自动运行脚本驱动所述目标移动应用程序运行，采集所述目标移动应用程序运行中产生的网络流量数据。

可选地，本发明所述装置中，所述装置还包括移动应用程序自动运行脚本生成模块，

所述移动应用程序自动运行脚本生成模块，用于根据样本移动应用程序各运行界面和所述各运行界面对应的有效操作集合，生成移动应用程序自动运行脚本，其中，所述有效操作为运行界面发生变化的操作或者产生网络流量的操作；

将生成的所述移动应用程序自动运行脚本添加到所述移动应用程序运行脚本库。

依据本发明的第三个方面，提供一种移动应用程序流量的自动获取系统，包括：移动应用程序并发运行引擎模块、移动应用程序运行脚本库及多个移动应用程序运行平台，

所述移动应用程序并发运行引擎模块用于将目标移动应用程序部署到各移动应用程序运行平台，通过调用移动应用程序运行脚本库，执行移动应用程序自动运行脚本，以实现移动应用程序流量的自动获取方法步骤。

依据本发明的第四个方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现移动应用程序流量的自动获取方法步骤。

本发明的有益效果：根据本发明提出的移动应用程序流量的自动获取方法、装置、系统及存储介质，相对于现有由人工来运行移动应用程序，和通过测试软件+人工的半自动方式来生成自动运行脚本的方法，本发明通过匹配移动应用程序运行脚本库中的脚本自动运行目标移动应用程序，极大地节省了人力成本，自动化程度高，更加智能。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明第一实施例提供的移动应用程序流量的自动获取方法的流程图；

图2为本发明第一实施例提供的示例的流程图；

图3为本发明示例中提取样本移动应用程序所有运行界面的有效操作集合的流程图；

图4为本发明示例中的目标移动应用程序的流量自动获取方法的流程图；

图5为本发明第二实施例提供的移动应用程序流量的自动获取方法的流程图；

图6为本发明第二实施例中构建移动应用程序自动运行脚本的流程图；

图7为本发明第二和第四实施例中运行界面和对应运行界面的有效操作示意图；

图8为本发明第二和第四实施例中移动应用程序操作关系有向图；

图9为本发明第三实施例中移动应用程序流量的自动获取装置的结构框图；

图10为本发明第四实施例中移动应用程序流量的自动获取装置的结构框图；

图11为本发明第五实施例中移动应用程序流量的自动获取系统的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本发明的第一实施例中，提供一种移动应用程序流量的自动获取方法，参见图1所示，包括以下步骤：

步骤S001：提取目标移动应用程序的预定特征；

本发明实施例中：提取目标移动应用程序中的预定特征，该目标移动应用程序是指待获取流量的移动应用程序，该预定特征为移动应用程序的包名，也可以采用移动应用程序的其他唯一识别特征。具体方式，采用移动应用程序运行平台运行目标移动应用程序，每个移动应用程序运行平台独立开展网络流量的自动获取工作。移动应用程序运行平台通过移动应用程序运行引擎从移动应用程序库中调用目标移动应用程序安装包，安装并启动目标移动应用程序，提取该目标移动应用程序的包名。

在本发明的一个具体实施例中，在步骤S001提取目标移动应用程序的预定特征之前，还需要构建移动应用程序运行脚本库。

构建移动应用程序运行脚本库的方法如下：

利用样本移动应用程序构建移动应用程序运行脚本库，该样本移动应用程序是用于训练生成移动应用程序自动运行脚本，通过样本移动应用程序中各运行界面和各运行界面对应的有效操作集合，得到操作触发的运行界面跳转关系，根据操作触发的运行界面跳转关系生成移动应用程序自动运行脚本，其中，有效操作为运行界面发生变化的操作或者产生网络流量的操作；即通过汇总移动应用程序各运行界面和所述各运行界面对应的有效操作集合得到移动应用程序操作触发的运行界面跳转关系，根据该运行界面跳转关系生成移动应用程序自动运行脚本。将生成的移动应用程序自动运行脚本添加(存储)到移动应用程序运行脚本库。

进一步地，本发明实施例中，根据移动应用程序各运行界面和各运行界面对应的有效操作集合，包括：通过光学字符识别方式和图像识别方式识别出所述移动应用程序运行界面中可执行的操作，该可执行的操作包括控件点击、拖拽、文本框输入等操作。确定所述可执行的操作是否为有效操作，并根据所有有效操作生成有效操作集合。具体地，使用光学字符识别找出当前运行界面的文本操作控件，使用图像识别工具找出当前运行界面的图形操作控件，并通过尝试操作或者操作组合来确认当前运行界面的操作是否有效，如点击或输入文本操作控件和图像操作控件，通过前后图像的比对以及是否有新的网络数据分组产生来判断当前操作是否是有效操作。通过反复尝试不同的操作或者操作组合，找出尽可能多的有效操作，以及操作与当前运行界面的关系。

步骤S002：从预先构建的移动应用程序运行脚本库中选取与所述预定特征匹配的移动应用程序自动运行脚本。本实施例，根据预定特征在移动应用程序运行脚本库中读取与当前移动应用程序对应匹配的自动运行脚本启动移动应用程序。

步骤S003：根据所述移动应用程序自动运行脚本驱动所述目标移动应用程序运行，采集所述目标移动应用程序运行中产生的网络流量数据。

本发明实施例中，根据匹配的移动应用程序自动运行脚本判断目标移动应用程序当前运行界面是否存在可执行的操作，如果存在，则根据脚本执行对应的操作；如果没有可执行操作，说明该运行界面在移动应用程序自动运行脚本生成过程中没有生成。这可能是由于网络环境不好，造成操作的执行不及时，或者移动应用程序服务器更新，造成运行界面增加导致。一般地，该新增界面为移动应用程序运行过程中的广告界面。对于该新增界面可通过执行通用操作跳过该运行界面，并记录本次事件供后续分析使用。该通用操作包括但不限于以下几类操作：关闭当前出现的运行界面，点击返回键返回上一个运行界面和直接关闭移动应用程序。

本发明实施例中，在移动应用程序自动运行的同时，启动网络流量采集工具来提取移动应用程序运行平台中产生的网络流量。

在本发明的又一可选实施例中，采集目标移动应用程序运行中产生的所有网络流量，并对采集的非移动应用程序流量进行过滤，得到目标移动应用程序产生的网络流量。因为采集的网络流量中除了移动应用程序本身的流量，还有安卓操作系统基本框架及其他无关进程产生的流量，使得提取的移动应用程序网络流量不纯。本发明通过在移动应用程序运行过程中，记录移动应用程序进程使用的网络端口号，并将该端口号与运行过程中采集到的网络流量五元组信息(源、目的IP地址、源、目的端口以及协议类型)进行比对筛选，从而过滤出使用该端口的网络流量，即为目标移动应用程序运行过程中产生的网络流量。或者采用在系统中设置防火墙阻止其他进程访问互联网，仅允许移动应用程序访问互联网达到去除非移动应用程序流量(背景和噪声流量)的目的。本发明通过过滤网络流量获取的移动应用程序网络流量准确度高，在移动应用程序运行平台采集流量本身就隔离了部分不必要的干扰流量，进一步提高了流量采集的准确度。

需要说明的是，本实施例给出的上述过滤移动应用程序网络流量的方法只是本发明列举的两个优选实施方式，本发明并不唯一限定该方式，本领域技术人员容易想到的任何网络流量过滤方式均在本发明的保护思想范围内。

基于上述实施过程，下面给出一具体的应用示例，该应用示例以手机APP作为本发明所述移动应用程序，并结合具体附图对本发明的实施过程进行了详细阐述，参见图2所示，该流量自动获取方法包括如下：

步骤1:对样本移动应用程序进行解析，提取出该样本移动应用程序所有运行界面的有效操作集合，明确每个界面可进行的操作，并根据各操作是否会产生网络流量或界面发生了变化确定操作的有效性，以及操作触发的运行界面跳转关系。

提取出该样本移动应用程序所有运行界面的有效操作集合，参见图3所示，具体步骤如下：

启动样本移动应用程序，首先对样本移动应用程序运行界面进行识别，通过光学字符识别和图像识别技术识别出运行界面中可执行的操作，包括文本操作控件和图形操作控件等。其中，文本操作控件识别通过光学字符识别工具判断运行界面中是否有可点击的文本操作实现；图形操作控件识别通过图像识别工具判断运行界面中是否有可点击的按钮、文本框、可拖拽的下拉框等图形操作控件实现。识别出的这些操作构成一个与当前运行界面关联的操作集合。从上述运行界面的可执行操作集合中选择一个尚未执行过的操作，特别地，该操作可以是一组操作的组合。

在执行完操作后进行操作有效性的判断，首先判断当前移动应用程序运行界面是否出现了变化，该判断通过操作执行前后运行界面图像比对实现。如果运行界面出现了变化，则将该操作标记为有效操作；如果运行界面没有变化则接着判断操作后是否产生了网络流量。如果操作后有网络流量产生，则该操作也被标记为有效操作；如果没有网络流量生成，则继续尝试其他未执行操作(操作组合)。

接着判断尝试的操作次数是否已达到预设的样本操作阈值，该样本操作阈值可以人工设定，也可以通过统计样本移动应用程序一般包含的操作数量来辅助设定，本实施例中，该样本操作阈值是当前样本移动应用程序包含的所有有效操作数乘以一定的比例系数，例如：比例系数为110％。如果没有超过阈值，则继续识别当前样本移动程序运行界面可执行操作，并尝试未执行过的操作；如果超过阈值，则关闭当前样本移动应用程序。通过设定该样本操作阈值，避免了样本移动应用程序操作进入死循环。

在样本移动应用程序关闭后，判断样本移动应用程序启动次数是否达到样本运行阈值，一般样本运行阈值设置为5次。如果超过样本运行阈值，则输出样本移动应用程序所有运行界面和运行界面对应的所有有效操作集合，结束本次解析；如果没有超过样本运行阈值，则重新启动样本移动应用程序，开始新一轮解析。通过设定该样本运行阈值，对样本移动应用程序进行多次解析，以获得准确结果。

本发明结合了光学字符识别工具、图像识别工具来识别移动应用程序运行界面，并通过前后图像对比、网络流量生成判断等方法来自动的找出当前运行界面对应的有效操作。通过光学字符识别和图像识别技术自动识别出移动应用程序界面中包含的控件和操作，并自动生成移动应用程序自动运行脚本，极大地节省了人力成本。并且本发明的移动应用程序自动运行脚本扩展性强，随着移动应用程序版本的更新，运行界面可能会产生变化，本发明可在原脚本基础上根据新出现的运行界面和对应有效操作补充更新运行脚本，而不需要重新生成所有的脚本。更特别地，在运行过程中，采用通用操作的流程来规避移动应用程序出现新运行界面的情形，从而保证即使移动应用程序出现了更新，也能顺利的运行。

步骤2:根据该运行界面跳转关系生成移动应用程序自动运行脚本，建立移动应用程序运行脚本库；

步骤3:提取目标移动应用程序的预定特征；

步骤4：从预先构建的移动应用程序运行脚本库中选取与所述预定特征匹配的移动应用程序自动运行脚本；

步骤5：根据所述移动应用程序自动运行脚本驱动所述目标移动应用程序运行，采集所述目标移动应用程序运行中产生的网络流量数据，并过滤背景噪声流量。

步骤3-步骤5的具体方法如下，参见图4所示：

首先，移动应用程序运行平台根据移动应用程序运行引擎的调度，从移动应用程序库中调用目标移动应用程序安装包，安装并启动目标移动应用程序。

其次，在移动应用程序运行脚本库中检索与当前目标移动应用程序对应的移动应用程序自动运行脚本。

然后，根据匹配的移动应用程序自动运行脚本判断当前目标移动应用程序运行界面是否存在可执行的操作，如果有，则根据脚本执行对应的操作；如果没有可执行操作，说明该运行界面在移动应用程序脚本生成过程中没有生成。这可能是由于网络环境不好，造成操作的执行不及时，或者移动应用程序服务器更新，造成运行界面增加导致。一般地，该新增界面为移动应用程序运行过程中的广告界面。可通过执行通用操作跳过该运行界面，并记录本次事件供后续分析使用。

最后，判断本次目标移动应用程序运行过程中操作执行的次数(数量)是否达到预设的脚本操作次数阈值，该脚本操作次数阈值的取值可根据操作触发的运行界面跳转关系的最大跳数设定，目的是防止移动应用程序多次进入脚本中未出现的运行界面而无法结束运行。如果操作次数没超过脚本操作次数阈值则根据操作后的运行界面检索移动应用程序自动运行脚本，继续运行。如果操作执行次数超过了预设的脚本操作次数阈值，则继续判断当前目标移动应用程序是否达到预设的脚本运行次数阈值；如果运行次数没有超过脚本运行次数阈值则重新安装并运行同样的移动应用程序重复上述步骤；如果运行次数已经达到脚本运行次数阈值，则结束本次目标移动应用程序网络流量的采集，保存相应结果，关闭并卸载移动应用程序。该脚本运行次数阈值的取值可根据实际需要在移动应用程序网络流量获取的准确度和获取效率之间做折衷。取值越大，获取的流量样本越多，越利于对移动应用程序流量特征的进一步分析；取值越小，流量获取的效率越高，越能更快速地获得网络流量样本。该脚本运行次数阈值的设定可根据实际需要设定，例如，对于一般的移动应用程序该值可设为10次。如果需要提取更多的网络流量样本用于后续移动应用程序流量特征分析，可提高该值到15次甚至更多；如果需要尽快获得流量样本快速开展移动应用程序流量特征分析工作，可减小该值到5次甚至更少。

本实施例中的移动应用程序的运行平台可以是模拟安卓操作系统的虚拟机，如VirtualBox(开源虚拟机软件)、VMware workstation(虚拟机软件)等安装的安卓x86系统虚拟机，也可以是安卓工具生成的Android Emulator(安卓模拟器)，还可以是通过数据线连接的安卓手机。通过安卓的ADB工具将目标移动应用程序安装于移动应用程序运行平台中。利用反编译工具解析移动应用程序安装包来提取移动应用程序Package Name(包名)和Main Activity(主运行界面)名称，根据Package Name和Main Activity名称启动移动应用程序，再使用安卓自动化测试工具如UI Automator(测试框架)、Robotium(安卓自动化测试框架)等控制移动应用程序运行过程中的各种操作。这些均可通过编写脚本程序，运行命令实现移动应用程序的自动安装、启动、运行和卸载等，如：Python(面向对象的解释型计算机程序设计语言)、Shell(脚本编写语言)等，以上所有的步骤均采用上述工具实现。

本发明目标移动应用程序通过移动应用程序自动运行脚本自动运行，目标移动应用程序根据当前运行界面图形检索自动运行脚本来确定下一步可执行的有效操作，实现了网络流量的自动采集，不需要人工干预，极大地节省了人力成本；通过设定脚本操作次数阈值、脚本运行次数阈值以及通用操作来避免运行过程中出现异常运行界面或突发情况，提高了本发明方法使用的稳定性。本发明的适应性强，可适用于不同的移动应用程序运行平台，包括可部署安卓操作系统的虚拟机、安卓模拟器或者物理手机终端等。

在本发明的第二实施例中，提供一种移动应用程序流量的自动获取方法，参见图5所示，包括以下步骤：

步骤S100：构建移动应用程序运行脚本库；

步骤S200：提取目标移动应用程序的预定特征；

步骤S300：从预先构建的移动应用程序运行脚本库中选取与所述预定特征匹配的移动应用程序自动运行脚本；

步骤S400：根据所述移动应用程序自动运行脚本驱动所述目标移动应用程序运行，采集所述目标移动应用程序运行中产生的网络流量数据。

在本发明的一个具体实施例中，步骤S100构建移动应用程序运行脚本库，包括：

获取移动应用程序各运行界面、所述界面对应的有效操作集合和操作指向关系，得到操作触发的运行界面跳转关系，建立移动应用程序操作关系有向图，根据所述移动应用程序操作关系有向图生成移动应用程序自动运行脚本。本发明建立移动应用程序操作关系有向图，其中图中的节点由移动应用程序运行过程中的所有运行界面构成，有向边由所有的有效操作构成，每一条边代表从一个运行界面执行有效操作后跳转到另外一个运行界面。特别地，对于运行界面未发生变化的有效操作，该有向边为一条指向自身的环。操作关系有向图有效的表示了移动应用程序的有效操作路线。

在本发明的一可选实施例中，根据所述移动应用程序操作关系有向图生成移动应用程序自动运行脚本，包括:按照剪枝策略删除所述移动应用程序操作关系有向图中操作步骤冗余的分枝，根据剪枝后的所述移动应用程序操作关系有向图生成移动应用程序自动运行脚本。本发明中公开的移动应用程序自动运行脚本生成方法通过剪枝策略，删减了在移动应用程序运行过程中不能产生网络流量的操作，提高了移动应用程序网络流量自动获取的效率，避免不必要的操作。

本发明实施例包括如下步骤，参见图6所示：

步骤S101:根据解析出的运行界面和对应有效操作集合，生成移动应用程序操作关系有向图,即将样本移动应用程序运行过程中出现的所有运行界面及每个运行界面对应的有效操作进行组合，形成一个原始的带环的移动应用程序操作关系有向图。

步骤S102:对移动应用程序操作关系有向图进行剪枝，删除没有网络流量生成的分支,即对初始的移动应用程序操作关系有向图进行剪枝，删除图中多余的、不产生网络流量的分枝。

步骤S103:根据剪枝后的移动应用程序操作关系有向图生成移动应用程序自动运行脚本。该移动应用程序自动运行脚本由图中的一个节点即运行界面开始，沿着有向边执行到叶子节点。一般地，起始节点为移动应用程序首次打开时的运行界面。对于一个节点有多个下一跳节点，即一个运行界面有多个有效操作(组合)跳转到下一个运行界面的情形，在该移动应用程序自动运行脚本中可以随机选择其中的一个有效操作，也可以根据实际经验定向选择一个有效操作(组合)来获得所需的网络流量数据。

在生成移动应用程序自动运行脚本时还可以不遍历所有可能的操作触发的运行界面跳转关系(由开始节点到指定叶子节点的有向路径)，即可以在当前运行界面具有多个有效操作时，任意指定一条操作触发运行界面的跳转关系，从而不需要根据当前运行界面随机选择或者遍历可执行操作来确定下一步操作，可以直接执行连续的操作。

具体的，参见图7所示，提取的移动应用程序所有运行界面及每个运行界面的有效操作集合示例。移动应用程序操作关系有向图中一条有向边连接的两个节点表示一个运行界面在经过该有效操作后跳转到另一个运行界面。特别地，该运行界面可以是当前运行界面本身。由于本发明的目的在于自动获取移动应用程序运行过程中产生的网络流量数据，那些不产生网络流量的操作分枝是多余的，为了节省网络流量自动获取的时间，需要对不产生网络流量的操作分枝进行剪除。移动应用程序操作关系有向图和剪枝操作，参见图8所示，图中给出了两个剪枝操作的示意图。由于分枝界面2->界面5->界面6以及分枝界面1->界面4->界面8->界面7操作过程中不产生网络流量，而且其操作的步骤要多于其他分枝，因此，将他们剪除。去掉椭圆虚线部分后的图形即为剪枝后的移动应用程序操作关系有向图，它包含两条分枝，分别为界面1->界面2->界面6->界面9和界面1->界面3->界面7->界面10。根据该有向图生成移动应用程序自动运行脚本，该脚本的内容为按照分枝执行的一组有效操作集合，特别地，存在多个有效操作的运行界面可以随机地选择有效操作以遍历所有可能的分支。该剪枝环节，可以通过图形识别技术识别运行界面是否是广告界面、以及识别产生的网络流量是否是通用广告服务器、统计服务器产生的流量，进而对相关运行界面(节点)和操作(边)进行减枝，使得采集到的网络流量能够更准确的反应移动应用程序本身的流量特征。

本实施例中的步骤S200、步骤S300和步骤S400与第一实施例中的步骤S001、步骤S002和步骤S003相同，本实施例在此不再赘述。

本发明根据操作关系有向图自动生成移动应用程序运行脚本，脚本中包含每个运行界面和在当前运行界面需要执行的操作，特别地，该操作可以从有效操作集合中随机选择，也可以根据实际需要指定操作，从而快速使得移动应用程序产生网络流量。在移动应用程序操作关系有向图的基础上进行剪枝操作，通过删减多余的、不产生网络流量的分枝操作，精简化操作关系有向图，便于生成高效的自动运行脚本。

本发明目标移动应用程序通过移动应用程序自动运行脚本自动运行，实现了网络流量的自动采集，不需要人工干预，极大地节省了人力成本。

在本发明的第三实施例中，提供一种移动应用程序流量的自动获取装置，如图9所示，包括：信息采集模块1S、信息匹配模块2S和信息处理模块3S，

信息采集模块1S，用于提取目标移动应用程序的预定特征；

本发明实施例中：提取目标移动应用程序中的预定特征，该预定特征采用移动应用程序的包名，也可以采用移动应用程序的其他唯一识别特征。具体的，采用移动应用程序运行平台运行目标移动应用程序，每个移动应用程序运行平台独立开展网络流量的自动获取工作。移动应用程序运行平台通过移动应用程序运行引擎从移动应用程序库中调用目标移动应用程序安装包，安装并启动目标移动应用程序，提取该目标移动应用程序的包名。

信息匹配模块2S，用于从预先构建的移动应用程序运行脚本库中选取与所述预定特征匹配的移动应用程序自动运行脚本；

信息处理模块3S，用于根据所述移动应用程序自动运行脚本驱动所述目标移动应用程序运行，采集所述目标移动应用程序运行中产生的网络流量数据。

本发明实施例中，用于根据所述移动应用程序自动运行脚本驱动所述目标移动应用程序运行，即根据匹配的移动应用程序自动运行脚本判断目标移动应用程序当前运行界面是否存在可执行的操作，如果存在，则根据脚本执行对应的操作；如果没有可执行操作，说明该运行界面在移动应用程序自动运行脚本生成过程中没有生成。这可能是由于网络环境不好，造成操作的执行不及时，或者移动应用程序服务器更新，造成运行界面增加导致。一般地，该新增界面为移动应用程序运行过程中的广告界面。对于该新增界面可通过执行通用操作跳过该运行界面，并记录本次事件供后续分析使用。该通用操作包括但不限于以下几类操作：关闭当前出现的运行界面，点击返回键返回上一个运行界面和直接关闭移动应用程序。

本发明实施例中，在移动应用程序自动运行的同时，启动网络流量采集工具来提取移动应用程序运行平台中产生的网络流量。

在本发明的一可选实施例中，所述信息处理模块3S还用于采集目标移动应用程序运行中产生的所有网络流量，并对采集的非移动应用程序流量进行过滤，得到目标移动应用程序产生的网络流量。因为采集的网络流量中除了移动应用程序本身的流量，还有安卓操作系统基本框架及其他无关进程产生的流量，使得提取的移动应用程序网络流量不纯。本发明通过在移动应用程序运行过程中，记录移动应用程序进程使用的网络端口号，并将该端口号与运行过程中采集到的网络流量五元组信息(源、目的IP地址、源、目的端口以及协议类型)进行比对筛选，从而过滤出使用该端口的网络流量，即为目标移动应用程序运行过程中产生的网络流量。或者采用在系统中设置防火墙阻止其他进程访问互联网，仅允许移动应用程序访问互联网从而达到去除非移动应用程序流量(背景和噪声流量)的目的。本发明通过过滤网络流量获取的移动应用程序网络流量准确度高，在移动应用程序运行平台采集流量本身就隔离了部分不必要的干扰流量，进一步提高了流量采集的准确度。

需要说明的是，本实施例给出的上述信息处理模块3S的流量过滤只是本发明列举的两个优选实施方式，本发明并不唯一限定该方式，本领域技术人员容易想到的任何网络流量过滤方式均在本发明的保护思想范围内。

本发明通过信息采集模块S1、信息匹配模块S2和信息处理模块3S，实现了利用移动应用程序自动运行脚本自动运行目标移动应用程序，不需要人工干预，极大地节省了人力成本。

在本发明的第四实施例中，提供一种移动应用程序流量的自动获取装置，参见图10所示，包括：信息采集模块S1、信息匹配模块S2、信息处理模块S3和移动应用程序自动运行脚本生成模块S4，

所述移动应用程序自动运行脚本生成模块4S用于通过样本移动应用程序中各运行界面和各运行界面对应的有效操作集合，得到操作触发的运行界面跳转关系，根据操作触发的运行界面跳转关系生成移动应用程序自动运行脚本，其中，有效操作为运行界面发生变化的操作或者产生网络流量的操作；即通过汇总移动应用程序各运行界面和所述各运行界面对应的有效操作集合得到移动应用程序操作触发的运行界面跳转关系，根据该运行界面跳转关系生成移动应用程序自动运行脚本。将生成的移动应用程序自动运行脚本添加(存储)到移动应用程序运行脚本库。

进一步地，本发明实施例中，根据移动应用程序各运行界面和各运行界面对应的有效操作集合，包括：通过光学字符识别方式和图像识别方式识别出所述移动应用程序运行界面中可执行的操作，该可执行的操作包括控件点击、拖拽、文本框输入等操作。确定所述可执行的操作是否为有效操作，并根据所有有效操作生成有效操作集合。具体地，使用光学字符识别找出当前运行界面的文本操作控件，使用图像识别工具找出当前运行界面的图形操作控件，并通过尝试操作或者操作组合来确认当前运行界面的操作是否有效，如点击或输入文本操作控件和图像操作控件，通过前后图像的比对以及是否有新的网络数据分组产生来判断当前操作是否是有效操作。通过反复尝试不同的操作或者操作组合，找出尽可能多的有效操作，以及操作与当前运行界面的关系。

在本发明的一可选实施例中，移动应用程序自动运行脚本生成模块S4用于获取移动应用程序各运行界面、界面对应的有效操作集合和操作触发的运行界面跳转关系，建立移动应用程序操作关系有向图，根据所述移动应用程序操作关系有向图生成移动应用程序自动运行脚本。

进一步地，本发明实施例中，根据所述移动应用程序操作关系有向图生成移动应用程序自动运行脚本，包括:按照剪枝策略删除所述移动应用程序操作关系有向图中操作步骤冗余的分枝，根据剪枝后的所述移动应用程序操作关系有向图生成移动应用程序自动运行脚本。

本发明实施例中，首先将样本移动应用程序运行过程中出现的所有运行界面及每个运行界面对应的有效操作进行组合，形成一个原始的带环的移动应用程序操作关系有向图。接着，对初始的移动应用程序操作关系有向图进行剪枝，删除图中多余的、不产生网络流量的分枝；最后，根据剪枝后的移动应用程序操作关系有向图生成移动应用程序自动运行脚本。该移动应用程序自动运行脚本由图中的一个节点即运行界面开始，沿着有向边执行到叶子节点。一般地，起始节点为移动应用程序首次打开时的运行界面。对于一个节点有多个下一跳节点，即一个运行界面有多个有效操作(组合)跳转到下一个运行界面的情形，在该移动应用程序自动运行脚本中可以随机选择其中的一个有效操作，也可以根据实际经验定向选择一个有效操作(组合)来获得所需的网络流量数据。在生成移动应用程序自动运行脚本时还可以不遍历所有可能的操作触发的运行界面跳转关系(由开始节点到指定叶子节点的有向路径)，即可以在当前运行界面具有多个有效操作时，任意指定一条操作触发运行界面的跳转关系，从而不需要根据当前运行界面随机选择或者遍历可执行操作来确定下一步操作，可以直接执行连续的操作。

本发明的一个具体实施例，参见图7所示，提取的移动应用程序所有运行界面及每个运行界面的有效操作集合示例。移动应用程序操作关系有向图中一条有向边连接的两个节点表示一个运行界面在经过该有效操作后跳转到另一个运行界面。特别地，该运行界面可以是当前运行界面本身。由于本发明的目的在于自动获取移动应用程序运行过程中产生的网络流量数据，那些不产生网络流量的操作分枝是多余的，为了节省网络流量自动获取的时间，需要对不产生网络流量的操作分枝进行剪除。图8中给出了两个剪枝操作的示意图。由于分枝界面2->界面5->界面6以及分枝界面1->界面4->界面8->界面7操作过程中不产生网络流量，而且其操作的步骤要多于其他分枝，因此，将他们剪除。去掉椭圆虚线部分后的图形即为剪枝后的移动应用程序操作关系有向图，它包含两条分枝，分别为界面1->界面2->界面6->界面9和界面1->界面3->界面7->界面10。根据该有向图生成移动应用程序自动运行脚本，该脚本的内容为按照分枝执行的一组有效操作集合，特别地，存在多个有效操作的运行界面可以随机地选择有效操作以遍历所有可能的分支。

本实施例中的信息采集模块1S、信息匹配模块2S和信息处理模块3S与第三实施例中的信息采集模块1S、信息匹配模块2S和信息处理模块3S相同，本实施例在此不再赘述。

本发明通过信息采集模块S1、信息匹配模块S2、信息处理模块3S和移动应用程序自动运行脚本生成模块S4，实现了利用移动应用程序自动运行脚本自动运行目标移动应用程序，不需要人工干预，极大地节省了人力成本。

在本发明的第五实施例中，提供一种移动应用程序流量的自动获取系统，参见图11所示，包括：移动应用程序并发运行引擎模块5S、移动应用程序运行脚本库6S、多个移动应用程序运行平台7S和目标移动应用程序库8S、移动应用程序流量数据库9S。

所述移动应用程序并发运行引擎模块5S用于将目标移动应用程序库8S中目标移动应用程序部署到各移动应用程序运行平台7S。

移动应用程序运行平台7S内设有信息采集模块1S、信息匹配模块2S和信息处理模块3S，移动应用程序运行平台7S通过调用移动应用程序运行脚本库6S，执行移动应用程序自动运行脚本，以实现如第一实施例或第二实施例移动应用程序流量的自动获取方法步骤。

具体地，可以根据实际需求部署多个移动应用程序运行平台，移动应用程序并发运行引擎模块5S根据每个移动应用程序运行平台7S的负载情况将目标移动应用程序库8S中的移动应用程序分发到不同的移动应用程序运行平台7S中去运行，该移动应用程序运行平台7S从移动应用程序运行脚本库6S中提取对应脚本来驱动目标移动应用程序自动运行并自动获取运行中的网络流量，最后将网络流量过滤后保存到统一的移动应用程序流量数据库9S中。该负载情况是根据每个运行平台的CPU利用率情况来均衡，或者根据CPU、内存和网络带宽的加权利用率情况来均衡。通过负载均衡算法根据移动应用程序运行平台7S的不同性能均衡地分配需要运行的移动应用程序的数量，灵活调度不同运行平台的负载，从而提高整体效率。

由于在第一、二实施例中已经对移动应用程序流量的自动获取方法做了具体说明，本实施例在此不再赘述。本发明实现了大规模的移动应用程序并发运行，并高效地获取流量数据。

在本发明的第六实施例中，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明第一实施例或者第二实施例所述的移动应用程序流量的自动获取方法步骤。

由于在第一、二实施例中已经对移动应用程序流量的自动获取方法做了具体说明，本实施例在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机、计算机、服务器、空调器或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.一种移动应用程序流量的自动获取方法，其特征在于，包括以下步骤：

提取目标移动应用程序的预定特征；

从预先构建的移动应用程序运行脚本库中选取与所述预定特征匹配的移动应用程序自动运行脚本；

根据所述移动应用程序自动运行脚本驱动所述目标移动应用程序运行，采集所述目标移动应用程序运行中产生的网络流量数据；

所述提取目标移动应用程序的预定特征之前，还包括：

通过样本移动应用程序各运行界面和所述各运行界面对应的有效操作集合，得到操作触发的运行界面跳转关系，根据所述操作触发的运行界面跳转关系生成移动应用程序自动运行脚本，其中，所述有效操作为运行界面发生变化的操作或者产生网络流量的操作；

将生成的所述移动应用程序自动运行脚本添加到所述移动应用程序运行脚本库。

2.如权利要求1所述的方法，其特征在于，通过样本移动应用程序各运行界面和所述各运行界面对应的有效操作集合，得到操作触发的运行界面跳转关系，根据所述操作触发的运行界面跳转关系生成移动应用程序自动运行脚本，包括：

获取样本移动应用程序各运行界面、所述界面对应的有效操作集合和操作指向关系，得到操作触发的运行界面跳转关系，建立移动应用程序操作关系有向图，根据所述移动应用程序操作关系有向图生成移动应用程序自动运行脚本。

3.如权利要求1所述的方法，其特征在于，根据所述样本移动应用程序各运行界面和所述各运行界面对应的有效操作集合之前，还包括：

通过光学字符识别方式和图像识别方式识别出所述样本移动应用程序运行界面中可执行的操作；

确定所述可执行的操作是否为有效操作，并根据所有有效操作生成有效操作集合。

4.如权利要求2所述的方法，其特征在于，根据所述移动应用程序操作关系有向图生成移动应用程序自动运行脚本，包括:

按照剪枝策略删除所述移动应用程序操作关系有向图中操作步骤冗余的分枝，根据剪枝后的所述移动应用程序操作关系有向图生成移动应用程序自动运行脚本。

5.如权利要求1所述的方法，其特征在于，采集所述目标移动应用程序运行中产生的网络流量数据，包括：

采集目标移动应用程序运行中产生的所有网络流量，并对采集的非移动应用程序流量进行过滤，得到目标移动应用程序产生的网络流量。

6.一种移动应用程序流量的自动获取装置，其特征在于，包括：

信息采集模块，用于提取目标移动应用程序的预定特征；

信息匹配模块，用于从预先构建的移动应用程序运行脚本库中选取与所述预定特征匹配的移动应用程序自动运行脚本；

流量获取模块，用于根据所述移动应用程序自动运行脚本驱动所述目标移动应用程序运行，采集所述目标移动应用程序运行中产生的网络流量数据；所述装置还包括移动应用程序自动运行脚本生成模块，所述移动应用程序自动运行脚本生成模块用于在信息采集模块提取目标移动应用程序的预定特征之前，根据样本移动应用程序各运行界面和所述各运行界面对应的有效操作集合，得到操作触发的运行界面跳转关系，根据所述操作触发的运行界面跳转关系生成移动应用程序自动运行脚本，其中，所述有效操作为运行界面发生变化的操作或者产生网络流量的操作；

将生成的所述移动应用程序自动运行脚本添加到所述移动应用程序运行脚本库。

7.一种移动应用程序流量的自动获取系统，其特征在于，包括：移动应用程序并发运行引擎模块、移动应用程序运行脚本库及多个移动应用程序运行平台，

所述移动应用程序并发运行引擎模块用于将目标移动应用程序部署到各移动应用程序运行平台，所述各移动应用程序运行平台通过调用移动应用程序运行脚本库，执行移动应用程序自动运行脚本以实现如权利要求1至5任意一项所述方法步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至5任意一项所述方法步骤。