CN111988239A - 一种用于Android应用的软件纯净流量获取方法 - Google Patents

Abstract

本发明提供了一种用于Android应用的软件纯净流量获取方法。用于Android应用的软件纯净流量获取方法包括：进行流量捕获以获得对应的流量集，并在流量捕获期间，采用脚本记录目标软件占用的端口信息和时间戳信息；基于目标软件占用的端口信息和时间戳信息对步骤S1所捕获的流量集进行流量提纯，以获得目标软件对应的纯净流量集。本发明的一种用于Android应用的软件纯净流量获取方法，能够克服现有技术的上述不足，准确地提取Android应用的软件纯净流量。

Description

一种用于Android应用的软件纯净流量获取方法

技术领域

本发明涉及领域，尤其涉及一种用于Android应用的软件纯净流量获取方法。

背景技术

为了营造良好的网络环境，需要对网络流量进行识别和监管。网络流量特征提取、目标软件协议分析等则是做到对网络流量进行识别和监管的基础和关键技术。

在网络流量特征提取、目标协议分析等领域，纯净的网络流量数据集的获取是很重要的一个环节。一份纯度高的网络流量数据集能够显著提升网络流量特征提取结果的可靠性，尤其是一些建立在数据集基础上且对噪声较为敏感的基于机器学习或深度学习的网络流量特征提取方法；纯度高的网络流量数据集也能减轻目标软件协议分析的工作量。

目前，采用人工方法进行网络流量提纯的技术主要是利用人的知识和经验来对数据进行分析，它的主要弊端在于：费时费力、分析结果取决于人的知识结构和经验、对于一些私有协议或加密流量，人难以进行有效分析。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不意图确定本发明的关键或重要部分，也不意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明提供了一种用于Android应用的软件纯净流量获取方法，以至少解决现有技术的上述问题。

根据本发明的一个方面，提供了一种用于Android应用的软件纯净流量获取方法，所述软件纯净流量获取方法包括：进行流量捕获以获得对应的流量集，并在流量捕获期间，采用脚本记录目标软件占用的端口信息和时间戳信息；基于目标软件占用的端口信息和时间戳信息对步骤S1所捕获的流量集进行流量提纯，以获得目标软件对应的纯净流量集。

进一步地，在流程捕获的同时通过端口监听获得端口信息指导流量提纯，获得目标软件的纯净流量集。

进一步地，所述的进行流量捕获以获得对应的流量集，并在流量捕获期间，采用脚本记录目标软件占用的端口信息和时间戳信息的步骤包括：进行初始化，以检测设备是否正确接入以及是否成功获得root权限；进行流量捕获，同时进行端口监听；停止流量捕获和端口监听，并将产出的文件从设备中导出。

进一步地，所述流量提纯的步骤包括分流子处理，其中，所述分流子处理根据五元组信息划分出逐条单独的流。

进一步地，所述分流子处理包括：建立协议、源目的端口以及源目的IP的五元组的列表；读入数据，读出五元组信息。若该五元组信息不存在于列表中，则新建文件并写入pcap头和数据，并将该五元组信息加入列表；若该五元组信息在列表中，则追加写入数据。

进一步地，所述流量提纯的步骤还包括筛选子处理，所述筛选子处理根据所述分流子处理的分流结果和脚本记录筛选出目标软件流量。

进一步地，所述筛选子处理包括：读入端口信息和流量集，获取pcap包列表和起止时间；逐步读出所有的流，遍历所有的端口日志信息，按预定方式判断该流是否是目标软件产生的流，若是，则判定为目标软件流量，若不是，则判定为杂流量。

进一步地，按预定方式判断该流是否是目标软件产生的流的步骤包括：针对每个端口信息，以及针对每个pcap包，判断当前读取的端口信息是否是当前pcap包端口之一，若是，则将该pcap包确认为是目标软件产生的流。

目前，机器学习和深度学习已经广泛的应用于各个领域，贡献卓越，但不足主要在于：需要分析和提取的目标网络流量、协议等往往是人们所不熟知的，也就是说，缺乏目标网络流量的先验知识。这不仅仅导致只能采用无监督的方法，更关键的是同样无法构造一个可靠的验证集——如果能够构造出一个可靠验证集，则证明我们已经掌握了识别这种流量的方法。缺乏有效验证手段的结果是，这种现有技术仍然脱离不了人工手段。其次，基于机器学习或深度学习的方法需要体量大的数据，而在实际工作中由于需要自行收集数据，常常只能获取体量较小的数据集。

本发明的一种用于Android应用的软件纯净流量获取方法，能够克服现有技术的上述不足，准确地提取Android应用的软件纯净流量。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。其中：

图1是示出pcap文件格式的示意图；

图2是示出通过包名寻找User示例的示意图；

图3是示出通过User获取端口示例的示意图；

图4是示出部分脚本记录的示意图；

图5是示出筛选原理的示意图；

图6是示出根据本发明实施例的一种用于Android应用的软件纯净流量获取方法的示例性处理的流程图；

图7是示出根据本发明实施例的一种用于Android应用的软件纯净流量获取方法的一个优选实施例的流程图；

图8是示出捕获阶段的脚本流程图；

图9是示出分流子处理的示意图；

图10是示出分流子处理阶段的一个示例处理的示意图；

图11是示出筛选子处理的示意图。

本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本发明实施例的理解。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本发明内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

原理介绍

下面介绍一些本发明实施例用到的概念和发明原理。

ADB(Android Debug Bridge)是android sdk里的一个工具,用这个工具可以直接操作管理android模拟器或者真实的android设备。它的主要功能有:运行设备的shell(命令行)、管理模拟器或设备的端口映射、计算机和设备之间上传/下载文件、将本地APK软件安装至模拟器或Android设备。ADB是一个客户端-服务器端程序，其中客户端是用来操作的计算机，服务器端是虚拟的或真实的Android设备。下面介绍主要用到的命令功能。

adb devices：查看当前连接的设备，连接到计算机的Android设备或模拟器将会列出显示。

adb root：获取root权限。

adb shell tcpdump-vv-p-s 0-w filename：不将网络接口设置成混杂模式，捕获第一个网络接口上完整大小的数据包，并写入filename这个文件。

adb shell ps：显示Android设备中正在运行的进程。

adb shell netstat-e：显示系统上所有的网络套接字连接情况。

adb pull filename filepath：将Android设备中的filename文件下载到本地的filepath目录下。

adb shell rm filename：删除Android设备中的filename文件。

此外，Android中UID用于标识一个应用程序，UID在应用安装时被分配，并且在应用存在于Android设备上期间，都不会改变，一个应用程序只能有一个UID。

通过ADB的相关命令，可以在安卓设备中开启tcpdump捕获流量。并且可以获取目标应用程序的UID，通过UID对应的端口信息，我们可以掌握一个应用程序在某一时刻占用了哪些端口。

pcap文件的格式为“pcap文件头数据包头数据包数据包头数据包……”，见图1。其中pcap文件头占24个字节且唯一，即一个pcap文件中只有一个pcap文件头。pcap数据包头占16字节，里面有抓包时的时间戳、数据包包长等信息，其后面紧跟着数据包。其中数据包一般又可分为三层，即以太网数据帧(占据14个字节)、IP包头(一般为20字节)、TCP/UDP数据帧。

在掌握了pcap文件的文件格式后，可以根据需要，对pcap文件进行解析。

对于Android中的目标软件，可以通过其详细信息获取到它的包名，通过ps命令和管道过滤，可以找到其对应的User，如图2展示了一次查找过程。框中“com.neeo.chatmessenget.ui”是Neeo软件的包名，“u0_a251”是它的User，表示该应用是user 0(主用户)下面的应用，id是251，普通应用程序的UID都是从10000开始的，所以最终计算出的UID就是10251。

接着，利用netstat命令和管道过滤，可以看到和目标User相关的网络套接字连接情况，如图3所示。

至此，利用脚本来定时获取这些信息，可以记录下来目标软件在某一时刻占用了哪些端口。如图4所示为在时间戳为1554357237这一刻，目标软件占用了41431、41993、42018端口，在1554357258这一刻，目标软件占用了38016、49889、49797端口。

例如，可以采用tcpdump命令来进行流量的捕获，并自行对pcap文件进行解析。根据源目的IP、源目的端口来区分不同的流，对于一条流获取它的起始时间和结束时间。根据脚本记录下来的软件占用端口信息，即能对流量进行提纯。

若一条流的源端口或目的端口与脚本记录中的某一条端口号一致，且该条记录中的时间戳位于该流的起止时间之间，则认定该流为目标软件产生的流量。例如，脚本有一条47577 1554357237的记录，同时，有一条起止时间分别为1554357205、1554357301的使用了47577端口的流，则该流是目标软件产生的，如图5所示。

本发明实施例通过建立Android中软件与对应流量的映射关系，用这种映射关系来指导流量提纯。

示例性方法

在本发明的实施例中，先捕获流量，再进行提纯，但在捕获阶段采用脚本记录目标软件占用的端口和时间戳信息，利用这些信息指导后续的提纯处理，从而获得纯净的目标软件流量。

如图6所示，示出了本发明实施例的用于Android应用的软件纯净流量获取方法的一个示例性处理的流程。

在步骤S1中，进行流量捕获以获得对应的流量集，并在流量捕获期间，采用脚本记录目标软件占用的端口信息和时间戳信息。

接着，在步骤S2中，基于目标软件占用的端口信息和时间戳信息对步骤S1所捕获的流量集进行流量提纯，以获得目标软件对应的纯净流量集。其中，时间戳信息例如图5所示的“记录：47577 1554357237”，此信息是通过端口监听获得的，用于判定一条流是否是目标软件所产生的。

图7给出了上述用于Android应用的软件纯净流量获取方法的一个优选实施例。由图7可知，在流程捕获的同时通过端口监听获得端口信息等来指导流量提纯，进而获得目标软件的纯净流量集。

在一个例子中，捕获阶段例如可以如图8所示的脚本流程图。

其中，端口监听是指每隔一段时间(如每隔预定时间间隔，预定时间间隔例如是10秒、30秒、1分钟或10分钟等)记录目标软件所占用的端口和当时的时间戳，时间间隔可由用户设置。

如图8所示，在步骤S11中，进行初始化，以检测设备是否正确接入以及是否成功获得root权限(其中，部分命令需要root权限才能执行)。

可选地，在步骤S11中还可以包括其他初始化操作等。

在步骤S12中，进行流量捕获，同时在步骤S13中进行端口监听。例如，可以开启端口监听和流量捕获，端口监听每隔几秒用上文所述方式探知目标软件占用的端口信息和当时的时间戳，流量捕获持续捕捉该设备产生的所有网络流量。

在步骤S14中，停止流量捕获和端口监听，并将产出的文件从设备中导出。其中，这里所指的产出文件包含端口监听产生的记录文件和流量捕获产生的pcap文件。

步骤S2的流量提纯处理例如可以包括分流子处理和筛选子处理。分流子处理可以根据五元组信息划分出一条条(逐条)单独的流，而筛选子处理可以根据分流结果和脚本记录筛选出目标软件流量。

作为示例，例如可以按照如下方式来实现分流子处理：建立协议、源目的端口以及源目的IP的五元组的列表；读入数据，读出五元组信息。若该五元组信息不存在于列表(即上文所述的五元组的列表)中，则新建文件并写入pcap头和数据，并将该五元组信息加入列表；若该五元组信息在列表中，则追加写入数据。

其中，所述建立协议的步骤中，例如建立的是传输层协议，比如，可以包括TCP和UDP等。

其中，上文所述的“源目的端口”即指源端口号和目的端口号，而源目的IP是指源ip和目的ip。

与端口监听同时进行的还有流量捕获步骤，流量捕获的产出为pcap文件(一种保存网络流量数据的文件格式)，对它进行逐层解析得到传输层的信息，其中包括了传输层协议(即之前所述的TCP和UDP)、源端口号、目的端口号、源ip、目的ip这5个关键信息，本文中称为“五元组”。

例如，五元组的一个具体示例可以如表1所示。

表1

协议	源ip	源端口	目的ip	目的端口
					TCP	9.141.131.24	42572	192.168.15.45	2452
TCP	10.51.148.4	422	9.11.25.105	14202
					UDP	9.107.141.60	44572	100.117.135.6	2752

这样，在分流子处理阶段对pcap文件处理时，将网络数据划分为一条一条的网络数据流。一条流由“五元组”唯一确定。

其中，“五元组”完全一致的为同一条流。

此外，协议一致，但源目的ip、源目的端口恰好相反(反向)的为同一条流。

比如，假设机器A的ip是9.2.144.237，用端口6294和机器B(ip：100.112.136.109)的443端口进行通信，通信是有交互有来回的。如图10所示，假设使用的是TCP协议，各个五元组如表2所示。

表2

流序号	协议	源ip	源端口	目的ip	目的端口
						①	TCP	9.2.144.237	6294	100.112.136.109	443
②	TCP	100.112.136.109	443	9.2.144.237	6294
						③	TCP	9.2.144.237	6294	100.112.136.109	443

参考图10及表2，可知，①和③属于同一条流，但①、③和②也属于同一条流，②可以理解为“应答”。

在“读入数据，读出五元组信息”的步骤中，读入pcap文件，从pcap文件中读出五元组信息。如前所述，“五元组”和网络数据流一一对应，pcap文件含有很多条网络数据流，也就有很多“五元组”，此处的“五元组信息”指一条网络流的“五元组”的信息，而“五元组的列表”要存放pcap文件中所有的“五元组”的信息。

此外，如图1所示，一条网络流由很多个数据包构成，而这些数据包在pcap文件里并不是连续的，例如：

……、网络流A的数据包头、网络流A的数据包、网络流B的数据包头、网络流B的数据包、网络流A的数据包头、网络流A的数据包、……

“若五元组信息不存在列表中”证明这是一条未曾处理过的网路流，于是可以通过“新建文件并写入pcap头和数据”用来保存这条流的数据，并“将该五元组信息加入列表”表明已为这条流建立了存储文件。

“若五元组信息在列表中”，则表示已经为这条流建立了存储文件，而现在处理的数据是该流的后续流量，于是要将其追加写入对应的文件。

图9给出了分流子处理的一个示例性处理。

如图9所述，分流子处理开始后，在步骤S901中，读入pcap文件头。

接着，在步骤S902中，判断步骤S901是否成功：若读入成功，则建立五元组列表(S903)；若读入失败，则提示失败(S910)，并结束处理。

建立五元组列表后，继续判断是否读到了文件末尾(S904)：若是，则结束处理；否则，读入数据头，并根据数据头提示长度读取数据(S905)。

在“根据数据头提示长度读取数据”的步骤后，判断当前读取的五元组信息是否拥有IP层、TCP层或者UDP层(S906)。

若当前读取的五元组信息不含有IP层、TCP层或者UDP层中的任一种，则返回前述步骤继续判断是否读到了文件末尾(即返回步骤S904)。

若当前读取的五元组信息拥有IP层、TCP层或者UDP层中的任一种，则继续判断当前读取的五元组信息是否位于五元组列表中(S907)。

若在步骤S907中，判断出当前读取的五元组信息并不位于五元组列表中，则执行步骤S908，新建文件夹并写入pcap头部，将五元组加入列表中，然后执行步骤S909，追加写入数据包头和数据，再返回至前述步骤继续判断是否读到了文件末尾(即返回步骤S904)，继续处理，直到读到了文件末尾时结束处理。

若在步骤S907中，判断出当前读取的五元组信息已经位于五元组列表中，则执行步骤S909，追加写入数据包头和数据，再返回至前述步骤继续判断是否读到了文件末尾(即返回步骤S904)，继续处理，直到读到了文件末尾时结束处理。

作为示例，例如可以按照如下方式来实现筛选子处理：读入端口信息和流量集，获取pcap包列表和起止时间；逐步读出所有的流，遍历所有的端口日志信息，按预定方式判断该流是否是目标软件产生的流，若是，则判定为目标软件流量，若不是，则判定为杂流量。

其中，逐步读出所有的流是指，逐条读出所有的流，对于当前处理的这条流，可以得知其“五元组”信息和它的起止时间戳，即可结合端口日志信息，用图5所描述的方式判定该流是否是目标软件产生的流。

例如，上述“按预定方式判断该流是否是目标软件产生的流”例如包括：针对每个端口信息，以及针对每个pcap包，判断当前读取的端口信息是否是当前pcap包端口之一，若是，则将该pcap文件(pcap包)确认为是目标软件产生的流。

比如，当判断当前读取的端口信息是当前pcap包端口之一时，可以移动该流(该pcap文件)至纯流文件夹，并从pcap包列表中移除该文件。

图11给出了筛选子处理的一个示例性处理。

如图11所示，筛选子处理开始后，获取pcap包列表和起止时间(S1101)，然后读取端口日志信息(S1102)。

接着，判断是否遍历完所有的端口信息(S1103)。

若已遍历完所有的端口信息，则结束筛选子处理。

若尚未遍历完所有的端口信息，则继续判定是否遍历完所有pcap包列表(S1104)。

若已遍历完所有pcap包列表，则结束筛选子处理。

若尚未遍历完所有pcap包列表，则判断当前读取的端口信息是否是当前pcap包端口之一(S1105)。

若当前读取的端口信息并非是当前当前pcap包端口之一，则返回执行步骤S1104。

若当前读取的端口信息是当前当前pcap包端口之一，则继续判断对应时间戳是否位于流起止时间之间(S1106)。

若步骤S1106中判断出时间戳并不位于流起止时间之间，则返回执行步骤S1104。

若步骤S1106中判断出时间戳位于流起止时间之间，则执行步骤S1107，移动该流(该pcap文件)至纯流文件夹，并从pcap包列表中移除该文件。在执行完步骤S1107后，返回执行步骤S1103。

这样，直到遍历完所有端口信息、并且遍历完所有pcap包列表后，筛选子处理结束。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (8)

1.一种用于Android应用的软件纯净流量获取方法，其特征在于，所述软件纯净流量获取方法包括：

进行流量捕获以获得对应的流量集，并在流量捕获期间，采用脚本记录目标软件占用的端口信息和时间戳信息；

基于目标软件占用的端口信息和时间戳信息对步骤S1所捕获的流量集进行流量提纯，以获得目标软件对应的纯净流量集。

2.根据权利要求1所述的软件纯净流量获取方法，其特征在于，在流程捕获的同时通过端口监听获得端口信息指导流量提纯，获得目标软件的纯净流量集。

3.根据权利要求1或2所述的软件纯净流量获取方法，其特征在于，所述的进行流量捕获以获得对应的流量集，并在流量捕获期间，采用脚本记录目标软件占用的端口信息和时间戳信息的步骤包括：

进行初始化，以检测设备是否正确接入以及是否成功获得root权限；

进行流量捕获，同时进行端口监听；

停止流量捕获和端口监听，并将产出的文件从设备中导出。

4.根据权利要求1-3中任一项所述的软件纯净流量获取方法，其特征在于，所述流量提纯的步骤包括分流子处理，其中，所述分流子处理根据五元组信息划分出逐条单独的流。

5.根据权利要求4所述的软件纯净流量获取方法，其特征在于，所述分流子处理包括：

建立协议、源目的端口以及源目的IP的五元组的列表；读入数据，读出五元组信息。若该五元组信息不存在于列表中，则新建文件并写入pcap头和数据，并将该五元组信息加入列表；若该五元组信息在列表中，则追加写入数据。

6.根据权利要求4或5所述的软件纯净流量获取方法，其特征在于，所述流量提纯的步骤还包括筛选子处理，所述筛选子处理根据所述分流子处理的分流结果和脚本记录筛选出目标软件流量。

7.根据权利要求6所述的软件纯净流量获取方法，其特征在于，所述筛选子处理包括：

读入端口信息和流量集，获取pcap包列表和起止时间；逐步读出所有的流，遍历所有的端口日志信息，按预定方式判断该流是否是目标软件产生的流，若是，则判定为目标软件流量，若不是，则判定为杂流量。

8.根据权利要求7所述的软件纯净流量获取方法，其特征在于，按预定方式判断该流是否是目标软件产生的流的步骤包括：

针对每个端口信息，以及针对每个pcap包，判断当前读取的端口信息是否是当前pcap包端口之一，若是，则将该pcap包确认为是目标软件产生的流。

Images