CN114143301A - 一种移动流量应用识别特征提取方法及系统 - Google Patents

Abstract

本发明涉及一种移动流量应用识别特征提取方法及系统。所述方法包括：获取目标移动应用的移动应用流量；提取移动应用流量中的各HTTP请求报文中的URL字段；对各URL字段进行处理得到左值集合，并将目标移动应用的名称与左值集合确定为原始数据；使用FP‑Growth算法对原始数据依次进行频繁项集和关联规则的提取得到关联规则；确定关联规则的左侧为目标移动应用的移动流量应用识别特征。本发明通过采用FP‑Growth算法对原始数据进行处理得到移动流量应用识别特征，实现了自动提取移动流量应用识别特征。

Description

一种移动流量应用识别特征提取方法及系统

技术领域

本发明涉及流量特征提取技术领域，特别是涉及一种移动流量应用识别特征提取方法及系统。

背景技术

随着移动设备的普及和移动应用的繁荣发展，移动应用已成为人们当前最常用的上网方式，移动网络流量已经超过传统工作站流量成为网络流量的主要组成部分。研究关注的热点也从传统工作站流量识别转向了移动网络流量识别。

移动网络流量识别技术的目标是识别移动流量的来源应用，这项技术在网络管理与安全、市场调研和用户分析等领域有重要的作用。例如，基于这项技术，服务提供商可以掌握网络中的移动应用流量分布情况；网络管理员可以获取园区内流行的网络应用并优化相关网络资源分配以提高用户体验；广告提供商可以了解某一应用在何时何地更受用户欢迎从而制定更合理的广告投放策略等等。

移动应用识别技术是通过移动应用的流量识别特征进行判断的，当前移动应用流量识别特征提取的精确率较高的都是基于深度报文检测的，但是在最后提取特征的时候需要人工手动参与，自动化程度不高。

发明内容

本发明的目的是提供一种移动流量应用识别特征提取方法及系统，实现了自动提取移动流量应用特征。

为实现上述目的，本发明提供了如下方案：

一种移动流量应用识别特征提取方法，包括：

获取目标移动应用的移动应用流量；

提取所述移动应用流量中的各HTTP请求报文中的URL字段；

分别对各所述URL字段进行处理得到各URL字段对应的左值集合，并将所述目标移动应用的名称分别与各所述各URL字段对应的左值集合确定为原始数据；

使用FP-Growth算法对所述原始数据进行处理得到关联规则；

确定所述关联规则的左侧为所述目标移动应用的移动流量应用识别特征。

可选的，在所述提取所述移动应用流量中的各HTTP请求报文中的URL字段之前还包括：

对所述移动应用流量进行流重组操作得到重组后的网络流；

将所述重组后的网络流中预设条件的流剔除得到预处理后的移动应用流量；所述预设条件的流为没有完整TCP握手过程的HTTP流、服务器响应状态码不是“2XX”的HTTP流和HTTPS流。

可选的，所述对各所述URL字段进行处理得到左值集合，具体包括：

对于任意一个URL字段；对所述URL字段以设定字符进行分词，得到词组集合；

将所述词组集合中各词组的“＝”和“＝”右侧的字段删除得到所述URL字段对应的左值集合。

可选的，所述使用FP-Growth算法对所述原始数据进行处理得到关联规则，具体包括：

根据所述原始数据构造FP树；

根据所述FP树得到所述目标移动应用的频繁项集；

根据所述频繁项集得到所述关联规则。

一种移动流量应用识别特征提取系统，包括：

获取模块，用于获取目标移动应用的移动应用流量；

提取模块，用于提取所述移动应用流量中的各HTTP请求报文中的URL字段；

左值确定模块，用于分别对各所述URL字段进行处理得到各URL字段对应的左值集合，并将所述目标移动应用的名称分别与各所述URL字段对应的左值集合确定为原始数据；

关联规则确定模块，用于使用FP-Growth算法对所述原始数据进行处理得到关联规则；

特征确定模块，用于确定所述关联规则的左侧为所述目标移动应用的移动流量应用识别特征。

可选的，所述移动流量应用识别特征提取系统，还包括：

流重组模块，用于对所述移动应用流量进行流重组操作得到重组后的网络流；

流剔除模块，应用将所述重组后的网络流中预设条件的流剔除得到预处理后的移动应用流量；所述预设条件的流为没有完整TCP握手过程的HTTP流、服务器响应状态码不是“2XX”的HTTP流和HTTPS流。

可选的，所述左值确定模块，具体包括：

分词单元，用于对于任意一个URL字段；对所述URL字段以设定字符进行分词，得到词组集合；

左值确定单元，用于将所述词组集合中各词组的“＝”和“＝”右侧的字段删除得到所述URL字段对应的左值集合。

可选的，所述关联规则确定模块，具体包括：

FP树构造单元，用于根据所述原始数据构造FP树；

频繁项集确定单元，用于根据所述FP树得到所述目标移动应用的频繁项集；

关联规则确定单元，用于根据所述频繁项集得到所述关联规则。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明获取目标移动应用的移动应用流量；提取移动应用流量中的HTTP请求报文中的URL字段；对URL字段进行处理得到左值集合，并将目标移动应用的名称与左值集合确定为原始数据；使用FP-Growth算法对原始数据依次进行频繁项集和关联规则的提取得到关联规则；确定关联规则的左侧为目标移动应用的移动流量应用识别特征，通过采用FP-Growth算法对原始数据进行处理得到移动流量应用识别特征，实现了自动提取移动流量应用识别特征。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种移动流量应用识别特征提取方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明实施例提供了一种移动流量应用识别特征提取方法，包括：

步骤101：获取目标移动应用的移动应用流量。

步骤102：提取所述移动应用流量中的各HTTP请求报文中的URL字段。

步骤103：分别对各所述URL字段进行处理得到各URL字段对应的左值集合，并将所述目标移动应用的名称分别与各所述URL字段对应的左值集合确定为原始数据。

步骤104：使用FP-Growth算法对所述原始数据进行处理得到关联规则。

步骤105：确定所述关联规则的左侧为所述目标移动应用的移动流量应用识别特征。

在实际应用中，在所述提取所述移动应用流量中的各HTTP请求报文中的URL字段之前还包括：

对所述移动应用流量进行流重组操作得到重组后的网络流。

将所述重组后的网络流中预设条件的流剔除得到预处理后的移动应用流量；所述预设条件的流为没有完整TCP握手过程的HTTP流、服务器响应状态码不是“2XX”的HTTP流和HTTPS流。

在实际应用中，所述对各所述URL字段进行处理得到左值集合，具体包括：

对于任意一个URL字段；对所述URL字段以设定字符进行分词，得到词组集合。所述设定字符为：“/”、“？”、“\”和“&”。

将所述词组集合中各词组的“＝”和“＝”右侧的字段删除得到所述URL字段对应的左值集合。

在实际应用中，所述使用FP-Growth算法对所述原始数据进行处理得到关联规则，具体包括：

根据所述原始数据构造FP树。

根据所述FP树得到所述目标移动应用的频繁项集。

根据所述频繁项集得到所述关联规则。

本实施例采用上述方法对QQ音乐进行处理：

步骤1：使用适用于安卓系统的APPNetlog抓取带有标签的移动应用流量，因为此处以QQ音乐为例所以此处的标签是QQ音乐，用户只需将APPNetlog安装在设备上并开启，该APP即可自动拷贝设备产生的应用流量并记录流量的标签，并定期将数据上传至服务器。

步骤2：对带标签的流量进行预处理，首先将流重组，然后剔除不合格流，最后得到预处理后的移动应用流量。

步骤2具体包括：

步骤2.1：由于采集的移动应用流量是一系列网络报文的集合，网络流量特征提取是以流为单位，需要对原始的报文集合进行流重组，将混合的报文，按照传输层协议(TCP或UDP)、源IP地址、源端口号、目的IP地址、目的端口号划分为独立的双向网络流。

步骤2.2：由于网络通信的复杂性，部分网络的流不能正常进行传输，需要将其中把不合格的流进行剔除，来提高特征的准确性。首先将不具有完整的TCP握手过程的HTTP流进行剔除，然后对于HTTP流，将服务器响应状态码不为“2XX”的流剔除，因为只有服务器响应为“2XX”的流才能进行正常的HTTP数据传输，其他的响应状态码的HTTP流量必须进行进一步操作才能进行传输，所以予以剔除。最后筛掉其中的HTTPS的流，由于本方法是基于DPI的流量特征提取，所以要筛掉加密的HTTPS流。

步骤3：提取预处理后的移动应用流量中的HTTP请求报文的URL字段并且对于URL进行分词，目的是筛掉右值，留下左值。

以QQ音乐的一条URL

“/C400003mAan70zUy5O.m4a？guid＝000000003893d5caf0edc57f6e5e5add&vkey＝AD36AFB226&uin＝8060&fromtag＝3”为例，步骤3具体包括：

步骤3.1：对上面的URL以“/”，“？”和“\”分词，得到

[C400003mAan70zUy5O.m4a，guid＝000000003893d5caf0edc57f6e5e5add&vkey＝AD36AFB226&uin＝8060&fromtag＝3]。

步骤3.2：对3.1中得到的结果的每一项再用“&”进行分词，因为键值对和键值对中间是用“&”进行连接的；对步骤3.1得到的词组再次进行分词后得到词组集合：

[C400003mAan70zUy5O.m4a，guid＝000000003893d5caf0edc57f6e5e5add，vkey＝AD36AFB226，uin＝8060，fromtag＝3]。

步骤3.3：对步骤3.2中得到的词组集合中的每个词组查看其中是否有“＝”，如果有的话筛掉“＝”和“＝”右侧的字段，仅保留“＝”左侧的字段，得到左值集合：[C400003mAan70zUy5O.m4a，guid，vkey，uin，fromtag]，作用是筛掉右值，保留左值。

步骤3.4：对步骤3.3中得到的左值集合加这个左值集合的标签，得到原始数据[QQ音乐，C400003mAan70zUy5O.m4a，guid，vkey，uin，fromtag]，为了方便下一步使用频繁项集进行提取关联规则所以加上标签。

步骤4：使用FP-Growth算法对于步骤3.4得到的原始数据进行频繁项集和关联规则的提取。

步骤4.1：首先构造FP树，FP树中包含3部分，第一部分是一个项头表，里面记录了所有的频繁1项集出现的次数，按照次数降序排列。第二部分是FPTree。第三部分是节点链表。所有项头表里的频繁1项集都是一个节点链表的头，它依次指向FP树中该频繁1项集出现的位置。

第一次扫描原始数据得到所有频繁1项集的计数，然后删除支持度低于阈值的项，将1项频繁集放入项头表，并按照支持度降序排列；第二次也是最后一次扫描数据，将剔除原始数据中非频繁1项集，并按照支持度降序排列，得到更新的原始数据，然后根据第二次扫描之后更新的原始数据将频繁项逐条插入到FP树中，如果一个路径已存在，就将该节点的计数加1，如果该路径不存在，就新建节点来满足该路径，新建的节点的计数均为1。然后将节点链表链接好，即将该项节点链表的末尾链接到该项的最新节点上。

步骤4.2：然后根据FP树挖掘频繁项集与关联规则。从4.1得到了FP树项头表以及节点链表，首先要从项头表的底部项依次向上挖掘。对于项头表对应于FP树的每一项，我们要找到它的条件模式基。所谓条件模式基是以我们要挖掘的节点作为叶子节点所对应的FP子树。得到这个FP子树，我们将子树中每个节点的计数设置为叶子节点的计数，并删除计数低于支持度的节点。从这个条件模式基，就可以递归挖掘得到频繁项集。由于想要的是可以生成应用特征的关联规则，所以只需要挖掘项为应用名称(QQ音乐)的条件模式基以及频繁项集，这样可以减少计算量，增强移动应用特征生成效率。以多条QQ音乐的流得到的频繁项集为{formatag：3，guid：3，vkey：3，uin：3，QQ音乐：3}。由于不同QQ音乐的流中C400003mAan70zUy5O.m4a字段均不相同，所以这个词被FP-Growth算法过滤掉。根据频繁项集得到关联规则为[formatag，guid，vkey，uin]→[QQ音乐]。

步骤5：从得到的相关规则中获取应用流量的特征。

根据步骤4中得到的关联规则就可以得到流量的特征，以关联规则的左侧的词组作为应用特征，关联规则右侧是应用名称，当左侧的词组是流量的URL的左值词组的子集的时候，此条流就是该应用的流。

本实施例还提供了一种与上述方法对应的移动流量应用识别特征提取系统，所述系统包括：

获取模块，用于获取目标移动应用的移动应用流量。

提取模块，用于提取所述移动应用流量中的各HTTP请求报文中的URL字段。

左值确定模块，用于分别对各所述URL字段进行处理得到各URL字段对应的左值集合，并将所述目标移动应用的名称分别与各所述URL字段对应的左值集合确定为原始数据。

关联规则确定模块，用于使用FP-Growth算法对所述原始数据进行处理得到关联规则。

特征确定模块，用于确定所述关联规则的左侧为所述目标移动应用的移动流量应用识别特征。

作为一种可选的实施方式，所述移动流量应用识别特征提取系统，还包括：

流重组模块，用于对所述移动应用流量进行流重组操作得到重组后的网络流。

流剔除模块，应用将所述重组后的网络流中预设条件的流剔除得到预处理后的移动应用流量；所述预设条件的流为没有完整TCP握手过程的HTTP流、服务器响应状态码不是“2XX”的HTTP流和HTTPS流。

作为一种可选的实施方式，所述左值确定模块，具体包括：

分词单元，用于对于任意一个URL字段；对所述URL字段以设定字符进行分词，得到词组集合。所述设定字符为：“/”、“？”、“\”和“&”。

左值确定单元，用于将所述词组集合中各词组的“＝”和“＝”右侧的字段删除得到所述URL字段对应的左值集合。

作为一种可选的实施方式，所述关联规则确定模块，具体包括：

FP树构造单元，用于根据所述原始数据构造FP树。

频繁项集确定单元，用于根据所述FP树得到所述目标移动应用的频繁项集。

关联规则确定单元，用于根据所述频繁项集得到所述关联规则。

本发明有以下技术效果：

1、本发明基于提高移动应用流量特征提取的自动化程度的前提下，借助数据挖掘的相关理论，将FP-Growth算法应用到移动应用流量特征提取中，解决了最后提取特征时候需要人工手动参与的问题，提高了特征提取的自动化程度。

2、在带有标签的小样本的流中提取的特征对于应用进行识别可以得到一个较高的精度，在每个应用使用100条带标签的流的情况下，可以达到94.05％的召回率和99.39％的精度，高于现有技术7％左右，因为在步骤3中将经常变的URL中的右值进行了过滤，留下了左值等可以很好地识别应用特征的词；在步骤4中使用了FP-Growth算法，可以很好地把低于最小支持度，也就是偶尔出现的流量过滤掉，同时也可以把低于置信度阈值的关联规则，也就是在多个应用中出现的特征过滤掉，从而很好地保证了获得移动应用流量特征的质量。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种移动流量应用识别特征提取方法，其特征在于，包括：

获取目标移动应用的移动应用流量；

提取所述移动应用流量中的各HTTP请求报文中的URL字段；

分别对各所述URL字段进行处理得到各URL字段对应的左值集合，并将所述目标移动应用的名称分别与各所述URL字段对应的左值集合确定为原始数据；

使用FP-Growth算法对所述原始数据进行处理得到关联规则；

确定所述关联规则的左侧为所述目标移动应用的移动流量应用识别特征。

2.根据权利要求1所述的一种移动流量应用识别特征提取方法，其特征在于，在所述提取所述移动应用流量中的各HTTP请求报文中的URL字段之前还包括：

对所述移动应用流量进行流重组操作得到重组后的网络流；

将所述重组后的网络流中预设条件的流剔除得到预处理后的移动应用流量；所述预设条件的流为没有完整TCP握手过程的HTTP流、服务器响应状态码不是“2XX”的HTTP流和HTTPS流。

3.根据权利要求1所述的一种移动流量应用识别特征提取方法，其特征在于，所述对各所述URL字段进行处理得到左值集合，具体包括：

对于任意一个URL字段；对所述URL字段以设定字符进行分词，得到词组集合；

将所述词组集合中各词组的“＝”和“＝”右侧的字段删除得到所述URL字段对应的左值集合。

4.根据权利要求1所述的一种移动流量应用识别特征提取方法，其特征在于，所述使用FP-Growth算法对所述原始数据进行处理得到关联规则，具体包括：

根据所述原始数据构造FP树；

根据所述FP树得到所述目标移动应用的频繁项集；

根据所述频繁项集得到所述关联规则。

5.一种移动流量应用识别特征提取系统，其特征在于，包括：

获取模块，用于获取目标移动应用的移动应用流量；

提取模块，用于提取所述移动应用流量中的各HTTP请求报文中的URL字段；

左值确定模块，用于分别对各所述URL字段进行处理得到各URL字段对应的左值集合，并将所述目标移动应用的名称分别与各所述URL字段对应的左值集合确定为原始数据；

关联规则确定模块，用于使用FP-Growth算法对所述原始数据进行处理得到关联规则；

特征确定模块，用于确定所述关联规则的左侧为所述目标移动应用的移动流量应用识别特征。

6.根据权利要求5所述的一种移动流量应用识别特征提取系统，其特征在于，还包括：

流重组模块，用于对所述移动应用流量进行流重组操作得到重组后的网络流；

流剔除模块，应用将所述重组后的网络流中预设条件的流剔除得到预处理后的移动应用流量；所述预设条件的流为没有完整TCP握手过程的HTTP流、服务器响应状态码不是“2XX”的HTTP流和HTTPS流。

7.根据权利要求5所述的一种移动流量应用识别特征提取系统，其特征在于，所述左值确定模块，具体包括：

分词单元，用于对于任意一个URL字段；对所述URL字段以设定字符进行分词，得到词组集合；

左值确定单元，用于将所述词组集合中各词组的“＝”和“＝”右侧的字段删除得到所述URL字段对应的左值集合。

8.根据权利要求5所述的一种移动流量应用识别特征提取系统，其特征在于，所述关联规则确定模块，具体包括：

FP树构造单元，用于根据所述原始数据构造FP树；

频繁项集确定单元，用于根据所述FP树得到所述目标移动应用的频繁项集；

关联规则确定单元，用于根据所述频繁项集得到所述关联规则。

Images