CN109617762A - 一种利用网络流量识别移动应用的方法 - Google Patents

Abstract

本发明公开了一种利用网络流量识别移动应用的方法，首先，运行待识别的APP并采集其与服务器通信时产生的网络流量，提取其中的HTTP请求头部信息生成APP指纹并构建APP特征库；然后，在网络设备上采集目标用户或终端设备的网络流量，将流量按时间及HTTP请求头部中的域名聚集为若干待识别的流量类簇，提取类簇中HTTP请求的头部信息建立流量类簇指纹；最后，将每个流量类簇指纹与APP特征库中的APP指纹逐一进行匹配，根据匹配结果选择与类簇指纹最接近的APP指纹，该APP指纹所对应的APP即判定为产生流量类簇的APP，从而识别出用户所使用的APP。通过上述方式，本发明能够有效识别用户所使用的APP，特别是能够识别域名相同的系列APP以及域名与母平台相同的细分功能型APP。

Description

一种利用网络流量识别移动应用的方法

技术领域

本发明属于网络流量分析及模式识别领域，特别是涉及一种利用网络流量识别移动 应用的方法。

背景技术

随着移动互联网的发展，大量互联网业务以智能终端上的移动应用(APP)形式开展服务。识别出目标用户所使用的APP，能够有效支撑一系列营销和管理活动，如网络 运营商能够根据APP的使用数据建立用户画像，进行精准营销。不考虑在用户终端中植 入木马、偷窥等非常规手段，分析智能终端联网时所产生的网络流量特征是识别出终端 上所运行的APP的重要途径。APP运行时会通过特定的域名与自身的服务器进行通信， 因此一般可利用网络流量中的域名作为标识进行APP的识别。然而，很多系列APP(如 宝宝巴士早教系列拥有儿歌、动画、启蒙、运动等多达百余个专题APP)或大型APP平 台下的细分功能型APP(如爱奇艺旗下的早教APP爱奇艺奇巴布)会使用统一的域名与 服务器进行通信，此时域名便不再具有区分性。然而，APP访问服务器时多使用HTTP 协议，其中除域名之外还包含有丰富的HTTP请求头部信息，因此，本发明旨在提出一 种利用网络流量中的HTTP请求信息进行移动应用识别的方法和装置。

发明内容

发明目的：本发明提供一种利用网络流量识别移动应用的方法，能够在网络设备上 利用移动应用产生的网络流量特征进行应用的识别。在利用流量特征进行APP识别时，系列APP或大型平台下的细分功能型APP访问服务器时使用的域名不足以作为识别的依据。为解决上述问题，本发明利用APP访问服务器时发送的HTTP请求头部信息构建APP 指纹，提出一种利用网络流量识别移动应用的方法

技术方案：

一种利用网络流量识别移动应用的方法，包括如下步骤：

步骤1：运行待识别的APP，采集其与服务器通信时产生的网络流量，提取其中的HTTP请求头部信息，生成APP指纹，所有待识别APP的指纹共同构建APP特征库；

步骤2：在网络设备上采集目标用户或终端设备的网络流量，将流量按时间及HTTP请求头部中的域名聚集为若干待识别的流量类簇，提取类簇中HTTP请求的头部信息建 立流量类簇指纹；

步骤3：将每个流量类簇指纹与APP特征库中的APP指纹逐一进行匹配，根据匹配结果选择与类簇指纹最接近的APP指纹，该APP指纹所对应的APP即判定为产生所述流 量类簇的APP，从而从网络流量中识别出用户所使用的APP。

进一步地，步骤1中，在生成APP指纹时，提取网络流量中的HTTP请求头部信息 包括：域名(Host)、用户代理(User Agent，UA)中的APP名、路径(Path)、文件名 (FileName)以及参数(Reference)，所述APP指纹根据HTTP请求头部信息分多个域 构成，即APP指纹A＝{H^A,U^A,P^A,F^A,R^A}，其中H^A,U^A,P^A,F^A,R^A分别表示域名域、用 户代理域、路径域、文件名域、参数域。

进一步地，APP指纹的域名域H^A中包含N1个域名，即：N1 ≥1，其中表示域名；APP指纹的用户代理域U^A中包含0个或1个UA中 的APP名，特定APP产生的UA中的APP名一般是唯一的，但部分APP在UA中不指定APP 名；APP指纹的路径域P^A中包含N2个字符串，即：N2≥1，其中 为字符串，由URL中的路径部分根据“/”拆分获得；APP指纹的文件 名域F^A由URL中含有后缀名的文件名组成，包含N3个包含“.”的字符串，即： N3≥1，其中表示文件名；APP指纹的参数域R^A由 URL中的参数名组成，包含N4个字符串，即：N4≥1，其中 表示参数名。

进一步地，步骤2中，在建立流量类簇指纹时，所述用户可通过网络流量中包含的IP地址、宽带账户、手机号码等方式获得；所述终端设备可通过IP地址、MAC地址、 移动设备识别码(MEID)等方式获得。

进一步地，步骤2中，在建立流量类簇指纹时，对每个用户或终端的流量首先根据二级域名进行分隔，根据时间间隔将同一用户或终端相同二级域名的流量聚集为多个流量类簇，聚集标准是保证每个流量类簇中流量间的时间间隔极短，而类簇间流量的时间 间隔较长，用以区分出用户对APP的多次使用，每次使用对应一个流量类簇。

进一步地，完成流量类簇的建立后，提取类簇中流量的HTTP请求头部信息中的含域名、用户代理中的APP名、路径、文件名以及参数，生成同样包含5个域的流量类簇 类簇指纹C＝{H^C,U^C,P^C,F^C,R^C}，其中H^C,U^C,P^C,F^C,R^C分别表示域名域、用户代理域、 路径域、文件名域、参数域。

进一步地，流量类簇指纹的域名域H^C中包含N5个域名，即：N5≥1，其中表示域名；流量类簇指纹的用户代理域U^C中包含N6个UA 中的APP名(UA中“/”前的部分)，即：N6≥1，其中 表示UA中的APP名；流量类簇指纹的路径域P^C中包含N7个字符串，即： N7≥1，其中表示字符串，由URL中的路径部分 根据“/”拆分获得；流量类簇指纹的文件名域F^C由URL中含有后缀名的文件名组成， 包含N7个包含“.”的字符串，即：N7≥1，其中表示文件名；流量类簇指纹的参数域R^C由URL中的参数名组成，包含N8个字符串，即： N8≥1，其中表示参数名。

进一步地，步骤3中，流量类簇指纹在与APP特征库中的各APP指纹进行逐一匹配时，具体包括：

步骤3(a)，比较用户代理域，如APP指纹的用户代理不为空且包含在流量类簇的用户代理中时，即则直接将流量类簇识别为当前APP指纹所对应的APP， 匹配结束；

步骤3(b)，否则，分别计算流量类簇指纹与APP指纹各域间的距离，然后加权得 到两者间的相似度，即S＝w₁D_H+w₂D_P+w₃D_F+w₄D_R，其中D_H，D_P，D_F，D_R分别表示 域名域、路径域、文件名域以及参数域间的距离，可通过雅可比距离、余弦距离等方式 计算，w₁，w₂，w₃，w₄为权重且w₁+w₂+w₃+w₄＝1；

步骤3(c)，当得到流量类簇指纹与APP特征库中所有APP指纹间的相似度后，即 得到向量[S₁,S₂,…S_n]，S_i表示流量类簇指纹与APP指纹A_i间的相似度，选择相似度最大 且值大于阈值θ的APP指纹作为匹配结果，将流量类簇指纹识别为对应的APP，即当 S_m＝Max(S₁,S₂,…,S_n)，1≤m≤n，且S_m≥θ时，流量类簇识别为A_m所对应的APP。

进一步地，在建立APP指纹和流量类簇指纹时，路径域、文件名域和参数域中应去除在多种APP流量中均会出现，区分度较弱的字符串，即停用词，在识别所述停用词时， 可将每条流量中路径、文件名和参数中的字符串视为一个文档，然后利用TF-IDF算法 计算每个字符串的权重，然后将权重低于预设阈值的字符串识别为停用词。

有益效果：本发明从APP访问服务器所发送的HTTP请求流量中提取域名、用户代理、路径、文件名、参数等多种信息构建APP指纹，能够通过网络流量有效识别用户所 使用的APP，特别是能够识别域名相同的系列APP，以及域名与母平台相同的细分功能 型APP。

附图说明

图1是本发明进行流量采集和APP识别的示意图；

图2是指纹匹配过程示意图。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，假设用户使用智能手机通过WIFI上网，可在手机连接的访问热点或网络流量转发路径上的任意网络设备上抓包获取网络流量，然后生成流量类簇指纹，与APP特征库中的APP指纹进行比对以识别所抓取的流量由何APP产生，从而识别出用户 智能手机上运行的APP。网络设备是指转发用户或终端网络流量的设备，包括但不限于 用户移动设备所连接的WIFI热点、基站，用户流量所经的网关、交换机、路由器等。

在利用网络流量识别移动应用之前，首先需构建APP特征库，其中包含待识别的APP 的指纹。识别者可首先自行运行待识别的APP，在智能终端、WIFI访问热点或转发设备上获取网络流量，生成APP指纹。假设待识别的APP为APP1和APP2，且这两个APP为 系列APP，其访问服务器所使用的域名相同。分别运行这两个APP，假设提取的URL分 别为：

APP1:www.mobileapp.com/id/stats/act/v5/a/child.jsp？uuid＝35142&launch＝5 7&firsttime＝2018-01-25&tags＝71680&sign＝cbe601a3442

APP2:www.moblileapp.com/pid/stats/alt/a/baby.jsp？pid＝11503&time＝13:45: 51&la＝61&t＝44927&sign＝64f011ka658

同时，HTTP头部信息中的UA部分未包含APP名，则生成的APP指纹如表1所示， 这里假设路径中的字符串“a”为停用词。APP1和APP2的指纹共同构成APP特征库。

表1

由于不同APP访问对应服务器所使用的二级域名必然不同，而每个流量类簇只可能 对应一个APP，因此，对每个用户或终端的流量，可首先根据二级域名进行分隔。然后，根据时间间隔将同一用户或终端相同二级域名的流量聚集为多个流量类簇，每个流量类簇中流量间的时间间隔极短，而类簇间流量的时间间隔较长，其目的是区分出用户对APP的多次使用，每次使用对应一个流量类簇。假设某用户某二级域名下包含N条流量 f₁,f₂,…f_N，对应的时间戳分别为t₁,t₂,…,t_N，从流量f₁开始，如果t_i+1-t_i≤δ,则将 流量f_i+1加入到流量f_i所在的类簇中，如果t_i+1-t_i≥ε，则流量f_i所在的类簇构建完成， 以流量f_i+1开始继续构建新的流量类簇，其中δ和ε为阈值且δ＜＜ε。当建立好流量类簇 后，每个流量类簇的指纹生成类似APP的指纹生成，即流量类簇指纹。

当开始识别用户所使用的APP时，在WIFI热点或路由器上进行抓包，以一个二级域名的流量为例，假设获得HTTP流量为：

www.mobileapp.com/id/stats/alt/v4/a/child.jsp？uuid＝43425&launch＝67&tags ＝54531&sign＝71ebba34122

HTTP头部信息中的UA部分未包含APP名，则生成流量类簇指纹如表2所示，这里 路径中的字符串“a”为停用词。

接下来，逐一将流量类簇指纹与APP1和APP2的指纹进行匹配，假设权重 w₁＝w₂＝w₃＝w₄＝0.25，阈值θ＝0.3，详细匹配过程如图2所示。首先，将流量类簇指纹与APP1 的指纹进行匹配，如表1和表2所示，用户代理域为空，因此需要继续计算两者间的相 似度，假设域名域、路径域、文件名域以及参数域间的距离采用雅可比距离计算，则：

域名域间的距离

路径域间的距离

文件名域间的距离

参数域间的距离

公式中，||为字符串的个数，流量类簇指纹与APP1指纹间的相似度

然后，继续将流量类簇指纹与APP2的指纹进行匹配，如图2所示，用户代理域为空，因此需要继续计算两者间的相似度，同样假设域名域、路径域、文件名域以及参数 域间的距离采用雅可比距离计算，则：

域名域间的距离

路径域间的距离

文件名域间的距离

参数域间的距离则流量类簇指纹与APP2指纹间的相似度

根据计算结果，流量类簇指纹与APP1及APP2的指纹的距离S₁和S₂均大于阈值θ ＝0.3，但S₁>S₂，因此可识别出用户所使用的移动应用为APP1。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员 来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种利用网络流量识别移动应用的方法，其特征在于，包括如下步骤：

步骤1：运行待识别的APP，采集其与服务器通信时产生的网络流量，提取其中的HTTP请求头部信息，生成APP指纹，所有待识别APP的指纹共同构建APP特征库；

步骤2：在网络设备上采集目标用户或终端设备的网络流量，将流量按时间及HTTP请求头部中的域名聚集为若干待识别的流量类簇，提取类簇中HTTP请求的头部信息建立流量类簇指纹；

步骤3：将每个流量类簇指纹与APP特征库中的APP指纹逐一进行匹配，根据匹配结果选择与类簇指纹最接近的APP指纹，该APP指纹所对应的APP即判定为产生所述流量类簇的APP，从而从网络流量中识别出用户所使用的APP。

2.根据权利要求1所述的一种利用网络流量识别移动应用的方法，其特征在于，步骤1中，在生成APP指纹时，提取网络流量中的HTTP请求头部信息包括：域名(Host)、用户代理(User Agent，UA)中的APP名、路径(Path)、文件名(FileName)以及参数(Reference)，所述APP指纹根据HTTP请求头部信息分多个域构成，即APP指纹A＝{H^A,U^A,P^A,F^A,R^A}，其中H^A,U^A,P^A,F^A,R^A分别表示域名域、用户代理域、路径域、文件名域、参数域。

3.根据权利要求2所述的一种利用网络流量识别移动应用的方法，其特征在于，APP指纹的域名域H^A中包含N1个域名，即：N1≥1，其中(1≤i≤N)表示域名；APP指纹的用户代理域U^A中包含0个或1个UA中的APP名；APP指纹的路径域P^A中包含N2个字符串，即：N2≥1，其中(1≤i≤N2)为字符串，由URL中的路径部分根据“/”拆分获得；APP指纹的文件名域F^A由URL中含有后缀名的文件名组成，包含N3个包含“.”的字符串，即： N3≥1，其中(1≤i≤N3)表示文件名；APP指纹的参数域R^A由URL中的参数名组成，包含N4个字符串，即：N4≥1，其中(1≤i≤N4)表示参数名。

4.根据权利要求1所述的一种利用网络流量识别移动应用的方法，其特征在于，步骤2中，在建立流量类簇指纹时，所述用户可通过网络流量中包含的IP地址、宽带账户、手机号码等方式获得；所述终端设备可通过IP地址、MAC地址、移动设备识别码(MEID)等方式获得。

5.根据权利要求1所述的一种利用网络流量识别移动应用的方法，其特征在于，步骤2中，在建立流量类簇指纹时，对每个用户或终端的流量首先根据二级域名进行分隔，根据时间间隔将同一用户或终端相同二级域名的流量聚集为多个流量类簇，聚集标准是保证每个流量类簇中流量间的时间间隔极短，而类簇间流量的时间间隔较长，用以区分出用户对APP的多次使用，每次使用对应一个流量类簇。

6.根据权利要求1所述的一种利用网络流量识别移动应用的方法，其特征在于，完成流量类簇的建立后，提取类簇中流量的HTTP请求头部信息中的含域名、用户代理中的APP名、路径、文件名以及参数，生成同样包含5个域的流量类簇类簇指纹C＝{H^C,U^C,P^C,F^C,R^C}，其中H^C,U^C,P^C,F^C,R^C分别表示域名域、用户代理域、路径域、文件名域、参数域。

7.根据权利要求6所述的一种利用网络流量识别移动应用的方法，其特征在于，流量类簇指纹的域名域H^C中包含N5个域名，即：N5≥1，其中(1≤i≤N5)表示域名；流量类簇指纹的用户代理域U^C中包含N6个UA中的APP名(UA中“/”前的部分)，即：N6≥1，其中(1≤i≤N6)表示UA中的APP名；流量类簇指纹的路径域P^C中包含N7个字符串，即： N7≥1，其中(1≤i≤N7)表示字符串，由URL中的路径部分根据“/”拆分获得；流量类簇指纹的文件名域F^C由URL中含有后缀名的文件名组成，包含N7个包含“.”的字符串，即：N7≥1，其中(1≤i≤N7)表示文件名；流量类簇指纹的参数域R^C由URL中的参数名组成，包含N8个字符串，即：N8≥1，其中(1≤i≤N8)表示参数名。

8.根据权利要求1所述的一种利用网络流量识别移动应用的方法，其特征在于，步骤3中，流量类簇指纹在与APP特征库中的各APP指纹进行逐一匹配时，具体包括：

步骤3(a)，比较用户代理域，如APP指纹的用户代理不为空且包含在流量类簇的用户代理中时，即则直接将流量类簇识别为当前APP指纹所对应的APP，匹配结束；

步骤3(b)，否则，分别计算流量类簇指纹与APP指纹各域间的距离，然后加权得到两者间的相似度，即S＝w₁D_H+w₂D_P+w₃D_F+w₄D_R，其中D_H，D_P，D_F，D_R分别表示域名域、路径域、文件名域以及参数域间的距离，可通过雅可比距离、余弦距离等方式计算，w₁，w₂，w₃，w₄为权重且w₁+w₂+w₃+w₄＝1；

步骤3(c)，当得到流量类簇指纹与APP特征库中所有APP指纹间的相似度后，即得到向量[S₁,S₂,…S_n]，S_i表示流量类簇指纹与APP指纹A_i间的相似度，选择相似度最大且值大于阈值θ的APP指纹作为匹配结果，将流量类簇指纹识别为对应的APP，即当S_m＝Max(S₁,S₂,…,S_n)，1≤m≤n，且S_m≥θ时，流量类簇识别为A_m所对应的APP。

9.根据权利要求2和6所述的一种利用网络流量识别移动应用的方法，其特征在于，在建立APP指纹和流量类簇指纹时，路径域、文件名域和参数域中应去除在多种APP流量中均会出现，区分度较弱的字符串，即停用词，在识别所述停用词时，可将每条流量中路径、文件名和参数中的字符串视为一个文档，然后利用TF-IDF算法计算每个字符串的权重，然后将权重低于预设阈值的字符串识别为停用词。