CN106101015A

CN106101015A - 一种移动互联网流量类别标记方法和系统

Info

Publication number: CN106101015A
Application number: CN201610573198.1A
Authority: CN
Inventors: 刘珍; 王若愚; 陈伟; 杨鹏; 邓应荣
Original assignee: Guangdong Pharmaceutical University
Current assignee: Guangdong Pharmaceutical University
Priority date: 2016-07-19
Filing date: 2016-07-19
Publication date: 2016-11-09
Anticipated expiration: 2036-07-19
Also published as: CN106101015B

Abstract

本发明公开了一种移动互联网流量类别标记方法，涉及移动互联网流量测量领域的流量类别标记技术领域，该方法包括：S1、移动端与服务器端建立连接；S2、服务器端采集移动端的网络流量，移动端采集该网络流量对应的Socket信息，服务器端接收来自移动端的Socket信息；S3、服务器端对网络流量及与该网络流量对应的Socket信息进行分析，根据类别标记规则标识该网络流量所属的移动应用。本发明还公开了一种移动互联网流量类别标记系统。本发明实现在一个节点上采集移动端的所有网络流量，在非管理员权限下获取移动端通信的Socket信息，且在无需分析报文载荷内容情况下，标识网络流量所属移动应用，实现细粒度的流量类别标记。

Description

一种移动互联网流量类别标记方法和系统

技术领域

本发明涉及移动互联网流量测量领域的流量类别标记技术领域，具体涉及一种移动互联网流量类别标记方法和系统。

背景技术

近年来，随着高性能智能终端的迅猛发展，以及3G、4G和WiFi等无线通信技术的飞跃发展，移动互联网的规模急剧增长，各种基于移动互联网的上层应用竞相涌现。终端应用的丰富性，几乎覆盖了工作和生活的各个方面，例如即时通信、零售餐饮、大众理财、交通出行等，极大地方便了人们的工作和生活。根据《中国互联网发展状况统计报告》，至2015年12月，我国手机网民规模达6.20亿，在整体网民中占比达90.1％。我国移动互联网流量数据呈现爆炸式增长，截至2015年底，月户均移动互联网接入流量达到389.3M，同比增长89.9％。网络流量数据的增长速度之快，带宽资源始终难以保障所有终端应用的通信质量，网络延时经常发生。然而，不同网络应用对网络延时的要求不同，非交互式应用(例如P2P)允许网络延时跨越较长时间；部分交互式应用(例如银行交易)的网络延时只有几秒；某些交互式应用(例如语音通信、在线游戏)的网络延时限制在几分之一秒(刘珍,因特网流量类不平衡特性与分类方法的研究.华南理工大学,博士学位,2013)。较大的网络延时导致交互式应用的通信速度变慢甚至引发语音报文丢包，直接影响网络应用的服务质量(Quality ofService，QoS)和用户体验。此外，基于社交网络的盛行，朋友圈的信息共享和信息传播也给网络病毒的蔓延提供了温床；账号或密码被盗、消费欺诈等事件多次被报道，移动互联网应用的网络安全也受到极大的威胁。《中国互联网发展状况统计报告》的调查表明，2015年的总体网民中有42.7％的网民遭遇过网络安全问题，我国个人互联网使用的安全状况不容乐观。

为了对大量的移动网络应用流量实现优先级处理和鉴别出异常流量，需采用流量分类技术实现网络流与网络应用的映射，进而对网络应用的流量提供区分式服务，并拦截异常流量，保障网络安全。互联网流量分类技术已成为QoS提供和网络安全管理的重要基础(Y.Wang,Y.Xiang,J.Zhang,et al.Internet traffic clustering with sideinformation.Journal ofComputer and System Sciences,80,2014)。至今，学术界和工业界提出和发展了多种互联网流量分类方法，特别是基于机器学习的流量分类方法成为研究热点，这些方法在分类精度和分类效率方面取得较突出的成绩(A.Dainotti,A.Pescapé.Issues and future directions in traffic classification.IEEE Network,26(1),2012)。

但是，纵观近期发表的大部分相关文献，存在一个普遍的现象：采集的流量数据来源于有线网络；分类的目标集中在粗粒度的流量类别，例如P2P、VoIP等。移动互联网的环境下，网络应用发生了较大的变化。多种新应用也相继出现，例如微博、微信、陌陌等；而且大多数都采用HTTP协议，即它们产生的流量基于TCP的80端口，尽管它们提供的服务与传统的Web浏览服务有很大的不同。这些现象表明，为实现移动互联网的服务质量保证和网络安全管理，需实现细粒度地分类移动终端应用。带类别标记的移动互联网流量使这类研究的重要基础，但是多种新型移动网络应用出现，无法通过传统的L7-filter方法建立这些应用流量的真实类别(Ground Truth，GT)。

建立移动互联网基准数据集的关键在于采集移动互联网流量数据和标记网络流的真实类别。

在移动互联流量数据采集方面，移动用户的接入网络方式有多种，例如2G/3G/4G网络的接入方式，WiFi接入方式，不同接入方式导致通个移动设备产生的流量经过的路有节点不同，很难在一个节点采集某个移动设备的所有上网数据。

在网络流量数据标记方面主要有三种方法：

(1)基于端口号是一种简单的流标记方法，比如Williams等人(N.Williams,S.Zander,G.Armitage.A preliminary performance comparison of five machinelearning algorithms for practical IP traffic flow classification[J].ACMSIGCOMM Computer Communication Review,36(5),2006)对NLANR(National Laboratoryfor Advanced Network Research)组织公开的网络流量数据，采用基于端口号的标记方法：FTP-Data(20)、Telnet(23)、SMTP(25)、DNS(53)、HTTP(80)、Game Half-life(27015)。基于端口号的流标记方法简单、快速，但是能标记的类别数较少，标记的网络流数目较少，无法有效标记网络攻击、P2P流量等使用随机端口号的报文。

(2)基于报文载荷特征字段的网络流量标记方法可避免对端口号的依赖。Yuan等人(R.X.Yuan,Z.Li,X.H.Guan,et al.An SVM-based machine learning method foraccurate Internet traffic classification[J].Information Systems Frontiers,2010,12(2))使用2006年版的L7-filter实现了基于特征字段匹配的网络流标记。L7-filter为多种网络应用提取了标识这些应用的正则表达式。

(3)某些文献综合使用端口号和特征字段匹配标记法，还加入启发式规则以提高网络流标记的准确性。例如，Li等人(W.Li,M.Canini,A.W.Moore,et al.Efficientapplication identification and the temporal and spatial stability ofclassification schema[J].Computer Networks,53(6),2009)的流量标记方法综合了L7-filter、熟知端口号、著名网络地址(如ftp.kernel.org)和用户所处网络的背景信息(如P2P网络)。

上述流量类别标记工作主要基于端口号和L7-filter方法，进行粗粒度的流量类别标记。移动互联网出现了大量的新型终端应用，L7-filter没有对应的正则表达式，外加终端应用的繁多导致此类方法的有效性降低。在移动互联网流量研究方面，大多采用实验床方式采集移动流量(M.Conti,L.V.Mancini,R.Spolaor,and N.V.Verde.Analyzingandroid encrypted network traffic to identify user actions.IEEE Transactionson Information Forensics&Security,11(1),2016)，即在移动设备上运行某个网络应用，然后采集其产生的所有网络流量，但是此方法获取的流量不纯，因为其它移动应用的背景流量也会被采集。

文献(F.Gringoli,L.Salgarelli,M.Dusi,N.Cascarano,F.Risso,andK.C.Claffy.Gt:picking up the truth from the ground for internet traffic.ACMSigcomm Computer Communication Review,39(39),2009)为传统互联网提出基于socket的类别标记方法，在客户端上安装socket采集程序，记录系统建通过访问/proc/pid/fd目录建立的socket的五元组和网络应用的对应关系，在客户端所在局域网的边缘路由器采集网络报文，利用socket信息对网络报文进行类别标记。但是这种方法需要管理员权限，并且需要局域网管理员权限。

综上所述，目前的方法主要适用于传统的有线网络环境的数据采集和有线网络的流量数据的类别标记；在移动网络存在数据采集节点难部署，移动网络报文的类别标记准确率低，或者需要管理员权限的挑战。

中国专利申请CN201210184213.5公开了一种获得具有准确应用类型标识的网络流量数据集的方法，借助Windows系统的Hook机制以及为编程者提供的应用程序接口，使用简单的应用类型名称和应用类型标识与应用程序之间的简单映射，实现对数据包的对应、标识、提取、汇集，这个过程中应用类型能够被唯一标识，且不会受到网络运行参数的影响，从而，可以据此获得具有准确应用类型标识的网络流量数据集。然而，该技术方案不适用于对移动设备进行流量标记。

发明内容

针对现有技术的不足，本发明的目的旨在提供一种移动互联网流量类别标记方法和系统，通过在一个节点上采集移动端的所有网络流量，并标识网络流量所属移动应用，从而实现细粒度的流量类别标记。

为实现上述目的，本发明采用如下技术方案：

一种移动互联网流量类别标记方法，包含以下步骤：

S1、移动端与服务器端建立连接；

S2、服务器端采集移动端的网络流量，移动端采集该网络流量对应的Socket信息，服务器端接收来自移动端的Socket信息；

S3、服务器端对网络流量及与该网络流量对应的Socket信息进行分析，根据类别标记规则标识该网络流量所属的移动应用。

进一步地，步骤S3中根据类别标记规则标识网络流量的步骤包括：

S31、针对待标记的网络流量，根据移动端设备号和时间戳匹配与该网络流量对应的Socket信息；

S32、解析网络流量，过滤出TCP报文和UDP报文，并对网络流量进行组流操作；

S33、针对某条网络流，结合对应的Socket信息，根据类别标记规则查询到此条网络流所属的移动应用名称，并将其作为此条网络流的类别标记；

S34、生成带类别标记的流记录。

进一步地，网络流量类别标记规则为：对某条网络流，提取出网络流的第一个报文的时间戳t₀，以及该网络流的五元组；在其对应的Socket信息中，根据如下条件找到匹配的记录：

记录的时间戳与t₀最接近，记录的目标IP与网络流的目标IP相同，记录的目标端口与网络流的目标端口相同；

将满足上述三项条件的记录中的移动应用名称作为该网络流的类别。

优选地，组流操作的内容为：在300s之内，具有相同五元组的报文组成一条网络流。

进一步地，移动端与服务器端之间建立连接的步骤包括：

S11、服务器端开启虚拟专用网络服务，创建第一虚拟网络设备，等待移动端的连接；

S12、移动端开启虚拟专用网络服务，建立第二虚拟网络设备，并根据服务器端IP地址、端口和共享密钥，向服务器发起连接请求；

S13、服务器端收到移动端连接请求后，向移动端返回参数，该参数包括：第一虚拟网络设备的通道地址、域名系统、最大传输单元和转发路由；

S14、移动端接收参数后，配置第二虚拟网络设备的通道地址、域名系统、最大传输单元和转发路由，从而建立第一虚拟网络设备与第二虚拟网络设备之间的虚拟通道，移动端将上行报文通过该虚拟通道发送到服务器端，服务器端将接收到的上行报文转发到互联网中真正的目标主机，目标主机返回的所有下行报文先到达服务器端，然后通过虚拟通道发送到移动端。

进一步地，步骤S2中采集网络流量对应的Socket信息的步骤包括：

S21、移动端定期记录及更新运行于移动端上每个移动应用的用户标识符和移动应用名称的关系信息表；

S22、移动端以轮询方式读取Socket连接信息，该Socket连接信息包括五元组、连接状态和用户标识符，该连接状态包括通信连接创建和通信连接销毁；根据用户标识符查询关系信息表，获得对应的移动应用名称；并将当前读取文件的时间作为Socket连接的时间戳，从而得到Socket记录信息，每条Socket记录信息包括：时间戳、五元组、连接状态和移动应用名称；

S23、移动端将Socket记录信息放入缓冲区，间隔一定时间，将时间戳、五元组、移动应用名称和连接状态写入文件，文件名的格式为设备号+系统时间；

S24、移动端通过安全文件传送协议、将Socket记录信息定期发送到服务器端，发送之前对Socket记录信息进行了加密和压缩操作。

一种移动互联网流量类别标记系统，包含有建立了连接的服务器端和移动端：

该移动端中运行有Socket信息采集模块和第一网络流量管理模块，该第一网络流量管理模块用于建立移动端与服务器端的连接和虚拟通道，该虚拟通道用于移动端与服务器端的网络流量传输；Socket信息采集模块用于记录移动端通信的Socket信息；

该服务器端中运行有第二网络流量管理模块、数据采集模块和网络流量类别标记模块，该第二网络流量管理模块用于传递移动端的上行报文和下行报文；该数据采集模块用于采集移动端的上行报文和下行报文；该网络流量类别标记模块用于完成流量类别标识工作。

进一步地，移动端中还设置有用于放置Socket记录信息的缓冲区。

进一步地，移动端上运行Android系统，该Android系统上运行多种移动应用。

优选地，移动端与服务器端之间通过用户数据报协议进行虚拟连接。

本发明的有益效果在于：在移动互联网流量数据采集方面，基于VPN服务，将移动终端的所有网络流量都导向服务器，因此可在服务器节点采集所有的网络流量数据，而不会仅有蜂窝网流量或仅有WiFi流量；本发明的方法无需局域网管理员权限、或移动供应商管理员权限，即可采集监控移动终端的互联网流量数据，适用于移动互联网流量数据研究者实施移动互联网流量数据采集工作；流量类别标记方法利用终端系统内核为每个通信建立的Socket信息，记录五元组和网络应用名称的关系，标记的准确率可达到100％；因类别标记方法无需访问/proc/pid/fd目录，因此Socket信息采集无移动设备的需管理员权限。本发明可用于部署个人的移动互联网流量数据采集环境，权限要求低，适合研究者开展移动互联网流量数据研究。

附图说明

图1是本发明中一种移动互联网流量类别标记方法的大致流程框图；

图2是本发明中一种移动互联网流量类别标记系统的结构框图；

图3是本发明中的移动端和服务器端基于VPN通信的结构示意图；

图4是本发明实施例提供的流量类别标记结果的实施例示意图；

图5是本发明实施例提供的流量类别标记覆盖率的实施例示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述：

实施例1

如图1所示，一种移动互联网流量类别标记方法，包含以下步骤：

S11、服务器端开启VPN(虚拟专用网络)服务，创建虚拟网络设备TUN_S，等待移动端的连接；

S12、移动端开启VPN(虚拟专用网络)服务，建立虚拟网络设备TUN_C，并根据服务器端IP地址、端口和共享密钥，向服务器发起连接请求；

S13、服务器端收到移动端连接请求后，向移动端返回参数，该参数包括：虚拟网络设备TUN_S的通道地址、域名解析DNS、MTU(最大传输单元)和转发路由；

S14、移动端第二网络流量管理模块接收参数后，配置虚拟网络设备TUN_C的通道地址、DNS(域名系统)、MTU(最大传输单元)和转发路由，从而建立虚拟网络设备TUN_S与虚拟网络设备TUN_C之间的虚拟通道，移动端与服务器端建立的连接为受保护的UDP连接，移动端将上行报文通过该虚拟通道发送到服务器端，服务器端将接收到的上行报文转发到互联网中真正的目标主机，目标主机返回的所有下行报文先到达服务器端，然后通过虚拟通道发送到移动端；

S20、服务器端与移动端建立虚拟通道的同时，服务器端在TUN_S处采集移动端的所有网络流量，网络流量被保存为PCAP格式，文件名格式为设备号+系统时间；

S21、移动端定期记录及更新运行于移动端上每个移动应用的UID(用户标识符，即移动应用的用户ID)和移动应用名称的关系信息表；

S22、移动端以轮询方式读取Android系统下的/proc/net目录下的tcp,tcp6,udp和udp6文件的Socket连接信息，该Socket连接信息包括五元组、连接状态和UID(用户标识符，即移动应用的用户ID)，五元组包括源IP地址、源端口号、目标IP地址、目标端口号和传输层协议，该连接状态包括通信连接创建和通信连接销毁；根据UID(用户标识符，即移动应用的用户ID)查询关系信息表，获得对应的移动应用名称；并将当前读取文件的时间作为Socket连接的时间戳，从而得到Socket记录信息，每条Socket记录信息包括：时间戳、五元组、连接状态和移动应用名称；

S23、移动端将Socket记录信息放入缓冲区，间隔一定时间，将时间戳、五元组、移动应用名称和连接状态写入文件，文件名的格式为设备号+系统时间(时间戳)；

S24、移动端通过sftp(安全文件传送协议)、将Socket记录信息定期发送到服务器端，发送之前对Socket记录信息进行了AES加密和压缩操作；

S31、针对待标记的网络流量PCAP文件，服务器端根据移动端设备号和时间戳匹配与该网络流量对应的Socket信息；

S32、解析网络流量，过滤出TCP报文和UDP报文，并对网络流量进行组流操作，在300s之内，具有相同五元组的报文组成一条网络流；

网络流量类别标记规则为：对某条网络流，提取出网络流的第一个报文的时间戳t₀，以及五元组；在其对应的Socket信息中，根据如下规则找到匹配的记录：记录的时间戳与t₀最接近，记录的目标IP与网络流的目标IP相同，记录的目标端口与网络流的目标端口相同；将这条记录中的移动应用名称作为被标记网络流的类别；

S34、生成带类别标记的流记录，带类别标记的流记录包括：网络流的五元组，类别标记。

本发明实现在一个节点上采集移动端的所有网络流量，包括蜂窝网流量和WiFi通信流量，在非管理员权限下获取移动端通信的Socket信息，且在无需分析报文载荷内容情况下，标识网络流量所属移动应用，实现细粒度的流量类别标记。

实施例2

如图2所示，一种移动互联网流量类别标记系统，包含有建立了连接的服务器端和移动端，移动端与服务器端之间通过用户数据报协议进行虚拟连接：

移动端上运行Android系统，该Android系统上运行多种移动应用，该移动端中运行有Socket信息采集模块和第一网络流量管理模块，该第一网络流量管理模块用于建立移动端与服务器端的连接和虚拟通道，该虚拟通道用于移动端与服务器端的网络流量传输；Socket信息采集模块用于记录移动端通信的Socket信息；移动端中还设置有用于放置Socket记录信息的缓冲区；

如图3所示，各个移动端(建立虚拟网络设备TUN_C)分别与服务器端(建立虚拟网络设备TUN_S)建立连接；移动应用与互联网目标主机的通信过程为：通过VPN服务，移动应用发送的每个网络报文递交给TUN_C，对报文进行UDP报头封装，并通过TUN_C与服务器端的TUN_S通信，将此报文发送到服务器，TUN_S接收到报文后，对报文进行解包和NAT(网络地址转换)转换，将源IP转换为服务器的IP，源端口转换为服务器的通用端口，保证目标主机返回的所有报文都发向服务器。当服务器接收到目标主机的报文之后，进行逆向NAT(网络地址转换)，将目标IP和端口转换为原来的移动端的TUN_C的IP和端口，并将报文进行UDP包头封装，通过TUN_S与TUN_C的虚拟通道，传递给移动端，移动端收到报文后，进行解包，将报文递交给相应的移动应用。移动端的所有网络流量都会通过TUN_S传递，可以在TUN_S处采集移动端的流量。

需要进一步说明的是，移动端网络管理模块向服务器发起连接请求的同时，启动Socket信息采集模块，开始采集网络通信的Socket连接信息，当移动端和服务器端的连接建立成功后，服务器端开启数据采集模块采集移动端所有网络流量，从而保证已采集的网络流量的Socket信息都能被记录，便于进行类别标记工作。

图4为网络流量类别标记结果示例，包括各种网络应用占据的网络流的比率，即每种网络应用的流数目与总体网络流数目的比值。

实施例3

图5为本发明的流量类别标记模块(Mobilegt)与国外公开的流量分类工具(L7-filter和端口号结合的流量类别标记模块)的比较，分别从流、报文和字节覆盖率(Completeness)进行比较，三项指标计算如下：

C_{f} = \frac{L_{f}}{A_{f}} - - - (1)

C_{p} = \frac{L_{p}}{A_{p}} - - - (2)

C_{b} = \frac{L_{b}}{A_{b}} - - - (3)

在某个网络流量数据上，C_f、C_p和C_b分别表示流、报文和字节覆盖率，L_f，L_p和L_b分别表示已被标记的流数目、报文数目和字节数目；A_f，A_p和A_b分别表示总体流数目、报文数目和字节数目。可以明显看出，本发明对于流量标记的覆盖率具有显著的提高。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims

1.一种移动互联网流量类别标记方法，其特征在于，包含以下步骤：

S1、移动端与服务器端建立连接；

2.如权利要求1所述的移动互联网流量类别标记方法，其特征在于，步骤S3中根据类别标记规则标识网络流量的步骤包括：

S34、生成带类别标记的流记录。

3.如权利要求1或2所述的移动互联网流量类别标记方法，其特征在于，所述网络流量类别标记规则为：对某条网络流，提取出网络流的第一个报文的时间戳t₀，以及该网络流的五元组；在其对应的Socket信息中，根据如下条件找到匹配的记录：

4.如权利要求2所述的移动互联网流量类别标记方法，其特征在于，所述组流操作即：在300s之内，具有相同五元组的报文组成一条网络流。

5.如权利要求1所述的移动互联网流量类别标记方法，其特征在于，移动端与服务器端之间建立连接的步骤包括：

6.如权利要求1所述的移动互联网流量类别标记方法，其特征在于，步骤S2中采集网络流量对应的Socket信息的步骤包括：

7.一种移动互联网流量类别标记系统，其特征在于，包含有建立了连接的服务器端和移动端：

所述移动端中运行有Socket信息采集模块和第一网络流量管理模块，所述第一网络流量管理模块用于建立移动端与服务器端的连接和虚拟通道，所述虚拟通道用于移动端与服务器端的网络流量传输；Socket信息采集模块用于记录移动端通信的Socket信息；

所述服务器端中运行有第二网络流量管理模块、数据采集模块和网络流量类别标记模块，所述第二网络流量管理模块用于传递移动端的上行报文和下行报文；所述数据采集模块用于采集移动端的上行报文和下行报文；所述网络流量类别标记模块用于完成流量类别标识工作。

8.如权利要求7所述的移动互联网流量类别标记系统，其特征在于，所述移动端中还设置有用于放置Socket记录信息的缓冲区。

9.如权利要求7所述的移动互联网流量类别标记系统，其特征在于，所述移动端上运行Android系统，该Android系统上运行多种移动应用。

10.如权利要求7所述的移动互联网流量类别标记系统，其特征在于，移动端与服务器端之间通过用户数据报协议进行虚拟连接。