CN113382039A - 一种基于5g移动网络流量分析的应用识别方法和系统 - Google Patents

Abstract

本发明公开了一种基于5G移动网络流量分析的应用识别方法和系统。本方法为：1)数据采集模块采集5G移动网络流量并将其发送给DPI识别模块；2)DPI识别模块对数据链路层和网络层进行拆包，获取五元组以及时间戳信息，然后根据五元组以及时间戳信息对数据包进行分类合并成流；然后根据每一流中数据包的明文特征判断该流对应的应用层协议；3)DFI识别模块从网络流量数据包中提取流量的多粒度级别特征，包括流特征、数据包特征、主机行为特征、TCP头部特征、IP头部特征；然后对得到的多粒度级别特征进行过滤；4)DFI识别模块根据过滤后的流的特征利用基于结构数据依赖的DBSCAN方法识别该流所属应用。

Description

一种基于5G移动网络流量分析的应用识别方法和系统

技术领域

本发明属于移动通信领域，特别涉及一种5G移动网络流量分析的应用识别方法和系统。

背景技术

近年来，随着互联网技术以及移动通信技术的不断发展，网络流量成爆发式增长，尤其是5G通信技术的发展，手机用户贡献了大量移动通信数据流量和互联网流量。随着网民对上网需求的不断变化，商业环境催生了大量的新型业务。新型业务大都是由流媒体、P2P、网络游戏所构成，在给人们带来生活的便利和多样性的同时，也为网络安全带来了巨大的挑战。

传统的端口识别方式，指利用IP流量的端口号完成识别，其前提是流量为TCP(Transmission Control Protocol，传输控制协议)和UDP(User Datagram Protocol，用户数据报协议)类型的报文。常规的TCP和UDP通过报头的16位端口号来区分不同的应用进程，端口号范围0～65535，其中1～256为常用端口号，任何基于TCP/IP实现所提供的服务都采用1～1023之间的某一个端口号。例如，HTTP(Hyper Text Transfer Protocol，超文本传输协议)采用80号端口，SSH(Secure Shell，安全外壳协议)采用22号端口，DNS(Domain NameSystem，域名系统)采用53号端口，Telnet(远程终端协议)采用23号端口，FTP(FileTransfer Protocol，文件传输协议)采用20/21号端口，SNMP(Simple Network ManagementProtocol，简单网络管理协议)采用161号端口等，大多数端口号不作为特定协议使用，而是在流量转发进行交互时使用，端口识别技术只检查数据包端口号，根据端口号与应用协议的映射完成应用的识别，对于大多数未定义的端口号则无法识别出具体应用。

深度包检测技术(DPI，Deep Packet Inspection)是在传统IP数据包检测技术之上增加了对应用层数据的应用协议识别，数据包内容检测与深度解码。根据协议特征签名，对数据包的应用层数据进行深度分析，识别出相应的协议和应用，如HTTP协议中，可以根据HTTP报文的请求/响应行、请求/响应头、请求/响应正文中的字段和字符与特征库中的特征信息进行匹配，从而精确识别具体应用。DPI识别过程中可以结合数据包的首部信息，识别更多的协议类型，很多数据包包头没有明显特征，也可以通过DPI技术识别出来。DPI多用于网络应用层协议的识别，也可以识别四层到七层的流量特征，精度高。

深度/动态流检测(DFI，Deep/Dynamic Flow Inspection)是一种基于网络流量行为的应用识别技术，由于不同的应用在数据流或连接会话上的行为特征存在差异，例如语音流量的数据流的包长通常相对固定，一般处于130～220byte之间，通常情况下网络连接速率较低，约为20至84kbit/s，会话持续时间相对较长；而P2P(Peer to Peer)应用的数据流包长大都在450byte以上，下载时间长、连接速率更高，传输协议通常为可靠的TCP协议等。DFI不需要访问应用层信息，只需要统计分析流的特征，如流中的数据包长度、接入/接出连接比值、上行/下行流量的比值等，基于这一系列流量的行为特征，通常采用有监督的机器学习方法建立网络流量判别模型，从而识别应用类型。

DFI方法中经常采用无监督学习的方法来对数据包或流进行聚类，常用的无监督机器学习方法，如k-means、DBSCAN等聚类算法，通常采用基于距离的相异性度量方式。

常用的基于距离的相异性度量方式如下：

1.欧几里得距离

其中，d代表维数，x_i和y_i分别代表样本x和y的第i个特征。

2.切比雪夫距离

其中，d代表维数，x_i和y_i分别代表样本x和y的第i个特征。

3.曼哈顿距离

其中，d代表维数，x_i和y_i分别代表样本x和y的第i个特征。

基于距离的相异性度量方法假设样本点之间是相互独立的，但在真实场景下，数据流之间是相互关联不独立的。为了解决基于距离的相异性度量方法的缺点，Aryal提出了基于数据依赖的相异性度量方法，其定义如下

其中样本x＝(x₁,x₂,...,x_d)，y＝(y₁,y₂,...,y_d)，d为样本特征的维度,x_d和y_d分别表示样本x和y的第d维特征，|R_i(x,y)|表示第i维上包含x_i，y_i的最小区域R_i(x,y)中样本的个数，n表示整个区域R(x,y)中数据点的个数(即总样本点的数量)。R_i(x,y)是一个定义在一维空间上的闭区间[min(x_i,y_i)-δ,max(x_i,y_i)+δ]，区间中包含的样本数与总的样本数比值是第i维上的两个点x与y的相异度，在所有维度上的L_p范数即是点x与点y之间的相异度。

上述提及的数据依赖的相异性度量只能够度量不同簇之间的相异度，只有当两个簇间隔距离较远，度量才够准确。因此Ting等人在2016年提出的一种基于数据依赖的相异性度量方法，具有更好的普适性，m_p是其中的一个特殊情况。其定义如下：

覆盖x,y的最小区域为

其中D的是样本点集合，H表示空间层次划分模型，l(·)是指示函数。x,y之间的相异性度量定义为

其中

H采用完全随机树，参数t为树的数量，φ是构造每棵树所需要的样本点的数量，

是树的高度，此时x,y之间的相异度定义为

现有技术存在的技术问题

1.随着动态端口号技术的应用，基于端口的网络流量方法不再有效。

2.基于DPI的方法准确率依赖于应用层载荷特征库的准确性和完备性，且不能识别加密流量。

3.基于DFI的方法中，监督学习方法需要大量的标注样本，标注困难且耗时，无监督学习方法大都依赖于基于距离的相异性度量，其假设空间中所有的样本点之间都是相互独立的，但实际上样本点之间往往不是独立的。

发明内容

为解决上述问题，本发明提出了一种针对5G移动网络流量的应用识别方法和系统，该系统可以从5G核心网中获取网络流量数据包，经过流量识别模块实现对网络流量的应用识别与分类。

本发明的技术方案为：

一种基于5G移动网络流量分析的应用识别方法，其步骤包括：

1)数据采集模块采集5G移动网络流量并将其发送给DPI识别模块；

2)DPI识别模块对数据链路层和网络层进行拆包，获取目的IP、源IP、目的端口、源端口、协议构成的五元组以及时间戳信息，然后根据五元组以及时间戳信息对数据包进行分类合并成流；然后根据每一流中数据包的明文特征判断该流对应的应用层协议；

3)DFI识别模块从网络流量数据包中提取流量的多粒度级别特征，包括流特征、数据包特征、主机行为特征、TCP头部特征、IP头部特征；然后对得到的多粒度级别特征进行过滤，过滤掉冗余特征或与流量识别不相关的特征；

4)DFI识别模块根据过滤后的流的特征利用基于结构数据依赖的DBSCAN方法识别该流所属应用。

进一步的，基于结构数据依赖的DBSCAN方法是指利用基于结构数据依赖的密度函数替换DBSCAN算法中基于距离的密度函数；其中，基于结构数据依赖的DBSCAN方法中，对于样本空间中的每个未访问样本x，计算样本x与其他样本点的相异性度量；将与样本x相异性度量小于设定阈值δ的样本点的数量作为样本点x的密度M_δ(x)，当M_δ(x)超过一定阈值时将样本点x及其邻域内的所有点聚为一类，即属于同一应用；然后将点x标记未已访问。

进一步的，利用基于结构数据依赖的DBSCAN方法识别流所属应用的方法为：将网络流中每一流作为样本空间D中的一个点，从一个没有被访问过的点x开始统计该点x的邻域Eps范围内的点的个数，如果点的个数超过阈值MinPts，则将该点x及其邻域点划分到同一簇中，并且将该点x标记为已访问；其中，确定该点x的邻域Eps范围内的点的个数的方法为：首先计算点x和点y之间基于数据依赖的相异性度量m_e(x,y)，然后采用转换函数

对m_e(x,y)进行转换得到点x和点y基于结构数据依赖的相异性度量

然后通过

计算点x的密度M_δ(x)作为该点x的邻域Eps范围内的点的个数；其中γ≥1为缩放因子，x和y是样本空间D中的样本点，S＝(s₁,s₂...s_k)是对于样本分布的预估结构，s_i表示S中的第i个预估结构，s_j表示S中的第j个预估结构。

进一步的，流量采集模块通过N6接口采集流量，从N6接口的网络设备上调用Libpcap函数捕获经过指定网卡接口的所有流量数据包。

一种基于5G移动网络流量分析的应用识别系统，其特征在于，包括数据采集模块、DPI识别模块和DFI识别模块；其中，

数据采集模块，用于采集5G移动网络流量并将其发送给DPI识别模块；

DPI识别模块，用于对数据链路层和网络层进行拆包，获取目的IP、源IP、目的端口、源端口、协议构成的五元组以及时间戳信息，然后根据五元组以及时间戳信息对数据包进行分类合并成流；然后根据每一流中数据包的明文特征判断该流对应的应用层协议；

DFI识别模块，用于从网络流量数据包中提取流量的多粒度级别特征，包括流特征、数据包特征、主机行为特征、TCP头部特征、IP头部特征；然后对得到的多粒度级别特征进行过滤，过滤掉冗余特征或与流量识别不相关的特征；然后根据过滤后的流的特征利用基于结构数据依赖的DBSCAN方法识别该流所属应用。

与现有技术相比，本发明的积极效果为：

原始DBSCAN采用基于距离的密度函数，基于距离的相异性度量假设空间中所有的节点都是相互独立的，但实际数据点之间通常不是独立的，在稠密区域中两个节点之间的相似度要小于稀疏区域中同等距离下的两个节点的相似度。基于距离的相似度无法准确描述流形结构(如环形结构)中的数据点间的相异度。基于数据依赖的的相异性度量，在计算密度时，优先考虑了不同结构中的邻近点，无法满足全局一致性。

本发明提出了一种基于结构数据依赖的相异性度量，通过结合DBSCAN与基于结构数据依赖的相异性度量的优点，提升聚类模型对于流形数据的效果。

附图说明

图1为本发明的系统组成图。

图2为非漫游5G系统架构图。

图3为流量采集模块流程图。

图4为DPI识别流程图。

具体实施方式

以下通过具体实例说明本公开的实施方式，为使该技术领域的人员更清楚地理解本说明所揭露的内容，以下结合本申请实施例的附图，对本申请实例进行完整地描述。应当理解，此处描述的具体实施例仅用于解释本发明，并不用限定本发明。

本发明提出的系统组成如图1所示。下面就系统的三个模块分别展开介绍。

1.流量采集模块

图2是非漫游的5G网络架构。本发明的流量采集模块通过N6接口采集流量，N6接口是5G核心网中UPF(User Plane Function，用户面功能)与DN(Data Network，数据网络)之间的接口，用于传递UPF与DN之间的上下行用户数据流，基于IP和路由协议与移动运营商的DN网络进行通信。

本模块从5G核心网中N6接口的网络设备上采集5G移动网络流量。通过从N6接口的网络设备上调用Libpcap(Packet Capture library)函数库，捕获经过指定网卡接口的所有流量数据包。Libpcap操作简单且捕捉网络数据包方便、高效等特点，广泛应用于流量统计软件中，调用Libpcap后，当网络流量数据包到达网卡接口控制器缓冲区时会对其进行拷贝，原数据包将不受干扰地完成解析转发，通过旁路机复制的数据包根据配置文件在内核完成过滤等操作后，将数据链路层协议的数据包如ARP、RARP等删除，然后传输到上层模块供操作。配置文件中设定要过滤掉的数据。

流量采集模块流程如图3所示。

2.DPI识别模块

DPI模块采用开源工具nDPI进行二次开发和协议扩充实现，如图4所示，DPI识别主要步骤如下：

1)首先对数据包的数据链路层和网络层进行拆包，根据MAC帧头部type字段，对vlan、MPLS、PPPOE等数据链路层协议及网络层协议类型的数据包进行过滤。根据网络层IP数据报报头信息获取目的IP地址和源IP地址，以及传输层协议类型。

2)然后对传输层拆包，根据传输层数据包头部获取目的端口和源端口。

3)根据之前获得目的IP、源IP、目的端口、源端口、协议构成的五元组以及时间戳信息，对数据包进行分类合并成流。

4)最后对应用层进行分析，首先判断TCP握手状态，然后根据每一流中数据包明文特征判断其对应的应用层协议，即调用判别函数将该明文特征与特征库特征进行匹配，根据匹配结果确定该网络流的应用层协议。

3.DFI识别模块

1)从数据包和网络流中提取流量的多粒度级别特征，包括流特征、数据包特征、主机行为特征、TCP头部特征、IP头部特征等特征。

2)对步骤1)得到的特征进行过滤，过滤掉冗余特征或与流量识别不相关的特征，如设备信息、校验值等。

3)根据如上获取到的特征利用提出的基于结构数据依赖的DBSCAN方法对待识别的网络流量进行聚类。

DBSCAN方法简介

DBSCAN方法是一种基于密度的聚类算法，将簇定义为密度相连的点的最大集合，能够将高密度的区域划分为簇，能在有噪声的空间数据中发现任意形状的簇。将网络流量中的每一个流视为一个样本，对应于算法描述的高维空间中的一个点。

其算法流程如下：从一个没有被访问过的点A开始统计该点A的邻域Eps范围内的点的个数，如果点的个数超过阈值MinPts，即密度超过一定阈值，那么点A以及它的邻域点被划分到同一簇中，并且点A标记为已访问。用同样的方式迭代访问其它点，最后划分出不同的簇。原始的DBSCAN是采用基于距离的相异性度量来计算其密度，本专利采用基于结构数据依赖的相异性度量方法，下面介绍基于结构数据依赖的相异性度量方法。

相异性度量必须满足本地一致性与全局一致性，本地一致性指接近的两个点类别相同的可能性更大，全局一致性是指同一结构中的点类别相同的可能性更大，基于数据依赖的m_e(x,y)满足本地一致性，但却不满足全局一致性，因此提出一种基于结构数据依赖的相异性度量方法，以实现：簇内相似度大于簇间相似度，两点相似度取决于两点最小区域内的其他点的数量，数量越多，相似性越小。

采用如下转换函数计算样本x和y的相异性度量：

其中γ≥1为缩放因子，x和y是样本空间D中的样本点，m_e(x,y)是样本x和y之间基于数据依赖的相异性度量，

是样本x和y基于结构数据依赖的相异性度量，S＝(s₁,s₂...s_k)是对于数据集中样本分布的预估结构，其中k为预估结构的个数且k＜n，s_i表示第i个预估结构。当i＝j时即样本x和y在同一预估结构内，其相异度为-exp(-m_e(x,y))+1，对于不在同一结构内的样本x和y，其相异度为-exp(-m_e(x,y))/γ+1。

将DBSCAN中基于距离的密度函数替换为如下基于结构数据依赖的密度函数：

M_δ(x)为样本点x的密度，即与样本点x的相异度小于δ的样本点的数量。由于γ≥1，因此计算密度时会优先考虑位于同一结构内的点。在基于距离的相异性度量方法中，某个点的密度是由距离该点一定距离的点的数量决定的，而在基于结构依赖的相异性度量方法中，某个点的密度是由相异度小于δ的点的数量决定的。这种密度函数克服了基于距离和基于数据依赖的密度函数的缺点。

采用上述提出的基于结构数据依赖的密度函数替换DBSCAN算法中基于距离的密度函数。针对样本空间中的每一个未访问的样本点x以及样本空间中的其他样本y，我们计算样本x和y的相异性度量

计算与x相异性度量小于δ的点的数量即样本点x的密度M_δ(x)。当密度超过一定阈值时将点x与点x邻域内的所有点聚为一类，然后将点x标记未已访问，按照此方法对流进行聚类，加密流量与同一簇内的非加密流量属于相同应用，以此确定加密流量所属应用。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (7)

1.一种基于5G移动网络流量分析的应用识别方法，其步骤包括：

1)数据采集模块采集5G移动网络流量并将其发送给DPI识别模块；

2)DPI识别模块对数据链路层和网络层进行拆包，获取目的IP、源IP、目的端口、源端口、协议构成的五元组以及时间戳信息，然后根据五元组以及时间戳信息对数据包进行分类合并成流；然后根据每一流中数据包的明文特征判断该流对应的应用层协议；

3)DFI识别模块从网络流量数据包中提取流量的多粒度级别特征，包括流特征、数据包特征、主机行为特征、TCP头部特征、IP头部特征；然后对得到的多粒度级别特征进行过滤，过滤掉冗余特征或与流量识别不相关的特征；

4)DFI识别模块根据过滤后的流的特征利用基于结构数据依赖的DBSCAN方法识别该流所属应用。

2.如权利要求1所述的方法，其特征在于，基于结构数据依赖的DBSCAN方法是指利用基于结构数据依赖的密度函数替换DBSCAN算法中基于距离的密度函数；其中，基于结构数据依赖的DBSCAN方法中，对于样本空间中的每个未访问样本x，计算样本x与其他样本点的相异性度量；将与样本x相异性度量小于设定阈值δ的样本点的数量作为样本点x的密度M_δ(x)，当M_δ(x)超过一定阈值时将样本点x及其邻域内的所有点聚为一类，即属于同一应用；然后将点x标记未已访问。

3.如权利要求1或2所述的方法，其特征在于，利用基于结构数据依赖的DBSCAN方法识别流所属应用的方法为：将网络流中每一流作为样本空间D中的一个点，从一个没有被访问过的点x开始统计该点x的邻域Eps范围内的点的个数，如果点的个数超过阈值MinPts，则将该点x及其邻域点划分到同一簇中，并且将该点x标记为已访问；其中，确定该点x的邻域Eps范围内的点的个数的方法为：首先计算点x和点y之间基于数据依赖的相异性度量m_e(x,y)，然后采用转换函数

对m_e(x,y)进行转换得到点x和点y基于结构数据依赖的相异性度量

然后通过

计算点x的密度M_δ(x)作为该点x的邻域Eps范围内的点的个数；其中γ≥1为缩放因子，x和y是样本空间D中的样本点，S＝(s₁,s₂...s_k)是对于样本分布的预估结构，s_i表示S中的第i个预估结构，s_j表示S中的第j个预估结构。

4.如权利要求1所述的方法，其特征在于，流量采集模块通过N6接口采集流量，从N6接口的网络设备上调用Libpcap函数捕获经过指定网卡接口的所有流量数据包。

5.一种基于5G移动网络流量分析的应用识别系统，其特征在于，包括数据采集模块、DPI识别模块和DFI识别模块；其中，

数据采集模块，用于采集5G移动网络流量并将其发送给DPI识别模块；

DPI识别模块，用于对数据链路层和网络层进行拆包，获取目的IP、源IP、目的端口、源端口、协议构成的五元组以及时间戳信息，然后根据五元组以及时间戳信息对数据包进行分类合并成流；然后根据每一流中数据包的明文特征判断该流对应的应用层协议；

DFI识别模块，用于从网络流量数据包中提取流量的多粒度级别特征，包括流特征、数据包特征、主机行为特征、TCP头部特征、IP头部特征；然后对得到的多粒度级别特征进行过滤，过滤掉冗余特征或与流量识别不相关的特征；然后根据过滤后的流的特征利用基于结构数据依赖的DBSCAN方法识别该流所属应用。

6.如权利要求5所述的系统，其特征在于，所述基于结构数据依赖的DBSCAN方法是指利用基于结构数据依赖的密度函数替换DBSCAN算法中基于距离的密度函数；其中，基于结构数据依赖的DBSCAN方法中，对于样本空间中的每个未访问样本x，计算样本x与其他样本点的相异性度量；将与样本x相异性度量小于设定阈值δ的样本点的数量作为样本点x的密度M_δ(x)，当M_δ(x)超过一定阈值时将样本点x及其邻域内的所有点聚为一类，即属于同一应用；然后将点x标记未已访问。

7.如权利要求5所述的系统，其特征在于，利用基于结构数据依赖的DBSCAN方法识别流所属应用的方法为：将网络流中每一流作为样本空间D中的一个点，从一个没有被访问过的点x开始统计该点x的邻域Eps范围内的点的个数，如果点的个数超过阈值MinPts，则将该点x及其邻域点划分到同一簇中，并且将该点x标记为已访问；其中，确定该点x的邻域Eps范围内的点的个数的方法为：首先计算点x和点y之间基于数据依赖的相异性度量m_e(x,y)，然后采用转换函数

对m_e(x,y)进行转换得到点x和点y基于结构数据依赖的相异性度量

然后通过

计算点x的密度M_δ(x)作为该点x的邻域Eps范围内的点的个数；其中γ≥1为缩放因子，x和y是样本空间D中的样本点，S＝(s₁,s₂...s_k)是对于样本分布的预估结构，s_i表示S中的第i个预估结构，s_j表示S中的第j个预估结构。

Images