CN114124463A - 基于网络行为特征的暗网加密应用服务识别方法及系统 - Google Patents

Abstract

本发明提供了基于网络行为特征的暗网加密应用服务识别方法及系统，包括：步骤1、采集历史一段时间内明网与暗网的应用流量数据，并根据五元组信息标注出对应的应用服务，作为训练集；步骤2、以应用流量数据的五元组作为关键值对会话进行解析，提取会话特征；步骤3、提取源IP及目的地址对应的行为特征，构建IP行为特征；步骤4、按相同的源IP地址，将IP行为特征拼接到会话特征中，形成网络行为特征集；步骤5、根据网络行为特征集与训练集进行预测模型进行训练，完成训练后，通过预测模型对未知的网络行为特征样本进行应用服务识别。本发明提出的方案能够提高暗网加密应用服务检测的准确性以及能较全面与完善的提取流量特征。

Description

基于网络行为特征的暗网加密应用服务识别方法及系统

技术领域

本发明涉及数据分析领域，特别涉及一种基于网络行为特征的暗网加密应用服务识别方法及系统。

背景技术

加密流量主要是指在通信过程中所传送的被加密过的实际明文内容。在安全和隐私保护需求的驱动下，网络通信加密化已经成为不可阻挡的趋势，加密网络流量呈现爆炸增长。外媒Netmarketshare发布的数据显示，截止到2019年10月全球使用HTTPS密的Web流量的比例已经超过了九成。HTTPS网站加密传输协议几乎已经接近普及。但加密流量也给互联网安全带来了巨大威胁，尤其是当加密技术运用在暗网通信时。在暗网上的黑市交易，诸如毒品、军火、恶意软件等行为，均是用加密流量进行会话。因此对暗网加密流量及其应用服务的识别是网络恶意行为检测中关键的技术，对维护网络空间安全具有重要意义。

目前工业界与学术界对加密流量识别的研究层出不穷，如基于有效负载的识别方法、负载随机性检测的方法、基于机器学习的识别方法、基于深度学习的方法等。但受限于加密的流量难以大量采集与标注以及加密协议的快速迭代等客观因素，对加密流量中的加密应用服务仍难以精准检测与识别，尤其是暗网加密应用。

发明内容

针对现有技术中暗网加密应用难以精准识别的问题，本发明提供了一种基于网络行为表征体系的暗网加密应用服务识别的方法与装置，采集并分析Tor、I2P、ZeroNet、FreeNet等主流暗网匿名系统产生的通信流量，提取主机在一段时间内的网络行为特征以及会话特征，构造网络行为特征库，并利用机器学习算法进行建模与训练模型，最后识别会话所属的加密应用类型。

本发明采用的技术方案如下：基于网络行为特征的暗网加密应用服务识别方法，包括：

步骤1、采集历史一段时间内明网与暗网的应用流量数据，并根据五元组信息标注出对应的应用服务，作为训练集；

步骤2、以应用流量数据的五元组作为关键值对会话进行解析，提取会话特征；

步骤3、基于提取的会话特征，提取源IP地址对应的行为特征，同时提取目的IP地址与端口对应的行为特征，组合构建为IP行为特征；

步骤4、按相同的源IP地址，将IP行为特征拼接到会话特征中，形成网络行为特征集；

步骤5、根据网络行为特征集与训练集进行预测模型进行训练，完成训练后，通过预测模型对未知的网络行为特征样本进行应用服务识别。

进一步的，会话特征包括统计特征、有效载荷特征、指纹特征、时间特征以及背景流量特征；所述统计保证包括数据报延迟时间特征、数据流的包长度统计特征、发送数据流的载荷长度统计特征、接收数据流的载荷长度统计特征以及有效载荷的字节分布统计特征；所述背景流量特征包括DNS响应信息中DNS响应中域名长度、DNS响应信息中域名中数字与非数字字符长度比、DNS响应信息中TTL值、DNS响应返回的IP地址数、DNS响应信息中域名在Alexa网站中的排名情况。

进一步的，行为特征包括：统计特征、历史行为特征以及背景信息特征；

其中，统计特征包括源IP发起会话的到达时间间隔特征、源IP发起请求的时间分布特征、源IP发起请求的频率特征、源IP所在会话与源IP的比例特征；历史行为特征包括源IP地址一段时间内HTTP会话、HTTPS会话、UDP会话、TCP会话的请求数以及源IP地址使用加密流量的时间频率；背景信息特征包括加密流量中的源/目的IP检测其是否标记为恶意IP、IP所属地址是否在境外、IP是否属于IDC。

进一步的，在进行预测模型训练之前，判断是否已存在暗网加密应用类型预测模型，若已存在，则直接通过该模型进行暗网加密应用服务识别，若不存在，进行预测模型训练，通过训练好的模型进行暗网加密应用服务识别。

进一步的，采用支持向量机作为预测模型。

进一步的，预测模型的训练方法为：将网络行为特征集与训练集输入支持向量机，选择随机森林算法，设置算法参数，进行预测模型训练。

本发明还提供了一种基于网络行为特征的暗网加密应用服务识别系统，包括流量数据采集与处理模块、会话特征提取模块、IP行为特征提取模块、机器学习算法训练与预测模块；

流量数据采集与处理模块，用于采集明网与暗网应用流量数据，并进行预处理，形成训练集；

会话特征提取模块，用于提取会话特征；

IP行为特征提取模块，用于基于会话特征提取IP行为特征；

机器学习算法训练与预测模块，用于将会话特征与IP行为特征拼接形成网络行为特征，并根据网络行为特征与训练集进行预测模型进行训练，完成训练后，通过预测模型对未知的网络行为特征样本进行应用服务识别，输出预测结果。

与现有技术相比，采用上述技术方案的有益效果为：

(1)提出一种基于网络行为特征的暗网加密应用服务识别方法，利用网络行为特征提高暗网加密应用服务检测的准确性；

(2)提供了一种对Tor、I2P、ZeroNet、FreeNet等暗网加密应用的检测方法。

(3)提出了一种基于特征群的流量特征提取框架，能较全面与完善的提取流量特征。

附图说明

图1为本发明提出的基于网络行为特征的暗网加密应用服务识别方法流程图。

图2为本发明提出的会话特征提取框架示意图。

图3为本发明一实施例中机器学习算法训练与预测过程示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

实施例1

如图1所示，在本实施例中提出了一种基于网络行为表征体系的暗网加密应用识别方法，通过构建基于加密流量的网络行为表征体系，为暗网加密应用识别建立一个通用的技术框架，从而在加密流量中精准识别出暗网应用。具体方案如下：

(1)流量数据采集与处理：采集历史一段时间内的明网应用流量数据，包括文件传输、即时通信、流媒体、P2P，同时在该段时间内采集多种暗网(Tor、I2P、ZeroNet、FreeNet)的应用流量数据，并利用源IP地址、目的IP地址、源端口、目的端口、传输协议等五元组信息进行标注，标记出对应的应用服务，作为训练数据集。

(2)会话特征提取：以五元组为关键值，对会话进行解析，提取出会话的统计特征以及会话的TCP、HTTP、TLS指纹特征；

(3)IP行为特征提取：基于会话特征，提取源IP地址对应的行为统计特征，并提取目的IP地址与端口对应的相关行为统计特征，组合构建IP行为特征集。

(4)机器学习算法训练与预测：结合会话特征与IP行为特征，构建网络行为特征集，利用支持向量机，对网络行为特征集与应用服务标签集进行训练，之后对未知的网络行为特征样本进行预测。

(5)结果展示：将预测的结果通过系统进行可视化展示。

具体的，在本实施例中提出了一种特征提取框架进行会话特征提取，如图2所示，针对预处理后的会话样本，基于特征群的流量特征提取框架，对每一条会话，分别提取统计特征、有效载荷特征、指纹特征、时间特征、背景流量特征，其中：

1.统计特征：

(1)数据包延迟时间特征：为确保匿名与安全性，暗网应用的数据包时间延迟可能会比其余数据包长，因此提取延迟时间的均值、方差、最大值、最小值。

(2)数据流的包长度统计特征：包长度的均值、方差、最大值、最小值、熵值。

(3)发送数据流的统计特征：前10个发送数据包中的载荷长度分布的大小区间，以及最大值、最小值、均值、标准差以及熵值。

(4)接收数据流的统计特征：前10个接收数据包中的载荷长度分布的大小区间，以及最大值、最小值、均值、标准差以及熵值。

(5)有效载荷的字节分布统计特征：前200字节有效载荷的熵值。

2.有效载荷特征

(1)首部标志特征：TOS和PSH位置的值。如I2P流量数据包的IP头部的TOS字段均为0。

(2)TLS与HTTP会话中的host特征：Host是否为IP地址，Host的长度特征；域名中数字与字符个数占比等

3.指纹特征：

(1)TCP指纹特征：使用nmap工具提取tcp指纹。

(2)TLS指纹特征：使用开源的ja3(s)实现TLS指纹提取。

4.时间特征：将时间按小时分为0-23，提取该会话发生的时间段。

5.背景流量特征：除了上述提及的特征外，本发明加入了背景流量信息特征，如下：

(1)DNS响应信息中DNS响应中域名长度；

(2)DNS响应信息中域名中数字与非数字字符长度比；

(3)DNS响应信息中TTL值；

(4)DNS响应返回的IP地址数；

(5)DNS响应信息中域名在Alexa网站中的排名情况。

同时还可以根据该框架与会话特征对IP在历史一段时间内的IP行为特征进行描述，具体特如下：

1.统计特征：

(1)源IP发起会话的到达时间间隔特征：时间间隔的均值、最大值、最小值、方差；

(2)源IP发起请求的时间分布：按小时进行统计频率；

(3)源IP发起请求的频率特征：每小时频率的均值、最小值、最大值、方差；

(4)源IP所在会话与源IP的比例特征：包达到时间间隔的比例特征、包长度特征的比例、发送字节占比、接收字节占比。

2.历史行为特征：

(1)源IP地址一段时间内HTTP会话、HTTPS会话、UDP会话、TCP会话的请求数；

(2)源IP在过去1小时/2小时/24小时内是否有过加密流量行为，以及加密会话总数；

(3)源IP地址使用加密流量的时间频率：统计过去7天内该IP每小时内加密流量数以及比例。

3.背景信息特征：

(1)加密流量中的源/目的IP检测其是否标记为恶意IP；

(2)IP所属地址是否在境外；

(3)IP是否属于IDC。

在会话特征与IP行为特征提取完成后，按相同的源IP地址，将IP行为特征拼接到会话特征，形成网络行为特征。通过网络行为特征与训练集直接执行如图3所示的机器学习算法训练与预测过程，具体如下：

步骤1：判断是否存在已训练模型且处理的过程是预测暗网加密应用类型，若是，进入步骤2，否则进入步骤5；

步骤2：输入已提取的网络行为特征样本，和已训练的模型，进入步骤3；

步骤3：用模型对未知样本进行预测，进入步骤4；

步骤4：输出识别结果，结束。

步骤5：输入已提取的网络行为特征集和训练集，进入步骤6；

步骤6：选择随机森林算法，设置算法参数，进入步骤7；

步骤7：基于特征集和标签集，训练并保存模型，进入步骤8；

步骤8：输出训练好的模型，结束。

实施例2

本实施例提供了一种基于网络行为特征的暗网加密应用服务识别系统，包括流量数据采集与处理模块、会话特征提取模块、IP行为特征提取模块、机器学习算法训练与预测模块；

流量数据采集与处理模块，用于采集明网与暗网应用流量数据，并进行预处理，形成训练集；

会话特征提取模块，用于提取会话特征；

IP行为特征提取模块，用于基于会话特征提取IP行为特征；

机器学习算法训练与预测模块，用于将会话特征与IP行为特征拼接形成网络行为特征，并根据网络行为特征与训练集进行预测模型进行训练，完成训练后，通过预测模型对未知的网络行为特征样本进行应用服务识别，输出预测结果。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。如果本领域技术人员，在不脱离本发明的精神所做的非实质性改变或改进，都应该属于本发明权利要求保护的范围。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (7)

1.基于网络行为特征的暗网加密应用服务识别方法，其特征在于，包括：

步骤1、采集历史一段时间内明网与暗网的应用流量数据，并根据五元组信息标注出对应的应用服务，作为训练集；

步骤2、以应用流量数据的五元组作为关键值对会话进行解析，提取会话特征；

步骤3、基于提取的会话特征，提取源IP地址对应的行为特征，同时提取目的IP地址与端口对应的行为特征，组合构建为IP行为特征；

步骤4、按相同的源IP地址，将IP行为特征拼接到会话特征中，形成网络行为特征集；

步骤5、根据网络行为特征集与训练集进行预测模型进行训练，完成训练后，通过预测模型对未知的网络行为特征样本进行应用服务识别。

2.根据权利要求1所述的基于网络行为特征的暗网加密应用服务识别方法，其特征在于，会话特征包括统计特征、有效载荷特征、指纹特征、时间特征以及背景流量特征；所述统计保证包括数据报延迟时间特征、数据流的包长度统计特征、发送数据流的载荷长度统计特征、接收数据流的载荷长度统计特征以及有效载荷的字节分布统计特征；所述背景流量特征包括DNS响应信息中DNS响应中域名长度、DNS响应信息中域名中数字与非数字字符长度比、DNS响应信息中TTL值、DNS响应返回的IP地址数、DNS响应信息中域名在Alexa网站中的排名情况。

3.根据权利要求2所述的基于网络行为特征的暗网加密应用服务识别方法，其特征在于，行为特征包括：统计特征、历史行为特征以及背景信息特征；

其中，统计特征包括源IP发起会话的到达时间间隔特征、源IP发起请求的时间分布特征、源IP发起请求的频率特征、源IP所在会话与源IP的比例特征；历史行为特征包括源IP地址一段时间内HTTP会话、HTTPS会话、UDP会话、TCP会话的请求数以及源IP地址使用加密流量的时间频率；背景信息特征包括加密流量中的源/目的IP检测其是否标记为恶意IP、IP所属地址是否在境外、IP是否属于IDC。

4.根据权利要求1或3所述的基于网络行为特征的暗网加密应用服务识别方法，其特征在于，在进行预测模型训练之前，判断是否已存在暗网加密应用类型预测模型，若已存在，则直接通过该模型进行暗网加密应用服务识别，若不存在，进行预测模型训练，通过训练好的模型进行暗网加密应用服务识别。

5.根据权利要求4所述的基于网络行为特征的暗网加密应用服务识别方法，其特征在于，采用支持向量机作为预测模型。

6.根据权利要求5所述的基于网络行为特征的暗网加密应用服务识别方法，其特征在于，预测模型的训练方法为：将网络行为特征集与训练集输入支持向量机，选择随机森林算法，设置算法参数，进行预测模型训练。

7.一种基于网络行为特征的暗网加密应用服务识别系统，其特征在于，包括流量数据采集与处理模块、会话特征提取模块、IP行为特征提取模块、机器学习算法训练与预测模块；

流量数据采集与处理模块，用于采集明网与暗网应用流量数据，并进行预处理，形成训练集；

会话特征提取模块，用于提取会话特征；

IP行为特征提取模块，用于基于会话特征提取IP行为特征；

机器学习算法训练与预测模块，用于将会话特征与IP行为特征拼接形成网络行为特征，并根据网络行为特征与训练集进行预测模型进行训练，完成训练后，通过预测模型对未知的网络行为特征样本进行应用服务识别，输出预测结果。

Images