CN111224940A - 一种嵌套在加密隧道中的匿名服务流量关联识别方法及系统 - Google Patents

Abstract

本发明提出一种嵌套在加密隧道中的匿名服务流量关联识别方法及系统，属于网络测量与行为分析领域，选择从报文负载和报文形态两方面刻画网络数据流的概率特征，结合机器学习算法，识别和关联加密隧道内匿名混淆流量，解决现有技术在识别、关联加密隧道内匿名混淆流量时特征提取困难，导致识别精度低、进而关联效果较差的问题。

Description

一种嵌套在加密隧道中的匿名服务流量关联识别方法及系统

技术领域

本发明属于网络测量与行为分析领域，具体涉及一种基于概率统计特征的加密隧道混淆的匿名服务流量的关联识别方法。

背景技术

匿名通信技术，是一种为保证对身份敏感的程序进行安全匿名通讯而提出的技术。如I2P、Tor、HORNET、Orchid等，通过构建具有大量中继节点的分布式匿名网络，提供加密、混淆真实通信内容的传输模式，提供隐藏通信双方的身份的服务实现匿名。以Tor为例，其节点由世界各地的志愿者提供，发送方的数据经过多层TLS加密之后，交给从节点集合中随机选出的多个节点逐跳转发，每一跳负责一层解密，接收方或第三方监听者虽然能够从网络出口处得到原始数据，却无法对真实网络行为的发起者进行定位和溯源。

匿名通信技术因其匿名性广泛应用于网络黑产领域，匿名服务使得大量不良信息、非法交易隐蔽在匿名网络中。除此之外，为了保证匿名通信难以被提取流量特征的方式对流量及行为进行识别，通常在匿名网络之外，使用加密隧道对其进行封装，以提高其流量和行为识别的难度。

现有的匿名服务流量识别技术包括对匿名原始流量的识别和对匿名网络的混淆模式流量的识别。其中，匿名原始流量识别可分为基于加密协议指纹识别和基于报文长度分布的识别方法。加密协议指纹识别利用匿名网络节点在加密连接协商过程中使用的关键信息(如TLS协议的加密套件、证书周期、证书颁发机构等)进行识别；报文长度分布识别通过判断待识别流的报文长度分布是否符合匿名流量的分布特征进行识别，利用特定的报文长度频繁出现在匿名流量中这一特征，对匿名服务流量进行识别。

为了进一步加强隐私保护，大量匿名服务启用流量混淆插件，对从用户到网络入口的流量进行再加密和随机的长度填充，形成匿名混淆流量。匿名原始流量的识别技术难以应对流量被混淆的情况。以Tor的随机混淆模式插件流量为例，其采用的改进型椭圆加密算法几乎无指纹信息暴露，随机包填充也使报文长度分布不再可靠。匿名混淆流量的识别主要依靠流量的外部特征和插件本身的行为特征。外部特征包括会话的并发连接数、流持续时间、流字节总数等形态特征，而插件的行为特征与其具体的协议混淆原理有关，如利用云平台转发模式的插件，可以利用与云平台建立连接时留下指纹信息；协议伪装模式插件可以利用转换成通用协议后的信息熵范围检测进行识别。

匿名混淆流量的识别技术虽然能识别混淆模式流量，但随着加密隧道服务的广泛应用，越来越多的匿名连接被包裹在通用加密隧道协议的中，进行层叠加密、嵌套传输。经过加密隧道封装后，任何一种混淆插件产生的流量，对外都呈现出通用协议加密隧道流的特点，难以从并发连接数、持续时间等外部特征获得有效信息，更无法从插件行为上辨别，识别准确率难以保证。由于关联需要在识别基础上进行，因此关联效果也必然受到影响。

因此，为增强网络安全可控性，需要一种有效的匿名流量关联识别方法，在同时获得匿名网络入口、出口流量的前提下，从入口的混杂流量中识别出目标数据流，并进一步关联到与之对应的出口流，从而确认通信关系、达到溯源目的。

发明内容

本发明的目的是提出一种嵌套在加密隧道中的匿名服务流量关联识别方法及系统，选择从报文负载和报文形态两方面刻画网络数据流的概率特征，结合机器学习算法，识别和关联加密隧道内匿名混淆流量，解决现有技术在识别、关联加密隧道内匿名混淆流量时特征提取困难，导致识别精度低、进而关联效果较差的问题。

本发明采用的技术方案如下：

一种嵌套在加密隧道中的匿名服务流量关联识别方法，包括以下步骤：

S1：获取加密隧道内匿名混淆流量数据；

S2：流量预处理为单向流；

S3：构建特征向量；

S4：分别建立识别和关联模型；

S5：匿名服务流量识别；

S6：匿名服务流量关联分析。

下面分别对每个步骤进行详细阐述。

步骤S1的加密隧道内匿名混淆流量数据，可以通过在线捕获流量的方式获取，也可以使用采集好的离线数据，以.pcap为文件扩展名保存流量数据。

步骤S2中进行的流量采集和预处理包括如下步骤：

S2-1：无负载流量滤除。滤除确认包等没有实际负载的数据包、滤除因网络拥塞产生的TCP Retransmission、Dup ACK等重传包。

S2-2：按五元组汇聚。按照五元组内容归类，五元组一致的数据包属于同一条上行或下行方向的单向数据流。如果一条数据流出现明显的时间跨度，数据包集中分布在[a,b]、[c,d]等时间段内，则以空闲期为界将其划分为F_a,b、F_c,d等多条流；同时丢弃那些由于连接建立失败等原因而长度过短的流，最终得到符合要求的数据流集合。

S2-3：流量统计特征、载荷信息留存。对集合中的每一条流，记录流中每一个数据包的字节数、该数据包相距前一个包的时间间隔数(以毫秒为单位)，同时保留数据包的十六进制负载内容，得到原始特征。上述原始特征以JSON格式保存，每一条数据流对应一条JSON记录，为下一步提取概率统计特征做准备。

步骤S3对步骤S2的流量数据集进行处理，生成特征向量。特征向量由概率矩阵降至一维后首尾拼接得到，所述概率矩阵包括字节分布概率矩阵、时间转移概率矩阵和空间转移概率矩阵。步骤S3中进行的构建特征向量包括如下步骤：

S3-1：字节分布概率矩阵构建。字节分布概率矩阵刻画数据流的负载特征，该矩阵是包含256个元素的16阶方阵，对应一个字节可能的256种取值(0-0x00,1-0x01,…,255-0xff)。设元素(i,j)取值为value(i,j)，(i,j)对应的字节值0xij在某条流内的所有报文负载中出现k次，流字节总数为s，有value(i,j)＝k/s，表示十六进制0xij在该流中出现的概率。

S3-2：时间/空间转移概率矩阵构建。时间/空间转移概率矩阵刻画数据流的形态特征，以马尔可夫链的形式表示流中报文长度和报文间隔的顺序关系。

假设某条数据流中存在大小分别是i字节和j字节的两个相邻数据包，则时间转移概率矩阵中元素(i,j)的取值加1，遍历过整条流之后，(i,j)的值等于流中包字节数依序从i转化为j的次数，最后更新

表示在前一个包长已为i的情况下，下一个包长为j的概率。空间转移概率矩阵表示的意义与时间转移概率矩阵相似，不同之处在于观察量由报文大小替换为报文间隔。

时间/空间转移概率矩阵的规模不固定，一般来说以以太网最大传输单元MTU为1500字节为上限，空间转移概率矩阵最高可达1500阶。由于在实际情况中，转移概率矩阵的构建受限于时空复杂度的要求，构造的矩阵无法涵盖所有的转移情况；此外，矩阵的规模过大，刻画粒度过细，稀疏性也相应增强，使模型的鲁棒性大大降低，甚至产生过拟合现象。因此需要通过不断调参，找到合适的映射尺寸，将字节值或间隔值成组映射到矩阵的对应位置中，形成多对一的关系。若时间/空间转移概率矩阵同为n阶，最终每条数据流将被抽象为包含256+n个属性的特征向量，特征向量集合的一部分作为训练集，一部分作为测试集。

步骤S4中分别建立识别和关联模型包括如下步骤：

S4-1：识别模型训练。利用步骤S2得到的训练集可直接输入识别模型进行训练。

S4-2：关联模型数据集构建。对关联模型，从作为训练集的流量数据中，选择F₁、F₂、F₃，其中F₁为某条匿名网络入口流，F₂为F₁对应的出口流，F₃为出口处捕获的一条无关混杂流，将属于同一个匿名会话的F₁、F₂拼接成F_1,2，作为正类；将无关的F₁、F₃拼接成F_1,3，作为负类。

S4-3：关联模型训练。按步骤S4-2操作，将得到的两类合成流转化为特征向量集，输入关联模型进行训练，将关联问题转化为二类识别问题。

其中，识别和关联模型均基于机器学习算法，并使用网格搜索法优化参数组合，以得到最优模型。

步骤S5流量识别。使用识别模型在测试集上识别加密隧道内匿名混淆流量(也可进一步精细化区分混淆插件类型、用户行为等)，为流量关联缩小目标范围。

步骤S6流量关联。对步骤S5中识别出的流F_i，将其与同时段在出口处捕获的流F_j拼接在一起，若关联模型将合成流F_i,j识别为正类，可判断F_i和F_j存在关联关系。

以上步骤需要进一步说明的是，步骤S2-2中的五元组是指源IP、目的IP、源端口、目的端口及传输层协议。

一种嵌套在加密隧道中的匿名服务流量关联识别系统，包括：

加密隧道匿名混淆流量获取模块，用于在线或离线获取加密隧道内匿名混淆流量数据；

流量预处理与单向流特征提取模块，用于对获取到的原始流量进行无负载流量滤除、五元组汇聚与流量统计特征、载荷信息抽取与留存；

特征向量构建模块，用于构建概率矩阵(包括字节分布概率矩阵、时间/空间转移概率矩阵)，将各个概率矩阵降至一维后进行首尾拼接，以构建特征向量，为后续步骤用于机器学习方法的训练集、测试集；

训练模块，用于以部分单向数据流作为训练集，对识别模型和关联模型进行训练；

关联识别模块，用于利用识别模型在以部分单向数据流作为测试集上识别加密隧道内匿名混淆流F_i，将流F_i与同时段在出口处捕获的流F_j拼接在一起，得到合成流F_i,j，输入到关联模型中，若关联模型将合成流F_i,j识别为正类，则判定F_i和F_j存在关联关系。

另外，为了更精确的量化测评结果还可包括：准确率和召回率计算模块，用于计算整体准确率、指定类型召回率及指定类型精度。

通过采取上述技术方案，本发明提供有效的方法及系统实现嵌套在加密隧道中的匿名服务流量关联识别。通过高效的方法测评识别结果，从而提高了系统性能、灵活性。

与现有技术相比，本发明的有益效果是：

选择报文负载和报文形态作为特征，独立于数据流内容，既容易获取，其蕴含的信息又不易受到插件混淆、隧道封装的影响；特征转化为概率形式，量纲统一、表示相同的意义，不需要归一化，也避免了识别效果因为待识别流长度不一致而受到影响；在保证识别效果的基础上进一步从入口流出发，关联出口流量，将关联问题转化为识别问题，最终达到准确识别并关联加密隧道内匿名混淆流量的目的。

附图说明

图1为实施例中关联识别嵌套在加密隧道中的匿名网络服务流量的步骤流程图。

图2为实施例中加密隧道内匿名混淆流量的产生过程示意图。

图3为实施例中嵌套在加密隧道中的匿名网络服务流量关联识别系统的模块组成示意图。

具体实施方式

为使本发明的技术方案能更明显易懂，特举实施例并结合附图详细说明如下。

本嵌套在加密隧道中的匿名服务流量关联识别方法的具体实施以嵌套在加密隧道内的匿名网络中，对不同混淆插件模式流量和多种用户行为流量，遵循控制变量设置，进行固定用户行为对多插件模式的识别，以及固定插件模式对多种用户行为识别(如FTP文件传输、即时通讯、电子邮件、在线视频和Web浏览等五类常见网络行为)。控制用户网络行为这一变量，待识别匿名服务插件类型的流量均在进行Web浏览时产生；控制匿名服务混淆模式这一变量，待识别用户行为类型的流量均在使用匿名服务的随机混淆模式插件的情况下获得，方法实例流程如图1所示，流量产生过程如图2所示。

按步骤S1、S2所述，对收集到的每条数据流形成JSON格式的记录，包括报文大小和报文间隔序列、报文的十六进制负载。

按步骤S3所述，根据S2生成的JSON记录中的信息，计算三类概率矩阵，限定时间/空间转移概率矩阵的阶数n(n的参考取值建议在10≤n≤30区间内)，即每个转移概率矩阵为n²个元素(至少有100个，至多有900个元素)。以空间转移概率矩阵为例，按最大字节数为1500计算，每行/每列元素代表以1500/n个字节为单位的报文大小转移概率。最终每条数据流由d＝256+2n²维向量表示(456≤d≤2056)，在此范围内寻找最优特征集规模，并按交叉验证方法将所得特征集分为训练集和测试集。

按步骤S4所述，训练集直接输入识别模型进行训练；同时选择FTP文件传输流量进行关联实验，将训练集中匿名网络入口处的FTP流分别与其对应的出口流、出口处的其他背景流进行拼接，按步骤S2、S3的操作构建用于流量关联的训练集，训练关联模型。两种模型都基于机器学习的经典算法——随机森林算法。

按步骤S5所述，进行混淆插件与用户行为的多类识别。其中，对识别出的FTP流，继续按步骤S6进行关联实验，将其与同时段的出口流拼接，输入到关联模型中，模型根据对合成流的识别结果判断流量关联度。

实现上述实施例中描述的嵌套在加密隧道中的匿名服务流量关联识别系统，如图3所示，包括以下模块：

加密隧道匿名混淆流量获取模块，用于在线(离线)获取(读取)网络流量；

流量预处理与单向流特征提取模块，用于对获取到的原始流量进行无负载流量滤除、五元组汇聚与流量统计特征、载荷信息抽取与留存；

特征向量构建模块，用于构建字节分布概率矩阵、时间/空间转移概率矩阵构建，构建后续步骤用于机器学习方法的训练集、测试集；

训练模块，用于对识别模型、关联模型进行训练；

关联识别模块，使用测试集数据，对识别模型与关联模型进行测试；

测评指标计算模块，计算整体准确率、指定类型召回率、指定类型精度。

实验证明，当数据流中存在超过50个报文时，插件、行为多类识别准确率和流量关联的F1值均达到0.95以上(由于关联目标即正类样本在背景流量中占比很小，故使用F1值而不是整体准确率评估实验结果)。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，本发明的保护范围以权利要求所述为准。

Claims (10)

1.一种嵌套在加密隧道中的匿名服务流量关联识别方法，其特征在于，包括以下步骤：

在线或离线获取加密隧道内匿名混淆流量数据；

对上述流量数据进行无负载流量滤除，按照五元组汇聚，五元组一致的数据包属于同一条上行或下行方向的单向数据流，

针对单向数据流构建概率矩阵，将各个概率矩阵降至一维后进行首尾拼接，以构建特征向量；

建立识别模型和关联模型，以部分单向数据流作为训练集，对识别模型和关联模型进行训练；

利用识别模型在单向数据流上识别加密隧道内匿名混淆流；

将识别的加密隧道内匿名混淆流与同时段在出口处捕获的流拼接在一起，得到合成流，输入到关联模型中，若关联模型将合成流识别为正类，则判定该加密隧道内匿名混淆流与该捕获的流存在关联关系。

2.如权利要求1所述的方法，其特征在于，加密隧道内匿名混淆流量数据以.pcap为文件扩展名保存。

3.如权利要求1所述的方法，其特征在于，无负载流量包括没有实际负载的数据包和滤除因网络拥塞产生的重传包，该重传包包括TCP Retransmission和Dup ACK重传包。

4.如权利要求1所述的方法，其特征在于，五元组是指源IP、目的IP、源端口、目的端口及传输层协议。

5.如权利要求1所述的方法，其特征在于，在五元组归类时，如果一条数据流出现一定的时间跨度，数据包集中分布在若干个时间段内，则以空闲期为界将其划分为对应这些时间段的多条流，同时丢弃由于连接建立失败导致的长度过短的流。

6.如权利要求5所述的方法，其特征在于，对每一条单向数据流，记录流中每一个数据包的字节数、该数据包相距前一个包的时间间隔数，同时保留数据包的十六进制负载内容，得到原始特征。

7.如权利要求6所述的方法，其特征在于，以JSON格式保存单向数据流中的原始特征，每一条数据流对应一条JSON记录。

8.如权利要求1所述的方法，其特征在于，概率矩阵包括字节分布概率矩阵、时间转移概率矩阵和空间转移概率矩阵；其中，

字节分布概率矩阵：该矩阵为一个包含256个元素的16阶方阵，对应一个字节可能的256种取值，元素取的字节值在某条流内的所有报文负载中出现k次，流字节总数为s，则k/s表示所述字节值在该流中出现的概率。

时间转移概率矩阵：假设某条数据流中存在报文间隔分别是i字节和j字节的两个相邻数据包，则矩阵中元素(i,j)的取值加1，遍历过整条流之后，(i,j)的值等于流中包字节数依序从i转化为j的次数，更新

其表示在前一个包长已为i的情况下，下一个包长为j的概率。

空间转移概率矩阵：假设某条数据流中存在报文大小分别是i字节和j字节的两个相邻数据包，则矩阵中元素(i,j)的取值加1，遍历过整条流之后，(i,j)的值等于流中包字节数依序从i转化为j的次数，最后更新

其表示在前一个包长已为i的情况下，下一个包长为j的概率。

9.如权利要求1所述的方法，其特征在于，对于关联模型的训练，从作为训练集的流量数据中，选择F₁、F₂、F₃，其中F₁为某条匿名网络入口流，F₂为F₁对应的出口流，F₃为出口处捕获的一条无关混杂流，将属于同一个匿名会话的F₁、F₂拼接成F_1,2，作为正类；将无关的F₁、F₃拼接成F_1,3，作为负类；将得到的正类和负类合成流转化为特征向量集，输入到关联模型进行二类识别训练。

10.一种嵌套在加密隧道中的匿名服务流量关联识别系统，其特征在于，包括：

加密隧道匿名混淆流量获取模块，用于在线或离线获取加密隧道内匿名混淆流量数据；

流量预处理与单向流特征提取模块，用于对上述流量数据进行无负载流量滤除，按照五元组汇聚，五元组一致的数据包属于同一条上行或下行方向的单向数据流；

特征向量构建模块，用于构建概率矩阵，并将各个概率矩阵降至一维后进行首尾拼接，以构建特征向量；

训练模块，用于以部分单向数据流作为训练集，对识别模型和关联模型进行训练；

关联识别模块，用于利用识别模型在单向数据流上识别加密隧道内匿名混淆流，将识别的加密隧道内匿名混淆流与同时段在出口处捕获的流拼接在一起，得到合成流，输入到关联模型中，若关联模型将合成流识别为正类，则判定该加密隧道内匿名混淆流与该捕获的流存在关联关系。

Images