CN110912895A - 一种基于感知哈希的网络数据流溯源方法 - Google Patents

Abstract

本发明涉及一种基于感知哈希的网络数据流溯源方法，利用哈希数字摘要的快速检索解决网络数据流关联的时效性，并且利用了感知哈希的区分性，使之能同时追踪多条网络数据流。本发明选取了网络数据流的形状感知特征和规律感知特征，使得生成的感知哈希值拥有良好的感知鲁棒性，能应对一定程度的网络抖动和丢包。本发明中，产生感知哈希摘要的算法不依赖于网络数据包的内部特征，使算法能适应更多的网络环境。

Description

一种基于感知哈希的网络数据流溯源方法

技术领域

本发明涉及网络数据流溯源技术领域，更具体地说，涉及一种基于感知哈希的网络数据流溯源方法。

背景技术

信息安全和个人隐私的保护随着互联网的发展越来越收到重视。“匿名网络技术”的出现使得人们可以在上网时不泄露个人相关信息。匿名网络一般采用多重加密，重路由等多种匿名技术，隐藏通信双方的关系，从而达到保护通信者身份和隐私的目的。然而，一些网络黑客和犯罪分子则利用匿名网络进行违法犯罪，例如攻击政府企业网站、在线传播计算机病毒、网上走私、非法交易、发表反动言论等。

对网络数据流进行溯源的现有技术中，网络数据流关联作为一项可用于分析网络数据流来源的技术，在抵抗跳板攻击、匿名攻击方面得到了人们的广泛关注。通过对网络数据流的关联可以实现对攻击流量反向追溯，找到真正的攻击源。一般可以将网络数据流关联技术分为两类：主动流关联技术和被动流量分析技术。

网络数据流水印是最常见的主动流关联技术。网络数据流水印主要是通过修改网络数据流中的包时序信息或者流速率等方式，对载体流量嵌入水印。然后在检测端捕获网络数据流，寻找是否存在相同的水印信息，完成对网络数据流的关联并实现网络数据流的溯源。

但是，现有技术的网络数据流水印存在的主要问题是：

1、嵌入目标流的水印在网络传输过程中会受到各种网络干扰，如网络拥塞、延迟抖动等都导致水印变形，降低检测效果。

2、网络攻击者会对网络数据流中的水印进行探测和识别，然后对水印进行移除，篡改或仿制，以此来逃避追踪。

被动流量分析技术则主要通过布置在网络关键位置上的节点收集网络数据流，通过比较数据流中分组数量，大小，时序等特征，记录下输入流的特征，然后将之与输出流进行关联。这种方法是分析网络数据流本身的特征，选取出具有代表性，且在网络传输中不易被改变的特征，利用这些特征来进行流量分析。然后根据流量特征的相似性进行网络数据流关联，进而实现网络数据流的溯源。被动流量分析不需要对网络数据流进行修改，不易被攻击者发觉。

但是，现有技术的被动网络数据流分析技术存在的主要问题是：实时性差，可扩展性弱；尤其面对匿名通信环境中报文特征被隐藏的情况更是力不从心。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于感知哈希的网络数据流溯源方法，利用基于感知哈希的网络数据流匹配算法，并将其运用到网络数据流溯源上，解决了现有技术的被动流量分析技术中存在的实时性差，鲁棒性低等不足。

本发明的技术方案如下：

一种基于感知哈希的网络数据流溯源方法，步骤如下：

1)在靠近网络发送端和网络接收端的路由器上分别收集网络数据流，将网络数据流表示为由随机时间点t₀开始的n个时隙组成的初始时隙集合δ＝{I₁,I₂,...,I_n}；其中，I表示数据包之间的时隙；

2)利用流速率压缩数据：对于初始时隙集合δ＝{I₁,I₂,...,I_n}中的每个时隙I，计算每个时隙I中的数据率，通过数据率找出速峰值对应的q个时隙I'，然后依次找到数据率对应的流速变化差异大于预设速率阈值的p条流速峰值时隙，构成压缩时隙集合δ'＝{I'₁,I'₂,...,I'_q,q＜p}；

3)对网络数据流的数据率进行编码：

将每个时隙I'划分为h等分的时间片，得到I'＝{S₁,S₂,S₃...,S_h}；

将原始的一组时隙映射为一个新的时间片矩阵：

数据率在时间片内作为网络数据流的特征之一，则提取数据率，作为流速特征，并计算每个时间片的数据率，得到流速特征矩阵：

4)对流速特征进行感知哈希编码：

流速特征矩阵通过平均感知哈希算法生成感知哈希序列

其中，R_i,j为流速特征矩阵中第i行第j列的数据率，

为第j列的平均数据率；

5)对网络发送端和网络接收端获取的网络数据流进行哈希相似度匹配：

假设在网络接收端捕获到了可疑数据包p_i，找到对应的网络数据流f_i，对f_i提取流速特征，生成感知哈希序列h_i；

同时对x台网络发送端主机T₁,T₂,…,T_x进行相同的操作；

如果主机T_i捕获到的数据包能重组成y条网络数据流，则能产生y个感知哈希序列；

将网络接收端主机需要溯源的网络数据流f_i生成的感知哈希序列h_i与网络发送端产生的每一个哈希摘要进行相似度计算，相似度最高的源头则认为是可疑数据包p_i的来源。

作为优选，步骤1)中，每个时隙长度相等，时隙内数据包数量不等。

作为优选，步骤2)中，假设在某个时隙内有m个数据包p₁,p₂,…,p_m，时隙内数据率V_i具体如下：

其中，m＞0，L_i,j表示第i个时隙内第j个数据包的大小，T为每个时隙的长度。

作为优选，步骤2)与步骤3)之间还包括步骤a)采用信息熵过滤压缩时隙集合δ'＝{I'₁,I'₂,...,I'_q,q＜p}中的冗余数据，选择熵值小于预设熵值阈值的k个时隙组成新的时隙集合δ”＝{I”_1',I”₂,...,I”_k,k＜q}；

信息熵公式如下：

其中，A表示在每个时隙中分组报文间隔所有的可能情况，P(z_i)表示与某个时间间隔Z_i可能出现的概率；

进而，步骤3)为将每个时隙I”划分为h等分的时间片，得到I”＝{S₁,S₂,S₃...,S_h}；

将原始的一组时隙映射为一个新的时间片矩阵：

数据率在时间片内作为网络数据流的特征之一，则提取数据率，作为流速特征，并计算每个时间片的数据率，得到流速特征矩阵：

作为优选，进一步地，对步骤a)得到的新的时隙集合δ”＝{I”_1',I”₂,...,I”_k,k＜q}提取数据包时间间隔特征：选取时隙I”中对应数据包大小极值点的数据包集合，假设有d个数据包处于极值，则定义集合为{pt₁,pt₂,…,pt_d}；其中，pt表示每个数据包对应的时间戳；然后计算每个时隙I”的平均数据包时间间隔

与所有时隙I的平均数据包时间间隔Δt，分别为：

然后，与步骤4)同理，对数据包时间间隔特征进行感知哈希编码，将

与Δt的特征编码的哈希摘要合并成一个哈希序列，作为网络数据流的最终标识依据，具体为：

本发明的有益效果如下：

本发明所述的基于感知哈希的网络数据流溯源方法，利用哈希数字摘要的快速检索解决网络数据流关联的时效性，并且利用了感知哈希的区分性，使之能同时追踪多条网络数据流。本发明选取了网络数据流的形状感知特征和规律感知特征，使得生成的感知哈希值拥有良好的感知鲁棒性，能应对一定程度的网络抖动和丢包。

本发明中，产生感知哈希摘要的算法不依赖于网络数据包的内部特征，使算法能适应更多的网络环境。

附图说明

图1是本发明的网络数据流溯源抽象模型图；

图2是本发明的网络数据流溯源算法流程图。

具体实施方式

以下结合附图及实施例对本发明进行进一步的详细说明。

本发明所述的基于感知哈希的网络数据流溯源方法，如图1、图2所示，步骤如下：

步骤1)在靠近网络发送端和网络接收端的路由器上分别收集网络数据流。

网络数据流的本质是一组具有相同源地址和目标地址的数据包，进而，本发明将网络数据流表示为由随机时间点t₀开始的n个时隙组成的初始时隙集合δ＝{I₁,I₂,...,I_n}；其中，I表示数据包之间的时隙；本实施例中，每个时隙长度相等，时隙内数据包数量不等。

步骤2)利用流速率压缩数据：对于初始时隙集合中的每个时隙，通过计算每个时隙中的数据率得到网络数据流的形状特征。

对于初始时隙集合δ＝{I₁,I₂,...,I_n}中的每个时隙I，计算每个时隙I中的数据率，通过数据率找出速峰值对应的q个时隙I'，然后依次找到数据率对应的流速变化差异大于预设速率阈值的p条流速峰值时隙，构成压缩时隙集合δ'＝{I'₁,I'₂,...,I'_q,q＜p}。

本实施例中，数据率的计算方法具体为：假设在某个时隙内有m个数据包p₁,p₂,…,p_m，时隙内数据率V_i具体如下：

其中，m＞0，L_i,j表示第i个时隙内第j个数据包的大小，T为每个时隙的长度。

步骤3)对网络数据流的数据率进行编码：

步骤2)得到一个包含q个时间段的集合，将每个时隙划分为更小的时间片可以突出更详细的网络数据流特性。本发明中，将每个时隙I'划分为h等分的时间片，得到I'＝{S₁,S₂,S₃...,S_h}；

将原始的一组时隙映射为一个新的时间片矩阵，每个时间片的长度为S，每个时间片中有多个数据包，具体如下：

数据率在时间片内作为网络数据流的特征之一，则提取数据率，作为流速特征，并计算每个时间片的数据率，得到流速特征矩阵：

步骤4)对流速特征进行感知哈希编码。

流速特征矩阵通过平均感知哈希算法(即，使用每一列的值与该列的平均值进行比较的结果来编码的方法)生成感知哈希序列

其中，R_i,j为流速特征矩阵中第i行第j列的数据率，

为第j列的平均数据率。

为了获得较为稳定的数据流信息，采用信息熵来进一步过滤掉冗余数据。本实施例中，步骤2)与步骤3)之间还包括步骤a)采用信息熵过滤压缩时隙集合δ'＝{I'₁,I'₂,...,I'_q,q＜p}中的冗余数据，选择熵值小于预设熵值阈值的k个时隙组成新的时隙集合δ”＝{I”_1',I”₂,...,I”_k,k＜q}；

信息熵公式如下：

其中，A表示在每个时隙中分组报文间隔所有的可能情况，P(z_i)表示与某个时间间隔Z_i可能出现的概率；

进而，步骤3)为将每个时隙I”划分为h等分的时间片，得到I”＝{S₁,S₂,S₃...,S_h}；

将原始的一组时隙映射为一个新的时间片矩阵：

数据率在时间片内作为网络数据流的特征之一，则提取数据率，作为流速特征，并计算每个时间片的数据率，得到流速特征矩阵：

进一步地，对步骤a)得到的新的时隙集合δ”＝{I”_1',I”₂,...,I”_k,k＜q}提取数据包时间间隔(PID)特征：选取时隙I”中对应数据包大小极值点的数据包集合，假设有d个数据包处于极值，则定义集合为{pt₁,pt₂,…,pt_d}；其中，pt表示每个数据包对应的时间戳；然后计算每个时隙I”的平均数据包时间间隔

与所有时隙I的平均数据包时间间隔Δt，分别为：

然后，与步骤4)同理，对数据包时间间隔特征进行感知哈希编码，将

与Δt的特征编码的哈希摘要合并成一个哈希序列，作为网络数据流的最终标识依据，具体为：

步骤5)，基于上述方法，对网络发送端和网络接收端获取的网络数据流进行哈希相似度匹配：

假设在网络接收端捕获到了可疑数据包p_i，找到对应的网络数据流f_i，对f_i提取流速特征，生成感知哈希序列h_i；

同时对x台网络发送端主机T₁,T₂,…,T_x进行相同的操作；

如果主机T_i捕获到的数据包能重组成y条网络数据流，则能产生y个感知哈希序列；

将网络接收端主机需要溯源的网络数据流f_i生成的感知哈希序列h_i与网络发送端产生的每一个哈希摘要进行相似度计算，相似度最高的源头则认为是可疑数据包p_i的来源。

实施例

步骤1：在Windows10操作系统下，利用Pycharm和Wireshark软件搭建基于感知哈希的网络数据流溯源平台。

在本实施例中，主要有20个不同的网络发送端，一个网络接收端。每个网络发送端随机发送数据包到接收端。发送端和接收端都通过Wireshark软件捕获网络数据流，根据网络数据流的五个基本属性(源IP、目的IP、源端口、目的端口、协议类型)，划分成不等的网络数据流。

步骤2：对步骤1划分出的每个网络数据流都进行压缩处理，首先对每条网络数据流进行截取，假设截取长度的1分钟的网络包，时隙采用1000ms，则每条网络数据流都可以表示为长度的60的时隙集合δ＝{I₁,I₂,...,I_n}。

步骤3：对步骤2得到的数据进一步压缩，本实施例中使用信息熵的方法。每条网络数据流的特性不一样，所以划分的熵值也不相同。先计算出每个时隙内的熵值。本实施例中，挑选出32个时隙，即，在步骤2的基础上，选取出熵值较小的32个时隙。

步骤4：对步骤3挑选出的32个时隙的流速特征进行感知哈希编码。每条网络数据流的流速特征收到多种因数的影响，但其大体形状轮廓不会发生改变。本实施例中，挑选流速中的极值点，来代表其流速轮廓。

步骤5：利用平均值哈希算法对步骤5处理出的网络数据流流速特征进行哈希编码。

步骤6：对步骤3压缩的网络数据流数据进行IPD特征提取，数据在传输的过程中可能会发生丢包，但是数据包传输的大小变化存在连续性。所以数据包大小变化的时间规律也能标识出一条网络数据流。本实施例中以数据包大小变化的极值作为依据，选出该变化时刻，数量可以不固定，依据网络数据流本身特征选取。记为集合{pt₁,pt₂,...,pt_m}。同样，利用平均值哈希算法对该集合进行编码。

步骤7：重复步骤1-6，对网络发送端和网络接收端的所有网络数据流都进行相同处理。然后利用汉明距离对处理得到的每一条数据都进行相似度计算，判断出网络数据流的来源。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (5)

1.一种基于感知哈希的网络数据流溯源方法，其特征在于，步骤如下：

1)在靠近网络发送端和网络接收端的路由器上分别收集网络数据流，将网络数据流表示为由随机时间点t₀开始的n个时隙组成的初始时隙集合δ＝{I₁,I₂,...,I_n}；其中，I表示数据包之间的时隙；

2)利用流速率压缩数据：对于初始时隙集合δ＝{I₁,I₂,...,I_n}中的每个时隙I，计算每个时隙I中的数据率，通过数据率找出速峰值对应的q个时隙I'，然后依次找到数据率对应的流速变化差异大于预设速率阈值的p条流速峰值时隙，构成压缩时隙集合δ'＝{I′₁,I'₂,...,I'_q,q＜p}；

3)对网络数据流的数据率进行编码：

将每个时隙I'划分为h等分的时间片，得到I'＝{S₁,S₂,S₃...,S_h}；

将原始的一组时隙映射为一个新的时间片矩阵：

数据率在时间片内作为网络数据流的特征之一，则提取数据率，作为流速特征，并计算每个时间片的数据率，得到流速特征矩阵：

4)对流速特征进行感知哈希编码：

流速特征矩阵通过平均感知哈希算法生成感知哈希序列

其中，R_i,j为流速特征矩阵中第i行第j列的数据率，

为第j列的平均数据率；

5)对网络发送端和网络接收端获取的网络数据流进行哈希相似度匹配：

假设在网络接收端捕获到了可疑数据包p_i，找到对应的网络数据流f_i，对f_i提取流速特征，生成感知哈希序列h_i；

同时对x台网络发送端主机T₁,T₂,…,T_x进行相同的操作；

如果主机T_i捕获到的数据包能重组成y条网络数据流，则能产生y个感知哈希序列；

将网络接收端主机需要溯源的网络数据流f_i生成的感知哈希序列h_i与网络发送端产生的每一个哈希摘要进行相似度计算，相似度最高的源头则认为是可疑数据包p_i的来源。

2.根据权利要求1所述的基于感知哈希的网络数据流溯源方法，其特征在于，步骤1)中，每个时隙长度相等，时隙内数据包数量不等。

3.根据权利要求1所述的基于感知哈希的网络数据流溯源方法，其特征在于，步骤2)中，假设在某个时隙内有m个数据包p₁,p₂,…,p_m，时隙内数据率V_i具体如下：

其中，m＞0，L_i,j表示第i个时隙内第j个数据包的大小，T为每个时隙的长度。

4.根据权利要求1至3任一项所述的基于感知哈希的网络数据流溯源方法，其特征在于，步骤2)与步骤3)之间还包括步骤a)采用信息熵过滤压缩时隙集合δ'＝{I′₁,I'₂,...,I'_q,q＜p}中的冗余数据，选择熵值小于预设熵值阈值的k个时隙组成新的时隙集合δ”＝{I″_1',I″₂,...,I″_k,k＜q}；

信息熵公式如下：

其中，A表示在每个时隙中分组报文间隔所有的可能情况，P(z_i)表示与某个时间间隔Z_i可能出现的概率；

进而，步骤3)为将每个时隙I”划分为h等分的时间片，得到I”＝{S₁,S₂,S₃...,S_h}；

将原始的一组时隙映射为一个新的时间片矩阵：

数据率在时间片内作为网络数据流的特征之一，则提取数据率，作为流速特征，并计算每个时间片的数据率，得到流速特征矩阵：

5.根据权利要求4所述的基于感知哈希的网络数据流溯源方法，其特征在于，进一步地，对步骤a)得到的新的时隙集合δ”＝{I″_1',I″₂,...,I″_k,k＜q}提取数据包时间间隔特征：选取时隙I”中对应数据包大小极值点的数据包集合，假设有d个数据包处于极值，则定义集合为{pt₁,pt₂,…,pt_d}；其中，pt表示每个数据包对应的时间戳；然后计算每个时隙I”的平均数据包时间间隔

与所有时隙I的平均数据包时间间隔Δt，分别为：

然后，与步骤4)同理，对数据包时间间隔特征进行感知哈希编码，将

与Δt的特征编码的哈希摘要合并成一个哈希序列，作为网络数据流的最终标识依据，具体为：

Images