CN102164049B - 加密流量的普适识别方法 - Google Patents

Abstract

本发明涉及一种加密流量的普适识别方法；加密流量的普适识别方法的步骤如下：步骤1.获取网络数据，并提取网络层数据；步骤2.根据源IP地址、目的IP地址、源端口、目的端口和协议汇聚数据流：将一系列具有相同的源地址、相同的目的地址、相同的源端口、相同的目的端口和相同的协议的IP协议报文组成一个数据流；步骤3.从数据流中提取有效数据；步骤4.对有效数据进行频数检测；步骤5.根据频数检测结果，判定数据流是否为加密数据流；本发明可以在不需要具体加密协议细节的条件下，实现加密流量的普适识别。

Description

加密流量的普适识别方法

（一）、技术领域：本发明涉及一种网络流量的识别方法，特别是涉及一种加密流量的普适识别方法。

（二）、背景技术:网络流量识别是对网络骨干链路上的原始数据流进行分析归类的操作，它根据数据流的特征字段、统计特性、行为特性等识别各数据流集合所承载的业务类型或具体业务。网络流量识别对于协议分析、网络规划、服务质量保证、网络管控等，都有着重要意义。

以开放系统互连基本参考的七层模型为参考，网络流量识别通常在第三层网络层或更高层进行，即通过对IP报文头部及载荷内容进行分析，识别报文所承载的业务类型。现有的流量识别方法可大致分为基于端口匹配的识别、基于深入数据包检测的识别和基于深入数据流检测的识别三种。

基于端口匹配的识别方法通过检查IP报文头部的端口字段，并与现有业务端口值匹配来判断其所属业务类型。例如，FTP业务的控制数据固定使用21端口，HTTP业务使用80端口。该方法具有处理开销小，复杂度低，识别速度快等特点。对于端口值固定的业务有较好的识别效果，是早期的P2P、即时通讯类业务的重要识别方法。然而，随着动态端口等技术的应用，该方法的准确率逐渐降低，应用也逐渐减少。

深度包检测（DPI,Deep Packet Inspection）技术通过对整个IP报文的数据进行深入检测来判断其业务类型。除了分析报头信息外，还深入分析报文的载荷部分所包含的业务特征，进行匹配判别。深度包检测技术主要通过特征比对实现业务的判定。基于深入包检测的识别方法具有识别速度快、更新方便、准确率高等优点。但是，对于内容特征不明显或内容加密的业务，识别效果较差。

深入流检测（DFI,Deep Flow Inspection）技术通过分析业务通信过程中所表现出来的流统计特征，如业务流持续时间、平均流速率、字节长度分布等，实现对流量识别，属于一种流层面的识别方法。其中，数据流的概念是一次呼叫或一次连接中的数据包集合。对数据流的定义普遍采用Claffy建议的五元组规范（源IP、目的IP、源端口、目的端口和协议以及超时时间戳）。基于深入流检测的识别方法的优点为可扩展性好、宽容度高，对某些类型的业务如P2P业务等具有很好的识别效果。但是，它存在准确率较低、实时识别困难等不足。

加密流量识别问题属于流量识别的子问题，但传统的流量识别方法难以直接应用于加密流量识别中。随机端口、自定义端口等技术的应用极大地影响了基于端口匹配识别的成功率。加密流量的密文数据流不存在固定的业务特征字段，难以通过内容特征匹配判别流量是否加密，基于深入包检测的识别方法无法实施。业务数据经加密操作后，通常不会显著改变数据包长度、到达时间等流量属性，使得深入流检测技术也难以判别流量是否加密。

加密类业务的普遍使用始于近两年，主要的研究成果多针对于特定的业务，如Baset等人给出了针对Skype加密数据详细的分析和识别方案。针对SSL协议，Bernaille等人利用SSL握手阶段的数据包特征来完成协议判定，并利用TCP负载中的一些特殊字段来识别其承载的业务类型。Alshammari等人从Dalhousie数据集中定义和提取了13个特征和14个属性，结合机器自学习的方法，通过数据流初始的若干个报文特征和属性来识别业务类型，实现了对SSH业务的判定。

这些已有研究成果或者利用加密协议在建立连接阶段的明文特征，通过特征码匹配来完成识别，或者利用加密协议建立连接阶段的报文指纹特征，如特定的报文长度、到达时间等，通过机器自学习方法来完成识别。这些识别方法均针对某种特定的加密类协议，并未给出的一种通用的加密业务数据识别方案。

Riyad Alshammari提出了一种SSH加密流量的判定方法。SSH传输的建立有一个握手过程，这个过程是不加密的。该方案利用不加密的握手过程特征来识别SSH加密流量。该方案从Dalhousie数据集中定义和提取了若干属性，用于SSH加密流量的识别。这些属性包括：

客户端：

1）前向报文最小长度；

2）前向报文长度标准差；

服务器端：

3）反向报文最大长度；

4）反向报文最大间隔时间；

5）反向报文平均长度；

支持属性：

6）前向数据总量；

7）前向最大报文长度；

8）协议；

9）前向报文间隔标准差；

10）前向报文总数；

11）前向报文间隔最大时间；

12）前向报文长度标准差；

13）反向数据总量；

14）前向报文平均长度；

该方案使用C4.5、Naive Bayesian和SVM等机器自学习技术，提取SSH的特征，并进行模糊判别。

首先使用一段训练序列进行SSH特征提取，训练序列是若干SSH和非SSH连接如HTTP、FTP、DNS等协议数据流，将其输入至识别器中，识别器使用机器自学习技术自动获取SSH区别于其它协议数据的特征。这是特征建立阶段。接下来进行判别。将待分类的数据输入至识别器中，识别器根据之前建立的特征，应用C4.5、Naive Bayesian和SVM等机器自学习方法，判别输入数据是否为SSH加密数据，并输出结果。

本质上，该方案选取了包括报文最小长度、报文最大间隔时间等特征，利用机器自学习的方法实现对SSH加密流量的判别。

Carlos Bacquet提出了一种聚类方法，将多目标聚类方法应用到通过特征选择和簇计数优化进行基于流特征的业务分类上，将数据聚类为加密数据和非加密数据。

首先，使用训练数据进行特征提取。从报文长度、报文到达间隔的平均值、方差等统计值中提取最佳特征属性，并根据这些属性建立加密流量的特征库。接下来应用K-means机器自学习方法进行判别，将待分类的数据输入至识别器中，识别器根据之前建立的特征，应用K-means机器自学习方法，将输入数据聚类为加密数据和非加密数据，并输出结果。

上述现有技术的缺点为：

1）Riyad Alshammari提出的方案，依赖于加密连接的非加密握手阶段数据，其应用较受限；

2）Carlos Bacquet提出的聚类方法，针对不同的加密协议，聚类效果难以协调一致，进而影响识别准确率。此外该方法需要获取所有连接数据的统计值之后才能实施判别，难以实现在线判别。

3）以上两个方案均依赖于加密流量的流量特征，依赖于训练序列，造成其仅适用于已知加密协议流量的识别，而对未知加密流量，难以实施有效判别。

（三）、发明内容：

本发明要解决的技术问题是：克服现有技术的缺陷，提供一种加密流量的普适识别方法，该方法可以在不需要具体加密协议细节的条件下，实现加密流量的普适识别。

本发明的技术方案：一种加密流量的普适识别方法，识别步骤如下：

步骤1.获取网络数据，并提取网络层数据；

提取网络层数据的方法为：根据网络数据来源，即传输链路的类型，判断链路层协议；根据链路层协议处理网络数据，丢弃与链路层以上协议无关的内容，提取出网络层数据；

提取到网络层数据后再对网络层数据进行下面的处理：如果网络层数据为非IP协议报文（如PPP链路控制数据等），则丢弃；如果网络层数据为IP协议报文，则去除IP协议报文头部，然后将该IP协议报文保留下来用作后续步骤处理；

步骤2.根据源IP地址、目的IP地址、源端口、目的端口和协议汇聚数据流：将一系列具有相同的源地址、相同的目的地址、相同的源端口、相同的目的端口和相同的协议的IP协议报文组成一个数据流；

步骤3从数据流中提取有效数据：

步骤3.1如果IP协议报文的载荷是TCP协议报文或UDP协议报文，则去除TCP协议报文或UDP协议报文的头部，剩余数据即为有效数据；

步骤3.2如果IP协议报文的载荷不是TCP协议报文或UDP协议报文，则直接将IP协议报文的载荷作为有效数据；

步骤4.对有效数据进行频数检测，频数检测步骤如下：

步骤4.1将有效数据转换为二进制序列，即0、1序列，记为s={X₁,X₂,…X_n}，其中，s为二进制序列，X_n为s的第n位，X_n的值为0或1；

步骤4.2将s中为0的位的值均替换成-1，然后计算s的所有位的值之和，记作S_n，S_n=Y₁+Y₂+…+Y_n，其中，Y_n=2X_n-1；

步骤4.3计算s_obs，使用如下公式：

$s_{\mathrm{obs}}=\frac{\left|S_n\right|}{\sqrt{n}};$

步骤4.4计算p，使用如下公式：

$p=\frac{2}{\sqrt{\mathrm{\π}}}{\∫}_{\frac{s_{\mathrm{obs}}}{\sqrt{2}}}^{\∞}{e}^{{-u}^2}\mathrm{du},$

其中，p表示数据流为加密数据流的概率值，p的范围为：0≤p≤1，p用于加密数据流的判定；

步骤5.判定数据流是否为加密数据流：设定一个判定阈值β，如果p>β，则判定该数据流为加密数据流；如果p≤β，则判定该数据流非加密数据流。

步骤1中获取网络数据的方法为：通过接入骨干链路、使用交换机的监控端口或者在光纤上加入分光器这些方式获取网络上传输的数据。

在步骤2中：数据流的方向由源IP地址指向目的IP地址，如果两个数据流具有相同的源端口、相同的目的端口和相同的协议，但它们的方向互为相反，则它们被称作同一个数据流；数据流含有TCP数据流和UDP数据流，TCP数据流的终止条件为连接解除或连接超时，以先发生的终止条件为准；UDP数据流的终止条件为连接超时，该连接超时的界限依照网络条件而定，连接超时的界限与IETF的实时流量流测量工作组架构相对应；数据流在每个方向上至少有一个报文，每个报文至少有1字节的载荷。

连接超时的界限为600秒。

步骤1中与链路层以上协议无关的内容含有链路层协议头部和同步帧。

β的取值为0.99。

步骤5中存在两种错误判定：非加密数据流被判定为加密数据流，该错误称为A类错误；加密数据流被判定为非加密数据流，该错误称为B类错误；如果要减少A类错误，则可将β的值向增大的方向调节；如果要减少B类错误，则可将β的值向减小的方向调节。

当β的取值为0.99时，这意味着发生A类错误的概率为0.01。如果要减少A类错误的概率，可增加β的取值，如取0.995；如果要减少B类错误，则可降低β的取值，如取0.8。

本发明的有益效果：

1、本发明根据将加密流量转换为二进制序列后，普遍具有0、1数量近似相等的独特特性（这时因为优秀成熟的加密算法，当密钥为伪随机序列时，输出的密文为近似随机序列，这是加密算法为了抵御暴力破解和密文分析的重要措施，而随机二进制序列的一个基本性质就是0、1数量相等），引入频数检测方法，即通过二进制序列中0、1的数量差值和序列长度计算出一个归一化的值，直观、方便地反映序列的随机性属性，再用该归一化的值与预先设定的阈值比较，从而识别出加密流量。本发明具有普遍适用、直观、方便、便于实现的优点。使用本发明可有效提取未知加密协议或私有加密协议的流量，并进一步实施网络管理。

（四）、附图说明：

图1为加密流量的普适识别方法的流程图；

图2为频数检测的流程图。

（五）、具体实施方式：

参见图1～图2，加密流量的普适识别方法的识别步骤如下：

步骤1.获取网络数据，并提取网络层数据；

提取网络层数据的方法为：根据网络数据来源，即传输链路的类型，判断链路层协议；根据链路层协议处理网络数据，丢弃与链路层以上协议无关的内容，提取出网络层数据；

提取到网络层数据后再对网络层数据进行下面的处理：如果网络层数据为非IP协议报文（如PPP链路控制数据等），则丢弃；如果网络层数据为IP协议报文，则去除IP协议报文头部，然后将该IP协议报文保留下来用作后续步骤处理；

步骤2.根据源IP地址、目的IP地址、源端口、目的端口和协议汇聚数据流：将一系列具有相同的源地址、相同的目的地址、相同的源端口、相同的目的端口和相同的协议的IP协议报文组成一个数据流；

步骤3从数据流中提取有效数据：

步骤3.1如果IP协议报文的载荷是TCP协议报文或UDP协议报文，则去除TCP协议报文或UDP协议报文的头部，剩余数据即为有效数据；

步骤3.2如果IP协议报文的载荷不是TCP协议报文或UDP协议报文，则直接将IP协议报文的载荷作为有效数据；

步骤4.对有效数据进行频数检测，频数检测步骤如下：

步骤4.1将有效数据转换为二进制序列，即0、1序列，记为s={X₁,X₂,…X_n}，其中，s为二进制序列，X_n为s的第n位，X_n的值为0或1；

步骤4.2将s中为0的位的值均替换成-1，然后计算s的所有位的值之和，记作S_n，S_n=Y₁+Y₂+…+Y_n，其中，Y_n=2X_n-1；

步骤4.3计算s_obs，使用如下公式：

$s_{\mathrm{obs}}=\frac{\left|S_n\right|}{\sqrt{n}};$

步骤4.4计算p，使用如下公式：

$p=\frac{2}{\sqrt{\mathrm{\π}}}{\∫}_{\frac{s_{\mathrm{obs}}}{\sqrt{2}}}^{\∞}{e}^{{-u}^2}\mathrm{du},$

其中，p表示数据流为加密数据流的概率值，p的范围为：0≤p≤1，p用于加密数据流的判定；

步骤5.判定数据流是否为加密数据流：设定一个判定阈值β，如果p>β，则判定该数据流为加密数据流；如果p≤β，则判定该数据流非加密数据流。

步骤1中获取网络数据的方法为：通过接入骨干链路、使用交换机的监控端口或者在光纤上加入分光器这些方式获取网络上传输的数据。

在步骤2中：数据流的方向由源IP地址指向目的IP地址，如果两个数据流具有相同的源端口、相同的目的端口和相同的协议，但它们的方向互为相反，则它们被称作同一个数据流；数据流含有TCP数据流和UDP数据流，TCP数据流的终止条件为连接解除或连接超时，以先发生的终止条件为准；UDP数据流的终止条件为连接超时，该连接超时的界限依照网络条件而定，连接超时的界限与IETF的实时流量流测量工作组架构相对应；数据流在每个方向上至少有一个报文，每个报文至少有1字节的载荷。

连接超时的界限为600秒。

步骤1中与链路层以上协议无关的内容含有链路层协议头部和同步帧。

β的取值为0.99。

步骤5中存在两种错误判定：非加密数据流被判定为加密数据流，该错误称为A类错误；加密数据流被判定为非加密数据流，该错误称为B类错误；如果要减少A类错误，则可将β的值向增大的方向调节；如果要减少B类错误，则可将β的值向减小的方向调节。

当β的取值为0.99时，这意味着发生A类错误的概率为0.01。如果要减少A类错误的概率，可增加β的取值，如取0.995；如果要减少B类错误，则可降低β的取值，如取0.8。

Claims (7)

1.一种加密流量的普适识别方法，其特征是：识别步骤如下：

步骤1.获取网络数据，并提取网络层数据；

提取网络层数据的方法为：根据网络数据来源，即传输链路的类型，判断链路层协议；根据链路层协议处理网络数据，丢弃与链路层以上协议无关的内容，提取出网络层数据；

提取到网络层数据后再对网络层数据进行下面的处理：如果网络层数据为非IP协议报文，则丢弃；如果网络层数据为IP协议报文，则去除IP协议报文头部，然后将该IP协议报文保留下来用作后续步骤处理；

步骤2.根据源IP地址、目的IP地址、源端口、目的端口和协议汇聚数据流：将一系列具有相同的源地址、相同的目的地址、相同的源端口、相同的目的端口和相同的协议的IP协议报文组成一个数据流；

步骤3从数据流中提取有效数据：

步骤3.1如果IP协议报文的载荷是TCP协议报文或UDP协议报文，则去除TCP协议报文或UDP协议报文的头部，剩余数据即为有效数据；

步骤3.2如果IP协议报文的载荷不是TCP协议报文或UDP协议报文，则直接将IP协议报文的载荷作为有效数据；

步骤4.对有效数据进行频数检测，频数检测步骤如下：

步骤4.1将有效数据转换为二进制序列，即0、1序列，记为s={X₁,X₂,…X_n}，其中，s为二进制序列，X_n为s的第n位，X_n的值为0或1；

步骤4.2将s中为0的位的值均替换成-1，然后计算s的所有位的值之和，记作S_n，S_n=Y₁+Y₂+…+Y_n，其中，Y_n=2X_n-1；

步骤4.3计算s_obs，使用如下公式：

$s_{\mathrm{obs}}=\frac{\left|S_n\right|}{\sqrt{n}};$

步骤4.4计算p，使用如下公式：

$p=\frac{2}{\sqrt{\mathrm{\π}}}{\∫}_{\frac{s_{\mathrm{obs}}}{\sqrt{2}}}^{\∞}{e^{-u}}^2\mathrm{du},$

其中，p表示数据流为加密数据流的概率值，p的范围为：0≤p≤1，p用于加密数据流的判定；

步骤5.判定数据流是否为加密数据流：设定一个判定阈值β，如果p>β，则判定该数据流为加密数据流；如果p≤β，则判定该数据流非加密数据流。

2.根据权利要求1所述的加密流量的普适识别方法，其特征是：所述步骤1中获取网络数据的方法为：通过接入骨干链路、使用交换机的监控端口或者在光纤上加入分光器这些方式获取网络上传输的数据。

3.根据权利要求1所述的加密流量的普适识别方法，其特征是：在所述步骤2中：所述数据流的方向由源IP地址指向目的IP地址，如果两个数据流具有相同的源端口、相同的目的端口和相同的协议，但它们的方向互为相反，则它们被称作同一个数据流；数据流含有TCP数据流和UDP数据流，TCP数据流的终止条件为连接解除或连接超时，以先发生的终止条件为准；UDP数据流的终止条件为连接超时，该连接超时的界限依照网络条件而定，连接超时的界限与IETF的实时流量流测量工作组架构相对应；数据流在每个方向上至少有一个报文，每个报文至少有1字节的载荷。

4.根据权利要求3所述的加密流量的普适识别方法，其特征是：所述连接超时的界限为600秒。

5.根据权利要求1所述的加密流量的普适识别方法，其特征是：所述步骤1中与链路层以上协议无关的内容含有链路层协议头部和同步帧。

6.根据权利要求1所述的加密流量的普适识别方法，其特征是：所述步骤5中：β的取值为0.99。

7.根据权利要求1所述的加密流量的普适识别方法，其特征是：所述步骤5中存在两种错误判定：非加密数据流被判定为加密数据流，该错误称为A类错误；加密数据流被判定为非加密数据流，该错误称为B类错误；如果要减少A类错误，则将β的值向增大的方向调节；如果要减少B类错误，则将β的值向减小的方向调节。

Images