CN103546444A

CN103546444A - 层次化加密代理通道检测方法

Info

Publication number: CN103546444A
Application number: CN201210246866.1A
Authority: CN
Inventors: 薛一波; 王大伟
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2012-07-16
Filing date: 2012-07-16
Publication date: 2014-01-29
Anticipated expiration: 2032-07-16
Also published as: CN103546444B

Abstract

本发明提供了一种层次化加密代理通道检测方法，包括步骤：S1.使用训练集训练检测所需的决策树和人工免疫模型；S2.从背景流量中识别代理通道网络流，之后利用训练得到的决策树模型识别代理通道中的隐藏协议，最后利用人工免疫模型检测非法内容。本发明的方法利用一个层次化的处理结构，不仅能够有效应对大流量带来的挑战，还能够解决加密代理通道协议的加密性和隐秘性带来的问题，可以为高速网络中高性能流量分类系统、内容监控系统的设计和实现提供技术支持。

Description

层次化加密代理通道检测方法

技术领域

本发明属于网络技术中协议识别技术领域，尤其涉及一种层次化加密代理通道检测方法。

背景技术

随着网络技术的飞速发展，网络承载的业务越来越丰富，各类非法业务也随之而生。不法分子可以在网上肆意传播盗版、黄色、反动等不良信息。协议识别技术为有效识别非法业务提供了一种可行的方案，成为学术界、网络工程界、国家相关部门普遍关心的热点问题。然而，随着加密协议的不断发展，特别是加密代理通道协议的出现，使得非法业务传播手段越来越灵活。

加密代理通道协议以加密协议作为外部中介，利用加密协议所建立的加密通道传输特定协议封装后的不良信息。例如，不法分子可以利用SSH、VPN等代理通道协议封装包含非法内容的HTTP协议进行传输。加密代理通道协议除了具有和加密协议相同的特性外，还具有极强的隐秘性。加密代理通道协议所具有的这两个特性导致传统的基于强特征的加密协议识别技术和基于统计特征的加密协议识别技术严重失效。

基于强特征的加密协议识别技术首先利用逆向工程将加密协议或软件分解或者解析，解明它们的结构、使用方法及目的、组成部件与要素技术的原理，并从中找出能够识别加密协议的强特征。之后，利用高效的模式匹配及正则表达式匹配算法，在背景流量中寻找强特征，以识别加密协议。然而，随着网络环境的日益复杂，越来越多的加密代理通道协议采用加密协议封装非法内容。基于强特征的加密协议识别技术虽然能够从背景流量中识别出代理通道流量，却无法识别代理通道中的隐藏流量，更无法检测其传输的内容是否合法。

不同于基于强特征的加密协议识别技术，基于统计特征的加密协议识别技术着眼于网络流。传统上把网络流定义为具有相同五元组（<源地址，目的地址，源端口，目的端口，协议>）的数据包的集合。基于统计特征的加密协议识别技术的假设前提是不同加密协议会有其特有的网络流统计特性，并以此来识别不同的加密协议。由于该技术引入了大量的统计信息作为基本参考因素，所以它不可避免地将机器学习的方法结合到了识别中，期望取得更好的协议识别性能。机器学习方法使计算机能够模拟人类的学习活动，识别和获取已有知识，建立和不断完善学习模型，并且能够根据已有知识对新的信息进行处理。机器学习方法于2004年被引入到协议识别技术中，根据流量具有的统计特性对协议进行识别。例如，网络流持续时间的分布特性、流空闲时间、包间隔时间、包长度等信息，对于加密协议识别来说，是特有的信息，它们都可以作为判别式的特征被机器学习模型利用进行协议识别。虽然基于统计特征的加密协议识别技术在一些加密协议的识别中取得了较好的效果，但是仍无法应对加密代理协议带来的挑战。加密代理工具首先建立一个加密代理通道，然后使流量通过代理通道进行传输。代理通道是用户和代理服务器之间的一个加密网络流，除了具有私有加密协议的特性之外，还具有极强的隐秘性。一方面，代理通道将承载非法业务与合法业务协议产生的流量混合在一起，增加了协议识别的难度；另一方面，代理通道利用一个加密网络流对多个网络流进行封装，不仅隐藏了载荷关键字，还掩盖了流量的统计特征。因此，对检测加密代理流量中隐藏协议以及传输内容是否合法的问题，基于统计特征的加密协议识别技术也已经严重失效。

有效识别加密代理通道协议，进而区分非法业务与合法业务，不仅是运营商提供差异化服务和提升网络服务经济效益的迫切需求，也是网络管理部门进行特定网络监控的重要先决条件。然而，代理通道协议所具有加密性和隐秘性使得目前的协议识别技术无法识别隐藏在代理通道中的真实协议，更加无法判断代理通道中是否传输非法内容。

发明内容

（一）要解决的技术问题

本发明所要解决的技术问题是：如何提供一种加密代理通道检测方法，能够从背景流量中识别出加密代理通道流量，进而检测其中的隐藏协议，最终判断其传输的内容是否合法。

（二）技术方案

为了解决上述问题，本发明提供了一种层次化加密代理通道检测方法，包括步骤：S1.使用训练集训练检测所需的决策树和人工免疫模型；S2.从背景流量中识别代理通道网络流，之后利用训练得到的决策树模型识别代理通道中的隐藏协议，最后利用人工免疫模型检测非法内容。

优选地，所述训练集包括包含非法内容的代理通道流量集和包含合法内容的代理通道流量集。

优选地，步骤S1包括：S1.1从训练集中读取网络数据包，查找在网络流表中对应的网络流，并更新网络流的基本信息；S1.2判断该网络流是否已建立一个特征提取数据结构，若否，则为该网络流建立一个特征提取数据结构；S1.3根据当前网络流的持续时间更新特征提取数据结构，并判断该代理通道网络流的持续时间是否超过i×j秒，若否，则返回执行步骤S1.1，若是，则判断距离上次特征提取是否超过(2×i×j)/3秒，若否，则返回执行步骤S1.1，若是，则执行步骤1.4；S1.4按顺序读取特征提取数据结构，并从中提取信息传输突发段；S1.5将训练集输入到决策树训练程序，获得一个决策树模型；S1.6将训练集输入到人工免疫训练程序，获得一个人工免疫模型。

其中，在步骤1.4中，在特征提取数据结构中连续2个以上单元，每个单元数据包数量超过a个且字节数超过b字节的段，被称为信息传输突发段。

优选地，步骤S1.4包括：S1.41判断特征提取数据结构中信息突发段的个数是否大于0，若是，则返回执行步骤S1.1，若否，则执行步骤S1.42；S1.42对特征提取数据结构中的每一个信息突发段，提取统计特征vi，特征提取数据结构中所有信息突发段的统计特征构成了一个特征集合V={v1,v2，...,vn}；S1.43存储V，返回执行步骤S1.1，直至读取训练集完毕。

优选地，步骤S2包括：S2.1查找捕获到的新进网络包在网络流表中对应的网络流，并更新网络流的基本信息；S2.2判断该网络流的检测状态，若是代理通道网络流，则执行步骤S2.3，若是非代理通道网络流或超时代理通道网络流，则执行S2.1，若仍无法判断，利用基于强特征的协议识别技术判断该网络流是否为代理通道网络流；S2.3判断代理通道网络流持续时间是否超过s1秒，若是，则标记流表项中标记该网络流的检测状态为超时代理通道网络流，并返回执行S2.1，若否，则判断距离上次检测是否超过s2秒，若是，则利用基于机器学习的方法识别该网络流中的隐藏协议，若否，则返回执行S2.1；S2.4利用人工免疫模型判断V中被识别为可能传输非法内容协议的信息突发段是否传输非法内容。

优选地，步骤S2.1包括：S2.11更新网络流持续时间；S2.12更新网络流数据包个数；S2.13更新网络流有载荷的数据包个数。

优选地，步骤S2.2包括：S2.21判断捕获到的数据包是否有载荷，若有，则执行步骤S2.2，若无，则执行步骤S2.1；S2.22利用精确匹配和正则表达式匹配方法判断该网络流是否为代理通道网络流，若是，则在流表项中标记该网络流为代理通道网络流，并执行步骤S2.3；S2.23判断该网络流有载荷数据包的个数，若超过n个，则标记该网络流不是代理通道网络流，并返回执行步骤S2.1，若未超过n个，则返回执行步骤S2.1。

优选地，步骤S2.3包括：S2.31判断待检测的代理通道网络流是否已建立一个特征提取数据结构，若否，则为该网络流建立一个特征提取数据结构；S2.32根据当前网络流的持续时间更新特征提取数据结构，并判断该代理通道网络流的持续时间是否超过i×j秒，若否，则返回执行S2.1，若是，则执行步骤S2.33；S2.33按顺序读取特征提取数据结构，并从中提取信息传输突发段；S2.34判断特征提取数据结构中信息突发段的个数是否大于0，若是，则返回执行步骤S2.1，若否，则执行步骤S2.35；S2.35对特征提取数据结构中的每一个信息突发段，提取统计特征vi，特征提取数据结构中所有信息突发段的统计特征构成了一个特征集合V={v1,v2，...,vn}；S2.36将统计特征集合V输入到决策树模型中，识别每一个信息突发段所使用的协议，如果V中存在某个或某些信息突发段，其识别出的协议是可能传输非法内容的协议，则执行步骤S2.4，若否，则返回执行步骤S2.1。

优选地，步骤S2.4包括：S2.41使用min-max归一化方法将信息突发段的统计特征归一化到单位超立方体中;S2.42将归一化后的信息突发段统计特征输入到人工免疫模型中，计算其与每一个检测器之间的欧氏距离，最终计算得到最小欧氏距离ρ；S2.43若ρ小于一个阈值ρt，则判定该加密代理通道正在传输非法内容。

优选地，所述特征提取数据结构是一个长度为i的滑动窗口，其中每个单元记录了j秒内该代理通道网络流传输的数据包个数和字节数。

（三）有益效果

本发明的方法利用一个层次化的处理结构，首先从背景流量中识别代理通道网络流，然后对代理通道网络流进行进一步检测，分析其中的隐藏协议，检测其是否传输非法内容。这种层次化的处理结构不仅能够有效应对大流量带来的挑战，还能够解决加密代理通道协议的加密性和隐秘性带来的问题，可以为高速网络中高性能流量分类系统、内容监控系统的设计和实现提供技术支持。

附图说明

下面参照附图并结合实例来进一步描述本发明。其中：

图1为根据本发明实施例的层次化加密代理通道检测方法总流程图。

图2为根据本发明实施例的层次化加密代理通道检测方法的具体流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

针对目前的协议识别技术无法识别隐藏在代理通道中的真实协议，更加无法判断代理通道中是否传输非法内容的问题，本发明提出了一种层次化加密代理通道检测方法。该方法采用了一种层次化的处理结构，首先利用基于强特征的协议识别技术从背景流量中识别代理通道网络流；之后采用机器学习方法识别代理通道网络流中隐藏的协议；最后对于识别出的可能包含非法内容的隐藏协议，利用人工免疫方法检测其是否传输非法内容。该方法不仅能够有效应对大流量带来的挑战，还能够解决加密代理通道协议的加密性和隐秘性带来的问题，提升高速网络中流量分类系统和内容检测系统的性能。

如图1和图2所示，根据本发明提供的层次化加密代理通道检测方法，包括如下步骤：

S1.训练检测所需的决策树和人工免疫模型；

其中，步骤S1进一步包括：

S1.1从训练集中读取网络数据包，查找在网络流表中对应的网络流，并更新网络流的基本信息；

其中，训练集包括一个包含使用HTTP协议传输非法网页内容的SSH代理通道流量集和一个包含远程登录、SCP的SSH代理通道流量集；

其中，步骤S1.1前还包括建立用于存储网络流信息的所述网络流表的步骤。

S1.2判断该SSH网络流是否已建立一个特征提取数据结构，若否，则为该SSH网络流建立一个特征提取数据结构；

其中，在步骤S1.2中，特征提取数据结构是一个长度为i的滑动窗口，其中每个单元记录了j秒内该代理通道网络流传输的数据包个数和字节数；

S1.3根据当前SSH网络流的持续时间更新特征提取数据结构，并判断该SSH网络流的持续时间是否超过30秒，若否，则返回执行步骤S1.1，若是，则判断距离上次特征提取是否超过20秒，若否，则返回执行步骤S1.1，若是，则执行步骤1.4；

S1.4按顺序读取特征提取数据结构，并从中提取信息传输突发段；

其中，在步骤1.4中，在特征提取数据结构中连续2个以上单元，每个单元数据包数量超过a个且字节数超过b字节的段，被称为信息传输突发段；

其中，步骤1.4包括：

S1.41判断特征提取数据结构中信息突发段的个数是否大于0，若是，则返回执行步骤S1.1，若否，则执行步骤S1.42；

S1.42对特征提取数据结构中的每一个信息突发段，提取统计特征向量vi，包括：during,num_packets,num_bytes,average_bytes,amp_bytes,amp_time,class；

如表1所示，为上述统计特征向量的具体含义，特征提取数据结构中所有信息突发段的统计特征构成了一个特征集合V={v1,v2，...,vn}；

表1

S1.43将V存储至硬盘，返回执行步骤S1.1，直至读取训练集完毕；

S1.5将训练集输入到决策树训练程序，获得一个决策树模型；

S1.6将训练集输入到人工免疫训练程序，获得一个人工免疫模型；

S2.从背景流量中识别SSH代理通道网络流，并利用训练得到的决策树模型和人工免疫模型识别SSH代理通道中的隐藏协议，并检测非法内容；

其中，步骤S2进一步包括：

S2.1查找捕获到的新进网络包在网络流表中对应的网络流，并更新网络流的基本信息；

其中，步骤S2.1前还包括建立用于存储网络流信息的所述网络流表的步骤；

其中，步骤S2.1进一步包括：

S2.11更新网络流持续时间；

S2.12更新网络流数据包个数；

S2.13更新网络流有载荷的数据包个数；

S2.2判断该网络流的检测状态，若是SSH代理通道网络流，则执行步骤S2.3，若是非SSH代理通道网络流或超时SSH代理通道网络流，则执行S2.1，若仍无法判断，利用基于强特征的协议识别技术判断该网络流是否为SSH代理通道网络流；

其中，步骤S2.2进一步包括：

S2.21判断捕获到的数据包是否有载荷，若有，则执行步骤S2.2，若无，则执行步骤S2.1；

S2.22利用精确匹配和正则表达式匹配方法判断该网络流是否为SSH代理通道网络流，若是，则在流表项中标记该网络流为SSH代理通道网络流，并执行步骤S2.3；

S2.23判断该网络流有载荷数据包的个数，若超过5个，则标记该网络流是非SSH代理通道网络流，并返回执行步骤S2.1，若未超过5个，则返回执行步骤S2.1；

S2.3.判断SSH代理通道网络流持续时间是否超过60秒，若是，则标记流表项中标记该SSH网络流的检测状态为超时SSH代理通道网络流，并返回执行S2.1，若否，则判断距离上次检测是否超过20秒，若是，则利用基于机器学习的方法识别该SSH网络流中的隐藏协议，若否，则返回执行S2.1；

其中，步骤S2.3进一步包括：

S2.31判断待检测的SSH代理通道网络流是否已建立一个特征提取数据结构，若否，则为该网络流建立一个特征提取数据结构；

其中，在步骤S2.31中，特征提取数据结构是一个长度为i的滑动窗口，其中每个单元记录了j秒内该代理通道网络流传输的数据包个数和字节数；

S2.32根据当前网络流的持续时间更新特征提取数据结构，并判断该代理通道网络流的持续时间是否超过30秒，若否，则返回执行S2.1，若是，则执行步骤S2.33；

S2.33按顺序读取特征提取数据结构，并从中提取信息传输突发段；

其中，在步骤S2.33中，在特征提取数据结构中连续2个以上单元，每个单元数据包数量超过a个且字节数超过b字节的段，被称为信息传输突发段；

S2.34判断特征提取数据结构中信息突发段的个数是否大于0，若是，则返回执行步骤S2.1，若否，则执行步骤S2.35；

S2.35对特征提取数据结构中的每一个信息突发段，提取统计特征vi，统计特征如表1所示。特征提取数据结构中所有信息突发段的统计特征构成了一个特征集合V={v1,v2，...,vn}；

S2.36将统计特征集合V输入到决策树模型中，识别每一个信息突发段所使用的协议，如果V中存在某个或某些信息突发段，其识别出的协议是可能传输非法内容的协议，则执行步骤S2.4，若否，则返回执行步骤S2.1；

S2.4利用人工免疫模型判断V中被识别为可能传输非法内容协议的信息突发段是否传输非法内容；

其中，步骤S2.4进一步包括：

S2.41使用min-max归一化方法将信息突发段的统计特征归一化到单位超立方体中;

S2.42将归一化后的信息突发段统计特征输入到人工免疫模型中，计算其与每一个检测器之间的欧氏距离，最终计算得到最小欧氏距离ρ；

S2.43若ρ小于一个阈值0.1，则判定该SSH代理通道正在传输非法内容。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims

1.一种层次化加密代理通道检测方法，其特征在于，包括步骤：

S1.使用训练集训练检测所需的决策树和人工免疫模型；

S2.从背景流量中识别代理通道网络流，之后利用训练得到的决策树模型识别代理通道中的隐藏协议，最后利用人工免疫模型检测非法内容。

2.如权利要求1所述的方法，其特征在于：

所述训练集包括包含非法内容的代理通道流量集和包含合法内容的代理通道流量集。

3.如权利要求1所述的方法，其特征在于，步骤S1包括：

S1.2判断该网络流是否已建立一个特征提取数据结构，若否，则为该网络流建立一个特征提取数据结构；

S1.3根据当前网络流的持续时间更新特征提取数据结构，并判断该代理通道网络流的持续时间是否超过i×j秒，若否，则返回执行步骤S1.1，若是，则判断距离上次特征提取是否超过(2×i×j)/3秒，若否，则返回执行步骤S1.1，若是，则执行步骤1.4；

S1.5将训练集输入到决策树训练程序，获得一个决策树模型；

S1.6将训练集输入到人工免疫训练程序，获得一个人工免疫模型。

4.如权利要求3所述的方法，其特征在于，步骤S1.4包括：

S1.42对特征提取数据结构中的每一个信息突发段，提取统计特征vi，特征提取数据结构中所有信息突发段的统计特征构成了一个特征集合V={v1,v2，...,vn}；

S1.43存储V，返回执行步骤S1.1，直至读取训练集完毕。

5.如权利要求1所述的方法，其特征在于，步骤S2包括：

S2.2判断该网络流的检测状态，若是代理通道网络流，则执行步骤S2.3，若是非代理通道网络流或超时代理通道网络流，则执行S2.1，若仍无法判断，利用基于强特征的协议识别技术判断该网络流是否为代理通道网络流；

S2.3判断代理通道网络流持续时间是否超过s1秒，若是，则标记流表项中标记该网络流的检测状态为超时代理通道网络流，并返回执行S2.1，若否，则判断距离上次检测是否超过s2秒，若是，则利用基于机器学习的方法识别该网络流中的隐藏协议，若否，则返回执行S2.1；

S2.4利用人工免疫模型判断V中被识别为可能传输非法内容协议的信息突发段是否传输非法内容。

6.如权利要求5所述的方法，其特征在于，步骤S2.1包括：

S2.11更新网络流持续时间；

S2.12更新网络流数据包个数；

S2.13更新网络流有载荷的数据包个数。

7.如权利要求5所述的方法，其特征在于，步骤S2.2包括：

S2.22利用精确匹配和正则表达式匹配方法判断该网络流是否为代理通道网络流，若是，则在流表项中标记该网络流为代理通道网络流，并执行步骤S2.3；

S2.23判断该网络流有载荷数据包的个数，若超过n个，则标记该网络流不是代理通道网络流，并返回执行步骤S2.1，若未超过n个，则返回执行步骤S2.1。

8.如权利要求5所述的方法，其特征在于，步骤S2.3包括：

S2.31判断待检测的代理通道网络流是否已建立一个特征提取数据结构，若否，则为该网络流建立一个特征提取数据结构；

S2.32根据当前网络流的持续时间更新特征提取数据结构，并判断该代理通道网络流的持续时间是否超过i×j秒，若否，则返回执行S2.1，若是，则执行步骤S2.33；

S2.35对特征提取数据结构中的每一个信息突发段，提取统计特征vi，特征提取数据结构中所有信息突发段的统计特征构成了一个特征集合V={v1,v2，...,vn}；

S2.36将统计特征集合V输入到决策树模型中，识别每一个信息突发段所使用的协议，如果V中存在某个或某些信息突发段，其识别出的协议是可能传输非法内容的协议，则执行步骤S2.4，若否，则返回执行步骤S2.1。

9.如权利要求5所述的方法，其特征在于，步骤S2.4包括：

S2.43若ρ小于一个阈值ρt，则判定该加密代理通道正在传输非法内容。

10.如权利要求3或8所述的方法，其特征在于：

所述特征提取数据结构是一个长度为i的滑动窗口，其中每个单元记录了j秒内该代理通道网络流传输的数据包个数和字节数。