CN105429977B - 基于信息熵度量的深度包检测设备异常流量监控方法 - Google Patents

基于信息熵度量的深度包检测设备异常流量监控方法 Download PDF

Info

Publication number
CN105429977B
CN105429977B CN201510776669.4A CN201510776669A CN105429977B CN 105429977 B CN105429977 B CN 105429977B CN 201510776669 A CN201510776669 A CN 201510776669A CN 105429977 B CN105429977 B CN 105429977B
Authority
CN
China
Prior art keywords
sampling
inspection device
packet inspection
deep packet
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510776669.4A
Other languages
English (en)
Other versions
CN105429977A (zh
Inventor
向智宇
郝俊瑞
许德玮
郭嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Research Institute of Posts and Telecommunications Co Ltd
Original Assignee
Wuhan Research Institute of Posts and Telecommunications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Research Institute of Posts and Telecommunications Co Ltd filed Critical Wuhan Research Institute of Posts and Telecommunications Co Ltd
Priority to CN201510776669.4A priority Critical patent/CN105429977B/zh
Publication of CN105429977A publication Critical patent/CN105429977A/zh
Application granted granted Critical
Publication of CN105429977B publication Critical patent/CN105429977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic

Abstract

本发明公开了一种基于信息熵度量的深度包检测设备及其异常流量监控方法,该方法包括以下步骤:采样代理模块监听深度包检测设备的链路接口;获取原始流量报文的样本,并以sFlow协议格式封装为采样报文;收集采样报文并解析;计算原始流量报文的信息熵值,并做标准化处理;根据原始流量报文的历史信息熵值曲线,得到流特征分布的波动和变化情况,判定当前流量是否为异常流量;根据管控策略对异常流量进行管控。本发明,将基于流采样方式的网络测量技术应用于深度包检测设备,通过构建以流采样技术和信息熵度量工具为基础的流特征检测引擎,实现了对流特征分布特性的度量和异常流量的检测,帮助提升深度包检测设备对异常流量检查范围和检测能力。

Description

基于信息熵度量的深度包检测设备异常流量监控方法
技术领域
本发明涉及数据通信技术领域,具体涉及基于信息熵度量的深度包检测设备异常流量监控方法。
背景技术
随着移动互联网、智能终端、物联网的不断发展,以及网络技术的不断进步,现代网络在组网方式、网络设备种类、网络组成结构、网络应用程序等方面都趋于复杂化和多样化。这些复杂且多样化的网络因素,导致了网络通信流量激增,网络设备负载增大。同时,在网络中传输的信息数据量庞大且复杂,既包括各类正常传输数据也包括恶意的攻击数据。这些因素时刻威胁着网络元素的安全性和网络服务的可用性,因此,保障网络的安全与网络畅通已成为当前网络设备发展的一个趋势。
针对通信网的安全防护,除了入侵检测设备、入侵防护设备、防火墙等网络设备以外,深度包检测设备也是被广泛使用的一种网络异常流量监控设备。深度包检测设备基于深度包检测技术实现,是一种应用层的网络流量检测设备,当数据包通过深度包检测设备时,深度包检测引擎在分析IP包头的基础上,增加了对应用层载荷的分析,通过读取数据包的载荷内容,进行应用层信息重组,以此识别出数据包所属的应用层协议。
在网络安全监控方面,深度包检测设备将对应用层载荷检测得到的信息与已经建立的协议特征库进行比对,检测其中是否存在安全问题,从而实现基于应用层的安全防护。当前深度包检测设备的协议特征库已经具备了大量异常流量的应用协议特征积累,包括分布式拒绝服务、蠕虫繁殖、端口扫描等大类,每个大类下又细分了多个小类的具体协议类型。同时,深度包检测设备在应用层检测的基础上,还提供基于流量的检测方法包括流量大小检测方法和包速率检测方法,进一步提升了异常流量的检测精准性。
与传统的入侵检测设备、入侵防护设备、防火墙等安全防护设备相比,深度包检测设备在对应用层检测的准确率和检测性能上具备有很大的优势,并且具备部署灵活的特点。但是,深度包检测设备基于协议特征库和流量大小行为的检测方式都有其局限性,由于网络中的异常流量更新速度很快,一旦协议特征库没有包含异常流的应用层特征,则无法完成对异常流量的检测。
因此,需要一种更普适的方法与之配合,从而提升深度包检测设备对异常流量的检查范围和检测能力,满足现代网络的安全防护应用需求。
发明内容
本发明所要解决的技术问题是由于网络中的异常流量更新速度很快,一旦协议特征库没有包含异常流的应用层特征,则无法完成对异常流量的检测的问题。
为了解决上述技术问题,本发明所采用的技术方案是提供一种基于信息熵度量的深度包检测设备异常流量监控方法,包括以下步骤:
深度包检测设备维护一张采样代理模块的私网IP地址池列表,从中取出IP地址赋予采样代理模块;
采样代理模块以该IP地址初始化采样代理实例,采样代理实例监听深度包检测设备的链路接口,并从该链路接口获取原始流量的报文样本,以sFlow协议格式封装为采样报文;
解析采样报文获得原始流量报文的源IP地址、目的IP地址、源端口、目的端口、协议类型、流量上下行方向信息;
分别计算原始流量报文的源IP地址、目的IP地址、源端口、目的端口在本采样周期中的信息熵值,并做标准化处理,得到一个周期内的流特征分布特性的量化度量;
根据原始流量报文的源IP地址、目的IP地址、源端口、目的端口的历史信息熵值曲线,得到流特征分布的波动和变化情况,结合预先设定的判定阈值和信息熵值变化趋势判定当前流量是否为异常流量;
根据管控策略对异常流量进行管控。
在上述方法中,从深度包检测设备的策略管理子系统中同步由管理员预先配置的流特征分布特性检测模型,所述流特征分布特性检测模型即为预先设定的判定阈值和信息熵值变化趋势。
在上述方法中,采样报文封装的内容包括一个首部和若干采样数据记录字段,其中首部包括:采样协议信息、采样时间信息、采样代理信息、包含的采样数据记录数等信息;采样记录字段包括:采样数据头和采样数据,其中采样数据头包括该字段的采样方法信息、该字段采样数据长度信息,采样数据则表示该字段采样数据的具体内容;采样记录字段使用类型+长度+值的可变长数据结构方式封装。
在上述方法中,根据深度包检测设备初始化时设定的采样模式和采样率判定原始流量报文是否被采样。
在上述方法中,具有相同五元组:源IP地址、目的IP地址、协议类型、源端口、目的端口的报文归属为同一条流;
对同一条流在深度包检测设备上缓存的流表节点中增加一个方向字段,用以表示流的上下行方向,其中流的方向通过深度包检测设备的监控链路的出入接口配置来判断。
在上述方法中,网络中异常流量主要包括:分布式拒绝服务、蠕虫繁殖、端口扫描、突发访问请求、Alpha Flows。
在上述方法中,对网络流量分成一个一个固定时间间隔的周期性采样时间窗,计算每个时间窗内流量特性的分布特性。
在上述方法中,采用基于白名单机制来保护特殊服务和防止误操作,即管理员提前将需要受保护或者不管控服务的IP地址、端口,或者应用协议,加入到一个由深度包检测设备的策略管理子系统维护的白名单列表,白名单列表被下发到深度包检测设备,再由深度包检测设备对匹配白名单的网络流量采用只上报不管控的策略。
本发明还提供了一种基于信息熵度量的深度包检测设备,内置有一个流特征检测引擎,所述流特征检测引擎包括采样代理模块、采样报文收集模块以及流量分析模块,所述深度包检测设备还包括:
配置管理子系统,用于管理员对采样代理模块、采样报文收集模块、流量分析模块进行属性配置,包括采样代理模块的IP地址池、采样代理模块与采样报文收集模块的映射关系、采样代理模块的采样模式、采样代理模块的采样率、采样报文收集模块的上报周期;
接口管理子系统,用于在报文采样过程中,采样代理模块对深度包检测设备的网络接口进行监控;接收深度包检测设备接口变更事件;向深度包检测设备的链路接口查询报文的统计信息;
通信管理子系统,用于实现采样代理模块与采样报文收集模块的通信;
策略管理子系统,用于流量分析模块在配置初始化阶段和流分布特性检测算法模型变更时,实现对流分布特性检测算法模型的同步;在基于流分布特性的异常流量检测结束时将检测结果上报;根据上报的检测结果匹配预置策略并向深度包检测设备下发需要执行的管控策略。
在上述基于信息熵度量的深度包检测设备中,若深度包检测设备采用集群化的部署方式,则集群中的每个设备节点在初始化阶段都使能一个采样代理实例,采样报文上报给深度包检测设备服务器集群中的唯一的采样报文收集模块,并通过唯一的流量分析模块进行异常流量的监测;
采样代理模块可以初始化多个采样代理实例,分布于深度包检测设备的各监控节点,采样代理实例之间独立工作;增加采样代理时,深度包检测设备的配置管理子系统使能采样代理服务并下发相应的初始化参数和分配IP地址;去除采样代理实例时,深度包检测设备的配置管理子系统只需要去使能相应节点的采样代理功能即可。
本发明,将基于流采样方式的网络测量技术应用于深度包检测设备,通过构建以流采样技术和信息熵度量工具为基础的流特征检测引擎,实现了对流特征分布特性的度量和异常流量的检测,帮助提升深度包检测设备对异常流量检查范围和检测能力。
附图说明
图1为本发明中基于信息熵度量的深度包检测设备异常流量监控方法的流程图;
图2为本发明中所用采样报文的示意图。
具体实施方式
本发明提供了一种基于信息熵度量的深度包检测设备及其异常流量监控方法,将基于流采样方式的网络测量技术应用于深度包检测设备,实现了对流特征分布特性的度量和异常流量的检测,帮助提升深度包检测设备对异常流量检查范围和检测能力。下面结合说明书附图和具体实施方式对本发明做出详细的说明。
如图1所示,本发明提供的基于信息熵度量的深度包检测设备异常流量监控方法,包括以下步骤:
步骤110:配置深度包检测设备的初始化参数,例如采样模式和采样率,然后初始化深度包检测设备中与基于流特征分布特性的异常流量监控功能的相关模块。在初始化过程中,深度包检测设备维护一张采样代理模块的私网IP地址池列表,从中取出IP地址赋予采样代理模块,采样代理模块以该IP地址初始化采样代理实例。
由于深度包检测设备作为一种网络流量探针设备,其链路接口不设定IP地址,因此需要深度包检测设备的配置管理子系统通过主控单元维护一张采样代理模块IP地址池列表,来实现对采样代理模块中采样代理实例的私网IP地址分配功能,并借助深度包检测设备的通信管理子系统实现采样代理模块和采样报文收集模块之间基于TCP/IP的通信过程,通信过程基于深度包检测设备的带外管理接口。
若深度包检测设备采用集群化的部署方式,则集群中的每个设备节点在初始化阶段都使能一个采样代理实例,这些实例独立工作,采样报文上报给深度包检测设备服务器集群中的唯一的采样报文收集模块,并通过唯一的流量分析模块进行异常流量的监测。采样代理模块可以初始化多个采样代理实例,分布于深度包检测设备的各监控节点,采样代理实例之间独立工作,通过深度包检测设备的配置管理子系统可以方便的增加和去除采样代理实例,而不会对系统的其他采样代理实例产生影响。增加采样代理时,深度包检测设备的配置管理子系统使能采样代理服务并下发相应的初始化参数和分配IP地址;去除采样代理实例时,深度包检测设备的配置管理子系统只需要去使能相应节点的采样代理功能即可。
本步骤中的初始化,主要实现以下功能:
(1)深度包检测设备开启基于流特征分布特性的异常流量监控功能;
(2)为深度包检测设备节点分配采样代理实例,用于对监控链路的上下行接口采样,采样代理模块以该IP地址初始化采样代理实例;
(3)采样代理模块与深度包检测设备的接口管理子系统建立通信连接,获取深度包检测设备已配置的监控链路的接口属性;
(4)从深度包检测设备的配置管理子系统同步由管理员预先配置的采样代理实例的采样模式、采样率;采样报文收集模块的上报周期等关键信息;
(5)流量分析模块从深度包检测设备的策略管理管理子系统同步由管理员预先配置的流特征分布特性检测模型,并加载到内存中。
步骤120:采样代理模块以该IP地址初始化采样代理实例,采样代理实例从深度包检测设备的监控链路接口获取原始流量报文,并以sFlow协议格式封装为采样报文,然后周期性收集采样报文并解析获得原始流量报文的源IP地址、目的IP地址、源端口、目的端口、协议类型、流量上下行方向等报文信息,进行异常流量判断分析。
sFlow协议(RFC 3176)是一种基于“统计采样方式”监控网络数据流量的技术,目前常用的为sFlow V5版本。相对于传统的端口镜像、简单网络管理协议、NetFlow等监控技术,sFlow协议能够以更低的代价对全网流量进行实时、连续的监控。sFlow包括流采样和计数器采样,既能从被采样的原始数据报文头中提取出所需采样信息,采样信息可覆盖二到七层内容,也能周期性的向网络设备查询得到流经接口的流量计数以及设备CPU、内存等状态信息,从而满足多元化的网络测量需求。由于基于sFlow的采样不需要等待一条流结束后才能获得该流的采样数据,因此也具备较高的实时性。
基于sFlow的采样报文以UDP协议封装,采样报文格式如图2所示,采样报文封装的内容包括一个首部和若干采样数据记录字段,其中首部包括:采样协议信息、采样时间信息、采样代理信息、包含的采样数据记录数等信息;采样记录字段包括:采样数据头和采样数据,其中采样数据头包括该字段的采样方法信息、该字段采样数据长度信息,采样数据则表示该字段采样数据的具体内容。采样记录字段使用类型+长度+值的可变长数据结构方式封装,可节省空间且利于扩展。
本发明的采样代理模块以独立ASIC处理芯片嵌入到深度包检测设备中,芯片内置sFlow协议,以被动测量方式进行采样,实现占用少量设备资源的前提下完成高速网络监控,同时不新增网络流量和额外的网络时延。
步骤120的具体步骤如下:
步骤121:采样代理模块以步骤110中取出的IP地址初始化采样代理实例,采样代理实例从深度包检测设备监控的链路接口获取原始流量报文,以初始化时同步的采样模式和采样率信息判定通过链路接口的原始流量报文是否被采样;
步骤122:如果判定为采样则将该原始流量报文作为样本,并以sFlow协议格式封装为图2所示的采样报文,然后进行缓存;如果判定为不采样,则返回步骤121;
由于检测方法关注源IP地址、目的IP地址、协议类型、源端口、目的端口,因此需要提取出报文头二到三层信息,以及流量上下行方向。
步骤123:采样代理模块收集采样报文,并检查采样报文缓存是否已满,如果缓存已满,则将缓存中的采样报文通过深度包检测设备的通信管理子系统上传到采样报文收集模块,并清空缓存;如果缓存未满,采样代理模块检查采样报文的缓存时间是否超时,如果缓存时间已超时,则将缓存中的采样报文通过深度包检测设备的通信管理子系统上传到采样报文收集模块,并清空缓存;如果缓存时间未超时,则返回步骤122;
步骤124:采样报文收集模块对接收到的采样报文进行拆包,根据图2所示的采样报文格式解析出采样记录内容,包括源IP地址、目的IP地址、源端口、目的端口、协议类型、流量上下行方向等信息,并暂存;
步骤125:采样报文收集模块通过内置定时器为采样数据上报周期设置一个倒计时(定时器每秒减1),采样报文收集模块判断定时器秒数,如果已经减到0,则上报该周期内的采样数据到流量分析模块,然后清空缓存,将定时器重置为上报周期时间;如果未减到0,则返回步骤124。
步骤130:利用流量分析模块,以信息熵作为分布特性度量工具来判定当前流量是否为异常流量。
步骤130的具体步骤如下:
步骤131:流量分析模块接收采样报文收集模块周期性上报的采样数据,分别计算出原始流量报文的源IP地址、目的IP地址、源端口、目的端口在本采样周期中的信息熵值,并将信息熵值做标准化处理,得到本周期内的流特征分布特性的量化度量;
步骤132:流量分析模块分别根据原始流量报文的源IP地址、目的IP地址、源端口、目的端口的历史信息熵值曲线,得到流特征分布的波动和变化情况,结合从深度包检测设备的策略管理子系统中同步的由管理员预先设定的判定阈值和信息熵值变化趋势算法模型来进行综合判定是否为异常流量。
步骤133:若判定为异常流量,则根据熵值变化趋势匹配异常流量的所属异常类型,以及攻击者和受害者的IP地址,并将结果上报给深度包检测设备的策略管理子系统的管理数据库,作为日志留存;若未判定为异常流量,则将检测结果上报给深度包检测设备的策略管理子系统的管理数据库后,结束本周期的检测工作,等待下一个检测周期;
步骤134:流量分析模块根据步骤133的检测结果,向深度包检测设备发出对其缓存中的流表节点和IP节点进行所属异常类型的标记请求。若待标记的流表节点和IP节点,已经被基于深度包检测引擎的应用层检测结果标记过,且标记为异常流量类型,则深度包检测设备对本次检测结果不标记,否则按照基于流特征检测引擎的检测结果进行标记。
网络中异常流量的主要分类有:分布式拒绝服务、蠕虫繁殖、端口扫描、突发访问请求、Alpha Flows等,这类异常流量通常都具备一定的规律,而这些规律都会引起网络流量特征的一些显著变化,如果用源IP地址、目的IP地址、源端口、目的端口这四个特征要素来度量,其流特征的分布特性如下表:
表1:异常流量的流特征分布特性和信息熵变化趋势
本发明以信息熵为工具对流量的分布特性进行度量,由表1可以看到,由于异常流量分类通常都具备一定的规律和特点,并且这些规律和特点都会引起网络流特征分布特性的一些显著变化,因此基于信息熵的异常流量检测方法较传统的深度包检测设备基于应用层特征异常流量检测方法能够更好的度量出和反应处异常流量的本质行为特性,以此提升深度包检测设备对异常流量检测的普适性。
信息熵由香农于1948年引入到信息轮中,可以作为数据集合的不规则程度的一种度量工具。在网络测量领域,信息熵已被作为一个重要流量分布特性度量工具,能够更有效的地表现出同一网络属性上对应数据集合的离散度情况,从而实现对流分布特性的度量。一个集合中的元素越有序且越集中,则信息熵值就越小;反之,越无序且越离散,则信息熵值就越大。用信息熵来度量网络流量的分布特性信息,不仅可增强对网络流量异常的检测能力,而且能基于流分布特性对流量进行分类。
基于信息熵对异常流量的流特征分布特性的测量方法不仅可以感知异常流量发生,进行异常流量识别和攻击类型分类,还可以根据识别出的异常流量特性标记出异常流量中的攻击者和受害者。
对采样数据集合的信息熵值计算方法的描述是:对网络流量分成一个一个固定时间间隔的周期性采样时间窗,计算每个时间窗内流量特性的分布特性,这里的方式是从采样报文中分别提取源IP地址、目的IP地址、源端口、目的端口这四个特征维度的结果集合,以信息熵分别对这四个维度结果集合进行度量,形成四个维度各自的信息熵值的时间序列,综合四个维度信息熵值的时间序列的波动和变化情况来判断网络是否发生了异常。
具体计算公式是:
设随机特征变量X,其所有可能的结果集是{X1,X2,......,Xn},每种结果出现的次数集是{N1,N2,......,Nn},每种结果出现的概率集为{P(X1),P(X2),......,P(Xn)},则:
其离散程度即是信息熵:
当X只有一种取值情况时,即没有离散性,其信息熵取得最小值0;当X在随机结果中均匀分布,即完全离散时,取得最大值log2n。为了避免计算大规模流量分布特性的和小规模流量分布式特性带来的信息熵值不对称所造成的误报率,这里将熵的计算公式进行标准化处理,使取值范围落入(0,1)区间后的计算公式为:
另外的,在深度包检测设备在进行异常流量的检测过程中,不可避免的会遇到一些具有或者近似异常流量分布性特性的流量,但是并非恶意的网络流量的场景,深度包检测设备提供一种基于白名单机制来保护特殊服务和防止误操作。管理员提前将需要受保护或者不管控服务的IP地址、端口,或者应用协议,加入到一个由深度包检测设备的策略管理子系统维护的白名单列表,白名单列表被下发到深度包检测设备,再由深度包检测设备对匹配白名单的网络流量采用只上报不管控的策略。
深度包检测设备对流的定义采用一种业内通用的定义规则,即具有相同五元组:源IP地址、目的IP地址、协议类型、源端口、目的端口的报文归属为同一条流。同时,为了实现更精准的检测和控制策略,深度包检测设备检测对同一条流的交互流量区分上下行,即在深度包检测设备上缓存的流表节点中增加一个方向字段,用以表示流的上下行方向。流的方向通过深度包检测设备监控链路的出入接口配置来判断。
步骤140:根据管控策略对异常流量进行管控,具体步骤如下:
步骤141:策略管理子系统接收流量分析模块上报的检测结果后,自动匹配管理员预先配置的管控策略,并下发相应策略项到深度包检测设备;
步骤142:判断攻击者和受害者IP地址、端口、应用协议是否包含在白名单范围内,如果是,则不执行对其的异常流量管控策略;如果不是,则根据管控策略进行相应控制。
本发明还提供了一种基于信息熵度量的深度包检测设备,内置有一个流特征检测引擎,流特征检测引擎包括三个功能模块:采样代理模块、采样报文收集模块以及流量分析模块,其中采样代理模块以ASIC芯片形式内置于深度包检测设备,采样报文收集模块和流量分析模块以软件形式内置于深度包检测设备的服务器集群。三个功能模块配合深度包检测设备自身的配置管理子系统、接口管理子系统、通信管理子系统、策略管理子系统的相互依赖的关系如下完成检测工作,其中:
配置管理子系统,用于管理员对流特征检测引擎的采样代理模块、采样报文收集模块、流量分析模块进行属性配置,主要属性包括采样代理模块的IP地址池、采样代理模块与采样报文收集模块的映射关系、采样代理模块的采样模式、采样代理模块的采样率、采样报文收集模块的上报周期等。深度包检测设备在进行配置初始化过程时,这些配置被同步到流特征检测引擎。
接口管理子系统,用于在报文采样过程中,采样代理模块需完成对深度包检测设备的网络接口的监控;接收深度包检测设备接口变更事件;能向深度包检测设备的链路接口查询报文的统计信息,这些都需要和深度包检测设备的接口管理子系统建立关联。
通信管理子系统,用于采样代理模块基于深度包检测设备的通信管理子系统管理的带外管理接口,将其封装采样报文通过带外管理接口上送到采样报文收集模块,实现采样代理模块与采样报文收集模块的通信。
策略管理子,用于流量分析模块在配置初始化阶段和流分布特性检测算法模型变更时,实现对流分布特性检测算法模型的同步;在基于流分布特性的异常流量检测结束时将检测结果上报。策略管理子系统根据上报的检测结果匹配预置策略并向深度包检测设备下发需要执行的管控策略。
本发明不局限于上述最佳实施方式,任何人应该得知在本发明的启示下作出的结构变化,凡是与本发明具有相同或相近的技术方案,均落入本发明的保护范围之内。

Claims (10)

1.基于信息熵度量的深度包检测设备中的异常流量监控方法,其特征在于,包括以下步骤:
深度包检测设备维护一张采样代理模块的私网IP地址池列表,从中取出IP地址赋予采样代理模块;
采样代理模块以该IP地址初始化采样代理实例,采样代理实例监听深度包检测设备的链路接口,并从该链路接口获取原始流量的报文样本,以sFlow协议格式封装为采样报文;
周期性收集采样报文并解析获得原始流量报文的源IP地址、目的IP地址、源端口、目的端口、协议类型、流量上下行方向信息;
分别计算原始流量报文的源IP地址、目的IP地址、源端口、目的端口在本采样周期中的信息熵值,并做标准化处理,得到一个周期内的流分布特性的量化度量;
根据原始流量报文的源IP地址、目的IP地址、源端口、目的端口的历史信息熵值曲线,得到流特征分布的波动和变化情况,结合预先设定的判定阈值和信息熵值变化趋势判定当前流量是否为异常流量;
根据管控策略对异常流量进行管控。
2.如权利要求1所述的方法,其特征在于,从深度包检测设备的策略管理子系统中同步由管理员预先配置的流特征分布特性检测模型,所述流特征分布特性检测模型即为预先设定的判定阈值和信息熵值变化趋势。
3.如权利要求1所述的方法,其特征在于,
采样报文封装的内容包括一个首部和若干采样数据记录字段,其中首部包括:采样协议信息、采样时间信息、采样代理信息、包含的采样数据记录数信息;采样数据记录字段包括:采样数据头和采样数据,其中采样数据头包括该字段的采样方法信息、该字段采样数据长度信息,采样数据则表示该字段采样数据的具体内容;采样数据记录字段使用类型+长度+值的可变长数据结构方式封装。
4.如权利要求1所述的方法,其特征在于,
根据深度包检测设备初始化时设定的采样模式和采样率判定原始流量报文是否被采样。
5.如权利要求1所述的方法,其特征在于,
具有相同五元组:源IP地址、目的IP地址、协议类型、源端口、目的端口的报文归属为同一条流;
对同一条流在深度包检测设备上缓存的流表节点中增加一个方向字段,用以表示流的上下行方向,其中流的方向通过深度包检测设备的监控链路的出入接口配置来判断。
6.如权利要求1所述的方法,其特征在于,网络中异常流量主要包括:分布式拒绝服务、蠕虫繁殖、端口扫描、突发访问请求、Alpha Flows。
7.如权利要求1所述的方法,其特征在于,
对网络流量分成一个一个固定时间间隔的周期性采样时间窗,计算每个时间窗内流量特性的分布特性。
8.如权利要求1所述的方法,其特征在于,
采用基于白名单机制来保护特殊服务和防止误操作,即管理员提前将需要受保护或者不管控服务的IP地址、端口,或者应用协议,加入到一个由深度包检测设备的策略管理子系统维护的白名单列表,白名单列表被下发到深度包检测设备,再由深度包检测设备对匹配白名单的网络流量采用只上报不管控的策略。
9.基于信息熵度量的深度包检测设备,其特征在于,所述深度包检测设备内置有一个流特征检测引擎,所述流特征检测引擎包括采样代理模块、采样报文收集模块以及流量分析模块,所述深度包检测设备还包括:
配置管理子系统,用于管理员对采样代理模块、采样报文收集模块、流量分析模块进行属性配置,包括采样代理模块的IP地址池、采样代理模块与采样报文收集模块的映射关系、采样代理模块的采样模式、采样代理模块的采样率、采样报文收集模块的上报周期;
接口管理子系统,用于在报文采样过程中,采样代理模块对深度包检测设备的网络接口进行监控;接收深度包检测设备接口变更事件;向深度包检测设备的链路接口查询报文的统计信息;
通信管理子系统,用于实现采样代理模块与采样报文收集模块的通信;
策略管理子系统,用于流量分析模块在配置初始化阶段和流分布特性检测算法模型变更时,实现对流分布特性检测算法模型的同步;在基于流分布特性的异常流量检测结束时将检测结果上报;根据上报的检测结果匹配预置策略并向深度包检测设备下发需要执行的管控策略。
10.如权利要求9所述的基于信息熵度量的深度包检测设备,其特征在于:
若深度包检测设备采用集群化的部署方式,则集群中的每个设备节点在初始化阶段都使能一个采样代理实例,采样报文上报给深度包检测设备服务器集群中的唯一的采样报文收集模块,并通过唯一的流量分析模块进行异常流量的监测;
采样代理模块可以初始化多个采样代理实例,分布于深度包检测设备的各监控节点,采样代理实例之间独立工作;增加采样代理时,深度包检测设备的配置管理子系统使能采样代理服务并下发相应的初始化参数和分配IP地址;去除采样代理实例时,深度包检测设备的配置管理子系统只需要去使能相应节点的采样代理功能即可。
CN201510776669.4A 2015-11-13 2015-11-13 基于信息熵度量的深度包检测设备异常流量监控方法 Active CN105429977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510776669.4A CN105429977B (zh) 2015-11-13 2015-11-13 基于信息熵度量的深度包检测设备异常流量监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510776669.4A CN105429977B (zh) 2015-11-13 2015-11-13 基于信息熵度量的深度包检测设备异常流量监控方法

Publications (2)

Publication Number Publication Date
CN105429977A CN105429977A (zh) 2016-03-23
CN105429977B true CN105429977B (zh) 2018-08-07

Family

ID=55507919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510776669.4A Active CN105429977B (zh) 2015-11-13 2015-11-13 基于信息熵度量的深度包检测设备异常流量监控方法

Country Status (1)

Country Link
CN (1) CN105429977B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055694B (zh) * 2016-06-03 2019-07-23 安徽大学 一种基于信息熵的地理曲线曲折度度量方法
CN106357434A (zh) * 2016-08-30 2017-01-25 国家电网公司 一种基于熵分析的智能电网通信网络流量异常检测方法
WO2018095192A1 (zh) 2016-11-23 2018-05-31 腾讯科技(深圳)有限公司 网站攻击的检测和防护方法及系统
CN107743113A (zh) * 2016-11-23 2018-02-27 腾讯科技(深圳)有限公司 一种网站攻击的检测方法及系统
CN109951420B (zh) * 2017-12-20 2020-02-21 广东电网有限责任公司电力调度控制中心 一种基于熵和动态线性关系的多级流量异常检测方法
CN108234520A (zh) * 2018-02-06 2018-06-29 武汉理工大学 一种基于本福特定律的异常流模式识别方法
CN109831450B (zh) * 2019-03-06 2021-05-07 国网甘肃省电力公司电力科学研究院 一种自适应的网络流量异常检测方法
CN109951466B (zh) * 2019-03-08 2021-10-26 新华三信息安全技术有限公司 端口流量监控方法、装置、电子设备及机器可读存储介质
CN110266672B (zh) * 2019-06-06 2021-09-28 华东理工大学 基于信息熵和置信度下采样的网络入侵检测方法
CN112910825B (zh) * 2019-11-19 2022-06-14 华为技术有限公司 一种蠕虫检测方法及网络设备
CN115023926A (zh) * 2020-04-15 2022-09-06 深圳市欢太科技有限公司 流量检测方法、装置、服务器以及存储介质
CN112383513B (zh) * 2020-10-27 2023-03-14 杭州数梦工场科技有限公司 基于代理ip地址池的爬虫行为检测方法、装置及存储介质
CN112367326B (zh) * 2020-11-13 2022-12-30 武汉虹旭信息技术有限责任公司 车联网流量的识别方法及装置
CN112804190B (zh) * 2020-12-18 2022-11-29 国网湖南省电力有限公司 一种基于边界防火墙流量的安全事件检测方法及系统
CN113179221B (zh) * 2021-06-30 2021-09-21 北京浩瀚深度信息技术股份有限公司 一种互联网流量的控制方法及系统
CN114584391B (zh) * 2022-03-22 2024-02-09 恒安嘉新(北京)科技股份公司 异常流量处理策略的生成方法、装置、设备及存储介质
CN114866322B (zh) * 2022-05-06 2023-06-13 清华大学 一种网络异常流量检测方法和装置
CN117370751B (zh) * 2023-09-13 2024-03-19 浙江天禹信息科技有限公司 一种交叉验证的水文数据弹性监测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107880A (ko) * 2010-03-26 2011-10-05 노기섭 패스트 정보 엔트로피와 능동형 이동평균 탐지기를 이용한 분산형 서비스 거부 공격 탐지 방법
CN103618651A (zh) * 2013-12-11 2014-03-05 上海电机学院 一种基于信息熵和滑动窗口的网络异常检测方法及系统
CN104202336A (zh) * 2014-09-22 2014-12-10 浪潮电子信息产业股份有限公司 一种基于信息熵的DDoS攻击检测方法
CN104580222A (zh) * 2015-01-12 2015-04-29 山东大学 基于信息熵的DDoS攻击分布式检测与响应系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107880A (ko) * 2010-03-26 2011-10-05 노기섭 패스트 정보 엔트로피와 능동형 이동평균 탐지기를 이용한 분산형 서비스 거부 공격 탐지 방법
CN103618651A (zh) * 2013-12-11 2014-03-05 上海电机学院 一种基于信息熵和滑动窗口的网络异常检测方法及系统
CN104202336A (zh) * 2014-09-22 2014-12-10 浪潮电子信息产业股份有限公司 一种基于信息熵的DDoS攻击检测方法
CN104580222A (zh) * 2015-01-12 2015-04-29 山东大学 基于信息熵的DDoS攻击分布式检测与响应系统及方法

Also Published As

Publication number Publication date
CN105429977A (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
CN105429977B (zh) 基于信息熵度量的深度包检测设备异常流量监控方法
CN101562534B (zh) 一种网络行为分析系统
CN103532776B (zh) 业务流量检测方法及系统
CN103532940B (zh) 网络安全检测方法及装置
CN104937886B (zh) 日志分析装置、信息处理方法
CN107404400A (zh) 一种网络态势感知实现方法及装置
CN101686235B (zh) 网络异常流量分析设备和方法
KR100748246B1 (ko) 침입탐지 로그수집 엔진과 트래픽 통계수집 엔진을 이용한다단계 통합보안 관리 시스템 및 방법
CN107733937A (zh) 一种异常网络流量检测方法
CN109600363A (zh) 一种物联网终端网络画像及异常网络访问行为检测方法
CN102104611A (zh) 一种基于混杂模式的DDoS攻击检测方法及装置
CN101980506A (zh) 一种基于流量特征分析的分布式入侵检测方法
CN108183917B (zh) 基于软件定义网络的DDoS攻击跨层协同检测方法
US7903657B2 (en) Method for classifying applications and detecting network abnormality by statistical information of packets and apparatus therefor
CN102271068A (zh) 一种dos/ddos攻击检测方法
CN105577679A (zh) 一种基于特征选择与密度峰值聚类的异常流量检测方法
CN109766695A (zh) 一种基于融合决策的网络安全态势感知方法和系统
CN106685984A (zh) 一种基于数据包捕获技术的网络威胁分析系统及方法
CN106357622A (zh) 基于软件定义网络的网络异常流量检测防御系统
CN106559407A (zh) 一种基于sdn的网络流量异常监测系统
KR101602189B1 (ko) 10기가급 패킷 캡쳐링에 의한 트래픽 분석 및 망 감시 시스템
Popa et al. Using traffic self-similarity for network anomalies detection
CN113810362A (zh) 一种安全风险检测处置系统及其方法
CN106789448A (zh) 一种网络风暴快速检测方法及装置
CN109150920A (zh) 一种基于软件定义网络的攻击检测溯源方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 430074, No. 88, postal academy road, Hongshan District, Hubei, Wuhan

Patentee after: Wuhan post and Telecommunications Science Research Institute Co., Ltd.

Address before: 430074, No. 88, postal academy road, Hongshan District, Hubei, Wuhan

Patentee before: Wuhan Inst. of Post & Telecom Science