CN101442518B - 一种用于异常检测的协议解析方法及系统 - Google Patents
一种用于异常检测的协议解析方法及系统 Download PDFInfo
- Publication number
- CN101442518B CN101442518B CN2007101779037A CN200710177903A CN101442518B CN 101442518 B CN101442518 B CN 101442518B CN 2007101779037 A CN2007101779037 A CN 2007101779037A CN 200710177903 A CN200710177903 A CN 200710177903A CN 101442518 B CN101442518 B CN 101442518B
- Authority
- CN
- China
- Prior art keywords
- protocol
- unusual
- rule
- data
- protocol keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Maintenance And Management Of Digital Transmission (AREA)
Abstract
本发明涉及一种用于异常检测的协议解析方法及系统,包括异常关键字段注册器、异常关键字段库、整合器、协议解析器、异常检测器,运行包括以下步骤:异常关键字段的注册步骤、整合步骤、协议解析步骤、异常检测步骤。本发明采用了用于异常检测的的协议解析机制,并在异常检测模块和协议解析模块间设计良好的通信方式,使系统具有异常检测速度快和准确率高等优点。
Description
技术领域
本发明涉及一种用于异常检测的协议解析方法及系统,是一种可用于入侵检测防御(IDS/IPS)产品中的协议解析方法及系统,属于网络技术领域。
背景技术
入侵检测/防御系统(Intrusion Detection/Protection System,IDS/IPS)作为网络安全防护的重要手段,通常部署在关键网络内部/网络边界入口处,实时捕获网络内或进出网络的报文数据流并进行智能综合分析,发现可能的入侵行为并进行实时阻断。目前的入侵检测方法主要分为误用检测技术和异常检测技术。异常检测可以检测出已知的和未知的攻击方法和技术,问题是正常行为标准只能采用人工智能、机器学习算法等来生成,并且需要大量的数据和时间,不适和入侵检测系统的实时性要求。而目前大多数入侵检测系统使用的误用检测机制无法有效的检测和防御未知攻击,因此综合需求和效率的考虑需要增加协议异常检测的处理机制。
目前的入侵检测产品及技术已经应用异常检测进行实现,但目前具有完善灵活的协议异常检测功能的产品是非常缺乏的,一般是单独的解析产品或者异常检测产品,缺乏很好的互动方式,并且缺乏完善系统的整合过程,对于一般的数据报文匹配效率不高,由于联动的方式问题使得解析出的数据不能很准确的与异常检测匹配规则很快的关联起来。因此,有必要发展用于异常检测的协议解析的方法,提高检测的效率。
发明内容
本发明提出一种用于异常检测的协议解析的方法及系统,所述的用于异常检测的协议解析技术可以满足:强大的协议解析能力;具有良好的可扩展性,可以不断根据新增的攻击模式来添加新的检测规则;具有良好的规则整合能力,从而提高异常检测效率;具有良好的设计结构,保证异常检测器和整合器具有良好的数据解析交互能力。
本发明的目的是这样实现的,
一种用于异常检测的协议解析系统,包括异常关键字段注册器、异常关键字段库、整合器、协议解析器、异常检测器,有:
对异常检测字段进行提取的异常关键字段注册器;
存储异常关键字段以及规则号的异常关键字段库;
提取出每条规则所对应的关键字段,建立异常列表,同时当获得数据报的异常字段数值后,判断检测规则需要的数据是否完备的整合器;
负责数据包解析,发现已经注册的关键字段则将相关数据返回给整合器的协议解析器;
负责对收到的数据进行相关处理,实现数据报的异常检测的异常检测器;
所述的异常关键字段注册器与异常关键字段库相连;所述的异常关键字段库与协议解析器相连,所述的协议解析器与整合器相连;所述的整合器与异常检测器相连,进行数据以及命令的交互。
一种用于异常检测的协议解析的方法,包括以下步骤:
异常关键字段的注册步骤;
整合的步骤;
协议解析的步骤;
异常检测的步骤。
本发明的产生的有益效果是:解决了缺乏整合过程导致的规则匹配的性能问题,同时产品中针对异常检测设计了协议解析系统,在异常检测器和整合器间数据和命令通信的过程中体现了良好的交互方式,两者间设计了简单通用的交互接口;同时具有协议异常检测速度快和准确率高等优点,可广泛应用于IDS/IPS网络安全产品中。
附图说明
图1是用于异常检测的协议解析系统的系统架构图;
图2是系统数据协商的流程图;
图3是系统控制命令交互的流程图;
图4是共享内存的结构。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
实施例一:
本实施例为一种用于异常检测的协议解析方法的基本模式,所使用的系统如图1所示。包括异常关键字段注册器、异常关键字段库、整合器、协议解析器、异常检测器,运行包括以下步骤:
①异常关键字段的注册步骤:异常关键字段的注册包括检测规则的输入、关键字段以及规则号的提取。对于一种特定的攻击模式,用协议字段以及攻击模式来进行描述,以此来确定检测规则。然后提取出协议异常关键字段以及规则号,并将其存储到异常关键字段库中。
②整合的步骤:整合的步骤包括整合的预处理和整合的具体处理。从异常关键字段库中,提取出每条规则所对应的关键字段,建立异常列表,并以此作为整合具体处理的依据。当获得数据报的异常字段数值后,整合器判断检测规则需要的数据是否完备,进而提供给异常检测器。
③协议解析的步骤:协议的解析包括对异常关键字段注册步骤中形成的检测关键字段库中的字段进行hash,便于数据以及命令的交互。同时协议解析器解析数据包过程当中如果发现已经注册的关键字段则将相关数据返回给整合器,用于判断该关键字段所在的规则是否可以进行异常检测。
④异常检测的步骤:在异常检测模块和协议解析模块间数据和命令通信的过程中,异常检测过程收到数据以及命令的交互数据之后,协议异常检测器对收到的数据进行异常检测的处理。
实施例二:
本实施例为实施例一中的异常关键字段注册步骤的优选方案:
①对于某些攻击针对的协议字段,寻找攻击的统一模式,将该受攻击协议字段和攻击模式联合作为规则的输入,以此作为初始检测规则的子步骤;
②提取检测规则中的协议关键字段和规则ID号,并将其存储到异常关键字段库中,以此作为异常关键字段入库的子步骤。
本实施例的基本思路是:首先根据存在的攻击模式,用协议字段以及攻击模式来进行描述,以此来确定检测规则。然后提取出协议异常关键字段和规则号。例如数据包中不同的协议可能都包含的length字段,若数据包的报头的实际长度与之不符,则产生报警。这个原因主要是由于大多数操作系统和应用软件都是在假定RFC被严格遵守的情况下编写的,没有添加针对异常数据的错误处理程序,所以许多包含报头值的漏洞利用都会故意违反RFC的标准定义以实现某种方式的攻击。根据这种攻击模式描述的检测规则为:″ip.len,ip.reallength″+{=,ip.len=ip.reallength},规则会被分配一个规则号ID来唯一标识。接下来对其进行语法分析,提取出异常关键字段ip.length和ip.reallength后,注册到异常关键字段库中。
实施例三:
本实施例为实施例一中的整合步骤的优选方案:
①从异常关键字段库中,分析整合出每条规则所对应的关键字段,建立异常列表,以此作为整合的预处理子步骤;
②当协议解析器返回异常关键字段的具体数值时,调用整合预处理中的异常列表,分析该条规则中所需要的异常关键字段是否完整,以此作为整合具体处理的子步骤。
本实施例的基本思路是:首先根据异常关键字段库来建立异常列表,并且判断每条异常检测规则中所需要的异常检测字段是否完整,是否可以进行异常检测判断了。例如对于规则1:″ip.len,ip.reallength″+{=,ip.len=ip.reallength}和规则2:″ip.len″+{<,ip.len<65535},进行整合后,则有异常列表:规则1:ip.len,ip.reallength;规则2:ip.len。然后当协议解析器返回异常关键字段的具体数值时,则调用异常列表,分析该条规则中所需要的异常关键字段是否完整。例如当协议分析器返回ip.len的数值时,则调用异常列表发现规则2可以进行异常检测了。若继续返回ip.reallength的数值时,则调用异常列表可判定规则1可以进行异常检测了。
实施例四:
本实施例为实施例一中的协议解析步骤的优选方案:
①检测关键字段库向协议解析器进行关键字注册;
②协议解析器解析数据包过程当中如果发现已经注册的关键字段则将相关数据返回给协议异常检测器。
本实施例的基本思路是:首先由检测关键字段库中的异常检测关键字段向协议解析器进行注册,协议解析器对注册的每一个关键字段都返回一个ID号,用于唯一标识该关键字段,同时用于以后的数据交互。然后协议解析器开始对捕获的数据报进行解析,在解析的过程中如果出现已经注册的关键字段,则将数据返回给整合器。关于整合器和异常检测器的数据以及命令的交互过程设计如下:两者间采用共享内存的方式进行通信,共使用两块共享内存进行通信,此共享内存是命名的,一块用于数据协商/交换,另一块用于控制命令传递。每块共享内存使用一个命名的信号量,通过检测其状态来进行交互。其中共享内存的结构如图4所示:共享内存中都是3个连续的块,第一块为协议边界/层次标识,用于识别协议;第二块为异常检测规则号;第三块为协议字段集,提供一系列连续排列的确定数据类型的字段数值。用于异常检测的协议解析系统数据协商的流程图如图2所示:在图中,在步骤1-4组成了数据协商阶段、此阶段进行初始化工作,步骤5-6为正常工作循环,进行数据交换。系统控制命令交互的流程图如图3所示:控制命令包括以下种类:
1.设置/取消过滤条件;
2.停止/重新启动整合器;
3.运行状态查询。
本实施例中采用的算法:对于任何协议和字段的注册,都要采用hash算法对协议及其字段建立hash表,从而提高IDS/IPS协议匹配的效率。在进行注册时,由IDS/IPS与协议解析器协商好各个协议及其字段的hash值(即为ID),从而当收到新的数据包时,直接把各字段的ID对应的值提交给IDS/IPS来进行下一步的匹配处理,从而极大地提高了效率。
实施例五:
本实施例为实施例一中的异常检测步骤的优选方案。
本实施例的基本思路是:首先在通过共享内存方式收到数据后,检测到该关键字段的规则号,然后找到对应该检测规则的异常检测处理函数,从而对该规则进行异常检测的判断。
实施例六:
本实施例是实现实施例一、二、三、四、五所述的方法的虚拟装置或者说系统,系统如图1所示,本实施例包括:检测规则的输入、关键字段以及规则号的提取;对于一种特定的攻击模式,用协议字段以及攻击模式来进行描述,以此来确定检测规则;然后提取出协议异常关键字段以及规则号,并将其存储到异常关键字段库中的异常关键字段注册器;
存储异常关键字段以及规则号的异常关键字段库;
从异常关键字段库中,提取出每条规则所对应的关键字段,建立异常列表,并以此作为整合具体处理的依据;当获得数据报的异常字段数值后,判断检测规则需要的数据是否完备,进而提供给异常检测器的整合器;
对异常关键字段注册步骤中形成的检测关键字段库中的字段进行hash,便于数据以及命令的交互;同时解析数据包过程当中如果发现已经注册的关键字段则将相关数据返回给整合器,用于判断该关键字段所在的规则是否可以进行异常检测的协议解析器;
在异常检测模块和协议解析模块间数据和命令通信的过程中,异常检测过程收到数据以及命令的交互数据之后,对收到的数据进行异常检测的处理的异常检测器。
用于异常检测的协议解析系统包括“实现需要进行异常关键字段注册的异常关键字段注册器、存储异常关键字段和规则号的异常关键字段库、通过交互获得由异常关键字段注册器提供的关键字段相关的检测数据的协议解析器、分析整合出每条规则所对应的关键字段,建立映射列表的整合器,对所有获得的数据进行相关的异常检测并返回结果的异常检测器;所述的异常关键字段注册器与异常关键字段库相连;所述的异常关键字段库与协议解析器相连,所述的协议解析器与整合器相连;所述的整合器与异常检测器相连,进行数据以及命令的交互。
Claims (2)
1.一种用于异常检测的协议解析方法,其特征在于包含以下步骤:
异常关键字段的注册步骤;
整合的步骤;
协议解析的步骤;
异常检测的步骤;
所述异常关键字段的注册步骤中的子步骤:
对于某些攻击针对的协议关键字段,寻找攻击的统一模式,将受攻击协议关键字段和攻击的统一模式联合作为规则的输入,以此作为确定检测规则的子步骤;
提取检测规则中的协议关键字段和规则ID号,并将其存储到异常协议关键字段库中,以此作为异常协议关键字段入库的子步骤;
所述整合步骤中的子步骤:
从异常协议关键字段库中,分析整合出每条规则所对应的异常协议关键字段,建立异常列表,以此作为整合预处理的子步骤;
当协议解析器返回异常协议关键字段的具体数值时,调用整合预处理中的异常列表,分析该条规则中所需要的异常协议关键字段的具体数值是否完整,以此作为整合具体处理的子步骤;
所述的协议解析的步骤中的子步骤:
异常协议关键字段库向协议解析器进行关键字注册的子步骤;
协议解析器解析数据包过程当中如果发现已经注册的关键字段则将相关数据返回给整合器的子步骤;
所述异常检测步骤包括:
收到相关数据以及规则ID号之后,异常检测器此时对收到的数据进行相关检测并返回检测结果。
2.一种用于异常检测的协议解析系统,其特征在于:包括:
异常协议关键字段注册器,用于检测规则的输入、异常协议关键字段以及规则号的提取;其中,对于一种特定的攻击的统一模式,用协议关键字段以及攻击的统一模式来进行描述,以此来确定检测规则;然后提取出协议关键字段以及规则号,并将其存储到异常协议关键字段库中;
异常协议关键字段库,用于存储异常协议关键字段以及规则号;
整合器,用于从异常协议关键字段库中,提取出每条规则所对应的异常协议关键字段,建立异常列表,并以此作为整合具体处理的依据;当获得数据报的异常协议关键字段数值后,判断检测规则需要的数据是否完备,进而提供给异常检测器;
协议解析器,用于对所述异常协议关键字段库中的字段进行哈希hash,便于数据以及命令的交互;同时解析数据包过程当中如果发现已经注册的异常协议关键字段则将相关数据返回给整合器,用于判断该异常协议关键字段所在的规则是否可以进行异常检测;
异常检测器,在所述异常检测器和协议解析器间数据和命令通信的过程中,在异常检测过程收到数据以及命令的交互数据之后,对收到的数据进行异常检测;
其中,所述的异常协议关键字段注册器与异常协议关键字段库相连;所述的异常协议关键字段库与协议解析器相连,所述的协议解析器与整合器相连;所述的整合器与异常检测器相连,进行数据以及命令的交互。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007101779037A CN101442518B (zh) | 2007-11-22 | 2007-11-22 | 一种用于异常检测的协议解析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007101779037A CN101442518B (zh) | 2007-11-22 | 2007-11-22 | 一种用于异常检测的协议解析方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101442518A CN101442518A (zh) | 2009-05-27 |
CN101442518B true CN101442518B (zh) | 2011-12-28 |
Family
ID=40726761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101779037A Expired - Fee Related CN101442518B (zh) | 2007-11-22 | 2007-11-22 | 一种用于异常检测的协议解析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101442518B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101873231B (zh) * | 2010-07-06 | 2012-07-04 | 北京网御星云信息技术有限公司 | 一种网络入侵特征配置方法及系统 |
CN107360051B (zh) * | 2016-09-30 | 2021-06-15 | 成都科来软件有限公司 | 一种控制多种不同网络协议分析开关的方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1581768A (zh) * | 2003-08-04 | 2005-02-16 | 联想(北京)有限公司 | 一种入侵检测方法 |
CN1909488A (zh) * | 2006-08-30 | 2007-02-07 | 北京启明星辰信息技术有限公司 | 一种结合病毒检测与入侵检测的方法及系统 |
CN101035111A (zh) * | 2007-04-13 | 2007-09-12 | 北京启明星辰信息技术有限公司 | 一种智能协议解析方法及装置 |
-
2007
- 2007-11-22 CN CN2007101779037A patent/CN101442518B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1581768A (zh) * | 2003-08-04 | 2005-02-16 | 联想(北京)有限公司 | 一种入侵检测方法 |
CN1909488A (zh) * | 2006-08-30 | 2007-02-07 | 北京启明星辰信息技术有限公司 | 一种结合病毒检测与入侵检测的方法及系统 |
CN101035111A (zh) * | 2007-04-13 | 2007-09-12 | 北京启明星辰信息技术有限公司 | 一种智能协议解析方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101442518A (zh) | 2009-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101399710B (zh) | 一种协议格式异常检测方法及系统 | |
CN106133740B (zh) | 日志分析系统 | |
CN104509034B (zh) | 模式合并以识别恶意行为 | |
CN106104556B (zh) | 日志分析系统 | |
CN108429753A (zh) | 一种快速特征匹配的工业网络DDoS入侵检测方法 | |
CN108092854B (zh) | 基于iec61375协议的列车级以太网设备的测试方法及装置 | |
CN106357622B (zh) | 基于软件定义网络的网络异常流量检测防御系统 | |
CN110224990A (zh) | 一种基于软件定义安全架构的入侵检测系统 | |
Barbosa et al. | Exploiting traffic periodicity in industrial control networks | |
Liu et al. | Correlating multi-step attack and constructing attack scenarios based on attack pattern modeling | |
CN107770174A (zh) | 一种面向sdn网络的入侵防御系统和方法 | |
CN101119241A (zh) | 一种基于状态检测的协议异常检测方法及系统 | |
CN112199276B (zh) | 微服务架构的变更检测方法、装置、服务器及存储介质 | |
CN110336789A (zh) | 基于混合学习的Domain-flux僵尸网络检测方法 | |
CN109391624A (zh) | 一种基于机器学习的终端接入数据异常检测方法及装置 | |
CN113285916B (zh) | 智能制造系统异常流量检测方法及检测装置 | |
CN104866766A (zh) | 一种针对cpu内部隐藏指令型硬件木马的检测方法 | |
Zali et al. | Real-time attack scenario detection via intrusion detection alert correlation | |
CN112948821A (zh) | 一种apt检测预警方法 | |
CN101442518B (zh) | 一种用于异常检测的协议解析方法及系统 | |
CN102647302A (zh) | 一种针对集群节点网络及端口的监控与管理方法 | |
CN108304276A (zh) | 一种日志处理方法、装置及电子设备 | |
CN107896229A (zh) | 一种计算机网络异常检测的方法、系统及移动终端 | |
CN101453320B (zh) | 一种服务识别方法及系统 | |
CN101719906A (zh) | 一种基于蠕虫传播行为的蠕虫检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111228 Termination date: 20171122 |
|
CF01 | Termination of patent right due to non-payment of annual fee |