CN1694411A - 具有二级决策内核的网络入侵检测系统及其报警优化方法 - Google Patents
具有二级决策内核的网络入侵检测系统及其报警优化方法 Download PDFInfo
- Publication number
- CN1694411A CN1694411A CN 200410009351 CN200410009351A CN1694411A CN 1694411 A CN1694411 A CN 1694411A CN 200410009351 CN200410009351 CN 200410009351 CN 200410009351 A CN200410009351 A CN 200410009351A CN 1694411 A CN1694411 A CN 1694411A
- Authority
- CN
- China
- Prior art keywords
- decision
- warning
- network
- kernel
- knowledge base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明提出了一种具有二级决策内核的网络入侵检测系统及其报警优化方法,并结合二级决策内核进行了报警优化技术的实现。报警优化机制主要包含两步,第一步是设计并实现了一种基于报警缓冲池的报警过滤算法,对原始报警数据进行过滤,过滤掉重复报警和滥报警数据;第二步对过滤后的报警数据利用关联技术与网络系统知识库进行关联、分析,以此剔除由于入侵上下文不符而导致的误报警数据,并利用漏洞扫描技术对网络系统知识库进行及时维护和更新,以保证关联效果。结合上述二级决策体系结构实现的报警优化技术能够有效的减少误报和滥报现象,改善了检测效果,具有较强的实用价值。
Description
技术领域
本发明涉及一种网络入侵检测系统,特别涉及一种具有二级决策内核的网络入侵检测系统,也涉及到该网络入侵检测系统所采用的报警优化方法,属于网络安全技术领域。
背景技术
随着互联网使用日益普及,人们开始越来越重视网络安全问题。作为应对网络入侵的有效手段,入侵检测系统(Intrusion DetectionSystem,简称IDS系统)在网络安全防护体系中发挥着重要的作用。
现有的入侵检测系统主要包括基于网络的入侵检测系统(Network-based IDS,简称NIDS)和基于主机的入侵检测系统(Host-based IDS,简称HIDS),其中NIDS根据被监控网络中的数据包内容检测入侵,HIDS则对系统审计日志和操作系统进程等主机系统中的信息进行分析来检测入侵。从检测技术来看,入侵检测系统主要有异常检测和误用检测两类,其中异常检测通过识别任何违反正常情况的行为检测入侵,它可以检测未知的攻击,但容易产生高误报率;而误用检测明确定义攻击的特征,通过将检测数据与攻击特征匹配来检测入侵,有较高的准确率,但只能检测规则定义的已知攻击。
现有的入侵检测系统虽然在网络安全防护中发挥了重要作用,但仍存在一些较严重的技术问题,影响了入侵检测系统的实际使用效果,其中报警不准确(如误报、漏报)和报警方式不妥当(如滥报)的问题尤为突出。另外,近年来出现了许多逃避检测的攻击技术和专门针对IDS进行DOS攻击的软件工具如Stick、Snot等,使上述问题显得尤为突出。因此,如何减少误报、漏报和滥报,提高IDS工作的有效性(effectiveness)就成为当前入侵检测领域的核心研究课题之一。
在现有的研究工作中,已经提出了许多检测技术和方法来提高IDS的有效性,准确地检测入侵,主要的有以下几类:(1)利用对网络协议数据的特殊处理技术避免检测的差错,如在Snort系统中采用了IP碎片重组、TCP会话重构等技术以检测包含在多个连续碎片或报文中的攻击,RealSecure系统集成了BlackICE的协议分析技术,通过进一步分析应用协议的语义信息可以避免许多由于模式匹配技术的缺陷导致的误报和漏报;(2)加强对入侵的描述能力以提高检测的准确率,典型的如NFR的N-Code规则描述语言,N-Code语言提供了变量、运算符、语句、函数、异常处理等丰富的语言特性,可以更加精确的描述入侵的特征及处理方式,通过这种功能特性,避免由于对入侵描述不准确造成的检测错误;(3)利用特殊的检测算法进行检测,如UC Davis研制的GrIDS系统通过构建网络活动图完成大型网络环境下的入侵检测功能;在SRI的EMEARLD系统中,将基于攻击知识库的专家系统和基于概率统计的异常检测算法相结合;Minnesota大学的MINDS项目中将基于数据挖掘的异常检测同特征检测进行结合;中国发明专利申请03137094.2所揭示的在事件分析模块中增设由相关特征分析器、数据重组器和大类轮廓分析器构成的对初始化数据流进行相关特征分析、提取和重组的构件来替代原来的攻击轮廓分析器,从而构成一种新的层次入侵检测系统等。还有的研究项目中采用神经网络、免疫算法等技术进行异常检测算法的研究。这些工作虽然具备能够检测未知入侵的优点,但仍然存在误报率较高等缺陷。
本专利发明人深入分析了现有IDS系统的特征,发现它们基本上都属于单级决策内核结构,即入侵分析结果只经过一个决策内核进行处理。不同的IDS系统虽然形式上存在差别,但都有一个逻辑上明确界定的决策内核,它通过特定的检测算法对源数据进行分析并决定是否进行入侵报警,报警的准确程度完全取决于决策内核中分析算法的逻辑能力,虽然研究人员已经采取了各种技术措施来提高分析算法的准确性,但其报警准确率不高仍然是一个严重的问题。
发明内容
本发明的目的在于提出一种新型的网络入侵检测系统,它具有二级决策内核,各级决策内核采用不同的分析算法,从而有效避免了现有单一分析算法的缺陷,减少了误报和滥报现象,改善了检测效果。
本发明的另外一个目的在于提供一种该网络入侵检测系统所采用的报警优化方法。
为实现上述的发明目的,本发明采用下述的技术方案:
一种网络入侵检测系统,包括数据源、报警数据库和管理控制台,其特征在于:
所述网络入侵检测系统具有两级决策内核,所述两级决策内核所采用的决策算法不相同。
所述两级决策内核中,其中第一级决策内核与所述数据源相连接,其结果输送给第二级决策内核,所述第二级决策内核与所述报警数据库相连接。
所述第一级和第二级决策内核分别分布在不同的主机上,彼此之间通过报警代理进行通信。
所述第一级决策内核的报警代理用单独的进程实现,该进程与该决策内核所在的网络入侵检测进程之间利用共享内存的方式进行传递报警信息的通信。
所述两级决策内核分为通信模块、主控模块、决策模块和输出模块,所述决策模块分为过滤器、分析器、关联器和知识库;所述检测系统还具有检测引擎和漏洞扫描器,所述检测引擎连接所述通信模块,所述通信模块经过所述过滤器和分析器将数据传送给所述关联器,所述漏洞扫描器通过所述知识库也将数据传送给所述关联器,所述关联器将优化后的报警数据传送给所述输出模块,所述输出模块将数据传送给所述管理控制台和报警数据库。
如上所述的网络入侵检测系统所采用的报警优化方法,其特征在于包括如下步骤:
a)通过一种基于报警缓冲池的报警过滤算法对原始报警数据进行过滤,过滤掉重复报警和滥报警数据;
b)对过滤后的报警数据利用关联技术与网络系统知识库进行关联、分析,以此剔除由于入侵上下文不符而导致的误报警数据,并利用漏洞扫描技术对网络系统知识库进行及时维护和更新。
其中,所述步骤a)包括如下子步骤:
(1)开始;
(2)获得互斥锁;
(3)是否处于特殊处理状态?
(4)如果是,进入大量报警的特殊处理状态,释放互斥锁并结束;如果否,则将报警信息与报警池中信息进行匹配,转入步骤(5);
(5)是否有重复报警?
(6)如果是,进行重复报警处理,转入步骤(7);如果否,直接进入步骤(7);
(7)将报警数据写入报警池;
(8)是否有大量报警?
(9)如果是,向控制台发出报告,重置超时定时器,转入步骤(10);如果否,直接进入步骤(11);
(10)进入大量报警的特殊处理状态;
(11)释放互斥锁;
(12)结束。
所述步骤b)还包括如下子步骤:
(1)根据报警信息查找入侵规则库,找出报警对应的通用漏洞披露值;
(2)根据通用漏洞披露值查找漏洞扫描插件库,找出对应的扫描器插件标识;
(3)查找网络系统知识库,匹配关联扫描器插件标识;
(4)是否匹配且未过期?
(5)如果匹配成功且没有知识库没有过期,则关联成功,输出报警并结束;如果匹配成功但知识库过期,或者匹配不成功,则转入步骤(6);
(6)用关联扫描器插件标识向目标机发起扫描;
(7)用扫描器扫描结果更新知识库;
(8)转入步骤(3),重新对扫描插件标识进行匹配,如匹配成功则关联成功,否则关联失败。
所述步骤b)中,所述知识库的更新过程包括如下步骤:
(1)定义一个知识过期时间间隔值;
(2)系统启动时先清空知识库,然后启动对知识库中已有的目标机进行一次漏洞扫描,同时用扫描的结果初始化知识库;
(3)每次关联时如果在知识库中找不到匹配项或者能匹配成功但是信息时间戳超过时间间隔值,则再发起扫描,用扫描结果更新知识库。
本发明所述的基于二级决策内核的网络入侵检测系统及其采用的报警优化方法具有如下的优点:
●可以同时在两级决策内核中采取改进检测效果的措施,结构更加灵活,易于扩展;
●可以针对第一级决策内核分析算法存在的问题对二级内核的过滤分析算法进行设计,有针对性的改善检测和报警效果;
●在分布式入侵检测的应用场景下,二级内核可以对多个检测引擎的分析结果进行全局性的分析,可以利用网络拓扑、应用部署信息等单个检测引擎所未知的知识进行报警信息的再分析、过滤,改善报警效果;
●由于有了报警代理这样的专门处理报警信息的逻辑实体,使得对报警信息进行格式转化、加解密等处理非常易于实现,并且系统体系结构更加清晰。
附图说明
下面结合附图和具体实施方式对本发明作进一步的说明。
图1为现有入侵检测系统的结构示意图。
图2为本发明所述的具有二级决策内核的网络入侵检测系统的结构图。
图3为基于上述二级决策内核的基本原理研制出的网络入侵检测系统的体系结构图。
图4为分布式二级决策内核的结构图。
图5为在分布式检测环境下的分布式二级决策内核结构的部署方式的一个实施例。
图6为报警缓冲池的示意图。
图7为报警过滤算法的实现流程图。
图8为知识库的逻辑结构图。
图9为报警关联和知识库更新的机制示意图。
图10为报警关联和知识库更新过程的流程图。
具体实施方式
如图1所示,任何一个入侵检测系统至少应该具有数据源、决策内核、报警数据库和管理控制台。无论入侵检测系统所执行的分析算法为何,它执行入侵检测功能的流程都是采集数据源、决策内核进行分析、报警输出和响应。因此,上述的结构图对现有的入侵检测系统都是普遍适用的。
图2为本发明所述的具有二级决策内核的网络入侵检测系统的结构图。它在图1所示系统的基础上引入第二级决策内核,即该系统具有两个决策内核,依次分为A与B两个部分,其中A完成传统的检测功能,B中对A产生的报警信息从不同的角度进行进一步分析和过滤,以提高网络入侵检测系统检测入侵的准确率,我们称这种系统结构为二级决策内核结构。
本发明所述的网络入侵检测系统不是单纯地在系统中增加一个决策内核。为了真正起到提高检测准确率的作用,在本发明所述的系统中,决策内核B中的决策分析逻辑应从与内核A中不同的角度进行。
即,一方面,它应从更高级、更综合的角度对报警信息进行分析决策。在大多数误用检测IDS系统中,内核A的决策算法通常是根据入侵规则库中的攻击特征信息,利用模式匹配技术或者协议分析技术进行检测分析,如果发现符合攻击特征的数据就进行报警。在决策内核B中,分析算法就没有必要再根据入侵规则进行重复匹配,而应从报警信息的频率、重复性、网络拓扑结构和应用部署信息等方面进行总体性的分析、综合,过滤掉错误的报警信息或者合并冗余报警信息,提高报警的准确率,并减少过多的滥报,为系统管理员提供综合、更有价值的信息而不是散乱的、各自独立的报警事件。
另一方面,在二级决策内核中,还可以利用其它的安全技术获得相关信息进行辅助决策。比如可以根据一级内核产生的报警所关联的安全漏洞信息,实时的调用漏洞扫描系统对攻击目标系统的漏洞情况进行验证,检查目标主机对该攻击是否敏感,通过这种方式可以消除许多对发生在错误上下文(context)中的入侵的误报警;同时,还可以即时获取相关的系统日志、防火墙日志等信息以辅助进行更准确的决策。
图3所示为本专利发明人基于上述二级决策内核的基本原理研制出的网络入侵检测系统的体系结构图。如图3所示,其中空心箭头表示数据的流向,黑色细箭头表示控制操作,黑色粗箭头特指优化后的报警数据流向。检测引擎、管理控制台和报警数据库是通用的入侵检测系统所共有的。二级决策内核和漏洞扫描器是为报警优化而新增的,二级决策内核系统从逻辑上被分成了通信模块、主控模块、决策模块和输出模块四个部分。其中通信模块负责与检测引擎进行通信,接收原始报警数据;决策模块负责对原始报警数据进行过滤、关联等优化处理;主控模块负责二级决策内核的启动、配置和管理;输出模块负责最终报警数据的输出。漏洞扫描器通过收集目标主机的漏洞信息对知识库进行创建、维护及更新,为报警的关联提供依据。上述系统即实现了上面提出的二级决策内核结构,并结合二级决策内核进行了报警优化技术的实现。
必须指出,虽然二级决策内核系统结构为改善报警效果带来了很大的灵活性,但由于第二级决策内核的引入会导致处理量的增加,可能会影响系统整体的运行效率。为了克服这个缺点,如图4所示,我们进一步给出下面的分布式二级决策内核结构。
该结构在图2的结构基础上,增加了两个报警代理部件,同时将两个虚框内的部分分布在不同的机器上部署,将决策内核B的处理工作由另一台主机承担,从而消除二级决策内核给系统带来的性能损耗;同时为了避免决策内核A在报警时等待网络通讯的时延,可以将左边虚框内的负责网络通讯的报警代理用单独的进程实现,该进程与决策内核A所在的网络入侵检测进程之间可以利用共享内存方式进行传递报警信息的通信,以提高运行效率。由于决策内核B只对内核A产生的比源数据量要少的多的报警信息进行处理,因此不存在性能上的问题。象图4中所示的这种,两级决策内核分布在不同主机上、利用报警代理通过网络完成两级内核间通讯的结构,我们称为分布式二级决策内核结构。
进一步的,上述结构可以很容易地进行扩展,以适应大规模分布式网络入侵检测环境中的应用,图5即为在分布式检测环境下的分布式二级决策内核结构的部署方式的一个实施例。在该实施例中,分布在多个检测引擎中的决策内核通过各自的报警代理实现连接,并同时连接一个二级决策内核。由该内核对多个检测引擎经过一级决策后的报警数据进行综合分析和关联,从而能够在减少错误报警的同时,更利于发现网络整体范围内发起的、单个检测引擎无法发现的入侵。
本发明不仅提供了上述基于二级决策内核的网络入侵检测系统,还提供了该系统所采用的特有的报警优化方法。下面对此将进行详细说明。
在开发本系统的过程中,我们发现采用现有入侵检测系统所采用的特征检测技术存在两种典型的产生误报或滥报的情况,分别说明如下:
当利用象Stick、Snot这样的专门针对NIDS的攻击工具向IDS监控的网络发送具有不同攻击特征的报文时,IDS系统会在很短的时间内产生大量的报警(这些报警信息往往是不同的,并不重复),导致报警拥塞甚至系统停止运行。这种情况下,虽然数据包是具有攻击特征的,但它所代表的攻击场景并没有真正发生,因此不会对网络造成实际攻击效果,而入侵检测系统却无法判断这点,认为这些攻击已经真正发生了,因而属于误报警的情况。我们将这种情况称为局部泛洪报警。
在发生网络扫描或者某些方式的DOS攻击(如Ping flood、smurf等)时,会重复性的出现大量具有相同入侵特征的数据报文,由于入侵检测系统对这些情况只能通过监视数据报文的简单特征进行判断,此时会在短时间内产生大量的重复性报警信息,将其它的报警淹没,使管理员无法做出客观的判断和分析,严重降低了系统的实用性。这种情况下虽然报警信息是正确的,不是误报,但短时间内大量的重复性报警会严重影响系统的实用性能,属于滥报的情况。我们称这种情况为局部重复报警。
为了解决上述特征检测技术所存在的问题,本发明提出了一种适合于本具有二级决策内核的网络入侵检测系统的报警优化方法。该方法包含两个步骤,第一步是通过一种基于报警缓冲池的报警过滤算法对原始报警数据进行过滤,过滤掉重复报警和滥报警数据;第二步是对过滤后的报警数据利用关联技术与网络系统知识库进行关联、分析,以此剔除由于入侵上下文不符而导致的误报警数据,并利用漏洞扫描技术对网络系统知识库进行及时维护和更新,以保证关联效果。
下面对这两个步骤的实现过程分别加以说明。
如图6所示,为了识别局部泛洪报警和局部重复报警的现象并进行相应的过滤处理,我们设计了一个报警缓冲池AlertPool,在缓冲池中完成所有的过滤操作,过滤之后的报警信息才真正进行报警。在图中,缓冲池中的每一个节点表示与一次报警相关的信息,为提高操作效率,以报警信息的源地址作为依据将节点组织为不同的报警信息队列,即任意一个队列中的所有节点代表的报警都来自同一个源主机。其中AlertNode节点中包含报警消息和引起报警的攻击数据包的详细信息,AlertQueue结构包含队列的整体性信息,如队列长度、最后更新时间等。
在上述方法中,对报警缓冲池的主要处理可以抽象为两类:一类是按照一定的规则向缓冲池中添加新的节点,另外一类是对节点进行相应的过滤后从池中清除节点。在实现过程中,我们采用了以下的关键技术:
(1)采用多线程技术实现局部重复报警和局部泛洪报警信息的过滤操作及缓冲池的清理工作,以提高对随机报警信息的处理效率;
(2)为提高报警的效率,采用共享内存机制实现一级决策内核与报警代理进程之间的报警信息通信;
(3)将报警缓冲池视为多线程间的共享资源,采用互斥锁技术对多线程操作共享资源进行同步,以避免出现冲突;
(4)使用定时器技术,定时启动用来清理报警池及进行状态管理的操作。
上述的多线程技术、共享内存机制、互斥锁技术和定时器技术等都是现有计算机技术中常用的技术手段,在此就不一一解释了。
上述报警过滤算法的实现流程如图7所示,包括如下子步骤:
(1)开始;
(2)获得互斥锁alert_lock;
(3)是否处于特殊处理状态?
(4)如果是,进入大量报警的特殊处理状态,释放互斥锁alert_lock并结束;如果否,则将报警信息与报警池中信息进行匹配,转入步骤(5);
(5)是否有重复报警?
(6)如果是,进行重复报警处理,转入步骤(7);如果否,直接进入步骤(7);
(7)将报警数据写入报警池;
(8)是否有大量报警?
(9)如果是,向console(控制台)发出报告,重置超时定时器,转入步骤(10);如果否,直接进入步骤(11);
(10)进入大量报警的特殊处理状态;
(11)释放互斥锁alert_lock;
(12)结束。
另外,在入侵检测系统的实际应用中,具有攻击特征的网络流量出现在不正确的上下文当中是一种重要的产生误报警的场景。为了消除这类误报警,我们将报警信息与一个包含网络系统服务、漏洞信息的知识库进行关联,如果关联成功即攻击所针对的系统漏洞的确存在,则说明攻击活动将给系统带来破坏,应立即给出报警,否则说明攻击针对的漏洞不存在,不会真正给系统带来破坏,因此报警信息是误报警,应该过滤掉。为保证网络系统知识库的准确性和客观性,我们利用漏洞扫描器对知识库进行动态创建、维护和更新。
知识库信息对报警信息关联来说是关键的,因为关联算法的关联内容来自于知识库,因此知识库的内容、创建及更新机制是知识库设计的关键问题。知识库的存放在系统中采用数据库表的形式实现,其逻辑结构如图8所示,包括主机信息和服务信息两部分。
知识库存储的是目标机的安全漏洞相关信息,而漏洞信息反映的是一些软件配置、状态等信息,由于软件是可以随时更新的,因此知识库也应该是随之更新的,这样才能准确的反映目标机的状态。知识库的更新过程如下所示:
a)定义一个知识过期时间间隔值T,这是可以在命令行中编辑的;
b)系统启动时先清空知识库,然后启动对知识库中已有的目标机进行一次漏洞扫描,同时用扫描的结果初始化知识库;
c)每次关联时如果在知识库中找不到匹配项或者能匹配成功但是信息时间戳超过时间间隔值,则再发起扫描,用扫描结果更新知识库。
通过上述的知识库更新过程,可以充分保证报警关联结果的及时、准确性。
整体而言,报警关联和知识库更新的机制如图9所示,其具体的实现过程如图10所示,包括如下步骤:
(1)根据报警信息查找入侵规则库,找出报警对应的CVE(CommonVulnerabilities and Exposures,通用漏洞披露)值;
(2)根据CVE值查找漏洞扫描插件库,找出对应的扫描器插件标识;
(3)查找网络系统知识库,匹配关联扫描器插件标识;
(4)是否匹配且未过期?
(5)如果匹配成功且没有知识库没有过期,则关联成功,输出报警并结束;如果匹配成功但知识库过期,或者匹配不成功,则转入步骤(6);
(6)用关联扫描器插件标识向目标机发起扫描;
(7)用扫描器扫描结果更新知识库;
(8)转入步骤(3),重新对扫描插件标识进行匹配,如匹配成功则关联成功,否则关联失败。
本发明所述的具有二级决策内核的网络入侵检测系统及其报警优化方法不仅在理论上可行,通过实验验证也取得了令人满意的效果,下面简要介绍如下:
实验环境为:100M的共享局域网,由5台主机承担实验任务:其中两台主机分别运行两个检测引擎(一级决策内核),一台主机运行管理控制台,一台主机运行二级决策内核兼作报警数据库服务器,一台运行测试工具软件,详细配置如下:
■检测引擎的运行在192.168.1.175,192.168.1.217主机上,RedHat Linux 7.2操作系统,Pentium IV 1G CPU,512M内存;
■二级决策内核和报警数据库服务器运行在192.168.1.136主机上,Redhat Linux 9.0操作系统,Pentium IV 1G CPU,512M内存;
■攻击测试软件(Nmap,PacketSender,snot等)运行在192.168.1.219主机上,RedHat Linux 7.2操作系统,Pentium III 700CPU,512M内存;
■管理控制台运行在192.168.1.124主机上,Win2000Professional操作系统,Pentium III 700CPU,512M内存。
实验1:
为了测试二级决策内核中过滤算法的实际处理效果,我们分别用下面的方法模拟局部重复报警和局部泛洪报警的情况:
1)利用NMAP扫描器对某主机进行特定类型的扫描,在短时间内产生大量相同类型的数据报文,导致检测引擎出现局部重复报警;
2)利用自行开发的发包工具PackerSender向某主机发送指定数量和攻击特征的数据报文,模拟局部重复报警的情况;
3)用snot作为攻击工具向检测引擎发起DOS攻击,短时间内发送大量、具有不同攻击特征的数据报文,导致检测引擎出现局部泛洪报警。
利用上面的攻击模拟方法分别对引入二级决策内核前后的网络入侵检测引擎进行测试并对报警情况进行检查,验证二级决策内核对上面两种情况的过滤效果。
实验结果如表1所示:
测试场景 | 报警情况 | |
引入前 | 引入后 | |
用Nmap对主机192.168.1.124进行UDP类型扫描(对应-sU选项) | 7秒钟内产生344条端口不可达报警数据,严重影响控制台的分析清晰度 | 只产生一条报警信息,指出出现局部重复报警,可详细查看引起报警的ICMP通知报文 |
用packetsender发送200个源地址、端口分别与目的地址、 | 产生168条land攻击报警信息,管理控制台报警查看界面出现 | 只有1条综合后的报警信息,指出发生局部重复报警,可进一 |
端口相同的land攻击数据包 | 满屏重复报警 | 步查看引起报警的所有数据包详细信息 |
利用snort1.8.6的规则文件作为snot的输入,连续发送200个不同攻击特征的数据包 | 在1秒钟内出现176条不同的报警信息,造成管理控制台报警查看界面瞬间出现满屏 | 共出现10条报警信息,最后一条报警指出发生局部大量报警,可进一步查看引起报警的所有数据包详细信息 |
表1二级决策内核引入前和引入后对比
由于不同测试场景中的攻击数据报文都在较短的集中时间内(<30秒)发送完毕(这也反映了发生局部重复和局部泛洪报警时的通常的实际情况),因此二级决策内核中过滤算法的过滤效果极好,在没有遗漏对任何攻击信息的检测的同时简化、综合了对局部重复报警和局部泛洪报警的处理信息,很大程度上提高了检测引擎自身的健壮性和对系统管理员的友好、易用性,检测效果有明显改进。
实验2:
利用Nessus扫描器选定系列针对Unix系统的攻击方式向运行Windows系统的主机发起扫描攻击,再选定系列针对Windows系统的攻击方式向运行Unix系统的主机发起扫描攻击,检验协同关联技术的误报警过滤效果。
对于两种不同的测试场景,实验结果如表2所示:
场景 | 发起攻击情况 | 目标机平台 | 引入前 | 引入后 | ||
报警 | 误报 | 报警 | 误报 | |||
测试1 | 8次Unix攻击 | Windows2000 | 8 | 8 | 0 | 0 |
测试2 | 8次Windows攻击 | Red HatLinux7.2 | 8 | 8 | 0 | 0 |
可见,对于出现在不正确的上下文信息中的入侵报警,在二级决策内核中部署的协同关联技术能够很好的进行过滤,避免了相当数量的误报警的出现。
实验3:
为了测试由于二级决策内核的引入带来的报警延迟,我们先使用时钟同步工具同步检测引擎和二级决策内核的系统时钟,然后在检测引擎发出原始报警时记下起始时间,在二级决策内核发出真正的报警通知时记下终止时间,二者的差值即为时间延迟。实验在网络正常负荷和满负荷两种情况下分别进行测试,使用PacketSender发送数据包来模拟网络满负荷的情况。
对于两种场景分别测十组数据计算平均值,实验结果如表3所示:
实验序号 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 平均值(秒) |
正常负荷(秒) | 1 | 0.5 | 1 | 1 | 1 | 0.5 | 1 | 1 | 0.5 | 1 | 0.85 |
满负荷(秒) | 1 | 1 | 1 | 0.5 | 1 | 1 | 1 | 1 | 1 | 0.5 | 0.9 |
表3报警时间延迟
在两种网络负荷状态下的报警延迟平均值均小于1秒,基本上不会造成系统报警实时性上的延迟问题。
上述实验结果表明,我们提出的具有二级决策内核的网络入侵检测系统及其报警优化方法能够有效地减少误报和滥报现象,极大地提高了网络入侵检测系统的实用性。
上面结合具体实施方式对本发明进行了说明,但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说,在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。
Claims (9)
1.一种网络入侵检测系统,包括数据源、报警数据库和管理控制台,其特征在于:
所述网络入侵检测系统具有两级决策内核,所述两级决策内核所采用的决策算法不相同。
2.如权利要求1所述的网络入侵检测系统,其特征在于:
所述两级决策内核中,其中第一级的决策内核与所述数据源相连接,其结果输送给第二级的决策内核,所述第二级决策内核与所述报警数据库相连接。
3.如权利要求2所述的网络入侵检测系统,其特征在于:
所述第一级和第二级决策内核分别分布在不同的主机上,彼此之间通过报警代理进行通信。
4.如权利要求3所述的网络入侵检测系统,其特征在于:
所述第一级决策内核的报警代理用单独的进程实现,该进程与该决策内核所在的网络入侵检测进程之间利用共享内存的方式进行传递报警信息的通信。
3.如权利要求1所述的网络入侵检测系统,其特征在于:
所述两级决策内核分为通信模块、主控模块、决策模块和输出模块,所述决策模块分为过滤器、分析器、关联器和知识库;所述检测系统还具有检测引擎和漏洞扫描器,所述检测引擎连接所述通信模块,所述通信模块经过所述过滤器和分析器将数据传送给所述关联器,所述漏洞扫描器通过所述知识库也将数据传送给所述关联器,所述关联器将优化后的报警数据传送给所述输出模块,所述输出模块将数据传送给所述管理控制台和报警数据库。
6.如权利要求1所述的网络入侵检测系统所采用的报警优化方法,其特征在于包括如下步骤:
a)通过一种基于报警缓冲池的报警过滤算法对原始报警数据进行过滤,过滤掉重复报警和滥报警数据;
b)对过滤后的报警数据利用关联技术与网络系统知识库进行关联、分析,以此剔除由于入侵上下文不符而导致的误报警数据,并利用漏洞扫描技术对网络系统知识库进行及时维护和更新。
7.如权利要求6所述的报警优化方法,其特征在于:
所述步骤a)包括如下子步骤:
(1)开始;
(2)获得互斥锁;
(3)是否处于特殊处理状态?
(4)如果是,进入大量报警的特殊处理状态,释放互斥锁并结束;如果否,则将报警信息与报警池中信息进行匹配,转入步骤(5);
(5)是否有重复报警?
(6)如果是,进行重复报警处理,转入步骤(7);如果否,直接进入步骤(7);
(7)将报警数据写入报警池;
(8)是否有大量报警?
(9)如果是,向控制台发出报告,重置超时定时器,转入步骤(10);如果否,直接进入步骤(11);
(10)进入大量报警的特殊处理状态;
(11)释放互斥锁;
(12)结束。
8.如权利要求6所述的报警优化方法,其特征在于:
所述步骤b)包括如下子步骤:
(1)根据报警信息查找入侵规则库,找出报警对应的通用漏洞披露值;
(2)根据通用漏洞披露值查找漏洞扫描插件库,找出对应的扫描器插件标识;
(3)查找网络系统知识库,匹配关联扫描器插件标识;
(4)是否匹配且未过期?
(5)如果匹配成功且没有知识库没有过期,则关联成功,输出报警并结束;如果匹配成功但知识库过期,或者匹配不成功,则转入步骤(6);
(6)用关联扫描器插件标识向目标机发起扫描;
(7)用扫描器扫描结果更新知识库;
(8)转入步骤(3),重新对扫描插件标识进行匹配,如匹配成功则关联成功,否则关联失败。
9.如权利要求6所述的报警优化方法,其特征在于:
所述步骤b)中,所述知识库的更新过程包括如下步骤:
(1)定义一个知识过期时间间隔值;
(2)系统启动时先清空知识库,然后启动对知识库中已有的目标机进行一次漏洞扫描,同时用扫描的结果初始化知识库;
(3)每次关联时如果在知识库中找不到匹配项或者能匹配成功但是信息时间戳超过时间间隔值,则再发起扫描,用扫描结果更新知识库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2004100093515A CN100372296C (zh) | 2004-07-16 | 2004-07-16 | 具有二级决策内核的网络入侵检测系统及其报警优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2004100093515A CN100372296C (zh) | 2004-07-16 | 2004-07-16 | 具有二级决策内核的网络入侵检测系统及其报警优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1694411A true CN1694411A (zh) | 2005-11-09 |
CN100372296C CN100372296C (zh) | 2008-02-27 |
Family
ID=35353222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004100093515A Expired - Fee Related CN100372296C (zh) | 2004-07-16 | 2004-07-16 | 具有二级决策内核的网络入侵检测系统及其报警优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100372296C (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833590A (zh) * | 2009-03-11 | 2010-09-15 | 新思科技有限公司 | 使用简化网表来生成布图规划的方法和设备 |
CN102223267A (zh) * | 2011-06-17 | 2011-10-19 | 北京电子科技学院 | 一种ids的检测方法及检测设备 |
CN102436720A (zh) * | 2011-09-28 | 2012-05-02 | 清华大学 | 一种基于数据过滤的重复报警处理方法 |
CN104091116A (zh) * | 2014-06-30 | 2014-10-08 | 珠海市君天电子科技有限公司 | 监控网站漏洞信息的方法、装置及终端 |
CN104158677A (zh) * | 2013-05-15 | 2014-11-19 | 北京捷诺视讯数码科技有限公司 | 一种安全状态分析报警模块及系统和方法 |
CN104462981A (zh) * | 2013-09-12 | 2015-03-25 | 深圳市腾讯计算机系统有限公司 | 漏洞检测方法及装置 |
CN106713038A (zh) * | 2016-12-28 | 2017-05-24 | 中国银联股份有限公司 | 一种远程传输线路质量检测方法及系统 |
CN107145784A (zh) * | 2017-05-04 | 2017-09-08 | 腾讯科技(深圳)有限公司 | 一种漏洞扫描的方法、装置及计算机可读介质 |
US20180181747A1 (en) * | 2016-12-27 | 2018-06-28 | Mcafee, Inc. | Dynamic re-distribution of detection content and algorithms for exploit detection |
CN109309586A (zh) * | 2018-10-08 | 2019-02-05 | 山东衡昊信息技术有限公司 | 一种食品加工远程控制系统入侵检测方法 |
CN109861994A (zh) * | 2019-01-17 | 2019-06-07 | 安徽云探索网络科技有限公司 | 云侵的漏洞扫描方法及其扫描装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7096502B1 (en) * | 2000-02-08 | 2006-08-22 | Harris Corporation | System and method for assessing the security posture of a network |
GB2387681A (en) * | 2002-04-18 | 2003-10-22 | Isis Innovation | Intrusion detection system with inductive logic means for suggesting new general rules |
US7234166B2 (en) * | 2002-11-07 | 2007-06-19 | Stonesoft Corporation | Event sequence detection |
US7376732B2 (en) * | 2002-11-08 | 2008-05-20 | Federal Network Systems, Llc | Systems and methods for preventing intrusion at a web host |
CN1509003A (zh) * | 2002-12-20 | 2004-06-30 | 中联绿盟信息技术(北京)有限公司 | 一种局域网络未授权拨号接入监测的方法 |
-
2004
- 2004-07-16 CN CNB2004100093515A patent/CN100372296C/zh not_active Expired - Fee Related
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833590A (zh) * | 2009-03-11 | 2010-09-15 | 新思科技有限公司 | 使用简化网表来生成布图规划的方法和设备 |
CN101833590B (zh) * | 2009-03-11 | 2014-05-07 | 新思科技有限公司 | 使用简化网表来生成布图规划的方法和设备 |
CN102223267A (zh) * | 2011-06-17 | 2011-10-19 | 北京电子科技学院 | 一种ids的检测方法及检测设备 |
CN102223267B (zh) * | 2011-06-17 | 2014-04-09 | 北京电子科技学院 | 一种ids的检测方法及检测设备 |
CN102436720A (zh) * | 2011-09-28 | 2012-05-02 | 清华大学 | 一种基于数据过滤的重复报警处理方法 |
CN102436720B (zh) * | 2011-09-28 | 2013-07-03 | 清华大学 | 一种基于数据过滤的重复报警处理方法 |
CN104158677A (zh) * | 2013-05-15 | 2014-11-19 | 北京捷诺视讯数码科技有限公司 | 一种安全状态分析报警模块及系统和方法 |
CN104158677B (zh) * | 2013-05-15 | 2018-08-07 | 北京捷诺视讯数码科技有限公司 | 一种安全状态分析报警方法 |
CN104462981B (zh) * | 2013-09-12 | 2019-01-04 | 深圳市腾讯计算机系统有限公司 | 漏洞检测方法及装置 |
CN104462981A (zh) * | 2013-09-12 | 2015-03-25 | 深圳市腾讯计算机系统有限公司 | 漏洞检测方法及装置 |
CN104091116B (zh) * | 2014-06-30 | 2017-06-27 | 珠海市君天电子科技有限公司 | 监控网站漏洞信息的方法、装置及终端 |
CN104091116A (zh) * | 2014-06-30 | 2014-10-08 | 珠海市君天电子科技有限公司 | 监控网站漏洞信息的方法、装置及终端 |
US20180181747A1 (en) * | 2016-12-27 | 2018-06-28 | Mcafee, Inc. | Dynamic re-distribution of detection content and algorithms for exploit detection |
US10387642B2 (en) * | 2016-12-27 | 2019-08-20 | Mcafee, Llc | Dynamic re-distribution of detection content and algorithms for exploit detection |
US11347840B2 (en) * | 2016-12-27 | 2022-05-31 | Mcafee, Llc | Dynamic re-distribution of detection content and algorithms for exploit detection |
CN106713038A (zh) * | 2016-12-28 | 2017-05-24 | 中国银联股份有限公司 | 一种远程传输线路质量检测方法及系统 |
CN106713038B (zh) * | 2016-12-28 | 2019-12-06 | 中国银联股份有限公司 | 一种远程传输线路质量检测方法及系统 |
CN107145784A (zh) * | 2017-05-04 | 2017-09-08 | 腾讯科技(深圳)有限公司 | 一种漏洞扫描的方法、装置及计算机可读介质 |
CN107145784B (zh) * | 2017-05-04 | 2023-04-04 | 腾讯科技(深圳)有限公司 | 一种漏洞扫描的方法、装置及计算机可读介质 |
CN109309586A (zh) * | 2018-10-08 | 2019-02-05 | 山东衡昊信息技术有限公司 | 一种食品加工远程控制系统入侵检测方法 |
CN109309586B (zh) * | 2018-10-08 | 2022-08-19 | 济宁市东运农产品检测股份有限公司 | 一种食品加工远程控制系统入侵检测方法 |
CN109861994A (zh) * | 2019-01-17 | 2019-06-07 | 安徽云探索网络科技有限公司 | 云侵的漏洞扫描方法及其扫描装置 |
Also Published As
Publication number | Publication date |
---|---|
CN100372296C (zh) | 2008-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106790186B (zh) | 基于多源异常事件关联分析的多步攻击检测方法 | |
EP1995929B1 (en) | Distributed system for the detection of eThreats | |
CN101399658B (zh) | 一种安全日志分析方法及系统 | |
EP1495616B1 (en) | Detecting and countering malicious code in enterprise networks | |
Kruegel et al. | Alert verification determining the success of intrusion attempts | |
CN110149350A (zh) | 一种告警日志关联的网络攻击事件分析方法及装置 | |
US20070300300A1 (en) | Statistical instrusion detection using log files | |
US20050278178A1 (en) | System and method for intrusion decision-making in autonomic computing environments | |
Ning et al. | Correlating alerts using prerequisites of intrusions | |
Chen et al. | Worm epidemics in high-speed networks | |
CN1578227A (zh) | 一种动态ip数据包过滤方法 | |
ES2429425A2 (es) | Método y sistema para detectar software malintencionado | |
CN1694411A (zh) | 具有二级决策内核的网络入侵检测系统及其报警优化方法 | |
Hu et al. | Attack scenario reconstruction approach using attack graph and alert data mining | |
CN1588880A (zh) | 基于聚类与关联的网络安全报警系统 | |
Hubballi et al. | Network specific false alarm reduction in intrusion detection system | |
CN103916288A (zh) | 一种基于网关与本地的Botnet检测方法及系统 | |
CN113645181B (zh) | 一种基于孤立森林的分布式规约攻击检测方法及系统 | |
CN112804204B (zh) | 一种基于大数据分析的智能网络安全系统 | |
CN1507233A (zh) | 一种坚固网关系统及其检测攻击方法 | |
Neelakantan et al. | A threat-aware signature based intrusion-detection approach for obtaining network-specific useful alarms | |
KR100707941B1 (ko) | 서비스거부 공격하에서 컴퓨터 클러스터 시스템의 생존성증대 방법 | |
Kdosha et al. | REMaDD: Resource-Efficient Malicious Domains Detector in Large-Scale Networks | |
Zamboni | Doing intrusion detection using embedded sensors | |
Bo et al. | A new approach for early detection of internet worms based on connection degree |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080227 Termination date: 20120716 |