CN113904881A - 一种入侵检测规则误报处理方法和装置 - Google Patents
一种入侵检测规则误报处理方法和装置 Download PDFInfo
- Publication number
- CN113904881A CN113904881A CN202111513344.9A CN202111513344A CN113904881A CN 113904881 A CN113904881 A CN 113904881A CN 202111513344 A CN202111513344 A CN 202111513344A CN 113904881 A CN113904881 A CN 113904881A
- Authority
- CN
- China
- Prior art keywords
- event
- rule
- events
- intrusion detection
- aggregation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
- G06F16/24556—Aggregation; Duplicate elimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及网络入侵检测领域,尤其涉及一种入侵检测规则误报处理方法和装置。方法包括如下步骤:入侵检测事件采集;事件预处理;入侵事件聚合;入侵事件合并;等价规则挖掘;知识库裁剪。本发明通过提出多种算法逐步分析入侵检测设备的事件,指导入侵检测设备规则集合的裁剪,实现大幅度降低入侵检测产品的误报,进而有效提高入侵检测系统的运行效率、提高系统的吞吐量、并能大大简化安全管理员的工作,从而保证网络的安全运行。
Description
技术领域
本发明涉及网络入侵检测领域,尤其涉及一种入侵检测规则误报处理方法和装置。通过提出多种算法逐步分析入侵检测设备的事件,指导入侵检测设备规则集合的裁剪,实现大幅度降低入侵检测产品的误报,进而有效提高入侵检测系统的运行效率、提高系统的吞吐量、并能大大简化安全管理员的工作,从而保证网络的安全运行。
背景技术
入侵检测系统 (IDS) 是一种基于规则签名的硬件设备或软件系统,广泛被用于检测恶意的网络行为,进而实现保护单台主机或大型计算机网络。基于签名的 IDS 系统对特定攻击定义规则签名,并尝试将这些规则与网络流量相匹配。若一个匹配被发现,则生产事件来表明发生了一次与特定规则签名对应的网络攻击。IDS 的检测技术研究一直在不断发展,以便创造强大而有效的规则签名技术,能够以用户可接受的准确率对系统中的网络活动进行分类。由于网络流量中的合法数据和攻击数据种类繁多且复杂,IDS产生的事件质量往往不足,误报占比较高,这几乎是所有安全厂商IDS产品的核心问题。随着网络带宽不断增加,网络攻击利益不断膨胀,使得数据的多样性和可变性不断增强,误报问题被进一步放大。这些误报可以认为是实际无害的事件却被IDS检测为攻击事件,主要包括同一会话威胁多次事件、错误配置导致事件、正常流量事件等。由于大量误报的存在,这导致IDS对攻击行为反应迟缓,增加安全管理人员的工作负担,严重影响了IDS发挥实际作用。
为了解决入侵检测设备的事件基数大、误报率高、大量的事件需要人工审核,给用户造成了极大的麻烦和不信任感。为了解决这些问题,当前的研究大致可以分为四类:(1)输入和输出数据关联,这种降低误报的方法是在传统IDS检测的基础上,增加了输入输出数据的关联分析和输出数据的异常检测。即存在异常/恶意输入数据,并不意味着有成功的入侵行为。例如,一个任意文件读取的HTTP请求,只有当它的响应体中包含那个文件的内容,才算是一个成功的入侵行为;(2)基于威胁模型,将常见的威胁分为三类,包括信息收集类(域名、IP、服务、端口扫描和漏洞扫描器等)、拒绝服务类(带宽、资源消耗)、程序/服务攻击(获取权限、数据库、Shell等等)。其中,程序/服务类型的攻击造成的损失最大,而拒绝服务类型的攻击内部威胁度最低,信息收集类型的攻击并不会立马带来什么损失。所以针对不同类型的攻击,应当给予不同的分数。同时,结合同一输入数据/类型攻击的事件数量,组成一个评分系统,再评估出一个合理的阈值,认为所有小于阈值的事件都是误报。基于威胁模型的方法是风险管理中常见的方法。(3)对威胁事件进行统计分析建模,通过分析结果反过来优化规则签名;(4)改进检测规则签名、算法、训练样本和模型,这是任重而道远的目标。
为了解决以上挑战,相关专利也提出了一些方案试图缓解或部分解决以上问题。发明CN108881145A,入侵检测规则优化方法、装置、电子设备及存储介质,提出获取以指定端口为过滤条件的初始的入侵检测规则;确定所述初始的入侵检测规则所对应的底层应用协议;取消指定端口的过滤条件,添加底层应用协议的过滤条件,以生成优化后的入侵检测规则。该发明本质上对检测规则签名的本身简单优化,进而避免入侵检测规则过于依赖于端口作为过滤条件可能会导致漏检情况的发生,降低了一定程度的漏报。发明CN108809926A,入侵检测规则优化方法、装置、电子设备及存储介质,提出根据所述目标位置和/或报文方向,对所述解析后的入侵检测规则进行优化。该发明本质上也是对检测规则签名的本身简单优化,是规则签名撰写时的技巧,降低签名本身的误报。发明CN108156165A,一种误报检测的方法以及系统,提出基于危险网站的识别结果,通过主动爬取等技术获取危险网站的多维信息,进而通过主动获取的信息对于检测结果进行二次判别,进而实现误报检测。CN104601565B,一种智能优化规则的网络入侵检测分类方法,发明提出利用量子粒子群算法对训练数据集进行聚类标注,然后利用C-支持向量机分类器(C-SVM)进行监督学习训练,进而实现的一种网络攻击检测的模型。
上述方法在网络入侵检测规则优化和降低误报方面做出了一定的贡献,但依然存在一些问题,即多数方法都是从规则签名或是检测技术本身出发进行优化,对于检测结果进行统计分析建模,反过来优化规则签名,进而达到降误报的技术鲜有提及。
为此,本发明提出了一种入侵检测规则误报处理方法和装置。
发明内容
为了解决上述技术问题,本发明提供了一种入侵检测规则误报处理方法和装置,并提出了面向事件聚合的EA算法、面向聚合事件合并的MEA算法和面向等价规则挖掘的ERM算法,进而通过事件聚合、合并和知识库裁剪等操作,实现最小化入侵检测系统的误报,精简入侵检测规则签名库规模,提高入侵检测设备的处理性能。
本发明是这样实现的,提供一种入侵检测规则误报处理方法,包括如下步骤:
1)入侵检测事件采集,利用数据采集组件获取多源IDS设备发送的实时事件和其他来源的离线IDS事件文件;
2)事件预处理,包括事件归一化和过滤,即按照事件规范格式对步骤1)中采集的入侵检测事件进行归一化,并且根据过滤策略对无关事件进行过滤;
3)入侵检测事件聚合,针对单个IDS设备的事件,提出针对事件聚合的EA算法,对指定时间窗口的事件进行聚合,将等价的事件聚合为一条聚合事件;
4)入侵检测事件合并,汇聚多源的IDS聚合事件,提出针对聚合事件合并的MEA算法,对指定时间窗口的聚合事件进行等价合并,将包含重复关键信息的事件合并为一条合并事件;
5)等价规则挖掘,针对步骤4)合并后的事件集合,提出ERM算法对其进行分析挖掘,生成等价规则集合和频繁规则集合;
6)知识库裁剪,利用多维度评价体系对等价规则集合和频繁规则集合进行评估,生成无效或低价值规则集合,并从知识库中将无效或低价值规则集合裁减掉。
优选地,步骤2)中,事件预处理阶段的输入来源于企业/组织机构为了保护不同部分的网络而在多个位置部署的网络入侵检测系统,即IDS。
进一步优选,步骤2)中,根据过滤策略对无关事件进行过滤,包括如下步骤:
201)过滤关键字段缺失、格式错误或内容错误的事件;
202)过滤明确的误报事件;
203)统计并过滤同一个会话,同一个规则ID,存在多条事件ID不同的事件;
204)用户不关注的事件类型。
进一步优选,步骤3)中,为减少事件数量又避免错过对用户有价值的事件,分别针对每台IDS设备产生的事件进行聚合分析,将指定时间窗口内的多条相同或相似的事件聚合为一条聚合事件。
进一步优选,步骤3)中,EA算法包括如下步骤:
301)按照时间窗口对事件集合进行分割,生成多个时间窗口事件集合;
302)对于每个时间窗口内的事件集合进行分析,按照产生事件的规则ID进行分组;
303)对于规则ID相同的事件集合,通过嵌套循环判断该集合内的任意两条事件是否等价,对等价的事件进行留一操作;
304)将时间窗口内的互为不等价事件集合增加到聚合事件集合,跳到步骤302);
305)跳到步骤301)。
进一步优选,步骤4)中,按照事件生成的时间顺序汇聚多源的IDS设备聚合事件,将指定时间窗口内的来自多个IDS设备的多条相同或相似的聚合事件合并为一条合并事件。
进一步优选,步骤4)中,MEA算法包括如下步骤:
401)对于来自多个IDS设备的聚合事件集合,分别按照时间窗口对聚合事件集合进行分割,生成多个时间窗口聚合事件集合;
402)定义两条聚合事件ea1,ea2等价函数,若ea1.value=ea2.value,则判定聚合事件ea1,ea2等价;
403)对时间窗口内的IDS聚合事件集合,利用查询时间复杂度为O(1)的布隆过滤器对聚合事件等价进行比较;
404)通过比较,将等价的聚合事件进行留一操作,最后将不互相不等价的聚合事件合并,返回合并事件集合。
进一步优选,步骤5)中,对于合并事件集合,利用ERM算法进行入侵检测规则进行等价分析和频繁分析,即利用ERM算法返回的入侵检测规则支持度和可信度,实现对入侵检测事件对应的规则频度和规则共现概率的评估,进而通过人工判断确定冗余规则和误报规则。
进一步优选,步骤5)中,ERM算法包括如下步骤:
501)初始化ERM算法参数;
505)遍历排序后的频繁规则项集,建立频繁模式树,为每一个频繁单序列集合寻找前缀路径,组成条件模式基,并建立条件频繁模式树;
507)对于等价规则候选项集,利用等价度评估算法分别获取频繁2规则序列项集的等价度,根据等价度传递机制和最小等价度阈值扩展到更多的k规则序列项集,最后,输出等价规则集合。
本发明还提供一种入侵检测规则误报处理装置,包括下列模块:
数据源模块:该模块包含部署在组织和机构不同网络位置的多台IDS设备和1台时间同步设备;
事件采集模块:利用数据采集程序获取多源IDS设备发送的实时事件和其他来源的离线IDS事件文件;
事件预处理模块:该模块包括事件归一化和过滤,即按照事件规范格式对事件进行归一化,并且根据过滤策略对无关事件进行过滤;
入侵规则挖掘模块,包括入侵事件聚合子模块、聚合事件合并子模块和等价规则挖掘子模块,其中,入侵事件聚合子模块的输入为单个IDS设备的事件,对指定时间窗口的事件进行聚合,将源IP、目标IP和威胁类型相同的事件聚合为一条聚合事件;聚合事件合并子模块,汇聚多源的IDS聚合事件,对指定时间窗口的聚合事件进行等价合并,将包含部署不同网络位置的IDS产生的重复事件合并为一条合并事件;等价规则挖掘子模块,针对合并后的事件集合,生成等价规则集合和频繁规则集合;
知识库裁剪模块,利用多维度评价体系对等价规则集合和频繁规则集合进行评估,生成无效或低价值规则集合,并从知识库中将之裁减掉。
与现有技术相比,本发明的优点在于:
1、一种入侵检测规则误报处理方法,提出了面向事件聚合的EA算法和面向聚合事件合并的MEA算法,能够实现对多源IDS设备产生的事件进行过滤、聚合和合并,极大地减少了无关事件、低威事件和重复事件,降低了事件基数,使得安全管理人员能够聚焦高危事件,降低了其工作负担;
2、一种入侵检测规则误报处理方法,基于多源IDS设备的事件过滤、聚合和合并之后的合并事件,提出了ERM算法进行入侵检测规则进行等价分析和频繁分析,实现对入侵检测事件对应的规则频度和规则共现概率的评估,进而通过人工判断确定冗余规则和误报规则。通过对规则的优化,进一步降低了安全管理人员的人工审核负担,提高了IDS产品的可信性和可用性;
3、最后,基于ERM算法的分析结果,利用知识库裁剪模块将无效或低价值规则集合从知识库中裁剪掉,降低了IDS产品的规则签名库规模,提高了产品的吞吐量,使得本申请降低了用户的整体拥有成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的入侵检测规则误报处理方法的系统流程图;
图2为本发明实施例提供的入侵检测规则误报处理方法的过滤阶段的冗余事件抽样;
图3为本发明实施例提供的入侵检测规则误报处理方法的EA算法流程图;
图4为本发明实施例提供的入侵检测规则误报处理方法的EA算法的输入事件抽样图;
图5为本发明实施例提供的入侵检测规则误报处理方法的MEA算法流程图;
图6为本发明实施例提供的入侵检测规则误报处理方法的ERM算法流程图;
图7为本发明实施例提供的入侵检测规则误报处理装置的处理流程图。
具体实施方式
鉴于现有技术的不足,本发明的目的在于,供了一种入侵检测规则误报处理方法和装置,并提出了面向事件聚合的EA算法、面向聚合事件合并的MEA算法和面向等价规则挖掘的ERM算法,进而通过事件聚合、合并和知识库裁剪等操作,实现最小化入侵检测系统的误报,精简入侵检测规则签名库规模,提高入侵检测设备的处理性能。
为实现上述目的,本发明提出一种入侵检测规则误报处理方法和装置,其流程图如图1所示,包括下列步骤:
1)入侵检测事件采集,利用数据采集获取多源IDS设备发送的实时事件和其他来源的离线IDS事件文件;
2)事件预处理,包括事件归一化和过滤,即按照事件规范格式对事件进行归一化,并且根据过滤策略对无关事件进行过滤;
3)入侵事件聚合,针对单个IDS设备的事件,提出针对事件聚合的EA算法,对指定时间窗口的事件进行聚合,将源IP、目标IP和威胁类型相同的事件聚合为一条聚合事件;
4)入侵事件合并,汇聚多源的IDS聚合事件,提出针对聚合事件合并的MEA算法,对指定时间窗口的聚合事件进行等价合并,将包含重复关键信息的事件合并为一条合并事件;
5)等价规则挖掘,针对合并后的事件集合,提出ERM算法对其进行分析挖掘,生成等价规则集合和频繁规则集合;
6)知识库裁剪,利用多维度评价体系对等价规则集合和频繁规则集合进行评估,生成无效或低价值规则集合,并从知识库中将之裁减掉。
步骤2)中,对于事件预处理阶段,企业/组织机构为了保护不同部分的网络而在多个位置部署了网络入侵检测系统(IDS),同时也引入了多重相关事件冗余。事件预处理阶段的输入来源于这些部署的IDS;
步骤2)中,对于事件预处理阶段,需要在预处理阶段利用威胁分类策略将用户不关注的、威胁度低的事件过滤掉。
步骤2)中,对于过滤阶段威胁事件的过滤策略,包括如下步骤:
201)过滤关键字段缺失、格式错误或内容错误;
202)过滤明确的误报事件,例如目标IP或域名为白名单,不可信的规则ID产生的事件等;
203)统计并过滤冗余事件,即同一个会话,同一个规则ID,存在多条事件ID不同的事件;
204)用户不关注的事件类型,例如SYN攻击、ICMP泛滥攻击、UDP泛滥攻击等。
步骤2)中,对于过滤阶段威胁事件的过滤策略,对于同一个会话,同一个规则ID,存在多条事件ID不同的事件,其冗余事件抽样如图2所示。
步骤3)中,对于入侵事件聚合阶段,为减少事件数量又避免错过对用户有价值的事件,分别针对每台IDS设备产生的事件进行聚合分析,将指定时间窗口内的多条相同或相似的事件聚合为一条聚合事件,即若Src_IP、Dst_IP和Sig_ID相同则进行事件聚合操作,定义为两条事件等价。
步骤3)中,对于用于事件聚合的EA算法,其算法流程如图3所示,包括如下步骤:
301)按照时间窗口ea.t-windows,对事件集合进行分割,生成多个时间窗口事件集合;
302)对于每个时间窗口内的事件集合进行分析,按照产生事件的规则ID进行分组;
303)对于规则ID相同的事件集合,通过嵌套循环判断该集合内的任意两条事件是否等价,对等价的事件进行留一操作;
304)将时间窗口内的互为不等价事件集合增加到聚合事件集合,跳到步骤302);
305)跳到步骤301)。
步骤3)中,对于用于事件聚合的EA算法,输入描述如下:Timestamp,事件发生时间戳;Src_IP,源IP;Dst_IP,目标IP;Src_Port,源端口;Dst_Port,目标端口;Sig _ID,规则ID;Session_ID,会话ID。其数据抽样入图4所示。
步骤4)中,对于用于合并聚合事件的过程,按照事件生成的时间顺序汇聚多源的IDS设备聚合事件,将指定时间窗口内的来自多个IDS设备的多条相同或相似的聚合事件合并为一条合并事件,即若Session_ID、Sig_ID相同或者Sig_ID相似则进行聚合事件的合并操作,定义为两条聚合事件等价。
步骤4)中,对于用于合并聚合事件的MEA算法,简要步骤描述如下:
404)通过比较,将等价的聚合事件进行留一操作。最后将不互相不等价的聚合事件合并,返回合并事件集合。
具体的,对于用于合并聚合事件的MEA算法,详细步骤如图5所示,具体描述如下:
408)跳到步骤406);
411)跳到步骤403)。
步骤4)中,对于用于合并聚合事件的MEA算法,对于步骤402),两条聚合事件的等价隶属函数定义为。其中,为归一化权重;。为属性相似度。事件分类和事件时间两种属性的相似度,根据其分类一致性和时间间隔进行计算。
步骤5)中,对于等价规则挖掘过程,对于合并事件集合,利用ERM算法进行入侵检测规则进行等价分析和频繁分析。即利用ERM算法返回的入侵检测规则支持度和可信度,实现对入侵检测事件对应的规则频度和规则共现概率的评估,进而通过人工判断确定冗余规则和误报规则。
步骤5)中,对于用于等价规则挖掘的ERM算法,简要步骤描述如下:
501)初始化ERM算法参数;
505)遍历排序后的频繁规则项集,建立频繁模式树。为每一个频繁单序列集合寻找前缀路径,组成条件模式基,并建立条件频繁模式树;
步骤5)中,对于用于等价规则挖掘的ERM算法, ERM算法有关参数定义如下:
入侵检测规则等价描述如下,包含规则的事件和包含规则的事件共现的概率超过阈值,说明规则和规则命中同一条会话的频率较高,则判定为入侵检测规则等价。入侵检测规则和等价,定义为规则序列的支持度,也称为等价度。规则序列的支持度形式化定义:;
入侵检测规则频繁描述如下,包含规则的事件频繁出现,单规则序列的支持度超过阈值,说明与规则相关的事件在输入事件集合中占比较高,需要重点关注,判断是否为误报;规则序列的频繁度,。其中,表示输入事件集合的总事件量;
一种入侵检测规则误报处理方法,其特征在于,对于用于等价规则挖掘的ERM算法, ERM算法流程图如图6所示,详细过程描述如下:
506)遍历排序后的频繁规则项集,建立频繁模式树。首先,创建频繁模式树的根结点,记为“”。根据频繁单规则序列的顺序对频繁规则项集中的每条序列数据进行排序,并存储在频繁模式树中,并建立项集头表。为每一个频繁单序列集合寻找前缀路径,组成条件模式基,并建立条件频繁模式树;
507)递归挖掘条件频繁模式树,获得频繁k规则序列项集;
步骤6)中,对于知识库裁剪方法,利用多维度评价体系对等价规则集合和频繁规则集合进行评估,生成无效或低价值规则集合,并从知识库中将之裁减掉。
步骤6)中,多维度评价特指威胁类别细化、威胁分级、Top统计等指标,结合人工经验分析进行评价。
对于威胁分级,简单分级的示例如下:
正常事件,通常都是由多样的正常业务导致,包含正常的漏洞扫描任务等;
低危事件,网络上存在大量的蠕虫、僵尸网络,这些受控主机会进行大量常态化的攻击行为,这些攻击往往都不会成功,可以认定为低危事件;
灰色行为,该部分事件展现出一定的威胁性,需要做出一定的处置,如:未报备的内网扫描行为、内网蠕虫传播行为等等,需要联系相应的资产负责人做进一步核查;
高危事件,正在发生或者已经发生的成功入侵行为。
这四级告警数据量依次递减,重要程度缺依次增加。
由于采用了上述技术方案,本发明具有如下的优点:
(1)一种入侵检测规则误报处理方法,提出了面向事件聚合的EA算法和面向聚合事件合并的MEA算法,能够实现对多源IDS设备产生的事件进行过滤、聚合和合并,极大地减少了无关事件、低威事件和重复事件,降低了事件基数,使得安全管理人员能够聚焦高危事件,降低了其工作负担;
(2)一种入侵检测规则误报处理方法,基于多源IDS设备的事件过滤、聚合和合并之后的合并事件,提出了ERM算法进行入侵检测规则进行等价分析和频繁分析,实现对入侵检测事件对应的规则频度和规则共现概率的评估,进而通过人工判断确定冗余规则和误报规则。通过对规则的优化,进一步降低了安全管理人员的人工审核负担,提高了IDS产品的可信性和可用性;
(3)最后,基于ERM算法的分析结果,利用知识库裁剪模块将无效或低价值规则集合从知识库中裁剪掉,降低了IDS产品的规则签名库规模,提高了产品的吞吐量,使得本申请降低了用户的整体拥有成本。
参考图7,还提供了一种入侵检测规则误报处理装置,包含下列模块:
数据源模块:该模块包含部署在组织和机构不同网络位置的多台IDS设备和1台时间同步设备;
事件采集模块:利用数据采集程序获取多源IDS设备发送的实时事件和其他来源的离线IDS事件文件;
事件预处理模块:该模块包括事件归一化和过滤,即按照事件规范格式对事件进行归一化,并且根据过滤策略对无关事件进行过滤;
入侵规则挖掘模块,包括入侵事件聚合子模块、聚合事件合并子模块和等价规则挖掘子模块。其中,入侵事件聚合子模块的输入为单个IDS设备的事件,对指定时间窗口的事件进行聚合,将源IP、目标IP和威胁类型相同的事件聚合为一条聚合事件。聚合事件合并子模块,汇聚多源的IDS聚合事件,对指定时间窗口的聚合事件进行等价合并,将包含部署不同网络位置的IDS产生的重复事件合并为一条合并事件。等价规则挖掘子模块,针对合并后的事件集合,生成等价规则集合和频繁规则集合;
知识库裁剪模块,利用多维度评价体系对等价规则集合和频繁规则集合进行评估,生成无效或低价值规则集合,并从知识库中将之裁减掉。
时间同步设备,全称NTP网络时间服务器,其内置高精度守时时钟源,从北斗系统或GPS地球同步卫星上获取标准时钟信号信息,将这些信息通过TCP/IP网络传输,为网络设备(用户)提供精确、标准、安全、可靠和多功能的时间服务。
Claims (10)
1.一种入侵检测规则误报处理方法,其特征在于,包括如下步骤:
1)入侵检测事件采集,利用数据采集组件获取多源IDS设备发送的实时事件和其他来源的离线IDS事件文件;
2)事件预处理,包括事件归一化和过滤,即按照事件规范格式对步骤1)中采集的入侵检测事件进行归一化,并且根据过滤策略对无关事件进行过滤;
3)入侵检测事件聚合,针对单个IDS设备的事件,提出针对事件聚合的EA算法,对指定时间窗口的事件进行聚合,将等价的事件聚合为一条聚合事件;
4)入侵检测事件合并,汇聚多源的IDS聚合事件,提出针对聚合事件合并的MEA算法,对指定时间窗口的聚合事件进行等价合并,将包含重复关键信息的事件合并为一条合并事件;
5)等价规则挖掘,针对步骤4)合并后的事件集合,提出ERM算法对其进行分析挖掘,生成等价规则集合和频繁规则集合;
6)知识库裁剪,利用多维度评价体系对等价规则集合和频繁规则集合进行评估,生成无效或低价值规则集合,并从知识库中将无效或低价值规则集合裁减掉。
2.根据权利要求1所述的入侵检测规则误报处理方法,其特征在于,步骤2)中,事件预处理阶段的输入来源于企业/组织机构为了保护不同部分的网络而在多个位置部署的网络入侵检测系统,即IDS。
3.根据权利要求1所述的入侵检测规则误报处理方法,其特征在于,步骤2)中,根据过滤策略对无关事件进行过滤,包括如下步骤:
201)过滤关键字段缺失、格式错误或内容错误的事件;
202)过滤明确的误报事件;
203)统计并过滤同一个会话,同一个规则ID,存在多条事件ID不同的事件;
204)用户不关注的事件类型。
4.根据权利要求1所述的入侵检测规则误报处理方法,其特征在于,步骤3)中,为减少事件数量又避免错过对用户有价值的事件,分别针对每台IDS设备产生的事件进行聚合分析,将指定时间窗口内的多条相同或相似的事件聚合为一条聚合事件。
5.根据权利要求1所述的入侵检测规则误报处理方法,其特征在于,步骤3)中,EA算法包括如下步骤:
301)按照时间窗口对事件集合进行分割,生成多个时间窗口事件集合;
302)对于每个时间窗口内的事件集合进行分析,按照产生事件的规则ID进行分组;
303)对于规则ID相同的事件集合,通过嵌套循环判断该集合内的任意两条事件是否等价,对等价的事件进行留一操作;
304)将时间窗口内的互为不等价事件集合增加到聚合事件集合,跳到步骤302);
305)跳到步骤301)。
6.根据权利要求1所述的入侵检测规则误报处理方法,其特征在于,步骤4)中,按照事件生成的时间顺序汇聚多源的IDS设备聚合事件,将指定时间窗口内的来自多个IDS设备的多条相同或相似的聚合事件合并为一条合并事件。
7.根据权利要求1所述的入侵检测规则误报处理方法,其特征在于,步骤4)中,MEA算法包括如下步骤:
401)对于来自多个IDS设备的聚合事件集合,分别按照时间窗口对聚合事件集合进行分割,生成多个时间窗口聚合事件集合;
402)定义两条聚合事件ea1,ea2等价函数,若ea1.value=ea2.value,则判定聚合事件ea1,ea2等价;
403)对时间窗口内的IDS聚合事件集合,利用查询时间复杂度为O(1)的布隆过滤器对聚合事件等价进行比较;
404)通过比较,将等价的聚合事件进行留一操作,最后将不互相不等价的聚合事件合并,返回合并事件集合。
8.根据权利要求1所述的入侵检测规则误报处理方法,其特征在于,步骤5)中,对于合并事件集合,利用ERM算法进行入侵检测规则进行等价分析和频繁分析,即利用ERM算法返回的入侵检测规则支持度和可信度,实现对入侵检测事件对应的规则频度和规则共现概率的评估,进而通过人工判断确定冗余规则和误报规则。
9.根据权利要求1所述的入侵检测规则误报处理方法,其特征在于,步骤5)中,ERM算法包括如下步骤:
501)初始化ERM算法参数;
505)遍历排序后的频繁规则项集,建立频繁模式树,为每一个频繁单序列集合寻找前缀路径,组成条件模式基,并建立条件频繁模式树;
507)对于等价规则候选项集,利用等价度评估算法分别获取频繁2规则序列项集的等价度,根据等价度传递机制和最小等价度阈值扩展到更多的k规则序列项集,最后,输出等价规则集合。
10.一种入侵检测规则误报处理装置,其特征在于,包括下列模块:
数据源模块:该模块包含部署在组织和机构不同网络位置的多台IDS设备和1台时间同步设备;
事件采集模块:利用数据采集程序获取多源IDS设备发送的实时事件和其他来源的离线IDS事件文件;
事件预处理模块:该模块包括事件归一化和过滤,即按照事件规范格式对事件进行归一化,并且根据过滤策略对无关事件进行过滤;
入侵规则挖掘模块,包括入侵事件聚合子模块、聚合事件合并子模块和等价规则挖掘子模块,其中,入侵事件聚合子模块的输入为单个IDS设备的事件,对指定时间窗口的事件进行聚合,将源IP、目标IP和威胁类型相同的事件聚合为一条聚合事件;聚合事件合并子模块,汇聚多源的IDS聚合事件,对指定时间窗口的聚合事件进行等价合并,将包含部署不同网络位置的IDS产生的重复事件合并为一条合并事件;等价规则挖掘子模块,针对合并后的事件集合,生成等价规则集合和频繁规则集合;
知识库裁剪模块,利用多维度评价体系对等价规则集合和频繁规则集合进行评估,生成无效或低价值规则集合,并从知识库中将之裁减掉。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111513344.9A CN113904881B (zh) | 2021-12-13 | 2021-12-13 | 一种入侵检测规则误报处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111513344.9A CN113904881B (zh) | 2021-12-13 | 2021-12-13 | 一种入侵检测规则误报处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113904881A true CN113904881A (zh) | 2022-01-07 |
CN113904881B CN113904881B (zh) | 2022-03-04 |
Family
ID=79026164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111513344.9A Active CN113904881B (zh) | 2021-12-13 | 2021-12-13 | 一种入侵检测规则误报处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113904881B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115174268A (zh) * | 2022-09-05 | 2022-10-11 | 北京金睛云华科技有限公司 | 基于结构化正则项的入侵检测方法 |
CN115664869A (zh) * | 2022-12-28 | 2023-01-31 | 北京六方云信息技术有限公司 | 入侵防御系统误识别处理方法、设备以及存储介质 |
CN116451792A (zh) * | 2023-06-14 | 2023-07-18 | 北京理想信息科技有限公司 | 解决大规模故障预测问题的方法、系统、设备及储存介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030145225A1 (en) * | 2002-01-28 | 2003-07-31 | International Business Machines Corporation | Intrusion event filtering and generic attack signatures |
US20070214504A1 (en) * | 2004-03-30 | 2007-09-13 | Paolo Milani Comparetti | Method And System For Network Intrusion Detection, Related Network And Computer Program Product |
US7788722B1 (en) * | 2002-12-02 | 2010-08-31 | Arcsight, Inc. | Modular agent for network security intrusion detection system |
US8528077B1 (en) * | 2004-04-09 | 2013-09-03 | Hewlett-Packard Development Company, L.P. | Comparing events from multiple network security devices |
US20140059683A1 (en) * | 2012-08-22 | 2014-02-27 | International Business Machines Corporation | Cooperative intrusion detection ecosystem for IP reputation-based security |
CN104484474A (zh) * | 2014-12-31 | 2015-04-01 | 南京盾垒网络科技有限公司 | 数据库安全审计方法 |
CN105376251A (zh) * | 2015-12-02 | 2016-03-02 | 华侨大学 | 一种基于云计算的入侵检测方法与系统 |
CN106375339A (zh) * | 2016-10-08 | 2017-02-01 | 电子科技大学 | 基于事件滑动窗口的攻击模式检测方法 |
US20170244733A1 (en) * | 2016-02-18 | 2017-08-24 | Nec Laboratories America, Inc. | Intrusion detection using efficient system dependency analysis |
CN111193719A (zh) * | 2019-12-14 | 2020-05-22 | 贵州电网有限责任公司 | 一种网络入侵防护系统 |
US11055405B1 (en) * | 2019-04-30 | 2021-07-06 | Splunk Inc. | Anomaly event detection using frequent patterns |
-
2021
- 2021-12-13 CN CN202111513344.9A patent/CN113904881B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030145225A1 (en) * | 2002-01-28 | 2003-07-31 | International Business Machines Corporation | Intrusion event filtering and generic attack signatures |
US7788722B1 (en) * | 2002-12-02 | 2010-08-31 | Arcsight, Inc. | Modular agent for network security intrusion detection system |
US20070214504A1 (en) * | 2004-03-30 | 2007-09-13 | Paolo Milani Comparetti | Method And System For Network Intrusion Detection, Related Network And Computer Program Product |
US8528077B1 (en) * | 2004-04-09 | 2013-09-03 | Hewlett-Packard Development Company, L.P. | Comparing events from multiple network security devices |
US20140059683A1 (en) * | 2012-08-22 | 2014-02-27 | International Business Machines Corporation | Cooperative intrusion detection ecosystem for IP reputation-based security |
CN104484474A (zh) * | 2014-12-31 | 2015-04-01 | 南京盾垒网络科技有限公司 | 数据库安全审计方法 |
CN105376251A (zh) * | 2015-12-02 | 2016-03-02 | 华侨大学 | 一种基于云计算的入侵检测方法与系统 |
US20170244733A1 (en) * | 2016-02-18 | 2017-08-24 | Nec Laboratories America, Inc. | Intrusion detection using efficient system dependency analysis |
CN106375339A (zh) * | 2016-10-08 | 2017-02-01 | 电子科技大学 | 基于事件滑动窗口的攻击模式检测方法 |
US11055405B1 (en) * | 2019-04-30 | 2021-07-06 | Splunk Inc. | Anomaly event detection using frequent patterns |
CN111193719A (zh) * | 2019-12-14 | 2020-05-22 | 贵州电网有限责任公司 | 一种网络入侵防护系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115174268A (zh) * | 2022-09-05 | 2022-10-11 | 北京金睛云华科技有限公司 | 基于结构化正则项的入侵检测方法 |
CN115664869A (zh) * | 2022-12-28 | 2023-01-31 | 北京六方云信息技术有限公司 | 入侵防御系统误识别处理方法、设备以及存储介质 |
CN115664869B (zh) * | 2022-12-28 | 2023-05-16 | 北京六方云信息技术有限公司 | 入侵防御系统误识别处理方法、设备以及存储介质 |
CN116451792A (zh) * | 2023-06-14 | 2023-07-18 | 北京理想信息科技有限公司 | 解决大规模故障预测问题的方法、系统、设备及储存介质 |
CN116451792B (zh) * | 2023-06-14 | 2023-08-29 | 北京理想信息科技有限公司 | 解决大规模故障预测问题的方法、系统、设备及储存介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113904881B (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10909241B2 (en) | Event anomaly analysis and prediction | |
CN112738015B (zh) | 一种基于可解释卷积神经网络cnn与图检测的多步攻击检测方法 | |
CN113904881B (zh) | 一种入侵检测规则误报处理方法和装置 | |
Chen et al. | An efficient network intrusion detection | |
Kumar et al. | Intrusion Detection System using decision tree algorithm | |
Farid et al. | Anomaly Network Intrusion Detection Based on Improved Self Adaptive Bayesian Algorithm. | |
Kotenko et al. | Systematic literature review of security event correlation methods | |
JP2022533552A (ja) | システムレベルセキュリティのための階層的挙動行動のモデル化および検出システムおよび方法 | |
Garg et al. | HyClass: Hybrid classification model for anomaly detection in cloud environment | |
CN115643035A (zh) | 基于多源日志的网络安全态势评估方法 | |
Hussein | Performance analysis of different machine learning models for intrusion detection systems | |
Werner et al. | Near real-time intrusion alert aggregation using concept-based learning | |
Rahim et al. | Analysis of IDS using feature selection approach on NSL-KDD dataset | |
Cortés et al. | A hybrid alarm management strategy in signature-based intrusion detection systems | |
Protic et al. | WK-FNN design for detection of anomalies in the computer network traffic | |
Sulaiman et al. | Big data analytic of intrusion detection system | |
CN115987544A (zh) | 一种基于威胁情报的网络安全威胁预测方法及系统 | |
Islam et al. | Real-Time Detection Schemes for Memory DoS (M-DoS) Attacks on Cloud Computing Applications | |
Khaoula et al. | Improving Intrusion Detection Using PCA And K-Means Clustering Algorithm | |
Singh et al. | An Efficient Machine Learning-based Analytical Approach for Network Intrusion Detection System | |
Shinan et al. | BotSward: Centrality Measures for Graph-Based Bot Detection Using Machine Learning. | |
CN114157514B (zh) | 一种多路ids集成检测方法和装置 | |
CN117473571B (zh) | 一种数据信息安全处理方法及系统 | |
Jegede et al. | Post analysis of Snort intrusion files using data mining techniques: Decision tree and Bayesian network | |
Adhanom et al. | A hybrid behavioural-based cyber intrusion detection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |