CN101018121A - 日志的聚合处理方法及聚合处理装置 - Google Patents

日志的聚合处理方法及聚合处理装置 Download PDF

Info

Publication number
CN101018121A
CN101018121A CN 200710064427 CN200710064427A CN101018121A CN 101018121 A CN101018121 A CN 101018121A CN 200710064427 CN200710064427 CN 200710064427 CN 200710064427 A CN200710064427 A CN 200710064427A CN 101018121 A CN101018121 A CN 101018121A
Authority
CN
China
Prior art keywords
daily record
module
attack
buffering area
polymeric rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200710064427
Other languages
English (en)
Other versions
CN101018121B (zh
Inventor
周欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Technologies Co Ltd
Original Assignee
Hangzhou Huawei 3Com Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huawei 3Com Technology Co Ltd filed Critical Hangzhou Huawei 3Com Technology Co Ltd
Priority to CN200710064427.8A priority Critical patent/CN101018121B/zh
Publication of CN101018121A publication Critical patent/CN101018121A/zh
Application granted granted Critical
Publication of CN101018121B publication Critical patent/CN101018121B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种日志的聚合处理方法,包括:在收到日志后,根据日志中记录的日志特征,查找该日志特征对应的聚合规则,根据该聚合规则指示的聚合条件对收到的日志进行聚合。本发明还公开了一种日志的聚合处理装置,包括:查找模块,用于接收日志并根据日志中记录的日志特征查找该日志特征对应的聚合规则;聚合模块,与查找模块连接,用于根据查找模块查找获得的聚合规则指示的聚合条件对收到的日志进行聚合。本发明适用于对丰富多样的日志的聚合,提高日志聚合的灵活性,适用性广,避免大量日志造成设备的拥塞,提高设备的处理性能。

Description

日志的聚合处理方法及聚合处理装置
技术领域
本发明涉及信息聚合处理技术,特别涉及一种日志的聚合处理方法及聚合处理装置。
背景技术
随着通信和计算机等技术的迅速发展,各种形式的信息交互也越来越频繁,例如通过计算机网络的数据报文或多媒体信息交互、通过移动通信网络的短信或话音交互等等。在信息交互的过程中由于各种各样的需求,需要对所交互的信息的相关特征进行记录,例如网络安全设备需要将所检测到的入侵报文的攻击特征等特性记录在攻击日志中,通信网络运营商设备需要记录用户通话或发短信的号码或通话时间等特征记录在话单日志中,等等。在下文中,将这种用于记录所交互的信息的特征的载体统称为“日志”。
在很多情况下由于信息交互的频繁,例如频繁的攻击或频繁的通话等,会导致产生大量的日志,从而需要对所产生的大量日志进行聚合,以提高处理性能。
下面以攻击日志的聚合为例说明现有的对日志进行聚合的方法:
随着计算机网络的快速发展,网络安全设备如入侵检测系统(IntrusionDetection System,简称IDS)、入侵抵御系统(Intrusion Prevention System,简称IPS)等获得了日益广泛地应用。IDS是通过对计算机网络或计算机系统中的若干关键点收集信息并进行分析,来检测该网络或系统中是否发生违反安全策略的行为以及是否存在被攻击的迹象。IPS则能够根据预先设置的特征库(包括制造商定时发布的网络攻击特征集合和使用者根据自己的安全策略制订的规则)及其他一些参数,在被保护网络的入口处,实时地对进入被保护网络的流量进行检测和分析,一旦发现攻击或者与安全策略违背的行为,便抛弃这些恶意的流量,并且通告管理人员。
在网络运行过程中如果发生攻击,则IPS或IDS等网络安全设备的日志模块会对各种攻击进行记录,所形成的日志即为攻击日志。攻击日志主要用于查看攻击来源,分析网络存在的安全漏洞以及定位问题发生的原因,为提高系统安全性提供依据。
当网络中存在大量攻击时(如攻击者发起拒绝服务攻击),IPS或IDS等网络安全设备会产生大量的日志,产生并处理这些日志本身就会对网络安全设备的性能造成巨大的影响。因此需要根据某些条件对这些日志进行聚合后再进行处理,这样可减少大量重复的日志,减轻安全设备的负担,避免由于大量重复的日志而导致网络安全设备出现拥塞。
对日志的聚合技术是目前网络安全设备中普遍采用的一种技术。现有的日志聚合方法,是按照“五元组”方式对日志进行聚合,也即根据攻击报文的源IP地址、目的IP地址、源端口、目的端口以及攻击方向这五个条件对日志进行聚合。具体而言,在收到日志后,按照预先设定的“五元组”的值,对日志进行聚合,将符合“五元组”取值条件的日志聚合成一条日志后,发送给预设的目的地。
上述现有的日志聚合方法的不足之处在于:由于统一按照单一的“五元组”聚合方式对日志进行聚合,没有对日志按照其记录的攻击进行分类,而“五元组”的聚合方式对于一些特定攻击产生的日志无法进行聚合,从而影响了网络安全设备的性能,也降低了该方法的灵活性和适用性。
例如,当攻击报文内容变化很大时(如端口扫描这样的攻击),攻击者在攻击时会一直变化攻击的目的端口,如果采用现有的根据五元组的值进行聚合的方法,就会导致端口扫描攻击产生的大量的日志无法聚合,降低了网络安全设备的性能。再如,当攻击报文为第二层或第三层的协议异常报文时,这类报文没有包括完整的源IP地址、目的IP地址及端口号,如果采用现有的根据五元组的值进行聚合的方法,就会产生大量的日志,而无法进行聚合。
发明内容
本发明的目的是为克服上述现有技术的缺陷,提供一种日志的聚合处理方法及聚合处理装置,能够适用于对丰富多样的日志的聚合,从而大大提高日志聚合的灵活性,具有广泛的适用性,避免大量日志造成设备的拥塞,提高设备的处理性能。
为实现上述发明目的,本发明提供了一种日志的聚合处理方法,包括:在收到日志后,根据日志中记录的日志特征,查找该日志特征对应的聚合规则,根据该聚合规则所指示的聚合条件对所收到的日志进行聚合。
其中,所述日志特征是指根据实际应用的需求,预先从日志所记录的各种信息特征中选取的、用于进行日志聚合的特征。
在上述技术方案中,通过根据日志中记录的日志特征来查找对应的聚合规则,并通过根据查到的聚合规则所指示的聚合条件对日志进行聚合,从而实现了对收到的日志按照其记录的日志特征分类聚合,针对不同的日志特征采用不同的聚合规则,而非现有技术中采用单一的聚合规则;因此能够针对记录不同的日志特征的日志,采取相应的不同的聚合规则来进行灵活有效的聚合,大大提高了日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的日志的聚合;并且通过对不同类型的日志的及时有效的聚合,能够避免大量日志造成设备的拥塞,提高设备的处理性能。
优选地,在应用于对移动通信网络设备所产生的话单日志的聚合时,上述技术方案中,所述根据日志中记录的日志特征,查找该日志特征对应的聚合规则具体包括:根据话单日志中记录的通话特征,查找该通话特征对应的聚合规则。
通过上述操作,根据话单日志中记录的通话特征来查找对应的聚合规则,并通过根据查到的聚合规则所指示的聚合条件对日志进行聚合,从而实现了对收到的话单日志按照其记录的通话特征分类聚合,针对不同的通话特征采用不同的聚合规则,而非现有技术中采用单一的聚合规则;因此能够针对记录不同的通话特征的话单日志,采取相应的不同的聚合规则来进行灵活有效的聚合,大大提高了话单日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的话单日志的聚合;并且通过对不同类型的话单日志的及时有效的聚合,能够避免大量话单日志造成通信设备的拥塞,提高通信设备的处理性能。
优选地,在应用于对网络安全设备所产生的攻击日志的聚合时,上述技术方案中,所述根据日志中记录的日志特征,查找该日志特征对应的聚合规则具体包括:根据攻击日志中记录的攻击特征,查找该攻击特征对应的聚合规则。
通过上述操作,根据日志中记录的攻击特征来查找对应的聚合规则,并通过根据查到的聚合规则所指示的聚合条件对日志进行聚合,从而实现了对收到的日志按照其记录的攻击特征分类聚合,针对不同的攻击特征采用不同的聚合规则,而非现有技术中采用单一的“五元组”聚合规则;因此能够针对记录不同的攻击特征的日志,采取相应的不同的聚合规则来进行灵活有效的聚合,大大提高了日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的日志的聚合;并且通过对不同类型的日志的及时有效的聚合,能够避免大量日志造成网络安全设备的拥塞,提高网络安全设备的处理性能。
优选地,在上述技术方案中,在所述收到日志之前还可包括:预先设置并保存与攻击特征一一对应的聚合规则,用于指示对记录有所述攻击特征的日志的聚合条件;在根据检测到的攻击特征建立日志时,在该日志中记录该攻击特征。
优选地,上述技术方案中,在所述收到日志之前还包括:预先设置与攻击特征一一对应的聚合规则,用于指示对记录有所述攻击特征的日志的聚合条件;预先建立与攻击类型一一对应的配置文件,并将属于该攻击类型的攻击特征所对应的聚合规则保存在该配置文件中;在根据检测到的攻击特征建立日志时,在该日志中记录该攻击特征以及该攻击特征所属的攻击类型;所述查找该攻击特征标识对应的聚合规则具体包括:根据收到的日志中记录的攻击类型,查找对应的配置文件,然后根据收到的日志中记录的攻击特征,查找该配置文件中保存的、与该攻击特征对应的聚合规则。
为实现发明目的,本发明还提供了一种日志的聚合处理装置,包括:查找模块,用于接收日志并根据日志中记录的日志特征,查找该日志特征对应的聚合规则;聚合模块,与查找模块连接,用于根据查找模块查找获得的聚合规则所指示的聚合条件对所收到的日志进行聚合。
其中,所述日志特征是指根据实际应用的需求,预先从日志所记录的各种信息特征中选取的、用于进行日志聚合的特征。
在上述技术方案中,通过查找模块来根据收到的日志中记录的日志特征来查找对应的聚合规则,并通过聚合模块来根据查找模块查到的聚合规则所指示的聚合条件对日志进行聚合,从而实现了对收到的日志按照其记录的日志特征分类聚合,针对不同的日志特征采用不同的聚合规则,而非现有技术中采用单一的聚合规则;因此能够针对记录不同的日志特征的日志,采取相应的不同的聚合规则来进行灵活有效的聚合,大大提高了日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的日志的聚合;并且通过对不同类型的日志的及时有效的聚合,能够避免大量日志造成设备的拥塞,提高设备的处理性能。
优选地,在应用于对移动通信网络设备所产生的话单日志的聚合时,上述技术方案中,所述查找模块具体为话单日志查找模块,用于接收话单日志并根据话单日志中记录的通话特征,查找该通话特征所对应的聚合规则。通过查找模块来根据收到的话单日志中记录的通话特征来查找对应的聚合规则,并通过聚合模块来根据查找模块查到的聚合规则所指示的聚合条件对日志进行聚合,从而实现了对收到的话单日志按照其记录的通话特征分类聚合,针对不同的通话特征采用不同的聚合规则,而非现有技术中采用单一的聚合规则;因此能够针对记录不同的通话特征的话单日志,采取相应的不同的聚合规则来进行灵活有效的聚合,大大提高了话单日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的话单日志的聚合;并且通过对不同类型的话单日志的及时有效的聚合,能够避免大量话单日志造成设备的拥塞,提高设备的处理性能。
优选地,在应用于对网络安全设备所产生的攻击日志的聚合时,上述技术方案中,所述查找模块具体为攻击日志查找模块,用于接收攻击日志并根据攻击日志中记录的攻击特征,查找该攻击特征所对应的聚合规则。通过查找模块来根据收到的日志中记录的攻击特征来查找对应的聚合规则,并通过聚合模块来根据查找模块查到的聚合规则所指示的聚合条件对日志进行聚合,从而实现了对收到的日志按照其记录的攻击特征分类聚合,针对不同的攻击特征采用不同的聚合规则,而非现有技术中采用单一的“五元组”聚合规则;因此能够针对记录不同的攻击特征的日志,采取相应的不同的聚合规则来进行灵活有效的聚合,大大提高了日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的日志的聚合;并且通过对不同类型的日志的及时有效的聚合,能够避免大量日志造成网络安全设备的拥塞,提高网络安全设备的处理性能。
优选地,上述技术方案中还可包括第一设置模块,与查找模块连接,用于预先设置并保存所述聚合规则,所述聚合规则与攻击特征一一对应,用于指示对记录有所述攻击特征的日志的聚合条件。
优选地,上述技术方案中还可包括第二设置模块,与查找模块连接,用于预先设置并保存所述聚合规则,所述聚合规则与攻击特征一一对应,用于指示对记录有所述攻击特征的日志的聚合条件,并预先建立与攻击类型一一对应的配置文件,将属于该攻击类型的攻击特征所对应的聚合规则保存在该配置文件中。相应地,所述查找模块用于接收日志并根据收到的日志中记录的攻击类型,查找对应的配置文件,然后根据收到的日志中记录的攻击特征,查找该配置文件中保存的、与该攻击特征对应的聚合规则。
综上所述,本发明通过根据收到的日志中记录的日志特征来查找聚合规则,并根据查到的聚合规则所指示的聚合条件来对日志进行聚合,而非现有技术中的采用单一的聚合规则来对日志进行聚合,从而能够达到适用于对丰富多样的日志的聚合,大大提高日志聚合的灵活性,具有广泛的适用性,避免大量日志造成设备的拥塞,提高设备的处理性能的有益技术效果。
附图说明
图1为本发明日志的聚合处理方法的实施例一的流程示意图;
图2为本发明日志的聚合处理方法的实施例四的流程示意图;
图3为本发明日志的聚合处理方法的实施例五的流程示意图;
图4为本发明日志的聚合处理方法的实施例六的流程示意图;
图5为本发明日志的聚合处理装置的实施例一的结构示意图;
图6为本发明日志的聚合处理装置的实施例四的结构示意图;
图7为本发明日志的聚合处理装置的实施例五的结构示意图。
具体实施方式
下面结合附图和实施例,对本发明的技术方案做进一步的详细描述。
现有技术中对日志的聚合是采用单一的聚合方式,例如在对网络安全设备产生的攻击日志进行聚合时,是根据攻击日志中所记录的:攻击报文的源IP地址、目的IP也址、源端口、目的端口以及攻击方向这五个条件对日志进行聚合,简称“五元组”的聚合方式。具体而言,在收到日志后,按照预先设定的“五元组”的值,对日志进行聚合,将符合“五元组”取值条件的日志聚合成一条日志后,发送给预设的目的地。这种日志聚合方法的不足之处在于:由于统一按照单一的聚合方式对日志进行聚合,没有对日志按照其记录的攻击进行分类,而单一的聚合方式对一些特定的攻击产生的日志无法进行聚合,因此影响了设备的性能,也降低了该方法的灵活性和适用性。
本发明的基本构思为:针对上述现有技术的缺陷,对收到的日志并不采用单一的聚合规则,而是按照日志所记录的日志特征来灵活选择对应的聚合规则,并根据所选择的聚合规则对日志进行聚合。其中,所述日志特征是指根据实际应用的需求,预先从日志所记录的各种信息特征中选取的、用于进行日志聚合的特征。本发明实质上是根据日志所记录的日志特征来选择针对该日志特征的聚合规则,做到有的放矢,从而能够极大地增强聚合的针对性和灵活性。同时,由于针对记录不同的攻击特征的日志,采用对应的不同的聚合规则,从而具有广泛的适用性,也避免了设备由于对一些特定的日志无法聚合所导致的阻塞,提高了设备的性能。
基于上述发明构思,本发明提供了一种日志的聚合处理方法,图1为本发明日志的聚合处理方法的实施例一的流程示意图,本实施例一包括以下步骤:步骤1为在收到日志后,根据日志中记录的日志特征,查找该日志特征对应的聚合规则;步骤2为根据该聚合规则所指示的聚合条件对所收到的日志进行聚合。
本实施例一中,所述日志特征是指根据实际应用的需求,预先从日志所记录的各种信息特征中选取的、用于进行日志聚合的特征。本领域的技术人员在实际应用中可采用文字描述信息、编号或数字等各种形式来设定所述日志特征的格式,其均应在本发明技术方案所要求保护的范围之内。例如可在日志中采用数字或编号等形式的日志特征标识来记录所述日志特征,日志特征标识与日志特征是一一对应的关系,并且所述聚合规则与日志特征也是一一对应的关系,因此根据日志所记录的日志特征标识来查找对应的聚合规则,其实质上仍是上述技术方案中所述的根据日志所记录的日志特征来查找对应的聚合规则。采用日志特征标识的方式来描述日志特征,能够简明有效地记录和区分不同的日志特征。
在上述实施例一中,通过根据日志中记录的日志特征来查找对应的聚合规则,并通过根据查到的聚合规则所指示的聚合条件对日志进行聚合,从而实现了对收到的日志按照其记录的日志特征分类聚合,针对不同的日志特征采用不同的聚合规则,而非现有技术中采用单一的聚合规则;因此能够针对记录不同的日志特征的日志,采取相应的不同的聚合规则来进行灵活有效的聚合,大大提高了日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的日志的聚合;并且通过对不同类型的日志的及时有效的聚合,能够避免大量日志造成设备的拥塞,提高设备的处理性能。
本发明日志的聚合处理方法的实施例二与上述实施例一的区别在于:所述根据日志中记录的日志特征,查找该日志特征对应的聚合规则具体包括:根据话单日志中记录的通话特征,查找该通话特征对应的聚合规则。本实施例二适用于对移动通信网络设备所产生的话单日志的聚合。
本实施例二中,通过根据话单日志中记录的通话特征来查找对应的聚合规则,并通过根据查到的聚合规则所指示的聚合条件对日志进行聚合,从而实现了对收到的话单日志按照其记录的通话特征分类聚合,针对不同的通话特征采用不同的聚合规则,而非现有技术中采用单一的聚合规则;因此能够针对记录不同的通话特征的话单日志,采取相应的不同的聚合规则来进行灵活有效的聚合,大大提高了话单日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的话单日志的聚合;并且通过对不同类型的话单日志的及时有效的聚合,能够避免大量话单日志造成通信设备的拥塞,提高通信设备的处理性能。
本发明日志的聚合处理方法的实施例三与上述实施例一的区别在于:所述根据日志中记录的日志特征,查找该日志特征对应的聚合规则具体包括:根据攻击日志中记录的攻击特征,查找该攻击特征对应的聚合规则。本实施例三适用于对网络安全设备所产生的攻击日志的聚合。
本实施例三中,本领域的技术人员在实际应用中可采用文字描述信息、编号或数字等各种形式来设定所述攻击特征的格式,其均应在本发明技术方案所要求保护的范围之内。例如可在日志中采用数字或编号等形式的攻击特征标识来记录所述攻击特征,攻击特征标识与攻击特征是一一对应的关系,并且所述聚合规则与攻击特征也是一一对应的关系,因此根据日志所记录的攻击特征标识来查找对应的聚合规则,其实质上仍是上述技术方案中所述的根据日志所记录的攻击特征来查找对应的聚合规则。采用攻击特征标识的方式来描述攻击特征,能够简明有效地记录和区分不同的攻击特征。
本实施例三中,通过根据日志中记录的攻击特征来查找对应的聚合规则,并通过根据查到的聚合规则所指示的聚合条件对日志进行聚合,从而实现了对收到的日志按照其记录的攻击特征分类聚合,针对不同的攻击特征采用不同的聚合规则,而非现有技术中采用单一的“五元组”聚合规则;因此能够针对记录不同的攻击特征的日志,采取相应的不同的聚合规则来进行灵活有效的聚合,大大提高了日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的日志的聚合;并且通过对不同类型的日志的及时有效的聚合,能够避免大量日志造成网络安全设备的拥塞,提高网络安全设备的处理性能。
图2为本发明日志的聚合处理方法的实施例四的流程示意图,该实施例四包括以下步骤:在步骤01中,预先设置并保存与攻击特征一一对应的聚合规则,用于指示对记录有所述攻击特征的日志的聚合条件;在根据检测到的攻击特征建立日志时,在该日志中记录该攻击特征;随后在步骤02中,根据攻击日志中记录的攻击特征,查找该攻击特征对应的聚合规则;然后在步骤03中,根据该聚合规则所指示的聚合条件对所收到的攻击日志进行聚合。
本实施例四进一步提供了在对日志进行聚合之前,预先设置聚合规则以及在日志中记录攻击特征的具体操作步骤。所述聚合规则与攻击特征是一一对应的关系,在具体实施中,本领域的技术人员可采用以攻击特征为索引的线性表、哈希表或数据库等各种形式来具体设置所述聚合规则,其均应在本发明技术方案所要求保护的范围之内。同样地,在实际应用中,本领域的技术人员可采用文字描述信息、编号或数字等各种形式来设定所述攻击特征的格式,其均应在本发明技术方案所要求保护的范围之内。
在本实施例四中,查找聚合规则是通过一次查找的方式,即根据收到的日志中记录的攻击特征查找与该攻击特征对应的聚合规则即可,查找机制较简单,在聚合规则所对应的攻击类型不多、规则的数量不大的情况下效率较高。下面在本发明日志的聚合处理方法的实施例三中,进一步提供另一种查找方式,能够在聚合规则所对应的攻击类型较多、规则数量较大的情况下提高查找的效率。
如图3所示,本发明日志的聚合处理方法的实施例五包括以下步骤:在步骤10中,预先设置与攻击特征一一对应的聚合规则,用于指示对记录有所述攻击特征的日志的聚合条件;预先建立与攻击类型一一对应的配置文件,并将属于该攻击类型的攻击特征所对应的聚合规则保存在该配置文件中;在根据检测到的攻击特征建立日志时,在该日志中记录该攻击特征以及该攻击特征所属的攻击类型。然后在步骤11中,根据收到的日志中记录的攻击类型,查找对应的配置文件,然后根据收到的攻击日志中记录的攻击特征,查找该配置文件中保存的、与该攻击特征对应的聚合规则。最后在步骤03中,根据该聚合规则所指示的聚合条件对所收到的攻击日志进行聚合。
本实施例五与上述实施例四相比的区别在于采用了二次查找而非一次查找的查找方式,即在查找聚合规则时,首先根据日志所记录的攻击类型来查找对应的配置文件,在找到对应的配置文件后,再根据日志所记录的攻击特征来查找该配置文件中对应的聚合规则。采用这种二次查找的方式,在聚合规则所对应的攻击类型较多、规则数量较大时,能够很快缩小查找范围,提高查找效率。
本实施例五中,所述配置文件和聚合规则均是预先设置的,配置文件与攻击类型一一对应,聚合规则与攻击特征一一对应。所述攻击类型同样可采用文字描述信息、数字、编号等各种形式来记录。所述聚合规则用于指示对日志进行聚合所遵循的聚合条件,例如指示将所记录的五元组相同的日志进行聚合,或者指示将所记录的源IP地址和源端口号相同的日志进行聚合等聚合条件。
本领域的技术人员应当理解,在具体实施中可根据实际情况,对网络安全设备实际能检测到的攻击特征进行分类,每一类与一个攻击类型相对应,为每个攻击类型设置相应的记录形式,并为属于每一个攻击类型的攻击特征设置相应的记录形式,以及针对每一个攻击特征建立对应的、能够有效地对记录相同的该攻击特征的日志进行聚合的聚合规则,其均应在本发明技术方案所要求保护的范围之内。
例如,目前网络中常见的几种攻击类型及其主要攻击特征包括:
1、报文异常(正规化)攻击:对报文进行正规化时产生的异常,属于第二层至第四层上报的攻击。这类攻击记录的日志不一定存在源、目的IP和端口号。这类攻击的报文主要是不符合协议规程和格式要求的TCP、UDP、IP、ICMP或ARP等协议报文。
2、扫描攻击:包括变化IP地址的主机地址扫描攻击,变化端口号的端口扫描攻击,这类攻击的报文中没有固定的目的IP地址和端口号。
3、拒绝服务(简称DOS/DDOS)攻击:这类攻击通过发送大量报文对主机进行攻击,包括网络层的拒绝服务攻击和应用层的拒绝服务攻击,这类攻击的报文一般都存在固定的IP地址和端口号。但是可以通过协议的变化发起不同的攻击。
4、地址欺骗(简称Spoof)攻击:这种攻击的报文不存在固定的源IP和端口号。
5、网络病毒攻击:这类攻击通过蠕虫,木马等病毒攻击,这种攻击的报文一般存在固定的IP和端口号。
6、统一资源定位符(简称URL)信息过滤:管理员通过配置屏蔽了某个网站的URL连接,当客户访问该URL连接时,会记录日志信息。
本领域的技术人员可为上述每一类攻击类型设置相应的记录形式(如编号等),并为上述每一类攻击类型所包括的每一个攻击特征设置相应的记录形式(如编号等),以及针对每一个攻击特征建立对应的、能够有效地对记录相同的该攻击特征的日志进行聚合的聚合规则;并在检测到攻击而建立日志时记录该攻击的攻击类型和攻击特征。表1为日志所记录的内容的一个示例,本领域的技术人员可根据实际应用情况,对日志所记录的内容及记录顺序进行灵活设置,并使日志记录攻击的攻击类型和攻击特征,其均应在本发明技术方案所要求保护的范围之内。
表1日志所记录的内容示例表
    攻击类型
    攻击特征编号
    地址攻击发生位置
    攻击方向
    源IP地址
    目的IP地址
    源端口号
    目的端口号
    协议类型
    采取的动作
    是否记录原始报文
    攻击产生的时间
上述表1中,攻击特征编号是以编号的格式记录的、与攻击特征一一对应的攻击特征标识。例如,若设置攻击特征为TCP报文异常攻击所对应的攻击特征标识为编号1,则如果网络安全设备检测到TCP报文异常攻击,则在建立的相应的日志中记录攻击特征编号为1。
本实施例五中,对不同的攻击类型采用不同的日志聚合条件,聚合规则用于指示聚合条件,采用配置文件保存聚合规则。每一种攻击类型对应一个配置文件,每个配置文件中可以设定多条聚合规则,用于指示多种攻击的聚合条件。
优选地,上述实施例一至五中,可设定一个缓冲区用来存放聚合后的日志。具体而言,所述步骤2可具体包括:对每个收到的日志,当缓冲区中保存有与该日志符合相同的所述聚合条件的日志时,丢弃该收到的日志。进一步地,所述步骤2还可包括:对每个收到的日志,当缓冲区中未保存有与该日志符合相同的所述聚合条件的日志时,如果缓冲区未满则将该收到的日志保存在缓冲区中,如果缓冲区已满则将缓冲区中产生时间最早的日志发生给预设的接收方,然后将该收到的日志保存在缓冲区中,其中所述预设的接收方可包括本地终端、数据库或远程日志服务器等。
上述操作进一步提供了根据查到的聚合条件对日志进行聚合的具体处理流程以及对聚合后的日志的具体处理流程。其中,通过对缓冲区的大小进行设置和调整,能够控制聚合的粒度,使之与日志的产生密度相适应,从而更好地平衡网络安全设备的日志发送效率和设备的性能。例如在频繁收到日志时,可增大缓冲区的容量,避免频繁地发送日志而影响性能;而在日志产生密度较低时,可减少缓冲区的容量,从而能够较及时地发送日志。
进一步地,上述实施例一至五中,还可通过设定用于控制日志老化时间(也即存放在缓冲区中的时间)的定时器,例如若定时器设置为60秒,则每个存储在缓冲区中的日志最多在存放60秒后就需要发送给预设的接收方。具体而言,上述实施例一至三还可包括:在保存每个日志时建立对应的定时器,并定期地检查(例如每2秒检查一次)缓冲区中保存的日志所对应的定时器,将定时器超时的日志发送给预设的接收方,并删除该超时的定时器,其中所述预设的接收方包括本地终端、数据库或远程日志服务器。
其中,对于定时器所设置的老化时间,用户可以根据实际的网络情况进行调整,如果网络频繁遭到攻击,日志数量较大,则可将定时器的时间设定短一些,这样日志可以更快的进行更新。如果网络状态比较稳定,日志数量不大,可以将定时器的时间设定得长一些。总之,对于定时器的老化时间的具体长度,用户可根据网络的实际情况进行调整,从而为用户使用日志聚合提供了更大的灵活性,其均应在本发明技术方案所要求保护的范围之内。
进一步地,上述实施例一至五中,在对符合相同的聚合条件的日志进行聚合之后,还可对所聚合的日志进行计数并与日志一并发送给预设的接收方,以供用户根据该计数值对攻击进行统计或分析。具体而言,上述实施例一至三中还可包括:对每个收到的日志,如果缓冲区中未保存有与该日志符合相同的聚合条件的日志,则建立并保存一与该收到的日志符合的聚合条件相对应的计数值,且该计数值的初始值为一;如果缓冲区中保存有与该日志符合相同的聚合条件的日志,则将已保存的与该收到的日志符合的聚合条件相对应的计数值加一;在发送缓冲区中保存的日志时,提取与要发送的日志符合的聚合条件相对应的计数值,将所提取的计数值与要发送的日志一起发送给预设的接收方,所述预设的接收方包括本地终端、数据库或远程日志服务器。
图4为本发明日志的聚合处理方法的实施例六的流程示意图。在本实施例六中,在收到日志后,首先提取收到的日志中记录的攻击类型,查找该攻击类型所对应的配置文件;然后根据收到的日志中记录的攻击特征,查找该配置文件中保存的、与该攻击特征对应的聚合规则;随后根据该聚合规则所指示的聚合条件,查找缓冲区中是否保存有与该日志符合相同的所述聚合条件的日志,是则丢弃该收到的日志,并将已保存的与该收到的日志符合的聚合条件相对应的计数值加一;否则如果缓冲区未满则将该收到的日志保存在缓冲区中,建立并保存一与该收到的日志符合的聚合条件相对应的计数值,且该计数值的初始值为一;如果缓冲区已满则将缓冲区中产生时间最早的日志以及已保存的与该收到的日志符合的聚合条件相对应的计数值发生给预设的接收方,然后将该收到的日志保存在缓冲区中,并建立并保存一与该收到的日志符合的聚合条件相对应的计数值,且该计数值的初始值为一。其中,所述预设的接收方可为预设的本地终端、数据库或远程日志服务器等。
由上述实施例一至六可知,本发明日志的聚合处理方法根据攻击特征设定对应的聚合条件,而非现有技术按照单一的“五元组”方式进行聚合,从而大大提高了日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的日志的聚合;并且通过对不同类型的日志的及时有效的聚合,能够避免大量日志造成网络安全设备的拥塞,提高网络安全设备的处理性能。
下面通过实施例七和实施例八来对本发明根据不同的攻击特征采用不同的聚合方式作举例说明。
在本发明日志的聚合处理方法的实施例七中,网络安全设备检测到了端口扫描攻击,并向日志处理模块发送日志,日志处理模块收到日志后,首先根据日志中记录的攻击类型字段读取出攻击类型即端口扫描攻击,然后查找到端口扫描攻击类型所对应的配置文件,这个文件中有3条聚合规则如下:
聚合规则1:按照源IP地址和源端口聚合;
聚合规则2:按照攻击发生位置,攻击方向,目的IP聚合;
聚合规则3:按照协议类型,目的IP,攻击方向聚合。
然后根据日志中记录的攻击特征编号查找到对应的聚合规则1,将聚合规则1描述的聚合条件作为索引,查找缓冲区中是否存在符合相同的聚合条件(即源IP地址和源端口与收到的日志中记录的源IP地址和源端口相同)的日志,如果存在,则将已保存的该聚合条件所对应的计数值加1;如果不存在且缓冲区未满,则将收到的日志存入缓冲区,同时建立该聚合条件所对应的计数值为1并保存该计数值;如果不存在且缓冲区已满,则将缓冲区中最早产生的日志报文以及相应的计数值发送出去,并将收到的日志报文放入缓冲区,同时建立该聚合条件所对应的计数值为1并保存该计数值。
由上述可知,本实施例七中,通过对端口扫描攻击类型的各种攻击特征设置相应的聚合条件,有效地克服了现有技术中采用五元组聚合方式无法聚合攻击时会一直变化目的端口的端口扫描攻击所产生的大量日志的缺陷,能够根据不同的端口扫描攻击的攻击特征灵活地选择相应的聚合条件进行有效地聚合,同时能够避免大量日志造成网络安全设备的拥塞,提高网络安全设备的处理性能。
在本发明日志的聚合处理方法的实施例八中,网络安全设备检测到了协议异常攻击,向日志处理模块发送日志,日志处理模块收到日志后,对日志进行聚合。由于协议异常攻击属于二层到四层上报的攻击,这类攻击记录的日志不一定存在源、目的IP和端口号,因此通过对这种攻击的分析,可以按照协议类型字段作为日志聚合的首要条件,然后再根据不同的协议增加不同的聚合条件。具体聚合过程如下:
首先根据日志中记录的攻击类型字段读取出攻击类型即协议异常攻击,然后查找到协议异常攻击类型所对应的配置文件,这个文件中有4条聚合规则:
聚合规则a:按照协议类型、攻击方向、攻击位置进行聚合;
聚合规则b:按照协议类型,攻击方向,目的IP进行聚合;
聚合规则c:按照协议类型,源IP地址和目的IP地址进行聚合;
聚合规则d,按照协议类型,源IP地址和目的IP地址,目的端口号进行聚合。
然后根据日志中记录的、对应于ARP报文异常攻击特征的攻击特征编号,查找到与该攻击特征相对应的聚合规则a,即按照协议类型,攻击方向,攻击位置进行聚合。将这个聚合条件作为索引,查找缓冲区中是否存在符合相同聚合条件的日志,如果存在,则将已保存的该聚合条件所对应的计数值加1;如果不存在且缓冲区未满,则将日志存入缓冲区,同时建立该聚合条件所对应的计数值为1并保存该计数值;如果不存在且缓冲区已满,则将缓冲区中最早产生的日志报文以及相应的计数值发送出去,并将收到的日志报文放入缓冲区,同时建立该聚合条件所对应的计数值为1并保存该计数值。
如果上述日志中所记录的攻击特征编号对应于IP报文异常攻击特征,则相应的聚合规则可为所述聚合规则b;如果上述日志中所记录的攻击特征编号对应于ICMP报文异常攻击特征,则相应的聚合规则可为所述聚合规则c;如果上述日志中所记录的攻击特征编号对应于TCP报文异常攻击特征,则相应的聚合规则可为所述聚合规则d。
由上述可知,本实施例八中,通过对协议异常攻击类型的各种攻击特征设置相应的聚合条件,有效地克服了现有技术中采用五元组聚合方式无法聚合协议异常攻击所产生的大量日志的缺陷,能够根据不同的协议异常攻击的攻击特征灵活地选择相应的聚合条件进行有效地聚合,同时能够避免大量日志造成网络安全设备的拥塞,提高网络安全设备的处理性能。
基于上述发明构思,本发明还提供了一种日志的聚合处理装置,图5为本发明日志的聚合处理装置的实施例一的结构示意图,本实施例一包括:查找模块51,用于接收日志并根据日志中记录的日志特征,查找该日志特征对应的聚合规则;聚合模块52,与查找模块51连接,用于根据查找模块51查找获得的聚合规则所指示的聚合条件对所收到的日志进行聚合。
上述本发明日志的聚合处理装置的实施例一中,所述日志特征是指根据实际应用的需求,预先从日志所记录的各种信息特征中选取的、用于进行日志聚合的特征。在本实施例一中,通过查找模块来根据收到的日志中记录的日志特征来查找对应的聚合规则,并通过聚合模块来根据查找模块查到的聚合规则所指示的聚合条件对日志进行聚合,从而实现了对收到的日志按照其记录的日志特征分类聚合,针对不同的日志特征采用不同的聚合规则,而非现有技术中采用单一的聚合规则;因此能够针对记录不同的日志特征的日志,采取相应的不同的聚合规则来进行灵活有效的聚合,大大提高了日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的日志的聚合;并且通过对不同类型的日志的及时有效的聚合,能够避免大量日志造成设备的拥塞,提高设备的处理性能。
本发明日志的聚合处理装置的实施例二与上述本发明日志的聚合处理装置的实施例一的区别在于:所述查找模块具体为话单日志查找模块,用于接收话单日志并根据话单日志中记录的通话特征,查找该通话特征所对应的聚合规则。
上述本发明日志的聚合处理装置的实施例二适用于对移动通信网络设备所产生的话单日志的聚合。本实施例二通过查找模块来根据收到的话单日志中记录的通话特征来查找对应的聚合规则,并通过聚合模块来根据查找模块查到的聚合规则所指示的聚合条件对日志进行聚合,从而实现了对收到的话单日志按照其记录的通话特征分类聚合,针对不同的通话特征采用不同的聚合规则,而非现有技术中采用单一的聚合规则;因此能够针对记录不同的通话特征的话单日志,采取相应的不同的聚合规则来进行灵活有效的聚合,大大提高了话单日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的话单日志的聚合;并且通过对不同类型的话单日志的及时有效的聚合,能够避免大量话单日志造成设备的拥塞,提高设备的处理性能。
本发明日志的聚合处理装置的实施例三与上述本发明日志的聚合处理装置的实施例一的区别在于:所述查找模块具体为攻击日志查找模块,用于接收攻击日志并根据攻击日志中记录的攻击特征,查找该攻击特征所对应的聚合规则。
上述本发明日志的聚合处理装置的实施例三适用于对网络安全设备所产生的攻击日志的聚合。本实施例三中,通过查找模块来根据收到的日志中记录的攻击特征来查找对应的聚合规则,并通过聚合模块来根据查找模块查到的聚合规则所指示的聚合条件对日志进行聚合,从而实现了对收到的日志按照其记录的攻击特征分类聚合,针对不同的攻击特征采用不同的聚合规则,而非现有技术中采用单一的“五元组”聚合规则;因此能够针对记录不同的攻击特征的日志,采取相应的不同的聚合规则来进行灵活有效的聚合,大大提高了日志聚合的灵活性,同时也具有广泛的适用性,适用于对丰富多样的日志的聚合;并且通过对不同类型的日志的及时有效的聚合,能够避免大量日志造成网络安全设备的拥塞,提高网络安全设备的处理性能。
图6为本发明日志的聚合处理装置的实施例四的结构示意图,与上述实施例三的区别在于:还包括第一设置模块61,与查找模块51连接,用于预先设置并保存所述聚合规则,所述聚合规则与攻击特征一一对应,用于指示对记录有所述攻击特征的日志的聚合条件。
本实施例四进一步提供了在对日志进行聚合之前预先设置聚合规则的第一设置模块。所述聚合规则与攻击特征是一一对应的关系,在具体实施中,本领域的技术人员可采用以攻击特征为索引的线性表、哈希表或数据库等各种形式来具体设置所述聚合规则,其均应在本发明技术方案所要求保护的范围之内。
在本实施例四中,查找模块51查找聚合规则是通过一次查找的方式,即根据收到的日志中记录的攻击特征查找与该攻击特征对应的聚合规则即可,查找机制较简单,在聚合规则所对应的攻击类型不多、规则的数量不大的情况下效率较高。下面在本发明日志的聚合处理方法的实施例五中,进一步提供另一种查找方式,能够在聚合规则所对应的攻击类型较多、规则数量较大的情况下提高查找的效率。
图7为本发明日志的聚合处理装置的实施例五的结构示意图,与上述实施例三的区别在于:还包括第二设置模块71,与查找模块51连接,用于预先设置并保存所述聚合规则,所述聚合规则与攻击特征一一对应,用于指示对记录有所述攻击特征的日志的聚合条件,并预先建立与攻击类型一一对应的配置文件,将属于该攻击类型的攻击特征所对应的聚合规则保存在该配置文件中。查找模块51用于接收日志并根据收到的日志中记录的攻击类型,查找对应的配置文件,然后根据收到的日志中记录的攻击特征,查找该配置文件中保存的、与该攻击特征对应的聚合规则。
本实施例五与上述实施例四相比的区别在于查找模块51采用了二次查找而非一次查找的查找方式,即在查找聚合规则时,首先根据日志所记录的攻击类型来查找对应的配置文件,在找到对应的配置文件后,再根据日志所记录的攻击特征来查找该配置文件中对应的聚合规则。采用这种二次查找的方式,在聚合规则所对应的攻击类型较多、规则数量较大时,能够很快缩小查找范围,提高查找效率。
本实施例五中,所述配置文件和聚合规则均是预先设置的,配置文件与攻击类型一一对应,聚合规则与攻击特征一一对应。所述攻击类型以及攻击特征均可采用文字描述信息、数字、编号等各种形式来记录。所述聚合规则用于指示对日志进行聚合所遵循的聚合条件,例如指示将所记录的五元组相同的日志进行聚合,或者指示将所记录的源IP地址和源端口号相同的日志进行聚合等聚合条件。
本领域的技术人员应当理解,在第二设置模块71的具体实施中可根据实际情况,对网络安全设备实际能检测到的攻击特征进行分类,每一类与一个攻击类型相对应,为每个攻击类型设置相应的记录形式,并为属于每一个攻击类型的攻击特征设置相应的记录形式,以及针对每一个攻击特征建立对应的、能够有效地对记录相同的该攻击特征的日志进行聚合的聚合规则,其均应在本发明技术方案所要求保护的范围之内。
优选地,上述本发明日志的聚合处理装置的实施例一至五中,所述聚合模块可具体包括:缓冲区查找模块,与缓冲区模块连接,用于对每个收到的日志,查找缓冲区模块中是否保存有与该日志符合相同的所述聚合条件的日志;日志处理模块,与缓冲区查找模块及缓冲区模块连接,该日志处理模块包括日志筛选模块,用于根据缓冲区查找模块的查找结果,当缓冲区中保存有与所收到的日志符合相同的聚合条件的日志时丢弃该收到的日志。
优选地,所述日志处理模块还可包括日志存储模块,用于根据缓冲区查找模块的查找结果,当缓冲区中未保存有与所收到的日志符合相同的聚合条件的日志时,判断缓冲区是否已满,如果缓冲区未满则将该收到的日志保存在缓冲区中,如果缓冲区已满则将缓冲区中产生时间最早的日志发生给预设的接收方,然后将该收到的日志保存在缓冲区中,其中所述预设的接收方可包括本地终端、数据库或远程日志服务器等。
上述缓冲区模块及日志处理模块进一步提供了对日志进行聚合的具体处理方式。其中,通过对缓冲区的大小进行设置和调整,能够控制聚合的粒度,使之与日志的产生密度相适应,从而更好地平衡网络安全设备的日志发送效率和设备的性能。例如在频繁收到日志时,可增大缓冲区的容量,避免频繁地发送日志而影响性能;而在日志产生密度较低时,可减少缓冲区的容量,从而能够较及时地发送日志。
进一步地,上述本发明日志的聚合处理装置的实施例一至五中,还可包括:定时器管理模块,与缓冲区模块连接,用于在将每个日志保存到缓冲区模块中时建立对应的定时器,并定期地检查缓冲区模块中保存的日志所对应的定时器,将定时器超时的日志发送给预设的接收方,并删除该超时的定时器,其中所述预设的接收方包括本地终端、数据库或远程日志服务器。
通过上述定时器模块来设定用于控制日志老化时间(也即存放在缓冲区中的时间)的定时器,例如若定时器设置为60秒,则每个存储在缓冲区中的日志最多在存放60秒后就需要发送给预设的接收方。其中,对于定时器所设置的老化时间,用户可以根据实际的网络情况进行调整,如果网络频繁遭到攻击,日志数量较大,则可将定时器的时间设定短一些,这样日志可以更快的进行更新。如果网络状态比较稳定,日志数量不大,可以将定时器的时间设定得长一些。总之,对于定时器的老化时间的具体长度,用户可根据网络的实际情况进行调整,从而为用户使用日志聚合提供了更大的灵活性,其均应在本发明技术方案所要求保护的范围之内。
进一步地,上述本发明日志的聚合处理装置的实施例一至五中,所述聚合模块还可包括:计数值管理模块,用于对每个收到的日志,如果缓冲区中未保存有与该日志符合相同的聚合条件的日志,则建立并保存一与该收到的日志符合的聚合条件相对应的计数值,且该计数值的初始值为一,如果缓冲区中保存有与该日志符合相同的聚合条件的日志,则将已保存的与该收到的日志符合的聚合条件相对应的计数值加一;计数值发送模块,与计数值管理模块及定时器模块连接,用于在聚合模块或定时器模块发送缓冲区中保存的日志时,提取计数值管理模块所保存的、与要发送的日志符合的聚合条件相对应的计数值,将所提取的计数值与要发送的日志一起发送给预设的接收方,所述预设的接收方可包括本地终端、数据库或远程日志服务器等。
通过上述计数值管理模块以及计数值发送模块,在对符合相同的聚合条件的日志进行聚合之后,还可对所聚合的日志进行计数并与日志一并发送给预设的接收方,以供用户根据该计数值对攻击进行统计或分析。
以上实施例仅用以说明本发明的技术方案,而非对本发明作限制性理解。尽管参照上述较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这种修改或者等同替换并不脱离本发明技术方案的精神和范围。

Claims (18)

1、一种日志的聚合处理方法,其特征在于,包括:
在收到日志后,根据日志中记录的日志特征,查找该日志特征对应的聚合规则,根据该聚合规则所指示的聚合条件对所收到的日志进行聚合。
2、根据权利要求1所述的方法,其特征在于,所述根据日志中记录的日志特征,查找该日志特征对应的聚合规则具体包括:根据话单日志中记录的通话特征,查找该通话特征对应的聚合规则。
3、根据权利要求1所述的方法,其特征在于,所述根据日志中记录的日志特征,查找该日志特征对应的聚合规则具体包括:根据攻击日志中记录的攻击特征,查找该攻击特征对应的聚合规则。
4、根据权利要求3所述的方法,其特征在于,在所述收到日志之前还包括:
预先设置并保存与攻击特征一一对应的聚合规则,用于指示对记录有所述攻击特征的日志的聚合条件;
在根据检测到的攻击特征建立日志时,在该日志中记录该攻击特征。
5、根据权利要求3所述的方法,其特征在于:
在所述收到日志之前还包括:预先设置与攻击特征一一对应的聚合规则,用于指示对记录有所述攻击特征的日志的聚合条件;预先建立与攻击类型一一对应的配置文件,并将属于该攻击类型的攻击特征所对应的聚合规则保存在该配置文件中;在根据检测到的攻击特征建立日志时,在该日志中记录该攻击特征以及该攻击特征所属的攻击类型;
所述查找该攻击特征对应的聚合规则具体包括:根据收到的日志中记录的攻击类型,查找对应的配置文件,然后根据收到的日志中记录的攻击特征,查找该配置文件中保存的、与该攻击特征对应的聚合规则。
6、根据权利要求1-5任一所述的方法,其特征在于,所述根据该聚合规则所指示的聚合条件对所收到的日志进行聚合具体包括:对每个收到的日志,当缓冲区中保存有与该日志符合相同的所述聚合条件的日志时,丢弃该收到的日志。
7、根据权利要求6所述的方法,其特征在于,所述根据该聚合规则所指示的聚合条件对所收到的日志进行聚合还包括:对每个收到的日志,当缓冲区中未保存有与该日志符合相同的所述聚合条件的日志时,如果缓冲区未满则将该收到的日志保存在缓冲区中,如果缓冲区已满则将缓冲区中产生时间最早的日志发生给预设的接收方,然后将该收到的日志保存在缓冲区中。
8、根据权利要求7所述的方法,其特征在于,还包括:
在保存每个日志时建立对应的定时器,并定期地检查缓冲区中保存的日志所对应的定时器,将定时器超时的日志发送给预设的接收方,并删除该超时的定时器。
9、根据权利要求7所述的方法,其特征在于,还包括:
对每个收到的日志,如果缓冲区中未保存有与该日志符合相同的聚合条件的日志,则建立并保存一与该收到的日志符合的聚合条件相对应的计数值,且该计数值的初始值为一;如果缓冲区中保存有与该日志符合相同的聚合条件的日志,则将已保存的与该收到的日志符合的聚合条件相对应的计数值加一;
在发送缓冲区中保存的日志时,提取与要发送的日志符合的聚合条件相对应的计数值,将所提取的计数值与要发送的日志一起发送给预设的接收方。
10、一种日志的聚合处理装置,其特征在于,包括:
查找模块,用于接收日志并根据日志中记录的日志特征,查找该日志特征对应的聚合规则;
聚合模块,与查找模块连接,用于根据查找模块查找获得的聚合规则所指示的聚合条件对所收到的日志进行聚合。
11、根据权利要求10所述的装置,其特征在于:所述查找模块具体为话单日志查找模块,用于接收话单日志并根据话单日志中记录的通话特征,查找该通话特征所对应的聚合规则。
12、根据权利要求10所述的装置,其特征在于:所述查找模块具体为攻击日志查找模块,用于接收攻击日志并根据攻击日志中记录的攻击特征,查找该攻击特征所对应的聚合规则。
13、根据权利要求12所述的装置,其特征在于,还包括:
第一设置模块,与查找模块连接,用于预先设置并保存所述聚合规则,所述聚合规则与攻击特征一一对应,用于指示对记录有所述攻击特征的日志的聚合条件。
14、根据权利要求12所述的装置,其特征在于,还包括:
第二设置模块,与查找模块连接,用于预先设置并保存所述聚合规则,所述聚合规则与攻击特征一一对应,用于指示对记录有所述攻击特征的日志的聚合条件,并预先建立与攻击类型一一对应的配置文件,将属于该攻击类型的攻击特征所对应的聚合规则保存在该配置文件中;
所述查找模块用于接收日志并根据收到的日志中记录的攻击类型,查找对应的配置文件,然后根据收到的日志中记录的攻击特征,查找该配置文件中保存的、与该攻击特征对应的聚合规则。
15、根据权利要求10-14任一所述的装置,其特征在于,所述聚合模块包括:
缓冲区查找模块,与缓冲区模块连接,用于对每个收到的日志,查找缓冲区模块中是否保存有与该日志符合相同的所述聚合条件的日志;
日志处理模块,与缓冲区查找模块及缓冲区模块连接,该日志处理模块包括日志筛选模块,用于根据缓冲区查找模块的查找结果,当缓冲区中保存有与所收到的日志符合相同的聚合条件的日志时丢弃该收到的日志。
16、根据权利要求15所述的装置,其特征在于:所述日志处理模块还包括日志存储模块,用于根据缓冲区查找模块的查找结果,当缓冲区中未保存有与所收到的日志符合相同的聚合条件的日志时,判断缓冲区是否已满,如果缓冲区未满则将该收到的日志保存在缓冲区中,如果缓冲区已满则将缓冲区中产生时间最早的日志发生给预设的接收方,然后将该收到的日志保存在缓冲区中。
17、根据权利要求16所述的装置,其特征在于,还包括:
定时器管理模块,与缓冲区模块连接,用于在将每个日志保存到缓冲区模块中时建立对应的定时器,并定期地检查缓冲区模块中保存的日志所对应的定时器,将定时器超时的日志发送给预设的接收方,并删除该超时的定时器。
18、根据权利要求16所述的装置,其特征在于,所述聚合模块还包括:
计数值管理模块,用于对每个收到的日志,如果缓冲区中未保存有与该日志符合相同的聚合条件的日志,则建立并保存一与该收到的日志符合的聚合条件相对应的计数值,且该计数值的初始值为一,如果缓冲区中保存有与该日志符合相同的聚合条件的日志,则将已保存的与该收到的日志符合的聚合条件相对应的计数值加一;
计数值发送模块,与计数值管理模块连接,用于在发送缓冲区中保存的日志时,提取计数值管理模块所保存的、与要发送的日志符合的聚合条件相对应的计数值,将所提取的计数值与要发送的日志一起发送给预设的接收方。
CN200710064427.8A 2007-03-15 2007-03-15 日志的聚合处理方法及聚合处理装置 Expired - Fee Related CN101018121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200710064427.8A CN101018121B (zh) 2007-03-15 2007-03-15 日志的聚合处理方法及聚合处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200710064427.8A CN101018121B (zh) 2007-03-15 2007-03-15 日志的聚合处理方法及聚合处理装置

Publications (2)

Publication Number Publication Date
CN101018121A true CN101018121A (zh) 2007-08-15
CN101018121B CN101018121B (zh) 2011-03-09

Family

ID=38726894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710064427.8A Expired - Fee Related CN101018121B (zh) 2007-03-15 2007-03-15 日志的聚合处理方法及聚合处理装置

Country Status (1)

Country Link
CN (1) CN101018121B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101800668A (zh) * 2010-03-23 2010-08-11 成都市华为赛门铁克科技有限公司 日志归并方法和装置
CN101625703B (zh) * 2009-08-21 2011-02-09 华中科技大学 一种内存数据库的日志合并方法和系统
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储系统的日志管理优化方法
CN102447589A (zh) * 2010-09-30 2012-05-09 杭州华三通信技术有限公司 一种聚合记录的方法及装置
CN102750462A (zh) * 2011-12-13 2012-10-24 北京安天电子设备有限公司 基于环境的日志分析转换方法及装置
CN103384213A (zh) * 2011-12-31 2013-11-06 华为数字技术(成都)有限公司 一种检测规则优化配置方法及设备
WO2014019349A1 (zh) * 2012-08-01 2014-02-06 华为技术有限公司 一种文件合并方法和装置
CN104869022A (zh) * 2015-05-27 2015-08-26 北京京东尚科信息技术有限公司 一种日志采集方法及系统
CN106027554A (zh) * 2016-06-30 2016-10-12 北京网康科技有限公司 一种黑客工具挖掘方法、装置及系统
CN106230815A (zh) * 2016-07-29 2016-12-14 杭州迪普科技有限公司 一种告警日志的控制方法和装置
CN106294673A (zh) * 2016-08-08 2017-01-04 杭州玳数科技有限公司 一种用户自定义规则实时解析日志数据的方法与系统
CN106294866A (zh) * 2016-08-23 2017-01-04 北京奇虎科技有限公司 一种日志处理方法和装置
CN106341278A (zh) * 2016-10-28 2017-01-18 广州华多网络科技有限公司 日志上报方法、装置和终端设备
WO2017032288A1 (zh) * 2015-08-21 2017-03-02 中兴通讯股份有限公司 一种安全配置变更检测方法和装置
CN107402863A (zh) * 2016-03-28 2017-11-28 阿里巴巴集团控股有限公司 一种用于通过日志系统处理业务系统的日志的方法与设备
CN107566409A (zh) * 2017-10-20 2018-01-09 携程旅游网络技术(上海)有限公司 局域网扫描行为检测方法、装置、电子设备、存储介质
CN109344139A (zh) * 2018-11-01 2019-02-15 浪潮电子信息产业股份有限公司 一种存储系统操作日志的聚合方法及相关装置
CN109617885A (zh) * 2018-12-20 2019-04-12 北京神州绿盟信息安全科技股份有限公司 攻陷主机自动判定方法、装置、电子设备及存储介质
WO2019161679A1 (zh) * 2018-02-26 2019-08-29 众安信息技术服务有限公司 一种用于联机分析处理的数据处理方法和装置
CN110401626A (zh) * 2019-03-14 2019-11-01 腾讯科技(深圳)有限公司 一种黑客攻击分级检测方法及装置
CN115065505A (zh) * 2022-05-24 2022-09-16 西安电子科技大学 一种隐私保护方法以及相关装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1211980C (zh) * 2003-07-31 2005-07-20 港湾网络有限公司 日志信息的扩展保存方法
CN100383784C (zh) * 2004-01-02 2008-04-23 联想(北京)有限公司 联机分析处理系统及方法

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625703B (zh) * 2009-08-21 2011-02-09 华中科技大学 一种内存数据库的日志合并方法和系统
CN101800668B (zh) * 2010-03-23 2012-10-17 成都市华为赛门铁克科技有限公司 日志归并方法和装置
CN101800668A (zh) * 2010-03-23 2010-08-11 成都市华为赛门铁克科技有限公司 日志归并方法和装置
CN102447589B (zh) * 2010-09-30 2014-07-30 杭州华三通信技术有限公司 一种聚合记录的方法及装置
CN102447589A (zh) * 2010-09-30 2012-05-09 杭州华三通信技术有限公司 一种聚合记录的方法及装置
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储系统的日志管理优化方法
CN102750462A (zh) * 2011-12-13 2012-10-24 北京安天电子设备有限公司 基于环境的日志分析转换方法及装置
CN102750462B (zh) * 2011-12-13 2015-07-29 北京安天电子设备有限公司 基于环境的日志分析转换方法及装置
US9411957B2 (en) 2011-12-31 2016-08-09 Huawei Technologies Co., Ltd. Method and device for optimizing and configuring detection rule
CN103384213A (zh) * 2011-12-31 2013-11-06 华为数字技术(成都)有限公司 一种检测规则优化配置方法及设备
CN103384213B (zh) * 2011-12-31 2017-07-21 华为数字技术(成都)有限公司 一种检测规则优化配置方法及设备
CN103577454A (zh) * 2012-08-01 2014-02-12 华为技术有限公司 一种文件合并方法和装置
WO2014019349A1 (zh) * 2012-08-01 2014-02-06 华为技术有限公司 一种文件合并方法和装置
CN104869022A (zh) * 2015-05-27 2015-08-26 北京京东尚科信息技术有限公司 一种日志采集方法及系统
WO2017032288A1 (zh) * 2015-08-21 2017-03-02 中兴通讯股份有限公司 一种安全配置变更检测方法和装置
CN107402863B (zh) * 2016-03-28 2021-03-09 阿里巴巴集团控股有限公司 一种用于通过日志系统处理业务系统的日志的方法与设备
CN107402863A (zh) * 2016-03-28 2017-11-28 阿里巴巴集团控股有限公司 一种用于通过日志系统处理业务系统的日志的方法与设备
CN106027554A (zh) * 2016-06-30 2016-10-12 北京网康科技有限公司 一种黑客工具挖掘方法、装置及系统
CN106230815B (zh) * 2016-07-29 2019-05-07 杭州迪普科技股份有限公司 一种告警日志的控制方法和装置
CN106230815A (zh) * 2016-07-29 2016-12-14 杭州迪普科技有限公司 一种告警日志的控制方法和装置
CN106294673A (zh) * 2016-08-08 2017-01-04 杭州玳数科技有限公司 一种用户自定义规则实时解析日志数据的方法与系统
CN106294866A (zh) * 2016-08-23 2017-01-04 北京奇虎科技有限公司 一种日志处理方法和装置
CN106294866B (zh) * 2016-08-23 2020-02-11 北京奇虎科技有限公司 一种日志处理方法和装置
CN106341278A (zh) * 2016-10-28 2017-01-18 广州华多网络科技有限公司 日志上报方法、装置和终端设备
CN107566409A (zh) * 2017-10-20 2018-01-09 携程旅游网络技术(上海)有限公司 局域网扫描行为检测方法、装置、电子设备、存储介质
WO2019161679A1 (zh) * 2018-02-26 2019-08-29 众安信息技术服务有限公司 一种用于联机分析处理的数据处理方法和装置
CN109344139A (zh) * 2018-11-01 2019-02-15 浪潮电子信息产业股份有限公司 一种存储系统操作日志的聚合方法及相关装置
CN109617885A (zh) * 2018-12-20 2019-04-12 北京神州绿盟信息安全科技股份有限公司 攻陷主机自动判定方法、装置、电子设备及存储介质
CN109617885B (zh) * 2018-12-20 2021-04-16 北京神州绿盟信息安全科技股份有限公司 攻陷主机自动判定方法、装置、电子设备及存储介质
CN110401626A (zh) * 2019-03-14 2019-11-01 腾讯科技(深圳)有限公司 一种黑客攻击分级检测方法及装置
CN110401626B (zh) * 2019-03-14 2022-02-18 腾讯科技(深圳)有限公司 一种黑客攻击分级检测方法及装置
CN115065505A (zh) * 2022-05-24 2022-09-16 西安电子科技大学 一种隐私保护方法以及相关装置
CN115065505B (zh) * 2022-05-24 2023-10-13 西安电子科技大学 一种隐私保护方法以及相关装置

Also Published As

Publication number Publication date
CN101018121B (zh) 2011-03-09

Similar Documents

Publication Publication Date Title
CN101018121B (zh) 日志的聚合处理方法及聚合处理装置
Bagui et al. Using machine learning techniques to identify rare cyber‐attacks on the UNSW‐NB15 dataset
KR101689299B1 (ko) 보안이벤트 자동 검증 방법 및 장치
KR101391781B1 (ko) 웹 트랜잭션 밀집도 기반 에이치티티피 봇넷 탐지 장치 및 방법
CN109495443B (zh) 一种基于主机蜜罐对抗勒索软件攻击的方法和系统
CN100448203C (zh) 用于识别和防止恶意入侵的系统和方法
US8943586B2 (en) Methods of detecting DNS flooding attack according to characteristics of type of attack traffic
US8561188B1 (en) Command and control channel detection with query string signature
US8272056B2 (en) Efficient intrusion detection
KR100684602B1 (ko) 세션 상태전이를 이용한 시나리오 기반 침입대응 시스템 및그 방법
Ahmed et al. Network traffic pattern analysis using improved information theoretic co-clustering based collective anomaly detection
US10291632B2 (en) Filtering of metadata signatures
US20230283631A1 (en) Detecting patterns in network traffic responses for mitigating ddos attacks
Teng et al. A cooperative intrusion detection model for cloud computing networks
Sawaya et al. Detection of attackers in services using anomalous host behavior based on traffic flow statistics
Giacinto et al. Alarm clustering for intrusion detection systems in computer networks
CN107547504B (zh) 入侵防御方法及装置
Antichi et al. Counting bloom filters for pattern matching and anti-evasion at the wire speed
CN115603985A (zh) 入侵检测方法及电子设备、存储介质
Dodig et al. Reducing false rate packet recognition using Dual Counting Bloom Filter
Majed et al. Efficient and Secure Statistical DDoS Detection Scheme.
Ghosh et al. Research on packet inspection techniques
Jin et al. Mitigating HTTP GET Flooding attacks through modified NetFPGA reference router
Subburaj et al. Discover Crypto-Jacker from Blockchain Using AFS Method
KR102640648B1 (ko) 특화된 데이터베이스 구축을 통한 기업 자산관리 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address

Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No.

Patentee after: Xinhua three Technology Co., Ltd.

Address before: 310053 Hangzhou hi tech Industrial Development Zone, Zhejiang province science and Technology Industrial Park, No. 310 and No. six road, HUAWEI, Hangzhou production base

Patentee before: Huasan Communication Technology Co., Ltd.

CP03 Change of name, title or address
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110309

Termination date: 20200315

CF01 Termination of patent right due to non-payment of annual fee