CN116668075A - 日志检测方法、装置、设备和存储介质 - Google Patents
日志检测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116668075A CN116668075A CN202310463118.7A CN202310463118A CN116668075A CN 116668075 A CN116668075 A CN 116668075A CN 202310463118 A CN202310463118 A CN 202310463118A CN 116668075 A CN116668075 A CN 116668075A
- Authority
- CN
- China
- Prior art keywords
- ioc
- rule
- log data
- field
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000001914 filtration Methods 0.000 claims abstract description 62
- 230000006399 behavior Effects 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims description 15
- 241000544061 Cuculus canorus Species 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 101100217298 Mus musculus Aspm gene Proteins 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
- H04L41/0627—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time by acting on the notification or alarm source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种日志检测方法、装置、设备和存储介质,该方法包括:获取网络行为信息,并解析网络行为信息得到日志数据;利用内存中的第一IOC规则对日志数据进行过滤,第一IOC规则用于过滤掉不会产生告警的日志数据;将过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,第二IOC规则用于过滤出能够产生告警的日志数据;第一IOC规则包括的字段数量小于第二IOC规则包括的字段数量。因第一IOC规则包括的字段数量比第二IOC规则少,第一IOC规则所占用的内存空间小于第二IOC规则,且通过第一IOC规则已将大部分日志数据过滤,进而基于过滤后的日志数据和第二IOC规则进行匹配,实现了内存开销的节省。
Description
技术领域
本发明涉及网络安全技术领域,尤其涉及一种日志检测方法、装置、设备和存储介质。
背景技术
日志检测在网络安全领域至关重要,通过日志检测可以发现具有威胁的网络行为,利用失陷指标(Indicators of Compromise,IOC)进行日志检测是基于入侵指标的一种检测方法,可以发现传统安全产品无法发现的很多威胁。
IOC日志检测是使用网络协议(Internet Protocol,IP)地址和域名去匹配IOC规则,IOC规则实质上是IP地址和域名的黑名单。现有技术中,IOC检测程序通过将大规模的IOC规则加载到内存中以提高IOC日志检测效率,但如果加载过多的IOC规则会导致内存开销很大。
发明内容
本发明提供一种日志检测方法、装置、设备和存储介质,用以解决现有技术中加载过多的IOC规则导致内存开销大的缺陷,实现了内存开销的节省。
第一方面,本发明提供一种日志检测方法,包括:
获取网络行为信息,并解析网络行为信息得到日志数据;
利用内存中的第一IOC规则对日志数据进行过滤,得到过滤后的日志数据,第一IOC规则用于过滤掉不会产生告警的日志数据;
将过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,第二IOC规则用于过滤出能够产生告警的日志数据;第一IOC规则包括的字段数量小于第二IOC规则包括的字段数量。
进一步地,第一IOC规则包括:第一字段,第一字段的值对应第一属性信息的散列校验值;第一属性信息为存在告警风险的属性信息;第一属性信息包括以下至少一项:IP地址、域名、源端口、目的端口;利用内存中的第一IOC规则对所述日志数据进行过滤,得到过滤后的日志数据,包括:
对日志数据中的至少一个属性信息进行哈希处理,得到各个属性信息对应的散列校验值;
将各个散列校验值与第一IOC规则中的第一字段的值进行匹配,将与第一字段的值不匹配的散列校验值对应的日志数据进行过滤,得到过滤后的日志数据。
进一步地,所述将与所述第一字段的值不匹配的散列校验值对应的日志数据进行过滤,得到过滤后的日志数据,包括:
通过布谷鸟过滤器将与所述第一字段的值不匹配的散列校验值对应的日志数据进行过滤,得到过滤后的日志数据。
进一步地,第二IOC规则包括第二字段,以及以下至少一个规则字段:第三字段、IOC规则类型字段和网络行为类型字段;第二字段的值对应第二属性信息的散列校验值;第二属性信息为能够产生告警的属性信息;第二属性信息包括以下至少一项:IP地址、域名、源端口、目的端口;第三字段的值用于表示日志数据包括的目的端口对应的端口号;IOC规则类型字段的值用于表示第二IOC规则中的第二属性信息的类型;所述网络行为类型字段的值用于表示域名对应的网络行为类型。
进一步地,域名还包括顶级私有域名,将过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,包括:
将过滤后的日志数据包含的属性信息与第二IOC规则中包含的第二字段以及至少一个规则字段进行匹配,得到匹配结果;过滤后的日志数据包含的属性信息包括以下至少一项:域名、IP地址、目的端口;
当满足预设的匹配条件时,将匹配结果确定为过滤后的日志数据与第二IOC规则匹配;
预设的匹配条件中包含以下至少一项:
过滤后的日志数据中的顶级私有域名对应的散列校验值为第二字段的值,且IOC规则类型字段的值为顶级私有域名类型;
过滤后的日志数据中的域名对应的散列校验值为第二字段的值,且IOC规则类型字段的值为非顶级私有域名类型;
过滤后的日志数据中的IP地址对应的散列校验值为第二字段的值,IOC规则类型字段的值为非顶级私有域名类型,且目的端口对应的端口号为第三字段的值;
过滤后的日志数据中的IP地址对应的散列校验值为第二字段的值,IOC规则类型字段的值为空。
进一步地,将过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果之后,所述方法还包括:
生成告警信息。
进一步地,第一IOC规则和/或第二IOC规则存储在内存中的IOC规则库中,所述方法还包括:
将IOC规则库中的第一IOC规则和/或第二IOC规则缓存至电子设备的内存中,电子设备用于执行日志检测方法。
进一步地,所述方法还包括:
在IOC规则库中的IOC规则更新的情况下,对内存中缓存的第一IOC规则和/或第二IOC规则进行更新。
第二方面,本发明还提供一种日志检测装置,包括:
获取模块,用于获取网络行为信息,并解析网络行为信息得到日志数据;
过滤模块,用于利用内存中的第一IOC规则对日志数据进行过滤,得到过滤后的日志数据,第一IOC规则用于过滤掉不会产生告警的日志数据;
匹配模块,将过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,第二IOC规则用于过滤出能够产生告警的日志数据;第一IOC规则包括的字段数量小于第二IOC规则包括的字段数量。
第三方面,本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如上述任一种日志检测方法。
第四方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种日志检测方法。
第五方面,本发明还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现如上述任一种日志检测方法。
本发明提供的一种日志检测方法、装置、设备和存储介质,通过获取网络行为信息,并解析出网络行为信息中的日志数据,基于内存中的第一IOC规则先将日志数据进行过滤,也就是过滤掉完全无法命中第一IOC规则的日志数据(即过滤掉不会产生告警的日志数据),将过滤后得到的日志数据(可能会命中第二IOC规则的日志)进一步与内存中的第二IOC规则进行匹配,得到匹配结果,因第一IOC规则包括的字段数量相比第二IOC规则包括的字段数量更少,因而第一IOC规则所占用的内存空间小于第二IOC规则占用的内存空间,而且通过第一IOC规则已经将大部分日志数据过滤,进一步基于过滤后的日志数据和第二IOC规则进行匹配,从而实现了内存开销的节省。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的日志检测方法的流程示意图之一;
图2本发明提供的日志检测方法的另一流程示意图;
图3是本发明提供的日志检测装置的结构示意图;
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的方法可以应用于网络安全检测场景中,实现了基于IOC对日志进行快速检测,节约了内存开销,同时也能够提高日志检测的准确性。
现有技术中,为了做到快速匹配IOC规则,很多IOC检测程序都是将大规模的IOC规则加载到内存中以做到快速匹配,但如果加载大规模的IOC规则到内存中,一方面会导致内存开销很大可以达到5G以上,另一方面从一个现实角度出发,并不是所有的IOC日志都会产生告警,基本上90%的日志都不会产生告警。基于此可以考虑设置过滤器先过滤掉大部分不会产生告警信息的日志(可以理解为白名单),保留可能会产生告警信息的日志,进一步基于过滤后的日志数据利用精确的匹配条件进一步匹配,得到匹配结果。
本发明实施例的日志检测方法,通过获取网络行为信息并解析出日志数据,将所述日志数据中完全不会命中第一IOC规则的日志过滤掉,进而通过精确的第二IOC匹配规则进行匹配,得到匹配结果,实现了节约内存开销,同时提高了日志检测的准确性。
为了便于更加清晰地理解本申请各实施例,首先对一些相关的技术内容进行介绍。
失陷指标(Indicators of Compromise,IOC):即攻击者控制被害主机所使用的远程命令与控制服务器,一般IOC日志都是与网络行为关联,例如:访问某个IP地址和某个域名。
过滤器(filter):对于海量数据处理业务,我们通常需要一个索引数据结构,用来帮助查询,快速判断数据记录是否存在,这种数据结构通常又叫过滤器。比较常用的过滤器包含布隆过滤器和布谷鸟过滤器。
告警:IOC检测服务匹配过日志之后产生的输出,标识该日志访问IOC规则中的IP地址或域名。
下面结合图1-图4以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1是本发明实施例提供的日志检测方法的流程示意图之一,如图1所示,该日志检测方法包括以下步骤:
步骤101、获取网络行为信息,并解析网络行为信息得到日志数据;
步骤102、利用内存中的第一IOC规则对所述日志数据进行过滤,得到过滤后的日志数据,第一IOC规则用于过滤掉不会产生告警的日志数据;
步骤103、将过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,第二IOC规则用于过滤出能够产生告警的日志数据;第一IOC规则包括的字段数量小于第二IOC规则包括的字段数量。
需要说明的是,网络行为信息包括以下至少一项:网络协议(Internet Protocol,IP)、域名服务(Domain Name Service,DNS);传输控制协议(Transfer Control Protocol,TCP);用户数据报协议(User Datagram Protocol,UDP);统一资源标识符(UniversalResource Identifier,URI);超文本传输协议(Hyper Text Transfer Protocol,HTTP);基于安全套接字协议的超文本传输协议(Hyper Text Transfer Protocol over SecureSocket Layer,HTTPS),网络行为信息经压缩后存储至例如电子设备上的卡夫卡Kafka消息队列集群中。
具体地,步骤101中,获取网络行为信息,例如消费Kafka集群中的网络行为信息,进一步地,对所述网络行为信息进行解压缩并提取日志数据,例如源IP、目的IP、域名、源端口、目的端口等。
进一步地,步骤102中,通过过滤器例如布谷鸟过滤器cuckoo filter将解析得到的日志数据中与内存中的第一IOC规则不匹配的日志数据进行过滤,过滤掉不会产生告警的日志数据,得到过滤后的日志数据,即就是将完全不会命中第一IOC规则的日志数据过滤掉,得到可能会命中第二IOC规则的日志数据集合。从现实角度考虑,基本上80%~90%的日志数据都不会产生告警信息,所以该步骤中例如已经将80%~90%的日志过滤,得到的过滤后的日志数据为所有日志数据中的10%~20%。
具体地,将所述日志数据包括的属性信息(例如IP地址、域名、源端口、目的端口)经哈希处理后得到各属性信息对应的散列校验值,将各所述散列校验值与内存中的第一IOC规则中进行匹配,将与第一IOC规则匹配不成功的日志数据进行过滤,例如内存中保留与第一IOC规则(包含第一字段value1)匹配成功的日志数据,即就是只要该日志数据对应的属性信息的至少一个散列校验值与第一字段value1的值匹配,就将该条日志数据保留在内存中。该步骤仅需将第一IOC规则即第一IOC规则中的第一字段value1加载到内存中就可以实现初步过滤,所占用的内存空间少,且过滤的效率较高。
更进一步地,步骤103中,将过滤后的日志数据与第二IOC规则进行精确匹配,第二IOC规则用于过滤出能够产生告警的日志,所述第二IOC规则中包含第二字段value2,以及以下至少一个规则字段:第三字段value3、IOC规则类型字段ioc_category、网络行为类型字段tag,从而得到匹配结果,该匹配结果用于表示过滤后的日志数据是否能与第二IOC规则匹配,如果匹配成功后续就可以产生告警信息。
本发明实施例提供的日志检测方法,通过获取网络行为信息,并解析出网络行为信息中的日志数据,基于内存中的第一IOC规则先将日志数据进行过滤,也就是过滤掉完全无法命中第一IOC规则的日志数据(即过滤掉不会产生告警的日志数据),将过滤后得到的日志数据(可能会命中第二IOC规则的日志)进一步与内存中的第二IOC规则进行匹配,得到匹配结果,因第一IOC规则包括的字段数量相比第二IOC规则包括的字段数量更少,因而第一IOC规则所占用的内存空间小于第二IOC规则占用的内存空间,而且通过第一IOC规则已经将大部分日志数据过滤,进一步基于过滤后的日志数据和第二IOC规则进行匹配,从而实现了内存开销的节省。
图2是本发明提供的日志检测方法的另一实施例示意图,如图2所示,包括:
需要说明的是,与网络行为相关的信息可以包括IP_access(网络协议信息(Internet Protocol,IP))和dns_access(域名信息(Domain Name Service,DNS),所述IP_access搜集了IP访问的日志信息,记录源IP地址和目的IP地址信息,定期保存于搜索引擎服务器(ElasticSearch,ES)中,例如按天保存;所述dns_access收集dns服务器访问的日志信息,记录访问的域名以及根据所述域名解析的IP地址等信息,定期保存于ES中,例如按天保存。
首先,通过日志消费解析模块消费与网络行为相关的消息,并解析出所述网络行为信息中的日志数据,解析得到的日志数据包括以下至少一项属性信息:源IP地址、目的IP地址、源端口、目的端口、域名和顶级私有域名。
其次,使用布谷鸟过滤器Cuckoo Filter加载IOC规则中的第一IOC规则,即第一字段,并基于第一字段的值和日志数据各属性信息的散列校验值进行匹配,从而对日志数据进行过滤,过滤各散列校验值和第一字段的值无法匹配的日志数据,得到过滤后的日志数据。
然后,精确匹配模块基于过滤后的日志数据各属性信息对应的散列校验值、网络行为类型等,结合第二IOC规则中的例如第二字段以及至少一个规则字段:第三字段、IOC规则类型字段和网络行为类型字段,在IOC规则库中进一步查询、匹配。
最后,告警生成模块,用于对精确匹配模块输出的与第二IOC规则匹配成功的日志数据生成告警信息,同时将告警信息写入另一个主题队列Kafka Topic中。
进一步地,IOC增量更新模块,用于定期抓取IOC规则库中的IOC规则,同时将更新的IOC规则实时同步到布谷鸟过滤器中。
进一步地,系统可以外接组件或程序,例如订阅组件setting-service和更新组件edr-upgrade,具体地,
订阅组件setting-service,用于订阅更新的配置信息,例如更新的配置信息为对IOC规则库进行抓取的频率,实现定期同步IOC规则。
例如一日五次或者一日十次;
更新组件edr-upgrade,用于定期更新IOC规则库,主动发现来自外部或者内部的威胁情报,对IOC规则库中的IOC规则实时更新,从而有效对端点进行防护。
本发明实施例提供的日志检测方法,通过基于第一IOC规则将网络行为信息中的日志数据进行过滤,即过滤掉完全无法命中第一IOC规则的日志数据,将过滤得到的日志数据进一步利用第二IOC规则进行匹配,得到匹配结果,本方法进行日志检测时先通过第一IOC规则过滤掉所有日志数据中与第一IOC规则不匹配的日志数据,保留与第一IOC规则匹配的部分日志数据在内存中,进一步基于过滤后的日志数据与包含多个字段的第二IOC规则进行匹配。因第一IOC规则包括的字段数量小于第二IOC规则包括的字段数量,所以先过滤后精确匹配的检测方式实现了内存开销的节省。
可选地,第一IOC规则包括:第一字段,第一字段的值对应第一属性信息的散列校验值,第一属性信息为存在告警风险的属性信息;第一属性信息包括以下至少一项:IP地址、域名、源端口、目的端口;利用内存中的第一IOC规则对日志数据进行过滤,得到过滤后的日志数据,可以包括:
步骤a、对日志数据中的至少一个属性信息进行哈希处理,得到各个属性信息对应的散列校验值;
步骤b、将各个散列校验值与第一IOC规则中的第一字段的值进行匹配,将与第一字段的值不匹配的散列校验值对应的日志数据进行过滤,得到过滤后的日志数据。
具体地,完整的IOC规则包含多个字段,可以包含以下至少一项:第一字段value1、第三字段value3、IOC规则类型字段ioc_category和网络行为类型tag等,所述第一IOC规则中只包括第一字段value1,第一字段的值对应第一属性信息的散列校验值,第一属性信息为存在告警风险的属性信息,所以第一IOC规则中包含的字段数量远远小于完整的IOC规则中包含的字段数量,占用的空间更小,例如第一IOC规则如下:
{
"value1":"+++5lvucsz8nG4G6hjy72w=="
}
进一步地,关于散列校验值,首先需要了解哈希hash函数,哈希函数,用于将任意长度的输入(又叫做预映射,pre-image),通过散列算法变换成固定长度的输出,该输出就是散列校验值,这种转换可以理解是一种压缩映射,也就是,散列校验值的空间通常远小于输入的空间,不同的输入可能会散列成相同的输出,而不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。哈希函数主要用于信息安全领域中的加密算法,把一些不同长度的信息转化成杂乱的例如128位的编码,所述编码叫做hash值,也就是散列校验值,常用的哈希算法有MD5算法、SHA1算法。进一步地,首先对日志数据中的属性信息进行哈希函数处理,所述属性信息可以包括:IP地址、域名、顶级私有域名(top private doamin,tpd)、源端口、目的端口,经过哈希处理后得到各属性信息分别对应的散列校验值(即hash值),例如IP地址对应的散列校验值hash(IP)、域名对应的散列校验值hash(domain)、顶级私有域名对应的散列校验值hash(tpd)。可以理解的是,此处使用的哈希算法可以是MD5算法也可以是SHA1算法,此实施例不对此进行限定,但是为了方便数据处理,此处使用的哈希算法需要和第一字段value1解密用到的哈希算法一致。
进一步地,可以将上述计算得到的各个属性信息的散列校验值和第一IOC规则中的第一字段value1的值进行匹配,其中,第一字段的值对应第一属性信息的散列校验值,第一属性信息为存在告警风险的属性信息,将与第一字段value1的值不匹配的各散列校验值对应的日志数据进行过滤,此处匹配的意思是只要所述至少一个散列校验值与第一字段value1的值匹配,就定义为该日志数据与第一IOC规则匹配,进而将该条日志数据保留在内存中,得到过滤后的日志数据。
在本实施例中,通过计算日志数据对应各属性信息的散列校验值,将所述各个散列校验值与第一IOC规则中的第一字段的值进行匹配,当存在至少一个散列校验值与第一字段的值匹配,就将该条日志数据保留在内存中,将与第一IOC规则不匹配的日志数据全部过滤,得到过滤后的日志数据。因第一IOC规则中包括的字段只有第一字段,通过将各个散列校验值和第一字段的值进行匹配,进而对日志数据进行过滤,过滤的效率较高,基于第一字段的筛选,可以将完全不会命中第一IOC规则的日志数据过滤,极大地节省了内存空间。
可选地,将与第一字段的值不匹配的散列校验值对应的日志数据进行过滤,得到过滤后的日志数据,可以包括:
通过布谷鸟过滤器将与第一字段的值不匹配的散列校验值对应的日志数据进行过滤,得到过滤后的日志数据。
具体地,本方法中可以使用布谷鸟过滤器cuckoo filter进行过滤,将上述日志数据的各属性信息计算出的散列校验值与第一字段的值value1进行匹配,将与第一字段的值不匹配的散列校验值对应的日志数据进行过滤,得到过滤后的日志数据。同时,布谷鸟过滤器支持动态插入与删除数据,还可以对过滤器中的IOC规则进行动态插入和删除操作。
本发明实施例提供的方法中,通过使用布谷鸟过滤器基于第一IOC规则中第一字段的值对日志数据进行过滤,第一字段的值对应第一属性信息的散列校验值,第一属性信息为存在告警风险的属性信息,因而,充分考虑了第一IOC规则经常更新的情况,支持灵活的删减或修改IOC规则,使得布谷鸟过滤器进行过滤后得到的日志数据更符合实际情况,过滤的准确性更高。
可选地,第二IOC规则包括第二字段,以及以下至少一个规则字段:第三字段、IOC规则类型字段ioc_category和网络行为类型字段tag;第二字段的值对应第二属性信息的散列校验值,第二属性信息为能够产生告警的属性信息;第二属性信息包括以下至少一项:IP地址、域名、源端口、目的端口;第三字段的值用于表示日志数据包括的目的端口对应的端口号;IOC规则类型字段的值用于表示第二IOC规则中第二属性信息的类型;所述网络行为类型字段的值用于表示域名对应的网络行为类型。
具体地,第二IOC规则包括多个字段,除了包括第二字段value2,还可以包括以下至少一个规则字段:第三字段value3、IOC规则类型字段ioc_category以及网络行为类型字段tag,其中,第二字段的值对应第二属性信息的散列校验值,第二属性信息可以包括:IP地址、域名、源端口、目的端口。可以理解的是,第一IOC规则中的第一字段是用于过滤掉不会产生告警的日志数据,第二IOC规则中第二字段则是用于过滤出能够产生告警的日志数据,第一字段和第二字段的取值不同,可根据实际需要进行设置;第三字段的值即就是利用第二IOC规则匹配过程中用于和过滤后的日志数据中目的端口的端口号进行比对的值;IOC规则类型字段的值就是第二IOC规则中的第二属性信息的类型;网络行为类型字段的值就是利用第二IOC规则匹配过程中用于和过滤后的日志数据中域名对应的网络行为类型进行比对的值。
示例性地,第二IOC规则样例如下:
{
"_id":"0d416bb9e6925c2fc19493110f755f80",
"action":1,
"value2":"+++5lvucsz8nG4G6hjy73w==",
"value3":0,
"ioc_category":"TPD",
"tag":[]
}
本发明实施例中,第二IOC规则中包含了多个字段,除了第二字段value2,还包括以下至少一个规则字段:第三字段value3、IOC规则类型字段ioc_category和网络行为类型字段tag,且每个字段在匹配过程中分别对应有不同的维度,进而基于多维的判断条件进行日志检测和规则匹配,使得基于第二IOC规则进行匹配得到的匹配结果更加准确。
可选地,域名还包括顶级私有域名,步骤102中将过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,可以包括:
将过滤后的日志数据包含的属性信息与第二IOC规则中包含的第二字段以及至少一个规则字段进行匹配,得到匹配结果;属性信息包括以下至少一项:域名、IP地址、目的端口;
当满足预设的匹配条件时,将匹配结果确定为过滤后的日志数据与第二IOC规则匹配;
预设的匹配条件中包含以下至少一项:
过滤后的日志数据中的顶级私有域名对应的散列校验值为第二字段的值,且IOC规则类型字段的值为顶级私有域名类型;
过滤后的日志数据中的域名对应的散列校验值为第二字段的值,且IOC规则类型字段的值为非顶级私有域名类型;
过滤后的日志数据中的IP地址对应的散列校验值为第二字段的值,IOC规则类型字段的值为非顶级私有域名类型,且目的端口对应的端口号为第三字段的值;
过滤后的日志数据中的IP地址对应的散列校验值为第二字段的值,IOC规则类型字段的值为空。
具体地,第二IOC规则中包含多个字段,第二字段value2,以及以下至少一个规则字段:第三字段value3、IOC规则类型字段ioc_category和网络行为类型字段tag,所述IOC规则类型字段ioc_category的值可以理解为IOC规则的内部匹配逻辑,即就是通过过滤后的日志数据中的属性信息与第二IOC规则进行匹配,也即第二IOC规则中的第二属性信息的类型,从而确定是否与第二IOC规则匹配成功。
示例性地,IOC规则类型字段ioc_category的值可以为“顶级私有域名类型TPD”、“DOMAIN_PORT”、“IP_PORT”,上述取值代表的含义分别为第二IOC规则中的第二属性信息的类型为顶级私有域名tpd,即通过过滤后的日志数据中的顶级私有域名tpd与第二IOC规则进行匹配;第二IOC规则中的第二属性信息的类型为域名和端口号,即通过过滤后的日志数据中的(原始)域名和端口号与第二IOC规则进行匹配;以及,第二IOC规则中的第二属性信息的类型为IP地址和端口号,即通过过滤后的日志数据中的IP地址和端口号与第二IOC规则进行匹配。
上述经过步骤102过滤后的日志数据为IP地址或域名的散列校验值为第一字段的值的日志数据,进一步地,基于上述过滤后的日志数据与内存中的第二IOC规则进行匹配,如下:
首先,将过滤后的日志数据包含的属性信息与第二IOC规则中包含的第二字段以及至少一个规则字段进行匹配,得到匹配结果。其中,过滤后的日志数据包含的属性信息包括以下至少一项:域名(包含顶级私有域名)、IP地址、目的端口;所述第二IOC规则中可以包括第二字段value2,以及以下至少一项规则字段:第三字段value3、IOC规则类型字段ioc_category和网络行为类型字段tag。上述具体匹配的过程即就是将过滤后的日志数据中各属性信息的散列校验值与第二IOC规则中的第二字段value2的值进行匹配,将日志数据中包括的目的端口的端口号(访问端口的端口号)与第二IOC规则中包括的第三字段value3的值进行匹配,当满足预设的匹配条件时,将匹配结果确定为过滤后的日志数据与第二IOC规则匹配。
进一步地,可以提前预设需要满足的匹配条件,当满足预设的匹配条件时,将所述匹配结果确定为过滤后的日志数据与第二IOC规则匹配,具体的【匹配条件】可以为如下任意一种:
【匹配条件1】过滤后的日志数据中的顶级私有域名对应的散列校验值hash(tpd)为第二字段value2的值,而且,所述IOC规则类型字段ioc_category的值为顶级私有域名类型TPD;
【匹配条件2】过滤后的日志数据中的域名对应的散列校验值hash(domain)为第二字段value2的值,而且,IOC规则类型字段ioc_category的值为非顶级私有域名类型(ioc_category不为空且不是TPD);
【匹配条件3】过滤后的日志数据中的IP地址对应的散列校验值hash(IP)为第二字段value2的值,IOC规则类型字段ioc_category的值为非顶级私有域名类型(ioc_category不为空且不是TPD),而且,目的端口对应的端口号为第三字段value3的值;
【匹配条件4】过滤后的日志数据中的IP地址对应的散列校验值hash(IP)为第二字段value2的值,而且,IOC规则类型字段ioc_category的值为空。
示例性地,假如第二IOC规则如下:
{
"_id":"0d416bb9e6925c2fc19493110f755f80",
"action":1,
"value2":"+++5lvucsz8nG4G6hjy73w==",
"value3":0,
"ioc_category":"TPD",
"tag":[]
}
其中,过滤后的日志数据中hash(IP)为第二字段value2的值,所述IOC规则类型字段ioc_category的值为“IP_PORT”(也就是非顶级私有域名类型),而且,目的端口对应的端口号为第三字段value3的值,故过滤后的日志数据符合上述【匹配条件4】,输出匹配结果,匹配结果如下:
该过滤后的日志数据与第二IOC规则匹配。
本发明实施例提供的方法中,基于第二IOC规则中包含的多个字段,将上述过滤后的日志数据中包括的属性信息分别与第二IOC规则中的各个字段的值进行匹配,例如将过滤后的日志数据中的域名、顶级私有域名、IP地址等属性信息对应的散列校验值与第二IOC规则中的第二字段的值进行匹配,将目的端口对应的端口号和第三字段的值进行匹配,进而,当满足预设的匹配条件时,将匹配结果确定为过滤后的日志数据与第二IOC规则匹配。因第二IOC规则中包含多个字段,基于多个字段的值进行匹配,也就是通过多个指标进行综合判断,可以减少日志数据中误报漏报的几率,得到更准确的匹配结果,进一步使得日志检测的准确性提高。
可选地,步骤103将过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果之后,该方法还可以包括:
生成告警信息。
具体地,在得到上述匹配结果后,该方法还可以根据匹配结果产生告警信息,即就是将匹配成功的日志数据中访问IOC规则中的IP地址或域名进行标识,同时可以将所述告警信息写入特定的主题内。
本发明实施例提供的日志检测方法,通过对匹配过的日志数据进行告警,便于后续基于告警信息进行网络安全行为的监测和维护。
可选地,第一IOC规则和/或第二IOC规则存储在预设的IOC规则库中,该方法还可以包括:
将IOC规则库中的第一IOC规则和/或第二IOC规则缓存至电子设备的内存中,所述电子设备用于执行日志检测方法。
具体地,本实施例提供的方法中,可以提前预设IOC规则库,并将所述IOC规则库存储到例如电子设备上,该IOC规则库中存储有多条第一IOC规则和/或所述第二IOC规则,当执行所述日志检测检测方法时,将规则库中需要用到的第一IOC规则和/或所述第二IOC规则实时缓存至内存中。
本发明实施例提供的日志检测方法,通过提前预设IOC规则库,执行日志检测时可以实时缓存需要用到的第一IOC规则和/或所述第二IOC规则,基于第一IOC规则和第二IOC规则进行的日志检测方法效率较高。
可选地,该方法,还可以包括:
在IOC规则库中的IOC规则更新的情况下,对内存中缓存的第一IOC规则和/或第二IOC规则进行更新。
具体地,该预设的IOC规则库可以根据实际需要更新,也可以设置更新的频率,例如系统监测人员可以设置更新配置信息,如预设IOC规则更新的频率,而且,系统监测人员也可以通过设置监测程序,主动发现具有威胁的情报信息IOC,同时将监测到的具有威胁的情报信息IOC更新到的IOC规则库中。
进一步地,在所述IOC规则库中的IOC规则更新的情况下,可对缓存到内存中的第一IOC规则和/或第二IOC规则进行更新。
本发明实施例提供的日志检测方法,通过将IOC规则库的更新规则实时同步到加载到缓存中的第一IOC规则和/或第二IOC规则,使得基于第一IOC规则和/或第二IOC规则进行的日志检测的准确性更符合实际情况。
下面对本发明提供的日志检测装置进行描述,下文描述的日志检测装置与上文描述的日志检测方法可相互对应参照。
图3是本发明实施例提供的日志检测装置的结构示意图,如图3所示,该日志检测装置包括:获取模块310、过滤模块320及匹配模块330。其中:
获取模块310,用于获取网络行为信息,并解析所述网络行为信息得到日志数据;
过滤模块320,利用内存中的第一IOC规则对所述日志数据进行过滤,得到过滤后的日志数据,所述第一IOC规则用于过滤掉不会产生告警的日志数据;
匹配模块330,用于将所述过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,所述第二IOC规则用于过滤出能够产生告警的日志数据;所述第一IOC规则包括的字段数量小于所述第二IOC规则包括的字段数量。
本发明提供的日志检测装置,通过获取模块310获取网络行为信息,并解析出网络行为信息中的日志数据,过滤模块320基于内存中的第一IOC规则先将日志数据进行过滤,也就是过滤掉完全无法命中第一IOC规则的日志数据(即过滤掉不会产生告警的日志数据),匹配模块330将过滤后得到的日志数据(可能会命中第二IOC规则的日志)进一步与内存中的第二IOC规则进行匹配,得到匹配结果,因第一IOC规则包括的字段数量相比第二IOC规则包括的字段数量更少,因而第一IOC规则所占用的内存空间小于第二IOC规则占用的内存空间,而且通过第一IOC规则已经将大部分日志数据过滤,进一步基于过滤后的日志数据和第二IOC规则进行匹配,从而实现了内存开销的节省。
可选地,第一IOC规则包括:第一字段,所述第一字段的值对应第一属性信息的散列校验值,所述第一属性信息为存在告警风险的属性信息;所述第一属性信息包括以下至少一项:IP地址、域名、源端口、目的端口;
所述过滤模块320,具体用于:
对所述日志数据中的至少一个属性信息进行哈希处理,得到各个所述属性信息对应的散列校验值;
将各个所述散列校验值与所述第一IOC规则中的第一字段的值进行匹配,将与所述第一字段的值不匹配的散列校验值对应的日志数据进行过滤,得到过滤后的日志数据。
可选地,所述过滤模块320,具体用于:
通过布谷鸟过滤器将与所述第一字段的值不匹配的散列校验值对应的日志数据进行过滤,得到过滤后的日志数据。
可选地,第二IOC规则包括第二字段,以及以下至少一个规则字段:第三字段、IOC规则类型字段和网络行为类型字段;所述第二字段的值对应第二属性信息的散列校验值,所述第二属性信息为能够产生告警的属性信息;所述第二属性信息包括以下至少一项:IP地址、域名、源端口、目的端口;所述第三字段的值用于表示所述日志数据包括的目的端口对应的端口号;所述IOC规则类型字段的值用于表示所述第二IOC规则中的第二属性信息的类型;所述网络行为类型字段的值用于表示域名对应的网络行为类型。
可选地,域名还包括顶级私有域名;
匹配模块330,具体用于:
将所述过滤后的日志数据包含的属性信息与第二IOC规则中包含的第二字段以及至少一个规则字段进行匹配,得到匹配结果;所述过滤后的日志数据包含的属性信息包括以下至少一项:所述域名、所述IP地址、所述目的端口;
当满足预设的匹配条件时,将所述匹配结果确定为所述过滤后的日志数据与所述第二IOC规则匹配;
所述预设的匹配条件中包含以下至少一项:
所述过滤后的日志数据中的顶级私有域名对应的散列校验值为第二字段的值,且所述IOC规则类型字段的值为顶级私有域名类型;
所述过滤后的日志数据中的域名对应的散列校验值为第二字段的值,且所述IOC规则类型字段的值为非顶级私有域名类型;
所述过滤后的日志数据中的IP地址对应的散列校验值为第二字段的值,所述IOC规则类型字段的值为非顶级私有域名类型,且所述目的端口对应的端口号为第三字段的值;
所述过滤后的日志数据中的IP地址对应的散列校验值为第二字段的值,所述IOC规则类型字段的值为空。
可选地,所述日志检测装置还包括:
告警生成模块,用于生成告警信息。
可选地,所述日志检测装置还包括:
缓存模块,用于将所述IOC规则库中的第一IOC规则和/或所述第二IOC规则缓存至电子设备的内存中,所述电子设备用于执行所述日志检测方法。
可选地,所述日志检测装置还包括:
更新模块,用于在所述IOC规则库中的IOC规则更新的情况下,对所述内存中缓存的所述第一IOC规则和/或所述第二IOC规则进行更新。
图4示例了一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行日志检测方法,该方法包括:
获取网络行为信息,并解析所述网络行为信息得到日志数据;
利用内存中的第一IOC规则对所述日志数据进行过滤,得到过滤后的日志数据,所述第一IOC规则用于过滤掉不会产生告警的日志数据;
将所述过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,所述第二IOC规则用于过滤出能够产生告警的日志数据;所述第一IOC规则包括的字段数量小于所述第二IOC规则包括的字段数量。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,计算机程序被处理器执行时,计算机能够执行上述各方法所提供的日志检测方法,该方法包括:
获取网络行为信息,并解析所述网络行为信息得到日志数据;
利用内存中的第一IOC规则对所述日志数据进行过滤,得到过滤后的日志数据,所述第一IOC规则用于过滤掉不会产生告警的日志数据;
将所述过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,所述第二IOC规则用于过滤出能够产生告警的日志数据;所述第一IOC规则包括的字段数量小于所述第二IOC规则包括的字段数量。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的日志检测方法,该方法包括:
获取网络行为信息,并解析所述网络行为信息得到日志数据;
利用内存中的第一IOC规则对所述日志数据进行过滤,得到过滤后的日志数据,所述第一IOC规则用于过滤掉不会产生告警的日志数据;
将所述过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,所述第二IOC规则用于过滤出能够产生告警的日志数据;所述第一IOC规则包括的字段数量小于所述第二IOC规则包括的字段数量。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种日志检测方法,其特征在于,包括:
获取网络行为信息,并解析所述网络行为信息得到日志数据;
利用内存中的第一IOC规则对所述日志数据进行过滤,得到过滤后的日志数据,所述第一IOC规则用于过滤掉不会产生告警的日志数据;
将所述过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,所述第二IOC规则用于过滤出能够产生告警的日志数据;所述第一IOC规则包括的字段数量小于所述第二IOC规则包括的字段数量。
2.根据权利要求1所述的日志检测方法,其特征在于,所述第一IOC规则包括:第一字段,所述第一字段的值对应第一属性信息的散列校验值,所述第一属性信息为存在告警风险的属性信息;所述第一属性信息包括以下至少一项:IP地址、域名、源端口、目的端口;所述利用内存中的第一IOC规则对所述日志数据进行过滤,得到过滤后的日志数据,包括:
对所述日志数据中的至少一个属性信息进行哈希处理,得到各个所述属性信息对应的散列校验值;
将各个所述散列校验值与所述第一IOC规则中的第一字段的值进行匹配,将与所述第一字段的值不匹配的散列校验值对应的日志数据进行过滤,得到过滤后的日志数据。
3.根据权利要求2所述的日志检测方法,其特征在于,所述将与所述第一字段的值不匹配的散列校验值对应的日志数据进行过滤,得到过滤后的日志数据,包括:
通过布谷鸟过滤器将与所述第一字段的值不匹配的散列校验值对应的日志数据进行过滤,得到过滤后的日志数据。
4.根据权利要求1或2所述的日志检测方法,其特征在于,第二IOC规则包括第二字段,以及以下至少一个规则字段:第三字段、IOC规则类型字段和网络行为类型字段;所述第二字段的值对应第二属性信息的散列校验值,所述第二属性信息为能够产生告警的属性信息;所述第二属性信息包括以下至少一项:IP地址、域名、源端口、目的端口;所述第三字段的值用于表示所述日志数据包括的目的端口对应的端口号;所述IOC规则类型字段的值用于表示所述第二IOC规则中的第二属性信息的类型;所述网络行为类型字段的值用于表示所述域名对应的网络行为类型。
5.根据权利要求4所述的日志检测方法,其特征在于,所述域名还包括顶级私有域名,所述将所述过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,包括:
将所述过滤后的日志数据包含的属性信息与第二IOC规则中包含的第二字段以及至少一个规则字段进行匹配,得到匹配结果;所述过滤后的日志数据包含的属性信息包括以下至少一项:所述域名、所述IP地址、所述目的端口;
当满足预设的匹配条件时,将所述匹配结果确定为所述过滤后的日志数据与所述第二IOC规则匹配;
所述预设的匹配条件中包含以下至少一项:
所述过滤后的日志数据中的顶级私有域名对应的散列校验值为第二字段的值,且所述IOC规则类型字段的值为顶级私有域名类型;
所述过滤后的日志数据中的域名对应的散列校验值为第二字段的值,且所述IOC规则类型字段的值为非顶级私有域名类型;
所述过滤后的日志数据中的IP地址对应的散列校验值为第二字段的值,所述IOC规则类型字段的值为非顶级私有域名类型,且所述目的端口对应的端口号为第三字段的值;
所述过滤后的日志数据中的IP地址对应的散列校验值为第二字段的值,所述IOC规则类型字段的值为空。
6.根据权利要求1或2所述的日志检测方法,其特征在于,所述将所述过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果之后,还包括:
生成告警信息。
7.根据权利要求1或2所述的日志检测方法,其特征在于,所述第一IOC规则和/或所述第二IOC规则存储在预设的IOC规则库中,所述方法还包括:
将所述IOC规则库中的第一IOC规则和/或所述第二IOC规则缓存至电子设备的内存中,所述电子设备用于执行所述日志检测方法。
8.根据权利要求7所述的日志检测方法,其特征在于,所述方法还包括:
在所述IOC规则库中的IOC规则更新的情况下,对所述内存中缓存的所述第一IOC规则和/或所述第二IOC规则进行更新。
9.一种日志检测装置,其特征在于,包括:
获取模块,用于获取网络行为信息,并解析所述网络行为信息得到日志数据;
过滤模块,用于利用内存中的第一IOC规则对所述日志数据进行过滤,得到过滤后的日志数据,所述第一IOC规则用于过滤掉不会产生告警的日志数据;
匹配模块,用于将所述过滤后的日志数据与内存中的第二IOC规则进行匹配,得到匹配结果,所述第二IOC规则用于过滤出能够产生告警的日志数据;所述第一IOC规则包括的字段数量小于所述第二IOC规则包括的字段数量。
10.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8任一项所述日志检测方法。
11.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述日志检测方法。
12.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述日志检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310463118.7A CN116668075A (zh) | 2023-04-26 | 2023-04-26 | 日志检测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310463118.7A CN116668075A (zh) | 2023-04-26 | 2023-04-26 | 日志检测方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116668075A true CN116668075A (zh) | 2023-08-29 |
Family
ID=87725066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310463118.7A Pending CN116668075A (zh) | 2023-04-26 | 2023-04-26 | 日志检测方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116668075A (zh) |
-
2023
- 2023-04-26 CN CN202310463118.7A patent/CN116668075A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108763031B (zh) | 一种基于日志的威胁情报检测方法及装置 | |
CN108460278B (zh) | 一种威胁情报处理方法及装置 | |
US9489426B2 (en) | Distributed feature collection and correlation engine | |
CN107430535B (zh) | 一种用于执行威胁检测的方法及计算机可读介质 | |
JP5417179B2 (ja) | コンピュータネットワークセキュリティを支援するための、アセットモデルのリアルタイム識別およびアセットの分類 | |
US9661003B2 (en) | System and method for forensic cyber adversary profiling, attribution and attack identification | |
EP3794487B1 (en) | Obfuscation and deletion of personal data in a loosely-coupled distributed system | |
CN110099059B (zh) | 一种域名识别方法、装置及存储介质 | |
US9584541B1 (en) | Cyber threat identification and analytics apparatuses, methods and systems | |
CN106453229B (zh) | 用于检测对域名系统记录系统的更新的方法、系统和介质 | |
CN113162953B (zh) | 网络威胁报文检测及溯源取证方法和装置 | |
US20210036995A1 (en) | Data processing method, device, and system | |
US7310660B1 (en) | Method for removing unsolicited e-mail messages | |
CN113472580B (zh) | 基于动态加载机制的告警系统及告警方法 | |
EP3332533B1 (en) | Parallel detection of updates to a domain name system record system using a common filter | |
US11533323B2 (en) | Computer security system for ingesting and analyzing network traffic | |
CN113923003A (zh) | 一种攻击者画像生成方法、系统、设备以及介质 | |
CN116668075A (zh) | 日志检测方法、装置、设备和存储介质 | |
CN117040779A (zh) | 一种网络异常访问信息获取方法及装置 | |
CN114301696B (zh) | 恶意域名检测方法、装置、计算机设备及存储介质 | |
CN115001724B (zh) | 网络威胁情报管理方法、装置、计算设备及计算机可读存储介质 | |
CN111031068B (zh) | 一种基于复杂网络的dns分析方法 | |
CN114143173A (zh) | 数据处理方法、装置、设备和存储介质 | |
CN111371917A (zh) | 一种域名检测方法及系统 | |
Mistry et al. | VolNet: a framework for analysing network-based artefacts from volatile memory |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |