CN111935082B - 一种网络威胁信息关联分析系统及方法 - Google Patents

一种网络威胁信息关联分析系统及方法 Download PDF

Info

Publication number
CN111935082B
CN111935082B CN202010596211.1A CN202010596211A CN111935082B CN 111935082 B CN111935082 B CN 111935082B CN 202010596211 A CN202010596211 A CN 202010596211A CN 111935082 B CN111935082 B CN 111935082B
Authority
CN
China
Prior art keywords
threat
information
correlation analysis
address
threat information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010596211.1A
Other languages
English (en)
Other versions
CN111935082A (zh
Inventor
盛洋
康宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sina Technology China Co Ltd
Original Assignee
Sina Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sina Technology China Co Ltd filed Critical Sina Technology China Co Ltd
Priority to CN202010596211.1A priority Critical patent/CN111935082B/zh
Publication of CN111935082A publication Critical patent/CN111935082A/zh
Application granted granted Critical
Publication of CN111935082B publication Critical patent/CN111935082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433Vulnerability analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general

Abstract

本发明实施例提供了一种网络威胁信息关联分析系统及方法,该系统包括:日志收集服务器、日志采集数据库、情报关联分析服务器和关联分析结果数据库;日志收集服务器采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库;所述威胁信息日志包括:IP地址;情报关联分析服务器从开源威胁情报查询系统获取各IP地址的威胁描述信息,并与所述日志采集数据库中包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库。通过本发明实施例,实现了对各种网络威胁信息的快速关联分析,将威胁信息有效聚合,快速形成强有力的威胁分析。

Description

一种网络威胁信息关联分析系统及方法
技术领域
本发明涉及网络系统技术领域,尤其涉及一种网络威胁信息关联分析系统及方法。
背景技术
随着网络规模的不断扩大,以及对网络攻击手段的增多,网络系统可通过多种方式来获取威胁信息,例如:分布式拒绝服务攻击(Distributed denial of serviceattack,DDOS)威胁预警系统、反抓站检测系统、互联网数据中心(Internet Data Center,IDC)防火墙系统、开放威胁交换(Open Threat Exchange,OTX) 开源威胁情报查询系统等。
由于获取到的威胁信息的来源不同,存在各自不同的数据格式和信息分析方法,形成了威胁信息的孤岛。而若要将各种威胁信息进行汇总分析,现有技术需要工人登陆各自的信息平台,进行手工检索威胁信息,并人工关联各种威胁信息。
面对庞大的信息量,采用人工的方式对各种网络威胁信息进行关联分析的效率低下,无法将威胁信息有效聚合,快速形成强有力的威胁分析。
发明内容
本发明实施例的目的是提供一种网络威胁信息关联分析系统及方法,以解决面对庞大的信息量,采用人工的方式对各种网络威胁信息进行关联分析的效率低下,无法将威胁信息有效聚合,快速形成强有力的威胁分析的问题。
为了解决上述技术问题,本发明实施例是这样实现的:
第一方面,本发明实施例提供了一种网络威胁信息关联分析系统,包括:日志收集服务器、日志采集数据库、情报关联分析服务器和关联分析结果数据库;
所述日志收集服务器用于采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库;其中,所述威胁信息日志包括:IP地址;
所述情报关联分析服务器用于从开源威胁情报查询系统获取各IP地址的威胁描述信息,并与所述日志采集数据库中包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库。
第二方面,本发明实施例提供了一种基于如上所述的网络威胁信息关联分析系统的网络威胁信息关联分析方法,包括:
通过日志收集服务器,采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库;其中,所述威胁信息日志包括:IP地址;
通过情报关联分析服务器,从开源威胁情报查询系统获取各IP地址的威胁描述信息,并与所述日志采集数据库中包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库。
由以上本发明实施例提供的技术方案可见,本发明实施例通过日志收集服务器、日志采集数据库、情报关联分析服务器和关联分析结果数据库;所述日志收集服务器用于采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库;其中,所述威胁信息日志包括:IP地址;所述情报关联分析服务器用于从开源威胁情报查询系统获取各IP地址的威胁描述信息,并与所述日志采集数据库中包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库。通过本发明实施例,实现了对各种网络威胁信息的快速关联分析,将威胁信息有效聚合,快速形成强有力的威胁分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的网络威胁信息关联分析系统的第一种网络架构示意图;
图2为本发明实施例提供的网络威胁信息关联分析系统的第二种网络架构示意图;
图3为本发明实施例提供的网络威胁信息关联分析系统的第三种网络架构示意图;
图4为本发明实施例提供的网络威胁信息关联分析方法的流程示意图;
图5为实现本发明各个实施例的一种电子设备的结构示意图。
具体实施方式
本发明实施例提供了一种网络威胁信息关联分析系统及方法。
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
如图1所示,本发明实施例提供一种网络威胁信息关联分析系统,所述系统包括:日志收集服务器10、日志采集数据库11、情报关联分析服务器12和关联分析结果数据库13;
所述日志收集服务器10用于采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库11;其中,所述威胁信息日志包括:IP地址;所述情报关联分析服务器12用于从开源威胁情报查询系统获取各IP地址的威胁描述信息,并与所述日志采集数据库11包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库13。
在实施中,针对不同的攻击方式,在网络中预先部署了多个威胁信息监测系统,用于监测是否产生了对应的攻击行为,并获取相应的威胁数据。
进一步地,所述威胁信息监测系统的种类有很多,以下仅给出其中的三种举例说明,所述各威胁信息监测系统包括但不限于:分布式拒绝服务攻击 DDOS威胁预警系统、反抓站检测系统和互联网数据中心IDC防火墙系统。
为了便于对采集到的威胁信息日志进行汇总,网络威胁信息关联分析系统将威胁信息日志的采集工作交由预先设置的日志收集服务器10统一执行。
进一步地,所述日志收集服务器10的种类有很多,以下仅给出一种举例说明,所述日志收集服务器10为Graylog分布式日志收集服务器。
所述日志收集服务器10根据各种威胁信息监测系统的特性,采用与威胁信息监测系统对应的数据采集方式,在各威胁信息监测系统判定存在攻击行为时,向日志收集服务器10发送与攻击行为对应的威胁数据。
日志收集服务器10对接收到的威胁数据进行预设的格式化处理,提取其中的关键信息,并按照预设的数据格式组成威胁信息日志记录到所述日志采集数据库11中。针对每一种威胁信息监测系统具体举例说明如下:
1.分布式拒绝服务攻击DDOS威胁预警系统
DDOS威胁预警系统通过由日志收集服务器10提供的REST API接口,在判定存在攻击行为时,将JSON格式的威胁数据,以HTTP协议的形式发送给日志收集服务器10。
日志收集服务器10对接收到威胁数据进行格式化,以得到威胁信息日志,其数据格式如下:
[DDOS威胁标记][攻击者的IP地址],
所述DDOS威胁标记用于表征对应的攻击行为的种类。
2.反抓站检测系统
反抓站检测系统通过由日志收集服务器10提供的REST API接口,在判定存在攻击行为时,例如,短时间内接收到源于同一主机的大规模抓站请求,将 JSON格式的威胁数据,以HTTP协议的形式发送给日志收集服务器10。
日志收集服务器10对接收到威胁数据进行格式化,以得到威胁信息日志,其数据格式如下:
[反抓站行为标记][抓站请求主机的IP地址],
其中,反抓站行为标记用于表征对应的攻击行为的种类。
3.互联网数据中心IDC防火墙系统
日志收集服务器10开放UDP网络监听,创建一个UDP Syslog监听端口,在所述IDC防火墙判定存在攻击行为时,例如,外网攻击行为,或是内部服务请求外部恶意服务的行为等,将发送Syslog协议的威胁数据传送给日志收集服务器10。
日志收集服务器10对接收到威胁数据进行格式化,以得到威胁信息日志,其数据格式如下:
[IDC防火墙威胁标记][攻击者的IP地址],
其中,IDC防火墙威胁标记用于表征对应的攻击行为的种类。
所述日志收集服务器10得到的威胁信息日志至少包括攻击行为发起方的IP地址,例如,上述威胁信息日志中的攻击者的IP地址和抓站请求主机的IP 地址。在所述威胁信息日志中还可以根据实际的需要设置更多的字段信息,例如,被攻击服务的IP地址等,在此不作具体地限定。
所述日志收集服务器10将从上述各威胁信息监测系统采集到的威胁信息日志,以上述数据格式记录到日志采集数据库11。
进一步地,所述日志采集数据库11的种类有很多,本发明实施例仅给出了其中的一种举例说明,所述日志采集数据库为Elastic Search日志采集数据库集群。
所述Elastic Search日志采集数据库集群,用于基于预设的数据格式对记录的威胁信息日志创建对应的索引信息。
在实施中,在所述日志收集服务器10将采集到的威胁信息日志记录到日志采集数据库11时,所述日志采集数据库11将根据预设的搜索引擎创建数据库索引,在每条威胁信息日志中添加相应的索引名。例如,Elastic Search日志采集数据库集群将根据ElasticSearch搜索引擎创建数据库索引,此时,记录到所述日志采集数据库11的威胁信息日志具体为:
[索引名][DDOS威胁标记][攻击者的IP地址];
[索引名][反抓站行为标记][抓站请求主机的IP地址];
[索引名][IDC防火墙威胁标记][攻击者的IP地址]。
另外,所述情报关联分析服务器12将根据各威胁信息日志包含的IP地址,向开源威胁情报查询系统发送IP查询请求。
所述开源威胁情报查询系统中保存了预先获取的所有恶意主机的IP地址以及对应的威胁描述信息。在接收到IP查询请求后,提取所述IP查询请求中的IP地址,与保存的恶意主机的IP地址进行比对,若根据比对结果判定所述 IP地址为恶意主机的IP地址,则将该恶意主机的IP地址的威胁描述信息记录到查询答复中回复给情报关联分析服务器12;而若根据比对结果判定所述IP 地址不是恶意主机的IP地址,则可以采用不回复,或者回复包含空的威胁描述信息的查询答复的方式。
进一步地,所述开源威胁情报查询系统的种类有很多,本发明实施例仅给出了以下一种举例说明,所述开源威胁情报查询系统为开放威胁交换开源威胁情报查询系统。
所述情报关联分析服务器12,对接收到查询答复进行格式化后,同样以威胁信息日志的形式记录到所述日志采集数据库11,其数据格式如下所示:
[索引名][OTX威胁情报库标记][恶意主机的IP地址][威胁描述信息]。
所述OTX威胁情报库标记用于表征该威胁信息日志的来源。
由所述情报关联分析服务器12对记录在日志采集数据库11中的各威胁信息日志进行汇总分析。
根据各威胁信息日志中的IP地址,所述情报关联分析服务器12对包含相同IP地址的威胁信息日志进行关联打标签,并且分析得到与各IP地址分别对应的关联分析结果。所述关联分析结果的数据格式举例如下:
[IP地址][DDOS威胁标记][反抓站行为标记][IDC防火墙威胁标记][OTX 威胁情报库标记][威胁描述信息]
所述情报关联分析服务器12对威胁信息日志进行汇总分析的过程可以根据实际的需要进行设定,例如,所述关联分析结果中的IP地址可以仅包含恶意主机的IP地址。
所述情报关联分析服务器12将得到关联分析结果保存到预设的关联分析结果数据库13,所述关联分析结果数据库13可以为MySQL数据库,通过所述关联分析结果数据库13可以对关联分析结果的进行查看和展示,方便了对于威胁信息的分享与问题溯源,提高了对于威胁响应定位的速度。
由以上本发明实施例提供的技术方案可见,本发明实施例通过日志收集服务器、日志采集数据库、情报关联分析服务器和关联分析结果数据库;所述日志收集服务器用于采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库;其中,所述威胁信息日志包括:IP地址;所述情报关联分析服务器用于从开源威胁情报查询系统获取各IP地址的威胁描述信息,并与所述日志采集数据库中包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库。通过本发明实施例,实现了对各种网络威胁信息的快速关联分析,将威胁信息有效聚合,快速形成强有力的威胁分析。
基于上述实施例,进一步的,如图2所示,所述情报关联分析服务器还用于从地理位置信息系统查询所述IP地址对应的地理位置信息,并记录到所述 IP地址的关联分析结果中。
为了便于对攻击者进行定位,所述情报关联分析服务器在通过对威胁信息日志进行合并得到关联分析结果后,从地理位置信息系统中查询所述关联分析结果中各IP地址的地理位置信息,所述地理位置信息具体可以包括地图经纬度坐标和国家城市名称信息等。
进一步地,所述地理位置信息系统有很多种,本发明实施例仅给出以下一种进行举例说明,所述地理位置信息系统为GeoLite IP地理位置信息系统。
通过所述GeoLite IP地理位置信息系统提供的REST API接口,所述情报关联分析服务器可以查询到各IP地址的地理位置信息,并将该地理位置信息也记录到对应的关联分析结果中。
由以上本发明实施例提供的技术方案可见,本发明实施例通过从地理位置信息系统查询所述IP地址对应的地理位置信息,并记录到所述IP地址的关联分析结果中,实现了对各种网络威胁信息的快速关联分析,将威胁信息有效聚合,快速形成强有力的威胁分析,并对攻击者进行快速定位。
基于上述实施例,如图2所示,进一步地,所述系统包括:日志收集服务器10、日志采集数据库11、情报关联分析服务器12、关联分析结果数据库13 和结果展示服务器14;所述结果展示服务器14用于将所述关联分析结果数据库中各IP地址的关联分析结果进行可视化展示。
需要说明的是,本发明实施例中所述日志收集服务器10、日志采集数据库 11、情报关联分析服务器12和关联分析结果数据库13的作用与上述实施例中的作用相同,为避免重复,这里不再赘述。
所述结果展示服务器14可以将所述关联分析结果数据库13中保存的关联分析结果进行可视化展示,例如,对各种类型的关联分析结果的变化趋势、占比等进行展示,也可以对各IP地址的地理位置信息分布情况进行展示等。
进一步地,所述关联分析结果数据库13设置了用于接收外部查询的查询接口。
所述关联分析结果数据库13还设置了对外的查询接口,从而运维人员可以根据实际的需要,通过向该查询接口发送查询请求,获取需要的威胁信息查询结果。
由以上本发明实施例提供的技术方案可见,本发明实施例通过结果展示服务器和关联分析结果数据库的查询接口,实现了对威胁信息的可视化显示和查询,方便了对于威胁信息的分享与问题溯源,提高了对于威胁响应定位的速度。
如图3所示,本发明实施例给出所述网络威胁信息关联分析系统整体网络架构的一种举例说明。
通过Graylog分布式日志收集服务器分别从DDOS威胁预警系统、反抓站检测系统、IDC防火墙系统,获取威胁信息日志并存入Elastic Search日志采集数据库集群。情报关联分析服务器从OTX开源威胁情报查询系统获取IP地址为恶意主机的IP地址的威胁描述信息,并与Elastic Search日志采集数据库集群中包含相同IP地址的威胁信息日志进行关联分析,同时,从GeoLite IP地理位置信息查询系统获取各IP地址的地理位置信息,将关联分析结果与地理位置信息相结合,存入MySQL关联分析结果数据库中。根据实际的需要,由结果展示服务器对MySQL关联分析结果数据库中的关联分析结果进行可视化展示。
本发明实施例通过日志收集服务器采集威胁信息日志,可以支持多种网络协议传输的数据收集方式,并且改变现有技术中在多系统间频繁切换进行人工审计与脚本审计的低效率。按照统一的数据格式存入日志采集数据库中,可以不占用各威胁信息监测系统的硬件资源和性能消耗,并且实现了数据格式的统一。在所述日志采集数据库中保存的威胁信息日志,可以根据预设的生命管理周期,自动进行清理。通过关联分析各系统产生的威胁信息日志,并通过外部的开源威胁情报系统和地理位置信息系统进行信息补充,可以更好得解决本地信息积累不足的问题。关联分析结果存入关联分析结果数据库,并采用多种形式对关联分析结果数据库进行访问和查询,增加了用户对威胁发现的手段,弥补商业化威胁情报库本地威胁信息情报积累的缺失,增进企业内部系统之间威胁信息共享,为安全事件应急提供分析工具,提高发现威胁与问题溯源的效率,减少攻击危害的事件的发生。
对应上述实施例提供的网络威胁信息关联分析系统,基于相同的技术构思,本发明实施例还提供了一种网络威胁信息关联分析方法,图4为本发明实施例提供的网络威胁信息关联分析方法的流程示意图,如图4所示,所述方法包括:
步骤S01、通过日志收集服务器,采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库;其中,所述威胁信息日志包括:IP地址;
步骤S02、通过情报关联分析服务器,从开源威胁情报查询系统获取各IP 地址的威胁描述信息,并与所述日志采集数据库中包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库。
由以上本发明实施例提供的技术方案可见,本发明实施例通过日志收集服务器,采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库;其中,所述威胁信息日志包括: IP地址;通过情报关联分析服务器,从开源威胁情报查询系统获取各IP地址的威胁描述信息,并与所述日志采集数据库中包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库,实现了对各种网络威胁信息的快速关联分析,将威胁信息有效聚合,快速形成强有力的威胁分析。
进一步地,所述方法还包括:通过所述情报关联分析服务器从地理位置信息系统查询所述IP地址对应的地理位置信息,并记录到所述IP地址的关联分析结果中。
进一步地,所述方法还包括:通过结果展示服务器将所述关联分析结果数据库中各IP地址的关联分析结果进行可视化展示。
进一步地,所述关联分析结果数据库设置了查询接口。
进一步地,所述日志收集服务器为Graylog分布式日志收集服务器。
进一步地,所述各威胁信息监测系统包括但不限于:分布式拒绝服务攻击威胁预警系统、反抓站检测系统和互联网数据中心防火墙系统。
进一步地,所述日志采集数据库为ElasticSearch日志采集数据库集群。
通过所述ElasticSearch日志采集数据库集群基于预设的数据格式对记录的威胁信息日志创建对应的索引信息。
进一步地,所述开源威胁情报查询系统为开放威胁交换开源威胁情报查询系统。
进一步地,所述地理位置信息系统为GeoLite IP地理位置信息系统。
由以上本发明实施例提供的技术方案可见,本发明实施例通过日志收集服务器,采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库;其中,所述威胁信息日志包括: IP地址;通过情报关联分析服务器,从开源威胁情报查询系统获取各IP地址的威胁描述信息,并与所述日志采集数据库中包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库,实现了对各种网络威胁信息的快速关联分析,将威胁信息有效聚合,快速形成强有力的威胁分析。
本发明实施例提供的网络威胁信息关联分析方法能够实现上述网络威胁信息关联分析系统对应的实施例中的各个过程,为避免重复,这里不再赘述。
需要说明的是,本发明实施例提供的网络威胁信息关联分析方法与本发明实施例提供的网络威胁信息关联分析系统基于同一发明构思,因此该实施例的具体实施可以参见前述网络威胁信息关联分析系统的实施,重复之处不再赘述。
对应上述实施例提供的网络威胁信息关联分析方法,基于相同的技术构思,本发明实施例还提供了一种电子设备,该电子设备用于执行上述的网络威胁信息关联分析方法,图5为实现本发明各个实施例的一种电子设备的结构示意图,如图5所示。电子设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器501和存储器502,存储器502中可以存储有一个或一个以上存储应用程序或数据。其中,存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对电子设备中的一系列计算机可执行指令。更进一步地,处理器501可以设置为与存储器502通信,在电子设备上执行存储器502中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源503,一个或一个以上有线或无线网络接口504,一个或一个以上输入输出接口505,一个或一个以上键盘506。
具体在本实施例中,电子设备包括有处理器、通信接口、存储器和通信总线;其中,所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信;所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的程序,实现以下方法步骤:
通过日志收集服务器,采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库;其中,所述威胁信息日志包括:IP地址;
通过情报关联分析服务器,从开源威胁情报查询系统获取各IP地址的威胁描述信息,并与所述日志采集数据库中包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库。
本申请实施例还提供一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现以下方法步骤:
通过日志收集服务器,采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库;其中,所述威胁信息日志包括:IP地址;
通过情报关联分析服务器,从开源威胁情报查询系统获取各IP地址的威胁描述信息,并与所述日志采集数据库中包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,电子设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、装置或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种网络威胁信息关联分析系统,其特征在于,所述系统包括:日志收集服务器、日志采集数据库、情报关联分析服务器和关联分析结果数据库;
所述日志收集服务器用于采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库;其中,所述威胁信息日志包括:IP地址;
所述情报关联分析服务器用于从开源威胁情报查询系统获取各IP地址的威胁描述信息,并与所述日志采集数据库中包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库;
其中,所述情报关联分析服务器还用于从地理位置信息系统查询所述IP地址对应的地理位置信息,并记录到所述IP地址的关联分析结果中;
所述情报关联分析服务器将根据各威胁信息日志包含的IP地址,向开源威胁情报查询系统发送IP查询请求;
所述开源威胁情报查询系统中保存了预先获取的所有恶意主机的IP地址以及对应的威胁描述信息;在接收到IP查询请求后,提取所述IP查询请求中的IP地址,与保存的恶意主机的IP地址进行比对,若根据比对结果判定所述IP地址为恶意主机的IP地址,则将该恶意主机的IP地址的威胁描述信息记录到查询答复中回复给情报关联分析服务器;而若根据比对结果判定所述IP地址不是恶意主机的IP地址,则采用不回复,或者回复包含空的威胁描述信息的查询答复的方式;
所述情报关联分析服务器,对接收到查询答复进行格式化后,同样以威胁信息日志的形式记录到所述日志采集数据库;
由所述情报关联分析服务器对记录在日志采集数据库中的各威胁信息日志进行汇总分析;
根据各威胁信息日志中的IP地址,所述情报关联分析服务器对包含相同IP地址的威胁信息日志进行关联打标签,并且分析得到与各IP地址分别对应的关联分析结果。
2.根据权利要求1所述的网络威胁信息关联分析系统,其特征在于,所述系统还包括:结果展示服务器;
所述结果展示服务器用于将所述关联分析结果数据库中各IP地址的关联分析结果进行可视化展示。
3.根据权利要求1或2所述的网络威胁信息关联分析系统,其特征在于,所述关联分析结果数据库设置了用于接收外部查询的查询接口。
4.根据权利要求3所述的网络威胁信息关联分析系统,其特征在于,所述日志收集服务器为Graylog分布式日志收集服务器。
5.根据权利要求3所述的网络威胁信息关联分析系统,其特征在于,所述各威胁信息监测系统包括但不限于:分布式拒绝服务攻击DDOS威胁预警系统、反抓站检测系统和互联网数据中心IDC防火墙系统。
6.根据权利要求3所述的网络威胁信息关联分析系统,其特征在于,所述日志采集数据库为ElasticSearch日志采集数据库集群;所述ElasticSearch日志采集数据库集群,用于基于预设的数据格式对记录的威胁信息日志创建对应的索引信息。
7.根据权利要求3所述的网络威胁信息关联分析系统,其特征在于,所述开源威胁情报查询系统为开放威胁交换OTX开源威胁情报查询系统。
8.根据权利要求1或2所述的网络威胁信息关联分析系统,其特征在于,所述地理位置信息系统为GeoLite IP地理位置信息系统。
9.一种基于如权利要求1-8任一所述的网络威胁信息关联分析系统的网络威胁信息关联分析方法,其特征在于,所述方法包括:
通过日志收集服务器,采用预设的数据采集方式从各威胁信息监测系统采集威胁信息日志,并按照预设的数据格式记录到日志采集数据库;其中,所述威胁信息日志包括:IP地址;
通过情报关联分析服务器,从开源威胁情报查询系统获取各IP地址的威胁描述信息,并与所述日志采集数据库中包含相同IP地址的威胁信息日志进行合并,得到与各IP地址对应的关联分析结果存入所述关联分析结果数据库。
CN202010596211.1A 2020-06-28 2020-06-28 一种网络威胁信息关联分析系统及方法 Active CN111935082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010596211.1A CN111935082B (zh) 2020-06-28 2020-06-28 一种网络威胁信息关联分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010596211.1A CN111935082B (zh) 2020-06-28 2020-06-28 一种网络威胁信息关联分析系统及方法

Publications (2)

Publication Number Publication Date
CN111935082A CN111935082A (zh) 2020-11-13
CN111935082B true CN111935082B (zh) 2022-09-09

Family

ID=73316679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010596211.1A Active CN111935082B (zh) 2020-06-28 2020-06-28 一种网络威胁信息关联分析系统及方法

Country Status (1)

Country Link
CN (1) CN111935082B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637142B (zh) * 2020-12-08 2022-12-23 中国南方电网有限责任公司超高压输电公司 基于电力网络环境下的安全威胁追溯方法及系统
CN114697052B (zh) * 2020-12-25 2023-10-27 北京国双千里科技有限公司 网络防护方法及装置
CN112769775B (zh) * 2020-12-25 2023-05-12 深信服科技股份有限公司 一种威胁情报关联分析方法、系统、设备及计算机介质
CN112751876B (zh) * 2020-12-30 2022-11-15 北京天融信网络安全技术有限公司 消息采集系统的控制方法、装置、电子设备及存储介质
CN112804226A (zh) * 2021-01-08 2021-05-14 光通天下网络科技股份有限公司 Ip数据处理方法、装置、设备及介质
CN115001724B (zh) * 2021-03-01 2023-04-07 腾讯科技(深圳)有限公司 网络威胁情报管理方法、装置、计算设备及计算机可读存储介质
CN113301012B (zh) * 2021-04-13 2023-02-24 新浪网技术(中国)有限公司 一种网络威胁的检测方法、装置、电子设备及存储介质
CN113839952B (zh) * 2021-09-27 2023-07-14 深信服科技股份有限公司 一种日志访问关系的威胁追踪方法、装置及电子设备
CN115333930B (zh) * 2022-10-13 2023-03-24 北京微步在线科技有限公司 基于场景的日志归类方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981943A (zh) * 2012-10-29 2013-03-20 新浪技术(中国)有限公司 监控应用日志的方法及系统
CN104539626A (zh) * 2015-01-14 2015-04-22 中国人民解放军信息工程大学 一种基于多源报警日志的网络攻击场景生成方法
CN105721427A (zh) * 2016-01-14 2016-06-29 湖南大学 一种从Web日志中挖掘攻击频繁序列模式的方法
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测系统、方法及部署架构
CN107800685A (zh) * 2017-07-03 2018-03-13 南京骏腾信息技术有限公司 基于威胁情报的智能安全防御平台
CN108460278A (zh) * 2018-02-13 2018-08-28 北京奇安信科技有限公司 一种威胁情报处理方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2886058A1 (en) * 2012-09-28 2014-04-03 Level 3 Communications, Llc Identifying and mitigating malicious network threats
KR101916676B1 (ko) * 2017-11-27 2018-11-08 한국인터넷진흥원 사이버 위협 인텔리전스 데이터를 수집하는 방법 및 그 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981943A (zh) * 2012-10-29 2013-03-20 新浪技术(中国)有限公司 监控应用日志的方法及系统
CN104539626A (zh) * 2015-01-14 2015-04-22 中国人民解放军信息工程大学 一种基于多源报警日志的网络攻击场景生成方法
CN105721427A (zh) * 2016-01-14 2016-06-29 湖南大学 一种从Web日志中挖掘攻击频繁序列模式的方法
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测系统、方法及部署架构
CN107800685A (zh) * 2017-07-03 2018-03-13 南京骏腾信息技术有限公司 基于威胁情报的智能安全防御平台
CN108460278A (zh) * 2018-02-13 2018-08-28 北京奇安信科技有限公司 一种威胁情报处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"一种多源网络安全威胁情报采集与封装技术";徐留杰、翟江涛、杨康、丁晨鹏;《网络安全技术与应用》;20181015(第10期);第23-26页 *
"基于大数据的网络安全态势感知关键技术研究";王以伍、张牧;《电脑知识与技术》;20200525;第16卷(第15期);第43-46页 *

Also Published As

Publication number Publication date
CN111935082A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111935082B (zh) 一种网络威胁信息关联分析系统及方法
US10560465B2 (en) Real time anomaly detection for data streams
US20200259866A1 (en) Rating organization cybersecurity using active and passive external reconnaissance
US20130081065A1 (en) Dynamic Multidimensional Schemas for Event Monitoring
CN110210213B (zh) 过滤恶意样本的方法及装置、存储介质、电子装置
CN109379390B (zh) 一种基于全流量的网络安全基线生成方法
CN111478889B (zh) 一种告警方法及装置
CN110149319B (zh) Apt组织的追踪方法及装置、存储介质、电子装置
EP3282643A1 (en) Method and apparatus of estimating conversation in a distributed netflow environment
US20210281609A1 (en) Rating organization cybersecurity using probe-based network reconnaissance techniques
CN113507461B (zh) 基于大数据的网络监控系统及网络监控方法
US11799892B2 (en) Methods for public cloud database activity monitoring and devices thereof
US20230033117A1 (en) Systems and methods for analyzing cybersecurity events
US10819596B2 (en) System and method to access aggregated metric data in a computer network
CN110633195A (zh) 一种性能数据的展示方法、装置、电子设备及存储介质
CN110149318B (zh) 邮件元数据的处理方法及装置、存储介质、电子装置
CN112714118B (zh) 网络流量检测方法和装置
CN110188537B (zh) 数据的分离存储方法及装置、存储介质、电子装置
CN110224975B (zh) Apt信息的确定方法及装置、存储介质、电子装置
CN110650126A (zh) 一种防网站流量攻击方法、装置以及智能终端、存储介质
CN113536304B (zh) 一种基于运维审计系统的防绕行方法及设备
Kumar et al. Analysis of network traffic and security through log aggregation
CN115296888B (zh) 数据雷达监测系统
US11516226B2 (en) Contextual analyses of network traffic
CN114301709B (zh) 报文的处理方法和装置、存储介质及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230307

Address after: Room 501-502, 5/F, Sina Headquarters Scientific Research Building, Block N-1 and N-2, Zhongguancun Software Park, Dongbei Wangxi Road, Haidian District, Beijing, 100193

Patentee after: Sina Technology (China) Co.,Ltd.

Address before: 100193 7th floor, scientific research building, Sina headquarters, plot n-1, n-2, Zhongguancun Software Park, Dongbei Wangxi Road, Haidian District, Beijing, 100193

Patentee before: Sina.com Technology (China) Co.,Ltd.

TR01 Transfer of patent right