CN107844572A - 多维度事件关联分析方法 - Google Patents

多维度事件关联分析方法 Download PDF

Info

Publication number
CN107844572A
CN107844572A CN201711073187.8A CN201711073187A CN107844572A CN 107844572 A CN107844572 A CN 107844572A CN 201711073187 A CN201711073187 A CN 201711073187A CN 107844572 A CN107844572 A CN 107844572A
Authority
CN
China
Prior art keywords
event
suspicious
various dimensions
special topic
analyzing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711073187.8A
Other languages
English (en)
Other versions
CN107844572B (zh
Inventor
陶源
李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Research Institute of the Ministry of Public Security
Original Assignee
Third Research Institute of the Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Research Institute of the Ministry of Public Security filed Critical Third Research Institute of the Ministry of Public Security
Priority to CN201711073187.8A priority Critical patent/CN107844572B/zh
Publication of CN107844572A publication Critical patent/CN107844572A/zh
Application granted granted Critical
Publication of CN107844572B publication Critical patent/CN107844572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2264—Multidimensional index structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了多维度事件关联分析方法，其利用检索引擎从多个维度，将与可疑事件相关的事件列出。本发明提供的方案针对可疑事件创造性的使用高效的检索引擎，通过多个维度(IP地址、端口、时间等)，快速将与之相关的事件列出，便于现事件之间的关联关系，并对相关事件进行追踪和溯源。

Description

多维度事件关联分析方法
技术领域
本发明涉及事件检索技术，具体涉及多维度事件关联分析技术
背景技术
利用高性能的搜索引擎来进行快速事件检索，已经是人们工作中必不可少的手段。检索时可使用包括源地址、源端口、目的地址、目的端口、时间范围、事件等级、事件类别等在内的多个条件的组合。
当数据查询时间区间比较大时，比如一年内数据。由于事件存储条数以亿计，带来查询性能降低，数据返回时间不能做不到秒级响应。
发明内容
针对现有可疑事件关联分析技术所存在的问题，需要一种高效、精准的疑事件关联分析方案。
为此，本发明的目的在于提供一种多维度事件关联分析方法，实现多维度的关联事件获取。
为了达到上述目的，本发明提供的多维度事件关联分析方法，利用检索引擎从多个维度关联相关字段及表设计，将与可疑事件相关的事件列出。
进一步的，利用相关特性建立多维度数据表设计，包括多个数据集要符合标准格式，每个数据集内至少包含一个维度。
进一步的，事件检索结果以列表的形式展示，通过时间索引能够查看详情。
进一步的，所述方法将相关的事件序列在同一时间轴上，以可视化的方式进行展示。
进一步的，所述方法基于事件时间轴进行事件分析，分析过程包括：
针对检索到的可疑事件，建立一个可疑事件专题；
基于事件类型，时间范围，关键字条件检索出可疑事件的相关事件；
将检索到的相关事件加入可疑事件的专题；
针对整个可疑事件专题进行展开调查，查看全部相关事件；
根据事件场景类型、事件发生时间、事件影响等信息进行时间轴分析；
综合判断得出事件的结果和影响，并形成对应的加固措施方案。
进一步的，所述方法还进行事件影响评估，事件影响评估包括：
建立评估专题，在事件分析发现可疑事件时，建立一个针对这一可疑事件的专题；
检索相关事件，根据某一关键字检索相关的事件；
将可疑事件加入专题，将检索到的与可疑事件专题相关的可疑事件加入专题，在事件时间轴分析时进行统一查看和分析。
进一步的，所述方法还将分析中检索到的相关事件以通用格式导出为文件，用以形成证据或提供其它系统进行分析或引用。
本发明提供的方案针对可疑事件创造性的使用高效的检索引擎，通过多个维度(IP地址、端口、时间等)，快速将与之相关的事件列出，便于现事件之间的关联关系，并对相关事件进行追踪和溯源。
在此基础上，本发明还支持以时间轴方式展示相关事件的时序关系，便于分析人员分析事件之间的逻辑联系。
进一步的，本发明支持通过多维度关联进行影响评估和追溯分析，能够对于已确定的威胁事件，可关联出受影响的主机或系统，以评估影响范围，当前威胁严重程度。
再者，本方案还支持将追溯分析的关联事件导出以满足取证需要。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1为本发明实例中事件时间轴分析流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
本实例针对可疑事件，利用高效的检索引擎，通过多个维度(IP地址、端口、时间等)，快速将与可疑事件相关的事件列出，便于分析人员发现事件之间的关联关系。
这里的事件检索是按照条件查询事件的过程；事件检索的条件包括事件类型、场景类型、时间、关键字；事件检索结果以列表的形式展示，点击某个时间可以查看详情。
本实例利用多个维度关联相关字段及表设计，再基于搜索引擎技术来存储数据，来实现高效检索输出。
为了方便数据检索，利用相关特性建立多维度数据表设计，即多维度数据库存，具体包括多个数据集要符合标准格式，每个数据集内至少包含一个维度，比如DDOS攻击告警数据、僵木蠕毒告警数据等。获取用户的需要分析检索的事件定义，解析语义并形成多个查询字段，从多维度相关网络安全事件进行检索匹配形成多个对应的数据集并进行关联，从而形成关联结果数据集；对关联结果数据集进行计算，形成相关事件告警结果并将结果返回给用户。
在此基础上，本实例针对检索到的相关事件，以时间轴方式展示相关事件的时序关系，这样便于分析人员分析事件之间的逻辑联。
本实例利用时间轴方式展示来进行业务逻辑的快速分析比对及展示，在时间序列上，以事件统计分析的结果展示，包括Apt、网络活动、资源访问、恶意攻击活动、关键失败及错误等多维度的时间线展示。
再者，本实例针对可疑事件还可通过多维度关联进行影响评估和追溯分析，这样可对于已确定的威胁事件，关联出受影响的主机或系统，以评估影响范围，当前威胁严重程度。
下面结合具体实施例，进一步阐述本方案。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。
本实施例基于上述的技术方案形成一套多维度事件关联与追踪溯源分析系统，该系统主要包括事件检索单元、事件时间轴分析单元、事件影响评估单元以及事件导出单元。
其中，本系统中的事件检索单元通过高效的检索引擎，可从多个维度快速将与可疑事件相关的事件检索并列出，这里的多个维度包括但不限于IP地址、端口、时间等。
本事件检索单元具体提供高性能的搜索引擎，支持对事件的快速检索，检索时可使用包括源地址、源端口、目的地址、目的端口、时间范围、事件等级、事件类别等在内的多个条件的组合。
这里的事件检索是指按照条件查询事件的过程；事件检索的条件包括事件类型、场景类型、时间、关键字；事件检索结果以列表的形式展示，通过时间索引可以查看详情。
由此在具体应用时，登录到多维度事件关联与追踪溯源分析系统，在登录的用户具有事件检索操作权限的情况下，可通过调取事件检索单元进行多维度的关联事件检索。
本系统中的事件时间轴分析单元，可通过以时间轴方式展示相关事件的时序关系。
本事件时间轴分析单元能够实现在同一时间轴上，将相关的事件序列以可视化的方式进行展示，以便分析人员分析事件之间的相关性。
参见图1，其所示为本事件时间轴分析单元进行事件时间轴分析的流程，其整个流程如下：
1.用户在事件检索时，发现一个可疑事件，如：非法访问。
2.用户针对这个可疑事件建立一个事件专题，便于调查；这里的事件专题为基于公共维度的数据结构进行统一汇总展示，比如产生时间、事件名称、源地址、源端口、目的地址等，由此可以一目了然展示可疑的事件。
3.基于事件类型、时间范围、关键字条件检索出可疑事件的相关事件。
4.将这些相关事件加入可以事件的专题。
5.在事件调查时，对整个事件专题进行展开调查，这里的调查以追溯的方式展开，由此查看全部相关事件。
6.根据事件场景类型、事件发生时间、事件影响等信息进行时间轴分析；通过在时间线上展示相应事件的活动时间、资源访问、攻击行为次数等相关统计，由此在可视化基础上能够精确判定事件的风险等级，从而能够帮助分析人员采取下一步措施。
7.综合判断得出事件的结果和影响，并采取加固措施；这里的综合判断可采用与关联规则引擎、行为语义序列等相关分析模型来实现。
由此，在需要进行事件分析时，登录到多维度事件关联与追踪溯源分析系统，在登录的用户具有事件分析操作权限的情况下，可通过调取事件时间轴分析单元进行事件时间轴分析。
例如可针对某一源地址，在同一时间轴上展示来自该地址的登录认证事件、资源访问、通讯流量等，分析人员可方便地将所关注的相关事件添加到时间轴分析中，可调整时间的跨度，通过拖动鼠标查看某一时间点的相关事件。通过这种方式，分析人员通过比较直观的发现事件序列之间的相关性，帮助其对事件进行追溯。
本系统中的事件影响评估单元，可通过多维度关联进行影响评估和追溯分析。本事件影响评估单元在发现某一威胁事件时(如确认某一源地址为攻击地址、确认某一样本为恶意代码等)，可检索与该威胁事件相关的事件(如已确认的攻击地址还访问过哪些目标地址，做过什么操作，已确认的恶意代码还感染过哪些主机等)，同时结合资产的业务价值属性，评估受影响的范围以及影响的严重程度。
由于资产作为企业最有价值的存在，包括各类提供服务的业务服务器及各类网络设备等，由此当分析到某一病毒入侵时，可精确判定受感染的资产数量以及严重程度，从面确定影响范围和根据资产等级保护来确定风险等级。
本事件影响评估单元在进行事件影响评估即为根据某一关键字(IP、端口等)，检索相关事件的过程，整个事件影响评估包括建立评估专题、检索相关事件、将可疑事件加入专题三个过程，具体如下所述：
(1)建立评估专题
本步骤在事件分析发现可疑事件时，建立一个针对这一可疑事件的专题。
由于，所有事件的可视化展示可分为多种方式结合,包括json cml列表等，当确定为可疑时间时，可通过列表方式进行选择，放到新建名称为XXX的事件专题里进行归并展示。
(2)检索相关事件
本步骤针对发现的可疑事件，根据某一关键字检索相关的事件。
(3)将可疑事件加入专题
将检索到的与专题相关的可疑事件加入专题，通过调用事件时间轴分析单元进行事件时间轴分析。
由此，在需要进行事件影响评估时，登录到多维度事件关联与追踪溯源分析系统，在登录的用户具有事件影响评估操作权限的情况下，可通过调取事件影响评估单元进行事件时间轴分析。
本系统中的事件导出单元，用于将追溯分析的关联事件导出以满足取证需要。本事件导出单元能够实现将分析中检索到的相关事件以通用格式(如CSV、XLS等)导出为文件，用以形成证据或提供其它系统进行分析或引用。
同时，本事件导出单元还能够在事件调查明细中，可以将某一事件专题的相关事件以通用格式(CSV、XLS)导出为文件。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.多维度事件关联分析方法，其特征在于，利用检索引擎从多个维度关联相关字段及表设计，将与可疑事件相关的事件列出。
2.根据权利要求1所述的多维度事件关联分析方法，其特征在于，利用相关特性建立多维度数据表设计，包括多个数据集要符合标准格式，每个数据集内至少包含一个维度。
3.根据权利要求1所述的多维度事件关联分析方法，其特征在于，事件检索结果以列表的形式展示，通过时间索引能够查看详情。
4.根据权利要求1所述的多维度事件关联分析方法，其特征在于，所述方法将相关的事件序列在同一时间轴上，以可视化的方式进行展示。
5.根据权利要求4所述的多维度事件关联分析方法，其特征在于，所述方法基于事件时间轴进行事件分析，分析过程包括：
针对检索到的可疑事件，建立一个可疑事件专题；
基于事件类型，时间范围，关键字条件检索出可疑事件的相关事件；
将检索到的相关事件加入可疑事件的专题；
针对整个可疑事件专题进行展开调查，查看全部相关事件；
根据事件场景类型、事件发生时间、事件影响等信息进行时间轴分析；
综合判断得出事件的结果和影响，并形成对应的加固措施方案。
6.根据权利要求1所述的多维度事件关联分析方法，其特征在于，所述方法还进行事件影响评估，事件影响评估包括：
建立评估专题，在事件分析发现可疑事件时，建立一个针对这一可疑事件的专题；
检索相关事件，根据某一关键字检索相关的事件；
将可疑事件加入专题，将检索到的与可疑事件专题相关的可疑事件加入专题，在事件时间轴分析时进行统一查看和分析。
7.根据权利要求1所述的多维度事件关联分析方法，其特征在于，所述方法还将分析中检索到的相关事件以通用格式导出为文件，用以形成证据或提供其它系统进行分析或引用。
CN201711073187.8A 2017-11-04 2017-11-04 多维度事件关联分析方法 Active CN107844572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711073187.8A CN107844572B (zh) 2017-11-04 2017-11-04 多维度事件关联分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711073187.8A CN107844572B (zh) 2017-11-04 2017-11-04 多维度事件关联分析方法

Publications (2)

Publication Number Publication Date
CN107844572A true CN107844572A (zh) 2018-03-27
CN107844572B CN107844572B (zh) 2022-02-22

Family

ID=61682334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711073187.8A Active CN107844572B (zh) 2017-11-04 2017-11-04 多维度事件关联分析方法

Country Status (1)

Country Link
CN (1) CN107844572B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1549969A (zh) * 2001-07-06 2004-11-24 关联并确定系统和企业事件的根本原因的方法和系统
CN101610174A (zh) * 2009-07-24 2009-12-23 深圳市永达电子股份有限公司 一种日志关联分析系统与方法
CN103546312A (zh) * 2013-08-27 2014-01-29 中国航天科工集团第二研究院七〇六所 一种海量多源异构日志关联分析方法
CN104067281A (zh) * 2011-11-28 2014-09-24 惠普发展公司，有限责任合伙企业 按多个时间维度的聚类事件数据
CN104820715A (zh) * 2015-05-19 2015-08-05 杭州迅涵科技有限公司 基于多维度关联的数据共享和分析方法及系统
US20180334825A1 (en) * 2015-06-10 2018-11-22 The Regents Of Teh University Of California Architected material design for seismic isolation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1549969A (zh) * 2001-07-06 2004-11-24 关联并确定系统和企业事件的根本原因的方法和系统
CN101610174A (zh) * 2009-07-24 2009-12-23 深圳市永达电子股份有限公司 一种日志关联分析系统与方法
CN104067281A (zh) * 2011-11-28 2014-09-24 惠普发展公司，有限责任合伙企业 按多个时间维度的聚类事件数据
CN103546312A (zh) * 2013-08-27 2014-01-29 中国航天科工集团第二研究院七〇六所 一种海量多源异构日志关联分析方法
CN104820715A (zh) * 2015-05-19 2015-08-05 杭州迅涵科技有限公司 基于多维度关联的数据共享和分析方法及系统
US20180334825A1 (en) * 2015-06-10 2018-11-22 The Regents Of Teh University Of California Architected material design for seismic isolation

Also Published As

Publication number Publication date
CN107844572B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
Mittal et al. Cybertwitter: Using twitter to generate alerts for cybersecurity threats and vulnerabilities
CN103026345B (zh) 用于事件监测优先级的动态多维模式
CN112417477A (zh) 一种数据安全监测方法、装置、设备及存储介质
CN107273267A (zh) 基于elastic组件的日志分析方法
CN107229556A (zh) 基于elastic组件的日志分析系统
CN106534146A (zh) 一种安全监测系统及方法
US11303658B2 (en) System and method for data analysis and detection of threat
KR102124935B1 (ko) 크라우드 소싱을 활용한 재난 모니터링 시스템, 재난 모니터링 방법 및 이를 수행하기 위한 컴퓨터 프로그램
Gupta et al. Automated event prioritization for security operation center using deep learning
Hemdan et al. Spark-based log data analysis for reconstruction of cybercrime events in cloud environment
Lee et al. A study on efficient log visualization using d3 component against apt: How to visualize security logs efficiently?
CN112714118B (zh) 网络流量检测方法和装置
CN112667875A (zh) 一种数据获取、数据分析方法、装置、设备及存储介质
CN112596984A (zh) 业务弱隔离环境下的数据安全态势感知系统
CN110912753B (zh) 一种基于机器学习的云安全事件实时检测系统及方法
Pavlov et al. Analysis of IDS alert correlation techniques for attacker group recognition in distributed systems
CN115296892B (zh) 数据信息服务系统
Zhong et al. Can cyber operations be made autonomous? an answer from the situational awareness viewpoint
CN107844572A (zh) 多维度事件关联分析方法
Li et al. The research on network security visualization key technology
Li et al. Network security situation awareness method based on visualization
Hou et al. Survey of cyberspace resources scanning and analyzing
Pihelgas et al. Frankenstack: Real-time cyberattack detection and feedback system for technical cyber exercises
Aarthi Using Users Profiling to Identifying an Attacks
Fessi et al. Data collection for information security system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant