CN105681286A - 关联分析方法和关联分析系统 - Google Patents

关联分析方法和关联分析系统 Download PDF

Info

Publication number
CN105681286A
CN105681286A CN201511030195.5A CN201511030195A CN105681286A CN 105681286 A CN105681286 A CN 105681286A CN 201511030195 A CN201511030195 A CN 201511030195A CN 105681286 A CN105681286 A CN 105681286A
Authority
CN
China
Prior art keywords
data
analysis
event
rule
real
Prior art date
Application number
CN201511030195.5A
Other languages
English (en)
Inventor
廖飞鸣
王萍
Original Assignee
中电长城网际系统应用有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中电长城网际系统应用有限公司 filed Critical 中电长城网际系统应用有限公司
Priority to CN201511030195.5A priority Critical patent/CN105681286A/zh
Publication of CN105681286A publication Critical patent/CN105681286A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance or administration or management of packet switching networks
    • H04L41/06Arrangements for maintenance or administration or management of packet switching networks involving management of faults or events or alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance or administration or management of packet switching networks
    • H04L41/06Arrangements for maintenance or administration or management of packet switching networks involving management of faults or events or alarms
    • H04L41/0604Alarm or event filtering, e.g. for reduction of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance or administration or management of packet switching networks
    • H04L41/06Arrangements for maintenance or administration or management of packet switching networks involving management of faults or events or alarms
    • H04L41/0631Alarm or event or notifications correlation; Root cause analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/1466Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks

Abstract

本发明公开了一种关联分析方法和关联分析系统。该方法包括:接收模块接收原始数据;实时分析模块根据实时关联规则对所述原始数据进行实时关联处理,生成关联数据;持续分析模块根据分析规则判断所述关联数据是否异常,若判断出所述关联数据异常时生成告警事件。本发明的技术方案中,接收模块接收原始数据,实时分析模块根据实时关联规则对原始数据进行实时关联处理生成关联数据,持续分析模块根据分析规则判断关联数据是否异常,若判断出关联数据异常时生成告警事件,实现了长期的关联分析,从而能够发现周期长、隐蔽性强的攻击行为。

Description

关联分析方法和关联分析系统

技术领域

[0001]本发明涉及信息安全领域,特别涉及一种关联分析方法和关联分析系统。

背景技术

[0002]当前,随着信息技术领域的发展,攻击手段和技术日益复杂化,对于一次入侵事件往往需要多个步骤才能完成,尤其近年来世界各地频繁报出高级持续性威胁(AdvancedPersistent Threat,简称:APT)事件,APT事件指的是针对特定对象进行的长期、有计划性和组织性地窃取数据且具有极强隐蔽能力的网络攻击行为,此类事件周期长达几年,且可绕过边界检测设备。

[0003]但是,现有技术中存在如下技术问题:现有技术的方案为传统的基于特征匹配的检测技术及基于单时间点或短暂时间片段的事件分析技术,但是现有技术的方案仅能进行短周期的关联分析,无法实现长期的关联分析,从而无法发现周期长、隐蔽性强的攻击行为。

发明内容

[0004]本发明提供一种关联分析方法和关联分析系统,用于能够发现周期长、隐蔽性强的攻击行为。

[0005]为实现上述目的,本发明提供了一种关联分析方法,包括:

[0006]接收模块接收原始数据;

[0007]实时分析模块根据实时关联规则对所述原始数据进行实时关联处理,生成关联数据;

[0008]持续分析模块根据分析规则判断所述关联数据是否异常,若判断出所述关联数据异常时生成告警事件。

[0009]可选地,所述持续分析模块根据分析规则判断所述关联数据是否异常包括:

[0010]所述持续分析模块根据分析规则判断所述关联数据是否携带恶意内容或者为异常行为。

[0011]可选地,所述原始数据包括原始事件和/或原始流量。

[0012]可选地,所述实时分析模块根据实时关联规则对所述原始数据进行实时关联处理,生成关联数据包括:

[0013]所述实时分析模块对所述原始数据中的无效事件进行过滤以及对所述原始数据中的重复事件进行合并;

[0014]所述实时分析模块根据实时关联规则,按照时间窗或者数量窗对经过过滤和合并后的原始数据进行关联处理生成关联数据。

[0015]可选地,所述实时关联规则为对关键属性相同的数据进行关联处理。

[0016]可选地,所述持续分析模块根据分析规则判断所述关联数据是否异常包括:

[0017]所述持续分析模块根据所述关联数据的数据属性和特征信息,通过所述分析规则判断存储在内存队列中的关联数据是否异常。

[0018]可选地,所述数据属性包括攻击源IP、目的IP、源端口、目的端口、事件数量、事件级别和/或事件类型。

[0019]可选地,所述特征信息包括情报信息、被攻击资产的漏洞信息、暴露面信息、资产价值信息和/或资产上运行的业务的应用信息。

[0020]可选地,所述若判断出所述关联数据异常时生成告警事件包括:

[0021 ]根据关联数据生成与关联数据对应的告警记录;

[0022]根据告警记录生成告警事件。

[0023]可选地,所述实时分析模块根据实时关联规则对所述原始数据进行实时关联处理之前还包括:

[0024]规则更新模块对所述实时关联规则进行更新处理并将更新后的实时关联规则存入关联规则集,以供所述实时分析模块从所述关联规则集中获取所述实时关联规则。

[0025]可选地,所述持续分析模块根据分析规则判断所述关联数据是否异常之前包括:

[0026]大数据分析模块对原始数据集进行分析生成并实时更新所述分析规则,所述原始数据集中存储有所述原始数据。

[0027]可选地,所述实时分析模块根据实时关联规则对所述原始数据进行实时关联处理之后还包括:

[0028]实时分析模块将所述关联数据存入关联结果集。

[0029]可选地,所述持续分析模块根据分析规则判断所述关联数据是否异常,若判断出所述关联数据异常时生成告警事件之后包括:

[0030]所述持续分析模块若判定出所述告警事件为第一次发生时,将所述告警事件存入告警事件集并将触发所述告警事件的告警记录存入攻击过程集;

[0031]所述持续分析模块若判定出再次发生与所述告警事件相关的其它事件时,更新所述告警事件集中的所述告警事件并将此次触发所述其它事件的告警记录存入攻击过程集。

[0032]为实现上述目的,本发明提供了 一种关联分析系统,包括:

[0033]接收模块,用于接收原始数据;

[0034]实时分析模块,用于根据实时关联规则对所述原始数据进行实时关联处理,生成关联数据;

[0035]持续分析模块,用于根据分析规则判断所述关联数据是否异常,若判断出所述关联数据异常时生成告警事件。

[0036]可选地,其特征在于,所述持续分析模块具体用于根据分析规则判断所述关联数据是否携带恶意内容或者为异常行为。

[0037]可选地,所述实时分析模块具体用于对所述原始数据中的无效事件进行过滤以及对所述原始数据中的重复事件进行合并;根据实时关联规则,按照时间窗或者数量窗对经过过滤和合并后的原始数据进行关联处理生成关联数据。

[0038]可选地,所述持续分析模块具体用于根据所述关联数据的数据属性和特征信息,通过所述分析规则判断存储在内存队列中的关联数据是否异常。

[0039] 可选地,还包括:

[0040]规则更新模块,用于对所述实时关联规则进行更新处理并将更新后的实时关联规则存入关联规则集,以供所述实时分析模块从所述关联规则集中获取所述实时关联规则。[0041 ] 可选地,还包括:

[0042]大数据分析模块,用于对原始数据集进行分析生成并实时更新所述分析规则,所述原始数据集中存储有所述原始数据。

[0043]可选地,实时分析模块还用于将所述关联数据存入关联结果集。

[0044]可选地,所述持续分析模块还用于若判定出所述告警事件为第一次发生时,将所述告警事件存入告警事件集并将触发所述告警事件的告警记录存入攻击过程集;若判定出再次发生与所述告警事件相关的其它事件时,更新所述告警事件集中的所述告警事件并将此次触发所述其它事件的告警记录存入攻击过程集。

[0045]本发明具有以下有益效果:

[0046]本发明提供的关联分析方法和关联分析系统的技术方案中,接收模块接收原始数据,实时分析模块根据实时关联规则对原始数据进行实时关联处理生成关联数据,持续分析模块根据分析规则判断关联数据是否异常,若判断出关联数据异常时生成告警事件,实现了长期的关联分析,从而能够发现周期长、隐蔽性强的攻击行为。

附图说明

[0047]图1为本发明实施例一提供的一种关联分析方法的流程图;

[0048]图2为本发明实施例二提供的一种关联分析方法的流程图;

[0049]图3为本发明实施例二中关联分析过程的示意图;

[0050]图4为本发明实施例二中数据存储示意图;

[0051]图5为本发明实施例二中告警事件追溯到原始数据的示意图;

[0052]图6为本发明实施例三提供的一种关联分析系统的结构示意图;

[0053]图7为本发明实施例四提供的一种关联分析系统的结构示意图。

具体实施方式

[0054]为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图对本发明提供的进行详细描述。

[0055]图1为本发明实施例一提供的一种关联分析方法的流程图,如图1所示,该方法包括:

[0056]步骤101、接收模块接收原始数据。

[0057]本实施例中,原始数据可包括原始事件和/或原始流量。该原始数据可以是实时的原始数据。接收模块可接收经过预处理的原始数据。

[0058]本实施例中,在接收模块接收原始数据之前,还可以由预处理模块对原始数据进行预处理。由于预处理之前的原始数据的格式不同,因此需要通过预处理过程对原始数据进行格式处理。具体地,预处理模块可原始数据进行解析,提取出原始数据的属性和值,对属性和值按照预定的格式进行规范化处理,以得出经过预处理的原始数据。经过预处理的原始数据具备相同的格式,从而便于后续步骤对原始数据进行处理。

[0059]步骤102、实时分析模块根据实时关联规则对原始数据进行实时关联处理,生成关联数据。

[0060]步骤103、持续分析模块根据分析规则判断关联数据是否异常,若判断出关联数据异常时生成告警事件。

[0061 ]本步骤具体包括:持续分析模块根据分析规则判断关联数据是否携带恶意内容或者为异常行为。

[0062]本实施例提供的关联分析方法的技术方案中,接收模块接收原始数据,实时分析模块根据实时关联规则对原始数据进行实时关联处理生成关联数据,持续分析模块根据分析规则判断关联数据是否异常,若判断出关联数据异常时生成告警事件,实现了长期的关联分析,从而能够发现周期长、隐蔽性强的攻击行为。

[0063]图2为本发明实施例二提供的一种关联分析方法的流程图,如图2所示,该方法包括:

[0064]步骤201、接收模块接收原始数据。

[0065]本实施例中,原始数据可包括原始事件和/或原始流量。该原始数据可以是实时的原始数据。接收模块可接收经过预处理的原始数据。

[0066]图3为本发明实施例二中关联分析过程的示意图,如图3所示,Event表示原始数据,图3中列举了原始数据Event 1-1、Eventl-2、Eventl-3、Event2和Event3。其中,原始数据Event 1-1、Event 1-2、Event 1-3可以看做是原始数据Event I这种类型的数据连续发生了 3次。

[0067]步骤202、规则更新模块对实时关联规则进行更新处理并将更新后的实时关联规则存入关联规则集,以供实时分析模块从关联规则集中获取实时关联规则。

[0068]本实施例中,规则更新模块可按照设定周期对实时关联规则进行更新处理并将更新后的实时关联规则存入关联规则集。当实时分析模块需要根据关联规则对原始数据进行处理,可直接从关联规则集中获取实时关联规则。

[0069]步骤203、实时分析模块对原始数据中的无效事件进行过滤以及对原始数据中的重复事件进行合并。

[0070]本实施例中,接收模块原始数据中包括无效事件和重复事件,因此在对原始数据进行关联处理之前,需要首先对无效事件进行过滤以去除掉无效事件,并对重复事件进行合并以减少原始数据的数量,从而减少了实时分析模块对事件处理的负担量。

[0071]步骤204、实时分析模块根据实时关联规则,按照时间窗或者数量窗对经过过滤和合并后的原始数据进行关联处理生成关联数据。

[0072]例如:时间窗可以为10分钟,数量窗可以为100个。则实时分析模块根据实时关联规则,可对时间窗所表示的时间段内的经过过滤和合并后的原始数据进行关联处理;或者实时分析模块根据实时关联规则,可对数量窗所表示的数量个经过过滤和合并后的原始数据进行关联处理。实时分析模块生成关联数据之后,将该关联数据输出至大数据分析模块。

[0073]可选地,实时关联规则可以为对关键属性相同的数据进行关联处理,其中,关键属性可包括事件类型、源IP和目的IP等,则实时分析模块可对关键属性相同的原始数据进行关联处理生成关联数据,具体地,实时分析模块可对事件类型、源IP、目的IP均相同的原始数据进行关联处理生成关联数据。此种情况为统计关联,被关联的原始数据发生的时间可以不同。如图3所示,Cep表示关联数据,图3中列举了关联数据Cepl、Cepl2、Cepl23<Xepl是由原始数据Eventl-1、Eventl-2、Eventl-3关联而形成,其中,原始数据Event 1-1、Eventl_2、Eventl-3为事件类型相同的数据,原始数据Eventl-l、Eventl-2、Eventl-3进行关联为统计关联。

[0074]可选地,实时关联规则可以为对关键属性相同的数据进行关联处理,其中,关键属性可包括源IP或者目的IP,则实时分析模块可对源IP相同的原始数据进行关联处理生成关联数据或者实时分析模块可对目的IP相同的原始数据进行关联处理生成关联数据。此种情况为复杂关联,被关联的原始数据的事件类型是不同的,且被关联的原始数据之间具备前后发生的因果关系或者具备时序关联。如图3所示,Cepl2是由原始数据Eventl-1和Event2关联而形成,Cepl23是由原始数据Event3和关联数据C印12关联而形成,其中,Cepl2为源IP或目的IP相同的但事件类型不同的Eventl-1和Event2关联而形成,Cepl23为源IP或目的IP相同的但事件类型不同的Event3、Eventl-l和Event2关联而形成。

[0075]步骤205、实时分析模块将关联数据存入关联结果集。

[0076]本实施例中,关联结果集可用于保存关联数据。

[0077]图4为本发明实施例二中数据存储示意图,如图4所示,关联数据可以原始数据与关联数据关系表的形式存入关联结果集,该原始数据与关联数据关系表既存储了关联数据又能体现出原始数据和关联数据的对应关系。例如= Cepl对应于原始数据Eventl-1、Event 1-2、Event 1-3,这表明 Cepl是由原始数据 Event 1-1、Eventl-2、Eventl_3 关联而形成;Cepl 2对应于原始数据Event 1-1和Event2,这表明Cep 12是由原始数据Event 1-1和Event2关联而形成;Cepl23对应于原始数据Event3和关联数据Cepl2,这表明Cepl23是由原始数据Event3和关联数据Cepl2关联而形成。

[0078]步骤206、大数据分析模块对原始数据集进行分析生成并实时更新分析规则,原始数据集中存储有所述原始数据。

[0079]如图4所示,原始数据可以原始数据表的形式存入原始数据集中,原始数据表中存储有原始数据 Eventl-1、Eventl-2、Eventl-3、Event2和Event30

[0080]本实施例中,大数据分析模块可对原始数据集中的原始数据进行分析生成分析模块集,并且可实时根据原始数据集中的原始数据对分析规则进行更新。大数据分析模块生成的分析规则可供持续分析模块判断关联数据是否异常。

[0081]步骤207、持续分析模块根据分析规则判断关联数据是否异常,若是则执行步骤208,若否则流程结束。

[0082]本步骤具体可包括:持续分析模块根据关联数据的数据属性和特征信息,通过分析规则判断存储在内存队列中的关联数据是否异常。

[0083]本实施例中,分析规则为判别异常的规则,持续分析模块将关联数据的数据属性和特征信息与分析规则进行匹配,若匹配成功则表明判断出关联数据异常;若匹配失败则表明判断出关联数据正常。

[0084]本实施例中,所述数据属性包括攻击源IP、目的IP、源端口、目的端口、事件数量、事件级别和/或事件类型;所述特征信息包括情报信息、被攻击资产的漏洞信息、暴露面信息、资产价值信息和/或资产上运行的业务的应用信息。其中,情报信息可包括恶意IP、恶意URL、漏洞信息、攻击者特征和/或攻击行为特征;暴露面信息是指内网暴露在外网的存在风险的配置信息,例如:IP、端口和或服务等。需要说明的是:情报信息中的漏洞信息包括的是所有的漏洞信息,而特征信息中的漏洞信息包括的是被攻击资产的漏洞信息。本实施例中,可设置资产库、资产漏洞库、暴露面库和/或情报库,资产库可用于存储资产价值信息和资产上运行的业务的应用信息,资产漏洞库可用于存储漏洞信息,暴露面库用于存储暴露面信息,情报库可用于存储情报信息。当持续分析模块需要数据属性和特征信息时,可直接从上述资产库、资产漏洞库、暴露面库和情报库中获取。

[0085]本实施例中,可建立一个内存队列,将关联数据存储于内存队列中。持续分析模块可直接判断存储在内存队列中的关联数据是否异常。

[0086]持续分析模块可根据关联数据的数据属性和被攻击资产的特征信息,通过分析规则判断关联数据是否携带恶意内容或者为异常行为。其中,关联数据是否携带恶意内容可包括:关联数据是否包含恶意IP、恶意URL和/或恶意Email地址,若判断出关联数据包含恶意IP、恶意URL和恶意Ema i I地址中的任意一种,则判断出关联数据携带恶意内容;关联数据是否为异常行为可包括:关联数据是否针对漏洞、是否针对核心资产和/或是否针对不允许开放的服务,若判断出关联数据针对漏洞、针对核心资产和针对不允许开放的服务中的任意一种,则判断出关联数据为异常行为。若判断出关联数据携带恶意内容,则表明关联数据异常;若判断出关联数据为异常行为,则表明关联数据异常。

[0087]步骤208、持续分析模块生成告警事件。

[0088]本实施例中,告警事件可包括告警级别、攻击能力、攻击方向、持续事件。

[0089]本步骤具体可包括:

[0090]步骤2081、持续分析模块根据关联数据生成与关联数据对应的告警记录。

[0091 ]本实施例中,每一个关联数据均对应于一条告警记录,当持续分析模块判断出关联数据异常时,则生成一条与关联事件对应的告警记录。

[0092]步骤2082、持续分析模块根据告警记录生成告警事件。

[0093]本实施例中,持续分析模块可对告警记录进行聚合处理生成告警事件。具体地,持续分析模块根据聚合条件生成告警事件。例如:聚合条件为具有相同源IP的告警记录进行聚合、具有相同目的IP的告警记录进行聚合或者具有相同源IP和目的IP的告警记录进行聚合。则持续分析模块对具有相同源IP的告警记录进行聚合处理生成告警事件,这可以表明同一个攻击源对多个不同的目标在持续的一段时间内陆续发动了相同或不同类型的攻击事件;或者持续分析模块对具有相同目的IP的告警记录进行聚合处理生成告警事件,这表明不同的攻击源针对同一个目标在持续的一段时间内陆续发动了相同或不同类型的攻击事件;或者持续分析模块对具有相同目的源IP和相同目的IP的告警记录进行聚合处理生成告警事件,这表明同一个攻击源针对同一个目标在一段时间内陆续发生了相同或不同类型的事件。生成一个告警事件的告警记录可以为一个或者多个。当聚合条件的告警记录的数量仅为一个时,则可以直接对一个告警记录进行聚合处理,即:直接根据该告警记录生成告警事件,图3中所示的就是这种情况。

[0094]例如:某个源IP—周前对我的网络进行了扫描攻击,前几天该源IP对我的网络进行了注入攻击,昨天该源IP又对我进行了 DDos攻击,这三个事件的相似性是因为他们的攻击源IP相同,因此通过持续关联可以将这三次攻击的告警记录聚合成一个高级别的告警事件。通过这样的聚合关联可以发现长周期的攻击事件,从而能够使得运维人员并发现这三起攻击事件是有相关性的,而且是渐进性的在对我的网络进行攻击。

[0095]步骤209、持续分析模块若判定出该告警事件为第一次发生时,将该告警事件存入告警事件集并将触发告警事件的告警记录存入攻击过程集;持续分析模块若判定出再次发生与该告警事件相关的其它事件时,更新告警事件集中的告警事件并将触发该其它事件的告警记录存入攻击过程集。

[0096]其中,告警记录为在持续跟踪分析过程中满足复杂攻击过程的告警记录,告警事件为长时间跟踪并持续更新的告警事件。

[0097]本实施例中,告警记录对应某一攻击事件,换言之,当某一攻击事件发生时即产生一条告警记录。而告警事件可以是由一组告警记录通过某种关联条件聚合到一起后产生的,当然告警事件也可以是根据一个告警记录产生。因此可以说,告警事件是由告警记录触发的。某一条告警事件可随着时间的变化,根据聚合到一起的告警记录来不断的进行更新。一般黑客发动攻击之前都会做一些探测性的行为,因此事态发展都是有一个过程的,本实施例可以把这种持续性的攻击事件记录下来,并且通过追溯回放攻击过程。

[0098] 如图3所示,Alarmlog表示告警记录,图3中列举了告警记录Alarmlogl、Alarmlog12和Alarmlog 123。其中,AlarmlogI对应于CepI ,Alarmlog12对应于Cep12,Alamlogl23对应于Cepl23。如图4所示,告警记录可以关联数据表的形式存入攻击过程集。关联数据表既存储了告警记录又能体现出告警记录和关联数据的对应关系。例如:图4中列举了告警记录Alarml og 1、Alarmlogl 2和AIarmlog 123,其中,Alarmlog I 对应于Cep I,Alarmlogl 2 对应于 Cepl 2 ,Alarmlogl 23 对应于 Cepl 23。

[0099] 如图3所不,Alarmevent表不告警事件,图3中列举了告警事件Alarmeventl、Alarmevent 12和Alarme vent 123 ο Alarme vent I 对应于Alarml og I,Alarmevent 12对应于Alarmlogl2 ,Alarmevent 123对应于Alarmlogl 23。如图4所不,告警事件可以告警事件表的形式存入告警事件集,进一步地,告警事件还可以告警过程记录表的形式存入告警事件集,该告警过程记录表既存储了告警事件又能体现出告警记录和告警事件的对应关系。如图4所不,在告警事件表中保存了告警事件Alarme vent 1、Alarmevent 12和Alarme vent 123 ;在告警过程记录表中保存了 Alarmevent I和Alarmlogl的对应关系、Alarme vent 12和Alarmlogl 2的对应关系以及Alarmevent 123和Alarmlogl 23的对应关系。

[0100]图5为本发明实施例二中告警事件追溯到原始数据的示意图,如图5所示,根据图4中保存的各项数据可对告警事件的完整生命周期进行追溯,追踪所有过程事件直至关联到原始事件。若要追溯Alarme vent I的原始数据时,依次从Alarmevent I追踪到对应的Alarml og I 和Cep I,继而追踪到和Cep I对应的Event 1-1、Event 1-2、Event 1-3 ;若要追溯Alarmevent 12的原始数据时,依次从Alarmevent 12追踪到对应的Alarmlogl 2和Cep 12,继而追踪到和Cep12对应的Event 1-1 4¥61^2;若要追溯4131'1116¥6111:123的原始数据时,依次从Alarmeventl23追踪到对应的Alarmlogl23和Cepl23,继而追踪到和Cepl23对应的Cepl2、Event3,进而追踪到和Cepl2对应的Eventl-l、Event2,因此,Alarmevent123的原始数据为Eventl-1、Event2、Event3。

[0101]告警记录Alarmlog是记录单条告警发生时的类似一个流水表的记录。告警事件Alarmevent是将相关的Alarmlog经过长期的聚合而形成的。例如:同一个攻击源IP昨天发起了一个扫描事件,就会产生一个单条的扫描事件的告警记录Alarmlog4,今天又是同一个源IP发生了扫描事件,又会产生一个该扫描事件的告警记录Alarmlog5,同时系统会根据同一个源IP在不同的两天发生了相同的扫描事件而产生一个告警事件Alarmevent45,这个告警事件Alarmevent45跟前两个扫描事件的告警记录关联起来。过了两天这个源IP又有注入攻击事件发生了,这时候会产生一条注入攻击事件的告警事件Alarmlog6,此时可去更新之前聚合产生的那条告警事件Alarmevent45,即:根据告警记录Alarmlog6更新告警事件Alarmevent45,此时会因为聚合的告警记录既有扫描又有攻击使这条告警事件升级,此时若再去追溯Alarmevent45对应的告警记录就能查到3条告警记录。而后经过这种长期的跟踪监控,就可以把同一个源IP—段时间内的告警记录都串联起来。上述是对同一个源IP的告警记录进行聚合的例子,对同一个目的IP的告警记录进行聚合以及对同一个源IP和同一个目的IP进行聚合此处不再具体描述。

[0102]综上所述,每当有告警记录Alarmlog产生的时候,持续分析模块就会根据源IP和/或目的IP去告警Alarmevent中去找到相关的告警事件Alarmevent并更新该相关的告警事件。若未找到相关的告警事件表明该告警事件为第一次发生,则将该告警事件存入告警事件集。

[0103] 可选地,该方法包括:

[0104]步骤210、持续分析模块计算出告警事件的影响范围和威胁等级。

[0105]具体地,持续分析模块可根据告警事件对应的关联数据的数据属性和特征信息计算出告警事件的影响范围和威胁等级。

[0106]例如:同一个源IP在一段时间内对我的网络进行了攻击会产生很多告警记录,通过持续关联分析,可以发现这个源IP针对了 η个不同的目的IP实施了攻击,那这些告警记录产生的告警实践的影响范围就是η个不同的目的IP。

[0107]例如:如果这个源IP对n<5个目的IP仅仅发起了扫描事件攻击,则威胁等级是比较低的;如果这个源IP针对n>5个目的IP进行了多种类型的攻击行为,则威胁等级是比较高的。因此威胁等级的计算因素包括:1、影响范围;2、手段种类;3、是否与漏洞相关;4是否与恶意IP或恶意网址相关;5、使用的攻击手段造成的严重程度。这些计算因素的取值是可以动态设置的,例如上面的η可以设置5也可以设置成10,这个要根据事件类型结合实际场景调试设置。

[0108]本实施例提供的关联分析方法的技术方案中,接收模块接收原始数据,实时分析模块根据实时关联规则对原始数据进行实时关联处理生成关联数据,持续分析模块根据分析规则判断关联数据是否异常,若判断出关联数据异常时生成告警事件,实现了长期的关联分析,从而能够发现周期长、隐蔽性强的攻击行为。本实施例中,大数据分析模块可对原始数据进行分析生成并实时更新分析规则,实现了通过智能分析结果联动更新分析规则,提高了更新的时效性,从而提高了关联分析的准确性和对新型攻击的发现能力。实时分析模块可对原始数据中的无效事件进行过滤以及对原始数据中的重复事件进行合并,从而降低了实时分析模块的负担量,从而提高了处理效率。持续分析模块根据关联数据的数据属性和特征信息判断关联数据是否异常,从而一方面增加了对攻击有效性的识别,降低了误报,另一方面也可以通过结合上述关联数据的数据属性和特征信息对命中的事件影响范围、威胁等级进行计算。本实施例通过原始数据集、关联结果集、攻击过程集和告警事件集中保存的信息,可以追溯告警事件的整个生命周期历经的所有事件和过程,便于运维人员取证,从而为运维人员带来极大方便。本实施例的关联分析方法极大的降低了重复告警,从而减少了告警事件的数量。

[0109]图6为本发明实施例三提供的一种关联分析系统的结构示意图,如图6所示,该系统包括:接收模块11、实时分析模块12和持续分析模块13。

[0110]接收模块11用于接收原始数据。实时分析模块12用于根据实时关联规则对所述原始数据进行实时关联处理,生成关联数据。持续分析模块13用于根据分析规则判断所述关联数据是否异常,若判断出所述关联数据异常时生成告警事件。

[0111]本实施例提供的关联分系统可用于实现上述实施例一提供的关联分析方法。

[0112]本实施例提供的关联分析系统的技术方案中,接收模块接收原始数据,实时分析模块根据实时关联规则对原始数据进行实时关联处理生成关联数据,持续分析模块根据分析规则判断关联数据是否异常,若判断出关联数据异常时生成告警事件,实现了长期的关联分析,从而能够发现周期长、隐蔽性强的攻击行为。

[0113]图7为本发明实施例四提供的一种关联分析系统的结构示意图,如图7所示,本实施例的系统在上述实施例一的基础上进一步地,持续分析模块13具体用于根据分析规则判断所述关联数据是否携带恶意内容或者为异常行为。

[0114]可选地,实时分析模块12具体用于对所述原始数据中的无效事件进行过滤以及对所述原始数据中的重复事件进行合并;根据实时关联规则,按照时间窗或者数量窗对经过过滤和合并后的原始数据进行关联处理生成关联数据。

[0115]可选地,持续分析模块13具体用于根据所述关联数据的数据属性和特征信息,通过所述分析规则判断存储在内存队列中的关联数据是否异常。

[0116]可选地,该系统还包括:规则更新模块14。规则更新模块14用于对所述实时关联规则进行更新处理并将更新后的实时关联规则存入关联规则集,以供所述实时分析模块从所述关联规则集中获取所述实时关联规则。

[0117]可选地,该系统还包括:大数据分析模块15。大数据分析模块15用于对原始数据集进行分析生成并实时更新所述分析规则,所述原始数据集中存储有所述原始数据。

[0118]可选地,实时分析模块12还用于将所述关联数据存入关联结果集。

[0119]可选地,持续分析模块13还用于若判定出所述告警事件为第一次发生时,将所述告警事件存入告警事件集并将触发所述告警事件的告警记录存入攻击过程集;若判定出再次发生与所述告警事件相关的其它事件时,更新所述告警事件集中的所述告警事件并将此次触发所述其它事件的告警记录存入攻击过程集。

[0120]本实施例提供的关联分析系统可用于实现上述实施例二提供的关联分析方法。

[0121]本实施例提供的关联分析系统的技术方案中,接收模块接收原始数据,实时分析模块根据实时关联规则对原始数据进行实时关联处理生成关联数据,持续分析模块根据分析规则判断关联数据是否异常,若判断出关联数据异常时生成告警事件,实现了长期的关联分析,从而能够发现周期长、隐蔽性强的攻击行为。本实施例中,大数据分析模块可对原始数据进行分析生成并实时更新分析规则,实现了通过智能分析结果联动更新分析规则,提高了更新的时效性,从而提高了关联分析的准确性和对新型攻击的发现能力。实时分析模块可对原始数据中的无效事件进行过滤以及对原始数据中的重复事件进行合并,从而降低了实时分析模块的负担量,从而提高了处理效率。持续分析模块根据关联数据的数据属性和特征信息判断关联数据是否异常,从而一方面增加了对攻击有效性的识别,降低了误报,另一方面也可以通过结合上述关联数据的数据属性和特征信息对命中的事件影响范围、威胁等级进行计算。本实施例通过原始数据集、关联结果集、攻击过程集和告警事件集中保存的信息,可以追溯告警事件的整个生命周期历经的所有事件和过程,便于运维人员取证,从而为运维人员带来极大方便。本实施例的关联分析系统极大的降低了重复告警,从而减少了告警事件的数量。

[0122]可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

Claims (21)

1.一种关联分析方法,其特征在于,包括: 接收模块接收原始数据; 实时分析模块根据实时关联规则对所述原始数据进行实时关联处理,生成关联数据; 持续分析模块根据分析规则判断所述关联数据是否异常,若判断出所述关联数据异常时生成告警事件。
2.根据权利要求1所述的关联分析方法,其特征在于,所述持续分析模块根据分析规则判断所述关联数据是否异常包括: 所述持续分析模块根据分析规则判断所述关联数据是否携带恶意内容或者为异常行为。
3.根据权利要求1所述的关联分析方法,其特征在于,所述原始数据包括原始事件和/或原始流量。
4.根据权利要求1所述的关联分析方法,其特征在于,所述实时分析模块根据实时关联规则对所述原始数据进行实时关联处理,生成关联数据包括: 所述实时分析模块对所述原始数据中的无效事件进行过滤以及对所述原始数据中的重复事件进行合并; 所述实时分析模块根据实时关联规则,按照时间窗或者数量窗对经过过滤和合并后的原始数据进行关联处理生成关联数据。
5.根据权利要求1或4所述的关联分析方法,其特征在于,所述实时关联规则为对关键属性相同的数据进行关联处理。
6.根据权利要求1所述的关联分析方法,其特征在于,所述持续分析模块根据分析规则判断所述关联数据是否异常包括: 所述持续分析模块根据所述关联数据的数据属性和特征信息,通过所述分析规则判断存储在内存队列中的关联数据是否异常。
7.根据权利要求6所述的关联分析方法,其特征在于,所述数据属性包括攻击源IP、目的IP、源端口、目的端口、事件数量、事件级别和/或事件类型。
8.根据权利要求6所述的关联分析方法,其特征在于,所述特征信息包括情报信息、被攻击资产的漏洞信息、暴露面信息、资产价值信息和/或资产上运行的业务的应用信息。
9.根据权利要求1所述的关联分析方法,其特征在于,所述若判断出所述关联数据异常时生成告警事件包括: 根据关联数据生成与关联数据对应的告警记录; 根据告警记录生成告警事件。
10.根据权利要求1所述的关联分析方法,其特征在于,所述实时分析模块根据实时关联规则对所述原始数据进行实时关联处理之前还包括: 规则更新模块对所述实时关联规则进行更新处理并将更新后的实时关联规则存入关联规则集,以供所述实时分析模块从所述关联规则集中获取所述实时关联规则。
11.根据权利要求1所述的关联分析方法,其特征在于,所述持续分析模块根据分析规则判断所述关联数据是否异常之前包括: 大数据分析模块对原始数据集进行分析生成并实时更新所述分析规则,所述原始数据集中存储有所述原始数据。
12.根据权利要求1所述的关联分析方法,其特征在于,所述实时分析模块根据实时关联规则对所述原始数据进行实时关联处理之后还包括: 实时分析模块将所述关联数据存入关联结果集。
13.根据权利要求1所述的关联分析方法,其特征在于,所述持续分析模块根据分析规则判断所述关联数据是否异常,若判断出所述关联数据异常时生成告警事件之后包括: 所述持续分析模块若判定出所述告警事件为第一次发生时,将所述告警事件存入告警事件集并将触发所述告警事件的告警记录存入攻击过程集; 所述持续分析模块若判定出再次发生与所述告警事件相关的其它事件时,更新所述告警事件集中的所述告警事件并将此次触发所述其它事件的告警记录存入攻击过程集。
14.一种关联分析系统,其特征在于,包括: 接收模块,用于接收原始数据; 实时分析模块,用于根据实时关联规则对所述原始数据进行实时关联处理,生成关联数据; 持续分析模块,用于根据分析规则判断所述关联数据是否异常,若判断出所述关联数据异常时生成告警事件。
15.根据权利要求14所述的关联分析系统,其特征在于,所述持续分析模块具体用于根据分析规则判断所述关联数据是否携带恶意内容或者为异常行为。
16.根据权利要求14所述的关联分析系统,其特征在于,所述实时分析模块具体用于对所述原始数据中的无效事件进行过滤以及对所述原始数据中的重复事件进行合并;根据实时关联规则,按照时间窗或者数量窗对经过过滤和合并后的原始数据进行关联处理生成关联数据。
17.根据权利要求14所述的关联分析系统,其特征在于,所述持续分析模块具体用于根据所述关联数据的数据属性和特征信息,通过所述分析规则判断存储在内存队列中的关联数据是否异常。
18.根据权利要求14所述的关联分析系统,其特征在于,还包括: 规则更新模块,用于对所述实时关联规则进行更新处理并将更新后的实时关联规则存入关联规则集,以供所述实时分析模块从所述关联规则集中获取所述实时关联规则。
19.根据权利要求14所述的关联分析系统,其特征在于,还包括: 大数据分析模块,用于对原始数据集进行分析生成并实时更新所述分析规则,所述原始数据集中存储有所述原始数据。
20.根据权利要求14所述的关联分析系统,其特征在于,实时分析模块还用于将所述关联数据存入关联结果集。
21.根据权利要求14所述的关联分析系统,其特征在于,所述持续分析模块还用于若判定出所述告警事件为第一次发生时,将所述告警事件存入告警事件集并将触发所述告警事件的告警记录存入攻击过程集;若判定出再次发生与所述告警事件相关的其它事件时,更新所述告警事件集中的所述告警事件并将此次触发所述其它事件的告警记录存入攻击过程集。
CN201511030195.5A 2015-12-31 2015-12-31 关联分析方法和关联分析系统 CN105681286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511030195.5A CN105681286A (zh) 2015-12-31 2015-12-31 关联分析方法和关联分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511030195.5A CN105681286A (zh) 2015-12-31 2015-12-31 关联分析方法和关联分析系统

Publications (1)

Publication Number Publication Date
CN105681286A true CN105681286A (zh) 2016-06-15

Family

ID=56298381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511030195.5A CN105681286A (zh) 2015-12-31 2015-12-31 关联分析方法和关联分析系统

Country Status (1)

Country Link
CN (1) CN105681286A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106789347A (zh) * 2017-01-22 2017-05-31 山东浪潮商用系统有限公司 一种基于告警数据实现告警关联和网络故障诊断的方法
CN108073809A (zh) * 2017-12-25 2018-05-25 哈尔滨安天科技股份有限公司 基于异常组件关联的apt启发式检测方法及系统
CN108234426A (zh) * 2016-12-21 2018-06-29 中国移动通信集团安徽有限公司 Apt攻击告警方法和apt攻击告警装置
CN110516439A (zh) * 2019-07-25 2019-11-29 北京奇艺世纪科技有限公司 一种检测方法、装置、服务器及计算机可读介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201491020U (zh) * 2009-08-20 2010-05-26 福建富士通信息软件有限公司 基于事件分类和规则树的关联分析装置
CN102638100A (zh) * 2012-04-05 2012-08-15 华北电力大学 地区电网设备异常告警信号关联分析与诊断方法
CN103312679A (zh) * 2012-03-15 2013-09-18 北京启明星辰信息技术股份有限公司 高级持续威胁的检测方法和系统
CN103685296A (zh) * 2013-12-20 2014-03-26 中电长城网际系统应用有限公司 一种安全信息整合显示方法和系统
CN103825888A (zh) * 2014-02-17 2014-05-28 北京奇虎科技有限公司 网络威胁处理方法及设备
CN103986599A (zh) * 2014-05-14 2014-08-13 上海上讯信息技术股份有限公司 一种用于网络设备的运维告警系统及其方法
CN104008332A (zh) * 2014-04-30 2014-08-27 浪潮电子信息产业股份有限公司 一种基于Android平台的入侵检测系统
US20140245374A1 (en) * 2012-12-04 2014-08-28 ISC8 Inc. Device and Method for Detection of Anomalous Behavior in a Computer Network
CN104050787A (zh) * 2013-03-12 2014-09-17 霍尼韦尔国际公司 具有分类属性的异常检测的系统和方法
CN104852927A (zh) * 2015-06-01 2015-08-19 国家电网公司 基于多源异构的信息安全综合管理系统
CN105139158A (zh) * 2015-10-10 2015-12-09 国家电网公司 电网异常信息智能告警和辅助决策方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201491020U (zh) * 2009-08-20 2010-05-26 福建富士通信息软件有限公司 基于事件分类和规则树的关联分析装置
CN103312679A (zh) * 2012-03-15 2013-09-18 北京启明星辰信息技术股份有限公司 高级持续威胁的检测方法和系统
CN102638100A (zh) * 2012-04-05 2012-08-15 华北电力大学 地区电网设备异常告警信号关联分析与诊断方法
US20140245374A1 (en) * 2012-12-04 2014-08-28 ISC8 Inc. Device and Method for Detection of Anomalous Behavior in a Computer Network
CN104050787A (zh) * 2013-03-12 2014-09-17 霍尼韦尔国际公司 具有分类属性的异常检测的系统和方法
CN103685296A (zh) * 2013-12-20 2014-03-26 中电长城网际系统应用有限公司 一种安全信息整合显示方法和系统
CN103825888A (zh) * 2014-02-17 2014-05-28 北京奇虎科技有限公司 网络威胁处理方法及设备
CN104008332A (zh) * 2014-04-30 2014-08-27 浪潮电子信息产业股份有限公司 一种基于Android平台的入侵检测系统
CN103986599A (zh) * 2014-05-14 2014-08-13 上海上讯信息技术股份有限公司 一种用于网络设备的运维告警系统及其方法
CN104852927A (zh) * 2015-06-01 2015-08-19 国家电网公司 基于多源异构的信息安全综合管理系统
CN105139158A (zh) * 2015-10-10 2015-12-09 国家电网公司 电网异常信息智能告警和辅助决策方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周宁: "分布式入侵检测系统体系结构及告警融合研究", 《中国优秀博硕士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234426A (zh) * 2016-12-21 2018-06-29 中国移动通信集团安徽有限公司 Apt攻击告警方法和apt攻击告警装置
CN106789347A (zh) * 2017-01-22 2017-05-31 山东浪潮商用系统有限公司 一种基于告警数据实现告警关联和网络故障诊断的方法
CN106789347B (zh) * 2017-01-22 2019-12-13 浪潮天元通信信息系统有限公司 一种基于告警数据实现告警关联和网络故障诊断的方法
CN108073809A (zh) * 2017-12-25 2018-05-25 哈尔滨安天科技股份有限公司 基于异常组件关联的apt启发式检测方法及系统
CN110516439A (zh) * 2019-07-25 2019-11-29 北京奇艺世纪科技有限公司 一种检测方法、装置、服务器及计算机可读介质

Similar Documents

Publication Publication Date Title
Wang et al. Delving into internet DDoS attacks by botnets: characterization and analysis
US20200026594A1 (en) System and method for real-time detection of anomalies in database usage
US20190260779A1 (en) Artificial intelligence cyber security analyst
EP2828753B1 (en) Anomaly detection to identify coordinated group attacks in computer networks
Caselli et al. Sequence-aware intrusion detection in industrial control systems
JP5941149B2 (ja) 基準ベースラインに基づき、イベントシーケンス中の時間的位置に従ってイベントを評価するシステム及び方法
Salem et al. A survey of insider attack detection research
CN107241352B (zh) 一种网络安全事件分类与预测方法及系统
Wang et al. A graph based approach toward network forensics analysis
Sadoddin et al. Alert correlation survey: framework and techniques
CN101610174B (zh) 一种日志事件关联分析系统与方法
US20160226901A1 (en) Anomaly Detection Using Adaptive Behavioral Profiles
CA3037943A1 (en) Connected security system
Cho et al. Efficient anomaly detection by modeling privilege flows using hidden Markov model
KR100623552B1 (ko) 자동침입대응시스템에서의 위험수준 분석 방법
Zhu et al. Alert correlation for extracting attack strategies
CN104660594B (zh) 一种面向社交网络的虚拟恶意节点及其网络识别方法
WO2015138513A1 (en) Detecting network intrusions using layered host scoring
CN101826996B (zh) 域名系统流量检测方法与域名服务器
CN104753946A (zh) 一种基于网络流量元数据的安全分析框架
Xia et al. An efficient network intrusion detection method based on information theory and genetic algorithm
Fava et al. Projecting cyberattacks through variable-length markov models
CN106790292A (zh) 基于行为特征匹配和分析的web应用层攻击检测与防御方法
Moustafa et al. A hybrid feature selection for network intrusion detection systems: Central points
CN100504903C (zh) 一种恶意代码自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160615

RJ01 Rejection of invention patent application after publication