CN101800668A - 日志归并方法和装置 - Google Patents

Abstract

本发明实施例提供一种日志归并方法和装置，其中方法包括：在检测到网络攻击事件之后，根据所述网络攻击事件的特征确定所述网络攻击事件的类型；根据所述网络攻击事件的类型确定所述网络攻击事件对应的日志归并策略；根据所述日志归并策略对所述网络攻击事件对应的日志进行归并。装置包括类型确定模块、策略确定模块和归并模块。本发明实施例实现了对各种类型网络攻击事件产生的日志的合理归并，有效抑制了日志风暴，避免了系统中重要日志不被淹没，而且不会丢失关键信息。

Description

日志归并方法和装置

技术领域

本发明涉及计算机和通信技术领域，尤其涉及一种日志归并方法和装置。

背景技术

随着网络攻击的日益猖獗、应用软件的不断丰富以及网络流量的不断增长，网络日志的数量不断增加，而其中重复日志、垃圾日志的数量也呈指数级增加。例如，一次端口扫描攻击可扫描目标主机的65535个端口，以查看目标主机是否在某个端口上开启了服务，然后根据扫描结果进行下一步的攻击。在这种情况下，若每一个扫描报文都上报一条日志，则在短时间内会产生65535条日志，形成日志风暴，这给设备、网络带宽以及日志服务器带来了巨大压力，短时间内数万条日志很容易使得系统中重要日志被淹没，导致重要信息无法得到及时处理。由此可见，用户对于减少垃圾日志，保证系统中重要日志不被淹没的需求日益强烈。

在现有技术中，通过固定的日志归并策略对日志进行归并，如固定地根据日志的类型、ID(Identity，日志对应的唯一编码)，或源IP地址和目的IP地址等日志归并策略，现有技术中的这种方法可以对同类攻击生成的日志进行合并，可以减少日志的数量，在一定程度上抑制日志风暴。

然而，在实现本发明过程中，发明人发现现有技术中的日志归并方法的适应性较差，固定的一种日志归并策略只针对某种特定攻击类型的日志有较好的归并效果，但是对其他攻击类型日志的归并效果并不理想。而且用户可能同时面临多种类型攻击的情况，固定的一种日志归并策略无法解决各种类型攻击所带来的日志风暴问题。

发明内容

本发明实施例提供一种日志归并方法和装置，对各种类型网络攻击事件产生的日志的合理归并，有效抑制日志风暴，避免系统中重要日志不被淹没。

本发明实施例提供一种日志归并方法，包括：

在检测到网络攻击事件之后，根据所述网络攻击事件的特征确定所述网络攻击事件的类型；

根据所述网络攻击事件的类型确定所述网络攻击事件对应的日志归并策略；

根据所述日志归并策略对所述网络攻击事件对应的日志进行归并。

本发明实施例提供一种日志归并装置，包括：

类型确定模块，用于在检测到网络攻击事件之后，根据所述网络攻击事件的特征确定所述网络攻击事件的类型；

策略确定模块，用于根据所述类型确定模块确定的所述网络攻击事件的类型确定所述网络攻击事件对应的日志归并策略；

归并模块，用于根据所述策略确定模块确定的所述日志归并策略对所述网络攻击事件对应的日志进行归并。

本发明实施例的日志归并方法和装置，通过根据网络攻击事件的特征确定该网络攻击事件的类型，根据网络攻击事件的类型确定该网络攻击事件对应的日志应当采用的日志归并策略，然后根据确定的日志归并策略对网络攻击事件对应的日志进行归并，对各种类型网络攻击事件产生的日志的合理归并，有效抑制了日志风暴，避免了系统中重要日志不被淹没，而且不会丢失关键信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种日志归并方法的流程图；

图2为本发明实施例所提供的另一种日志归并方法的流程图；

图3为本发明实施例所提供的一种日志归并装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例所提供的一种日志归并方法的流程图，如图1所示，本实施例提供了一种日志归并方法，可以包括如下步骤：

步骤101，在检测到网络攻击事件之后，根据所述网络攻击事件的特征确定所述网络攻击事件的类型。

在步骤101中，当检测到网络攻击事件之后，对所述检测到的网络攻击事件的特征进行分析，获取到该网络攻击事件的特征，根据所述检测到的网络事件的特征来确定所述检测到的网络攻击事件的类型。例如，可以根据预置的网络攻击事件的特征与网络攻击事件的类型的对应关系，来确定该网络攻击事件的类型。所述网络攻击事件特征例如：大范围扫描主机的端口(对应端口扫描类的网络攻击事件类型)、发送大量虚假请求连接信息，以耗尽网络、操作系统或应用程序有限的资源(对应拒绝服务类型的网络攻击事件类型)、扫描网络中的所有主机的特定端口，看此端口是否开启了特定服务，并根据此特定服务所存在的漏洞对主机进行入侵，入侵成功后将蠕虫体发到入侵的主机上，并以被入侵的主机为基础进行下一步传播(对应蠕虫扫描类网络攻击事件类型)。

步骤102，根据所述网络攻击事件的类型确定所述网络攻击事件对应的日志归并策略。

在步骤102中，对各种网络攻击事件的类型进行分析，分析每一类网络攻击事件中用户所关注的关键信息，通过分析来确定每种网络攻击事件的类型应当采用的日志归并策略。例如，对于端口扫描类型的网络攻击事件来说，一次端口扫描攻击扫描目标主机的所有端口，以查看目标主机是否在某个端口上开启了服务，然后根据扫描结果进行下一步的攻击，则用户所关心的只是一台主机对内网的另一台主机进行端口扫描，对用户来说只需要有一条发生端口扫描攻击的日志。因此，生成的端口扫描类型的网络攻击事件对应的日志归并策略可以为：根据网络攻击事件的类型、ID以及源IP地址、目的IP地址等进行归并，其中，ID对应有唯一的编码。对于蠕虫扫描类型的网络攻击事件来说，蠕虫传播的原理为：扫描网络中的所有主机的特定端口，查看此端口是否开启了特定服务，并根据该特定服务所存在的漏洞对主机进行入侵，入侵成功后，将蠕虫体发到入侵的主机上，并以入侵的主机为基础进行下一步传播。由此可见，用户所关注的关键信息为发放蠕虫的被入侵主机，则生成的蠕虫扫描类型的网络攻击事件对应的日志归并策略可以为：根据网络攻击事件的类型、ID以及源IP地址等进行归并。对于分布式拒绝服务攻击(Distribution Denial of Service；以下简称：DDoS)类网络攻击事件来说，用户关注的关键信息是哪台主机受到了攻击，则经过分析确定的DDoS类网络攻击事件对应的日志的归并策略可以为：根据网络攻击事件的类型、ID以及目的IP地址等进行归并。对于点对点(Peer-to-Peer；以下简称：P2P)类网络攻击事件来说，用户关注的关键信息时内网中哪个用户在使用P2P软件，则可以根据报文的方向确定归并策略，如果报文的方向是入方向的，则根据网络攻击事件的类型、ID以及目的IP地址等进行归并；如果报文的方向是出方向的，则根据网络攻击事件的类型、ID以及源IP地址等进行归并。

步骤103，根据所述日志归并策略对所述网络攻击事件对应的日志进行归并。

在步骤103中，不同的日志归并策略可以包括：

a)对端口扫描类日志，根据攻击的类型、ID(日志对应的唯一的编码)、源目IP等进行归并；

b)对蠕虫扫描类日志，根据攻击的类型、ID(日志对应的唯一的编码)、源IP等进行归并；

c)对DDoS类日志，根据攻击的类型、ID(日志对应的唯一的编码)、目的IP等进行归并；

d)对P2P类日志，视报文的方向确定归并策略，若报文是入方向的，根据攻击的类型、ID(日志对应的唯一的编码)、目的IP等进行归并，若报文为出方向的，根据攻击的类型、ID(日志对应的唯一的编码)、源IP等进行归并。

本实施例提供了一种日志归并方法，通过根据网络攻击事件的特征确定该网络攻击事件的类型，根据网络攻击事件的类型确定该网络攻击事件对应的日志应当采用的日志归并策略，然后根据确定的日志归并策略对网络攻击事件对网络攻击事件对应的日志进行归并，对各种类型网络攻击事件产生的日志的合理归并，有效抑制了日志风暴，避免了系统中重要日志不被淹没，而且不会丢失关键信息。

图2为本发明实施例所提供的另一种日志归并方法的流程图，如图2所示，本实施例在上述图1所示的实施例的基础之上，本实施例提供了一种具体的日志归并方法，其中，上述步骤101可以具体为本实施例中的步骤201，上述步骤102可以具体为本实施例中的步骤202，上述步骤103可以包括本实施例中的步骤203，所述方法可以包括如下步骤：

步骤201，在检测到网络攻击事件之后，根据所述网络攻击事件的特征查询预置的网络攻击事件的特征与网络攻击事件的类型的对应关系，确定所述网络攻击事件的类型。

在步骤201中，所述预置的网络攻击事件的特征与网络攻击事件的类型的对应关系是指，预先根据网络攻击事件的特征来对所有可能的网络攻击事件进行分类，以此建立起的网络攻击事件的特征与网络攻击事件的类型的对应关系。如可以将网络攻击事件划分为端口扫描类、蠕虫扫描类、分布式拒绝服务攻击(Distribution Denial of Service；以下简称：DDoS)类、点对点(Peer-to-Peer；以下简称：P2P)类等，

当检测到网络攻击事件之后，对网络攻击事件的特征进行分析，获取到该网络攻击事件的特征，根据预置的网络攻击事件的特征与网络攻击事件的类型的对应关系，来确定该网络攻击事件的类型。例如，如果该网络攻击事件具有端口扫描类网络攻击事件所包含的特征，则将该网络攻击事件的类型确定为端口扫描类。如果该网络攻击事件具有蠕虫扫描类网络攻击事件所包含的特征，则将该网络攻击事件的类型确定为蠕虫扫描类。

步骤202，根据所述网络攻击事件的类型查询预置的网络攻击事件的类型与日志归并策略的对应关系，确定所述网络攻击事件的类型对应的日志归并策略。

所述预置的网络攻击事件的类型与日志归并策略的对应关系是指预先生成的各种网络攻击事件的类型与各种网络攻击事件应当采取的日志归并策略的对应关系。所述对应关系可以固化配置于设备中，也可以由用户人工配置。所述固化配置的过程可以为：在对各种网络攻击事件进行分类之后，对分类过程获取到的各种网络攻击事件的类型进行分析，分析每一类网络攻击事件中用户所关注的关键信息，通过分析来生成每种网络攻击事件的类型对应的日志归并策略。例如，对于端口扫描类型的网络攻击事件来说，一次端口扫描攻击扫描目标主机的所有端口，以查看目标主机是否在某个端口上开启了服务，然后根据扫描结果进行下一步的攻击，则用户所关心的只是一台主机对内网的另一台主机进行端口扫描，对用户来说只需要有一条发生端口扫描攻击的日志。因此，生成的端口扫描类型的网络攻击事件对应的日志归并策略可以为：根据网络攻击事件的类型、ID以及源IP地址、目的IP地址等进行归并，其中，ID对应有唯一的编码。对于蠕虫扫描类型的网络攻击事件来说，蠕虫传播的原理为：扫描网络中的所有主机的特定端口，查看此端口是否开启了特定服务，并根据该特定服务所存在的漏洞对主机进行入侵，入侵成功后，将蠕虫体发到入侵的主机上，并以入侵的主机为基础进行下一步传播。由此可见，用户所关注的关键信息为发放蠕虫的被入侵主机，则生成的蠕虫扫描类型的网络攻击事件对应的日志归并策略可以为：根据网络攻击事件的类型、ID以及源IP地址等进行归并。对于DDoS类网络攻击事件来说，用户关注的关键信息是哪台主机受到了攻击，则经过分析确定的DDoS类网络攻击事件对应的日志的归并策略可以为：根据网络攻击事件的类型、ID以及目的IP地址等进行归并。对于P2P类网络攻击事件来说，用户关注的关键信息时内网中哪个用户在使用P2P软件，则可以根据报文的方向确定归并策略，如果报文的方向是入方向的，则根据网络攻击事件的类型、ID以及目的IP地址等进行归并；如果报文的方向是出方向的，则根据网络攻击事件的类型、ID以及源IP地址等进行归并。为了实现在用户面临某些特殊的网络攻击事件的情况下，比如，所述网络攻击事件未包含在固化配置的各种网络攻击事件的类型中时，用户可以对其对应的日志归并策略进行人工配置，以实现对上述预定义网络攻击事件的类型的技术方案进行有效补充和完善。

进一步地，在步骤202中，所述所述根据所述网络攻击事件的类型查询根据预置的网络攻击事件的类型与日志归并策略的对应关系，确定所述的网络攻击事件的类型对应的日志归并策略，包括：根据所述网络攻击事件的类型查询预置的网络攻击事件的检测规则中的事件归并类型字段的赋值，确定所述网络攻击事件对应的日志归并策略。

针对每一类型的网络攻击事件的检测规则，可以在所述检测规则中增加一个归并字段，该归并字段可以为“事件归并类型”字段，然后根据网络攻击事件所属的类型对“事件归并类型”字段进行赋值，即将该网络攻击事件的检测规则的“事件归并类型”的值赋为其所属的类型。所述事件归并类型字段的赋值可以标识网络攻击事件的类型与日志归并策略的对应关系。例如，经过分析，“熊猫烧香”病毒具备蠕虫的基本特征，则该病毒对应的日志属于蠕虫扫描类日志，因此，“熊猫烧香”病毒的“事件归并类型”的值应为“蠕虫扫描类”，应当采用蠕虫扫描类网络攻击事件对应的日志的归并策略，例如根据网络攻击事件的类型、ID以及源IP地址等对日志进行归并。再如，经过分析，“SYN flood”网络攻击事件具备DDoS类网络攻击事件的基本特征，其对应的日志属于DDoS类日志，则此类病毒的“事件归并类型”的值应为“DDoS类”，应当采用DDoS类网络攻击事件对应的日志的归并策略，例如根据网络攻击事件的类型、ID以及目的IP地址等对日志进行归并。

不同日志归并策略可以包括：

a)对端口扫描类日志，根据攻击的类型、ID(日志对应的唯一的编码)、源目IP等进行归并；

b)对蠕虫扫描类日志，根据攻击的类型、ID(日志对应的唯一的编码)、源IP等进行归并；

c)对DDoS类日志，根据攻击的类型、ID(日志对应的唯一的编码)、目的IP等进行归并；

d)对P2P类日志，视报文的方向确定归并策略，若报文是入方向的，根据攻击的类型、ID(日志对应的唯一的编码)、目的IP等进行归并，若报文为出方向的，根据攻击的类型、ID(日志对应的唯一的编码)、源IP等进行归并。

步骤203，根据所述日志归并策略对所述网络攻击事件对应的日志进行归并。

在网络攻击事件产生日志之前，可获取当前网络攻击事件的“事件归并类型”字段的值，根据“事件归并类型”字段的值来进一步确定当前网络攻击事件所对应的日志归并策略，对所述网络攻击事件对应的日志进行归并。

例如，当检测到攻击为“熊猫烧香”病毒时，由于在之前的步骤中已经定义好对“熊猫烧香”病毒采用蠕虫扫描类网络攻击事件对应的日志的归并策略，则以蠕虫扫描类网络攻击事件对应的日志的归并策略来对“熊猫烧香”病毒产生的日志进行归并。

本实施例提供了一种日志归并方法，通过根据预置的网络攻击事件的特征与网络攻击事件的类型的对应关系来确定网络攻击事件的类型，并根据预置的网络攻击事件的类型与日志归并策略的对应关系确定网络攻击事件的类型对应的日志归并策略，并可通过在每一类网络攻击事件的检测规则中增加“事件归并类型”字段，根据网络攻击事件的类型对应的日志归并策略对该字段进行赋值，将包含该“事件归并类型”字段的检测规则加载到设备中，然后在检测到网络攻击事件后，便可根据“事件归并类型”字段的值来获取网络攻击事件对应的日志归并策略，并采用该归并策略对当前的网络攻击事件产生的日志进行归并，对各种类型网络攻击事件产生的日志的合理归并，有效抑制了日志风暴，避免了系统中重要日志不被淹没，而且不会丢失关键信息。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图3为本发明实施例所提供的一种日志归并装置的结构示意图，如图3所示，本实施例提供了一种日志归并装置，可以执行上述方法实施例中的各个步骤，具体可以包括类型确定模块1、策略确定模块2和归并模块3。其中，类型确定模块1用于在检测到网络攻击事件之后，根据所述网络攻击事件的特征确定所述网络攻击事件的类型。策略确定模块2用于根据所述类型确定模块1确定的所述网络攻击事件的类型确定所述网络攻击事件对应的日志归并策略。归并模块3用于根据策略确定模块2确定的日志归并策略对所述网络攻击事件对应的日志进行归并。

进一步地，本实施例提供的日志归并装置中的类型确定模块1可以具体用于根据所述网络攻击事件的特征查询预置的网络攻击事件的特征与网络攻击事件的类型的对应关系，确定所述网络攻击事件的类型。策略确定模块2可以具体用于根据所述网络攻击事件的类型查询预置的网络攻击事件的类型与日志归并策略的对应关系，确定所述网络攻击事件的类型对应的日志归并策略。

进一步地，本实施例提供的日志归并装置中的策略确定模块2可以具体用于：根据所述网络攻击事件的类型查询预置的网络攻击事件的检测规则中的事件归并类型字段的赋值，确定所述网络攻击事件对应的日志归并策略，所述事件归并类型字段用于标识网络攻击事件的类型与日志归并策略的对应关系。归并模块3具体用于根据所述网络攻击事件的检测规则中的事件归并类型字段的值对应的日志归并策略，对所述网络攻击事件对应的日志进行归并。

本实施例提供了一种日志归并装置，通过设置类型确定模块、策略确定模块和归并模块，通过根据预置的网络攻击事件的特征与网络攻击事件的类型的对应关系来确定网络攻击事件的类型，并根据预置的网络攻击事件的类型与日志归并策略的对应关系确定网络攻击事件的类型对应的日志归并策略，并通过在每个网络攻击事件的检测规则中增加的归并字段，所述归并字段根据网络攻击事件的类型对应的日志归并策略赋值，将包含该归并字段的检测规则加载到设备中，然后在检测到网络攻击事件后，便可根据归并字段的值来获取网络攻击事件的类型对应的日志归并策略，并采用该日志归并策略对当前的网络攻击事件产生的日志进行归并，对各种类型攻击产生的日志的合理归并，有效抑制了日志风暴，避免了系统中重要日志不被淹没，而且不会丢失关键信息。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种日志归并方法，其特征在于，包括：

在检测到网络攻击事件之后，根据所述网络攻击事件的特征确定所述网络攻击事件的类型；

根据所述网络攻击事件的类型确定所述网络攻击事件对应的日志归并策略；

根据所述日志归并策略对所述网络攻击事件对应的日志进行归并。

2.根据权利要求1所述的方法，其特征在于，所述根据所述网络攻击事件的特征确定所述网络攻击事件的类型包括：

根据所述网络攻击事件的特征查询预置的网络攻击事件的特征与网络攻击事件的类型的对应关系，确定所述网络攻击事件的类型。

3.根据权利要求1所述的方法，其特征在于，所述根据所述网络攻击事件的类型确定所述网络攻击事件对应的日志归并策略包括：

根据所述网络攻击事件的类型查询预置的网络攻击事件的类型与日志归并策略的对应关系，确定所述网络攻击事件的类型对应的日志归并策略。

4.根据权利要求3所述的方法，其特征在于，所述根据所述网络攻击事件的类型查询预置的网络攻击事件的类型与日志归并策略的对应关系，确定所述网络攻击事件的类型对应的日志归并策略包括：

根据所述网络攻击事件的类型查询预置的网络攻击事件的检测规则中的事件归并类型字段的赋值，确定所述网络攻击事件对应的日志归并策略，所述事件归并类型字段用于标识网络攻击事件的类型与日志归并策略的对应关系。

5.根据权利要求4所述的方法，其特征在于，所述根据所述日志归并策略对所述网络攻击事件对应的日志进行归并包括：

根据所述网络攻击事件的检测规则中的事件归并类型字段的值对应的日志归并策略，对所述网络攻击事件对应的日志进行归并。

6.一种日志归并装置，其特征在于，包括：

类型确定模块，用于在检测到网络攻击事件之后，根据所述网络攻击事件的特征确定所述网络攻击事件的类型；

策略确定模块，用于根据所述类型确定模块确定的所述网络攻击事件的类型确定所述网络攻击事件对应的日志归并策略；

归并模块，用于根据所述策略确定模块确定的所述日志归并策略对所述网络攻击事件对应的日志进行归并。

7.根据权利要求6所述的装置，其特征在于，所述类型确定模块具体用于根据所述网络攻击事件的特征查询预置的网络攻击事件的特征与网络攻击事件的类型的对应关系，确定所述网络攻击事件的类型。

8.根据权利要求6所述的装置，其特征在于，所述策略确定模块具体用于根据所述网络攻击事件的类型查询预置的网络攻击事件的类型与日志归并策略的对应关系，确定所述网络攻击事件的类型对应的日志归并策略。

9.根据权利要求8中所述的装置，其特征在于，所述策略确定模块具体用于：

根据所述网络攻击事件的类型查询预置的网络攻击事件的检测规则中的事件归并类型字段的赋值，确定所述网络攻击事件对应的日志归并策略，所述事件归并类型字段用于标识网络攻击事件的类型与日志归并策略的对应关系。

10.根据权利要求9所述的装置，其特征在于，所述归并模块具体用于：

根据所述网络攻击事件的检测规则中的事件归并类型字段的值对应的日志归并策略，对所述网络攻击事件对应的日志进行归并。

Images