CN111414613B - 一种日志处理的方法和装置 - Google Patents

Abstract

本申请提供一种日志处理的方法和装置。一种日志处理的方法，应用于日志存储服务器，包括：获取本地未压缩的日志；判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系；若设置有日志存储规则，则判断所述未压缩的日志是否命中所述日志存储规则；若命中，则基于对应的处理策略对所述未压缩的日志进行处理。本申请相比于现有技术，可以减轻日志存储服务器的存储压力。

Description

一种日志处理的方法和装置

技术领域

本申请涉及网络安全领域，特别涉及一种日志处理的方法和装置。

背景技术

出于网络安全的考虑，需要对用户上网产生的一些网络日志(下文称为日志)进行存储，以便在发生网络安全事件后进行追查。根据《网络安全法》的规定，相关日志的留存时间不得少于六个月。

在实际网络环境中，一般可以通过日志存储服务器对这些日志进行存储。由于日志实时产生，且数量大，会占据大量的存储空间，很容易导致日志存储服务器的存储空间不足。现有技术中，可以对日志进行压缩后再存储，以减少其对存储空间的占用量。然而，对于存储空间较小的日志存储服务器来说，当接收到大量的日志时，采用压缩的方式也难以存储六个月的日志。

发明内容

有鉴于此，本申请提供一种日志处理的方法和装置。

具体地，本申请是通过如下技术方案实现的：

一种日志处理的方法，应用于日志存储服务器，包括：

获取本地未压缩的日志；

判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系；

若设置有日志存储规则，则判断所述未压缩的日志是否命中所述日志存储规则；

若命中，则基于对应的处理策略对所述未压缩的日志进行处理。

一种日志处理的装置，应用于日志存储服务器，包括：

获取单元，用于获取本地未压缩的日志；

第一判断单元，用于判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系；

第二判断单元，用于若设置有日志存储规则，则判断所述未压缩的日志是否命中所述日志存储规则；

第一处理单元，用于若命中，则基于对应的处理策略对所述未压缩的日志进行处理。

本申请所述日志处理的方法，获取本地未压缩的日志后，可以判断是否设置有日志存储规则，若是，则按照日志存储规则中的处理策略对所述未压缩的日志进行处理，使得有价值的日志被存储，而无价值的日志被删除，能够大大提升存储空间的利用率，避免了存储空间的资源浪费。

附图说明

图1是本申请一示例性实施例示出的一种日志处理的方法的应用场景示意图；

图2是本申请一示例性实施例示出的一种日志处理的方法的流程示意图；

图3是本申请一示例性示出的一种日志处理的装置的一结构示意图；

图4是本申请一示例性实施例示出的一种日志日处理的装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1是本申请一示例性实施例示出的一种日志处理方法的应用场景示意图。

请参考图1，图1中存在若干台被管理设备，这些被管理设备可以具有不同的功能。

例如，一些被管理设备可以负责检测网络病毒、网络攻击，则这部分被管理设备会产生与访问行为相关的日志。再例如，一些被管理设备可以负责对用户上网行为进行审计，则这部分被管理设备会产生与审计结果相关的日志。

这些被管理设备需要将各自生成的日志发送给日志存储服务器，由日志存储服务器对这些日志进行存储。由于日志的数量十分大，很容易导致日志存储服务器的存储空间不足。

基于此，本申请提供了一种日志处理的方法，能够减轻日志存储服务器储存空间的压力。

请参考图2，图2是本申请一示例性实施例示出的一种日志处理的方法的流程示意图。

所述日志处理的方法可以应用于日志存储服务器，也可以应用于日志存储服务器集群。

所述日志处理的方法可以包括以下步骤：

步骤102，获取本地未压缩的日志。

本申请中，日志存储服务器上存储的日志包括未压缩日志和已压缩日志，其中，已压缩日志为经过处理后长时期存储于本地的日志；未压缩日志为被管理设备发送的尚未处理的日志。

本例中，可以在日志存储服务器上为所述已压缩日志和未压缩日志分配相同大小的存储空间；优选地，也可以在日志存储服务器上为所述已压缩日志和未压缩日志分配不同大小的存储空间，具体可根据实际情况进行设置，本申请对此不作特殊限制。

本步骤中，需要获取本地未压缩的日志，以对所述未压缩的日志进行处理。

在一个例子中，可以周期性地获取本地未压缩的日志，获取周期可以人为设置。例如，获取周期为5小时，则可以每隔5小时获取本地未压缩的日志。

在另一个例子中，还可以在预设的时间点获取本地未压缩的日志。

例如，预设的时间点可以是日志存储服务器业务量较小、服务器压力较小的时间点，比如每周二凌晨2:00、每周五凌晨2:00等等。

当然，也可以其他方式获取本地未压缩的日志，本申请对此不作特殊限制。

步骤104，判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系。

本申请中，获取本地未压缩的日志后，需要对所述日志进行处理，以确定是否要长期存储所述日志。

在一个例子中，若未设置有日志存储规则，则可以对接收到的日志进行压缩，并存储压缩后的日志。压缩的方法参照现有技术，本申请对此不作特殊限制。

在另一个例子中，若设置有日志储存规则，则可以按照日志存储规则对所述未压缩的日志进行处理。下面对日志存储规则进行详细说明：

日志存储规则包括了日志特征和处理策略之间的映射关系。

优选地，日志特征可以为IP地址、IP网段。

仍以图1所示应用场景为例，假设被管理设备负责对用户上网行为进行审计，则被管理设备会搜集用户上网产生的相关日志，这些日志中会携带用户所使用终端设备的IP地址。根据所述IP地址可以确定日志是由哪个用户上网产生的，则可以将日志存储规则中的日志特征设置为IP地址、IP网段。

当然，在其他应用场景下，日志特征也可以为：端口号、指定字段等其他信息。

日志存储规则中的处理策略可以为存储策略，也可以为删除策略，即对匹配上述日志特征的日志进行存储或删除。

本申请中，可以将存储策略对应的日志存储规则称为白名单规则，将删除策略对应的日志存储规则称为黑名单规则。

当然，处理策略也可以为：存储预设时长后再删除、发送给其他设备存储等其他形式，本申请对此不作特殊限制。

一种实施方式中，日志存储规则中的日志特征和处理策略可以人为指定。

例如，可以预先指定若干个IP地址作为日志特征，将所述若干个IP地址对应的处理策略设置为删除策略。

在实际应用中，由于一些网络设备产生的日志中可能没有携带有价值的信息，因此不需要对这部分日志进行长期存储，则可以为这些日志的处理策略设置为删除策略。比如IPS(Intrusion Prevention System，入侵防御系统)设备产生的一些告警日志是无需关注的，则可以将这些日志的IP地址作为日志特征，并将这些IP地址对应的处理策略设置为删除策略。

再例如，还可以预先指定若干个IP网段作为日志特征，将所述若干个IP网段对应的处理策略设置为存储策略。

在实际应用中，日志存储服务器可能接收到大量的日志，这些日志的IP地址各不相同。假设人为设置了需要存储携带某些IP地址的日志，而这些IP地址又属于同一个IP网段，则可以将日志特征设为所述IP网段，并为将这些IP网段对应的处理策略设置为存储策略。

另一种实施方式中，日志存储规则中的日志特征和处理策略也可以通过对接收到的日志进行分析确定。

具体地，日志存储服务器接收到被管理设备发送的日志后，可以日志特征为维度对接收到的日志进行分析，并且所述分析可以面向指定的关注点。

例如，指定的关注点为是否存在攻击，则可以分析接收到的日志的数量、日志的攻击级别、日志的攻击概率等，并按照日志特征对分析结果进行统计。

下表示例性地示出了一种日志分析统计结果：

编号	IP地址	日志数量	攻击级别	攻击概率
					IP1	192.168.0.1	550	高	95％
IP2	192.168.0.2	480	较高	80％
					IP3	192.168.0.3	60	低	10％
IP4	192.168.0.4	90	低	12％

如上表所示，IP1与IP2的攻击概率比较高，说明需要对日志特征为IP1和IP2的日志进行存储；IP3与IP4的攻击概率比较低，说明不需要对日志特征为IP3与IP4的日志进行存储。则可以基于此制定日志存储规则。

比如，可以将日志存储规则中的日志特征设为IP1和IP2，将IP1与IP2对应的处理策略设置为存储策略。

再比如，还可以将日志存储规则中的日志特征设为IP3和IP4，将IP3与IP4对应的处理策略设置为删除策略。

当然，在实际情况下，也可以指定其他的关注点。例如，接收到的日志是否为预设网段的日志等。

本例中，设置了日志存储规则后，还可以根据实际情况对日志存储规则进行修改、更新。例如，向日志存储规则中增加新的日志特征等等。

本申请中，可以根据实际情况决定是否设置日志存储规则。例如，对于存储压力较小的日志存储服务器来说，可以不设置日志存储规则；对于存储压力较大的日志存储服务器来说，可以设置日志储存规则。

本步骤104中，判断是否设置有日志存储规则前，还可以先判断获取的未压缩的日志在本地的存储时长是否达到了预设的时长阈值。

例如，预设的时长阈值可以为2天。则日志存储服务器获取本地未压缩的日志后，可以先判断所述未压缩的日志在本地的存储时长是否达到了2天，若达到了2天，则判断是否设置有日志存储规则；若未达到2天，则本次不对所述未压缩的日志进行处理，无需进行日志存储规则的判断。

当然，本例中还可以为不同类型的日志设置不同的时长阈值，本申请对此不作特殊限制。

在实际应用中，日志存储服务器接收到日志后可以对这些日志进行分析，然后可以基于分析结果设置日志存储规则。在这种情况下，设置时长阈值可以为日志的分析提供充足的时间，以便基于分析结果设置更符合实际需求的存储规则。

步骤106，若设置有日志存储规则，则判断所述未压缩的日志是否命中所述日志存储规则。

步骤108，若命中，则基于对应的处理策略对所述未压缩的日志进行处理。

在一个例子中，日志存储规则中的处理策略可以均为存储策略，即日志存储规则是白名单规则。

日志存储服务器可以将未压缩的日志的日志特征，与所述白名单规则中的日志特征进行匹配。

若匹配，则对所述未压缩的日志进行压缩，并存储压缩后的日志。

若不匹配，则删除所述未压缩的日志。

在另一个例子中，日志存储规则中的处理策略可以均为删除策略，即日志存储规则是黑名单规则。

日志存储服务器可以将未压缩的日志的日志特征，与所述黑名单规则中的日志特征进行匹配。

若匹配，则删除所述未压缩的日志。

若不匹配，则对所述未压缩的日志进行压缩，并存储压缩后的日志。

在其他例子中，日志存储规则中的处理策略也可以既包括存储策略，也包括删除策略，即日志存储规则中既包括白名单规则，也包括黑名单规则。

在这种情况下，日志存储服务器可以将未压缩的日志的日志特征，与所述白名单规则中的日志特征、所述黑名单规则中的日志特征分别进行匹配。

若匹配白名单规则中的日志特征，则对所述未压缩的日志进行压缩，并存储压缩后的日志；

若匹配黑名单规则中的日志特征，则删除所述未压缩的日志；

若既不匹配白名单中的日志特征，也不匹配黑名单中的日志特征，则可以根据实际需求确定需要存储这些日志，还是删除这些日志。

本申请中，日志存储服务器对接收到的日志进行存储或删除后，还可以判断本地的剩余存储空间是否小于存储阈值，若小于，则可以对本地存储的日志进行过滤。比如，可以删除存储时间最早的日志；再比如，还可以删除攻击等级最低的日志。以便为日志存储服务器保留足够的剩余存储空间，用于存储新的日志。

由以上描述可知，本申请所述日志处理的方法，获取本地未压缩的日志后，可以判断是否设置有日志存储规则，若是，则按照日志存储规则中的处理策略对所述未压缩的日志进行处理，使得有价值的日志被存储，而无价值的日志被删除，能够大大提升存储空间的利用率，避免了存储空间的资源浪费。

与前述日志处理的方法的实施例相对应，本申请还提供了日志处理的装置的实施例。

本申请日志处理的装置的实施例可以应用在日志存储服务器上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在服务器的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本申请日志处理的装置所在服务器的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的服务器通常根据该服务器的实际功能，还可以包括其他硬件，对此不再赘述。

图4是本申请一示例性实施例示出的一种日志处理的装置的框图。

请参考图4，所述日志处理的装置300可以应用在前述图3所示的服务器中，包括有：获取单元310、第一判断单元320、第二判断单元330、第一处理单元340。

其中，获取单元310，用于获取本地未压缩的日志；

第一判断单元320，用于判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系；

第二判断单元330，用于若设置有日志存储规则，则判断所述未压缩的日志是否命中所述日志存储规则；

第一处理单元340，用于若命中，则基于对应的处理策略对所述未压缩的日志进行处理。

可选的，当所述日志存储规则中的处理策略均为存储策略时，所述第一处理单元340，具体用于：

对所述未压缩的日志进行压缩，并存储压缩后的日志；

所述装置还包括：

第二处理单元，用于若所述未压缩的日志未命中所述日志存储规则，删除所述日志。

可选的，当所述日志存储规则中的处理策略均为删除策略时，所述第一处理单元340，具体用于：

删除所述未压缩的日志；

所述装置还包括：

第三处理单元，用于若所述未压缩的日志未命中所述日志存储规则，对所述日志进行压缩，并存储压缩后的日志。

可选的，所述装置还包括：

若未设置日志存储规则，则对所述未压缩的日志进行压缩，并存储压缩后的日志。

可选的，所述第一判断单元320具体用于：

判断所述未压缩的日志在本地的存储时长是否达到预设的时长阈值；

在所述存储时长达到所述时长阈值的情况下，判断是否设置有日志存储规则。

可选的，所述日志存储规则的确定方法，包括：

在接收到日志后，以日志特征为维度对接收到的日志进行分析；

根据分析结果确定所述日志特征对应的处理策略。

可选的，所述日志特征包括，IP地址和IP地址段。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种日志处理的方法，其特征在于，应用于日志存储服务器，所述方法包括：

获取本地未压缩的日志；

判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系；

若设置有日志存储规则，则判断所述未压缩的日志是否命中所述日志存储规则；

若命中，则基于对应的处理策略对所述未压缩的日志进行处理；

所述日志存储规则的确定方法，包括：

在接收到日志后，以日志特征为维度对接收到的日志进行分析；所述分析面向指定的关注点；当所述指定的关注点为是否存在攻击时，对接收到的日志的数量、日志的攻击级别和日志的攻击概率进行分析；

根据分析结果确定所述日志特征对应的处理策略。

2.根据权利要求1所述方法，其特征在于，当所述日志存储规则中的处理策略均为存储策略时，所述基于对应的处理策略对所述未压缩的日志进行处理，包括：

对所述未压缩的日志进行压缩，并存储压缩后的日志；

所述方法还包括：

若所述未压缩的日志未命中所述日志存储规则，删除所述未压缩的日志。

3.根据权利要求1所述方法，其特征在于，当所述日志存储规则中的处理策略均为删除策略时，所述基于对应的处理策略对所述未压缩的日志进行处理，包括：

删除所述未压缩的日志；

所述方法还包括：

若所述未压缩的日志未命中所述日志存储规则，对所述日志进行压缩，并存储压缩后的日志。

4.根据权利要求1所述方法，其特征在于，所述方法还包括：

若未设置日志存储规则，则对所述未压缩的日志进行压缩，并存储压缩后的日志。

5.根据权利要求1所述方法，其特征在于，所述判断是否设置有日志存储规则，包括：

判断所述未压缩的日志在本地的存储时长是否达到预设的时长阈值；

在所述存储时长达到所述时长阈值的情况下，判断是否设置有日志存储规则。

6.根据权利要求1所述方法，其特征在于，所述日志特征包括，IP地址和IP地址段。

7.一种日志处理的装置，其特征在于，应用于日志存储服务器，所述装置包括：

获取单元，用于获取本地未压缩的日志；

第一判断单元，用于判断是否设置有日志存储规则，所述日志存储规则包括日志特征和处理策略之间的映射关系；

第二判断单元，用于若设置有日志存储规则，则判断所述未压缩的日志是否命中所述日志存储规则；

第一处理单元，用于若命中，则基于对应的处理策略对所述未压缩的日志进行处理；

所述日志存储规则的确定方法，包括：

在接收到日志后，以日志特征为维度对接收到的日志进行分析；所述分析面向指定的关注点；当所述指定的关注点为是否存在攻击时，对接收到的日志的数量、日志的攻击级别和日志的攻击概率进行分析；

根据分析结果确定所述日志特征对应的处理策略。

8.根据权利要求7所述装置，其特征在于，当所述日志存储规则中的处理策略均为存储策略时，所述第一处理单元，具体用于：

对所述未压缩的日志进行压缩，并存储压缩后的日志；

所述装置还包括：

第二处理单元，用于若所述未压缩的日志未命中所述日志存储规则，删除所述日志。

9.根据权利要求7所述装置，其特征在于，当所述日志存储规则中的处理策略均为删除策略时，所述第一处理单元，具体用于：

删除所述未压缩的日志；

所述装置还包括：

第三处理单元，用于若所述未压缩的日志未命中所述日志存储规则，对所述日志进行压缩，并存储压缩后的日志。