CN101605028A - 一种日志记录合并方法和系统 - Google Patents

Abstract

本发明公开了一种日志记录合并方法和系统；方法包括：对日志记录中包含的参数进行分类，其中至少包括类型参数；所述类型参数用于表示日志中所记录的事件的类型；建立类型参数和合并规则的对应关系；读取日志记录，并使用日志记录的类型参数所对应的合并规则对日志记录进行合并处理。系统包括：存储模块，用于保存合并规则、及日志记录的类型参数与合并规则的对应关系；合并模块，用于读取日志记录，并使用日志记录的类型参数所对应的合并规则，对日志记录进行合并处理。本发明能对日志记录进行合并，减少记录的数量，并且能够有针对性的进行合并，使合并后的日志比原始记录具有更强的分析价值。

Description

一种日志记录合并方法和系统

技术领域

本发明涉及网络安全技术领域，特别是涉及一种日志记录合并方法和系统。

背景技术

网络上经常发生危害网络安全的事件，这些事件发生时，往往不是孤立的，它是由若干次相关联的网络行为构成。这些网络行为在网络安全设备中体现为日志记录。在现有的网络安全设备中，对日志记录的处理，通常是直接显示日志记录，或者通过对原始日志记录进行分析，以此得出某种结论。

网络安全设备在实际运行中，产生大量原始日志记录，以供查询显示和后期分析。但是这些日志记录数据量很大，在未经处理直接存储的话，对数据管理和数据分析都带来很大的压力，尤其在某些恶意代码爆发期间，所产生的日志记录可能导致网络安全设备的效能降低，甚至无法设备继续工作。

现有技术中提供了一种日志统计方法和系统，其方法是基于数据库实现的，首先将日志的统计维度保存到字典表中；然后定期按照统计维度，执行统计操作，以生成中间结果；最后的统计使用中间结果进行统计，达到加速统计的效果。

现有技术中还提供了一种管理日志的方法及系统，该方法是一种加速查询的日志管理方法。其方法为：管理系统将具有同一关键字段的原始日志记录映射成一条合并记录作为搜索数据源；在查询时，根据查询条件查找到所述搜索数据源中与所述查询条件对应的合并记录，根据所述合并记录获取与所述查询条件对应的原始日志记录。

在以上两个专利中，均使用统计/合并后的中间结果来加速相应的操作，但是这种统计/合并的操作是针对所有的日志，均采用相同的操作来完成，无法适应针对不同内容的日志，采用不同的合并方法。而且其统计/合并后的中间结果只能用来加速统计或者查询，其本身并不能替代原始日志，无法解决大量数据的管理问题。

发明内容

针对以上不足，本发明要解决的技术问题是提供一种日志记录合并方法和系统，该方法和系统能够在基本保存原始数据的有用信息的情况下，对日志数据进行合并，以减少日志的数据量。

为了解决上述技术问题，本发明提供一种日志记录合并方法，包括：

a、对日志记录中包含的参数进行分类，其中至少包括类型参数；所述类型参数用于表示日志中所记录的事件的类型；

b、建立类型参数和合并规则的对应关系；

c、读取日志记录，并使用日志记录的类型参数所对应的合并规则对日志记录进行合并处理。

进一步的，步骤a中，日志记录中包含的参数还包括地址信息参数；

步骤b中，所述合并规则包括以下五种中的任一种或其任意组合：

平行型，合并参数包括类型参数和地址信息。

聚合型，合并参数包括类型参数和目的地址信息。

辐射型，合并参数包括类型参数和源地址信息。

混合型，合并参数为类型参数和任一地址信息。

独立型，日志记录独立成为一条合并记录；

所述合并参数是指在合并时用于划分日志记录归类的参数。

进一步的，不同的合并规则对应于不同的合并参数；所述合并参数是指在合并时用于划分日志记录归类的参数；

步骤c具体包括：

c1、按时间顺序读取日志记录；

c2、根据日志记录的类型参数确定其所对应的合并规则；

c3、将日志记录合并到具备相同合并参数的合并记录里。

进一步的，步骤c3具体包括：

根据合并规则，提取日志记录中的合并参数，在合并队列中查找具备相同合并参数的合并记录，然后将该日志记录中合并参数部分删去，其它部分放入合并记录；如果查找不到具备相同合并参数的合并记录，则将该日志记录作为一个新的合并记录并放入合并队列。

进一步的，步骤a中，日志记录中包含的参数还包括地址信息参数；

步骤c3中还包括：

对于新的合并记录，在合并记录中增加下列参数中的一个或其任意组合：事件发生次数、源、目的IP/MAC地址的统计数，源、目的端口统计数、合并记录的开始时间、结束时间、IP/MAC地址列表、端口列表；

每合并一个日志记录，就将其所合并到的合并记录的“事件发生次数”参数加一；当日志记录中合并参数之外的IP地址无法在IP地址列表中找到时，将其添加到合并记录中的IP地址列表；当日志记录中合并参数之外的端口无法在端口列表中找到时，将其添加到合并记录中的端口列表。

进一步的，步骤a中，日志记录中包含的参数还包括时间参数；

步骤c中还包括，对合并记录进行时间判断，判断方法为以下两种中的任一种：

第一种是将系统当前的时间和最近一次处理的日志记录的时间参数进行比较，如果时间参数之差大于系统超时阀值，则认为原先所有的合并记录均已完成，终结原先所有的合并记录参与以后的合并，保存后从合并队列中删除；

第二种将各合并记录中的最大时间参数和当前日志记录的时间参数进行比较，如果有大于超时阀值的，说明本次按该合并规则合并的事件已结束，终结此合并记录参与以后的合并，保存后从合并队列中删除。

本发明还提供了一种日志记录合并系统，包括：存储模块及合并模块；

所述存储模块用于保存合并规则、及日志记录的类型参数与合并规则的对应关系；

所述合并模块用于读取日志记录，并使用日志记录的类型参数所对应的合并规则，对日志记录进行合并处理。

进一步的，所述存储模块保存的合并规则包括以下五种中的任一种或其任意组合：

平行型，合并参数包括类型参数和地址信息。

聚合型，合并参数包括类型参数和目的地址信息。

辐射型，合并参数包括类型参数和源地址信息。

混合型，合并参数为类型参数和任一地址信息。

独立型，日志记录独立成为一条合并记录；

所述合并参数是指在合并时用于划分日志记录归类的参数。

进一步的，所述存储模块所保存的不同的合并规则对应于不同的合并参数；所述合并参数是指在合并时用于划分日志记录归类的参数；

所述合并模块使用日志记录的类型参数所对应的合并规则，对日志记录进行合并处理是指：合并模块根据日志记录的类型参数确定其所对应的合并规则，将日志记录合并到具备相同合并参数的合并记录里。

进一步的，合并模块将日志记录合并到具备相同合并参数的合并记录里是指：

合并模块根据合并规则，提取日志记录中的合并参数，在合并队列中查找具备相同合并参数的合并记录，然后将该日志记录中合并参数部分删去，其它部分放入合并记录；如果查找不到具备相同合并参数的合并记录，则将该日志记录作为一个新的合并记录并放入合并队列；

所述存储模块还包括用于保存合并队列的缓存。

进一步的，所述合并模块还用于在新的合并记录中增加下列参数中的一个或其任意组合：事件发生的次数、源、目的IP/MAC地址的统计数、源、目的端口统计数、合并记录的开始时间、结束时间、端口列表、IP/MAC地址列表；还用于在每合并一个日志记录时，将所合并到的合并记录的“事件发生次数”参数加一；还用于当日志记录中合并参数之外的IP/MAC地址无法在IP/MAC地址列表中找到时，将其添加到合并记录中的IP/MAC地址列表；当日志记录中合并参数之外的端口无法在端口列表中找到时，将其添加到合并记录中的端口列表。

进一步的，所述合并模块还用于对合并记录进行以下两种中任一种时间判断：

第一种是合并模块将当前日志记录的时间参数和上一次处理的日志记录的时间参数进行比较，如果时间参数之差大于系统超时阀值，则终结原先所有的合并记录参与以后的合并，从合并队列中删除；

第二种是合并模块将合并记录中的最大时间参数和当前日志记录的时间参数进行比较，如果大于超时阀值，则终结此合并记录参与以后的合并，从合并队列中删除；

所述存储模块还用于保存超时阈值或系统超时阈值并存储进所述存储模块。

本发明在基本上不损失日志记录的有用信息的情况下，对日志记录进行合并，减少记录的数量，以此减轻设备的存储和分析压力。并且能够针对不同内容的日志，采用不同的合并方法，这样有针对性的进行合并，能够使合并后的日志比原始记录具有更强的分析价值。

附图说明

图1为本发明所述的日志合并方法的具体实施流程图；

图2为本发明所述的日志合并系统的具体实施框图；

图3为本发明的应用实例的流程图。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

在本发明中利用了相同类型的安全事件中，其日志记录之间的具有关联性(即日志记录有大部分参数是相同)这一特点，设备首先对日志记录进行有针对性的合并处理，然后可以在合并的结果之上进行分析处理。

本发明的日志记录合并方法如图1所示，包括设置阶段和处理阶段。

设置阶段包括三个步骤：

A、对日志记录中包含的各个参数进行分类，可以但不限于分为：时间参数、类型参数、地址信息参数和其他参数；

其中，所述时间参数用于表示日志中所记录的事件发生的先后顺序，事件发生的时间离当前越远则其时间参数越小。

所述地址信息参数用于表示所记录的事件中涉及到的地址，包括源地址信息参数和目的地址信息参数，可以为MAC(媒体存取控制)地址、或MAC地址及IP地址混合，或URL(统一资源定位符)地址等。

所述类型参数用于表示日志中所记录的事件的类型，比如一种攻击行为、或者一种恶意代码、或者其他某一种安全事件。

B、制定若干种合并规则，即制定采用不同合并参数的若干种合并方式；所述合并参数是指在合并时用于划分日志记录归类的参数，将合并参数相同的日志记录合并成一个文件。

所述合并规则可以但不限于包括以下五种中的任一种或其任意组合：

平行型：日志记录按照相同的类型参数和相同的地址信息参数进行合并；即合并参数包括类型参数和地址信息。

聚合型：日志记录按照相同的类型参数和相同的目的地址信息参数进行合并；即合并参数包括类型参数和目的地址信息。

辐射型：日志记录按照相同的类型参数和相同的源地址信息参数进行合并；即合并参数包括类型参数和源地址信息。

混合型：日志记录可以按照以上三种的任意一种合并规则进行合并；即合并参数为类型参数和任一地址信息。

独立型：日志记录不与其它日志记录合并，独立成为一条合并记录；无合并参数。这是一种特殊的合并规则。通常是这种类型的安全事件具备完整的意义。

实际应用中，具体的合并参数也可以包括其他参数。

上述方法中，步骤B中合并规则分类取决于安全事件发生的具体行为，即：此类型安全事件是否可以从单个源地址到多个目的地址，或者从多个源地址到单个目的地址。比如：一个扫描安全事件，是由一个攻击者向多个目标主机发送扫描包，探测目标主机的情况(即单个源地址到多个目的地址)；一个DDOS(分布式拒绝服务攻击)事件，是由多个攻击主机同时向单个目标主机发送拒绝服务数据包(即多个源地址到单个目标主机)；一个黑客入侵事件(如：密码破解)，其猜测行为在攻击主机和目标主机中多次发生。

C、建立日志记录中的类型参数与合并规则的对应关系。

本步骤具体包括：对日志记录中的类型参数进行分类，将类型参数映射到合并规则，通常是以多对一的方式映射，即每种合并规则对应于一个或一个以上的类型参数。

所述类型参数与合并规则的映射关系可以但不限于用数据库或HASH表(散列表)进行存储。

处理阶段包括：

D、定期获取尚未合并处理的日志记录，获取日志记录后，将各条日志记录按照日志所记录的事件发生时间的先后依次排列——即按照时间参数由小到大排序，形成待合并队列，可以但不限于将该合并队列存储在缓存中；可以按照日志产生速度和合并模块的处理能力来选择每次获取日志记录的时间间隔。

如果实时进行日志记录合并，则无须进行该步骤。

E、按时间顺序读取日志记录并使用日志记录的类型参数所对应的合并规则，对日志记录进行合并处理。

如果是实时处理，则每产生一条日志记录就进行读取。否则，在步骤D形成的所述待合并队列中依次读取日志记录。

使用日志记录的类型参数所对应的合并规则，对日志记录进行合并处理具体是指：根据日志记录的类型参数确定其所对应的合并规则，如果为独立型的，则加上已经进行合并处理的标记(比如在记录中加入一个参数，如“事件发生的次数”，该参数值为1)后存储进非易失性存储器。如果是其它类型的，则将日志记录合并到合并队列中具备相同合并参数的合并记录里；所述合并队列包括所有未终结的合并记录。

将日志记录合并到具备相同合并参数的合并记录中的具体做法是：根据合并规则，提取日志记录中的合并参数，查找具备相同合并参数的合并记录，然后将该日志记录与所述合并记录进行合并，即把日至中合并参数部分删去，其它部分放入合并记录。如果查找不到具备相同合并参数的合并记录，则将该日志记录作为一个新的合并记录并放入合并队列。

对于新的合并记录还进行以下处理：在原日志记录所包含的原始信息基础上，在合并记录中增加下列参数中的一个或其任意组合：事件发生的次数(即合并的日志记录数)，IP/MAC地址的统计数(包括源、目的地址)，端口统计数(包括源、目的端口)、合并记录的开始时间、结束时间、端口列表、IP/MAC地址列表。

每合并一个日志记录，就将其所合并到的合并记录的“事件发生次数”参数加一；当日志记录中合并参数之外的IP/MAC地址无法在IP/MAC地址列表中找到时，将其添加到合并记录中的IP/MAC地址列表；当日志记录中合并参数之外的端口无法在端口列表中找到时，将其添加到合并记录中的端口列表。

所述合并记录的开始时间为该合并记录中第一个日志记录的发生时间；所述合并记录的结束时间为该合并记录中最后一个日志记录的发生时间。

为了使合并后的日志记录能够体现出一个具体事件，本步骤中还可以对合并记录进行时间判断，使时间相隔较远，实际操作时不太可能对应于同一事件的日志记录不合并在一起；可以但不限于为以下两种判断方法中的任一：

第一种是将系统当前的时间和最近一次处理的日志记录的时间参数进行比较，如果时间参数之差大于系统超时阀值，则认为原先所有的合并记录均已完成，终结原先所有的合并记录参与以后的合并，将原先所有合并记录存储进非易失性存储器，并从合并队列中删除。所述系统超时阀值根据实际情况选择，比如各事件的持续时间最长不会超过半小时，则将系统超时阀值定为半小时。

第二种将各合并记录中的最大时间参数和当前日志记录的时间参数进行比较，如果有大于超时阀值的，说明本次按该合并规则合并的事件已结束，将终结此合并记录参与以后的合并，将该合并记录存储进非易失性存储器，并从合并队列中删除。不同的合并规则可以对应不同的超时阈值；所述超时阈值根据实际情况选择，比如合并规则对应的事件中，持续时间最长不会超过10分钟，则将超时阈值定为10分钟。

后期可以根据这些数据进行相应的分析处理。

在数据记录时，可以只记录合并数据，当然根据实际情况，也可以有选择性保存某些原始记录。

如果是实时处理，则读取并处理完一条日志记录后返回步骤E，即读取并处理下一条日志记录；否则，将待合并队列中的日志记录读取并处理完后返回步骤E，即依次读取并处理下一个待合并队列中的日志记录，在这种情况下，步骤D和步骤E可以是并行的，即当读取和处理一个待合并队列中的日志记录时，仍然定时获取未处理日志并形成另外的待合并队列。

本发明还提供了一种日志记录合并系统，如图2所示，包括：存储模块及合并模块；还可以包括检测模块和定时器。

所述存储模块包括非易失性存储器；所述非易失性存储器用于保存合并规则、日志记录的类型参数与合并规则的映射关系；还可以用于保存超时阈值、系统超时阈值及终结的合并记录。所述存储模块还包括缓存，所述缓存用于保存合并队列，还可以保存待合并队列。

所述类型参数与合并规则的映射关系可以但不限于用数据库或HASH表(散列表)表示。所述超时阈值、系统超时阈值同上文所述。

所述合并队列包括所有未终结的合并记录。

所述合并模块用于按时间顺序由读取日志记录，并使用日志记录的类型参数所对应的合并规则，对日志记录进行合并处理。

所述检测模块用于产生日志记录；还用于当合并模块非实时处理日志记录时，按照时间参数由小到大的顺序——即按照日志所记录的事件发生时间的先后顺序，将日志记录存储于所述缓存中，形成待合并队列。

所述合并模块非实时处理日志记录时，在所述定时器到时后、或在完成前一个待合并队列的处理后，对所述缓存中的待合并队列进行处理。

所述合并模块实时处理日志记录时，每当所述检测模块产生一条日志记录，就读取一次并完成合并处理。

所述合并模块使用日志记录的类型参数所对应的合并规则，对日志记录进行合并处理具体是指：所述合并模块根据日志记录的类型参数确定其所对应的合并规则，如果为独立型的，则加上已经进行合并处理的标记(比如由合并模块在记录中加入一个参数，如“事件发生的次数”，该参数值为1)后存储进非易失性存储器。如果是其它类型的，则将日志记录合并到合并队列中具备相同合并参数的合并记录里；所述合并队列包括所有未终结的合并记录。

所述合并模块将日志记录合并到具备相同合并参数的合并记录中具体是指：所述合并模块根据合并规则，提取日志记录中的合并参数，查找具备相同合并参数的合并记录，然后将该日志记录与所述合并记录进行合并，即把日志记录中合并参数部分删去，其它部分放入合并记录。如果查找不到具备相同合并参数的合并记录，则将该日志记录作为一个新的合并记录并放入合并队列。

所述合并模块还可以用于对合并记录进行以下两种中任一种时间判断：

第一种是将当前日志记录的时间参数和上一次处理的日志记录的时间参数进行比较，如果时间参数之差大于系统超时阀值，则终结原先所有的合并记录参与以后的合并，将原先所有合并记录存储进非易失性存储器，并从合并队列中删除；

第二种是将合并记录中的最大时间参数和当前日志记录的时间参数进行比较，如果大于超时阀值，则终结此合并记录参与以后的合并，将该合并记录存储进非易失性存储器，并从合并队列中删除。

所述合并模块还用于在原日志记录所包含的原始信息基础上，统计并在新的合并记录中增加下列参数中的一个或其任意组合：事件发生的次数(即合并的日志记录数)，IP/MAC地址的统计数(包括源、目的地址)，端口统计数(包括源、目的端口)、合并记录的开始时间、结束时间、端口列表、地址列表。还可以用于在每合并一个日志记录时，将所合并到的合并记录的“事件发生次数”参数加一；还用于当日志记录中合并参数之外的IP地址无法在IP地址列表中找到时，将其添加到合并记录中的IP地址列表；当日志记录中合并参数之外的端口无法在端口列表中找到时，将其添加到合并记录中的端口列表。

所述合并记录的开始时间为该合并记录中第一个日志记录的发生时间；所述合并记录的结束时间为该合并记录中最后一个日志记录的发生时间。

本系统还可以包括一设置模块，用于更改存储模块中保存合并规则、及日志记录的类型参数与合并规则的对应关系；还可以用于更改存储模块中保存超时阈值或系统超时阈值等。实际应用中，通常可以不包括该设置模块，而是将所述合并规则、映射关系及阈值预先设置好保存在存储模块中。

下面用本发明的一应用实例进一步加以说明。

假定日志记录的数据包含以下具体参数：时间、源IP地址、源端口、目的IP地址、目的端口、类型参数ID，所述定时器定时时间为一分钟，采用所述第二种时间判断方法，各合并规则对应的超时阀值均为10分钟。

本应用实例的具体实施步骤如图3所示，包括：

301、将合并规则、类型参数和合并规则的对应关系、及系统超时阀值存储到数据文件(可以是数据库)中，在非易失性存储器上持久保存；

在合并模块初始化时，从数据文件中读取，以类型参数ID作为键值，生成一个类型参数HASH表，此HASH表的元素映射到具体的合并规则。另外，建立一个合并队列，用于保存合并记录，为提高处理速度，也配套一个合并HASH表，用于检索合并记录为提高处理速度，还可以配套一个合并HASH表，用于检索合并记录。

302、位于前端的检测模块产生日志记录，并将日志记录按照时间顺序存放在缓存里的待合并队列中。

303、由定时器触发，通知合并模块从待合并队列中读取日志记录。

304、合并模块通过日志记录的类型参数ID在类型参数HASH表中查找出对应的合并规则；如果合并规则是独立型的，则加上已经进行合并处理的标记后进行保存，比如在记录中加入一个参数。

305、合并模块根据合并规则，提取日志记录中的合并参数(如：日志记录对应为聚合合并规则，则提取日志记录中的类型参数ID、目的IP地址、目的端口地址)，并基于这些参数，查找合并HASH表中是否存在具备相同合并参数的合并记录；如果发现对应的合并记录，则进行步骤306；如果没有在合并HASH表中找到相应的合并记录则进行步骤307。

306、将该日志记录与所述合并记录进行合并，即把日至中合并参数部分删去，其它部分放入合并记录；递增合并记录中事件发生次数；如果日志记录中合并参数之外的IP地址无法在IP地址列表中找到，则将其添加到合并记录中的IP地址列表；如果日志记录中合并参数之外的端口无法在端口列表中找到，则将其添加到合并记录中的端口列表；合并记录的结束时间为该日志记录的发生时间。修改合并记录后，根据实际设置，决定是否保存原始日志记录。

307、将日志记录作为一个新的合并记录并放入合并队列，合并记录的起始时间等于日志记录的发生时间，合并记录中事件发生的次数等于1，将日志记录中的IP地址添加到IP地址列表，将日志记录中的端口添加到端口列表；合并记录的开始时间为该日志记录的发生时间；建立合并记录后，根据实际设置，决定是否保存原始日志记录。

308、判断待合并队列中的日志记录是否读取完，如果没有则返回步骤303；否则执行步骤309。

309、合并模块清理合并队列，即合并模块遍历合并队列，判断各合并记录的结束时间与当前时间的差值是否有大于系统超时阀值的，如果发现已经超时，则统计IP地址数和端口数，并将统计结果记录进合并记录，然后将合并记录保存到日志文件或者数据库中，并从合并队列中删除。

合并模块再收到进行合并的通知后从步骤303开始执行。

比如在网络中发生扫描安全事件，攻击者利用扫描器探测指定网段内的是否存在具有某种漏洞的主机，其扫描的行为是攻击者利用一台安装有扫描器的攻击主机，向不同IP的目标主机，发送同一种探测协议的数据包，以发现是否存在某种服务，可供入侵利用。这些网络行为被网络安全设备检测到后，日志记录呈现一个特点：事件发生的源IP地址是相同的，事件对应的目标端口是相同的(相同的服务使用的端口是一致的)，各个事件发生的时间是连续的。日志合并系统对这些记录进行处理时，将扫描行为的类型参数对应于辐射型的合并规则，即合并参数为类型参数ID和源IP地址，从而将相应的日志记录合并为一条，且这一合并记录可能明确体现出这是一个源IP主机对多个目标IP主机的扫描行为。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (12)

1、一种日志记录合并方法，其特征在于，包括：

a、对日志记录中包含的参数进行分类，其中至少包括类型参数；所述类型参数用于表示日志中所记录的事件的类型；

b、建立类型参数和合并规则的对应关系；

c、读取日志记录，并使用日志记录的类型参数所对应的合并规则对日志记录进行合并处理。

2、如权利要求1所述的日志记录合并方法，其特征在于：步骤a中，日志记录中包含的参数还包括地址信息参数；

步骤b中，所述合并规则包括以下五种中的任一种或其任意组合：

平行型，合并参数包括类型参数和地址信息。

聚合型，合并参数包括类型参数和目的地址信息。

辐射型，合并参数包括类型参数和源地址信息。

混合型，合并参数为类型参数和任一地址信息。

独立型，日志记录独立成为一条合并记录；

所述合并参数是指在合并时用于划分日志记录归类的参数。

3、如权利要求1所述的日志记录合并方法，其特征在于，不同的合并规则对应于不同的合并参数；所述合并参数是指在合并时用于划分日志记录归类的参数；

步骤c具体包括：

c1、按时间顺序读取日志记录；

c2、根据日志记录的类型参数确定其所对应的合并规则；

c3、将日志记录合并到具备相同合并参数的合并记录里。

4、如权利要求3所述的日志记录合并方法，其特征在于，步骤c3具体包括：

根据合并规则，提取日志记录中的合并参数，在合并队列中查找具备相同合并参数的合并记录，然后将该日志记录中合并参数部分删去，其它部分放入合并记录；如果查找不到具备相同合并参数的合并记录，则将该日志记录作为一个新的合并记录并放入合并队列。

5、如权利要求4所述的日志记录合并方法，其特征在于：步骤a中，日志记录中包含的参数还包括地址信息参数；

步骤c3中还包括：

对于新的合并记录，在合并记录中增加下列参数中的一个或其任意组合：事件发生次数、源、目的IP/MAC地址的统计数，源、目的端口统计数、合并记录的开始时间、结束时间、IP/MAC地址列表、端口列表；

每合并一个日志记录，就将其所合并到的合并记录的“事件发生次数”参数加一；当日志记录中合并参数之外的IP地址无法在IP地址列表中找到时，将其添加到合并记录中的IP地址列表；当日志记录中合并参数之外的端口无法在端口列表中找到时，将其添加到合并记录中的端口列表。

6、如权利要求3所述的日志记录合并方法，其特征在于，步骤a中，日志记录中包含的参数还包括时间参数；

步骤c中还包括，对合并记录进行时间判断，判断方法为以下两种中的任一种：

第一种是将系统当前的时间和最近一次处理的日志记录的时间参数进行比较，如果时间参数之差大于系统超时阀值，则认为原先所有的合并记录均已完成，终结原先所有的合并记录参与以后的合并，保存后从合并队列中删除；

第二种将各合并记录中的最大时间参数和当前日志记录的时间参数进行比较，如果有大于超时阀值的，说明本次按该合并规则合并的事件已结束，终结此合并记录参与以后的合并，保存后从合并队列中删除。

7、一种日志记录合并系统，其特征在于，包括：存储模块及合并模块；

所述存储模块用于保存合并规则、及日志记录的类型参数与合并规则的对应关系；

所述合并模块用于读取日志记录，并使用日志记录的类型参数所对应的合并规则，对日志记录进行合并处理。

8、如权利要求7所述的日志记录合并系统，其特征在于，所述存储模块保存的合并规则包括以下五种中的任一种或其任意组合：

平行型，合并参数包括类型参数和地址信息。

聚合型，合并参数包括类型参数和目的地址信息。

辐射型，合并参数包括类型参数和源地址信息。

混合型，合并参数为类型参数和任一地址信息。

独立型，日志记录独立成为一条合并记录；

所述合并参数是指在合并时用于划分日志记录归类的参数。

9、如权利要求7所述的日志记录合并系统，其特征在于：所述存储模块所保存的不同的合并规则对应于不同的合并参数；所述合并参数是指在合并时用于划分日志记录归类的参数；

所述合并模块使用日志记录的类型参数所对应的合并规则，对日志记录进行合并处理是指：合并模块根据日志记录的类型参数确定其所对应的合并规则，将日志记录合并到具备相同合并参数的合并记录里。

10、如权利要求9所述的日志记录合并系统，其特征在于，合并模块将日志记录合并到具备相同合并参数的合并记录里是指：

合并模块根据合并规则，提取日志记录中的合并参数，在合并队列中查找具备相同合并参数的合并记录，然后将该日志记录中合并参数部分删去，其它部分放入合并记录；如果查找不到具备相同合并参数的合并记录，则将该日志记录作为一个新的合并记录并放入合并队列；

所述存储模块还包括用于保存合并队列的缓存。

11、如权利要求10所述的日志记录合并系统，其特征在于：

所述合并模块还用于在新的合并记录中增加下列参数中的一个或其任意组合：事件发生的次数、源、目的IP/MAC地址的统计数、源、目的端口统计数、合并记录的开始时间、结束时间、端口列表、IP/MAC地址列表；还用于在每合并一个日志记录时，将所合并到的合并记录的“事件发生次数”参数加一；还用于当日志记录中合并参数之外的IP/MAC地址无法在IP/MAC地址列表中找到时，将其添加到合并记录中的IP/MAC地址列表；当日志记录中合并参数之外的端口无法在端口列表中找到时，将其添加到合并记录中的端口列表。

12、如权利要求9所述的日志记录合并系统，其特征在于，所述合并模块还用于对合并记录进行以下两种中任一种时间判断：

第一种是合并模块将当前日志记录的时间参数和上一次处理的日志记录的时间参数进行比较，如果时间参数之差大于系统超时阀值，则终结原先所有的合并记录参与以后的合并，从合并队列中删除；

第二种是合并模块将合并记录中的最大时间参数和当前日志记录的时间参数进行比较，如果大于超时阀值，则终结此合并记录参与以后的合并，从合并队列中删除；

所述存储模块还用于保存超时阈值或系统超时阈值并存储进所述存储模块。

Images