CN105005528A - 一种日志信息提取方法及装置 - Google Patents

Abstract

本发明提供了一种日志信息提取方法及装置，上述方法包括以下步骤：日志收集模块根据日志来源特征信息获取目标日志文件并将所述目标日志文件发送至日志存储模块；其中，所述日志来源特征信息包括日志源地址信息、日志关键字信息、日志类型信息；所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域；实现了重要日志信息的有效存储。

Description

一种日志信息提取方法及装置

技术领域

本发明属于日志管理领域，尤其涉及一种日志信息提取方法及装置。

背景技术

随着计算机普及，计算机已经成为人们日常生活的一部分，但是计算机很容易受到不当操作或不当行为的攻击，因此，在计算机系统运行过程中产生的记录内容是十分重要的。如当计算机系统崩溃或断电时，文件系统可以通过之前的日志记录迅速地恢复先前的数据状态，避免数据损坏，或者当在诊断和解决系统问题(如试图载入内核驱动程序或寻找对系统未经授权的使用企图)时，日志文件会很有帮助；又如当计算机系统遭受到不良行为的攻击时可以根据日志记录进行提取分析并记录不法行为及证据。

现流行的Linux系统中日志文件是包含系统消息的文件，包括内核、服务、在系统上运行的应用程序等等，不同的日志文件记录着不同的信息。例如，默认的系统日志文件，有的仅用于安全消息，有的记载cron任务的日志等等，这些日志记录了系统活动的详细审计，通过这些日志可以评估、审查系统的运行环境和各种操作。对于一般情况，日志记录包括记录用户、登陆事件、登陆地点、进行说明操作等内容，如果使用得当，日志记录能向系统管理员提供有关安全侵害及入侵企图等非常有用的信息，但由于计算机系统的操作是非常大量的，能够在这些海量及杂乱的日志文件中提取非常重要的信息对系统管理员是必要的。

因此迫切需要一种有效的日志信息提取方法以解决上述技术问题。

发明内容

为了解决上述技术问题，本发明提供了一种日志信息提取方法及装置，以解决上述技术问题。

为了达到本发明目的，本发明提供了一种日志信息提取方法，上述方法包括以下步骤：日志收集模块根据日志来源特征信息获取目标日志文件并将所述目标日志文件发送至日志存储模块；其中，所述日志来源特征信息包括日志源地址信息、日志关键字信息、日志类型信息；

所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域。

本发明还提供一种日志信息提取装置，包括日志收集模块、日志存储模块；其中，所述日志收集模块与所述日志存储模块相连；

所述日志收集模块，用于根据日志来源特征信息获取目标日志文件并将所述目标日志文件发送至所述日志存储模块；其中，所述日志来源特征信息包括日志源地址信息、日志关键字信息、日志类型信息；

所述日志存储模块，用于获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域。

通过以下方案：日志收集模块根据日志来源特征信息获取目标日志文件并将所述目标日志文件发送至日志存储模块；其中，所述日志来源特征信息包括日志源地址信息、日志关键字信息、日志类型信息；所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域；实现了重要日志信息的有效存储。

通过以下方案：若所述目标文件为系统报警类日志文件，则所述日志存储模块将所述系统报警类日志文件存储至第三目标存储区域；若所述目标文件为软件升级日志文件或者目标应用程序访问日志文件，则所述日志存储模块将所述软件升级日志文件或者目标应用程序访问日志文件存储至第四目标存储区域；所述第三目标存储区域的安全级别大于所述第四目标存储区域的安全级别；实现了对重要日志信息的安全存储。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为实现本发明实施例1的日志信息提取方法处理流程图；

图2为根据本发明实施例2的日志信息提取装置结构图；

图3为根据本发明实施例3的日志信息提取装置又一结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1为实现本发明实施例1的日志信息提取方法处理流程图，包括以下步骤：

步骤101：日志收集模块根据日志来源特征信息获取目标日志文件并将所述目标日志文件发送至日志存储模块；其中，所述日志来源特征信息包括日志源地址信息、日志关键字信息、日志类型信息；

进一步地，预先在日志收集模块的配置文件中配置日志源地址信息；其中，所述日志源地址信息为一个或多个。

例如：该日志源地址信息为：IP地址为10.150.1.25；后续从该IP地址中获取目标日志。

进一步地，预先在所述配置文件的选项中设置使用完整域名、设置保留日志消息中保存的主机名称、设置打开DNS查询功能、设置关闭主机名链功能的别名、设置写入文件的缓存行数信息、设置输出队列行数、日志文件输出地址。

上述在所述配置文件的选项中可以进行灵活设置，上述选项配置仅仅是举例说明，在此不用于限定本发明的保护范围。

设置写入文件的缓存行数信息是指缓存多少行再写入文件中，例如：2行；设置输出队列行数，例如：设置输出队列行数log_fifo_s ize为512。

进一步地，所述日志关键字包括“报警”、“安全”、“金额”。

进一步地，所述日志类型信息包括：系统报警类日志文件、软件升级日志文件、目标应用程序访问日志文件。

当然，上述日志关键字、日志类型信息仅仅是举例，在实际应用中可以灵活设定，在此不用于限定本发明的保护范围。

进一步地，日志收集模块根据日志来源特征信息获取目标日志文件后，发送所述目标日志文件至日志存储模块之前，还包括：

目标收集模块在所述目标收集模块与日志存储模块之间创建通信管道。

在实际应用中，采用mkfifo/var/log/mysql.pipe创建通信管道。

步骤102：所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域。

进一步地，所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域中的MySQL数据库的tablelog表。

进一步地，所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域的过程为：

所述日志存储模块获取所述目标日志文件后，直接存储至预设的目标区域。

进一步地，所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域的过程为：

若所述目标文件来源于日志源地址，则所述日志存储模块将来源于日志源地址的目标文件存储至第一目标存储区域。

进一步地，所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域的过程为：

若所述目标文件根据日志关键字获取，则所述日志存储模块将根据日志关键字获取的目标文件存储至第二目标存储区域。

进一步地，所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域的过程为：

若所述目标文件为系统报警类日志文件，则所述日志存储模块将所述系统报警类日志文件存储至第三目标存储区域。

进一步地，所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域的过程为：

若所述目标文件为软件升级日志文件或者目标应用程序访问日志文件，则所述日志存储模块将所述软件升级日志文件或者目标应用程序访问日志文件存储至第四目标存储区域。

第一目标存储区域、第二目标存储区域、第三目标存储区域、第四目标存储区域可以在日志存储模块中预先配置；当然也可以针对不同的目标存储区域设置不同的安全存储级别，例如：第三目标存储区域的安全级别大于第四目标存储区域的安全级别。

高安全级别采用的加密算法比低安全级别采用的加密算法复杂。

图2为根据本发明实施例2的日志信息提取装置结构图，包括日志收集模块201、日志存储模块202；其中，所述日志收集模块201与所述日志存储模块202相连；

所述日志收集模块201，用于根据日志来源特征信息获取目标日志文件并将所述目标日志文件发送至所述日志存储模块202；其中，所述日志来源特征信息包括日志源地址信息、日志关键字信息、日志类型信息；

所述日志存储模块202，用于获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域。

图3为根据本发明实施例3的日志信息提取装置又一结构图，在图2的基础上增加了配置模块200；其中，所述配置模块200与所述日志收集模块201相连；

所述配置模块200，用于预先在日志收集模块的配置文件中配置日志源地址信息；其中，所述日志源地址信息为一个或多个；

还用于预先在所述配置文件的选项中设置使用完整域名、设置保留日志消息中保存的主机名称、设置打开DNS查询功能、设置关闭主机名链功能的别名、设置写入文件的缓存行数信息、设置输出队列行数、日志文件输出地址。

通过以下方案：日志收集模块根据日志来源特征信息获取目标日志文件并将所述目标日志文件发送至日志存储模块；其中，所述日志来源特征信息包括日志源地址信息、日志关键字信息、日志类型信息；所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域；实现了重要日志信息的有效存储。

通过以下方案：若所述目标文件为系统报警类日志文件，则所述日志存储模块将所述系统报警类日志文件存储至第三目标存储区域；若所述目标文件为软件升级日志文件或者目标应用程序访问日志文件，则所述日志存储模块将所述软件升级日志文件或者目标应用程序访问日志文件存储至第四目标存储区域；所述第三目标存储区域的安全级别大于所述第四目标存储区域的安全级别；实现了对重要日志信息的安全存储。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种日志信息提取方法，其特征在于，包括以下步骤：

日志收集模块根据日志来源特征信息获取目标日志文件并将所述目标日志文件发送至日志存储模块；其中，所述日志来源特征信息包括日志源地址信息、日志关键字信息、日志类型信息；

所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域。

2.根据权利要求1所述的日志信息提取方法，其特征在于，所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域的过程为：

所述日志存储模块获取所述目标日志文件后，直接存储至预设的目标区域中的MySQL数据库的tablelog表。

3.根据权利要求1所述的日志信息提取方法，其特征在于，所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域的过程为：

若所述目标文件来源于日志源地址，则所述日志存储模块将来源于日志源地址的目标文件存储至第一目标存储区域。

4.根据权利要求1所述的日志信息提取方法，其特征在于，所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域的过程为：

若所述目标文件根据日志关键字获取，则所述日志存储模块将根据日志关键字获取的目标文件存储至第二目标存储区域。

5.根据权利要求1所述的日志信息提取方法，其特征在于，所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域的过程为：

若所述目标文件为系统报警类日志文件，则所述日志存储模块将所述系统报警类日志文件存储至第三目标存储区域。

6.根据权利要求5所述的日志信息提取方法，其特征在于，所述日志存储模块获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域的过程为：

若所述目标文件为软件升级日志文件或者目标应用程序访问日志文件，则所述日志存储模块将所述软件升级日志文件或者目标应用程序访问日志文件存储至第四目标存储区域。

7.根据权利要求6所述的日志信息提取方法，其特征在于，所述第三目标存储区域的安全级别大于所述第四目标存储区域的安全级别。

8.根据权利要求1所述的日志信息提取方法，其特征在于，预先在日志收集模块的配置文件中配置日志源地址信息；其中，所述日志源地址信息为一个或多个；

预先在所述配置文件的选项中设置使用完整域名、设置保留日志消息中保存的主机名称、设置打开DNS查询功能、设置关闭主机名链功能的别名、设置写入文件的缓存行数信息、设置输出队列行数、日志文件输出地址。

9.一种日志信息提取装置，其特征在于，包括日志收集模块、日志存储模块；其中，所述日志收集模块与所述日志存储模块相连；

所述日志收集模块，用于根据日志来源特征信息获取目标日志文件并将所述目标日志文件发送至所述日志存储模块；其中，所述日志来源特征信息包括日志源地址信息、日志关键字信息、日志类型信息；

所述日志存储模块，用于获取所述目标日志文件后，按照预设存储策略，存储至对应的目标存储区域。

10.根据权利要求9所述的日志信息提取装置，其特征在于，还包括配置模块，其中，所述配置模块与所述日志收集模块相连；

所述配置模块，用于预先在日志收集模块的配置文件中配置日志源地址信息；其中，所述日志源地址信息为一个或多个；

还用于预先在所述配置文件的选项中设置使用完整域名、设置保留日志消息中保存的主机名称、设置打开DNS查询功能、设置关闭主机名链功能的别名、设置写入文件的缓存行数信息、设置输出队列行数、日志文件输出地址。