CN105071966A - 一种日志信息管理方法及日志抽取服务器 - Google Patents

Abstract

本发明提供一种日志信息管理方法及日志抽取服务器，上述方法包括以下步骤：通过以下方案：日志抽取服务器从不同日志源中分别抽取对应类型的日志；所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储；避免了日志记录重复，实现了对增量日志存储。

Description

一种日志信息管理方法及日志抽取服务器

技术领域

本发明属于日志信息管理领域，尤其涉及一种日志信息管理方法及日志抽取服务器。

背景技术

随着互联网技术的高速发展和硬件技术的飞速提升，越来越多公司、部门、组织购买大批硬件，并在此基础上构建符合本公司、部门、组织的各类信息化系统；得益于大数据技术的普及，越来越多的互联网公司、公安、电信、水利、交通、医疗部门都开始搭建自己私有云平台，并在此平台上运行各类公共服务；相比之下某些在财力、物力相对紧缺的公司比较倾向于使用阿里云等公有云平台。上述提及的各类信息化系统和云平台的搭建必然用到众多的硬件，如：服务器、交换机、路由器、存储器等；并且上述设备都存在潜在的运行故障，因此，做好对这些设备和信息系统的监控是亟需解决的技术问题。

现有技术中对服务器的监控依赖于网管使用ipmitool命令查看网络设备日志即BMC日志来进行排查；对存储器的监控依赖于专业人员采用snmp协议从存储器获取日志数据进行排查；对网络设备(例如：路由器、交换机)的监控依赖于网络管理员使用网络管理命令查看日志进行逐一排查；对信息系统的监控则使用log4j等日志工具，查询日志进行排查。

但是，上述做法需要依赖大量的专业技术人员，增加了成本并且效率低下；因此，迫切需要一种成熟、轻便、高效、统一的集中式日志处理平台。

现有技术提供了一种集中式日志处理平台Logstash，Logstash是ELK公司开发，其中ELK为ElasticSearch、Logstash、Kibana的首字母缩写，Logstash作为统一日志处理平台最为重要的一部分，主要负责各类日志数据的抽取工作，Logstash把抽取的日志发送到ElasticSearch做索引，Kibana提供了一套友好的web界面供用户检索、分析ElasticSearch中的日志记录。

如图1所示，Logstash抽取日志的工作流程如下：

步骤一、Input插件从不同日志源中分别抽取对应类型的日志；其中，所述日志源包括存储器、服务器、网络设备(例如：路由器、交换机)；所述Input插件支持多种类型日志，例如：文件类型日志即file日志、操作系统类型日志即syslog日志、网络设备日志即BMC日志；

步骤二、Input插件将抽取的日志发送至Filter插件并由所述Filter插件进行过滤后，发送至Output插件并由所述Output插件进行输出。

但是Input插件从日志源中抽取的日志(例如：BMC日志)都是全量日志，这样就会造成索引库中日志记录重复。

发明内容

本发明提供一种日志信息管理方法及日志抽取服务器，以解决上述问题。

本发明提供一种日志信息管理方法。上述方法包括以下步骤：

日志抽取服务器从不同日志源中分别抽取对应类型的日志；

所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储。

本发明还提供一种日志抽取服务器，包括日志抽取模块、增量日志获取模块；其中，所述日志抽取模块与所述增量日志获取模块相连；

所述日志抽取模块，用于从不同日志源中分别抽取对应类型的日志并将所述日志发送至所述增量日志获取模块；

所述增量日志获取模块，用于将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储。

通过以下方案：日志抽取服务器从不同日志源中分别抽取对应类型的日志；所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储；避免了日志记录重复，实现了对增量日志存储。

通过以下方案：所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志的过程为：所述日志抽取服务器将获取的日志存储至对应的临时文件并对所述临时文件进行时间标记；所述日志抽取服务器按照时间标记先后顺序依次对不同临时文件中的日志信息进行比较并根据比较结果获取对应的增量日志；通过时间标记，可以准确获取增量日志。

通过以下方案：还可以将比较后的临时文件进行删除，释放存储空间，节约系统资源。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为现有技术中使用logstash抽取BMC日志处理流程图；

图2所示为本发明实施例2的日志信息管理方法处理流程图；

图3所示为本发明实施例3的日志抽取服务器结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图2所示为本发明实施例2的日志信息管理方法处理流程图，包括以下步骤：

步骤201：日志抽取服务器从不同日志源中分别抽取对应类型的日志；

进一步地，日志抽取服务器从不同日志源中分别抽取对应类型的日志之前，还包括：

日志抽取服务器中的定时模块触发时，所述日志抽取服务器从不同日志源中分别抽取对应类型的日志。

进一步地，所述日志源包括存储器、流媒体服务器、网络设备；其中，所述网络设备包括：路由器、交换机。

进一步地，日志类型包括文件类型日志、操作系统类型日志、网络设备日志；其中，文件类型日志即file日志、操作系统类型日志即syslog日志、网络设备日志即BMC日志。

进一步地，日志抽取服务器采用ipmitool命令，从不同日志源中分别抽取对应类型的日志。

步骤202：所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志；

进一步地，所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志的过程为：

所述日志抽取服务器将获取的日志存储至对应的临时文件并对所述临时文件进行时间标记；

所述日志抽取服务器按照时间标记先后顺序依次对不同临时文件中的日志信息进行比较并根据比较结果获取对应的增量日志。

例如：日志抽取服务器中的定时模块每隔10分钟触发1次，若首次为9点，则达到9点时，所述日志抽取服务器中的抽取模块从流媒体服务器中获取BMC日志并将获取的BMC日志存储至临时文件A并对临时文件A进行时间标记，例如：临时文件A的时间标记为9点。

此时，只有临时文件A，则所述日志抽取服务器确定临时文件A中的BMC日志为增量日志。

9点10分时，定时模块第二次触发，则所述日志抽取服务器中的抽取模块从流媒体服务器中再次获取BMC日志并将获取的BMC日志存储至临时文件B并对临时文件B进行时间标记，例如：临时文件B时间标记为9点10分。

此时，存在临时文件A和临时文件B，则所述日志抽取服务器按照时间标记先后顺序，依次比较临时文件B中的BMC日志和临时文件A中的BMC日志，获取对应的增量日志。

9点20分时，定时模块第三次触发，则所述日志抽取服务器中的抽取模块从流媒体服务器中再次获取BMC日志并将获取的BMC日志存储至临时文件C并对临时文件C进行时间标记，例如：临时文件C时间标记为9点20分。

此时，所述日志抽取服务器按照时间标记先后顺序，依次比较临时文件C中的BMC日志和临时文件B中的BMC日志，获取对应的增量日志。

后续依此类推，直至定时模块关闭。

另外，还可以将比较后的临时文件进行删除，释放存储空间，节约系统资源。

步骤203：所述日志抽取服务器将获取的所述增量日志存储至对应的存储模块。

进一步地，所述日志抽取服务器将获取的所述增量日志存储至对应的存储模块后，还包括：

客户端向所述日志抽取服务器发送日志查询请求；其中，所述日志查询请求中携带了日志源地址信息、日志类型信息；

所述日志抽取服务器接收所述日志查询请求后，获取对应的日志信息并将所述日志信息发送至所述客户端。

图3所示为本发明实施例3的日志抽取服务器结构图，包括日志抽取模块、增量日志获取模块；其中，所述日志抽取模块与所述增量日志获取模块相连；

所述日志抽取模块，用于从不同日志源中分别抽取对应类型的日志并将所述日志发送至所述增量日志获取模块；

所述增量日志获取模块，用于将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储。

进一步地，所述增量日志获取模块包括时间标记单元、比较单元；其中，所述时间标记单元与所述比较单元相连；

所述时间标记单元，用于对临时文件进行时间标记并将时间标记信息发送至所述比较单元；

所述比较单元，用于按照时间标记先后顺序依次对不同临时文件中的日志信息进行比较并根据比较结果获取对应的增量日志。

通过以下方案：日志抽取服务器从不同日志源中分别抽取对应类型的日志；所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储；避免了日志记录重复，实现了对增量日志存储。

通过以下方案：所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志的过程为：所述日志抽取服务器将获取的日志存储至对应的临时文件并对所述临时文件进行时间标记；所述日志抽取服务器按照时间标记先后顺序依次对不同临时文件中的日志信息进行比较并根据比较结果获取对应的增量日志；通过时间标记，可以准确获取增量日志。

通过以下方案：还可以将比较后的临时文件进行删除，释放存储空间，节约系统资源。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种日志信息管理方法，其特征在于，包括以下步骤：

日志抽取服务器从不同日志源中分别抽取对应类型的日志；

所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储。

2.根据权利要求1所述的方法，其特征在于，所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志的过程为：

所述日志抽取服务器将获取的日志存储至对应的临时文件并对所述临时文件进行时间标记；

所述日志抽取服务器按照时间标记先后顺序依次对不同临时文件中的日志信息进行比较并根据比较结果获取对应的增量日志。

3.根据权利要求1所述的方法，其特征在于，日志抽取服务器从不同日志源中分别抽取对应类型的日志之前，还包括：

日志抽取服务器中的定时模块触发时，所述日志抽取服务器从不同日志源中分别抽取对应类型的日志。

4.根据权利要求1所述的方法，其特征在于，日志类型包括文件类型日志、操作系统类型日志、网络设备日志。

5.根据权利要求1所述的方法，其特征在于，所述日志源包括存储器、流媒体服务器、网络设备；其中，所述网络设备包括：路由器、交换机。

6.根据权利要求1所述的方法，其特征在于，日志抽取服务器采用ipmitool命令，从不同日志源中分别抽取对应类型的日志。

7.根据权利要求1所述的方法，其特性在于，所述日志抽取服务器将获取的所述增量日志存储至对应的存储模块。

8.根据权利要求7所述的方法，其特征在于，所述日志抽取服务器将获取的所述增量日志存储至对应的存储模块后，还包括：

客户端向所述日志抽取服务器发送日志查询请求；其中，所述日志查询请求中携带了日志源地址信息、日志类型信息；

所述日志抽取服务器接收所述日志查询请求后，获取对应的日志信息并将所述日志信息发送至所述客户端。

9.一种日志抽取服务器，其特征在于，包括日志抽取模块、增量日志获取模块；其中，所述日志抽取模块与所述增量日志获取模块相连；

所述日志抽取模块，用于从不同日志源中分别抽取对应类型的日志并将所述日志发送至所述增量日志获取模块；

所述增量日志获取模块，用于将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储。

10.根据权利要求9所述的日志抽取服务器，其特征在于，所述增量日志获取模块包括时间标记单元、比较单元；其中，所述时间标记单元与所述比较单元相连；

所述时间标记单元，用于对临时文件进行时间标记并将时间标记信息发送至所述比较单元；

所述比较单元，用于按照时间标记先后顺序依次对不同临时文件中的日志信息进行比较并根据比较结果获取对应的增量日志。