CN107612740A - 一种分布式环境下的日志监控系统及方法 - Google Patents

Abstract

本发明涉及一种分布式环境下的日志监控系统及方法，包括：日志采集模块，用于实时检测其所在的业务主机中目标业务日志文件是否发生变化，若是，向独立主机中的日志管理模块发送新业务日志文件，新业务日志文件为发生变化的新的目标业务日志文件；日志管理模块，用于接收新业务日志文件并以索引的方式存储，判断新业务日志文件中的日志数据是否满足预设告警规则，若是，发出告警，提取日志数据中的异常监控指标并存储。本发明为在分布式环境下对各业务运行日志进行采集和分析以实现业务监控及告警，提高对分布式环境下业务运行日志的查询效率，降低业务系统风险，提高业务系统运行稳定性。

Description

一种分布式环境下的日志监控系统及方法

技术领域

本发明涉及分布式业务日志管理技术领域，特别涉及一种分布式环境下的日志监控系统及方法。

背景技术

日志在业务系统中是一个必要组成部分，日志数据是业务系统运行过程中用户行为记录、故障排查、监控、错误信息等的重要依据。随着互联网技术蓬勃发展，业务系统广泛使用分布式集群，不同的业务主机将不同的业务运行日志通过文件的方式按天、按存储大小切割存储在本地。但是当需要查询某一数据时，就会涉及到日志数据分散在不同的业务主机，导致难以查找，需要先确认目标业务主机再确认目标文件后才能进行精确查看。当业务系统存在海量日志数据时，查询效率会变得更加缓慢。并且虽然日志数据中包含了业务系统处理业务时的错误信息，但是如果不查看具体日志数据时可能根本不会发现业务系统在运行过程中产生了错误信息等。

发明内容

本发明提供了一种分布式环境下的日志监控系统及方法，以解决或部分解决上述技术问题。

本发明解决上述技术问题的技术方案如下：一种分布式环境下的日志监控系统，包括：

日志采集模块，用于实时检测其所在的业务主机中目标业务日志文件是否发生变化，若是，向独立主机中的日志管理模块发送新业务日志文件，所述新业务日志文件为发生变化的新的所述目标业务日志文件；

所述日志管理模块，用于接收所述新业务日志文件并以索引的方式存储，判断所述新业务日志文件中的日志数据是否满足预设告警规则，若是，发出告警，提取所述日志数据中的异常监控指标并存储。

本发明的有益效果是：本发明为在分布式环境下对各业务运行日志进行采集和分析以实现业务监控及告警，通过该技术可以提高对分布式环境下业务运行日志的查询效率，可实现在查询各业务运行日志时均通过统一查询入口以及通过对采集的日志进行流式分析后做到业务级的监控和对业务进行危险告警，降低业务系统风险，提高业务系统运行稳定性。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述日志管理模块包括日志收集模块和日志分析模块；

所述日志收集模块，用于接收并存储所述新业务日志文件；

所述日志分析模块，用于接收所述新业务日志文件，判断所述新业务日志文件中的日志数据是否满足预设告警规则，若是，发出告警，提取所述日志数据中的异常监控指标并存储。

进一步，所述日志采集模块还用于：

当实时检测到其所在的业务主机中目标业务日志文件发生变化时，向所述日志收集模块和所述日志分析模块发起日志文件传输请求；

则所述日志收集模块和所述日志分析模块还分别用于：

接收所述日志文件传输请求，并与所述日志采集模块建立无线通信连接。

进一步，所述预设告警规则包括告警指标信息和告警方式；

则所述日志分析模块具体用于：

接收所述新业务日志文件；提取所述新业务日志文件中的日志数据；判断所述日志数据是否满足所述告警指标信息；若是，根据所述告警方式发出告警，并提取所述日志数据中满足所述告警指标信息的异常指标信息并存储。

进一步，所述日志收集模块具体用于：

接收所述新业务日志文件；提取所述新业务日志文件的索引关键词；将所述新业务日志文件命名为所述索引关键词，并以索引的方式存储所述新业务日志文件。

进一步，所述告警指标信息包括：第一告警指标信息和第二告警指标信息，所述第一告警指标信息表示为待处理业务数量连续三分钟超过安全阈值，所述第二告警指标信息表示为网络心跳检测连续三次出现心跳错误；

所述告警方式为：通过邮件、短信和/或微信的方式发出告警信息。

为解决本发明的技术问题，还提供了一种分布式环境下的日志监控方法，包括以下步骤：

步骤1、实时检测各个业务主机中目标业务日志文件是否发生变化；

步骤2、若是，获取新业务日志文件，所述新业务日志文件为发生变化的新的所述目标业务日志文件；

步骤3、以索引的方式存储所述新业务日志文件；

步骤4、判断所述新业务日志文件中的日志数据是否满足预设告警规则，若是，发出告警，提取所述日志数据中的异常监控指标并存储。

进一步，所述预设告警规则包括告警指标信息和告警方式；

则所述步骤4包括：

步骤4.1、提取所述新业务日志文件中的日志数据；

步骤4.2、判断所述日志数据是否满足所述告警指标信息；

步骤4.3、若是，根据所述告警方式发生告警；

步骤4.4、提取所述日志数据中满足所述告警指标信息的异常指标信息并存储。

进一步，所述步骤3包括：

步骤3.1、接收所述新业务日志文件；

步骤3.2、提取所述新业务日志文件的索引关键词；

步骤3.3、将所述新业务日志文件命名为所述索引关键词，并以索引的方式存储所述新业务日志文件。

进一步，所述告警指标信息包括：第一告警指标信息和第二告警指标信息，所述第一告警指标信息表示为待处理业务数量连续三分钟超过安全阈值，所述第二告警指标信息表示为网络心跳检测连续三次出现心跳错误；

所述告警方式为：通过邮件、短信和/或微信的方式发出告警信息。

附图说明

图1为本发明一个实施例提供的一种分布式环境下的日志监控系统的示意性结构图；

图2为本发明另一个实施例提供的一种分布式环境下的日志监控系统的示意性结构图；

图3为本发明一个实施例提供的一种分布式环境下的日志监控方法的流程示意图；

图4为本发明另一个实施例提供的一种分布式环境下的日志监控方法中步骤240的流程示意图；

图5为本发明另一个实施例提供的一种分布式环境下的日志监控方法中步骤230的流程示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一

一种分布式环境下的日志监控系统100，如图1所示，包括：日志采集模块和日志管理模块。其中，

日志采集模块，用于实时检测其所在的业务主机中目标业务日志文件是否发生变化，若是，向独立主机中的日志管理模块发送新业务日志文件，新业务日志文件为发生变化的新的目标业务日志文件。

日志管理模块，用于接收新业务日志文件并以索引的方式存储，判断新业务日志文件中的日志数据是否满足预设告警规则，若是，发出告警，提取日志数据中的异常监控指标并存储。

当业务系统使用分布式集群时，会涉及到各业务运行日志分散在不同的服务器上，加之，当业务系统存在海量日志数据时，查询效率会变得更加缓慢。并且虽然日志数据中包含了业务系统处理业务时的错误信息，但是如果不查看具体日志数据时可能根本不会发现业务系统在运行过程中产生了错误信息等。在分布式环境下对各业务运行日志进行采集和分析以实现业务监控及告警，可提高对分布式环境下业务运行日志的查询效率，可实现在查询各业务运行日志时均通过统一查询入口以及通过对采集的日志进行流式分析后做到业务级的监控和对业务进行危险告警，降低业务系统风险，提高业务系统运行稳定性。

实施例二

在实施例一的基础上，如图2所示，日志管理模块包括日志收集模块和日志分析模块。其中，

日志收集模块，用于接收并存储新业务日志文件；日志分析模块，用于接收新业务日志文件，判断新业务日志文件中的日志数据是否满足预设告警规则，若是，发出告警，提取日志数据中的异常监控指标并存储。

日志采集模块有多个，分别位于不同的业务主机；日志收集模块和日志分析模块位于独立主机。实现对分布式环境中的日志文件的采集、存储和监控，提高了日志文件的管理效率。

实施例三

在实施例二的基础上，日志采集模块还用于：当实时检测到其所在的业务主机中目标业务日志文件发生变化时，向日志收集模块和日志分析模块发起日志文件传输请求。则日志收集模块和日志分析模块还分别用于：接收日志文件传输请求，并与日志采集模块建立无线通信连接。

日志采集模块实时检测监控的目标业务日志文件是否产生变化，若存在变化，则对日志收集模块发起请求，实时将变化内容传输至日志收集模块。

实施例四

在实施例二或实施例三的基础上，预设告警规则包括告警指标信息和告警方式。则日志分析模块具体用于：接收新业务日志文件；提取新业务日志文件中的日志数据；判断日志数据是否满足告警指标信息；若是，根据告警方式发出告警，并提取日志数据中满足告警指标信息的异常指标信息并存储，其中，告警方式包括：邮件，短信和微信。

在日志采集模块传输日志数据至日志收集模块时，日志分析模块启动日志数据分析，检测日志数据是否触发了设置的业务告警规则，若触发了告警规则，按照告警规则发出业务告警，并对日志数据进行数据监控指标提取，用于展示日志分析后的监控数据。

实施例五

在实施例二至实施例四中任一实施例的基础上，日志收集模块具体用于：接收新业务日志文件；提取新业务日志文件的索引关键词；将新业务日志文件命名为索引关键词，并以索引的方式存储新业务日志文件，便于工作人员通过独立主机查看新业务日志文件。

日志收集模块对收集到的日志进行汇总后建立索引并存储至本地，以展示日志收集数据，便于工作人员对日志的查询。

实施例六

在实施例二至实施例五中任一实施例的基础上，告警指标信息包括：第一告警指标信息和第二告警指标信息，第一告警指标信息表示为待处理业务数量连续三分钟超过安全阈值，第二告警指标信息表示为网络心跳检测连续三次出现心跳错误。

告警方式为：通过邮件、短信和/或微信的方式发出告警信息。

设置监控告警规则，如待处理业务数量连续三分钟超过安全阈值时通过邮件、短信、微信的方式发出告警信息，与第三方存在网络心跳检测时若连续3次出现心跳保持错误时通过邮件、微信的方式发出告警信息等。上述告警指标信息对应的告警方式相似，但具体的是按照告警规则来区分告警指标信息的级别来选择告警方式，例如，告警级别高的，会选择有短信告警；告警级别低的，就是邮件和微信。其中，级别的制定是基于业务人为判定的。

实施例七

一种分布式环境下的日志监控方法200，如图3所示，包括以下步骤：

步骤210、实时检测各个业务主机中目标业务日志文件是否发生变化。

步骤220、若是，获取新业务日志文件，新业务日志文件为发生变化的新的目标业务日志文件。

步骤230、以索引的方式存储新业务日志文件。

步骤240、判断新业务日志文件中的日志数据是否满足预设告警规则，若是，发出告警，提取日志数据中的异常监控指标并存储。

实施例八

在实施例七的基础上，预设告警规则包括告警指标信息和告警方式。则如图4所示，步骤240包括：

步骤241、提取新业务日志文件中的日志数据。

步骤242、判断日志数据是否满足告警指标信息。

步骤243、若是，根据告警方式发生告警。

步骤244、提取日志数据中满足告警指标信息的异常指标信息并存储。

实施例九

在实施例七或实施例八的基础上，如图5所示，步骤230包括：

步骤231、接收新业务日志文件。

步骤232、提取新业务日志文件的索引关键词。

步骤233、将新业务日志文件命名为索引关键词，并以索引的方式存储新业务日志文件。

实施例十

在实施例七至实施例九中任一实施例的基础上，告警指标信息包括：第一告警指标信息和第二告警指标信息，第一告警指标信息表示为待处理业务数量连续三分钟超过安全阈值，第二告警指标信息表示为网络心跳检测连续三次出现心跳错误。

告警方式为：通过邮件、短信和/或微信的方式发出告警信息。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式环境下的日志监控系统，其特征在于，包括：

日志采集模块，用于实时检测其所在的业务主机中目标业务日志文件是否发生变化，若是，向独立主机中的日志管理模块发送新业务日志文件，所述新业务日志文件为发生变化的新的所述目标业务日志文件；

所述日志管理模块，用于接收所述新业务日志文件并以索引的方式存储，判断所述新业务日志文件中的日志数据是否满足预设告警规则，若是，发出告警，提取所述日志数据中的异常监控指标并存储。

2.根据权利要求1所述的一种分布式环境下的日志监控系统，其特征在于，所述日志管理模块包括日志收集模块和日志分析模块；

所述日志收集模块，用于接收并存储所述新业务日志文件；

所述日志分析模块，用于接收所述新业务日志文件，判断所述新业务日志文件中的日志数据是否满足预设告警规则，若是，发出告警，提取所述日志数据中的异常监控指标并存储。

3.根据权利要求2所述的一种分布式环境下的日志监控系统，其特征在于，所述日志采集模块还用于：

当实时检测到其所在的业务主机中目标业务日志文件发生变化时，向所述日志收集模块和所述日志分析模块发起日志文件传输请求；

则所述日志收集模块和所述日志分析模块还分别用于：

接收所述日志文件传输请求，并与所述日志采集模块建立无线通信连接。

4.根据权利要求2所述的一种分布式环境下的日志监控系统，其特征在于，所述预设告警规则包括告警指标信息和告警方式；

则所述日志分析模块具体用于：

接收所述新业务日志文件；提取所述新业务日志文件中的日志数据；判断所述日志数据是否满足所述告警指标信息；若是，根据所述告警方式发出告警，并提取所述日志数据中满足所述告警指标信息的异常指标信息并存储。

5.根据权利要求2所述的一种分布式环境下的日志监控系统，其特征在于，所述日志收集模块具体用于：

接收所述新业务日志文件；提取所述新业务日志文件的索引关键词；将所述新业务日志文件命名为所述索引关键词，并以索引的方式存储所述新业务日志文件。

6.根据权利要求1至5任一项所述的一种分布式环境下的日志监控系统，其特征在于，所述告警指标信息包括：第一告警指标信息和第二告警指标信息，所述第一告警指标信息表示为待处理业务数量连续三分钟超过安全阈值，所述第二告警指标信息表示为网络心跳检测连续三次出现心跳错误；

所述告警方式为：通过邮件、短信和/或微信的方式发出告警信息。

7.一种分布式环境下的日志监控方法，其特征在于，包括：

步骤1、实时检测各个业务主机中目标业务日志文件是否发生变化；

步骤2、若是，获取新业务日志文件，所述新业务日志文件为发生变化的新的所述目标业务日志文件；

步骤3、以索引的方式存储所述新业务日志文件；

步骤4、判断所述新业务日志文件中的日志数据是否满足预设告警规则，若是，发出告警，提取所述日志数据中的异常监控指标并存储。

8.根据权利要求7所述的一种分布式环境下的日志监控方法，其特征在于，所述预设告警规则包括告警指标信息和告警方式；

则所述步骤4包括：

步骤4.1、提取所述新业务日志文件中的日志数据；

步骤4.2、判断所述日志数据是否满足所述告警指标信息；

步骤4.3、若是，根据所述告警方式发生告警；

步骤4.4、提取所述日志数据中满足所述告警指标信息的异常指标信息并存储。

9.根据权利要求7所述的一种分布式环境下的日志监控系统，其特征在于，所述步骤3包括：

步骤3.1、接收所述新业务日志文件；

步骤3.2、提取所述新业务日志文件的索引关键词；

步骤3.3、将所述新业务日志文件命名为所述索引关键词，并以索引的方式存储所述新业务日志文件。

10.根据权利要求7至9任一项所述的一种分布式环境下的日志监控方法，其特征在于，所述告警指标信息包括：第一告警指标信息和第二告警指标信息，所述第一告警指标信息表示为待处理业务数量连续三分钟超过安全阈值，所述第二告警指标信息表示为网络心跳检测连续三次出现心跳错误；

所述告警方式为：通过邮件、短信和/或微信的方式发出告警信息。