CN107577588B - 一种海量日志数据智能运维系统 - Google Patents

Abstract

本发明提供一种海量日志数据智能运维系统，包括1)日志采集模块：收集目标机上的应用日志、操作系统日志和网络设备日志并将日志数据结构化后输出给日志处理模块；2)日志处理模块，分为实时处理和离线处理，实时处理包括实时统计、实时告警、实时分析，离线处理包括数据批量存储、离线分析、机器学习；之后将处理后的信息发送给日志存储模块；3)日志存储模块，是存储原始日志数据、索引数据、统计分析数据和资源配置数据，包括MySQL关系数据库、Redis内存数据库、Elasticsearch搜索引擎、HBase列存储数据库；4)业务应用模块，通过web界面提供查询统计、监督报警、智能报表、仪表盘、知识库功能，数据从日志存储模块读出。

Description

一种海量日志数据智能运维系统

技术领域

本发明涉及互联网应用技术领域，涉及海量日志处理技术，特别涉及一种海量日志数据智能运维系统。

背景技术

随着日志文件的容量和类型的增长，对日志数据进行分析、追踪潜在的问题、发现错误变得越来越难，尤其是在多日志相关性分析出现之后。即便在最佳状态下，也需要经验丰富的操作人员跟踪事件链、过滤噪音，并最终诊断出导致复杂问题产生的根本原因。

传统的运维产品需要登陆每一台服务器，使用脚本命令或程序查看，操作繁琐，容易出错，数据之间是孤立分散的，无法进行关联，无法提取出其中的共性，只能做简单搜索和统计，无法满足分析要求，而且没有实时监控和报警，如程序出错日志。运维不要限制于系统运维方面，更要多考虑业务的可用性、可靠性，尝试从日志中提取数据做到“用户体验优化”和“运营决策辅助”，虽然这部分工作以往都由产品策划或者数据挖掘工程师承担，但是运维可以从我们熟悉的系统层面分析业务数据，也就能更加全面得分析业务，提供决策辅助。

发明内容

为了解决现有技术的架构下，海量日志数据量大、数据孤立、分析困难的现状，本发明提出了一种海量日志智能运维系统。本发明提供了一种海量日志数据智能运维系统，其技术方案如下所述：

一种海量日志数据智能运维系统，包括

1)日志采集模块：收集目标机上的应用日志、操作系统日志和网络设备日志并将日志数据结构化后输出给日志处理模块；

2)日志处理模块，分为实时处理和离线处理，实时处理包括实时统计、实时告警、实时分析，离线处理包括数据批量存储、离线分析、机器学习；之后将处理后的信息发送给日志存储模块；

3)日志存储模块，是存储原始日志数据、索引数据、统计分析数据和资源配置数据，包括MySQL关系数据库、Redis内存数据库、Elasticsearch搜索引擎、HBase列存储数据库；

4)业务应用模块，通过web界面提供查询统计、监督报警、智能报表、仪表盘、知识库功能，数据从日志存储模块读出。

日志采集模块包括主动采集和被动采集两种方式，所述主动采集是通过代理读取日志文件来实现日志采集；所述被动采集是通过Syslog、SNMP以及OPSEC各协议来实现日志采集。

在日志处理模块中，所述实时处理包括以下功能，1)实时统计：统计每种数据类型的数据量；2)实时告警：按照用户下发的告警规则及时发现问题，并以页面消息、短信、邮件的形式通知用户；3)实时分析：根据机器学习提供的模型分析日志数据，实现运行状态监测、个性化推荐。

在日志处理模块中，所述离线处理包括以下功能，1)数据批量存储：原始日志存入HBase，Elasticsearch创建日志索引；2)离线分析：数据关联分析、数据血缘分析等；3)机器学习：通过监督学习和非监督学习构造分析模型，为实时分析功能提供支持。

日志存储模块中，其中，

1)原始日志数据存储，将原始日志存入HBase列存储数据库中；

2)索引数据存储，由Elasticsearch搜索引擎来为日志数据创建索引；

3)统计分析数据存储，将统计分析结果存入Redis内存数据库中；

4)资源配置数据存储，将资源配置数据存入MySQL关系数据库中。

业务应用模块中，其中，

1)查询统计，搜索的四种方式包括范围查询、正则表达式、NOT/AND/OR布尔值和字段过滤；

2)监督报警，支持针对日志设置条件触发式的监控告警，告警条件触发后，能够通过页面消息、短信或者邮件发送给预先设置的告警接收人，通过对日志设定不同的触发条件，实现基于业务逻辑的监控告警；

3)智能报表，将用户搜索数据和统计图表生成报表，同时包含通过分析生成的预测信息和决策信息；

4)仪表盘，以可视化配置的方式，让业务人员和技术人员都能够根据需求来自定义分析模型；仪表盘支持包括图形视图面板、表格视图面板、数字视图面板和文本视图面板，能够通过组合不同的面板来完成复杂的报表呈现；

5)知识库，用于收集、处理、分享知识，能够为其他功能模块出现的问题提供解决方案。

查询统计的功能中，每次搜索都会为用户生成简单直观的时间序列趋势图，这是搜索时间范围内所有索引日志事件的直方图，能够利用直方图比较随着时间推移的日志属性。

日志处理模块的离线处理中，离线分析包括对数据关联分析、数据血缘分析。

日志处理模块的离线处理中，机器学习寻找相关日志的具体步骤包括：

(1)预处理：

1)切分日志数据；

2)扔掉出现过于频繁，而又对检测相关日志没有帮助的词语；

3)扔掉出现频率很低，只有很小可能出现在未来日志中的词语；

(2)向量化：对每一条日志中预处理后的词语进行统计，将词语出现的次数记录下来并表示成一个向量；

(3)聚类计算：通过步骤(2)中每条日志数据产生的特征向量，将日志数据分成一系列相互之间没有关系的簇，使一个簇中的日志数据相互之间非常相似，而不同簇之间很不相似；

(4)相关性比较：将新来的日志数据向量化，并与所有簇进行比较，将与新日志距离最小的簇分配给该日志。

所述海量日志数据智能运维系统能够满足海量大数据查询的要求，并通过机器学习方法提供了高级分析能力，能实现异常检测，提供预测性的洞察力，并能准确指出问题根源及影响范围。

附图说明

图1是系统架构图；

图2为系统主流程图；

图3为寻找相关日志的流程图。

具体实施方式

针对互联网应用中的海量日志数据量大、数据孤立、分析困难的问题，本发明提出了海量日志智能运维系统，包括日志采集模块：收集目标机上的日志数据并将数据结构化后输出给处理模块；日志处理模块：分为实时处理和离线处理，实时处理主要包括实时统计、实时告警、实时分析，离线处理主要包括数据批量存储、离线分析、机器学习；日志存储模块：主要包括原始日志数据的存储、索引数据的存储、统计分析数据的存储、资源配置数据的存储；业务应用模块：通过web界面提供查询统计、监督报警、智能报表、仪表盘、知识库等功能。

以下实施例仅用于说明本发明而不是限制，并且在应用上可以延伸到其它的修改、变化、应用和实施例，同时认为所有这样的修改、变化、应用和实施例都在本发明的范围内。

本发明主要涉及日志采集、日志处理、日志存储和业务应用四个模块。

日志采集模块，主要是收集目标机上的应用日志、操作系统日志和网络设备日志并将日志数据结构化后输出给存储设备。具体如下：

A1.主动(Active)采集，主要是通过代理(Agent)读取日志文件来实现日志采集。

A2.被动(Passive)采集，主要是通过Syslog、SNMP以及OPSEC等协议来实现日志采集。

日志处理模块，主要分为实时处理和离线处理，实时处理主要包括实时统计、实时告警、实时分析，离线处理主要包括数据批量存储、离线分析、机器学习。具体如下：

B1.实时处理，主要包括

B11.实时统计：统计每种数据类型的数据量；

B12.实时告警：按照用户下发的告警规则及时发现问题，并以页面消息、短信、邮件的形式通知用户；

B13.实时分析：根据机器学习提供的模型分析日志数据，实现运行状态监测(例如根据CPU、内存、IO等信息来确定当前系统的运行状态，达到提前预警的效果)、个性化推荐(例如根据用户之前的操作，推荐相似的数据或决策)等。

B2.离线处理，主要包括

B21.数据批量存储：原始日志存入HBase，Elasticsearch创建索引；

B22.离线分析：数据关联分析(例如多个应用在一定时间范围内同时出现问题，那么这些问题可能存在一定的关系)、数据血缘分析(数据生产的路径，例如通过数据A数据B产生了数据C，那么C的父血缘就是A和B，反之亦然)等；

B23.机器学习：通过监督学习(分类和回归)和非监督学习(聚类)构造分析模型，为分析功能提供支持(例如寻找相关的日志)。

(1)通过机器学习寻找相关日志的流程如附图3所示，具体步骤包括：

B231.预处理：

切分日志数据；

扔掉出现过于频繁，而又对检测相关日志没有帮助的

词语；

扔掉出现频率很低，只有很小可能出现在未来日志中

的词语。

B232.向量化：对每一条日志中预处理后的词语进行统计，将词语出现的次数记录下来并表示成一个向量。

B233.聚类计算：通过B232中每条日志数据产生的特征向量，将日志数据分成一系列相互之间没有关系的簇，使一个簇中的日志数据相互之间非常相似，而不同簇之间很不相似。

B234.相关性比较：将新来的日志数据向量化，并与所有簇进行比较，将与新日志距离最小的簇分配给该日志。

日志存储模块，主要是存储原始日志数据、索引数据、统计分析数据和资源配置数据。包括MySQL关系数据库、Redis内存数据库、Elasticsearch搜索引擎、HBase列存储数据库。具体如下：

C1.原始日志数据存储，主要是将原始日志存入HBase列存储数据库中。

C2.索引数据存储，主要由Elasticsearch搜索引擎来为日志数据创建索引。

C3.统计分析数据存储，主要是将统计分析结果存入Redis内存数据库中。

C4.资源配置数据存储，主要是将资源配置数据存入MySQL关系数据库中。

业务应用模块，主要是通过web界面提供查询统计、监督报警、智能报表、仪表盘、知识库等功能。具体如下：

D1.查询统计，提供了功能强大、简单易用的方法来检索日志，可以快速过滤并找到相关的结果，搜索的四种方式包括范围查询、正则表达式、NOT/AND/OR布尔值和字段过滤；每次搜索，都会为用户生成简单直观的时间序列趋势图，这是搜索时间范围内所有索引日志事件的直方图，可以利用直方图比较随着时间推移的日志属性。使用统计视图，用户可以得到更多图表和统计结果，并且可将图表保存到自定义仪表盘上随时查看。

D2.监督报警，支持针对日志设置条件触发式的监控告警。告警条件触发后，可以通过页面消息、短信或者邮件发送给预先设置的告警接收人。通过对日志设定不同的触发条件，可以实现基于业务逻辑的监控告警。

D3.智能报表，主要是将用户搜索数据和统计图表生成报表，同时包含通过分析生成的预测信息和决策信息。

D4.仪表盘，主要是以可视化配置的方式，让业务人员和技术人员都能够根据需求来自定义分析模型。仪表盘支持包括图形视图面板、表格视图面板、数字视图面板和文本视图面板，可以通过组合不同的面板来完成复杂的报表呈现。

D5.知识库，主要是用于收集、处理、分享知识，可以为其他功能模块出现的问题提供解决方案。

Claims (4)

1.一种海量日志数据智能运维系统，其特征在于：包括

日志采集模块：收集目标机上的应用日志、操作系统日志和网络设备日志并将日志数据结构化后输出给日志处理模块；

日志处理模块：分为实时处理和离线处理，实时处理包括实时统计、实时告警、实时分析，离线处理包括数据批量存储、离线分析、机器学习；之后将处理后的信息发送给日志存储模块；

在日志处理模块中，所述实时处理包括以下功能，1)实时统计：统计每种数据类型的数据量；2)实时告警：按照用户下发的告警规则及时发现问题，并以页面消息、短信、邮件的形式通知用户；3)实时分析：根据机器学习提供的模型分析日志数据，实现运行状态监测、个性化推荐；

所述离线处理包括以下功能，1)数据批量存储：原始日志存入HBase，Elasticsearch创建日志索引；2)离线分析：数据关联分析、数据血缘分析；3)机器学习：通过监督学习和非监督学习构造分析模型，为实时分析功能提供支持；

日志处理模块的离线处理中，离线分析包括对数据关联分析、数据血缘分析；

日志处理模块的离线处理中，机器学习寻找相关日志的具体步骤包括：

(1)预处理：

1)切分日志数据；

2)扔掉出现过于频繁，而又对检测相关日志没有帮助的词语；

3)扔掉出现频率很低，只有很小可能出现在未来日志中的词语；

(2)向量化：对每一条日志中预处理后的词语进行统计，将词语出现的次数记录下来并表示成一个向量；

(3)聚类计算：通过步骤(2)中每条日志数据产生的特征向量，将日志数据分成一系列相互之间没有关系的簇；

(4)相关性比较：将新来的日志数据向量化，并与所有簇进行比较，将与新日志距离最小的簇分配给该日志；

日志存储模块：是存储原始日志数据、索引数据、统计分析数据和资源配置数据，包括MySQL关系数据库、Redis内存数据库、Elasticsearch搜索引擎、HBase列存储数据库；

业务应用模块：通过web界面提供查询统计、监督报警、智能报表、仪表盘、知识库功能，数据从日志存储模块读出；

日志存储模块中，其中，

1)原始日志数据存储，将原始日志存入HBase列存储数据库中；

2)索引数据存储，由Elasticsearch搜索引擎来为日志数据创建索引；

3)统计分析数据存储，将统计分析结果存入Redis内存数据库中；

4)资源配置数据存储，将资源配置数据存入MySQL关系数据库中。

2.根据权利要求1所述的海量日志数据智能运维系统，其特征在于：日志采集模块包括主动采集和被动采集两种方式，所述主动采集是通过代理读取日志文件来实现日志采集；所述被动采集是通过Syslog、SNMP以及OPSEC各协议来实现日志采集。

3.根据权利要求1所述的海量日志数据智能运维系统，其特征在于：业务应用模块中，其中，

1)查询统计，搜索的四种方式包括范围查询、正则表达式、NOT/AND/OR布尔值和字段过滤；

2)监督报警，支持针对日志设置条件触发式的监控告警，告警条件触发后，能够通过页面消息、短信或者邮件发送给预先设置的告警接收人，通过对日志设定不同的触发条件，实现基于业务逻辑的监控告警；

3)智能报表，将用户搜索数据和统计图表生成报表，同时包含通过分析生成的预测信息和决策信息；

4)仪表盘，以可视化配置的方式，让业务人员和技术人员都能够根据需求来自定义分析模型；仪表盘支持包括图形视图面板、表格视图面板、数字视图面板和文本视图面板，能够通过组合不同的面板来完成复杂的报表呈现；

5)知识库，用于收集、处理、分享知识，能够为其他功能模块出现的问题提供解决方案。

4.根据权利要求3所述的海量日志数据智能运维系统，其特征在于：查询统计的功能中，每次搜索都会为用户生成简单直观的时间序列趋势图，这是搜索时间范围内所有索引日志事件的直方图，能够利用直方图比较随着时间推移的日志属性。

Images