CN107273267A - 基于elastic组件的日志分析方法 - Google Patents

Abstract

本发明公开了一种基于elastic组件的日志分析方法，包括：服务器获取日志数据，日志数据包含系统日志和业务日志；创建消息队列，将日志数据写入消息队列；从消息队列中读取日志数据，根据预设处理规则对日志数据进行预处理，得到预处理日志数据；利用elastic组件存储预处理日志数据；根据预设分析规则对预处理日志数据进行分析处理，得到分析结果；当分析结果超过预设阈值时，向监控终端发送提示信息；将分析结果和提示信息生成可视化分析报告，并进行显示。

Description

基于elastic组件的日志分析方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于elastic组件的日志分析方法。

背景技术

随着互联网技术的蓬勃发展，用户越来越普遍地通过终端接入互联网办理各种业务。业务规模不断扩大，系统功能会变得越来越复杂,为了应付业务的快速发展，降低开发难度，排除性能瓶颈，系统会不断拆分，演化成包含多种子服务的分布式系统，各子服务通过远程过程调用协议(Remote Procedure Call Protocol,RPC)相互调用，最后完成业务流程。这个拆分和进化的过程是不可逆的，子系统越变越多，各种专用功能组件会不断被引入，系统和机器规模迅速膨胀。

当业务发展到一定的规模时，几个运维或者开发人员根本无法全面的了解系统中的每个逻辑，出现故障后登录各台服务器，使用grep/sed/awk等Linux脚本工具去日志里查找故障原因，排障时间长，不容易及时发现故障根源。

现有技术中的日志分析系统，如splunk、日志易、logz.io等系统价格昂贵，数据安全性无法保证，与指定的业务逻辑结合度不高。

发明内容

本发明提供了一种基于elastic组件的日志分析方法，以解决现有技术中的日志分析系统价格昂贵，数据安全性无法保证，与指定的业务逻辑结合度不高的问题。

本发明实施例提供了一种基于elastic组件的日志分析方法，包括：

服务器获取日志数据，所述日志数据包含系统日志和业务日志；

创建消息队列，将所述日志数据写入所述消息队列；

从所述消息队列中读取所述日志数据，根据预设处理规则对所述日志数据进行预处理，得到预处理日志数据；

利用elastic组件存储所述预处理日志数据；

根据预设分析规则对所述预处理日志数据进行分析处理，得到分析结果；

当所述分析结果超过预设阈值时，向监控终端发送提示信息；

将所述分析结果和所述提示信息生成可视化分析报告，并进行显示。

进一步的，所述根据预设处理规则对所述日志数据进行预处理，得到预处理日志数据具体包括：

对所述日志数据按照字段进行过滤，并将过滤后的日志数据根据业务类型添加分类标识。

进一步的，在利用elastic组件存储所述预处理日志数据之后，所述方法还包括：

所述服务器接收终端发送的查询请求，所述查询请求包含查询条件；

根据所述查询条件在elastic组件中实时查询日志数据，并发送给所述终端。

进一步的，所述根据预设分析规则对所述预处理日志数据进行分析处理，得到分析结果具体包括：

根据预设的报错规则对预处理日志数据中的第一业务的出错信息进行统计，得到所述第一业务的出错次数。

进一步的，所述方法还包括：

当所述第一业务执行的出错次数超过所述第一业务报错阈值时，所述服务器向所述监控终端发送报警信息。

进一步的，所述根据预设分析规则对所述预处理日志数据进行分析处理，得到分析结果具体包括：

分别根据URL地址、MAC地址、IP地址从预处理日志数据中提取预设时间段内用户的访问数据；

根据所述访问数据，统计预设时间段内用户的点击率。

进一步的，所述将所述分析结果和所述提示信息生成分析报告，并进行可视化显示具体包括：

所述服务器将所述分析结果和所述提示信息生成可视化分析报告；

接收终端发送的分析报告的获取请求，所述获取请求中包含所述终端的ID信息；

根据所述终端的ID信息将所述可视化分析报告发送到所述终端进行显示。

本发明实施例提供的基于elastic组件的日志分析方法，服务器获取日志数据，日志数据包含系统日志和业务日志；创建消息队列，将日志数据写入消息队列；从消息队列中读取日志数据，根据预设处理规则对日志数据进行预处理，得到预处理日志数据；利用elastic组件存储预处理日志数据；根据预设分析规则对预处理日志数据进行分析处理，得到分析结果；当分析结果超过预设阈值时，向监控终端发送提示信息；将分析结果和提示信息生成可视化分析报告，并进行显示。本发明实施例提供的方法，基于开源的elastic组件对日志数据进行处理，降低了成本；根据预设的分析规则分析日志数据，可以与指定的业务逻辑有效结合；无需第三方分析系统参与，提高了数据的安全性。

附图说明

图1为本发明实施例提供的基于elastic组件的日志分析方法的流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明技术方案中的终端具体包括具有处理能力的终端设备，例如，台式电脑、笔记本电脑、平板电脑等。

下面结合图1所示的基于elastic组件的日志分析方法流程图，对本发明实施例提供的基于elastic组件的日志分析方法进行详细说明。

如图1所示，本发明提供的基于elastic组件的日志分析方法主要包括如下步骤：

步骤101，服务器获取日志数据，日志数据包含系统日志和业务日志。

具体的，在所有需要收集信息的服务器端通过轻量级数据发送工具fiilebeat或linux系统日志收集发送工具rsyslog配置需要收集的日志路径并滤筛日志格式,根据日志路径得到系统日志和业务日志，并将不满足格式要求的日志过滤掉。

需要说明的是，日志数据收集发送工具除了fiilebeat以及rsyslog之外，也可以根据需要选择其他工具，本发明包含但不限于此。

步骤102，创建消息队列，将日志数据写入消息队列。

在一个具体的实施例中，利用开源集群工具zookeeper与开源消息队列创建工具Kafka的集群创建消息队列。

在分布式系统中，一次分布式事务关联的是多个节点，其中每一个节点出现问题都会成为整个事务处理流程中的瓶颈。如果逻辑节点与数据库之间没有一个起到缓冲作用的节点，那就是每次操作都要访问数据库，会降低系统的响应速度和稳定性，创建消息队列的目的就是为了在逻辑节点与数据库之间建立缓冲节点，提高系统响应速度，而且，消息队列还能起到解耦的作用，提高了系统的稳定性。

步骤103，从消息队列中读取日志数据，根据预设处理规则对日志数据进行预处理，得到预处理日志数据。

本步骤为日志清洗的步骤，对日志数据按照字段进行过滤，并将过滤后的日志数据根据业务类型添加分类标识。

在一个具体的实施例中，可以利用日志清理工具logstatsh进行日志清理，在日志清理系统里设置日志字段的过滤规则和一些标记信息。

步骤104，利用elastic组件存储预处理日志数据。

收集清理后的日志数据通过分布式搜索和分析引擎ElasticSearch来进行存储，ElasticSearch为开源技术，从而避免了使用现有技术中价格昂贵的日志分析系统，而且，ElasticSearch能够提供数据的实时查询。

在利用elastic组件存储预处理日志数据之后，服务器接收终端发送的查询请求，查询请求包含查询条件；根据查询条件在elastic组件中实时查询日志数据，并发送给终端。

步骤105，根据预设分析规则对预处理日志数据进行分析处理，得到分析结果。

可以结合指定的业务逻辑规则和需求信息预设各种分析规则对日志数据进行分析，得到对应的分析结果。

可选的，根据预设的报错规则对预处理日志数据中的第一业务的出错信息进行统计，得到第一业务的出错次数。

可选地，分别根据URL地址、MAC地址、IP地址从预处理日志数据中提取预设时间段内用户的访问数据；根据访问数据，统计预设时间段内用户的点击率。

步骤106，当分析结果超过预设阈值时，向监控终端发送提示信息。

对于分析得到的数值类型的结果数据，判断该结果数值是否超过对应的预设阈值，如果超过，则通过信息或邮件的方式将提示信息发送给特定的监控人员终端。

可选的，当第一业务执行的出错次数超过第一业务报错阈值时，服务器向监控终端发送报警信息。

服务器接收原始日志，统一管理并建立索引，能在几秒钟内返回搜索分析结果，帮助及时定位故障原因。结合告警监控，在故障发生或即将发生的时候就发出告警。通过前台展示功能可以随时查看系统状况，对系统情况了如指掌，避免事后救火的被动。

步骤107，将分析结果和提示信息生成可视化分析报告，并进行显示。

具体的，服务器可以将分析结果和提示信息生成可视化分析报告进行显示,也可以接收终端发送的分析报告的获取请求，获取请求中包含终端的ID信息；根据终端的ID信息将可视化分析报告发送到终端进行显示。

例如，分析计算出的数据结果和报警信息和相关的原始数据可以通过数据可视化展示工具Kibana、grafana等展示出来，发送给指定的终端设备，或者根据终端设备的请求进行发送。

本发明实施例提供的基于elastic组件的日志分析方法，服务器获取日志数据，日志数据包含系统日志和业务日志；创建消息队列，将日志数据写入消息队列；从消息队列中读取日志数据，根据预设处理规则对日志数据进行预处理，得到预处理日志数据；利用elastic组件存储预处理日志数据；根据预设分析规则对预处理日志数据进行分析处理，得到分析结果；当分析结果超过预设阈值时，向监控终端发送提示信息；将分析结果和提示信息生成可视化分析报告，并进行显示。本发明实施例提供的方法，基于开源的elastic组件对日志数据进行处理，降低了成本；根据预设的分析规则分析日志数据，可以与指定的业务逻辑有效结合；无需第三方分析系统参与，提高了数据的安全性。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件来实现，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。具体地，所述运算和控制部分都可以通络逻辑硬件实现，其可以是使用集成电路工艺制造出来的逻辑集成电路，本实施例对此不作限定。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明实施例的具体实施方式而已，并不用于限定本发明实施例的保护范围，凡在本发明实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (7)

1.一种基于elastic组件的日志分析方法，其特征在于，所述方法包括：

服务器获取日志数据，所述日志数据包含系统日志和业务日志；

创建消息队列，将所述日志数据写入所述消息队列；

从所述消息队列中读取所述日志数据，根据预设处理规则对所述日志数据进行预处理，得到预处理日志数据；

利用elastic组件存储所述预处理日志数据；

根据预设分析规则对所述预处理日志数据进行分析处理，得到分析结果；

当所述分析结果超过预设阈值时，向监控终端发送提示信息；

将所述分析结果和所述提示信息生成可视化分析报告，并进行显示。

2.根据权利要求1所述的基于elastic组件的日志分析方法，其特征在于，所述根据预设处理规则对所述日志数据进行预处理，得到预处理日志数据具体包括：

对所述日志数据按照字段进行过滤，并将过滤后的日志数据根据业务类型添加分类标识。

3.根据权利要求1所述的基于elastic组件的日志分析方法，其特征在于，在利用elastic组件存储所述预处理日志数据之后，所述方法还包括：

所述服务器接收终端发送的查询请求，所述查询请求包含查询条件；

根据所述查询条件在elastic组件中实时查询日志数据，并发送给所述终端。

4.根据权利要求1所述的基于elastic组件的日志分析方法，其特征在于，所述根据预设分析规则对所述预处理日志数据进行分析处理，得到分析结果具体包括：

根据预设的报错规则对预处理日志数据中的第一业务的出错信息进行统计，得到所述第一业务的出错次数。

5.根据权利要求4所述的基于elastic组件的日志分析方法，其特征在于，所述方法还包括：

当所述第一业务的出错次数超过所述第一业务报错阈值时，所述服务器向所述监控终端发送报警信息。

6.根据权利要求1所述的基于elastic组件的日志分析方法，其特征在于，所述根据预设分析规则对所述预处理日志数据进行分析处理，得到分析结果具体包括：

分别根据URL地址、MAC地址、IP地址从预处理日志数据中提取预设时间段内用户的访问数据；

根据所述访问数据，统计预设时间段内用户的点击率。

7.根据权利要求1所述的基于elastic组件的日志分析方法，其特征在于，所述将所述分析结果和所述提示信息生成分析报告，并进行可视化显示具体包括：

所述服务器将所述分析结果和所述提示信息生成可视化分析报告；

接收终端发送的分析报告的获取请求，所述获取请求中包含所述终端的ID信息；

根据所述终端的ID信息将所述可视化分析报告发送到所述终端进行显示。