CN109947707A - 一种基于Solr的用于Insight HD平台的日志收集分析系统及方法 - Google Patents

Abstract

本发明公开一种基于Solr的用于Insight HD平台的日志收集分析系统，涉及日志分析技术领域。针对Insight HD平台的各组件遇到问题手动查找日志效率低的缺陷，采用方案包括：多个日志监控及处理装置、日志索引装置和Web页面，多个日志监控及处理装置用于采集、监控并解析过滤多个节点多个组件的日志文件，日志索引装置用于整理过滤后的日志文件并发送至Solr建立索引，Web页面用于展示建立的日志文件索引信息，用户通过Web页面进行直观查看，并筛选找到最想查看的日志文件信息，从而了解各个组件的运行情况，解决实际应用中日志文件分析效率低的问题。本发明还公开一种基于Solr的用于Insight HD平台的日志收集分析方法，与上述系统结合，缩短故障排查时间。

Description

一种基于Solr的用于Insight HD平台的日志收集分析系统及 方法

技术领域

本发明涉及日志分析技术领域，具体的说是一种基于Solr的用于Insight HD平台的日志收集分析系统及方法。

背景技术

日志文件是关于系统或者软件状态的相关记录。日志文件收集和分析可以帮助用户更好的了解系统及软件当前的运行状态，方便对集群系统进行安全维护、性能优化以及故障排查。因此，日志文件采集分析工具已经成为维持系统正常运行不可缺少的工具。

Solr是一个高性能、采用Java开发、基于Lucene的全文搜索服务器。它对外提供类似于Web-service的API接口,并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。用户可以通过http请求，向搜索引擎服务器提交一定格式的文件，生成索引；也可以通过Http Get操作提出查找请求，并得到查询结果。

Insight HD是浪潮研发的、以Hadoop生态体系为主线，通过构建大规模分布式存储与计算集群，实现多源信息的融合采集、数据组织与管理、数据存储与计算等处理过程，深度挖掘海量数据的全新价值并实现海量数据的高效分析与利用。该平台提供了很多大数据处理组件，这些组件部署在同一个集群上，并且每个组件都会有相应的日志文件。

Insight HD是一个大数据平台，提供用于数据存储、管理、计算的各种大数据处理组件。目前Insight HD日志文件分析主要是靠工程师去各节点查看日志文件，当InsightHD平台所用节点或组件较多时，遇到问题都要靠工程师手动去各个节点查找分析日志文件，分析耗时，效率低下。

针对这一日志文件分析缺陷，设计研发一种基于Solr的用于Insight HD平台的日志收集分析系统及方法，通过监控各节点上各组件的日志文件，过滤出所需的日志文件信息，将其发送到Solr进行索引，用户可在前端查看分析各组件的日志文件，从而了解各个组件的运行情况。

发明内容

本发明针对目前技术发展的需求和不足之处，针对Insight HD大数据平台上的各组件遇到问题都要靠工程师手动去各个节点查找分析日志文件、分析耗时、效率低下的问题，提供一种基于Solr的用于Insight HD平台的日志收集分析系统及方法，通过监控各节点上各组件的日志文件，过滤出所需的日志文件信息，将其发送到Solr进行索引，用户可在前端查看分析各组件的日志文件，从而了解各个组件的运行情况。

首先，本发明保护一种基于Solr的用于Insight HD平台的日志收集分析系统，该系统包括多个日志监控及处理装置、日志索引装置和Web页面，多个日志监控及处理装置用于采集、监控并解析过滤多个节点多个组件的日志文件，日志索引装置用于整理过滤后的日志文件并发送至Solr建立索引，Web页面用于展示建立的日志文件索引信息，用户通过Web页面进行直观查看，用户在查看过程中可以根据Web页面展示的日志文件索引信息进行筛选，以找到最想查看的日志文件信息。

具体的，所涉及日志监控及处理装置包括：

采集模块，用于采集节点和组件的日志文件；

监控模块，用于监控所采集的日志文件；

解析模块，用于解析日志文件的配置级别；

过滤模块，用于根据日志文件的配置级别过滤日志文件信息；

处理模块，用于将过滤后的日志文件信息进行分类标记并发送至日志索引装置进行存储。

具体的，所涉及采集模块采集日志文件的过程中，首先需要配置采集日志文件所需的信息，该信息包括采集的组件、组件的日志文件目录、日志文件格式、日志文件级别，随后，日志监控及处理装置根据配置信息对采集日志文件进行解析过滤，解析模块根据配置信息获取日志文件的配置级别后传送至过滤模块。

具体的，所涉及日志监控及处理装置还包括选择模块；

所述选择模块用于选择包含异常信息的日志文件，并将包含异常信息的日志文件传送至监控模块进行监控。

具体的，所涉及监控模块还用于监控日志文件是否发生更新，在日志文件发生更新时，将该更新后的日志文件发送至解析模块，由解析模块再次解析获取该更新后日志文件的配置级别。

其次，本发明还保护一种基于Solr的用于Insight HD平台的日志收集分析方法，该方法的实现内容包括：

步骤一、采集多个节点多个组件的日志文件，并配置采集日志文件所需的信息；

步骤二、监控并解析过滤多个节点多个组件的日志文件；

步骤三、存储过滤后的日志文件并发送至Solr建立索引；

步骤四、利用Web页面展示建立的日志文件索引信息。

具体的，采集日志文件所需的信息包括采集的组件、组件的日志文件目录、日志文件格式、日志文件级别。

具体的，步骤一的具体执行内容包括：

步骤1.1、采集节点和组件的日志文件；

步骤1.2、监控所采集的日志文件；

步骤1.3、解析日志文件的配置级别；

步骤1.4、根据日志文件的配置级别过滤日志文件信息；

步骤1.5、将过滤后的日志文件信息进行分类标记并发送至日志索引装置进行存储。

具体的，在执行步骤1.2之前，需要在采集的日志文件中选出包含异常信息的日志文件，并对包含异常信息的日志文件进行监控。

具体的，在执行步骤1.2时，还需要监控日志文件是否发生更新，在日志文件发生更新时，将该更新后的日志文件发送步骤1.3。

本发明的一种基于Solr的用于Insight HD平台的日志收集分析系统及方法，与现有技术相比具有的有益效果是：

1)一方面，本发明的日志收集分析系统包括多个日志监控及处理装置、日志索引装置和Web页面，多个日志监控及处理装置用于采集、监控并解析过滤多个节点多个组件的日志文件，日志索引装置用于整理过滤后的日志文件并发送至Solr建立索引，Web页面用于展示建立的日志文件索引信息，用户通过Web页面进行直观查看，用户在查看过程中可以根据Web页面展示的日志文件索引信息进行筛选，以找到最想查看的日志文件信息，从而了解各个组件的运行情况，解决了实际应用中日志文件分析效率低的问题；

2)另一方面，本发明的日志收集分析方法通过采集多节点多组件的日志文件，对日志文件建立索引，用户通过在Web页面筛选，快速直观的展示想要查看的日志文件，大大缩短故障排查的时间，同样能够便于用户了解各个组件的运行情况，为系统维护及问题定位提供了极大的便利。

附图说明

附图1是本发明实施例一的连接框图；

附图2是图1中日志监控及处理装置的连接框图；

附图中标号表示：

A、日志监控及处理装置，B、日志索引装置，C、Web页面；

1、采集模块，2、监控模块，3、解析模块，4、过滤模块，

5、处理模块，6、选择模块。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有实施例,都在本发明的保护范围之内。

实施例一：

结合附图1，本实施例提出一种基于Solr的用于Insight HD平台的日志收集分析系统，该系统包括三个日志监控及处理装置A、日志索引装置B和Web页面C，三个日志监控及处理装置A用于采集、监控并解析过滤多个节点多个组件的日志文件，日志索引装置B用于整理过滤后的日志文件并发送至Solr建立索引，Web页面C用于展示建立的日志文件索引信息，用户通过Web页面C进行直观查看，用户在查看过程中可以根据Web页面C展示的日志文件索引信息进行筛选，以找到最想查看的日志文件信息。

结合附图2，在本实施例中，所涉及日志监控及处理装置A包括：

采集模块1，用于采集节点和组件的日志文件；

监控模块2，用于监控所采集的日志文件；

解析模块3，用于解析日志文件的配置级别；

过滤模块4用于根据日志文件的配置级别过滤日志文件信息；

处理模块5，用于将过滤后的日志文件信息进行分类标记并发送至日志索引装置B进行存储。

在本实施例中，所涉及采集模块1采集日志文件的过程中，首先需要配置采集日志文件所需的信息，该信息包括采集的组件、组件的日志文件目录、日志文件格式、日志文件级别，随后，日志监控及处理装置A根据配置信息对采集日志文件进行解析过滤，解析模块3根据配置信息获取日志文件的配置级别后传送至过滤模块。

在本实施例中，所涉及日志监控及处理装置A还包括选择模块6；

所述选择模块6用于选择包含异常信息的日志文件，并将包含异常信息的日志文件传送至监控模块2进行监控。

在本实施例中，所涉及监控模块2还用于监控日志文件是否发生更新，在日志文件发生更新时，将该更新后的日志文件发送至解析模块3，由解析模块3再次解析获取该更新后日志文件的配置级别。

本实施例的日志收集分析系统包括三个日志监控及处理装置A、日志文件索引装置B和Web页面C，三个日志监控及处理装置A用于采集、监控并解析过滤多个节点多个组件的日志文件，日志索引装置B用于整理过滤后的日志文件并发送至Solr建立索引，Web页面C用于展示建立的日志文件索引信息，用户通过Web页面C进行直观查看，用户在查看过程中可以根据Web页面C展示的日志文件索引信息进行筛选，以找到最想查看的日志文件信息，从而了解各个组件的运行情况，解决了实际应用中日志文件分析效率低的问题。

实施例二：

结合附图1，本实施例提出一种基于Solr的用于Insight HD平台的日志收集分析方法，该方法的实现内容包括：

步骤一、采集多个节点多个组件的日志文件，并配置采集日志文件所需的信息；

步骤二、监控并解析过滤多个节点多个组件的日志文件；

步骤三、存储过滤后的日志文件并发送至Solr建立索引；

步骤四、利用Web页面C展示建立的日志文件索引信息。

具体的，采集日志文件所需的信息包括采集的组件、组件的日志文件目录、日志文件格式、日志文件级别。

在本实施例中，步骤一的具体执行内容包括：

步骤1.1、采集节点和组件的日志文件；

步骤1.2、监控所采集的日志文件；

步骤1.3、解析日志文件的配置级别；

步骤1.4、根据日志文件的配置级别过滤日志文件信息；

步骤1.5、将过滤后的日志文件信息进行分类标记并发送至日志索引装置B进行存储。

在本实施例中，在执行步骤1.2之前，需要在采集的日志文件中选出包含异常信息的日志文件，并对包含异常信息的日志文件进行监控。

在本实施例中，在执行步骤1.2时，还需要监控日志文件是否发生更新，在日志文件发生更新时，将该更新后的日志文件发送步骤1.3。

本实施例的日志收集分析方法通过采集多节点多组件的日志文件，对日志文件建立索引，用户通过在Web页面C筛选，快速直观的展示想要查看的日志文件，大大缩短故障排查的时间，能够便于用户了解各个组件的运行情况，为系统维护及问题定位提供了极大的便利。

以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容，并不用于限制本发明的保护范围，本发明的技术方案不限制于上述具体实施方式内。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (10)

1.一种基于Solr的用于Insight HD平台的日志收集分析系统，其特征在于,该系统包括多个日志监控及处理装置、日志索引装置和Web页面，多个日志监控及处理装置用于采集、监控并解析过滤多个节点多个组件的日志文件，日志索引装置用于整理过滤后的日志文件并发送至Solr建立索引，Web页面用于展示建立的日志文件索引信息，用户通过Web页面进行直观查看，用户在查看过程中可以根据Web页面展示的日志文件索引信息进行筛选，以找到最想查看的日志文件信息。

2.根据权利要求1所述的一种基于Solr的用于Insight HD平台的日志收集分析系统，其特征在于，所述日志监控及处理装置包括：

采集模块，用于采集节点和组件的日志文件；

监控模块，用于监控所采集的日志文件；

解析模块，用于解析日志文件的配置级别；

过滤模块，用于根据日志文件的配置级别过滤日志文件信息；

处理模块，用于将过滤后的日志文件信息进行分类标记并发送至日志索引装置进行存储。

3.根据权利要求2所述的一种基于Solr的用于Insight HD平台的日志收集分析系统，其特征在于，所述采集模块采集日志文件的过程中，首先需要配置采集日志文件所需的信息，该信息包括采集的组件、组件的日志文件目录、日志文件格式、日志文件级别，随后，日志监控及处理装置根据配置信息对采集日志文件进行解析过滤，解析模块根据配置信息获取日志文件的配置级别后传送至过滤模块。

4.根据权利要求2所述的一种基于Solr的用于Insight HD平台的日志收集分析系统，其特征在于，所述日志监控及处理装置还包括选择模块；

所述选择模块用于选择包含异常信息的日志文件，并将包含异常信息的日志文件传送至监控模块进行监控。

5.根据权利要求2所述的一种基于Solr的用于Insight HD平台的日志收集分析系统，其特征在于，所述监控模块还用于监控日志文件是否发生更新，在日志文件发生更新时，将该更新后的日志文件发送至解析模块，由解析模块再次解析获取该更新后日志文件的配置级别。

6.一种基于Solr的用于Insight HD平台的日志收集分析方法，其特征在于，所述方法的实现内容包括：

步骤一、采集多个节点多个组件的日志文件，并配置采集日志文件所需的信息；

步骤二、监控并解析过滤多个节点多个组件的日志文件；

步骤三、存储过滤后的日志文件并发送至Solr建立索引；

步骤四、利用Web页面展示建立的日志文件索引信息。

7.根据权利要求6所述的一种基于Solr的用于Insight HD平台的日志收集分析方法，其特征在于，采集日志文件所需的信息包括采集的组件、组件的日志文件目录、日志文件格式、日志文件级别。

8.根据权利要求6所述的一种基于Solr的用于Insight HD平台的日志收集分析方法，其特征在于，步骤一的具体执行内容包括：

步骤1.1、采集节点和组件的日志文件；

步骤1.2、监控所采集的日志文件；

步骤1.3、解析日志文件的配置级别；

步骤1.4、根据日志文件的配置级别过滤日志文件信息；

步骤1.5、将过滤后的日志文件信息进行分类标记并发送至日志索引装置进行存储。

9.根据权利要求8所述的一种基于Solr的用于Insight HD平台的日志收集分析方法，其特征在于，在执行步骤1.2之前，需要在采集的日志文件中选出包含异常信息的日志文件，并对包含异常信息的日志文件进行监控。

10.根据权利要求8所述的一种基于Solr的用于Insight HD平台的日志收集分析方法，其特征在于，在执行步骤1.2时，还需要监控日志文件是否发生更新，在日志文件发生更新时，将该更新后的日志文件发送步骤1.3。