CN107291872A - 一种基于大量数据的平台日志搜索呈现方法 - Google Patents

Abstract

本发明涉及大数据虚拟化平台技术领域，特别涉及一种基于大量数据的平台日志搜索呈现方法。本发明采用ELK系统获取到平台的所有日志，并且在获取日志的过程中对日志进行统一规范处理和必要字段的添加；其次，本发明按照需求日志在日志搜索中提供字段和时间的过滤、搜索、查询功能；最终，日志搜索页面的测试与修改，包括后台接口返回数据的判断与处理，搜索页面未考虑到的各种问题。本发明的一种基于大量数据的平台日志搜索呈现方法，用户只需在页面中选中过滤条件或按钮，就可以实现自己的查询需求，这样不仅方便，又大大缩短了查询时间。

Description

一种基于大量数据的平台日志搜索呈现方法

技术领域

本发明涉及大数据虚拟化平台技术领域，特别涉及一种基于大量数据的平台日志搜索呈现方法。

背景技术

由于自主研发的大数据虚拟化平台，功能、业务复杂且多元化，以致每时每刻都会生成大量的日志。这些日志来源于平台的iaas环境、网络、服务各个方面。系统运维和开发人员可以通过日志了解平台的基础环境、资源使用状况、检查服务配置过程中的错误及错误发生的原因等。

目前普遍使用的日志管理系统为ELK（ ElasticSearch， Logstash， Kibana 集中式日志系统）。其中 Logstash收集日志，ElasticSearch存储日志到集群中，Kibana负责从ES集群中查询数据生成图表，即Kibana负责对日志进行呈现。但是利用Kibana进行日志呈现的前提是：系统运维和开发人员需要学会使用Kibana并登陆到Kibana页面进行查询，流程较为复杂。同时Kibana无法快速满足业务的某些需求，比如基于某条日志，查询与该日志匹配的上下50条日志等。

发明内容

为了解决现有技术的问题，本发明提供了一种基于大量数据的平台日志搜索呈现方法，用户只需在页面中选中过滤条件或按钮，就可以实现自己的查询需求，这样不仅方便，又大大缩短了查询时间。

本发明所采用的技术方案如下：

一种基于大量数据的平台日志搜索呈现方法，包括以下步骤：

A、采用ELK系统获取到平台的所有日志，并且在获取日志的过程中对日志进行统一规范处理，同时，在所有日志添加固定字段；

B、设计日志搜索页面，按照需求日志在日志搜索中提供过滤、搜索、查询功能；

C、利用前台代码进行日志搜索页面的完成与优化。

步骤A中，对日志进行统一规范处理包括对时间格式的统一以及日志级别的统一，固定字段具体包括：日志类型、路径、服务定义Id和服务Id。

步骤B具体包括：

B1、获取到与日志搜索所有有关的后台接口，并为其添加使用权限；

B2、日志搜索展现方式设计为表格和柱状图两种，表格负责展现每条日志的具体信息，柱状图用来呈现固定时间内日志量统计；

B3、设计日志搜索的字段过滤条件，包括日志按类型、级别、服务定义Id、服务Id进行查询；

B4、设计日志搜索的时间过滤条件，使得日志的查询起始时间可以选择；

B5、设计日志的搜索条件，使得可以通过输入某一字符串对日志信息进行匹配，同时该字符串在日志中高亮显示；

B6、设计日志查询功能，在表格中，每条日志均有查询按钮，触发按钮可以查询与该日志匹配的上下50条日志。

步骤C具体包括：

C1、完成各种功能的排版与功能，呈现方法为过滤条件和搜索在同一行，其次为柱状图，然后是表格，表格中包含查询按钮；

C2、对接口返回的数据进行处理，包括err状况、空对象状况；

C3、页面完成后进行大量测试，并对测试出现的问题修改。

本发明的一种基于大量数据的平台日志搜索呈现方法基于ELK系统，在虚拟化平台完成一套系统的日志搜索方法，并以页面的方式呈现。使用者只需在页面中选中过滤条件或按钮，就可以实现自己的查询需求 。

本发明采用ELK系统获取到平台的所有日志，并且在获取日志的过程中对日志进行统一规范处理和必要字段的添加；

其次，本发明按照需求日志在日志搜索中提供字段和时间的过滤、搜索、查询功能；

最终，日志搜索页面的测试与修改，包括后台接口返回数据的判断与处理，搜索页面未考虑到的各种问题。

本发明提供的技术方案带来的有益效果是：

本发明基于ELK系统，在虚拟化平台完成一套系统的日志搜索方法，并以页面的方式呈现。运维人员、开发人员、用户只需在页面中选中过滤条件或按钮，就可以实现自己的查询需求，这样不仅方便，大大缩短了查询时间，主要的是可以对问题进行快速准确高效的定位。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于大量数据的平台日志搜索呈现方法的方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

本实施例的一种基于大量数据的平台日志搜索呈现方法实现过程示意图如附图1所示。具体实施过程如下：

首先，采用ELK系统获取到平台的所有日志，并且在获取日志的过程中必须对日志进行统一规范处理，比如时间格式的统一、日志级别的统一等。同时，为了在日志搜索页面实现更多的功能，需要在所有日志添加日志类型、路径、服务定义Id、服务Id等固定字段。

其次：日志搜索页面的设计。按照需求日志在日志搜索中提供过滤、搜索、查询功能。

日志搜索页面设计主要包括以下几个步骤：

（1）获取到与日志搜索所有有关的后台接口，并为其添加使用权限；

（2）日志搜索展现方式设计为表格和柱状图两种，表格负责展现每条日志的具体信息,柱状图用来呈现固定时间内日志量统计；

（3）设计日志搜索的字段过滤条件，包括日志按类型、级别、服务定义Id、服务Id进行查询；

（4）设计日志搜索的时间过滤条件，使得日志的查询起始时间可以选择；

（5）设计日志的搜索条件，使得可以通过输入某一字符串对日志信息进行匹配，同时该字符串在日志中高亮显示；

（6）日志查询功能，在表格中，每条日志均有查询按钮，触发按钮可以查询与该日志匹配的上下50条日志。

最后：利用前台代码进行日志搜索页面的完成与优化。

日志搜索页面完成与优化主要包括以下几个步骤：

（1）完成以上各种功能的排版与功能，呈现方法为过滤条件和搜索在同一行，其次为柱状图，然后是表格，表格中包含查询按钮;

（2）由于使用后台接口，需要对接口返回的数据进行处理，包括err状况、空对象状况等;

（3）页面完成后进行大量测试，并对测试出现的问题修改。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于大量数据的平台日志搜索呈现方法，包括以下步骤：

A、采用ELK系统获取到平台的所有日志，并且在获取日志的过程中对日志进行统一规范处理，同时，在所有日志添加固定字段；

B、设计日志搜索页面，按照需求日志在日志搜索中提供过滤、搜索、查询功能；

C、利用前台代码进行日志搜索页面的完成与优化。

2.根据权利要求1所述的一种基于大量数据的平台日志搜索呈现方法，其特征在于，所述的步骤A中，对日志进行统一规范处理包括对时间格式的统一以及日志级别的统一，固定字段具体包括：日志类型、路径、服务定义Id和服务Id。

3.根据权利要求1所述的一种基于大量数据的平台日志搜索呈现方法，其特征在于，所述的步骤B具体包括：

B1、获取到与日志搜索所有有关的后台接口，并为其添加使用权限；

B2、日志搜索展现方式设计为表格和柱状图两种，表格负责展现每条日志的具体信息，柱状图用来呈现固定时间内日志量统计；

B3、设计日志搜索的字段过滤条件，包括日志按类型、级别、服务定义Id、服务Id进行查询；

B4、设计日志搜索的时间过滤条件，使得日志的查询起始时间可以选择；

B5、设计日志的搜索条件，使得可以通过输入某一字符串对日志信息进行匹配，同时该字符串在日志中高亮显示；

B6、设计日志查询功能，在表格中，每条日志均有查询按钮，触发按钮可以查询与该日志匹配的上下50条日志。

4.根据权利要求1所述的一种基于大量数据的平台日志搜索呈现方法，其特征在于，所述的步骤C具体包括：

C1、完成各种功能的排版与功能，呈现方法为过滤条件和搜索在同一行，其次为柱状图，然后是表格，表格中包含查询按钮；

C2、对接口返回的数据进行处理，包括err状况、空对象状况；

C3、页面完成后进行大量测试，并对测试出现的问题修改。