CN115617750A - 日志展示方法、装置、电子设备及非易失性存储介质 - Google Patents

Abstract

本申请公开了一种日志展示方法、装置、电子设备及非易失性存储介质。其中，该方法包括：依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据，其中，目标过滤规则包括：第一过滤规则或第二过滤规则，第一过滤规则为预设于第一配置文件中的过滤规则，第二过滤规则为响应规则设置指令而更新至第一配置文件中的过滤规则；依据目标采集规则，为目标日志数据建立目标索引；响应于查询指令，依据目标索引，确定待查询日志数据，其中，待查询日志数据为符合查询指令中查询条件的目标日志数据；发送待查询日志数据至前端界面进行展示。本申请解决了由于日志数据格式繁冗多样且数据容量巨大，造成的日志查询效率低下的技术问题。

Description

日志展示方法、装置、电子设备及非易失性存储介质

技术领域

本申请涉及软件日志分析技术领域，具体而言，涉及一种日志展示方法、装置、电子设备及非易失性存储介质。

背景技术

在网络服务运行维护中，服务日志是系统运行、性能分析以及问题排查的重要参考数据，是运维人员聚焦的主要信息。在大数据时代，随着日志应用范围的扩大和平台的复杂程度的增加，对日志数据存储、检索能力的要求也不断提高。

在微服务架构中，每个服务都自身实现自己独立的操作日志模块，导致不同服务间的日志格式有着明显的差异，业务系统产生的日志数据格式繁冗多样且数据容量巨大，而传统的日志分析工具一般需要集成多个组件，且需要预先设置对日志的解析格式，如果日志格式不符合内嵌的解析格式，日志将不能被正确解析，在进行大数据量的日志查询时往往存在速度缓慢、效率低下、处理能力简单等问题，已经不能满足实时化的需求。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种日志展示方法、装置、电子设备及非易失性存储介质，以至少解决由于日志数据格式繁冗多样且数据容量巨大，造成的日志查询效率低下的技术问题。

根据本申请实施例的一个方面，提供了一种日志展示方法，包括：依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据，其中，目标过滤规则包括：第一过滤规则或第二过滤规则，第一过滤规则为预设于第一配置文件中的过滤规则，第二过滤规则为响应规则设置指令而更新至第一配置文件中的过滤规则；依据目标采集规则，为目标日志数据建立目标索引；响应于查询指令，依据目标索引，确定待查询日志数据，其中，待查询日志数据为符合查询指令中查询条件的目标日志数据；发送待查询日志数据至前端界面进行展示。

可选地，依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据包括：检测初始日志数据的原始数据格式；确定第一配置文件中与原始数据格式对应的目标过滤规则；依据目标过滤规则，将原始数据格式的初始日志数据转化为目标数据格式的目标日志数据，其中，目标数据格式为系统所支持的结构化数据格式。

可选地，确定第一配置文件中与原始数据格式对应的目标过滤规则包括：检测第一配置文件中是否存在与原始数据格式对应的第二过滤规则；在第一配置文件中存在与原始数据格式对应的第二过滤规则的情况下，确定第二过滤规则为与原始数据格式对应的目标过滤规则；在第一配置文件中不存在与原始数据格式对应的第二过滤规则的情况下，检测第一配置文件中是否存在与原始数据格式对应的第一过滤规则；在第一配置文件中存在与原始数据格式对应的第一过滤规则的情况下，确定第一过滤规则为与原始数据格式对应的目标过滤规则。

可选地，检测初始日志数据的原始数据格式之前还包括：获取目标对象在前端界面中设置的过滤规则参数，以及过滤规则参数适用的数据格式；依据过滤规则参数和数据格式，生成第二过滤规则；将第二过滤规则更新至第一配置文件中。

可选地，目标采集规则包括以下至少之一：实时日志采集规则、历史日志采集规则及日志上下文采集规则，依据目标采集规则，为目标日志数据建立目标索引包括：依据目标采集规则，确定目标日志数据中的目标关键词，其中，目标关键词包括以下至少之一：日志时间、日志类型、日志来源，日志类型包括实时日志类型和历史日志类型；为每项目标日志数据中的目标关键词建立目标索引。

可选地，响应于查询指令，依据目标索引，确定待查询日志数据包括：获取查询指令中的查询条件；确定符合查询条件的目标索引；确定符合查询条件的目标索引所指示的目标日志数据为待查询日志数据。

可选地，依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据之前还包括：监测存储于预设采集路径的日志文件的状态；在日志文件发生更新的情况下，读取日志文件，得到初始日志数据。

可选地，读取日志文件，得到初始日志数据还包括：实时记录日志文件的读取位置；在日志文件的读取过程发送异常中断的情况下，修复异常后在读取位置继续读取日志文件。

根据本申请实施例的另一个方面，还提供了一种日志展示装置，包括：日志过滤模块，用于依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据，其中，目标过滤规则包括：第一过滤规则或第二过滤规则，第一过滤规则为预设于第一配置文件中的过滤规则，第二过滤规则为响应规则设置指令而更新至第一配置文件中的过滤规则；索引建立模块，用于依据目标采集规则，为目标日志数据建立目标索引；日志查询模块，用于响应于查询指令，依据目标索引，确定待查询日志数据，其中，待查询日志数据为符合查询指令中查询条件的目标日志数据；日志展示模块，用于发送待查询日志数据至前端界面进行展示。

根据本申请实施例的又一方面，还提供了一种电子设备，电子设备包括处理器，处理器用于运行程序，其中，程序运行时执行日志展示方法。

根据本申请实施例的再一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的计算机程序，其中，非易失性存储介质所在设备通过运行计算机程序执行日志展示方法。

在本申请实施例中，采用依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据，其中，目标过滤规则包括：第一过滤规则或第二过滤规则，第一过滤规则为预设于第一配置文件中的过滤规则，第二过滤规则为响应规则设置指令而更新至第一配置文件中的过滤规则；依据目标采集规则，为目标日志数据建立目标索引；响应于查询指令，依据目标索引，确定待查询日志数据，其中，待查询日志数据为符合查询指令中查询条件的目标日志数据；发送待查询日志数据至前端界面进行展示的方式，通过从界面可配置多种自定义规则或内嵌针对性规则以供日志处理，优化文档索引建立和搜索方式，配合可视化界面展示多种日志分析结果，达到了对日志的高效采集与高自由度分析处理的目的，使用户从大量的日志信息中准确地提取关注的信息及实现日志统计分析，以提高日志分析系统的简便性、可扩展性、实时性、可读性，能有效改善运维效率、减轻压力，进而解决了由于日志数据格式繁冗多样且数据容量巨大，造成的日志查询效率低下技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的一种日志展示的方法流程的示意图；

图2是根据本申请实施例提供的一种日志展示的整体架构的示意图；

图3是根据本申请实施例提供的一种日志展示系统的结构示意图；

图4是根据本申请实施例提供的一种日志展示装置的结构示意图；

图5是根据本申请实施例提供的一种用于实现日志展示的方法的计算机终端(或电子设备)的硬件结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

为了方便本领域技术人员更好地理解本申请实施例，现将本申请实施例涉及的部分技术术语或者名词解释如下：

ELK：是Elasticsearch(分布式搜索引擎)、Logstash(日志采集工具)、Kibana(数据可视分析平台)三大开源框架首字母大写简称。

Elasticsearch(分布式搜索引擎)：是一个分布式、高扩展、高实时的搜索与数据分析引擎。

Logstash(日志采集工具)：是一个轻量级、开源的服务器端数据处理管道。

Kibana(数据可视分析平台)：是一个开源的数据分析与可视化平台，与Elasticsearch搜索引擎一起使用。

索引：在本申请中是一种对日志信息中一行或多行的值进行检索查询的一种标识，能够快速定位日志信息。

Docker：是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或Windows操作系统的机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。

Filebeat：是用于转发和集中日志数据的轻量级传送程序，由两个主要组件组成：prospector和harvester，prospector负责管理harvester并找到所有要读取的文件来源。启动Filebeat时，它会启动一个或多个查找器，对于prospector所在的每个日志文件，prospector启动harvester。每个harvester都会为新内容读取单个日志文件，并将新日志数据发送到libbeat，后者将聚合事件并将聚合数据发送到您为Filebeat配置的输出。

web(World Wide Web)即全球广域网，也称为万维网，它是一种基于超文本和HTTP的、全球性的、动态交互的、跨平台的分布式图形信息系统。

Debugger：为一种调试软件，可以用来验证算法。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本申请实施例，提供了一种日志展示的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本申请实施例提供的一种日志展示的方法流程的示意图，图2是根据本申请实施例提供的一种日志展示的整体架构的示意图，在本实施例中，图1中方法通过图2中架构实现日志展示，如图1所示，该方法包括如下步骤：

步骤S102，依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据，其中，目标过滤规则包括：第一过滤规则或第二过滤规则，第一过滤规则为预设于第一配置文件中的过滤规则，第二过滤规则为响应规则设置指令而更新至第一配置文件中的过滤规则；

在本申请的一些实施例中，依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据包括：检测初始日志数据的原始数据格式；确定第一配置文件中与原始数据格式对应的目标过滤规则；依据目标过滤规则，将原始数据格式的初始日志数据转化为目标数据格式的目标日志数据，其中，目标数据格式为系统所支持的结构化数据格式。

在本实施例中，通过Logstash模块，对各种动态的数据(即上述初始日志数据)进行收集，然后再将这些数据进行统一的分析过滤，具体地，配置Logstash信息，将日志文件过滤、解析形成结构化的可读数据再转发到Elasticsearch中。

需要说明的是，本申请方案中第一过滤规则和第二过滤规则为并列关系，在使用上并无绝对的先后次序，可依据计划处理的数格式和实际需求进行灵活设置，当认为配置的默认规则(即上述第一过滤规则)过滤出的结果不符合想要得到的数据结构时，可利用第二过滤规则去再次规整数据信息。

作为一种可选的实施方式，确定第一配置文件中与原始数据格式对应的目标过滤规则包括：检测第一配置文件中是否存在与原始数据格式对应的第二过滤规则；在第一配置文件中存在与原始数据格式对应的第二过滤规则的情况下，确定第二过滤规则为与原始数据格式对应的目标过滤规则；在第一配置文件中不存在与原始数据格式对应的第二过滤规则的情况下，检测第一配置文件中是否存在与原始数据格式对应的第一过滤规则；在第一配置文件中存在与原始数据格式对应的第一过滤规则的情况下，确定第一过滤规则为与原始数据格式对应的目标过滤规则。

在本实施例中，上述第一配置文件为配置文件logstash.conf，在其中中定义日志文件的输入源、解析后的输出源、输出端口、解析日志的过滤格式(即上述目标过滤规则)等，同时，可配置自定义过滤规则动态调整日志解析后的结构化数据。

在本申请的一些实施例中，检测初始日志数据的原始数据格式之前还包括：获取目标对象在前端界面中设置的过滤规则参数，以及过滤规则参数适用的数据格式；依据过滤规则参数和数据格式，生成第二过滤规则；将第二过滤规则更新至第一配置文件中。

作为一种可选的实施方式，可以在可视化界面(即上述前端界面)上设置动态配置过滤规则的入口，用户可提前根据要解析的日志文件内容和自定义的过滤规则(即上述第二过滤规则)进行比对验证，确认是否为目标过滤规则。其次，后端配置一个脚本文件，用于获取自定义规则并且动态的修改配置文件解析规则，该脚本能够在保证不破坏原有规则的前提下，将该条规则添加到配置文件中并解析当前的日志内容，其中若有报错产生则维持原有的规则不作修改，反之添加规则并及时生效。同时为了在不干扰其他用户的使用和其他日志文件的解析，该脚本会记录当前日志文件的读取位置，在检测到当前日志文件已成功解析完成，将该条过滤规则删除。

本申请提供了一种可后期自定义数据过滤规则的日志检索方式，通常采用logstash用于收集数据时，要提前把日志匹配规则写入才能正常收集，本申请提供了一种通过脚本动态调整过滤规则的方式实现无需重启logstash即可按照自定义过滤规则处理数据的方案。

在本申请的一些实施例中，依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据之前还包括：监测存储于预设采集路径的日志文件的状态；在日志文件发生更新的情况下，读取日志文件，得到初始日志数据。

在本实施例中，通过Filebeat采集器采集并归并日志信息，完成日志信息数据(即上述初始日志数据)的收集工作。

具体地，配置Filebeat采集器监听读取日志文件，记录每个日志文件的读取位置，以防日志信息的漏读和重复读情况；Filebeat采集器将读取到的日志信息分发到Logstash模块中。

在本申请的一些实施例中，读取日志文件，得到初始日志数据还包括：实时记录日志文件的读取位置；在日志文件的读取过程发送异常中断的情况下，修复异常后在读取位置继续读取日志文件。

具体地，由Filebeat采集器记录和维护转发的内容并记录读取位置的偏移量(即上述读取位置)，在读取过程出现错误，异常中断的情况下，可在修复异常或程序重启后，获取存储的读取位置的偏移量，继续从异常中断发生前已经读取到的位置，继续读取日志文件内容。

下面对本申请中自定义过滤规则(即上述第二过滤规则)解析的方法进一步说明,包括如下步骤：

步骤1，搭建一个专门用于处理自定义过滤规则的Filebeat，从指定路径中读取日志信息，指定管道处理数据并输出存储到Elasticsearch中。

需要注意的是由于每个用户指定的过滤规则不尽相同，因此为了隔离数据，需要动态指定管道预处理数据。

步骤2，搭建Debugger环境，用来方便用户测试要解析的日志数据与自定义的过滤规则能否正确解析。

举例说明，计划解析的一行日志数据如下：

“2022-05-26 16:09:47.658 INFO 429884[httpNio-127.0.0.1-9134-exec-5]:select*from base_staff m where m.code＝？and m.valid＝1”

配置的自定义过滤规则为：

“％{TIMESTAMP_ISO8601:time}％{LOGLEVEL:level}％{NUMBER:pid}\[％{GREEDYDATA:threadId}\]:％{GREEDYDATA:message}”

则成功解析出的结果应为：

“"time":"2022-05-26 16:09:47.658",

"level":"INFO",

"pid":"429884",

"threadId":"httpNio-127.0.0.1-9134-exec-5",

"message":"select*from base_staff m where m.code＝？and m.valid＝1"”

步骤3，在可视化界面上开放动态配置过滤规则的入口，可将步骤2中验证通过的过滤规则在此处进行配置，后端根据该条配置信息生成一个针对该用户的管道对日志数据进行预处理，加工清洗数据，得到目标数据格式便于后续定位。

在本实施例中，生成定义一个管道的脚本的主要配置信息至少包括用户所配置的自定义规则。

步骤4，将步骤3中定义的预处理数据的管道指定为步骤1中所需指定的管道。

作为一种可选的实施方式，可以采用将步骤3中的管道命名命名方式与步骤1中需配置的管道命名保持一致的方式，通过上述方式能够将读取到的日志数据信息输送到指定管道处理数据并存储。

步骤5，针对同个用户的指定多个过滤规则的情况，每次配置一个管道都会占用系统的内存影响性能，为了提高处理数据的性能，考虑修改覆盖每次配置的管道。用户每上传一个新的管道配置信息，先从记录读取位置偏移量的文件中判断当前日志文件是否被Filebeat读取数据完毕，如果读取完毕则覆盖配置，反之提示用户并等待。

步骤S104，依据目标采集规则，为目标日志数据建立目标索引；

在本申请的一些实施例中，目标采集规则包括以下至少之一：实时日志采集规则、历史日志采集规则及日志上下文采集规则，依据目标采集规则，为目标日志数据建立目标索引包括：依据目标采集规则，确定目标日志数据中的目标关键词，其中，目标关键词包括以下至少之一：日志时间、日志类型、日志来源，日志类型包括实时日志类型和历史日志类型；为每项目标日志数据中的目标关键词建立目标索引。

作为一种可选的实施方式，上述目标采集规则可以为预设在系统中的目标采集规则，也可以为用户在前端页面设置的目标采集规则。

在本实施例中，通过Elasticsearch模块存储日志文数据，建立目标索引，并可以应用于结构化搜索，内嵌多种日志分析规则，无需手动配置以提升使用效率。

具体地，Elasticsearch将多种日志文件的结构化数据(即上述目标日志数据)存储并对每个文档数据建立索引方便查询；内嵌多种分析方式(即上述目标采集规则)，可分析实时日志和历史日志信息，可依据当前条日志定位上下文信息等。

步骤S106，响应于查询指令，依据目标索引，确定待查询日志数据，其中，待查询日志数据为符合查询指令中查询条件的目标日志数据；

在本申请的一些实施例中，响应于查询指令，依据目标索引，确定待查询日志数据包括：获取查询指令中的查询条件；确定符合查询条件的目标索引；确定符合查询条件的目标索引所指示的目标日志数据为待查询日志数据。

具体地，Web界面通过从Elasticsearch中查询数据并可视化显示，主要功能包括但不限于：内嵌多种分析方式，无需手动配置即可快速定位想要的信息数据，可分析实时日志和历史日志信息，大可根据当前条日志定位上下文信息等。

针对大数据量下日志数据查询较慢的问题，在界面进行查询搜索时，对路由机制进行合理的使用，以便于提高查询的性能。正确地建立文档索引模版，将不必要的大量消耗内存资源的字段省略；合理地使用Filter(过滤)和Query(查询)功能，将不必要的查询信息进行过滤，提高查询的效率；合并段的使用、强制性地将Elasticsearch中的分散片段进行合成，有效地减少了、片段的搜索数量，从而提升搜索效率。

目前的用于海量日志分析的系统架构一般采用ELK系统(elasticsearchlogstash kibana),而本发明仅采用elasticsearch logstash用于收集和处理数据，自定义分析日志的可视化界面，使用户在无需在配置各种复杂的参数，优化数据检索方式以提升大数据量下的搜索性能，使用户能更直观地快速定位到问题。

步骤S108，发送待查询日志数据至前端界面进行展示。

本实施例提供的一种使用可动态修改日志过滤方式的脚本，实现快捷无感地对logstash的过滤格式进行配置，通过优化文档索引的建立方式和日志文件的快速搜索方式的优化，将收集到的日志文件高效地搜索以提高系统的吞吐量，达到提高效率的目的。

本申请基于Docker环境部署日志采集工具Logstash、分布式搜索引擎Elasticsearch和数据可视化分析平台界面，从界面可配置多种自定义规则或内嵌针对性规则以供日志处理，通过优化文档索引建立和搜索方式，配合可视化界面展示多种日志分析结果，实现对日志的高效采集与高自由度分析处理。使用户从大量的日志信息中准确地提取关注的信息及实现日志统计分析，以提高日志分析系统的简便性、可扩展性、实时性、可读性，能有效改善运维效率、减轻压力。

通过上述步骤，通过从界面可配置多种自定义规则或内嵌针对性规则以供日志处理，优化文档索引建立和搜索方式，配合可视化界面展示多种日志分析结果，达到了对日志的高效采集与高自由度分析处理的目的，进而解决了由于日志数据格式繁冗多样且数据容量巨大，造成的日志查询效率低下技术问题。

实施例2

根据本申请实施例，还提供了一种日志展示系统的实施例。图3是根据本申请实施例提供的一种日志展示系统的结构示意图，如3所示，该系统自顶向下分别包括：数据采集模块30、数据解析传输模块32、数据存储模块34、数据分析展示模块36，其中，

数据采集模块30，主要用来采集并归集日志信息，在该系统中采用Filebeat采集器完成日志信息数据的收集工作。当该采集器开始的工作的时候会有一个或多个相对应的Prospect对日志的采集路径和文件进行监控，而每一个日志文件都会有与之对应的harvester将日志的内容进行读取转发。最后由Filebeat记录和维护转发的内容并记录读取位置的偏移量。

数据解析传输模块32，采用Logstash，主要用于对各种动态的数据进行收集，将这些数据进行统一的分析过滤，转发到日志存储模块中。为Logstash添加配置文件logstash.conf，在其中定义日志文件的输入源、解析后的输出源、输出端口、解析日志的过滤格式等。

数据存储模块34，采用Elasticsearch，既可以存储日志文件，也可以应用于结构化搜索，又可以进行聚合分析和全文搜索，具有近实时搜索、零配置、索引自动分片、高可用、模式自由以及集群自动发现等优点。

数据可视化展示模块36，通过Web界面配合可对存储的日志信息按照不同的分析类型进行高效的搜索和图形化显示，同时可以在界面配置自定义的日志数据过滤方式解析不同服务的日志内容。

本实施例提供的日志展示系统，能够提供在线debug(计算机排除故障)和配置日志过滤格式的方式，在不用重启系统的情况下就能根据自定义地解析格式将对应的日志文件解析成想要的格式；能够根据常用的几种日志分析情况(包括仅看错误级别日志，分析请求的频率和耗时情况，日志上下文等几种分析方式)，结合可视化界面，方便运维人员快速定位问题；通过优化索引建立方式和日志查询方式，提升查询效率，优化内存占用资源。

实施例3

根据本申请实施例，还提供了一种日志展示装置的实施例。图4是根据本申请实施例提供的一种日志展示装置的结构示意图。如图4所示，该装置包括：

日志过滤模块40，用于依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据，其中，目标过滤规则包括：第一过滤规则或第二过滤规则，第一过滤规则为预设于第一配置文件中的过滤规则，第二过滤规则为响应规则设置指令而更新至第一配置文件中的过滤规则；

索引建立模块42，用于依据目标采集规则，为目标日志数据建立目标索引；

日志查询模块44，用于响应于查询指令，依据目标索引，确定待查询日志数据，其中，待查询日志数据为符合查询指令中查询条件的目标日志数据；

日志展示模块46，用于发送待查询日志数据至前端界面进行展示。

需要说明的是，本实施例中所提供的日志展示装置可用于执行图1所示的日志展示方法，因此，对上述日志展示方法的相关解释说明也适用于本申请实施例中，在此不再赘述。

根据本申请实施例，还提供了一种用于实现日志展示的方法的计算机终端的实施例。图5是根据本申请实施例提供一种用于实现日志展示的方法的计算机终端(或电子设备)的硬件结构框图。如图5所示，计算机终端50(或电子设备50)可以包括一个或多个(图中采用502a、502b，……，502n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器504、以及用于通信功能的传输模块506。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图5所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端50还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端50(或电子设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器504可用于存储应用软件的软件程序以及模块，如本申请实施例中的日志展示的方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器504内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的日志展示的方法。存储器504可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器504可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端50。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在本实施例中，存储器504可用于存储Logstash模块、Filebeat采集器的程序指令，以及配置文件logstash.conf等，配置文件中定义了日志文件的输入源、解析后的输出源、输出端口、解析日志的过滤格式(即上述目标过滤规则)等，其中还至少包括用户所配置的自定义规则。传输模块506用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端50的通信供应商提供的无线网络。在一个实例中，传输装置506包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置506可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端50(或电子设备)的用户界面进行交互。

在本实施例中，显示器可以在可视化界面上开放动态配置过滤规则的入口，使用户通过前端可视化交互界面自定义过滤规则，显示器还可以对分析后的日志数据进行展示。

此处需要说明的是，在一些可选实施例中，上述图5所示的计算机设备(或电子设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图5仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或电子设备)中的部件的类型。

需要说明的是，图5所示的日志展示的电子设备用于执行图1所示的日志展示的方法，因此上述日志展示的方法中的相关解释说明也适用于该日志展示的电子设备，此处不再赘述。

根据本申请实施例的再一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的计算机程序，其中，非易失性存储介质所在设备通过运行计算机程序执行以下日志展示方法：依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据，其中，目标过滤规则包括：第一过滤规则或第二过滤规则，第一过滤规则为预设于第一配置文件中的过滤规则，第二过滤规则为响应规则设置指令而更新至第一配置文件中的过滤规则；依据目标采集规则，为目标日志数据建立目标索引；响应于查询指令，依据目标索引，确定待查询日志数据，其中，待查询日志数据为符合查询指令中查询条件的目标日志数据；发送待查询日志数据至前端界面进行展示。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种日志展示方法，其特征在于，包括：

依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据，其中，所述目标过滤规则包括：第一过滤规则或第二过滤规则，所述第一过滤规则为预设于第一配置文件中的过滤规则，所述第二过滤规则为响应规则设置指令而更新至所述第一配置文件中的过滤规则；

依据目标采集规则，为所述目标日志数据建立目标索引；

响应于查询指令，依据所述目标索引，确定待查询日志数据，其中，所述待查询日志数据为符合所述查询指令中查询条件的所述目标日志数据；

发送所述待查询日志数据至前端界面进行展示。

2.根据权利要求1所述的日志展示方法，其特征在于，依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据包括：

检测所述初始日志数据的原始数据格式；

确定所述第一配置文件中与所述原始数据格式对应的所述目标过滤规则；

依据所述目标过滤规则，将所述原始数据格式的所述初始日志数据转化为目标数据格式的所述目标日志数据，其中，所述目标数据格式为系统所支持的结构化数据格式。

3.根据权利要求2所述的日志展示方法，其特征在于，确定所述第一配置文件中与所述原始数据格式对应的所述目标过滤规则包括：

检测所述第一配置文件中是否存在与所述原始数据格式对应的所述第二过滤规则；

在所述第一配置文件中存在与所述原始数据格式对应的所述第二过滤规则的情况下，确定所述第二过滤规则为所述与所述原始数据格式对应的所述目标过滤规则；

在所述第一配置文件中不存在与所述原始数据格式对应的所述第二过滤规则的情况下，检测所述第一配置文件中是否存在与所述原始数据格式对应的所述第一过滤规则；

在所述第一配置文件中存在与所述原始数据格式对应的所述第一过滤规则的情况下，确定所述第一过滤规则为所述与所述原始数据格式对应的所述目标过滤规则。

4.根据权利要求2所述的日志展示方法，其特征在于，检测所述初始日志数据的原始数据格式之前还包括：

获取目标对象在所述前端界面中设置的过滤规则参数，以及所述过滤规则参数适用的数据格式；

依据所述过滤规则参数和所述数据格式，生成所述第二过滤规则；

将所述第二过滤规则更新至所述第一配置文件中。

5.根据权利要求1所述的日志展示方法，其特征在于，所述目标采集规则包括以下至少之一：实时日志采集规则、历史日志采集规则及日志上下文采集规则，依据目标采集规则，为所述目标日志数据建立目标索引包括：

依据所述目标采集规则，确定所述目标日志数据中的目标关键词，其中，所述目标关键词包括以下至少之一：日志时间、日志类型、日志来源，所述日志类型包括实时日志类型和历史日志类型；

为每项所述目标日志数据中的所述目标关键词建立所述目标索引。

6.根据权利要求1所述的日志展示方法，其特征在于，响应于查询指令，依据所述目标索引，确定待查询日志数据包括：

获取所述查询指令中的所述查询条件；

确定符合所述查询条件的所述目标索引；

确定所述符合查询条件的目标索引所指示的所述目标日志数据为所述待查询日志数据。

7.根据权利要求1所述的日志展示方法，其特征在于，依据目标过滤规则对所述初始日志数据进行结构化处理，得到目标日志数据之前还包括：

监测存储于预设采集路径的日志文件的状态；

在所述日志文件发生更新的情况下，读取所述日志文件，得到所述初始日志数据。

8.根据权利要求7所述的日志展示方法，其特征在于，读取所述日志文件，得到所述初始日志数据还包括：

实时记录所述日志文件的读取位置；

在所述日志文件的读取过程发送异常中断的情况下，修复异常后在所述读取位置继续读取所述日志文件。

9.一种日志展示装置，其特征在于，包括：

日志过滤模块，用于依据目标过滤规则对初始日志数据进行结构化处理，得到目标日志数据，其中，所述目标过滤规则包括：第一过滤规则或第二过滤规则，所述第一过滤规则为预设于第一配置文件中的过滤规则，所述第二过滤规则为响应规则设置指令而更新至所述第一配置文件中的过滤规则；

索引建立模块，用于依据目标采集规则，为所述目标日志数据建立目标索引；

日志查询模块，用于响应于查询指令，依据所述目标索引，确定待查询日志数据，其中，所述待查询日志数据为符合所述查询指令中查询条件的所述目标日志数据；

日志展示模块，用于发送所述待查询日志数据至前端界面进行展示。

10.一种电子设备，所述电子设备包括处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任意一项所述日志展示方法。

11.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的计算机程序，其中，所述非易失性存储介质所在设备通过运行所述计算机程序执行权利要求1至8中任意一项所述日志展示方法。

Images