CN110019077A

CN110019077A - 日志查询方法、装置、设备及计算机可读存储介质

Info

Publication number: CN110019077A
Application number: CN201810953265.1A
Authority: CN
Inventors: 魏云鹏; 袁小伟; 祁明远
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2018-08-21
Filing date: 2018-08-21
Publication date: 2019-07-16

Abstract

本发明公开了一种日志查询方法，包括：接收用户输入的日志查询关键词；基于所述日志查询关键词确定对应的日志查询信息，并将所述日志查询信息转换为可识别的语言信息；根据所述语言信息在历史日志信息库中进行查询，以确定与所述语言信息相关的日志信息。本发明还公开了一种日志查询装置、设备及计算机可读存储介质。本发明降低了日志数据查询的难度，实现了日志数据的便捷查询。

Description

日志查询方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及数据查询技术领域，尤其涉及一种日志查询方法、装置、设备及计算机可读存储介质。

背景技术

随着网络信息化和大数据时代的到来，目前金融数据中已包含大量的结构化和非结构化信息，且增量巨大。在云计算网络科技技术水平飞跃发展的同时，为了避免有用的数据信息流失，就需要建立相应的数据库作为载体来存储这些数据。但是在进行日志数据信息查询时，对于查询人员而言必须具备相应的语言能力，使得对于非专业人员而言，将难以进行相关信息的查询。

发明内容

本发明的主要目的在于提供一种日志查询方法、装置、设备及计算机可读存储介质，旨在解决现有技术中日志查询时必须基于专业的语言能力才能进行查询的技术问题。

为实现上述目的，本发明提供一种日志查询方法，所述日志查询方法包括：

接收用户输入的日志查询关键词；

基于所述日志查询关键词确定对应的日志查询信息，并将所述日志查询信息转换为可识别的语言信息；

根据所述语言信息在历史日志信息库中进行查询，以确定与所述语言信息相关的日志信息。

可选地，所述接收用户输入的日志查询关键词的步骤包括：

当接收到用户的日志查询请求时，在查询界面上显示日志查询关键词，以供用户对日志查询关键词进行选择，并基于用户选择确定对应的日志查询关键词。

可选地，所述日志查询关键词至少包括用户名、消耗时间、用户IP、主机IP以及请求网页地址URL。

可选地，所述基于所述日志查询关键词确定对应的日志查询信息，并将所述日志查询信息转换为可识别的语言信息的步骤包括：

获取预设的语言重组规则，并基于所述语言重组规则确定所述日志查询关键词对应的日志查询信息；

获取预设转换公式，并基于所述预设转换公式将所述日志查询信息转换为可识别的语言信息。

可选地，所述根据所述语言信息在历史日志信息库中进行查询，以确定与所述语言信息相关的日志信息的步骤包括：

获取所述语言信息中的目标关键词；

基于所述目标关键词在所述历史日志信息库中进行查询，以得到与所述目标关键词相关联的日志信息。

可选地，所述根据所述语言信息在历史日志信息库中进行查询，以确定与所述语言信息相关的日志信息的步骤之后，还包括：

对所述日志信息进行分析处理，并将所述分析处理后的日志信息显示在查询界面上。

可选地，所述接收用户输入的日志查询关键词的步骤之前，还包括：

获取预设时间段内的日志信息，并对所述预设时间段内的日志信息进行统计，以形成历史日志信息库。

此外，为实现上述目的，本发明还提供一种日志查询装置，所述日志查询装置包括：

关键词接收模块，用于接收用户输入的日志查询关键词；

查询信息转换模块，用于基于所述日志查询关键词确定对应的日志查询信息，并将所述日志查询信息转换为可识别的语言信息；

日志查询模块，用于根据所述语言信息在历史日志信息库中进行查询，以确定与所述语言信息相关的日志信息。

此外，为实现上述目的，本发明还提供一种日志查询设备，所述日志查询设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志查询程序，所述日志查询程序被所述处理器执行时实现如上所述的日志查询方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志查询程序，所述日志查询程序被处理器执行时实现如上所述的日志查询方法的步骤。

本发明提出的一种日志查询方法，首先接收用户输入的日志查询关键词，并基于该日志查询关键词确定对应的日志查询信息，进一步地将对应的日志查询信息转换为可识别的语言信息，以便基于该语言信息在历史日志信息库中进行查询，即可确定与语言信息相关的日志信息。通过本发明提出的日志查询方法，不需要查询者拥有特定的语言能力，只需要输入常规的查询信息，即可将该查询信息转换为可识别的语言信息，以便进行日志数据的查询，降低了日志数据查询的难度。

附图说明

图1为本发明实施例方案中涉及的日志查询设备的硬件结构示意图；

图2为本发明日志查询方法第一实施例的流程示意图；

图3为图2中的步骤S20的细化流程示意图；

图4为图2中的步骤S30的细化流程示意图；

图5为本发明日志查询方法第二实施例的流程示意图；

图6为本发明日志查询装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：接收用户输入的日志查询关键词；基于所述日志查询关键词确定对应的日志查询信息，并将所述日志查询信息转换为可识别的语言信息；根据所述语言信息在历史日志信息库中进行查询，以确定与所述语言信息相关的日志信息。通过本发明实施例的技术方案，解决了现有技术中日志查询时必须基于专业的语言能力才能进行查询的技术问题。

如图1所示，图1为本发明实施例方案中涉及的日志查询设备的硬件结构示意图。

本发明实施例涉及的日志查询方法主要应用于日志查询设备，该日志查询设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。

如图1所示，该日志查询设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，日志查询设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、Wi-Fi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。当然，日志查询设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的日志查询设备结构并不构成对日志查询设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及日志查询程序。在图1中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001、存储器1005可以设置在日志查询装置中，所述日志查询装置通过处理器1001调用存储器1005中存储的日志查询程序，并执行本发明实施例提供的日志查询方法。

本实施例提供的方案，首先接收用户输入的日志查询关键词，并基于该日志查询关键词确定对应的日志查询信息，进一步地将对应的日志查询信息转换为可识别的语言信息，以便基于该语言信息在历史日志信息库中进行查询，即可确定与语言信息相关的日志信息。通过本发明提出的日志查询方法，不需要查询者拥有特定的语言能力，只需要输入常规的查询信息，即可将该查询信息转换为可识别的语言信息，以便进行日志数据的查询，降低了日志数据查询的难度。

基于上述硬件结构，提出本发明日志查询方法实施例。

参照图2，图2为本发明日志查询方法第一实施例的流程示意图，在该实施例中，所述方法包括：

步骤S10，接收用户输入的日志查询关键词；

步骤S20，基于所述日志查询关键词确定对应的日志查询信息，并将所述日志查询信息转换为可识别的语言信息；

步骤S30，根据所述语言信息在历史日志信息库中进行查询，以确定与所述语言信息相关的日志信息。

为了解决现有技术中日志查询时必须基于专业的语言能力才能进行查询的技术问题，本发明提出了一种日志查询方法，不需要查询者拥有特定的语言能力，只需要根据输入提示，输入常规的查询信息，即可进行日志数据的查询。

具体地，对于日志数据的统计，是基于ELK(ElasticSearch+LogStash+Kibana)架构来实现的，此架构首先由Logstash分布于各个节点上搜集相关的日志数据，并经过分析、过滤后发送给远端服务器上的Elasticsearch进行存储，Elasticsearch将数据以分片的形式压缩存储并提供多种API(Application Programming Interface，应用程序接口)供用户查询、操作，用户也可以更直观地通过配置Kibana Web Portal方便的对日志查询。也就是说，在用户需要进行日志信息的查询之前，系统中已经将预设时间段内的历史日志信息进行了统计，以形成一个历史日志信息库，当用户需要进行日志查询时，根据用户输入的信息从所得到的历史日志信息库中进行查询匹配，以得到用户所需要的数据信息。

具体地，所述步骤S10具体包括：

步骤a，当接收到用户的日志查询请求时，在查询界面上显示日志查询关键词，以供用户对日志查询关键词进行选择，并基于用户选择确定对应的日志查询关键词。

在本实施例中，实际上当用户需要查询日志数据时，会向系统发送相应的日志查询请求，进而系统在接收到用户输入的日志查询请求时，在查询显示界面上显示相应的日志查询参数选择框，即日志查询关键词，以便用户进行日志查询关键词的选择确认。例如，供用户进行选择的日志查询关键词包括但不限于用户名、消耗时间、用户IP、主机IP以及请求URL(Uniform Resource Locator，网页地址)，其中，每个不同的日志查询关键词下还可对应有不同的选项，可供用户进行输入，例如可供用户进行输入的选项还可以包括确定值、空格以及勾选分组排序等，确定值可用于当用户知道所查询日志的关键词时，选取对应的关键词，例如用户名和用户IP等，而空值则是用户不知道日志信息对应的准确的关键词，即可不做选择。用户根据自己的需要对日志查询的关键词进行选择，以确定日志查询的范围，以便后续查询更方便、快捷。

进一步地，在接收到用户输入的日志查询关键词后，根据日志查询关键词确定用户当前所需要的日志查询信息，然后将确定的日志查询信息转换为可识别的语言信息，具体地，在将当前所对应的日志查询信息转换为可识别的语言信息时，是基于特定的转换公式进行转换，更具体地说，是将日志查询信息转换为此系统可识别的语言信息，常用的便是转换为计算机编程语言。

具体地，如图3所示，所述步骤S20具体包括：

步骤S21，获取预设的语言重组规则，并基于所述语言重组规则确定所述日志查询关键词对应的日志查询信息；

步骤S22，获取预设转换公式，并基于所述预设转换公式将所述日志查询信息转换为可识别的语言信息。

首先获取预设的语言重组规则，以便基于该预设的语言重组规则确定关键词对应的日志查询信息，在实际转换过程中，由于可供用户进行选择的日志查询关键词一共有5个，并且每一个日志查询关键词对应的可供选择的项有3个，因此，在将不同日志查询关键词进行组合得到的日志查询信息，并转换为系统可识别的语言信息时，对应的组合类别有3^5个，也就是说，不同组合的日志查询信息的个数是有限的，在此并不一一列举。所以，在日志查询信息转换过程中，对于同一类型的日志查询信息进行组合转换得到的语言信息是类似的，例如，日志查询关键词有5个，分别为：①用户名、②消耗时间、③用户IP、④主机IP、⑤请求URL，在查询过程中，如果前后两次的查询中日志查询关键词②、③、④、⑤对应的选择项均相同，仅①不同，则在转换成相应的语言信息时，仅仅是语言信息中的用户关键词信息不同，也就是在此前后两次的查询过程中，是用户的用户名不同。

进一步地，基于预设转换公式，将日志查询信息转换为可识别的语言信息，具体地，是通过构造一个通用的数据库自然语言接口系统模型，以便将日志查询信息转换为SQL(Structured Query Language，结构化查询)语句，SQL语句的功能是集成单一、高度非过程化以及简单高效，通过标准的SQL语言即可实现对数据库内日志信息的查询。通过将本实施例中所说的日志查询信息转换为计算机编程语言，以便基于该计算机语言在历史日志信息库中进行查询，以获取与日志查询信息相关联的日志信息，也就是用户所需要的目标日志信息。

进一步地，如图4所示，所述步骤S30具体包括：

步骤S31，获取所述语言信息中的目标关键词；

步骤S32，基于所述目标关键词在所述历史日志信息库中进行查询，以得到与所述目标关键词相关联的日志信息。

进一步地，将用户输入的日志查询信息转换成可识别的语言信息后，在历史日志信息库中进行查询，以获取与查询信息相关联的日志信息。具体地，在将用户输入的查询信息转换为系统可识别的语言信息时，所得到的语言信息中的关键词与用户输入的查询信息中的关键词是一致的，也就是转换得到的语言信息中会包括有相应的关键词，即目标关键词，进而在进行查询时，根据目标关键词进行查询获取。

可以理解的是，该目标关键词可以是①用户名、②消耗时间、③用户IP、④主机IP、⑤请求URL中的任意一个，可以由用户提前设定。例如，假设目标关键词是①用户名，当前的日志查询关键词为①用户名：张三、②消耗时间：空值、③用户IP：空值、④主机IP：空值、⑤请求URL：特定输入值，那么在转换为可识别的语言信息时，其中的目标关键词是会被保存的，也就是在查询所得到的信息中，一定会包括是用户张三使用特定的请求URL的相关访问日志记录。

在本实施例中，首先接收用户输入的日志查询关键词，并基于该日志查询关键词确定对应的日志查询信息，进一步地将对应的日志查询信息转换为可识别的语言信息，以便基于该语言信息在历史日志信息库中进行查询，即可确定与语言信息相关的日志信息。通过本发明提出的日志查询方法，不需要查询者拥有特定的语言能力，只需要输入常规的查询信息，即可将该查询信息转换为可识别的语言信息，以便进行日志数据的查询，降低了日志数据查询的难度。

进一步的，参照图5，基于上述实施例，提出本发明日志查询方法第二实施例，在本实施例中，所述步骤S30之后还包括：

步骤S40，对所述日志信息进行分析处理，并将所述分析处理后的日志信息显示在查询界面上。

在本实施例中，根据预先设定的查询规则，无论用户输入的日志查询信息是什么，返回的日志查询结果的格式均为：数量、用户名、平均消耗时间、最大消耗时间、用户IP、主机IP、请求URL等相对来说较为专业的格式，因此，为了便于用户对日志查询结果的快速理解，返回的日志查询结果并不能是直接将所得到的日志信息进行显示，还需要对日志信息进行分析处理。具体地，是通过上述所说通用的数据库自然语言接口系统模型，将计算机语言转换成自然语言，以便用户查看。可以理解的是，返回的日志查询结果中除了可以包括用户输入的日志查询关键词，还可以包括对日志查询结果的分析，例如，对日志数据进行查询的平均消耗时间和最大消耗时间进行分析，二者表示的是用户在使用相应的请求URL或者特定用户进行访问时所使用的时间信息。

在本实施例中，在得到与用户输入的日志查询信息相关联的日志信息后，对其进行分析处理，以得到对应的处理结果，进而将分析处理后的日志信息显示在显示界面上。例如，若用户输入的日志查询信息为用户名：张三、消耗时间：空值、用户IP：空值、主机IP：空值；请求URL：勾选分组排序，那么该组合的查询结果为用户张三的每个URL请求总量、平均消耗时间、最大消耗时间；或者，用户输入的查询信息为用户名：空值、用户IP：空值、消耗时间：空值、主机IP：空值、请求URL：特定输入值(例如login.do)，那么该组合的查询结果为：特定URL请求(login.do)的总量、平均消耗时间、最大消耗时间；又或者，用户输入的查询信息为用户名：张三、消耗时间：大于1、用户IP：空值、主机IP：空值、请求URL：特定输入值(例如login.do)，那么该组合的查询结果为：在张三所有login.do的请求中，消耗时间大于1秒的请求总量、平均响应时间、最大响应时间。

进一步地，还可以在日志查询界面上设置相应的日志详细信息查看按钮，如果用户需要查看详细的日志数据信息，则可以通过该按钮进行查看。还可以设置日志查询数据保存按钮，对本次日志查询的结果进行保存，以便后续用户对本次日志查询的数据记录进行查看。

可选地，所述历史日志信息库的生成还可以包括以下步骤：

接收用户输入的日志查询关键词；

判断所述日志查询关键词中是否包括日志信息的生成时间；

若是，则获取日志生成时间处于所述生成时间内的历史日志数据，以形成历史日志信息库。

第一实施例中，在用户需要进行日志信息的查询之前，系统中已经将预设时间段内的历史日志信息进行了统计，以形成一个历史日志信息库，而在本实施例中，还可以通过先获取用户输入的日志查询关键词中的查询时间，再确定历史日志数据中的相应日志数据。

具体地，在本实施例中，日志查询关键词还可以包括其他的限制参数，比如时间信息，也就是说用户可以查询在一定时间段内的日志信息，当接收到用户输入的日志查询关键词后，首先判断该日志查询关键词中是否包括有相应的日志生成的时间信息，如果没有，则基于预设规则获取所有的历史日志信息或者是预设时间段内的日志信息，以形成历史日志信息库，以便在该数据库中对用户所需要的日志进行查询；如果有，则获取日志生成时间处于该日志生成时间之内的所有历史日志，形成某一个时间段内的历史日志信息库，缩小了日志数据信息查询的范围。

本实施例中，在历史日志信息库中对转换得到的语言信息进行查询，确定与其相关的日志信息后，为了便于用户对日志数据的查看，进一步地对日志信息进行分析处理，以便最后将分析处理后的日志信息显示在查询界面上。通过本发明提出的日志查询方法，降低了日志数据查询的难度，同时也使得日志数据的查看更加简洁、明了。

此外，本发明实施例还提供一种日志查询装置。

参照图6，图6为本发明日志查询装置第一实施例的功能模块示意图。

本实施例中，所述日志查询装置包括：

关键词接收模块10，用于接收用户输入的日志查询关键词；

查询信息转换模块20，用于基于所述日志查询关键词确定对应的日志查询信息，并将所述日志查询信息转换为可识别的语言信息；

日志查询模块30，用于根据所述语言信息在历史日志信息库中进行查询，以确定与所述语言信息相关的日志信息。

进一步地，所述关键词接收模块10具体包括：

关键词选择单元，用于当接收到用户的日志查询请求时，在查询界面上显示日志查询关键词，以供用户对日志查询关键词进行选择，并基于用户选择确定对应的日志查询关键词。

进一步地，所述查询信息转换模块20具体包括：

关键词重组单元，用于获取预设的语言重组规则，并基于所述语言重组规则确定所述日志查询关键词对应的日志查询信息；

查询信息转换单元，用于获取预设转换公式，并基于所述预设转换公式将所述日志查询信息转换为可识别的语言信息。

进一步地，所述日志查询模块30具体包括：

目标关键词获取单元，用于获取所述语言信息中的目标关键词：

查询单元，用于基于所述目标关键词在所述历史日志信息库中进行查询，以得到与所述目标关键词相关联的日志信息。

进一步地，所述日志查询装置还包括：

日志信息处理单元，用于对所述日志信息进行分析处理，并将所述分析处理后的日志信息显示在查询界面上。

进一步地，所述日志查询装置还包括：

日志信息统计单元，用于获取预设时间段内的日志信息，并对所述预设时间段内的日志信息进行统计，以形成历史日志信息库。

其中，上述日志查询装置中各个模块与上述日志查询方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有日志查询程序，所述日志查询程序被处理器执行时实现如上所述的日志查询方法的步骤。

其中，日志查询程序被执行时所实现的方法可参照本发明日志查询方法的各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种日志查询方法，其特征在于，所述日志查询方法包括以下步骤：

接收用户输入的日志查询关键词；

2.如权利要求1所述的日志查询方法，其特征在于，所述接收用户输入的日志查询关键词的步骤包括：

3.如权利要求2所述的日志查询方法，其特征在于，所述日志查询关键词至少包括用户名、消耗时间、用户IP、主机IP以及请求网页地址URL。

4.如权利要求3所述的日志查询方法，其特征在于，所述基于所述日志查询关键词确定对应的日志查询信息，并将所述日志查询信息转换为可识别的语言信息的步骤包括：

5.如权利要求4所述的日志查询方法，其特征在于，所述根据所述语言信息在历史日志信息库中进行查询，以确定与所述语言信息相关的日志信息的步骤包括：

获取所述语言信息中的目标关键词；

6.如权利要求5所述的日志查询方法，其特征在于，所述根据所述语言信息在历史日志信息库中进行查询，以确定与所述语言信息相关的日志信息的步骤之后，还包括：

7.如权利要求6所述的日志查询方法，其特征在于，所述接收用户输入的日志查询关键词的步骤之前，还包括：

8.一种日志查询装置，其特征在于，所述日志查询装置包括：

关键词接收模块，用于接收用户输入的日志查询关键词；

9.一种日志查询设备，其特征在于，所述日志查询设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志查询程序，所述日志查询程序被所述处理器执行时实现如权利要求1至7中任一项所述的日志查询方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志查询程序，所述日志查询程序被处理器执行时实现如权利要求1至7中任一项所述的日志查询方法的步骤。