CN112084193A - 一种日志查询方法、日志存储方法以及相关设备 - Google Patents

Abstract

本申请公开了一种日志查询方法，包括接收日志查询指令；根据所述日志查询指令确定查询目标；根据日志映射关系确定所述查询目标对应的日志索引；在日志数据库中查询获得所述日志索引对应的日志数据；该日志查询方法可以有效提高日志分析统计效率，减少日志分析过程中对主机资源的占用。本申请还公开了一种日志查询装置、一种日志存储方法及装置、一种日志处理系统及计算机可读存储介质，均具有上述有益效果。

Description

一种日志查询方法、日志存储方法以及相关设备

技术领域

本申请涉及计算机技术领域，特别涉及一种日志查询方法，还涉及一种日志查询装置、一种日志存储方法及装置、一种日志处理系统及计算机可读存储介质。

背景技术

在云环境中进行安全防护时，会产生很多的防护日志，这些防护日志往往统一存放在数据库中。当需要分析统计某台机器(主机、虚拟机等)或某类日志时，则需要对数据库中的日志进行查询、分析，但是，由于日志量级较大，日志的查询分析过程存在严重的耗时长和主机资源占用问题，而且，当需要再次分析数据时，还需再次重复上述过程，极其消耗主机资源。由此可见，常规的日志分析方法，非常耗时且重复性工作较大，严重影响日志分析效率。

因此，如何有效提高日志分析统计效率，减少日志分析过程中对主机资源的占用是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种日志查询方法，该日志查询方法可以有效提高日志分析统计效率，减少日志分析过程中对主机资源的占用；本申请的另一目的是提供一种日志查询装置，一种日志存储方法及装置、一种日志处理系统及计算机可读存储介质，也具有上述有益效果。

第一方面，本申请提供了一种日志查询方法，包括：

接收日志查询指令；

根据所述日志查询指令确定查询目标；

根据日志映射关系确定所述查询目标对应的日志索引；

在日志数据库中查询获得所述日志索引对应的日志数据。

优选的，所述根据日志映射关系确定所述查询目标对应的日志索引，包括：

根据所述查询目标确定日志类型；

在日志类型映射表中查询获得所述日志类型对应的日志索引。

优选的，所述根据日志映射关系确定所述查询目标对应的日志索引，包括：

根据所述查询目标确定日志源端；

在日志源端映射表中查询获得所述日志源端对应的日志索引。

优选的，所述根据日志映射关系确定所述查询目标对应的日志索引之前，还包括：

判断当前是否有日志数据生成；

若否，则执行所述根据日志映射关系确定所述查询目标对应的日志索引的步骤；

若是，则进入延时等待，直至当前不存在日志数据生成。

优选的，所述在日志数据库中查询获得所述日志索引对应的日志数据之后，还包括：

将所述日志数据发送至显示设备进行可视化展示。

第二方面，本申请还公开了一种日志存储方法，包括：

获取日志数据；

对所述日志数据进行分析，确定所述日志数据的属性信息；

对所述日志数据增设日志索引，并根据所述日志索引和所述属性信息更新日志映射关系；

将增设所述日志索引的日志数据存储至日志数据库。

第三方面，本申请还公开了一种日志查询装置，包括：

指令接收模块，用于接收日志查询指令；

指令解析模块，用于根据所述日志查询指令确定查询目标；

索引查询模块，用于根据日志映射关系确定所述查询目标对应的日志索引；

日志查询模块，用于在日志数据库中查询获得所述日志索引对应的日志数据。

第四方面，本申请还公开了一种日志存储装置，包括：

日志获取模块，用于获取日志数据；

日志分析模块，用于对所述日志数据进行分析，确定所述日志数据的属性信息；

映射更新模块，用于对所述日志数据增设日志索引，并根据所述日志索引和所述属性信息更新日志映射关系；

日志存储模块，用于将增设所述日志索引的日志数据存储至日志数据库。

第五方面，本申请还公开了一种日志处理系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如上所述的任一种日志查询方法的步骤和/或日志存储方法的步骤。

第六方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种日志查询方法的步骤和/或日志存储方法的步骤。

本申请所提供的一种日志查询方法，包括接收日志查询指令；根据所述日志查询指令确定查询目标；根据日志映射关系确定所述查询目标对应的日志索引；在日志数据库中查询获得所述日志索引对应的日志数据。

可见，本申请所提供的日志查询方法，通过为日志数据增设索引标识建立日志数据与日志属性的映射关系，由此，当需要对大批量日志进行分析、处理时，根据用户的查询需求直接查询上述日志映射关系即可得出结果，相较于传统的日志分析方法，该种实现方式无需对大批量日志数据进行重复的分析、统计，极大的提高了日志分析处理效率，还可以有效减少日志分析过程中对主机资源的消耗和占用。

本申请所提供的一种日志查询装置、日志存储方法及装置、日志处理系统及计算机可读存储介质，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。

图1为本申请所提供的一种日志查询方法的流程示意图；

图2为本申请所提供的一种日志存储方法的流程示意图；

图3为本申请所提供的一种日志处理方法的流程示意图；

图4为本申请所提供的一种日志查询装置的结构示意图；

图5为本申请所提供的一种日志存储装置的结构示意图；

图6为本申请所提供的一种日志处理系统的结构示意图。

具体实施方式

本申请的核心是提供一种日志查询方法，该日志查询方法可以有效提高日志分析统计效率，减少日志分析过程中对主机资源的占用；本申请的另一核心是提供一种日志查询装置，一种日志存储方法及装置、一种日志处理系统及计算机可读存储介质，也具有上述有益效果。

为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请所提供的一种日志查询方法的流程示意图，该日志查询方法可包括：

S101：接收日志查询指令；

本步骤旨在实现日志查询指令的接收，该日志查询指令用于实现日志查询，可以由用户通过相应终端发起，也可以是相应预设响应条件自动触发，如定时指令等，可见，日志查询指令的获取方式并不唯一，本申请对此不做限定。进一步，当日志处理系统接收到日志查询指令后，即可响应该指令进入日志查询流程。

S102：根据日志查询指令确定查询目标；

本步骤旨在实现查询目标的确定，该查询目标是指用户的查询需求信息，例如，用户需要对某种类型的日志数据进行查询，该查询目标即为日志类型，再如，用户需要对某个设备(主机或虚拟机等)产生的日志数据进行查询，该查询目标即为日志源端(即日志生成设备)。进一步，在具体实现过程中，可以通过对日志查询指令进行指令解析获得上述查询目标。

S103：根据日志映射关系确定查询目标对应的日志索引；

本步骤旨在实现日志索引的确定，该日志索引用于实现对应日志数据的查询。具体而言，在日志生成过程中，可同时创建日志属性和日志索引的映射关系，即上述日志映射关系，其中，日志属性对应于上述查询目标，可以是日志类型，也可以是日志生成源端，日志索引则具有唯一性，一条日志索引对应于一种日志属性。进一步，在确定查询目标后，即可根据日志映射关系查询获得查询目标对应的日志索引，例如，用户需要对A种类型的日志进行查询，日志映射关系中包括有日志类型与日志索引的映射关系，由此，根据该日志映射关系即可查询到A种类型日志对应的日志索引。

作为一种优选实施例，上述根据日志映射关系确定查询目标对应的日志索引，可以包括：根据查询目标确定日志类型；在日志类型映射表中查询获得日志类型对应的日志索引。

本优选实施例提供了一种具体类型的日志映射关系，即上述日志类型映射表。具体而言，日志映射关系可以为日志类型与日志索引的映射关系，即一条日志索引对应于一种日志类型，可方便用户实现不同日志类型的日志查询，在实现过程中，可根据查询目标确定用户所需查询的日志类型，进而在日志类型映射表中查询获得该日志类型对应的日志索引。

作为一种优选实施例，上述根据日志映射关系确定查询目标对应的日志索引，可以包括：根据查询目标确定日志源端；在日志源端映射表中查询获得日志源端对应的日志索引。

本优选实施例提供了另一种具体类型的日志映射关系，即上述日志源端映射表。具体而言，日志映射关系可以为日志源端(日志产生设备，如主机、虚拟机等)与日志索引的映射关系，即一条日志索引对应于一种日志源端，可方便用户实现不同日志源端的日志查询，在实现过程中，可根据查询目标确定用户所需查询的日志源端，进而在日志源端映射表中查询获得该日志源端对应的日志索引。

当然，上述两种日志映射表也可同时存在，更加方便用户根据自身实际需求实现所需日志数据的查询。

作为一种优选实施例，上述根据日志映射关系确定查询目标对应的日志索引之前，还可以包括：判断当前是否有日志数据生成；若否，则执行根据日志映射关系确定查询目标对应的日志索引的步骤；若是，则进入延时等待，直至当前不存在日志数据生成。

具体的，在进行日志查询之前，可进一步判断当前是否有日志生成，若当前正在生成日志数据，则可以进入延时等待，直至当前不存在日志数据生成，也即之前产生的日志数据全部完成存储，更为具体的，可设置延时时长，每次到达该延时时长时进行一次上述日志生成判断，直至当前不存在日志数据生成时再进行日志查询操作，以有效保证日志分析结果的正确性和实时性。其中，上述延时时长的具体取值并不影响本技术方案的实施，由技术人员根据实际需求进行设定即可，本申请对此不做限定。

S104：在日志数据库中查询获得日志索引对应的日志数据。

本步骤旨在实现日志数据的查询获取，具体而言，系统运行过程中所产生的所有日志数据均统一存储至日志数据库，在日志数据库中，日志数据与日志索引对应存储，以便实现日志数据查询。由此，在根据日志映射关系确定日志索引后，直接根据该日志索引在日志数据库中进行查找即可获得对应的日志数据。

作为一种优选实施例，上述在日志数据库中查询获得日志索引对应的日志数据之后，还可以包括：将日志数据发送至显示设备进行可视化展示。

本优选实施例旨在实现日志数据的可视化展示，当在日志数据库中查询获得所需的日志数据后，将其发送至前端显示设备进行可视化展示即可，方便用户直观便捷的查看日志数据。

可见，本申请所提供的日志查询方法，通过为日志数据增设索引标识建立日志数据与日志属性的映射关系，由此，当需要对大批量日志进行分析、处理时，根据用户的查询需求直接查询上述日志映射关系即可得出结果，相较于传统的日志分析方法，该种实现方式无需对大批量日志数据进行重复的分析、统计，极大的提高了日志分析处理效率，还可以有效减少日志分析过程中对主机资源的消耗和占用。

为解决上述技术问题，本申请还提供了一种日志存储方法，请参考图2，图2为本申请所提供的一种日志存储方法的流程示意图，该日志存储方法可以包括：

S201：获取日志数据；

本步骤旨在实现日志数据的获取，该日志数据即为系统运行过程中所产生的各类日志数据，其具体内容和类型均不唯一。在系统运行过程中，直接进行日志数据记录即可。

S202：对日志数据进行分析，确定日志数据的属性信息；

本步骤旨在实现日志分析，以获取日志数据的属性信息，该属性信息可以为日志类型，也可以为日志源端，具体类型由技术人员根据实际情况进行设置即可，本申请对此不做限定。

S203：对日志数据增设日志索引，并根据日志索引和属性信息更新日志映射关系；

本步骤旨在通过为日志数据增设日志索引实现日志映射关系的更新，具体的，可预先建立日志索引与日志属性的映射关系，即上述日志映射关系，该日志映射关系用于实现日志查询，当获取到新的日志数据完成日志分析确定日志属性后，即可根据增设的日志索引和属性信息更新该日志映射关系。例如，当属性信息为日志类型时，上述日志映射关系可以为日志类型映射表，包含日志索引与日志类型的映射关系，即一条日志索引对应于一种日志类型；当属性信息为日志源端时，上述日志映射关系可以为日志源端映射表，包含日志索引与日志源端的映射关系，即一条日志索引对应于一种日志源端。由此，当用户需要查询某种类型的日志数据，或某台主机或虚拟机产生的日志数据时，即可通过查询该映射表实现日志查询。

S204：将增设日志索引的日志数据存储至日志数据库。

本步骤旨在实现日志数据的存储，具体是将增设日志索引的日志数据存储至日志数据库中，以便用户根据日志索引实现日志数据的查询。

可见，本申请所提供的日志存储方法，通过为日志数据增设索引标识建立日志数据与日志属性的映射关系，由此，当需要对大批量日志进行分析、处理时，根据用户的查询需求直接查询上述日志映射关系即可得出结果，相较于传统的日志分析方法，该种实现方式无需对大批量日志数据进行重复的分析、统计，极大的提高了日志分析处理效率，还可以有效减少日志分析过程中对主机资源的消耗和占用。

在上述各实施例的基础上，本优选实施例提供了一种更为具体的日志处理方法。

1、日志生成、存储流程：

请参考图3，图3为本申请所提供的一种日志处理方法的流程示意图，当系统产生防护日志需要存储时，一方面，对新生成的防护日志进行分析，并根据分析结果对数据库索引表进行更新，另一方面，将新生成的防护日志统一存放到指定数据库中，作为日志的备份、存储。其中，数据库索引表可包括日志类型映射表和日志源端映射表，请参考表1和表2，表1为本申请所提供的一种日志类型映射表，表2为本申请所提供的一种日志源端映射表。

表1一种日志类型映射表

日志类型ID	日志类型Type
		0	A类型日志
1	B类型日志
		…	…

表2一种日志源端映射表

日志类型ID	主机ID	日志数量
			0	XXX	2658
1	XXX	5688
			…	…

2、日志查询流程：

当需要查询分析、处理某种类型或某台设备产生的日志数据时，可直接依据数据库索引表实现日志数据的获取，极大的提升了日志分析速度和效率。此外，在查询日志过程中，如果当前正好有日志数据生成，可以进入延时等待，直至日志数据与数据库索引表更新完成后再执行日志的分析、统计操作，以有效保证日志分析结果的正确性和实时性。

可见，本申请实施例所提供的日志处理方法，通过为日志数据增设索引标识建立日志数据与日志属性的映射关系，由此，当需要对大批量日志进行分析、处理时，根据用户的查询需求直接查询上述日志映射关系即可得出结果，相较于传统的日志分析方法，该种实现方式无需对大批量日志数据进行重复的分析、统计，极大的提高了日志分析处理效率，还可以有效减少日志分析过程中对主机资源的消耗和占用。

为解决上述技术问题，本申请还提供了一种日志查询装置，请参考图4，图4为本申请所提供的一种日志查询装置的结构示意图，该日志查询装置可包括：

指令接收模块1，用于接收日志查询指令；

指令解析模块2，用于根据日志查询指令确定查询目标；

索引查询模块3，用于根据日志映射关系确定查询目标对应的日志索引；

日志查询模块4，用于在日志数据库中查询获得日志索引对应的日志数据。

可见，本申请实施例所提供的日志查询装置，通过为日志数据增设索引标识建立日志数据与日志属性的映射关系，由此，当需要对大批量日志进行分析、处理时，根据用户的查询需求直接查询上述日志映射关系即可得出结果，相较于传统的日志分析方法，该种实现方式无需对大批量日志数据进行重复的分析、统计，极大的提高了日志分析处理效率，还可以有效减少日志分析过程中对主机资源的消耗和占用。

作为一种优选实施例，上述索引查询模块3可具体用于根据查询目标确定日志类型；在日志类型映射表中查询获得日志类型对应的日志索引。

作为一种优选实施例，上述索引查询模块3可具体用于根据查询目标确定日志源端；在日志源端映射表中查询获得日志源端对应的日志索引。

作为一种优选实施例，该日志查询装置还可包括日志生成判定模块，用于在上述根据日志映射关系确定查询目标对应的日志索引之前，判断当前是否有日志数据生成；若否，则执行根据日志映射关系确定查询目标对应的日志索引的步骤；若是，则进入延时等待，直至当前不存在日志数据生成。

作为一种优选实施例，该日志查询装置还可包括日志展示模块，用于将日志数据发送至显示设备进行可视化展示。

对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述技术问题，本申请还提供了一种日志存储装置，请参考图5，图5为本申请所提供的一种日志存储装置的结构示意图，该日志存储装置可包括：

日志获取模块5，用于获取日志数据；

日志分析模块6，用于对日志数据进行分析，确定日志数据的属性信息；

映射更新模块7，用于对日志数据增设日志索引，并根据日志索引和属性信息更新日志映射关系；

日志存储模块8，用于将增设日志索引的日志数据存储至日志数据库。

可见，本申请实施例所提供的日志存储装置，通过为日志数据增设索引标识建立日志数据与日志属性的映射关系，由此，当需要对大批量日志进行分析、处理时，根据用户的查询需求直接查询上述日志映射关系即可得出结果，相较于传统的日志分析方法，该种实现方式无需对大批量日志数据进行重复的分析、统计，极大的提高了日志分析处理效率，还可以有效减少日志分析过程中对主机资源的消耗和占用。

对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述技术问题，本申请还提供了一种日志处理系统，请参考图6，图6为本申请所提供的一种日志处理系统的结构示意图，该日志处理系统可包括：

存储器10，用于存储计算机程序；

处理器20，用于执行计算机程序时可实现如上述任意一种日志查询和/或日志存储方法的步骤。

对于本申请提供的系统的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上述任意一种日志查询和/或日志存储方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。

Claims (10)

1.一种日志查询方法，其特征在于，包括：

接收日志查询指令；

根据所述日志查询指令确定查询目标；

根据日志映射关系确定所述查询目标对应的日志索引；

在日志数据库中查询获得所述日志索引对应的日志数据。

2.根据权利要求1所述的日志查询方法，其特征在于，所述根据日志映射关系确定所述查询目标对应的日志索引，包括：

根据所述查询目标确定日志类型；

在日志类型映射表中查询获得所述日志类型对应的日志索引。

3.根据权利要求1所述的日志查询方法，其特征在于，所述根据日志映射关系确定所述查询目标对应的日志索引，包括：

根据所述查询目标确定日志源端；

在日志源端映射表中查询获得所述日志源端对应的日志索引。

4.根据权利要求1至3任意一项所述的日志查询方法，其特征在于，所述根据日志映射关系确定所述查询目标对应的日志索引之前，还包括：

判断当前是否有日志数据生成；

若否，则执行所述根据日志映射关系确定所述查询目标对应的日志索引的步骤；

若是，则进入延时等待，直至当前不存在日志数据生成。

5.根据权利要求1所述的日志查询方法，其特征在于，所述在日志数据库中查询获得所述日志索引对应的日志数据之后，还包括：

将所述日志数据发送至显示设备进行可视化展示。

6.一种日志存储方法，其特征在于，包括：

获取日志数据；

对所述日志数据进行分析，确定所述日志数据的属性信息；

对所述日志数据增设日志索引，并根据所述日志索引和所述属性信息更新日志映射关系；

将增设所述日志索引的日志数据存储至日志数据库。

7.一种日志查询装置，其特征在于，包括：

指令接收模块，用于接收日志查询指令；

指令解析模块，用于根据所述日志查询指令确定查询目标；

索引查询模块，用于根据日志映射关系确定所述查询目标对应的日志索引；

日志查询模块，用于在日志数据库中查询获得所述日志索引对应的日志数据。

8.一种日志存储装置，其特征在于，包括：

日志获取模块，用于获取日志数据；

日志分析模块，用于对所述日志数据进行分析，确定所述日志数据的属性信息；

映射更新模块，用于对所述日志数据增设日志索引，并根据所述日志索引和所述属性信息更新日志映射关系；

日志存储模块，用于将增设所述日志索引的日志数据存储至日志数据库。

9.一种日志处理系统，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至5任一项所述的日志查询方法的步骤和/或权利要求6所述的日志存储方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1至5任一项所述的日志查询方法的步骤和/或权利要求6所述的日志存储方法的步骤。

Images