CN110716910B - 一种日志管理方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种日志管理方法、装置、设备和存储介质，其中该方法包括：获取日志分析请求，日志分析请求中包括日志查询数据；根据日志查询数据确定对应的目标数据库；基于目标数据库对日志查询数据进行分析，得到日志分析结果；通过预设的操作框架和日志分析结果，执行目标操作。本发明实施例提供的技术方案，针对不同的日志分析请求可以查询到匹配的目标数据库，并基于日志分析结果和预设的操作框架可以实现对应的操作，实现对大规模日志数据的统一管理，相较于现有技术，不用在每个系统中均设置日志管理机制，提高了日志处理效率。

Description

一种日志管理方法、装置、设备和存储介质

技术领域

本发明实施例涉及日志处理技术领域，尤其涉及一种日志管理方法、装置、设备和存储介质。

背景技术

目前在拥有大规模服务器的数据中心中，操作系统和应用会生成大量的日志数据，对日志采集和分析是软件项目中必不可少的一部分。日志中包含了海量的信息，除了在系统发生故障时能够在日志上回溯故障场景，查找故障原因，还可以从用户访问日志中发现用户在页面上的点击习惯，为客户提供更好的产品推荐，也可以针对一些恶意攻击的登录规律进行日志分析，找出恶意攻击用户。

但是在传统的数据中心工作职责中，数据中心只负责服务器的日常维护，日志采集和分析作为一个业务功能数据中心并不介入。在这种前提下，每个系统或应用均需要架构一套管理机制来处理自己的日志，但是这种方式将导致如下问题：每个系统或应用的开发能力和重视程度不同，可能存在设计或管理上的遗漏与不规范之处，并且由每个系统或应用自己构建日志管理机制，无论是在服务器资源还是人力资源上都存在着严重的重复建设和浪费之处。

发明内容

本发明实施例提供一种日志管理方法、装置、设备和存储介质，以优化日志管理方案，实现对大规模日志数据的管理，提高效率。

第一方面，本发明实施例提供了一种日志管理方法，包括：

获取日志分析请求，所述日志分析请求中包括日志查询数据；

根据所述日志查询数据确定对应的目标数据库；

基于所述目标数据库对所述日志查询数据进行分析，得到日志分析结果；

通过预设的操作框架和所述日志分析结果，执行目标操作。

第二方面，本发明实施例还提供了一种日志管理装置，包括：

分析请求模块，用于获取日志分析请求，所述日志分析请求中包括日志查询数据；

数据库确定模块，用于根据所述日志查询数据确定对应的目标数据库；

日志分析模块，用于基于所述目标数据库对所述日志查询数据进行分析，得到日志分析结果；

操作执行模块，用于通过预设的操作框架和所述日志分析结果，执行目标操作。

进一步的，所述分析请求模块具体用于：

基于预设的日志分析框架，获取用户输入的日志分析请求，其中所述日志分析框架包括数据库通用接口。

进一步的，所述数据库确定模块包括：

初始数据库单元，确定存储有所述日志查询数据的初始数据库，所述初始数据库的数量为至少两个；

评分单元，用于基于预设的数据库评分规则对所述初始数据库进行评分，根据评分结果确定所述目标数据库。

进一步的，所述评分单元具体用于：

基于所述数据库评分规则中的评分项和评分公式，确定每个所述初始数据库的评分；

将评分最高的初始数据库确定为所述目标数据库。

进一步的，所述日志分析模块具体用于：

在所述目标数据库中运行所述日志分析请求的查询语句，以对所述日志查询数据进行分析，得到所述日志分析结果。

进一步的，所述操作框架包括至少一个操作插件，所述操作插件的功能由所述操作框架授权。

进一步的，所述装置还包括：

日志采集模块，用于基于预设的日志配置界面获取日志配置文件，并根据所述日志配置文件采集和解析日志，所述日志配置文件包括采集配置文件和解析配置文件。

第三方面，本发明实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的日志管理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的日志管理方法。

本发明实施例通过获取日志分析请求，日志分析请求中包括日志查询数据，根据日志查询数据确定对应的目标数据库，基于目标数据库对日志查询数据进行分析，得到日志分析结果，并通过预设的操作框架和日志分析结果，执行目标操作。本发明实施例提供的技术方案，针对不同的日志分析请求可以查询到匹配的目标数据库，并基于日志分析结果和预设的操作框架可以实现对应的操作，实现对大规模日志数据的统一管理，相较于现有技术，不用在每个系统中均设置日志管理机制，提高了日志处理效率。

附图说明

图1为本发明实施例一中提供的一种日志管理方法的流程图；

图2为本发明实施例二中提供的一种日志管理方法的流程图；

图3为本发明实施例二中提供的一种日志管理系统的示意图；

图4为本发明实施例二中提供的一种采集配置文件生成示意图；

图5为本发明实施例二中提供的一种解析配置文件生成示意图；

图6为本发明实施例三中提供的一种日志管理装置的结构示意图；

图7为本发明实施例四中提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一中提供的一种日志管理方法的流程图，本实施例可适用于对大规模的日志数据进行统一管理的情况，该方法可以由日志管理装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中，例如服务器或终端设备，典型的终端设备包括移动终端，具体包括手机、电脑或平板电脑等。如图1所示，该方法具体可以包括：

S110、获取日志分析请求，日志分析请求中包括日志查询数据。

其中，日志可以为应用程序为了记录自身运行状态而记录的一系类文本，不同的应用程序可以将日志存储在不同的位置，日志分析请求可以为用于对指定的日志数据进行分析的指令，日志查询数据可以为日志分析请求对应的查询语句涉及到的结构数据，日志查询数据可以包括表、字段和字段类型等数据。

具体的，获取日志分析请求，可以包括：基于预设的日志分析框架，获取用户输入的日志分析请求。其中日志分析框架包括数据库通用接口，该数据库通用接口能够支持不同的数据库接入，以供用户分析其中存储的数据。日志分析框架是一个带有可扩展性接口的程序，用户可以基于其接口编写程序，以加入自己的功能并执行，该日志分析框架也可以提供一个日志分析请求的输入界面，该输入界面中可以预先设置不同类型的请求模块，以供用户通过选择操作即可实现请求的输入。示例性的，请求模块可以为定时运行设置模块，该定时运行设置模块可支持用户设置一个应用程序的指定运行间隔或指定运行时间，即设置应用程序每隔多久运行一次或每月/周/天的什么时候运行，如从当前时间开始每1天运行一次或每月的1号的10点0分0秒时运行。

基于预设的日志分析框架，获取用户输入的结构化查询语言(Structured QueryLanguage，SQL)的查询语句，即获取到日志分析请求。

S120、根据日志查询数据确定对应的目标数据库。

其中，目标数据库可以为执行该分析操作性能最好的执行数据库，由于可能会有多个数据库中存储有上述日志查询数据，因此需要选择其中分析性能较好的数据库进行分析，以提高分析准确性和效率。

具体的，根据日志查询数据确定对应的目标数据库，包括：确定存储有日志查询数据的初始数据库，初始数据库的数量为至少两个；基于预设的数据库评分规则对初始数据库进行评分，根据评分结果确定目标数据库。通过存储适配器判断日志查询数据所在的数据库，即得到初始数据库，其中存储适配器为上述日志分析框架中设置的用于处理日志分析请求中的查询语句的程序模块。存储适配器可以定时获取每个存储日志数据的数据库的元数据信息，元数据信息是指数据库中的表、字段、字段类型等结构信息，根据日志查询数据可以确定其所在的数据库，即为初始数据库。

进一步的，基于预设的数据库评分规则对初始数据库进行评分，根据评分结果确定目标数据库，包括：基于数据库评分规则中的评分项和评分公式，确定每个初始数据库的评分；将评分最高的初始数据库确定为目标数据库。其中数据库评分规则基于各个数据库的特点进行设定，其中的评分项为预先设置的，评分项的数量不作限定，每个数据库均需要基于各评分项进行评分。示例性的，一个数据库评分规则表如表1所示，

表1数据库评分规则表

表1中展示了数据库1、数据库2和数据库3的评分，表1中第一列的评分项默认调优权重每个数据库默认都涉及，用于基于实际情况调整数据库中选的概率，其他评分项表关联、聚合、时间字段查询和非时间字段查询为示例。

确定日志查询数据是否涉及到数据库评分规则表中的各评分项，从而根据如下公式计算日志查询数据对应的查询语句在各初始数据库中运行的预估评分：dbScore＝Π_{i∈(1,size(items))}score(i)，其中dbScore表示具体评分，items表示该日志查询数据查询涉及到的评分项集合，i表示评分项集合中评分项的数量，score为一个评分项在一个初始数据库上的评分。

示例性的，若日志查询数据涉及到了表关联与聚合，那么表1中三个数据库的评分依次为：数据库1的评分＝9*0*4＝0、数据库2的评分＝7*0*9＝0和数据库3的评分＝5*10*6＝300，由于数据库1和数据库2不支持表关联，评分均为0，数据库3即为确定的目标数据库；或者，若日志查询数据涉及到了聚合与时间字段查询，那么表1中三个数据库的评分依次为：数据库1的评分＝9*4*8＝288、数据库2的评分＝7*9*10＝630和数据库3的评分＝5*6*4＝120，根据评分结果，数据库2的评分最高，数据库2即为目标数据库。

S130、基于目标数据库对日志查询数据进行分析，得到日志分析结果。

具体的，在目标数据库中运行日志分析请求的查询语句，以对日志查询数据进行分析，得到日志分析结果。将SQL的查询语句转换为目标数据库的查询语句，执行并可以获取日志分析结果。

例如，若日志分析请求的查询语句查询的是一周内的用户A的访问记录，则可以获取到目标数据库中返回的访问记录结果。

S140、通过预设的操作框架和日志分析结果，执行目标操作。

其中，操作框架为预先设置的用于对日志分析结果进行联动操作的程序。操作框架中包括至少一个操作插件，操作插件用于实现具体的联动操作。本实施例中对操作插件的类型和数量均不作限定，可以根据实际情况进行设定。操作插件的功能由操作框架授权，具体由操作联动管理审计模块进行管理和审批。插件可以为运行于框架中的程序，其特点在于可以在框架中随时增删，以实现功能扩展，并且无需重启整体服务，若运行失败对整体框架和其它插件也没有影响。

具体的。基于日志分析结果可以确定在操作框架中对应的操作插件，调用该操作插件执行目标操作，目标操作与日志分析结果相对应，不同的日志分析结果对应的目标操作可能不同。例如，对网络访问日志分析的结果中如果有恶意访问IP，则可以调用网络操作插件封禁该IP；又如，对日志分析发现某台服务器磁盘存在问题，则可以调用告警操作插件进行告警发送操作。

本实施例的技术方案，通过获取日志分析请求，日志分析请求中包括日志查询数据，根据日志查询数据确定对应的目标数据库，基于目标数据库对日志查询数据进行分析，得到日志分析结果，并通过预设的操作框架和日志分析结果，执行目标操作。本发明实施例提供的技术方案，针对不同的日志分析请求可以查询到匹配的目标数据库，并基于日志分析结果和预设的操作框架可以实现对应的操作，实现对大规模日志数据的统一管理，相较于现有技术，不用在每个系统中均设置日志管理机制，提高了日志处理效率。

实施例二

图2为本发明实施例二中提供的一种日志管理方法的流程图。本实施例在上述实施例的基础上，进一步优化了上述日志管理方法。相应的，如图2所示，本实施例的方法具体包括：

S210、基于预设的日志配置界面获取日志配置文件，并根据日志配置文件采集和解析日志。

其中，日志配置界面为一种可视化的用户界面，日志配置界面可以使用户对日志采集功能或日志解析功能进行配置，以统一管理日志的采集和解析，具体管理包括新增、删除和修改等。配置文件是指程序中可以根据其所配置的内容决定将要运行哪些功能的文件，日志配置文件为基于用户在日志配置界面上的操作生成的配置文件，日志配置文件包括采集配置文件和解析配置文件。

具体的，基于预设的日志配置界面获取采集配置文件和解析配置文件，将采集配置文件发送至需要采集日志的各服务器中，各服务器中的日志采集程序读取该采集配置文件以采集对应的日志，并将该日志发送至日志解析程序中；日志解析程序通过读取上述解析配置文件确定日志解析规则，并基于该日志解析规则解析日志后，分别存储进对应的数据库中。

S220、获取日志分析请求，日志分析请求中包括日志查询数据。

具体的，获取日志分析请求，可以包括：基于预设的日志分析框架，获取用户输入的日志分析请求，其中日志分析框架包括数据库通用接口。

S230、根据日志查询数据确定对应的目标数据库。

具体的，根据日志查询数据确定对应的目标数据库，可以包括：确定存储有日志查询数据的初始数据库，初始数据库的数量为至少两个；基于预设的数据库评分规则对初始数据库进行评分，根据评分结果确定目标数据库。

进一步的，基于预设的数据库评分规则对初始数据库进行评分，根据评分结果确定目标数据库，包括：基于数据库评分规则中的评分项和评分公式，确定每个初始数据库的评分；将评分最高的初始数据库确定为目标数据库。

S240、基于目标数据库对日志查询数据进行分析，得到日志分析结果。

具体的，基于目标数据库对日志查询数据进行分析，得到日志分析结果，可以包括：在目标数据库中运行日志分析请求的查询语句，以对日志查询数据进行分析，得到日志分析结果。

S250、通过预设的操作框架和日志分析结果，执行目标操作。

所述操作框架包括至少一个操作插件，所述操作插件的功能由所述操作框架授权。

此外，本实施例中与日志管理方法对应的日志管理系统的整体架构参见图3。图3为本发明实施例二中提供的一种日志管理系统的示意图，如图3所示，日志管理系统可以包括日志配置模块11、日志采集模块12、日志解析模块13、日志分析框架14和操作框架15，图中实线箭头可以表示数据流向，虚线箭头可以表示功能调用。

其中日志配置模块11中可以包括服务器管理单元、采集配置管理单元和解析配置管理单元，服务器管理单元用于对多台服务器进行分组管理，采集配置管理单元用于为用户提供日志采集配置界面进行采集功能的配置，并将配置文件下发到对应的服务器中进行日志采集；解析配置管理单元用于为用户提供日志解析配置界面，并将配置文件下发到日志解析程序进行日志解析。

服务器管理单元可以将用途一致或日志路径一致的多台服务器作为一个组进行管理，使得用户可以一次性对多台服务器进行操作，例如可以将多台服务器划分为MySQL服务器组、Nginx服务器组、Tomcat服务器组和Postgresql服务器组等；服务器管理单元还可以提供对服务器组的创建、修改、删除和查询功能。

图4为本发明实施例二中提供的一种采集配置文件生成示意图，用户在图中日志采集配置界面中填写内容，根据填写的内容可以生成右侧的配置文件，上述的一个界面中即可配置一种日志文件的采集，如果这台服务器上安装有多个应用，那么配置文件中按照以上的方法，根据不同应用的配置生成多个上述的代码段添加到同一个配置文件中即可，如果有任何的配置修改，那么根据数据库中保存的配置内容重新生成配置文件。采集配置管理单元可以与各服务器中的采集配置管理程序连接，采集配置管理单元各服务器中的采集配置文件更改的过程可以包括：通过日志采集配置界面进行配置，如：对名称为“Nginx-1”的服务器组进行新增日志路径操作；通过服务器管理单元查询要操作的组具体有哪些服务器，如：查询名称为“Nginx-1”的服务器组，返回：“服务器1，服务器3”；对组内的所有服务器下发要操作的命令；接收到操作命令后，各服务器根据命令内容对配置文件进行更改，生效。

解析配置管理单元可以与各服务器中的解析配置管理程序连接，解析配置管理单元对各服务器中的解析配置文件的过程可以包括：通过日志解析配置界面修改配置；修改完成后对所有服务器下发命令；各服务器中的解析配置管理程序接收到命令后对配置文件进行更改，生效。图5为本发明实施例二中提供的一种解析配置文件生成示意图，根据用户不同的日志解析需求，设计了以上可配置的日志解析界面，可以采用各种预制的解析模块，对日志进行各种处理，将用户选择的处理类型需要的参数以界面的形式列出，将用户填入的内容直接转换为配置文件，减少了用户直接手写配置文件需要查询大量文档以了解各种模块及其配置字段的使用，降低了使用复杂度，减少了错误的发生。

日志采集模块12中的采集程序、采集配置文件和采集配置管理程序，以及日志解析模块13中的解析程序、解析配置文件和解析配置管理程序在每一个服务器内部均配置有，以实现日志采集和日志解析。其中采集程序可以采用Filebeat，日志解析程序可以采用Logstash，仅为示例，其他满足条件的程序均适用。

日志存储1和日志存储2为存储日志解析之后的日志数据的数据库，图中的日志存储1和日志存储2仅为示例，具体日志存储的数量和类型可以根据实际情况进行设定，例如日志存储可以采用Elasticsearch、Influxdb、Kafka、Mongodb和Redis等数据库。

日志分析框架14中包括存储适配器、日志分析框架管理程序和多个日志分析插件。其中存储适配器用于为后续的日志分析服务屏蔽不同存储的差异，让后续进行日志分析的用户无需考虑数据存储在何种类型的软件中，可以使用统一的查询语句查询数据，并进行查询请求的自动路由与自动转换。日志分析框架管理程序用于管理多个日志分析插件，图中示出了流处理分析中的流式分析插件1和批处理分析中的日志分析插件2和日志分析插件3，上述插件仅是示例，插件还可以根据实际情况进行添加、删除和更改。日志分析框架14对于需要对日志存储中的日志数据进行深度分析的应用，提供一个统一的编程框架与执行框架。

操作框架15中包括插件发布接口模块、操作联动管理审计程序和多个操作插件。其中插件发布接口模块的功能如下：操作插件在此注册，以供调用；接受日志分析插件对操作插件的调用，并根据授权审批结果进行安全审核。操作联动管理审计程序的功能如下：实现操作插件的管理，具体包括新增、删除、停用和启用；操作插件的调用授权功能，对任何需要调用操作插件的分析任务均需要管理审批。操作框架15对于日志分析框架中的任务执行结果提供联动操作接口，以根据分析结果进行进一步操作。

接下来通过一个具体的示例对上述日志管理系统进行说明。具体包括：第一步、通过服务器管理单元配置服务器组的标签；第二步、通过采集配置管理单元在“网页服务器”这个标签中的所有服务器上新增针对于网页服务的采集配置，配置内容如：日志文件的位置等等；第三步、各服务器中采集配置管理程序收到请求后，开始采集新增的网页服务日志并发送到日志解析程序；第四步、配置日志解析与处理规则，如：分隔符：“,”；分隔后第一个字段为time；分隔后第二个字段为ip；分隔后第三个字段为duration，从模式“访问时间(\d*)ms”中抽取出时间数值作为字段值；提取后的数据放入如Influxdb数据库(日志存储1)与Greenplum数据库(日志存储2)中，表名web_service_log；第五步、存储适配器收集到Greenplum数据库与Influxdb数据库中新建的web_service_log表的表结构信息，并存储于元数据信息中；第六步、注册过程，在日志分析框架管理程序中注册需要执行的任务与定时执行时间，向操作框架申请对网络操作的调用权限，待操作框架批准后，即可开始执行；第七步、执行过程，存储适配器在元数据信息中查询，Greenplum数据库与Influxdb数据库都含有需要的数据；若该SQL查询语句涉及到评分表中的聚合，时间字段查询两个项目，每个数据库的评分如下：Influxdb数据库：9*4*8＝288和Greenplum数据库：5*6*4＝120，选择influxdb数据库为目标数据库；将SQL查询语句转换为Influxdb数据库的查询语句，执行并获取结果；若有返回结果，则调用插件发布接口中的网络操作插件进行ip封禁。

本发明实施例以全界面化操作的方式取代了修改配置文件时需要登录到每台服务器执行的缺点，减少了后台登录权限过大的问题，无需学习Linux/Unix操作系统的shell命令，在图形界面上操作即可；减少了配置Filebeat日志采集器、Logstash日志解析器等时需要查阅具体配置文档的繁琐、易错之处，直接使用界面的方式节约了配置时间，降低了学习成本；扩展了目前广泛使用的ELK日志处理架构，可以方便地引入各种类型的数据库存储，弥补了单纯采用Elasticsearch在关联分析功能上的不足；新增了插件式的日志处理框架，让用户更方便地对日志进行分析，更快更方便地部署程序，并且自带定时调度功能，降低了与外界调度系统的耦合程度，同时管理者也能够方便统一地管理这些日志处理程序；在日志处理框架中使用了查询适配器，该适配器能够在各种类型的数据库存储中根据数据存在的位置与用户实际执行的SQL查询特点进行数据库选择，最终将用户的查询SQL转换为该数据库的查询语言进行查询；新增了操作框架，与日志处理框架相连接的操作框架能够对日志处理结果直接进行特定操作，将整个系统中日志的采集、分析、联动操作构成一个整体的链条，对系统进行自动控制。同时，操作框架的安全管理功能能够限制每个分析功能的操作，将每个用户分析程序的操作范围限制在管理员可控的范围之内，避免越权操作等恶意的不安全行为。

本实施例的技术方案，通过基于预设的日志配置界面获取日志配置文件，并根据日志配置文件采集和解析日志，获取日志分析请求，日志分析请求中包括日志查询数据，根据日志查询数据确定对应的目标数据库，基于目标数据库对日志查询数据进行分析，得到日志分析结果，并通过预设的操作框架和日志分析结果，执行目标操作。本发明实施例提供的技术方案，针对不同的日志分析请求可以查询到匹配的目标数据库，并基于日志分析结果和预设的操作框架可以实现对应的操作，实现对大规模日志数据的统一管理，相较于现有技术，不用在每个系统中均设置日志管理机制，提高了日志处理效率。

实施例三

图6为本发明实施例三中提供的一种日志管理装置的结构示意图，本实施例可适用于对大规模的日志数据进行统一管理的情况。本发明实施例所提供的日志管理装置可执行本发明任意实施例所提供的日志管理方法，具备执行方法相应的功能模块和有益效果。

该装置具体包括分析请求模块310、数据库确定模块320、日志分析模块330和操作执行模块340，其中：

分析请求模块310，用于获取日志分析请求，日志分析请求中包括日志查询数据；

数据库确定模块320，用于根据日志查询数据确定对应的目标数据库；

日志分析模块330，用于基于目标数据库对日志查询数据进行分析，得到日志分析结果；

操作执行模块340，用于通过预设的操作框架和日志分析结果，执行目标操作。

本发明实施例通过获取日志分析请求，日志分析请求中包括日志查询数据，根据日志查询数据确定对应的目标数据库，基于目标数据库对日志查询数据进行分析，得到日志分析结果，并通过预设的操作框架和日志分析结果，执行目标操作。本发明实施例提供的技术方案，针对不同的日志分析请求可以查询到匹配的目标数据库，并基于日志分析结果和预设的操作框架可以实现对应的操作，实现对大规模日志数据的统一管理，相较于现有技术，不用在每个系统中均设置日志管理机制，提高了日志处理效率。

进一步的，分析请求模块310具体用于：

基于预设的日志分析框架，获取用户输入的日志分析请求，其中日志分析框架包括数据库通用接口。

进一步的，数据库确定模块320包括：

初始数据库单元，确定存储有日志查询数据的初始数据库，初始数据库的数量为至少两个；

评分单元，用于基于预设的数据库评分规则对初始数据库进行评分，根据评分结果确定目标数据库。

进一步的，评分单元具体用于：

基于数据库评分规则中的评分项和评分公式，确定每个初始数据库的评分；

将评分最高的初始数据库确定为目标数据库。

进一步的，日志分析模块330具体用于：

在目标数据库中运行日志分析请求的查询语句，以对日志查询数据进行分析，得到日志分析结果。

进一步的，操作框架包括至少一个操作插件，操作插件的功能由操作框架授权。

进一步的，装置还包括：

日志采集模块，用于基于预设的日志配置界面获取日志配置文件，并根据日志配置文件采集和解析日志，日志配置文件包括采集配置文件和解析配置文件。

本发明实施例所提供的日志管理装置可执行本发明任意实施例所提供的日志管理方法，具备执行方法相应的功能模块和有益效果。

实施例四

图7为本发明实施例四中提供的一种设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性设备412的框图。图7显示的设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，设备412以通用设备的形式表现。设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。

总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。

设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。

设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该设备412交互的终端通信，和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图中未示出，可以结合设备412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。

处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的日志管理方法，该方法包括：

获取日志分析请求，日志分析请求中包括日志查询数据；

根据日志查询数据确定对应的目标数据库；

基于目标数据库对日志查询数据进行分析，得到日志分析结果；

通过预设的操作框架和日志分析结果，执行目标操作。

实施例五

本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的日志管理方法，该方法包括：

获取日志分析请求，日志分析请求中包括日志查询数据；

根据日志查询数据确定对应的目标数据库；

基于目标数据库对日志查询数据进行分析，得到日志分析结果；

通过预设的操作框架和日志分析结果，执行目标操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种日志管理方法，其特征在于，包括：

获取日志分析请求，所述日志分析请求中包括日志查询数据；

根据所述日志查询数据确定对应的目标数据库；

基于所述目标数据库对所述日志查询数据进行分析，得到日志分析结果；

通过预设的操作框架和所述日志分析结果，执行目标操作；

其中，所述操作框架包括至少一个操作插件，所述操作插件的功能由所述操作框架授权；

其中，根据所述日志查询数据确定对应的目标数据库，包括：

确定存储有所述日志查询数据的初始数据库，所述初始数据库的数量为至少两个；

基于预设的数据库评分规则对所述初始数据库进行评分，根据评分结果确定所述目标数据库；

其中，基于预设的数据库评分规则对所述初始数据库进行评分，根据评分结果确定所述目标数据库，包括：

基于所述数据库评分规则中的评分项和评分公式，确定每个所述初始数据库的评分；

将评分最高的初始数据库确定为所述目标数据库；

其中，确定存储有所述日志查询数据的初始数据库，包括：

存储适配器定时获取每个存储日志数据的数据库的元数据信息，元数据信息是指数据库中的表、字段和字段类型，根据日志查询数据确定其所在的数据库，得到初始数据库。

2.根据权利要求1所述的方法，其特征在于，所述获取日志分析请求，包括：

基于预设的日志分析框架，获取用户输入的日志分析请求，其中所述日志分析框架包括数据库通用接口。

3.根据权利要求1所述的方法，其特征在于，基于所述目标数据库对所述日志查询数据进行分析，得到日志分析结果，包括：

在所述目标数据库中运行所述日志分析请求的查询语句，以对所述日志查询数据进行分析，得到所述日志分析结果。

4.根据权利要求1所述的方法，其特征在于，所述获取日志分析请求之前，还包括：

基于预设的日志配置界面获取日志配置文件，并根据所述日志配置文件采集和解析日志，所述日志配置文件包括采集配置文件和解析配置文件。

5.一种日志管理装置，其特征在于，包括：

分析请求模块，用于获取日志分析请求，所述日志分析请求中包括日志查询数据；

数据库确定模块，用于根据所述日志查询数据确定对应的目标数据库；

日志分析模块，用于基于所述目标数据库对所述日志查询数据进行分析，得到日志分析结果；

操作执行模块，用于通过预设的操作框架和所述日志分析结果，执行目标操作；

其中，所述操作框架包括至少一个操作插件，所述操作插件的功能由所述操作框架授权

其中，数据库确定模块，还包括：

初始数据库单元，确定存储有日志查询数据的初始数据库，初始数据库的数量为至少两个；

评分单元，用于基于预设的数据库评分规则对初始数据库进行评分，根据评分结果确定目标数据库；

评分单元具体用于：

基于数据库评分规则中的评分项和评分公式，确定每个初始数据库的评分；

将评分最高的初始数据库确定为目标数据库；

其中，确定存储有所述日志查询数据的初始数据库，包括：

存储适配器定时获取每个存储日志数据的数据库的元数据信息，元数据信息是指数据库中的表、字段和字段类型，根据日志查询数据确定其所在的数据库，得到初始数据库。

6.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的日志管理方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的日志管理方法。

Images