CN111897834A - 日志搜索方法、装置及服务器 - Google Patents

Abstract

本发明提供了一种日志搜索方法、装置及服务器，涉及大数据处理的技术领域，该方法包括：获取日志告警列表，其中，日志告警列表为大数据日志处理平台根据分布式日志集群所接收的日志生成的，且，日志告警列表中包括预设数量的告警日志；提取日志告警列表中的目标告警日志；在预设的数据库中查找与目标告警日志关联的日志标识，以便于基于日志标识搜索日志标识对应的目标日志。本发明提供的日志搜索方法、装置及服务器，无需对日志全文进行保存，不仅可以节省大量的内存、磁盘等资源，也降低了复杂性，便于进行维护。

Description

日志搜索方法、装置及服务器

技术领域

本发明涉及大数据处理的技术领域，尤其是涉及一种日志搜索方法、装置及服务器。

背景技术

在海量日志监控场景下，日志会被收集到大数据日志监控平台中，当监控系统检查到有异常日志并触发告警时，研发人员有查看告警日志根据条件搜索日志告警时刻前后日志上下文来定位出错原因的需求。

现有的技术方案是将海量日志保存到搜索引擎系统中，然后在触发告警时根据日志告警中的关键字通过搜索引擎系统提供的关键字搜索功能搜索异常相关日志，但是，保存到搜索引擎系统中的大部分日志的是没有意义的，这在处理海量日志监控时，对存储资源是一种极大的浪费。

发明内容

有鉴于此，本发明的目的在于提供一种日志搜索方法、装置及服务器，以缓解上述技术问题。

第一方面，本发明实施例提供了一种日志搜索方法，应用于大数据日志处理平台，该方法包括：获取日志告警列表，其中，所述日志告警列表为大数据日志处理平台根据分布式日志集群所接收的日志生成的，且，所述日志告警列表中包括预设数量的告警日志；提取所述日志告警列表中的目标告警日志；在预设的数据库中查找与所述目标告警日志关联的日志标识；基于所述日志标识搜索所述日志标识对应的目标日志。

在一种较佳的实施方式中，上述提取所述日志告警列表中的目标告警日志的步骤包括：提取所述日志告警列表中最新接收的告警日志，将最新接收的所述告警日志确定为目标告警日志；或者，提取所述日志告警列表中告警级别高于预设级别的告警日志，将告警级别高于预设级别的所述告警日志确定为目标告警日志。

在一种较佳的实施方式中，上述分布式日志集群为所述大数据日志处理平台中部署的kafka集群，所述kafka集群用于接收待监控的日志，上述方法还包括：读取所述kafka集群接收的海量日志；如果所述海量日志中有告警日志，则获取所述告警日志在所述kafka集群中的日志标识，将告警日志和所述日志标识进行绑定，以生成所述告警日志与所述日志标识的对应关系；将所述对应关系存储至预设的数据库，以及，生成包含所述告警日志的日志告警列表。

在一种较佳的实施方式中，上述日志标识为所述告警日志在所述kafka集群中的偏移量；上述将告警日志和所述日志标识进行绑定的步骤包括：将所述告警日志以及所述告警日志在所述kafka集群中的偏移量按照预设的格式进行封装，生成预设格式的数据包；上述将所述对应关系存储至预设的数据库的步骤包括：将所述预设格式的数据包存储至预设的数据库，其中，所述预设格式的数据包用于表征所述告警日志与所述日志标识的对应关系。

在一种较佳的实施方式中，上述读取所述kafka集群接收的海量日志的步骤包括：按照接收日志的时间顺序，逐一读取所述kafka集群接收的海量日志。

在一种较佳的实施方式中，上述读取所述kafka集群接收的海量日志的步骤，还包括：按照预设的过滤规则逐一读取所述kafka集群接收的海量日志；如果读取到的日志满足所述过滤规则对应的告警条件，则确定所述海量日志中有告警日志。

在一种较佳的实施方式中，上述大数据日志处理平台配置有日志监控组件；所述按照预设的过滤规则逐一读取所述kafka集群接收的海量日志的步骤包括：通过所述日志监控组件按照预设的所述过滤规则逐一读取所述kafka集群接收的海量日志。

在一种较佳的实施方式中，上述大数据日志处理平台还包括异常日志搜索服务；上述基于所述日志标识搜索所述日志标识对应的目标日志的步骤包括：通过所述异常日志搜索服务在所述海量日志中搜索所述日志标识对应的目标日志。

在一种较佳的实施方式中，上述通过所述异常日志搜索服务在所述海量日志中搜索所述日志标识对应的目标日志步骤包括：获取所述告警日志的告警时刻；通过所述异常日志搜索服务搜索所述告警时刻对应的时间段内的日志；将搜索到所述时间段内的日志确定为目标日志。

在一种较佳的实施方式中，上述大数据日志处理平台还包括监控平台，所述监控平台配置有监控平台界面；上述方法还包括：将搜索到的目标日志发送至所述监控平台，通过所述监控平台配置的所述监控平台界面对所述目标日志的日志内容进行展示。

第二方面，本发明实施例提供了一种日志搜索装置，应用于大数据日志处理平台，该装置包括：获取模块，用于获取日志告警列表，其中，所述日志告警列表为大数据日志处理平台根据分布式日志集群所接收的日志生成的，且，所述日志告警列表中包括预设数量的告警日志；提取模块，用于提取所述日志告警列表中的目标告警日志；查找模块，用于在预设的数据库中查找与所述目标告警日志关联的日志标识；搜索模块，用于基于所述日志标识搜索所述日志标识对应的目标日志。

第三方面，本发明实施例提供了一种服务器，所述服务器包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面所述的日志搜索方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面所述的日志搜索方法。

本发明实施例带来了以下有益效果：

本发明实施例提供的日志搜索方法、装置及服务器，能够获取日志告警列表，并提取日志告警列表中的目标告警日志；进而根据目标告警日志在预设的数据库中查找与目标告警日志关联的日志标识，并基于日志标识搜索日志标识对应的目标日志，上述通过日志标识搜索目标日志的过程，无需对日志全文进行保存，不仅可以节省大量的内存、磁盘等资源，也降低了大数据日志处理平台的复杂性，便于进行维护。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种日志搜索解决方案的示意图；

图2为本发明实施例提供的一种日志搜索方法的流程图；

图3为本发明实施例提供的另一种日志搜索方法的流程图；

图4为本发明实施例提供的一种大数据日志处理平台的示意图；

图5为本发明实施例提供的一种日志搜索装置的结构示意图；

图6为本发明实施例提供的另一种日志搜索装置的结构示意图；

图7为本发明实施例提供的一种服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，对于日志的搜索，多需要借助于搜索引擎来实现，图1示出了一种现有技术中的日志搜索解决方案的示意图，具体地，待监测的海量日志一般都接入图1中的大数据日志收集系统中，此外，还需要通过日志处理程序转换以后，将日志全文保存到搜索引擎中，在日志监控场景下，日志监控程序在搜索异常日志时通常仅需要搜索报警时刻日志的上下文信息即可，并通过监控平台进行展示，而对于大部分日志的存储是没有意义的，因此，在处理海量日志监控时，对存储资源是一种极大的浪费。

基于此，本发明实施例提供的一种日志搜索方法、装置及服务器，可以有效改善对存储资源的浪费的技术问题。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种日志搜索方法进行详细介绍。

在一种可能的实施方式中，本发明实施例提供了一种日志搜索方法，该方法应用于大数据日志处理平台，具体地，如图2所示的一种日志搜索方法的流程图，该方法包括以下步骤：

步骤S202，获取日志告警列表；

其中，该日志告警列表为大数据日志处理平台根据分布式日志集群所接收的日志生成的，且，日志告警列表中包括预设数量的告警日志；

步骤S204，提取日志告警列表中的目标告警日志；

具体实现时，上述日志告警列表是大数据日志处理平台在日志监控场景下根据日志告警事件生成的，而通常大数据日志处理平台是对海量日志进行监控和处理，因此，上述分布式日志集群所接收的日志通常是海量日志，且，对于海量日志来说，预设时间段内，日志告警事件会有多个，即，大数据日志处理平台可以监控到多个告警日志，因此，上述日志告警列表中包括预设数量的告警日志，该预设数量的告警日志通常是预设时间段内的监测结果，而日志告警列表也可以定时更新，以便于监控人员能够对该预设时间段的告警日志进行及时处理。

具体地，监控人员在处理告警日志时，可以从日志告警列表提取目标告警日志，该目标告警日志可以是日志告警列表最新发现的告警日志，也可以是日志告警列表中告警级别最高的告警日志，因此，上述步骤S204中，提取目标告警日志的步骤可以包括以下两种情形：提取日志告警列表中最新接收的告警日志，将最新接收的告警日志确定为目标告警日志；或者，提取日志告警列表中告警级别高于预设级别的告警日志，将告警级别高于预设级别的告警日志确定为目标告警日志。

在实际使用时，上述最新接收的告警日志以及告警级别高于预设级别的告警日志的数量可以是一个，也可以是多个，例如，当最新接手的告警日志为一个时，可以将该一个告警日志作为目标告警日志，当有多个时，可以借助于告警级别来选择告警级别最高的告警日志作为目标告警日志，具体可以根据实际使用情况进行设置，本发明实施例对此不进行限制。

进一步，大数据日志处理平台在提取目标告警日志时，还可以响应用户的日志提取操作，根据日志提取操作从日志告警列表中提取目标告警日志，当提取到目标告警日志之后，可以继续执行下述步骤对告警日志对应的内容进行进一步的搜索。

步骤S206，在预设的数据库中查找与目标告警日志关联的日志标识；

步骤S208，基于日志标识搜索日志标识对应的目标日志。

具体实现时，该步骤的搜索过程是基于日志标识在预设的分布式日志集群中进行的，且上述目标日志通常是目标告警日志的上下文日志，而上述搜索目标日志的过程是基于日志标识实现的，因此，不需要大数据日志处理平台对海量日志全文进行保存，因此，可以节省大量的内存、磁盘等资源。

因此，本发明实施例提供的日志搜索方法，能够获取日志告警列表，并提取日志告警列表中的目标告警日志；进而根据目标告警日志在预设的数据库中查找与目标告警日志关联的日志标识，并基于日志标识搜索日志标识对应的目标日志，上述通过日志标识搜索目标日志的过程，无需对日志全文进行保存，不仅可以节省大量的内存、磁盘等资源，也降低了大数据日志处理平台的复杂性，便于进行维护。

在实际使用时，为了能够在预设的数据库中查找与目标告警日志关联的日志标识，上述预设的数据库中通常保存有告警日志与日志标识的对应关系，而该对应关系，则是大数据日志处理平台在日志监控场景下根据告警日志生成的，具体地，上述分布式日志集群为大数据日志处理平台中部署的kafka集群，该kafka集群用于接收待监控的海量日志，而大数据日志处理平台则可以读取kafka集群接收的海量日志；如果该海量日志中有告警日志，则获取告警日志在kafka集群中的日志标识，将告警日志和日志标识进行绑定，以生成告警日志与日志标识的对应关系，进而将该对应关系存储至预设的数据库，以及，生成包含告警日志的日志告警列表。

而大数据日志处理平台可以定时去获取上述日志告警列表，以便于监控人员对告警日志进行处理，此外，大数据日志处理平台也可以响应监控人员的列表调取操作，去获取日志告警列表，使监控人员可以随时查看大数据日志处理平台对海量日志的监控情况。

进一步，对于kafka集群，上述日志标识通常为告警日志在kafka集群中的偏移量；具体地，Kafka是一个开源流处理平台，具有高吞吐量的分布式发布订阅消息系统，可以处理所有动作流数据，这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决的，可以通过集群来提供实时的消息。具体地，对于kafka集群中的每个消息，都分配有一个序列号，该序列号即为本发明实施例中的偏移量(offset)，在每个kafka集群的分区中，此偏移量都是唯一的，因此，本发明实施例中，将偏移量作为日志标识，可以对kafka集群接收的海量日志进行区分。

进一步，基于kafka集群，以及，告警日志在kafka集群中的偏移量，上述将告警日志和日志标识进行绑定的步骤包括：将告警日志以及告警日志在kafka集群中的偏移量按照预设的格式进行封装，生成预设格式的数据包；进一步，上述将对应关系存储至预设的数据库的步骤则可以直接将预设格式的数据包存储至预设的数据库，其中，由于该预设格式的数据包是由告警日志和偏移量封装绑定后生产的，因此，该预设格式的数据包可用于表征告警日志与日志标识的对应关系。

具体地，当大数据日志处理平台监测到有日志告警事件发生时，可以将告警日志在kafka中的偏移量和告警日志一起绑定、封装，并保存在预设的数据库中；当监控人员提取日志告警列表中的目标告警日志时，则可以根据在预设的数据库中根据告警日志与日志标识的对应关系查找告警日志与日志标识，然后去kafka中读取日志标识对应的目标日志，进而将读取到的目标日志的日志内容进行展示，以方便监控人员定位问题。

具体地，在图2的基础上，图3还示出了另一种日志搜索方法，对kafka集群接收的海量日志的处理过程进行进一步地说明，如图3所示，包括以下步骤：

步骤S302，读取kafka集群接收的海量日志；

具体地，该步骤中，读取海量日志的过程包括：按照接收日志的时间顺序，逐一读取kafka集群接收的海量日志；

具体地，为了对告警日志进行检测，通常，大数据日志处理平台多预先配置一些过滤规则，以对海量日志进行过程，如按照使用需求设置过滤器，以比较日志级别来控制日志输出，或者，自定义一定的日志级别，并设置匹配与不匹配的处理策略来控制针对某个级别日志的输出策略等等，依次来对海量日志进行过程，因此，在上述步骤S302中，读取海量日志时，还可以按照预设的过滤规则逐一读取kafka集群接收的海量日志；如果读取到的日志满足该过滤规则对应的告警条件，则确定海量日志中有告警日志。

步骤S304，如果海量日志中有告警日志，则获取告警日志在kafka集群中的日志标识，将告警日志和日志标识进行绑定，以生成告警日志与日志标识的对应关系；

步骤S306，将对应关系存储至预设的数据库，以及，生成包含告警日志的日志告警列表；

进一步，为了便于对海量日志进行过滤，通常大数据日志处理平台都配置有日志监控组件；该日志监控组件通常是由日志监控程序构成的功能组件，因此，可以通过该日志监控组件按照预设的过滤规则逐一读取kafka集群接收的海量日志，以便于在监测到告警日志时，能够有效地对告警日志和日志标识进行绑定存储，并及时更新日志告警列表。

步骤S308，获取日志告警列表；

其中，日志告警列表为大数据日志处理平台根据分布式日志集群所接收的海量日志生成的，且，日志告警列表中包括预设数量的告警日志；

步骤S310，提取日志告警列表中的目标告警日志；

具体地，可以提取日志告警列表中最新接收的告警日志，将最新接收的告警日志确定为目标告警日志；或者，提取日志告警列表中告警级别高于预设级别的告警日志，将告警级别高于预设级别的告警日志确定为目标告警日志。

步骤S312，在预设的数据库中查找与目标告警日志关联的日志标识；

其中，上述步骤S308～步骤S312的过程可以参考图2所示的过程，当步骤S312中查找到日志标识之后，则可以继续执行下述步骤，以对目标日志进行搜索。

具体地，大数据日志处理平台还包括异常日志搜索服务；因此，对目标日志进行搜索的过程，是基于该异常日志搜索服务实现的，具体地过程如下述步骤S314。

步骤S314，通过异常日志搜索服务在海量日志中搜索日志标识对应的目标日志；

具体地，该步骤中的海量日志，即为上述分布式日志集群所接收的海量日志，且，该搜索过程包括：获取告警日志的告警时刻；通过异常日志搜索服务搜索告警时刻对应的时间段内的日志；将搜索到时间段内的日志确定为目标日志。

步骤S316，对搜索到的目标日志的日志内容进行展示。

在实际使用时，上述大数据日志处理平台还包括监控平台，该监控平台配置有监控平台界面；而上述步骤S310中，提取目标告警日志的过程，通常是监控人员在接收到日志告警通知时，从日志告警列表中提取目标告警日志的过程。具体地，该日志告警通知通常是大数据日志处理平台确定出海量日志中有告警日志时生成的，并发送至上述监控平台界面供监控人员查看，而监控人员在接收到日志告警通知时，可以通过上述步骤S310来提取目标告警日志，并继续执行后续步骤，对目标日志进行搜索和展示，具体地，对搜索到的目标日志的日志内容进行展示的步骤包括：将搜索到的目标日志发送至监控平台，通过监控平台配置的监控平台界面对目标日志的日志内容进行展示。

为了便于理解，图4示出了一种大数据日志处理平台的示意图，如图4所示，包括kafka集群、监控平台、日志监控组件，以及异常日志搜索服务等等，基于图4所示的大数据日志处理平台，本发明实施例提供的日志搜索方法，包括以下过程：

(1)部署kafka集群，用于接收待监控的海量日志；

(2)开发日志监控组件，日志监控组件可以从kafka集群中读取每一条日志进行规则过滤，满足告警条件时将告警日志封装成指标推送到监控平台触发告警；其中，该过程中的指标指的是监控平台中用于告警判定的基础数据格式；

(3)日志监控组件检测到有告警日志时，将告警日志在kafka集群中的偏移量与告警日志进行封装，通过监控平台保存到预设的数据库中；

(4)开发一个监控平台的监控平台界面，在监控平台界面上可以看到近期日志告警列表，每条告警中除了告警的日志内容外还包含有kafka集群中的偏移量；

(5)选择日志告警列表中某条告警日志的日志内容，向异常日志搜索服务请求这条告警日志的上下文；

(6)异常日志搜索服务根据这条告警日志的元数据信息，从数据库中查询告警日志在kafka中的偏移量；

(7)异常日志搜索服务根据偏移量定位到kafka集群中日志的位置，并获取偏移量前后一段时间内的日志上下文信息，根据关键字过滤后在监控平台界面上展示出来，供监控人员查看。

综上，本发明实施例提供的日志搜索方法具有以下优点：

1)节省资源：

在海量日志监控的场景下，日志量很大，本发明实施例提供的日志搜索方法，不需要将日志全文保存到搜索引擎中，即可实现异常日志上下文搜索功能的解决方案，可以节省大量的内存、磁盘等资源。

2)降低系统的复杂性：

由于无需存储日志全文，使得本发明实施例提供的日志搜索方法比较轻量，不需要花费人力维护复杂系统的稳定性。

在上述实施例的基础上，本发明实施例还提供了一种日志搜索装置，应用于大数据日志处理平台，如图5所示的一种日志搜索装置的结构示意图，该装置包括：

获取模块50，用于获取日志告警列表，其中，所述日志告警列表为大数据日志处理平台根据分布式日志集群所接收的日志生成的，且，所述日志告警列表中包括预设数量的告警日志；

提取模块52，用于提取所述日志告警列表中的目标告警日志；

查找模块54，用于在预设的数据库中查找与所述目标告警日志关联的日志标识；

搜索模块56，用于基于所述日志标识搜索所述日志标识对应的目标日志。

具体地，上述提取模块52还用于：提取所述日志告警列表中最新接收的告警日志，将最新接收的所述告警日志确定为目标告警日志；或者，提取所述日志告警列表中告警级别高于预设级别的告警日志，将告警级别高于预设级别的所述告警日志确定为目标告警日志。

进一步，上述分布式日志集群为所述大数据日志处理平台中部署的kafka集群，所述kafka集群用于接收待监控的日志，因此，在图5的基础上，图6还示出了另一种日志搜索装置的结构示意图，如图6所示，除图5所示的结构外，该装置还包括：

列表生成模块58，用于读取所述kafka集群接收的海量日志；如果所述海量日志中有告警日志，则获取所述告警日志在所述kafka集群中的日志标识，将告警日志和所述日志标识进行绑定，以生成所述告警日志与所述日志标识的对应关系；将所述对应关系存储至预设的数据库，以及，生成包含所述告警日志的日志告警列表。

进一步，所述日志标识为所述告警日志在所述kafka集群中的偏移量；

上述列表生成模块58还用于：将所述告警日志以及所述告警日志在所述kafka集群中的偏移量按照预设的格式进行封装，生成预设格式的数据包；以及，将所述预设格式的数据包存储至预设的数据库，其中，所述预设格式的数据包用于表征所述告警日志与所述日志标识的对应关系。

进一步，上述列表生成模块58还用于：按照接收日志的时间顺序，逐一读取所述kafka集群接收的海量日志。

进一步，上述列表生成模块58还用于：按照预设的过滤规则逐一读取所述kafka集群接收的海量日志；

如果读取到的日志满足所述过滤规则对应的告警条件，则确定所述海量日志中有告警日志。

其中，所述大数据日志处理平台配置有日志监控组件；上述列表生成模块58还用于：通过所述日志监控组件按照预设的所述过滤规则逐一读取所述kafka集群接收的海量日志。

进一步，所述大数据日志处理平台还包括异常日志搜索服务；

上述搜索模块用于：通过所述异常日志搜索服务在所述海量日志中搜索所述日志标识对应的目标日志。

进一步，上述搜索模块用于：获取所述告警日志的告警时刻；

通过所述异常日志搜索服务搜索所述告警时刻对应的时间段内的日志；

将搜索到所述时间段内的日志确定为目标日志。

进一步，所述大数据日志处理平台还包括监控平台，所述监控平台配置有监控平台界面；上述装置还包括：

日志展示模块60，用于将搜索到的目标日志发送至所述监控平台，通过所述监控平台配置的所述监控平台界面对所述目标日志的日志内容进行展示。

本发明实施例提供的日志搜索装置，与上述实施例提供的日志搜索方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例还提供一种服务器，该服务器包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现图2或图3所示的日志搜索方法。

进一步，本发明实施例还提供了一种服务器的结构示意图，如图7所示，为该服务器的结构示意图，其中，该服务器包括处理器101和存储器100，该存储器100存储有能够被该处理器101执行的计算机可执行指令，该处理器101执行该计算机可执行指令以实现上述日志搜索方法。

在图7示出的实施方式中，该服务器还包括总线102和通信接口103，其中，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线102可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器101读取存储器中的信息，结合其硬件完成前述实施例的日志搜索方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现图2或图3所示的日志搜索方法。

本发明实施例所提供的日志搜索方法、装置及服务器的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种日志搜索方法，其特征在于，应用于大数据日志处理平台，所述方法包括：

获取日志告警列表，其中，所述日志告警列表为大数据日志处理平台根据分布式日志集群所接收的日志生成的，且，所述日志告警列表中包括预设数量的告警日志；

提取所述日志告警列表中的目标告警日志；

在预设的数据库中查找与所述目标告警日志关联的日志标识；

基于所述日志标识搜索所述日志标识对应的目标日志。

2.根据权利要求1所述的方法，其特征在于，提取所述日志告警列表中的目标告警日志的步骤包括：

提取所述日志告警列表中最新接收的告警日志，将最新接收的所述告警日志确定为目标告警日志；或者，

提取所述日志告警列表中告警级别高于预设级别的告警日志，将告警级别高于预设级别的所述告警日志确定为目标告警日志。

3.根据权利要求1所述的方法，其特征在于，所述分布式日志集群为所述大数据日志处理平台中部署的kafka集群，所述kafka集群用于接收待监控的日志，所述方法还包括：

读取所述kafka集群接收的海量日志；

如果所述海量日志中有告警日志，则获取所述告警日志在所述kafka集群中的日志标识，将告警日志和所述日志标识进行绑定，以生成所述告警日志与所述日志标识的对应关系；

将所述对应关系存储至预设的数据库，以及，生成包含所述告警日志的日志告警列表。

4.根据权利要求3所述的方法，其特征在于，所述日志标识为所述告警日志在所述kafka集群中的偏移量；

将告警日志和所述日志标识进行绑定的步骤包括：

将所述告警日志以及所述告警日志在所述kafka集群中的偏移量按照预设的格式进行封装，生成预设格式的数据包；

将所述对应关系存储至预设的数据库的步骤包括：

将所述预设格式的数据包存储至预设的数据库，其中，所述预设格式的数据包用于表征所述告警日志与所述日志标识的对应关系。

5.根据权利要求3所述的方法，其特征在于，读取所述kafka集群接收的海量日志的步骤包括：

按照接收日志的时间顺序，逐一读取所述kafka集群接收的海量日志。

6.根据权利要求3或5所述的方法，其特征在于，读取所述kafka集群接收的海量日志的步骤，还包括：

按照预设的过滤规则逐一读取所述kafka集群接收的海量日志；

如果读取到的日志满足所述过滤规则对应的告警条件，则确定所述海量日志中有告警日志。

7.根据权利要求6所述的方法，其特征在于，所述大数据日志处理平台配置有日志监控组件；

所述按照预设的过滤规则逐一读取所述kafka集群接收的海量日志的步骤包括：

通过所述日志监控组件按照预设的所述过滤规则逐一读取所述kafka集群接收的海量日志。

8.根据权利要求3所述的方法，其特征在于，所述大数据日志处理平台还包括异常日志搜索服务；

所述基于所述日志标识搜索所述日志标识对应的目标日志的步骤包括：

通过所述异常日志搜索服务在所述海量日志中搜索所述日志标识对应的目标日志。

9.根据权利要求8所述的方法，其特征在于，通过所述异常日志搜索服务在所述海量日志中搜索所述日志标识对应的目标日志步骤包括：

获取所述告警日志的告警时刻；

通过所述异常日志搜索服务搜索所述告警时刻对应的时间段内的日志；

将搜索到所述时间段内的日志确定为目标日志。

10.根据权利要求1所述的方法，其特征在于，所述大数据日志处理平台还包括监控平台，所述监控平台配置有监控平台界面；

所述方法还包括：

将搜索到的目标日志发送至所述监控平台，通过所述监控平台配置的所述监控平台界面对所述目标日志的日志内容进行展示。

11.一种日志搜索装置，其特征在于，应用于大数据日志处理平台，所述装置包括：

获取模块，用于获取日志告警列表，其中，所述日志告警列表为大数据日志处理平台根据分布式日志集群所接收的日志生成的，且，所述日志告警列表中包括预设数量的告警日志；

提取模块，用于提取所述日志告警列表中的目标告警日志；

查找模块，用于在预设的数据库中查找与所述目标告警日志关联的日志标识；

搜索模块，用于基于所述日志标识搜索所述日志标识对应的目标日志。

12.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至10任一项所述的日志搜索方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至10任一项所述的日志搜索方法。

Images