CN114363042A - 日志分析方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请提出了一种日志分析方法、装置、设备及可读存储介质。该方法包括：获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；根据所述日志采集任务采集日志数据，并上传至消息队列；根据所述日志采集任务信息对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；根据所述日志元数据进行分析，生成日志分析结果。本申请通过对不同节点的日志进行聚合分析处理，可以对日志进行统一的分析和查看，无需逐个节点查看日志，从而提高日志采集和分析的效率。

Description

日志分析方法、装置、设备及可读存储介质

技术领域

本申请涉及计算机及数据处理技术领域，具体涉及一种日志分析方法、装置、设备及可读存储介质。

背景技术

如今，随着通信技术和互联网技术的飞速发展，在给人们的生活带来极大的便利的同时，也带来了严峻的网络安全威胁问题。例如垃圾邮件、挖矿病毒、勒索病毒、分布式拒绝服务(Distributed Denial-of-Service，DDOS)攻击乃至高级持续性威胁(AdvancedPersistent Threat，APT)攻击，都给网络安全建设提出了很高的挑战。目前无论是入侵检测、攻击溯源还是安全运营等都依赖于对海量日志的分析，包括访问日志、系统日志、审计日志等。

在构思及实现本申请过程中，发明人发现至少存在如下问题：常用的日志采集工具资源消耗过于庞大，不仅依赖性能繁重和配置麻烦，部署时较为麻烦，并且使用限制过多，灵活性和实用性较低，无法满足用户实际使用需求。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

针对上述技术问题，本申请提供一种日志分析方法、装置、设备及可读存储介质，通过对日志进行聚合分析处理，从而提高日志采集和分析的效率。

为解决上述技术问题，本申请提供一种日志分析方法，至少包括如下步骤：

S10：获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；

S20：根据所述日志采集任务采集日志数据，并上传至消息队列；

S30：根据所述日志采集任务信息对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；

S40：根据所述日志元数据进行分析，生成日志分析结果。

可选地，所述S10步骤可以包括：

接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息；

根据更新后的日志采集任务信息生成日志采集任务；

根据所述日志采集任务创建所述目标信息集合。

可选地，所述接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息，包括：

根据所述日志采集请求确定对应的日志采集节点实例；

注册目标日志采集节点的名称，并根据所述日志采集请求生成日志采集任务信息；所述日志采集任务信息包括采集日志类型、日志名称、日志格式、目标日志采集节点的名称以及所述目标日志采集节点所发送至的日志集合。

可选地，所述S20步骤可以包括：

提取所述日志采集任务中的配置信息，所述配置信息包括日志采集方式、目标日志采集节点、采集日志数据的类型及其对应的数据流管道配置；

根据所述配置信息采集日志数据，并通过分布式键值数据库将所述日志数据上传至所述消息队列。

可选地，所述S30步骤可以包括：

获取需要消费的消息队列和数据流管道配置；

根据所述日志采集任务对所述消息队列中的日志数据进行消费，并生成对应的日志元数据；

将所述日志元数据发送至对应的日志集合。

可选地，在将所述日志元数据发送至对应的日志集合之后，还包括：

根据所述数据流管道配置获取所述日志集合对应的数据流管道；

根据预设运行顺序运行所述数据流管道中的插件，对所述日志元数据进行数据流处理。

可选地，所述S40步骤可以包括：

从所述日志集合中获取目标日志元数据，并对所述目标日志元数据进行ES持久化处理；

对ES持久化处理后的目标日志元数据进行日志分析，生成日志分析结果。

相应地，本申请还提供一种日志分析装置，包括：

采集任务模块，用于获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；

日志采集模块，用于根据所述日志采集任务采集日志数据，并上传至消息队列；

日志消费模块，用于根据所述日志采集任务对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；

日志分析模块，用于根据所述日志元数据，生成日志分析结果。

本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的日志分析方法的步骤。

本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的日志分析方法的步骤。

实施本发明实施例，具有如下有益效果：

如上所述，本申请提供的一种日志分析方法、装置、设备及可读存储介质，所述方法包括：首先获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；然后根据所述日志采集任务采集日志数据，并上传至消息队列；接着根据所述日志采集任务对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；最后根据所述日志元数据进行分析，生成日志分析结果。本申请的日志分析方法，通过分布式键值集群根据日志采集任务信息在若干个分布式节点进行日志数据的采集，在采集完后上传至同一个消息队列中，对该消息队列中的日志数据进行消费，生成日志元数据并发送至日志集合中，在运行管道中的插件对日志集合中的日志元数据进行数据流处理后，对日志数据进行分析，通过上述技术方案，当用户需要对若干个不同节点进行日志采集和分析时，无需逐一对每个节点的日志数据进行采集和分析，通过将各个节点的日志聚合分析，进行统一的分析和查看，从而实现日志采集、存储、解析、分析和告警的一站式运行，极大提高日志采集和分析的效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的日志分析方法的流程示意图；

图2是本申请实施例提供的日志分析装置的结构示意图；

图3是本申请实施例提供的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：A、B、C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”，再如，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

需要说明的是，在本文中，采用了诸如S10、S20等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S20后执行S10等，但这些均应在本申请的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。

本申请实施例可以应用于服务器中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

首先介绍本申请可以提供的应用场景，如提供一种日志分析方法、装置、设备及可读存储介质，能够同时对多个不同节点进行日志数据的采集和分析，极大提高日志采集和分析的效率，实现日志采集、存储、解析、分析和告警的一站式运行。

请参阅图1，图1是本申请实施例提供的日志分析方法的流程示意图。该日志分析方法具体可以包括：

S10：获取目标信息集合，所述目标信息集合至少包括一个日志采集任务。

可选地，在S10步骤之前，用户可按需通过服务注册配置中心配置需要收集的日志集合和日志集合所使用的的管道中的流插件，以及日志集合对应所需的日志解析器，日志解析器类型包括JSON类型、string类型和自定义解析器，并为不同的日志采集节点分配针对不同日志类型的采集任务，还能通过服务注册配置中心配置实时监控每个节点的状态。

具体的，对于S10步骤，通过服务配置中心获取本次目标信息集合，其中，目标信息集合至少包括一个日志采集任务。在实施过程中，通过Etcd分布式键值存储系统注册并激活日志采集服务，在激活日志采集任务后更新用户通过节点注册配置平台配置的节点配置，包括需要收集的日志集合和日志集合所使用的的管道中的流插件，以及日志集合对应所需的日志解析器。在激活日志采集任务后，通过日志采集节点获取本次用户在节点注册配置平台下发的日志采集任务信息，得到目标信息集合。

可选地，在一些实施例中，所述S10步骤具体可以包括：

S11.接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息；

S12.根据更新后的日志采集任务信息生成日志采集任务；

S13.根据所述日志采集任务创建所述目标信息集合。

具体的，首先接收用户发送的日志采集请求，根据该日志采集请求在节点注册配置平台配置更新对应的日志采集任务信息，例如采集日志的类型、日志格式、日志采集的目标节点和采集完成后所需发送的日志集合。根据更新后的日志采集任务信息生成对应的若干个日志采集任务，日志采集节点从节点注册配置平台获取的日志采集任务，根据日志采集任务获取对应的目标日志采集节点及其注册状态，并根据所述日志采集任务创建对应的目标信息集合。若日志采集任务对应的任一日志采集节点处于未注册状态，则需要通知用户，需要在节点注册配置平台重新进行该节点的配置。若识别日志采集任务对应的任一日志采集节点处于处于已注册状态，则后续根据日志采集任务信息在该日志采集节点中进行日志数据的采集。另外，在S12步骤之后还可以包括根据更新后的日志采集任务信息停止日志采集任务，日志采集节点从节点注册配置平台获取的日志采集任务信息，当获取的日志采集任务信息为停止采集时，停止本次日志采集任务。

可选地，在一些实施例中，S11步骤具体可以包括：

S111.根据所述日志采集请求确定对应的日志采集节点实例；

S112.注册目标日志采集节点的名称，并根据所述日志采集请求生成日志采集任务信息；所述日志采集任务信息包括采集日志类型、日志名称、日志格式、目标日志采集节点的名称以及所述目标日志采集节点所发送至的日志集合。

具体的，在每次接收用户发起的日志采集请求后，均需要在节点注册配置平台中实时更新日志采集请求对应的日志采集任务信息，若本次日志采集请求为新增需求时(即与历史日志采集请求均不重复)，需要在节点注册配置平台新增对应的日志采集节点实例，在日志采集节点中注册客户端节点名称，并分配给该日志采集节点对应的日志采集任务，明确需要采集日志文件的日志类型、日志名称、日志内容格式，以及本次日志采集的目标节点和本次日志聚合需要使用的日志集合。若日志集合之前不存在，则还需要创建一个全新的日志集合，在创建全新的日志集合时还可以设定日志集合需要使用的管道和插件。

S20：根据所述日志采集任务采集日志数据，并上传至消息队列。

具体的，对于S20步骤，在日志数据的采集过程中，由于日志采集节点使用go语言编写，可以编译成各个平台所使用的二进制位文件，从而运行在生产日志的分布式程序、分布式节点或拥有其它日志的服务器中，在分布式键值数据库注册并更新配置信息后，从节点注册配置平台获取的日志采集任务，根据日志采集任务采集日志数据，在目标日志采集节点中收集和发送日志数据至Kafka集群的消息队列中。

在一些实施例中，日志采集节点采集日志数据的方式支持单文件和按日期分片的日志类型，同时对于进程退出和进程异常中短，也做了日志监控数据偏移量的持久化，可以在任务重启时，恢复时历史数据状态，实现断点续传。此外对于大批量的日志数据，日志采集节点支持将多条日志数据合并发送至Kafka消息队列，可以不同程度上的减少日志采集程序对网络资源的消耗。

可选地，在一些实施例中，所述S20步骤具体可以包括：

S21.提取所述日志采集任务信息中的配置信息，所述配置信息包括日志采集方式、目标日志采集节点、日志数据的类型及其对应的数据流管道配置；

S22.根据所述配置信息采集日志数据，并通过分布式键值数据库将所述日志数据上传至所述消息队列。

具体的，通过日志采集节点获取节点注册配置平台的日志采集任务信息后，对日志采集任务信息进行配置信息的提取，提取出本次获取的日志采集任务信息中的配置信息，其中，配置信息包括日志采集方式、本次日志采集任务的目标节点、所需采集的日志数据的类型，以及日志数据对应的数据流管道配置。通过Etcd分布式键值数据库根据提取的配置信息从日志采集节点中采集对应的日志数据，即根据日志采集方式从本次日志采集任务的目标节点采集所需的日志数据类型及日志数据，最后上传至同一个Kafka消息队列中。

其中，对于Etcd分布式键值数据库，是一个go语言编写的分布式高可用的一致性键值存储系统，用于提供可靠的分布式键值(key-value)存储、配置共享和服务发现等功能。Etcd可以用于存储关键数据和实现分布式调度，在现代化的集群运行中能够起到关键性的作用。实际运用过程中，Etcd基于Raft协议，通过复制日志文件的方式来保证数据的强一致性。当客户端应用写一个key时，首先会存储到Etcd的Leader上，然后再通过Raft协议复制到Etcd集群的所有节点中，以此维护各节点状态的一致性与实现可靠性。

对于Kafka，是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。传统的消息队列只有两种模式，一种是queue，另外一种则是publish-subscribe发布订阅。在queue模式中，一组消费者消费一个队列，每条消息被发给其中一个消费者。在publish-subscribe模式中，消费被广播给所有消费者。queue模式的好处在于，可以把消费分发给一组消费者，从而实现消费者的规模化(scale)，但是queue模式的问题在于，这样一个消息只能被一组消费者消费，一旦消费，消息就没有了。而publish-subscribe的好处在于，一个消息可以被多组消费者消费；问题在于，消费者没法规模化，即不可能出现多个消费者订阅同一个topic，但每个消费者只处理一部分消息。而kafka的优势在于，多个subscriber可以订阅同一个topic，但是各自如何读取都是自由的，互不干扰。同时提出了consumer group的概念，每个subscriber可以是多个consumer组成的，在consumer group内部，自由分配消费方式。为了达到这种目的，一个topic里的消息，被分成多个partition，既实现了上面的想法，同时又实现冗余，即一个partition可以冗余存储在多台机器上，达到分布式系统的高可用效果。

S30：根据所述日志采集任务信息对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中。

具体的，对于S30步骤，在将日志数据上传至Kafka消息队列后，根据获取的日志采集任务信息对Kafka消息队列中的日志数据进行消费，生成日志元数据后，根据元数据的所属集合，将日志元数据发送至数据流管道中进行流处理，最后发送至对应的日志集合中。在一些实施例中，主要是通过日志处理服务中心对日志数据进行消费等处理。日志处理服务中心获取到Queue中的日志数据，传输至数据流管道中进行数据流处理，最终将经过数据流处理后的日志元数据发送至日志集合中。

可选地，在一些实施例中，所述S30步骤具体可以包括：

S31.获取需要消费的消息队列及其数据流管道配置；

S32.根据所述日志采集任务对所述消息队列中的日志数据进行消费，并生成对应的日志元数据；

S33.将所述日志元数据发送至对应的日志集合。

具体的，在一些实施例中，首先通过Etcd获取当前处于生产状态的日志采集节点及其注册状态，对处于生产状态中的已注册的日志采集节点进行日志集合及其数据流管道配置，从而根据日志采集任务对Kafka消息队列中的若干个日志数据进行消费，在消费对应的Kafka消息队列中的topic的日志数据后，通过日志采集节点生成对应的日志元数据，最后根据日志元数据的所属类别发送至对应的日志集合中，以使根据对应的数据流管道对日志元数据进行相关的数据流操作。

可选地，在一些实施例中，S33步骤之后具体可以包括：

S34.根据所述数据流管道配置获取所述日志集合对应的数据流管道；

S35.根据预设运行顺序运行所述数据流管道中的插件，对所述日志元数据进行数据流处理。

具体的，在一些实施例中，根据数据流管道配置获取节点注册配置平台中已配置的各类日志结合所对应的数据流管道，按照预设运行顺序依次运行日志处理服务中心的数据流管道的若干个插件，从而对日志集合中的日志元数据进行相关的数据流处理，例如数据报警、水印和持久化ES等操作。其中，对于插件运行顺序的配置，由用户预先在节点注册配置平台设置好关于数据流管道中插件的运行数据顺序，例如可先进行数据修改或先进行数据分析，再进行持久ES或者调用钉钉机器人报警等操作。

其中，常用的数据流管道的插件包括数据纠正、数据水印、阀值监控、ES持久化(建立索引后，使用Elasticsearch+Kibana可视化的日志分析)、钉钉和邮件通知告警等插件，从而满足大规模的分布式服务集群的日志收集需求。

需要说明的是，关于数据流管道处理日志元数据流的流程及具体说明如下：

Piepline管道作为一个单向链表的结构，每一个节点都包含一个Plugin和指向下一个节点的指针。数据流入首先交给节点中的Plugin来进行处理，随即传递给下一个节点。例如钉钉通知和ES持久化等需要耗时的操作，Plugin则会将元数据再次通过Channel发送到对应的goroutine，不会影响管道的处理效率。通过额外的goroutine来去发送钉钉的告警消息，或将消息批量插入到ES集群中。

另外，在一些实施例中，节点注册配置服务平台还可提供更加便捷的可视化化UI,并添加对Logtransfer(日志处理服务中心)状态的监控功能。此外对于Logtransfer中一些特殊功能的实现，例如格式化特殊形式的日志，或特殊的日志处理分析逻辑，还可针对需求来对代码进行二次开发，引入自定义插件，或通过外部的方式提供插件仓库，实现插件的生态化。

S40：根据所述日志元数据生成日志分析结果。

具体的，在完成日志数据的消费后，通过数据流管道中的ES插件对消费后生成的日志元数据进行ES持久化，将数据在底层写入至磁盘中，通过日志集合集中存储各类日志元数据，通过Kibana分析与可视化平台对若干个日志集合中的日志元数据进行日志分析，最后生成可视化的日志分析结果。

可选地，在一些实施例中，所述S40步骤具体可以包括：

S41.从所述日志集合中获取目标日志元数据，并对所述日志元数据进行ES持久化处理；

S42.对ES持久化处理后的目标日志元数据进行日志分析，生成日志分析结果。

具体的，在一些实施例中，对日志元数据进行日志分析之前，还需要将日志集合中的日志元数据进行ES持久化处理，从而将数据在底层写入磁盘中，持久化至ES集群后，通过分析与可视化平台(如Kibana)对日志处理服务中心从Kafka消息队列获取的日志元数据进行日志数据分析，最后生成各个日志集合对应的可视化日志分析结果，通过图、表、统计等方式将复杂的日志数据以更直观的形式展示出来，实现高级的数据分析和可视化。除了通过分析与可视化平台进行日志分析，还可以用于日志数据的查询，查看存储在Elasticsearch索引中的数据并与之交互。

需要说明的是，对于S41步骤中的对所述日志元数据进行ES持久化处理，在本实施例中仅仅只是列举了其中一种数据处理，在实际的实施过程中，使用所属的采集任务的数据处理规则依次进行链式操作，包括但不仅限于去收集(存储到elasticsearch)、监控(包含告警通知)、修改(根据日志结果计算为日志元数据生成新的属性)和归档处理数据等等，而不仅限于是ES持久化。

由上可知，本申请实施例提供的日志分析方法，包括：首先获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；然后根据所述日志采集任务采集日志数据，并上传至消息队列；接着根据所述日志采集任务对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；最后根据所述日志元数据生成日志分析结果。可见，本申请实施例的日志分析方法，通过分布式键值集群根据日志采集任务信息在若干个分布式节点进行日志数据的采集，在采集完后上传至同一个消息队列中，对该消息队列中的日志数据进行消费，生成日志元数据并发送至日志集合中，在运行管道中的插件对日志集合中的日志元数据进行数据流处理后，最终对日志数据进行日志分析，通过上述技术方案，当用户需要对若干个不同节点进行日志采集和分析时，无需逐一对每个节点的日志数据进行采集和分析，通过将各个节点的日志聚合分析，进行统一的分析和查看，从而实现日志采集、存储、解析、分析和告警的一站式运行，极大提高日志采集和分析的效率。

在具体的实施例中，本申请还提供了一种日志分析方法的具体实施方式，包括如下步骤：

步骤1.安装客户端程序，并提供该客户端的目标信息集合信息；

步骤2.客户端获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；

步骤3.客户端根据所述日志采集任务开始或停止采集日志数据，并上传至任务的目标消息队列；

步骤4.服务端根据所述日志采集任务对所述消息队列中的日志数据进行消费，生成日志元数据后，使用所属的采集任务的数据处理规则，依次进行链式操作，包括但不仅限于去收集，监控，修改，归档处理数据；

步骤5.根据收集日志元数据，生成日志分析结果。

其中，步骤4中的链式操作，具体为依次根据插件管道队列对日志元数据进行链式操作，管道对数据是并非是只读的，也包括操作数据，数据流入下一个插件中是经过上一个插件处理过的，需要说明的是插件顺序是可控的。

另外，对于步骤1，具体还可以包括：安装客户端程序到目标机器中，启动进程；注册目标日志采集节点的名称，并根据所述日志采集请求生成日志采集任务信息；所述日志采集任务信息包括采集日志类型、日志名称、日志格式、目标日志采集节点的名称以及所述目标日志采集节点所发送至的日志集合。

为了便于进一步理解本申请的日志分析方法，本申请实施例还提供一种日志分析系统，主要由Logagent客户端(日志收集节点)、CCenter(服务注册中心)、Logtransfer(日志处理服务中心)构成。

其中，Logagent客户端使用go语言编写，可以编译成各个平台所使用的二进制位文件，运行在生产日志的分布式程序或拥有其他日志的服务器中，通过Etcd来注册激活服务并更新配置信息，根据从配置中心获取的收集任务，去收集和发送日志到Kafka集群的队列中。Logagent客户端的采集方式多样，支持单文件和按日期分片的日志类型。同时对于进程退出和进程异常中短，也做了日志监控数据偏移量的持久化，可以在任务重启时，恢复时历史数据状态，实现断点续传。此外对于大批量的日志数据，Logagent客户端支持将多条日志数据合并发送至Kafka，可以不同程度上的减少Logagent客户端程序对网络资源的消耗。

CCenter是本系统的核心枢纽，使用Go语言的Gin框架开发，通过Etcd来实现与节点的通信，并使用MySql来持久化系统中的配置数据。并支持两种安装方式，手动编译和Docker镜像。CCenter也负责系统中服务的发现与治理的职责，通过Etcd来观察节点的运行状态和执行的任务，同时也负责系统中日志收集任务的管理功能，包括维护日志的所属集合，为该日志集合添加元数据的插件流管道，为Logagent客户端中日志文件关联所属集合等。

在具体实施例中，若有新增一个日志聚合任务的需求时，首先需要CCenter中新增一个Logagent实例,在Logagent客户端中去注册客户端节点名称，并分配给这个节点日志收集任务，明确需要收集日志文件的日志类型，名称以及日志内容格式和日志聚合需要使用的日志集合。若日志集合之前不存在，则需要创建一个全新的日志集合，创建时可以设定日志集合需要使用的Plugins Piepline，往往最后需要通过ES和Kibana去分析日志，所以在管道的插件顺序编排中，会将ES插件编排在最后。例如要给元数据加数据水印的Plugin,可以在CCenter配置时，指定额外插件参数。这样系统中所有的任务和配置都统一使用CCenter统一配置和管理，极大程度的简化了整个系统的使用成本。

Logtransfer日志处理服务中心是本系统的核心程序，同样使用Go语言开发。Logtransfer也通过Etcd获取CCenter中的配置信息。Logtransfer不仅作为Kafka队列的消费者，也负责队列中元数据的处理，在初始化时会提前加载所有日志集合需要使用的Plugins Piepline。

在工作时，首先根据从Etcd中获取当前生产状态的节点中，全部需要消费的日志集合和对应配置，去消费对应的Kafka队列中的Topic由Logagent所生产元数据。最后投递到日志集合所对应的特定的PiePline来对元数据进行流操作。

Logtransfer日志处理服务中心的Piepline是关键性的功能，我们可以将元数据交给Plugins来进行报警、水印和持久化ES等操作，甚至可以配置顺序，由使用者决定插件的运行顺序，先进行数据修改，或先进行数据分析，再进行持久化ES或者去调用钉钉机器人报警。当在CCenter配置好这些插件和顺序和配置参数时，就可以投入使用。

最后就可以通过Kibana来对ES中的日志数据进行分析，来做到日志收集和分析的工作。

可选地，关于本申请实施例提供的日志分析系统，其数据处理流程包括：通过配置中心配置需要收集的日志集合(collector)和collector所使用的管道中的(pieplineplugin)流插件以及对应集合所需的(formater)日志解析器(JSON类型，string类型，和自定义解析器)，为不同的客户端节点分配针对不同日志的收集任务，并实时监控每一个节点的状态。随后客户端实时获取从配置中心下发的收集任务，针对任务目标对宿主服务器中的一个或多个日志文件进行监听，并上传到元数据的队列中，日志聚合服务对队列进行消费，并根据元数据的所属集合，将日志投递到对应的流处理管道中。

在一些实施例中，本申请实施例提供的日志分析系统的工作机制，首先将Logagent投放到不同的机器上,里面可以包含很多collector，但是需要表明机器节点名，部署之后会自动激活在Etcd中，然后通过CCenter的操作界面配置collector；collector首先会在Etcd中注册,Logtransfer监听Etcd的配置变更，自动搜寻新增的需要监控的collector，然后去定位Topic。根据情况自动生成Kafka的Customer Group从而进行数据的消费，再去根据不同的Topic拥有的规则去处理相关日志数据。

相应的，本申请还提供一种日志分析装置，请参阅图2，图2是本申请提供的日志分析装置的结构示意图，具体可以包括采集任务模块100、日志采集模块200、日志消费模块300和日志分析模块400。

其中，采集任务模块100，用于获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；

可选地，在一些实施例中，采集任务模块100具体可以包括：

信息更新单元，用于接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息；

任务生成单元，用于根据更新后的日志采集任务信息生成日志采集任务；

集合创建单元，用于根据所述日志采集任务创建所述目标信息集合。

可选地，在一些实施例中，信息更新单元具体可以包括：

实例单元，用于根据所述日志采集请求确定对应的日志采集节点实例；

任务信息生成子单元，用于注册目标日志采集节点的名称，并根据所述日志采集请求生成日志采集任务信息；所述日志采集任务信息包括采集日志类型、日志名称、日志格式、目标日志采集节点的名称以及所述目标日志采集节点所发送至的日志集合。

具体的，在一些实施例中，对于采集任务模块100，通过服务配置中心获取本次目标信息集合，其中，目标信息集合至少包括一个日志采集任务。在实施过程中，通过Etcd分布式键值存储系统注册并激活日志采集服务，在激活日志采集任务后更新用户通过节点注册配置平台配置的节点配置，包括需要收集的日志集合和日志集合所使用的的管道中的流插件，以及日志集合对应所需的日志解析器。在激活日志采集任务后，通过日志采集节点获取本次用户在节点注册配置平台下发的日志采集任务信息，得到目标信息集合。

日志采集模块200，用于根据所述日志采集任务采集日志数据，并上传至消息队列。

可选地，在一些实施例中，日志采集模块200具体可以包括：

配置提取单元，用于提取所述日志采集任务信息中的配置信息，所述配置信息包括日志采集方式、目标目标日志采集节点、日志数据的类型及其对应的数据流管道配置；

数据采集单元，用于根据所述配置信息采集日志数据，并通过分布式键值数据库上传至所述消息队列。

具体的，在一些实施例中，对于日志采集模块200，在日志数据的采集过程中，由于日志采集节点使用go语言编写，可以编译成各个平台所使用的二进制位文件，从而运行在生产日志的分布式程序、分布式节点或拥有其它日志的服务器中，在分布式键值数据库注册并更新配置信息后，从节点注册配置平台获取的日志采集任务信息，根据日志采集任务信息去对应的目标日志采集节点中收集和发送日志数据至Kafka集群的消息队列中。

日志消费模块300，用于根据所述日志采集任务对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中。

可选地，在一些实施例中，日志消费模块300具体可以包括：

采集配置单元，用于获取需要消费的消息队列及其数据流管道配置；

消费单元，用于根据所述日志采集任务对所述消息队列中的日志数据进行消费，并生成对应的日志元数据；

日志集合单元，用于将所述日志元数据发送至对应的日志集合。

可选地，在一些实施例中，日志消费模块300具体还可以包括：

数据流管道单元，用于根据所述数据流管道配置获取所述日志集合对应的数据流管道；

数据流处理单元，用于根据预设运行顺序运行所述数据流管道中的插件，对所述日志元数据进行数据流处理。

具体的，在一些实施例中，对于日志消费模块300，在将日志数据上传至Kafka消息队列后，根据获取的日志采集任务信息对Kafka消息队列中的日志数据进行消费，生成日志元数据后，根据元数据的所属集合，将日志元数据发送至数据流管道中进行流处理，最后发送至对应的日志集合中。在一些实施例中，主要是通过日志处理服务中心对日志数据进行消费等处理。日志处理服务中心获取到Queue中的日志数据，传输至数据流管道中进行数据流处理，最终将经过数据流处理后的日志元数据发送至日志集合中。

日志分析模块400，用于根据所述日志元数据，生成日志分析结果。

可选地，在一些实施例中，日志分析模块400具体还可以包括：

ES持久化单元，用于从所述日志集合中获取目标日志元数据，并对所述日志元数据进行ES持久化处理；

可视化日志分析单元，用于对ES持久化处理后的目标日志元数据进行日志分析，生成日志分析结果。

具体的，在一些实施例中，对于日志分析模块400，在完成日志数据的消费后，通过数据流管道中的ES插件对消费后生成的日志元数据进行ES持久化，将数据在底层写入至磁盘中，通过日志集合集中存储各类日志元数据，通过Kibana分析与可视化平台对若干个日志集合中的日志元数据进行日志分析，最后生成可视化的日志分析结果。

综上所述，本申请实施例提供的日志分析装置，采集任务模块100获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；接着，日志采集模块200根据所述日志采集任务采集日志数据，并上传至消息队列；然后，日志消费模块300根据所述日志采集任务信息对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；最后，日志分析模块400根据所述日志元数据，生成日志分析结果。可见，本申请实施例的日志分析装置，通过分布式键值集群根据日志采集任务信息在若干个分布式节点进行日志数据的采集，在采集完后上传至同一个消息队列中，对该消息队列中的日志数据进行消费，生成日志元数据并发送至日志集合中，在运行管道中的插件对日志集合中的日志元数据进行数据流处理后，对日志数据进行分析，通过上述技术方案，当用户需要对若干个不同节点进行日志采集和分析时，无需逐一对每个节点的日志数据进行采集和分析，通过将各个节点的日志聚合分析，进行统一的分析和查看，从而实现日志采集、存储、解析、分析和告警的一站式运行，极大提高日志采集和分析的效率。

参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存日志分析方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种日志分析方法。所述日志分析方法，包括：首先获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；然后根据所述日志采集任务采集日志数据，并上传至消息队列；接着根据所述日志采集任务信息对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；最后根据所述日志元数据，生成日志分析结果。

本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种日志分析方法，包括步骤：首先获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；然后根据所述日志采集任务采集日志数据，并上传至消息队列；接着根据所述日志采集任务信息对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；最后对根据所述日志元数据，生成日志分析结果。

上述执行的日志分析方法，本申请实施例通过分布式键值集群根据日志采集任务信息在若干个分布式节点进行日志数据的采集，在采集完后上传至同一个消息队列中，对该消息队列中的日志数据进行消费，生成日志元数据并发送至日志集合中，在运行管道中的插件对日志集合中的日志元数据进行数据流处理后，对日志数据进行分析，通过上述技术方案，当用户需要对若干个不同节点进行日志采集和分析时，无需逐一对每个节点的日志数据进行采集和分析，通过将各个节点的日志聚合分析，进行统一的分析和查看，从而实现日志采集、存储、解析、分析和告警的一站式运行，极大提高日志采集和分析的效率。

可以理解，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。

在本申请中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本申请技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。

在本申请中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本申请技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本申请记载的范围。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络，或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、存储盘、磁带)、光介质(例如，DVD)，或者半导体介质(例如固态存储盘Solid State Disk(SSD))等。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种日志分析方法，其特征在于，包括如下步骤：

S10：获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；

S20：根据所述日志采集任务采集日志数据，并上传至消息队列；

S30：根据所述日志采集任务对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；

S40：根据所述日志元数据，生成日志分析结果。

2.根据权利要求1所述的日志分析方法，其特征在于，所述S10步骤包括：

接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息；

根据更新后的日志采集任务信息生成日志采集任务；

根据所述日志采集任务创建所述目标信息集合。

3.根据权利要求2所述的日志分析方法，其特征在于，所述接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息，包括：

根据所述日志采集请求确定对应的日志采集节点实例；

注册目标日志采集节点的名称，并根据所述日志采集请求生成日志采集任务信息；所述日志采集任务信息包括采集日志类型、日志名称、日志格式、目标日志采集节点的名称以及所述目标日志采集节点所发送至的日志集合。

4.根据权利要求1所述的日志分析方法，其特征在于，所述S20步骤包括：

提取所述日志采集任务中的配置信息，所述配置信息包括日志采集方式、目标日志采集节点、日志数据的类型及其对应的数据流管道配置；

根据所述配置信息采集日志数据，并通过分布式键值数据库将所述日志数据上传至所述消息队列。

5.根据权利要求1所述的日志分析方法，其特征在于，所述S30步骤包括：

获取需要消费的消息队列和数据流管道配置；

根据所述日志采集任务对所述消息队列中的日志数据进行消费，并生成对应的日志元数据；

将所述日志元数据发送至对应的日志集合。

6.根据权利要求5所述的日志分析方法，其特征在于，在所述将所述日志元数据发送至对应的日志集合之后，还包括：

根据所述数据流管道配置获取所述日志集合对应的数据流管道；

根据预设运行顺序运行所述数据流管道中的插件，对所述日志元数据进行数据流处理。

7.根据权利要求1所述的日志分析方法，其特征在于，所述S40步骤包括：

从所述日志集合中获取目标日志元数据，并对所述目标日志元数据进行ES持久化处理；

对ES持久化处理后的目标日志元数据进行日志分析，生成日志分析结果。

8.一种日志分析装置，其特征在于，包括：

采集任务模块，用于获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；

日志采集模块，用于根据所述日志采集任务采集日志数据，并上传至消息队列；

日志消费模块，用于根据所述日志采集任务对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；

日志分析模块，用于根据所述日志元数据，生成日志分析结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的日志分析方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的日志分析方法的步骤。

Images