CN112231296B - 一种分布式日志处理方法、装置、系统、设备及介质 - Google Patents

Abstract

本公开实施例涉及一种分布式日志处理方法、装置、系统、设备及介质，涉及云计算领域。其中该方法应用于数据中心，包括：获取日志处理任务；将日志处理任务下发至对应的边缘搜索引擎，以使边缘搜索引擎基于采集的边缘节点的日志执行日志处理任务，其中，边缘节点的数量为至少两个，一个边缘节点中设置至少一个边缘搜索引擎；接收边缘搜索引擎返回的日志处理结果。采用上述技术方案，数据中心可以将任务下发至边缘节点中设置的边缘搜索引擎，由各边缘搜索引擎进行分布式的任务处理，极大的提高了任务处理的效率，进而满足任务处理的实时性要求，并且边缘搜索引擎可以根据需求增加，提高了横向扩展能力。

Description

一种分布式日志处理方法、装置、系统、设备及介质

技术领域

本公开涉及日志处理技术领域，尤其涉及一种分布式日志处理方法、装置、系统、设备及介质。

背景技术

随着互联网的发展，短视频、直播等逐渐融入了人们的生活，对应内容分发网络(Content Delivery Network，CDN)节点的需求就越来越大，CDN节点产生的日志量飞跃式的增加。

目前，一般是将全量的边缘节点的日志进行采集，传到数据中心，然后进行检索、聚合等应用，需要巨大的服务器，网络成本。随着CDN节点数量的不断增加，数据中心就得不断的扩建，成本成线性增长。如果数据中心规模不够，会出现数据延迟、数据丢失、检索慢等不良现象。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种分布式日志处理方法、装置、系统、设备及介质。

第一方面，本公开实施例提供了一种分布式日志处理方法，应用于数据中心，包括：

获取日志处理任务；

将所述日志处理任务下发至对应的边缘搜索引擎，以使所述边缘搜索引擎基于采集的边缘节点的日志执行所述日志处理任务，其中，所述边缘节点的数量为至少两个，一个所述边缘节点中设置至少一个所述边缘搜索引擎；

接收所述边缘搜索引擎返回的日志处理结果。

第二方面，本公开实施例还提供了一种分布式日志处理方法，应用于边缘搜索引擎，包括：

接收数据中心下发的日志处理任务；

基于采集的边缘节点的日志执行所述日志处理任务，得到日志处理结果；

将所述日志处理结果返回给所述数据中心。

第三方面，本公开实施例还提供了一种分布式日志处理模块，设置于数据中心，包括：

任务获取模块，用于获取日志处理任务；

任务下发模块，用于将所述日志处理任务下发至对应的边缘搜索引擎，以使所述边缘搜索引擎基于采集的边缘节点的日志执行所述日志处理任务，其中，所述边缘节点的数量为至少两个，一个所述边缘节点中设置至少一个所述边缘搜索引擎；

日志接收模块，用于接收所述边缘搜索引擎返回的日志处理结果。

第四方面，本公开实施例还提供了一种分布式日志处理模块，其设置于边缘搜索引擎，包括：

任务接收模块，用于接收数据中心下发的日志处理任务；

任务执行模块，用于基于采集的边缘节点的日志执行所述日志处理任务，得到日志处理结果；

任务返回模块，用于将所述日志处理结果返回给所述数据中心。

第五方面，本公开实施例还提供了一种分布式日志处理系统，其特征在于，包括数据中心、至少两个边缘节点和每个所述边缘节点中设置的至少一个边缘搜索引擎，所述数据中心用于执行如第一方面所述的分布式日志处理方法；所述边缘搜索引擎用于执行如第二方面所述的分布式日志处理方法。

第六方面，本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的分布式日志处理方法。

第七方面，本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的分布式日志处理方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的分布式日志处理方案，数据中心获取日志处理任务，将日志处理任务下发至对应的边缘搜索引擎，以使边缘搜索引擎基于采集的边缘节点的日志执行日志处理任务，其中，边缘节点的数量为至少两个，一个边缘节点中设置至少一个边缘搜索引擎，接收边缘搜索引擎返回的日志处理结果。采用上述技术方案，数据中心可以将任务下发至边缘节点中设置的边缘搜索引擎，由各边缘搜索引擎进行分布式的任务处理，极大的提高了任务处理的效率，进而满足任务处理的实时性要求，并且边缘搜索引擎可以根据需求增加，提高了横向扩展能力。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种分布式日志处理方法的流程示意图；

图2为本公开实施例提供的一种分布式日志处理架构示意图；

图3为本公开实施例提供的一种分布式日志处理的示意图；

图4为本公开实施例提供的另一种分布式日志处理方法的流程示意图；

图5为本公开实施例提供的一种日志采集示意图；

图6为本公开实施例提供的一种分布式日志处理系统的结构示意图；

图7为本公开实施例提供的一种边缘节点的结构示意图；

图8为本公开实施例提供的一种分布式日志处理装置的结构示意图；

图9为本公开实施例提供的另一种分布式日志处理装置的结构示意图；

图10为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

图1为本公开实施例提供的一种分布式日志处理方法的流程示意图，该方法可以由装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法应用于数据中心，包括：

步骤101、获取日志处理任务。

其中，日志处理任务是指对日志进行的检索和提取等任务，日志处理任务可以包括精确任务和全网任务，精确任务可以为由确定的边缘节点或确定的边缘节点中的边缘子节点执行的任务，全网任务可以为需要全部的边缘节点执行的任务。

具体的，数据中心可以接收用户发送的日志处理任务，以执行日志处理任务，其中，数据中心是指用于实现日志处理的中心平台。

步骤102、将日志处理任务下发至对应的边缘搜索引擎，以使边缘搜索引擎基于采集的边缘节点的日志执行日志处理任务。

其中，边缘节点的数量为至少两个，一个边缘节点中设置至少一个边缘搜索引擎。边缘节点即为CDN节点，一个边缘节点中可以包括多个边缘子节点。边缘搜索引擎为本公开实施例中新增的搜索引擎，可以部署在边缘节点中，用于对该边缘节点中的子节点的日志进行采集、存储、管理和查询等。每个边缘节点中设置的边缘搜索引擎的数量可以根据实际需求增加，例如随着日志的增长而增加，以提高边缘计算能力。

本公开实施例中，将日志处理任务下发至对应的边缘搜索引擎，可以包括：确定日志处理任务匹配的任务调度模块；通过任务调度模块将日志处理任务下发至对应的边缘搜索引擎。其中，任务调度模块的数量为至少两个，一个任务调度模块对应至少一个边缘搜索引擎。

任务调度模块为数据中心的设置的用于进行任务调度和分配的功能模块，通过部署多个任务调度模块对应不断增加的边缘搜索引擎，可以实现低成本的横向扩展，以满足任务需求。由于任务调度模块、边缘搜索引擎、边缘节点之间存在对应关系，数据中心可以存储该对应关系。当数据中心接收到日志处理任务之后，根据该日志处理任务对应的边缘节点，可以确定匹配的任务调度模块和边缘搜索引擎，以通过任务调度模块将日志处理任务下发至对应的边缘搜索引擎。示例性的，当日志处理任务为全网任务时，全部的任务调度模块均匹配，将日志处理任务发送至每个任务调度模块，以使每个任务调度模块发送该日志处理任务至对应的边缘搜索引擎。

由于边缘搜索引擎中预先采集并存储有边缘节点中各子节点的日志，边缘搜索引擎接收到日志处理任务之后，可以直接基于该日志执行日志处理任务。

步骤103、接收边缘搜索引擎返回的日志处理结果。

数据中心可以接收各边缘搜索引擎返回的日志处理结果，并提供给用户。

可选的，接收边缘搜索引擎返回的日志处理结果之后，还可以包括：对日志处理结果进行过滤、汇总和排序处理。数据中心对各个边缘搜索引擎返回的日志处理结果可以进行二次处理，二次处理可以包括过滤、汇总、排序和归类等，以使日志处理结果可以更加清晰地展示给用户。

示例性的，图2为本公开实施例提供的一种分布式日志处理架构示意图，图3为本公开实施例提供的一种分布式日志处理的示意图，图3可以理解为基于图2的架构执行的分布式日志处理的流程示意图。参见图2，图中数据中心可以包括调用接口、分布式任务调度系统、数据库和分布式消息系统，分布式任务调度系统中包括多个任务调度模块，边缘搜索引擎部署在边缘节点中，日志采集程序和CDN子节点日志文件位于边缘节点中的边缘子节点中。

数据中心通过调用接口可以下发日志处理任务给分布式任务调度系统中匹配的任务调度模块，该任务调度模块将日志处理任务下发给边缘搜索引擎。或者，如图2和图3所示，数据中心可以将日志处理任务下发给任意一个任务调度模块，该任务调度模块接收到日志处理任务之后，可以将日志处理任务同步给其他的任务调度模块，每个任务调度模块确定日志处理任务对应的边缘节点与本模块连接的多个边缘搜索引擎是否匹配，若匹配，则下发日志处理任务至匹配的边缘搜索引擎，并将调度状态数据发送给数据库。可以理解的是，如果任务调度模块下发日志处理任务失败，则可以进行日志处理任务的重新发送。

如图3所示，边缘搜索引擎可以进行任务接收、执行任务、匹配操作、压缩日志处理结果、推送日志处理结果至分布式消息系统以及推送状态数据至任务调度模块。此外，数据中心中还可以包括状态监控模块(图2中未示出)，用于通过任务调度模块监控连接的边缘搜索引擎的状态，以及监控任务调度模块中调度任务的执行状态，为任务调度模块重发调度任务提供支撑。如图2和图3所示，边缘搜索引擎执行日志处理任务之后，可以将任务执行的状态数据反馈给任务调度模块，任务调度模块可以将本模块状态数据和连接的边缘搜索引擎的状态数据持久化处理之后发送至数据库进行存储，状态监控模块通过定时查询数据库进行状态更新。并且，任务调度模块可以采用订阅推送模式进行状态数据的发送，大大的提高了状态更新的时效性，提高大规模多任务的下发以及状态更新，有利于实现全网秒级检索。

参见图2和图3，数据中心的分布式消息系统用于为结果数据的推送和消费提供支撑，分布式消息系统可以接收各边缘搜索引擎的日志处理结果，数据中心的结果处理程序通过订阅分布式消息系统，将推送上来的日志处理结果进行汇总、聚合、适配和/或根据任务归类等处理，还可以在调用接口中提供查询结果的接口给用户，以供查询。具体的，结果处理程序中可以包括消费模块、处理模块、查询接口、持久化模块和解压缩模块等功能模块，其中消费模块用于实时消费分布式消息系统的数据，与数据对应的调度任务匹配起来，匹配的时候触发其他相关处理动作，处理模块用于提供日志处理结果汇总过滤处理以及日志重新聚合处理等功能，查询接口用于提供调度任务结果、状态查询的接口，持久化模块用于将收集的结果数据进行持久化处理，解压缩模块用于将压缩传输的结果数据，进行解压缩，还原数据内容。

本公开实施例提供的分布式日志处理方案，数据中心获取日志处理任务，将日志处理任务下发至对应的边缘搜索引擎，以使边缘搜索引擎基于采集的边缘节点的日志执行日志处理任务，其中，边缘节点的数量为至少两个，一个边缘节点中设置至少一个边缘搜索引擎，接收边缘搜索引擎返回的日志处理结果。采用上述技术方案，数据中心可以将任务下发至边缘节点中设置的边缘搜索引擎，由各边缘搜索引擎进行分布式的任务处理，极大的提高了任务处理的效率，进而满足任务处理的实时性要求，并且边缘搜索引擎可以根据需求增加，提高了横向扩展能力，也充分的发挥了边缘节点的计算能力和存储能力，大大降低了数据中心对计算能力和存储能力的需求。

图4为本公开实施例提供的另一种分布式日志处理方法的流程示意图，该方法可以由装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图4所示，该方法应用于边缘搜索引擎，包括：

步骤201、接收数据中心下发的日志处理任务。

具体的，边缘搜索引擎可以接收对应的任务调度模块下发的日志处理任务，其中，任务调度模块的数量为至少两个，一个任务调度模块对应至少一个边缘搜索引擎。

本公开实施例中，接收数据中心下发的日志处理任务之前，还可以包括：采集边缘节点中包括的至少两个边缘子节点的日志，其中，一个边缘搜索引擎关联至少一个边缘子节点；对日志汇总之后建立索引，并基于索引分片存储。

图5为本公开实施例提供的一种日志采集示意图，边缘子节点中设置有日志采集程序，将该子节点的多种日志通过配置的方式进行采集、分类和清洗，如图5中的将日志分类为日志种类1和日志种类2等，清洗操作之后将异常的日志丢弃，将正常的日志实时的通过局域网传输到边缘搜索引擎。边缘搜索引擎设置在边缘节点中，可以实时接收每个边缘子节点的日志采集程序推送的日志，由于单个边缘节点中可以部署多个边缘搜索引擎，边缘搜索引擎可以根据哈希(Hash)算法与匹配上的边缘子节点连接，实时接收边缘子节点的日志。边缘搜索引擎采集到关联的边缘子节点的日志之后，可以进行分类以及持久化处理。持久化处理可以理解为对数据的存储、索引、和聚合等处理。边缘搜索引擎在对采集到的日志进行持久化的过程中，根据配置文件，将索引字段的数据进行建立索引，将聚合字段的数据进行聚合持久化操作，之后基于索引进行分片存储，即分磁盘存储。

本公开实施例中，边缘搜索引擎和边缘子节点之间日志的传输由于是通过局域网传输，所以不会产生网络带宽成本，大大的节约的网络成本；并且边缘搜索引擎对接收到的日志采用索引多分片、多线程地并行持久化操作，大大提高日志的持久化能力，提高持久化性能。

此外，边缘搜索引擎还可以根据时间进行索引文件分区，提高索引的性能，降低检索负载，还可以根据配置信息和磁盘使用率自动删除历史索引，保证磁盘可用性、可靠性和高性能。并且，边缘搜索引擎中每个服务器的磁盘数和磁盘大小等可能不一致，可以动态适配异构边缘搜索引擎的磁盘，根据适配到的可用磁盘数，动态对应不同日志的索引，可以提高持久化的性能，对于同种日志，可以提高磁盘写入的顺序性，提高写入能力。

步骤202、基于采集的边缘节点的日志执行日志处理任务，得到日志处理结果。

本公开实施例中，边缘搜索引擎接收到日志处理任务之后，可以解析该日志处理任务，并基于本地存储的边缘节点中各边缘子节点的日志执行日志处理任务，得到日志处理结果。具体的，基于采集的边缘节点的日志执行日志处理任务，得到日志处理结果，可以包括：基于采集的边缘节点的日志，采用多线程异步的方式执行日志处理任务，得到日志处理结果。

边缘搜索引擎可以采用多线程异步的方式进行索引的检索，提高读取的性能，通过轮询异步任务的状态是否完成，将多个分片的返回结果进行汇总、排序和二次聚合等操作，得到日志处理结果。

步骤203、将日志处理结果返回给数据中心。

边缘搜索引擎得到日志处理结果之后，可以将日志处理结果返回给数据中心的分布式消息系统。可选的，边缘搜索引擎在返回日志处理结果之前，还可以采用GZIP、Snappy或Lz4等压缩算法将日志处理结果进行压缩，进而可以大幅度地降低公网宽带消息，并且降低网络成本。

本公开实施例提供的分布式日志处理方案，边缘搜索引擎接收数据中心下发的日志处理任务，基于采集的边缘节点的日志执行日志处理任务，得到日志处理结果，将日志处理结果返回给数据中心。采用上述技术方案，边缘节点中设置的边缘搜索引擎接收到数据中心下发的任务之后，可以进行分布式的任务处理，相较于现有技术中的集中式处理，极大的节约了服务器和带宽成本，极大的提高了任务处理的效率，进而满足任务处理的实时性要求，并且边缘搜索引擎可以根据需求增加，提高了横向扩展能力。

图6为本公开实施例提供的一种分布式日志处理系统的结构示意图，该分布式日志处理系统可以包括数据中心10、至少两个边缘节点20和每个边缘节点中设置的至少一个边缘搜索引擎30。数据中心10用于执行：获取日志处理任务；将所述日志处理任务下发至对应的边缘搜索引擎，以使所述边缘搜索引擎基于采集的边缘节点的日志执行所述日志处理任务；接收所述边缘搜索引擎返回的日志处理结果。边缘搜索引擎30用于执行：接收数据中心下发的日志处理任务；基于采集的边缘节点的日志执行所述日志处理任务，得到日志处理结果；将所述日志处理结果返回给所述数据中心。

如图6所示，数据中心可以包括分布式任务调度系统、数据库、分布式消息系统和结果处理程序等功能模块，通过上述功能模块的配合，可以实现具体的日志处理。此外，数据中心还可以包括配置中心，用于存储配置文件。由于分布式日志处理系统是分布式系统，配置文件需要集中存放，便于系统的维护，以及提高系统的健壮性。并且，该配置中心还可以存放其他系统的配置文件。

图7为本公开实施例提供的一种边缘节点的结构示意图，如图7所示，一个边缘节点20可以包括至少两个边缘子节点，一个边缘搜索引擎30关联至少一个边缘子节点。边缘子节点中设置有日志采集程序用于实现日志的采集和推送，边缘搜索引擎30设置在边缘节点20中，可以实时接收每个边缘子节点的日志采集程序推送的日志。由于单个边缘节点20中可以部署多个边缘搜索引擎30，边缘搜索引擎30可以根据哈希(Hash)算法与匹配上的边缘子节点连接，实时接收边缘子节点的日志。

本公开实施例中提供的分布式日志处理系统，可以采用分布式的边缘计算和边缘存储的方式，通过边缘搜索引擎将每个边缘节点(CDN节点)的日志进行采集，然后进行存储、索引和聚合，代替了原来数据中心的集中式存储。并且，数据中心可以采用分布式任务调度方式对检索、聚合等日志处理任务进行调度，并下发到边缘节点中的边缘搜索引擎进行处理，边缘搜索引擎可以将处理结果和状态数据返回给数据中心，并且可以进行二次处理，最后进行结果输出。

数据中心在进行分布式任务调度过程中，每个任务调度模块维护连接对应的至少一个边缘搜索引擎，当接收到调度任务，每个任务调度模块进行匹配和处理，通知各自连接的边缘搜索引擎进行任务的执行。调度服务采用订阅推送模式可以提高大规模多任务的下发以及状态更新，实现全网秒级检索。数据中心的结果处理程序会消费日志处理结果，将日志处理结果根据任务进行归类、过滤、聚合等操作，然后对外提供给用户。

数据压缩，通过使用GZIP、Snappy或Lz4等压缩算法，在边缘搜索引擎中压缩检索处理结果，在全网检索的时候，由于匹配结果数据量较大，导致公网带宽消耗较多，使用数据压缩后，可以大幅度的降低公网带宽消息，降低网络成本。之后，在结果处理程序对数据进行解压缩，还原数据内容。

边缘搜索引擎用新的架构方式，可以根据日志量水平部署多个边缘搜索引擎，每个搜索引擎连接边缘节点中不同的子节点，从而提高整个边缘节点的边缘计算能力。如果日志量扩大一倍，可以将目前的边缘搜索引擎横向扩大一倍即可，大大提高了系统的横向扩展能力。

本公开实施例可以实现准实时检索，边缘子节点中的日志采集程序实时的采集日志数据，可以实时推送到连接的边缘搜索引擎。边缘搜索引擎可以采用Lucene进行日志索引的持久化，为了适应边缘节点的服务器环境，可以将索引目录分类型以及分时间的进行创建以及维护，根据文档数以及时间策略来完成索引的构建，提高检索的时效性。

边缘搜索引擎通过对索引进行多分片、多线程的并行持久化，大大提高日志的持久化能力。边缘搜索引擎中可以实现多磁盘管理，由于磁盘越多，可以提高持久化的性能，通过挂载多个磁盘，并磁盘与不同日志的索引进行对应，提高磁盘写入的顺序性，提高写入能力。边缘搜索引擎中可以使用多线程异步的方式进行索引的检索，提高读取的性能，通过轮询异步任务的状态是否完成，将多个分片的返回结果进行汇总、排序和二次聚合等操作，完成后输出。边缘搜索引擎中可以实现索引自动维护，满足边缘异构服务器的搜索引擎磁盘需求，具体可以根据磁盘高水位，删除历史索引，自动进行索引的维护。边缘搜索引擎中可以实现日志聚合，在边缘搜索引擎就对日志聚合的字段进行聚合，大大提高在查询聚合日志的时效性，大大降低查询过程中重复聚合的计算量。在结果处理程序，通过结果2次聚合，合并多个边缘节点对应的多个边缘搜索引擎的结果数据，对外无感知，提高使用体验。

本公开实施例的分布式日志处理系统执行日志处理任务时，可以节约数据中心的集中存储和集中计算，节约服务器成本和网络带宽成本，可以取消数据中心的建设，大大降低服务器的使用数量，大幅度节约成本；本公开实施例还可以大大节约网络带宽，边缘节点(即CDN节点)到数据中心，都是外网带宽，成本较低，可以大幅度节约成本；本公开实施例还可以充分利用边缘计算的能力，提高设备、服务器的使用率，进而降低其他计算的负载，节约成本；本公开实施例还可以提供准实时的检索能力，响应迅速，时效性高；本公开实施例还可以提全量日志的检索，聚合能力，日志量极大。

图8为本公开实施例提供的一种分布式日志处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中，可通过执行。如图8所示，该装置设置于数据中心，包括：

任务获取模块301，用于获取日志处理任务；

任务下发模块302，用于将所述日志处理任务下发至对应的边缘搜索引擎，以使所述边缘搜索引擎基于采集的边缘节点的日志执行所述日志处理任务，其中，所述边缘节点的数量为至少两个，一个所述边缘节点中设置至少一个所述边缘搜索引擎；

日志接收模块303，用于接收所述边缘搜索引擎返回的日志处理结果。

可选的，所述任务下发模块302具体用于：

确定所述日志处理任务匹配的任务调度模块；

通过所述任务调度模块将所述日志处理任务下发至对应的边缘搜索引擎。

可选的，所述任务调度模块的数量为至少两个，一个所述任务调度模块对应至少一个所述边缘搜索引擎。

可选的，所述装置还包括汇总处理模块，具体用于：接收所述边缘搜索引擎返回的日志处理结果之后，

对所述日志处理结果进行过滤、汇总和排序处理。

本公开实施例提供的分布式日志处理装置设置在数据中心，获取日志处理任务，将日志处理任务下发至对应的边缘搜索引擎，以使边缘搜索引擎基于采集的边缘节点的日志执行日志处理任务，其中，边缘节点的数量为至少两个，一个边缘节点中设置至少一个边缘搜索引擎，接收边缘搜索引擎返回的日志处理结果。采用上述技术方案，数据中心可以将任务下发至边缘节点中设置的边缘搜索引擎，由各边缘搜索引擎进行分布式的任务处理，极大的提高了任务处理的效率，进而满足任务处理的实时性要求，并且边缘搜索引擎可以根据需求增加，提高了横向扩展能力。

图9为本公开实施例提供的另一种分布式日志处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中，可通过执行。如图9所示，该装置设置于边缘搜索引擎，包括：

任务接收模块401，用于接收数据中心下发的日志处理任务；

任务执行模块402，用于基于采集的边缘节点的日志执行所述日志处理任务，得到日志处理结果；

任务返回模块403，用于将所述日志处理结果返回给所述数据中心。

可选的，所述装置还包括日志采集模块，具体用于：接收数据中心下发的日志处理任务之前，

采集边缘节点中包括的至少两个边缘子节点的日志，其中，一个所述边缘搜索引擎关联至少一个所述边缘子节点；

对所述日志汇总之后建立索引，并基于索引分片存储。

可选的，所述任务执行模块402具体用于：

基于采集的边缘节点的日志，采用多线程异步的方式执行所述日志处理任务，得到所述日志处理结果。

本公开实施例提供的分布式日志处理装置设置在边缘搜索引擎，接收数据中心下发的日志处理任务，基于采集的边缘节点的日志执行日志处理任务，得到日志处理结果，将日志处理结果返回给数据中心。采用上述技术方案，边缘节点中设置的边缘搜索引擎接收到数据中心下发的任务之后，可以进行分布式的任务处理，相较于现有技术中的集中式处理，极大的提高了任务处理的效率，进而满足任务处理的实时性要求，并且边缘搜索引擎可以根据需求增加，提高了横向扩展能力。

图10为本公开实施例提供的一种电子设备的结构示意图。如图10所示，电子设备500包括一个或多个处理器501和存储器502。

处理器501可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备500中的其他组件以执行期望的功能。

存储器502可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器501可以运行所述程序指令，以实现上文所述的本公开的实施例的分布式日志处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备500还可以包括：输入装置503和输出装置504，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

此外，该输入装置503还可以包括例如键盘、鼠标等等。

该输出装置504可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置504可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图10中仅示出了该电子设备500中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备500还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的分布式日志处理方法。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的分布式日志处理方法。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种分布式日志处理方法，其特征在于，应用于数据中心，包括：

获取日志处理任务；

将所述日志处理任务下发至对应的边缘搜索引擎，以使所述边缘搜索引擎基于采集的边缘节点的日志执行所述日志处理任务，其中，所述边缘节点的数量为至少两个，一个所述边缘节点中设置至少一个所述边缘搜索引擎，所述边缘搜索引擎用于对边缘节点中的子节点的日志进行采集、存储、管理和查询，并实时接收每个边缘子节点的日志采集程序推送的日志，边缘搜索引擎和边缘子节点之间日志的传输通过局域网传输，所述边缘搜索引擎在接收所述数据中心下发的日志处理任务之前还采集边缘节点中包括的至少两个边缘子节点的日志，其中一个边缘搜索引擎关联至少一个边缘子节点；

接收所述边缘搜索引擎返回的日志处理结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述日志处理任务下发至对应的边缘搜索引擎，包括：

确定所述日志处理任务匹配的任务调度模块；

通过所述任务调度模块将所述日志处理任务下发至对应的边缘搜索引擎。

3.根据权利要求2所述的方法，其特征在于，所述任务调度模块的数量为至少两个，一个所述任务调度模块对应至少一个所述边缘搜索引擎。

4.根据权利要求1所述的方法，其特征在于，接收所述边缘搜索引擎返回的日志处理结果之后，还包括：

对所述日志处理结果进行过滤、汇总和排序处理。

5.一种分布式日志处理方法，其特征在于，应用于边缘搜索引擎，包括：

接收数据中心下发的日志处理任务；

基于采集的边缘节点的日志执行所述日志处理任务，得到日志处理结果，其中，所述边缘节点的数量为至少两个，一个所述边缘节点中设置至少一个所述边缘搜索引擎，所述边缘搜索引擎用于对边缘节点中的子节点的日志进行采集、存储、管理和查询，并实时接收每个边缘子节点的日志采集程序推送的日志，边缘搜索引擎和边缘子节点之间日志的传输通过局域网传输，所述边缘搜索引擎在接收所述数据中心下发的日志处理任务之前还采集边缘节点中包括的至少两个边缘子节点的日志，其中一个边缘搜索引擎关联至少一个边缘子节点；

将所述日志处理结果返回给所述数据中心。

6.根据权利要求5所述的方法，其特征在于，接收数据中心下发的日志处理任务之前，还包括：

对所述日志汇总之后建立索引，并基于索引分片存储。

7.根据权利要求5所述的方法，其特征在于，基于采集的边缘节点的日志执行所述日志处理任务，得到日志处理结果，包括：

基于采集的边缘节点的日志，采用多线程异步的方式执行所述日志处理任务，得到所述日志处理结果。

8.一种分布式日志处理模块，其特征在于，设置于数据中心，包括：

任务获取模块，用于获取日志处理任务；

任务下发模块，用于将所述日志处理任务下发至对应的边缘搜索引擎，以使所述边缘搜索引擎基于采集的边缘节点的日志执行所述日志处理任务，其中，所述边缘节点的数量为至少两个，一个所述边缘节点中设置至少一个所述边缘搜索引擎，所述边缘搜索引擎用于对边缘节点中的子节点的日志进行采集、存储、管理和查询，并实时接收每个边缘子节点的日志采集程序推送的日志，边缘搜索引擎和边缘子节点之间日志的传输通过局域网传输，所述边缘搜索引擎在接收所述数据中心下发的日志处理任务之前还采集边缘节点中包括的至少两个边缘子节点的日志，其中一个边缘搜索引擎关联至少一个边缘子节点；

日志接收模块，用于接收所述边缘搜索引擎返回的日志处理结果。

9.一种分布式日志处理模块，其特征在于，设置于边缘搜索引擎，包括：

任务接收模块，用于接收数据中心下发的日志处理任务；

任务执行模块，用于基于采集的边缘节点的日志执行所述日志处理任务，得到日志处理结果，其中，所述边缘节点的数量为至少两个，一个所述边缘节点中设置至少一个所述边缘搜索引擎，所述边缘搜索引擎用于对边缘节点中的子节点的日志进行采集、存储、管理和查询，并实时接收每个边缘子节点的日志采集程序推送的日志，边缘搜索引擎和边缘子节点之间日志的传输通过局域网传输，所述边缘搜索引擎在接收所述数据中心下发的日志处理任务之前还采集边缘节点中包括的至少两个边缘子节点的日志，其中一个边缘搜索引擎关联至少一个边缘子节点；

任务返回模块，用于将所述日志处理结果返回给所述数据中心。

10.一种分布式日志处理系统，其特征在于，包括数据中心、至少两个边缘节点和每个所述边缘节点中设置的至少一个边缘搜索引擎，所述数据中心用于执行权利要求1-4中任一所述的方法，所述边缘搜索引擎用于执行权利要求5-7中任一所述的方法。

11.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7中任一所述的分布式日志处理方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7中任一所述的分布式日志处理方法。