CN109088782A - 分布式系统的日志收集方法及装置 - Google Patents

Abstract

本发明实施例公开了一种分布式系统的日志收集方法及装置。其中，方法包括管理器预先配置好分布式系统中的各客户端和各收集器，并统计收集相应服务器的日志数据以及传输待写入日志数据的进度和状态，和各收集器的工作状态和数据流的执行进度。客户端将采集相应服务器的待写入日志数据按照预设数据单元格式进行转化，然后将转化后的日志数据通过多个通道传输至收集器中，收集器根据接收到的日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。本申请实现高效收集大规模分布式文件系统的日志，提升了日志收集的可靠性、可扩展性和可管理性，满足了大规模分布式系统日志收集的现实需求。

Description

分布式系统的日志收集方法及装置

技术领域

本发明实施例涉及日志记录技术领域，特别是涉及一种分布式系统的日志收集方法及装置。

背景技术

随着大数据、云技术的快速发展，数据呈现爆炸式增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意，分布式文件系统应运而生。

分布式文件系统被设计成适合运行在通用硬件上的文件系统。它是一个高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。同时分布式文件系统放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。

IT(Information Technology)分布式文件系统，例如搜索引擎、云计算、电子商务、视频网站、社交网络、共享单车等IT平台，每天会产生海量的日志(一般为流式数据，如搜索引擎的pv、查询等)；同时对于大型的IT平台，均采用超大规模的服务器、存储进行业务计算、数据存储。如何从这些服务器上收集海量日志，并从海量的日志中收集、分析有效的用户信息，需要特定的日志收集系统。

目前的日志收集方法适用于单机、小规模等应用场景，针对大规模分布式文件系统，相关技术日志收集不仅效率较低，还易丢失一部分数据。

发明内容

本公开实施例提供了一种分布式系统的日志收集方法及装置，实现高效收集大规模分布式文件系统的日志，提升了日志收集的可靠性、可扩展性和可管理性。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种分布式系统的日志收集方法，基于客户端，客户端挂载于服务器上，包括：

将采集相应服务器的待写入日志数据，按照预设数据单元格式进行转化；

将转化后的待写入日志数据通过多个通道传输至目标收集器中，以使所述目标收集器根据所述待写入日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。

可选的，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中之后，还包括：

将所述待写入日志数据存储在本地；

判断所述待写入日志数据的目标源是否成功接收并写入所述待写入日志数据；

若是，则从本地删除所述待写入日志数据；

若否，则向所述目标收集器发送重新将所述待写入日志数据写入所述目标源的指令。

可选的，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中之后，还包括：

判断所述待写入日志数据的目标源是否成功接收所述待写入日志数据；

若否，则将所述待写入日志数据存储在本地；

判断所述目标源是否恢复；

若是，则向所述目标收集器发送重新传输所述待写入日志数据至所述目标源的指令。

可选的，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中包括：

将转化后的待写入日志数据通过多个通道传输至目标客户端，以使所述目标客户端将接收到的数据传输至所述目标收集器。

可选的，所述目标收集器工作状态异常时，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中包括：

将转化后的待写入日志数据通过多个通道传输至备用收集器中，所述备用收集器为基于负载均衡策略确定的处于正常工作状态的收集器。

本发明实施例还提供了一种分布式系统的日志收集装置，基于客户端，包括：

格式转化模块，用于将待写入日志数据按照预设数据单元格式进行转化；

数据传输模块，用于将转化后的待写入日志数据通过多个通道传输至目标收集器中，以使所述目标收集器根据所述待写入日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。

本发明实施例另一方面提供了一种分布式系统的日志收集方法，基于收集器，包括：

接收各节点发送的相应服务器的日志数据；

根据各日志数据携带的目标源地址信息，分别将各日志数据写入至相对应的分布式文件系统中。

本发明实施例再一方面还提供了一种分布式系统的日志收集方法，基于管理器，包括：

预先配置分布式系统中的各客户端和各收集器；

动态加载各客户端和各收集器；

根据用户输入查询目标客户端工作状态的指令，展示所述目标客户端收集相应服务器的日志数据，以及传输待写入日志数据的进度和状态；

根据用户输入查询目标收集器工作状态的指令，展示所述目标收集器的工作状态和数据流的执行进度。

可选的，还包括：

当检测第一收集器工作状态异常时，基于负载均衡策略确定第二收集器，以使所述第一收集器执行的客户端任务迁移至所述第二收集器。

本发明实施例最后还提供了一种分布式系统的日志收集装置，基于管理器，包括：

配置模块，用于预先配置分布式系统中各客户端和各收集器；

加载模块，用于动态加载各客户端和各收集器；

数据统计模块，用于统计各客户端收集相应服务器的日志数据以及传输待写入日志数据的进度和状态，和各收集器的工作状态和数据流的执行进度。

本发明实施例提供了一种分布式系统的日志收集方法，管理器预先配置好分布式系统中的各客户端和各收集器，并统计收集相应服务器的日志数据以及传输待写入日志数据的进度和状态，和各收集器的工作状态和数据流的执行进度。客户端将采集相应服务器的待写入日志数据按照预设数据单元格式进行转化，然后将转化后的日志数据通过多个通道传输至收集器中，收集器根据接收到的日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。

本申请提供的技术方案的优点在于，通过多个可横向扩展的客户端、收集器，提升服务器日志收集效率，有利于满足迅速增长的业务需求处理；通过对客户端、收集器的集中统一管理，提升了整个系统的易用性和可管理性，便于维护；客户端内部划分为多个通道进行数据传输，大大的提升了数据的传输效率，尤其是针对海量数据应用场景，实现高效收集大规模分布式文件系统的日志，从而满足大规模分布式系统日志收集的现实需求。

此外，本发明实施例还针对分布式系统的日志收集方法提供了相应的实现装置，进一步使得所述方法更具有实用性，所述装置具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种分布式系统的日志收集方法的交互流程示意图；

图2为本发明实施例提供的分布式系统的日志收集装置的一种具体实施方式结构图；

图3为本发明实施例提供的分布式系统的日志收集装置的另一种具体实施方式结构图；

图4为本发明实施例提供的分布式系统的日志收集装置的再一种具体实施方式结构图；

图5为本发明实施例提供的分布式系统的日志收集装置的其他具体实施方式结构图；

图6为本发明实施例提供的分布式系统的日志收集装置的最后一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种分布式系统的日志收集方法的交互流程示意图，本发明实施例可包括以下内容：

S101：管理器预先配置分布式系统中的各客户端和各收集器。

S102：管理器动态加载各客户端和各收集器。

分布式系统中，各服务器上部署多个客户端，一个收集器对接一个或多个客户端的数据。收集器和客户端的数量均有多个。

分布式系统中的管理器预先配置好分布式系统中的数据源(客户端)和收集器，并可实现对各客户端和各收集器的动态加载。

S103：客户端将采集相应服务器的待写入日志数据，按照预设数据单元格式进行转化。

预设数据单元格式为客户端预先定义的基本数据单元，例如可包括头文件和二进制数据流等，本领域技术人员可根据实际情况进行定义，本申请对此不做任何限定。

服务器产生海量的日志数据，部署在其上的客户端将其产生的海量数据进收集，然后将收集的日志数据转化为预先定义的基本数据单元的格式。

S104：客户端向管理器反馈日志数据收集信息。

由于管理器要对分布式系统中的客户端进行集中统一管理，需要统计各客户端收集相应服务器的日志数据以及传输待写入日志数据的进度和状态，以便用户或者是管理者进行集中查看。管理器可实时向客户端发送获取信息的请求指令，也可客户端主动实时向管理器反馈其工作状态和工作进度。

S105：客户端将转化后的待写入日志数据通过多个通道传输至收集器中。

由于服务器产生的日志数据较多，为了提升数据传输效率，客户端可将基本数据单元分多个通道进行传输，每个通道为短暂的日志数据存储容器。

客户端可将转化后的待写入日志数据直接传输至相对应的收集器中，也可传入下一个目标节点或者是目标客户端，再由目标节点或者是目标客户端传至其收集器中。也就说，在一种实施方式中，待写入日志数据会经过多个客户端传输，最终传输至收集器中。

此外，客户端可包括两种数据写入策略，一种为端到端策略，另一种为失败保存策略。

其中，端到端策略为客户端首先将要发送的数据写到本地，待目标源成功接收并写入后，再将客户端保存的数据删除；若传送失败，可重复传送，也即是：

将待写入日志数据存储在本地；

判断待写入日志数据的目标源是否成功接收并写入待写入日志数据；

若是，则从本地删除待写入日志数据；

若否，则向目标收集器发送重新将待写入日志数据写入目标源的指令。

失败保存策略为若数据目标源挂掉、或者接收数据失败，客户端将发送失败的数据保存到本地；待目标源恢复后，重新发送数据。也即是：

判断待写入日志数据的目标源是否成功接收待写入日志数据；

若否，则将待写入日志数据存储在本地；

判断目标源是否恢复；

若是，则向目标收集器发送重新传输待写入日志数据至目标源的指令。

S106：客户端向管理器反馈日志数据收集传输状态和进度。

S107：收集器接收各节点发送的相应服务器的日志数据，根据各日志数据携带的目标源地址信息，分别将各日志数据写入至相对应的分布式文件系统中。

收集器将接收的日志数据进行汇总，根据不同的数据写入策略，客户端在向收集器发送日志数据时，会包含日志数据的目标源的信息(例如地址信息等)记录待写入日志数据的目标源，根据目标源地址信息将其写入分布式文件系统。

若某个收集器(例如第一收集器)挂掉，管理器可可根据负载均衡策略，由其他正常状态的收集器作为备用收集器(例如第二收集器)负责数据汇总，也就是说，会将第一收集器对接的客户端的数据迁移至第二收集器上，由第二收集器负责对客户端发送的日志数据进行汇总并存储至相应的分布式文件系统中。

S108：收集器向管理器反馈当前工作状态以及数据流的执行进度。

由于管理器要对分布式系统中的收集器进行集中统一管理，需要统计各收集器的工作状态和数据流的执行进度，以便集中查看。管理器可实时向各收集器发送获取信息的请求，也可各收集器主动实时向管理器反馈其工作状态和工作进度。

此外，管理器还可进行人机交互，例如根据用户输入查询目标客户端工作状态的指令，展示目标客户端收集相应服务器的日志数据，以及传输待写入日志数据的进度和状态；根据用户输入查询目标收集器工作状态的指令，展示目标收集器的工作状态和数据流的执行进度。

在本发明实施例提供的技术方案中，通过多个可横向扩展的客户端、收集器，提升服务器日志收集效率，有利于满足迅速增长的业务需求处理；通过对客户端、收集器的集中统一管理，提升了整个系统的易用性和可管理性，便于维护；客户端内部划分为多个通道进行数据传输，大大的提升了数据的传输效率，尤其是针对海量数据应用场景，实现高效收集大规模分布式文件系统的日志，从而满足大规模分布式系统日志收集的现实需求。

本发明实施例还针对分布式系统的日志收集方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的分布式系统的日志收集装置进行介绍，下文描述的分布式系统的日志收集装置与上文描述的分布式系统的日志收集方法可相互对应参照。

参见图2，图2为本发明实施例提供的分布式系统的日志收集装置在一种具体实施方式下的结构图，基于客户端，该装置可包括：

格式转化模块201，用于将待写入日志数据按照预设数据单元格式进行转化；

数据传输模块202，用于将转化后的待写入日志数据通过多个通道传输至目标收集器中，以使所述目标收集器根据所述待写入日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。

可选的，请参阅图3，在一种实施方式中，还可包括数据写入策略模块203，所述数据写入策略模块203可为将待写入日志数据存储在本地；判断待写入日志数据的目标源是否成功接收并写入待写入日志数据；若是，则从本地删除待写入日志数据；若否，则向目标收集器发送重新将待写入日志数据写入目标源的指令的模块。

在另外一种实施方式中，所述数据写入策略模块203还可为判断待写入日志数据的目标源是否成功接收待写入日志数据；若否，则将待写入日志数据存储在本地；判断目标源是否恢复；若是，则向目标收集器发送重新传输待写入日志数据至目标源的指令的模块。

在其他实施方式中，所述数据传输模块202例如可为将转化后的待写入日志数据通过多个通道传输至目标客户端，以使目标客户端将接收到的数据传输至目标收集器的模块。

此外，所述数据传输模块202例如还可为目标收集器工作状态异常时，将转化后的待写入日志数据通过多个通道传输至备用收集器中，备用收集器为基于负载均衡策略确定的处于正常工作状态的收集器的模块。

请参阅图4，本发明实施例还提供的一种分布式系统的日志收集装置，基于收集器，该装置可包括：

数据接收模块401，用于接收各节点发送的相应服务器的日志数据；

数据写入模块402根据各日志数据携带的目标源地址信息，分别将各日志数据写入至相对应的分布式文件系统中。

最后，请参阅图5，本发明实施例还提供的一种分布式系统的日志收集装置，基于管理器，该装置可包括：

配置模块501，用于预先配置分布式系统中的各客户端和各收集器；

加载模块502，用于动态加载各客户端和各收集器；

数据统计模块503，用于统计各客户端收集相应服务器的日志数据以及传输待写入日志数据的进度和状态，和各收集器的工作状态和数据流的执行进度。

展示模块504，用于根据用户输入查询目标客户端工作状态的指令，展示目标客户端收集相应服务器的日志数据，以及传输待写入日志数据的进度和状态；根据用户输入查询目标收集器工作状态的指令，展示目标收集器的工作状态和数据流的执行进度。

可选的，请参阅图6，还可包括：

负载均衡分配模块505，用于当检测第一收集器工作状态异常时，基于负载均衡策略确定第二收集器，以使第一收集器执行的客户端任务迁移至第二收集器。

本发明实施例所述分布式系统的日志收集装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例实现高效收集大规模分布式文件系统的日志，提升了日志收集的可靠性、可扩展性和可管理性。

本发明实施例还提供了一种分布式系统的日志收集设备，具体可包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序以实现如上任意一实施例所述分布式系统的日志收集方法的步骤。

本发明实施例所述分布式系统的日志收集设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例实现高效收集大规模分布式文件系统的日志，提升了日志收集的可靠性、可扩展性和可管理性。

本发明实施例还提供了一种计算机可读存储介质，存储有分布式系统的日志收集程序，所述分布式系统的日志收集程序被处理器执行时如上任意一实施例所述分布式系统的日志收集方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例实现高效收集大规模分布式文件系统的日志，提升了日志收集的可靠性、可扩展性和可管理性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种分布式系统的日志收集方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式系统的日志收集方法，其特征在于，基于客户端，客户端挂载于服务器上，包括：

将采集相应服务器的待写入日志数据，按照预设数据单元格式进行转化；

将转化后的待写入日志数据通过多个通道传输至目标收集器中，以使所述目标收集器根据所述待写入日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。

2.根据权利要求1所述的分布式系统的日志收集方法，其特征在于，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中之后，还包括：

将所述待写入日志数据存储在本地；

判断所述待写入日志数据的目标源是否成功接收并写入所述待写入日志数据；

若是，则从本地删除所述待写入日志数据；

若否，则向所述目标收集器发送重新将所述待写入日志数据写入所述目标源的指令。

3.根据权利要求1所述的分布式系统的日志收集方法，其特征在于，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中之后，还包括：

判断所述待写入日志数据的目标源是否成功接收所述待写入日志数据；

若否，则将所述待写入日志数据存储在本地；

判断所述目标源是否恢复；

若是，则向所述目标收集器发送重新传输所述待写入日志数据至所述目标源的指令。

4.根据权利要求1-3任意一项所述的分布式系统的日志收集方法，其特征在于，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中包括：

将转化后的待写入日志数据通过多个通道传输至目标客户端，以使所述目标客户端将接收到的数据传输至所述目标收集器。

5.根据权利要求4所述的分布式系统的日志收集方法，其特征在于，所述目标收集器工作状态异常时，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中包括：

将转化后的待写入日志数据通过多个通道传输至备用收集器中，所述备用收集器为基于负载均衡策略确定的处于正常工作状态的收集器。

6.一种分布式系统的日志收集装置，其特征在于，基于客户端，包括：

格式转化模块，用于将待写入日志数据按照预设数据单元格式进行转化；

数据传输模块，用于将转化后的待写入日志数据通过多个通道传输至目标收集器中，以使所述目标收集器根据所述待写入日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。

7.一种分布式系统的日志收集方法，其特征在于，基于收集器，包括：

接收各节点发送的相应服务器的日志数据；

根据各日志数据携带的目标源地址信息，分别将各日志数据写入至相对应的分布式文件系统中。

8.一种分布式系统的日志收集方法，其特征在于，基于管理器，包括：

预先配置分布式系统中的各客户端和各收集器；

动态加载各客户端和各收集器；

根据用户输入查询目标客户端工作状态的指令，展示所述目标客户端收集相应服务器的日志数据，以及传输待写入日志数据的进度和状态；

根据用户输入查询目标收集器工作状态的指令，展示所述目标收集器的工作状态和数据流的执行进度。

9.根据权利要求8所述的分布式系统的日志收集方法，其特征在于，还包括：

当检测第一收集器工作状态异常时，基于负载均衡策略确定第二收集器，以使所述第一收集器执行的客户端任务迁移至所述第二收集器。

10.一种分布式系统的日志收集装置，其特征在于，基于管理器，包括：

配置模块，用于预先配置分布式系统中各客户端和各收集器；

加载模块，用于动态加载各客户端和各收集器；

数据统计模块，用于统计各客户端收集相应服务器的日志数据以及传输待写入日志数据的进度和状态，和各收集器的工作状态和数据流的执行进度。