CN109471746A - 一种集群日志的收集方法与系统 - Google Patents

Abstract

本申请提供了一种集群日志的收集方法，所述方法包括：在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器；选择主节点，并向选定的从节点发送传输文件指令；所述主节点接收所述从节点传输的相关日志文件。利用本申请提供的方法，能够精准快速的对选定节点的日志文件进行收集，提高了集群日志收集的效率。本申请还提供了一种集群日志的收集系统。

Description

一种集群日志的收集方法与系统

技术领域

本发明涉及数据收集技术领域，尤其涉及一种集群日志的收集方法与系统。

背景技术

分布式存储系统是建立在网络之上的软件系统，分布式存储系统具有高度的内聚性和透明性，随着海量数据的产生，分布式存储系统的应用越来越广泛。

分布式存储系统通常是以集群的形式组网，一般采用几个、几十个、甚至几百上千服务器节点来组成。当分布式存储系统中出现故障时就需要对该集群中节点的日志进行分析，但由于分布式系统的集群规模越来越来大，怎样将这些日志精准而快速的收集起来以便进行集中处理成了一个亟待解决的问题。

发明内容

为了解决现有技术存在的上述技术问题，本申请提供了一种集群日志的收集方法与系统，能够精准快速的对选定节点的日志文件进行收集，提高了集群日志收集的效率。

本申请提供了一种集群日志的收集方法，所述方法包括：

在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器；

选择主节点，并向选定的从节点发送传输文件指令；

所述主节点接收所述从节点传输的相关日志文件。

可选的，所述选择主节点，并向选定的从节点发送传输文件指令，具体为：

选择主节点，并发向所有选定的从节点发送传输文件指令。

可选的，所述方法还包括：

所述主节点在指定目录下接收所述从节点传输的所述日志文件。

可选的，所述方法还包括：

所述主节点接收所述日志文件后，对所述日志文件进行归类与打包。

可选的，所述日志文件，至少包括以下其中的一种：

软件日志文件、硬件日志文件和系统日志文件。

本申请实施例还提供了一种集群日志的收集系统，所述系统包括：节点配置单元、指令传输单元和日志收集单元；

所述节点配置单元，用于在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器；

所述指令传输单元，用于选择主节点，并向选定的从节点发送传输文件指令；

所述日志传输单元，用于所述主节点接收所述从节点传输的相关日志文件。

可选的，所述所述指令传输单元，用于选择主节点，并向选定的从节点发送传输文件指令，具体为：

所述指令传输单元，用于选择主节点，并发向所有选定的从节点发送传输文件指令。

可选的，所述日志传输单元，还用于所述主节点在指定目录下接收所述从节点传输的所述日志文件。

可选的，所述装置还包括：日志处理单元；

所述日志处理单元，用于所述主节点接收所述日志文件后，对所述日志文件进行归类与打包。

可选的，所述日志文件，至少包括以下其中的一种：

软件日志文件、硬件日志文件和系统日志文件。

本申请提供的集群日志的收集方法，首先在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器，为各个节点之间的文件传输提供网络环境；然后选择主节点，并向选定的从节点发送传输文件指令，选定从节点，可以使得日志收集更加精准，更具有针对性，也能减少收集集群日志的工作量；最后所述主节点接收所述从节点传输的相关日志文件。利用本申请提供的集群日志的收集方法，能够精准快速的对选定节点的日志文件进行收集，提高了集群日志收集的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例一提供的集群日志的收集方法的流程图；

图2为本申请实施例二提供的集群日志的收集方法的流程图；

图3为本申请实施例三提供的一种集群日志的收集系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

本申请实施例提供了一种集群日志的收集方法，下面结合附图具体说明。

参见图1，该图为本申请实施例一提供的集群日志的收集方法的流程图。

本申请实施例所述方法包括以下步骤：

S101：在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器。

SaltStack管理工具能够实现在多个节点间创建一个一致的管理系统。SaltStack作用于主拓扑和从拓扑，主拓扑即主节点，从拓扑即从节点，SaltStack与特定的命令结合可以在主节点的一个或多个下属从节点实现特定的功能。

在集群的各个节点之间搭建文件服务器，为日志文件的传输提供网络环境，同时使各个节点之间实现互联，以使通过一台设备就可以实现对所有节点的访问。

所述配置SaltStack的结果可以保存在节点本地；也可以上传到所有节点；还可以在完成一次集群日志文件收集后就返回初始状态，等待下一次进行集群日志收集时进行重新设置，本申请对此不作具体限定。

S102：选择主节点，并向选定的从节点发送传输文件指令。

首先选定一个节点作为主节点，可以理解为此时主节点是技术人员正在操作的节点，确定主节点后，集群中的其它节点默认称为从节点。

需要注意的是，这里选定的从节点具体指根据实际的收集需求在集群的从节点中选择出的一些特定的节点，选定的节点可以是一个节点，可以是一组节点，还可以是所有从节点，本申请对此不做具体限定。但考虑到实际应用中如果某些集群中的节点数目庞大，发生错误时又可以划定出一个可能出错的节点范围，此时就不必要收集所有节点的日志文件了，所以选定从节点这一功能可以使得日志收集更加精准，更具有针对性，也能减少收集日志文件时的工作量。

所述主节点，可以并发向所有选定的从节点同时发送传输文件指令，也可以串行向所有选定的从节点依次发送传输文件指令，本申请对此不作具体限定，但考虑到当实际选定的集群中的从节点数量较大时，串行向所有选定的从节点依次发送传输文件指令会极大限制传输指令的发送效率，进而影响日志文件的收集效率，因此可以采用并发向所有选定的从节点发送传输文件指令的方式以提高传输指令的发送效率。

需要注意的是，所述主节点与从节点只是为了方便进行解释说明，并不是对节点种类的限定。节点并不会固定为主节点或者固定为从节点，即在一次集群日志的收集中，某节点可能会作为主节点，而在另一次集群日志的收集中，该节点可能会作为从节点。

S103：所述主节点接收所述从节点传输的相关日志文件。

具体的，所述日志文件，至少包括以下其中的一种：

软件日志文件、硬件日志文件和系统日志文件。

并且所述主节点还可以在指定目录下接收所述从节点传输的所述日志文件。由于某个节点作为主节点还是作为从节点在多次集群日志文件的收集时可能会不同，所以需要通过本地设置指定的接收目录和日志文件的发送目录。

此外，所述主节点收集所述日志文件后，还可以对所述日志文件进行归类与打包，将归类与打包后的文件保存在主节点上以供后续技术分析使用。

需要注意的是，上述步骤只是为了方便对本方法进行解释，并不构成对本方法的限定，可以根据实际情况对上述步骤进行调整。

本申请实施例提供的集群日志的收集方法，首先在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器，为各个节点之间的文件传输提供网络环境；然后选择主节点，并向选定的从节点发送传输文件指令，选定从节点，可以使得日志收集更加精准，更具有针对性，也能减少收集集群日志的工作量；最后所述主节点接收所述从节点传输的相关日志文件。利用本申请提供的集群日志的收集方法，能够精准快速的对选定节点的日志文件进行收集，提高了集群日志收集的效率。

实施例二：

下面结合具体应用场景说明本发明所述方法的实现过程。

参见图2，该图为本申请实施例二提供的集群日志的收集方法的流程图。

图2以分布式存储集群包含四个节点为例进行介绍说明，其中节点1为主节点，节点2、节点3和节点4为从节点，节点2和节点3为被选定的从节点。

S201：在集群节点中配置saltstack并搭建saltstack的文件服务器。

在上述四个节点中配置saltstack并搭建saltstack的文件服务器，所述配置SaltStack的结果可以保存在节点本地；也可以上传到所有节点；还可以在完成一次集群日志文件收集后就返回初始状态，等待下一次进行集群日志收集时进行重新设置，本申请对此不作具体限定。

S202：选择主节点，并发向所有选定的从节点发送传输文件指令

选择节点1为主节点，并发向选定的从节点(节点2和节点3)发送传输文件指令。

S203：所述主节点并发接收所有所述从节点传输的相关日志文件

节点2和节点3根据所述传输文件指令将相关的日志文件传送到节点1。特别的，节点1作为主节点，若也需要进行日日志收集，则生成所述日志文件并拷贝到本地。

S204：所述日志信息进行归类与打包。

归类与打包后的文件可以保存在主节点或上传到指定节点上以供后续技术分析使用。

需要注意的是，上述实施例中的应用场景只是为了方便解释说明，分布式存储集群的节点数并不是对本发明所述方法的限定。

本申请实施例所述方法，通过在分布式存储集群中配置saltstack并搭建saltstack的文件服务器，然后可以选择任何一个节点作为主节点，并向选定的从节点发送传输文件指令，以在主节点上收集相关的日志文件(如硬件、软件、系统等的日志文件)。利用所述方法，不仅可以方便快捷的收集日志，精准收集选定节点的日志文件，减少分析分布式存储集群各个节点的日志的工作量，还可以避免技术人员前往现场分析问题，减少时间的消耗和费用的开支。

实施例三：

基于上述实施例提供的集群日志的收集方法，本申请实施例还提供了一种集群日志的收集系统，下面结合附图进行具体说明。

参见图3，该图为本申请实施例三提供的一种集群日志的收集系统的示意图。

本申请实施例所述系统包括：节点配置单元301、指令传输单元302、日志收集单元303和日志处理单元304。

所述节点配置单元301，用于在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器。

所述指令传输单元302，用于选择主节点，并向选定的从节点发送传输文件指令。

具体的，所述指令传输单元302，用于选择主节点，并发向所有选定的从节点发送传输文件指令。

所述日志传输单元303，用于所述主节点接收所述从节点传输的相关日志文件。

所述日志文件，至少包括以下其中的一种：

软件日志文件、硬件日志文件和系统日志文件。

所述日志传输单元303，还用于所述主节点在指定目录下接收所述从节点传输的所述日志文件。

所述日志处理单元304，用于所述主节点接收所述日志文件后，对所述日志文件进行归类与打包。

需要注意的是，上述的单元的名称只是为了方便说明本申请实施例所述装置的作用，并不是对所述装置的限定，可以根据实际需求对上述单元进行调整。

本申请实施例提供的集群日志的收集系统，首先节点配置单元在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器，为各个节点之间的文件传输提供网络环境；然后指令传输单元选择主节点，并向选定的从节点发送传输文件指令，选定从节点，可以使得日志收集更加精准，更具有针对性，也能减少收集集群日志的工作量；日志传输单元用于所述主节点接收所述从节点传输的相关日志文件；此外，日志处理单元，还可以对收集的日志文件进行归类与打包。利用本申请提供的集群日志的收集方法，能够精准快速的对选定节点的日志文件进行收集，提高了集群日志收集的效率。

上述实施例中，对于各个实施例的描写都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种集群日志的收集方法，其特征在于，所述方法包括：

在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器；

选择主节点，并向选定的从节点发送传输文件指令；

所述主节点接收所述从节点传输的相关日志文件。

2.根据权利要求1所述的方法，其特征在于，所述选择主节点，并向选定的从节点发送传输文件指令，具体为：

选择主节点，并发向所有选定的从节点发送传输文件指令。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述主节点在指定目录下接收所述从节点传输的所述日志文件。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述主节点接收所述日志文件后，对所述日志文件进行归类与打包。

5.根据权利要求1所述的方法，其特征在于，所述日志文件，至少包括以下其中的一种：

软件日志文件、硬件日志文件和系统日志文件。

6.一种集群日志的收集系统，其特征在于，所述系统包括：节点配置单元、指令传输单元和日志收集单元；

所述节点配置单元，用于在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器；

所述指令传输单元，用于选择主节点，并向选定的从节点发送传输文件指令；

所述日志传输单元，用于所述主节点接收所述从节点传输的相关日志文件。

7.根据权利要求6所述的系统，其特征在于，所述所述指令传输单元，用于选择主节点，并向选定的从节点发送传输文件指令，具体为：

所述指令传输单元，用于选择主节点，并发向所有选定的从节点发送传输文件指令。

8.根据权利要求6所述的系统，其特征在于，所述日志传输单元，还用于所述主节点在指定目录下接收所述从节点传输的所述日志文件。

9.根据权利要求6所述的系统，其特征在于，所述装置还包括：日志处理单元；

所述日志处理单元，用于所述主节点接收所述日志文件后，对所述日志文件进行归类与打包。

10.根据权利要求6所述的系统，其特征在于，所述日志文件，至少包括以下其中的一种：

软件日志文件、硬件日志文件和系统日志文件。