CN109525645A - 一种收集分布式存储集群日志的方法与系统 - Google Patents

Abstract

本申请提供了一种收集分布式集群日志的方法，所述方法包括：设置分布式存储集群中各个节点间的访问方式；选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点；所述主节点依次向所述所有节点发送日志收集指令；所述主节点收集所述所有节点发送的日志信息。利用本申请提供的方法，能够快速便捷的实现对分布式存储集群中各个节点的日志信息的收集。本申请还提供了一种收集分布式集群日志的系统。

Description

一种收集分布式存储集群日志的方法与系统

技术领域

本发明涉及数据收集技术领域，尤其涉及一种收集分布式存储集群日志的方法与系统。

背景技术

分布式系统(distributed system)是建立在网络之上的软件系统，分布式系统具有高度的内聚性和透明性，随着海量数据的产生，分布式存储系统的应用越来越广泛。分布式存储系统通常是以集群的形式组网，一般采用几个、几十个、甚至几百上千个服务器节点来组成。当分布式存储系统中出现故障时就需要对该集群中节点的日志进行分析，但由于分布式系统的集群规模越来越来大，如何将这些日志收集起来集中处理是一个亟待解决的问题。

发明内容

为了解决现存的上述技术问题，本发明提供了一种收集分布式存储集群日志的方法与系统，能够实现对分布式存储集群中各个节点的日志信息的收集。

本发明提供了一种收集分布式存储集群日志的方法，所述方法包括：

设置分布式存储集群中各个节点间的访问方式；

选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点；

所述主节点依次向所述所有节点发送日志收集指令；

所述主节点收集所述所有节点发送的日志信息。

可选的，所述设置分布式存储集群中各个节点间的访问方式，具体为：

设置分布式存储集群中各个节点间的访问方式为互信无密码访问。

可选的，所述主节点依次向所述所有节点发送日志收集指令，具体为：

所述主节点通过SSH命令依次向所述所有节点发送日志收集指令。

可选的，所述日志信息，至少包括以下其中的一种：

硬件日志信息、软件日志信息和系统日志信息。

可选的，所述方法还包括：

所述主节点收集所述日志信息后，对所述日志信息进行归类与打包。

本申请实施例还提供了一种收集分布式存储集群日志的系统，所述系统包括：访问设置模块、节点遍历模块、指令发送模块和日志收集模块；

所述访问设置模块，用于设置分布式存储集群中各个节点间的访问方式；

所述节点遍历模块，用于选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点；

所述指令发送模块，用于所述主节点依次向所述所有节点发送日志收集指令；

所述日志收集模块，用于所述主节点收集所述所有节点发送的日志信息。

可选的，所述所述访问设置模块，用于设置分布式存储集群中各个节点间的访问方式，具体为：

所述访问设置模块，用于设置分布式存储集群中各个节点间的访问方式为互信无密码访问。

可选的，所述所述指令发送模块，用于所述主节点依次向所述所有节点发送日志收集指令，具体为：

所述指令发送模块，用于所述主节点通过SSH命令依次向所述所有节点发送日志收集指令。

可选的，所述日志信息，至少包括以下其中的一种：

硬件日志信息、软件日志信息和系统日志信息。

可选的，所述系统还包括：日志处理模块；

所述日志处理模块，用于所述主节点收集所述日志信息后，对所述日志信息进行归类与打包。

本发明提供的收集分布式存储集群日志的方法，首先设置分布式存储集群中各个节点间的访问方式，各个节点之间通过所述访问方式可以实现互相之间的访问与数据传输；其次选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点，即通过所述主节点实现对所有节点的访问；然后所述主节点依次向所述所有节点发送日志收集指令；最后所述主节点收集所述所有节点发送的日志信息，实现了对分布式存储集群各个节点日志信息的收集，并将所有的日志信息汇聚到了所述主节点上。

利用本发明提供的方法，可以快速便捷的将分布式存储集群各个节点的日志信息收集到一个选定的节点上，减少了技术人员分析问题的工作量与难度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例一提供的一种收集分布式存储集群日志的方法的流程图；

图2为本申请实施例二提供的收集分布式存储集群日志的方法的实现流程图；

图3为本申请实施例三提供的一种收集分布式存储集群日志的系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

申请实施例提供了一种收集分布式存储集群日志的方法，下面结合附图具体说明。

参见图1，该图为本申请实施例一提供的收集分布式存储集群日志的方法的流程图。

所述方法包括以下步骤：

S101：设置分布式存储集群中各个节点间的访问方式。

首先设置分布式存储集群中各个节点间的访问方式，以使各个节点之间通过所述访问方式可以实现互相之间的访问与数据传输。

需要注意的是，所述方式可以为有密码访问方式，即各个节点之间的互相访问需要通过密码验证才能够实现；可以为部分有密码访问，部分无密码访问方式，即部分节点之间的互相访问不需通过密码验证就能够实现，而对于特定的部分节点有安全性要求，需要进行密码验证才能进行访问；还可以采用互信无密码访问方式，即各个节点之间的互相访问不需要通过密码验证就能够实现，本申请对访问方式不作具体限定。

考虑到分布式存储集群中节点数量可能较大，例如可能具有上千个节点，此时采用有密码访问方式或部分有密码访问，部分无密码访问方式在设置或访问时因为需要通过密码验证，会有很大的工作量，操作起来极为不便利，因此可以设置分布式存储集群中各个节点间的访问方式为互信无密码访问以减少工作量。

所述设置的结果可以保存在节点本地；也可以上传到所有节点；还可以在完成一次集群日志收集后就返回初始状态，等待下一次进行集群日志收集时进行重新设置，本申请对此不作具体限定。

S102：选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点。

所述主节点作为起始点，可以通过所述主节点上的脚本工具对所述分布式存储集群中的所有节点进行遍历，所述脚本工具安装在所述分布式存储集群中的所有节点上。需要注意的是，此处的所有节点中包含有所述主节。

所述遍历指遵循一定的方法对每个节点进行访问，常见的遍历方法有：深度优先遍历、广度优先遍历、前序遍历、中序遍历和后序遍历等，也可以根据实际节点设置遍历顺序，本申请对遍历遵循的方法不作具体限定。此外，若在遍历时所述脚本工具发现存在节点无法遍历到，还会向主节点进行告警和提示。

需要注意的是，所述主节点与所有节点只是为了方便进行解释说明，并不是对节点种类的限定。

S103：所述主节点依次向所述所有节点发送日志收集指令。

所述主节点可以通过所述脚本工具依次向所述所有节点发送日志收集指令，发送所述日志收集指令的顺序是遍历所有节点的顺序。此外，可以在遍历所有节点的过程中，每遍历预设数的节点，发送一次日志收集指令，所述预设数目可以根据实际情况进行设置；还可以在所有节点遍历完成后，同意发送日志收集指令，本申请对此不作具体限定。

可选的，由于在S101中设置分布式存储集群中各个节点间的访问方式为互信无密码访问，为了增加所述方法的安全保密性，所述主节点可以通过SSH(Secure Shell)命令依次向所述所有节点发送日志收集指令。

所述SSH是可靠的，专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。通过SSH可以对所有传输的数据进行加密，也能够防止DNS欺骗和IP欺骗，即能够避免有设备冒充真正的主节点进而接收其它节点传送的数据，还能避免有其它设备冒充其它节点将数据传给主节点。

S104：所述主节点收集所述所有节点发送的日志信息。

包括主节点在内的所有节点根据所述日志收集指令将相关的日志信息拷贝到所述主节点，可以通过利用所述脚本实现上述拷贝过程。

具体的，所述日志信息，至少包括以下其中的一种：

硬件日志信息、软件日志信息和系统日志信息。

此外，所述主节点收集所述日志信息后，还可以对所述日志信息进行归类与打包，将归类与打包后的文件保存在主节点上以供后续技术分析使用。

需要注意的是，上述步骤只是为了方便对本方法进行解释，并不构成对本方法的限定，可以根据实际情况对上述步骤进行调整，例如将S 102和S103进行合并，即选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点，所述主节点依据遍历顺序依次向所述所有节点发送日志收集指令。

本申请实施例提供的收集分布式存储集群日志的方法，首先设置分布式存储集群中各个节点间的访问方式，各个节点之间通过所述访问方式可以实现互相之间的访问与数据传输；其次选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点，即通过所述主节点实现对所有节点的访问；然后所述主节点依次向所述所有节点发送日志收集指令；最后所述主节点收集所述所有节点发送的日志信息，实现了对分布式存储集群各个节点日志信息的收集，并将所有的日志信息汇聚到了所述主节点上。利用本申请实施例提供的方法，可以快速便捷的将分布式存储集群各个节点的日志信息收集到一个选定的节点上，避免了技术工程人员需要前往节点设备所在处进行问题分析，减少了技术人员分析问题的工作量与难度。

实施例二：

下面结合具体应用场景说明本发明所述方法的实现过程。

参见图2，该图为本申请实施例二提供的收集分布式存储集群日志的方法的实现流程图。

图2以分布式存储集群包含四个节点为例进行介绍说明。

S201：设置分布式存储集群中各个节点间的访问方式为互信无密码访问。

将节点1、节点2、节点3和节点4之间的访问方式设置为互信无密码访问。所述设置的结果可以保存在节点本地；也可以上传到所有节点；还可以在完成一次集群日志收集后就返回初始状态，等待下一次进行集群日志收集时进行重新设置，本申请实施例对此不作具体限定。

S202：以所述主节点为起始点遍历其它节点，并依次向所述其它节点发送日志收集令。

将节点1确定为主节点，以节点1为起始点遍历其它节点，节点1可以通过所述脚本工具依次向所述所有节点发送日志收集指令，并按照遍历的顺序，每遍历到一个节点，依次向所述其它节点发送日志收集令。为了增加所述方法的安全保密性，所述主节点可以通过SSH命令依次向所述所有节点发送日志收集指令。

遍历方法有：深度优先遍历、广度优先遍历、前序遍历、中序遍历和后序遍历等，也可以根据实际节点设置遍历顺序，本申请对遍历遵循的方法不作具体限定。

S203：所述主节点收集所述其它节点发送的日志信息。

所有节点根据所述日志收集指令将相关的日志信息拷贝到节点1，可以通过利用所述脚本实现上述拷贝过程。特别的，节点1作为主节点，也需要生成所述日志信息并拷贝到本地。

S204：对所述日志信息进行归类与打包。

需要注意的是，上述实施例中的应用场景只是为了方便解释说明，分布式存储集群的节点数并不是对本发明所述方法的限定。

本申请实施例所述方法，通过在分布式存储集群中配置互信无密码访问，然后可以选择在任何一个节点上执行日志收集脚本工具，该脚本工具会遍历集群中所有节点，并通过SSH命令向这些节点发送日志收集指令，将相关日志信息(如硬件、软件、系统等的日志信息)远程拷贝到执行该脚本工具的节点。利用所述方法，不仅可以方便快捷的收集日志，减少分析分布式存储集群各个节点的日志的工作量，还可以避免技术人员前往现场分析问题，减少时间的消耗和费用的开支。

实施例三：

基于上述实施例提供的收集分布式存储集群日志的方法，本申请实施例还提供了一种收集分布式存储集群日志的系统，下面结合附图进行具体说明。

参见图3，该图为本申请实施例三提供的一种收集分布式存储集群日志的系统的示意图。

本申请实施例所述系统包括：访问设置模块301、节点遍历模块302、指令发送模块303、日志收集模块304和日志处理模块305。

所述访问设置模块301，用于设置分布式存储集群中各个节点间的访问方式。

具体的，所述访问设置模块301，用于设置分布式存储集群中各个节点间的访问方式为互信无密码访问。

所述节点遍历模块302，用于选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点。

所述指令发送模块303，用于所述主节点依次向所述所有节点发送日志收集指令。

具体的，所述指令发送模块303，用于所述主节点通过SSH命令依次向所述所有节点发送日志收集指令。

所述日志信息，至少包括以下其中的一种：

硬件日志信息、软件日志信息和系统日志信息。

所述日志收集模块304，用于所述主节点收集所述所有节点发送的日志信息。

所述日志处理模块305，用于所述主节点收集所述日志信息后，对所述日志信息进行归类与打包。

需要注意的是，上述的模块只是为了方便说明本申请实施例所述装置的作用，并不是对所述装置的限定，可以根据实际需求对上述模块进行调整。

本申请实施例提供的收集分布式存储集群日志的装置，首先利用访问设置模块设置分布式存储集群中各个节点间的访问方式，各个节点之间通过所述访问方式可以实现互相之间的访问与数据传输；其次节点遍历模块选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点，即通过所述主节点实现对所有节点的访问；指令发送模块从主节点依次向所述所有节点发送日志收集指令；日志收集模块收集所述所有节点发送的日志信息，实现了对分布式存储集群各个节点日志信息的收集，并将所有的日志信息汇聚到了所述主节点上，此外日志处理模块还能够对所述日志信息进行归类与打包，实现对日志信息的初步分类，便于技术人员的分析使用。利用本申请实施例提供的装置，可以快速便捷的将分布式存储集群各个节点的日志信息收集到一个选定的节点上，避免了技术工程人员需要前往节点设备所在处进行问题分析，减少了技术人员分析问题的工作量与难度。

上述实施例中，对于各个实施例的描写都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种收集分布式存储集群日志的方法，其特征在于，所述方法包括：

设置分布式存储集群中各个节点间的访问方式；

选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点；

所述主节点依次向所述所有节点发送日志收集指令；

所述主节点收集所述所有节点发送的日志信息。

2.根据权利要求1所述的方法，其特征在于，所述设置分布式存储集群中各个节点间的访问方式，具体为：

设置分布式存储集群中各个节点间的访问方式为互信无密码访问。

3.根据权利要求1所述的方法，其特征在于，所述主节点依次向所述所有节点发送日志收集指令，具体为：

所述主节点通过SSH命令依次向所述所有节点发送日志收集指令。

4.根据权利要求1所述的方法，其特征在于，所述日志信息，至少包括以下其中的一种：

硬件日志信息、软件日志信息和系统日志信息。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述主节点收集所述日志信息后，对所述日志信息进行归类与打包。

6.一种收集分布式存储集群日志的系统，其特征在于，所述系统包括：访问设置模块、节点遍历模块、指令发送模块和日志收集模块；

所述访问设置模块，用于设置分布式存储集群中各个节点间的访问方式；

所述节点遍历模块，用于选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点；

所述指令发送模块，用于所述主节点依次向所述所有节点发送日志收集指令；

所述日志收集模块，用于所述主节点收集所述所有节点发送的日志信息。

7.根据权利要求6所述的系统，其特征在于，所述所述访问设置模块，用于设置分布式存储集群中各个节点间的访问方式，具体为：

所述访问设置模块，用于设置分布式存储集群中各个节点间的访问方式为互信无密码访问。

8.根据权利要求6所述的系统，其特征在于，所述所述指令发送模块，用于所述主节点依次向所述所有节点发送日志收集指令，具体为：

所述指令发送模块，用于所述主节点通过SSH命令依次向所述所有节点发送日志收集指令。

9.根据权利要求6所述的系统，其特征在于，所述日志信息，至少包括以下其中的一种：

硬件日志信息、软件日志信息和系统日志信息。

10.根据权利要求6所述的系统，其特征在于，所述系统还包括：日志处理模块；

所述日志处理模块，用于所述主节点收集所述日志信息后，对所述日志信息进行归类与打包。