CN115357768A - 分布式存储集群的管理方法及相关组件 - Google Patents
分布式存储集群的管理方法及相关组件 Download PDFInfo
- Publication number
- CN115357768A CN115357768A CN202211003205.6A CN202211003205A CN115357768A CN 115357768 A CN115357768 A CN 115357768A CN 202211003205 A CN202211003205 A CN 202211003205A CN 115357768 A CN115357768 A CN 115357768A
- Authority
- CN
- China
- Prior art keywords
- hard disk
- topological relation
- storage pool
- host
- fault domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012800 visualization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式存储集群的管理方法及相关组件，应用于存储领域，管理设备接收分布式存储集群中的硬盘发送的基本信息，基本信息包括硬盘的标识信息及硬盘所属的主机的标识信息；根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜；构建拓扑关系；根据拓扑关系将分布式存储集群绘制成可视化展示模式。将分布式存储集群进行可视化展示，以便用户确定存储池、故障域、机柜、主机及硬盘之间的关系，操作更加方便，同时对于分布式存储集群在出现故障时可以快速确定出现故障的位置。
Description
技术领域
本发明涉及存储领域，特别是涉及一种分布式存储集群的管理方法及相关组件。
背景技术
分布式存储系统中的分布式存储集群的拓扑关系涉及存储池、故障域、机柜、主机与硬盘五个层级。多个存储池可以共享一个故障域，一个故障域底层是由位于不同机柜的主机的多个硬盘组成的。存储池所属故障域可包含多个硬盘，所以一个存储池可对应多个硬盘，同时一个硬盘也可属于多个故障域，即一个硬盘也可对应多个存储池。在当前的管理软件中，尚无存储系统端到端的拓扑关系，即存储池、故障域、机柜、主机与硬盘之间的拓扑关系，当存储池故障或性能降级后，无法确定所关联的故障域、机柜、主机及硬盘，快速找到问题原因；同样的，当硬盘故障或处于亚健康状态时，无法确定影响的主机、机柜、故障域及存储池，以便及时采取必要措施。
发明内容
本发明的目的是提供一种分布式存储集群的管理方法及相关组件，将分布式存储集群进行可视化展示，以便用户确定存储池、故障域、机柜、主机及硬盘之间的关系，操作更加方便，同时对于分布式存储集群在出现故障时可以快速确定出现故障的位置。
为解决上述技术问题，本发明提供了一种分布式存储集群的管理方法，应用于管理设备的处理器，所述方法包括：
接收分布式存储集群中的硬盘发送的基本信息，所述基本信息包括所述硬盘的标识信息及所述硬盘所属的主机的标识信息；
根据所述基本信息确定所述硬盘所属的存储池、所属的故障域及所属的机柜；
构建拓扑关系，所述拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，所述集群拓扑关系包括所述分布式存储集群与存储池的对应关系，所述存储池层级拓扑关系包括所述存储池与故障域的对应关系，所述故障域层级拓扑关系包括所述故障域与机柜的对应关系，所述机柜层级拓扑关系包括所述机柜与主机的对应关系，所述主机层级拓扑关系包括所述主机与所述硬盘的对应关系；
根据所述拓扑关系将所述分布式存储集群绘制成可视化展示模式。
优选的，根据所述基本信息确定所述硬盘所属的存储池、所属的故障域及所属的机柜之前，还包括：
确定所述存储池的列表信息，所述存储池的列表信息包括存储池的标识信息；
确定所述集群的所述故障域、所述机柜及所述节点的拓扑关系，并将所述拓扑关系生成字典；
根据所述字典确定所述存储池对应的所述故障域。
优选的，根据所述基本信息确定所述硬盘所属的存储池、所属的故障域及所属的机柜，包括：
确定所述存储池对应的故障域中的所有硬盘，将所述硬盘作为叶子节点，所述硬盘所属的存储池为所述存储池；
从叶子节点向上遍历父节点，确定所述硬盘所属的主机；
从所述父节点再向上遍历父节点，确定所述硬盘所述的机柜。
优选的，确定所述硬盘所属的存储池、所属的故障域及所属的机柜之后，还包括：
将所述硬盘所属的存储池、所属的故障域及所属的机柜及所述硬盘的基本信息添加至硬盘信息表中；
所述硬盘信息表以所述硬盘所述的存储池标识信息以及所述硬盘的标识信息作为联合主键。
优选的，构建拓扑关系，所述拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，包括：
判断从所述硬盘的硬盘信息表中获取所述硬盘所属的存储池是否存在于所述集群拓扑关系；
若不存在于所述集群拓扑关系，则新建一个键值对，所述键为所述存储池的标识信息，所述值为空的字典，所述键值对为所述存储池层级拓扑关系；
判断所述存储池所述的故障域是否存在于所述存储池层级拓扑关系；
若不存在于所述存储池层级拓扑关系，则新建一个键值对，所述键为所述故障域的标识信息，所述值为空的字典，所述键值对为所述故障域层级拓扑关系；
判断从所述硬盘的硬盘信息表中获取所述硬盘所属的机柜是否存在于所述故障域层级拓扑关系；
若不存在于所述故障域层级拓扑关系，则新建一个键值对，所述键为所述机柜的标识信息，所述值为空的字典，所述键值对为所述机柜层级拓扑关系；
判断从所述硬盘的硬盘信息表中获取所述硬盘所属的主机是否存在于所述机柜层级拓扑关系；
若不存在于所述机柜层级拓扑关系，则新建一个键值对，所述键为所述主机的标识信息，所述值为空的字典，所述键值对为所述主机层级拓扑关系；
判断所述硬盘的标识信息是否存在于所述主机层级拓扑关系；
若不存在于所述主机层级拓扑关系，则新建一个键值对，所述键为所述主机的标识信息，所述值为空的字典，将所述硬盘的基本信息填充至所述字典。
优选的，根据所述拓扑关系将所述集群绘制成可视化展示模式，包括：
遍历集群拓扑关系字典，取出所有所述存储池层级拓扑关系，并绘制存储池；
遍历所述存储池层级拓扑关系，取出所有所述故障域层级拓扑关系，并绘制故障域及存储池与故障域之间的连线；
遍历所述故障域层级拓扑关系，取出所有所述机柜层级拓扑关系，并绘制机柜及故障域与机柜之间的连线；
遍历所述机柜层级拓扑关系，取出所有所述主机层级拓扑关系，并绘制主机及机柜与主机之间的连线；
遍历所述主机层级拓扑关系，取出所有所述硬盘，并绘制硬盘及主机与硬盘之间的连线。
为解决上述技术问题，本发明还提供了一种分布式存储集群的管理系统，包括：
接收单元，用于接收分布式存储集群中的硬盘发送的基本信息，所述基本信息包括所述硬盘的标识信息及所述硬盘所属的主机的标识信息；
确定单元，用于根据所述基本信息确定所述硬盘所属的存储池、所属的故障域及所属的机柜；
构建单元，用于构建拓扑关系，所述拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，所述集群拓扑关系包括所述分布式存储集群与存储池的对应关系，所述存储池层级拓扑关系包括所述存储池与故障域的对应关系，所述故障域层级拓扑关系包括所述故障域与机柜的对应关系，所述机柜层级拓扑关系包括所述机柜与主机的对应关系，所述主机层级拓扑关系包括所述主机与所述硬盘的对应关系；
绘制单元，用于根据所述拓扑关系将所述分布式存储集群绘制成可视化展示模式。
为解决上述技术问题，本发明还提供了一种管理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述分布式存储集群的管理方法的步骤。
为解决上述技术问题，本发明还提供了一种分布式存储集群，包括上述的管理设备，还包括多个机柜、多个主机及多个硬盘。
为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述分布式存储集群的管理方法的步骤。
本发明公开了一种分布式存储集群的管理方法及相关组件，应用于存储领域，管理设备接收分布式存储集群中的硬盘发送的基本信息，基本信息包括硬盘的标识信息及硬盘所属的主机的标识信息；根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜；构建拓扑关系；根据拓扑关系将分布式存储集群绘制成可视化展示模式。将分布式存储集群进行可视化展示，以便用户确定存储池、故障域、机柜、主机及硬盘之间的关系，操作更加方便，同时对于分布式存储集群在出现故障时可以快速确定出现故障的位置。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种分布式存储集群的管理方法的流程图；
图2为本发明提供的一种可视化展示模式的示意图；
图3为本发明提供的一种分布式存储集群的管理系统的结构示意图；
图4为本发明提供的一种管理设备的结构示意图。
具体实施方式
本发明的核心是提供一种分布式存储集群的管理方法及相关组件，将分布式存储集群进行可视化展示，以便用户确定存储池、故障域、机柜、主机及硬盘之间的关系，操作更加方便，同时对于分布式存储集群在出现故障时可以快速确定出现故障的位置。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的一种分布式存储集群的管理方法的流程图，该方法应用于管理设备的处理器，方法包括：
S11：接收分布式存储集群中的硬盘发送的基本信息，基本信息包括硬盘的标识信息及硬盘所属的主机的标识信息；
考虑到分布式存储系统中的分布式存储集群的拓扑关系涉及存储池、故障域、机柜、主机与硬盘五个层级。多个存储池可以共享一个故障域，一个故障域底层是由位于不同机柜的主机的多个硬盘组成的。存储池所属故障域可包含多个硬盘，所以一个存储池可对应多个硬盘，同时一个硬盘也可属于多个故障域，即一个硬盘也可对应多个存储池。在当前的管理软件中，尚无存储系统端到端的拓扑关系，即存储池、故障域、机柜、主机与硬盘之间的拓扑关系，当存储池故障或性能降级后，无法确定所关联的故障域、机柜、主机及硬盘，快速找到问题原因；同样的，当硬盘故障或处于亚健康状态时，无法确定影响的主机、机柜、故障域及存储池，以便及时采取必要措施。
获取到硬盘的标识信息后可以确定硬盘对应的主机以及其他层级对应的设备。
具体的，硬盘的标识信息为硬盘的名称，主机的标识信息为主机的名称。
S12：根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜；
根据硬盘对应的主机可以确定硬盘对应的机柜，进而确定对应的故障域以及存储池。
S13：构建拓扑关系，拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，集群拓扑关系包括分布式存储集群与存储池的对应关系，存储池层级拓扑关系包括存储池与故障域的对应关系，故障域层级拓扑关系包括故障域与机柜的对应关系，机柜层级拓扑关系包括机柜与主机的对应关系，主机层级拓扑关系包括主机与硬盘的对应关系；
根据获取到的硬盘所属的主机、机柜、故障域及存储池，生成拓扑关系，拓扑关系包括各个相邻层级之间的关系。
S14：根据拓扑关系将分布式存储集群绘制成可视化展示模式。
图2为本发明提供的一种可视化展示模式的示意图，以九个存储池、四个故障域、三个机柜以及五个主机为例，节点为主机，SSD以及HDD为硬盘，硬盘资源域为故障域，rack为机柜。
将各个层级间的关系以图2的方式展示出来，以便用户确定硬盘与存储池之间的关系，在存储池出现故障时确定存储池对应的所有硬盘，在硬盘出现故障时确定硬盘对应的存储池。
本发明公开了一种分布式存储集群的管理方法，应用于存储领域，管理设备接收分布式存储集群中的硬盘发送的基本信息，基本信息包括硬盘的标识信息及硬盘所属的主机的标识信息；根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜；构建拓扑关系；根据拓扑关系将分布式存储集群绘制成可视化展示模式。将分布式存储集群进行可视化展示，以便用户确定存储池、故障域、机柜、主机及硬盘之间的关系，操作更加方便，同时对于分布式存储集群在出现故障时可以快速确定出现故障的位置。
在上述实施例的基础上：
作为一种优选的实施例，根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜之前，还包括：
确定存储池的列表信息，存储池的列表信息包括存储池的标识信息；
确定集群的故障域、机柜及节点的拓扑关系，并将拓扑关系生成字典；
根据字典确定存储池对应的故障域。
本申请提供的方法应用于管理设备的处理器，在存储主机部署Agent后，主机通过telegraf组件周期性的上报硬盘的基本信息，管理设备将硬盘的基本信息保存至InfluxDB数据库中。管理设备的处理器调用REST API接口查询存储池的标识信息，具体的，存储池的标识信息包括存储池的名称。
调用REST API接口确定集群的故障域、机柜及节点的拓扑关系，并将拓扑关系生成字典。
根据存储池的faultdomain字段得到故障域根节点的主机的名称，进而根据根节点的主机的名称确定存储池对应的故障域。
获取存储池的信息，确定存储池对应的故障域，以便后续确定存储池对应的硬盘。
作为一种优选的实施例，根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜，包括：
确定存储池对应的故障域中的所有硬盘，将硬盘作为叶子节点，硬盘所属的存储池为存储池；
从叶子节点向上遍历父节点，确定硬盘所属的主机；
从父节点再向上遍历父节点，确定硬盘的机柜。
获取故障域的所有叶子节点(即硬盘)，硬盘所属存储池即为当前存储池，从叶子节点向上遍历父节点，得到所属host，再向上遍历父节点，得到所属rack。
作为一种优选的实施例，确定硬盘所属的存储池、所属的故障域及所属的机柜之后，还包括：
将硬盘所属的存储池、所属的故障域及所属的机柜及硬盘的基本信息添加至硬盘信息表中；
硬盘信息表以硬盘的存储池标识信息以及硬盘的标识信息作为联合主键。
根据硬盘名称、所属主机名称，查询InfluxDB硬盘信息列表得到硬盘基本信息，硬盘基本信息新增所属存储池、所属故障域、所属rack，持久化到MySQL硬盘信息表，表1为MySQL硬盘信息表。MySQL硬盘信息表以所属存储池字段及硬盘唯一标识为联合主键，由于存储池与硬盘之间多对多的关系，同一硬盘在数据库表中可能存在多条记录。
表1
| 名称 | 类型 | 说明 |
| cluster_id | varchar(100) | 存储系统唯一标识 |
| id | varchar(100) | 硬盘唯一标识 |
| vendor_id | varchar(50) | 厂商 |
| product_id | varchar(50) | 型号 |
| slot_id | int(11) | 槽位号 |
| enclosure_id | int(11) | 机箱编号 |
| disk_name | varchar(150) | 硬盘名称 |
| agent_host | varchar(150) | 节点主机名称 |
| fault_domain | varchar(100) | 所属故障域 |
| pool_name | varchar(100) | 所属存储池 |
| rack | varchar(50) | 所属机柜 |
作为一种优选的实施例，构建拓扑关系，拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，包括：
判断从硬盘的硬盘信息表中获取硬盘所属的存储池是否存在于集群拓扑关系；
若不存在于集群拓扑关系，则新建一个键值对，键为存储池的标识信息，值为空的字典，键值对为存储池层级拓扑关系；
判断存储池的故障域是否存在于存储池层级拓扑关系；
若不存在于存储池层级拓扑关系，则新建一个键值对，键为故障域的标识信息，值为空的字典，键值对为故障域层级拓扑关系；
判断从硬盘的硬盘信息表中获取硬盘所属的机柜是否存在于故障域层级拓扑关系；
若不存在于故障域层级拓扑关系，则新建一个键值对，键为机柜的标识信息，值为空的字典，键值对为机柜层级拓扑关系；
判断从硬盘的硬盘信息表中获取硬盘所属的主机是否存在于机柜层级拓扑关系；
若不存在于机柜层级拓扑关系，则新建一个键值对，键为主机的标识信息，值为空的字典，键值对为主机层级拓扑关系；
判断硬盘的标识信息是否存在于主机层级拓扑关系；
若不存在于主机层级拓扑关系，则新建一个键值对，键为主机的标识信息，值为空的字典，将硬盘的基本信息填充至字典。
初始化集群拓扑关系为空的字典，从MySQL硬盘信息表查询出所有的硬盘信息，是一个列表；遍历硬盘信息列表。
取出硬盘所属存储池，判断所属存储池是否已经存在于集群拓扑关系，若不存在，则新建一个键值对，其中键为存储池名称，值为空的字典，若存在，则从集群拓扑关系获取键为存储池名称的内容，即存储池层级拓扑关系。
取出存储池所属故障域，判断所属故障域是否已经存在于存储池层级拓扑关系，若不存在，则新建一个键值对，其中键为故障域名称，值为空的字典，若存在，则从存储池层级拓扑关系获取键为故障域名称的内容，即故障域层级拓扑关系。
取出硬盘所属机柜，判断所属机柜是否已经存在于故障域层级拓扑关系，若不存在，则新建一个键值对，其中键为机柜名称，值为空的字典，若存在，则从故障域层级拓扑关系获取键为机柜名称的内容，即机柜层级拓扑关系。
取出硬盘所属主机，判断所属主机是否已经存在于机柜层级拓扑关系，若不存在，则新建一个键值对，其中键为主机名称，值为空的列表，若存在，则从机柜层级拓扑关系获取键为主机名称的内容，即主机层级拓扑关系。
取出硬盘名称，判断硬盘名称是否已经存在于主机层级拓扑关系，若不存在，则新建一个硬盘字典并加入主机的列表中，其中键为硬盘名称，值为空的字典，字典填充硬盘的基本信息。
作为一种优选的实施例，根据拓扑关系将集群绘制成可视化展示模式，包括：
遍历集群拓扑关系字典，取出所有存储池层级拓扑关系，并绘制存储池；
遍历存储池层级拓扑关系，取出所有故障域层级拓扑关系，并绘制故障域及存储池与故障域之间的连线；
遍历故障域层级拓扑关系，取出所有机柜层级拓扑关系，并绘制机柜及故障域与机柜之间的连线；
遍历机柜层级拓扑关系，取出所有主机层级拓扑关系，并绘制主机及机柜与主机之间的连线；
遍历主机层级拓扑关系，取出所有硬盘，并绘制硬盘及主机与硬盘之间的连线。
图3为本发明提供的一种分布式存储集群的管理系统的结构示意图，该系统包括：
接收单元31，用于接收分布式存储集群中的硬盘发送的基本信息，基本信息包括硬盘的标识信息及硬盘所属的主机的标识信息；
确定单元32，用于根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜；
构建单元33，用于构建拓扑关系，拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，集群拓扑关系包括分布式存储集群与存储池的对应关系，存储池层级拓扑关系包括存储池与故障域的对应关系，故障域层级拓扑关系包括故障域与机柜的对应关系，机柜层级拓扑关系包括机柜与主机的对应关系，主机层级拓扑关系包括主机与硬盘的对应关系；
绘制单元34，用于根据拓扑关系将分布式存储集群绘制成可视化展示模式。
确定单元32还用于确定存储池的列表信息，存储池的列表信息包括存储池的标识信息；
确定集群的故障域、机柜及节点的拓扑关系，并将拓扑关系生成字典；
根据字典确定存储池对应的故障域；
确定存储池对应的故障域中的所有硬盘，将硬盘作为叶子节点，硬盘所属的存储池为存储池；
从叶子节点向上遍历父节点，确定硬盘所属的主机；
从父节点再向上遍历父节点，确定硬盘的机柜。
还包括添加单元，用于将硬盘所属的存储池、所属的故障域及所属的机柜及硬盘的基本信息添加至硬盘信息表中；
硬盘信息表以硬盘的存储池标识信息以及硬盘的标识信息作为联合主键。
还包括判断单元，用于判断从硬盘的硬盘信息表中获取硬盘所属的存储池是否存在于集群拓扑关系；判断存储池的故障域是否存在于存储池层级拓扑关系；判断从硬盘的硬盘信息表中获取硬盘所属的机柜是否存在于故障域层级拓扑关系；判断从硬盘的硬盘信息表中获取硬盘所属的主机是否存在于机柜层级拓扑关系；判断硬盘的标识信息是否存在于主机层级拓扑关系；
还包括新建单元，用于若不存在于集群拓扑关系，则新建一个键值对，键为存储池的标识信息，值为空的字典，键值对为存储池层级拓扑关系；
若不存在于存储池层级拓扑关系，则新建一个键值对，键为故障域的标识信息，值为空的字典，键值对为故障域层级拓扑关系；
若不存在于故障域层级拓扑关系，则新建一个键值对，键为机柜的标识信息，值为空的字典，键值对为机柜层级拓扑关系；
若不存在于机柜层级拓扑关系，则新建一个键值对，键为主机的标识信息，值为空的字典，键值对为主机层级拓扑关系；
若不存在于主机层级拓扑关系，则新建一个键值对，键为主机的标识信息，值为空的字典，将硬盘的基本信息填充至字典。
绘制单元，具体用于遍历集群拓扑关系字典，取出所有存储池层级拓扑关系，并绘制存储池；
遍历存储池层级拓扑关系，取出所有故障域层级拓扑关系，并绘制故障域及存储池与故障域之间的连线；
遍历故障域层级拓扑关系，取出所有机柜层级拓扑关系，并绘制机柜及故障域与机柜之间的连线；
遍历机柜层级拓扑关系，取出所有主机层级拓扑关系，并绘制主机及机柜与主机之间的连线；
遍历主机层级拓扑关系，取出所有硬盘，并绘制硬盘及主机与硬盘之间的连线。
本申请提供的分布式存储集群的管理系统的介绍请参照上述实施例，在此处不再赘述。
图4为本发明提供的一种管理设备的结构示意图，该管理设备包括：
存储器41，用于存储计算机程序；
处理器42，用于执行计算机程序时实现上述的分布式存储集群的管理方法的步骤。
处理器具体执行的步骤如下：
接收分布式存储集群中的硬盘发送的基本信息，基本信息包括硬盘的标识信息及硬盘所属的主机的标识信息；
根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜；
构建拓扑关系，拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，集群拓扑关系包括分布式存储集群与存储池的对应关系，存储池层级拓扑关系包括存储池与故障域的对应关系，故障域层级拓扑关系包括故障域与机柜的对应关系，机柜层级拓扑关系包括机柜与主机的对应关系，主机层级拓扑关系包括主机与硬盘的对应关系；
根据拓扑关系将分布式存储集群绘制成可视化展示模式。
根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜之前，还包括：
确定存储池的列表信息，存储池的列表信息包括存储池的标识信息；
确定集群的故障域、机柜及节点的拓扑关系，并将拓扑关系生成字典；
根据字典确定存储池对应的故障域。
根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜，包括：
确定存储池对应的故障域中的所有硬盘，将硬盘作为叶子节点，硬盘所属的存储池为存储池；
从叶子节点向上遍历父节点，确定硬盘所属的主机；
从父节点再向上遍历父节点，确定硬盘的机柜。
确定硬盘所属的存储池、所属的故障域及所属的机柜之后，还包括：
将硬盘所属的存储池、所属的故障域及所属的机柜及硬盘的基本信息添加至硬盘信息表中；
硬盘信息表以硬盘的存储池标识信息以及硬盘的标识信息作为联合主键。
构建拓扑关系，拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，包括：
判断从硬盘的硬盘信息表中获取硬盘所属的存储池是否存在于集群拓扑关系；
若不存在于集群拓扑关系，则新建一个键值对，键为存储池的标识信息，值为空的字典，键值对为存储池层级拓扑关系；
判断存储池的故障域是否存在于存储池层级拓扑关系；
若不存在于存储池层级拓扑关系，则新建一个键值对，键为故障域的标识信息，值为空的字典，键值对为故障域层级拓扑关系；
判断从硬盘的硬盘信息表中获取硬盘所属的机柜是否存在于故障域层级拓扑关系；
若不存在于故障域层级拓扑关系，则新建一个键值对，键为机柜的标识信息，值为空的字典，键值对为机柜层级拓扑关系；
判断从硬盘的硬盘信息表中获取硬盘所属的主机是否存在于机柜层级拓扑关系；
若不存在于机柜层级拓扑关系，则新建一个键值对，键为主机的标识信息，值为空的字典，键值对为主机层级拓扑关系；
判断硬盘的标识信息是否存在于主机层级拓扑关系；
若不存在于主机层级拓扑关系，则新建一个键值对，键为主机的标识信息，值为空的字典，将硬盘的基本信息填充至字典。
根据拓扑关系将集群绘制成可视化展示模式，包括：
遍历集群拓扑关系字典，取出所有存储池层级拓扑关系，并绘制存储池；
遍历存储池层级拓扑关系，取出所有故障域层级拓扑关系，并绘制故障域及存储池与故障域之间的连线；
遍历故障域层级拓扑关系，取出所有机柜层级拓扑关系，并绘制机柜及故障域与机柜之间的连线；
遍历机柜层级拓扑关系，取出所有主机层级拓扑关系，并绘制主机及机柜与主机之间的连线；
遍历主机层级拓扑关系，取出所有硬盘，并绘制硬盘及主机与硬盘之间的连线。
本申请提供的管理设备的介绍请参照上述实施例，在此处不再赘述。
本申请还提供了一种分布式存储集群，包括上述的管理设备，还包括多个机柜、多个主机及多个硬盘。
本申请提供的管理设备的介绍请参照上述实施例，在此处不再赘述。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的分布式存储集群的管理方法的步骤。
接收分布式存储集群中的硬盘发送的基本信息，基本信息包括硬盘的标识信息及硬盘所属的主机的标识信息；
根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜；
构建拓扑关系，拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，集群拓扑关系包括分布式存储集群与存储池的对应关系，存储池层级拓扑关系包括存储池与故障域的对应关系，故障域层级拓扑关系包括故障域与机柜的对应关系，机柜层级拓扑关系包括机柜与主机的对应关系，主机层级拓扑关系包括主机与硬盘的对应关系；
根据拓扑关系将分布式存储集群绘制成可视化展示模式。
根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜之前，还包括：
确定存储池的列表信息，存储池的列表信息包括存储池的标识信息；
确定集群的故障域、机柜及节点的拓扑关系，并将拓扑关系生成字典；
根据字典确定存储池对应的故障域。
根据基本信息确定硬盘所属的存储池、所属的故障域及所属的机柜，包括：
确定存储池对应的故障域中的所有硬盘，将硬盘作为叶子节点，硬盘所属的存储池为存储池；
从叶子节点向上遍历父节点，确定硬盘所属的主机；
从父节点再向上遍历父节点，确定硬盘的机柜。
确定硬盘所属的存储池、所属的故障域及所属的机柜之后，还包括：
将硬盘所属的存储池、所属的故障域及所属的机柜及硬盘的基本信息添加至硬盘信息表中；
硬盘信息表以硬盘的存储池标识信息以及硬盘的标识信息作为联合主键。
构建拓扑关系，拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，包括：
判断从硬盘的硬盘信息表中获取硬盘所属的存储池是否存在于集群拓扑关系；
若不存在于集群拓扑关系，则新建一个键值对，键为存储池的标识信息，值为空的字典，键值对为存储池层级拓扑关系；
判断存储池的故障域是否存在于存储池层级拓扑关系；
若不存在于存储池层级拓扑关系，则新建一个键值对，键为故障域的标识信息，值为空的字典，键值对为故障域层级拓扑关系；
判断从硬盘的硬盘信息表中获取硬盘所属的机柜是否存在于故障域层级拓扑关系；
若不存在于故障域层级拓扑关系，则新建一个键值对，键为机柜的标识信息，值为空的字典，键值对为机柜层级拓扑关系；
判断从硬盘的硬盘信息表中获取硬盘所属的主机是否存在于机柜层级拓扑关系；
若不存在于机柜层级拓扑关系，则新建一个键值对，键为主机的标识信息，值为空的字典，键值对为主机层级拓扑关系；
判断硬盘的标识信息是否存在于主机层级拓扑关系；
若不存在于主机层级拓扑关系，则新建一个键值对，键为主机的标识信息，值为空的字典，将硬盘的基本信息填充至字典。
根据拓扑关系将集群绘制成可视化展示模式，包括：
遍历集群拓扑关系字典，取出所有存储池层级拓扑关系，并绘制存储池；
遍历存储池层级拓扑关系，取出所有故障域层级拓扑关系，并绘制故障域及存储池与故障域之间的连线；
遍历故障域层级拓扑关系，取出所有机柜层级拓扑关系，并绘制机柜及故障域与机柜之间的连线；
遍历机柜层级拓扑关系，取出所有主机层级拓扑关系，并绘制主机及机柜与主机之间的连线；
遍历主机层级拓扑关系，取出所有硬盘，并绘制硬盘及主机与硬盘之间的连线。
本申请提供的计算机可读存储介质的介绍请参照上述实施例，在此处不再赘述。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种分布式存储集群的管理方法，其特征在于，应用于管理设备的处理器，所述方法包括：
接收分布式存储集群中的硬盘发送的基本信息，所述基本信息包括所述硬盘的标识信息及所述硬盘所属的主机的标识信息；
根据所述基本信息确定所述硬盘所属的存储池、所属的故障域及所属的机柜；
构建拓扑关系，所述拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，所述集群拓扑关系包括所述分布式存储集群与存储池的对应关系，所述存储池层级拓扑关系包括所述存储池与故障域的对应关系，所述故障域层级拓扑关系包括所述故障域与机柜的对应关系，所述机柜层级拓扑关系包括所述机柜与主机的对应关系，所述主机层级拓扑关系包括所述主机与所述硬盘的对应关系；
根据所述拓扑关系将所述分布式存储集群绘制成可视化展示模式。
2.如权利要求1所述的分布式存储集群的管理方法，其特征在于，根据所述基本信息确定所述硬盘所属的存储池、所属的故障域及所属的机柜之前，还包括：
确定所述存储池的列表信息，所述存储池的列表信息包括存储池的标识信息；
确定所述集群的所述故障域、所述机柜及所述节点的拓扑关系，并将所述拓扑关系生成字典；
根据所述字典确定所述存储池对应的所述故障域。
3.如权利要求2所述的分布式存储集群的管理方法，其特征在于，根据所述基本信息确定所述硬盘所属的存储池、所属的故障域及所属的机柜，包括：
确定所述存储池对应的故障域中的所有硬盘，将所述硬盘作为叶子节点，所述硬盘所属的存储池为所述存储池；
从叶子节点向上遍历父节点，确定所述硬盘所属的主机；
从所述父节点再向上遍历父节点，确定所述硬盘所述的机柜。
4.如权利要求3所述的分布式存储集群的管理方法，其特征在于，确定所述硬盘所属的存储池、所属的故障域及所属的机柜之后，还包括：
将所述硬盘所属的存储池、所属的故障域及所属的机柜及所述硬盘的基本信息添加至硬盘信息表中；
所述硬盘信息表以所述硬盘所述的存储池标识信息以及所述硬盘的标识信息作为联合主键。
5.如权利要求1至4任一项所述的分布式存储集群的管理方法，其特征在于，构建拓扑关系，所述拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，包括：
判断从所述硬盘的硬盘信息表中获取所述硬盘所属的存储池是否存在于所述集群拓扑关系；
若不存在于所述集群拓扑关系，则新建一个键值对，所述键为所述存储池的标识信息，所述值为空的字典，所述键值对为所述存储池层级拓扑关系；
判断所述存储池所述的故障域是否存在于所述存储池层级拓扑关系；
若不存在于所述存储池层级拓扑关系，则新建一个键值对，所述键为所述故障域的标识信息，所述值为空的字典，所述键值对为所述故障域层级拓扑关系；
判断从所述硬盘的硬盘信息表中获取所述硬盘所属的机柜是否存在于所述故障域层级拓扑关系；
若不存在于所述故障域层级拓扑关系，则新建一个键值对，所述键为所述机柜的标识信息，所述值为空的字典，所述键值对为所述机柜层级拓扑关系；
判断从所述硬盘的硬盘信息表中获取所述硬盘所属的主机是否存在于所述机柜层级拓扑关系；
若不存在于所述机柜层级拓扑关系，则新建一个键值对，所述键为所述主机的标识信息，所述值为空的字典，所述键值对为所述主机层级拓扑关系；
判断所述硬盘的标识信息是否存在于所述主机层级拓扑关系；
若不存在于所述主机层级拓扑关系，则新建一个键值对，所述键为所述主机的标识信息，所述值为空的字典，将所述硬盘的基本信息填充至所述字典。
6.如权利要求5所述的分布式存储集群的管理方法，其特征在于，根据所述拓扑关系将所述集群绘制成可视化展示模式，包括：
遍历集群拓扑关系字典，取出所有所述存储池层级拓扑关系，并绘制存储池；
遍历所述存储池层级拓扑关系，取出所有所述故障域层级拓扑关系，并绘制故障域及存储池与故障域之间的连线；
遍历所述故障域层级拓扑关系，取出所有所述机柜层级拓扑关系，并绘制机柜及故障域与机柜之间的连线；
遍历所述机柜层级拓扑关系，取出所有所述主机层级拓扑关系，并绘制主机及机柜与主机之间的连线；
遍历所述主机层级拓扑关系，取出所有所述硬盘，并绘制硬盘及主机与硬盘之间的连线。
7.一种分布式存储集群的管理系统，其特征在于，包括：
接收单元，用于接收分布式存储集群中的硬盘发送的基本信息，所述基本信息包括所述硬盘的标识信息及所述硬盘所属的主机的标识信息；
确定单元，用于根据所述基本信息确定所述硬盘所属的存储池、所属的故障域及所属的机柜；
构建单元，用于构建拓扑关系，所述拓扑关系包括集群拓扑关系、存储池层级拓扑关系、故障域层级拓扑关系、机柜层级拓扑关系及主机层级拓扑关系，所述集群拓扑关系包括所述分布式存储集群与存储池的对应关系，所述存储池层级拓扑关系包括所述存储池与故障域的对应关系，所述故障域层级拓扑关系包括所述故障域与机柜的对应关系，所述机柜层级拓扑关系包括所述机柜与主机的对应关系，所述主机层级拓扑关系包括所述主机与所述硬盘的对应关系；
绘制单元，用于根据所述拓扑关系将所述分布式存储集群绘制成可视化展示模式。
8.一种管理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的分布式存储集群的管理方法的步骤。
9.一种分布式存储集群，其特征在于，包括如权利要求8所述的管理设备，还包括多个机柜、多个主机及多个硬盘。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的分布式存储集群的管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211003205.6A CN115357768A (zh) | 2022-08-19 | 2022-08-19 | 分布式存储集群的管理方法及相关组件 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211003205.6A CN115357768A (zh) | 2022-08-19 | 2022-08-19 | 分布式存储集群的管理方法及相关组件 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115357768A true CN115357768A (zh) | 2022-11-18 |
Family
ID=84001994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211003205.6A Pending CN115357768A (zh) | 2022-08-19 | 2022-08-19 | 分布式存储集群的管理方法及相关组件 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115357768A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115664971A (zh) * | 2022-12-13 | 2023-01-31 | 恒丰银行股份有限公司 | 一种基于分层故障域的云资源运维方法、设备及介质 |
-
2022
- 2022-08-19 CN CN202211003205.6A patent/CN115357768A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115664971A (zh) * | 2022-12-13 | 2023-01-31 | 恒丰银行股份有限公司 | 一种基于分层故障域的云资源运维方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105938448B (zh) | 用于数据复制的方法和装置 | |
| CN108363785A (zh) | 数据关系展示方法、装置、计算机设备及存储介质 | |
| EP3477914B1 (en) | Data recovery method and device, and cloud storage system | |
| US8285677B2 (en) | Method and apparatus for propagating tables while preserving cyclic foreign key relationships | |
| CN106021370A (zh) | 内存数据库实例的管理方法及装置 | |
| CN107426265A (zh) | 数据一致性同步的方法及设备 | |
| CN106325933A (zh) | 批量数据同步方法和装置 | |
| CN111708755A (zh) | 数据迁移方法、装置、系统、电子设备以及可读存储介质 | |
| JP2023501436A (ja) | ＩｏＴデバイス、並びにそのサーバーおよび記憶媒体を管理するための方法および装置 | |
| CN115357768A (zh) | 分布式存储集群的管理方法及相关组件 | |
| CN108446327A (zh) | 业务系统动态生成方法、装置、计算机设备及存储介质 | |
| CN107211003A (zh) | 分布式存储系统及管理元数据的方法 | |
| CN106802892A (zh) | 用于主备数据一致性校验的方法和设备 | |
| CN106878388A (zh) | 对分布式存储系统中慢节点的检测 | |
| CN108540408A (zh) | 一种基于Openstack的分布式虚拟交换机的管理方法及系统 | |
| CN108156061B (zh) | esb监控服务平台 | |
| CN110740609A (zh) | 用于互联网数据中心的服务器信息处理方法、装置及控制器 | |
| US11429311B1 (en) | Method and system for managing requests in a distributed system | |
| CN110058963A (zh) | 用于管理存储系统的方法、设备和计算机程序产品 | |
| CN110555600B (zh) | 防止模块化bom中禁用部件被误用的方法、装置、设备及存储介质 | |
| CN108173711B (zh) | 企业内部系统数据交换监控方法 | |
| CN107547622B (zh) | 一种资源调整方法及装置 | |
| CN113254271B (zh) | 一种数据序列恢复方法、装置、设备及存储介质 | |
| JP2000020428A (ja) | ネットワーク管理システム | |
| CN109492051B (zh) | 一种管网数据同步方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |