CN115309334A - 磁盘管理方法、装置、设备及存储介质 - Google Patents

磁盘管理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115309334A
CN115309334A CN202210933253.9A CN202210933253A CN115309334A CN 115309334 A CN115309334 A CN 115309334A CN 202210933253 A CN202210933253 A CN 202210933253A CN 115309334 A CN115309334 A CN 115309334A
Authority
CN
China
Prior art keywords
disk
identifier
managed
cluster
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210933253.9A
Other languages
English (en)
Inventor
叶萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202210933253.9A priority Critical patent/CN115309334A/zh
Publication of CN115309334A publication Critical patent/CN115309334A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种磁盘管理方法、装置、设备及存储介质,该方法通过获取待管理磁盘的磁盘身份信息,若集群标识为合法集群标识,节点标识为合法节点标识,将磁盘标识与预设磁盘标识哈希表进行第一次比对,若预设磁盘标识哈希表中存在与磁盘标识对应的磁盘索引,将待管理磁盘的磁盘管理信息确定为与磁盘索引关联的磁盘全局管理信息,以对待管理磁盘进行管理,磁盘只需要存入集群标识、节点标识和磁盘标识三个信息,提高了磁盘容量利用率,通过磁盘标识和磁盘全局资源管理表中的磁盘索引进行哈希映射,后续可以通过磁盘标识进行哈希查找到对应的磁盘索引,继而获取到磁盘的所有资源信息,从而实现对磁盘进行资源管理的目的。

Description

磁盘管理方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域,特别是涉及一种磁盘管理方法、装置、设备及存储介质。
背景技术
在大规模分布式集群系统中,通常磁盘的数量可以达到上百块,这些磁盘根据不同的分布式存储系统的策略(纠删)来创建存储池,也不可避免的需要对原有磁盘进行任意位置的插拔以及加入新的磁盘操作,对于分布式系统元数据分布在每个磁盘上这种管理方式需要对每块磁盘进行元数据的预置加载,这就需要如何正确的识别是原有磁盘还是新加入的磁盘,并能统一管理磁盘。
相关技术中是通过raid(Redundant Arrays of Independent Disks,磁盘阵列)识别是否有自身携带的元数据来管理磁盘,无法直接对磁盘进行操作;或者通过磁盘数量和磁盘ID生成对应的配置文件,并根据配置文件来进行磁盘管理操作,但这样的方案配置文件容易丢失以及篡改,导致信息不准确,以上方案均不能解决磁盘的后续管理问题,不能实现既识别磁盘又能够对磁盘的资源进行管理。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种磁盘管理方法、装置、设备及存储介质,用于解决对于相关技术中二维画面进行磁盘管理存在误检、漏检问题,传统的三维重建又依赖于对点云数据集的处理,需要计算资源多、处理速度慢、处理效率低且不适用于磁盘管理的技术问题。
针对于上述问题,本发明提供了一种磁盘管理方法,所述方法包括:
获取待管理磁盘的磁盘身份信息,所述磁盘身份信息包括集群标识、节点标识和磁盘标识;
若所述集群标识为合法集群标识,所述节点标识为合法节点标识,将所述磁盘标识与预设磁盘标识哈希表进行第一次比对;
若所述预设磁盘标识哈希表中存在与所述磁盘标识对应的磁盘索引,将所述待管理磁盘的磁盘管理信息确定为与所述磁盘索引关联的磁盘全局管理信息,以对所述待管理磁盘进行管理,所述磁盘管理信息包括磁盘基本信息、磁盘全局元数据信息、磁盘状态中至少之一。
于本发明一实施例中,将所述磁盘标识与预设磁盘标识哈希表进行第一次比对之后,若所述预设磁盘标识哈希表中存在与所述磁盘标识对应的磁盘索引,将所述待管理磁盘的磁盘管理信息确定为与所述磁盘索引关联的磁盘全局管理信息,以对所述待管理磁盘进行管理之前,所述方法还包括:
若所述预设磁盘标识哈希表中不存在与所述磁盘标识对应的磁盘索引,为所述待管理磁盘分配有效的磁盘索引;
将所述磁盘索引与所述磁盘标识的对应关系添加到所述预设磁盘标识哈希表;
将所述磁盘标识与添加后的预设磁盘标识哈希表进行第二次比对。
于本发明一实施例中,为所述待管理磁盘分配有效的磁盘索引包括:
获取所述待管理磁盘的磁盘槽位信息、磁盘序列信息、磁盘盘符信息;
基于所述磁盘槽位信息、所述磁盘序列信息和所述磁盘盘符信息确定有效的所述磁盘索引。
于本发明一实施例中,获取待管理磁盘的磁盘身份信息之前,所述方法还包括:
若所述待管理磁盘加入目标磁盘系统,通过预设私有文件系统对所述待管理磁盘进行资源加载;
若加载成功,获取所述待管理磁盘的磁盘身份信息;
若加载失败,提示所述待管理磁盘故障。
于本发明一实施例中,获取待管理磁盘的磁盘身份信息之后,若所述集群标识为合法集群标识,所述节点标识为合法节点标识,将所述磁盘标识与预设磁盘标识哈希表进行第一次比对之前,所述方法还包括:
将所述集群标识与预设集群标识集合中的多个预设集群标识进行集群比对;
若所述集群标识比对成功,将所述节点标识与预设节点标识集合中的多个预设节点标识进行节点比对;
若所述节点标识比对成功,则确定所述集群标识为合法集群标识,以及确定所述节点标识为合法节点标识。
于本发明一实施例中,若所述集群标识为空,或所述集群标识比对失败,对所述待管理磁盘进行私有文件系统格式化处理,得到配置集群标识、配置节点标识和配置磁盘标识;
将配置集群标识、配置节点标识和配置磁盘标识存入所述待管理磁盘;
为所述待管理磁盘分配有效的磁盘索引;
将所述磁盘索引与所述磁盘标识的对应关系添加到所述预设磁盘标识哈希表;
将所述待管理磁盘的磁盘管理信息确定为与所述磁盘索引关联的磁盘全局管理信息,以对所述待管理磁盘进行管理。
于本发明一实施例中,若所述节点标识比对失败,提示所述待管理磁盘非本节点磁盘。
于本发明一实施例中,将所述待管理磁盘的磁盘管理信息确定为与所述磁盘索引关联的磁盘全局管理信息包括:
将所述磁盘基本信息和磁盘状态中至少之一更新所述磁盘索引下的磁盘全局管理模块信息,所述磁盘基本信息包括磁盘盘符、磁盘标识、磁盘资源标识、磁盘索引、槽位号、序列号、磁盘物理类型中至少之一;
以所述磁盘全局元数据信息更新磁盘元数据哈希表,所述磁盘元数据哈希表以所述磁盘索引为标识。
本发明实施例还提供了一种磁盘管理装置,所述装置包括:
获取模块,用于获取待管理磁盘的磁盘身份信息,所述磁盘身份信息包括集群标识、节点标识和磁盘标识;
比对模块,用于若所述集群标识为合法集群标识,所述节点标识为合法节点标识,将所述磁盘标识与预设磁盘标识哈希表进行第一次比对;
信息更新模块,用于若所述预设磁盘标识哈希表中存在与所述磁盘标识对应的磁盘索引,将所述待管理磁盘的磁盘管理信息确定为与所述磁盘索引关联的磁盘全局管理信息,以对所述待管理磁盘进行管理,所述磁盘管理信息包括磁盘基本信息、磁盘全局元数据信息、磁盘状态中至少之一。
本发明实施例还提供了一种电子设备,包括处理器、存储器和通信总线;
所述通信总线用于将所述处理器和存储器连接;
所述处理器用于执行所述存储器中存储的计算机程序,以实现如上述实施例中任一项所述的方法。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序用于使所述计算机执行如上述实施例中任一项所述的方法。
如上所述,本发明提供的一种磁盘管理方法、装置、设备及存储介质,具有以下有益效果:
该方法通过获取待管理磁盘的磁盘身份信息,若集群标识为合法集群标识,节点标识为合法节点标识,将磁盘标识与预设磁盘标识哈希表进行第一次比对,若预设磁盘标识哈希表中存在与磁盘标识对应的磁盘索引,将待管理磁盘的磁盘管理信息确定为与磁盘索引关联的磁盘全局管理信息,以对待管理磁盘进行管理,磁盘只需要存入集群标识、节点标识和磁盘标识三个信息,提高了磁盘容量利用率,通过磁盘标识和磁盘全局资源管理表中的磁盘索引进行哈希映射,后续可以通过磁盘标识进行哈希查找到对应的磁盘索引,继而获取到磁盘的所有资源信息,从而实现对磁盘进行资源管理的目的。
附图说明
图1是本申请的一示例性实施例示出的磁盘管理方法的流程图;
图2是本申请的一示例性实施例示出的一种具体的磁盘管理方法的流程图。
图3是本申请的另一示例性实施例示出的一种具体的磁盘管理方法的流程图;
图4是本申请的一示例性实施例示出的另一种具体的磁盘管理方法的流程图;
图5是本申请的一示例性实施例示出的磁盘管理装置的框图;
图6为一实施例提供的电子设备的一种结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
请参阅图1,图1是本申请的一示例性实施例示出的磁盘管理方法的流程图。如图1所示,在一示例性的实施例中,磁盘管理方法至少包括步骤S101至步骤S103,详细介绍如下:
步骤S101,获取待管理磁盘的磁盘身份信息。
待管理磁盘可以是磁盘系统中新上线的磁盘,该磁盘可以是该磁盘系统中原有的磁盘下线后重新上线,也可以是新的磁盘上线到磁盘系统中。
其中,磁盘身份信息包括但不限于集群标识、节点标识和磁盘标识。集群标识是本集群中唯一标识符,用以区分是本集群磁盘还是其它集群磁盘;节点标识是节点唯一标识符,用于区分同一集群内不同节点;磁盘标识是自管理的用于表示本设备节点内磁盘的唯一标识符,用于区分本节点内其他磁盘,而且通过磁盘ID哈希查找到磁盘索引,继而获取到磁盘全局元数据,方便管理磁盘上的所有数据。待管理磁盘中可以预先写有至少一部分磁盘标识信息,也可以没有存储有磁盘标识信息。当待管理磁盘中没有存储有集群标识、节点标识和磁盘标识中至少之一,说明该待管理磁盘是新上线的磁盘,此时,集群标识、节点标识和磁盘标识中至少之一为空。换句话说,若没有获取到磁盘标识,则此时将磁盘标识记录为空。其他两个标识的处理方式类似,在此不做赘述。
在一实施例中,获取待管理磁盘的磁盘身份信息之前,该方法还包括:
若待管理磁盘加入目标磁盘系统,通过预设私有文件系统对待管理磁盘进行资源加载;
若加载成功,获取待管理磁盘的磁盘身份信息;
若加载失败,提示待管理磁盘故障。
其中,预设私有文件系统可以是本领域技术人员所知晓的私有文件系统,通过预设私有文件系统对待管理磁盘进行加载,若能够加载成功,则说明该待管理磁盘是正常磁盘,可以使用,若果加载失败,则说明该待管理磁盘异常,就可以将该待管理磁盘进行上报,提示该待管理磁盘故障。比如,将该待管理磁盘的相关信息如磁盘位置等上报给运维界面,相关工作人员通过查看运维界面能够知晓哪些磁盘发生了故障。
通过对新插入目标磁盘系统的待管理磁盘进行预加载,能够预先区分磁盘的状态是否正常,预先进行了磁盘筛选,节约磁盘判断时间,也节约了资源。避免在后续数据写入时才发现磁盘异常导致上线失败,浪费时间资源。
步骤S102,若集群标识为合法集群标识,节点标识为合法节点标识,将磁盘标识与预设磁盘标识哈希表进行第一次比对。
在一实施例中,获取待管理磁盘的磁盘身份信息之后,若集群标识为合法集群标识,节点标识为合法节点标识,将磁盘标识与预设磁盘标识哈希表进行第一次比对之前,该方法还包括:
将集群标识与预设集群标识集合中的多个预设集群标识进行集群比对;
若集群标识比对成功,将节点标识与预设节点标识集合中的多个预设节点标识进行节点比对;
若节点标识比对成功,则确定集群标识为合法集群标识,以及确定节点标识为合法节点标识。
在上述实施例中,若集群标识为空(也即没有加载得到集群标识),或集群标识比对失败(也即集群标识与预设集群标识均不匹配),对待管理磁盘进行私有文件系统格式化处理,得到配置集群标识、配置节点标识和配置磁盘标识;
将配置集群标识、配置节点标识和配置磁盘标识存入待管理磁盘,将配置集群标识作为该待管理磁盘的集群标识、将配置节点标识作为该待管理磁盘的节点标识,将配置磁盘标识作为该待管理磁盘的磁盘标识;
为待管理磁盘分配有效的磁盘索引;
将磁盘索引与磁盘标识的对应关系添加到预设磁盘标识哈希表;
将待管理磁盘的磁盘管理信息确定为与磁盘索引关联的磁盘全局管理信息,以对待管理磁盘进行管理。
在上述实施例中,若节点标识比对失败,提示待管理磁盘非本节点磁盘。
也即,在对待管理磁盘进行身份确认的过程中,先对集群标识进行比对,若集群标识比对通过,说明该磁盘可能是该目标磁盘系统中的下线磁盘,若集群标识比对未通过,未能从待管理磁盘中读取有效的集群标识或者获取到的集群标识与配置文件中的预设集群标识不一致,此时,说明该待管理磁盘不属于目标磁盘系统,则直接对该磁盘进行私有文件系统格式化处理,为其配置新的配置集群标识、配置节点标识和配置磁盘标识存入待管理磁盘,将配置集群标识作为该待管理磁盘的集群标识、将配置节点标识作为该待管理磁盘的节点标识,将配置磁盘标识作为该待管理磁盘的磁盘标识。
当待管理磁盘的集群标识比对成功后,对待管理磁盘的节点标识进行比对,当节点标识比对成功,也即配置文件中的预设节点标识中存在与节点标识一致的对象,则说明该待管理磁盘属于其所上线的节点,否则,则说明待管理磁盘不属于其所上线的节点,磁盘上线失败,此时可以触发告警,并提示该待管理磁盘并非本节点的磁盘。
当待管理磁盘的集群标识和节点标识均比对成功,此时,可以根据该待管理磁盘的磁盘标识与预设磁盘标识哈希表进行第一次比对,预设磁盘标识哈希表中存储有多组预设的磁盘标识与磁盘索引之间的映射关系。若通过磁盘标识与预设磁盘标识哈希表进行第一次比对能够得到该待管理磁盘对应的磁盘索引,则执行步骤S103。
步骤S103,若预设磁盘标识哈希表中存在与磁盘标识对应的磁盘索引,将待管理磁盘的磁盘管理信息确定为与磁盘索引关联的磁盘全局管理信息,以对待管理磁盘进行管理。
其中,磁盘管理信息包括磁盘基本信息、磁盘全局元数据信息、磁盘状态中至少之一。磁盘基本信息包括但不限于磁盘盘符、磁盘标识、磁盘资源标识、磁盘索引、磁盘槽位、磁盘序列、磁盘物理类型等中至少之一。磁盘状态包括但不限于下线、上线、故障等。
在一实施例中,将磁盘标识与预设磁盘标识哈希表进行第一次比对之后,若预设磁盘标识哈希表中存在与磁盘标识对应的磁盘索引,将待管理磁盘的磁盘管理信息确定为与磁盘索引关联的磁盘全局管理信息,以对待管理磁盘进行管理之前,该方法还包括:
若预设磁盘标识哈希表中不存在与磁盘标识对应的磁盘索引,为待管理磁盘分配有效的磁盘索引;
将磁盘索引与磁盘标识的对应关系添加到预设磁盘标识哈希表;
将磁盘标识与添加后的预设磁盘标识哈希表进行第二次比对。
通过对没有查找到磁盘索引的待管理磁盘进行磁盘索引分配,并将分配后的磁盘索引与磁盘标识的对应关系添加到预设磁盘标识哈希表,有助于后续在需要对磁盘进行管理过程中,及时找到该待管理磁盘。例如,在需要进行磁盘管理时,只要知晓磁盘标识,就可以通过预设磁盘标识哈希表查找到对应的磁盘索引,进而可以获取到该待管理磁盘的磁盘基本信息如盘符、槽位号、序列号、磁盘物理类型等,还可以找到磁盘资源标识,进而知晓磁盘中存储了哪些资源,获取磁盘全局元数据信息,以及获取磁盘状态。通过上述信息可以实现对该待管理磁盘的相关操作管理。
其中,为待管理磁盘分配有效的磁盘索引包括:
获取待管理磁盘的磁盘槽位信息、磁盘序列信息、磁盘盘符信息;
基于磁盘槽位信息、磁盘序列信息和磁盘盘符信息确定有效的磁盘索引。
在一实施例中,将待管理磁盘的磁盘管理信息确定为与磁盘索引关联的磁盘全局管理信息包括:
将磁盘基本信息和磁盘状态中至少之一更新磁盘索引下的磁盘全局管理模块信息,磁盘基本信息包括磁盘盘符、磁盘标识、磁盘资源标识、磁盘索引、磁盘槽位的槽位号、磁盘序列的序列号、磁盘物理类型中至少之一;
以磁盘全局元数据信息更新磁盘元数据哈希表,磁盘元数据哈希表以磁盘索引为标识。
上述实施例提供的磁盘管理方法,通过获取待管理磁盘的磁盘身份信息,若集群标识为合法集群标识,节点标识为合法节点标识,将磁盘标识与预设磁盘标识哈希表进行第一次比对,若预设磁盘标识哈希表中存在与磁盘标识对应的磁盘索引,将待管理磁盘的磁盘管理信息确定为与磁盘索引关联的磁盘全局管理信息,以对待管理磁盘进行管理,磁盘只需要存入集群标识、节点标识和磁盘标识三个信息,提高了磁盘容量利用率,通过磁盘标识和磁盘全局资源管理表中的磁盘索引进行哈希映射,后续可以通过磁盘标识进行哈希查找到对应的磁盘索引,继而获取到磁盘的所有资源信息,从而实现对磁盘进行资源管理的目的。例如,可以根据集群标识、节点标识和磁盘标识来管理磁盘上下线,识别磁盘,各个业务模块也可以通过磁盘标识访问该磁盘相关资源,进而对磁盘进行资源管理。
相关技术中是将磁盘标识信息、与磁盘标识信息对应的集群标识信息、节点标识信息和挂载位置信息预先存储到磁盘中,通过不同信息逐层对比来识别到磁盘的目的,继而达到实现磁盘发生位置变换、或者乱序安装时也可使分布式存储系统正确识别该磁盘的目的,该方案的缺点:1、需要在磁盘中存入四种信息,磁盘容量利用率低;2、后续无法对磁盘上的数据进行统一管理。
为解决上述问题,本申请实施例提供一种能够应用于分布式存储系统的磁盘管理方法,以实现在分布式存储系统中磁盘位置任意交换以及加入新的磁盘,使分布式存储系统正确识别磁盘是原有下线磁盘还是新加入的磁盘,并在内存中对所有磁盘进行统一管理,使其能够快速准确的完成对应磁盘上的数据操作。
本申请实施例提供的方法不仅能够正确的识别磁盘而且能够快速准确的对磁盘进行管理,通过将集群标识(集群ID)、节点标识(节点ID)和磁盘标识(磁盘ID)存入到磁盘中,集群标识是本集群中唯一标识符,用以区分是本集群磁盘还是其它集群磁盘,节点标识是节点唯一标识符,用于区分同一集群内不同节点,磁盘标识是自管理的用于表示本设备节点内磁盘的唯一标识符,用于区分本节点内其他磁盘,而且通过磁盘ID哈希查找到磁盘索引,继而获取到磁盘全局元数据,方便管理磁盘上的所有数据。
下面通过一个具体的实施例对上述实施例提供的磁盘管理方法进行进一步示例性的说明,请参阅图2,图2是本申请的一示例性实施例示出的一种具体的磁盘管理方法的流程图。如图2所示,在一示例性的实施例中,该具体的磁盘管理方法详细介绍如下:
磁盘(待管理磁盘)上线之后,先是通过私有文件系统对磁盘进行加载;若加载成功,则读取文件系统中的集群ID、节点ID和磁盘ID。将集群ID与节点配置文件中的集群ID相比较,不一致(否)的话则认为是非此集群磁盘,则自动对其进行私有文件系统格式化处理,并重新将集群ID、节点ID和磁盘ID存入到磁盘中。也即,重新通过私有文件系统格式该磁盘并存入有效的集群ID、节点ID和磁盘ID。如果集群ID与节点配置文件中的集群ID一致,则继续将磁盘中的节点ID和配置文件中的节点ID进行比较,如果不一致则认为该磁盘是本集群内磁盘但不属于本节点的磁盘,磁盘上线失败并触发告警提示该磁盘不属于此节点(也即提示该磁盘非本节点磁盘)。如果节点ID与节点配置文件中的节点ID一致,则获取磁盘中的磁盘ID,并通过磁盘ID哈希查找磁盘索引,如果获取到磁盘索引,则认为此磁盘是原节点下线后重新上线的磁盘,只需要将磁盘中的元数据更新到内存即可,如果获取不到有效磁盘索引则需要从全局磁盘管理模块中获取到可用的索引,并将此磁盘ID和索引关系映射到磁盘哈希表中。获取到磁盘有效索引之后,将扫描磁盘上的元数据全部加载到对应磁盘索引上的哈希表中,也即更新磁盘ID和磁盘相关信息的哈希映射。这样后续可以直接通过磁盘ID找到对应的磁盘索引、磁盘盘符以及资源ID等磁盘信息,并通过磁盘信息对磁盘进行相关的操作。也即可以实现通过磁盘ID管理磁盘信息以及其他磁盘相关资源。
下面通过另一个具体的实施例对上述实施例提供的磁盘管理方法进行进一步示例性的说明,请参阅图3,图3是本申请的另一示例性实施例示出的一种具体的磁盘管理方法的流程图。如图3所示,在另一示例性的实施例中,该具体的磁盘管理方法详细介绍如下:
步骤S301,磁盘上线。
步骤S302,私有文件系统加载。
当磁盘插入系统之后,先通过私有文件系统对磁盘进行资源加载,如果加载失败则认为该磁盘异常,执行步骤S309,就将此磁盘上报给运维界面,显示该磁盘故障。
步骤S303,获取磁盘中的集群ID、磁盘ID以及节点ID。
加载成功后,读取磁盘中集群ID、节点ID和磁盘ID。
步骤S304,通过集群ID判断是否属于本集群。
如果磁盘未能获取有效的集群ID或获取的集群ID和配置文件中的不一致,则认为该磁盘不属于本集群,执行步骤310,对磁盘进行私有文件系统格式化处理,将节点配置文件中的集群ID、节点ID和磁盘ID存入到磁盘中,进入步骤S311:
步骤S305,通过节点ID来判断是否属于本节点。
当磁盘中获取的集群ID和节点配置文件中保持一致,再去判断节点ID和配置文件中是否一致,不一致则认为该磁盘不属于本节点,执行步骤S313,磁盘上线失败,触发告警提示此磁盘非本节点磁盘。
步骤S306,通过磁盘ID进行哈希查找是否可以查找到磁盘索引。
当集群ID和节点ID与节点配置文件中都保持一致,则对磁盘ID进行磁盘哈希表查找,如果能查找到有效的磁盘索引数据,表明是原离线磁盘重新上线,则返回磁盘ID对应的磁盘索引,进入步骤S307;
若磁盘未获取到有效的磁盘索引,则执行步骤S311,通过磁盘全局管理模块为其分配一个有效的磁盘索引,索引分配通过磁盘槽位号、磁盘序列号以及磁盘盘符等信息组合获取,获取到有效的磁盘索引之后,执行步骤S312,,将磁盘ID和磁盘索引哈希映射后添加到磁盘哈希表中。则继续执行步骤S307。
步骤S307,将磁盘相关信息(磁盘ID、盘符、资源ID及状态等)存入到该磁盘索引下的磁盘全局管理模块。
将获取到的磁盘基本信息,包括磁盘盘符、磁盘ID、磁盘资源ID、磁盘索引等参数更新磁盘索引下的磁盘全局管理模块信息。
步骤S308,将该磁盘下的元数据信息加载到以磁盘索引为下标的磁盘元数据哈希表中。
读取磁盘中的元数据信息并更新到以磁盘索引为下标的磁盘元数据哈希表中。
后续磁盘为了能快速找到对应数据所有的磁盘以及对具体磁盘进行数据读写,主要就是通过对磁盘ID进行哈希查找。请参阅图4,图4是本申请的一示例性实施例示出的另一种的磁盘管理方法的示意图。如图4所示,在一示例性的实施例中,通过磁盘ID、磁盘哈希表(预设磁盘标识哈希表)哈希查找到磁盘索引,继而获取到磁盘资源ID、磁盘全局元数据信息、磁盘状态(下线、上线、故障)以及磁盘固有信息(磁盘基本信息)如磁盘盘符、磁盘槽位号、序列号、磁盘物理类型等,获取到具体的磁盘信息之后就可以实现对磁盘进行相关的操作。
通过上述实施例提供的方法能够实现根据磁盘中的集群ID、节点ID和磁盘ID用于管理磁盘上下线,可以正确的识别磁盘,各业务模块通过磁盘ID访问该磁盘相关资源,继而对磁盘进行资源管理。磁盘只需要存入集群ID、节点ID和磁盘ID三个信息,相比原有技术提高了磁盘容量利用率通过磁盘ID和磁盘全局资源管理表中的磁盘索引进行哈希映射,后续可以通过磁盘ID进行哈希查找到对应的磁盘索引,继而获取到磁盘的所有资源信息,从而实现对磁盘进行资源管理的目的。
请参阅图5,图5是本申请的一示例性实施例示出的磁盘管理装置的框图,如图5所示,本实施例提供了一种磁盘管理装置500,该装置包括:
获取模块501,用于获取待管理磁盘的磁盘身份信息,磁盘身份信息包括集群标识、节点标识和磁盘标识;
比对模块502,用于若集群标识为合法集群标识,节点标识为合法节点标识,将磁盘标识与预设磁盘标识哈希表进行第一次比对;
信息更新模块503,用于若预设磁盘标识哈希表中存在与磁盘标识对应的磁盘索引,将待管理磁盘的磁盘管理信息确定为与磁盘索引关联的磁盘全局管理信息,以对待管理磁盘进行管理,磁盘管理信息包括磁盘基本信息、磁盘全局元数据信息、磁盘状态中至少之一。
在一实施例中,该装置还包括:
索引分配模块,用于若预设磁盘标识哈希表中不存在与磁盘标识对应的磁盘索引,为待管理磁盘分配有效的磁盘索引;
哈希表更新模块,用于将磁盘索引与磁盘标识的对应关系添加到预设磁盘标识哈希表;
在此比对模块,用于将磁盘标识与添加后的预设磁盘标识哈希表进行第二次比对。若第二次比对得到了预设磁盘标识哈希表中存在与磁盘标识对应的磁盘索引,将待管理磁盘的磁盘管理信息确定为与磁盘索引关联的磁盘全局管理信息,以对待管理磁盘进行管理。
在一实施例中,索引分配模块包括:
索引信息获取模块,用于获取待管理磁盘的磁盘槽位信息、磁盘序列信息、磁盘盘符信息;
有效索引确定模块,用于基于磁盘槽位信息、磁盘序列信息和磁盘盘符信息确定有效的磁盘索引。
在一实施例中,该装置还包括:
加载模块,用于获取待管理磁盘的磁盘身份信息之前,若待管理磁盘加入目标磁盘系统,通过预设私有文件系统对待管理磁盘进行资源加载;
身份信息获取模块,用于若加载成功,获取待管理磁盘的磁盘身份信息;
故障提示模块,用于若加载失败,提示待管理磁盘故障。
在一实施例中,该装置还包括:
集群标识比对模块,用于将集群标识与预设集群标识集合中的多个预设集群标识进行集群比对;
节点标识比对模块,用于若集群标识比对成功,将节点标识与预设节点标识集合中的多个预设节点标识进行节点比对;
合法性确定模块,用于若节点标识比对成功,则确定集群标识为合法集群标识,以及确定节点标识为合法节点标识。
在一实施例中,该装置还包括:
格式化模块,用于若集群标识为空,或集群标识比对失败,对待管理磁盘进行私有文件系统格式化处理,得到配置集群标识、配置节点标识和配置磁盘标识;
存储模块,用于将配置集群标识、配置节点标识和配置磁盘标识存入待管理磁盘;
分配模块,用于为待管理磁盘分配有效的磁盘索引;
哈希表更新模块(与上述实施例中的哈希表更新模块作用相同),用于将磁盘索引与磁盘标识的对应关系添加到预设磁盘标识哈希表;
管理模块,用于将待管理磁盘的磁盘管理信息确定为与磁盘索引关联的磁盘全局管理信息,以对待管理磁盘进行管理。
在一实施例中,该装置还包括:
节点异常提示模块,用于若节点标识比对失败,提示待管理磁盘非本节点磁盘。
在一实施例中,管理模块包括:
第一更新模块,用于将磁盘基本信息和磁盘状态中至少之一更新磁盘索引下的磁盘全局管理模块信息,磁盘基本信息包括磁盘盘符、磁盘标识、磁盘资源标识、磁盘索引、磁盘槽位、磁盘序列、磁盘物理类型中至少之一;
第二更新模块,用于以磁盘全局元数据信息更新磁盘元数据哈希表,磁盘元数据哈希表以磁盘索引为标识。
在本实施例中,该装置实质上是设置了多个模块用以执行上述任一实施例中的方法,具体功能和技术效果参照上述实施例即可,此处不再赘述。
参见图6,本发明实施例还提供了一种电子设备600,包括处理器601、存储器602和通信总线603;
通信总线603用于将处理器601和存储器连接602;
处理器601用于执行存储器602中存储的计算机程序,以实现如上述实施例中的一个或多个所述的方法。
本发明实施例还提供了一种计算机可读存储介质,其特征在于,其上存储有计算机程序,
计算机程序用于使计算机执行如上述实施例一中的任一项所述的方法。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例的实施例一所包含步骤的指令(instructions)。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (11)

1.一种磁盘管理方法,其特征在于,所述方法包括:
获取待管理磁盘的磁盘身份信息,所述磁盘身份信息包括集群标识、节点标识和磁盘标识;
若所述集群标识为合法集群标识,所述节点标识为合法节点标识,将所述磁盘标识与预设磁盘标识哈希表进行第一次比对;
若所述预设磁盘标识哈希表中存在与所述磁盘标识对应的磁盘索引,将所述待管理磁盘的磁盘管理信息确定为与所述磁盘索引关联的磁盘全局管理信息,以对所述待管理磁盘进行管理,所述磁盘管理信息包括磁盘基本信息、磁盘全局元数据信息、磁盘状态中至少之一。
2.如权利要求1所述的磁盘管理方法,其特征在于,将所述磁盘标识与预设磁盘标识哈希表进行第一次比对之后,若所述预设磁盘标识哈希表中存在与所述磁盘标识对应的磁盘索引,将所述待管理磁盘的磁盘管理信息确定为与所述磁盘索引关联的磁盘全局管理信息,以对所述待管理磁盘进行管理之前,所述方法还包括:
若所述预设磁盘标识哈希表中不存在与所述磁盘标识对应的磁盘索引,为所述待管理磁盘分配有效的磁盘索引;
将所述磁盘索引与所述磁盘标识的对应关系添加到所述预设磁盘标识哈希表;
将所述磁盘标识与添加后的预设磁盘标识哈希表进行第二次比对。
3.如权利要求2所述的磁盘管理方法,其特征在于,为所述待管理磁盘分配有效的磁盘索引包括:
获取所述待管理磁盘的磁盘槽位信息、磁盘序列信息、磁盘盘符信息;
基于所述磁盘槽位信息、所述磁盘序列信息和所述磁盘盘符信息确定有效的所述磁盘索引。
4.如权利要求1所述的磁盘管理方法,其特征在于,获取待管理磁盘的磁盘身份信息之前,所述方法还包括:
若所述待管理磁盘加入目标磁盘系统,通过预设私有文件系统对所述待管理磁盘进行资源加载;
若加载成功,获取所述待管理磁盘的磁盘身份信息;
若加载失败,提示所述待管理磁盘故障。
5.如权利要求4所述的磁盘管理方法,其特征在于,获取待管理磁盘的磁盘身份信息之后,若所述集群标识为合法集群标识,所述节点标识为合法节点标识,将所述磁盘标识与预设磁盘标识哈希表进行第一次比对之前,所述方法还包括:
将所述集群标识与预设集群标识集合中的多个预设集群标识进行集群比对;
若所述集群标识比对成功,将所述节点标识与预设节点标识集合中的多个预设节点标识进行节点比对;
若所述节点标识比对成功,则确定所述集群标识为合法集群标识,以及确定所述节点标识为合法节点标识。
6.如权利要求5所述的磁盘管理方法,其特征在于,
若所述集群标识为空,或所述集群标识比对失败,对所述待管理磁盘进行私有文件系统格式化处理,得到配置集群标识、配置节点标识和配置磁盘标识;
将配置集群标识、配置节点标识和配置磁盘标识存入所述待管理磁盘;
为所述待管理磁盘分配有效的磁盘索引;
将所述磁盘索引与所述磁盘标识的对应关系添加到所述预设磁盘标识哈希表;
将所述待管理磁盘的磁盘管理信息确定为与所述磁盘索引关联的磁盘全局管理信息,以对所述待管理磁盘进行管理。
7.如权利要求5所述的磁盘管理方法,其特征在于,若所述节点标识比对失败,提示所述待管理磁盘非本节点磁盘。
8.如权利要求1-7任一项所述的磁盘管理方法,其特征在于,将所述待管理磁盘的磁盘管理信息确定为与所述磁盘索引关联的磁盘全局管理信息包括:
将所述磁盘基本信息和磁盘状态中至少之一更新所述磁盘索引下的磁盘全局管理模块信息,所述磁盘基本信息包括磁盘盘符、磁盘标识、磁盘资源标识、磁盘索引、槽位号、序列号、磁盘物理类型中至少之一;
以所述磁盘全局元数据信息更新磁盘元数据哈希表,所述磁盘元数据哈希表以所述磁盘索引为标识。
9.一种磁盘管理装置,其特征在于,所述装置包括:
获取模块,用于获取待管理磁盘的磁盘身份信息,所述磁盘身份信息包括集群标识、节点标识和磁盘标识;
比对模块,用于若所述集群标识为合法集群标识,所述节点标识为合法节点标识,将所述磁盘标识与预设磁盘标识哈希表进行第一次比对;
信息更新模块,用于若所述预设磁盘标识哈希表中存在与所述磁盘标识对应的磁盘索引,将所述待管理磁盘的磁盘管理信息确定为与所述磁盘索引关联的磁盘全局管理信息,以对所述待管理磁盘进行管理,所述磁盘管理信息包括磁盘基本信息、磁盘全局元数据信息、磁盘状态中至少之一。
10.一种电子设备,其特征在于,包括处理器、存储器和通信总线;
所述通信总线用于将所述处理器和存储器连接;
所述处理器用于执行所述存储器中存储的计算机程序,以实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,
所述计算机程序用于使所述计算机执行如权利要求1-8中任一项所述的方法。
CN202210933253.9A 2022-08-04 2022-08-04 磁盘管理方法、装置、设备及存储介质 Pending CN115309334A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210933253.9A CN115309334A (zh) 2022-08-04 2022-08-04 磁盘管理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210933253.9A CN115309334A (zh) 2022-08-04 2022-08-04 磁盘管理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115309334A true CN115309334A (zh) 2022-11-08

Family

ID=83858725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210933253.9A Pending CN115309334A (zh) 2022-08-04 2022-08-04 磁盘管理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115309334A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599311A (zh) * 2022-11-30 2023-01-13 苏州浪潮智能科技有限公司(Cn) 极性反转方法及装置、存储介质、电子装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599311A (zh) * 2022-11-30 2023-01-13 苏州浪潮智能科技有限公司(Cn) 极性反转方法及装置、存储介质、电子装置

Similar Documents

Publication Publication Date Title
CN111356996B (zh) 用于版本验证的系统和计算机实现的方法
US8151248B1 (en) Method and system for software defect management
CN109710190B (zh) 一种数据存储方法、装置、设备及存储介质
CN110019004B (zh) 一种数据处理方法、装置及系统
CN110989926B (zh) 故障磁盘槽位定位方法、装置及电子设备
US11221785B2 (en) Managing replication state for deleted objects
US10282120B2 (en) Method, apparatus and system for inserting disk
US11625192B2 (en) Peer storage compute sharing using memory buffer
CN110941547B (zh) 自动化测试用例库管理方法、装置、介质及电子设备
CN113448938A (zh) 数据处理方法、装置、电子设备及存储介质
US11082494B2 (en) Cross storage protocol access response for object data stores
US20210216231A1 (en) Method, electronic device and computer program product for rebuilding disk array
CN105022678A (zh) 虚拟机数据备份的方法和装置
US8046477B1 (en) Configuration validation and ambiguous mapping
CN114356521A (zh) 任务调度方法、装置、电子设备及存储介质
CN115309334A (zh) 磁盘管理方法、装置、设备及存储介质
CN115858488A (zh) 基于数据治理的平行迁移方法、装置及可读介质
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN105183799B (zh) 一种权限管理的方法及客户端
CN112395141B (zh) 一种数据页管理方法、装置、电子设备及存储介质
CN114153394A (zh) 一种数据存储管理方法、装置及设备
CN109634524A (zh) 一种数据处理守护进程的数据分区配置方法、装置及设备
US10291700B2 (en) Network optimized scan with dynamic fallback recovery
CN114064510A (zh) 功能测试方法、装置、电子设备和存储介质
US7921324B2 (en) Providing file system availability during local path failure of a non-server node

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination