CN114461388B - 一种块存储服务元数据配置方法、装置、设备及介质 - Google Patents

一种块存储服务元数据配置方法、装置、设备及介质 Download PDF

Info

Publication number
CN114461388B
CN114461388B CN202210036742.4A CN202210036742A CN114461388B CN 114461388 B CN114461388 B CN 114461388B CN 202210036742 A CN202210036742 A CN 202210036742A CN 114461388 B CN114461388 B CN 114461388B
Authority
CN
China
Prior art keywords
information
volume
storage
metadata
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210036742.4A
Other languages
English (en)
Other versions
CN114461388A (zh
Inventor
白战豪
穆向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210036742.4A priority Critical patent/CN114461388B/zh
Publication of CN114461388A publication Critical patent/CN114461388A/zh
Application granted granted Critical
Publication of CN114461388B publication Critical patent/CN114461388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种块存储服务元数据配置方法，应用于分布式集群中，包括：定义元数据配置信息数据结构；根据用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，组装并存储元数据配置信息数据结构；当分布式集群中的其他存储节点被客户端访问时，对比存储池中每个目标对象的卷映射信息以及每个元数据路径对象中的卷路径信息与内存中的卷映射信息以及卷路径信息是否一致，如果不一致，则更新内存中卷映射信息以及卷路径信息，本发明还提出了一种块存储服务元数据配置装置、设备及介质，有效地提高块存储服务元数据配置的准确性，保证了分布式集群中节点间的配置信息的一致性。

Description

一种块存储服务元数据配置方法、装置、设备及介质
技术领域
本发明涉及分布式集群中的数据配置领域，尤其是涉及一种块存储服务元数据配置方法、装置、设备及介质。
背景技术
iSCSI(Internet Small Computer System Interface，小型计算机系统接口)主要是通过TCP/IP(Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议)的技术，将储存设备(RBD，即块存储设备)端通过iSCSI target(iSCSI目标)功能，做成可以提供磁盘的服务器端，再通过iSCSI initiator(iSCSI初始化用户)功能，做成能够挂载使用iSCSI target的客户端，如此便能透过iSCSI协议来进行磁盘的应用了。也就是说，iSCSI这个架构主要将储存装置与使用的主机分为两个部分，分别是：
iSCSI target：就是储存设备端，存放磁盘或RAID(Redundant Arrays ofIndependent Disks，磁盘阵列)的设备，目前也能够将Linux主机仿真成iSCSI target，目的在提供其他主机使用的磁盘；
iSCSI initiator：就是能够使用target的客户端，通常是服务器。也就是说，想要连接到iSCSI target的服务器，也必须要安装iSCSI initiator的相关功能后才能够使用iSCSI target提供的磁盘。
客户端主机可通过以上途径与服务端主机(iSCSI target)建立连接访问底层的librbd(块存储库)，实现对块存储的操作，一个储存设备上可以创建多个target，一个target上可以映射多个块设备，客户端主机可以连接服务端主机上其中一个或多个target分别进行访问。
随着存储能力的不断提升，在虚拟化对接场景下，虚拟机数量级可达数十万级，因此要持续提高产品的兼容性以及规格，同时要保证集群所有服务运行正常、顺畅。目前，诸多厂商会将iscsi服务元数据存储在本地文件，当虚拟机数量级达到万级时，操作配置文件速度将达到秒级，容易导致故障场景节点与正常节点间的配置信息不一致的风险；若将iscsi服务元数据配置存在本地集群的单独存储池中，当集群扩容或者在大规模集群节点划分时，无法保障个别存储节点故障情况下故障场景节点与正常节点间的配置信息的一致性。
发明内容
本发明为了解决现有技术中存在的问题，创新提出了一种块存储服务元数据配置方法、装置、设备及介质，应用于分布式集群中，有效解决由于现有技术造成故障场景节点与正常节点间的配置信息不一致的问题，有效地提高块存储服务元数据配置的准确性，保证了分布式集群存储节点间配置信息的一致性。
本发明第一方面提供了一种块存储服务元数据配置方法，应用于分布式集群中，包括：
定义元数据配置信息数据结构；所述元数据配置信息数据结构包括目标对象配置信息、卷对象配置信息以及元数据路径对象配置信息；
获取用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，根据用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，在存储池中创建存储池与卷之间的卷映射信息，组装并存储元数据配置信息数据结构；
响应于接收到客户端的登陆信息后，遍历客户端登陆后访问的存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，将每个目标对象包括的所有卷对象中的卷映射信息以及每个元数据路径对象中的卷路径信息均存储至内存中；
当分布式集群中的其他存储节点被客户端访问时，遍历客户端登陆后访问的其他存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，对比存储池中每个目标对象的卷映射信息以及每个元数据路径对象中的卷路径信息与内存中的卷映射信息以及卷路径信息是否一致，如果不一致，则更新内存中卷映射信息以及卷路径信息。
可选地，所述目标对象配置信息是：每个存储节点对应一个目标对象，目标对象配置信息以目标对象的名称为key，目标对象除名称以外的信息为value。
可选地，所述卷对象配置信息具体是：每个存储节点对应多个卷对象：每个目标对象包括多个卷对象，卷对象配置信息以卷映射信息为key，以卷除映射以外的信息为value。
可选地，所述元数据路径对象配置信息具体包括：每个存储池对应一个元数据路径对象，元数据路径对象配置信息以卷的名称为key，以卷路径信息为value，其中，卷路径信息为卷对象、目标对象、存储节点的对应关系。
可选地，元数据配置信息数据结构还包括认证对象配置信息，认证对象配置信息具体包括：每个存储节点对应一个chap对象，以用户账号为key，以用户密码为value。
可选地，还包括：
根据元数据路径对象配置信息，删除卷映射信息以及卷路径信息。
可选地，还包括：
根据更新后内存的卷映射信息以及卷路径信息，同步更新存储池中其他存储节点的卷映射信息以及卷路径信息。
本发明第二方面还提供了一种块存储服务元数据配置装置，应用于分布式集群中，包括：
定义模块，定义元数据配置信息数据结构；所述元数据配置信息数据结构包括目标对象配置信息、卷对象配置信息以及元数据路径对象配置信息；
创建及组装模块，获取用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，根据用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，在存储池中创建存储池与卷之间的卷映射信息，组装并存储元数据配置信息数据结构；
遍历及存储模块，响应于接收到客户端的登陆信息后，遍历客户端登陆后访问的存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，将每个目标对象包括的所有卷对象中的卷映射信息以及每个元数据路径对象中的卷路径信息均存储至内存中；
遍历及对比模块，当分布式集群中的其他存储节点被客户端访问时，遍历客户端登陆后访问的其他存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，对比存储池中每个目标对象的卷映射信息以及每个元数据路径对象中的卷路径信息与内存中的卷映射信息以及卷路径信息是否一致，如果不一致，则更新内存中卷映射信息以及卷路径信息。
本发明第三方面提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如本发明第一方面所述的一种块存储服务元数据配置方法的步骤。
本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述的一种块存储服务元数据配置方法的步骤。
本发明采用的技术方案包括以下技术效果：
1、本发明通过在分布式集群中的存储池中创建存储池与卷之间的卷映射信息，组装并存储元数据配置信息数据；当分布式集群中的其他存储节点被客户端访问时，遍历客户端登陆后访问的其他存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，对比存储池中每个目标对象的卷映射信息以及每个元数据路径对象的卷路径信息与内存中的卷映射信息以及卷路径信息是否一致，如果不一致，则更新内存中卷映射信息或卷路径信息，有效地提高块存储服务元数据配置的准确性，保证了分布式集群中节点间的配置信息的一致性。
2、本发明技术方案中的目标对象配置信息、卷对象配置信息以及元数据路径对象配置信息均通过键值对(key、value)的形式进行配置、组装，将卷对象、目标对象、存储节点之间的卷路径信息以及卷与存储池之间额卷映射信息为主要元数据配置信息，每个存储节点对应lun对象以及元数据路径对象分别独立控制元数据配置信息，避免了命令行远程操作所有节点导致操作效率低的问题，大大提高了存储集群的便利性以及数据存储的安全性，提高分布式存储产品的竞争力。
3、本发明技术方案中根据元数据路径对象配置信息，删除卷映射信息以及卷路径信息，便于能够根据卷或存储池发生变化时及时进行卷映射关系以及卷路径信息的删除，保证了分布式集群中元数据配置的正常高效进行。
4、本发明技术方案中根据更新后内存的卷映射信息以及卷路径信息，同步更新存储池中其他存储节点的卷映射信息以及卷路径信息，便于能够根据卷或存储池发生变化时及时进行配置调整，保证了分布式集群中元数据配置的正常高效进行。
应当理解的是以上的一般描述以及后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见的，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方案中实施例一方法的流程示意图(一)；
图2为本发明方案中实施例一方法的流程示意图(二)；
图3为本发明方案中实施例一方法的流程示意图(三)；
图4为本发明方案中实施例二装置的结构示意图；
图5为本发明方案中实施例三设备的结构示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
实施例一
如图1所示，本发明提供了一种块存储服务元数据配置方法，应用于分布式集群中，包括：
S1，定义元数据配置信息数据结构；所述元数据配置信息数据结构包括目标对象配置信息、卷对象配置信息以及元数据路径对象配置信息；
S2，获取用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，根据用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，在存储池中创建存储池与卷之间的卷映射信息，组装并存储元数据配置信息数据结构；
S3，响应于接收到客户端的登陆信息后，遍历客户端登陆后访问的存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，将每个目标对象包括的所有卷对象中的卷映射信息以及每个元数据路径对象中的卷路径信息均存储至内存中；
S4，当分布式集群中的其他存储节点被客户端访问时，遍历客户端登陆后访问的其他存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象；
S5，对比存储池中每个目标对象的卷映射信息以及每个元数据路径对象中的卷路径信息与内存中的卷映射信息以及卷路径信息是否一致，如果判断结果为是，则执行步骤S6；如果判断结果为否，则执行步骤S7；
S6，不更新内存中卷映射信息以及卷路径信息；
S7，更新内存中卷映射信息以及卷路径信息。
其中，在步骤S1中，目标对象配置信息是：每个存储节点对应一个目标对象，目标对象配置信息以目标对象的名称为key，目标对象除名称以外的信息为value。具体是：{node_ip}_iscsi_target_conf：(key：tid_targetname，val：target相关信息)。
卷对象配置信息具体是：每个存储节点对应多个卷对象：每个目标对象包括多个卷对象，卷对象配置信息以卷映射信息为key，以卷除映射以外的信息为value。具体是：{node_ip}_iscsi_lun_conf_{tid/targetname}_part{id}：(key：lunid_path，val：lun信息)，其中，lunid_path为lun对应的id+实际的卷映射信息(存储池名字+卷名字)，lun信息是指该lun的详细信息，包括绑定的ip和iqn(iSCSI合格名称)权限信息、驱动信息。每个卷对象最多保存128个lun(卷)信息，如果1个target超过128个lun，则分片处理。
元数据路径对象配置信息具体包括：每个存储池对应一个元数据路径对象，元数据路径对象配置信息以卷的名称为key，以卷路径信息为value，其中，卷路径信息为卷对象、目标对象、存储节点的对应关系。具体是：{iscsi_lun_path}：(key：imagename或lunname，val：list{node_ip，targetname，lunid})。image就是逻辑卷的意思，与lun(物理卷)一一对应，通过node_ip，targetname，lunid这三个信息可以定位是某个存储节点上的指定target的指定lun。lun是属于target的，一个target可对应多个lun，一个lun只能对应一个target。
进一步地，元数据配置信息数据结构还包括认证对象配置信息，认证对象配置信息具体包括：每个存储节点对应一个chap对象，以用户账号为key，以用户密码为value。具体是：{node_ip}_iscsi_accout：(key:aid_user，val:user password123456)。chap对象是target对象的，一个target对象可以对应多个chap对象。
完整的元数据配置信息数据结构是：
在步骤S2中，获取用户输入指定卷的映射(pool/lun或image)信息、主机iqn信息、存储池信息、存储节点信息，存储节点信息可以根据存储池拓扑结构选择特定的节点，例如，可以根据每个存储节点上总的lun数量选择存储节点，尽量选择总lun数量少的存储节点，以实现存储节点负载均衡，在用户输入指定的存储池(pool)中创建卷映射信息，然后根据用户输入指定卷的映射(pool/lun或image)信息、主机iqn信息、存储池信息、存储节点信息组装元数据配置信息数据结构，将元数据配置信息数据中的卷映射信息存储进该存储池中选定节点ip为key的lun对象，节点ip为key的lun对象指的是带有node_ip前缀的lun对象，即将卷映射信息在存储节点对应的多个lun对象按照存储先后顺序依次存储至多个lun对象中。
在步骤S3中，iscsi initiator(客户端)根据待访问的卷路径信息，主动访问对应存储节点(node_ip)中的对应目标(target)，当服务端接收到iscsi initiator的登录信息时，遍历该被访问存储节点(node_ip)所属所有存储池的所有target对象以及所有元数据路径对象，将每个目标对象包括的所有卷对象中的卷映射信息以及每个元数据路径对象中的卷路径信息均存储至内存中，然后根据客户端主机iqn信息控制iscsi initiator访问权限。
如图2所示，本发明技术方案还提供了一种块存储服务元数据配置方法，还包括：
S8，根据更新后内存的卷映射信息以及卷路径信息，同步更新存储池中其他存储节点的卷映射信息以及卷路径信息。
其中，在步骤S8中，内存更新修改后存储底层落盘后通过监控-通知(monitor-watcher)机制，通知其他存储服务(其他存储节点)，根据更新后内存的卷映射信息以及卷路径信息，同步更新存储池中其他存储节点的卷映射信息以及卷路径信息。
如图3所示，本发明技术方案还提供了一种块存储服务元数据配置方法，还包括：
S9，根据元数据路径对象配置信息，删除卷映射信息以及卷路径信息。
其中，在步骤S9中，确定待删除的卷信息，然后根据卷信息，查询元数据路径对象中对应的存储节点和target信息，将卷映射信息从lun对象(根据卷名称信息或ID信息确定target对象中存储待删除卷映射信息对应的lun对象)中删除，将元数据路径信息从元数据路径对象(根据卷名称信息或ID信息确定存储待删除卷映射信息对应的元数据路径对象)中删除。
本发明通过在分布式集群中的存储池中创建存储池与卷之间的卷映射信息，组装并存储元数据配置信息数据；当分布式集群中的其他存储节点被客户端访问时，遍历客户端登陆后访问的其他存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，对比存储池中每个目标对象的卷映射信息以及每个元数据路径对象的卷路径信息与内存中的卷映射信息以及卷路径信息是否一致，如果不一致，则更新内存中卷映射信息或卷路径信息，有效解决由于现有技术造成故障场景节点与正常节点间的配置信息不一致的问题，有效地提高块存储服务元数据配置的准确性，保证了分布式集群中节点间的配置信息的一致性。
本发明技术方案中的目标对象配置信息、卷对象配置信息以及元数据路径对象配置信息均通过键值对(key、value)的形式进行配置、组装，将卷对象、目标对象、存储节点之间的卷路径信息以及卷与存储池之间额卷映射信息为主要元数据配置信息，每个存储节点对应lun对象以及元数据路径对象分别独立控制元数据配置信息，避免了命令行远程操作所有节点导致操作效率低的问题，大大提高了存储集群的便利性以及数据存储的安全性，提高分布式存储产品的竞争力。
本发明技术方案中根据元数据路径对象配置信息，删除卷映射信息以及卷路径信息，便于能够根据卷或存储池发生变化时及时进行卷映射关系以及卷路径信息的删除，保证了分布式集群中元数据配置的正常高效进行。
本发明技术方案中根据更新后内存的卷映射信息以及卷路径信息，同步更新存储池中其他存储节点的卷映射信息以及卷路径信息，便于能够根据卷或存储池发生变化时及时进行配置调整，保证了分布式集群中元数据配置的正常高效进行。
实施例二
如图4所示，本发明技术方案还提供了一种块存储服务元数据配置装置，应用于分布式集群中，包括：
定义模块101，定义元数据配置信息数据结构；所述元数据配置信息数据结构包括目标对象配置信息、卷对象配置信息以及元数据路径对象配置信息；
创建及组装模块102，获取用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，根据用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，在存储池中创建存储池与卷之间的卷映射信息，组装并存储元数据配置信息数据结构；
遍历及存储模块103，响应于接收到客户端的登陆信息后，遍历客户端登陆后访问的存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，将每个目标对象包括的所有卷对象中的卷映射信息以及每个元数据路径对象中的卷路径信息均存储至内存中；
遍历及对比模块104，当分布式集群中的其他存储节点被客户端访问时，遍历客户端登陆后访问的其他存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，对比存储池中每个目标对象的卷映射信息以及每个元数据路径对象中的卷路径信息与内存中的卷映射信息以及卷路径信息是否一致，如果不一致，则更新内存中卷映射信息以及卷路径信息。
本发明通过在分布式集群中的存储池中创建存储池与卷之间的卷映射信息，组装并存储元数据配置信息数据；当分布式集群中的其他存储节点被客户端访问时，遍历客户端登陆后访问的其他存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，对比存储池中每个目标对象的卷映射信息以及每个元数据路径对象的卷路径信息与内存中的卷映射信息以及卷路径信息是否一致，如果不一致，则更新内存中卷映射信息或卷路径信息，有效解决由于现有技术造成故障场景节点与正常节点间的配置信息不一致的问题，有效地提高块存储服务元数据配置的准确性，保证了分布式集群中节点间的配置信息的一致性。
本发明技术方案中的目标对象配置信息、卷对象配置信息以及元数据路径对象配置信息均通过键值对(key、value)的形式进行配置、组装，将卷对象、目标对象、存储节点之间的卷路径信息以及卷与存储池之间额卷映射信息为主要元数据配置信息，每个存储节点对应lun对象以及元数据路径对象分别独立控制元数据配置信息，避免了命令行远程操作所有节点导致操作效率低的问题，大大提高了存储集群的便利性以及数据存储的安全性，提高分布式存储产品的竞争力。
本发明技术方案中根据元数据路径对象配置信息，删除卷映射信息以及卷路径信息，便于能够根据卷或存储池发生变化时及时进行卷映射关系以及卷路径信息的删除，保证了分布式集群中元数据配置的正常高效进行。
本发明技术方案中根据更新后内存的卷映射信息以及卷路径信息，同步更新存储池中其他存储节点的卷映射信息以及卷路径信息，便于能够根据卷或存储池发生变化时及时进行配置调整，保证了分布式集群中元数据配置的正常高效进行。
实施例三
如图5所示，本发明技术方案还提供了一种电子设备，包括：存储器201，用于存储计算机程序；处理器202，用于执行所述计算机程序时实现实施例一中的一种块存储服务元数据配置方法的步骤。
本申请实施例中的存储器201用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。可以理解，存储器201可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagneticrandom access memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous StaticRandom Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous DynamicRandom Access Memory)、增强型同步动态随机存取存储器(ESDRAM，EnhancedSynchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器201旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器202中，或者由处理器202实现。处理器202可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器202中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器202可以是通用处理器、DSP(Digital Signal Processing，即指能够实现数字信号处理技术的芯片)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器202可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器201，处理器202读取存储器201中的程序，结合其硬件完成前述方法的步骤。处理器202执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
本发明通过在分布式集群中的存储池中创建存储池与卷之间的卷映射信息，组装并存储元数据配置信息数据；当分布式集群中的其他存储节点被客户端访问时，遍历客户端登陆后访问的其他存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，对比存储池中每个目标对象的卷映射信息以及每个元数据路径对象的卷路径信息与内存中的卷映射信息以及卷路径信息是否一致，如果不一致，则更新内存中卷映射信息或卷路径信息，有效解决由于现有技术造成故障场景节点与正常节点间的配置信息不一致的问题，有效地提高块存储服务元数据配置的准确性，保证了分布式集群中节点间的配置信息的一致性。
本发明技术方案中的目标对象配置信息、卷对象配置信息以及元数据路径对象配置信息均通过键值对(key、value)的形式进行配置、组装，将卷对象、目标对象、存储节点之间的卷路径信息以及卷与存储池之间额卷映射信息为主要元数据配置信息，每个存储节点对应lun对象以及元数据路径对象分别独立控制元数据配置信息，避免了命令行远程操作所有节点导致操作效率低的问题，大大提高了存储集群的便利性以及数据存储的安全性，提高分布式存储产品的竞争力。
本发明技术方案中根据元数据路径对象配置信息，删除卷映射信息以及卷路径信息，便于能够根据卷或存储池发生变化时及时进行卷映射关系以及卷路径信息的删除，保证了分布式集群中元数据配置的正常高效进行。
本发明技术方案中根据更新后内存的卷映射信息以及卷路径信息，同步更新存储池中其他存储节点的卷映射信息以及卷路径信息，便于能够根据卷或存储池发生变化时及时进行配置调整，保证了分布式集群中元数据配置的正常高效进行。
实施例四
本发明技术方案还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一中的一种块存储服务元数据配置方法的步骤。
例如包括存储计算机程序的存储器201，上述计算机程序可由处理器202执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、FlashMemory、磁表面存储器、光盘、或CD-ROM等存储器。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本发明通过在分布式集群中的存储池中创建存储池与卷之间的卷映射信息，组装并存储元数据配置信息数据；当分布式集群中的其他存储节点被客户端访问时，遍历客户端登陆后访问的其他存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，对比存储池中每个目标对象的卷映射信息以及每个元数据路径对象的卷路径信息与内存中的卷映射信息以及卷路径信息是否一致，如果不一致，则更新内存中卷映射信息或卷路径信息，有效解决由于现有技术造成故障场景节点与正常节点间的配置信息不一致的问题，有效地提高块存储服务元数据配置的准确性，保证了分布式集群中节点间的配置信息的一致性。
本发明技术方案中的目标对象配置信息、卷对象配置信息以及元数据路径对象配置信息均通过键值对(key、value)的形式进行配置、组装，将卷对象、目标对象、存储节点之间的卷路径信息以及卷与存储池之间额卷映射信息为主要元数据配置信息，每个存储节点对应lun对象以及元数据路径对象分别独立控制元数据配置信息，避免了命令行远程操作所有节点导致操作效率低的问题，大大提高了存储集群的便利性以及数据存储的安全性，提高分布式存储产品的竞争力。
本发明技术方案中根据元数据路径对象配置信息，删除卷映射信息以及卷路径信息，便于能够根据卷或存储池发生变化时及时进行卷映射关系以及卷路径信息的删除，保证了分布式集群中元数据配置的正常高效进行。
本发明技术方案中根据更新后内存的卷映射信息以及卷路径信息，同步更新存储池中其他存储节点的卷映射信息以及卷路径信息，便于能够根据卷或存储池发生变化时及时进行配置调整，保证了分布式集群中元数据配置的正常高效进行。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种块存储服务元数据配置方法，其特征是，应用于分布式集群中，包括：
定义元数据配置信息数据结构；所述元数据配置信息数据结构包括目标对象配置信息、卷对象配置信息以及元数据路径对象配置信息；所述目标对象配置信息是：每个存储节点对应一个目标对象，目标对象配置信息以目标对象的名称为key，目标对象除名称以外的信息为value；所述卷对象配置信息具体是：每个存储节点对应多个卷对象：每个目标对象包括多个卷对象，卷对象配置信息以卷映射信息为key，以卷除映射以外的信息为value；所述元数据路径对象配置信息具体包括：每个存储池对应一个元数据路径对象，元数据路径对象配置信息以卷的名称为key，以卷路径信息为value，其中，卷路径信息为卷对象、目标对象、存储节点的对应关系；
获取用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，根据用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，在存储池中创建存储池与卷之间的卷映射信息，组装并存储元数据配置信息数据结构；
响应于接收到客户端的登陆信息后，遍历客户端登陆后访问的存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，将每个目标对象包括的所有卷对象中的卷映射信息以及每个元数据路径对象中的卷路径信息均存储至内存中；
当分布式集群中的其他存储节点被客户端访问时，遍历客户端登陆后访问的其他存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，对比存储池中每个目标对象的卷映射信息以及每个元数据路径对象中的卷路径信息与内存中的卷映射信息以及卷路径信息是否一致，如果不一致，则更新内存中卷映射信息以及卷路径信息。
2.根据权利要求1所述的一种块存储服务元数据配置方法，其特征是，元数据配置信息数据结构还包括认证对象配置信息，认证对象配置信息具体包括：每个存储节点对应一个chap对象，以用户账号为key，以用户密码为value。
3.根据权利要求1所述的一种块存储服务元数据配置方法，其特征是，还包括：
根据元数据路径对象配置信息，删除卷映射信息以及卷路径信息。
4.根据权利要求1所述的一种块存储服务元数据配置方法，其特征是，还包括：
根据更新后内存的卷映射信息以及卷路径信息，同步更新存储池中其他存储节点的卷映射信息以及卷路径信息。
5.一种块存储服务元数据配置装置，其特征是，应用于分布式集群中，包括：
定义模块，定义元数据配置信息数据结构；所述元数据配置信息数据结构包括目标对象配置信息、卷对象配置信息以及元数据路径对象配置信息；所述目标对象配置信息是：每个存储节点对应一个目标对象，目标对象配置信息以目标对象的名称为key，目标对象除名称以外的信息为value；所述卷对象配置信息具体是：每个存储节点对应多个卷对象：每个目标对象包括多个卷对象，卷对象配置信息以卷映射信息为key，以卷除映射以外的信息为value；所述元数据路径对象配置信息具体包括：每个存储池对应一个元数据路径对象，元数据路径对象配置信息以卷的名称为key，以卷路径信息为value，其中，卷路径信息为卷对象、目标对象、存储节点的对应关系；
创建及组装模块，获取用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，根据用户输入的卷映射信息、客户端主机信息、存储节点信息、存储池信息，在存储池中创建存储池与卷之间的卷映射信息，组装并存储元数据配置信息数据结构；
遍历及存储模块，响应于接收到客户端的登陆信息后，遍历客户端登陆后访问的存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，将每个目标对象包括的所有卷对象中的卷映射信息以及每个元数据路径对象中的卷路径信息均存储至内存中；
遍历及对比模块，当分布式集群中的其他存储节点被客户端访问时，遍历客户端登陆后访问的其他存储节点所属所有存储池中的所有目标对象以及所有元数据路径对象，对比存储池中每个目标对象的卷映射信息以及每个元数据路径对象中的卷路径信息与内存中的卷映射信息以及卷路径信息是否一致，如果不一致，则更新内存中卷映射信息以及卷路径信息。
6.一种电子设备，其特征是，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的一种块存储服务元数据配置方法的步骤。
7.一种计算机可读存储介质，其特征是，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的一种块存储服务元数据配置方法的步骤。
CN202210036742.4A 2022-01-13 2022-01-13 一种块存储服务元数据配置方法、装置、设备及介质 Active CN114461388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210036742.4A CN114461388B (zh) 2022-01-13 2022-01-13 一种块存储服务元数据配置方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210036742.4A CN114461388B (zh) 2022-01-13 2022-01-13 一种块存储服务元数据配置方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114461388A CN114461388A (zh) 2022-05-10
CN114461388B true CN114461388B (zh) 2024-01-12

Family

ID=81409725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210036742.4A Active CN114461388B (zh) 2022-01-13 2022-01-13 一种块存储服务元数据配置方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114461388B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115242819B (zh) * 2022-07-22 2024-07-16 济南浪潮数据技术有限公司 分布式存储的选路方法及相关组件

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107894921A (zh) * 2017-11-09 2018-04-10 郑州云海信息技术有限公司 一种分布式块存储卷性能统计的实现方法及系统
CN109831540A (zh) * 2019-04-12 2019-05-31 成都四方伟业软件股份有限公司 分布式存储方法、装置、电子设备及存储介质
CN112395264A (zh) * 2020-11-26 2021-02-23 深圳市杉岩数据技术有限公司 分布式存储系统中逻辑目标与卷之间映射的处理方法
CN113296685A (zh) * 2020-05-29 2021-08-24 阿里巴巴集团控股有限公司 数据处理方法及装置、计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548939B2 (en) * 2005-04-15 2009-06-16 Microsoft Corporation Generating storage reports using volume snapshots

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107894921A (zh) * 2017-11-09 2018-04-10 郑州云海信息技术有限公司 一种分布式块存储卷性能统计的实现方法及系统
CN109831540A (zh) * 2019-04-12 2019-05-31 成都四方伟业软件股份有限公司 分布式存储方法、装置、电子设备及存储介质
CN113296685A (zh) * 2020-05-29 2021-08-24 阿里巴巴集团控股有限公司 数据处理方法及装置、计算机可读存储介质
CN112395264A (zh) * 2020-11-26 2021-02-23 深圳市杉岩数据技术有限公司 分布式存储系统中逻辑目标与卷之间映射的处理方法

Also Published As

Publication number Publication date
CN114461388A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
US7877545B2 (en) Online restriping technique for distributed network based virtualization
US20200026425A1 (en) Efficient scaling of distributed storage systems
US20100042636A1 (en) Internet server system, method of creating virtual machine of the internet server and method of starting the same
JP4906917B2 (ja) 異なるサイズのアドレス空間をアドレス指定するために使用される異なるアドレス指定形式と互換性のあるアドレス形式を提供すること
US8725945B2 (en) Method and system for governing an enterprise level green storage system drive technique
US8543800B2 (en) Hierarchical services startup sequencing
US9244822B2 (en) Automatic object model generation
US20160253267A1 (en) Systems and Methods for Storage of Data in a Virtual Storage Device
JP7292785B2 (ja) ストレージ・システムにおけるホールを有するトラックのデステージ
US20110088029A1 (en) Server image capacity optimization
JP2020533678A (ja) クラウド・ストレージをランクとして使用するストレージ・システム
EP3989052B1 (en) Method of operating storage device and method of operating storage system using the same
CN114461388B (zh) 一种块存储服务元数据配置方法、装置、设备及介质
CN106648838B (zh) 一种资源池管理的配置方法及装置
CA2562607A1 (en) Systems and methods for providing a proxy for a shared file system
US11347414B2 (en) Using telemetry data from different storage systems to predict response time
US8856441B2 (en) Dynamic hard disk mapping method and server using the same
US7478026B1 (en) Application programming interface simulator for a data storage system
US11379128B2 (en) Application-based storage device configuration settings
US10102020B2 (en) Methods, systems, and computer readable media for virtual machine (VM) deployment using read-only memory
US9244632B1 (en) Data storage system configuration
JP2007122713A (ja) インテリジェント論理ユニットプロビジョニング
KR20240018974A (ko) 스토리지 장치 및 그것의 동작 방법
WO2015196820A1 (zh) 创建jbod文件系统的方法及装置
JP2001100939A (ja) ディスクアレイ装置およびディスクアレイの制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant