CN112817535B - 一种归置组分配方法、装置以及分布式存储系统 - Google Patents

一种归置组分配方法、装置以及分布式存储系统 Download PDF

Info

Publication number
CN112817535B
CN112817535B CN202110149455.XA CN202110149455A CN112817535B CN 112817535 B CN112817535 B CN 112817535B CN 202110149455 A CN202110149455 A CN 202110149455A CN 112817535 B CN112817535 B CN 112817535B
Authority
CN
China
Prior art keywords
storage
group
target
storage pool
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110149455.XA
Other languages
English (en)
Other versions
CN112817535A (zh
Inventor
孟军
郭军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baike Data Technology Shenzhen Co ltd
Original Assignee
Baike Data Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baike Data Technology Shenzhen Co ltd filed Critical Baike Data Technology Shenzhen Co ltd
Priority to CN202110149455.XA priority Critical patent/CN112817535B/zh
Publication of CN112817535A publication Critical patent/CN112817535A/zh
Application granted granted Critical
Publication of CN112817535B publication Critical patent/CN112817535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种归置组分配方法、装置以及分布式存储系统，所述方法包括：获取目标归置组PG对应的目标存储池，并确定目标存储池对应的目标分配规则组；利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS，并将所述目标归置组PG分配至所述目标对象存储设备ODS。本申请中的每个存储池均配置有分配规则组，并且在确定目标归置组PG对应的目标对象存储设备ODS时，会根据该目标归置组PG对应的存储池对应给的目标分配规则组来确定，这样可以为服务场景不同的存储池配置不同的分配规则组，使得分配至该存储池的归置组可以合适的目标对象存储设备ODS，提高了归置组PG分配的灵活性。

Description

一种归置组分配方法、装置以及分布式存储系统
技术领域
本申请涉及分布式数据存储技术领域，特别涉及一种归置组分配方法、装置以及分布式存储系统。
背景技术
Ceph(赛弗)集群是一种分布式存储系统，其以优异的性能以及良好的伸缩性著称。在生产环境中，集群的规模可能会相当庞大，容纳着数以千计的对象存储设备ODS，并且通过创建不同的存储池，来为不同的应用、不同的用户以及不同的接口形式提供着存储服务。不同的存储池所服务的目标不同，从而会通过给不同的存储池绑定不同的CRUSH rule来划分对象存储设备。但是，由于存储设备的类型、容量、以及性能可能各不相同，那么如何控制文件对象在各对象存储设备上的分布概率，以充分利用各对象存储设备成为亟待解决的技术问题。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种归置组分配方法、装置以及分布式存储系统。
为了解决上述技术问题，本申请实施例第一方面提供了一种归置组分配方法，其应用于分布式存储系统Ceph集群中的监视器，所述Ceph集群包括若干存储池，并且若干存储池中的每个存储池均对应一分配规则组；所述方法包括：
获取目标归置组PG对应的目标存储池，并确定所述目标存储池对应的目标分配规则组，其中，所述目标分配规则组包括权重系数集，所述权重系数集包括各对象存储设备ODS各自对应的权重系数；
利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS，并将所述目标归置组PG分配至所述目标对象存储设备ODS。
所述归置组分配方法，其中，所述若干存储池中至少存在第一存储池和第二存储池，第一存储池对应的分配规则组与第二存储池对应的分配规则组不同。
所述归置组分配方法，其中，所述若干存储池对应的所有分配规则组中包括一默认分配规则组，所述归置组分配方法还包括：
当Ceph集群新建存储池时，将所述默认分配规则组分配给该存储池。
所述归置组分配方法，其中，所述默认分配规则组为Ceph集群初始化时配置的，所述默认分配规则组中的权重系数集为Ceph集群的全局权重系数集。
所述归置组分配方法，其中，所述目标分配规则组包括CRUSH规则，所述利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS具体包括：
读取所述目标分配规则组包括的CRUSH规则以及权重系数集；
基于权重系数集，利用CRUSH算法执行所述CRUSH规则以确定所述目标归置组PG对应的目标对象存储设备ODS。
所述归置组分配方法，其中，所述基于权重系数集，利用CRUSH算法执行所述CRUSH规则以确定所述目标归置组PG对应的目标对象存储设备ODS具体包括：
获取所述目标存储池的副本数；
将所述权重系数集及所述副本数作为CRUSH算法的输入项，根据所述CRUSH规则执行CRUSH算法以得到所述目标归置组PG对应的目标对象存储设备ODS。
所述归置组分配方法，其中，所述若干存储池对应的所有分配规则组存储于OSDmap内，以使得各分配规则组被Ceph集群访问。
本申请实施例第二方面提供了一种归置组分配装置，所述装置应用于分布式存储系统Ceph集群中的监视器，所述Ceph集群包括若干存储池，并且若干存储池中的每个存储池均对应一分配规则组；所述归置组分配装置包括：
获取模块，用于获取目标归置组PG对应的目标存储池，并确定所述目标存储池对应的目标分配规则组，其中，所述目标分配规则组包括权重系数集，所述权重系数集包括各对象存储设备ODS各自对应的权重系数；
分配模块，用于利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS，并将所述目标归置组PG分配至所述目标对象存储设备ODS。
所述的归置组分配装置，其中，所述若干存储池中至少存在第一存储池和第二存储池，第一存储池对应的分配规则组与第二存储池对应的分配规则组不同。
本申请实施例第三方面提供了一种分布式存储系统，所述分布式存储系统包括应用如上所述的归置组分配方法的监视器。
有益效果：与现有技术相比，本申请提供了一种归置组分配方法、装置以及分布式存储系统，所述方法包括：获取目标归置组PG对应的目标存储池，并确定所述目标存储池对应的目标分配规则组，其中，所述目标分配规则组包括权重系数集，所述权重系数集包括各对象存储设备ODS各自对应的权重系数；利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS，并将所述目标归置组PG分配至所述目标对象存储设备ODS。本申请中的每个存储池均配置有分配规则组，并且在确定目标归置组PG对应的目标对象存储设备ODS时，会根据该目标归置组PG对应的存储池对应给的目标分配规则组来确定，这样可以为服务场景不同的存储池配置不同的分配规则组，使得分配至该存储池的归置组可以合适的目标对象存储设备ODS，提高了归置组PG分配的灵活性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的归置组分配方法的流程图。
图2为本申请提供的归置组分配方法的流程示意图。
图3为本申请提供的归置组分配装置的结构原理图。
具体实施方式
本申请提供一种归置组分配方法、装置以及分布式存储系统，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。此外应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，Ceph(赛弗)集群是一种分布式存储系统，其以优异的性能以及良好的伸缩性著称。在生产环境中，集群的规模可能会相当庞大，容纳着数以千计的对象存储设备ODS，并且通过创建不同的存储池，来为不同的应用、不同的用户以及不同的接口形式提供着存储服务。不同的存储池所服务的目标不同，从而会通过给不同的存储池绑定不同的crush rule来划分对象存储设备。但是，由于存储设备的类型、容量、以及性能可能各不相同，那么如何控制文件对象在各对象存储设备上的分布概率，以充分利用各对象存储设备成为亟待解决的技术问题。例如，对于需要提供高性能的存储服务的存储池，期望将该存储池中的归置组PG保存在速度快的固态硬盘上，而对于需要提供低性能的存储服务的存储池，期望将该存储池中的归置组PG保存在廉价的机械硬盘。
为了解决上述问题，在本申请实施例中，获取目标归置组PG对应的目标存储池，并确定所述目标存储池对应的目标分配规则组，其中，所述目标分配规则组包括权重系数集，所述权重系数集包括各对象存储设备ODS各自对应的权重系数；利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS，并将所述目标归置组PG分配至所述目标对象存储设备ODS。本申请中的每个存储池均配置有分配规则组，并且在确定目标归置组PG对应的目标对象存储设备ODS时，会根据该目标归置组PG对应的存储池对应给的目标分配规则组来确定，这样可以为服务场景不同的存储池配置不同的分配规则组，使得分配至该存储池的归置组可以合适的目标对象存储设备ODS，提高了归置组PG分配的灵活性。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施例提供了一种归置组分配方法，应用于分布式存储系统Ceph集群中的监视器，所述Ceph集群包括若干存储池以及若干对象存储设备，若干存储池中的每个存储池均对应一分配规则组，若干存储池对应的所有分配规则组中的每个分配规则组均包括权重系数集，该权重系数集包括各对象存储设备ODS各自对应的权重系数。换句话说，在每个分配规则组中，若干对象存储设备中的每个对象存储设备均对应有一个权重系数，该权重系数用于反映归置组被分配给该权重系数对应的对象存储设备的概率。
本实施例提供的一种归置组分配方法，如图1和图2所示，所述方法包括：
S10、获取目标归置组PG对应的目标存储池，并确定所述目标存储池对应的目标分配规则组。
具体地，目标存储池包含于Ceph集群中的若干存储池，并且Ceph集群包括的若干存储池中的每个存储池均包括有若干归置组PG。例如，Ceph集群包括存储池0、存储池1、存储池2以及存储池3，存储池0和存储池1均包含32个归置组PG,存储池2和存储池3均包含64个归置组PG。在本实施例的一个实现方式中，为了快速确定各存储池包括的各归置组PG，以及确定各归置组PG所属于的存储池，若干存储池中的每个存储池均配置有存储池标识，各存储池各自配置的存储池标识互不相同，每个归置组PG均配置有一个配置属性，该配置属性用于反映该归置组PG所属于的存储池。换句话说，该配置属性内存储有该归置组PG所属于的存储池的存储池标识，这样对于每个归置组PG根据其携带的配置属性，可以确定该归置组PG所属于的存储池。基于此，对应待分配的目标归置组PG，可以读取该目标归置组PG的配置属性中的存储池标识，根据读取到的存储池标识确定对应的目标存储池。
举例说明：若干存储池包括存储池0、存储池1、存储池2以及存储池3，其中，存储池0的存储池标识为0,存储池1的存储池标识为1,存储池2的存储池标识为2，存储池3的存储池标识为3，目标归置组PG携带的配置属性中的存储池标识为1，那么目标归置组PG对应的目标存储池为存储池1，又如，目标归置组PG携带的配置属性中的存储池标识为0，那么目标归置组PG对应的目标存储池为存储池0。
在本实施例的一个实现方式中，监视器内配置有若干分配规则组，若干存储池中的每个存储池对应一分配规则组，并且若干存储池中至少存在第一存储池和第二存储池，第一存储池对应的分配规则组与第二存储池对应的分配规则组不相同。可以理解的是，若干存储池中可以存在部分存储池对应的分配规则组相同，但是至少存在两个存储池对应的分配规则组不同。由此，若干分配规则组的数量小于或者等于若干存储池的数量，并且若干存储池的数量和若干分配规则组的数量均大于或者等于2。例如，若干存储池包括存储池0、存储池1、存储池2以及存储池3，若干分配规则组包括分配规则组1和分配规则组2，存储池0和存储池1均对应分配规则组1，存储池2和存储池3均对应分配规则组2。
若干分配规则组中的每个分配规则组均包括权重系数集，权重系数集包括各对象存储设备ODS各自对应的权重系数，各对象存储设备ODS各自对应的权重系数用于反映归置组被分配给各对象存储设备ODS的概率，其中，对象存储设备ODS对应的权重系数越大，说明归置组被分配到该对象存储设备ODS的概率越大，反之，对象存储设备ODS对应的权重系数越小，说明归置组被分配到该对象存储设备ODS的概率越小。此外，在本实施例中，各对象存储设备ODS各自对应的权重系数均包含于区间[0,1]中。
举例说明，Ceph集群包括对象存储设备ODS1、对象存储设备ODS2、对象存储设备ODS3、对象存储设备ODS4、对象存储设备ODS5以及对象存储设备ODS6；若干分配规则组包括分配规则组group0和分配规则组group1，其中，分配规则组group0中包括对象存储设备ODS1对应的权重系数1.000，对象存储设备ODS2对应的权重系数0.900，对象存储设备ODS3对应的权重系数0.700，对象存储设备ODS4对应的权重系数1.000，对象存储设备ODS5对应的权重系数1.000，以及对象存储设备ODS6对应的权重系数1.000；分配规则组group1包括对象存储设备ODS1对应的权重系数0.600，对象存储设备ODS2对应的权重系数1.000，对象存储设备ODS3对应的权重系数1.000，对象存储设备ODS4对应的权重系数0.900，对象存储设备ODS5对应的权重系数1.000，以及对象存储设备ODS6对应的权重系数0.400。其中，分配规则组goup0中的osd2和osd3权重系数较低，分配规则组group1中的osd1和osd6权重较系数低。
此外，若干分配规则组中的每个分配规则组中均包括有replicated_ruleset，例如，若干分配规则组包括分配规则组group0和分配规则组group1，分配规则组group0和分配规则组group1中的replicated_ruleset均可以配置：
Figure BDA0002931978710000071
Figure BDA0002931978710000081
在本实施例的一个实现方式中，为了便于区分各分配规则组，每个分配规则组均包括唯一标识，通过该唯一标识可以确定该分配规则组。由此，各存储池可以存储其对应的分配规则组的唯一标识，基于各存储池存储的分配规则组的唯一标识可以确定该存储池对应到的分配规则组。此外，每个分配规则组可以配置有描述符，描述符用于反映该分配规则组的分配原则(例如，性能优先、成本优先等)；描述符与唯一标识相关联存储，这样在存储池变更应用场景时，可以获取监视器中存储的各分配规则组对应的描述符以及唯一标识，根据描述符确定存储池对应的分配规则组，再与该唯一标识相连接，以便于基于唯一标识确定存储池对应的分配规则组。
在本实施例的一个实现方式中，若干分配规则组中的每个分配规则组均包括有CRUSH规则，若干分配规则组中的各分配规则组各自对应的CRUSH规则互不相同。例如，若干分配规则组包括分配规则组1和分配规则组2，分配规则组1对应CRUSH规则A，分配规则组1对应CRUSH规则B。此外，CRUSH规则可以根据实际需求设置的，这里具体说明。
在本实施例的一个实现方式中，Ceph集群在初始化时会创建一个默认分配规则组，该默认分配规则组包含于若干存储池对应的所有分配规则组，所述默认分配规则包括权重系数集以及CRUSH规则，其中，权重系数集为为Ceph集群的全局权重系数集，CRUSH规则为Ceph集群的缺省规则。基于此，所述归置组分配方法还包括：当Ceph集群新建存储池时，将所述默认分配规则组分配给该存储池。可以理解的是，当Ceph集群新建存储池时，该存储池对应的分配规则组为默认分配规则组，而在为该存储池配置应用场景时，可以在监视器包括的若干分配规则组为该存储池选取分配规则组，也可以根据该存储池对应的应用场景为该存储池设置分配规则组，并请设置的分配规则组存储于Ceph集群内。在本实施例的一个具体实现方式中，所述若干存储池对应的所有分配规则组存储于OSD map内，这样一方面可以使得若干分配规则组被持保存，另一方面，且可以各分配规则组被Ceph集群中的所有节点访问到。
S20、利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS，并将所述目标归置组PG分配至所述目标对象存储设备ODS。
具体地，在获取到分配规则组后，将分配规则组中的各对象存储设备ODS各自对应的权重系数作为CRUSH算法的输入项，来利用CRUSH算法确定目标规则组对应的目标对象存储设备ODS，这样采用分配规则中的权重系数作为CRUSH算法的输入项，可以对于不同的应用场景采用不同的权重系数，从而可以提高归置组PG分配的灵活性。
在本实施例的一个实现方式中，由于所述目标分配规则组可以包括CRUSH规则，从而在利用CRUSH算法时，可以将目标分配规则组包括的CRUSH规则作为CRUSH算法的规则，这样可以为不同存储池配置不同观点CRUSH规则，提高归置组PG分配与应用场景的匹配性。相应的，所述利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS具体包括：
读取所述目标分配规则组包括的CRUSH规则以及权重系数集；
基于权重系数集，利用CRUSH算法执行所述CRUSH规则以确定所述目标归置组PG对应的目标对象存储设备ODS。
具体地，所述CRUSH规则以及权重系数集作为CRUSH算法的输入项，CRUSH算法按照该CRUSH规则执行，以将目标归置组PG分配至其对应的目标对象存储设备ODS。此外，在实际应用中，对于目标归置组PG所属于的目标存储池，目标存储池中的每个归置组PG均是将该目标存储池对应的权重系数集以及CRUSH规则作为CRUSH算法的输入项，以通过CRUSH算法确定各归置组PG各自对应的对象存储设备ODS。由此，本实施例的一个应用场景可以为：当存储池变更应用场景或者分配规则组时，可以直接确定该存储池对应的分配规则组，并基于该分配规则组中的权重系数集以及CRUSH规则，确定该储存池中的各归置组PG各自对应的对象存储设备ODS，以使得批量确定归置组PG对应的对象存储设备ODS，提高归置组PG分配的效率。在本实施例的一个实现方式中，所述基于权重系数集，利用CRUSH算法执行所述CRUSH规则以确定所述目标归置组PG对应的目标对象存储设备ODS具体包括：获取所述目标存储池的副本数；将所述权重系数集及所述副本数作为CRUSH算法的输入项，根据所述CRUSH规则执行CRUSH算法以得到所述目标归置组PG对应的目标对象存储设备ODS。
综上所述，本实施例提供了一种归置组分配方法，所述方法包括：获取目标归置组PG对应的目标存储池，并确定目标存储池对应的目标分配规则组；利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS，并将所述目标归置组PG分配至所述目标对象存储设备ODS。本申请中的每个存储池均配置有分配规则组，并且在确定目标归置组PG对应的目标对象存储设备ODS时，会根据该目标归置组PG对应的存储池对应给的目标分配规则组来确定，这样可以为服务场景不同的存储池配置不同的分配规则组，使得分配至该存储池的归置组可以合适的目标对象存储设备ODS，提高了归置组PG分配的灵活性。
基于上述归置组分配方法，本实施例提供了一种归置组分配装置，如图3所示，所述装置应用于分布式存储系统Ceph集群中的监视器，所述Ceph集群包括若干存储池，并且若干存储池中的每个存储池均对应一分配规则组；所述归置组分配装置包括：
获取模块100，用于获取目标归置组PG对应的目标存储池，并确定所述目标存储池对应的目标分配规则组，其中，所述目标分配规则组包括权重系数集，所述权重系数集包括各对象存储设备ODS各自对应的权重系数；
分配模块200，用于利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS，并将所述目标归置组PG分配至所述目标对象存储设备ODS。
在一个实施例中，所述若干存储池中至少存在第一存储池和第二存储池，第一存储池对应的分配规则组与第二存储池对应的分配规则组不同。
基于上述归置组分配方法，本实施例提供了一种分布式存储系统，所述分布式存储系统包括应用如上所述的归置组分配方法的监视器。
此外，上述归置组分配装置以及分布式存储系统中的监视器的具体工作过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种归置组分配方法，其特征在于，其应用于分布式存储系统Ceph集群中的监视器，所述Ceph集群包括若干存储池，并且若干存储池中的每个存储池均对应一分配规则组，以为服务场景不同的存储池配置不同的分配规则组；
获取目标归置组PG对应的目标存储池，并确定所述目标存储池对应的目标分配规则组，其中，所述目标分配规则组包括权重系数集，所述权重系数集包括各对象存储设备ODS各自对应的权重系数；
利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS，并将所述目标归置组PG分配至所述目标对象存储设备ODS，使分配至所述目标存储池的目标归置组PG合适目标对象存储设备ODS。
2.根据权利要求1所述归置组分配方法，其特征在于，所述若干存储池中至少存在第一存储池和第二存储池，第一存储池对应的分配规则组与第二存储池对应的分配规则组不同。
3.根据权利要求1所述归置组分配方法，其特征在于，所述若干存储池对应的所有分配规则组中包括一默认分配规则组，所述归置组分配方法还包括：
当Ceph集群新建存储池时，将所述默认分配规则组分配给该存储池。
4.根据权利要求3所述归置组分配方法，其特征在于，所述默认分配规则组为Ceph集群初始化时配置的，所述默认分配规则组中的权重系数集为Ceph集群的全局权重系数集。
5.根据权利要求1所述归置组分配方法，其特征在于，所述目标分配规则组包括CRUSH规则，所述利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS具体包括：
读取所述目标分配规则组包括的CRUSH规则以及权重系数集；
基于权重系数集，利用CRUSH算法执行所述CRUSH规则以确定所述目标归置组PG对应的目标对象存储设备ODS。
6.根据权利要求5所述归置组分配方法，其特征在于，所述基于权重系数集，利用CRUSH算法执行所述CRUSH规则以确定所述目标归置组PG对应的目标对象存储设备ODS具体包括：
获取所述目标存储池的副本数；
将所述权重系数集及所述副本数作为CRUSH算法的输入项，根据所述CRUSH规则执行CRUSH算法以得到所述目标归置组PG对应的目标对象存储设备ODS。
7.根据权利要求1-6任意一项所述的归置组分配方法，其特征在于，所述若干存储池对应的所有分配规则组存储于OSD map内，以使得各分配规则组被Ceph集群访问。
8.一种归置组分配装置，其特征在于，所述装置应用于分布式存储系统Ceph集群中的监视器，所述Ceph集群包括若干存储池，并且若干存储池中的每个存储池均对应一分配规则组；所述归置组分配装置包括：
获取模块，用于获取目标归置组PG对应的目标存储池，并确定所述目标存储池对应的目标分配规则组，其中，所述目标分配规则组包括权重系数集，所述权重系数集包括各对象存储设备ODS各自对应的权重系数；
分配模块，用于利用CRUSH算法，基于所述分配规则组确定所述目标归置组PG对应的目标对象存储设备ODS，并将所述目标归置组PG分配至所述目标对象存储设备ODS。
9.根据权利要求8所述的归置组分配装置，其特征在于，所述若干存储池中至少存在第一存储池和第二存储池，第一存储池对应的分配规则组与第二存储池对应的分配规则组不同。
10.一种分布式存储系统，其特征在于，所述分布式存储系统包括应用如权利要求1-7任一所述的归置组分配方法的监视器。
CN202110149455.XA 2021-02-03 2021-02-03 一种归置组分配方法、装置以及分布式存储系统 Active CN112817535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110149455.XA CN112817535B (zh) 2021-02-03 2021-02-03 一种归置组分配方法、装置以及分布式存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110149455.XA CN112817535B (zh) 2021-02-03 2021-02-03 一种归置组分配方法、装置以及分布式存储系统

Publications (2)

Publication Number Publication Date
CN112817535A CN112817535A (zh) 2021-05-18
CN112817535B true CN112817535B (zh) 2021-11-02

Family

ID=75860996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110149455.XA Active CN112817535B (zh) 2021-02-03 2021-02-03 一种归置组分配方法、装置以及分布式存储系统

Country Status (1)

Country Link
CN (1) CN112817535B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114237520B (zh) * 2022-02-28 2022-07-08 广东睿江云计算股份有限公司 一种ceph集群数据均衡方法以及系统
CN117061541B (zh) * 2023-10-11 2024-02-09 苏州元脑智能科技有限公司 存储双池绑定方法、装置、电子设备及可读存储介质
CN117453153B (zh) * 2023-12-26 2024-04-09 柏科数据技术（深圳）股份有限公司 基于Crush规则的文件存储方法、装置、终端及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991170A (zh) * 2017-04-01 2017-07-28 广东浪潮大数据研究有限公司 一种分布式文件容量均衡的方法与装置
CN108052655A (zh) * 2017-12-28 2018-05-18 新华三技术有限公司 数据写入及读取方法
CN110018799A (zh) * 2019-04-12 2019-07-16 苏州浪潮智能科技有限公司 一种存储池pg主确定方法、装置、设备及可读存储介质
CN110427160A (zh) * 2019-08-09 2019-11-08 济南浪潮数据技术有限公司 归置组分布的均衡方法及装置
CN111090390A (zh) * 2019-10-31 2020-05-01 平安科技（深圳）有限公司 分布式系统的存储分配方法、装置及计算机设备
CN111309438A (zh) * 2020-02-14 2020-06-19 苏州浪潮智能科技有限公司 一种基于特定存储设备的虚拟化系统部署方法和装置
CN111857735A (zh) * 2020-07-23 2020-10-30 浪潮云信息技术股份公司 一种基于Rook部署Ceph的Crush创建方法及系统
CN111930317A (zh) * 2020-09-21 2020-11-13 柏科数据技术（深圳）股份有限公司 基于ceph数据分布方法、装置、服务器及存储介质
CN111930713A (zh) * 2020-09-21 2020-11-13 柏科数据技术（深圳）股份有限公司 Ceph放置组的分配方法、装置、服务器及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10003649B2 (en) * 2015-05-07 2018-06-19 Dell Products Lp Systems and methods to improve read/write performance in object storage applications
CN112181736A (zh) * 2020-09-23 2021-01-05 星辰天合（北京）数据科技有限公司 分布式存储系统及分布式存储系统的配置方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991170A (zh) * 2017-04-01 2017-07-28 广东浪潮大数据研究有限公司 一种分布式文件容量均衡的方法与装置
CN108052655A (zh) * 2017-12-28 2018-05-18 新华三技术有限公司 数据写入及读取方法
CN110018799A (zh) * 2019-04-12 2019-07-16 苏州浪潮智能科技有限公司 一种存储池pg主确定方法、装置、设备及可读存储介质
CN110427160A (zh) * 2019-08-09 2019-11-08 济南浪潮数据技术有限公司 归置组分布的均衡方法及装置
CN111090390A (zh) * 2019-10-31 2020-05-01 平安科技（深圳）有限公司 分布式系统的存储分配方法、装置及计算机设备
CN111309438A (zh) * 2020-02-14 2020-06-19 苏州浪潮智能科技有限公司 一种基于特定存储设备的虚拟化系统部署方法和装置
CN111857735A (zh) * 2020-07-23 2020-10-30 浪潮云信息技术股份公司 一种基于Rook部署Ceph的Crush创建方法及系统
CN111930317A (zh) * 2020-09-21 2020-11-13 柏科数据技术（深圳）股份有限公司 基于ceph数据分布方法、装置、服务器及存储介质
CN111930713A (zh) * 2020-09-21 2020-11-13 柏科数据技术（深圳）股份有限公司 Ceph放置组的分配方法、装置、服务器及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于Ceph的分布式存储节能技术研究与实现";沈良好;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;20170315;正文第8-11页 *

Also Published As

Publication number Publication date
CN112817535A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112817535B (zh) 一种归置组分配方法、装置以及分布式存储系统
US8984085B2 (en) Apparatus and method for controlling distributed memory cluster
US6757802B2 (en) Method for memory heap and buddy system management for service aware networks
CN110209490B (zh) 一种内存管理方法及相关设备
US20130263151A1 (en) Consistent Hashing Table for Workload Distribution
CN107667363A (zh) 具有多种可选数据处理策略的基于对象的存储集群
TWI694700B (zh) 資料處理方法和裝置、用戶端
US9690629B1 (en) Distributed batch matching of videos based on recency of occurrence of events associated with the videos
JP2004164370A (ja) 仮想ボリュームの記憶領域割当方法、その装置及びプログラム
JP2005100451A (ja) ファイルシステムにおけるオブジェクトの効率的な記憶
KR20170073605A (ko) 합성 파티션 함수 제공 기법
CN109976907A (zh) 任务分配方法和系统、电子设备、计算机可读介质
CN111158868B (zh) 计算系统及用于操作计算系统的方法
US11093143B2 (en) Methods and systems for managing key-value solid state drives (KV SSDS)
WO2010036656A2 (en) Directing data units to a core supporting tasks
CN113687795A (zh) 一种实现有状态应用的存储卷隔离性分配的方法和系统
US10649967B2 (en) Memory object pool use in a distributed index and query system
WO2017050064A1 (zh) 共享内存数据库的内存管理方法及装置
US5940865A (en) Apparatus and method for accessing plural storage devices in predetermined order by slot allocation
CN112380004B (zh) 内存管理方法、装置、计算机可读存储介质及电子设备
CN107395708A (zh) 一种处理下载请求的方法和装置
CN113590332A (zh) 内存管理方法、装置及内存分配器
CN112711564B (zh) 合并处理方法以及相关设备
CN110688223B (zh) 数据处理方法及相关产品
CN110096355B (zh) 一种共享资源分配方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant