CN112596758A - 一种OSDMap的版本更新方法、装置、设备和介质 - Google Patents

Abstract

本申请提供了一种OSDMap的版本更新方法、装置、设备及介质，该方法包括：对象存储设备OSD在确认OSDMap的版本需要发生变更时，确定需要进行版本更新的放置组PG和所述PG中当前OSDMap的版本号；将所述PG加入版本更新优先级队列中与所述当前OSDMap的版本号相对应的位置处，所述版本更新优先级队列包括OSDMap的版本号与PG之间的映射关系；依据版本号之间的更新优先级将所述版本更新优先级队列中版本号对应的PG出队，以使工作线程更新出队的PG中OSDMap的版本。采用上述方法，能够在PG当前的OSDMap的版本号与最新的OSDMap的版本号相差过大时，进行所有PG的OSDMap的同步过程中，减少了线程资源的浪费。

Description

一种OSDMap的版本更新方法、装置、设备和介质

技术领域

本申请涉及大数据技术领域，尤其涉及一种OSDMap的版本更新方法、装置、设备及介质。

背景技术

分布式存储系统Ceph是采用商用硬件来构建大规模的、具有高可用性、高可扩展性、高性能的分布式存储系统，目前已经成为主流的开源分布式存储解决方案之一。Ceph对象寻址过程为：ceph通过PG(PlaceMent Group，放置组，对象的集合，是一种逻辑概念)来管理对象，对象通过对oid(对象名)计算哈希值，再用PG的数量对该哈希值取模来找到对应的PG(即pgid)，至此完成了对象到PG的寻址，然后再通过CRUSH算法实现PG到OSD(对象存储设备，Object Storage Device)的寻址，CRUSH可以尽可能的保证PG能够均匀的分布在OSD上，从而实现数据均衡。

OSD正常状态为UP，而当OSD出现异常时，如节点关机、磁盘故障等，OSD的状态会切换为DOWN(此状态下OSD无法写入数据)。实际应用中，Ceph集群中只要有OSD发生状态的变化，就会生成一张新的OSDMap，该map记录了这一时刻集群中所有OSD的状态。OSD状态的变化会导致映射到该OSD的PG需要发起数据恢复(peering)。在peering过程中PG会更新PG自身的OSDMap版本号，以及遍历历史的OSDMap，从而计算历史上该PG映射的OSD，以此来知晓该PG在历史过程中的数据写入情况，从而恢复出历史数据，保证数据安全性。但是在peering过程中该PG是无法处理用户下发的业务的，所以PG长时间处于peering会导致业务中断。

为防止单个PG过多占用时间片，现有技术方案是分多次对OSDMap进行同步，每处理一定数量OSDMap后，OSD会让出时间片，让该PG重新入队，等待下次继续同步OSDMap；然后接着处理别的PG，也就是说等待更新OSDMap的PG是一个先进先出的队列，按照队列更新各个PG的OSDMap，以保证所有PG都同步进行OSDMap更新，以避免某个PG的OSDMap版本号落后太多，进而避免OSD因需要保存大量的OSDMap而导致浪费存储空间的情况发生。但是现有技术的这种同步方法中，版本号最新的PG即使出队后也不会被线程做实质性处理，又会重新入队，直到版本号旧的PG追上来后，才能更新版本号新的PG，这样会导致在集群规模较大时容易出现OSD震荡，OSDMap相差较大时，会导致线程资源过于浪费，同步完所有PG的OSDMap版本号需要花费很长时间，在这段时间内PG将一直处于peering状态，造成业务中断。

因此，如何在PG当前的OSDMap的版本号与最新的OSDMap的版本号相差过大时，进行所有PG的OSDMap的同步过程中，减少线程资源的浪费，以及减少不必要的出队处理，从而加快PG的OSDMap更新速度，进而加快数据恢复是值得考虑的技术问题之一。

发明内容

有鉴于此，本申请提供一种OSDMap的版本更新方法、装置、设备及介质，用以在PG当前的OSDMap的版本号与最新的OSDMap的版本号相差过大时，进行所有PG的OSDMap的同步过程中，减少线程资源的浪费。

具体地，本申请是通过如下技术方案实现的：

根据本申请的第一方面，提供一种OSDMap的版本更新方法，包括：

对象存储设备OSD在确认OSDMap的版本需要发生变更时，确定需要进行版本更新的放置组PG和所述PG中当前OSDMap的版本号；

将所述PG加入版本更新优先级队列中与所述当前OSDMap的版本号相对应的位置处，所述版本更新优先级队列包括OSDMap的版本号与PG之间的映射关系；

依据版本号之间的更新优先级将所述版本更新优先级队列中版本号对应的PG出队，以使工作线程更新出队的PG中OSDMap的版本。

可选地，依据版本号之间的更新优先级将所述版本更新优先级队列中版本号对应的PG出队，具体包括：

按照所述版本更新优先级队列中版本号由低到高的顺序将对应的PG出队。

可选地，按照下述方法确定OSD的OSDMap的版本需要发生变更为：

若接收到监控器发送的最新的OSDMap时，确定所述OSD的OSDMap的版本需要发生变更，其中所述最新的OSDMap为所述监控器感知到分布式存储系统ceph集群中OSD状态发生变化时生成的。

可选地，所述版本更新优先级队列为键值对Key-Value的存储结构，其中，Key为OSDMap的版本号，Value为具有该OSDMap的版本号的所有PG。

根据本申请的第二方面，提供一种OSDMap的版本更新装置，包括：

确定模块，用于在确认OSDMap的版本需要发生变更时，确定需要进行版本更新的放置组PG和所述PG中当前OSDMap的版本号；

写入模块，用于将所述PG加入版本更新优先级队列中与所述当前OSDMap的版本号相对应的位置处，所述版本更新优先级队列包括OSDMap的版本号与PG之间的映射关系；

出队模块，用于依据版本号之间的更新优先级将所述版本更新优先级队列中版本号对应的PG出队，以使工作线程更新出队的PG中OSDMap的版本。

可选地，所述出队模块，具体用于按照所述版本更新优先级队列中版本号由低到高的顺序将对应的PG出队。

可选地，所述确定模块，具体用于按照下述方法确定OSD的OSDMap的版本需要发生变更为：若接收到监控器发送的最新的OSDMap时，确定所述OSD的OSDMap的版本需要发生变更，其中所述最新的OSDMap为所述监控器感知到分布式存储系统ceph集群中OSD状态发生变化时生成的。

可选地，本实施例提供的版本更新优先级队列为键值对Key-Value的存储结构，其中，Key为OSDMap的版本号，Value为具有该OSDMap的版本号的所有PG。

根据本申请的第三方面，提供一种电子设备，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的计算机程序，处理器被计算机程序促使执行本申请实施例第一方面所提供的方法。

根据本申请的第四方面，提供一种机器可读存储介质，机器可读存储介质存储有计算机程序，在被处理器调用和执行时，计算机程序促使处理器执行本申请实施例第一方面所提供的方法。

本申请实施例的有益效果：

通过设置版本更新优先级队列，且该版本更新优先级队列中记录了版本号与PG之间的映射关系，然后依据版本号之间的更新优先级将版本更新优先级队列中版本号对应的PG出队，以使工作线程更新出队的PG中OSDMap的版本，从而使得高优先级的版本号(低版本号)对应的PG优先出队，从来实现了在PG当前的OSDMap的版本号与最新的OSDMap的版本号相差过大时，所有PG的OSDMap的同步，同时也避免了现有技术中先进先出队列中高版本号对应的PG出队时线程无实质性处理所造成的线程资源浪费的情况发生，同时也减少了不必要的出队处理，在一定程度上提升了数据恢复的速度。

附图说明

图1是本申请实施例提供的一种OSDMap的版本更新方法的流程示意图；

图2是本申请实施例提供的一种OSDMap的版本更新装置的框图；

图3是本申请实施例提供的一种实施OSDMap的版本更新方法的电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相对应的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面对本申请提供的OSDMap的版本更新方法进行详细地说明。

参见图1，图1是本申请提供的一种OSDMap的版本更新方法的流程图，该方法可包括如下所示步骤：

S101、对象存储设备OSD在确定OSDMap的版本需要发生变更时，确定需要进行版本更新的放置组PG和所述PG中当前OSDMap的版本号。

本步骤中，可以按照下述过程确定OSDMap的版本需要发生变更：若接收到监控器发送的最新的OSDMap时，确定所述OSD的OSDMap的版本需要发生变更，其中所述最新的OSDMap为所述监控器感知到分布式存储系统ceph集群中OSD状态发生变化时生成的。

具体地，ceph集群中只要有OSD的状态发生变化，就会生成一个OSDMap，为了与上一次生成的OSDMap区分，伴随着版本号的改变，因此，当监控器Monitor本次监控到ceph集群中存在发生变化的OSD时，则会产生一个新版本的OSDMap，然后为了方便记录，新产生的OSDMap会分配一个版本号。然后会将该新产生的OSDMap发送给需要更新OSDMap的OSD。这样，当OSD接收到监控器发送的最新的OSDMap时，则确认其上的OSDMap的版本需要发生变更。

当OSD确认OSDMap的版本需要发生变更时，则可以确认该OSD上需要进行版本更新的PG，以及PG中当前OSDMap的版本号。

S102、将所述PG加入版本更新优先级队列中与所述当前OSDMap的版本号相对应的位置处，所述版本更新优先级队列包括OSDMap的版本号与PG之间的映射关系。

具体地，本实施例维护了版本更新优先级队列，该版本更新优先级队列记录了需要执行更新版本操作的PG与该PG上OSDMap的版本号之间的映射关系。当基于步骤S102确认OSD上的PG需要执行OSDMap的版本更新操作时，会将确定出的PG及该PG上当前记录的OSDMap的版本号(即，上述当前的OSDMap的版本号)加入到版本更新优先级队列，当写入版本更新优先级队列时，会将PG写入版本更新优先级队列中与上述当前的OSDMap的版本号相对应的位置处。需要说明的是，在将PG写入版本更新优先级队列时，写入的可以是PG的标识，以方便区分。

为了方便理解，以下述表1所示的版本更新优先级队列为例进行说明，若步骤S101中OSD确定出需要执行版本更新操作的PG为PG6，且该PG6上当前OSDMap的版本为版本2，则在表1中第二行的右侧添加PG6，即，在PG4的后边写入PG6。

表1

可选地，上述版本更新优先级队列为键值对Key-Value的存储结构，其中，Key为OSDMap的版本号，Value为具有该OSDMap的版本号的所有PG。

S103、依据版本号之间的更新优先级将所述版本更新优先级队列中版本号对应的PG出队，以使工作线程更新出队的PG中OSDMap的版本。

具体地，通过根据实际需求预先设定版本号之间的更新优先级，这样在更新OSDMap的版本时就可以按需更新，例如将高的版本号设置低的优先级，低的版本号设置高的优先级，这样在出队时可以保证高优先级的版本号对应的PG优先出队，使得工作线程更新出队的PG中的OSDMap的版本号，从而也就避免了高优先级也即高版本号对应的PG优先出队所造成的线程不做实质性处理的情况发生，从而避免了线程资源的浪费。

此外，还可以根据实际情况，设定紧急更新的PG对应的版本号为高优先级，不紧急更新的PG的版本号设置低优先级，这样可以保证高优先级的版本号对应的PG优先出队，使得工作线程更新出队的PG中的OSDMap的版本号。

采用图1所示的流程，通过设置版本更新优先级队列，且该版本更新优先级队列中记录了版本号与PG之间的映射关系，然后依据版本号之间的更新优先级将版本更新优先级队列中版本号对应的PG出队，以使工作线程更新出队的PG中OSDMap的版本，从而使得高优先级的版本号(低版本号)对应的PG优先出队，从来实现了在PG当前的OSDMap的版本号与最新的OSDMap的版本号相差过大时，所有PG的OSDMap的同步，进而避免了现有技术中先进先出队列中高版本号对应的PG出队时线程无实质性处理所造成的线程资源浪费的情况发生，同时也减少了不必要的出队处理，在一定程度上提升了数据恢复的速度。

可选地，可以按照下述过程实施依据版本号之间的更新优先级将所述版本更新优先级队列中版本号对应的PG出队：按照版本更新优先级队列中版本号由低到高的顺序将对应的PG出队。

具体地，为了方便更新，可以按照版本号由低到高的顺序依次设置优先级，优先级设置原则为：越低的版本号对应的优先级越高，越高的版本号对应的优先级越低，然后按照版本号由低到高的顺序先将低版本号对应的PG优先出队，这样就能保证低版本号的PG优先被线程处理，从而也就避免了线程资源的浪费，进而加快了数据恢复peering的速度。

为了更好地理解本实施例，以下给出了本实施例与现有技术的对比结果说明：在对比网络故障导致OSD频繁震荡场景下两种方案peering持续时间，本申请实施例提供的方案对peering的时间优化效果明显。通过表2数据显示，在相等集群规模，PG数量都是1024个时，分别进行四次对照测试，每次用现有技术的方案及本实施例提供的方案分别进行持续30min的网络震荡，从而构造出OSD震荡，网络恢复后ceph集群开始peering数据恢复，本实施例提供的技术方案可以将peering时间控制在10分钟左右，peering时间相较于现有技术节省了很长时间，效果明显。

表2

1024个PG	第一次测试	第二次测试	第三次测试	第四次测试
					现有方案	78min	90min	85min	88min
本申请实施例	10min	12min	10min	11min

基于同一发明构思，本申请还提供了与上述OSDMap的版本更新方法对应的OSDMap的版本更新装置。该OSDMap的版本更新装置的实施具体可以参考上述对OSDMap的版本更新方法的描述，此处不再一一论述。

参见图2，图2是本申请一示例性实施例提供的一种OSDMap的版本更新装置，包括：

确定模块201，用于在确认OSDMap的版本需要发生变更时，确定需要进行版本更新的放置组PG和所述PG中当前OSDMap的版本号；

写入模块202，用于将所述PG加入版本更新优先级队列中与所述当前OSDMap的版本号相对应的位置处，所述版本更新优先级队列包括OSDMap的版本号与PG之间的映射关系；

出队模块203，用于依据版本号之间的更新优先级将所述版本更新优先级队列中版本号对应的PG出队，以使工作线程更新出队的PG中OSDMap的版本。

可选地，上述出队模块203，具体用于按照所述版本更新优先级队列中版本号由低到高的顺序将对应的PG出队。

可选地，上述确定模块201，具体用于按照下述方法确定OSD的OSDMap的版本需要发生变更为：若接收到监控器发送的最新的OSDMap时，确定所述OSD的OSDMap的版本需要发生变更，其中所述最新的OSDMap为所述监控器感知到分布式存储系统ceph集群中OSD状态发生变化时生成的。

可选地，本实施例提供的版本更新优先级队列为键值对Key-Value的存储结构，其中，Key为OSDMap的版本号，Value为具有该OSDMap的版本号的所有PG。

基于同一发明构思，本申请实施例提供了一种电子设备，如图3所示，包括处理器301和机器可读存储介质302，机器可读存储介质302存储有能够被处理器301执行的计算机程序，处理器301被计算机程序促使执行本申请实施例所提供的OSDMap的版本更新方法。

上述计算机可读存储介质可以包括RAM(Random Access Memory，随机存取存储器)、DDR SRAM(Double Data Rate Synchronous Dynamic Random Access Memory，双倍速率同步动态随机存储器)，也可以包括NVM(Non-volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，计算机可读存储介质还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

另外，本申请实施例提供了一种机器可读存储介质，机器可读存储介质存储有计算机程序，在被处理器调用和执行时，计算机程序促使处理器执行本申请实施例所提供的OSDMap的版本更新方法。

对于电子设备以及机器可读存储介质实施例而言，由于其涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

上述装置中各个单元/模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的，作为单元/模块显示的部件可以是或者也可以不是物理单元/模块，即可以位于一个地方，或者也可以分布到多个网络单元/模块上。可以根据实际的需要选择其中的部分或者全部单元/模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种OSDMap的版本更新方法，其特征在于，包括：

对象存储设备OSD在确认OSDMap的版本需要发生变更时，确定需要进行版本更新的放置组PG和所述PG中当前OSDMap的版本号；

将所述PG加入版本更新优先级队列中与所述当前OSDMap的版本号相对应的位置处，所述版本更新优先级队列包括OSDMap的版本号与PG之间的映射关系；

依据版本号之间的更新优先级将所述版本更新优先级队列中版本号对应的PG出队，以使工作线程更新出队的PG中OSDMap的版本。

2.根据权利要求1所述的方法，其特征在于，依据版本号之间的更新优先级将所述版本更新优先级队列中版本号对应的PG出队，具体包括：

按照所述版本更新优先级队列中版本号由低到高的顺序将对应的PG出队。

3.根据权利要求1所述的方法，其特征在于，按照下述方法确定OSD的OSDMap的版本需要发生变更为：

若接收到监控器发送的最新的OSDMap时，确定所述OSD的OSDMap的版本需要发生变更，其中所述最新的OSDMap为所述监控器感知到分布式存储系统ceph集群中OSD状态发生变化时生成的。

4.根据权利要求1所述的方法，其特征在于，所述版本更新优先级队列为键值对Key-Value的存储结构，其中，Key为OSDMap的版本号，Value为具有该OSDMap的版本号的所有PG。

5.一种OSDMap的版本更新装置，其特征在于，包括：

确定模块，用于在确认OSDMap的版本需要发生变更时，确定需要进行版本更新的放置组PG和所述PG中当前OSDMap的版本号；

写入模块，用于将所述PG加入版本更新优先级队列中与所述当前OSDMap的版本号相对应的位置处，所述版本更新优先级队列包括OSDMap的版本号与PG之间的映射关系；

出队模块，用于依据版本号之间的更新优先级将所述版本更新优先级队列中版本号对应的PG出队，以使工作线程更新出队的PG中OSDMap的版本。

6.根据权利要求5所述的装置，其特征在于，

所述出队模块，具体用于按照所述版本更新优先级队列中版本号由低到高的顺序将对应的PG出队。

7.根据权利要求5所述的装置，其特征在于，

所述确定模块，具体用于按照下述方法确定OSD的OSDMap的版本需要发生变更为：若接收到监控器发送的最新的OSDMap时，确定所述OSD的OSDMap的版本需要发生变更，其中所述最新的OSDMap为所述监控器感知到分布式存储系统ceph集群中OSD状态发生变化时生成的。

8.根据权利要求5所述的装置，其特征在于，所述版本更新优先级队列为键值对Key-Value的存储结构，其中，Key为OSDMap的版本号，Value为具有该OSDMap的版本号的所有PG。

9.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的计算机程序，所述处理器被所述计算机程序促使执行权利要求1-5任一项所述的方法。

10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有计算机程序，在被处理器调用和执行时，所述计算机程序促使所述处理器执行权利要求1-5任一项所述的方法。

Images