CN111913667A - 一种基于Ceph的OSD阻塞检测方法、系统、终端及存储介质 - Google Patents

一种基于Ceph的OSD阻塞检测方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN111913667A
CN111913667A CN202010785286.4A CN202010785286A CN111913667A CN 111913667 A CN111913667 A CN 111913667A CN 202010785286 A CN202010785286 A CN 202010785286A CN 111913667 A CN111913667 A CN 111913667A
Authority
CN
China
Prior art keywords
osd
blocking
blocked
ceph
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010785286.4A
Other languages
English (en)
Other versions
CN111913667B (zh
Inventor
雷林凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010785286.4A priority Critical patent/CN111913667B/zh
Priority to PCT/CN2020/118442 priority patent/WO2021120777A1/zh
Publication of CN111913667A publication Critical patent/CN111913667A/zh
Application granted granted Critical
Publication of CN111913667B publication Critical patent/CN111913667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于Ceph的OSD阻塞检测方法、系统、终端及存储介质。所述方法包括：通过OSD进程接收IO请求；统计所述IO请求的排队时延或等待时延；判断所述排队时延或等待时延是否超过设定阈值，如果超过设定阈值，判定所述OSD进程为阻塞OSD，并将所述阻塞OSD的阻塞消息发送至Monitor主节点；通过所述Monitor主节点接收所述阻塞消息，并计算所述阻塞OSD的阻塞状态，根据所述阻塞状态的计算结果控制所述阻塞OSD的运行状态。本发明可以确保IO阻塞不进一步扩散，从而保证Ceph集群稳定运行。在整个OSD阻塞检测和集群自愈过程中，无需人工干预，实现了自动化的集群自处理和维护。

Description

一种基于Ceph的OSD阻塞检测方法、系统、终端及存储介质
技术领域
本发明涉及集群管理技术领域，特别是涉及一种基于Ceph的OSD阻塞检测方法、系统、终端及存储介质。
背景技术
Ceph(分布式文件系统)作为集对象、块、文件3者于一身的分布式存储开源系统，由于无单点、高性能、易扩展的特性，愈加受到追捧和使用。Ceph尽管有如此多的优点，但其弊端也很明显，例如系统稳定性、易用性差、系统稳定性差等，主要体现在两方面：
一、慢盘、单盘故障等硬件故障容易导致OSD(on screen display，屏幕菜单式调节方式)处理速率降低，随着请求积压，最终导致该OSD阻塞，直接影响该OSD上的所有PG(Placement Groups，中文译为放置组)；
二、网络异常导致OSD心跳偶发性失联，OSD心跳失联过程中若存在文件写入，待OSD心跳恢复正常时，由于Ceph的recovery(恢复)机制，该OSD需要恢复心跳失联过程中新写入或修改的文件，恢复过程容易导致IO(输入输出)阻塞，最终同样影响该OSD上的所有PG。
基于上述问题，极大影响了Ceph运行的稳定性，不利于用户的使用体验。
发明内容
本发明提供了一种基于Ceph的OSD阻塞检测方法、系统、终端及存储介质，能够在一定程度上解决现有技术中存在的不足。
为解决上述技术问题，本发明采用的技术方案为：
一种基于Ceph的OSD阻塞检测方法，包括：
通过OSD进程接收IO请求；
统计所述IO请求的排队时延或等待时延；
判断所述排队时延或等待时延是否超过设定阈值，如果超过设定阈值，判定所述OSD进程为阻塞OSD，并将所述阻塞OSD的阻塞消息发送至Monitor主节点；
通过所述Monitor主节点接收所述阻塞消息，并计算所述阻塞OSD的阻塞状态，根据所述阻塞状态的计算结果控制所述阻塞OSD的运行状态。
本发明实施例采取的技术方案还包括：所述通过OSD进程接收IO请求还包括：
将所述IO请求放入等待处理队列，并记录所述IO请求的队列进入时间。
本发明实施例采取的技术方案还包括：所述判定所述OSD进程为阻塞OSD包括：
判断所述IO请求在所述等待处理队列中的排队时延是否超过设定阈值；如果超过设定阈值，判定所述OSD进程为内阻塞OSD。
本发明实施例采取的技术方案还包括：所述判定所述OSD进程为阻塞OSD还包括：
从所述等待处理队列中提取IO请求进行处理，并实时判断所述IO请求对应的目标对象状态是否正常，
如果状态正常，根据所述IO请求对所述目标对象进行操作；
如果所述目标对象处于恢复状态中，统计所述IO请求等待所述目标对象恢复的等待时延；
如果所述等待时延超过设定阈值，判定所述OSD进程为外阻塞OSD。
本发明实施例采取的技术方案还包括：所述将所述阻塞OSD的阻塞消息发送至Monitor主节点包括：
通过OSD后台阻塞检查线程将所述内阻塞OSD或外阻塞OSD的OSD ID、阻塞类型、阻塞时间、阻塞的IO请求数量发送至monitor主节点。
本发明实施例采取的技术方案还包括：所述monitor主节点计算所述阻塞OSD的阻塞状态，根据所述阻塞状态的计算结果控制所述阻塞OSD的运行状态包括：
查看所述阻塞OSD所归属的存储池，获取存储池的故障冗余模式及故障域，所述故障域包括OSD或host或room；
以所述故障域为单位计算实际故障数N_real，如果OSD.x和OSD.y属于同一个host，且故障域为host，则所述实际故障数N_real记为1；如果所述故障域为OSD，则所述实际故障数N_real记为2；
计算所述阻塞OSD所属的存储池能容忍的最大故障数N_max；
将所述实际故障数N_real和所述最大故障数N_max进行比较，如果N_real<＝N_max，则允许所述阻塞OSD停止运行，向所述阻塞OSD主机返回停止运行命令；否则，不允许所述阻塞OSD停止运行。
本发明实施例采取的技术方案还包括：所述向所述阻塞OSD主机返回停止运行命令后还包括：
所述阻塞OSD主机接收到停止运行命令后，控制所述阻塞OSD停止运行，并更新Ceph集群的OSD map，使得新的IO请求不再发往已停止运行的OSD进程。
本发明实施例采取的另一技术方案为：一种基于Ceph的OSD阻塞检测系统，包括：
请求接收模块：用于通过OSD进程接收IO请求；
阻塞判断模块：用于统计所述IO请求的排队时延或等待时延，并判断所述排队时延或等待时延是否超过设定阈值，如果超过设定阈值，判定所述OSD进程为阻塞OSD，并将所述阻塞OSD的阻塞消息发送至Monitor主节点；
主节点控制模块：用于接收所述阻塞消息，计算所述阻塞OSD的阻塞状态，根据所述阻塞状态的计算结果控制所述阻塞OSD的运行状态。
本发明实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现上述的基于Ceph的OSD阻塞检测方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以执行所述基于Ceph的OSD阻塞检测操作。
本发明实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行上述的基于Ceph的OSD阻塞检测方法。
本发明的有益效果是：本发明实施例基于Ceph的OSD阻塞检测方法、系统、终端及存储介质通过对OSD进程的内阻塞和外阻塞两类场景分别进行阻塞检测，并通过Monitor主节点对阻塞OSD的阻塞状态进行计算后，控制阻塞OSD停止运行，确保IO阻塞不进一步扩散，保证Ceph集群稳定运行。在整个OSD阻塞检测和集群自愈过程中，无需人工干预，实现了自动化的集群自处理和维护。
附图说明
图1是本发明第一实施例的基于Ceph的OSD阻塞检测方法的流程示意图；
图2是本发明第二实施例的基于Ceph的OSD阻塞检测方法的流程示意图；
图3是本发明实施例基于Ceph的OSD阻塞检测系统的结构示意图；
图4是本发明实施例的终端结构示意图；
图5是本发明实施例的存储介质结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参阅图1，是本发明第一实施例的基于Ceph的OSD阻塞检测方法的流程示意图。本发明第一实施例的基于Ceph的OSD阻塞检测方法包括以下步骤：
S10：通过OSD进程接收来自RGW(Rados Gateway，Ceph之对象存储网关)或RBD(RADOS block device，块设备形态)的IO请求，将接收的IO请求放入等待处理队列，同时，记录每个IO请求的队列进入时间；
S11：根据设定时间周期性地统计等待处理队列中每个IO请求的排队时延；
S12：判断每个IO请求在等待处理队列中的排队时延是否超过设定阈值，如果超过设定阈值，执行S13；如果没有超过设定阈值，继续执行S11；
优选地，本发明实施例将该阈值设定为30S,具体可根据实际情况进行调节。
S13：判定该OSD进程为内阻塞OSD，将该内阻塞OSD的标记位设置为true；
其中，OSD作为IO请求的处理者，其处理速率直接影响整个集群的IO吞吐量和IOPS。在实际操作过程中，由于慢盘、盘故障等主机硬件问题会导致OSD处理速率较慢，致使OSD进程中等待处理队列中的IO请求产生堆积，且IO请求的排队时延越来越大，最终导致该OSD进程上所有新的IO请求都得不到处理，由此导致IO阻塞的OSD即为内阻塞OSD。
S14：通过OSD后台阻塞检查线程将标记位被设置为true的内阻塞OSD的OSD ID、阻塞类型、阻塞时间、阻塞的IO请求数量等数据发送至monitor主节点；
S15：Monitor主节点接收到阻塞消息后，收集内阻塞OSD的相关信息，根据内阻塞OSD的相关信息对内阻塞OSD的阻塞状态进行计算，并根据阻塞状态计算结果控制该内阻塞OSD的运行状态；即根据阻塞状态计算结果判断是否允许该内阻塞OSD停止运行，如果允许该内阻塞OSD停止运行，则向该内阻塞OSD主机返回停止运行命令；
进一步地，Monitor判断是否允许内阻塞OSD停止运行的过程包括：
(a)：查看每个内阻塞OSD所归属的pool(存储池)，获取pool的故障冗余模式，EC(Erasure Code，纠删码)还是多副本，获取pool的故障域，为OSD或host(服务器)或room(机房)等；
(b)：以故障域为单位计算实际故障数N_real，如OSD.x和OSD.y属于同一个host，且故障域为host，则故障数记为1，但如果故障域为OSD，则故障数记为2；
(c)、计算内阻塞OSD所归属pool能容忍的最大故障数N_max，EC(K+M)模式下，容忍故障M个故障单位，N副本模式下，minSize为1，容忍故障N-1个故障单位；
(d)、将计算得到的实际故障数N_real和各pool能容忍的最大故障数N_max相比较，若N_real<＝N_max，则允许此内阻塞OSD停止运行，否则，不允许此内阻塞OSD停止运行。
S16：内阻塞OSD主机接收到停止运行命令后，控制标记位为true的内阻塞OSD停止运行，并更新Ceph集群的OSD map，使得新的IO请求不再发往已停止运行的OSD进程。
请参阅图2，是本发明第二实施例的基于Ceph的OSD阻塞检测方法的流程示意图。本发明第二实施例的基于Ceph的OSD阻塞检测方法包括以下步骤：
S20：通过OSD进程接收来自RGW或RBD的IO请求，将接收的IO请求放入等待处理队列；
S21：从等待处理队列中提取IO请求进行处理，并实时判断该IO请求所对应的目标对象状态是否正常，如果状态正常，执行S22；如果目标对象处于恢复状态中，执行S23；
S22：根据IO请求进行目标对象的输入、输出或修改等操作；
S23：根据设定时间周期性地统计该IO请求等待目标对象恢复的等待时延；
S24：判断IO请求的等待时延是否超过设定阈值，如果没有超过设定阈值，继续执行S23；如果超过设定阈值，执行S25；
优选地，本发明实施例将该阈值设定为30S，具体可根据实际情况进行调节。
S25：判定该OSD进程为外阻塞OSD，将该外阻塞OSD的标记位设置为true；
其中，在实际操作过程中，由于网络等问题会导致OSD心跳偶发性失联，如果在处理IO请求过程中发生OSD心跳失联的情况，导致无法进行目标对象的输入、输出或修改等操作，则需要等待OSD心跳恢复完毕后再恢复IO请求对目标对象的输入、输出或修改等操作；在等待OSD心跳恢复过程中导致IO阻塞的OSD即为外阻塞OSD。
S26：通过OSD后台阻塞检查线程将标记位被设置为true的外阻塞OSD的OSD ID、阻塞类型、阻塞时间、阻塞的IO请求数量等数据发送至monitor主节点；
S27：Monitor主节点接收到阻塞消息后，收集外阻塞OSD的相关信息，根据外阻塞OSD的相关信息对外阻塞OSD的阻塞状态进行计算，并根据阻塞状态计算结果控制外阻塞OSD的运行状态；即根据阻塞状态计算结果判断是否允许外阻塞OSD停止运行，如果允许外阻塞OSD停止运行，则向外阻塞OSD主机返回停止运行命令；
其中，Monitor判断是否允许外阻塞OSD停止运行的过程与本发明第一实施例相同，此处不再赘述；
S28：外阻塞OSD主机接收到停止运行命令后，控制外阻塞OSD停止运行，并更新Ceph集群的OSD map，使得新的IO请求不再发往已停止运行的OSD进程。
基于上述实施例，本发明实施例针对现有Ceph的不足，对OSD进程的内阻塞和外阻塞两类场景分别进行阻塞检测，并通过Monitor主节点对阻塞OSD的阻塞状态进行计算后，控制阻塞OSD停止运行，确保IO阻塞不进一步扩散，保证Ceph集群稳定运行。在整个OSD阻塞检测和集群自愈过程中，无需人工干预，实现了自动化的集群自处理和维护。
在一个可选的实施方式中，还可以：将所述的基于Ceph的OSD阻塞检测方法的结果上传至区块链中。
具体地，基于所述的基于Ceph的OSD阻塞检测方法的结果得到对应的摘要信息，具体来说，摘要信息由所述的基于Ceph的OSD阻塞检测方法的结果进行散列处理得到，比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户可以从区块链中下载得该摘要信息，以便查证所述的基于Ceph的OSD阻塞检测方法的结果是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
请参阅图3，是本发明实施例基于Ceph的OSD阻塞检测系统的结构示意图。本发明实施例基于Ceph的OSD阻塞检测系统40包括：
请求接收模块41：用于通过OSD进程接收IO请求；
阻塞判断模块42：用于统计所述IO请求的排队时延或等待时延，并判断所述排队时延或等待时延是否超过设定阈值，如果超过设定阈值，判定所述OSD进程为阻塞OSD，并将所述阻塞OSD的阻塞消息发送至Monitor主节点；
主节点控制模块43：用于接收所述阻塞消息，计算所述阻塞OSD的阻塞状态，根据所述阻塞状态的计算结果控制所述阻塞OSD的运行状态。
请参阅图4，为本发明实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述基于Ceph的OSD阻塞检测方法的程序指令。
处理器51用于执行存储器52存储的程序指令以执行基于Ceph的OSD阻塞检测操作。
其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图5，图5为本发明实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于Ceph的OSD阻塞检测方法，其特征在于，包括：
通过OSD进程接收IO请求；
统计所述IO请求的排队时延或等待时延；
判断所述排队时延或等待时延是否超过设定阈值，如果超过设定阈值，判定所述OSD进程为阻塞OSD，并将所述阻塞OSD的阻塞消息发送至Monitor主节点；
通过所述Monitor主节点接收所述阻塞消息，并计算所述阻塞OSD的阻塞状态，根据所述阻塞状态的计算结果控制所述阻塞OSD的运行状态。
2.根据权利要求1所述的基于Ceph的OSD阻塞检测方法，其特征在于，所述通过OSD进程接收IO请求还包括：
将所述IO请求放入等待处理队列，并记录所述IO请求的队列进入时间。
3.根据权利要求2所述的基于Ceph的OSD阻塞检测方法，其特征在于，所述判定所述OSD进程为阻塞OSD包括：
判断所述IO请求在所述等待处理队列中的排队时延是否超过设定阈值；如果超过设定阈值，判定所述OSD进程为内阻塞OSD。
4.根据权利要求2所述的基于Ceph的OSD阻塞检测方法，其特征在于，所述判定所述OSD进程为阻塞OSD还包括：
从所述等待处理队列中提取IO请求进行处理，并实时判断所述IO请求对应的目标对象状态是否正常，
如果状态正常，根据所述IO请求对所述目标对象进行操作；
如果所述目标对象处于恢复状态中，统计所述IO请求等待所述目标对象恢复的等待时延；
如果所述等待时延超过设定阈值，判定所述OSD进程为外阻塞OSD。
5.根据权利要求3或4所述的基于Ceph的OSD阻塞检测方法，其特征在于，所述将所述阻塞OSD的阻塞消息发送至Monitor主节点包括：
通过OSD后台阻塞检查线程将所述内阻塞OSD或外阻塞OSD的OSD ID、阻塞类型、阻塞时间、阻塞的IO请求数量发送至monitor主节点。
6.根据权利要求5所述的基于Ceph的OSD阻塞检测方法，其特征在于，所述monitor主节点计算所述阻塞OSD的阻塞状态，根据所述阻塞状态的计算结果控制所述阻塞OSD的运行状态包括：
查看所述阻塞OSD所归属的存储池，获取存储池的故障冗余模式及故障域，所述故障域包括OSD或host或room；
以所述故障域为单位计算实际故障数N_real，如果OSD.x和OSD.y属于同一个host，且故障域为host，则所述实际故障数N_real记为1；如果所述故障域为OSD，则所述实际故障数N_real记为2；
计算所述阻塞OSD所属的存储池能容忍的最大故障数N_max；
将所述实际故障数N_real和所述最大故障数N_max进行比较，如果N_real<＝N_max，则允许所述阻塞OSD停止运行，向所述阻塞OSD主机返回停止运行命令；否则，不允许所述阻塞OSD停止运行。
7.根据权利要求6所述的基于Ceph的OSD阻塞检测方法，其特征在于，所述向所述阻塞OSD主机返回停止运行命令后还包括：
所述阻塞OSD主机接收到停止运行命令后，控制所述阻塞OSD停止运行，并更新Ceph集群的OSD map，使得新的IO请求不再发往已停止运行的OSD进程。
8.一种基于Ceph的OSD阻塞检测系统，其特征在于，包括：
请求接收模块：用于通过OSD进程接收IO请求；
阻塞判断模块：用于统计所述IO请求的排队时延或等待时延，并判断所述排队时延或等待时延是否超过设定阈值，如果超过设定阈值，判定所述OSD进程为阻塞OSD，并将所述阻塞OSD的阻塞消息发送至Monitor主节点；
主节点控制模块：用于接收所述阻塞消息，计算所述阻塞OSD的阻塞状态，根据所述阻塞状态的计算结果控制所述阻塞OSD的运行状态。
9.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1～7任一项所述的基于Ceph的OSD阻塞检测方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以执行所述基于Ceph的OSD阻塞检测方法。
10.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1～7任一项所述的基于Ceph的OSD阻塞检测方法。
CN202010785286.4A 2020-08-06 2020-08-06 一种基于Ceph的OSD阻塞检测方法、系统、终端及存储介质 Active CN111913667B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010785286.4A CN111913667B (zh) 2020-08-06 2020-08-06 一种基于Ceph的OSD阻塞检测方法、系统、终端及存储介质
PCT/CN2020/118442 WO2021120777A1 (zh) 2020-08-06 2020-09-28 一种基于 Ceph 的 OSD 阻塞检测方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010785286.4A CN111913667B (zh) 2020-08-06 2020-08-06 一种基于Ceph的OSD阻塞检测方法、系统、终端及存储介质

Publications (2)

Publication Number Publication Date
CN111913667A true CN111913667A (zh) 2020-11-10
CN111913667B CN111913667B (zh) 2023-03-14

Family

ID=73288233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010785286.4A Active CN111913667B (zh) 2020-08-06 2020-08-06 一种基于Ceph的OSD阻塞检测方法、系统、终端及存储介质

Country Status (2)

Country Link
CN (1) CN111913667B (zh)
WO (1) WO2021120777A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306815A (zh) * 2020-11-16 2021-02-02 新华三大数据技术有限公司 Ceph中OSD侧主从间IO信息监控方法、装置、设备及介质
CN113031873A (zh) * 2021-03-26 2021-06-25 山东英信计算机技术有限公司 一种io请求处理方法、装置、设备及可读存储介质
CN113687782A (zh) * 2021-07-30 2021-11-23 济南浪潮数据技术有限公司 存储池时延确定方法、装置、电子设备及可读存储介质
CN114489474A (zh) * 2021-12-01 2022-05-13 湖南麒麟信安科技股份有限公司 一种解决GlusterFS IO阻塞造成文件系统挂起的方法及系统
CN116719663A (zh) * 2023-08-07 2023-09-08 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037759A (zh) * 2022-08-10 2022-09-09 云上人和物联科技有限公司 一种基于异构指令集的虚拟化存储方法
CN115934001B (zh) * 2023-03-08 2023-05-12 浪潮电子信息产业股份有限公司 一种纠删池选择方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090271794A1 (en) * 2008-04-28 2009-10-29 Oracle International Corp. Global avoidance of hang states in multi-node computing system
CN107547252A (zh) * 2017-06-29 2018-01-05 新华三技术有限公司 一种网络故障处理方法和装置
US10048874B1 (en) * 2016-06-29 2018-08-14 EMC IP Holding Company LLC Flow control with a dynamic window in a storage system with latency guarantees
CN108418860A (zh) * 2018-01-26 2018-08-17 郑州云海信息技术有限公司 一种基于ceph集群的osd心跳通讯方法
CN109101357A (zh) * 2018-07-20 2018-12-28 广东浪潮大数据研究有限公司 一种osd故障的检测方法及装置
CN109753371A (zh) * 2017-11-06 2019-05-14 华为技术有限公司 一种i/o阻塞检测方法、装置及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10831572B2 (en) * 2018-11-08 2020-11-10 At&T Intellectual Property I, L.P. Partition and access switching in distributed storage systems
CN109656895B (zh) * 2018-11-28 2024-03-12 平安科技（深圳）有限公司 分布式存储系统、数据写入方法、装置和存储介质
CN110287158B (zh) * 2019-05-05 2023-05-26 平安科技（深圳）有限公司 监测分布式文件系统io时延的方法、装置及存储介质
CN111124308A (zh) * 2019-12-22 2020-05-08 浪潮电子信息产业股份有限公司 一种性能分析方法、装置及电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090271794A1 (en) * 2008-04-28 2009-10-29 Oracle International Corp. Global avoidance of hang states in multi-node computing system
US10048874B1 (en) * 2016-06-29 2018-08-14 EMC IP Holding Company LLC Flow control with a dynamic window in a storage system with latency guarantees
CN107547252A (zh) * 2017-06-29 2018-01-05 新华三技术有限公司 一种网络故障处理方法和装置
CN109753371A (zh) * 2017-11-06 2019-05-14 华为技术有限公司 一种i/o阻塞检测方法、装置及设备
CN108418860A (zh) * 2018-01-26 2018-08-17 郑州云海信息技术有限公司 一种基于ceph集群的osd心跳通讯方法
CN109101357A (zh) * 2018-07-20 2018-12-28 广东浪潮大数据研究有限公司 一种osd故障的检测方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306815A (zh) * 2020-11-16 2021-02-02 新华三大数据技术有限公司 Ceph中OSD侧主从间IO信息监控方法、装置、设备及介质
CN113031873A (zh) * 2021-03-26 2021-06-25 山东英信计算机技术有限公司 一种io请求处理方法、装置、设备及可读存储介质
CN113031873B (zh) * 2021-03-26 2023-02-28 山东英信计算机技术有限公司 一种io请求处理方法、装置、设备及可读存储介质
CN113687782A (zh) * 2021-07-30 2021-11-23 济南浪潮数据技术有限公司 存储池时延确定方法、装置、电子设备及可读存储介质
CN113687782B (zh) * 2021-07-30 2023-12-22 济南浪潮数据技术有限公司 存储池时延确定方法、装置、电子设备及可读存储介质
CN114489474A (zh) * 2021-12-01 2022-05-13 湖南麒麟信安科技股份有限公司 一种解决GlusterFS IO阻塞造成文件系统挂起的方法及系统
CN114489474B (zh) * 2021-12-01 2024-04-09 湖南麒麟信安科技股份有限公司 一种解决GlusterFS IO阻塞造成文件系统挂起的方法及系统
CN116719663A (zh) * 2023-08-07 2023-09-08 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及可读存储介质
CN116719663B (zh) * 2023-08-07 2024-01-30 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及可读存储介质

Also Published As

Publication number Publication date
CN111913667B (zh) 2023-03-14
WO2021120777A1 (zh) 2021-06-24

Similar Documents

Publication Publication Date Title
CN111913667B (zh) 一种基于Ceph的OSD阻塞检测方法、系统、终端及存储介质
CN111344706B (zh) 管理区块链上的交易的方法和系统
CN109062512B (zh) 一种分布式存储集群、数据读写方法、系统及相关装置
US10817386B2 (en) Virtual machine recovery method and virtual machine management device
KR101231563B1 (ko) 실시간 데이터 복제
CN112597153B (zh) 一种基于区块链的数据存储方法、装置及存储介质
CN111541753B (zh) 区块链数据的分布式存储系统、方法、计算机设备及介质
EP2372521A2 (en) Remote direct storage access
CN111078147A (zh) 一种缓存数据的处理方法、装置、设备及存储介质
CN108459824B (zh) 一种数据修改写方法及装置
CN111049928B (zh) 数据同步方法、系统、电子设备及计算机可读存储介质
CN111865831B (zh) 数据处理的方法、网络设备、计算节点和系统
US10229013B2 (en) Generating a health condition message on a health condition detected at a server to send to a host system accessing the server
US20190146894A1 (en) Processing a health condition message on a health condition to determine whether to perform a swap operation
CN110851535B (zh) 基于区块链的数据处理方法、装置、存储介质及终端
US11966585B2 (en) Storage device and storage system
CN110633046A (zh) 一种分布式系统的存储方法、装置、存储设备及存储介质
CN103108020A (zh) 服务协作设备、服务协作方法和计算机可读记录介质
CN111767270A (zh) 数据迁移方法、装置、服务器及存储介质
US20120084499A1 (en) Systems and methods for managing a virtual tape library domain
US20200042066A1 (en) System and method for facilitating dram data cache dumping and rack-scale battery backup
US11995436B2 (en) Out-of-band updating method and system of expander
CN112558872A (zh) 数据处理方法和装置、存储介质和电子设备
CN104067241A (zh) 同步本地存储设备和远程存储设备
CN110427394B (zh) 数据操作方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant