CN110442306A - 一种分布式存储系统的故障处理方法、设备以及存储介质 - Google Patents

一种分布式存储系统的故障处理方法、设备以及存储介质 Download PDF

Info

Publication number
CN110442306A
CN110442306A CN201910574365.8A CN201910574365A CN110442306A CN 110442306 A CN110442306 A CN 110442306A CN 201910574365 A CN201910574365 A CN 201910574365A CN 110442306 A CN110442306 A CN 110442306A
Authority
CN
China
Prior art keywords
disk
turntable
data
replacement
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910574365.8A
Other languages
English (en)
Inventor
丁钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wave Intelligent Technology Co Ltd
Original Assignee
Suzhou Wave Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wave Intelligent Technology Co Ltd filed Critical Suzhou Wave Intelligent Technology Co Ltd
Priority to CN201910574365.8A priority Critical patent/CN110442306A/zh
Publication of CN110442306A publication Critical patent/CN110442306A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/203—Failover techniques using migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2038—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant with a single idle spare processing component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明公开了一种分布式存储系统的故障处理方法，包括步骤：确定磁盘故障以及在预设时间段内所述故障磁盘未恢复；在每个存储节点的高速缓存介质中创建磁盘分区；将多个所述磁盘分区连接到所述故障磁盘所在节点，并组合成中转盘；利用所述中转盘进行数据重构。本发明还公开了一种计算机设备以及可读存储介质。本发明公开的方法能够降低因磁盘故障引发的数据迁移对存储性能的影响并且中转盘为出现故障时软件方式创建，不需要占用额外的磁盘槽位。

Description

一种分布式存储系统的故障处理方法、设备以及存储介质
技术领域
本发明涉及分布式存储领域，具体涉及一种分布式存储系统的故障处理方法、设备以及存储介质。
背景技术
分布式存储采用可扩展的系统结构，利用多台存储服务器分担存储负荷，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。分布式存储中每个存储节点通常包含大量的数据盘，可横向扩展的多个存储节点组成集群，容量可以达到EB级别。在生产环境中，由于集群中的磁盘数量巨大，经常出现故障盘。与传统存储阵列使用Raid技术不同，分布式存储使用全局副本或纠删码策略，可以保障故障盘产生后，自动将故障盘对应OSD下线，并进行全局数据重构。将故障盘上的数据均匀分布到其他正常OSD上，实现自愈，通常无热备盘的概念。
当产生故障盘后，如图1所示，传统的数据重构过程为系统检测到故障磁盘对应的OSD失效达到超时时间，将故障磁盘对应的OSD进行剔除，触发数据重构操作，通过其他正常OSD上存储的数据块计算出故障OSD上的缺失数据块，并均匀分布到所有正常OSD上。整个数据重构的过程较长，通常在数小时，会对集群性能产生一定影响。通常运维人员会在数据重构结束后更换硬盘，新硬盘作为空白的OSD加入集群，触发数据均衡操作。数据均衡与数据重构都需要进行大量的数据块迁移，即在坏盘产生及更换的过程中，会出现两次数据重构或均衡操作，每次数据重构及均衡均占用较长时间，对性能的影响大。
因此，急需一种新的磁盘故障处理的方法。
发明内容
有鉴于此，为了克服上述问题的至少一个方面，本发明实施例的提出一种分布式存储系统的故障处理方法，包括步骤：
确定磁盘故障以及在预设时间段内所述故障磁盘未恢复；
在每个存储节点的高速缓存介质中创建磁盘分区；
将多个所述磁盘分区连接到所述故障磁盘所在节点，并组合成中转盘；
利用所述中转盘进行数据重构。
在一些实施例中，还包括：
使用替换盘替换所述故障磁盘；
将所述中转盘中的数据克隆至替换所述故障磁盘的替换盘；
离线所述中转盘，判断所述中转盘与所述替换盘的数据是否一致；
响应于数据一致，将所述替换盘接入所述分布式存储系统。
在一些实施例中，还包括：
对所述中转盘离线期间所述分布式存储系统产生的数据进行重构。
在一些实施例中，还包括：释放所述中转盘并将其还原至初始状态。
在一些实施例中，响应于数据不一致，将所述中转盘中未克隆至所述替换盘的数据传输到所述替换盘。
在一些实施例中，还包括：在所述预设时间段内，将所述中转盘中未克隆至所述替换盘的数据传输到所述替换盘。
在一些实施例中，将所述中转盘中的数据克隆至替换所述故障磁盘的替换盘，进一步包括：
利用文件级或块级的方式，将所述中转盘中的数据克隆至替换所述故障磁盘的替换盘。
在一些实施例中，将多个所述磁盘分区连接到所述故障磁盘所在节点，并组合成中转盘，进一步包括：
将每个所述磁盘分区共享给所述故障磁盘所在节点；
所述故障磁盘所在节点连接共享的磁盘分区，以得到组块设备。
利用RAID命令，将所述组块设备作为RAID组，以得到所述中转盘。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种分布式存储系统的故障处理方法的步骤。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种分布式存储系统的故障处理方法的步骤。
本发明具有以下有益技术效果：本发明提出的一种分布式存储中磁盘故障处理方法，通过引入分布式中转盘，提高数据重构的效率，并减少一次全局数据重构。降低因磁盘故障引发的数据迁移对存储性能的影响。且不同于普通热备盘的方案，该方案无需占用数据盘槽位或引入热备数据盘。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为传统的分布式存储传统的磁盘故障处理流程框图；
图2为本发明的实施例提供的一种分布式存储系统的故障处理方法的流程框图；
图3为本发明的实施例提供的一种分布式存储系统的故障处理方法的流程示意图；
图4为本发明的实施例提供的计算机设备的结构示意图；
图5为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
需要说明的是，OSD(Object Storage Device，对象存储设备)，它的主要功能是存储数据、复制数据、平衡数据、恢复数据等，与其它OSD间进行心跳检查等，并将一些变化情况上报给监视器。一般情况下一块硬盘对应一个OSD，由OSD来对硬盘存储进行管理。
iSCSI(Internet Small Computer System Interface)，Internet小型计算机系统接口，又称为IP-SAN，是一种基于因特网及SCSI-3协议下的存储技术。
RAID(Redundant Array of Independent Disks)，是一种把多块独立的硬盘(物理硬盘)按不同的方式组合起来形成一个硬盘组(逻辑硬盘)，从而提供比单个硬盘更高的存储性能和提供数据备份技术。软RAID，即通过软件实现的RAID，Linux操作系统提供软RAID工具。
EB(Exabyte)，是计算机存储单位，数据转换公式为1EB＝1024PB＝1048576TB＝1152921504606846976B。
SSD(Solid State Drive)，固态硬盘是用固态电子存储芯片阵列而制成的硬盘，性能比传统机械硬盘高。
根据本发明的一个方面，本发明的实施例提出一种分布式存储系统的故障处理方法，如图2所示包含以下流程，S01'分布式存储包含启用中转盘机制，运行中出现故障磁盘；S02’在设定的OSD超时时间内，故障磁盘未恢复；S03’系统剔除故障盘对应的OSD，守护进程调用脚本，在故障盘所在节点创建中转盘并初始化为新OSD，进行重构，该过程对性能有影响，但影响的时间和强度小于上述无热备盘机制下的步骤S05；S04’运维人员更换故障盘，调用换盘脚本进行中转盘到替换盘的在线克隆，完成克隆后中转盘下线，替换盘接替中转盘对应的OSD；S05’分布式存储恢复正常状态，中转盘释放并还原至初始状态。
具体的，首先，当检测到磁盘故障后，且已经超出了设定的OSD超时时间，这时通过自动化脚本，将各节点的预留在高速缓存介质(例如，SSD，以下以SSD为例)中的空间通过iSCSI的方式挂载到产生磁盘故障的节点，并通过软RAID技术组合成与故障盘容量一致的块存储设备，称之为分布式SSD中转盘，以下简称中转盘，用于直接代替故障磁盘。聚合了多个SSD的中转盘性能高，可以快速进行数据重构。运维人员更换故障数据盘后，调用换盘脚本，在集群正常运行状态下将中转盘克隆至新更换的数据盘，因中转盘性能余量充足，克隆操作不会对性能产生明显影响。克隆完成并检查一致性后，自动完成中转盘下线，新更换的数据盘接替中转盘。接替过程程序自动操作，分布式存储集群只需要进行一致性检测，无需再次重构。中转盘完成中转任务后，软raid进行拆解，释放iSCSI连接，还原到初始状态，可以用于下一次故障盘数据中转。
分布式存储中通常配备一定比例的SSD，专门存储元数据或做缓存，为存储提供加速作用，由于利用SSD缓存空间，因此需要分布式存储每个存储节点需要配置至少一块SSD，且所有节点上的SSD总可用空间至少大于单块数据盘的容量。
下面结合图3示出的流程示意图对本发明执行SQL任务的方法进行详细描述。
如图3所示，本发明的实施例提出一种实现远程文本粘贴的方法，其可以包括步骤：S1，确定磁盘故障以及在预设时间段内所述故障磁盘未恢复；S2，在每个存储节点的高速缓存介质中创建磁盘分区；S3，将多个所述磁盘分区连接到所述故障磁盘所在节点，并组合成中转盘；S4，利用所述中转盘进行数据重构。
在一些实施例中，可以在存储监控节点上运行守护进程，其是一个持续运行在分布式存储监控节点上的进程，通过定期查询或接收监控组件上报的方式，获取是否出现故障磁盘。当出现故障磁盘时，通过分布式存储现有的监控技术可获取故障磁盘的信息。当超过设定时间阈值后，故障盘未恢复，守护进程会将包含所在节点和容量的故障盘信息作为参数，调用中转盘初始化脚本。
在一些实施例中，将多个所述磁盘分区连接到所述故障磁盘所在节点，并组合成中转盘，进一步包括：将每个所述磁盘分区共享给所述故障磁盘所在节点；所述故障磁盘所在节点连接上述的共享的磁盘分区，以得到组块设备。利用RAID命令，将所述组块设备作为RAID组，以得到所述中转盘。
具体的，可以利用本发明提出的部署在与守护进程相同的节点上(可以部署一个或多个节点)的中转盘初始化脚本。当其被调用时，执行以下操作：
查询各存储节点的SSD可用空间，并在各节点创建相同大小的SSD磁盘分区。分区大小是经过计算的，使其做完软RAID后，与故障盘容量一致。
将各节点上创建的分区通过iSCSI的方式共享给故障盘所在节点。
故障盘所在节点通过iSCSI客户端程序连接共享的磁盘分区，并得到一组块设备。
在故障盘所在节点调用软RAID命令，将上述一组块设备做成一个RAID组，该RAID组推荐使用RAID5方式，具备冗余能力。该RAID组对应的块存储设备作为中转盘。
将中转盘初始化为新的OSD。
在一些实施例中，本发明提出的故障处理方法还可以包括步骤：使用替换盘替换所述故障磁盘；利用文件级或块级的方式，将所述中转盘中的数据克隆至替换所述故障磁盘的替换盘；离线所述中转盘，在所述预设时间段内，判断所述中转盘与所述替换盘的数据是否一致；响应于数据一致，将所述替换盘接入所述分布式存储系统；响应于数据不一致，将所述中转盘中未克隆至所述替换盘的数据传输到所述替换盘；对所述中转盘离线期间所述分布式存储系统产生的数据进行重构；释放所述中转盘并将其还原至初始状态。
具体的，可以在运维人员手工执行更换故障盘为替换盘后，调用利用本发明提出的部署在所有存储节点上的换盘脚本执行以下操作：
(1)进行中转盘与替换盘容量信息比对，匹配后执行下一步操作。
(2)调用系统命令，进行中转盘到替换盘的数据克隆。克隆分为文件级或块级两种方式，需要根据分布式存储部署的实际情况进行选择。最终实现中转盘与替换盘数据一致。
(3)将中转盘对应的OSD下线。以中转盘为基准，进行中转盘与替换盘的数据一致性比对，确保一致。该过程在OSD失效超时时间内完成。
(4)将替换盘加入存储集群，并继承原中转盘所对应的OSD信息。
(5)分布式存储集群进行数据一致性检测，并将上述短暂的OSD下线期间的数据进行重构，在短时间内恢复集群健康状态。
本发明提出的分布式存储系统的故障处理方法通过引入分布式SSD中转盘机制，大幅缩短重构时间，减少对性能的影响，降低因磁盘故障引发的数据迁移对存储性能的影响，并且中转盘为出现故障时软件方式创建，不需要占用额外的磁盘槽位，中转盘性能充足，且具备冗余性，不会形成明显瓶颈，更换替换盘后，只进行中转盘到替换盘的克隆操作，期间不会引起全局数据重构。
基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种计算机设备501，包括：
至少一个处理器520；以及
存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行如上的任一种分布式存储系统的故障处理方法的步骤。
基于同一发明构思，根据本发明的另一个方面，如图5所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序指令610，计算机程序指令610被处理器执行时执行如上的任一种分布式存储系统的故障处理方法的步骤。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
此外，典型地，本发明实施例公开的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本发明实施例公开的保护范围不应限定为某种特定类型的装置、设备。本发明实施例公开的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。
此外，根据本发明实施例公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本发明实施例公开的方法中限定的上述功能。
此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
此外，应该明白的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。
在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种分布式存储系统的故障处理方法，包括步骤：
确定磁盘故障以及在预设时间段内所述故障磁盘未恢复；
在每个存储节点的高速缓存介质中创建磁盘分区；
将多个所述磁盘分区连接到所述故障磁盘所在节点，并组合成中转盘；
利用所述中转盘进行数据重构。
2.如权利要求1所述的方法，其特征在于，还包括：
使用替换盘替换所述故障磁盘；
将所述中转盘中的数据克隆至替换所述故障磁盘的替换盘；
离线所述中转盘，判断所述中转盘与所述替换盘的数据是否一致；
响应于数据一致，将所述替换盘接入所述分布式存储系统。
3.如权利要求2所述的方法，其特征在于，还包括：
对所述中转盘离线期间所述分布式存储系统产生的数据进行重构。
4.如权利要求3所述的方法，其特征在于，还包括：释放所述中转盘并将其还原至初始状态。
5.如权利要求2所述的方法，其特征在于，还包括：
响应于数据不一致，将所述中转盘中未克隆至所述替换盘的数据传输到所述替换盘。
6.如权利要求5所述的方法，其特征在于，还包括：
在所述预设时间段内，将所述中转盘中未克隆至所述替换盘的数据传输到所述替换盘。
7.如权利要求2所述的方法，其特征在于，将所述中转盘中的数据克隆至替换所述故障磁盘的替换盘，进一步包括：
利用文件级或块级的方式，将所述中转盘中的数据克隆至替换所述故障磁盘的替换盘。
8.如权利要求1所述的方法，其特征在于，将多个所述磁盘分区连接到所述故障磁盘所在节点，并组合成中转盘，进一步包括：
将每个所述磁盘分区共享给所述故障磁盘所在节点；
所述故障磁盘所在节点连接共享的磁盘分区，以得到组块设备；
利用RAID命令，将所述组块设备作为RAID组，以得到所述中转盘。
9.一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行权利要求1-8任意一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行权利要求1-8任意一项所述的方法。
CN201910574365.8A 2019-06-28 2019-06-28 一种分布式存储系统的故障处理方法、设备以及存储介质 Withdrawn CN110442306A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910574365.8A CN110442306A (zh) 2019-06-28 2019-06-28 一种分布式存储系统的故障处理方法、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910574365.8A CN110442306A (zh) 2019-06-28 2019-06-28 一种分布式存储系统的故障处理方法、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN110442306A true CN110442306A (zh) 2019-11-12

Family

ID=68428603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910574365.8A Withdrawn CN110442306A (zh) 2019-06-28 2019-06-28 一种分布式存储系统的故障处理方法、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN110442306A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090545A (zh) * 2019-11-28 2020-05-01 苏州浪潮智能科技有限公司 一种恢复故障cpld的方法、设备及介质
CN111124292A (zh) * 2019-12-10 2020-05-08 新华三大数据技术有限公司 一种数据下刷方法、装置、缓存节点及分布式存储系统
CN111913661A (zh) * 2020-07-29 2020-11-10 北京天融信网络安全技术有限公司 一种缓存设备替换方法及电子设备
CN112187919A (zh) * 2020-09-28 2021-01-05 腾讯科技（深圳）有限公司 一种存储节点管理方法及相关装置
CN112667453A (zh) * 2020-12-25 2021-04-16 深圳创新科技术有限公司 一种踢盘测试方法、终端及计算机存储介质
CN114546272A (zh) * 2022-02-18 2022-05-27 山东云海国创云计算装备产业创新中心有限公司 快速通用的raid降级为raid5的方法、系统、设备和存储介质
CN115629906A (zh) * 2022-12-21 2023-01-20 北京铜牛信息科技股份有限公司 一种恢复云分布式存储数据故障的方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090545A (zh) * 2019-11-28 2020-05-01 苏州浪潮智能科技有限公司 一种恢复故障cpld的方法、设备及介质
CN111090545B (zh) * 2019-11-28 2022-07-26 苏州浪潮智能科技有限公司 一种恢复故障cpld的方法、设备及介质
CN111124292A (zh) * 2019-12-10 2020-05-08 新华三大数据技术有限公司 一种数据下刷方法、装置、缓存节点及分布式存储系统
CN111124292B (zh) * 2019-12-10 2022-08-19 新华三大数据技术有限公司 一种数据下刷方法、装置、缓存节点及分布式存储系统
CN111913661A (zh) * 2020-07-29 2020-11-10 北京天融信网络安全技术有限公司 一种缓存设备替换方法及电子设备
CN111913661B (zh) * 2020-07-29 2023-07-04 北京天融信网络安全技术有限公司 一种缓存设备替换方法及电子设备
CN112187919A (zh) * 2020-09-28 2021-01-05 腾讯科技（深圳）有限公司 一种存储节点管理方法及相关装置
CN112187919B (zh) * 2020-09-28 2024-01-23 腾讯科技（深圳）有限公司 一种存储节点管理方法及相关装置
CN112667453A (zh) * 2020-12-25 2021-04-16 深圳创新科技术有限公司 一种踢盘测试方法、终端及计算机存储介质
CN114546272A (zh) * 2022-02-18 2022-05-27 山东云海国创云计算装备产业创新中心有限公司 快速通用的raid降级为raid5的方法、系统、设备和存储介质
CN114546272B (zh) * 2022-02-18 2024-04-26 山东云海国创云计算装备产业创新中心有限公司 快速通用的raid降级为raid5的方法、系统、设备和存储介质
CN115629906A (zh) * 2022-12-21 2023-01-20 北京铜牛信息科技股份有限公司 一种恢复云分布式存储数据故障的方法及系统

Similar Documents

Publication Publication Date Title
CN110442306A (zh) 一种分布式存储系统的故障处理方法、设备以及存储介质
US11645173B2 (en) Resilient mediation between storage systems replicating a dataset
US11714708B2 (en) Intra-device redundancy scheme
US10534677B2 (en) Providing high availability for applications executing on a storage system
US11604690B2 (en) Online failure span determination
US11614883B2 (en) Distributed data storage system using erasure coding on storage nodes fewer than data plus parity fragments
US20200387479A1 (en) Using data characteristics to optimize grouping of similar data for garbage collection
US11722455B2 (en) Storage cluster address resolution
US11869583B2 (en) Page write requirements for differing types of flash memory
US11086532B2 (en) Data rebuild with changing erase block sizes
US20200012442A1 (en) Method for accessing distributed storage system, related apparatus, and related system
CN103763383A (zh) 一体化云存储系统及其存储方法
US20230004658A1 (en) Transitioning Leadership In A Cluster Of Nodes
US20210181949A1 (en) Distributed storage system expansion mechanism
WO2021139571A1 (zh) 存储系统中的数据存储方法、数据读取方法、装置及系统
Chiniah et al. Dynamic erasure coding policy allocation (DECPA) in Hadoop 3.0
CN116204137B (zh) 基于dpu的分布式存储系统、控制方法、装置及设备
US20230004464A1 (en) Snapshot commitment in a distributed system
US20210019286A1 (en) Determining content-dependent deltas between data sectors
US10990566B1 (en) Persistent file locks in a storage system
US10776202B1 (en) Drive, blade, or data shard decommission via RAID geometry shrinkage
US20240211167A1 (en) Migrating erasure-coded data fragments within a growing distributed data storage system with at least data plus parity nodes
US10817193B2 (en) Multi-layer encoding for distributed container-based storage of smaller data objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191112

WW01 Invention patent application withdrawn after publication