CN111381770A - 一种数据存储切换方法、装置、设备及存储介质 - Google Patents

一种数据存储切换方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111381770A
CN111381770A CN201811643671.4A CN201811643671A CN111381770A CN 111381770 A CN111381770 A CN 111381770A CN 201811643671 A CN201811643671 A CN 201811643671A CN 111381770 A CN111381770 A CN 111381770A
Authority
CN
China
Prior art keywords
storage pool
data
storage
fault
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811643671.4A
Other languages
English (en)
Other versions
CN111381770B (zh
Inventor
李华英
许勇
郭永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201811643671.4A priority Critical patent/CN111381770B/zh
Priority to PCT/CN2019/110073 priority patent/WO2020140523A1/zh
Publication of CN111381770A publication Critical patent/CN111381770A/zh
Application granted granted Critical
Publication of CN111381770B publication Critical patent/CN111381770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据存储切换方法、装置、设备及存储介质。其中，该方法包括：在使用以主机作为故障域的第一存储池作为主存储池的过程中，实时监控主存储池中的各故障域的运行状态数据；根据运行状态数据判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件；若是，则将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至以对象存储设备为故障域的第二存储池；主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。本发明实施例解决了现有技术的分布式存储系统只设置单一类型的故障域，数据丢失风险比较大的问题，可以配置多种故障域保护模块，大大降低数据丢失的风险。

Description

一种数据存储切换方法、装置、设备及存储介质
技术领域
本发明实施例涉及数据存储技术，尤其涉及一种数据存储切换方法、装置、设备及存储介质。
背景技术
在大多数分布式存储系统中，为保证存储设备故障后，数据的一致性，通常都会采用纠删码来提升系统的可靠性。纠删码的基本原理是：K为原始数据块个数或恢复数据需要的正常的存储单元个数。M为校验块个数或允许出故障的存储单元个数。M小于K。使用编码算法，通过K个原始数据块生成M个校验块，即一共得到K+M个数据块。通过K+M个数据块中的任意K个数据块即可还原出原始的K个原始数据块。即允许M个数据块对应的磁盘出故障，数据仍然不会丢失。
对于纠删码策略，一组K+M个数据块分布在数据块集群拓扑上。如果这一组数据块中的等于M个数据块分布在同一个或者几个主机上，在这几个主机故障后，这一组数据就失去冗余性，不能被读写。所以为了减少主机故障导致数据丢失，尽量把K+M个数据块分布在不同的故障域上。一般是按照物理存储位置以分隔故障域。比如以主机为故障域，则需要保证K+M个数据块分布在不同的主机上，当小于等于M个主机故障，之前写入的数据能正常读写。
现有技术中，现有的分布式存储系统的数据故障保护方案通常只设置单一类型的故障域。例如，只以主机作为故障域，将K+M个数据块分布在不同的主机上。当单个主机故障，且故障数不大于M时，由于K+M个数据块(包括客户端数据块和校验块)分布不同的主机，仍然存在大于等于K个数据块在正常的设备上，通过这K个数据块可以校验出故障主机上的客户端数据。
现有技术的缺陷在于，只设置单一类型的故障域，数据丢失风险比较大。例如，在只以主机作为故障域保护的方案中，在集群中的多个主机出现故障，剩余正常主机个数刚好为K时，如果再次出现一个主机故障，即集群中主机出现故障数大于M，会导致通过纠删码策略分布在主机上的数据失去冗余性，不能被读写，造成大量数据丢失。
发明内容
本发明实施例提供一种数据存储切换方法、装置、设备及存储介质，以优化现有的分布式存储系统的数据故障保护方案，降低数据丢失的风险。
第一方面，本发明实施例提供了一种数据存储切换方法，包括：
在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各故障域的运行状态数据，第一存储池对应的故障域为第一故障域；
根据运行状态数据，判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件；
若是，则将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池，第二存储池对应的故障域为第二故障域，第二故障域不同于第一故障域；
其中，主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。
第二方面，本发明实施例还提供了一种数据存储切换装置，包括：
数据监控模块，用于在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各故障域的运行状态数据，第一存储池对应的故障域为第一故障域；
条件判断模块，用于根据运行状态数据，判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件；
存储切换模块，用于若是，则将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池，第二存储池对应的故障域为第一故障域，第二故障域不同于第一故障域；
其中，主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。
第三方面，本发明实施例还提供了一种设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例所述的数据存储切换方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明实施例所述的数据存储切换方法。
本发明实施例通过在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各主机的运行状态数据，第一存储池对应的故障域为第一故障域，然后根据运行状态数据，判断运行状态为正常状态的主机的数量是否满足预设的存储切换条件，在满足预设的存储切换条件时，将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池，第二存储池对应的故障域为第二故障域，第二故障域不同于第一故障域，其中，主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据，解决了现有技术的分布式存储系统的数据故障保护方案只设置单一类型的故障域，数据丢失风险比较大的问题，可以配置多种故障域保护模块，大大降低数据丢失的风险。
附图说明
图1为本发明实施例一提供的一种数据存储切换方法的流程图；
图2为本发明实施例二提供的一种数据存储切换方法的流程图；
图3为本发明实施例三提供的一种数据存储切换方法的流程图；
图4为本发明实施例四提供的一种数据存储切换方法的流程图；
图5为本发明实施例四提供的一种数据读写业务中的映射关系的示意图；
图6为本发明实施例五提供的一种数据存储切换装置的结构示意图；
图7为本发明实施例六提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据存储切换方法的流程图。本实施例可适用于对数据存储方式进行切换的情况，该方法可以由数据存储切换装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于计算机设备中。如图1所示，该方法具体包括如下步骤：
步骤101、在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各故障域的运行状态数据，第一存储池对应的故障域为第一故障域。
其中，存储池是用于存储数据的一组磁盘。故障域是指在同一分布式系统内划分的一组物理基础结构。该组物理基础结构不会与任何其他物理基础结构共享单点故障，从而实现存在单点故障时，不影响其他故障域，进而保证不影响其他故障域中的数据的访问。一般是按照物理存储位置分隔故障域。存储池可以以主机、机柜或者对象存储设备(ObjectStorage Device，OSD)作为故障域。存储池以主机作为故障域，则存储池中的每一个磁盘分布在不同的主机上；存储池以机柜为故障域，则存储池中的每一个磁盘分布在不同的机柜上；存储池以OSD为故障域，由于一般情况下，一个OSD对应一个物理磁盘，则存储池中的每一个磁盘即为一个故障域，即一个磁盘存在单点故障时，不影响其他磁盘。
主存储池是用于存储数据的存储池。可选的，主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。纠删码技术中使用K+M的纠错策略，其中，K为原始数据块数量值，M为检验块数量值。M小于K。主存储池中故障域的数量为K+M个。具体的，获取数据写入请求，并将数据写入请求中携带的待存储数据划分为K个原始数据块。然后基于纠删码技术对K个原始数据块进行计算，得到对应的M个检验块，即一共得到K+M个数据块。将K+M个数据块分别存储至主存储池中的K+M个故障域中。
在一个具体实例中，第一故障域为主机。第一存储池对应的故障域为第一故障域。使用第一存储池作为主存储池。第一存储池以主机作为故障域，存储至第一存储池中的K+M个数据块分布在不同的主机上。即主存储池中包括至少K+M个主机。在基于纠删码技术对K个原始数据块进行计算，得到对应的M个检验块后，将K+M个数据块分别存储至第一存储池中，保证K+M个数据块分布在不同的主机上。当单个主机故障，且故障数不大于M时，由于K+M个数据块分布不同的主机，仍然存在大于等于K个数据块在正常的主机上，可以通过正常的主机上的K个数据块还原出K个原始数据块。第一故障域为主机。在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各主机的运行状态数据。主机的运行状态可以为正常状态或故障状态。运行状态为正常状态的是没有出现故障的主机。运行状态为故障状态的是出现故障的主机。
步骤102、根据运行状态数据，判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件。
可选的，判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件，可以包括：判断运行状态为正常状态的主机的数量是否等于K。
其中，主存储池中包括至少K+M个主机。根据主存储池中的各主机的运行状态数据可以确定所有主机的运行状态为正常状态或故障状态，从而可以确定主机中的运行状态为正常状态的主机的数量，并判断运行状态为正常状态的主机的数量是否等于K。
如果运行状态为正常状态的主机的数量等于K，则仍然存在K个数据块在正常的主机上，可以通过正常的主机上的K个数据块还原出K个原始数据块。此时如果再有一个主机出现故障，会造成在主存储池中的数据全部丢失。
步骤103、若是，则将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池，第二存储池对应的故障域为第二故障域，第二故障域不同于第一故障域；其中，主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。
可选的，若判断运行状态为正常状态的主机的数量等于K，则将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池。
在一个具体实例中，第二故障域为对象存储设备。第二存储池对应的故障域为第二故障域。第二存储池以对象存储设备为故障域。通常一个对象存储设备对应一个物理磁盘，第二存储池中的每一个磁盘即为一个故障域。第二存储池中的磁盘位于运行状态为正常状态的主机上。将第二存储池切换为新的主存储池。主存储池中包括所有运行状态为正常状态的主机上的所有磁盘。
将存储于第一存储池的数据同步至第二存储池，即获取存储于第一存储池的每一组原始数据块对应的K+M个数据块，然后将每一组K+M个数据块分别存储至第二存储池中的K+M个磁盘中。当一个对象存储设备对应的磁盘出现故障，且第二存储池中出现故障的磁盘数量不大于M时，由于K+M个数据块分布在不同的磁盘，仍然存在大于等于K个数据块在正常的磁盘上，可以通过其他对象存储设备对应的正常磁盘上的K个数据块还原出K个原始数据块。
在只以主机作为故障域保护的方案中，当运行状态为正常状态的主机的数量等于K时，如果再有一个主机出现故障，会造成在主存储池中的数据全部丢失。而如果按照本实施例的方案做一次故障域的切换，当运行状态为正常状态的主机的数量等于K时，将主存储池从以主机为故障域的第一存储池切换至以对象存储设备为故障域的第二存储池。再有一个对象存储设备对应的磁盘出现故障，会重新选择其他对象存储设备对应的磁盘重建该对象存储设备的数据，不会造成数据丢失。即使再次出现一个主机故障，只有大于M个数据块同时存储在此主机，才会不能还原数据，导致数据丢失。大于M个数据块同时在一个主机上的概率为1/KM+1，也就是数据丢失量约为1/KM+1，少于只以主机作为故障域保护方案的数据丢失量。K和M值越大，丢失的数据越少。
可选的，在将存储于第一存储池的数据同步至第二存储池之后，可以还包括：删除第一存储池中存储的数据。
其中，在将主存储池从以主机为故障域的第一存储池切换至以对象存储设备为故障域的第二存储池之后，删除第一存储池中存储的数据，释放存储空间。
如果根据运行状态数据，判断运行状态为正常状态的主机的数量不满足预设的存储切换条件，即运行状态为正常状态的主机的数量目前是大于K，则不进行切换操作。
本发明实施例提供了一种数据存储切换方法，通过在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各故障域的运行状态数据，第一存储池对应的故障域为第一故障域，然后根据运行状态数据，判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件，在满足预设的存储切换条件时，将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池，第二存储池对应的故障域为第二故障域，第二故障域不同于第一故障域，其中，主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据，解决了现有技术的分布式存储系统的数据故障保护方案只设置单一类型的故障域，数据丢失风险比较大的问题，可以配置多种故障域保护模块，大大降低数据丢失的风险。
实施例二
图2为本发明实施例二提供的一种数据存储切换方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，第一故障域为主机，第二故障域为对象存储设备。
以及，在实时监控所述主存储池中的各故障域的运行状态数据之前，可以还包括：创建第一存储池，并在第一存储池中创建客户端主设备；创建第二存储池，并在第二存储池中创建与客户端主设备具有镜像关系的客户端镜像设备；将客户端主设备与数据读写业务端口关联，以将第一存储池作为主存储池。
如图2所示，该方法具体包括如下步骤：
步骤201、创建第一存储池，并在第一存储池中创建客户端主设备。
其中，集群中存在至少K+M个主机。在集群中创建第一存储池。第一存储池以主机作为故障域，存储至第一存储池中的K+M个数据块分布在不同的主机上。
客户端主设备为与第一存储池对应的虚拟客户端设备，用于根据纠删码技术对外提供数据读写服务，处理用户输入的数据写入请求和数据读取请求。客户端主设备根据数据写入请求，建立数据与第一存储池中的K+M个的主机的映射关系，并根据映射关系将数据写入第一存储池中。或者客户端主设备根据数据读取请求，获取数据与第一存储池中的K+M个的主机的映射关系，并根据映射关系读取第一存储池中的数据。
可选的，客户端主设备获取数据写入请求，并将数据写入请求中携带的待存储数据划分为K个原始数据块。然后客户端主设备基于纠删码技术对K个原始数据块进行计算，得到对应的M个检验块，将K+M个数据块分别写入至第一存储池中的K+M个主机上。
可选的，客户端主设备获取数据读取请求，定位到存储有与数据读取请求对应的数据的主机上，由定位到的主机中获取与数据获取请求对应的K个原始数据块，并与K个原始数据块对应的数据返回给用户。客户端主设备如果确定出用于存储与数据获取请求对应的数据的主机中存在处于故障状态的主机，则基于纠删码技术，利用对应的检验块计算并恢复出处于故障状态的主机存储的原始数据块，并将与该原始数据块以及其他原始数据块对应的数据返回给用户。
步骤202、创建第二存储池，并在第二存储池中创建与客户端主设备具有镜像关系的客户端镜像设备。
其中，在集群中创建第二存储池。第二存储池以对象存储设备为故障域。通常一个对象存储设备对应一个物理磁盘，第二存储池中的每一个磁盘即为一个故障域。第二存储池中包括K+M个位于运行状态为正常状态的主机上的磁盘。
在第二存储池中创建与客户端主设备具有镜像关系的客户端镜像设备。客户端镜像设备为与第二存储池对应的虚拟客户端设备，用于根据纠删码技术对外提供数据读写服务，处理用户输入的数据写入请求和数据读取请求。客户端主设备可以根据数据写入请求，建立数据与第二存储池中的K+M个的磁盘的映射关系，并根据映射关系将数据写入第二存储池中。或者客户端主设备根据数据读取请求，获取数据与第二存储池中的K+M个的磁盘的映射关系，并根据映射关系读取第二存储池中的数据。
步骤203、将客户端主设备与数据读写业务端口关联，以将第一存储池作为主存储池。
其中，数据读写业务端口是用于获取用户输入的数据写入请求和数据读取请求，以及向用户返回数据的端口。将客户端主设备与数据读写业务端口关联，即第一存储池作为主存储池对数据进存储，客户端主设备对外提供数据读写业务。在使用第一存储池作为主存储池的过程中，只有客户端主设备对外提供数据读写业务。客户端镜像设备不提供数据读写业务，不占用第二存储池的空间，不影响正常数据读写业务。第二存储池中未存储数据。
步骤204、在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各故障域的运行状态数据，第一存储池对应的故障域为第一故障域。
步骤205、根据运行状态数据，判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件。
步骤206、若是，则将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池，第二存储池对应的故障域为第二故障域，第二故障域不同于第一故障域；其中，主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。
本发明实施例提供了一种数据存储切换方法，通过创建第一存储池，并在第一存储池中创建客户端主设备，同时创建第二存储池，并在第二存储池中创建与客户端主设备具有镜像关系的客户端镜像设备，然后将客户端主设备与数据读写业务端口关联，以将第一存储池作为主存储池，解决了只以主机作为故障域保护的方案中，当运行状态为正常状态的主机的数量等于原始数据块数量值时，如果再有一个主机出现故障，会造成在主存储池中的数据全部丢失的问题，可以在运行状态为正常状态的主机的数量等于原始数据块数量值时，将以主机为故障域的存储池切换至以对象存储设备为故障域的存储池，降低数据丢失的风险。
实施例三
图3为本发明实施例三提供的一种数据存储切换方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池，可以包括：开启由客户端主设备至客户端镜像设备的数据同步服务，以将存储于第一存储池的数据同步至第二存储池；解除客户端主设备与客户端镜像设备的镜像关系；将数据读写业务端口从客户端主设备切换至客户端镜像设备，以将第二存储池切换为新的主存储池；删除客户端主设备。
如图3所示，该方法具体包括如下步骤：
步骤301、创建第一存储池，并在第一存储池中创建客户端主设备。
步骤302、创建第二存储池，并在第二存储池中创建与客户端主设备具有镜像关系的客户端镜像设备。
步骤303、将客户端主设备与数据读写业务端口关联，以将第一存储池作为主存储池。
步骤304、在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各故障域的运行状态数据，第一存储池对应的故障域为第一故障域。
步骤305、根据运行状态数据，判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件。
步骤306、若是，则开启由客户端主设备至客户端镜像设备的数据同步服务，以将存储于第一存储池的数据同步至第二存储池，第二存储池对应的故障域为第二故障域，第二故障域不同于第一故障域；其中，主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。
其中，数据同步服务是基于客户端主设备与客户端镜像设备的镜像关系，将存储于第一存储池的数据同步至第二存储池的服务。若运行状态为正常状态的主机的数量满足预设的存储切换条件，则开启由客户端主设备至客户端镜像设备的数据同步服务：获取存储于第一存储池的每一组原始数据块对应的K+M个数据块，建立数据与第二存储池中的K+M个的磁盘的映射关系，然后将每一组K+M个数据块分别存储至第二存储池中的K+M个磁盘中。
步骤307、解除客户端主设备与客户端镜像设备的镜像关系。
其中，数据同步完成后，解除客户端主设备与客户端镜像设备的镜像关系。
步骤308、将数据读写业务端口从客户端主设备切换至客户端镜像设备，以将第二存储池切换为新的主存储池。
其中，将数据读写业务端口从客户端主设备切换至客户端镜像设备，即将第二存储池作为主存储池对数据进存储，客户端镜像设备对外提供数据读写业务。客户端主设备不再提供数据读写业务，第一存储池不再存储数据。
步骤309、删除客户端主设备。
其中，删除客户端主设备，释放存储空间。
本发明实施例提供了一种数据存储切换方法，通过开启由客户端主设备至客户端镜像设备的数据同步服务，将存储于第一存储池的数据同步至第二存储池，然后解除客户端主设备与客户端镜像设备的镜像关系，将数据读写业务端口从客户端主设备切换至客户端镜像设备，以将第二存储池切换为新的主存储池，并删除客户端主设备，可以在满足预设的存储切换条件时，开启由客户端主设备至客户端镜像设备的数据同步服务，可以在数据同步完成后，删除客户端主设备，释放存储空间。
实施例四
图4为本发明实施例四提供的一种数据存储切换方法的流程图。本实施例以上述实施例中各个可选方案为基础进行具体化。如图4所示，其具体包括如下步骤：
步骤401、创建第一存储池，第一存储池以主机作为故障域，其中，第一存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。
步骤402、在第一存储池中创建客户端主设备。
步骤403、创建第二存储池，第二存储池以对象存储设备为故障域，其中，第二存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。
步骤404、在第二存储池中创建与客户端主设备具有镜像关系的客户端镜像设备。
步骤405、将客户端主设备与数据读写业务端口关联，以将第一存储池作为主存储池。
步骤406、在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各主机的运行状态数据。
步骤407、根据运行状态数据，判断运行状态为正常状态的主机的数量是否满足预设的存储切换条件。若是，则执行步骤408；若否，则返回执行步骤406。
步骤408、开启由客户端主设备至客户端镜像设备的数据同步服务，以将存储于第一存储池的数据同步至第二存储池。
步骤409、解除客户端主设备与客户端镜像设备的镜像关系。
步骤410、将数据读写业务端口从客户端主设备切换至客户端镜像设备，以将第二存储池切换为新的主存储池。
步骤411、删除客户端主设备。
图5为本发明实施例四提供的一种数据读写业务中的映射关系的示意图。如图5所示，集群中存在至少x个主机。每个主机有x个硬盘。x大于等于K+M。
在切换前，客户端主设备与数据读写业务端口关联，根据纠删码技术对外提供数据读写服务。对象包含数据。对象有与它所包含的数据相关的元数据。每个对象都被分配一个唯一的标识符，允许一个服务器或者最终用户来检索对象，而不必知道数据的物理地址。客户端主设备分别将对象0、对象1、对象2、对象3……对象n所包含的数据划分为K个原始数据块，基于纠删码技术对K个原始数据块进行计算，得到n组K+M个数据块。客户端主设备维护了Y+1个放置组：放置组0、放置组1、放置组2、放置组3……放置组Y。放置组是虚拟的数据存储的节点，放置组的载体可以是一种实体的硬件存储单元，例如，硬盘。客户端主设备建立对象0、对象1、对象2、对象3……对象n与放置组0、放置组1、放置组2、放置组3……放置组Y的映射关系，以使每个放置组都有K+M个数据块，分别存放在K+M个不同的硬盘上，且K+M个硬盘属于不同的主机。
客户端镜像设备与客户端主设备具有镜像关系。客户端镜像设备同样维护了Y+1个放置组：放置组0、放置组1、放置组2、放置组3……放置组Y。在切换后，将数据读写业务端口从客户端主设备切换至客户端镜像设备，以将第二存储池切换为新的主存储池。客户端镜像设备建立对象0、对象1、对象2、对象3……对象n与放置组0、放置组1、放置组2、放置组3……放置组Y的映射关系，以使每个放置组都有K+M个数据块，分别存放在K+M个不同的硬盘上。
本发明实施例提供了一种数据存储切换方法，通过创建第一存储池，并在第一存储池中创建客户端主设备，同时创建第二存储池，并在第二存储池中创建与客户端主设备具有镜像关系的客户端镜像设备，然后将客户端主设备与数据读写业务端口关联，以将第一存储池作为主存储池，可以配置多种故障域保护模块，可以在满足预设的存储切换条件时，开启由客户端主设备至客户端镜像设备的数据同步服务，可以在数据同步完成后，将数据读写业务端口从客户端主设备切换至客户端镜像设备，并删除客户端主设备，释放存储空间。大大降低数据丢失的风险。
实施例五
图6为本发明实施例五提供的一种数据存储切换装置的结构示意图。如图6所示，所述装置可以配置于计算机设备，包括：数据监控模块501、条件判断模块502和存储切换模块503。
其中，数据监控模块501，用于在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各故障域的运行状态数据，第一存储池对应的故障域为第一故障域；条件判断模块502，用于根据运行状态数据，判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件；存储切换模块503，用于若是，则将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池，第二存储池对应的故障域为第二故障域，第二故障域不同于第一故障域；其中，主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。
本发明实施例提供了一种数据存储切换装置，通过在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各主机的运行状态数据，第一存储池对应的故障域为第一故障域，然后根据运行状态数据，判断运行状态为正常状态的主机的数量是否满足预设的存储切换条件，在满足预设的存储切换条件时，将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池，第二存储池对应的故障域为第二故障域，第二故障域不同于第一故障域，其中，主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据，解决了现有技术的分布式存储系统的数据故障保护方案只设置单一类型的故障域，数据丢失风险比较大的问题，可以配置多种故障域保护模块，大大降低数据丢失的风险。
在上述各实施例的基础上，第一故障域可以为主机，第二故障域可以为对象存储设备。
在上述各实施例的基础上，可以还包括：第一创建模块，用于创建第一存储池，并在第一存储池中创建客户端主设备；第二创建模块，用于创建第二存储池，并在第二存储池中创建与客户端主设备具有镜像关系的客户端镜像设备；业务关联模块，用于将客户端主设备与数据读写业务端口关联，以将第一存储池作为主存储池。
在上述各实施例的基础上，存储切换模块503可以包括：数据同步单元，用于开启由客户端主设备至客户端镜像设备的数据同步服务，以将存储于第一存储池的数据同步至第二存储池；关系解除单元，用于解除客户端主设备与客户端镜像设备的镜像关系；业务切换单元，用于将数据读写业务端口从客户端主设备切换至客户端镜像设备，以将第二存储池切换为新的主存储池；设备删除单元，用于删除客户端主设备。
在上述各实施例的基础上，可以还包括：数据删除模块，用于删除第一存储池中存储的数据。
在上述各实施例的基础上，纠删码技术中使用K+M的纠错策略，其中，K为原始数据块数量值，M为检验块数量值；条件判断模块502可以包括：数量判断单元，用于判断运行状态为正常状态的主机的数量是否等于K。
本发明实施例所提供的数据存储切换装置可执行本发明实施例所提供的数据存储切换方法，具备执行方法相应的功能模块和有益效果。
实施例六
图7为本发明实施例六提供的一种设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性设备612的框图。图7显示的设备612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，设备612以通用计算机设备的形式表现。设备612的组件可以包括但不限于：一个或者多个处理器或者处理单元616，系统存储器628，连接不同系统组件(包括系统存储器628和处理单元616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)630和/或高速缓存存储器632。设备612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储器628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块642的程序/实用工具640，可以存储在例如存储器628中，这样的程序模块642包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块642通常执行本发明所描述的实施例中的功能和/或方法。
设备612也可以与一个或多个外部设备614(例如键盘、指向设备、显示器624等)通信，还可与一个或者多个使得用户能与该设备612交互的设备通信，和/或与使得该设备612能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，设备612还可以通过网络适配器620与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器620通过总线618与设备612的其它模块通信。应当明白，尽管图7中未示出，可以结合设备612使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
设备612可以为一种终端设备。设备612的处理单元616通过运行存储在系统存储器628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据存储切换方法。该方法具体可以包括：在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各故障域的运行状态数据，第一存储池对应的故障域为第一故障域；根据运行状态数据，判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件；若是，则将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池，第二存储池对应的故障域为第二故障域，第二故障域不同于第一故障域；其中，主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的数据存储切换方法。该方法具体可以包括：在使用第一存储池作为主存储池的过程中，实时监控主存储池中的各故障域的运行状态数据，第一存储池对应的故障域为第一故障域；根据运行状态数据，判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件；若是，则将第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池，第二存储池对应的故障域为第二故障域，第二故障域不同于第一故障域；其中，主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Ruby、Go，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据存储切换方法，其特征在于，包括：
在使用第一存储池作为主存储池的过程中，实时监控所述主存储池中的各故障域的运行状态数据，所述第一存储池对应的故障域为第一故障域；
根据所述运行状态数据，判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件；
若是，则将第二存储池切换为新的主存储池，并将存储于所述第一存储池的数据同步至第二存储池，所述第二存储池对应的故障域为第二故障域，所述第二故障域不同于所述第一故障域；
其中，所述主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。
2.根据权利要求1所述的方法，其特征在于，所述第一故障域为主机，所述第二故障域为对象存储设备。
3.根据权利要求1所述的方法，其特征在于，在实时监控所述主存储池中的各故障域的运行状态数据之前，还包括：
创建所述第一存储池，并在所述第一存储池中创建客户端主设备；
创建所述第二存储池，并在所述第二存储池中创建与所述客户端主设备具有镜像关系的客户端镜像设备；
将所述客户端主设备与数据读写业务端口关联，以将所述第一存储池作为所述主存储池。
4.根据权利要求3所述的方法，其特征在于，将所述第二存储池切换为新的主存储池，并将存储于第一存储池的数据同步至第二存储池，包括：
开启由所述客户端主设备至所述客户端镜像设备的数据同步服务，以将存储于第一存储池的数据同步至第二存储池；
解除所述客户端主设备与所述客户端镜像设备的镜像关系；
将所述数据读写业务端口从所述客户端主设备切换至所述客户端镜像设备，以将所述第二存储池切换为新的主存储池；
删除所述客户端主设备。
5.根据权利要求1-4中任一项所述的方法，其特征在于，在将存储于所述第一存储池的数据同步至第二存储池之后，还包括：
删除所述第一存储池中存储的数据。
6.根据权利要求2所述的方法，其特征在于，所述纠删码技术中使用K+M的纠错策略，其中，K为原始数据块数量值，M为检验块数量值；
判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件，包括：判断运行状态为正常状态的主机的数量是否等于所述K。
7.一种数据存储切换装置，其特征在于，包括：
数据监控模块，用于在使用第一存储池作为主存储池的过程中，实时监控所述主存储池中的各故障域的运行状态数据，所述第一存储池对应的故障域为第一故障域；
条件判断模块，用于根据所述运行状态数据，判断运行状态为正常状态的第一故障域的数量是否满足预设的存储切换条件；
存储切换模块，用于若是，则将所述第二存储池切换为新的主存储池，并将存储于所述第一存储池的数据同步至第二存储池，所述第二存储池对应的故障域为第二故障域，所述第二故障域不同于所述第一故障域；
其中，所述主存储池中设定数量的故障域用于对应存储经过纠删码技术处理后的设定数量的待存储数据。
8.根据权利要求7所述的装置，其特征在于，所述第一故障域为主机，所述第二故障域为对象存储设备。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据存储切换方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5中任一所述的数据存储切换方法。
CN201811643671.4A 2018-12-30 2018-12-30 一种数据存储切换方法、装置、设备及存储介质 Active CN111381770B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811643671.4A CN111381770B (zh) 2018-12-30 2018-12-30 一种数据存储切换方法、装置、设备及存储介质
PCT/CN2019/110073 WO2020140523A1 (zh) 2018-12-30 2019-10-09 数据存储切换方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811643671.4A CN111381770B (zh) 2018-12-30 2018-12-30 一种数据存储切换方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111381770A true CN111381770A (zh) 2020-07-07
CN111381770B CN111381770B (zh) 2021-07-06

Family

ID=71219390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811643671.4A Active CN111381770B (zh) 2018-12-30 2018-12-30 一种数据存储切换方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111381770B (zh)
WO (1) WO2020140523A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045385A1 (zh) * 2021-09-23 2023-03-30 华为技术有限公司 数据处理方法以及相关设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112596935B (zh) * 2020-11-16 2022-08-30 新华三大数据技术有限公司 一种osd故障处理方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160371020A1 (en) * 2015-06-16 2016-12-22 Vmware, Inc. Virtual machine data placement in a virtualized computing environment
CN106687911A (zh) * 2014-09-15 2017-05-17 微软技术许可有限责任公司 不损害数据完整性的在线数据移动
US20170161160A1 (en) * 2010-12-14 2017-06-08 Amazon Technologies, Inc. Locality based quorums
CN107153512A (zh) * 2017-04-01 2017-09-12 华为技术有限公司 一种数据迁移方法和装置
CN107153589A (zh) * 2017-06-14 2017-09-12 郑州云海信息技术有限公司 一种镜像数据的读写方法
CN107562566A (zh) * 2017-09-11 2018-01-09 郑州云海信息技术有限公司 一种通过纠删码对数据的处理方法及装置
CN107704212A (zh) * 2017-10-31 2018-02-16 紫光华山信息技术有限公司 一种数据处理方法及装置
CN108153622A (zh) * 2016-12-06 2018-06-12 华为技术有限公司 一种故障处理的方法、装置和设备
CN108509153A (zh) * 2018-03-23 2018-09-07 新华三技术有限公司 Osd选择方法、数据写入和读取方法、监控器和服务器集群
CN108540315A (zh) * 2018-03-28 2018-09-14 新华三技术有限公司成都分公司 分布式存储系统、方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316184B (zh) * 2007-06-01 2010-09-15 华为技术有限公司 容灾切换方法、系统、装置
CN101557320B (zh) * 2009-05-25 2011-05-04 杭州华三通信技术有限公司 容灾的实现方法及其通信设备
CN103019614B (zh) * 2011-09-23 2015-11-25 阿里巴巴集团控股有限公司 分布式存储系统管理装置及方法
CN106325768B (zh) * 2016-08-19 2019-08-13 华中科技大学 一种双机存储系统及方法
CN107193679A (zh) * 2017-05-16 2017-09-22 郑州云海信息技术有限公司 一种容灾方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161160A1 (en) * 2010-12-14 2017-06-08 Amazon Technologies, Inc. Locality based quorums
CN106687911A (zh) * 2014-09-15 2017-05-17 微软技术许可有限责任公司 不损害数据完整性的在线数据移动
US20160371020A1 (en) * 2015-06-16 2016-12-22 Vmware, Inc. Virtual machine data placement in a virtualized computing environment
CN108153622A (zh) * 2016-12-06 2018-06-12 华为技术有限公司 一种故障处理的方法、装置和设备
CN107153512A (zh) * 2017-04-01 2017-09-12 华为技术有限公司 一种数据迁移方法和装置
CN107153589A (zh) * 2017-06-14 2017-09-12 郑州云海信息技术有限公司 一种镜像数据的读写方法
CN107562566A (zh) * 2017-09-11 2018-01-09 郑州云海信息技术有限公司 一种通过纠删码对数据的处理方法及装置
CN107704212A (zh) * 2017-10-31 2018-02-16 紫光华山信息技术有限公司 一种数据处理方法及装置
CN108509153A (zh) * 2018-03-23 2018-09-07 新华三技术有限公司 Osd选择方法、数据写入和读取方法、监控器和服务器集群
CN108540315A (zh) * 2018-03-28 2018-09-14 新华三技术有限公司成都分公司 分布式存储系统、方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. BANERJEE ET AL.: "On the impact of coding parameters on storage requirement of region-based fault tolerant distributed file system design", 《2014 INTERNATIONAL CONFERENCE ON COMPUTING, NETWORKING AND COMMUNICATIONS (ICNC)》 *
沈良好: "基于CEPH的分布式存储节能技术研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045385A1 (zh) * 2021-09-23 2023-03-30 华为技术有限公司 数据处理方法以及相关设备

Also Published As

Publication number Publication date
WO2020140523A1 (zh) 2020-07-09
CN111381770B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
US10795789B2 (en) Efficient recovery of erasure coded data
US8255653B2 (en) System and method for adding a storage device to a cluster as a shared resource
CN111078147B (zh) 一种缓存数据的处理方法、装置、设备及存储介质
US20100138687A1 (en) Recording medium storing failure isolation processing program, failure node isolation method, and storage system
US20190220379A1 (en) Troubleshooting Method, Apparatus, and Device
CN108932338A (zh) 数据更新方法、装置、设备和介质
CN108733311B (zh) 用于管理存储系统的方法和设备
CN108984349B (zh) 主节点选举方法及装置、介质和计算设备
US8745342B2 (en) Computer system for controlling backups using wide area network
CN104750428A (zh) 块储存存取和网关模块、储存系统和方法与内容递送装置
CN115167782B (zh) 临时存储副本管理方法、系统、设备和存储介质
CN111381770B (zh) 一种数据存储切换方法、装置、设备及存储介质
CN111240901B (zh) 分布式块存储系统的节点动态扩展系统、方法及设备
JP2007018312A (ja) ディスクアレイ装置及びその制御方法
US20220253356A1 (en) Redundant data calculation method and apparatus
US20200174683A1 (en) Method and system for delivering message in storage system
CN110209526A (zh) 一种存储层同步系统、及存储介质
US11429313B2 (en) Data processing method, device and distributed storage system
CN112748856A (zh) 管理盘的方法、电子设备和计算机程序产品
CN113064766A (zh) 数据备份方法、装置、设备及存储介质
JP2011028520A (ja) ディスクアレイ装置及び物理ディスクの復元方法
CN116389233B (zh) 容器云管理平台主备切换系统、方法、装置和计算机设备
US8402231B2 (en) Storage device, method for restoring data in storage device and storage controller
CN112540873B (zh) 容灾方法、装置、电子设备及容灾系统
US10423506B1 (en) Fast rebuild using layered RAID

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant