CN113590041A - 一种数据保护存储方法、装置及设备 - Google Patents
一种数据保护存储方法、装置及设备 Download PDFInfo
- Publication number
- CN113590041A CN113590041A CN202110863034.3A CN202110863034A CN113590041A CN 113590041 A CN113590041 A CN 113590041A CN 202110863034 A CN202110863034 A CN 202110863034A CN 113590041 A CN113590041 A CN 113590041A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- target
- stored
- set value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 387
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 62
- 238000009826 distribution Methods 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 102100038968 WAP four-disulfide core domain protein 1 Human genes 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000000256 polyoxyethylene sorbitan monolaurate Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据保护存储方法、装置及设备，该方法依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M，确定用于存储待存储数据的存储节点的数量K和定位节点PN的数量P，K大于或等于N与M之和，并按照均匀分布存储数据的原则建立存储介质之间映射关系的映射表，以将PN映射于K个存储节点对应的存储介质中，在存储数据时，利用待存储数据对应的桶名和对象名，确定出用于存储该待存储数据的目标PN以及目标PS，并依据目标PN与存储介质的映射关系，对该待存储数据对应存储在目标PS上各PN对应的存储介质。可见，本申请实施例能够解决现有技术不支持单个存储节点故障或失效问题，从而能够提高存储数据的安全性。
Description
技术领域
本申请涉及存储领域，尤其涉及一种数据保护存储方法、装置及设备。
背景技术
随着海量非结构化数据的飞速增长，如何对海量数据进行存储，并能够从海量数据中快速定位到待读取对象以及保证对象数据写入容量均衡，已成为存储海量数据必须满足的要求。
现有技术提供的数据存储方法，虽然能够满足从海量数据中快速定位到待读取对象以及保证对象数据写入容量均衡的要求，但现有技术提供的方法是通过与存储节点呈映射关系的虚拟节点将数据单独地存储在与虚拟节点对应的存储节点中，而分布于各存储节点上的用于与存储节点形成映射关系的虚拟节点之间并不存在数据冗余保护关系，必须依赖各存储节点上存储介质间做EC(Erasure Code，纠删码)或RAID(Redundant Arrays ofIndependent Disks，存储介质阵列)保护，仅在单个存储节点内形成数据保护，但并未在各存储节点间形成全局的数据保护，一旦一个存储节点失效或一个存储节点的多块盘失效，该存储系统会存在中断业务甚至丢失数据风险。
发明内容
有鉴于此，本申请提供一种数据保护存储方法、装置及设备，以提高数据存储的安全性。
具体地，本申请是通过如下技术方案实现的：
第一方面，本申请实施例提供了一种数据保护存储方法，所述方法包括：
依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M，确定用于存储待存储数据的存储节点的数量K和定位节点PN的数量P；所述K大于或等于第一设定值，所述第一设定值为N与M之和，N大于或等于M，每一存储节点包含的存储介质数量大于或等于M；
按照均匀分布存储数据的原则建立映射表，所述映射表包括P个定位节点PN与K个存储节点上的存储介质之间的映射关系；
将第一待存储数据划分成N块数据块，并依据所述N块数据块计算出对应的M块校验块；
依据第一待存储数据对应的桶名和对象名确定出与所述桶名和对象名对应的目标PN；所述目标PN所处的目标PS上的PN数量为所述第一设定值，所述目标PS上的PN被分配到不同的存储节点中；
依据所述映射表中PN与存储介质的映射关系将所述N块数据块和所述M块校验块存储至所述目标PS上的第一设定值个PN对应的存储介质。
第二方面，本申请实施例还提供了一种数据保护存储装置，所述装置包括：
存储和定位节点确定单元，用于依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M，确定用于存储待存储数据的存储节点的数量K和定位节点PN的数量P；所述K大于或等于第一设定值，所述第一设定值为N与M之和，N大于或等于M，每一存储节点包含的存储介质数量大于或等于M；
定位节点分布单元，用于按照均匀分布存储数据的原则建立映射表，所述映射表包括P个定位节点PN与K个存储节点上的存储介质之间的映射关系；
数据块切分单元，用于将第一待存储数据划分成N块数据块，并依据所述N块数据块计算出对应的M块校验块；
目标PN确定单元，用于依据第一待存储数据对应的桶名和对象名确定出与所述桶名和对象名对应的目标PN；所述目标PN所处的目标PS上的PN数量为所述第一设定值，所述目标PS上的PN被分配到不同的存储节点中；
存储单元，用于依据所述映射表中PN与存储介质的映射关系将所述N块数据块和所述M块校验块存储至所述目标PS上的第一设定值个PN对应的存储介质。
第三方面，本申请实施例还提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述任一实施例所描述的数据保护存储方法。
由此可见，本申请实施例提供的数据保护存储方法、装置及设备，该方法依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M，确定用于存储待存储数据的存储节点的数量K和定位节点PN的数量P，K大于或等于N与M之和，并按照均匀分布存储数据的原则建立用于表示PN与K个存储节点上的存储介质之间映射关系的映射表，以将PN映射于K个存储节点对应的存储介质中，在存储数据时，利用待存储数据对应的桶名和对象名，确定出用于存储该待存储数据的目标PN以及目标PS，并依据目标PN与存储介质的映射关系，对该待存储数据对应存储在目标PS上各PN对应的存储介质。可见，本申请实施例不再针对单独的存储节点进行数据存储，而是在各存储节点上做了全局的EC保护，这样，即使出现一个存储节点或一个存储节点的多块盘失效，也不会造成数据丢失，进而解决了现有技术不支持单个存储节点故障或失效问题，从而能够提高存储数据的安全性。
附图说明
图1是本申请一示例性实施例示出的一种数据保护存储方法的流程图；
图2是本申请一示例性实施例示出的一种数据读取方法的流程图；
图3是本申请一示例性实施例示出的又一种数据保护存储方法的流程图；
图4是本申请一示例性实施例示出的一种数据保护存储装置的结构示意图；
图5是本申请提供一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参见图1，图1是本申请实施例示出的一种数据保护存储方法的流程图，该方法包括如下步骤：
步骤101，依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M，确定用于存储待存储数据的存储节点的数量K和定位节点PN(Placement Node，定位节点)的数量P。
其中，K大于或等于第一设定值，所述第一设定值为N与M之和，N大于或等于M，每一存储节点包含的存储介质数量大于或等于M。
本步骤形成的用于存储数据的存储节点是事先设定成将待存储数据划分成N块数据块，并依据N块数据块计算出对应的M块校验块。
在本实施例中，可以采用EC(Erasure Code，纠删码)策略将待存储数据分切成N块数据块，根据N块数据块计算出M块校验块。N为数据块个数，M为校验块个数，N>＝M。上述EC是一种编码技术，该编码技术可以将数据文件切分为N块数据块，并计算出M块冗余数据块即校验块，如果该数据文件中N+M中任意的小于或等于M块损坏或丢失，能够通过剩余的块修复或还原损坏数据。
示例性的，如将待存储的数据块A1依据EC策略切成2块数据块和1块校验块，将待存储的数据块A2依据EC策略切成4块数据块和2块校验块、将待存储的数据块A3依据EC策略切成6块数据块和3块校验块和将待存储的数据块A4依据EC策略切成8块数据块和4块校验块。
本实施例的每一存储节点包含的存储介质数量大于或等于M，能够保证各PN有规则的映射于各存储介质。
本步骤的K个存储节点是来存储待存储数据的。存储节点实际就是存储待存储数据的节点。
第一设定值也只是为便于和后文的设定值区分而进行的命名，并非用于限定某一设定值。
示例性的，若N为7，M为3，那么第一设定值为7+3，也就是10，这也表示需要10个存储节点。
每个存储节点上的存储介质容量、存储类型和数量可以相同，也可以不同，为了便于PN分配，作为一个实施例，每个存储节点上的存储介质容量、存储类型和数量中的至少一项均相同。
在本实施例中，各存储节点的存储介质容量相同能够为了避免木桶效应或容量浪费。存储类型可以一致，也可以不必一致，而数量要求尽量一致，若不一致，则各存储节点中存储介质数量尽量接近，需控制在预设差值范围内。
步骤102，按照均匀分布存储数据的原则建立映射表。
其中，映射表包括P个定位节点PN与K个存储节点上的存储介质之间的映射关系。
本步骤建立的映射表，能够将PN(Placement Node，定位节点)对应映射于各存储节点的存储介质中，以使各PN有规则的映射于各存储介质。
PN，是一个逻辑概念。创建池Pool时需设定该Pool中PN总数，一个对象经一致性Hash运算会对应到一个Pool中的一个PN，其实质是映射到一组PN，一个PN映射到一个存储介质，一个存储介质可以被多个PN映射，即一个存储介质可以对应多个PN。
本步骤中均匀分布存储数据的原则的实现方式可以是尽可能将PN均匀地分布映射于各存储节点上的存储介质，若不能够均匀分布，则可以P个PN中的部分PN按照第一规则均匀地映射分布于K个存储节点上的部分存储介质中，如第一种规则是部分PN以三对一的方式对应映射于每个存储节点上的部分存储介质；P个PN中的余下部分PN按照第二规则均匀地映射分布于K个存储节点的余下部分存储介质中，第二规则为与第一规则不同的规则。第二种规则就是与第一种规则不同的余下PN以四对一的方式对应映射于各存储节点上余下部分存储介质中，需要注意的是，无论按照第一规则为各存储介质分配PN还是按照第二规则为各存储介质分配PN，则均应保证同一个PS上的PN被分配到不太的存储介质中。这里，不再赘述，后续将会进一步去详细介绍。
第一种规则只是为便于和后文的规则区分而进行的命名，并非用于限定某一规则。
这里，第二种规则只是为便于描述而进行的命名，并非用于限定某一规则。
在本步骤中，各PN映射于各存储节点的存储介质之后，在查到找PN后，便可以获知该PN对应的存储节点中的存储介质。
步骤103，将第一待存储数据划分成N块数据块，并依据所述N块数据块计算出对应的M块校验块。
第一待存储数据只是为便于和后文的数量区分而进行的命名，并非用于限定某一存储数据。
在建立好映射表之后，就可以依据映射表将数据存储在对于存储节点的存储介质中。
步骤104，依据第一待存储数据对应的桶名和对象名确定出与所述桶名和对象名对应的目标PN；所述目标PN所处的目标PS(Placement Stripe，定位条带)上的PN数量为所述第一设定值，所述目标PS上的PN被分配到不同的存储节点中。
在本实施例中，对象可以理解为对象存储中存储的基本实体，用于保存对象的容器。而桶就是对象存储中存储的基本实体，用于保存对象的容器。相应地，对象名就是唯一标识存储桶中的对象。
第一待存储数据就是对象。
目标PN可以理解为用于存储第一待存储数据对应的各PN。
PS，也是一个逻辑概念，每个PS有第一设定值(N+M)个PN组成，相应地，目标PS是由第一设定值个PN构成，这也就是说，目标PS上的PN就是目标PN。
在本实施例中，同一个PS上的PN被分配到不同的存储节点中，以保证能够准确地获取被存储的数据块。
步骤105，依据所述映射表中PN与存储介质的映射关系将所述N块数据块和所述M块校验块存储至所述目标PS上的第一设定值个PN对应的存储介质。
各PN与存储介质均有映射关系，在确定出PN后，便可依据PN确定出该PN对应的存储节点中的存储介质。
作为一个实施例，实现步骤104的实现方式可以包括步骤A～步骤C：
步骤A，对第一待存储数据对应的桶名和对象名进行运算处理，并获得序号为运算处理结果的待存储PN。
本步骤可以依据运算结果，确定出用于存储待存储数据的一个PN。
步骤B，查找首位为所述待存储PN的目标PS，并将所述目标PS中包含的各PN确定为用于存储所述第一待存储数据的各数据块和各校验块对应的目标PN。
待存储PN对应于PS中各PN排序的首位PN。
在步骤A～B的基础上，实现步骤105的实现方式可以包括步骤C：
步骤C，按照PN在所述目标PS排序的先后顺序，将所述N块数据块和所述M块校验块依次存储在所述目标PS上的第一设定值个PN对应的存储介质中。
在确定出目标PS后，可以将N块数据块和M块校验块依次对应于该目标PS中的各PN中，借助PN与存储介质之间的对应关系，可以将N块数据块和M块校验块按照该目标PS中各PN在存储介质中的逻辑映射存储于各PN对应的存储介质中。值得一提的是，PS恰好是第一设定值个PN，这样能够将待存储数据存储在一个PS中各PN对应的存储介质中。
可见，通过本实施例提供的技术方案，能够快速有序地确定出待存储数据对应存储在存储节点中的位置，并进行存储。
作为一个实施例，实现步骤A的实现方式可以包括如下步骤A1和步骤A2：
步骤A1，对第一待存储数据对应的桶名和对象名进行哈希计算并处理，得到哈希结果。
将桶名和对象名输入如下表达式后，鉴于直接计算出的哈希值与PN总数量不是同一数量级，需要进一步对哈希值进行处理，以使哈希值与PN总数量在相同的数量级上，处理后的哈希值就是哈希结果。
该表达式为：Hash(桶名+对象名)，其中，Hash(.)为哈希函数。
步骤A2，将所述哈希结果除以P并取余，并将取余结果确定为用于存储数据块的待存储PN的序号。
可见，通过本实施例提供的技术方案，能够依据桶名和对象名快速确定出存储待存储数据存储介质对应的首个待存储PN。
至此，完成图1示的描述。
由此可见，在本申请实施例的技术方案中，该方法依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M，确定用于存储待存储数据的存储节点的数量K和定位节点PN的数量P，K大于或等于N与M之和，并按照均匀分布存储数据的原则建立用于表示PN与K个存储节点上的存储介质之间映射关系的映射表，以将PN映射于K个存储节点对应的存储介质中，在存储数据时，利用待存储数据对应的桶名和对象名，确定出用于存储该待存储数据的目标PN以及目标PS，并依据目标PN与存储介质的映射关系，对该待存储数据对应存储在目标PS上各PN对应的存储介质。可见，本申请实施例不再针对单独的存储节点进行数据存储，而是在各存储节点上做了全局的EC保护，这样，即使出现一个存储节点或一个存储节点的多块盘失效，也不会造成数据丢失，进而解决了现有技术不支持单个存储节点故障或失效问题，从而能够提高存储数据的安全性。
如何建立映射表，以将PN对应映射于各存储节点的存储介质中，使得各PN有规则的尽量均匀地映射于各存储介质，在一些实施例中，所述P靠近2的幂次方且为第一设定值的整数倍，实现步骤102的实现方式可以包括步骤：
按照预设方式将P个PN映射在每一存储节点包含的各存储介质中。
其中，所述预设方式为：为每一存储节点中各存储介质分布待映射的PN，并将所述第一设定值个PN构成一组定位条带组PSG，在所述PSG中相邻PN序号的差值为所述P与所述第一设定值的比值，且每一PSG包含所述第一设定值个定位条带PS，PS是所述第一设定值个PN进行排序的序列，各PS为首的PN均不同，同一组PSG中的PN分布在不同存储节点中。
预设方式只是为便于和后文的预设方式区分而进行的命名，并非用于限定某一预设方式。
PS，也是一个逻辑概念，每个PS有第二设定值(N+M)个PN组成，每一PS为首的PN均不同。
每一PS中各PN的序号按照一定顺序有规律的设定，作为一个实施例，一个PSG中的序号最小的PS中的PN序号可以构成一个递增的等差数列。
示例性的，若第二设定值为3，则3个PN构成一组PSG，这次PN分别为PN0、PN1和PN2，以PN0、PN1和PN2组成的PS也为3个，分别为以PN0为首的PS1，即PN0、PN1和PN2，以PN1为首的PS2，即PN1、PN2和PN0，以PN2为首的PS3，即PN2、PN0和PN1。
作为一个实施例，各存储节点尽量均分所有PN，以使每个存储节点上的存储介质均分该存储节点上的PN，各PN的序号之间的差值不大于1。
为了更加容易理解，现举一具体实施例，具体为：
示例性的，使用EC策略将待存储数据块切成4块数据块和2块校验块，依据存储节点K>＝N+M，经过4+2计算得知存储节点不能小于6，则将6个存储节点形成一个存储池，每个存储节点有10块存储介质，按照接近2的幂次方，且能被N+M＝6整除的数字作为PN总数量的选择方式，选择P＝60，而6个PN组成一个PSG，一个PSG包含6个PS。
基于此，按表1所展示的6个存储节点上10个存储介质与PN的分布情况的分布情况：
表1存储介质与PN的分布情况
| S1 | S2 | S3 | S5 | S5 | S6 | |
| Disk1 | 0 | 10 | 20 | 30 | 40 | 50 |
| Disk2 | 1 | 11 | 21 | 31 | 41 | 51 |
| Disk3 | 2 | 12 | 22 | 32 | 42 | 52 |
| Disk4 | 3 | 13 | 23 | 33 | 43 | 53 |
| Disk5 | 4 | 14 | 24 | 34 | 44 | 54 |
| Disk6 | 5 | 15 | 25 | 35 | 45 | 55 |
| Disk7 | 6 | 16 | 26 | 36 | 46 | 56 |
| Disk8 | 7 | 17 | 27 | 37 | 47 | 57 |
| Disk9 | 8 | 18 | 28 | 38 | 48 | 58 |
| Disk10 | 9 | 19 | 29 | 39 | 49 | 59 |
表1中，S1～S6分别对应的6个存储节点，Disk1～Disk10表示序号为1～10的存储介质。表格中的数字均是PN序号。
在表1中的，N+M个PN组成一个PSG，即6个PN组成一个PSG，如序号为0、10、20、30、40、50的PN，每个PN的差值为P/K，即60/6＝10。每个PSG含有6个PS，每个PS以某个PN为首。如表2所示。
表2 PS与PN构成的一个PSG
| PS0 | 0 | 10 | 20 | 30 | 40 | 50 |
| PS10 | 10 | 20 | 30 | 40 | 50 | 0 |
| PS20 | 20 | 30 | 40 | 50 | 0 | 10 |
| PS30 | 30 | 40 | 50 | 0 | 10 | 20 |
| PS40 | 40 | 50 | 0 | 10 | 20 | 30 |
| PS50 | 50 | 0 | 10 | 20 | 30 | 40 |
表3中，PS0～PS50分别为序号为0、10、20、30、40和50对应的PS。
可见，在本实施例提供的技术方案中，能够将PN有规律地且尽可能均匀地对应映射于各存储节点的存储介质中，以便于依据PN直接能够定位出存唯一储介质。
作为一个实施例，上述为每一存储节点中各存储介质分布待映射的PN的实现方式可以包括如下步骤：
依据各存储节点上存储介质数量或/和容量的大小，对所述存储节点中各存储节点设置对应的权重，并按照权重大小将PN分配至与权重对应的存储节点的存储介质中。
在本实施例中，存储节点中某些存储节点的数量和容量可以相同，也可以不同，本实施例对此不再限定。
在本实施例中，针对依据存储介质的数量或/和容量的大小，预先设定各存储介质的权重，针对存储介质的数量或/和容量较大的存储节点，设置高的权重，这就意味着，针对存储节点中容量大或/和数量大的存储介质分配数量多的PN，针对存储介质的数量或/和容量均较小的存储节点，设置低的权重，这就意味着，针对存储节点中容量小或/和数量小的存储介质分配数量少的PN，进而将PN均匀地分配于各存储介质中。在一些实施例中，若这些存储节点中存在存储介质数量相同，但存储介质容量不同，可以基于存储介质容量大小设定的权重大小，按照权重高的分配PN数量多些，权重低的分配PN数量少些的分配方式将PN映射于这些存储节点的存储介质中，以将PN按照各存储介质的数量和容量均匀地映射于各存储介质。
在上述存储节点中可能存储某些存储节点的存储介质数量和容量均相同的存储节点即目标存储节点，在对目标存储节点上的存储介质进行分配PN时，可以为各目标存储节点设置相同的权重，作为一个实施例，当存储节点中存在存储介质数量和容量均相同的目标存储节点时，则为所述目标存储节点设置相同的权重，并为每一所述目标存储节点上的各存储介质分布数量为P与第二设定值的比值个PN，其中，所述第二设定值为目标存储节点数量与该目标存储节点上存储介质数量的乘积，从而为目标存储节点均匀分配PN。
这里，第二设定值只是为便于描述而进行的命名，并非用于限定某一设定值。
示例性，设有6个存储节点，其中6个存储节点上均有10个存储介质，那么，这6个存储节点就是目标存储节点，待存储数据分4+2块，若P为60，则这6个存储节点平均分10个PN，相对于每个目标存储节点中的存储介质各分布1个PN。
在待存储数据按照上述实施例进行存储之后，可以按照如下方式进行读取，在一些实施例中，如图2所示，图2为本实施例提供的一种存储数据读取方法的流程图，该方法包括如下步骤：
步骤201，获取待读取数据的桶名和对象名。
步骤202，对所述桶名和对象名进行运算处理，并获得序号为运算处理结果的待读取PN。
作为一个实施例，实现步骤202的实现方式可以包括如下步骤:
对所述待读取数据对应的桶名和对象名进行哈希计算并处理，得到哈希结果。
将所述哈希结果除以P并取余，并将取余结果确定为运算结果。
步骤203，查找首位为所述待读取PN的目标PS。
待读取PN对应于PS中各PN排序的首位PN，基于此，依据待读取PN确定出该待读取PN为首位的存储待读取数据的目标PS，该目标PS就是存储了待读取数据的PS。
步骤204，从所述存储节点中获取所述目标PS中各PN对应存储介质中存储的各数据块。
在确定出PS之后，则按照该PS中各PN在PS中的排序，就能够确定出各PN定位映射的存储介质，进而从对应的存储介质中读取到各数据块。
可见，在本实施例提供的技术方案中，能够简单准确地将数据从已存储的存储节点中获取。
若从存储节点中读取的数据块只有部分数据块，这就导致读取的数据块不全，即小于N，基于此，可以从存储节点中读取校验块以还原数据块，若从存储节点中读取的数据块是待读取数据的全部数据块，即N块，则无需再继续读取校验块。基于此，针对读取的数据块不全的情况，作为一个实施例，如图2所示，该方法还包括如下步骤205～步骤206：
步骤205，检测获取的各数据块的数量是否等于N，若不等于，则执行步骤206。
步骤206，从所述存储节点中获取所述待读取PS中各PN对应存储介质中存储的校验块，并利用所述校验块，将已获取的各数据块还原成N块数据块。
本步骤中，获取的数据块与校验块总和为N，便可利用校验块将不足N块的数据块进行还原，以最终获得N块数据块。
可见，通过本实施例提供的技术方案，能够将部分损坏或丢失的数据进行还原。
针对上述对各实施例的描述，作为一个实施例，图3为本实施例提供的一种存储数据读取方法的流程图，该方法包括如下步骤：
301，依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M，确定用于存储待存储数据的存储节点的数量K和定位节点PN的数量P；所述K大于或等于第一设定值，所述第一设定值为N与M之和，N大于或等于M，每一存储节点包含的存储介质数量大于或等于M。
302，按照预设方式将P个PN映射在每一存储节点包含的各存储介质中；其中，所述预设方式为：为每一存储节点中各存储介质分布待映射的PN，并将所述第一设定值个PN构成一组定位条带组PSG，在所述PSG中相邻PN序号的差值为所述P与所述第一设定值的比值，且每一PSG包含所述第一设定值个定位条带PS，PS是所述第一设定值个PN进行排序的序列，各PS为首的PN均不同，同一组PSG中的PN分布在不同存储节点中，P靠近2的幂次方且为第一设定值的整数倍。
303，将第一待存储数据划分成N块数据块，并依据所述N块数据块计算出对应的M块校验块。
304，对第一待存储数据对应的桶名和对象名进行运算处理，并获得序号为运算处理结果的待存储PN。
305，查找首位为所述待存储PN的目标PS，并将所述目标PS中包含的各PN确定为用于存储所述第一待存储数据的各数据块和各校验块对应的目标PN；所述目标PN所处的目标PS上的PN数量为所述第一设定值。
306，按照PN在所述目标PS排序的先后顺序，将所述N块数据块和所述M块校验块依次存储在所述目标PS上的第一设定值个PN对应的存储介质中。
下面基于一个实施例对图1至图3所示流程进行描述：
在实际应用中，利用EC策略技术对待存储数据R进行处理，切成4块数据块和2块校验块，按照存储节点n>＝4+2，则从存储池中获取6个存储节点以用于存储待存储数据R，每个存储节点有10个存储介质。选择PN的数量P＝252，252接近于2的幂次方且为6的整数倍，每个存储节点分252/6＝42个PN，由于42/10＝4余2，则每个存储节点中有2块盘分5个PN，其余8块盘分4个PN。
6个存储节点以及其上存储介质分布待映射PN的分布情况如3所示，具体见如下表3：
表3 PN在存储介质上的分布情况
在表3中，序号为0、42、84、126、168、210的PN组成一个PSG，该PSG中含有6个PS，各PS如表4所示。
表4 PS与PN构成的一个PSG
| PS0 | 0 | 42 | 84 | 126 | 168 | 210 |
| PS8 | 42 | 84 | 126 | 168 | 210 | 0 |
| PS16 | 84 | 126 | 168 | 210 | 0 | 42 |
| PS24 | 126 | 168 | 210 | 0 | 42 | 84 |
| PS32 | 168 | 210 | 0 | 42 | 84 | 126 |
| PS40 | 210 | 0 | 42 | 84 | 126 | 168 |
在各存储节点上的存储介质中分布完待映射的PN之后，对待存储数据进行存储，具体为：获取待存储数据R的桶名和对象名，对桶名和对象名进行哈希计算并处理，得到哈希结果，并将哈希结果除以252并取余，并将取余结果确定为运算结果，假设该运算结果为32，那么，将该32作为存储待存储数据R的首个PN，查找以序号为126为首的PN对应的PS，从表6确定出该PS中各PN依次为序号为126、168、210、0、42和84对应的PN。按照PN在该PS存储的排序的先后顺序，将4块数据块和2块校验块依次存储在与待存储PS中各PN对应的存储介质中。即4块数据块依次存储在序号为126、168、210、0对应映射的存储介质，依次为存储节点4中的Disk1、存储节点5中的Disk1、存储节点6中的Disk1和存储节点1中的Disk1，2块校验块依次存储在序号为42、84对应映射的存储介质，依次为存储节点2中的Disk1和存储节点3中的Disk1。
在存储完待存储数据R之后，在读取该数据R时，具体步骤为：
获取待读取数据R的桶名和对象名，并对桶名和对象名进行哈希计算并处理，得到哈希结果，并将哈希结果除以252并取余，并将取余结果确定为运算结果，假设该运算结果为126，那么，将该126作为存储待读取数据R的首个PN，查找以序号为126为首的PN对应的PS，即为表8中序号为126、168、210、0、42和84对应的PN所组成的PS。从存储节点中获取所述待读取PS中各PN对应存储介质中存储的各数据块。
依据该PS中各PN与存储节点中各存储介质的映射关系，从存储节点中获取该PS中各PN对应存储介质中存储的各数据块。在读取该数据块之后，需要检测获取的各数据块的数量是否等于4，若低于4，则继续从存储节点中获取该PS中各PN对应存储介质中存储的校验块，并利用校验块，将已获取的各数据块还原成4块数据块。
至此，完成实施例的描述。
下面对本申请提供的装置进行描述：
参见图4，图4为本申请提供的一种数据保护存储装置400的结构示意图。该装置包括：
存储和定位节点确定单元401，用于依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M，确定用于存储待存储数据的存储节点的数量K和定位节点PN的数量P；所述K大于或等于第一设定值，所述第一设定值为N与M之和，N大于或等于M，每一存储节点包含的存储介质数量大于或等于M；
定位节点分布单元402，用于按照均匀分布存储数据的原则建立映射表，所述映射表包括P个定位节点PN与K个存储节点上的存储介质之间的映射关系；
数据块切分单元403，用于将第一待存储数据划分成N块数据块，并依据所述N块数据块计算出对应的M块校验块；
目标PN确定单元404，用于依据第一待存储数据对应的桶名和对象名确定出与所述桶名和对象名对应的目标PN；所述目标PN所处的目标PS上的PN数量为所述第一设定值，所述目标PS上的PN被分配到不同的存储节点中；
存储单元405，用于依据所述映射表中PN与存储介质的映射关系将所述N块数据块和所述M块校验块存储至所述目标PS上的第一设定值个PN对应的存储介质。
作为一个实施例，所述P靠近2的幂次方且为第一设定值的整数倍；所述定位节点分布单元402具体用于：
按照预设方式将P个PN映射在每一存储节点包含的各存储介质中；其中，所述预设方式为：为每一存储节点中各存储介质分布待映射的PN，并将所述第一设定值个PN构成一组定位条带组PSG，在所述PSG中相邻PN序号的差值为所述P与所述第一设定值的比值，且每一PSG包含所述第一设定值个定位条带PS，PS是所述第一设定值个PN进行排序的序列，各PS为首的PN均不同，同一组PSG中的PN分布在不同存储节点中。
作为一个实施例，所述定位节点分布单元402中为每一存储节点中各存储介质分布待映射的PN，包括：
依据各存储节点上存储介质数量和容量的大小，对所述存储节点中各存储节点设置对应的权重，并按照权重大小将PN分配至与权重对应的存储节点的存储介质中。
作为一个实施例，当存储节点中存在存储介质数量和容量均相同的目标存储节点时，则为所述目标存储节点设置相同的权重，并为每一所述目标存储节点上的各存储介质分布数量为P与第二设定值的比值个PN，其中，所述第二设定值为目标存储节点数量与该目标存储节点上存储介质数量的乘积。
作为一个实施例，所述目标PN确定单元404具体用于：
对第一待存储数据对应的桶名和对象名进行运算处理，并获得序号为运算处理结果的待存储PN；
查找首位为所述待存储PN的目标PS，并将所述目标PS中包含的各PN确定为用于存储所述第一待存储数据的各数据块和各校验块对应的目标PN；
所述依据所述映射表中PN与存储介质的映射关系将所述N块数据块和所述M块校验块存储至所述目标PS上的第一设定值个PN对应的存储介质，包括：
按照PN在所述目标PS排序的先后顺序，将所述N块数据块和所述M块校验块依次存储在所述目标PS上的第一设定值个PN对应的存储介质中。
作为一个实施例，该装置进一步包括：
获取单元，用于获取待读取数据对应的桶名和对象名；
运算单元，用于对所述待读取数据对应的桶名和对象名进行运算处理，并获得序号为运算处理结果的待读取PN；
查找单元，用于查找首位为所述待读取PN的目标PS；
读取单元，用于从所述存储节点中获取所述目标PS中各PN对应存储介质中存储的各数据块。
作为一个实施例，该装置还包括：
检测单元，用于检测获取的各数据块的数量是否等于N，若不等于，则从所述存储节点中获取所述目标PS中各PN对应存储介质中存储的校验块，并利用所述校验块，将已获取的各数据块还原成N块数据块。
至此，完成图4示的描述。
由此可见，在本申请实施例的技术方案中，
依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M，确定用于存储待存储数据的存储节点的数量K和定位节点PN的数量P，K大于或等于N与M之和，并按照均匀分布存储数据的原则建立用于表示PN与K个存储节点上的存储介质之间映射关系的映射表，以将PN映射于K个存储节点对应的存储介质中，在存储数据时，利用待存储数据对应的桶名和对象名，确定出用于存储该待存储数据的目标PN以及目标PS，并依据目标PN与存储介质的映射关系，对该待存储数据对应存储在目标PS上各PN对应的存储介质。可见，本申请实施例不再针对单独的存储节点进行数据存储，而是在各存储节点上做了全局的EC保护，这样，即使出现一个存储节点或一个存储节点的多块盘失效，也不会造成数据丢失，进而解决了现有技术不支持单个存储节点故障或失效问题，从而能够提高存储数据的安全性。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
本申请实施例提供的电子设备，从硬件层面而言，硬件架构示意图可以参见图5所示。包括：机器可读存储介质和处理器，其中：所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述示例公开的数据保护存储。
本申请实施例提供的机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现上述示例公开的数据保护存储。
这里，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (10)
1.一种数据保护存储方法，其特征在于，所述方法包括：
依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M，确定用于存储待存储数据的存储节点的数量K和定位节点PN的数量P；所述K大于或等于第一设定值，所述第一设定值为N与M之和，N大于或等于M，每一存储节点包含的存储介质数量大于或等于M；
按照均匀分布存储数据的原则建立映射表，所述映射表包括P个定位节点PN与K个存储节点上的存储介质之间的映射关系；
将第一待存储数据划分成N块数据块，并依据所述N块数据块计算出对应的M块校验块；
依据第一待存储数据对应的桶名和对象名确定出与所述桶名和对象名对应的目标PN；所述目标PN所处的目标PS上的PN数量为所述第一设定值，所述目标PS上的PN被分配到不同的存储节点中；
依据所述映射表中PN与存储介质的映射关系将所述N块数据块和所述M块校验块存储至所述目标PS上的第一设定值个PN对应的存储介质。
2.根据权利要求1所述的方法，其特征在于，所述P靠近2的幂次方且为第一设定值的整数倍；所述按照均匀分布存储数据的原则建立映射表，包括：
按照预设方式将P个PN映射在每一存储节点包含的各存储介质中；其中，所述预设方式为：为每一存储节点中各存储介质分布待映射的PN，并将所述第一设定值个PN构成一组定位条带组PSG，在所述PSG中相邻PN序号的差值为所述P与所述第一设定值的比值，且每一PSG包含所述第一设定值个定位条带PS，PS是所述第一设定值个PN进行排序的序列，各PS为首的PN均不同，同一组PSG中的PN分布在不同存储节点中。
3.根据权利要求2所述的方法，其特征在于，所述为每一存储节点中各存储介质分布待映射的PN，包括：
依据各存储节点上存储介质数量或/和容量的大小，对所述存储节点中各存储节点设置对应的权重，并按照权重大小将PN分配至与权重对应的存储节点的存储介质中。
4.根据权利要求3所述的方法，其特征在于，当存储节点中存在存储介质数量和容量均相同的目标存储节点时，则为所述目标存储节点设置相同的权重，并为每一所述目标存储节点上的各存储介质分布数量为P与第二设定值的比值个PN，其中，所述第二设定值为目标存储节点数量与该目标存储节点上存储介质数量的乘积。
5.根据权利要求1所述的方法，其特征在于，所述依据第一待存储数据对应的桶名和对象名确定出与所述桶名和对象名对应的目标PN，包括：
对第一待存储数据对应的桶名和对象名进行运算处理，并获得序号为运算处理结果的待存储PN；
查找首位为所述待存储PN的目标PS，并将所述目标PS中包含的各PN确定为用于存储所述第一待存储数据的各数据块和各校验块对应的目标PN；
所述依据所述映射表中PN与存储介质的映射关系将所述N块数据块和所述M块校验块存储至所述目标PS上的第一设定值个PN对应的存储介质，包括：
按照PN在所述目标PS排序的先后顺序，将所述N块数据块和所述M块校验块依次存储在所述目标PS上的第一设定值个PN对应的存储介质中。
6.根据权利要求1～5任一项所述的方法，其特征在于，该方法进一步包括：
获取待读取数据对应的桶名和对象名；
对所述待读取数据对应的桶名和对象名进行运算处理，并获得序号为运算处理结果的待读取PN；
查找首位为所述待读取PN的目标PS；
从所述存储节点中获取所述目标PS中各PN对应存储介质中存储的各数据块。
7.根据权利要求6所述的方法，其特征在于，在所述从所述存储节点中获取所述目标PS中各PN对应存储介质中存储的各数据块之后，包括：
检测获取的各数据块的数量是否等于N，若不等于，则从所述存储节点中获取所述目标PS中各PN对应存储介质中存储的校验块，并利用所述校验块，将已获取的各数据块还原成N块数据块。
8.一种数据保护存储装置，其特征在于，所述装置包括：
存储和定位节点确定单元，用于依据已设定的对待存储数据进行划分的数据块数量N和校验块数据M，确定用于存储待存储数据的存储节点的数量K和定位节点PN的数量P；所述K大于或等于第一设定值，所述第一设定值为N与M之和，N大于或等于M，每一存储节点包含的存储介质数量大于或等于M；
定位节点分布单元，用于按照均匀分布存储数据的原则建立映射表，所述映射表包括P个定位节点PN与K个存储节点上的存储介质之间的映射关系；
数据块切分单元，用于将第一待存储数据划分成N块数据块，并依据所述N块数据块计算出对应的M块校验块；
目标PN确定单元，用于依据第一待存储数据对应的桶名和对象名确定出与所述桶名和对象名对应的目标PN；所述目标PN所处的目标PS上的PN数量为所述第一设定值，所述目标PS上的PN被分配到不同的存储节点中；
存储单元，用于依据所述映射表中PN与存储介质的映射关系将所述N块数据块和所述M块校验块存储至所述目标PS上的第一设定值个PN对应的存储介质。
9.根据权利要求8所述的装置，其特征在于，所述P靠近2的幂次方且为第一设定值的整数倍；所述定位节点分布单元中执行按照均匀分布存储数据的原则建立映射表，具体用于：
按照预设方式将P个PN映射在每一存储节点包含的各存储介质中；其中，所述预设方式为：为每一存储节点中各存储介质分布待映射的PN，并将所述第一设定值个PN构成一组定位条带组PSG，在所述PSG中相邻PN序号的差值为所述P与所述第一设定值的比值，且每一PSG包含所述第一设定值个定位条带PS，PS是所述第一设定值个PN进行排序的序列，各PS为首的PN均不同，同一个PS上的PN被分配到不同的存储节点中，同一组PSG中的PN分布在不同存储节点中。
10.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110863034.3A CN113590041B (zh) | 2021-07-29 | 2021-07-29 | 一种数据保护存储方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110863034.3A CN113590041B (zh) | 2021-07-29 | 2021-07-29 | 一种数据保护存储方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113590041A true CN113590041A (zh) | 2021-11-02 |
| CN113590041B CN113590041B (zh) | 2024-05-17 |
Family
ID=78251748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110863034.3A Active CN113590041B (zh) | 2021-07-29 | 2021-07-29 | 一种数据保护存储方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113590041B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023241350A1 (zh) * | 2022-06-17 | 2023-12-21 | 重庆紫光华山智安科技有限公司 | 数据处理方法、装置、数据接入端及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273048A (zh) * | 2017-06-08 | 2017-10-20 | 浙江大华技术股份有限公司 | 一种数据写入方法及装置 |
| WO2019016911A1 (ja) * | 2017-07-20 | 2019-01-24 | 株式会社日立製作所 | 分散ストレージシステム及び分散ストレージ制御方法 |
| CN111818124A (zh) * | 2020-05-29 | 2020-10-23 | 平安科技（深圳）有限公司 | 数据存储方法、装置、电子设备及介质 |
| CN112214175A (zh) * | 2020-10-21 | 2021-01-12 | 重庆紫光华山智安科技有限公司 | 数据处理方法、装置、数据节点及存储介质 |
| CN112698787A (zh) * | 2020-12-28 | 2021-04-23 | 杭州海康威视系统技术有限公司 | 写数据方法、装置及计算机存储介质 |
| US20210157676A1 (en) * | 2019-11-26 | 2021-05-27 | Hitachi, Ltd. | Distributed storage system, distributed storage node, and parity update method for distributed storage system |
-
2021
- 2021-07-29 CN CN202110863034.3A patent/CN113590041B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273048A (zh) * | 2017-06-08 | 2017-10-20 | 浙江大华技术股份有限公司 | 一种数据写入方法及装置 |
| WO2019016911A1 (ja) * | 2017-07-20 | 2019-01-24 | 株式会社日立製作所 | 分散ストレージシステム及び分散ストレージ制御方法 |
| US20210157676A1 (en) * | 2019-11-26 | 2021-05-27 | Hitachi, Ltd. | Distributed storage system, distributed storage node, and parity update method for distributed storage system |
| CN111818124A (zh) * | 2020-05-29 | 2020-10-23 | 平安科技（深圳）有限公司 | 数据存储方法、装置、电子设备及介质 |
| CN112214175A (zh) * | 2020-10-21 | 2021-01-12 | 重庆紫光华山智安科技有限公司 | 数据处理方法、装置、数据节点及存储介质 |
| CN112698787A (zh) * | 2020-12-28 | 2021-04-23 | 杭州海康威视系统技术有限公司 | 写数据方法、装置及计算机存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023241350A1 (zh) * | 2022-06-17 | 2023-12-21 | 重庆紫光华山智安科技有限公司 | 数据处理方法、装置、数据接入端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113590041B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10318169B2 (en) | Load balancing of I/O by moving logical unit (LUN) slices between non-volatile storage represented by different rotation groups of RAID (Redundant Array of Independent Disks) extent entries in a RAID extent table of a mapped RAID data storage system | |
| US9678668B2 (en) | System and method for unbalanced RAID management | |
| TWI408549B (zh) | 再平衡條狀磁碟資料之方法、電腦系統、電腦程式產品與用以部署計算基礎結構之方法 | |
| CN102968503B (zh) | 数据库系统的数据处理方法以及数据库系统 | |
| CN113590042B (zh) | 一种数据保护存储方法、装置及设备 | |
| CN110096219B (zh) | 从驱动器组生成的驱动器区段池的有效容量 | |
| CN107450852B (zh) | 一种存储空间处理方法、装置和设备 | |
| CN110737393A (zh) | 数据读取方法、设备和计算机程序产品 | |
| CN111310784B (zh) | 资源数据的处理方法及装置 | |
| US10296252B1 (en) | Reducing drive extent allocation changes while splitting a group of storage drives into partnership groups in response to addition of a storage drive to an array of storage drives in a data storage system that uses mapped RAID (redundant array of independent disks) technology | |
| CN105487823A (zh) | 一种数据迁移的方法及装置 | |
| US20160026646A1 (en) | Recording medium having data recorded therein in data file format structure for visualization of large capacity cfd parallel data and method for generating said data file format structure | |
| CN113590041B (zh) | 一种数据保护存储方法、装置及设备 | |
| CN108121497B (zh) | 存储方法以及存储系统 | |
| US11262920B2 (en) | Mapped raid (redundant array of independent disks) with drive health aware protection groups | |
| US10007434B1 (en) | Proactive release of high performance data storage resources when exceeding a service level objective | |
| US11340816B2 (en) | Deallocation of drive extents for mapped raid (redundant array of independent disks) extents | |
| CN112612605B (zh) | 线程分配方法、装置、计算机设备和可读存储介质 | |
| CN112463050A (zh) | 一种存储系统扩容方法、装置、设备及机器可读存储介质 | |
| CN101174196A (zh) | 变更运作中的磁盘阵列的等级的方法 | |
| CN116501247A (zh) | 一种数据存储方法和数据存储系统 | |
| CN106372161A (zh) | 一种分布式数据库数据备份分片部署方法及装置 | |
| CN112800057B (zh) | 一种指纹表管理方法及装置 | |
| CN112256206B (zh) | 一种io处理方法及装置 | |
| US11347407B2 (en) | RAID (redundant array of independent disks) group configuration and storage drive distribution based on storage drive health |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |