CN111258508A - 一种分布式对象存储中的元数据管理方法 - Google Patents

一种分布式对象存储中的元数据管理方法 Download PDF

Info

Publication number
CN111258508A
CN111258508A CN202010094569.4A CN202010094569A CN111258508A CN 111258508 A CN111258508 A CN 111258508A CN 202010094569 A CN202010094569 A CN 202010094569A CN 111258508 A CN111258508 A CN 111258508A
Authority
CN
China
Prior art keywords
metadata
logical volume
hash value
objects
logical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010094569.4A
Other languages
English (en)
Other versions
CN111258508B (zh
Inventor
周耀辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orca Data Technology Xian Co Ltd
Original Assignee
Orca Data Technology Xian Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orca Data Technology Xian Co Ltd filed Critical Orca Data Technology Xian Co Ltd
Priority to CN202010094569.4A priority Critical patent/CN111258508B/zh
Publication of CN111258508A publication Critical patent/CN111258508A/zh
Application granted granted Critical
Publication of CN111258508B publication Critical patent/CN111258508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems

Abstract

本发明公开了一种分布式对象存储中的元数据管理方法，包括：S1、将逻辑卷划均匀分成多个逻辑单元，每个所述逻辑单元即为一个对象，每个所述对象对应一个对象元数据，所述对象元数据用于唯一确定其对应的所述对象的内容和位置；各个所述对象元数据构成元数据对象；S2、通过计算各个所述对象和所述元数据对象内容的哈希值，在一致性哈希表中查到其副本数据在集群中的目标节点，将所述对象和所述元数据对象通过网络存储在目标节点上；S3、通过所述逻辑卷的GUID的哈希值，在所述集群的各个节点上获取到所述逻辑卷所有对象的元数据信息，完成所述逻辑卷默克尔树的重建。解决了分布式系统中单点故障问题、元数据管理架构的扩展、以及数据和元数据一致性问题。

Description

一种分布式对象存储中的元数据管理方法
【技术领域】
本发明属于数据处理技术领域，具体涉及一种分布式对象存储中的元数据管理方法。
【背景技术】
随着网络和信息技术的飞速发展,全球数据日益增长。面对当前PB级的海量数据存储需求,传统的存储系统在容量和性能的扩展上存在瓶颈。分布式存储系统因为具有海量数据存储、高扩展性、高性能、高可靠性、高可用性的特点，目前得到广泛研究和应用。分布式存储系统就是将数据分散存储在多台独立的存储服务器上，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
在使用和设计分布式存储系统时，非常重要的一个环节是数据寻址，即定位一个数据副本存放在哪个机器甚至哪块磁盘，这个就是通过操作元数据来管理定位的。据统计,在分布式存储系统中有超过一半以上的系统操作是元数据操作，元数据操作成为制约分布式存储系统的性能和扩展性的一个严重的瓶颈。目前有几种常用的解决方案：集中式元数据管理，分布式元数据管理，无元数据管理。
集中式元数据管理架构采用单一的元数据服务器，实现简单.但是存在单点故障等问题。
分布式元数据管理架构将元数据分散在多个结点上，进而解决了元数据服务器的性能瓶颈等问题，并提高了元数据管理架构的可扩展性，但实现较为复杂，并引入了元数据一致性的问题。
无元数据服务器的分布式架构，通过在线算法组织数据，不需要专用的元数据服务器。但是该架构对数据一致性的保障很困难.实现较为复杂。
【发明内容】
本发明的目的是提供一种分布式对象存储中的元数据管理方法，旨在解决分布式系统中单点故障问题、元数据管理架构的扩展、以及数据和元数据一致性问题。
本发明采用以下技术方案：一种分布式对象存储中的元数据管理方法，包括：
S1、将逻辑卷划均匀分成多个逻辑单元，每个所述逻辑单元即为一个对象，每个所述对象对应一个对象元数据，所述对象元数据用于唯一确定其对应的所述对象的内容和位置；各个所述对象元数据构成元数据对象；
S2、通过计算各个所述对象和所述元数据对象内容的哈希值，在一致性哈希表中查到其副本数据在集群中的目标节点，将所述对象和所述元数据对象通过网络存储在目标节点上；
S3、通过所述逻辑卷的GUID的哈希值，在所述集群的各个节点上获取到所述逻辑卷所有对象的元数据信息，完成所述逻辑卷默克尔树的重建。
进一步的，对象元数据为二元组结构，包含对象的哈希值和对象的逻辑块号，所述逻辑卷对其对象按照默克尔树来管理，所述默克尔树包括叶子节点和中间节点，所述叶子节点用于存储对象的哈希值，所述叶子节点号即为所述对象的逻辑块号，所述中间节点用于存储的就是以叶子节点哈希值为内容计算出来的哈希值。
进一步的，元数据对象包括元数据对象头信息和元数据数组；所述元数据对象头信息包括逻辑卷的GUID、哈希值、元数据的数量、前面元数据对象的数量、前一个元数据对象的哈希值和元数据对象的操作序列号；所述元数据数组即为元数据的集合。
进一步的，元数据对象的大小和对象的大小一致，其包含元数据的个数为对象大小减去元数据对象头信息除以单个元数据的大小。
进一步的，步骤S2即为逻辑卷的写操作，具体包括以下步骤：
S2.1、根据逻辑卷的地址除以对象大小，算出逻辑块号；
S2.2、按照对象的数据内容算出哈希值；
S2.3、以逻辑块号和哈希值得到对象元数据，并更新到默克尔树的叶子节点；
S2.4、数据对象根据其哈希值在一致性哈希表中算出应该发往分布式集群中的目标节点；
S2.5、通过网络将数据对象存储到目标节点；
S2.6、对于元数据，会判断元数据的集合是否可以生成一个元数据对象；
S2.7、生成元数据对象头信息；
S2.8、以元数据对象头信息和元数据数组生成元数据对象；
S2.9、按照元数据对象的内容算出哈希值；
S2.10、元数据对象根据其哈希值在一致性哈希表中算出应该发往分布式集群中的目标节点；
S2.11、通过网络将元数据对象存储在目标节点。
进一步的，步骤S3即为逻辑卷的重建操作，具体包括以下步骤：
S3.1、通过逻辑卷的GUID的哈希值在DHT一致性哈希表中找到分布式集群中的所有目标节点；
S3.2、通过网络分别读出哈希值对应的元数据对象，找到元数据对象操作序列号最大的那个元数据对象；
S3.3、解析元数据对象头信息，得到逻辑卷的元数据对象的数量以及前一个元数据对象的哈希值；
S3.4、通过前一个元数据对象的哈希值再读出去新的元数据对象，解析出新的元数据对象头信息，依次递归读出逻辑卷所有的元数据对象；
S3.5、根据所有的元数据就可以重建逻辑卷的默克尔树。
本发明的有益效果是：对于逻辑卷的元数据通过生成元数据对象，依据其逻辑卷GUID的哈希值，将元数据多副本的散列的存储在集群的各个节点上，多副本保证元数据单点故障、数据和元数据的一致性，以及元数据可以随着节点的增加和减少在DHT(一致性哈希表)下随意扩展。
【附图说明】
图1为本发明一种分布式对象存储中的元数据管理方法的数据和元数据写处理流程图；
图2为本发明一种分布式对象存储中的元数据管理方法的逻辑卷的重建流程图。
【具体实施方式】
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明提供了一种分布式对象存储中的元数据管理方法，包括以下步骤：
S1、将逻辑卷划均匀分成多个逻辑单元，每个逻辑单元即为一个对象，每个对象对应一个对象元数据，对象元数据用于唯一确定其对应的对象的内容和位置；各个对象元数据构成元数据对象。
其中，对象元数据为二元组结构，包含对象的哈希值和对象的逻辑块号，逻辑卷对其对象按照默克尔树来管理，默克尔树包括叶子节点和中间节点，叶子节点用于存储对象的哈希值，叶子节点号即为对象的逻辑块号；中间节点用于存储以叶子节点哈希值为内容计算出来的哈希值。
元数据对象包括元数据对象头信息和元数据数组；元数据对象头信息包括逻辑卷的GUID、哈希值、元数据的数量、前面元数据对象的数量、前一个元数据对象的哈希值和元数据对象的操作序列号；元数据数组即为元数据的集合。
元数据对象的大小为和对象大小一致，其包含元数据的个数为对象大小减去元数据对象头信息除以单个元数据的大小。
S2、通过计算各个对象和元数据对象内容的哈希值，在一致性哈希表中查到其副本数据在集群中的目标节点，将对象和元数据对象通过网络存储在目标节点上。
步骤S2即为逻辑卷的写操作，具体包括以下步骤：
S2.1、根据逻辑卷的地址除以4KB，算出逻辑块号；
S2.2、按照4KB的数据内容算出哈希值；
S2.3、以逻辑块号和哈希值得到对象元数据，并更新到默克尔树的叶子节点；
S2.4、数据对象根据其哈希值在一致性哈希表中算出应该发往分布式集群中的目标节点；
S2.5、通过网络将数据对象存储到目标节点；
S2.6、对于元数据，会判断元数据的集合是否可以生成一个元数据对象；
S2.7、生成元数据对象头信息；
S2.8、以元数据对象头信息和元数据数组生成元数据对象；
S2.9、按照元数据对象的内容算出哈希值；
S2.10、元数据对象根据其哈希值在一致性哈希表中算出应该发往分布式集群中的目标节点；
S2.11、通过网络将元数据对象存储在目标节点。
S3、通过逻辑卷的GUID的哈希值，在集群的各个节点上获取到逻辑卷所有对象的元数据信息，完成逻辑卷默克尔树的重建。
步骤S3即为逻辑卷的重建操作，具体包括以下步骤：
S3.1、通过逻辑卷的GUID的哈希值在DHT一致性哈希表中找到分布式集群中的所有目标节点；
S3.2、通过网络分别读出哈希值对应的元数据对象，找到元数据对象操作序列号最大的那个元数据对象；
S3.3、解析元数据对象头信息，得到逻辑卷的元数据对象的数量以及前一个元数据对象的哈希值；
S3.4、通过前一个元数据对象的哈希值再读出去新的元数据对象，解析出新的元数据对象头信息，依次递归读出逻辑卷所有的元数据对象；
S3.5、根据所有的元数据就可以重建逻辑卷的默克尔树。
实施例：
在分布式存储系统中，逻辑卷按4KB为单位进行划分，每个4KB就是一个object，每个object按照其内容通过hash函数算出来一个20位的哈希值，所以每个object都有一个二元组(SIG，VBN)元数据object_metadate来唯一确定数据对象object的位置，SIG(signature签名)就是object的内容通过hash函数算出来的哈希值，VBN(Logical blocknumber逻辑块号)标识object在逻辑卷上的位置。
逻辑卷的object元数据有两种存储形式，一种是在内存中形式，运行操作所需；一种是存储在后端存储设备上，保存元数据以便重构内存中的元数据。逻辑卷在内存中的object元数据用Merkle Tree来管理，叶子节点号就是VBN号，叶子节点存储的逻辑卷的object的哈希值，中间节点存储的就是以其子节点哈希值为内容算出来的哈希值。以此内推，就能算出根节点的哈希值，根节点的哈希值就是逻辑卷的哈希值。
对于逻辑卷的写操作，会根据逻辑卷的地址除以4KB算出其VBN，再按照4KB的数据对应的object内容通过hash函数算出SIG，这样就计算出了一个元数据object_metadata。一个4096Byte大小的object对应一个28Byte大小的object_metadata。
整个的写数据流程，4KB数据object会经过VBN和Hash计算出object_metadata，并更新内存中Merkle tree叶子节点上的信息，object以其哈希值在DHT(一致性哈希表)中计算出数据的各个副本所在的目标节点，再通过网络将object发往副本们所在的目标节点，刷写到相应后端存储中。
每4KB数据的object对应一个28B元数据的object_metadata，当写了N个object的时候，就会产生的N个object_metadata，当N个元数据object_metadate大小加上m_object_header元数据对象头信息大小等于4KB的时候，构成一个4KB数据的特殊对象m_object。
m_object就是元数据对象，包含了元数据对象头信息m_object_header和元数据object_metadata数组。元数据对象头信息包含了：逻辑卷的GUID、哈希值、元数据的数量、前面元数据对象的数量、前一个元数据对象的哈希值、元数据对象的操作序列号等信息。元数据数组就是元数据的集合，数组长度就是4KB减去元数据头信息的大小再除以每个元数据大小。
各个数据结构如下：
Figure BDA0002384891060000081
Figure BDA0002384891060000091
当元数据对象m_object生成条件满足后，就以元数据数组为内容生成哈希值签名信息，以及更新元数据对象头信息m_object_header，最后生成一个元数据对象m_object。以逻辑卷的GUID为基础生成一个哈希值SIG，这就表示了这个元数据对象是属于这个逻辑卷的。m_object以SIG哈希值在DHT(一致性哈希表)中计算出元数据的各个副本所在的目标节点，再通过网络将m_object发往副本们所在的目标节点，刷写到相应后端存储中，这样元数据也同数据一样，多副本散列的存储在集群各个节点上。数据和元数据写处理流程即如图1所示。
当存储系统系统需要通过逻辑卷元数据重构逻辑卷的时候，就需要从后端存储介质上读出元数据重建逻辑卷的Merkle Tree。重建过程如下：
通过逻辑卷的GUID的哈希值在DHT一致性哈希表中找到分布式集群中的所有目标节点，分别读出元数据对象，找到元数据对象操作序列号m_object_header.mSeq最大的那个元数据对象m_object，解析元数据对象头信息m_object_header，得到逻辑卷的元数据对象的数量m_object_header.mPending、以及前一个元数据对象的哈希值m_object_header.mPrevSig。之后通过m_object_header.mPrevSig在读出去新的m_object，解析出新的m_object_header，依次递归读出逻辑卷所有的m_object。根据所有的object_metadata就可以重建逻辑卷的Merkle Tree重建逻辑卷。逻辑卷的重建流程图即如图2所示。
本发明提供的一种分布式对象存储中的元数据管理方法中，逻辑卷元数据object_metadata为二元组(VBN逻辑块号，SIG哈希值)结构，object_metadata在内存中通过Merkle Tree管理，object后端存储过程，元数据对象m_object结构，元数据对象头信息m_object_header结构，元数据对象m_object的生成，元数据对象m_object后端存储过程，从后端存储中读取元数据对象m_object重建逻辑卷的算法。
本发明的优点就是对于逻辑卷的元数据通过生成元数据对象，依据其逻辑卷GUID的哈希值，将元数据多副本的散列的存储在集群的各个节点上，多副本保证元数据单点故障、数据和元数据的一致性，以及元数据可以随着节点的增加和减少在DHT(一致性哈希表)下随意扩展。

Claims (6)

1.一种分布式对象存储中的元数据管理方法，其特征在于，包括：
S1、将逻辑卷划均匀分成多个逻辑单元，每个所述逻辑单元即为一个对象，每个所述对象对应一个对象元数据，所述对象元数据用于唯一确定其对应的所述对象的内容和位置；各个所述对象元数据构成元数据对象；
S2、通过计算各个所述对象和所述元数据对象内容的哈希值，在一致性哈希表中查到其副本数据在集群中的目标节点，将所述对象和所述元数据对象通过网络存储在目标节点上；
S3、通过所述逻辑卷的GUID的哈希值，在所述集群的各个节点上获取到所述逻辑卷所有对象的元数据信息，完成所述逻辑卷默克尔树的重建。
2.如权利要求1所述的一种分布式对象存储中的元数据管理方法，其特征在于，所述对象元数据为二元组结构，包含对象的哈希值和对象的逻辑块号，所述逻辑卷对其对象按照默克尔树来管理，所述默克尔树包括叶子节点和中间节点，所述叶子节点用于存储对象的哈希值，所述叶子节点号即为所述对象的逻辑块号；所述中间节点用于存储的是以叶子节点哈希值为内容计算出来的哈希值。
3.如权利要求1或2所述的一种分布式对象存储中的元数据管理方法，其特征在于，所述元数据对象包括元数据对象头信息和元数据数组；所述元数据对象头信息包括逻辑卷的GUID、哈希值、元数据的数量、前面元数据对象的数量、前一个元数据对象的哈希值和元数据对象的操作序列号；所述元数据数组即为元数据的集合。
4.如权利要求1或2所述的一种分布式对象存储中的元数据管理方法，其特征在于，所述元数据对象的大小和对象大小一致，其包含元数据的个数为元数据对象大小减去元数据对象头信息除以单个元数据的大小。
5.如权利要求4所述的一种分布式对象存储中的元数据管理方法，其特征在于，所述步骤S2即为逻辑卷的写操作，具体包括以下步骤：
S2.1、根据逻辑卷的地址除以对象大小，算出逻辑块号；
S2.2、按照对象的数据内容算出哈希值；
S2.3、以逻辑块号和哈希值得到对象元数据，并更新到默克尔树的叶子节点；
S2.4、数据对象根据其哈希值在一致性哈希表中算出应该发往分布式集群中的目标节点；
S2.5、通过网络将数据对象存储到目标节点；
S2.6、对于元数据，会判断元数据的集合是否可以生成一个元数据对象；
S2.7、生成元数据对象头信息；
S2.8、以元数据对象头信息和元数据数组生成元数据对象；
S2.9、按照元数据对象的内容算出哈希值；
S2.10、元数据对象根据其哈希值在一致性哈希表中算出应该发往分布式集群中的目标节点；
S2.11、通过网络将元数据对象存储在目标节点。
6.如权利要求1或2所述的一种分布式对象存储中的元数据管理方法，其特征在于，所述步骤S3即为逻辑卷的重建操作，具体包括以下步骤：
S3.1、通过逻辑卷的GUID的哈希值在DHT一致性哈希表中找到分布式集群中的所有目标节点；
S3.2、通过网络分别读出哈希值对应的元数据对象，找到元数据对象操作序列号最大的那个元数据对象；
S3.3、解析元数据对象头信息，得到逻辑卷的元数据对象的数量以及前一个元数据对象的哈希值；
S3.4、通过前一个元数据对象的哈希值再读出去新的元数据对象，解析出新的元数据对象头信息，依次递归读出逻辑卷所有的元数据对象；
S3.5、根据所有的元数据就可以重建逻辑卷的默克尔树。
CN202010094569.4A 2020-02-16 2020-02-16 一种分布式对象存储中的元数据管理方法 Active CN111258508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010094569.4A CN111258508B (zh) 2020-02-16 2020-02-16 一种分布式对象存储中的元数据管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010094569.4A CN111258508B (zh) 2020-02-16 2020-02-16 一种分布式对象存储中的元数据管理方法

Publications (2)

Publication Number Publication Date
CN111258508A true CN111258508A (zh) 2020-06-09
CN111258508B CN111258508B (zh) 2020-11-10

Family

ID=70952789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010094569.4A Active CN111258508B (zh) 2020-02-16 2020-02-16 一种分布式对象存储中的元数据管理方法

Country Status (1)

Country Link
CN (1) CN111258508B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032356A (zh) * 2021-03-31 2021-06-25 中电科航空电子有限公司 一种客舱分布式文件存储系统及实现方法
CN116932555A (zh) * 2023-08-14 2023-10-24 合芯科技有限公司 一种目标对象切片位置确定方法、装置、设备及存储介质
CN116932555B (zh) * 2023-08-14 2024-04-30 合芯科技有限公司 一种目标对象切片位置确定方法、装置、设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708165A (zh) * 2012-04-26 2012-10-03 华为软件技术有限公司 分布式文件系统中的文件处理方法及装置
CN104156380A (zh) * 2014-03-04 2014-11-19 深圳信息职业技术学院 一种分布式存储器哈希索引方法及系统
CN104408086A (zh) * 2014-11-07 2015-03-11 北京奇虎科技有限公司 数据全局处理系统和方法
CN106055277A (zh) * 2016-05-31 2016-10-26 重庆大学 一种去中心化的分布式异构存储系统数据分布方法
CN106874383A (zh) * 2017-01-10 2017-06-20 清华大学 一种分布式文件系统元数据的解耦合分布方法
CN107026912A (zh) * 2017-05-12 2017-08-08 成都优孚达信息技术有限公司 嵌入式通信设备数据传输方法
CN107145307A (zh) * 2017-04-27 2017-09-08 郑州云海信息技术有限公司 一种基于分布式存储的动态元数据优化方法和系统
CN108287660A (zh) * 2017-01-09 2018-07-17 中国移动通信集团河北有限公司 数据存储方法和设备
CN109194486A (zh) * 2018-08-23 2019-01-11 东北大学 可信赖协同模型及数据模型、元数据存储及协同验证算法
CN110046062A (zh) * 2019-03-07 2019-07-23 佳都新太科技股份有限公司 分布式数据处理方法及系统
CN110059055A (zh) * 2019-03-28 2019-07-26 广东紫晶信息存储技术股份有限公司 一种基于分布式私有云的文件存储及读取方法及装置
CN110162523A (zh) * 2019-04-04 2019-08-23 阿里巴巴集团控股有限公司 数据存储方法、系统、装置及设备
CN110399096A (zh) * 2019-06-25 2019-11-01 苏州浪潮智能科技有限公司 分布式文件系统元数据缓存重删的方法、装置以及设备
CN110489059A (zh) * 2019-07-11 2019-11-22 平安科技（深圳）有限公司 数据集群存储的方法、装置及计算机设备
US10503413B1 (en) * 2016-06-01 2019-12-10 EMC IP Holding Company LLC Methods and apparatus for SAN having local server storage including SSD block-based storage
US20200026712A1 (en) * 2017-04-12 2020-01-23 Vijay Madisetti Method and System for Tuning Blockchain Scalability, Decentralization, and Security for Fast and Low-Cost Payment and Transaction Processing

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708165A (zh) * 2012-04-26 2012-10-03 华为软件技术有限公司 分布式文件系统中的文件处理方法及装置
CN104156380A (zh) * 2014-03-04 2014-11-19 深圳信息职业技术学院 一种分布式存储器哈希索引方法及系统
CN104408086A (zh) * 2014-11-07 2015-03-11 北京奇虎科技有限公司 数据全局处理系统和方法
CN106055277A (zh) * 2016-05-31 2016-10-26 重庆大学 一种去中心化的分布式异构存储系统数据分布方法
US10503413B1 (en) * 2016-06-01 2019-12-10 EMC IP Holding Company LLC Methods and apparatus for SAN having local server storage including SSD block-based storage
CN108287660A (zh) * 2017-01-09 2018-07-17 中国移动通信集团河北有限公司 数据存储方法和设备
CN106874383A (zh) * 2017-01-10 2017-06-20 清华大学 一种分布式文件系统元数据的解耦合分布方法
US20200026712A1 (en) * 2017-04-12 2020-01-23 Vijay Madisetti Method and System for Tuning Blockchain Scalability, Decentralization, and Security for Fast and Low-Cost Payment and Transaction Processing
CN107145307A (zh) * 2017-04-27 2017-09-08 郑州云海信息技术有限公司 一种基于分布式存储的动态元数据优化方法和系统
CN107026912A (zh) * 2017-05-12 2017-08-08 成都优孚达信息技术有限公司 嵌入式通信设备数据传输方法
CN109194486A (zh) * 2018-08-23 2019-01-11 东北大学 可信赖协同模型及数据模型、元数据存储及协同验证算法
CN110046062A (zh) * 2019-03-07 2019-07-23 佳都新太科技股份有限公司 分布式数据处理方法及系统
CN110059055A (zh) * 2019-03-28 2019-07-26 广东紫晶信息存储技术股份有限公司 一种基于分布式私有云的文件存储及读取方法及装置
CN110162523A (zh) * 2019-04-04 2019-08-23 阿里巴巴集团控股有限公司 数据存储方法、系统、装置及设备
CN110399096A (zh) * 2019-06-25 2019-11-01 苏州浪潮智能科技有限公司 分布式文件系统元数据缓存重删的方法、装置以及设备
CN110489059A (zh) * 2019-07-11 2019-11-22 平安科技（深圳）有限公司 数据集群存储的方法、装置及计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余秦勇等: "一种无中心的云存储架构分析", 《通信技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032356A (zh) * 2021-03-31 2021-06-25 中电科航空电子有限公司 一种客舱分布式文件存储系统及实现方法
CN113032356B (zh) * 2021-03-31 2023-05-26 中电科航空电子有限公司 一种客舱分布式文件存储系统及实现方法
CN116932555A (zh) * 2023-08-14 2023-10-24 合芯科技有限公司 一种目标对象切片位置确定方法、装置、设备及存储介质
CN116932555B (zh) * 2023-08-14 2024-04-30 合芯科技有限公司 一种目标对象切片位置确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111258508B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
Lakshman et al. Cassandra: a decentralized structured storage system
US8635402B2 (en) Storage system and storage access method and program
TW202107300A (zh) 區塊鏈狀態資料同步方法及裝置、電子設備
US8181061B2 (en) Memory management and recovery for datacenters
CN102890678A (zh) 一种基于格雷编码的分布式数据布局方法及查询方法
US20240037119A1 (en) A method and device for storing data in a distributed database
CN109783441A (zh) 基于Bloom Filter的海量数据查询方法
CN111258508B (zh) 一种分布式对象存储中的元数据管理方法
Boehm et al. EasyWinWin: a groupware-supported methodology for requirements negotiation
CN106547484A (zh) 一种基于raid5的实现内存数据可靠性方法及系统
CN110659292A (zh) 一种基于Spark和Ignite的分布式实时图构建和查询的方法及系统
CN113672583B (zh) 基于存储与计算分离的大数据多数据源分析方法及系统
Vilaça et al. On the expressiveness and trade-offs of large scale tuple stores
CN112507026A (zh) 基于键值模型、文档模型和图模型数据的分布式高速存储方法
Hua et al. SmartStore: A new metadata organization paradigm with metadata semantic-awareness for next-generation file systems
CN116756247B (zh) 数据修复方法、装置、计算机设备和存储介质
Li et al. An Optimized Storage Method for Small Files in Ceph System
Vakili et al. Speed up Cassandra read path by using Coordinator Cache
Sun et al. A discrete data dividing approach for erasure-code-based storage applications
Zhang et al. A scalable reverse lookup scheme using group-based shifted declustering layout
Wang et al. G-SD: Achieving Fast Reverse Lookup using Scalable Declustering Layout in Large-Scale File Systems
Zheng et al. Consistent Hash Based Flexible Redundant Data Partition Strategy
Ma et al. An Efficient NoSQL-Based Storage Schema for Large-Scale Time Series Data
Zeng et al. SHAstor: A Scalable HDFS-based Storage Framework for Small-Write Efficiency in Pervasive Computing
Zhang Researches on Reverse Lookup problem in Distributed File System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A metadata management method in distributed object storage

Effective date of registration: 20221207

Granted publication date: 20201110

Pledgee: Xianyang financing guarantee Limited by Share Ltd.

Pledgor: Xi'an Okayun Data Technology Co.,Ltd.

Registration number: Y2022610000796

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231206

Granted publication date: 20201110

Pledgee: Xianyang financing guarantee Limited by Share Ltd.

Pledgor: Xi'an Okayun Data Technology Co.,Ltd.

Registration number: Y2022610000796

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A metadata management method in distributed object storage

Effective date of registration: 20231211

Granted publication date: 20201110

Pledgee: Xianyang financing guarantee Limited by Share Ltd.

Pledgor: Xi'an Okayun Data Technology Co.,Ltd.

Registration number: Y2023610000758

PE01 Entry into force of the registration of the contract for pledge of patent right