CN111984691A - 一种分布式存储系统中对象元数据检索列举方法及装置 - Google Patents

一种分布式存储系统中对象元数据检索列举方法及装置 Download PDF

Info

Publication number
CN111984691A
CN111984691A CN202010957725.5A CN202010957725A CN111984691A CN 111984691 A CN111984691 A CN 111984691A CN 202010957725 A CN202010957725 A CN 202010957725A CN 111984691 A CN111984691 A CN 111984691A
Authority
CN
China
Prior art keywords
metadata
node
target
mth
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010957725.5A
Other languages
English (en)
Other versions
CN111984691B (zh
Inventor
任鹏翔
胡永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010957725.5A priority Critical patent/CN111984691B/zh
Publication of CN111984691A publication Critical patent/CN111984691A/zh
Priority to US18/044,965 priority patent/US12013861B2/en
Priority to PCT/CN2021/103414 priority patent/WO2022052586A1/zh
Application granted granted Critical
Publication of CN111984691B publication Critical patent/CN111984691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24549—Run-time optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种分布式存储系统中对象元数据检索列举方法及装置。方法通过定义并配置对象的元数据，统计元数据的种类量N；根据元数据和元数据的种类量N构建元数据检索树；每个第M节点关联第M链表；在所述第M链表配置对象，所述对象符合所述第M节点中元数据组中所有元数据；根据元数据配置索引，根据所述索引经过所述元数据检索树指向指定的目标节点，根据目标节点确定目标链表，由所述目标链表提供列举对象。通过列举对象来检索，从而实现避免全量列举导致消耗大量cpu、磁盘资源、检索耗时长的问题。

Description

一种分布式存储系统中对象元数据检索列举方法及装置
技术领域
本发明涉及对象检索领域，尤其涉及一种分布式存储系统中对象元数据检索列举方法及装置。
背景技术
对象存储技术正日益成为私有云和公共云服务提供商所使用的关键存储技术，是使用标准化服务器的集群来存储千万亿字节的数据的冗余可扩展数据存储技术。
对象存储系统以对象为存储的基本单元，而每个对象是数据和数据属性集的综合。在创建对象时，使用元数据表示数据的属性，例如名称、创建时间、所有者、创建者、大小和其它的用户自定义属性。通常，对象被存储在对象存储设备中。对象存储设备可管理在其上存储的对象以及与这些对象相关的元数据。
在分布式对象存储系统中，以扁平化的结构存储对象，也就是说用户下的所有对象在同一层上，不存在文件系统中目录树的结构。由于没有一个检索树来支持精准列举，所以在检索时只能全量列举，而采用全量列举，导致消耗大量cpu、磁盘资源、检索耗时长。如我们有时候需要根据某一条元数据来找到有这条元数据信息的所有对象，或者我们有时候要列举出具有指定前缀的所有对象，目前都是先通过全量列举列举出对象之后再按需匹配的方式。
发明内容
本发明提供分布式存储系统中对象元数据检索列举方法及装置，旨在解决分布式对象存储系统先对对象进行全量列举，再按照索引检索的检索过程中，由于全量列举导致消耗大量cpu、磁盘资源、检索耗时长的问题。
为实现上述目的，本发明提供一种分布式存储系统中对象元数据检索列举方法，包括：
定义并配置对象的元数据，统计元数据的种类量N；
根据元数据和元数据的种类量N构建元数据检索树；所述元数据检索树包括第零节点至第N节点，第零节点配置一个；第M节点从属于第M-1节点(M∈整数，1<＝M<＝N)；第M节点有序配置包含M个元数据的有序的元数据组；
每个第M节点关联第M链表；在所述第M链表配置对象，所述对象符合所述第M节点中元数据组中所有元数据；
根据元数据配置索引，根据所述索引经过所述元数据检索树指向指定的目标节点，根据目标节点确定目标链表，由所述目标链表提供列举对象。
优选地，所述元数据检索树的第零节点点配置节点添加、节点删除和节点修改功能。
优选地，所述节点添加包括：
在现有的第一节点后创建目标第一节点，自动添加目标第二节点、目标第三节点直至目标第N+1节点；
在目标第一节点内添加空元数据，在第二节点直至第N+1节点的元数据数组中的目的位置配置空元数据；
指定添加到目标第一节点的第一目标元数据；
以所述第一目标元数据替换空元数据。
优选地，所述节点删除包括：
指定需要删除的第一节点，获取需要删除的第一节点中的第二目标元数据；
删除第一节点直至第N节点中的第二目标元数据；
删除第二目标元数据后的元数据组的任一第M节点与所有的第M-1节点的元数据组对比。
优选地，所述节点修改包括：
指定需要修改的第一节点，获取需要修改的第一节点中的第三目标元数据；
以空元数据替换第一节点直至第N节点中的第三目标元数据；
指定需要修改成为的第四目标元数据；
以第四目标元数据替换空元数据。
优选地，定义并配置对象的元数据，统计元数据的种类量N包括：
为每个对象构建包含N个空位的元数据列表；
将N个空位与N个元数据一一对应，在所述空位配置不同信息表示对象是否包含所述空位对应的元数据。
优选地，在所述空位配置0或者1，所述元数据列表配置定位计数单元，由所述定位计数单元确定元数据列表中N个空位中的数字构成的总体数值。
优选地，每个第M链表配置唯一的对象处理单元，通过所述对象处理单元向第M链表添加对象、从第M链表删除对象以及处理对象转移。
优选地，向第M链表添加对象：所述对象处理单元与所述数值之间建立映射；上传对象后，按所述定位计数单元统计的数值确定对象处理单元，所述对象处理单元将对象保存于所述第M链表；
从第M链表删除对象：确定需要删除的对象以及数值，向相应的对象处理单元发送删除指令，所述对象处理单元从所述删除指令中读取对象名称将相应的对象删除；
处理对象转移：
执行以下任一指令：元数据添加指令、元数据删除指令和元数据修改指令，向相应的对象处理单元发送所述元数据添加指令或者元数据删除或者元数据修改指令的对象名称；
对象处理单元删除第M链表中的对象；
执行以下任一指令：元数据添加指令、元数据删除指令和元数据修改指令，修改元数据列表的空位并获取元数据列表修改后的所述数值，根据所述数值将对象移动给相应的目标对象处理单元，对象处理单元添加对象。
本发明还提供一种分布式存储系统中数据对象元数据检索列举装置，包括处理单元、存储单元、总线单元、输入单元、输出单元以及接口单元，所述总线单元连接所述处理单元、所述存储单元、所述输入单元、所述输出单元以及所述接口单元；
所述存储单元存储至少一条指令，所述指令实现所述的分布式存储系统中对象元数据检索列举方法及装置；
所述处理单元执行所述指令；
所述输入单元向所述指令输入对象处理参数；
所述输出单元显示指令结果。
本申请提出的一种分布式存储系统中对象元数据检索列举方法及装置具体有以下有益效果：
(1)通过元数据检索树快速关联目标链表，由所述目标链表提供对象列举，从而实现快速有针对性的对象列举。
(2)能够有效的避免常规检索通过全量列举检索而导致的CPU资源消耗，存储资源的小号；节约CPU和存储资源。
(3)通过部分列举代替全量列举，能有效的降低列举耗时，从而降低检索时间提高检索效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例中分布式存储系统中对象元数据检索列举方法的流程图；
图2是本发明实施例中元数据列表示意图；
图3是本发明实施例中元数据检索树示意图；
图4是本发明实施例中分布式存储系统中对象元数据检索列举装置架构图。
图中标号及含义如下：
1、处理单元，2、存储单元，3、输入单元，4、输出单元，5、接口单元，6、总线单元。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参阅图1所示，本发明提供一种分布式存储系统中对象元数据检索列举方法，包括：
S100，定义并配置对象的元数据，统计元数据的种类量N；一个对象配置至少一种所述元数据。
参阅图2所示，具体的，为每个对象构建一个包含至少N个空位的元数据列表；
将所述元数据列表N个空位与N个元数据一一对应，具体的如：第一空位对应元数据1、第二空位对应元数据2……第N空位对应元数据N，在所述空位配置不同信息表示对象是否包含所述空位对应的元数据。具体的，在所述空位配置0或者1，如果对象没有配置某种元数据则对应的空位置0，如果对象配置了某种元数据则对应的空位置1；指定第一空位为高位(或低位)，第N空位为低位(或高位)，从而形成含有N位0或者1的数字；
所述元数据列表配置定位计数单元，由所述定位计数单元确定所述数字构成的数值。所述数值表示了一个对象具体配置了哪些元数据。
S200，根据元数据和元数据的种类量N构建元数据检索树；所述元数据检索树包括第零节点至第N节点，第零节点配置一个为元数据检索树的根；第一节点至第N节点为元数据检索树的枝；第M节点从属于第M-1节点(M∈整数，1<＝M<＝N)；第M节点有序配置包含M个元数据的有序的元数据组；每个第M节点关联第M链表；具体的，当索引到第M节点时，列举所述第M链表中的对象以供检索。
具体的，参阅图3所示，所述第零节点关联了N个第一节点，每个第一节点包含一种元数据；
前N-1个第一节点共关联N(N-1)/2个第二节点：
第一个第一节点关联N-1个第二节点，
第二个第一节点关联N-2个第二节点……第N-1个第一节点关联一个第二节点，第N个第一节点不关联第二节点。
……直至第一个第N-1节点关联一个第N节点。
具体的，任一第M节点的元数据组中的元素包括第M-1节点元数据组中的全部元素和一个额外元素；N种元数据减去掉父节点元数据组中元素后获得额外元素集，从所述额外元素集中有序且不重复的取任一元素作为额外元素，依次添加到相应的第M节点中。
具体实施过程中，所述第零节点所述元数据检索树的第零节点点配置节点添加、节点删除和节点修改功能。
其中，所述节点添加包括：
在现有的第一节点后创建目标第一节点，自动添加目标第二节点、目标第三节点直至目标第N+1节点，所述目标第二节点中元数据组由对应的第一节点的元数据组加所述目标第一节点的元数据组合而成，所述目标第三节点中元数据组由对应的第二节点的元数据组加所述目标第一节点的元数据组合而成……；
在目标第一节点内添加空元数据，在第二节点直至第N+1节点的元数据数组中的目的位置配置空元数据；
指定添加到目标第一节点的第一目标元数据；
检索现有的第一节点包含的元数据是否与所述第一目标元数据相同；
相同则提示第一目标元数据已存在，请更换；
不相同则以所述第一目标元数据替换空元数据。
所述节点删除包括：
指定需要删除的第一节点，获取需要删除的第一节点中的第二目标元数据；
删除第一节点直至第N节点中的第二目标元数据；
删除第二目标元数据后的元数据组的任一第M节点与所有的第M-1节点的元数据组对比。
所述节点修改包括：
指定需要修改的第一节点，获取需要修改的第一节点中的第三目标元数据；
以空元数据替换第一节点直至第N节点中的第三目标元数据；
指定需要修改成为的第四目标元数据；
检索现有的第一节点包含的元数据是否与所述第四目标元数据相同；
如果相同则提示第四目标元数据已存在；
如果不同则以第四目标元数据替换空元数据。
具体实施过程中通过节点修改还可以更改第一节点中元数据的顺序。如果更换第一节点a和第一节点b中元数据的顺序，以空元数据a替换第一节点a中的元数据a，以空元数据b替换第一节点b中的元数据b，以元数据a替换空元数据b，以元数据b替换空元数据a。
S300，在所述第M链表配置对象，所述对象符合所述第M节点中元数据组中所有元数据；
具体实施过程中，每个第M链表配置唯一的对象处理单元，所述对象处理单元配置向第M链表添加对象、从第M链表删除对象以及处理对象转移的功能。
向第M链表添加对象：
所述对象处理单元与所述数值之间建立映射；
上传对象后，按所述定位计数单元统计的数值确定对象处理单元；
将对象名称传递给所述对象处理单元，对象处理单元根据对象名称在第M链表中匹配对象，
如果有匹配的对象则提示对象名称已存在，如果没有匹配的对象，则所述对象处理单元将对象保存于所述第M链表。
从第M链表删除对象：
确定需要删除的对象以及数值；
根据所述数值向相应的对象处理单元发送删除指令；
所述对象处理单元从所述删除指令中读取对象名称并根据对象名称匹配相应的对象，
所述对象处理单元将匹配到的相应的对象删除，如果没有匹配到的对象则提示无对象；
处理对象转移：
以任一第M链表中任一对象的元数据列表为对象执行以下任一指令：元数据添加指令、元数据删除指令和元数据修改指令，先获取元数据列表的定位计数单元的数值，
所述元数据添加指令、元数据删除指令或者元数据修改指令向根据所述数值确定的对象处理单元发送所述元数据添加指令或者元数据删除或者元数据修改指令的对象名称；
对象处理单元根据对象名称将相应的对象复制出来存储在指定位置并删除第M链表中相应的对象；
继续执行以下任一指令：元数据添加指令、元数据删除指令和元数据修改指令，从制定位置提取对象，修改对象的元数据列表的空位并获取元数据列表修改后的所述数值，根据所述数值将对象移动给相应的目标对象处理单元，对象处理单元添加对象。
S400，根据元数据配置索引，根据所述索引经过所述元数据检索树指向指定的目标节点，根据目标节点确定目标链表，由所述目标链表提供列举对象。所述索引至少包括一种元数据，在包含多种元数据时所述索引中的元数据按所述第一节点中的元数据先后顺序排序。具体实施过程中所述索引配置有指示符。
如：“元数据1-元数据2”，在元数据1与元数据2之间添加-实现元数据分隔，
添加引号表示要检索的对象的元数据仅有元数据1和元数据2，则索引指向的目标节点为仅有元数据1和元数据2的第二节点。
相应的索引为元数据1-元数据2时，表示要检索的对象的元数据包括元数据1和元数据2，则索引指向的目标节点为仅有元数据1和元数据2的第二节点，以及该第二节点下关联的第三节点第四节点……。
参阅图4所示，本发明还提供一种分布式存储系统中数据对象元数据检索列举装置，包括处理单元1、存储单元2、总线单元6、输入单元3、输出单元4以及接口单元5，所述总线单元6连接所述处理单元1、所述存储单元2、所述输入单元3、所述输出单元4以及所述接口单元5；
所述存储单元2存储至少一条指令，所述指令实现所述的分布式存储系统中对象元数据检索列举方法；
所述处理单元1执行所述指令；
所述输入单元3向所述指令输入对象处理参数；
所述输出单元4显示指令结果。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种分布式存储系统中对象元数据检索列举方法，其特征在于，包括：
定义并配置对象的元数据，统计元数据的种类量N；
根据元数据和元数据的种类量N构建元数据检索树；所述元数据检索树包括第零节点至第N节点，第零节点配置一个；第M节点从属于第M-1节点(M∈整数，1<＝M<＝N)；第M节点有序配置包含M个元数据的有序的元数据组；
每个第M节点关联第M链表；
在所述第M链表配置对象，所述对象符合所述第M节点中元数据组中所有元数据；
根据元数据配置索引，根据所述索引经过所述元数据检索树指向指定的目标节点，根据目标节点确定目标链表，由所述目标链表提供列举对象。
2.根据权利要求1所述的分布式存储系统中对象元数据检索列举方法，其特征在于，所述元数据检索树的第零节点点配置节点添加、节点删除和节点修改功能。
3.根据权利要求2所述的分布式存储系统中对象元数据检索列举方法，其特征在于，所述节点添加包括：
在现有的第一节点后创建目标第一节点，自动添加目标第二节点、目标第三节点直至目标第N+1节点；
在目标第一节点内添加空元数据，在第二节点直至第N+1节点的元数据数组中的目的位置配置空元数据；
指定添加到目标第一节点的第一目标元数据；
以所述第一目标元数据替换空元数据。
4.根据权利要求2所述的分布式存储系统中对象元数据检索列举方法，其特征在于，所述节点删除包括：
指定需要删除的第一节点，获取需要删除的第一节点中的第二目标元数据；
删除第一节点直至第N节点中的第二目标元数据；
删除第二目标元数据后的元数据组的任一第M节点与所有的第M-1节点的元数据组对比，如果一致则删除相应的子节点(所述第零节点元数据组设置为空)。
5.根据权利要求2所述的分布式存储系统中对象元数据检索列举方法，其特征在于，所述节点修改包括：
指定需要修改的第一节点，获取需要修改的第一节点中的第三目标元数据；
以空元数据替换第一节点直至第N节点中的第三目标元数据；
指定需要修改成为的第四目标元数据；
以第四目标元数据替换空元数据。
6.根据权利要求1所述的分布式存储系统中对象元数据检索列举方法，其特征在于，定义并配置对象的元数据，统计元数据的种类量N包括：
为每个对象构建包含N个空位的元数据列表；
将N个空位与N个元数据一一对应，在所述空位配置不同信息表示对象是否包含所述空位对应的元数据。
7.根据权利要求6所述的分布式存储系统中对象元数据检索列举方法，其特征在于，在所述空位配置0或者1，所述元数据列表配置定位计数单元，由所述定位计数单元确定元数据列表中N个空位中的数字构成的总体数值。
8.根据权利要求7所述的分布式存储系统中对象元数据检索列举方法，其特征在于，每个第M链表配置唯一的对象处理单元，通过所述对象处理单元向第M链表添加对象、从第M链表删除对象以及处理对象转移。
9.根据权利要求8所述的分布式存储系统中对象元数据检索列举方法，其特征在于，
向第M链表添加对象：所述对象处理单元与所述数值之间建立映射；上传对象后，按所述定位计数单元统计的数值确定对象处理单元，所述对象处理单元将对象保存于所述第M链表；
从第M链表删除对象：确定需要删除的对象以及数值，向相应的对象处理单元发送删除指令，所述对象处理单元从所述删除指令中读取对象名称将相应的对象删除；
处理对象转移：
执行以下任一指令：元数据添加指令、元数据删除指令和元数据修改指令，向相应的对象处理单元发送所述元数据添加指令或者元数据删除或者元数据修改指令的对象名称；
对象处理单元删除第M链表中的对象；
执行以下任一指令：元数据添加指令、元数据删除指令和元数据修改指令，修改元数据列表的空位并获取元数据列表修改后的所述数值，根据所述数值将对象移动给相应的目标对象处理单元，对象处理单元添加对象。
10.一种分布式存储系统中数据对象元数据检索列举装置，其特征在于，包括处理单元、存储单元、总线单元、输入单元、输出单元以及接口单元，所述总线单元连接所述处理单元、所述存储单元、所述输入单元、所述输出单元以及所述接口单元；
所述存储单元存储至少一条指令，所述指令实现如权利要求1-9任一所述的分布式存储系统中对象元数据检索列举方法；
所述处理单元执行所述指令；
所述输入单元向所述指令输入对象处理参数；
所述输出单元显示指令结果。
CN202010957725.5A 2020-09-11 2020-09-11 一种分布式存储系统中对象元数据检索列举方法及装置 Active CN111984691B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010957725.5A CN111984691B (zh) 2020-09-11 2020-09-11 一种分布式存储系统中对象元数据检索列举方法及装置
US18/044,965 US12013861B2 (en) 2020-09-11 2021-06-30 Method and apparatus for retrieving and enumerating object metadata in distributed storage system
PCT/CN2021/103414 WO2022052586A1 (zh) 2020-09-11 2021-06-30 一种分布式存储系统中对象元数据检索列举方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010957725.5A CN111984691B (zh) 2020-09-11 2020-09-11 一种分布式存储系统中对象元数据检索列举方法及装置

Publications (2)

Publication Number Publication Date
CN111984691A true CN111984691A (zh) 2020-11-24
CN111984691B CN111984691B (zh) 2023-01-06

Family

ID=73449369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010957725.5A Active CN111984691B (zh) 2020-09-11 2020-09-11 一种分布式存储系统中对象元数据检索列举方法及装置

Country Status (3)

Country Link
US (1) US12013861B2 (zh)
CN (1) CN111984691B (zh)
WO (1) WO2022052586A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022052586A1 (zh) * 2020-09-11 2022-03-17 苏州浪潮智能科技有限公司 一种分布式存储系统中对象元数据检索列举方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276334A (zh) * 2007-03-29 2008-10-01 上海新跃仪表厂 一种快速检索数据的链表实现方法
CN105930345A (zh) * 2016-04-05 2016-09-07 国网浙江省电力公司湖州供电公司 基于分布式实时数据库的层次索引方法
CN108897859A (zh) * 2018-06-29 2018-11-27 郑州云海信息技术有限公司 一种元数据检索方法、装置、设备及计算机可读存储介质
CN109299190A (zh) * 2018-09-10 2019-02-01 华为技术有限公司 分布式存储系统中处理对象的元数据的方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167856B2 (en) * 2001-05-15 2007-01-23 Jonathan Keir Lawder Method of storing and retrieving multi-dimensional data using the hilbert curve
CN101482839B (zh) * 2009-02-26 2010-09-29 北京世纪互联宽带数据中心有限公司 电子文档增量存储处理方法
CN101551826B (zh) * 2009-05-19 2011-10-05 成都市华为赛门铁克科技有限公司 数据检索方法、装置及其系统
CN103748835B (zh) * 2011-07-06 2017-03-01 爱立信(中国)通信有限公司 标签交换路径的动态更新
CN102521386B (zh) 2011-12-22 2013-07-10 清华大学 基于集群存储的空间元数据分组方法
US10133770B2 (en) * 2015-12-16 2018-11-20 EMC IP Holding Company LLC Copying garbage collector for B+ trees under multi-version concurrency control
US9489410B1 (en) * 2016-04-29 2016-11-08 Umbel Corporation Bitmap index including internal metadata storage
US11194763B1 (en) * 2016-09-29 2021-12-07 Triad National Security, Llc Scalable augmented enumeration and metadata operations for large filesystems
CN109684282B (zh) * 2018-11-23 2021-01-01 华为技术有限公司 一种构建元数据缓存的方法及装置
CN109830285B (zh) * 2019-01-07 2022-12-27 东软医疗系统股份有限公司 一种医学影像文件处理方法和装置
US20200233839A1 (en) * 2019-01-22 2020-07-23 Apple Inc. Defragmenting metadata of a filesystem
CN111984691B (zh) * 2020-09-11 2023-01-06 苏州浪潮智能科技有限公司 一种分布式存储系统中对象元数据检索列举方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276334A (zh) * 2007-03-29 2008-10-01 上海新跃仪表厂 一种快速检索数据的链表实现方法
CN105930345A (zh) * 2016-04-05 2016-09-07 国网浙江省电力公司湖州供电公司 基于分布式实时数据库的层次索引方法
CN108897859A (zh) * 2018-06-29 2018-11-27 郑州云海信息技术有限公司 一种元数据检索方法、装置、设备及计算机可读存储介质
CN109299190A (zh) * 2018-09-10 2019-02-01 华为技术有限公司 分布式存储系统中处理对象的元数据的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022052586A1 (zh) * 2020-09-11 2022-03-17 苏州浪潮智能科技有限公司 一种分布式存储系统中对象元数据检索列举方法及装置
US12013861B2 (en) 2020-09-11 2024-06-18 Inspur Suzhou Intelligent Technology Co., Ltd. Method and apparatus for retrieving and enumerating object metadata in distributed storage system

Also Published As

Publication number Publication date
US20230267124A1 (en) 2023-08-24
WO2022052586A1 (zh) 2022-03-17
US12013861B2 (en) 2024-06-18
CN111984691B (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
US10642515B2 (en) Data storage method, electronic device, and computer non-volatile storage medium
CN104067216B (zh) 用于实施可扩展数据存储服务的系统和方法
US11573941B2 (en) Systems, methods, and data structures for high-speed searching or filtering of large datasets
CN110555012B (zh) 数据迁移方法及装置
CN103765381B (zh) 对b+树的并行操作
CN103246549B (zh) 一种数据转存的方法及系统
CN113721862B (zh) 数据处理方法及装置
CN112347076B (zh) 分布式数据库的数据存储方法、装置和计算机设备
JP4199888B2 (ja) データベース管理方法
CN111427847A (zh) 面向用户自定义元数据的索引与查询方法和系统
CN113326264A (zh) 数据处理方法、服务器及存储介质
CN111984691B (zh) 一种分布式存储系统中对象元数据检索列举方法及装置
CN104166661A (zh) 数据存储系统和数据存储方法
CN109741034B (zh) 一种网格树形组织管理方法及装置
CN113282579A (zh) 一种异构数据存储与检索方法、装置、设备及存储介质
CN110795520B (zh) 一种数字化地质资料包目录与文件关联关系自动识别方法
CN107408239A (zh) 通过多个邮箱在通信应用中进行海量数据管理的架构
CN112965939A (zh) 一种文件合并方法、装置和设备
CN108874798B (zh) 一种大数据排序方法和系统
CN109977104A (zh) 数据管理方法及装置
CN102597969A (zh) 带属性的键值存储的数据库管理装置及其键值存储结构的高速缓存装置
WO2018038065A1 (ja) 情報管理装置並びにファイル管理方法
CN114911808A (zh) 一种动态发布订阅方法及装置
CN117194337A (zh) 选取新的源文件方法、装置、计算机设备及存储介质
CN113778318A (zh) 一种数据存储方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant