CN103229173A - 元数据管理方法及系统 - Google Patents

元数据管理方法及系统 Download PDF

Info

Publication number
CN103229173A
CN103229173A CN2012800029615A CN201280002961A CN103229173A CN 103229173 A CN103229173 A CN 103229173A CN 2012800029615 A CN2012800029615 A CN 2012800029615A CN 201280002961 A CN201280002961 A CN 201280002961A CN 103229173 A CN103229173 A CN 103229173A
Authority
CN
China
Prior art keywords
directory
metadata
catalogue
name
hash value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800029615A
Other languages
English (en)
Other versions
CN103229173B (zh
Inventor
过晓春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN103229173A publication Critical patent/CN103229173A/zh
Application granted granted Critical
Publication of CN103229173B publication Critical patent/CN103229173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种元数据管理方法及系统，其中，元数据管理方法包括：以目录层次结构作为元数据组织结构，并以对象系统中的用户名作为目录层次结构中根目录下的第一层目录；以对象系统中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象系统中与每个桶关联的对象名中的分割符“/”将对象名分割为对应桶目录下的目录名或文件名；以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中。本发明应用于与将文件系统和对象系统的元数据进行统一存储管理的元数据存储系统中。

Description

元数据管理方法及系统
技术领域
本发明涉及计算机技术，尤其涉及一种元数据管理方法及系统。
背景技术
元数据是保存于存储介质上的用于管理数据的数据，其可使用户根据该元数据进行定位获取其管理的数据。
现有技术中的元数据的组织结构分为两类：文件系统元数据和对象系统元数据，其中，文件系统元数据以文件/目录为单位，该元数据组织结构中的各个文件和目录采用层级结构的目录树，以索引节点(inode)为存储单位进行存储，在查询定位时以各级inode为标识进行逐级多次输入输出(IO)定位；对象系统元数据组织结构以桶/对象(Bucket/object)为存储单位进行存储，object是没有目录层级结构的名称，在查询定位时以全路径名为标识进行一次IO定位。
由于现有的元数据管理在文件系统和对象系统中的数据组织结构不同，因此两类系统分别需要相应的元数据存储，即需要两套元数据存储系统，所以，实际应用中需要一种元数据存储管理结构在不影响两类系统各自应用特点和操作效率的情况下，能够同时实现两类系统的元数据管理。
发明内容
本发明提供一种元数据管理方法及系统，用以在保证文件系统和对象系统各自应用特点和操作效率的情况下，统一文件系统和对象系统的元数据存储。
本发明的第一个方面是提供一种元数据管理方法，包括：以目录层次结构作为元数据组织结构，并以对象系统中的用户名作为目录层次结构中根目录下的第一层目录；以对象系统中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象系统中与每个桶关联的对象名中的分割符将对象名分割为对应桶目录下的目录名或文件名；
以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的哈希(hash)值作为存储单位的标识存储在目录索引节点中。
结合第一个方面的元数据管理方法，在第一种实现方式中，若相同目录中的索引节点个数大于预设的个数时，对该相同目录中的索引节点进行二叉树分片存储在同一标识对应的不同存储单位中。
结合第一个方面的元数据管理方法或第一种实现方式，在第二种实现方式中，若根据不同绝对路径名计算得到相同的hash值，则将该不同绝对路径对应的目录存放于该相同的hash值标识对应的不同存储单位中。
本发明的第二个方面是提供一种元数据管理系统，包括：
组织模块，用于以目录层次结构作为元数据组织结构，并以对象系统中的用户名作为目录层次结构中根目录下的第一层目录；以对象系统中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象系统中与每个桶关联的对象名中的分割符将对象名分割为对应桶目录下的目录名或文件名；
存储模块，用于以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中。
结合第二个方面的元数据管理系统，在第一种实现方式中，所述存储模块，还用于若相同目录中的索引节点个数大于预设的个数时，对该相同目录中的索引节点进行二叉树分片存储在同一标识对应的不同存储单位中。
结合第二个方面的元数据管理系统或第一种实现方式，在第二种实现方式中，所述存储模块，还用于若根据不同绝对路径名计算得到相同的hash值，则将该不同绝对路径对应的目录存放于该相同的hash值标识对应的不同存储单位中。
本发明通过以目录层次结构作为元数据组织结构，并以对象系统中与每个桶关联的对象名中的分割符“/”将对象名分割为对应桶目录下的目录名或文件名，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中，实现了文件系统和对象系统共用一份元数据管理系统而且由于采用这种元数据管理方法，对文件系统和对象系统的各自性能和目录操作效率并没有影响，所以对文件系统和对象系统的用户来说，不会出现任何使用不便的问题；进一步通过二叉树分片技术以克服同一标识具有较多节点索引时查询效率问题；同时，当出现计算的hash值出现冲突时，进一步通过将不同目录存放在标识相同的一组存储单位中以克服，还可配合分片技术以避免降低效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明元数据管理方法实施例的流程图；
图2为本发明元数据管理方法具体应用例的示意图；
图3为本发明元数据管理系统实施例的结构示意图；
图4为本发明元数据管理系统一个应用例的结构示意图
图5为本发明元数据管理系统另一个应用例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明元数据管理方法实施例的流程图，如图1所示，本实施例的方法包括：
步骤101、以目录层次结构作为元数据组织结构，并以对象系统中的用户名作为目录层次结构中根目录下的第一层目录；以对象系统中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象系统中与每个桶关联的对象名中的分割符“/”将对象名分割为对应桶目录下的目录名或文件名。
本发明实施例中，逻辑上将文件系统和对象系统的元数据进行了统一，文件系统和对象系统使用存储的同一份元数据。该元数据的数据组织结构采用文件系统的目录层次结构，而将对象系统中各个对象名按照分割符“/”进行分割，得到对应桶目录下的目录名或文件名，以便于后续根据各个目录或文件所在的绝对路径名确定存储单位的标识。
步骤102、以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中。
在上述步骤的目录组织结构的基础上，本步骤计算获取各个目录或文件所在的目录的绝对路径名对应的目录标识(dir_id)，即存储单位的标识，并存储该目录标识，使后续目录操作时根据该目录标识可直接一次获取对应的数据。本实施例中，通过计算目录名或文件名所在目录的绝对路径名的hash值获取相应的目录标识，由于以路径结构层次化的方法获取的hash值中包含层次化hash算法，所以能够减少标识冲突。而且通过计算hash值的方法可以非顺序分配存储单位的标识，且标识中含有路径快速定位信息的分配算法，保证了目录操作的快速定位，提高了操作效率。由于采用本发明的方法存储的元数据，并不影响文件系统和对象系统的各自性能和目录操作效率，因此用户在使用两类系统时不会出现使用不便的问题；而且由于两类系统采用同一份元数据存储，当用户在文件系统中进行元数据更新时，在对象系统中可以看到更新的数据，反之亦然。根据上述方法存储的元数据，文件系统可以直接使用，对象系统也可以直接使用，即两类系统统一采用一份元数据存储系统进行元数据管理，而且，对采用本发明的方法存储的元数据进行操作时，对象系统可通过其与元数据管理系统的接口模块一次IO操作即可获取相应的数据。
在实际应用中，以相同目录的索引节点集合为存储单位存储元数据时，相同目录的索引节点可能为多个，当进行目录操作时，需要逐个比较以找出要操作的项目，从而出现目录应用中操作效率较低的问题，为解决这个问题，本发明实施例中还进一步通过二叉树分片存储技术配合上述实施例中的元数据管理方法，即若相同目录中的索引节点个数大于预设的个数时，对该相同目录中的索引节点进行二叉树分片存储，如将属于同一目录的子目录或文件进行分片，存储在标识相同的不同存储单位中，从而当进行目录操作时，可根据标识获取相应的一组存储单位时，从该一组存储单位中根据二叉树分片找到相应的项目，其中预设的个数为根据需要设定。
在实际元数据存储中，存在根据不同绝对路径名计算得到相同的hash值的情况，即存在存储冲突的问题，在这种情况下，本发明实施例还进一步采用将根据不同绝对路径名计算得到相同的hash值的该不同绝对路径对应的目录存放于该相同的hash值标识对应的不同存储单位中，即存放在相同标识对应的一组存储单位中，以避免存储冲突，同时配合上述的二叉树分片存储技术保证目录操作效率。
根据上述元数据管理方法存储的元数据，在目录操作时，由于文件系统的重命名或移动操作需要多次IO，效率较低，因此，文件系统可通过系统的日志进行改善时延，即文件系统通过其元数据服务器(Metadata server，简称MDS)读取存储元数据，具体过程为：根据记录在目录索引节点中的目录标识，即存储单位的标识一次IO读取对应目录的数据，并缓存在内存中，当执行重命名或移动操作时，可在元数据服务器集群中记录日志，修改对应子目录的存储单位标识，当后续刷日志时将修改后的子目录的元数据写到新位置。对象系统的对象存储控制器(Object store controller，简称OSC)在执行用户的目录操作请求时，可以对操作请求的对象名计算hash值；根据计算得到的hash值一次IO读取存储的索引节点信息；根据索引节点信息获取用户请求的数据。
在上述的目录操作中，若通过文件系统进行的元数据更新，可通过对象系统直接得到更新后的元数据，同时通过对象系统进行的元数据更新，也可通过文件系统直接得到更新后的元数据，而且针对各自的系统，元数据以相应的形态呈现给用户，从而不影响各自系统的性能。
本发明实施例通过以目录层次结构作为元数据组织结构，并以对象系统中与每个桶关联的对象名中的分割符“/”将对象名分割为对应桶目录下的目录名或文件名，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中，实现了文件系统和对象系统共用一份元数据管理系统，而且由于采用这种元数据管理方法，对文件系统和对象系统的各自性能和目录操作效率并没有影响，所以对文件系统和对象系统的用户来说，不会出现任何使用不便的问题；进一步通过二叉树分片技术以克服同一标识具有较多节点索引时查询效率问题；同时，当出现计算的hash值出现冲突时，进一步通过将不同目录存放在标识相同的一组存储单位中以克服，还可配合分片技术以避免降低效率。
图2为本发明元数据管理方法具体应用例的示意图，图2中位于同一目录下的各个子目录或文件属于同一存储单位，并具有同一索引节点信息，如绝对路径为/kobe/bucket_1下包含子目录k1，k1_1和文件k_a.avi，依照本发明的元数据管理方法，将三者存放于同一存储单位中，并根据三者所属的绝对路径/kobe/bucket_1进行hash计算，获取hash值为23，以该hash值作为该存储单位的标识。其他各个索引节点类似。图2中目录bucket_4下包含三个子目录和一个文件，为降低目录操作时的查询效率，图2中将目录bucket_4下的子目录或文件进行了二叉树分片，分成两个存储单位，且这两个存储单位存放于标识33对应的两个存储单位中。另外，当出现目录bucket_4下的子目录和目录bucket_5的子目录所在的绝对路径通过hash计算获取的hash值相同，即出现标识冲突的问题时，可以将bucket_4下的子目录和目录bucket_5的子目录采用相同的标识33，并且使其分别位于不同的存储单位中，存储单位再分别用33_0，33_1和33_2标识以区分。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，处理器，如中央处理单元(英文为CentralProcessing Unit，简称CPU)，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读存储器(英文为read-only memory，简称ROM)、随机存储器(英文为random access memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本发明元数据管理系统实施例的结构示意图，如图3所示，本实施例的系统包括：组织模块10和存储模块20，其中，组织模块10，用于以目录层次结构作为元数据组织结构，并以对象系统中的用户名作为目录层次结构中根目录下的第一层目录；以对象系统中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象系统中与每个桶关联的对象名中的分割符“/”将对象名分割为对应桶目录下的目录名或文件名；存储模块20，用于以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中。
本实施例中，组织模块10根据对象系统中各个桶/对象将与每个桶关联的对象名分割为对应桶目录下的目录名或文件名，并由存储模块存储根据每个目录名或文件名所在目录的绝对路径名计算的hash值，当后续进行目录操作时，可以根据相应的hash值通过一次IO即可获取目录操作对应的数据。
在另一元数据管理系统实施例中，在上述图2所示实施例中存储模块还可进一步用于若相同目录中的索引节点个数大于预设的个数时，对该相同目录中的索引节点进行二叉树分片存储在同一标识对应的不同存储单位中，以解决同一目录中的子目录较多时查询效率较低的问题。
在又一元数据管理系统实施例中，在上述图2所示实施例中存储模块还可进一步用于若根据不同绝对路径名计算得到相同的hash值，则将该不同绝对路径对应的目录存放于该相同的hash值标识对应的不同存储单位中，以避免出现的存储冲突问题。
在上述元数据管理系统的任一实施例中，实际应用中还可以进一步包括：接口模块，实现与文件系统或对象系统的接口，图4为本发明元数据管理系统一个应用例的结构示意图，如图4所示，在上述实施例的基础上，本实施例的元数据管理系统还包括第一接口模块30和第二接口模块40，其中第一接口模块30，用于当文件系统的元数据服务器读元数据时，根据存储的存储单位的标识一次读取对应目录的数据，并缓存在内存中；且当文件系统的元数据服务器执行重命名或移动操作时，修改对应子目录的存储单位标识，并记录日志，以使刷日志时将修改后的子目录的元数据写到新位置，以实现文件系统操作目录时与元数据管理系统接口。
第二接口模块40，用于当对象系统的对象存储控制器执行用户的目录操作请求时，对操作请求的对象名计算hash值；根据计算得到的hash值一次读取索引节点信息；根据索引节点信息获取用户请求的数据，以实现对象系统操作目录时与元数据管理系统接口。
本发明实施例可用于执行上述方法实施例的技术方案，其工作原理及达到的技术效果类似，不再详细赘述。
在实际应用中，上述第一接口模块和第二接口模块也可以是独立于元数据管理系统的功能模块，元数据管理系统仅作为元数据存储系统使用。
图5为本发明元数据管理系统另一应用例的结构示意图，如图5所示，文件系统通过可移植操作系统接口(Portable Operating System Interface，简称POSIX)接口与本发明元数据管理系统进行交互执行目录操作，对象系统通过Asazon的S3接口与本发明元数据管理系统进行交互执行目录操作，两类系统共用一份元数据存储管理系统。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种元数据管理方法，应用于计算机存储系统中，其特征在于，包括：
以目录层次结构作为元数据组织结构，并以对象系统中的用户名作为目录层次结构中根目录下的第一层目录；以对象系统中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象系统中与每个桶关联的对象名中的分割符将对象名分割为对应桶目录下的目录名或文件名；
以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中。
2.根据权利要求1所述的方法，其特征在于，若相同目录中的索引节点个数大于预设的个数时，对该相同目录中的索引节点进行二叉树分片存储在同一标识对应的不同存储单位中。
3.根据权利要求1或2所述的方法，其特征在于，若根据不同绝对路径名计算得到相同的hash值，则将该不同绝对路径对应的目录存放于该相同的hash值标识对应的不同存储单位中。
4.根据权利要求1或2所述的方法，其特征在于，当文件系统的元数据服务器读元数据时，根据存储的存储单位的标识一次读取对应目录的数据，并缓存在内存中。
5.根据权利要求4所述的方法，其特征在于，当文件系统的元数据服务器执行重命名或移动操作时，修改对应子目录的存储单位标识，并记录日志，以使刷日志时将修改后的子目录的元数据写到新位置。
6.根据权利要求1或2所述的方法，其特征在于，当对象系统的对象存储控制器执行用户的目录操作请求时，对操作请求的对象名计算hash值；根据计算得到的hash值一次读取索引节点信息；根据索引节点信息获取用户请求的数据。
7.一种元数据管理系统，应用于计算机存储系统中，其特征在于，包括：
组织模块，用于以目录层次结构作为元数据组织结构，并以对象系统中的用户名作为目录层次结构中根目录下的第一层目录；以对象系统中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象系统中与每个桶关联的对象名中的分割符将对象名分割为对应桶目录下的目录名或文件名；
存储模块，用于以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中。
8.根据权利要求7所述的系统，其特征在于，所述存储模块，还用于若相同目录中的索引节点个数大于预设的个数时，对该相同目录中的索引节点进行二叉树分片存储在同一标识对应的不同存储单位中。
9.根据权利要求7或8所述的系统，其特征在于，所述存储模块，还用于若根据不同绝对路径名计算得到相同的hash值，则将该不同绝对路径对应的目录存放于该相同的hash值标识对应的不同存储单位中。
10.根据权利要求7或8所述的系统，其特征在于，还包括：
第一接口模块，用于当文件系统的元数据服务器读元数据时，根据存储的存储单位的标识一次读取对应目录的数据，并缓存在内存中。
11.根据权利要求10所述的系统，其特征在于，第一接口模块，还用于当文件系统的元数据服务器执行重命名或移动操作时，修改对应子目录的存储单位标识，并记录日志，以使刷日志时将修改后的子目录的元数据写到新位置。
12.根据权利要求7或8所述的系统，其特征在于，还包括：
第二接口模块，用于当对象系统的对象存储控制器执行用户的目录操作请求时，对操作请求的对象名计算hash值；根据计算得到的hash值一次读取索引节点信息；根据索引节点信息获取用户请求的数据。
CN201280002961.5A 2012-12-26 2012-12-26 元数据管理方法及系统 Active CN103229173B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/087519 WO2014101000A1 (zh) 2012-12-26 2012-12-26 元数据管理方法及系统

Publications (2)

Publication Number Publication Date
CN103229173A true CN103229173A (zh) 2013-07-31
CN103229173B CN103229173B (zh) 2016-08-03

Family

ID=48838332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280002961.5A Active CN103229173B (zh) 2012-12-26 2012-12-26 元数据管理方法及系统

Country Status (2)

Country Link
CN (1) CN103229173B (zh)
WO (1) WO2014101000A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123359A (zh) * 2014-07-17 2014-10-29 江苏省邮电规划设计院有限责任公司 一种分布式对象存储系统的资源管理方法
CN104424238A (zh) * 2013-08-27 2015-03-18 华为技术有限公司 一种海量文件生成的方法、装置
WO2015140728A1 (en) * 2014-03-20 2015-09-24 International Business Machines Corporation Accelerated access to objects in an object store implemented utilizing a file storage system
WO2016029865A1 (en) * 2014-08-28 2016-03-03 Huawei Technologies Co., Ltd. Metadata index search in file system
CN105701096A (zh) * 2014-11-25 2016-06-22 腾讯科技（深圳）有限公司 索引生成方法、数据查询方法、装置及系统
CN106484820A (zh) * 2016-09-26 2017-03-08 华为技术有限公司 一种重命名方法、访问方法及装置
CN106599102A (zh) * 2016-11-29 2017-04-26 郑州云海信息技术有限公司 一种基于目录切分机制的元数据性能提升方法
CN106682003A (zh) * 2015-11-06 2017-05-17 中国电信股份有限公司 分布式存储命名空间的路径分割映射方法和装置
CN107346338A (zh) * 2017-06-30 2017-11-14 武汉斗鱼网络科技有限公司 文件目录排序方法及装置
CN107357929A (zh) * 2017-07-27 2017-11-17 广东欧珀移动通信有限公司 文件读取方法、移动终端及可读存储介质
CN107678981A (zh) * 2017-08-24 2018-02-09 北京盛和大地数据科技有限公司 数据处理方法及装置
CN107818113A (zh) * 2016-09-13 2018-03-20 南京中兴新软件有限责任公司 文件访问位置的确定方法及装置
CN107885829A (zh) * 2017-11-08 2018-04-06 郑州云海信息技术有限公司 对象存储对接Hadoop的重命名方法、装置、设备和存储介质
CN109446160A (zh) * 2018-11-06 2019-03-08 郑州云海信息技术有限公司 一种文件读取方法、系统、装置及计算机可读存储介质
CN109582644A (zh) * 2018-12-21 2019-04-05 深圳前海微众银行股份有限公司 文件存储方法、装置、设备及计算机可读存储介质
CN109756484A (zh) * 2018-12-12 2019-05-14 杭州数梦工场科技有限公司 基于对象存储的网关的控制方法、控制装置、网关和介质
CN110659154A (zh) * 2018-06-28 2020-01-07 北京京东尚科信息技术有限公司 一种数据处理方法和装置
CN111008185A (zh) * 2019-10-29 2020-04-14 厦门网宿有限公司 一种数据共享方法、系统及设备
CN111324799A (zh) * 2020-02-05 2020-06-23 星辰天合（北京）数据科技有限公司 搜索请求的处理方法及装置
CN112417036A (zh) * 2018-09-10 2021-02-26 华为技术有限公司 分布式存储系统中处理对象的元数据的方法及装置
CN113282551A (zh) * 2021-07-22 2021-08-20 阿里云计算有限公司 数据处理方法、系统及设备
WO2021196957A1 (zh) * 2020-03-28 2021-10-07 华为技术有限公司 一种存储管理方法、装置及存储系统
CN114138725A (zh) * 2021-12-08 2022-03-04 北京志凌海纳科技有限公司 一种层次化的日志存储处理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530299B (zh) * 2015-12-12 2019-04-23 天津南大通用数据技术股份有限公司 目录服务日志的实现方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030033308A1 (en) * 2001-08-03 2003-02-13 Patel Sujal M. System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system
CN1545047A (zh) * 2003-11-24 2004-11-10 华中科技大学 一种存储虚拟化系统的元数据层次管理方法及其系统
CN101719141A (zh) * 2009-12-24 2010-06-02 成都市华为赛门铁克科技有限公司 基于目录对象的文件处理方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030033308A1 (en) * 2001-08-03 2003-02-13 Patel Sujal M. System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system
CN1545047A (zh) * 2003-11-24 2004-11-10 华中科技大学 一种存储虚拟化系统的元数据层次管理方法及其系统
CN101719141A (zh) * 2009-12-24 2010-06-02 成都市华为赛门铁克科技有限公司 基于目录对象的文件处理方法和系统

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424238B (zh) * 2013-08-27 2018-12-14 华为技术有限公司 一种海量文件生成的方法、装置
CN104424238A (zh) * 2013-08-27 2015-03-18 华为技术有限公司 一种海量文件生成的方法、装置
CN106104514A (zh) * 2014-03-20 2016-11-09 国际商业机器公司 对利用文件存储系统实施的对象存储库中的对象的加速访问
WO2015140728A1 (en) * 2014-03-20 2015-09-24 International Business Machines Corporation Accelerated access to objects in an object store implemented utilizing a file storage system
CN106104514B (zh) * 2014-03-20 2019-03-01 国际商业机器公司 加速访问对象存储库中的对象的方法、系统及介质
US10210191B2 (en) 2014-03-20 2019-02-19 International Business Machines Corporation Accelerated access to objects in an object store implemented utilizing a file storage system
CN104123359A (zh) * 2014-07-17 2014-10-29 江苏省邮电规划设计院有限责任公司 一种分布式对象存储系统的资源管理方法
CN104123359B (zh) * 2014-07-17 2017-03-22 江苏省邮电规划设计院有限责任公司 一种分布式对象存储系统的资源管理方法
WO2016029865A1 (en) * 2014-08-28 2016-03-03 Huawei Technologies Co., Ltd. Metadata index search in file system
CN105701096A (zh) * 2014-11-25 2016-06-22 腾讯科技（深圳）有限公司 索引生成方法、数据查询方法、装置及系统
CN106682003B (zh) * 2015-11-06 2019-09-20 中国电信股份有限公司 分布式存储命名空间的路径分割映射方法和装置
CN106682003A (zh) * 2015-11-06 2017-05-17 中国电信股份有限公司 分布式存储命名空间的路径分割映射方法和装置
CN107818113B (zh) * 2016-09-13 2023-08-11 中兴通讯股份有限公司 文件访问位置的确定方法及装置
CN107818113A (zh) * 2016-09-13 2018-03-20 南京中兴新软件有限责任公司 文件访问位置的确定方法及装置
CN106484820A (zh) * 2016-09-26 2017-03-08 华为技术有限公司 一种重命名方法、访问方法及装置
CN106484820B (zh) * 2016-09-26 2020-01-17 华为技术有限公司 一种重命名方法、访问方法及装置
CN106599102A (zh) * 2016-11-29 2017-04-26 郑州云海信息技术有限公司 一种基于目录切分机制的元数据性能提升方法
CN107346338A (zh) * 2017-06-30 2017-11-14 武汉斗鱼网络科技有限公司 文件目录排序方法及装置
CN107346338B (zh) * 2017-06-30 2021-01-01 武汉斗鱼网络科技有限公司 文件目录排序方法及装置
CN107357929A (zh) * 2017-07-27 2017-11-17 广东欧珀移动通信有限公司 文件读取方法、移动终端及可读存储介质
CN107678981A (zh) * 2017-08-24 2018-02-09 北京盛和大地数据科技有限公司 数据处理方法及装置
CN107885829A (zh) * 2017-11-08 2018-04-06 郑州云海信息技术有限公司 对象存储对接Hadoop的重命名方法、装置、设备和存储介质
CN110659154A (zh) * 2018-06-28 2020-01-07 北京京东尚科信息技术有限公司 一种数据处理方法和装置
CN112417036A (zh) * 2018-09-10 2021-02-26 华为技术有限公司 分布式存储系统中处理对象的元数据的方法及装置
CN109446160A (zh) * 2018-11-06 2019-03-08 郑州云海信息技术有限公司 一种文件读取方法、系统、装置及计算机可读存储介质
CN109756484A (zh) * 2018-12-12 2019-05-14 杭州数梦工场科技有限公司 基于对象存储的网关的控制方法、控制装置、网关和介质
CN109756484B (zh) * 2018-12-12 2021-10-15 杭州数梦工场科技有限公司 基于对象存储的网关的控制方法、控制装置、网关和介质
CN109582644A (zh) * 2018-12-21 2019-04-05 深圳前海微众银行股份有限公司 文件存储方法、装置、设备及计算机可读存储介质
CN111008185A (zh) * 2019-10-29 2020-04-14 厦门网宿有限公司 一种数据共享方法、系统及设备
WO2021082157A1 (zh) * 2019-10-29 2021-05-06 厦门网宿有限公司 一种元数据、数据存储、共享方法、系统及设备
CN111008185B (zh) * 2019-10-29 2023-08-18 厦门网宿有限公司 一种数据共享方法、系统及设备
CN111324799A (zh) * 2020-02-05 2020-06-23 星辰天合（北京）数据科技有限公司 搜索请求的处理方法及装置
CN111324799B (zh) * 2020-02-05 2021-05-04 星辰天合（北京）数据科技有限公司 搜索请求的处理方法及装置
WO2021196957A1 (zh) * 2020-03-28 2021-10-07 华为技术有限公司 一种存储管理方法、装置及存储系统
CN113282551A (zh) * 2021-07-22 2021-08-20 阿里云计算有限公司 数据处理方法、系统及设备
CN114138725A (zh) * 2021-12-08 2022-03-04 北京志凌海纳科技有限公司 一种层次化的日志存储处理方法

Also Published As

Publication number Publication date
CN103229173B (zh) 2016-08-03
WO2014101000A1 (zh) 2014-07-03

Similar Documents

Publication Publication Date Title
CN103229173A (zh) 元数据管理方法及系统
US10496627B2 (en) Consistent ring namespaces facilitating data storage and organization in network infrastructures
US9047301B2 (en) Method for optimizing the memory usage and performance of data deduplication storage systems
US10102211B2 (en) Systems and methods for multi-threaded shadow migration
US8312242B2 (en) Tracking memory space in a storage system
CN103282899B (zh) 文件系统中数据的存储方法、访问方法及装置
CN100468402C (zh) 一种数据存储及查询方法
CN106294190B (zh) 一种存储空间管理方法及装置
US8874627B2 (en) Enumerating metadata in file system directories
CN103793534A (zh) 分布式文件系统及均衡元数据存储和访问负载的实现方法
CN104408091A (zh) 分布式文件系统的数据存储方法及系统
CN102243660A (zh) 一种数据访问方法及设备
CN102298641A (zh) 一种基于键值库的文件与结构化数据统一存储方法
CN101446984A (zh) 一种文件存储方法、装置及文件删除方法和装置
CN103631924A (zh) 一种分布式数据库平台的应用方法和系统
CN104410666A (zh) 云计算下实现异构存储资源管理的方法及系统
CN103473258A (zh) 云存储文件系统
CN114730307A (zh) 智能数据池
CN107346209B (zh) 一种多磁盘聚合式数据存储系统及其实现方法与应用方法
KR20090007926A (ko) 플래시 메모리에 저장된 데이터의 인덱스 정보 관리 장치및 방법
JP2015114913A (ja) ストレージ装置、ストレージシステム及びデータ管理プログラム
CN101783814A (zh) 海量存储系统的元数据存储方法
US10521398B1 (en) Tracking version families in a file system
CN104537023A (zh) 一种反向索引记录的存储方法及装置
CN117215477A (zh) 数据对象存储方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant