CN111538703B - 一种分布式存储系统 - Google Patents

一种分布式存储系统 Download PDF

Info

Publication number
CN111538703B
CN111538703B CN202010226122.8A CN202010226122A CN111538703B CN 111538703 B CN111538703 B CN 111538703B CN 202010226122 A CN202010226122 A CN 202010226122A CN 111538703 B CN111538703 B CN 111538703B
Authority
CN
China
Prior art keywords
core
node
metadata
core node
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010226122.8A
Other languages
English (en)
Other versions
CN111538703A (zh
Inventor
李新明
刘斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Edge Intelligence Of Cas Co ltd
Original Assignee
Edge Intelligence Of Cas Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Edge Intelligence Of Cas Co ltd filed Critical Edge Intelligence Of Cas Co ltd
Priority to CN202010226122.8A priority Critical patent/CN111538703B/zh
Publication of CN111538703A publication Critical patent/CN111538703A/zh
Application granted granted Critical
Publication of CN111538703B publication Critical patent/CN111538703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration

Abstract

本发明公开了一种分布式存储系统，包括数据存储节点和核心节点，其中分布式存储系统的元数据查询包括4级查询：本核心节点内存按照LRU进行查询、本核心节点物理存储介质查询、群组内核心节点之间查询和全局查询。

Description

一种分布式存储系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种分布式存储系统，以及无中心互联模式下数据分布及一致性管理方法。
背景技术
在无中心对等互联模式下，多节点交互会产生一定的系统数据，对于一个动态的对等网络下，网络拓扑结构的感知，也产生一定量的节点交互数据；数据资源使用多副本的情况下，元数据会包含副本数据；此外，还包含应用产生的数据信息。元数据可以划分为三种类型：系统元数据、副本元数据和应用元数据。网络自身结构的信息，包括网络互联情况、存储系统的容量和使用策略等，使用系统元数据记录；关于数据副本的信息，比如文件与具体存储系统之间的映射信息等归为副本元数据；与具体应用相关的文件的逻辑结构或语义的信息，比如数据的内容和结构、获取数据的必要条件等归为应用元数据。网络中的所有元数据构成元数据目录，元数据目录中的每一个记录都对应着网络中的一个资源或文件。由于分布式系统的文件数据是分散存放在多个节点上的，访问数据之前需要利用元数据进行定位，元数据的管理就成为一个关键，目前尚无较好的元数据管理方案。
为此，本发明提供了一种分布式存储系统，以及无中心互联模式下数据分布及一致性管理方法。
发明内容
为实现本发明之目的，采用以下技术方案予以实现：
一种分布式存储系统，包括数据存储节点和核心节点，其中分布式存储系统的元数据查询包括4级查询：本核心节点内存按照LRU进行查询、本核心节点物理存储介质查询、群组内核心节点之间查询和全局查询。
所述的分布式存储系统，其中：本核心节点首先查询节点内存中是否有待查询的元数据，如果有则查询正确命中；如果查询错误发生，则到本核心节点物理存储介质查询该数据，如果有则查询正确命中；如果查询错误发生，则向本群组内其他核心节点查询该元数据，如果有则查询正确命中；如果查询错误发生，则向其他群组的核心节点查询该元数据。
所述的分布式存储系统，其中：每个核心节点除了保存本地元数据的BF信息，还保存有其他核心节点的BF信息副本。
所述的分布式存储系统，其中：设分布式存储系统中存在L个核心节点，分成S个群组，其中每个群组的最大核心节点数量N不超过NM,在每个核心节点保存本群组内的所有文件的元数据，每个群组还保存了整个分布式存储系统的元数据的BF副本，即群组内的每个核心节点除了本群组文件的元数据的BF副本信息以外，还平均保存了其他的(L-N)/N个核心节点的元数据的BF副本。
所述的分布式存储系统，其中：分布式存储系统的BF副本的更新包括:副本保存位置的更新和副本内容的更新。
所述的分布式存储系统，其中：核心节点加入集群时的过程如下：集群中新增核心节点；将组内其他核心节点上的本群组的BF副本迁移到新增核心节点，将群组内其他核心节点上的其他群组的BF副本的一部分迁移到新增核心节点，迁出BF副本的节点则删除该迁出数据；新增加的核心节点广播其副本位置信息给群组内的其他节点；新增加的核心节点广播副本信息给存储系统中其他的群组。
所述的分布式存储系统，其中：核心节点离开集群时的过程如下：待离开的核心节点将其存储的其他群组的BF副本迁移到负载较轻的组内其他核心节点；从群组内每个核心节点中删除相应的离开的核心节点此前所存储的BF副本的相关信息；待离开的核心节点广播消息至其他群组，告知其他群组内核心节点使得其它的群组内核心节点都删除离开系统的核心节点的BF副本信息；核心节点离开。
所述的分布式存储系统，其中分布式存储系统按如下方式进行数据一致性检查：一般节点向和核心节点发送心跳信息，该心跳信息中包含对一般节点上文件数量的统计,核心节点接收到心跳信息后，将心跳信息中的文件数量统计信息与核心节点上的元数据进行比较，如果发现与元数据所对应的文件数量不一致，核心节点立即向一般节点发送请求，要求交互一般节点上的完整数据信息进行同步，从而启动全面的一致性检测程序，最后更新核心节点的元数据。
一种无中心互联模式下数据分布及一致性管理方法，所述方法应用于分布式存储系统，所述分布式存储系统包括数据存储节点和核心节点，其中所述方法包括如下步骤：元数据查询；元数据分布式管理；BF副本更新；节点加入和退出管理；数据一致性检查。
所述的方法，其中：元数据查询包括4级查询：本核心节点内存按照LRU进行查询、本核心节点物理存储介质查询、群组内核心节点之间查询和全局查询
所述的方法，其中：元数据查询包括：本核心节点首先查询节点内存中是否有待查询的元数据，如果有则查询正确命中；如果查询错误发生，则到本核心节点物理存储介质查询该数据，如果有则查询正确命中；如果查询错误发生，则向本群组内其他核心节点查询该元数据，如果有则查询正确命中；如果查询错误发生，则向其他群组的核心节点查询该元数据。
所述的方法，其中：每个核心节点除了保存本地元数据的BF信息，还保存有其他核心节点的BF信息副本。
所述的方法，其中元数据分布式管理按如下方式进行：设分布式存储系统中存在L个核心节点，分成S个群组，其中每个群组的最大核心节点数量N不超过NM,在每个核心节点保存本群组内的所有文件的元数据，每个群组还保存了整个分布式存储系统的元数据的BF副本，即群组内的每个核心节点除了本群组文件的元数据的BF副本信息以外，还平均保存了其他的(L-N)/N个核心节点的元数据的BF副本。
所述的方法，其中：BF副本的更新包括:副本保存位置的更新和副本内容的更新。
所述的方法，其中节点加入的管理包括：集群中新增核心节点；将群组内其他核心节点上的本群组的BF副本迁移到新增核心节点，将群组内其他核心节点上的其他群组的BF副本的一部分迁移到新增核心节点，迁出BF副本的节点则删除该迁出数据；新增加的核心节点广播其副本位置信息给群组内的其他节点；新增加的核心节点广播副本信息给存储系统中其他的群组。
所述的方法，其中：核心节点离开集群时的管理过程如下：待离开的核心节点将其存储的其他群组的BF副本迁移到负载较轻的组内其他核心节点；从群组内每个核心节点中删除相应的离开的核心节点此前所存储的BF副本的相关信息；待离开的核心节点广播消息至其他群组，告知其他群组内核心节点使得其它的组内核心节点都删除离开系统的核心节点的BF副本信息；核心节点离开。
所述的方法，其中数据一致性检查包括：一般节点向和核心节点发送心跳信息，该信息中包含对一般节点上文件数量的统计,核心节点接收到心跳信息后，将心跳信息中的文件数量统计信息与核心节点上的元数据进行比较，如果发现与元数据所对应的文件数量不一致，核心节点立即向一般节点发送请求，要求交互一般节点上的完整数据信息进行同步，从而启动全面的一致性检测程序，最后更新核心节点的元数据。
附图说明
图1为元数据查询示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行详细说明。
本发明的分布式存储系统包括两种节点，一种是数据存储节点，一种是选举出的虚拟中心节点，也即核心节点，主要承担元数据服务器的功能，负责存储和组织元数据。
本发明的分布式存储系统按如下方式进行数据管理：
1.元数据查询
如图1所示，无中心对等互联模式下的元数据查询由4级构成：本核心节点内存按照LRU(Least Recently Used，最近最少使用)查询、本核心节点物理存储介质查询、群组内核心节点之间查询和全局查询(Global Query)。由于元数据有多个副本，下级查询结果返回错误可以由高一级别查询屏蔽，这种分级的查询结构有效的提高了查询的精确率，并具备较好的负载平衡能力，即，本核心节点首先查询节点内存中是否有待查询的元数据，如果有则查询正确命中；如果查询错误发生，则到本核心节点物理存储介质查询该数据，如果有则查询正确命中；如果查询错误发生，则向本群组内其他核心节点查询该元数据，如果有则查询正确命中；如果查询错误发生，则向其他群组的核心节点查询该元数据。
每个核心节点除了保存本地元数据的Bloom Filter(布隆过滤器)信息，还保存有其他核心节点的布隆过滤器信息副本。用户在访问分布式数据存储中的数据的时候，先要查询元数据的信息，用户客户端的元数据查询请求可以任意地选择一个核心节点去响应查询。当在Bloom Filter中返回零个或者多个命中时表示错误发生，当Bloom Filter中只有一个数据做出响应时表示查询正确命中。
以优化系统性能为主要设计目标，在存储系统内采用多个核心节点来维护整个系统的元数据文件副本，这种设计方法可以有效实现负载平衡，同时具有较好的可扩展性，能够动态地支持核心节点的加入和删除等操作。另外，对于群组内的每个核心节点，采用多级的Bloom Filter结构来维护相关的元数据信息，这种结构由多层的Bloom Filter结构组成，Bloom Filter结构用来存储和维护其他群组核心节点的元数据信息和维护本群组的元数据信息。
2.元数据分布式管理
设分布式存储系统中存在L个核心节点，分成S个群组，其中每个群组的最大核心节点数量不超过NM。一般而言假设每组的核心节点数目为N<NM。假设每个文件数据保存多个副本，则称保存元数据原件的核心节点为该文件的主核心节点，称保存元数据副本的核心节点为该文件的从核心节点。
在每个核心节点保存群组内的所有文件的元数据(全量数据)，即文件和保存该文件的位置的映射关系。除此以外，每个群组还保存了整个分布式存储系统的元数据的BF副本，即群组内的N个核心节点还保存了其他L-N个Bloom Filter的副本。则群组内的每个核心节点除了本群组文件的元数据的BF副本信息以外，还平均保存了其他的(L-N)/N个核心节点的元数据的BF副本。
3.副本更新
BF(布隆过滤器)副本的更新涉及到两个内容:其一是副本保存位置的更新，其二是副本内容的更新。节点具有高动态特征，当某个核心节点加入或者退出组时，其上保存的BF副本位置将会发生变化，导致在一个组内的BF副本经常会从一个核心节点迁移到另一个核心节点，这将导致BF副本更新操作的产生，因此每个核心节点必须保存系统内全部BF副本的位置信息，并且适时更新。当一个副本被错误的判断所在的核心节点的时候，此错误判断的核心节点将丢弃更新请求(即BF过滤器是有可能产生错误判断的，当一个核心节点被“误判”需要更新BF信息后，更新操作会发送给该核心节点，该核心节点经过核实发现自身不需要更新该BF信息，则会丢弃更新请求)，当然这种错误率是比较低的，由此造成的损耗可以接受。例如，在一个拥有100个核心节点的系统中，每个核心节点上面保存BF的位置信息仅仅需要耗费不到0.1KB的存储空间。
4.节点加入和退出
对于某个组内的核心节点加入或者退出时，在核心节点之间迁移的是元数据BF副本的位置信息，而不是元数据BF副本本身。这种轻量级的元数据迁移方案可以显著减少带宽的损耗，易于扩展并实现较好的负载平衡。当某个组内的一个核心节点负载过重的时候，只需要很少的元数据迁移就能实现核心节点负载的转移，转移的核心节点可以从组内负载较轻的几个核心节点中选择。
核心节点加入集群时的过程如下：集群中新增核心节点；将组内其他核心节点上的本群组的BF副本迁移到新增核心节点，将群组内其他核心节点上的其他群组的BF副本的一部分迁移到新增核心节点，迁出BF副本的节点则删除该迁出数据，以降低其负载；新增加的核心节点广播其副本位置信息给群组内的其他节点；新增加的核心节点广播副本信息给存储系统中其他的群组。
核心节点离开集群时的过程如下：待离开的核心节点将其存储的其他群组的BF副本迁移到负载较轻的组内其他核心节点；从组内每个核心节点中删除相应的离开的核心节点此前所存储的BF副本的相关信息；待离开的核心节点广播消息至其他群组，告知其他群组内核心节点使得其它的组内核心节点都删除离开系统的核心节点的BF副本信息；核心节点离开。
通过以上对于元数据的统一管理方式，在多个核心节点上的BF副本共同构成元数据信息目录视图，在每个用户节点，都可以通过相应的群组的核心节点请求查看该组内信息目录视图，也可以由该组内的核心节点作为中继，查看整个存储系统内各群组的信息目录视图。
步骤5.数据一致性检查
为保持数据的一致性，系统需要进行在线检测，在线检测时，使用元数据记录集群内所有节点的状态信息，当所存储的数据发生改变时，该数据所对应的元数据信息也需要同步进行修改。数据节点间的数据与副本的一致性检测周期如果过大，网络中若某节点出现的不一致错误就不能及时被发现，积累的错误就会越来越多。如果时间间隔很小，那么频繁的遍历扫描和信息交互会严重影响网络性能的正常服务。因此，当交互的时间间隔减小到一定的程度就不能继续减小了，检测的及时性也就受到限制。
为了解决这个问题，引入预检测的方法。预检测是指通过核心节点之间频繁地交互简要信息，及时发现系统不一致错误的倾向，一旦发现，便立即启动全面细致的检测程序。在实际设计中，可以通过选举出来的核心节点与其他一般节点之间的心跳(heartbeat)实现预检测的思想。
heartbeat是选举出来的核心节点与一般节点(即系统中的数据存储节点)之间频繁进行的信息交互，主要目的是感知数据节点运行情况，比如是否宕机、是否过载等，进而进行负载均衡等一系列的调整。
预检测方法包括：一般节点向和核心节点发送心跳(heartbeat)信息，该信息中包含对一般节点上文件数量的统计，核心节点接收到心跳信息后，将心跳信息中的文件数量统计信息与核心节点上的元数据进行比较，如果发现与元数据所对应的文件数量不一致，核心节点立即向一般节点发送请求，要求交互一般节点上的完整数据信息进行同步，从而启动全面的一致性检测程序，最后更新核心节点的元数据。
通过本发明，能够在多副本的无中心对等网络中，节点间歇性断开、多节点并发、节点通信条件弱、节点间通信可能延迟较高以及网络的传输能力和节点的存储能力的限制条件下，使用多副本分布技术提高数据访问速度，保证多副本数据的一致性、正确性和可靠性。

Claims (3)

1.一种分布式存储系统，包括数据存储节点和核心节点，其特征在于分布式存储系统的元数据查询包括4级查询：本核心节点内存按照LRU进行查询、本核心节点物理存储介质查询、群组内核心节点之间查询和全局查询；本核心节点首先查询节点内存中是否有待查询的元数据，如果有则查询正确命中；如果查询错误发生，则到本核心节点物理存储介质查询该数据，如果有则查询正确命中；如果查询错误发生，则向本群组内其他核心节点查询该元数据，如果有则查询正确命中；如果查询错误发生，则向其他群组的核心节点查询该元数据；每个核心节点除了保存本地元数据的BF信息，还保存有其他核心节点的BF信息副本；设分布式存储系统中存在L个核心节点，分成S个群组，其中每个群组的最大核心节点数量N不超过NM,在每个核心节点保存本群组内的所有文件的元数据，每个群组还保存了整个分布式存储系统的元数据的BF副本，即群组内的每个核心节点除了本群组文件的元数据的BF副本信息以外，还平均保存了其他的(L-N)/N个核心节点的元数据的BF副本；分布式存储系统的BF副本的更新包括:副本保存位置的更新和副本内容的更新；所述的分布式存储系统，其中：核心节点加入集群时的过程如下：集群中新增核心节点；将组内其他核心节点上的本群组的BF副本迁移到新增核心节点，将群组内其他核心节点上的其他群组的BF副本的一部分迁移到新增核心节点，迁出BF副本的节点则删除迁出数据；新增加的核心节点广播其副本位置信息给群组内的其他节点；新增加的核心节点广播副本信息给存储系统中其他的群组；核心节点离开集群时的过程如下：待离开的核心节点将其存储的其他群组的BF副本迁移到负载较轻的组内其他核心节点；从群组内每个核心节点中删除相应的离开的核心节点此前所存储的BF副本的相关信息；待离开的核心节点广播消息至其他群组，告知其他群组内核心节点使得其它的群组内核心节点都删除离开系统的核心节点的BF副本信息；核心节点离开；分布式存储系统按如下方式进行数据一致性检查：一般节点向和核心节点发送心跳信息，该心跳信息中包含对一般节点上文件数量的统计,核心节点接收到心跳信息后，将心跳信息中的文件数量统计信息与核心节点上的元数据进行比较，如果发现与元数据所对应的文件数量不一致，核心节点立即向一般节点发送请求，要求交互一般节点上的完整数据信息进行同步，从而启动全面的一致性检测程序，最后更新核心节点的元数据。
2.根据权利要求1所述的分布式存储系统，其特征在于：每个核心节点保存本地元数据信息。
3.一种无中心互联模式下数据分布及一致性管理方法，所述方法应用于分布式存储系统，所述分布式存储系统包括数据存储节点和核心节点，其特征在于所述方法包括元数据查询,所述元数据查询包括4级查询：本核心节点内存按照LRU进行查询、本核心节点物理存储介质查询、群组内核心节点之间查询和全局查询；其中本核心节点首先查询节点内存中是否有待查询的元数据，如果有则查询正确命中；如果查询错误发生，则到本核心节点物理存储介质查询该数据，如果有则查询正确命中；如果查询错误发生，则向本群组内其他核心节点查询该元数据，如果有则查询正确命中；如果查询错误发生，则向其他群组的核心节点查询该元数据；每个核心节点除了保存本地元数据的BF信息，还保存有其他核心节点的BF信息副本；元数据分布式管理按如下方式进行：设分布式存储系统中存在L个核心节点，分成S个群组，其中每个群组的最大核心节点数量N不超过NM,在每个核心节点保存本群组内的所有文件的元数据，每个群组还保存了整个分布式存储系统的元数据的BF副本，即群组内的每个核心节点除了本群组文件的元数据的BF副本信息以外，还平均保存了其他的(L-N)/N个核心节点的元数据的BF副本；BF副本的更新包括:副本保存位置的更新和副本内容的更新；节点加入的管理包括：集群中新增核心节点；将群组内其他核心节点上的本群组的BF副本迁移到新增核心节点，将群组内其他核心节点上的其他群组的BF副本的一部分迁移到新增核心节点，迁出BF副本的节点则删除迁出数据；新增加的核心节点广播其副本位置信息给群组内的其他节点；新增加的核心节点广播副本信息给存储系统中其他的群组；核心节点离开集群时的管理过程如下：待离开的核心节点将其存储的其他群组的BF副本迁移到负载较轻的组内其他核心节点；从群组内每个核心节点中删除相应的离开的核心节点此前所存储的BF副本的相关信息；待离开的核心节点广播消息至其他群组，告知其他群组内核心节点使得其它的组内核心节点都删除离开系统的核心节点的BF副本信息；核心节点离开；数据一致性检查包括：一般节点向和核心节点发送心跳信息，该信息中包含对一般节点上文件数量的统计,核心节点接收到心跳信息后，将心跳信息中的文件数量统计信息与核心节点上的元数据进行比较，如果发现与元数据所对应的文件数量不一致，核心节点立即向一般节点发送请求，要求交互一般节点上的完整数据信息进行同步，从而启动全面的一致性检测程序，最后更新核心节点的元数据。
CN202010226122.8A 2020-03-27 2020-03-27 一种分布式存储系统 Active CN111538703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010226122.8A CN111538703B (zh) 2020-03-27 2020-03-27 一种分布式存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010226122.8A CN111538703B (zh) 2020-03-27 2020-03-27 一种分布式存储系统

Publications (2)

Publication Number Publication Date
CN111538703A CN111538703A (zh) 2020-08-14
CN111538703B true CN111538703B (zh) 2024-01-26

Family

ID=71976969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010226122.8A Active CN111538703B (zh) 2020-03-27 2020-03-27 一种分布式存储系统

Country Status (1)

Country Link
CN (1) CN111538703B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647797A (zh) * 2013-11-15 2014-03-19 北京邮电大学 一种分布式文件系统及其数据访问方法
CN103970871A (zh) * 2014-05-12 2014-08-06 华中科技大学 存储系统中基于溯源信息的文件元数据查询方法与系统
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
CN109213699A (zh) * 2018-09-21 2019-01-15 郑州云海信息技术有限公司 一种元数据管理方法、系统、设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9998530B2 (en) * 2013-10-15 2018-06-12 Nicira, Inc. Distributed global load-balancing system for software-defined data centers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
CN103647797A (zh) * 2013-11-15 2014-03-19 北京邮电大学 一种分布式文件系统及其数据访问方法
CN103970871A (zh) * 2014-05-12 2014-08-06 华中科技大学 存储系统中基于溯源信息的文件元数据查询方法与系统
CN109213699A (zh) * 2018-09-21 2019-01-15 郑州云海信息技术有限公司 一种元数据管理方法、系统、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111538703A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
US11153380B2 (en) Continuous backup of data in a distributed data store
US11120152B2 (en) Dynamic quorum membership changes
US10229011B2 (en) Log-structured distributed storage using a single log sequence number space
US8046422B2 (en) Automatic load spreading in a clustered network storage system
US10789217B2 (en) Hierarchical namespace with strong consistency and horizontal scalability
CN106066896B (zh) 一种应用感知的大数据重复删除存储系统及方法
US7822711B1 (en) Conflict resolution for a distributed file sharing system
US9460008B1 (en) Efficient garbage collection for a log-structured data store
US7840618B2 (en) Wide area networked file system
CN101689129B (zh) 在群集文件系统中的文件系统安装
CN102708165B (zh) 分布式文件系统中的文件处理方法及装置
US7440977B2 (en) Recovery method using extendible hashing-based cluster logs in shared-nothing spatial database cluster
US20150227606A1 (en) Massively scalable object storage system
CN111078121A (zh) 一种分布式存储系统数据迁移方法、系统、及相关组件
US20200336455A1 (en) Hierarchical namespace service with distributed name resolution caching and synchronization
CN111984696B (zh) 一种新型数据库和方法
CN113377868B (zh) 一种基于分布式kv数据库的离线存储系统
CN105138678A (zh) 一种地图瓦片数据的读取、分发方法及读取、分发系统
CN111522880A (zh) 一种基于mysql数据库集群的提升数据读写性能的方法
CN113360456B (zh) 数据归档方法、装置、设备以及存储介质
US10223184B1 (en) Individual write quorums for a log-structured distributed storage system
US7433928B1 (en) System pre-allocating data object replicas for a distributed file sharing system
CN104750757A (zh) 一种基于HBase的数据存储方法和设备
US9667735B2 (en) Content centric networking
CN113032356A (zh) 一种客舱分布式文件存储系统及实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant