CN117539841A - 一种分布式文件系统元数据管理系统及其操作方法 - Google Patents

一种分布式文件系统元数据管理系统及其操作方法 Download PDF

Info

Publication number
CN117539841A
CN117539841A CN202410029237.6A CN202410029237A CN117539841A CN 117539841 A CN117539841 A CN 117539841A CN 202410029237 A CN202410029237 A CN 202410029237A CN 117539841 A CN117539841 A CN 117539841A
Authority
CN
China
Prior art keywords
metadata
module
distributed
concurrency
consistency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410029237.6A
Other languages
English (en)
Other versions
CN117539841B (zh
Inventor
王大伟
丘健仁
秦高
刘雅
周雪莲
王安平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hezongtianxia Information Technology Co ltd
Original Assignee
Shenzhen Hezongtianxia Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hezongtianxia Information Technology Co ltd filed Critical Shenzhen Hezongtianxia Information Technology Co ltd
Priority to CN202410029237.6A priority Critical patent/CN117539841B/zh
Publication of CN117539841A publication Critical patent/CN117539841A/zh
Application granted granted Critical
Publication of CN117539841B publication Critical patent/CN117539841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G06F16/1767—Concurrency control, e.g. optimistic or pessimistic approaches
    • G06F16/1774—Locking methods, e.g. locking methods for file systems allowing shared and concurrent access to files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G06F8/62—Uninstallation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing

Abstract

本发明涉及数据管理技术领域，公开了一种分布式文件系统元数据管理系统，包括键值存储模块、一致性并发控制模块、分布式架构模块和元数据操作模块，所述键值存储模块实现键值存储机制，用于存储和访问元数据的键值对，所述一致性并发控制模块实现并发控制机制，用于确保在并发操作期间维护元数据的一致性，所述分布式架构模块用于设计和实现分布式架构，实现系统的可扩展性和容错性，所述元数据操作模块用于支持各种元数据操作，所述键值存储模块与一致性并发控制模块之间相互关联。该系统解决了在分布式文件系统中管理元数据的挑战，通过利用键值存储和高级并发控制机制，提供增强的可扩展性、改进的一致性和高效的元数据管理。

Description

一种分布式文件系统元数据管理系统及其操作方法
技术领域
本发明涉及数据管理技术领域，具体为一种分布式文件系统元数据管理系统及其操作方法。
背景技术
文件系统的元数据包括目录和文件的元数据，以及目录结构等。文件的元数据包括：文件名，权限，时间，文件大小，以及数据块的分布等。目录的元数据包括：目录名、权限、时间等主要属性，以及它所包含的子文件和子目录等目录结构相关内容。文件系统元数据管理的一个难点是既要提供高效的元数据访问，又要为元数据的修改提供灵活的接口。
现有的分布式文件系统元数据管理系统无法解决其在操作期间的一致性，难以适应大规模分布式文件系统，处理数据时可能会影响性能。为此，需要设计相应的技术方案给予解决。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了一种分布式文件系统元数据管理系统及其操作方法，解决了在操作期间的一致性，难以适应大规模分布式文件系统，处理数据时可能会影响性能的技术问题。
（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种分布式文件系统元数据管理系统，包括键值存储模块、一致性并发控制模块、分布式架构模块和元数据操作模块，
所述键值存储模块实现键值存储机制，用于存储和访问元数据的键值对；
所述一致性并发控制模块实现并发控制机制，用于确保在并发操作期间维护元数据的一致性，采用锁定技术、版本控制技术和事务管理技术，防止冲突并确保数据完整性；
所述分布式架构模块用于设计和实现分布式架构，元数据被分布在多个服务器上，用于实现可用性和有效的负载均衡；
所述元数据操作模块用于支持各种元数据操作，包括文件和目录的创建、修改和删除；
所述键值存储模块与一致性并发控制模块之间相互关联，所述一致性并发控制模块与分布式架构模块之间相互关联，所述分布式架构模块与元数据操作模块之间相互关联，所述元数据操作模块与键值存储模块之间相互关联。
优选的，所述一致性并发控制模块用于确保分布式系统中的数据一致性和并发操作的正确执行，规定操作之间的顺序和并发执行的规则，其具体包括有事务管理执行模块、密钥锁管理模块和并发控制算法模块；
所述一致性并发控制模块用于管理事务的执行，确保事务按照一致性模型的规则进行提交或回滚，并处理并发操作之间的冲突；
所述一致性并发控制模块用于管理锁的获取和释放，确保在并发操作中对共享资源的访问互斥；
所述一致性并发控制模块使用多种算法来处理并发操作。
优选的，所述并发控制算法模块包括锁机制、多版本并发控制和时间戳排序；
所述锁机制为消极并发控制方法，通过在访问共享资源之前获取锁，保证同一时间只有一个线程可以访问该资源；当一个线程获取到锁后，其他线程需要等待锁的释放才能继续执行，避免并发冲突；锁机制包括悲观锁和乐观锁，悲观锁在访问资源时会加锁，而乐观锁则假设并发冲突不会发生，只在更新时检查是否有冲突；
所述多版本并发控制为积极并发控制方法，通过在每个数据项上保存多个版本来处理并发操作；每个版本都有一个时间戳，用于标识其创建时间，当一个事务读取数据时，只能看到在该事务开始之前已经提交的版本；当一个事务更新数据时，会创建一个新的版本，并将其时间戳设置为当前时间，其他事务仍然可以读取旧版本的数据；
所述时间戳排序为基于时间戳的并发控制方法，通过为每个事务分配一个唯一的时间戳，并按照时间戳的顺序来执行事务；当一个事务提交时，时间戳会被记录下来，在执行事务时，系统会根据时间戳的顺序来决定事务的执行顺序。
优选的，所述分布式架构模块用于管理分布式系统的整体架构和通信，包括有数据分布复制模块、节点管理模块、消息传递模块和故障处理模块；
所述分布式架构模块用于将数据分布到不同的节点，并处理数据的复制和同步；
所述分布式架构模块用于管理分布式系统中的节点，处理节点的加入和退出；
所述分布式架构模块用于节点之间的消息传递，提供可靠的消息传递机制；
所述分布式架构模块用于处理节点故障和网络分区问题，使用故障检测和恢复机制来保证系统的可靠性。
优选的，所述锁定技术的具体步骤包括如下：
在元数据操作模块中，对于需要修改元数据的操作，首先获取一个锁定，确保在并发操作期间只有一个线程可以修改该元数据；
当一个线程获取到锁定后，其他线程将被阻塞，直到该线程完成对元数据的修改并释放锁定；
锁定可以是粒度为文件或目录的，确保对特定元数据的修改是原子。
优选的，所述版本控制技术的具体步骤包括如下：
在元数据操作模块中，对于每次修改元数据的操作，都创建新的版本，并将该版本与之前的版本进行关联；
每个版本都包含元数据的完整副本，用于在需要时可以回滚到先前的版本。
优选的，所述事务管理技术的具体步骤包括如下：
在元数据操作模块中，对于一系列需要原子执行的元数据操作，将其组合成一个事务；
事务管理技术确保在并发操作期间，所有操作全部执行成功，否则全部回滚，用于保持数据的一致性；
如果在事务执行过程中发生错误或冲突，回滚事务并恢复到事务开始之前的状态。
优选的，所述元数据操作包括文件和目录的创建、修改和删除；
文件和目录的创建：元数据操作模块允许用户在分布式文件系统中创建新文件和目录，操作涉及指定文件和目录名称、位置以及与关联的任何其他属性；
文件和目录的修改：用户可以修改分布式文件系统中现有文件和目录的元数据，包括更改文件和目录大小、权限、时间戳和其他相关信息属性；
文件和目录的删除：元数据操作模块使用户能够从分布式文件系统中删除文件和目录，操作涉及删除与文件与目录关联的元数据并释放文件占用的存储空间，并以递归方式删除目录中的所有文件和子目录。
一种分布式文件系统元数据管理的操作方法，方法步骤包括如下：
S1、设计分布式架构：将元数据分布在多个服务器上，使用分布式架构模块管理系统的整体架构和通信，包括数据分布复制模块、节点管理模块、消息传递模块和故障处理模块；
S2，实现键值存储机制：使用键值存储模块实现元数据存储和访问，键值存储模块提供快速和直接访问特定元数据元素的能力；
S3，实现一致性并发控制机制：使用一致性并发控制模块确保在并发操作期间维护元数据的一致性，采用锁定、版本控制和事务管理技术处理并发操作之间的冲突，一致性并发控制模块可以使用锁机制、多版本并发控制和时间戳排序算法来处理并发操作；
S4，支持元数据操作：实现元数据操作模块，支持文件和目录的创建、修改和删除操作，记录每个元数据操作，实现跟踪和恢复，在故障或不一致情况下保证数据的完整性；
S5，实现分布式元数据管理：接收来自客户端的元数据访问请求；从集群管理单元获取多个计算机节点的注册信息，并按照预定的规则显示注册信息；对元数据访问请求进行解析，并访问与解析结果相关联且为在线状态的计算机节点；从关联的在线计算机节点获取与元数据访问请求对应的元数据信息；将元数据信息格式转换为元数据，并将元数据返回给客户端。
优选的，将元数据信息格式转换为元数据的过程通过以下步骤实现：
元数据信息解析：首先，从关联的在线计算机节点获取与元数据访问请求对应的元数据信息，元数据信息以特定的格式进行编码或存储，包括JSON、XML或其他自定义格式，对获取的元数据信息进行解析，将其还原为数据结构或对象形式，以便后续处理；
创建元数据对象：根据解析得到的元数据信息，创建对应的元数据对象；
关联元数据对象：将创建的元数据对象与对应的文件或目录进行关联，通过标识符、路径或其他唯一标识符来实现；
返回元数据：将创建和关联的元数据对象返回给客户端，以满足元数据访问请求，将元数据对象转化为特定的格式进行传输，使得客户端解析和使用元数据信息。
（三）有益效果
与现有技术相比，本发明的有益效果：该系统解决了在分布式文件系统中管理元数据的挑战，同时确保元数据操作期间的一致性；键值存储模型支持元数据存储的高效扩展，适应大规模分布式文件系统，该系统可以处理大量元数据操作，而不会影响性能；并发控制机制可确保一致的元数据访问和修改，系统保证元数据在并发操作期间保持一致和连贯；键值存储方法允许快速直接访问特定元数据元素，从而提高整体系统性能，该系统的分布式架构可确保高效的负载平衡和容错；通过利用键值存储和高级并发控制机制，该系统提供了增强的可扩展性、改进的一致性和高效的元数据管理，代表了分布式文件系统领域的重大进步。
附图说明
图1为本发明的系统模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供一种技术方案：一种分布式文件系统元数据管理系统，包括键值存储模块、一致性并发控制模块、分布式架构模块和元数据操作模块，
所述键值存储模块实现键值存储机制，用于高效地存储和访问元数据的键值对，提供了快速和直接访问特定元数据元素的能力，键值存储方法可确保最佳性能和可扩展性；
所述一致性并发控制模块实现并发控制机制，用于确保在并发操作期间维护元数据的一致性，采用锁定、版本控制和事务管理技术，防止冲突并确保数据完整性；
所述分布式架构模块用于设计和实现分布式架构，实现系统的可扩展性和容错性，元数据被分布在多个服务器上，用于实现可用性和有效的负载均衡；
所述元数据操作模块用于支持各种元数据操作，包括文件和目录的创建、修改和删除，每个元数据操作都被记录下来，以实现在故障或不一致情况下的高效跟踪和恢复；
所述键值存储模块与一致性并发控制模块之间相互关联，以确保在并发操作期间维护元数据的一致性，所述一致性并发控制模块与分布式架构模块之间相互关联，以实现在分布式环境中的并发控制和一致性，所述分布式架构模块与元数据操作模块之间相互关联，以支持元数据的分布式存储和操作，所述元数据操作模块与键值存储模块之间相互关联，以实现对元数据的高效存储和访问。
模块之间的连接关系形成了一个完整的分布式文件系统元数据管理系统，通过协同工作来实现高效的元数据管理和操作。
该系统解决了在分布式文件系统中管理元数据的挑战，同时确保元数据操作期间的一致性，与现有解决方案相比，所提出的系统提供增强的可扩展性、意想不到的技术成果和更高的效率。
键值存储模型支持元数据存储的高效扩展，适应大规模分布式文件系统，该系统可以处理大量元数据操作，而不会影响性能；并发控制机制可确保一致的元数据访问和修改，系统保证元数据在并发操作期间保持一致和连贯；键值存储方法允许快速直接访问特定元数据元素，从而提高整体系统性能，该系统的分布式架构可确保高效的负载平衡和容错；通过利用键值存储和高级并发控制机制，该系统提供了增强的可扩展性、改进的一致性和高效的元数据管理，代表了分布式文件系统领域的重大进步。
进一步改进地，所述一致性并发控制模块用于确保分布式系统中的数据一致性和并发操作的正确执行，规定操作之间的顺序和并发执行的规则，确保系统行为符合预期，其具体包括有事务管理执行模块、密钥锁管理模块和并发控制算法模块；
所述一致性并发控制模块用于管理事务的执行，确保事务按照一致性模型的规则进行提交或回滚，并处理并发操作之间的冲突；
所述一致性并发控制模块用于管理锁的获取和释放，确保在并发操作中对共享资源的访问互斥，避免数据不一致的问题；
所述一致性并发控制模块使用多种算法来处理并发操作。
进一步改进地，所述并发控制算法模块包括锁机制、多版本并发控制（MVCC）和时间戳排序；
所述锁机制为消极并发控制方法，通过在访问共享资源之前获取锁，保证同一时间只有一个线程可以访问该资源；当一个线程获取到锁后，其他线程需要等待锁的释放才能继续执行，避免并发冲突；锁机制包括悲观锁和乐观锁，悲观锁在访问资源时会加锁，而乐观锁则假设并发冲突不会发生，只在更新时检查是否有冲突；
所述多版本并发控制（MVCC）为积极并发控制方法，通过在每个数据项上保存多个版本来处理并发操作；每个版本都有一个时间戳，用于标识其创建时间，当一个事务读取数据时，只能看到在该事务开始之前已经提交的版本；当一个事务更新数据时，会创建一个新的版本，并将其时间戳设置为当前时间，其他事务仍然可以读取旧版本的数据，从而避免了并发冲突，MVCC的优点是读操作不会被阻塞，可以提高并发性能，但是需要额外的存储空间来保存多个版本的数据；
所述时间戳排序为基于时间戳的并发控制方法，通过为每个事务分配一个唯一的时间戳，并按照时间戳的顺序来执行事务；当一个事务提交时，时间戳会被记录下来，在执行事务时，系统会根据时间戳的顺序来决定事务的执行顺序，从而避免并发冲突，时间戳排序的优点是简单易实现，并且可以保证事务的一致性，但是可能会导致事务的回滚和重试，从而影响性能。
锁机制通过加锁来保证同一时间只有一个线程访问资源；MVCC通过保存多个版本来处理并发操作；时间戳排序通过按照时间戳的顺序来执行事务。不同的算法适用于不同的场景，开发人员需要根据具体需求选择合适的算法来处理并发操作。
进一步改进地，所述分布式架构模块用于管理分布式系统的整体架构和通信，包括有数据分布复制模块、节点管理模块、消息传递模块和故障处理模块；
所述分布式架构模块用于将数据分布到不同的节点，并处理数据的复制和同步，可以提高系统的可用性和性能；
所述分布式架构模块用于管理分布式系统中的节点，处理节点的加入和退出，确保节点之间的通信正常；
所述分布式架构模块用于节点之间的消息传递，提供可靠的消息传递机制，以确保消息的可靠性和顺序性；
所述分布式架构模块用于处理节点故障和网络分区问题，使用故障检测和恢复机制来保证系统的可靠性。
综上所述，一致性并发控制模块和分布式架构模块在分布式系统中起着不可或缺的作用，前者负责确保数据一致性和并发操作的正确执行，而后者负责管理分布式系统的整体架构和通信。
进一步改进地，所述锁定技术的具体步骤包括如下：
在元数据操作模块中，对于需要修改元数据的操作，首先获取一个锁定，确保在并发操作期间只有一个线程可以修改该元数据；
当一个线程获取到锁定后，其他线程将被阻塞，直到该线程完成对元数据的修改并释放锁定；
锁定可以是粒度为文件或目录的，确保对特定元数据的修改是原子，避免冲突和数据不一致。
进一步改进地，所述版本控制技术的具体步骤包括如下：
在元数据操作模块中，对于每次修改元数据的操作，都创建新的版本，并将该版本与之前的版本进行关联；
每个版本都包含元数据的完整副本，用于在需要时可以回滚到先前的版本；
版本控制技术可以确保在并发操作期间，每个线程都可以看到最新的元数据版本，并且可以避免冲突和数据不一致。
进一步改进地，所述事务管理技术的具体步骤包括如下：
在元数据操作模块中，对于一系列需要原子执行的元数据操作，将其组合成一个事务；
事务管理技术确保在并发操作期间，所有操作全部执行成功，否则全部回滚，用于保持数据的一致性；
如果在事务执行过程中发生错误或冲突，可回滚事务并恢复到事务开始之前的状态。
进一步改进地，所述元数据操作包括文件和目录的创建、修改和删除；
文件和目录的创建：元数据操作模块允许用户在分布式文件系统中创建新文件和目录，操作涉及指定文件和目录名称、位置以及与关联的任何其他属性；
文件和目录的修改：用户可以修改分布式文件系统中现有文件和目录的元数据，包括更改文件和目录大小、权限、时间戳和其他相关信息属性；
文件和目录的删除：元数据操作模块使用户能够从分布式文件系统中删除文件和目录，操作涉及删除与文件与目录关联的元数据并释放文件占用的存储空间，并以递归方式删除目录中的所有文件和子目录。
一种分布式文件系统元数据管理的操作方法，方法步骤包括如下：
S1、设计分布式架构：将元数据分布在多个服务器上，以实现可用性和负载均衡，使用分布式架构模块管理系统的整体架构和通信，包括数据分布复制模块、节点管理模块、消息传递模块和故障处理模块；
S2，实现键值存储机制：使用键值存储模块实现高效的元数据存储和访问，键值存储模块提供快速和直接访问特定元数据元素的能力，确保最佳性能和可扩展性；
S3，实现一致性并发控制机制：使用一致性并发控制模块确保在并发操作期间维护元数据的一致性，采用锁定、版本控制和事务管理技术处理并发操作之间的冲突，确保数据完整性，一致性并发控制模块可以使用锁机制、多版本并发控制（MVCC）和时间戳排序算法来处理并发操作；
S4，支持元数据操作：实现元数据操作模块，支持文件和目录的创建、修改和删除操作，记录每个元数据操作，实现高效的跟踪和恢复，在故障或不一致情况下保证数据的完整性；
S5，实现分布式元数据管理：接收来自客户端的元数据访问请求；从集群管理单元获取多个计算机节点的注册信息，并按照预定的规则显示注册信息；对元数据访问请求进行解析，并访问与解析结果相关联且为在线状态的计算机节点；从关联的在线计算机节点获取与元数据访问请求对应的元数据信息；将元数据信息格式转换为元数据，并将元数据返回给客户端。通过使用FTTP文件协议来处理元数据访问请求，从而实现了分布式文件系统的元数据管理。
具体改进地，将元数据信息格式转换为元数据的过程通过以下步骤实现：
元数据信息解析：首先，从关联的在线计算机节点获取与元数据访问请求对应的元数据信息，元数据信息以特定的格式进行编码或存储，包括JSON、XML或其他自定义格式，对获取的元数据信息进行解析，将其还原为数据结构或对象形式，以便后续处理；
创建元数据对象：根据解析得到的元数据信息，创建对应的元数据对象，元数据对象是一个包含文件或目录属性的数据结构，其中包括文件名、大小、创建时间、修改时间属性信息，对于目录，包含子文件或子目录的引用或列表；
关联元数据对象：将创建的元数据对象与对应的文件或目录进行关联，通过标识符、路径或其他唯一标识符来实现，确保元数据对象与实际文件系统中的文件或目录相对应，以便后续的元数据操作和访问；
返回元数据：将创建和关联的元数据对象返回给客户端，以满足元数据访问请求，将元数据对象转化为特定的格式（如JSON或XML）进行传输，使得客户端可以方便地解析和使用元数据信息。
综述，该系统解决了在分布式文件系统中管理元数据的挑战，同时确保元数据操作期间的一致性；键值存储模型支持元数据存储的高效扩展，适应大规模分布式文件系统，该系统可以处理大量元数据操作，而不会影响性能；并发控制机制可确保一致的元数据访问和修改，系统保证元数据在并发操作期间保持一致和连贯；键值存储方法允许快速直接访问特定元数据元素，从而提高整体系统性能，该系统的分布式架构可确保高效的负载平衡和容错；通过利用键值存储和高级并发控制机制，该系统提供了增强的可扩展性、改进的一致性和高效的元数据管理，代表了分布式文件系统领域的重大进步。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种分布式文件系统元数据管理系统，包括键值存储模块、一致性并发控制模块、分布式架构模块和元数据操作模块，其特征在于：
所述键值存储模块实现键值存储机制，用于存储和访问元数据的键值对；
所述一致性并发控制模块实现并发控制机制，用于确保在并发操作期间维护元数据的一致性，采用锁定技术、版本控制技术和事务管理技术，防止冲突并确保数据完整性；
所述分布式架构模块用于设计和实现分布式架构，元数据被分布在多个服务器上，用于实现可用性和有效的负载均衡；
所述元数据操作模块用于支持各种元数据操作，包括文件和目录的创建、修改和删除；
所述键值存储模块与一致性并发控制模块之间相互关联，所述一致性并发控制模块与分布式架构模块之间相互关联，所述分布式架构模块与元数据操作模块之间相互关联，所述元数据操作模块与键值存储模块之间相互关联。
2.根据权利要求1所述的一种分布式文件系统元数据管理系统，其特征在于：一致性并发控制模块用于确保分布式系统中的数据一致性和并发操作的正确执行，规定操作之间的顺序和并发执行的规则，其具体包括有事务管理执行模块、密钥锁管理模块和并发控制算法模块；
一致性并发控制模块用于管理事务的执行，确保事务按照一致性模型的规则进行提交或回滚，并处理并发操作之间的冲突；
一致性并发控制模块用于管理锁的获取和释放，确保在并发操作中对共享资源的访问互斥；
一致性并发控制模块使用多种算法来处理并发操作。
3.根据权利要求2所述的一种分布式文件系统元数据管理系统，其特征在于：并发控制算法模块包括锁机制、多版本并发控制和时间戳排序；
锁机制为消极并发控制方法，通过在访问共享资源之前获取锁，保证同一时间只有一个线程访问该资源；当一个线程获取到锁后，其他线程需要等待锁的释放才能继续执行，避免并发冲突；锁机制包括悲观锁和乐观锁，悲观锁在访问资源时会加锁，而乐观锁则假设并发冲突不会发生，只在更新时检查是否有冲突；
多版本并发控制为积极并发控制方法，通过在每个数据项上保存多个版本来处理并发操作；每个版本都有一个时间戳，用于标识其创建时间，当一个事务读取数据时，只能看到在该事务开始之前已经提交的版本；当一个事务更新数据时，会创建一个新的版本，并将其时间戳设置为当前时间，其他事务仍然读取旧版本的数据；
时间戳排序为基于时间戳的并发控制方法，通过为每个事务分配一个唯一的时间戳，并按照时间戳的顺序来执行事务；当一个事务提交时，时间戳会被记录下来，在执行事务时，系统会根据时间戳的顺序来决定事务的执行顺序。
4.根据权利要求1所述的一种分布式文件系统元数据管理系统，其特征在于：分布式架构模块用于管理分布式系统的整体架构和通信，包括有数据分布复制模块、节点管理模块、消息传递模块和故障处理模块；
分布式架构模块用于将数据分布到不同的节点，并处理数据的复制和同步；
分布式架构模块用于管理分布式系统中的节点，处理节点的加入和退出；
分布式架构模块用于节点之间的消息传递，提供可靠的消息传递机制；
分布式架构模块用于处理节点故障和网络分区问题，使用故障检测和恢复机制来保证系统的可靠性。
5.根据权利要求1的一种分布式文件系统元数据管理系统，其特征在于：锁定技术的具体步骤包括如下：
在元数据操作模块中，对于需要修改元数据的操作，首先获取一个锁定，确保在并发操作期间只有一个线程修改该元数据；
当一个线程获取到锁定后，其他线程将被阻塞，直到该线程完成对元数据的修改并释放锁定；
锁定是粒度为文件或目录的，确保对特定元数据的修改是原子。
6.根据权利要求5的一种分布式文件系统元数据管理系统，其特征在于：版本控制技术的具体步骤包括如下：
在元数据操作模块中，对于每次修改元数据的操作，都创建新的版本，并将该版本与之前的版本进行关联；
每个版本都包含元数据的完整副本，用于在需要时回滚到先前的版本。
7.根据权利要求6的一种分布式文件系统元数据管理系统，其特征在于：事务管理技术的具体步骤包括如下：
在元数据操作模块中，对于一系列需要原子执行的元数据操作，将其组合成一个事务；
事务管理技术确保在并发操作期间，所有操作全部执行成功，否则全部回滚，用于保持数据的一致性；
如果在事务执行过程中发生错误或冲突，回滚事务并恢复到事务开始之前的状态。
8.根据权利要求1的一种分布式文件系统元数据管理系统，其特征在于：元数据操作包括文件和目录的创建、修改和删除；
文件和目录的创建：元数据操作模块允许用户在分布式文件系统中创建新文件和目录，操作涉及指定文件和目录名称、位置以及与关联的任何其他属性；
文件和目录的修改：用户修改分布式文件系统中现有文件和目录的元数据，包括更改文件和目录大小、权限、时间戳和其他相关信息属性；
文件和目录的删除：元数据操作模块使用户能够从分布式文件系统中删除文件和目录，操作涉及删除与文件与目录关联的元数据并释放文件占用的存储空间，并以递归方式删除目录中的所有文件和子目录。
9.一种分布式文件系统元数据管理的操作方法，其特征在于，方法步骤包括如下：
S1、设计分布式架构：将元数据分布在多个服务器上，使用分布式架构模块管理系统的整体架构和通信，包括数据分布复制模块、节点管理模块、消息传递模块和故障处理模块；
S2，实现键值存储机制：使用键值存储模块实现元数据存储和访问，键值存储模块提供快速和直接访问特定元数据元素的能力；
S3，实现一致性并发控制机制：使用一致性并发控制模块确保在并发操作期间维护元数据的一致性，采用锁定、版本控制和事务管理技术处理并发操作之间的冲突，一致性并发控制模块使用锁机制、多版本并发控制和时间戳排序算法来处理并发操作；
S4，支持元数据操作：实现元数据操作模块，支持文件和目录的创建、修改和删除操作，记录每个元数据操作，实现跟踪和恢复，在故障或不一致情况下保证数据的完整性；
S5，实现分布式元数据管理：接收来自客户端的元数据访问请求；从集群管理单元获取多个计算机节点的注册信息，并按照预定的规则显示注册信息；对元数据访问请求进行解析，并访问与解析结果相关联且为在线状态的计算机节点；从关联的在线计算机节点获取与元数据访问请求对应的元数据信息；将元数据信息格式转换为元数据，并将元数据返回给客户端。
10.根据权利要求9的一种分布式文件系统元数据管理的操作方法，其特征在于：将元数据信息格式转换为元数据的过程通过以下步骤实现：
元数据信息解析：首先，从关联的在线计算机节点获取与元数据访问请求对应的元数据信息，元数据信息以特定的格式进行编码或存储，包括JSON、XML或其他自定义格式，对获取的元数据信息进行解析，将其还原为数据结构或对象形式，以便后续处理；
创建元数据对象：根据解析得到的元数据信息，创建对应的元数据对象；
关联元数据对象：将创建的元数据对象与对应的文件或目录进行关联，通过标识符、路径或其他唯一标识符来实现；
返回元数据：将创建和关联的元数据对象返回给客户端，以满足元数据访问请求，将元数据对象转化为特定的格式进行传输，使得客户端解析和使用元数据信息。
CN202410029237.6A 2024-01-09 2024-01-09 一种分布式文件系统元数据管理系统及其操作方法 Active CN117539841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410029237.6A CN117539841B (zh) 2024-01-09 2024-01-09 一种分布式文件系统元数据管理系统及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410029237.6A CN117539841B (zh) 2024-01-09 2024-01-09 一种分布式文件系统元数据管理系统及其操作方法

Publications (2)

Publication Number Publication Date
CN117539841A true CN117539841A (zh) 2024-02-09
CN117539841B CN117539841B (zh) 2024-04-23

Family

ID=89786556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410029237.6A Active CN117539841B (zh) 2024-01-09 2024-01-09 一种分布式文件系统元数据管理系统及其操作方法

Country Status (1)

Country Link
CN (1) CN117539841B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060026219A1 (en) * 2004-07-29 2006-02-02 Orenstein Jack A Metadata Management for fixed content distributed data storage
CN101692239A (zh) * 2009-10-19 2010-04-07 浙江大学 一种分布式文件系统元数据分配方法
CN102110146A (zh) * 2011-02-16 2011-06-29 清华大学 基于键值key-value存储的分布式文件系统元数据管理方法
US9852146B1 (en) * 2015-03-20 2017-12-26 EMC IP Holding Company LLC Distributed metadata servers for cluster file systems using shared low latency persistent key-value metadata store
US20180276267A1 (en) * 2017-03-24 2018-09-27 Nexenta Systems, Inc. Methods and system for efficiently performing eventual and transactional edits on distributed metadata in an object storage system
US20180322156A1 (en) * 2017-05-08 2018-11-08 Sap Se Atomic processing of compound database transactions that modify a metadata entity
CN111258957A (zh) * 2020-01-10 2020-06-09 北京百度网讯科技有限公司 分布式文件系统目录更新方法、装置、设备和介质
CN116467277A (zh) * 2023-03-17 2023-07-21 清华大学 元数据处理方法、装置、设备、存储介质及产品

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060026219A1 (en) * 2004-07-29 2006-02-02 Orenstein Jack A Metadata Management for fixed content distributed data storage
CN101692239A (zh) * 2009-10-19 2010-04-07 浙江大学 一种分布式文件系统元数据分配方法
CN102110146A (zh) * 2011-02-16 2011-06-29 清华大学 基于键值key-value存储的分布式文件系统元数据管理方法
US9852146B1 (en) * 2015-03-20 2017-12-26 EMC IP Holding Company LLC Distributed metadata servers for cluster file systems using shared low latency persistent key-value metadata store
US20180276267A1 (en) * 2017-03-24 2018-09-27 Nexenta Systems, Inc. Methods and system for efficiently performing eventual and transactional edits on distributed metadata in an object storage system
US20180322156A1 (en) * 2017-05-08 2018-11-08 Sap Se Atomic processing of compound database transactions that modify a metadata entity
CN111258957A (zh) * 2020-01-10 2020-06-09 北京百度网讯科技有限公司 分布式文件系统目录更新方法、装置、设备和介质
CN116467277A (zh) * 2023-03-17 2023-07-21 清华大学 元数据处理方法、装置、设备、存储介质及产品

Also Published As

Publication number Publication date
CN117539841B (zh) 2024-04-23

Similar Documents

Publication Publication Date Title
CN110196760B (zh) 分布式事务一致性实现方法及装置
Bichsel et al. A simple algorithm for shape from shading
US7240114B2 (en) Namespace management in a distributed file system
US8504523B2 (en) Database management system
Loesing et al. On the design and scalability of distributed shared-data databases
US8266122B1 (en) System and method for versioning data in a distributed data store
US8458181B2 (en) Distributed free block map for a clustered redirect-on-write file system
WO2019231689A1 (en) Multi-protocol cloud storage for big data and analytics
US20190370360A1 (en) Cloud storage distributed file system
US9218405B2 (en) Batch processing and data synchronization in cloud-based systems
EP2485150A1 (en) Meta-information sharing distributed database system in virtual single memory storage
CN108509462B (zh) 一种同步活动事务表的方法及装置
US11599514B1 (en) Transactional version sets
Sowell et al. Minuet: A scalable distributed multiversion B-tree
KR101296778B1 (ko) ＮｏＳＱＬ 데이터베이스를 위한 결과적 트랜잭션 처리 방법
CN107832159A (zh) 管理分布式锁的方法和计算机可读存储介质
US11003550B2 (en) Methods and systems of operating a database management system DBMS in a strong consistency mode
Waqas et al. Transaction management techniques and practices in current cloud computing environments: A survey
WO2022242372A1 (zh) 对象处理方法、装置、计算机设备和存储介质
Kaur et al. Concurrency control in distributed database system
Matri et al. Týr: blob storage meets built-in transactions
US11709809B1 (en) Tree-based approach for transactionally consistent version sets
Sinnamohideen et al. A {Transparently-Scalable} Metadata Service for the Ursa Minor Storage System
US10162841B1 (en) Data management platform
Yang From Google file system to omega: a decade of advancement in big data management at Google

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant