CN114490527A - 元数据检索方法、系统、终端及存储介质 - Google Patents

Abstract

本发明涉及分布式存储技术领域，具体提供一种元数据检索方法、系统、终端及存储介质，包括：获取所有元数据的元数据信息，并将所有元数据信息保存至预先创建的内存数据结构；响应于元数据检索请求，元数据服务管理进程通过创建异步线程从所述内存数据结构检索目标元数据信息；根据所述目标元数据信息从元数据服务管理进程或元数据服务进程的缓存数据中查找目标元数据。本发明能够在满足在百亿级文件量的分布式存储系统快速查找满足条件的元数据；实现了更丰富的分类条件查找；显著降低了文件分类检索对整个分布式文件系统资源的开销。

Description

元数据检索方法、系统、终端及存储介质

技术领域

本发明涉及分布式存储技术领域，具体涉及一种元数据检索方法、系统、 终端及存储介质。

背景技术

在目前的分布式文件系统中，如果不知道更多的文件信息，而想要根据一 个文件或目录的名字获取一个文件所在的具体位置和其他信息，就需要从系统 全局对该文件进行检索；而如果希望根据文件或目录大小等除文件名外的其他 元数据信息来进行元数据分类检索，在当前情况下则无法直接进行检索。且当 前从分布式文件中进行文件检索需要占据MDS大锁，在文件检索过程中，该MDS 所有的其他请求都要排队等待该锁释放才可继续处理，如果当前分布式文件系 统文件量已达百亿级，那么从全局检索一个文件付出的代价是不可接受的。

发明内容

针对现有技术的上述不足，本发明提供一种元数据检索方法、系统、终端 及存储介质，以解决上述技术问题。

第一方面，本发明提供一种元数据检索方法，包括：

获取所有元数据的元数据信息，并将所有元数据信息保存至预先创建的内 存数据结构；

响应于元数据检索请求，元数据服务管理进程通过创建异步线程从所述内 存数据结构检索目标元数据信息；

根据所述目标元数据信息从元数据服务管理进程或元数据服务进程的缓存 数据中查找目标元数据。

进一步的，获取所有元数据的元数据信息，并将所有元数据信息保存至预 先创建的内存数据结构，包括：

创建内存数据结构并将所述内存数据结构绑定第三方数据库；

创建元数据监控进程，如果监控到元数据更新则将更新元数据信息，并将 更新的元数据信息同步至所述内存数据结构，所述元数据信息用于记录元数据 的节点、文件路径、文件大小、修改时间；

所述内存数据结构将更新的元数据信息同步备份至第三方数据库。

进一步的，响应于元数据检索请求，利用元数据服务管理进程从所述内存 数据结构检索目标元数据信息，包括：

将各元数据服务进程接收的元数据检索请求转发至元数据服务管理进程；

所述元数据服务管理进程创建异步线程，所述异步线程从元数据检索请求 提取检索关键词，并根据检索关键词从所述第三方数据库中查询匹配的目标元 数据信息。

进一步的，根据所述目标元数据信息从元数据服务管理进程或元数据服务 进程的缓存数据中查找目标元数据，包括：

根据所述目标元数据信息从元数据服务管理进程的缓存数据中查找关联元 数据；

判断所述目标元数据信息与管理元数据是否完全对应：

若否，则遍历各元数据服务进程的缓存数据直至查找到的元数据与目标元 数据信息完全对应，并将查找到的所有元数据汇总返回至上层应用。

第二方面，本发明提供一种元数据检索系统，包括：

信息存储单元，用于获取所有元数据的元数据信息，并将所有元数据信息 保存至预先创建的内存数据结构；

信息检索单元，用于响应于元数据检索请求，元数据服务管理进程通过创 建异步线程从所述内存数据结构检索目标元数据信息；

数据检索单元，用于根据所述目标元数据信息从元数据服务管理进程或元 数据服务进程的缓存数据中查找目标元数据。

进一步的，所述信息存储单元包括：

存储构建模块，用于创建内存数据结构并将所述内存数据结构绑定第三方 数据库；

数据更新模块，用于创建元数据监控进程，如果监控到元数据更新则将更 新元数据信息，并将更新的元数据信息同步至所述内存数据结构，所述元数据 信息用于记录元数据的节点、文件路径、文件大小、修改时间；

同步备份模块，用于所述内存数据结构将更新的元数据信息同步备份至第 三方数据库。

进一步的，所述信息检索单元包括：

请求转发模块，用于将各元数据服务进程接收的元数据检索请求转发至元 数据服务管理进程；

异步检索模块，用于所述元数据服务管理进程创建异步线程，所述异步线 程从元数据检索请求提取检索关键词，并根据检索关键词从所述第三方数据库 中查询匹配的目标元数据信息。

进一步的，所述数据检索单元包括：

第一检索模块，用于根据所述目标元数据信息从元数据服务管理进程的缓 存数据中查找关联元数据；

检索判断模块，用于判断所述目标元数据信息与管理元数据是否完全对应；

第二检索模块，用于若所述目标元数据信息与管理元数据没有完全对应， 则遍历各元数据服务进程的缓存数据直至查找到的元数据与目标元数据信息完 全对应，并将查找到的所有元数据汇总返回至上层应用。

第三方面，提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的 终端的方法。

第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储 有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明的有益效果在于，本发明提供的元数据检索方法、系统、终端及存 储介质，通过构建一个能够存储所有元数据的信息的内存数据结构，将元数据 信息作为元数据检索依据，能够实现基于元数据服务管理进程的元数据的异步 快速。本发明能够在满足在百亿级文件量的分布式存储系统快速查找满足条件 的元数据；实现了更丰富的分类条件查找；显著降低了文件分类检索对整个分 布式文件系统资源的开销。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领 域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的方法的另一示意性流程图。

图3是本发明一个实施例的系统的示意性框图。

图4为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本 发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基 于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都应当属于本发明保护的范围。

下面对本发明中出现的关键术语进行解释。

MDS.Metadata Server,分布式文件系统中的元数据服务的简称。

OSD.Object Storage Device,负责响应客户端请求返回具体数据的进程。 一个分布式存储集群一般都有很多个OSD。

元数据。记录一个文件或者目录的属性的数据，是一个描述数据的数据。

MDS大锁。MDS的一种数据保护机制，当一个请求占据了该锁，其他请求需 要排队等待该请求释放MDS大锁后再进行处理。

检索数据。记录文件元数据中的文件具体路径、文件大小、修改时间等的 数据，是文件元数据中与检索相关的部分数据，是元数据中的一部分。

热度。一种对元数据被访问的频率的评估值，热度越高，说明在一段时间 内该元数据被访问的可能性越高。

图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可 以为一种元数据检索系统。

如图1所示，该方法包括：

步骤110，获取所有元数据的元数据信息，并将所有元数据信息保存至预 先创建的内存数据结构；

步骤120，响应于元数据检索请求，元数据服务管理进程通过创建异步线 程从所述内存数据结构检索目标元数据信息；

步骤130，根据所述目标元数据信息从元数据服务管理进程或元数据服务 进程的缓存数据中查找目标元数据。

为了便于对本发明的理解，下面以本发明元数据检索方法的原理，结合实 施例中对元数据进行检索的过程，对本发明提供的元数据检索方法做进一步的 描述。

具体的，请参考图2，所述元数据检索方法包括：

S1、获取所有元数据的元数据信息，并将所有元数据信息保存至预先创建 的内存数据结构。

创建内存数据结构并将所述内存数据结构绑定第三方数据库；创建元数据 监控进程，如果监控到元数据更新则将更新元数据信息，并将更新的元数据信 息同步至所述内存数据结构，所述元数据信息用于记录元数据的节点、文件路 径、文件大小、修改时间；所述内存数据结构将更新的元数据信息同步备份至 第三方数据库。

具体的，创建一个新的内存数据结构search_inode，用以记录元数据inode、 文件路径、文件大小，修改时间等元数据信息，以达到降低空间占用的同时保 证检索速率不受影响的目的。MDS中的元数据发生变化时，需要同步到 search_inode管理模块中，由search_inode管理模块完成对元数据对应的 search_inode数据的更新。引入第三方数据库，记录整个分布式文件系统中所 有元数据对应的search_inode数据，从而保证从底层磁盘加载search_inode 数据时不对MDS的其他处理线程造成影响。当一个文件的元数据发生变化时， 需要同步到search_inode管理模块中，如果该文件热度不够，由search_inode 管理模块更新至第三方数据库中；其中search_inode管理模块的所有操作都是 异步进行。

S2、响应于元数据检索请求，元数据服务管理进程通过创建异步线程从所 述内存数据结构检索目标元数据信息。

将各元数据服务进程接收的元数据检索请求转发至元数据服务管理进程； 元数据服务管理进程创建异步线程，所述异步线程从元数据检索请求提取检索 关键词，并根据检索关键词从所述第三方数据库中查询匹配的目标元数据信息。

具体的，只在单独管理功能的MDS进程中(一个分布式文件系统中只有一 个具有管理功能的MDS进程，有多个普通MDS进程)管理search_inode，其他 MDS如果接收到元数据检索请求，转发至管理MDS进行处理；在MDS进程中创 建异步线程来执行对元数据检索请求的处理和管理，在整个过程中不占据MDS 大锁，不影响MDS对请他请求的处理。MDS的search_inode数据的管理由于没 有MDS大锁的保护，因此search_inode不是绝对的实时数据；当收到元数据 检索请求后，首先需要在元数据服务管理进程(管理MDS)内存中的search_inode异步处理模块进行请求处理，由该模块以异步方式从底层第三方 数据库中查找符合条件的所有search_inode数据。

S3、根据所述目标元数据信息从元数据服务管理进程或元数据服务进程的 缓存数据中查找目标元数据。

根据所述目标元数据信息从元数据服务管理进程的缓存数据中查找关联元 数据；判断所述目标元数据信息与管理元数据是否完全对应：若否，则遍历各 元数据服务进程的缓存数据直至查找到的元数据与目标元数据信息完全对应， 并将查找到的所有元数据汇总返回至上层应用。

具体的，检索到的search_inode数据可能有多条(同名文件，或者满足同 一个检索条件比如大于某个文件大小等，即一次元数据检索，检索到的符合条 件的元数据可能是多条)；根据search_inode中的数据，去管理MDS的元数据 缓存中依次查找所有对应的元数据，如果找不到则封装成一个请求去其他MDS 查找(查找一个具体的元数据，不需要加载全局元数据，开销较小)；检索成 功后由search_inode管理模块汇总查找到的实时元数据，统一返回给上层应用

如图3所示，该系统300包括：

信息存储单元310，用于获取所有元数据的元数据信息，并将所有元数据 信息保存至预先创建的内存数据结构；

信息检索单元320，用于响应于元数据检索请求，元数据服务管理进程通 过创建异步线程从所述内存数据结构检索目标元数据信息；

数据检索单元330，用于根据所述目标元数据信息从元数据服务管理进程 或元数据服务进程的缓存数据中查找目标元数据。

可选地，作为本发明一个实施例，所述信息存储单元包括：

存储构建模块，用于创建内存数据结构并将所述内存数据结构绑定第三方 数据库；

数据更新模块，用于创建元数据监控进程，如果监控到元数据更新则将更 新元数据信息，并将更新的元数据信息同步至所述内存数据结构，所述元数据 信息用于记录元数据的节点、文件路径、文件大小、修改时间；

同步备份模块，用于所述内存数据结构将更新的元数据信息同步备份至第 三方数据库。

可选地，作为本发明一个实施例，所述信息检索单元包括：

请求转发模块，用于将各元数据服务进程接收的元数据检索请求转发至元 数据服务管理进程；

异步检索模块，用于所述元数据服务管理进程创建异步线程，所述异步线 程从元数据检索请求提取检索关键词，并根据检索关键词从所述第三方数据库 中查询匹配的目标元数据信息。

可选地，作为本发明一个实施例，所述数据检索单元包括：

第一检索模块，用于根据所述目标元数据信息从元数据服务管理进程的缓 存数据中查找关联元数据；

检索判断模块，用于判断所述目标元数据信息与管理元数据是否完全对应；

第二检索模块，用于若所述目标元数据信息与管理元数据没有完全对应， 则遍历各元数据服务进程的缓存数据直至查找到的元数据与目标元数据信息完 全对应，并将查找到的所有元数据汇总返回至上层应用。

图4为本发明实施例提供的一种终端400的结构示意图，该终端400可 以用于执行本发明实施例提供的元数据检索方法。

其中，该终端400可以包括：处理器410、存储器420及通信单元430。这 些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的 服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星 型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同 的部件布置。

其中，该存储器420可以用于存储处理器410的执行指令，存储器420可 以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机 存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程 只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁 存储器，快闪存储器，磁盘或光盘。当存储器420中的执行指令由处理器410 执行时，使得终端400能够执行以下上述方法实施例中的部分或全部步骤。

处理器410为存储终端的控制中心，利用各种接口和线路连接整个电子终 端的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以 及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所 述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由 单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组 成。举例来说，处理器410可以仅包括中央处理器(Central Processing Unit， 简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算 核心。

通信单元430，用于建立通信信道，从而使所述存储终端可以与其它终端 进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程 序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的 存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称： ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

因此，本发明通过构建一个能够存储所有元数据的信息的内存数据结构， 将元数据信息作为元数据检索依据，能够实现基于元数据服务管理进程的元数 据的异步快速。本发明能够在满足在百亿级文件量的分布式存储系统快速查找 满足条件的元数据；实现了更丰富的分类条件查找；显著降低了文件分类检索 对整个分布式文件系统资源的开销，本实施例所能达到的技术效果可以参见上 文中的描述，此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加 必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术 方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM， Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟 或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机 终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明 各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终 端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之 处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可 以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例 如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划 分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特 征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合 或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是 电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元 中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但 本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术 人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都 应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技 术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此， 本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种元数据检索方法，其特征在于，包括：

获取所有元数据的元数据信息，并将所有元数据信息保存至预先创建的内存数据结构；

响应于元数据检索请求，元数据服务管理进程通过创建异步线程从所述内存数据结构检索目标元数据信息；

根据所述目标元数据信息从元数据服务管理进程或元数据服务进程的缓存数据中查找目标元数据。

2.根据权利要求1所述的方法，其特征在于，获取所有元数据的元数据信息，并将所有元数据信息保存至预先创建的内存数据结构，包括：

创建内存数据结构并将所述内存数据结构绑定第三方数据库；

创建元数据监控进程，如果监控到元数据更新则将更新元数据信息，并将更新的元数据信息同步至所述内存数据结构，所述元数据信息用于记录元数据的节点、文件路径、文件大小、修改时间；

所述内存数据结构将更新的元数据信息同步备份至第三方数据库。

3.根据权利要求2所述的方法，其特征在于，响应于元数据检索请求，利用元数据服务管理进程从所述内存数据结构检索目标元数据信息，包括：

将各元数据服务进程接收的元数据检索请求转发至元数据服务管理进程；

所述元数据服务管理进程创建异步线程，所述异步线程从元数据检索请求提取检索关键词，并根据检索关键词从所述第三方数据库中查询匹配的目标元数据信息。

4.根据权利要求1所述的方法，其特征在于，根据所述目标元数据信息从元数据服务管理进程或元数据服务进程的缓存数据中查找目标元数据，包括：

根据所述目标元数据信息从元数据服务管理进程的缓存数据中查找关联元数据；

判断所述目标元数据信息与管理元数据是否完全对应：

若否，则遍历各元数据服务进程的缓存数据直至查找到的元数据与目标元数据信息完全对应，并将查找到的所有元数据汇总返回至上层应用。

5.一种元数据检索系统，其特征在于，包括：

信息存储单元，用于获取所有元数据的元数据信息，并将所有元数据信息保存至预先创建的内存数据结构；

信息检索单元，用于响应于元数据检索请求，元数据服务管理进程通过创建异步线程从所述内存数据结构检索目标元数据信息；

数据检索单元，用于根据所述目标元数据信息从元数据服务管理进程或元数据服务进程的缓存数据中查找目标元数据。

6.根据权利要求5所述的系统，其特征在于，所述信息存储单元包括：

存储构建模块，用于创建内存数据结构并将所述内存数据结构绑定第三方数据库；

数据更新模块，用于创建元数据监控进程，如果监控到元数据更新则将更新元数据信息，并将更新的元数据信息同步至所述内存数据结构，所述元数据信息用于记录元数据的节点、文件路径、文件大小、修改时间；

同步备份模块，用于所述内存数据结构将更新的元数据信息同步备份至第三方数据库。

7.根据权利要求6所述的系统，其特征在于，所述信息检索单元包括：

请求转发模块，用于将各元数据服务进程接收的元数据检索请求转发至元数据服务管理进程；

异步检索模块，用于所述元数据服务管理进程创建异步线程，所述异步线程从元数据检索请求提取检索关键词，并根据检索关键词从所述第三方数据库中查询匹配的目标元数据信息。

8.根据权利要求5所述的系统，其特征在于，所述数据检索单元包括：

第一检索模块，用于根据所述目标元数据信息从元数据服务管理进程的缓存数据中查找关联元数据；

检索判断模块，用于判断所述目标元数据信息与管理元数据是否完全对应；

第二检索模块，用于若所述目标元数据信息与管理元数据没有完全对应，则遍历各元数据服务进程的缓存数据直至查找到的元数据与目标元数据信息完全对应，并将查找到的所有元数据汇总返回至上层应用。

9.一种终端，其特征在于，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-4任一项所述的方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。

Images