CN117687970A - 一种元数据检索方法、装置及电子设备和存储介质 - Google Patents
一种元数据检索方法、装置及电子设备和存储介质 Download PDFInfo
- Publication number
- CN117687970A CN117687970A CN202410146907.2A CN202410146907A CN117687970A CN 117687970 A CN117687970 A CN 117687970A CN 202410146907 A CN202410146907 A CN 202410146907A CN 117687970 A CN117687970 A CN 117687970A
- Authority
- CN
- China
- Prior art keywords
- metadata
- target
- index
- retrieval
- tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 175
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000005192 partition Methods 0.000 claims abstract description 20
- 239000012634 fragment Substances 0.000 claims description 59
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000005291 magnetic effect Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000000125 metastable de-excitation spectroscopy Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种元数据检索方法、装置及电子设备和存储介质，涉及计算机技术领域，应用于分布式存储系统中的元数据服务器，该方法包括：为元数据设置元数据标签，将元数据标签存储至索引数据库中；其中，元数据标签用于记录元数据的索引与存储元数据的数据块分区的对应关系；当接收到客户端对目标元数据的检索请求时，在索引数据库中检索目标元数据对应的目标元数据标签；基于目标元数据标签在元数据池中检索目标元数据，并基于检索结果响应客户端。本申请解决了需要外置元数据检索服务来满足元数据检索功能带来的数据一致性和扩展性问题，同时提高了元数据的检索效率。
Description
技术领域
本申请涉及计算机技术领域，更具体地说，涉及一种元数据检索方法、装置及电子设备和存储介质。
背景技术
分布式存储属于新型数据存储技术，能够将数据分散存储至多个存储服务器中的软件定义存储系统。在相关技术中，需要外置于分布式存储系统的元数据检索服务器以满足元数据检索需求，但是外置的元数据检索服务不是内置在分布式存储系统中，存在元数据扩展性和一致性问题。另外，相关技术中元数据检索的效率较低。
因此，如何避免外置元数据检索服务带来的数据一致性和扩展性问题、提高元数据检索效率是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种元数据检索方法、装置及电子设备和存储介质，解决了需要外置元数据检索服务来满足元数据检索功能带来的数据一致性和扩展性问题，同时提高了元数据的检索效率。
为实现上述目的，本申请提供了一种元数据检索方法，应用于分布式存储系统中的元数据服务器，所述方法包括：
为元数据设置元数据标签，将所述元数据标签存储至索引数据库中；其中，所述元数据标签用于记录所述元数据的索引与存储所述元数据的数据块分区的对应关系；
当接收到客户端对目标元数据的检索请求时，在索引数据库中检索所述目标元数据对应的目标元数据标签；
基于所述目标元数据标签在元数据池中检索目标元数据，并基于检索结果响应所述客户端。
其中，所述索引数据库包括多个索引分片，元数据池中的元数据对象存储守护进程用于将存储的元数据的元数据标签填充至对应的索引分片中。
其中，所述在索引数据库中检索所述目标元数据对应的目标元数据标签之后，还包括：
确定所述目标元数据标签所在的目标索引分片和所述目标索引分片对应的目标元数据对象存储守护进程。
其中，所述确定所述目标元数据标签所在的目标索引分片和所述目标索引分片对应的目标元数据对象存储守护进程，包括：
确定所述目标元数据标签所在的目标索引分片的时序标识，根据所述时序标识确定所述目标索引分片对应的目标元数据对象存储守护进程。
其中，所述基于所述目标元数据标签在元数据池中检索目标元数据，包括：
基于所述目标元数据标签在目标元数据对象存储守护进程中检索目标元数据。
其中，所述为元数据设置元数据标签，将所述元数据标签存储至索引数据库中，包括：
当接收到目标文件的读写请求时，执行所述读写请求对应的元数据操作，并为所述元数据操作对应的元数据设置元数据标签；
将所述元数据的元数据标签填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中。
其中，所述执行所述读写请求对应的元数据操作之前，还包括：
在元数据对象存储守护进程中为所述元数据操作请求存储空间，用于记录所述元数据操作的日志信息。
其中，所述在元数据对象存储守护进程中为所述元数据操作请求存储空间，用于记录所述元数据操作的日志信息，包括：
根据所述目标文件的文件名确定所述目标文件对应的多个元数据对象存储守护进程，在多个所述元数据对象存储守护进程中为所述元数据操作请求存储空间。
其中，所述执行所述读写请求对应的元数据操作，包括：
当主元数据服务器接收到元数据操作请求时，根据负载均衡将所述元数据操作请求转发至目标元数据服务器中，以便所述目标元数据服务器执行所述读写请求对应的元数据操作。
其中，将所述元数据的元数据标签填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中之后，数据服务器对所述目标文件进行条带划分，并为每个条带生成对象标识符，将每个所述条带作为一个对象存储至数据池中。
其中，所述数据服务器将每个所述条带作为一个对象存储至数据池中的主数据对象存储守护进程中，以便所述主数据对象存储守护进程根据冗余策略将所述对象存储至其他数据对象存储守护进程中。
其中，所述数据服务器将每个所述条带作为一个对象存储至数据池中之后，激活元数据检索服务，将所述目标文件的元数据填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中。
其中，还包括：
当接收到客户端对所述目标文件的元数据的检索请求时，在索引数据库中检索所述目标文件的元数据，并基于检索结果响应所述客户端。
其中，将所述目标文件的元数据填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中之后，还包括：
提取所述目标文件的预设扩展属性填充至所述元数据操作的元数据对象存储守护进程对应的索引分片。
其中，还包括：
当接收到客户端对所述目标文件的元数据的检索请求时，在索引数据库中检索所述目标文件的元数据和预设扩展属性，并基于检索结果响应所述客户端。
其中，所述基于所述目标元数据标签在元数据池中检索目标元数据之后，还包括：
将检索到的目标元数据填充至所述目标元数据标签所在的索引分片。
其中，所述当接收到客户端对目标元数据的检索请求时，在索引数据库中检索所述目标元数据对应的目标元数据标签，包括：
当接收到客户端对目标元数据的检索请求时，根据所述检索请求中的索引信息在索引数据库中的索引分片中并行检索所述目标元数据对应的目标元数据标签。
为实现上述目的，本申请提供了一种元数据检索装置，应用于分布式存储系统中的元数据服务器，所述装置包括：
设置模块，用于为元数据设置元数据标签，将所述元数据标签存储至索引数据库中；其中，所述元数据标签用于记录所述元数据的索引与存储所述元数据的数据块分区的对应关系；
第一检索模块，用于当接收到客户端对目标元数据的检索请求时，在索引数据库中检索所述目标元数据对应的目标元数据标签；
第二检索模块，用于基于所述目标元数据标签在元数据池中检索目标元数据，并基于检索结果响应所述客户端。
为实现上述目的，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述元数据检索方法的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述元数据检索方法的步骤。
通过以上方案可知，本申请提供的一种元数据检索方法，应用于分布式存储系统中的元数据服务器，所述方法包括：为元数据设置元数据标签，将所述元数据标签存储至索引数据库中；其中，所述元数据标签用于记录所述元数据的索引与存储所述元数据的数据块分区的对应关系；当接收到客户端对目标元数据的检索请求时，在索引数据库中检索所述目标元数据对应的目标元数据标签；基于所述目标元数据标签在元数据池中检索目标元数据，并基于检索结果响应所述客户端。
在本申请中，通过分布式存储系统中的元数据服务器提供内置的元数据检索服务，不会消耗对象存储守护进程资源，解决了相关技术中需要外置元数据检索服务来满足元数据检索功能带来的数据一致性和扩展性问题。另外，为元数据设置元数据标签，用于记录元数据的索引与存储元数据的数据块分区的对应关系，在进行元数据检索时，首先在索引数据库中检索元数据标签，根据元数据标签记录的对应关系确定存储目标元数据的数据块分区，直接在该数据块分区进行检索，而不需要检索整个元数据池，提高了元数据的检索效率。本申请还公开了一种元数据检索装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为根据一示例性实施例示出的一种分布式存储系统的结构图；
图2为根据一示例性实施例示出的一种元数据检索方法的流程图；
图3为根据一示例性实施例示出的另一种元数据检索方法的流程图；
图4为根据一示例性实施例示出的一种元数据操作流程图；
图5为根据一示例性实施例示出的一种数据操作流程图；
图6为根据一示例性实施例示出的一种元数据检索装置的结构图；
图7为根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，在本申请实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
分布式存储属于新型数据存储技术，能够将数据分散存储至多个存储服务器中的软件定义存储系统。分布式存储具有弹性扩展、高可用、系统自制管理、生产成本低等优势，已逐渐成为各大企业处理海量业务数据的重要设备。分布式存储系统支持对象，文件，块三大应用场景，其中，分布式文件系统是以目录层次结构进行存储数据，数据的呈现形式是目录和文件，按照目录结构树进行组织。文件系统中的数据分为两类，分别是元数据（metadata）和数据（data），元数据是描述文件数据属性的信息，包括访问权限、文件拥有者、以及文件数据块的存储分布信息等；数据为文件的实际存储数据；分布式存储系统对外提供文件系统服务，需要构建两个重要存储区，包括数据区，存放文件的数据；元数据区即inode table，存放inode元数据所包含的信息。
文件系统的元数据性能制约着存储IO整体性能，其中，元数据检索（META Search）技术是用户发起元数据查询请求后，同时在多个元数据检索服务引擎上搜索，并将结果返回给用户，元数据检索主要精力放在提高搜索速度、智能化处理搜索结果、个性搜索功能的设置和用户检索界面的友好性上，查全率和查准率都比较高。比较常见的元数据检索服务，比如ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力，充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch 数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。
随着海量业务数据的不断增加，要求分布式存储系统提供更高效的带宽和IOPS（Input/Output Operations Per Second，每秒输入输出操作次数），其中，文件系统中元数据的负载能力、性能和扩展性对分布式文件系统至关重要。当前AI（人工智能，ArtificialIntelligence）智能、科学计算、教科文等领域中需要大型的元数据检索功能，通常会在客户端服务器部署元数据检索服务器来加速元数据的访问效率，究其原因，这些领域的特点是数据量大，小文件居多，根据文件系统在存储系统的存储过程，小文件需要更多的元数据信息记录数据的索引，因此，在海量小文件进行检索时对分布式存储系统会造成巨大压力，影响文件系统存储IO（Input/Output，输入/输出）性能，重要的，外置的元数据检索服务由客户端进行维护，无法实现智能计算的可扩展性，不能满足当前不断增长的数据处理需求。
分布式文件存储系统针对元数据进行了负载均衡和高可用优化，分布式文件存储系统采用MDS（Meta Data Server，元数据服务器）负责管理文件系统元数据信息，客户端需要通过MDS进行元数据操作，在元数据中确定文件数据的存储位置，最后返回给客户端。分布式存储系统通常会设计多个MDS进程来保证元数据性能供客户端使用，并且针对不同文件系统负载压力的不同，会根据不同MDS的负载IO压力进行迁移实现负载均衡。
分布式存储系统使用多个MDS进程实现元数据的负载均衡和高可用，但是在动态负载均衡过程中，为了负载文件系统请求到多个MDS，分布式文件存储系统会根据每个MDS计算一个热点值，热点高的MDS缓存中的元数据目录项信息会往热点低的MDS迁移，缓存中的目录项在迁移的过程中是被锁定的，应用层的IO不能访问正在迁移的目录或文件，会导致部分IO访问中断，并且，现有技术中的MDS元数据服务并不集成、也不支持元数据检索功能，在一些AI智能、科学计算、教科文等领域中需要额外的元数据检索服务器进行管理，外置的元数据检索服务，不是内置在分布式存储系统中，存在元数据扩展性和一致性问题。
为了元数据检索能力，大多企业组织在分布式存储系统之外部署搭建元数据检索引擎服务，用来加速处理海量小文件数据集的搜索、分析和探索的能力。
元数据检索功能服务与分布式文件存储系统解耦的这种技术，这种外置元数据检索服务，会导致数据文件与外部元数据检索服务之间数据不一致；随着数据量的不断增长，外置元数据检索功能会出现性能瓶颈，有别于分布式存储系统的高扩展性，与分布式存储系统架构思想数据和元数据具有持续可扩展性相违背。客户端通过向外置的元数据检索数据库进行查询请求，得到检索计算结构后，再将数据从客户端元数据检索服务提交到分布式存储系统元数据服务器MDS进行处理，该过程增加了元数据读写路径，对存储IO性能也会造成影响。
为了解决分布式文件存储系统中元数据检索功能的不足和元数据查找性能的问题，相关技术中需要外置元数据检索服务来满足高效的元数据检索功能、智能化处理检索结果、高扩展、高实时的元数据检索服务带来的数据一致性和扩展性问题。因此，本申请提供了一种基于分布式文件存储系统的内置元数据检索方法，在具有灵活可扩展的分布式文件存储系统元数据服务MDS内部，提出了一种元数据检索功能架构包括元数据检索和数据库模块，设计一种元数据标签，用于对元数据请求进行预处理、排序、无锁化动态负载均衡，为元数据标签设计了一种分布式元数据检索引擎数据库。
为了理解本申请提供的元数据检索方法，首先对其应用的分布式存储系统进行介绍，如图1所示，分布式存储系统由三个主要组件组成，OSD（Object Storage Daemon、对象存储守护进程）、Mon（Monitor，监控器）和MDS，OSD用于集群中所有数据与对象的存储。处理集群数据的复制、恢复、回填、再均衡。并向其他OSD发送心跳，然后向Mon提供一些监控信息。MDS提供元数据计算、缓存与同步。MDS类似于元数据的代理缓存服务器。MON用于监控分布式存储集群的状态，维护集群的MAP二进制表，保证集群数据的一致性，MAP描述了对象存储的物理位置，以及一个将设备聚合到物理位置的列表。
本申请提供了数据与元数据的存储布局方法，采用基于哈希（Hash）算法将文件系统数据块和元数据以均衡的方式存储在分布式文件系统集群中，分布式文件系统存储部署了用于存储文件系统数据块的数据池和用于存储元数据的元数据池，数据池和元数据池，采用副本或纠删算法进行数据和元数据的冗余存储形式，数据池和元数据池，由多个分布式存储服务器节点组成，每个节点的硬件配置参数保持一致，本申请公开的内置元数据检索方法在每个节点的元数据服务中进行部署。
进一步的，本申请提供了元数据检索管理IO路径方法，分布式文件存储的客户端首先从分布式文件存储系统的元数据服务器MDS获取文件的存储布局信息，内置元数据检索方法从元数据池中获取元数据信息，元数据池和数据池，由多个OSD服务进程组成，为了提高元数据的请求IO效率，其对应的OSD服务进程部署在固态SSD存储介质用以加速IO访问。
本申请实施例公开了一种元数据检索方法，解决了需要外置元数据检索服务来满足元数据检索功能带来的数据一致性和扩展性问题，同时提高了元数据的检索效率。
参见图2，根据一示例性实施例示出的一种元数据检索方法的流程图，如图2所示，包括：
S101：为元数据设置元数据标签，将所述元数据标签存储至索引数据库中；其中，所述元数据标签用于记录所述元数据的索引与存储所述元数据的数据块分区的对应关系；
本实施例的执行主体为分布式存储系统中的元数据服务器，由元数据服务器提供内置的元数据检索服务。在本实施例中，为元数据设置元数据标签，用于记录所述元数据的索引与存储所述元数据的数据块分区的对应关系。在具体实施中，可以利用元数据标签对元数据请求进行预处理、排序、无锁化动态负载均衡，客户端元数据请求通过添加元数据标签将数据块分区的上下文进行组织管理，目的是为了高效进行元数据检索。在海量小文件数据集合场景下，通过元数据标签能够高效的对小文件的进行检索。
对元数据构建元数据标签后，对打标签的元数据进行预处理、排序、无锁化动态负载均衡，本发明在文件系统数据集进行操作，当客户端用户发送特定的文件查找时，例如指定大小、特殊文件名前缀、科学实验结果数据集，通过元数据标签组织的预处理结构根据检索条件进行检索并返回给客户端。对打标签的元数据进行预处理、排序、无锁化动态负载均衡能够高效检索数据集，避免对整个文件系统元数据进行查找造成的存储IO性能被查找。
进一步的，为元数据标签设计了一种索引数据库，具有强一致性和灵活的扩展性。在分布式存储系统中维护管理元数据检索的索引数据库具有高扩展性，有效地解决外置元数据检索引擎方法中的一致性问题。
作为一种可行的实施方式，所述索引数据库包括多个索引分片，元数据池中的元数据对象存储守护进程用于将存储的元数据的元数据标签填充至对应的索引分片中。
在具体实施中，索引数据库具有多个进程，分别部署在分布式存储系统的每个节点服务器上，每个节点服务器管理索引数据库中的一个索引分片，用于分布式元数据检索、查询处理。具体的，元数据索引分片存储在元数据池中的OSD进程设备上，元数据池中的每个OSD对元数据索引数据库分片进行管理，然后由相应的OSD存储的文件元数据填充该分片，将未添加内置元数据标签的元数据和添加了元数据标签的元数据记录共同存储。
元数据索引分片是指将元数据索引划分为多个分区，不同分片可以均衡负载，能够使大规模文件系统具有可扩展性，并且具有良好的故障恢复和持久性，在服务器发生故障时能够快速恢复。元数据索引分片的检索功能内置在MDS服务内部，而不是在存储节点服务器上，元数据索引数据库由多个元数据索引分片组成，分片由表结构和搜索索引组成，用于记录对元数据的检索。
可以理解的是，在分布式文件存储集群中，OSD服务进程或存储数据的存储设备数量要大于MDS元数据服务的个数，一般分布式文件集群系统的MDS的个数一般为6到12个，OSD的个数为60-120个，内置在MDS的元数据检索方法只占用MDS本身的系统内存资源，不会消耗OSD资源，与相关技术中的占用OSD所有系统资源相比减少对每个服务器资源的性能影响。另外，元数据检索功能可以在分布式文件存储系统的数据一致性算法融合来管理元数据索引分片，提高检索性能。
S102：当接收到客户端对目标元数据的检索请求时，在索引数据库中检索所述目标元数据对应的目标元数据标签；
在具体实施中，当元数据服务器接收到客户端的检索请求时，根据检索请求中的索引在在索引数据库中检索对应的目标元数据标签。作为一种可行的实施方式，所述当接收到客户端对目标元数据的检索请求时，在索引数据库中检索所述目标元数据对应的目标元数据标签，包括：当接收到客户端对目标元数据的检索请求时，根据所述检索请求中的索引信息在索引数据库中的索引分片中并行检索所述目标元数据对应的目标元数据标签。索引数据库可以并行查找多个元数据索引分片，并且每个索引分片的记录是均衡的，因此，相比于直接查找元数据，通过元数据索引分片具有更高的索引效率，有效地降低了元数据检索操作的整体开销。
作为一种可行的实施方式，所述在索引数据库中检索所述目标元数据对应的目标元数据标签之后，还包括：确定所述目标元数据标签所在的目标索引分片和所述目标索引分片对应的目标元数据对象存储守护进程。具体的，确定目标元数据标签所在的目标索引分片的时序标识，根据时序标识确定目标索引分片对应的目标元数据对象存储守护进程。在具体实施中，索引分片在索引数据库中根据时序标识进行管理，在客户端进行检索时，根据编号元数据服务器可以进行无锁化动态负载均衡。
S103：基于所述目标元数据标签在元数据池中检索目标元数据，并基于检索结果响应所述客户端。
在具体实施中，元数据服务器根据目标元数据标签在元数据池中检索目标元数据，并基于检索到的目标元数据相应客户端。作为一种可行的实施方式，所述基于所述目标元数据标签在元数据池中检索目标元数据，包括：基于所述目标元数据标签在目标元数据对象存储守护进程中检索目标元数据。
进一步的，所述基于所述目标元数据标签在元数据池中检索目标元数据之后，还包括：将检索到的目标元数据填充至所述目标元数据标签所在的索引分片。在具体实施中，检索到的目标元数据填充至索引分片中，方便下次检索目标元数据时直接在索引分片中检索，提高检索效率。元数据以key-value的形式在索引分片中进行存储，key为对文件名的哈希值，value是文件存储的映射属性信息，包括冗余规则，存储在哪些OSD等信息。元数据检索服务模块根据元数据索引表的数据进行整合，包括预处理、排序生成标签。
在本申请实施例中，通过分布式存储系统中的元数据服务器提供内置的元数据检索服务，不会消耗OSD资源，解决了相关技术中需要外置元数据检索服务来满足元数据检索功能带来的数据一致性和扩展性问题。另外，为元数据设置元数据标签，用于记录元数据的索引与存储元数据的数据块分区的对应关系，在进行元数据检索时，首先在索引数据库中检索元数据标签，根据元数据标签记录的对应关系确定存储目标元数据的数据块分区，直接在该数据块分区进行检索，而不需要检索整个元数据池，提高了元数据的检索效率。
本申请实施例公开了一种元数据检索方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
参见图3，根据一示例性实施例示出的另一种元数据检索方法的流程图，如图3所示，包括：
S201：当接收到目标文件的读写请求时，元数据服务器执行所述读写请求对应的元数据操作，并为所述元数据操作对应的元数据设置元数据标签；
在具体实施中，当分布式存储系统接收到目标文件的读写请求时，元数据服务器在元数据对象存储守护进程中为元数据操作请求存储空间，用于记录元数据操作的日志信息。元数据服务器需要记录元数据操作在元数据OSD固态盘上分配一段存储空间，描述IO请求操作事件，发生故障时通过记录的日志信息进行恢复。
作为一种可行的实施方式，元数据服务器根据目标文件的文件名确定目标文件对应的多个元数据对象存储守护进程，在多个元数据对象存储守护进程中为元数据操作请求存储空间。元数据服务器在元数据池中确定目标文件的inode编号，通过对文件名执行哈希分布式一致性算法存储在指定的OSD上，元数据服务器异步将日志数据刷写到OSD服务器进行持久化存储。
进一步的，元数据服务器执行元数据操作。作为一种可行的实施方式，所述执行所述读写请求对应的元数据操作，包括：当主元数据服务器接收到元数据操作请求时，根据负载均衡将所述元数据操作请求转发至目标元数据服务器中，以便所述目标元数据服务器执行所述读写请求对应的元数据操作。在具体实施中，MDS进程直接进行数据目录均衡负载，主MDS0负责迁移数据目录到其他MDS上达到目录均衡的过程。
S202：元数据服务器将所述元数据的元数据标签填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中。
在具体实施中，当客户端对数据进行查询检索请求时，触发元数据检索模块服务。具体来说，元数据检索模块从元数据索引数据库读取目标元数据的对象时序ID，并用文件系统元数据同步地填充元数据索引分片。在填充索引分片之后，更新元数据索引数据库，并向MDS服务器发送响应信息，MDS服务器会将元数据索引分片缓存在内存中，以备后续检索请求快速响应操作。
S203：数据服务器对所述目标文件进行条带划分，并为每个条带生成对象标识符，将每个所述条带作为一个对象存储至数据池中。
在具体实施中，分布式存储客户端根据文件处理程序和元数据信息请求将文件数据传递给底层的分布式存储系统映射存储一致性算法进行处理。分布式存储系统映射存储一致性算法将文件划分为固定单位条带默认为4MB，条带获取方法：stripe[]= filestriping(fn,data)。为每个条带生成一个对象标识符(object id)，方法为：oid[]=inode+stripe[]，该过程是将对象并行写入oid list（对象符标识列表）中。根据oid一致性映射到数据池，将数据写入到数据池中。
作为一种可行的实施方式，所述将每个所述条带作为一个对象存储至数据池中，包括：将每个所述条带作为一个对象存储至数据池中的主数据对象存储守护进程中，以便所述主数据对象存储守护进程根据冗余策略将所述对象存储至其他数据对象存储守护进程中。在具体实施中，数据会首先写入到主OSD，主OSD会根据数据存储池的冗余方式进行复制同步，例如可以采用三副本冗余方式。
S204：数据服务器激活元数据检索服务，将所述目标文件的元数据填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中。
在具体实施中，数据服务器激活元数据检索服务，填充元数据索引分片并更新元数据索引分片数据库。在处理数据之后，将写入成功响应给客户端。进一步的，当接收到客户端对目标文件的元数据的检索请求时，在索引数据库中检索目标文件的元数据，并基于检索结果响应客户端。
在上述实施例的基础上，作为一种优选实施方式，将所述目标文件的元数据填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中之后，还包括：提取所述目标文件的预设扩展属性填充至所述元数据操作的元数据对象存储守护进程对应的索引分片。
在具体实施中，对客户端预定义的预设扩展属性进行提取，并将其填充至索引分片中。当接收到客户端对目标文件的元数据的检索请求时，在索引数据库中检索目标文件的元数据和预设扩展属性，并基于检索结果响应客户端。
下面介绍本申请提供的一种应用实施例，元数据操作流程如图4所示，包括：
步骤1：分布式存储客户端发起IO请求操作，首先，客户端会向分布式元数据MDS服务集群的主MDS服务发送读写请求，请求信息包括文件名和要检索的数据索引信息。
步骤2：MDS服务器收到请求后，首先需要记录元数据操作在元数据OSD固态盘上分配一段存储空间，用于记录日志信息，描述IO请求操作事件，发送故障时通过记录的日志信息进行恢复。在元数据池中确定文件的inode编号，通过对文件名执行Hash分布式一致性算法存储在指定的OSD上。
步骤3：MDS服务器异步将日志信息刷写到OSD服务器进行持久化存储，MDS进程直接进行数据目录均衡负载，主MDS0负责迁移数据目录到其他MDS上达到目录均衡得过程。
步骤4：在元数据MDS服务上，设计了元数据检索服务模块，提取元数据IO操作到索引分片表，元数据对象以key-value的形式进行存储，key为对文件名的Hash值，value是文件存储的映射属性信息，包括冗余规则，存储在哪些osd等信息。元数据检索服务模块根据元数据索引表的数据进行整合，包括预处理、排序生成标签，经过处理的元数据索引分片根据时序标识进行管理，在客户端进行检索时，根据编号元数据服务器可以进行无锁化动态负载均衡。
步骤5：当客户端对数据进行查询检索请求时，触发元数据检索模块服务。具体来说，元数据检索模块从元数据索引数据库读取目标元数据的对象时序标识，在元数据池中检索元数据，并用文件系统元数据同步地填充元数据索引分片。
步骤6：在填充索引分片之后，更新元数据索引数据库，并向MDS服务器发送响应信息，MDS服务器会将元数据索引分片缓存在内存中，以备后续检索请求快速响应操作。
进一步，在文件IO存储请求元数据后，将其填充到元数据索引分片之后，数据操作流程如图5所示，包括：
步骤1：分布式存储客户端向数据池中的主数据对象存储守护进程发送读写请求，客户端根据文件处理程序和元数据信息请求将文件数据传递给底层的分布式存储系统映射存储一致性算法进行处理。
步骤2：分布式存储系统映射存储一致性算法将文件划分为固定单位条带默认为4MB，条带获取方法：
stripe[]= file striping(fn,data)；
并为每个条带生成一个对象标识符（object id），方法为：
oid[]= inode+stripe[]；
该过程是将对象并行写入oid list（对象标识符列表）中。
步骤3：根据oid一致性映射到数据池，将数据写入到主OSD，主OSD会根据数据存储池的冗余方式，进行副本同步，本实施例采用3副本冗余方式。
步骤4：写入到数据池后，会激活元数据检索服务，填充元数据索引分片并更新元数据索引分片数据库。
步骤5：在处理数据之后，将写入成功响应给客户端。
元数据检索操作请求IO路径与原有的元数据处理请求过程一致，因此，本实施例提供的元数据检索方法不需要实现自己的事务来确保跨多个索引分片的一致性。此外，内置的元数据检索方法不会影响文件系统中文件操作所需的分布式事务语义。
本实施例内置元数据检索支持基于文件属性和用户标记的复杂文件搜索查询，在分布式文件系统中元数据的检索查询处理将搜索查询广播到集群中的所有索引分片，用以提高检索性能。本实施例内置元数据检索方法只在元数据池中进行填充索引分片，避免了元数据检索查询广播对OSD的开销影响。此外，采用数据池和元数据池的分布式架构分离了数据路径和元数据路径，元数据检索的分布式查询处理不会直接影响数据的IO存储操作。
下面对本申请实施例提供的一种元数据检索装置进行介绍，下文描述的一种元数据检索装置与上文描述的一种元数据检索方法可以相互参照。
参见图6，根据一示例性实施例示出的一种元数据检索装置的结构图，如图6所示，包括：
设置模块100，用于为元数据设置元数据标签，将所述元数据标签存储至索引数据库中；其中，所述元数据标签用于记录所述元数据的索引与存储所述元数据的数据块分区的对应关系；
第一检索模块200，用于当接收到客户端对目标元数据的检索请求时，在索引数据库中检索所述目标元数据对应的目标元数据标签；
第二检索模块300，用于基于所述目标元数据标签在元数据池中检索目标元数据，并基于检索结果响应所述客户端。
在本申请实施例中，通过分布式存储系统中的元数据服务器提供内置的元数据检索服务，不会消耗OSD资源，解决了相关技术中需要外置元数据检索服务来满足元数据检索功能带来的数据一致性和扩展性问题。另外，为元数据设置元数据标签，用于记录元数据的索引与存储元数据的数据块分区的对应关系，在进行元数据检索时，首先在索引数据库中检索元数据标签，根据元数据标签记录的对应关系确定存储目标元数据的数据块分区，直接在该数据块分区进行检索，而不需要检索整个元数据池，提高了元数据的检索效率。
在上述实施例的基础上，作为一种优选实施方式，所述索引数据库包括多个索引分片，元数据池中的元数据对象存储守护进程用于将存储的元数据的元数据标签填充至对应的索引分片中。
在上述实施例的基础上，作为一种优选实施方式，还包括：
确定模块，用于确定所述目标元数据标签所在的目标索引分片和所述目标索引分片对应的目标元数据对象存储守护进程。
在上述实施例的基础上，作为一种优选实施方式，所述确定模块具体用于：确定所述目标元数据标签所在的目标索引分片的时序标识，根据所述时序标识确定所述目标索引分片对应的目标元数据对象存储守护进程。
在上述实施例的基础上，作为一种优选实施方式，所述第二检索模块300具体用于：基于所述目标元数据标签在目标元数据对象存储守护进程中检索目标元数据。
在上述实施例的基础上，作为一种优选实施方式，所述设置模块100具体用于：当接收到目标文件的读写请求时，执行所述读写请求对应的元数据操作，并为所述元数据操作对应的元数据设置元数据标签；将所述元数据的元数据标签填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中。
在上述实施例的基础上，作为一种优选实施方式，还包括：
请求模块，用于在元数据对象存储守护进程中为所述元数据操作请求存储空间，用于记录所述元数据操作的日志信息。
在上述实施例的基础上，作为一种优选实施方式，所述请求模块具体用于：根据所述目标文件的文件名确定所述目标文件对应的多个元数据对象存储守护进程，在多个所述元数据对象存储守护进程中为所述元数据操作请求存储空间。
在上述实施例的基础上，作为一种优选实施方式，所述设置模块100具体用于：当主元数据服务器接收到元数据操作请求时，根据负载均衡将所述元数据操作请求转发至目标元数据服务器中，以便所述目标元数据服务器执行所述读写请求对应的元数据操作。
在上述实施例的基础上，作为一种优选实施方式，将所述元数据的元数据标签填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中之后，数据服务器对所述目标文件进行条带划分，并为每个条带生成对象标识符，将每个所述条带作为一个对象存储至数据池中。
在上述实施例的基础上，作为一种优选实施方式，所述数据服务器将每个所述条带作为一个对象存储至数据池中的主数据对象存储守护进程中，以便所述主数据对象存储守护进程根据冗余策略将所述对象存储至其他数据对象存储守护进程中。
在上述实施例的基础上，作为一种优选实施方式，所述数据服务器将每个所述条带作为一个对象存储至数据池中之后，激活元数据检索服务，将所述目标文件的元数据填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中。
在上述实施例的基础上，作为一种优选实施方式，还包括：
第三检索模块，用于当接收到客户端对所述目标文件的元数据的检索请求时，在索引数据库中检索所述目标文件的元数据，并基于检索结果响应所述客户端。
在上述实施例的基础上，作为一种优选实施方式，还包括：
第一填充模块，用于提取所述目标文件的预设扩展属性填充至所述元数据操作的元数据对象存储守护进程对应的索引分片。
在上述实施例的基础上，作为一种优选实施方式，还包括：
第四检索模块，用于当接收到客户端对所述目标文件的元数据的检索请求时，在索引数据库中检索所述目标文件的元数据和预设扩展属性，并基于检索结果响应所述客户端。
在上述实施例的基础上，作为一种优选实施方式，还包括：
第二填充模块，用于将检索到的目标元数据填充至所述目标元数据标签所在的索引分片。
在上述实施例的基础上，作为一种优选实施方式，所述第一检索模块200具体用于：当接收到客户端对目标元数据的检索请求时，根据所述检索请求中的索引信息在索引数据库中的索引分片中并行检索所述目标元数据对应的目标元数据标签。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种电子设备，图7为根据一示例性实施例示出的一种电子设备的结构图，如图7所示，电子设备包括：
通信接口1，能够与其它设备比如网络设备等进行信息交互；
处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的元数据检索方法。而所述计算机程序存储在存储器3上。
当然，实际应用时，电子设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统4。
本申请实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。
可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（ROM，Read Only Memory）、可编程只读存储器（PROM，Programmable Read-Only Memory）、可擦除可编程只读存储器（EPROM，Erasable Programmable Read-Only Memory）、电可擦除可编程只读存储器（EEPROM，Electrically Erasable Programmable Read-Only Memory）、磁性随机存取存储器（FRAM，ferromagnetic random access memory）、快闪存储器（Flash Memory）、磁表面存储器、光盘、或只读光盘（CD-ROM，Compact Disc Read-Only Memory）；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器（RAM，Random AccessMemory），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（SRAM，Static Random Access Memory）、同步静态随机存取存储器（SSRAM，Synchronous Static Random Access Memory）、动态随机存取存储器（DRAM，Dynamic Random Access Memory）、同步动态随机存取存储器（SDRAM，SynchronousDynamic Random Access Memory）、双倍数据速率同步动态随机存取存储器（DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory）、增强型同步动态随机存取存储器（ESDRAM，Enhanced Synchronous Dynamic Random Access Memory）、同步连接动态随机存取存储器（SLDRAM，SyncLink Dynamic Random Access Memory）、直接内存总线随机存取存储器（DRRAM，Direct Rambus Random Access Memory）。本申请实施例描述的存储器3旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。
处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、CD-ROM等存储器。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备（可以是个人计算机、服务器、网络设备等）执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (20)
1.一种元数据检索方法，其特征在于，应用于分布式存储系统中的元数据服务器，所述方法包括：
为元数据设置元数据标签，将所述元数据标签存储至索引数据库中；其中，所述元数据标签用于记录所述元数据的索引与存储所述元数据的数据块分区的对应关系；
当接收到客户端对目标元数据的检索请求时，在索引数据库中检索所述目标元数据对应的目标元数据标签；
基于所述目标元数据标签在元数据池中检索目标元数据，并基于检索结果响应所述客户端。
2.根据权利要求1所述元数据检索方法，其特征在于，所述索引数据库包括多个索引分片，元数据池中的元数据对象存储守护进程用于将存储的元数据的元数据标签填充至对应的索引分片中。
3.根据权利要求2所述元数据检索方法，其特征在于，所述在索引数据库中检索所述目标元数据对应的目标元数据标签之后，还包括：
确定所述目标元数据标签所在的目标索引分片和所述目标索引分片对应的目标元数据对象存储守护进程。
4.根据权利要求3所述元数据检索方法，其特征在于，所述确定所述目标元数据标签所在的目标索引分片和所述目标索引分片对应的目标元数据对象存储守护进程，包括：
确定所述目标元数据标签所在的目标索引分片的时序标识，根据所述时序标识确定所述目标索引分片对应的目标元数据对象存储守护进程。
5.根据权利要求3所述元数据检索方法，其特征在于，所述基于所述目标元数据标签在元数据池中检索目标元数据，包括：
基于所述目标元数据标签在目标元数据对象存储守护进程中检索目标元数据。
6.根据权利要求2所述元数据检索方法，其特征在于，所述为元数据设置元数据标签，将所述元数据标签存储至索引数据库中，包括：
当接收到目标文件的读写请求时，执行所述读写请求对应的元数据操作，并为所述元数据操作对应的元数据设置元数据标签；
将所述元数据的元数据标签填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中。
7.根据权利要求6所述元数据检索方法，其特征在于，所述执行所述读写请求对应的元数据操作之前，还包括：
在元数据对象存储守护进程中为所述元数据操作请求存储空间，用于记录所述元数据操作的日志信息。
8.根据权利要求7所述元数据检索方法，其特征在于，所述在元数据对象存储守护进程中为所述元数据操作请求存储空间，用于记录所述元数据操作的日志信息，包括：
根据所述目标文件的文件名确定所述目标文件对应的多个元数据对象存储守护进程，在多个所述元数据对象存储守护进程中为所述元数据操作请求存储空间。
9.根据权利要求6所述元数据检索方法，其特征在于，所述执行所述读写请求对应的元数据操作，包括：
当主元数据服务器接收到元数据操作请求时，根据负载均衡将所述元数据操作请求转发至目标元数据服务器中，以便所述目标元数据服务器执行所述读写请求对应的元数据操作。
10.根据权利要求6所述元数据检索方法，其特征在于，将所述元数据的元数据标签填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中之后，数据服务器对所述目标文件进行条带划分，并为每个条带生成对象标识符，将每个所述条带作为一个对象存储至数据池中。
11.根据权利要求10所述元数据检索方法，其特征在于，所述数据服务器将每个所述条带作为一个对象存储至数据池中的主数据对象存储守护进程中，以便所述主数据对象存储守护进程根据冗余策略将所述对象存储至其他数据对象存储守护进程中。
12.根据权利要求10所述元数据检索方法，其特征在于，所述数据服务器将每个所述条带作为一个对象存储至数据池中之后，激活元数据检索服务，将所述目标文件的元数据填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中。
13.根据权利要求12所述元数据检索方法，其特征在于，还包括：
当接收到客户端对所述目标文件的元数据的检索请求时，在索引数据库中检索所述目标文件的元数据，并基于检索结果响应所述客户端。
14.根据权利要求12所述元数据检索方法，其特征在于，将所述目标文件的元数据填充至执行所述元数据操作的元数据对象存储守护进程对应的索引分片中之后，还包括：
提取所述目标文件的预设扩展属性填充至所述元数据操作的元数据对象存储守护进程对应的索引分片。
15.根据权利要求13所述元数据检索方法，其特征在于，还包括：
当接收到客户端对所述目标文件的元数据的检索请求时，在索引数据库中检索所述目标文件的元数据和预设扩展属性，并基于检索结果响应所述客户端。
16.根据权利要求2所述元数据检索方法，其特征在于，所述基于所述目标元数据标签在元数据池中检索目标元数据之后，还包括：
将检索到的目标元数据填充至所述目标元数据标签所在的索引分片。
17.根据权利要求2所述元数据检索方法，其特征在于，所述当接收到客户端对目标元数据的检索请求时，在索引数据库中检索所述目标元数据对应的目标元数据标签，包括：
当接收到客户端对目标元数据的检索请求时，根据所述检索请求中的索引信息在索引数据库中的索引分片中并行检索所述目标元数据对应的目标元数据标签。
18.一种元数据检索装置，其特征在于，应用于分布式存储系统中的元数据服务器，所述装置包括：
设置模块，用于为元数据设置元数据标签，将所述元数据标签存储至索引数据库中；其中，所述元数据标签用于记录所述元数据的索引与存储所述元数据的数据块分区的对应关系；
第一检索模块，用于当接收到客户端对目标元数据的检索请求时，在索引数据库中检索所述目标元数据对应的目标元数据标签；
第二检索模块，用于基于所述目标元数据标签在元数据池中检索目标元数据，并基于检索结果响应所述客户端。
19.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至17任一项所述元数据检索方法的步骤。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述元数据检索方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410146907.2A CN117687970A (zh) | 2024-02-02 | 2024-02-02 | 一种元数据检索方法、装置及电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410146907.2A CN117687970A (zh) | 2024-02-02 | 2024-02-02 | 一种元数据检索方法、装置及电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117687970A true CN117687970A (zh) | 2024-03-12 |
Family
ID=90126905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410146907.2A Pending CN117687970A (zh) | 2024-02-02 | 2024-02-02 | 一种元数据检索方法、装置及电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117687970A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110018983A (zh) * | 2017-09-27 | 2019-07-16 | 华为技术有限公司 | 一种元数据查询方法及装置 |
| US20190324987A1 (en) * | 2014-05-05 | 2019-10-24 | Aveva Software, Llc | Storing and identifying metadata through extended properties in a historization system |
| CN110399535A (zh) * | 2019-02-26 | 2019-11-01 | 腾讯科技（深圳）有限公司 | 一种数据查询方法、装置及设备 |
| CN111597148A (zh) * | 2020-05-14 | 2020-08-28 | 杭州果汁数据科技有限公司 | 用于分布式文件系统的分布式元数据管理方法 |
| CN111858496A (zh) * | 2020-07-27 | 2020-10-30 | 北京大道云行科技有限公司 | 一种元数据的检索方法、装置、存储介质和电子设备 |
| CN112818026A (zh) * | 2019-11-15 | 2021-05-18 | 北京京东尚科信息技术有限公司 | 数据整合方法和装置 |
| CN113821479A (zh) * | 2021-08-27 | 2021-12-21 | 济南浪潮数据技术有限公司 | 一种基于元数据加载的数据请求处理方法和装置 |
| CN114490527A (zh) * | 2021-11-12 | 2022-05-13 | 苏州浪潮智能科技有限公司 | 元数据检索方法、系统、终端及存储介质 |
| CN115543994A (zh) * | 2021-06-30 | 2022-12-30 | 深信服科技股份有限公司 | 元数据检索方法、服务器、检索方法及终端设备 |
| CN117435776A (zh) * | 2023-12-20 | 2024-01-23 | 杭州拓数派科技发展有限公司 | 元数据存储和查询方法、装置、计算机设备及存储介质 |
-
2024
- 2024-02-02 CN CN202410146907.2A patent/CN117687970A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190324987A1 (en) * | 2014-05-05 | 2019-10-24 | Aveva Software, Llc | Storing and identifying metadata through extended properties in a historization system |
| CN110018983A (zh) * | 2017-09-27 | 2019-07-16 | 华为技术有限公司 | 一种元数据查询方法及装置 |
| CN110399535A (zh) * | 2019-02-26 | 2019-11-01 | 腾讯科技（深圳）有限公司 | 一种数据查询方法、装置及设备 |
| CN112818026A (zh) * | 2019-11-15 | 2021-05-18 | 北京京东尚科信息技术有限公司 | 数据整合方法和装置 |
| CN111597148A (zh) * | 2020-05-14 | 2020-08-28 | 杭州果汁数据科技有限公司 | 用于分布式文件系统的分布式元数据管理方法 |
| CN111858496A (zh) * | 2020-07-27 | 2020-10-30 | 北京大道云行科技有限公司 | 一种元数据的检索方法、装置、存储介质和电子设备 |
| CN115543994A (zh) * | 2021-06-30 | 2022-12-30 | 深信服科技股份有限公司 | 元数据检索方法、服务器、检索方法及终端设备 |
| CN113821479A (zh) * | 2021-08-27 | 2021-12-21 | 济南浪潮数据技术有限公司 | 一种基于元数据加载的数据请求处理方法和装置 |
| CN114490527A (zh) * | 2021-11-12 | 2022-05-13 | 苏州浪潮智能科技有限公司 | 元数据检索方法、系统、终端及存储介质 |
| CN117435776A (zh) * | 2023-12-20 | 2024-01-23 | 杭州拓数派科技发展有限公司 | 元数据存储和查询方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 王星星;毕建涛;池天河;: "基于元数据的语义识别搜索方法的研究与实现", 测绘科学, no. 05, 20 September 2008 (2008-09-20) * |
| 邢博;: "元数据描述对搜索引擎排序结果影响研究", 现代情报, no. 05, 25 May 2010 (2010-05-25) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11016955B2 (en) | Deduplication index enabling scalability | |
| CN107423422B (zh) | 基于网格的空间数据分布式存储及检索方法和系统 | |
| US7418544B2 (en) | Method and system for log structured relational database objects | |
| US20040133540A1 (en) | Efficient management of large files | |
| US20220114064A1 (en) | Online restore for database engines | |
| US10909143B1 (en) | Shared pages for database copies | |
| US10909091B1 (en) | On-demand data schema modifications | |
| US11755557B2 (en) | Flat object storage namespace in an object storage system | |
| KR20090063733A (ko) | 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 | |
| Liu et al. | Cfs: A distributed file system for large scale container platforms | |
| JP2015528957A (ja) | 分散ファイルシステム、ファイルアクセス方法及びクライアントデバイス | |
| US20080250017A1 (en) | System and method for aiding file searching and file serving by indexing historical filenames and locations | |
| US10387384B1 (en) | Method and system for semantic metadata compression in a two-tier storage system using copy-on-write | |
| US10521398B1 (en) | Tracking version families in a file system | |
| US10762050B2 (en) | Distribution of global namespace to achieve performance and capacity linear scaling in cluster filesystems | |
| CN113515518A (zh) | 数据存储方法、装置、计算机设备和存储介质 | |
| US11727003B2 (en) | Scaling query processing resources for efficient utilization and performance | |
| CN113204520B (zh) | 一种基于分布式文件系统的遥感数据快速并发读写方法 | |
| CN117687970A (zh) | 一种元数据检索方法、装置及电子设备和存储介质 | |
| Wei et al. | A high-bandwidth and low-cost data processing approach with heterogeneous storage architectures | |
| KR100785774B1 (ko) | 객체 기반 파일 입출력 시스템 및 방법 | |
| CN117931811B (zh) | 数据库处理方法、装置、计算机设备和存储介质 | |
| US20230376451A1 (en) | Client support of multiple fingerprint formats for data file segments | |
| CN117435559B (zh) | 元数据分层管理方法、装置、存储介质及电子设备 | |
| US20230376461A1 (en) | Supporting multiple fingerprint formats for data file segment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |