CN115437579A - 一种元数据管理方法、装置、计算机设备及可读存储介质 - Google Patents

一种元数据管理方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN115437579A
CN115437579A CN202211374504.0A CN202211374504A CN115437579A CN 115437579 A CN115437579 A CN 115437579A CN 202211374504 A CN202211374504 A CN 202211374504A CN 115437579 A CN115437579 A CN 115437579A
Authority
CN
China
Prior art keywords
request
write request
metadata
storage pool
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211374504.0A
Other languages
English (en)
Other versions
CN115437579B (zh
Inventor
刚亚州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202211374504.0A priority Critical patent/CN115437579B/zh
Publication of CN115437579A publication Critical patent/CN115437579A/zh
Priority to PCT/CN2023/082024 priority patent/WO2024093090A1/zh
Application granted granted Critical
Publication of CN115437579B publication Critical patent/CN115437579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种元数据管理方法、装置、计算机设备及可读存储介质，方法包括基于存储系统执行以下步骤：响应于接收到写请求，按预设条件对所述写请求进行判断；响应于所述写请求触发所述预设条件，将所述写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址；基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求；将所述第一LP请求插入元数据中，并将插入了所述第一LP请求的元数据刷写到所述存储池。通过本发明的方案，在涉及到大量且高并发、短时延的数据访问请求时，可以减少元数据的任务量，提升存储系统的性能。

Description

一种元数据管理方法、装置、计算机设备及可读存储介质
技术领域
本发明涉及存储技术领域，尤其涉及一种元数据管理方法、装置、计算机设备及可读存储介质。
背景技术
元数据(Mete data)是指描述数据的数据(data about data)，可以理解为是比一般意义的数据范畴更加广泛的数据，不仅仅是表示数据的类型、名称、值等信息，也进一步提供了数据的上下文信息，比如数据所属域、数据来源等等。在数据存储系统中，元数据是信息存储的基础，是数据的最小单元。近年来，随着信息技术的发展，产生了海量的数据，但是如何有效地管理和组织这些海量数据已经成为一个突出的问题。对于存储的大量数据，查询分析其中的数据内容和数据含义，才能更加有效的利用数据。在存储系统中元数据的高效组织和管理是解决这一问题的有效手段，能支持系统对数据的管理和维护。简言之，只有有效的管理元数据，数据才变得更有价值。因此，如何有效的管理元数据和使用元数据，是一个非常值得探讨的问题。
全闪存储系统后端使用SSD硬盘作为存储介质，鉴于SSD盘的价值问题，所以全闪存储系统都要求数据在线重删以达到减小后端盘的实际存储空间。要实现全闪存储系统的在线重删，元数据管理至关重要，元数据管理主要管理L-P映射、P-L映射、H-P映射关系。相对于传统不支持在线重删特性来说，元数据管理多了P-L映射、H-P映射关系两种元数据，涉及到大量且高并发、短时延的数据访问对元数据管理来说压力更大。
发明内容
有鉴于此，本发明提出了一种元数据管理方法、装置、计算机设备及可读存储介质，通过对元数据的管理，可以在数据写压力较大，导致性能不能满足要求时，放弃存储系统的部分在线重删请求，通过减少重删数据，来满足存储系统的性能要求。
基于上述目的，本发明实施例的一方面提供了一种元数据管理方法，具体包括，基于存储系统执行以下步骤：
响应于接收到写请求，按预设条件对所述写请求进行判断；
响应于所述写请求触发所述预设条件，将所述写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址；
基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求；
将所述第一LP请求插入元数据中，并将插入了所述第一LP请求的元数据刷写到所述存储池。
在一些实施方式中，方法还包括以下步骤：
响应于所述写请求触发所述预设条件，则基于所述写请求生成第二LP请求、PL请求以及HP请求；
分别将所述第二LP请求、所述PL请求以及所述HP请求插入到各自对应的元数据中，并将插入了所述第二LP请求的元数据、插入了所述PL请求的元数据、插入了所述HP请求的元数据刷写到所述存储池。
在一些实施方式中，按预设条件对所述写请求进行判断包括：
判断所述写请求中是否包含连续的逻辑地址且所述逻辑地址的数量达到阈值。
在一些实施方式中，响应于所述写请求触发所述预设条件，将写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址包括：
响应于所述写请求中包含所述连续的逻辑地址且所述逻辑地址的数量达到阈值，将所述写请求写入所述存储池，并在所述存储池基于所述连续的逻辑地址的粒度为所述写请求分配连续的物理地址。
在一些实施方式中，基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求包括：
按照所述连续的逻辑地址的粒度将所述写请求拆分成对应数量个第一LP请求，其中，每个所述第一LP请求包含一个逻辑地址和一个物理地址。
在一些实施方式中，按预设条件对所述写请求进行判断包括：
在统计周期内检查所有写请求刷写到所述存储池的平均时延是否超过阈值。
在一些实施方式中，响应于所述写请求触发所述预设条件，将写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址包括：
响应于所述统计周期内所有所述写请求刷写到所述存储池的平均时延超过阈值，则将新接收的写请求直接写入所述存储池，并在所述存储池为所述写请求分配物理地址。
在一些实施方式中，响应于所述写请求触发所述预设条件，则基于所述写请求生成第二LP请求、PL请求以及HP请求包括：
响应于所述写请求中包含所述连续的逻辑地址且所述逻辑地址的数量未达到阈值，或所述写请求中不包含所述连续的逻辑地址，则基于所述写请求生成第二LP请求、PL请求以及HP请求。
在一些实施方式中，响应于所述写请求触发所述预设条件，则基于所述写请求生成第二LP请求、PL请求以及HP请求包括：
响应于所述统计周期内所有所述写请求刷写到所述存储池的平均时延未超过阈值，则在新接收到写请求后，基于新接收到的所述写请求生成第二LP请求、PL请求以及HP请求。
在一些实施方式中，方法还包括以下步骤：
响应于接收到读请求，基于读请求中的逻辑地址访问LP元数据，并校验所述元数据是否正确；
响应于所述元数据正确，将所述元数据中保存的数据的物理地址返回给所述读请求；
所述读请求基于所述数据的物理地址去所述存储池读取对应的数据。
在一些实施方式中，基于LP映射关系访问元数据，并校验所述元数据是否正确包括：
访问元数据缓存，基于LP映射关系在所述元数据缓存中查找对应的元数据；
响应于查找到对应的元数据，则校验查找到的所述元数据是否正确。
在一些实施方式中，方法还包括以下步骤：
响应于未查找到对应的元数据，则去存储池中查找对应的元数据，并校验查找到的所述元数据是否正确。
本发明实施例的另一方面，还提供了一种元数据管理装置，包括：
判断模块，所述判断模块配置为响应于接收到写请求，按预设条件对所述写请求进行判断；
数据写入模块，所述数据写入模块配置为响应于所述写请求触发所述预设条件，将所述写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址；
生成模块，所述生成模块配置为基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求；
元数据刷写模块，所述元数据刷写模块配置为将所述第一LP请求插入元数据中，并将插入了所述第一LP请求的元数据刷写到所述存储池。
本发明实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述计算机程序由所述处理器执行时实现如下方法的步骤：
响应于接收到写请求，按预设条件对所述写请求进行判断；
响应于所述写请求触发所述预设条件，将所述写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址；
基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求；
将所述第一LP请求插入元数据中，并将插入了所述第一LP请求的元数据刷写到所述存储池。
在一些实施方式中，方法还包括以下步骤：
响应于所述写请求触发所述预设条件，则基于所述写请求生成第二LP请求、PL请求以及HP请求；
分别将所述第二LP请求、所述PL请求以及所述HP请求插入到各自对应的元数据中，并将插入了所述第二LP请求的元数据、插入了所述PL请求的元数据、插入了所述HP请求的元数据刷写到所述存储池。
在一些实施方式中，按预设条件对所述写请求进行判断包括：
判断所述写请求中是否包含连续的逻辑地址且所述逻辑地址的数量达到阈值。
在一些实施方式中，响应于所述写请求触发所述预设条件，将写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址包括：
响应于所述写请求中包含所述连续的逻辑地址且所述逻辑地址的数量达到阈值，将所述写请求写入所述存储池，并在所述存储池基于所述连续的逻辑地址的粒度为所述写请求分配连续的物理地址。
在一些实施方式中，基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求包括：
按照所述连续的逻辑地址的粒度将所述写请求拆分成对应数量个第一LP请求，其中，每个所述第一LP请求包含一个逻辑地址和一个物理地址。
在一些实施方式中，按预设条件对所述写请求进行判断包括：
在统计周期内检查所有写请求刷写到所述存储池的平均时延是否超过阈值。
在一些实施方式中，响应于所述写请求触发所述预设条件，将写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址包括：
响应于所述统计周期内所有所述写请求刷写到所述存储池的平均时延超过阈值，则将新接收的写请求直接写入所述存储池，并在所述存储池为所述写请求分配物理地址。
在一些实施方式中，响应于所述写请求触发所述预设条件，则基于所述写请求生成第二LP请求、PL请求以及HP请求包括：
响应于所述写请求中包含所述连续的逻辑地址且所述逻辑地址的数量未达到阈值，或所述写请求中不包含所述连续的逻辑地址，则基于所述写请求生成第二LP请求、PL请求以及HP请求。
在一些实施方式中，响应于所述写请求触发所述预设条件，则基于所述写请求生成第二LP请求、PL请求以及HP请求包括：
响应于所述统计周期内所有所述写请求刷写到所述存储池的平均时延未超过阈值，则在新接收到写请求后，基于新接收到的所述写请求生成第二LP请求、PL请求以及HP请求。
在一些实施方式中，方法还包括以下步骤：
响应于接收到读请求，基于读请求中的逻辑地址访问LP元数据，并校验所述元数据是否正确；
响应于所述元数据正确，将所述元数据中保存的数据的物理地址返回给所述读请求；
所述读请求基于所述数据的物理地址去所述存储池读取对应的数据。
在一些实施方式中，基于LP映射关系访问元数据，并校验所述元数据是否正确包括：
访问元数据缓存，基于LP映射关系在所述元数据缓存中查找对应的元数据；
响应于查找到对应的元数据，则校验查找到的所述元数据是否正确。
在一些实施方式中，方法还包括以下步骤：
响应于未查找到对应的元数据，则去存储池中查找对应的元数据，并校验查找到的所述元数据是否正确。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明至少具有以下有益技术效果：通过响应于接收到写请求，按预设条件对所述写请求进行判断；响应于所述写请求触发所述预设条件，将所述写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址；基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求；将所述第一LP请求插入元数据中，并将插入了所述第一LP请求的元数据刷写到所述存储池的方案，在涉及到大量且高并发、短时延的数据访问请求时，可以减少元数据的任务量，提升存储系统的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的元数据管理方法的一实施例的流程图；
图2为本发明提供的元数据管理方法的又一实施例的流程图；
图3为本发明提供的元数据管理方法的另一实施例的流程图；
图4为本发明提供的元数据访问方法的一实施例的流程图；
图5为本发明提供的元数据管理装置的一实施例的示意图；
图6为本发明提供的计算机设备的一实施例的结构示意图；
图7为本发明提供的计算机可读存储介质的一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种元数据管理方法的实施例。如图1所示，基于存储系统执行如下步骤：
S10、响应于接收到写请求，按预设条件对所述写请求进行判断；
S20、响应于所述写请求触发所述预设条件，将所述写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址；
S30、基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求；
S40、将所述第一LP请求插入元数据中，并将插入了所述第一LP请求的元数据刷写到所述存储池。
元数据管理主要管理LP映射、PL映射、HP映射关系，分别对应LP树、PL树、HP树。LP树是L-P的映射组织，主要作用是卷的逻辑地址LBA（Logical Block Address，逻辑块地址）到物理池的物理地址PBA（Physical Block Address，物理块地址）的映射，给用户主机读写和非重删数据的垃圾回收使用；PL树是P-L的映射组织，主要作用是池的物理地址到卷的逻辑地址的映射，供垃圾回收查询物理地址PBA是否还在使用；HP树是H-P的映射组织，供重删模块使用，H（HASHKEY）表示数据的指纹值，主要作用是数据指纹到池的物理地址的映射，开启重删功能时，新写的数据首先计算指纹值，然后查询HP映射，如果查询到P表示物理池中有相同数据了，不需再分配物理地址了。
本实施例的存储系统可以为全闪存储系统，对比不支持重删特性的存储系统来说，元数据管理多了P-L映射、H-P映射关系两种元数据，当涉及到大量且高并发、短时延的数据访问对元数据管理来说压力更大。本发明实施例在接收到写请求，对写请求进行判断，如果判断出该写请求会导致存储系统的写压力较大，或是判断出当前存储系统处理写压力较大的状态，则触发非重删流程，即，将写请求中的数据写入硬盘的存储池，并在存储池为写入的数据分配物理地址，根据为该数据分配的物理地址，与该数据对应的写请求中的逻辑地址，生成LP请求（亦称为LP映射关系），将生成的LP请求插入元数据中，并将插入了LP请求的元数据刷写到存储池，通过上述方案在涉及到大量且高并发、短时延的数据访问请求时，减少了元数据的任务量，提升了存储系统的性能。
在一些实施方式中，方法还包括以下步骤：
响应于所述写请求触发所述预设条件，则基于所述写请求生成第二LP请求、PL请求以及HP请求；
分别将所述第二LP请求、所述PL请求以及所述HP请求插入到各自对应的元数据中，并将插入了所述第二LP请求的元数据、插入了所述PL请求的元数据、插入了所述HP请求的元数据刷写到所述存储池。
在一些实施方式中，按预设条件对所述写请求进行判断包括：
判断所述写请求中是否包含连续的逻辑地址且所述逻辑地址的数量达到阈值。
在一些实施方式中，响应于所述写请求触发所述预设条件，将写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址包括：
响应于所述写请求中包含所述连续的逻辑地址且所述逻辑地址的数量达到阈值，将所述写请求写入所述存储池，并在所述存储池基于所述连续的逻辑地址的粒度为所述写请求分配连续的物理地址。
在一些实施方式中，基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求包括：
按照所述连续的逻辑地址的粒度将所述写请求拆分成对应数量个第一LP请求，其中，每个所述第一LP请求包含一个逻辑地址和一个物理地址。
在一具体实施例中，如图2所示，为写请求中包含连续粒度逻辑地址的应用场景下的元数据管理流程图。具体包括如下步骤：
S11、接收主机写请求；
S12、检查该请求是否是连续粒度（grain）逻辑地址（LBA），且连续的个数达到阈值（比如8），如果是转S13，否则转S17；
S13、将包含连续grain LBA的写请求一次写入存储池中，存储池按grain为写请求分配连续的物理地址（PBA）；
S14、按grain拆分写请求，产生对应数量个LP请求，而且只产生LP请求，将每一个分别插入到对应的元数据中；
S15、LP请求插入元数据完成后，将包含了LP请求的元数据（简称LP元数据）刷写到存储池中；
S16、写请求向上层返回，写流程完成；
S17、进入在线重删流程，会产生LP、PL、HP请求，分别插入到元数据中，并将插入了LP请求的元数据、插入了PL请求的元数据、插入了HP请求的元数据刷写到存储池。
上述方案，在涉及到大量且高并发的数据访问请求时，提高了访问的并发程度，获得了高效的数据访问效率，减少了元数据的任务量，提升了存储系统的性能。
在一些实施方式中，按预设条件对所述写请求进行判断包括：
在统计周期内检查所有写请求刷写到所述存储池的平均时延是否超过阈值。
在一些实施方式中，响应于所述写请求触发所述预设条件，将写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址包括：
响应于所述统计周期内所有所述写请求刷写到所述存储池的平均时延超过阈值，则将新接收的写请求直接写入所述存储池，并在所述存储池为所述写请求分配物理地址。
在一些实施方式中，响应于所述写请求触发所述预设条件，则基于所述写请求生成第二LP请求、PL请求以及HP请求包括：
响应于所述写请求中包含所述连续的逻辑地址且所述逻辑地址的数量未达到阈值，或所述写请求中不包含所述连续的逻辑地址，则基于所述写请求生成第二LP请求、PL请求以及HP请求。
在一些实施方式中，响应于所述写请求触发所述预设条件，则基于所述写请求生成第二LP请求、PL请求以及HP请求包括：
响应于所述统计周期内所有所述写请求刷写到所述存储池的平均时延未超过阈值，则在新接收到写请求后，基于新接收到的所述写请求生成第二LP请求、PL请求以及HP请求。
在一具体实施例中，如图3所示，为写请求刷写到存储池时延大的应用场景下的元数据管理流程图。具体包括如下步骤：
S21、当主机写请求到达存储系统时，
S22、检查统计周期内写请求写到存储池的时延是否满足阈值，如果不满足转S23，否则转27，其中，阈值为用户基于系统实际使用需求自定义的，时延包括数据写入存储池的时延、请求插入元数据的时延、元数据刷写到存储池的时延，其中，插入元数据的请求指的是LP请求、PL请求以及HP请求；
S23、该写请求写入存储池中，在存储池为写入的写请求分配物理地址（PBA）；
S24、只产生LP请求，并插入元数据中；
S25、LP请求插入元数据完成后，将包含了LP元数据刷写到存储池中；
S26、写请求向上层返回，写流程完成；
S27、进入在线重删流程，会产生LP、PL、HP请求，分别插入到元数据中，并将插入了LP请求的元数据、插入了PL请求的元数据、插入了HP请求的元数据刷写到存储池。
上述方案，在数据访问时延大的场景下，减少了元数据的任务量，提升了存储系统的性能。
本发明实施例，为满足业务性能要求时会放弃部分在线重删，走非重删流程，减少元数据的任务量，提升系统性能；当出现多个连续grain的数据块时，或元数据插入请求时延超过一定阈值时；这两种情况下会放弃部分元数据的在线重删，来满足存储系统性能要求。通过该方法既可以满足在线重删的性能要求又满足系统整体重删率的要求，高效又准确，并且还可以提高访问的并发程度，获得高效的数据访问。
在一些实施方式中，方法还包括以下步骤：
响应于接收到读请求，基于读请求中的逻辑地址访问LP元数据，并校验所述元数据是否正确；
响应于所述元数据正确，将所述元数据中保存的数据的物理地址返回给所述读请求；
所述读请求基于所述数据的物理地址去所述存储池读取对应的数据。
在一些实施方式中，基于LP映射关系访问元数据，并校验所述元数据是否正确包括：
访问元数据缓存，基于LP映射关系在所述元数据缓存中查找对应的元数据；
响应于查找到对应的元数据，则校验查找到的所述元数据是否正确。
在一些实施方式中，方法还包括以下步骤：
响应于未查找到对应的元数据，则去存储池中查找对应的元数据，并校验查找到的所述元数据是否正确。
在一具体实施例中，如图4所示，为元数据访问流程图。具体流程如下：
数据查询请求（即读请求）要查询数据时，先查询元数据，找到L->P映射关系，首先访问元数据缓存，如果在缓存中查找到对应的元数据，则直接做元数据校验后返回给查询请求，否则去SSD盘上访问元数据，然后返给查询请求，最后查询请求基于元数据中保存的数据的PBA去访问对应的数据。
基于同一发明构思，根据本发明的另一个方面，如图5所示，本发明的实施例还提供了一种元数据管理装置，包括：
判断模块110，所述判断模块110配置为响应于接收到写请求，按预设条件对所述写请求进行判断；
数据写入模块120，所述数据写入模块120配置为响应于所述写请求触发所述预设条件，将所述写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址；
生成模块130，所述生成模块130配置为基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求；
元数据刷写模块140，所述元数据刷写模块140配置为将所述第一LP请求插入元数据中，并将插入了所述第一LP请求的元数据刷写到所述存储池。
基于同一发明构思，根据本发明的另一个方面，如图6所示，本发明的实施例还提供了一种计算机设备30，在该计算机设备30中包括处理器310以及存储器320，存储器320存储有可在处理器上运行的计算机程序321，处理器310执行程序时执行如上的方法的步骤。
其中，存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述元数据管理方法对应的程序指令/模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行装置的各种功能应用以及数据处理，即实现上述方法实施例的元数据管理方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路（DSL）或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘（CD）、激光盘、光盘、数字多功能盘（DVD）、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
基于同一发明构思，根据本发明的另一个方面，如图7所示，本发明的实施例还提供了一种计算机可读存储介质40，计算机可读存储介质40存储有被处理器执行时执行如上方法的计算机程序410。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体（ROM）或随机存储记忆体（RAM）等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个装置的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围（包括权利要求）被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (15)

1.一种元数据管理方法，其特征在于，基于存储系统执行以下步骤：
响应于接收到写请求，按预设条件对所述写请求进行判断；
响应于所述写请求触发所述预设条件，将所述写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址；
基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求；
将所述第一LP请求插入元数据中，并将插入了所述第一LP请求的元数据刷写到所述存储池。
2.根据权利要求1所述的方法，其特征在于，还包括以下步骤：
响应于所述写请求触发所述预设条件，则基于所述写请求生成第二LP请求、PL请求以及HP请求；
分别将所述第二LP请求、所述PL请求以及所述HP请求插入到各自对应的元数据中，并将插入了所述第二LP请求的元数据、插入了所述PL请求的元数据、插入了所述HP请求的元数据刷写到所述存储池。
3.根据权利要求2所述的方法，其特征在于，按预设条件对所述写请求进行判断包括：
判断所述写请求中是否包含连续的逻辑地址且所述逻辑地址的数量达到阈值。
4.根据权利要求3所述的方法，其特征在于，响应于所述写请求触发所述预设条件，将写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址包括：
响应于所述写请求中包含所述连续的逻辑地址且所述逻辑地址的数量达到阈值，将所述写请求写入所述存储池，并在所述存储池基于所述连续的逻辑地址的粒度为所述写请求分配连续的物理地址。
5.根据权利要求4所述的方法，其特征在于，基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求包括：
按照所述连续的逻辑地址的粒度将所述写请求拆分成对应数量个第一LP请求，其中，每个所述第一LP请求包含一个逻辑地址和一个物理地址。
6.根据权利要求2所述的方法，其特征在于，按预设条件对所述写请求进行判断包括：
在统计周期内检查所有写请求刷写到所述存储池的平均时延是否超过阈值。
7.根据权利要求6所述的方法，其特征在于，响应于所述写请求触发所述预设条件，将写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址包括：
响应于所述统计周期内所有所述写请求刷写到所述存储池的平均时延超过阈值，则将新接收的写请求直接写入所述存储池，并在所述存储池为所述写请求分配物理地址。
8.根据权利要求3所述的方法，其特征在于，响应于所述写请求触发所述预设条件，则基于所述写请求生成第二LP请求、PL请求以及HP请求包括：
响应于所述写请求中包含所述连续的逻辑地址且所述逻辑地址的数量未达到阈值，或所述写请求中不包含所述连续的逻辑地址，则基于所述写请求生成第二LP请求、PL请求以及HP请求。
9.根据权利要求6所述的方法，其特征在于，响应于所述写请求触发所述预设条件，则基于所述写请求生成第二LP请求、PL请求以及HP请求包括：
响应于所述统计周期内所有所述写请求刷写到所述存储池的平均时延未超过阈值，则在新接收到写请求后，基于新接收到的所述写请求生成第二LP请求、PL请求以及HP请求。
10.根据权利要求1所述的方法，其特征在于，还包括以下步骤：
响应于接收到读请求，基于读请求中的逻辑地址访问LP元数据，并校验所述元数据是否正确；
响应于所述元数据正确，将所述元数据中保存的数据的物理地址返回给所述读请求；
所述读请求基于所述数据的物理地址去所述存储池读取对应的数据。
11.根据权利要求10所述的方法，其特征在于，基于LP映射关系访问元数据，并校验所述元数据是否正确包括：
访问元数据缓存，基于LP映射关系在所述元数据缓存中查找对应的元数据；
响应于查找到对应的元数据，则校验查找到的所述元数据是否正确。
12.根据权利要求11所述的方法，其特征在于，还包括以下步骤：
响应于未查找到对应的元数据，则去存储池中查找对应的元数据，并校验查找到的所述元数据是否正确。
13.一种元数据管理装置，其特征在于，包括：
判断模块，所述判断模块配置为响应于接收到写请求，按预设条件对所述写请求进行判断；
数据写入模块，所述数据写入模块配置为响应于所述写请求触发所述预设条件，将所述写请求写入硬盘的存储池，并在所述存储池为所述写请求分配物理地址；
生成模块，所述生成模块配置为基于所述写请求的物理地址和所述写请求的逻辑地址生成第一LP请求；
元数据刷写模块，所述元数据刷写模块配置为将所述第一LP请求插入元数据中，并将插入了所述第一LP请求的元数据刷写到所述存储池。
14.一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1至12任意一项所述的方法的步骤。
15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1至12任意一项所述的方法的步骤。
CN202211374504.0A 2022-11-04 2022-11-04 一种元数据管理方法、装置、计算机设备及可读存储介质 Active CN115437579B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211374504.0A CN115437579B (zh) 2022-11-04 2022-11-04 一种元数据管理方法、装置、计算机设备及可读存储介质
PCT/CN2023/082024 WO2024093090A1 (zh) 2022-11-04 2023-03-17 一种元数据管理方法、装置、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211374504.0A CN115437579B (zh) 2022-11-04 2022-11-04 一种元数据管理方法、装置、计算机设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN115437579A true CN115437579A (zh) 2022-12-06
CN115437579B CN115437579B (zh) 2023-03-24

Family

ID=84252795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211374504.0A Active CN115437579B (zh) 2022-11-04 2022-11-04 一种元数据管理方法、装置、计算机设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN115437579B (zh)
WO (1) WO2024093090A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024093090A1 (zh) * 2022-11-04 2024-05-10 苏州元脑智能科技有限公司 一种元数据管理方法、装置、计算机设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122130A (zh) * 2017-04-13 2017-09-01 杭州宏杉科技股份有限公司 一种数据重删方法及装置
CN111427855A (zh) * 2016-09-28 2020-07-17 华为技术有限公司 一种存储系统中重复数据删除方法、存储系统及控制器
CN113535708A (zh) * 2021-09-17 2021-10-22 苏州浪潮智能科技有限公司 一种数据重删方法、系统、存储介质及设备
CN113867627A (zh) * 2021-08-29 2021-12-31 苏州浪潮智能科技有限公司 一种存储系统性能优化方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115437579B (zh) * 2022-11-04 2023-03-24 苏州浪潮智能科技有限公司 一种元数据管理方法、装置、计算机设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427855A (zh) * 2016-09-28 2020-07-17 华为技术有限公司 一种存储系统中重复数据删除方法、存储系统及控制器
CN107122130A (zh) * 2017-04-13 2017-09-01 杭州宏杉科技股份有限公司 一种数据重删方法及装置
CN113867627A (zh) * 2021-08-29 2021-12-31 苏州浪潮智能科技有限公司 一种存储系统性能优化方法及系统
CN113535708A (zh) * 2021-09-17 2021-10-22 苏州浪潮智能科技有限公司 一种数据重删方法、系统、存储介质及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024093090A1 (zh) * 2022-11-04 2024-05-10 苏州元脑智能科技有限公司 一种元数据管理方法、装置、计算机设备及可读存储介质

Also Published As

Publication number Publication date
WO2024093090A1 (zh) 2024-05-10
CN115437579B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
US10303596B2 (en) Read-write control method for memory, and corresponding memory and server
US20140223089A1 (en) Method and device for storing data in a flash memory using address mapping for supporting various block sizes
CN110347852B (zh) 嵌入横向扩展键值存储系统的文件系统及文件管理方法
CN111125447A (zh) 一种元数据访问方法、装置、设备及可读存储介质
WO2017107414A1 (zh) 文件操作方法和装置
CN112486852B (zh) 一种固态硬盘及其地址映射方法
CN103399823B (zh) 业务数据的存储方法、设备和系统
CN108614837B (zh) 文件存储和检索的方法及装置
CN103678523A (zh) 分布式高速缓存cache数据访问方法和装置
KR101615659B1 (ko) 스크래치 패드 메모리 관리 장치 및 방법
CN112632069A (zh) 哈希表数据存储管理方法、装置、介质和电子设备
CN115437579B (zh) 一种元数据管理方法、装置、计算机设备及可读存储介质
CN113535708A (zh) 一种数据重删方法、系统、存储介质及设备
CN113282249A (zh) 一种数据处理方法、系统、设备以及介质
CN114138193A (zh) 一种分区命名空间固态硬盘的数据写入方法、装置及设备
WO2020192710A1 (zh) 基于lsm数据库的垃圾处理的方法、固态硬盘以及存储装置
CN107329909B (zh) 一种数据管理方法及装置
CN101576854A (zh) 文件访问的方法、装置及系统
CN113835639B (zh) 一种i/o请求处理方法、装置、设备及可读存储介质
CN111831691A (zh) 一种数据读写方法及装置、电子设备、存储介质
CN108664217B (zh) 一种降低固态盘存储系统写性能抖动的缓存方法及系统
KR101077901B1 (ko) 로그 블록 단위 매핑 기법을 이용한 플래시 메모리 관리 장치 및 방법
CN111694806B (zh) 一种事务日志的缓存方法、装置、设备和存储介质
CN113867627A (zh) 一种存储系统性能优化方法及系统
KR102071072B1 (ko) 데이터 저장장치의 주소 맵핑 테이블 운용 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant