CN112000289B - 全闪存储服务器系统数据管理方法及相关组件 - Google Patents

全闪存储服务器系统数据管理方法及相关组件 Download PDF

Info

Publication number
CN112000289B
CN112000289B CN202010844591.6A CN202010844591A CN112000289B CN 112000289 B CN112000289 B CN 112000289B CN 202010844591 A CN202010844591 A CN 202010844591A CN 112000289 B CN112000289 B CN 112000289B
Authority
CN
China
Prior art keywords
data
continuous
physical addresses
writing
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010844591.6A
Other languages
English (en)
Other versions
CN112000289A (zh
Inventor
赵书龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010844591.6A priority Critical patent/CN112000289B/zh
Publication of CN112000289A publication Critical patent/CN112000289A/zh
Application granted granted Critical
Publication of CN112000289B publication Critical patent/CN112000289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种全闪存储服务器系统数据管理方法，该方法在精简卷接收到主机IO后不再进行grainSize粒度的拆分，以使数据尽量按照大块数据方式落盘，获取连续的物理地址在磁盘空间连续存放，以降低数据读写磁盘的次数，而仅在元数据处理时进行切块处理，便于维护实际落盘物理地址与逻辑地址的映射关系。该方法有效降低了数据读写磁盘的次数，提升了大块IO的读写性能，有效降低了读写数据时的时延，从而打破了大块数据处理时的性能瓶颈，可以应对不同大小数据的读写方式，满足全闪系统对不同负载的性能需求，整体提升了存储系统的性能。本申请还提供了全闪存储服务器系统数据管理装置、设备及一种可读存储介质，具有上述有益效果。

Description

全闪存储服务器系统数据管理方法及相关组件
技术领域
本申请涉及电子技术领域，特别涉及全闪存储服务器系统数据管理方法、装置、设备及一种可读存储介质。
背景技术
全闪存储可为客户提供更高性能、更低时延、更具弹性的数据存储服务以及高效、灵活的双活、容灾、备份等解决方案，很好的满足了大中型数据库OLTP/OLAP、虚拟化、大数据分析等应用的需求，广泛适用于金融、通信、能源、媒资、医疗、教育等行业。
全闪存储系统其后端是SSD磁盘，不同于传统机械磁盘，SSD磁盘不需要传统磁盘的机械寻道时间，性能极大提升，尤其是小块随机读写性能，有显著的优势。全闪存储系统因此在小块IO的读写方面具有巨大优势，同时针对在线重删压缩等特性的需求，一般后端存储空间的数据块粒度(grainSize)较小(如8K)，而在实际业务处理中除了小数据块外还存在大量大数据块，而数据处理时会将主机IO按照grainSize粒度进行拆分和元数据管理，这就会造成大块数据拆分成小块，导致访盘次数增加，主机IO时延长。
因此，如何降低主机大块数据落盘时延，提升全闪存储性能，是本领域技术人员急需解决的问题。
发明内容
本申请的目的是提供全闪存储服务器系统数据管理方法，该方法可以降低主机大块数据落盘时延，提升全闪存储性能；本申请的另一目的是提供全闪存储服务器系统数据管理装置、设备及一种可读存储介质。
为解决上述技术问题，本申请提供一种全闪存储服务器系统数据管理方法，包括：
精简卷接收到主机IO后，根据磁盘旧数据对所述主机IO中小于grainSize的数据块按照数据块粒度grainSize进行数据补齐，得到合并新数据；
将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据落盘；
当接收到主机IO读取请求后，将存储的所述合并新数据按照数据块粒度grainSize进行切分，得到若干grain粒度的数据块；
根据所述数据块响应所述主机IO读取请求。
可选地，根据所述数据块响应所述主机IO读取请求，包括：
根据连续的所述数据块批量查找元数据；
识别查找得到的元数据中是否存在连续PBA；
若存在，根据所述连续PBA合并构造读IO进行磁盘数据读取。
可选地，将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据落盘，包括：
将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据批量插入。
可选地，在将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据落盘之后，还包括：输出主机IO与元数据写入成功的提示信息。
本申请提供了一种全闪存储服务器系统数据管理装置，该装置包括：
数据补齐处理单元，用于精简卷接收到主机IO后，根据磁盘旧数据对所述主机IO中小于grainSize的数据块按照数据块粒度grainSize进行数据补齐，得到合并新数据；
落盘处理单元，用于将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据落盘；
数据切分单元，用于当接收到主机IO读取请求后，将存储的所述合并新数据按照数据块粒度grainSize进行切分，得到若干grain粒度的数据块；
数据读取单元，用于根据所述数据块响应所述主机IO读取请求。
可选地，所述数据读取单元包括：
批量查找子单元，用于根据连续的所述数据块批量查找元数据；
连续识别子单元，用于识别查找得到的元数据中是否存在连续PBA；若存在，触发连续读取子单元；
所述连续读取子单元，用于根据所述连续PBA合并构造读IO进行磁盘数据读取。
可选地，所述落盘处理单元包括：元数据批量插入子单元，用于将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据批量插入。
可选地，所述全闪存储服务器系统数据管理装置还包括提示单元，用于在将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据落盘之后，输出主机IO与元数据写入成功的提示信息。
本申请提供了一种全闪存储服务器系统数据管理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的全闪存储服务器系统数据管理方法的步骤。
本申请提供了一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述的全闪存储服务器系统数据管理方法的步骤。
本申请所提供的全闪存储服务器系统数据管理方法中，在精简卷接收到主机IO后不再进行grainSize粒度的拆分，以使数据尽量按照大块数据方式落盘，获取连续的物理地址在磁盘空间连续存放，以降低数据读写磁盘的次数，而仅在元数据处理时进行切块处理，便于维护实际落盘物理地址与逻辑地址的映射关系。该方法对于小块IO，保持高读写性能的优势，同时有效降低了数据读写磁盘的次数，从而提升了大块IO的读写性能，有效降低了读写数据时的时延，从而打破了大块数据处理时的性能瓶颈，可以应对不同大小数据的读写方式，满足全闪系统对不同负载的性能需求，整体提升了存储系统的性能。
本申请还提供了全闪存储服务器系统数据管理装置、设备及一种可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种全闪存储服务器系统数据管理方法的流程图；
图2为本申请实施例提供的一种数据补齐实现示意图；
图3为本申请实施例提供的一种全闪存储服务器系统数据管理装置的结构框图；
图4为本申请实施例提供的一种全闪存储服务器系统数据管理设备的结构示意图。
具体实施方式
本申请的核心是提供全闪存储服务器系统数据管理方法，该方法可以降低主机大块数据落盘时延，提升全闪存储性能；本申请的另一核心是提供全闪存储服务器系统数据管理装置、设备及一种可读存储介质。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供一种全闪存储服务器系统数据管理方法，请参考图1，图1为本实施例提供的一种全闪存储服务器系统数据管理方法的流程图，该方法主要包括以下步骤：
步骤s110、精简卷接收到主机IO后，根据磁盘旧数据对主机IO中小于grainSize的数据块按照数据块粒度grainSize进行数据补齐，得到合并新数据；
在本申请中调用全闪存储系统由自动精简配置的卷来独立管理后端数据空间。精简卷(Thin LUN，在精简池中按需分配空间的卷，可以提高存储空间的利用率)能够管理的数据块粒度(grainSize)最小为8K，精简卷的每个空间单元都会对应一个元数据node，所有元数据node通过btree(B树)管理，全闪精简卷会拥有大量的元数据，以维护主机IO逻辑地址(LBA)与后端物理空间物理地址(PBA)的映射关系，这样每个grainSize的数据块会对应一个元数据。
传统方法下在进行数据读写处理时，会将主机数据按照grainSize进行拆分，然后以该粒度落盘和访问元数据。而全闪存储最主要的数据管理方式为随机转顺序，即采用追加写的方式进行落盘，整块IO(数据)拆分出来的grain粒度的数据会在非连续的方式落盘，这样读取时极大可能不连续，只能每个grain都要去磁盘上读取。
基于此，本实施例中提出精简卷接收到主机IO后，不再对主机IO进行grainSize粒度的拆分，按照grainSize对主机IO进行补齐，以保证grainSize数据单元数据的一致性。进行数据补齐的过程中需要确定主机IO中小于grainSize的数据块，读取其磁盘旧数据，然后将磁盘原本的旧数据与小于grainSize的数据块merge(合并)得到新数据后重新写入磁盘，以保证grainSize数据单元数据的一致性，以便于数据尽量按照大块数据方式落盘，获取连续的物理地址，即在磁盘空间连续存放，便于维护实际落盘物理地址与逻辑地址的映射关系。
如图2所示为本实施例提供的一种数据补齐实现示意图，其中主机IO(即originIO)中包括四个完整的grain数据块以及一个3K数据块、一个4K数据块。3K数据块与4K数据块为小于grainSize(8K)的数据块，调用磁盘旧数据在4K数据块前添加4K旧数据，在3K数据块后添加5K旧数据，合并后即可得到六个完整的grain数据块，grainSize数据单元数据保持一致性。
步骤s120、将合并新数据写入分配的连续物理地址中，并将连续物理地址对应的LBA-PBA元数据落盘；
将数据补齐后的合并新数据(large IO)落盘，精简卷的数据管理模块为该大数据块分配物理地址，大数据块中每个grainSize的小数据块都会分配一个PBA地址，分配N个连续PBA，各小数据块的物理地址连续，数据落盘时才能保证磁盘空间的连续性，这样既降低了落盘次数，还保证读取时根据连续的物理地址大块读取。
合并新数据落盘后，将为合并新数据分配的LBA-PBA元数据落盘，数据与元数据均落盘完成后，全闪存储数据写入完成(complete IO)。而本实施例中对于LBA-PBA元数据落盘方式不做限定，可选地，可以设置元数据批量插入，以降低元数据的插入时延。而在全闪存储数据写入完成后，可以进一步输出主机IO与元数据写入成功的提示信息，对此本实施例不做限定。
步骤s130、当接收到主机IO读取请求后，将存储的合并新数据按照数据块粒度grainSize进行切分，得到若干grain粒度的数据块；
精简卷接收到主机IO读取请求后，精简卷按照grain粒度进行数据块切块，切分grain粒度得到若干连续数据块，各数据块所属LBA连续。
步骤s140、根据数据块响应主机IO读取请求。
根据数据块响应主机IO读取请求的具体实现步骤本实施例中不做限定，主要包括根据切分后的数据块查找元数据，基于元数据构造IO，以及根据构造的IO进行数据读取。
为了提升元数据的查找性能，提升数据读取速度，减少磁盘的访盘量，可选地，根据数据块响应主机IO读取请求具体可以按照以下步骤来实现：
(1)根据连续的数据块批量查找元数据；
(2)识别查找得到的元数据中是否存在连续PBA；
(3)若存在，根据连续PBA合并构造读IO进行磁盘数据读取。
根据切分grain批量查找元数据，然后判断PBA的连续性，连续的数据块构造大块IO去后端空间读取；最后根据实际主机IO的起始地址将读取的数据合并(merge)到原始IO中，数据读取完成(complete IO)。
该方法在大块数据读取时能够根据切分的grain个数来获取M(M<＝N)个PBA，检测PBA连续性(可以在接口实现)，连续的PBA可以构造一个读IO去磁盘上获取，实现了元数据的批量查询，减少了磁盘的访盘量。
而若查找得到的元数据中不存在连续PBA，本实施例中对于该种情况不做限定，可以按照传统的小数据块磁盘数据读取方法，延续小数据块读取的性能优势。
基于上述介绍，本实施例提供的全闪存储服务器系统数据管理方法中，在精简卷接收到主机IO后不再进行grainSize粒度的拆分，以使数据尽量按照大块数据方式落盘，获取连续的物理地址在磁盘空间连续存放，以降低数据读写磁盘的次数，而仅在元数据处理时进行切块处理，便于维护实际落盘物理地址与逻辑地址的映射关系。该方法对于小块IO，保持高读写性能的优势，同时有效降低了数据读写磁盘的次数，从而提升了大块IO的读写性能，有效降低了读写数据时的时延，从而打破了大块数据处理时的性能瓶颈，可以应对不同大小数据的读写方式，满足全闪系统对不同负载的性能需求，整体提升了存储系统的性能。
请参考图3，图3为本实施例提供的全闪存储服务器系统数据管理装置的结构框图；该装置主要包括：数据补齐处理单元110、落盘处理单元120、数据切分单元130以及数据读取单元140。本实施例提供的全闪存储服务器系统数据管理装置可与上述全闪存储服务器系统数据管理方法相互对照。
其中，数据补齐处理单元110主要用于精简卷接收到主机IO后，根据磁盘旧数据对主机IO中小于grainSize的数据块按照数据块粒度grainSize进行数据补齐，得到合并新数据；
落盘处理单元120主要用于将合并新数据写入分配的连续物理地址中，并将连续物理地址对应的LBA-PBA元数据落盘；
数据切分单元130主要用于当接收到主机IO读取请求后，将存储的合并新数据按照数据块粒度grainSize进行切分，得到若干grain粒度的数据块；
数据读取单元140主要用于根据数据块响应主机IO读取请求。
可选地，数据读取单元140具体可以包括：
批量查找子单元，用于根据连续的数据块批量查找元数据；
连续识别子单元，用于识别查找得到的元数据中是否存在连续PBA；若存在，触发连续读取子单元；
连续读取子单元，用于根据连续PBA合并构造读IO进行磁盘数据读取。
可选地，落盘处理单元120具体可以包括：元数据批量插入子单元，用于将合并新数据写入分配的连续物理地址中，并将连续物理地址对应的LBA-PBA元数据批量插入。
可选地，全闪存储服务器系统数据管理装置中可以进一步包括提示单元，用于在将合并新数据写入分配的连续物理地址中，并将连续物理地址对应的LBA-PBA元数据落盘之后，输出主机IO与元数据写入成功的提示信息。
本实施例提供一种全闪存储服务器系统数据管理设备，主要包括：存储器以及处理器。
其中，存储器用于存储程序；
处理器用于执行程序时实现如上述实施例介绍的全闪存储服务器系统数据管理方法的步骤，具体可参照上述全闪存储服务器系统数据管理方法的介绍。
请参考图4，为本实施例提供的全闪存储服务器系统数据管理设备的结构示意图，该全闪存储服务器系统数据管理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在全闪存储服务器系统数据管理设备301上执行存储介质330中的一系列指令操作。
全闪存储服务器系统数据管理设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上面图1所描述的全闪存储服务器系统数据管理方法中的步骤可以由本实施例介绍的全闪存储服务器系统数据管理设备的结构实现。
本实施例公开一种可读存储介质，其上存储有程序，程序被处理器执行时实现如上述实施例介绍的全闪存储服务器系统数据管理方法的步骤，具体可参照上述实施例中对全闪存储服务器系统数据管理方法的介绍。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的全闪存储服务器系统数据管理方法、装置、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种全闪存储服务器系统数据管理方法，其特征在于，包括：
精简卷接收到主机IO后，根据磁盘旧数据对所述主机IO中小于grainSize的数据块按照数据块粒度grainSize进行数据补齐，得到合并新数据；
将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据落盘；
当接收到主机IO读取请求后，将存储的所述合并新数据按照数据块粒度grainSize进行切分，得到若干grain粒度的数据块；
根据所述数据块响应所述主机IO读取请求；
其中，根据所述数据块响应所述主机IO读取请求，包括：
根据连续的所述数据块批量查找元数据；
识别查找得到的元数据中是否存在连续PBA；
若存在，根据所述连续PBA合并构造读IO进行磁盘数据读取。
2.如权利要求1所述的全闪存储服务器系统数据管理方法，其特征在于，将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据落盘，包括：
将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据批量插入。
3.如权利要求1所述的全闪存储服务器系统数据管理方法，其特征在于，在将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据落盘之后，还包括：输出主机IO与元数据写入成功的提示信息。
4.一种全闪存储服务器系统数据管理装置，其特征在于，该装置包括：
数据补齐处理单元，用于精简卷接收到主机IO后，根据磁盘旧数据对所述主机IO中小于grainSize的数据块按照数据块粒度grainSize进行数据补齐，得到合并新数据；
落盘处理单元，用于将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据落盘；
数据切分单元，用于当接收到主机IO读取请求后，将存储的所述合并新数据按照数据块粒度grainSize进行切分，得到若干grain粒度的数据块；
数据读取单元，用于根据所述数据块响应所述主机IO读取请求；
其中，所述数据读取单元包括：
批量查找子单元，用于根据连续的所述数据块批量查找元数据；
连续识别子单元，用于识别查找得到的元数据中是否存在连续PBA；若存在，触发连续读取子单元；
所述连续读取子单元，用于根据所述连续PBA合并构造读IO进行磁盘数据读取。
5.如权利要求4所述的全闪存储服务器系统数据管理装置，其特征在于，所述落盘处理单元包括：元数据批量插入子单元，用于将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据批量插入。
6.如权利要求4所述的全闪存储服务器系统数据管理装置，其特征在于，还包括提示单元，用于在将所述合并新数据写入分配的连续物理地址中，并将所述连续物理地址对应的LBA-PBA元数据落盘之后，输出主机IO与元数据写入成功的提示信息。
7.一种全闪存储服务器系统数据管理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述的全闪存储服务器系统数据管理方法的步骤。
8.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至3任一项所述的全闪存储服务器系统数据管理方法的步骤。
CN202010844591.6A 2020-08-20 2020-08-20 全闪存储服务器系统数据管理方法及相关组件 Active CN112000289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010844591.6A CN112000289B (zh) 2020-08-20 2020-08-20 全闪存储服务器系统数据管理方法及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010844591.6A CN112000289B (zh) 2020-08-20 2020-08-20 全闪存储服务器系统数据管理方法及相关组件

Publications (2)

Publication Number Publication Date
CN112000289A CN112000289A (zh) 2020-11-27
CN112000289B true CN112000289B (zh) 2023-01-10

Family

ID=73472293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010844591.6A Active CN112000289B (zh) 2020-08-20 2020-08-20 全闪存储服务器系统数据管理方法及相关组件

Country Status (1)

Country Link
CN (1) CN112000289B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116048424B (zh) * 2023-03-07 2023-06-06 浪潮电子信息产业股份有限公司 Io数据处理方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021512A (zh) * 2017-11-22 2018-05-11 深圳忆联信息系统有限公司 一种固态硬盘映射管理方法及固态硬盘
CN109445690A (zh) * 2018-10-08 2019-03-08 郑州云海信息技术有限公司 一种raid卡性能优化方法、装置、终端及存储介质
CN109521970A (zh) * 2018-11-20 2019-03-26 深圳芯邦科技股份有限公司 一种数据处理方法及相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021512A (zh) * 2017-11-22 2018-05-11 深圳忆联信息系统有限公司 一种固态硬盘映射管理方法及固态硬盘
CN109445690A (zh) * 2018-10-08 2019-03-08 郑州云海信息技术有限公司 一种raid卡性能优化方法、装置、终端及存储介质
CN109521970A (zh) * 2018-11-20 2019-03-26 深圳芯邦科技股份有限公司 一种数据处理方法及相关设备

Also Published As

Publication number Publication date
CN112000289A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
EP3726364B1 (en) Data write-in method and solid-state drive array
US11243706B2 (en) Fragment management method and fragment management apparatus
US10402096B2 (en) Unaligned IO cache for inline compression optimization
CN102255962B (zh) 一种分布式存储方法、装置和系统
CN108459826B (zh) 一种处理io请求的方法及装置
CN108733306B (zh) 一种文件合并方法及装置
US9727479B1 (en) Compressing portions of a buffer cache using an LRU queue
US11947842B2 (en) Method for writing data in append mode, device and storage medium
WO2017107015A1 (zh) 存储空间的分配方法及存储设备
WO2017050064A1 (zh) 共享内存数据库的内存管理方法及装置
WO2019000949A1 (zh) 分布式存储系统中元数据存储方法、系统及存储介质
CN113778338A (zh) 分布式存储数据读取效率优化方法、系统、设备和介质
CN111158602A (zh) 数据分层存储方法、读取方法、存储主机及存储系统
CN112000289B (zh) 全闪存储服务器系统数据管理方法及相关组件
CN115793957A (zh) 写数据的方法、装置及计算机存储介质
CN115079936A (zh) 一种数据写入方法及装置
US10846023B2 (en) Storage device and storage area management method for reducing garbage collection processing
US11144445B1 (en) Use of compression domains that are more granular than storage allocation units
US10853257B1 (en) Zero detection within sub-track compression domains
US20180095690A1 (en) Creating virtual storage volumes in storage systems
CN115904795A (zh) 存储系统中的数据存储方法及装置
CN113986117A (zh) 文件的存储方法、系统、计算设备及存储介质
CN109508255B (zh) 一种数据处理的方法及装置
CN114579062B (zh) 基于分布式存储系统的磁盘优化方法及装置
CN109002265A (zh) 一种数据处理的方法以及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant