CN117130547B - 一种存储引擎数据落盘平滑背压方法及装置 - Google Patents

一种存储引擎数据落盘平滑背压方法及装置 Download PDF

Info

Publication number
CN117130547B
CN117130547B CN202310956797.1A CN202310956797A CN117130547B CN 117130547 B CN117130547 B CN 117130547B CN 202310956797 A CN202310956797 A CN 202310956797A CN 117130547 B CN117130547 B CN 117130547B
Authority
CN
China
Prior art keywords
data
block
time
blocks
disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310956797.1A
Other languages
English (en)
Other versions
CN117130547A (zh
Inventor
张晖
梁波
贾德星
张炜刚
王永炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yunxi Technology Co ltd
Original Assignee
Shanghai Yunxi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yunxi Technology Co ltd filed Critical Shanghai Yunxi Technology Co ltd
Priority to CN202310956797.1A priority Critical patent/CN117130547B/zh
Publication of CN117130547A publication Critical patent/CN117130547A/zh
Application granted granted Critical
Publication of CN117130547B publication Critical patent/CN117130547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明涉及数据库领域，具体提供了一种存储引擎数据落盘平滑背压方法及装置，使用平滑梯度下降算法，在每次申请新的Block数据块时，计算出所述Block数据块中插入数据操作需要增加的总沉睡延迟时间，从而使得数据插入速率逐步降低到数据落盘速率；统计每次插入操作的数据量和已知的Block总沉睡延迟时间，计算出本次插入操作所需的沉睡延迟时间，使得每次插入操作耗时基本相等。与现有技术相比，本发明提升了数据库库整体的性能,并且提升了用户的使用体验。

Description

一种存储引擎数据落盘平滑背压方法及装置
技术领域
本发明涉及数据库领域，具体提供一种存储引擎数据落盘平滑背压方法及装置。
背景技术
数据库中的ACID机制要求事务提交的数据要长期存在。因此，这些数据会被数据库的存储引擎存储到持久化设备也就是磁盘上。存储引擎将数据存储到磁盘的速度受磁盘的IO限制。而且磁盘可能因为读取操作或其他线程的IO操作，导致存储引擎落盘时真正写入的磁盘速率会大幅抖动。磁盘的写入性能会影响存储引擎的数据落盘，而数据没有完全落盘又会阻塞存储引擎数据写入。因此，存储引擎的数据写入速率有可能会大幅抖动。
存储引擎数据写入速率大幅抖动存在的问题：
1、数据插入事务耗时差异很大，用户体验差；
2、很难直观看出当前存储引擎数据插入性能；
3、存储引擎插入性能抖动会影响上层执行计划的生成，从而影响数据库整体的性能。
发明内容
本发明是针对上述现有技术的不足，提供一种实用性强的存储引擎数据落盘平滑背压方法。
本发明进一步的技术任务是提供一种设计合理，安全适用的存储引擎数据落盘平滑背压装置。
本发明解决其技术问题所采用的技术方案是：
一种存储引擎数据落盘平滑背压方法，使用平滑梯度下降算法，在每次申请新的Block数据块时，计算出所述Block数据块中插入数据操作需要增加的总沉睡延迟时间，从而使得数据插入速率逐步降低到数据落盘速率；
统计每次插入操作的数据量和已知的Block总沉睡延迟时间，计算出本次插入操作所需的沉睡延迟时间，使得每次插入操作耗时基本相等。
进一步的，存储引擎设置写入缓存，用于在内存中按照特定格式存放新插入的数据，待插入的数据会按照顺序依次写入到写入缓存中，写入缓存按照固定大小申请内存空间，且写入缓存配置最大阈值。
进一步的，写入缓存中的数据落盘到磁盘时，以Block为单位落盘，一次落盘一个Block中的所有数据，Block数据落盘完成后，将从写入缓存中删除掉，内存空间释放。
进一步的，假定写入缓存最多申请的Block数量为S；
S的计算公式为：写入缓存的最大阈值/Block块大小。
进一步的，统计每个Block落盘并从写入缓存中删除操作的耗时情况，形成Block落盘耗时的数组,使用环型数组存储最新耗时统计，数组记为BlockDelCost；
在极限写入压力测试的场景中，写入缓存空间足够时，数据写入速率远高于数据落盘速率，即最新Block块存满数据的耗时数值要远小于BlockDelCost数组中耗时数值；
使用梯度下降算法，使得Block块存满数据的耗时通过增加沉睡延迟时间平滑上升到BlockDelCost的耗时。
进一步的，每次Block申请时，使用梯度下降算法计算出沉睡延迟时间增量，其计算过程如下：
假定写入缓存最多申请的Block数量为S，当前写入缓存已有的Block数量为C；
当C等于S时，说明写入缓存已经没有空间，需要每隔特定时间重试，直到C小于S为止。
进一步的，当C小于S时，使用如下计算过程：
假定最新Block块存满数据的耗时为I,BlockDelCost数组内的平均耗时为D；
计算新的Block生成速率，使得Block生成速率逐步向Block落盘速率靠近；
首先计算写入缓存剩余空间被新增的Block占满需要经历X个Block的生成，Block生成速率线性变化时，写入缓存剩余空间＝(最新Block生成速率–最新Block落盘速率)*X/2；
在生成X个Block后，写入缓存空间用尽，X的计算公式为：
梯度斜率计算公式为：
Block沉睡延迟时间增量T的计算公式为：
进一步的，将当前Block块的沉睡延迟时间分配到每个插入操作中，分配策略按照Block块中每个字节；
当前Blcok块总沉睡延迟时间为ST＝LT+T，
其中，LT为上个Block块的总沉睡延迟时间，T为当前Block块计算出的沉睡延迟时间增量；
当ST小于0时，将ST置为0；
假定当前插入数据量为M个字节，假定Block块空间大小为B。则本次插入操作需要沉睡延迟的时间计算公式为：
一种存储引擎数据落盘平滑背压装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行一种存储引擎数据落盘平滑背压方法。
本发明的一种存储引擎数据落盘平滑背压方法及装置和现有技术相比，具有以下突出的有益效果：
本发明通过使用平滑梯度下降算法，提出了一种存储引擎数据落盘平滑背压的处理方法。使得数据插入性能能够平滑稳定的变化，而不会大幅抖动，提升了数据库库整体的性能,并且提升了用户的使用体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1是一种存储引擎数据落盘平滑背压方法的架构示意图；
附图2是一种存储引擎数据落盘平滑背压方法中写入缓存剩余空间示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
下面给出一个最佳实施例：
如图1所示，本实施例中的一种存储引擎数据落盘平滑背压方法，使用平滑梯度下降算法，在每次申请新的Block数据块时，计算出所述Block数据块中插入数据操作需要增加的总沉睡延迟时间，从而使得数据插入速率逐步降低到数据落盘速率；
统计每次插入操作的数据量和已知的Block总沉睡延迟时间，计算出本次插入操作所需的沉睡延迟时间，使得每次插入操作耗时基本相等。
存储引擎设置写入缓存，用于在内存中按照特定格式存放新插入的数据。待插入的数据会按照顺序依次写入到写入缓存中。写入缓存按照固定大小申请内存空间(可配置，默认为64K)。写入缓存也有最大阈值(可配置，默认为256M)。
写入缓存中的数据落盘到磁盘时，也是以Block为单位落盘，一次落盘一个Block中的所有数据。Block数据落盘完成后，就将其从写入缓存中删除掉，内存空间释放。
假定写入缓存最多申请的Block数量为S。
S的计算公式为：写入缓存的最大阈值/Block块大小。
统计每个Block落盘并从写入缓存中删除操作的耗时情况，形成Block落盘耗时的数组,使用环型数组存储最新的1000条(可配置)耗时统计。数组记为BlockDelCost。
在极限写入压力测试的场景中，写入缓存空间足够时，数据写入速率远高于数据落盘速率，即最新Block块存满数据的耗时数值要远小于BlockDelCost数组中耗时数值。
通过使用梯度下降算法，使得Block块存满数据的耗时通过增加沉睡延迟时间平滑上升到BlockDelCost的耗时。
其中，如图2所示，每次Block申请时，使用梯度下降算法计算出沉睡延迟时间增量。其计算过程如下：
假定写入缓存最多申请的Block数量为S，当前写入缓存已有的Block数量为C。
当C等于S时，说明写入缓存已经没有空间，需要每隔特定时间(FT)重试，直到C小于S为止。
当C小于S时，使用如下计算过程：
假定最新Block块存满数据的耗时为I,BlockDelCost数组内的平均耗时为D。
计算新的Block生成速率，以便使得Block生成速率逐步向Block落盘速率靠近。本专利首先计算写入缓存剩余空间被新增的Block占满需要经历X个Block的生成。Block生成速率线性变化时，写入缓存剩余空间＝(最新Block生成速率–最新Block落盘速率)*X/2；
在生成X个Block后，写入缓存空间用尽，X的计算公式为：
梯度斜率计算公式为：
该Block沉睡延迟时间增量T的计算公式为：
将当前Block块的沉睡延迟时间分配到每个插入操作中。分配策略按照Block块中每个字节。
将当前Block块的沉睡延迟时间分配到每个插入操作中，分配策略按照Block块中每个字节；
当前Blcok块总沉睡延迟时间为ST＝LT+T，
其中，LT为上个Block块的总沉睡延迟时间，T为当前Block块计算出的沉睡延迟时间增量；
当ST小于0时，将ST置为0；
假定当前插入数据量为M个字节，假定Block块空间大小为B。则本次插入操作需要沉睡延迟的时间计算公式为：
基于上述方法，本实施例中的一种存储引擎数据落盘平滑背压装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行一种存储引擎数据落盘平滑背压方法。
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明权利要求书记载的技术方案且任何所属技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种存储引擎数据落盘平滑背压方法，其特征在于，使用平滑梯度下降算法，在每次申请新的Block数据块时，计算出所述Block数据块中插入数据操作需要增加的总沉睡延迟时间，从而使得数据插入速率逐步降低到数据落盘速率；
统计每次插入操作的数据量和已知的Block总沉睡延迟时间，计算出本次插入操作所需的沉睡延迟时间，使得每次插入操作耗时基本相等；
每次Block申请时，使用梯度下降算法计算出沉睡延迟时间增量，其计算过程如下：
假定写入缓存最多申请的Block数量为 S，当前写入缓存已有的Block数量为 C；
当 C 等于 S 时，说明写入缓存已经没有空间，需要每隔特定时间重试，直到C小于S为止；
当C小于 S 时，使用如下计算过程：
假定最新Block块存满数据的耗时为 I, BlockDelCost数组内的平均耗时为 D；
计算新的Block生成速率，使得 Block生成速率逐步向 Block落盘速率靠近；
首先计算写入缓存剩余空间被新增的Block占满需要经历X个Block的生成，Block生成速率线性变化时，写入缓存剩余空间 = （最新Block生成速率– 最新Block落盘速率） * X/ 2；
在生成X个Block后，写入缓存空间用尽，X的计算公式为：
；
梯度斜率计算公式为：
；
Block沉睡延迟时间增量 T的计算公式为：
；
将当前Block块的沉睡延迟时间分配到每个插入操作中，分配策略为按照Block块中每个字节进行如下操作；
当前Blcok块总沉睡延迟时间为 ST = LT+ T，
其中，LT为上个Block块的总沉睡延迟时间，T为当前Block块计算出的沉睡延迟时间增量；
当 ST 小于 0 时， 将 ST 置为0；
假定当前插入数据量为 M 个字节，假定Block块空间大小为B， 则本次插入操作需要沉睡延迟的时间计算公式为：
。
2.根据权利要求1所述的一种存储引擎数据落盘平滑背压方法，其特征在于，存储引擎设置写入缓存，用于在内存中按照特定格式存放新插入的数据，所述新插入的数据会按照顺序依次写入到写入缓存中，写入缓存按照固定大小申请内存空间，且写入缓存配置最大阈值。
3.根据权利要求2所述的一种存储引擎数据落盘平滑背压方法，其特征在于，写入缓存中的数据落盘到磁盘时，以Block为单位落盘，一次落盘一个Block中的所有数据，Block数据落盘完成后，将从写入缓存中删除掉，内存空间释放。
4.根据权利要求3所述的一种存储引擎数据落盘平滑背压方法，其特征在于，假定写入缓存最多申请的Block数量为 S；
S的计算公式为：写入缓存的最大阈值 / Block块大小。
5.根据权利要求4所述的一种存储引擎数据落盘平滑背压方法，其特征在于，统计每个Block落盘并从写入缓存中删除操作的耗时情况，形成Block落盘耗时的数组,使用环型数组存储最新耗时统计，数组记为BlockDelCost；
在极限写入压力测试的场景中，写入缓存空间足够时，数据写入速率远高于数据落盘速率，即最新Block块存满数据的耗时数值要远小于 BlockDelCost数组中耗时数值；
使用梯度下降算法，使得Block块存满数据的耗时通过增加沉睡延迟时间平滑上升到BlockDelCost的耗时。
6.一种存储引擎数据落盘平滑背压装置，其特征在于，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至5中任一所述的方法。
CN202310956797.1A 2023-08-01 2023-08-01 一种存储引擎数据落盘平滑背压方法及装置 Active CN117130547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310956797.1A CN117130547B (zh) 2023-08-01 2023-08-01 一种存储引擎数据落盘平滑背压方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310956797.1A CN117130547B (zh) 2023-08-01 2023-08-01 一种存储引擎数据落盘平滑背压方法及装置

Publications (2)

Publication Number Publication Date
CN117130547A CN117130547A (zh) 2023-11-28
CN117130547B true CN117130547B (zh) 2024-05-28

Family

ID=88853644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310956797.1A Active CN117130547B (zh) 2023-08-01 2023-08-01 一种存储引擎数据落盘平滑背压方法及装置

Country Status (1)

Country Link
CN (1) CN117130547B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000065447A1 (en) * 1999-04-23 2000-11-02 Wild File, Inc. Method and apparatus for dealing with data corruption and shared disks in the context of saving, using and recovering data
CN110673798A (zh) * 2019-09-20 2020-01-10 苏州浪潮智能科技有限公司 一种存储系统及其io落盘方法和装置
CN112650589A (zh) * 2020-12-29 2021-04-13 成都科来网络技术有限公司 一种均衡系统资源和落盘实时性的方法及可读存储介质
CN113377292A (zh) * 2021-07-02 2021-09-10 北京青云科技股份有限公司 一种单机存储引擎
CN115408149A (zh) * 2022-08-01 2022-11-29 浪潮软件集团有限公司 一种时序存储引擎内存设计及分配方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362275B (zh) * 2019-07-10 2021-09-07 深圳大普微电子科技有限公司 提升固态硬盘服务质量的方法及固态硬盘

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000065447A1 (en) * 1999-04-23 2000-11-02 Wild File, Inc. Method and apparatus for dealing with data corruption and shared disks in the context of saving, using and recovering data
CN110673798A (zh) * 2019-09-20 2020-01-10 苏州浪潮智能科技有限公司 一种存储系统及其io落盘方法和装置
CN112650589A (zh) * 2020-12-29 2021-04-13 成都科来网络技术有限公司 一种均衡系统资源和落盘实时性的方法及可读存储介质
CN113377292A (zh) * 2021-07-02 2021-09-10 北京青云科技股份有限公司 一种单机存储引擎
CN115408149A (zh) * 2022-08-01 2022-11-29 浪潮软件集团有限公司 一种时序存储引擎内存设计及分配方法及装置

Also Published As

Publication number Publication date
CN117130547A (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
US11048442B2 (en) Scalable in-memory object storage system using hybrid memory devices
US8032724B1 (en) Demand-driven opportunistic garbage collection in memory components
US10387062B2 (en) Storage system with cells changeable between two different level cell modes based on predicted lifetime
US10120601B2 (en) Storage system and data processing method
US8843712B1 (en) Sensed opportunistic garbage collection in memory components
US20170131902A1 (en) Multi-Tiered Memory with Different Metadata Levels
US8209503B1 (en) Digital locked loop on channel tagged memory requests for memory optimization
CN107168657B (zh) 一种基于分布式块存储的虚拟磁盘分层缓存设计方法
JP4249267B2 (ja) ファイル・システムにおけるディスク・スペースの解放
US9122580B2 (en) Flash memory system and managing and collecting methods for flash memory with invalid page messages thereof
CN102053859B (zh) 批量数据处理的方法与装置
CN112148627A (zh) 针对分区命名空间的分区形成
CN104503703B (zh) 缓存的处理方法和装置
US8706998B2 (en) Method for managing flash memories having mixed memory types
EP2631821A1 (en) File storage method and device thereof
CN101533408A (zh) 一种海量数据的处理方法及处理装置
CN108108128A (zh) 一种混合ssd的磨损均衡方法及ssd
CN103608782A (zh) Lsb页面和msb页面中的选择性数据存储
CN107506138B (zh) 一种固态硬盘提升寿命的方法
US5870551A (en) Lookahead buffer replacement method using ratio of clients access order offsets and buffer data block offsets
CN101799744A (zh) 固态驱动器命令分组
CN115408149A (zh) 一种时序存储引擎内存设计及分配方法及装置
CN117130547B (zh) 一种存储引擎数据落盘平滑背压方法及装置
US10180901B2 (en) Apparatus, system and method for managing space in a storage device
CN106469119A (zh) 一种基于nvdimm的数据写缓存方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant