CN111124943A - 一种数据处理方法、装置、设备及存储介质 - Google Patents

一种数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111124943A
CN111124943A CN201911386439.1A CN201911386439A CN111124943A CN 111124943 A CN111124943 A CN 111124943A CN 201911386439 A CN201911386439 A CN 201911386439A CN 111124943 A CN111124943 A CN 111124943A
Authority
CN
China
Prior art keywords
dirty data
data block
recovery rate
target dirty
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911386439.1A
Other languages
English (en)
Other versions
CN111124943B (zh
Inventor
王鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inspur Data Technology Co Ltd
Original Assignee
Beijing Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inspur Data Technology Co Ltd filed Critical Beijing Inspur Data Technology Co Ltd
Priority to CN201911386439.1A priority Critical patent/CN111124943B/zh
Publication of CN111124943A publication Critical patent/CN111124943A/zh
Application granted granted Critical
Publication of CN111124943B publication Critical patent/CN111124943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0253—Garbage collection, i.e. reclamation of unreferenced memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明公开了一种数据处理方法、装置、设备及存储介质，该方法的步骤包括：获取预设数量的目标脏数据块；计算目标脏数据块对应的空间回收率，空间回收率为目标脏数据块中的无效数据与目标脏数据块的全部数据的比值；根据空间回收率生成随机写操作与回收操作之间的执行权重，空间回收率与回收操作在执行权重中的权重占比呈逆相关；基于执行权重对目标脏数据块执行回收操作，并基于执行权重对新数据执行随机写操作。本方法相对确保了SSD中随机写操作的整体稳定性。此外本发明还提供一种数据处理装置、设备及存储介质，有益效果同上所述。

Description

一种数据处理方法、装置、设备及存储介质
技术领域
本发明涉及数据存储领域，特别是涉及一种数据处理方法、装置、设备及存储介质。
背景技术
SSD(Solid State Disk，固态硬盘)，由控制单元和存储单元组成，存储单元负责存储数据，控住单元负责控制数据的读取写入，目前最为成熟应用最广泛的存储介质为NAND FLASH存储颗粒。
在SSD的随机写操作过程中，可能会对存有数据的逻辑块地址进行新数据的覆盖写入，由于NAND FLASH的硬件特性导致新数据无法直接覆盖写于逻辑块地址对应的原始物理块地址中，因此新数据会被写入空闲物理块对应的新物理块地址下，进而原始物理块地址的物理块被设置为无效状态成为脏数据块，而SSD需要对脏数据块进行回收操作，即将脏数据块中的有效数据部分迁移至空闲物理块，以此基于脏数据块回收出更多的空闲物理块。由于SSD中的回收操作与随机写操作时同时存在，并且空闲物理块的生成状态直接影响到随机写操作的稳定性，当前对于随机写操作的稳定性是本领域关注的重要性能指标。
由此可见，提供一种数据处理方法，以相对确保SSD中随机写操作的稳定性，是本领领域技术人员需要解决的问题。
发明内容
本发明的目的是提供一种数据处理方法、装置、设备及存储介质，以相对确保SSD中随机写操作的稳定性。
为解决上述技术问题，本发明提供一种数据处理方法，应用于SSD设备，包括：
获取预设数量的目标脏数据块；
计算目标脏数据块对应的空间回收率，空间回收率为目标脏数据块中的无效数据与目标脏数据块的全部数据的比值；
根据空间回收率生成随机写操作与回收操作之间的执行权重，空间回收率与回收操作在执行权重中的权重占比呈逆相关；
基于执行权重对目标脏数据块执行回收操作，并基于执行权重对新数据执行随机写操作。
优选的，在获取预设数量的目标脏数据块之前，方法还包括：
获取空闲物理块的空闲块数量；
判断空闲块数量是否低于预设阈值范围；
如果空闲块数量低于预设阈值范围，则执行获取预设数量的目标脏数据块的步骤。
优选的，在判断空闲块数量是否低于预设阈值范围之后，方法还包括：
如果空闲块数量未低于预设阈值范围，则基于所有数据处理资源执行对新数据的随机写操作。
优选的，当目标脏数据块的数量大于1时，计算目标脏数据块对应的空间回收率，包括：
获取各目标脏数据块对应的子空间回收率，并将各子空间回收率的平均值设置为空间回收率。
优选的，在基于执行权重对目标脏数据块执行回收操作，并基于执行权重对新数据执行随机写操作之后，方法还包括：
当完成对目标脏数据块中一个脏数据块的回收操作后，在目标脏数据块中增加新脏数据块，并执行计算目标脏数据块对应的空间回收率的步骤。
优选的，根据空间回收率生成随机写操作与回收操作之间的执行权重，包括：
根据空间回收率生成随机写操作与回收操作之间的执行频率权重。
此外，本发明还提供一种数据处理装置，包括：
脏数据块获取模块，用于获取预设数量的目标脏数据块；
回收率计算模块，用于计算目标脏数据块对应的空间回收率，空间回收率为目标脏数据块中的无效数据与目标脏数据块的全部数据的比值；
权重计算模块，用于根据空间回收率生成随机写操作与回收操作之间的执行权重，空间回收率与回收操作在执行权重中的权重占比呈逆相关；
权重执行模块，用于基于执行权重对目标脏数据块执行回收操作，并基于执行权重对新数据执行随机写操作。
优选的，装置还包括：
空闲快获取模块，用于获取空闲物理块的空闲块数量；
判断模块，用于判断空闲块数量是否低于预设阈值范围，如果是，则调用脏数据块获取模块。
此外，本发明还提供一种SSD设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述的数据处理方法的步骤。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的数据处理方法的步骤。
本发明所提供的数据处理方法，应用于SSD设备，首先获取预设数量的目标脏数据块，并计算目标脏数据块对应的空间回收率，空间回收率为该目标脏数据块中的无效数据与该目标脏数据块中全部数据的比值，进而根据空间回收率生成随机写操作与回收操作之间的执行权重，其中空间回收率与回收操作在执行权重中的权重占比为反比关系，最终分别基于执行权重对目标脏数据块执行回收操作，对新数据执行随机写操作。如果空间回收率的值越高，则说明在对目标脏数据块进行单位周期内的回收操作时能够获取到数量相对较多的空闲物理块，因此通过降低回收操作执行权重占比，相对避免随机写操作性能的降低；而如果空间回收率的值越低，则说明在对目标脏数据块进行单位周期内的回收操作时能够获取到数量相对较少的空闲物理块，进而通过提高回收操作执行权重占比相对确保空间物理块的数量能够支持随机写操作的执行，进而本方法相对确保了SSD中随机写操作的整体稳定性。此外本发明还提供一种数据处理装置、设备及存储介质，有益效果同上所述。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种数据处理方法的流程图；
图2为本发明实施例公开的一种具体的数据处理方法的流程图；
图3为本发明实施例公开的一种数据处理装置的组成结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
在SSD的随机写操作过程中，可能会对存有数据的逻辑块地址进行新数据的覆盖写入，由于NAND FLASH的硬件特性导致新数据无法直接覆盖写于逻辑块地址对应的原始物理块地址中，因此新数据会被写入空闲物理块对应的新物理块地址下，进而原始物理块地址的物理块被设置为无效状态成为脏数据块，而SSD需要对脏数据块进行回收操作，即将脏数据块中的有效数据部分迁移至空闲物理块，以此基于脏数据块回收出更多的空闲物理块。由于SSD中的回收操作与随机写操作时同时存在，并且空闲物理块的生成状态直接影响到随机写操作的稳定性，当前对于随机写操作的稳定性是本领域关注的重要性能指标。
为此，本发明的核心是提供一种数据处理方法，以相对确保SSD中随机写操作的稳定性。本发明的另一核心是提供一种数据处理装置、设备及存储介质。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
请参见图1所示，本发明实施例公开了一种数据处理方法，应用于SSD设备，具体步骤包括：
步骤S10：获取预设数量的目标脏数据块。
需要说明的是，本步骤中的目标脏数据块指的是SSD设备中被选中的脏数据块，并且目标脏数据块是即将被执行回收操作的脏数据块，而在SSD设备的全部脏数据块中获取目标脏数据块的方式包括但不限于依照各个脏数据块的地址进行随机获取，或依照脏数据块之间地址的先后进行顺序获取。另外，本步骤中的预设数量可以为1或大于1且小于或等于SSD设备中脏数据块总量的值。
步骤S11：计算目标脏数据块对应的空间回收率，空间回收率为目标脏数据块中的无效数据与目标脏数据块的全部数据的比值。
在获取到目标脏数据块后，进一步计算目标脏数据块对应的空间回收率，空间回收率为目标脏数据块中的无效数据与该目标脏数据块的全部数据之间的比值，也就是说，如果目标脏数据块中的无效数据在目标脏数据块中的整体占比越高，则说明对目标脏数据块执行回收操作的效益越高，空间回收率反映的是对目标脏数据块执行回收操作时，能够产生的空闲物理块的数量程度。
步骤S12：根据空间回收率生成随机写操作与回收操作之间的执行权重，空间回收率与回收操作在执行权重中的权重占比呈逆相关。
在生成空间回收率后，进一步根据空间回收率生成随机写操作与回收操作之间的执行权重，随机写操作与回收操作之间的执行权重指的是随机写操作以及回收操作之间对CPU设备中IO资源的占用比例，进一步反映在随机写操作与回收操作之间的执行频率，以及空闲物理块中新数据的写入频率与空闲物理块的生成频率。其中，本步骤的重点在于空间回收率与回收操作在执行权重中的权重占比呈逆相关，也就是说，空间回收率越高，则生成空闲物理块的数量越多，可执行随机写操作的空闲物理块数量较多，因此通过降低回收操作在执行权重中的权重占比，进而达到提高随机写操作的执行权重的目的，确保随机写操作的效率；而空间回收率越高，则生成空闲物理块的数量越少，可执行随机写操作的空闲物理块数量较少，因此通过升高回收操作在执行权重的中权重占比，进而达到降低随机写操作的执行权重的目的，避免因空闲物理块的数量无法满足随机写操作的需求时导致的随机写性能骤降的情况。
步骤S13：基于执行权重对目标脏数据块执行回收操作，并基于执行权重对新数据执行随机写操作。
在生成执行权重后，进一步基于执行权重中随机写操作与回收操作的比重，分别对目标脏数据块执行回收操作，并对新数据执行随机写操作。
本发明所提供的数据处理方法，应用于SSD设备，首先获取预设数量的目标脏数据块，并计算目标脏数据块对应的空间回收率，空间回收率为该目标脏数据块中的无效数据与该目标脏数据块中全部数据的比值，进而根据空间回收率生成随机写操作与回收操作之间的执行权重，其中空间回收率与回收操作在执行权重中的权重占比为反比关系，最终分别基于执行权重对目标脏数据块执行回收操作，对新数据执行随机写操作。如果空间回收率的值越高，则说明在对目标脏数据块进行单位周期内的回收操作时能够获取到数量相对较多的空闲物理块，因此通过降低回收操作执行权重占比，相对避免随机写操作性能的降低；而如果空间回收率的值越低，则说明在对目标脏数据块进行单位周期内的回收操作时能够获取到数量相对较少的空闲物理块，进而通过提高回收操作执行权重占比相对确保空间物理块的数量能够支持随机写操作的执行，进而本方法相对确保了SSD中随机写操作的整体稳定性。
在上述实施例的基础上，作为一种优选的实施方式，当目标脏数据块的数量大于1时，计算目标脏数据块对应的空间回收率，包括：
获取各目标脏数据块对应的子空间回收率，并将各子空间回收率的平均值设置为空间回收率。
需要说明的是，本实施方式是在当获取的目标脏数据块的数量大于1时，计算目标脏数据块对应的空间回收率的方式是分别计算各个目标脏数据块对应的子空间回收率，进而将各个子空间回收率的平均值设置为空间回收率，以此确保目标脏数据块的数量大于1时空间回收率的整体准确性。
在上述实施方式的基础上，作为一种优选的实施方式，在基于执行权重对目标脏数据块执行回收操作，并基于执行权重对新数据执行随机写操作之后，方法还包括：
当完成对目标脏数据块中一个脏数据块的回收操作后，在目标脏数据块中增加新脏数据块，并执行计算目标脏数据块对应的空间回收率的步骤。
需要说明的是，本实施方式是在以当前生成的执行权重对目标脏数据块执行回收操作后，当完成对目标脏数据块中一个脏数据块的回收操作后，进一步在目标脏数据块中增加新数据块，并再次执行计算目标脏数据块对应的空间回收率的步骤，以此生成新的执行权重，从而确保执行权重的实时准确性。
请参见图2所示，本发明实施例公开了一种数据处理方法，包括：
步骤S20：获取空闲物理块的空闲块数量。
步骤S21：判断空闲块数量是否低于预设阈值范围，如果是，则执行步骤S22，否则，执行步骤S26。
步骤S22：获取预设数量的目标脏数据块。
步骤S23：计算目标脏数据块对应的空间回收率，空间回收率为目标脏数据块中的无效数据与目标脏数据块的全部数据的比值。
步骤S24：根据空间回收率生成随机写操作与回收操作之间的执行权重，空间回收率与回收操作在执行权重中的权重占比呈逆相关。
步骤S25：基于执行权重对目标脏数据块执行回收操作，并基于执行权重对新数据执行随机写操作。
步骤S26：基于所有数据处理资源执行对新数据的随机写操作。
需要说明的是，本实施例在获取预设数量的目标脏数据块之前，先获取SSD设备中空闲物理块的空闲块数量，进而判断空闲块数量是否低于预设阈值范围，当空闲块数量未低于预设阈值范围时，将所有数据处理资源用于执行对新数据的随机写操作，即不执行回收操作，进而只有当空闲块数量低于预设阈值范围，即空闲物理块的数量低于一定程度时，计算随机写操作与回收操作之间的执行权重，并以该执行权重对分别执行回收操作以及随机写操作。本实施例中的预设阈值范围是影响随机写操作整体稳定性的空闲块数量的临界范围，应根据实际情况而定，在此不做具体限定。
本实施例考虑到当空闲物理块的数量小于一定程度时，才可能面临执行随机写操作时空闲物理块数量不足的情况，因此当空闲块数量不低于预设阈值范围时，仅执行随机写操作，仅当空闲块数量低于预设阈值范围时，才进一步同时执行随机写操作与回收操作，相对确保了随机写操作的整体效率。
在上述一系列实施例的基础上，作为一种优选的实施方式，根据空间回收率生成随机写操作与回收操作之间的执行权重，包括：
根据空间回收率生成随机写操作与回收操作之间的执行频率权重。
由于执行频率权重能够直接影响单位时间内基于随机写操作占用的空闲物理块数量以及回收操作的生成的空闲物理块数量，因此能够相对准确的用于调控SSD设备中空闲物理块的数量，进一步确保SSD中随机写操作的稳定性。
另一方面，本发明还提供了一种数据处理装置，应用于SSD设备，请参见图3，其示出了一种数据处理装置一个实施例的组成结构示意图，该装置包括：
脏数据块获取模块10，用于获取预设数量的目标脏数据块；
回收率计算模块11，用于计算目标脏数据块对应的空间回收率，空间回收率为目标脏数据块中的无效数据与目标脏数据块的全部数据的比值；
权重计算模块12，用于根据空间回收率生成随机写操作与回收操作之间的执行权重，空间回收率与回收操作在执行权重中的权重占比呈逆相关；
权重执行模块13，用于基于执行权重对目标脏数据块执行回收操作，并基于执行权重对新数据执行随机写操作。
本发明所提供的数据处理装置，应用于SSD设备，首先获取预设数量的目标脏数据块，并计算目标脏数据块对应的空间回收率，空间回收率为该目标脏数据块中的无效数据与该目标脏数据块中全部数据的比值，进而根据空间回收率生成随机写操作与回收操作之间的执行权重，其中空间回收率与回收操作在执行权重中的权重占比为反比关系，最终分别基于执行权重对目标脏数据块执行回收操作，对新数据执行随机写操作。如果空间回收率的值越高，则说明在对目标脏数据块进行单位周期内的回收操作时能够获取到数量相对较多的空闲物理块，因此通过降低回收操作执行权重占比，相对避免随机写操作性能的降低；而如果空间回收率的值越低，则说明在对目标脏数据块进行单位周期内的回收操作时能够获取到数量相对较少的空闲物理块，进而通过提高回收操作执行权重占比相对确保空间物理块的数量能够支持随机写操作的执行，进而本装置相对确保了SSD中随机写操作的整体稳定性。
在上述实施例的基础上，作为一种优选的实施方式，装置还包括：
空闲快获取模块，用于获取空闲物理块的空闲块数量；
判断模块，用于判断空闲块数量是否低于预设阈值范围，如果是，则调用脏数据块获取模块。
另一方面，本发明还提供了一种SSD设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述的数据处理方法的步骤。
本发明所提供的SSD设备，首先获取预设数量的目标脏数据块，并计算目标脏数据块对应的空间回收率，空间回收率为该目标脏数据块中的无效数据与该目标脏数据块中全部数据的比值，进而根据空间回收率生成随机写操作与回收操作之间的执行权重，其中空间回收率与回收操作在执行权重中的权重占比为反比关系，最终分别基于执行权重对目标脏数据块执行回收操作，对新数据执行随机写操作。如果空间回收率的值越高，则说明在对目标脏数据块进行单位周期内的回收操作时能够获取到数量相对较多的空闲物理块，因此通过降低回收操作执行权重占比，相对避免随机写操作性能的降低；而如果空间回收率的值越低，则说明在对目标脏数据块进行单位周期内的回收操作时能够获取到数量相对较少的空闲物理块，进而通过提高回收操作执行权重占比相对确保空间物理块的数量能够支持随机写操作的执行，进而本设备相对确保了SSD中随机写操作的整体稳定性。
此外，本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的数据处理方法的步骤。
本发明所提供的计算机可读存储介质，应用于SSD设备，首先获取预设数量的目标脏数据块，并计算目标脏数据块对应的空间回收率，空间回收率为该目标脏数据块中的无效数据与该目标脏数据块中全部数据的比值，进而根据空间回收率生成随机写操作与回收操作之间的执行权重，其中空间回收率与回收操作在执行权重中的权重占比为反比关系，最终分别基于执行权重对目标脏数据块执行回收操作，对新数据执行随机写操作。如果空间回收率的值越高，则说明在对目标脏数据块进行单位周期内的回收操作时能够获取到数量相对较多的空闲物理块，因此通过降低回收操作执行权重占比，相对避免随机写操作性能的降低；而如果空间回收率的值越低，则说明在对目标脏数据块进行单位周期内的回收操作时能够获取到数量相对较少的空闲物理块，进而通过提高回收操作执行权重占比相对确保空间物理块的数量能够支持随机写操作的执行，进而本计算机可读存储介质相对确保了SSD中随机写操作的整体稳定性。
以上对本发明所提供的一种数据处理方法、装置、设备及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据处理方法，其特征在于，应用于SSD设备，包括：
获取预设数量的目标脏数据块；
计算所述目标脏数据块对应的空间回收率，所述空间回收率为所述目标脏数据块中的无效数据与所述目标脏数据块的全部数据的比值；
根据所述空间回收率生成随机写操作与回收操作之间的执行权重，所述空间回收率与所述回收操作在所述执行权重中的权重占比呈逆相关；
基于所述执行权重对所述目标脏数据块执行所述回收操作，并基于所述执行权重对新数据执行所述随机写操作。
2.根据权利要求1所述的数据处理方法，其特征在于，在所述获取预设数量的目标脏数据块之前，所述方法还包括：
获取空闲物理块的空闲块数量；
判断所述空闲块数量是否低于预设阈值范围；
如果所述空闲块数量低于所述预设阈值范围，则执行所述获取预设数量的目标脏数据块的步骤。
3.根据权利要求2所述的数据处理方法，其特征在于，在所述判断所述空闲块数量是否低于预设阈值范围之后，所述方法还包括：
如果所述空闲块数量未低于所述预设阈值范围，则基于所有数据处理资源执行对所述新数据的所述随机写操作。
4.根据权利要求1所述的数据处理方法，其特征在于，当所述目标脏数据块的数量大于1时，所述计算所述目标脏数据块对应的空间回收率，包括：
获取各所述目标脏数据块对应的子空间回收率，并将各所述子空间回收率的平均值设置为所述空间回收率。
5.根据权利要求4所述的数据处理方法，其特征在于，在所述基于所述执行权重对所述目标脏数据块执行所述回收操作，并基于所述执行权重对新数据执行所述随机写操作之后，所述方法还包括：
当完成对所述目标脏数据块中一个脏数据块的所述回收操作后，在所述目标脏数据块中增加新脏数据块，并执行所述计算所述目标脏数据块对应的空间回收率的步骤。
6.根据权利要求1至5任意一项所述的数据处理方法，其特征在于，所述根据所述空间回收率生成随机写操作与回收操作之间的执行权重，包括：
根据所述空间回收率生成所述随机写操作与所述回收操作之间的执行频率权重。
7.一种数据处理装置，其特征在于，包括：
脏数据块获取模块，用于获取预设数量的目标脏数据块；
回收率计算模块，用于计算所述目标脏数据块对应的空间回收率，所述空间回收率为所述目标脏数据块中的无效数据与所述目标脏数据块的全部数据的比值；
权重计算模块，用于根据所述空间回收率生成随机写操作与回收操作之间的执行权重，所述空间回收率与所述回收操作在所述执行权重中的权重占比呈逆相关；
权重执行模块，用于基于所述执行权重对所述目标脏数据块执行所述回收操作，并基于所述执行权重对新数据执行所述随机写操作。
8.根据权利要求7所述的数据处理装置，其特征在于，所述装置还包括：
空闲快获取模块，用于获取空闲物理块的空闲块数量；
判断模块，用于判断所述空闲块数量是否低于预设阈值范围，如果是，则调用所述脏数据块获取模块。
9.一种SSD设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的数据处理方法的步骤。
CN201911386439.1A 2019-12-29 2019-12-29 一种数据处理方法、装置、设备及存储介质 Active CN111124943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911386439.1A CN111124943B (zh) 2019-12-29 2019-12-29 一种数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911386439.1A CN111124943B (zh) 2019-12-29 2019-12-29 一种数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111124943A true CN111124943A (zh) 2020-05-08
CN111124943B CN111124943B (zh) 2022-04-22

Family

ID=70504420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911386439.1A Active CN111124943B (zh) 2019-12-29 2019-12-29 一种数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111124943B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343849A (zh) * 2023-05-30 2023-06-27 北京得瑞领新科技有限公司 提升ssd混合读写性能的方法、装置、存储介质及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110010557A1 (en) * 2009-07-07 2011-01-13 Mellanox Technologies Ltd Control message signature for device control
US20110320733A1 (en) * 2010-06-04 2011-12-29 Steven Ted Sanford Cache management and acceleration of storage media
CN102713828A (zh) * 2011-12-21 2012-10-03 华为技术有限公司 提供多设备镜像和条带功能的磁盘缓存方法、设备和系统
CN103136215A (zh) * 2011-11-24 2013-06-05 腾讯科技（深圳）有限公司 存储系统的数据读写方法和装置
CN104063186A (zh) * 2014-06-30 2014-09-24 成都万维图新信息技术有限公司 一种电子设备的数据访问方法
CN106502592A (zh) * 2016-10-26 2017-03-15 郑州云海信息技术有限公司 固态硬盘缓存块回收方法及系统
CN109086223A (zh) * 2018-08-21 2018-12-25 郑州云海信息技术有限公司 一种控制垃圾回收的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110010557A1 (en) * 2009-07-07 2011-01-13 Mellanox Technologies Ltd Control message signature for device control
US20110320733A1 (en) * 2010-06-04 2011-12-29 Steven Ted Sanford Cache management and acceleration of storage media
CN103136215A (zh) * 2011-11-24 2013-06-05 腾讯科技（深圳）有限公司 存储系统的数据读写方法和装置
CN102713828A (zh) * 2011-12-21 2012-10-03 华为技术有限公司 提供多设备镜像和条带功能的磁盘缓存方法、设备和系统
CN104063186A (zh) * 2014-06-30 2014-09-24 成都万维图新信息技术有限公司 一种电子设备的数据访问方法
CN106502592A (zh) * 2016-10-26 2017-03-15 郑州云海信息技术有限公司 固态硬盘缓存块回收方法及系统
CN109086223A (zh) * 2018-08-21 2018-12-25 郑州云海信息技术有限公司 一种控制垃圾回收的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Q. WEI: "A Popularity-Aware Buffer Management to Improve Buffer Hit Ratio and Write Sequentiality for Solid-State Drive", 《IEEE TRANSACTIONS ON MAGNETICS》 *
蔡红卫: "混合固态硬盘的磨损均衡算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343849A (zh) * 2023-05-30 2023-06-27 北京得瑞领新科技有限公司 提升ssd混合读写性能的方法、装置、存储介质及设备
CN116343849B (zh) * 2023-05-30 2023-08-15 北京得瑞领新科技有限公司 提升ssd混合读写性能的方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN111124943B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
US11231947B2 (en) Method and apparatus for determining the capacity of an application cluster
CN110659217A (zh) 一种固态硬盘的垃圾回收方法、装置、设备及存储介质
CN108205469B (zh) 一种基于MapReduce的资源分配方法及服务器
CN111324303B (zh) Ssd垃圾回收方法、装置、计算机设备及存储介质
CN109144428B (zh) 一种应用于固态硬盘的垃圾回收方法、设备及介质
CN107590287B (zh) 一种文件系统页缓存回写方法、系统、装置及存储介质
CN110209502B (zh) 一种信息存储方法、装置、电子设备及存储介质
CN111143104A (zh) 一种内存异常的处理方法、系统、电子设备及存储介质
CN107678972B (zh) 一种测试用例的评估方法及相关装置
US20170364449A1 (en) Process running method and apparatus
CN103389926A (zh) 一种用于对虚拟磁盘进行备份的方法和装置
CN114356248B (zh) 一种数据处理方法和装置
WO2017052595A1 (en) Variable cache for non-volatile memory
CN111124943B (zh) 一种数据处理方法、装置、设备及存储介质
EP3659036A1 (en) Dynamic trim processing with disk caching
CN106598508A (zh) 一种固态硬盘及其写入仲裁方法、系统
CN105493024A (zh) 一种数据阈值预测方法与相关装置
CN108287761B (zh) 内存回收方法及装置、终端设备及计算机可读存储介质
CN110162272B (zh) 一种内存计算缓存管理方法及装置
CN110109970B (zh) 一种数据查询处理方法及装置
CN114138575B (zh) 一种硬盘数据垃圾回收的测试方法、装置、设备及介质
CN106202262B (zh) 一种信息处理方法及电子设备
CN110674170B (zh) 基于链表逆序访问的数据缓存方法、装置、设备及介质
CN111880962A (zh) 一种raid重构速度控制方法、系统及装置
CN107577439B (zh) 分配处理资源的方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant