CN105335100B - 一种数据处理方法、装置及闪存设备 - Google Patents

一种数据处理方法、装置及闪存设备 Download PDF

Info

Publication number
CN105335100B
CN105335100B CN201510629175.3A CN201510629175A CN105335100B CN 105335100 B CN105335100 B CN 105335100B CN 201510629175 A CN201510629175 A CN 201510629175A CN 105335100 B CN105335100 B CN 105335100B
Authority
CN
China
Prior art keywords
flash memory
data
memory device
redundancy
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510629175.3A
Other languages
English (en)
Other versions
CN105335100A (zh
Inventor
周建华
张颇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610859966.XA priority Critical patent/CN106484331B/zh
Priority to CN201810950765.XA priority patent/CN109358804B/zh
Priority to CN201510629175.3A priority patent/CN105335100B/zh
Publication of CN105335100A publication Critical patent/CN105335100A/zh
Priority to EP19205519.2A priority patent/EP3678016B1/en
Priority to SG11201710576XA priority patent/SG11201710576XA/en
Priority to JP2018526989A priority patent/JP6484763B2/ja
Priority to CA2990969A priority patent/CA2990969C/en
Priority to AU2016333294A priority patent/AU2016333294B2/en
Priority to PCT/CN2016/100824 priority patent/WO2017054756A1/zh
Priority to BR112017027915-0A priority patent/BR112017027915B1/pt
Priority to EP16850380.3A priority patent/EP3316115B1/en
Priority to US15/927,105 priority patent/US10552315B2/en
Application granted granted Critical
Publication of CN105335100B publication Critical patent/CN105335100B/zh
Priority to US16/726,843 priority patent/US11200160B2/en
Priority to US17/534,020 priority patent/US11960393B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0253—Garbage collection, i.e. reclamation of unreferenced memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7204—Capacity control, e.g. partitioning, end-of-life degradation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7205—Cleaning, compaction, garbage collection, erase control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7211—Wear leveling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Memory System (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种数据处理方法、装置及闪存设备，其中方法包括：接收主机发送的操作指令，根据操作指令对闪存设备中存储的数据进行操作，并确定操作后的闪存设备中用户存储的数据量；根据操作后的闪存设备中用户存储的数据量以及每个冗余等级对应的用户存储空间容量的区间，确定目标冗余等级；根据目标冗余等级以及每个冗余等级与调整参数之间的对应关系，确定目标调整参数；按照目标调整参数调整闪存设备的冗余空间容量的大小。本发明实施例能够动态调整冗余比，提高闪存设备的可靠性和性能稳定性，从而延长闪存设备的使用寿命。

Description

一种数据处理方法、装置及闪存设备
技术领域
本发明涉及闪存设备技术领域，具体涉及一种数据处理方法、装置及闪存设备。
背景技术
固态硬盘(Solid State Drives，SSD)，简称固盘，为用固态电子存储芯片阵列制成的硬盘。SSD被广泛应用于军事、车载、工控、视频监控、网络监控、网络终端、电力、医疗、航空、导航设备等领域。市面上，常见的SSD的容量一般有60/64GB、120/128GB、240/256GB、480/512GB、960G/1024G，斜线左边的数值为用户可用空间容量，右边的数值为SSD的物理空间容量，两者之间的差值为冗余空间(Over Provisioning，OP)，通常这部分空间用户不可操作，容量大小一般由主控决定。OP一般被用来做优化操作，包括磨损平衡，垃圾回收和坏块映射等。冗余比即为冗余空间容量与用户可用空间容量之间的比值，业界典型的冗余比为7％和28％：以1024GB物理空间容量为例，当用户可用空间容量为960GB时，对应的冗余比为7％，即(1024-960)/960；当用户可用空间容量为800GB时，对应的冗余比为28％，即(1024-800)/800。冗余比越大随机写入性能越高，性能波动越小，使用寿命越长，但是冗余比越大意味着成本越高。
由于SSD中的闪存必须先擦除才能再写入，读写是以页为单位而擦除是以块为单位，导致实际写入的数据量比主机写入的数据量大很多。写入放大(Write Amplification，WA)，即实际写入数据量与主机写入数据量的比值。WA越大，冗余比越小，使用寿命越短，随机写入性能越低。
目前，SSD厂商对一定容量的SSD提供多种冗余比，用户根据自己的需求选择一种固定的冗余比。一旦冗余比固定，该SSD的各项参数也就随之固定，同时该SSD的性能、使用寿命也就随之固定，该SSD只能以该固定冗余比运行，导致SSD的性能、使用寿命难以进一步优化。
发明内容
本发明实施例提供一种数据处理方法、装置及闪存设备，能够动态调整冗余比，提高闪存设备的可靠性和性能稳定性，从而延长闪存设备的使用寿命。
本发明实施例第一方面提供一种数据处理方法，所述方法应用于存储系统中，所述存储系统包括主机和闪存设备，所述闪存设备的物理存储空间根据多个不同的冗余比配置多个冗余等级，每个冗余等级对应一段用户存储空间容量的区间，每个用户存储空间容量的区间对应不同的调整参数，所述冗余比为冗余空间容量与所述用户存储空间容量的比值，所述冗余空间容量为所述物理存储空间的容量与所述用户存储空间容量的差值，所述方法由所述闪存设备执行包括：
接收所述主机发送的操作指令，根据所述操作指令对所述闪存设备中存储的数据进行操作，并确定操作后的所述闪存设备中用户存储的数据量；
根据所述操作后的所述闪存设备中用户存储的数据量以及所述每个冗余等级对应的用户存储空间容量的区间，确定目标冗余等级；
根据所述目标冗余等级以及所述每个冗余等级与调整参数之间的对应关系，确定目标调整参数；
按照所述目标调整参数调整所述闪存设备的冗余空间容量的大小。
在本发明实施例第一方面的第一种可能的实现方式中，所述接收所述主机发送的操作指令，根据所述操作指令对所述闪存设备中存储的数据进行操作，并确定操作后的所述闪存设备中用户存储的数据量，包括：
接收所述主机发送的写入指令，根据所述写入指令确定待添加数据；
将所述待添加数据添加至所述闪存设备中，并将所述待添加数据添加至所述闪存设备后的用户存储的数据量确定为操作后的所述闪存设备中用户存储的数据量。
在本发明实施例第一方面的第二种可能的实现方式中，所述接收所述主机发送的操作指令，根据所述操作指令对所述闪存设备中存储的数据进行操作，并确定操作后的所述闪存设备中用户存储的数据量，包括：
接收所述主机发送的删除指令，根据所述删除指令确定待删除数据；
将所述待删除数据从所述闪存设备中删除，并将所述待删除数据被删除后的用户存储的数据量确定为操作后的所述闪存设备中用户存储的数据量。
结合本发明实施例第一方面的第一种可能的实现方式中，在本发明实施例第三种可能的实现方式中，所述将所述待添加数据添加至所述闪存设备中之前，还包括：
对所述待添加数据进行压缩，所述待添加数据是压缩后的数据。
结合本发明实施例第一方面的第一种至第三种可能的实现方式中，在本发明实施例第四种可能的实现方式中，在所述按照所述目标调整参数调整所述闪存设备的冗余空间容量的大小的步骤之后，还包括：
根据所述目标调整参数中的目标垃圾回收调整参数对所述闪存设备存储的数据进行垃圾回收处理。
结合本发明实施例第一方面的第一种至第三种可能的实现方式中，在本发明实施例第五种可能的实现方式中，在所述按照所述目标调整参数调整所述闪存设备的冗余空间容量的大小的步骤之后，还包括：
根据所述目标调整参数中的目标磨损平衡调整参数对所述闪存设备存储的数据进行磨损平衡处理。
本发明实施例第二方面提供一种数据处理装置，所述数据处理装置应用于存储系统中的闪存设备中，所述存储系统还包括主机，所述闪存设备的物理存储空间根据多个不同的冗余比配置多个冗余等级，每个冗余等级对应一段用户存储空间容量的区间，每个用户存储空间容量的区间对应不同的调整参数，所述冗余比为冗余空间容量与所述用户存储空间容量的比值，所述冗余空间容量为所述物理存储空间的容量与所述用户存储空间容量的差值，所述数据处理装置包括：
接收单元，用于接收所述主机发送的操作指令，根据所述操作指令对所述闪存设备中存储的数据进行操作，并确定操作后的所述闪存设备中用户存储的数据量；
确定单元，用于根据所述操作后的所述闪存设备中用户存储的数据量以及所述每个冗余等级对应的用户存储空间容量的区间，确定目标冗余等级；
所述确定单元还用于根据所述目标冗余等级以及所述每个冗余等级与调整参数之间的对应关系，确定目标调整参数；
调整单元，用于按照所述目标调整参数调整所述闪存设备的冗余空间容量的大小。
在本发明实施例第二方面的第一种可能的实现方式中，所述接收单元具体用于接收所述主机发送的写入指令，根据所述写入指令确定待添加数据，将所述待添加数据添加至所述闪存设备中，并将所述待添加数据添加至所述闪存设备后的用户存储的数据量确定为操作后的所述闪存设备中用户存储的数据量。
在本发明实施例第二方面的第二种可能的实现方式中，所述接收单元具体用于接收所述主机发送的删除指令，根据所述删除指令确定待删除数据，将所述待删除数据从所述闪存设备中删除，并将所述待删除数据被删除后的用户存储的数据量确定为操作后的所述闪存设备中用户存储的数据量。
结合本发明实施例第二方面的第一种可能的实现方式中，在本发明实施例第三种可能的实现方式中，所述接收单元还用于对所述待添加数据进行压缩，所述待添加数据是压缩后的数据。
结合本发明实施例第二方面的第一种至第三种可能的实现方式中，在本发明实施例第四种可能的实现方式中，还包括：
处理单元，用于根据所述目标调整参数中的目标垃圾回收调整参数对所述闪存设备存储的数据进行垃圾回收处理。
结合本发明实施例第二方面的第一种至第三种可能的实现方式中，在本发明实施例第五种可能的实现方式中，所述处理单元还用于根据所述目标调整参数中的目标磨损平衡调整参数对所述闪存设备存储的数据进行磨损平衡处理。
本发明实施例第三方面提供一种闪存设备，包括本发明实施例第二方面提供的数据处理装置。
在本发明实施例中，通过接收主机发送的操作指令，根据操作指令对闪存设备中存储的数据进行操作，并确定操作后的闪存设备中用户存储的数据量，然后根据操作后的闪存设备中用户存储的数据量以及每个冗余等级对应的用户存储空间容量的区间，确定目标冗余等级，并根据目标冗余等级以及每个冗余等级与调整参数之间的对应关系，确定目标调整参数，最后按照目标调整参数调整闪存设备的冗余空间容量的大小，从而实现根据存储的数据量大小动态调整闪存设备的冗余比，进而提高闪存设备的可靠性和性能稳定性，同时延长闪存设备的使用寿命。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中的存储系统的网络架构示意图；
图2为本发明实施例提供的配置冗余等级的示意图；
图3为本发明实施例提供的一种闪存设备的结构示意图；
图4为本发明实施例提供的一种数据处理方法的流程示意图；
图5为本发明实施例提供的另一种数据处理方法的流程示意图；
图6为本发明实施例提供的一种数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好理解本发明实施例公开的一种数据处理方法、装置及闪存设备，下面先对现有技术中的存储系统的网络构架进行描述。请参见图1，为现有技术中的存储系统的网络构架示意图。图1所示的存储系统包括主机和闪存设备，需要说明的是，现有技术中的存储系统中包括多个主机和多个闪存设备，本发明实施例对存储系统中的一个主机和一个闪存设备进行介绍。其中，所述主机可以包括但不限于台式电脑、笔记本电脑、服务器等设备，所述主机通过发送一系列的指令对所述闪存设备进行控制。所述闪存设备根据所述主机发送的指令执行相应的操作，例如，读、写、删除等操作。所述闪存设备的物理存储空间包括冗余空间和用户存储空间，所述物理存储空间即所述闪存设备的总容量空间，所述用户存储空间用于存储用户通过主机输入的数据。本发明实施例提供一种数据处理方法、装置及闪存设备，可以应用于图1所示的存储系统中，具体可以应用于调整闪存设备冗余空间的场景。本发明实施例中的数据处理装置位于闪存设备中。
本发明实施例中的闪存设备可以包括但不限于固态硬盘(Solid State Disk,SSD)、移动硬盘、软盘、U盘、SD卡等具有与非门闪存(NAND Flash)的存储设备。需要说明的是，本发明实施例中的闪存设备主要针对固态硬盘进行介绍，其他闪存设备也可以应用本发明实施例。
固态硬盘SSD主要由主控制器和NAND Flash组成。其中，NAND Flash是一种非易失性随机访问存储介质，其特点是断电后数据不消失，它不同于传统的易失性随机访问存储介质和挥发性闪存设备，如动态随机存取存取器DRAM和动态随机存取存取器SRAM等，因此可以作为外部闪存设备使用。NAND Flash分为单阶储存单元(Single Level Cell，SLC)和多阶储存单元(Multi Level Cell，MLC)两种类型，它们的区别主要是结构不同。目前市场上的NAND Flash多采用MLC芯片。
NAND Flash器件本身通常由一个内部寄存器和存储矩阵组成，存储矩阵包括若干块，每个块又包含若干页，每个页包含若干字节。对NAND Flash的操作最主要是读、写和擦除。由于Flash闪存设备是一个非易失性的半导体，对NAND Flash的读写都是以页为单位的，而擦除是以块为单位的。在进行写入操作之前必须先进行页面擦除操作。一般NANDFlash的使用顺序是：擦除->编程->多次读取->擦除……
冗余空间(Over Provisioning，OP)为用户不可操作的容量，大小为SSD的物理空间容量减去用户可用空间容量，OP区域一般被用于优化操作，如：磨损平衡，垃圾回收和坏块映射等。
磨损平衡(Wear leveling，WL)为确保闪存每个块被写入的次数相等的一种机制。用户逻辑地址空间里的数据更新速度是不同的，有些区域会经常更新，有些则不常更新。显而易见的，那些经常更新的数据所占用的闪存块会被快速的磨损掉，而不常更新的数据占用的闪存块磨损就小得多。采用磨损平衡机制便能很好地解决这个问题，让每个闪存块的编程次数尽可能保持一致。
垃圾回收(Garbage Collection，GC)把一个闪存块里的有效页数据复制到一个空白块里，然后把这个块完全擦除。GC是SSD里的一个非常关键的操作，其效率对性能有决定性影响。闪存块里有效页的数量对GC效率有决定性的影响，有效页的数量越少，需要复制的页就越少，花费的时间也越少，从而提高垃圾回收的效率。
写入放大(Write amplification，WA)为NAND Flash实际写入数据量与主机写入数据量的比值。因为NAND Flash必须先擦除才能写入，在执行这些操作的时候，移动或覆盖用户数据不止一次。这些重复的操作，不但增加了写入数据量，减少了SSD的使用寿命，而且消耗了NAND Flash的带宽，并间接影响了SSD的随机写入性能。例如：要写入一个4KB的数据，最坏的情况就是，一个块里已经没有干净空间了，但是有无效的数据可以擦除，所以主控制器就把所有的数据读到缓存，擦除块，缓存里更新整个块的数据，再把新数据写回去，这个操作带来的写入放大就是:实际写4K的数据，造成了整个块(共1024KB)的写入操作，那就是放大了256倍。同时还带来了原本只需要简单一步写入4KB的操作变成：闪存读取(1024KB)→缓存改(4KB)→闪存擦除(1024KB)→闪存写入(1024KB)，共四步操作，造成了延迟大大增加，减慢写入的速度。所以写入放大是影响SSD随机写入性能和寿命的关键因素。
本发明实施例中的所述闪存设备的物理存储空间根据多个不同的冗余比配置了多个冗余等级，具体的，请参见图2所示的配置冗余等级的示意图。需要说明的是，图2中的数值只是举例，具体数值可由闪存设备的制造厂商设定，在此不做限定。图2以物理存储空间容量为1024G的闪存设备为例，若某个冗余比为7％，那么960G即为用户存储空间容量，1024G与960G的差值空间容量64G即为该闪存设备的冗余空间。本发明实施例根据多个不同的荣誉比对该闪存设备的物理存储空间1024G进行配置，配置了5个冗余等级，分别为Level0、Level 1、Level 2、Level 3、Level 4和Level 5，对应的用户存储空间容量的区间分别为(800G,960G]、(720G,800G]、(660G,720G]、(520G,660G]、(400G,520G]、[0G,400G]。本发明实施例还为每个用户存储空间容量配置了对应的调整参数，所述调整参数包括冗余空间调整参数、垃圾回收GC调整参数、磨损平衡WL调整参数、写入放大WA、冷热数据交换频率等参数。由于每个冗余等级对应一段用户存储空间容量的区间，并且每个用户存储空间容量的区间对应不同的调整参数，因此可以推出每个冗余等级与调整参数之间的对应关系。现有技术中，通常闪存设备的制造厂商在制造SSD闪存设备时会根据客户的需求为客户提供一种固定冗余比，一旦冗余比固定，该SSD闪存设备的性能、各项参数以及使用寿命等都难以进一步优化。
基于图1所示的网络架构，请参见图3，为本发明实施例提供了一种闪存设备的结构示意图。如图3所示，该闪存设备包括：至少一个处理器1001，例如CPU，通信接口1003，存储器1004，至少一个通信总线1002。可选的，所述处理器1001为该闪存设备的主控制器。其中，所述通信接口1003用于接收与该闪存设备位于同一存储系统中的主机发送的操作指令。其中，通信总线1002用于实现这些组件之间的连接通信。其中，存储器1005可以是NANDFlash存储器，用于存储数据。所述存储器1005的物理存储空间根据多个不同的冗余比配置多个冗余等级，每个冗余等级对应一段用户存储空间容量的区间，每个用户存储空间容量的区间对应不同的调整参数，所述冗余比为冗余空间容量与所述用户存储空间容量的比值，所述冗余空间容量为所述物理存储空间的容量与所述用户存储空间容量的差值。
下面将结合附图3-附图5对本发明实施例提供的数据处理方法进行详细介绍。
请参见图4，为本发明实施例提供了一种数据处理方法的流程示意图。结合图3所述的闪存设备，存储器1005中存储一组程序代码，且处理器1001调用存储器1005中存储的程序代码，用于执行所述数据处理方法，可以包括以下步骤S101-步骤S104。
S101，接收主机发送的操作指令，根据所述操作指令对闪存设备中存储的数据进行操作，并确定操作后的所述闪存设备中用户存储的数据量。
可选的，所述处理器1001根据所述通信接口1003接收到的主机发送的操作指令对存储器1005中存储的数据进行操作，并确定操作后的所述存储器1005中用户存储的数据量。所述通信接口1003在接收到所述操作指令时，所述处理器1001首先判断所述操作指令是否已被执行。若判断的结果为否，即所述处理器1001未执行过所述操作指令，则对所述存储器1005存储的数据进行操作。在所述处理器1001执行操作之前，所述存储器1005中可能存储了一部分数据，将这部分数据作为所述闪存设备的初始数据量，执行操作可能改变所述初始数据量，因此所述闪存设备需确定操作后的所述存储器1005中用户存储的数据量，并根据所述操作后的所述存储器1005中用户存储的数据量判断是否需要调整所述闪存设备的冗余等级。若所述处理器1001已执行过所述操作指令，可以理解的是所述处理器1001已根据所述操作指令对所述存储器1005存储的数据进行了操作，此时不对所述闪存设备进行处理。
其中，所述操作指令包括写入指令或删除指令。具体的，当所述操作指令为所述写入指令时，所述处理器1001首先判断所述写入指令是否被写过，若否则确定待添加数据，并将所述待添加数据添加至所述闪存设备中，使得所述初始数据量在原基础上增大了，因此将所述初始数据量与所述待添加数据的数据量之和确定为所述操作后的所述存储器1005中用户存储的数据量；当所述操作指令为所述删除指令时，所述处理器1001首先判断所述删除指令是否被执行过，若否则确定待删除数据，并将所述待删除数据从所述存储器1005中删除，使得所述初始数据量在原基础上减小了，因此将所述初始数据量与所述待删除数据的数据量之差确定为所述操作后的所述存储器1005中用户存储的数据量。
S102，根据所述操作后的所述闪存设备中用户存储的数据量以及每个冗余等级对应的用户存储空间容量的区间，确定目标冗余等级。
可选的，由于所述闪存设备根据不同的冗余比配置了多个冗余等级，每个冗余等级对应一段用户存储空间容量的区间，因此所述处理器1001根据所述操作后的所述存储器1005中用户存储的数据量以及每个冗余等级对应的用户存储空间容量的区间，确定目标冗余等级。若所述操作后的所述存储器1005中用户存储的数据量为500G，根据图2可知，此时对应的用户存储空间容量的区间为(400G,520G]，对应的冗余等级为Level 4，则将Level 4确定为目标冗余等级。若所述闪存设备未被使用过或被格式化，则默认将所述冗余等级设置为Level 5。
S103，根据所述目标冗余等级以及所述每个冗余等级与调整参数之间的对应关系，确定目标调整参数。
可选的，由于所述闪存设备根据不同的冗余比配置了多个冗余等级，每个冗余等级对应一段用户存储空间容量的区间，每个用户存储空间容量的区间对应不同的调整参数，因此可以推出所述每个冗余等级与调整参数之间的对应关系，即所述闪存设备为所述每个冗余等级配置不同的调整参数。所述处理器1001根据所述目标冗余等级以及所述每个冗余等级与调整参数之间的对应关系，确定目标调整参数。所述目标调整参数可能与在接收到所述操作指令之前的调整参数相同，也可能不相同，由所述操作后的所述存储器1005中用户存储的数据量确定，若所述操作后的所述存储器1005中用户存储的数据量与所述初始数据量属于同一个用户存储空间容量的区间，则所述目标调整参数与所述初始数据量对应的调整参数相同，否则不相同。所述处理器1001在每次所述存储器1005中用户存储的数据量发生改变时，都需重新确定目标冗余等级和目标调整参数。现有技术中由于冗余比固定，冗余空间的容量固定，因此不管所述存储器1005中用户存储的数据量如何变化，所述处理器1001都是以固定的调整参数对用户存储的数据进行调整，这样便在一定程度上影响所述闪存设备的可靠性和性能稳定性。
S104，按照所述目标调整参数调整所述闪存设备的冗余空间容量的大小。
可选的，所述处理器1001按照所述目标调整参数调整所述存储器1005的冗余空间容量的大小。现有技术中，每个闪存设备的冗余空间容量在出厂时便以确定，使得所述闪存设备的处理性能有一定的局限性。本发明实施例中的所述存储器1005的冗余空间并不是固定不变，而是随着所述存储器1005中用户存储的数据量的变化而变化，并根据调整参数对所述存储器1005的冗余空间容量进行相应的调整，以使所述闪存设备处于最佳运行状态。例如，所述目标调整参数为Level 4对应的调整参数，根据所述目标调整参见将此时对应的冗余空间为调整为1024G-520G＝504G，相比现有技术中固定冗余比为7％的闪存设备对应的冗余空间64G而言，增大了冗余空间，有利于减小WA，因此，与现有技术相比，本发明实施例中的闪存设备的可靠性更高、性能稳定性更强。
其中，所述目标调整参数包括目标垃圾回收调整参数和目标磨损平衡调整参数。在调整所述存储器1005的冗余空间容量的大小之后，所述处理器1001根据所述目标垃圾回收调整参数对所述闪存设备存储的数据进行垃圾回收处理，根据所述目标磨损平衡调整参数对所述闪存设备存储的数据进行磨损平衡调节处理。
需要说明的是，现有技术中的冗余空间是固定的，用户不可访问的，但是本发明实施例的冗余空间是可以动态变化的，针对某个冗余等级下的冗余空间是固定的，但是当冗余等级由一个等级跨越到另一个等级时，冗余空间也将随之变化。
在本发明实施例中，通过接收主机发送的操作指令，根据操作指令对闪存设备中存储的数据进行操作，并确定操作后的闪存设备中用户存储的数据量，然后根据操作后的闪存设备中用户存储的数据量以及每个冗余等级对应的用户存储空间容量的区间，确定目标冗余等级，并根据目标冗余等级以及每个冗余等级与调整参数之间的对应关系，确定目标调整参数，最后按照目标调整参数调整闪存设备的冗余空间容量的大小，从而实现根据存储的数据量大小动态调整闪存设备的冗余比，进而提高闪存设备的可靠性和性能稳定性，同时延长闪存设备的使用寿命。
请参见图5，为本发明实施例提供了另一种数据处理方法的流程示意图。结合图3所述的闪存设备，存储器1005中存储一组程序代码，且处理器1001调用存储器1005中存储的程序代码，用于执行所述数据处理方法，可以包括以下步骤S201-步骤S210。
S201，接收主机发送的写入指令，根据所述写入指令确定待添加数据。
可选的，所述通信接口1003接收主机发送的写入指令，并通过所述通信总线1002将所述写入指令传输至所述处理器1001，所述处理器1001根据所述写入确定待添加数据。所述处理器1001在接收到所述写入指令时，判断所述写入指令是否已被执行。所述主机与闪存设备位于存储系统中，所述主机控制所述闪存设备运行的主机，可以包括但不限于台式电脑、笔记本电脑、服务器等设备。由于所述处理器1001接收到的所述写入指令可能已被执行过，因此所述处理器1001需判断所述写入指令是否已被执行。若所述写入指令未被执行过，可以理解的是所述处理器1001并未根据所述写入指令向所述存储器1005中添加数据。若所述写入指令已被执行，可以理解的是所述处理器1001已经执行了根据所述写入指令向所述存储器1005添加数据的操作，若再次接收到所述写入指令，并不会改变所述存储器1005存储的数据量大小，因此此时不对所述闪存设备进行处理。确定所述待添加数据包括确定所述待添加数据的内容和数据量大小。
S202，对所述待添加数据进行压缩。
可选的，所述处理器1001对所述待添加数据进行压缩。由于有些SSD具有压缩功能，使得用户真实添加至SSD的数据量为对添加数据压缩后的数据量，因此所述待添加数据为压缩后的所述待添加数据。
需要说明的是，本发明实施例中的步骤S202在SSD具有压缩功能时执行，若SSD不具有压缩功能，则不执行步骤S202，直接执行步骤S203。
S203，将所述待添加数据添加至闪存设备中，并将所述待添加数据添加至所述闪存设备后的用户存储的数据量确定为操作后的所述闪存设备中用户存储的数据量。
可选的，所述处理器1001将所述待添加数据添加至所述存储器1005中，从而在所述存储器1005之前用户存储的数据量的基础上增加了新的数据量，将所述待添加数据添加至所述存储器1005后的用户存储的数据量确定为操作后的所述存储器1005中用户存储的数据量。
S204，接收主机发送的删除指令，根据所述删除指令确定待删除数据。
可选的，所述处理器1001接收主机发送的删除指令，并通过所述通信总线1002将所述删除指令传输至所述处理器1001，所述处理器1001根据所述删除指令确定待删除数据所述处理器1001在接收到所述删除指令时，判断所述删除指令是否已被执行。其中，所述删除指令为修剪(TRIM)指令，本发明实施例实施的前提条件是所述闪存设备能够支持所述TRIM指令，所述TRIM指令用于操作系统在删除某个文件或者格式化后，告诉SSD主控制器这个数据块不再需要了。当某些文件被删除或者格式化了整个分区时，操作系统把所述TRIM指令和在操作中更新的逻辑地址一起发给SSD主控制器(其中包含了无效数据地址)，这样在之后的垃圾回收处理中，无效数据就能被清空了，用户存储空间容量和冗余空间容量相应的变大了，从而减少了写入放大WA，同时也提升了性能。本发明实施例还要求所述主机尽可能多下发所述TRIM指令，以使所述闪存设备能够反向调整空间冗余等级。由于所述处理器1001接收到指令可能已被执行过，因此所述处理器1001需判断所述删除指令是否已被执行。若所述删除指令未被执行过，可以理解的是所述处理器1001并未根据所述删除指令向所述闪存设备中删除数据。若所述删除指令已被执行，可以理解的是所述处理器1001已经执行了根据所述删除指令从所述存储器1005删除数据的操作，若再次接收到所述删除指令，并不会改变所述存储器1005存储的数据量大小，因此此时不对所述闪存设备进行处理。确定所述待删除数据包括确定所述待删除数据的内容和数据量大小，可以理解的是确定需要被无效的数据或者被擦除的数据块。
S205，将所述待删除数据从闪存设备中删除，并将所述待删除数据被删除后的用户存储的数据量确定为操作后的所述闪存设备中用户存储的数据量。
可选的，所述处理器1001将所述待删除数据从所述存储器1005中删除，从而在所述存储器1005之前用户存储的数据量的基础上减少了数据量，所述处理器1001将所述待删除数据被删除后的用户存储的数据量确定为操作后的所述存储器1005中用户存储的数据量。
S206，根据所述操作后的所述闪存设备中用户存储的数据量以及每个冗余等级对应的用户存储空间容量的区间，确定目标冗余等级。
S207，根据所述目标冗余等级以及所述每个冗余等级与调整参数之间的对应关系，确定目标调整参数。
S208，按照所述目标调整参数调整所述闪存设备的冗余空间容量的大小。
本发明实施例中的步骤S206-步骤S208的具体实现过程可参见图3所示实施例中的步骤S102-步骤S104的具体描述，在此不再赘述。
S209，根据所述目标调整参数中的目标垃圾回收调整参数对所述闪存设备存储的数据进行垃圾回收处理。
可选的，所述处理器1001根据所述目标调整参数中的目标垃圾回收调整参数对所述闪存设备存储的数据进行垃圾回收处理。垃圾回收，由SSD的主控制器把那些包含“无效”数据的块里的所有“有效”数据合并起来放到新的“空白块”里，并删除“无效”数据块来增加备用的“空白块”数量，可见，垃圾回收一方面减少了无效数据的数据量，另一方面增加了空白块的数量，从而为用户提供了更多的可用空白块。
由于垃圾回收会对SSD产生大量负载，因此垃圾回收可分闲置垃圾回收及被动垃圾回收。闲置垃圾回收就是让SSD主控在系统闲置时提前进行垃圾回收操作，产生一定数量的空白块，让垃圾回收操作不至于明显影响用户使用感受，但缺点是会因此造成额外的写入放大，因为刚垃圾回收的有效数据可能会因为用户更新而变无效。被动垃圾回收则是所有SSD一定具备的，SSD主控性能对被动垃圾回收效率有决定性影响，因为此时SSD需要同时进行垃圾回收及用户要求的数据操作，主控性能不足就会让用户发觉SSD的性能下降。被动垃圾回收即根据关联主机发送的TRIM指令执行垃圾回收操作，触发SSD产生更多的无效页数据，减轻垃圾回收的压力，从而减少用户发觉SSD性能下降的机会。
垃圾回收调整参数用于确定什么时候对所述闪存设备进行垃圾回收处理操作，即启动垃圾回收的参数。现有技术中，在固定冗余比的情况下，不管SSD中存储的数据量为多少，该SSD都以固定的垃圾回收参数对SSD进行垃圾回收处理，影响SSD的性能和可靠性。由于本发明实施例为不同空间冗余等级分别配置了最佳的调整参数，因此本发明实施例能够根据存储数据量的大小进行适当的垃圾回收处理，以优化SSD的性能。
S210，根据所述目标调整参数中的目标磨损平衡调整参数对所述闪存设备存储的数据进行磨损平衡处理。
可选的，所述处理器1001根据所述目标调整参数中的目标磨损平衡调整参数对所述闪存设备存储的数据进行磨损平衡处理，确保每个块被写入的次数相等。磨损平衡算法有动态及静态两种，简单来说动态磨损平衡是每次都挑最年轻的闪存块使用，老闪存块尽量不用。静态磨损平衡就是把长期没有修改的老数据从年轻的闪存块里搬出来，重新找个最老的闪存块存放，这样年轻的闪存块就能再次被经常使用。不管是动态磨损平衡还是静态磨损平衡都需要一个启动粒度，磨损平衡调整参数就是用来确定什么时候启动磨损平衡处理操作的参数。各个空间冗余等级下的磨损调整参数各不相同，冗余比越大的冗余等级下的启动粒度越高。
在本发明实施例中，通过接收主机发送的操作指令，根据操作指令对闪存设备中存储的数据进行操作，并确定操作后的闪存设备中用户存储的数据量，然后根据操作后的闪存设备中用户存储的数据量以及每个冗余等级对应的用户存储空间容量的区间，确定目标冗余等级，并根据目标冗余等级以及每个冗余等级与调整参数之间的对应关系，确定目标调整参数，最后按照目标调整参数调整闪存设备的冗余空间容量的大小并根据目标调整参数对闪存设备进行相应的调节，从而实现根据存储的数据量大小动态调整闪存设备的冗余比，进而提高闪存设备的可靠性和性能稳定性，延长闪存设备的使用寿命，同时提高闪存设备的主动性。
下面将结合附图6对本发明实施例提供的数据处理装置进行详细介绍。需要说明的是，附图6所示的数据处理装置，用于执行本发明图4和图5所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图4和图5所示的实施例。
本发明实施例中的数据处理装置应用于图1所示存储系统中的闪存设备中，所述闪存设备的物理存储空间根据多个不同的冗余比配置多个冗余等级，每个冗余等级对应一段用户存储空间容量的区间，每个用户存储空间容量的区间对应不同的调整参数，所述冗余比为冗余空间容量与所述用户存储空间容量的比值，所述冗余空间容量为所述物理存储空间的容量与所述用户存储空间容量的差值。
请参见图6，为本发明提供的一种数据处理装置的结构示意图，该数据处理装置10可包括：接收单元101、确定单元102和调整单元103。
接收单元101，用于接收所述主机发送的操作指令，根据所述操作指令对所述闪存设备中存储的数据进行操作，并确定操作后的所述闪存设备中用户存储的数据量。
确定单元102，用于根据所述操作后的所述闪存设备中用户存储的数据量以及所述每个冗余等级对应的用户存储空间容量的区间，确定目标冗余等级。
所述确定单元102还用于根据所述目标冗余等级以及所述每个冗余等级与调整参数之间的对应关系，确定目标调整参数。
调整单元103，用于按照所述目标调整参数调整所述闪存设备的冗余空间容量的大小。
本发明实施例和图4所示方法实施例基于同一构思，其带来的技术效果也相同，具体原理请参照图4所示实施例的描述，此处不再赘述。
可选的，所述接收单元101具体用于接收所述主机发送的写入指令，根据所述写入指令确定待添加数据，将所述待添加数据添加至所述闪存设备中，并将所述待添加数据添加至所述闪存设备后的用户存储的数据量确定为操作后的所述闪存设备中用户存储的数据量。
所述接收单元101具体用于接收所述主机发送的删除指令，根据所述删除指令确定待删除数据，将所述待删除数据从所述闪存设备中删除，并将所述待删除数据被删除后的用户存储的数据量确定为操作后的所述闪存设备中用户存储的数据量。
所述接收单元101还用于对所述待添加数据进行压缩，所述待添加数据是压缩后的数据。
所述数据处理装置10还包括：
处理单元，用于根据所述目标调整参数中的目标垃圾回收调整参数对所述闪存设备存储的数据进行垃圾回收处理。
所述处理单元还用于根据所述目标调整参数中的目标磨损平衡调整参数对所述闪存设备存储的数据进行磨损平衡处理。
本发明实施例和图5所示方法实施例基于同一构思，其带来的技术效果也相同，具体原理请参照图5所示实施例的描述，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (13)

1.一种数据处理方法，其特征在于，所述方法应用于存储系统中，所述存储系统包括主机和闪存设备，所述闪存设备的物理存储空间根据多个不同的冗余比配置多个冗余等级，每个冗余等级对应一段用户存储空间容量的区间，每个用户存储空间容量的区间对应不同的调整参数，所述冗余比为冗余空间容量与所述用户存储空间容量的比值，所述冗余空间容量为所述物理存储空间的容量与所述用户存储空间容量的差值，所述方法由所述闪存设备执行，包括：
接收所述主机发送的操作指令，根据所述操作指令对所述闪存设备中存储的数据进行操作，并确定操作后的所述闪存设备中用户存储的数据量；
根据所述操作后的所述闪存设备中用户存储的数据量以及所述每个冗余等级对应的用户存储空间容量的区间，确定目标冗余等级；
根据所述目标冗余等级以及所述每个冗余等级与调整参数之间的对应关系，确定目标调整参数；
按照所述目标调整参数调整所述闪存设备的冗余空间容量的大小。
2.根据权利要求1所述的方法，其特征在于，所述接收所述主机发送的操作指令，根据所述操作指令对所述闪存设备中存储的数据进行操作，并确定操作后的所述闪存设备中用户存储的数据量，包括：
接收所述主机发送的写入指令，根据所述写入指令确定待添加数据；
将所述待添加数据添加至所述闪存设备中，并将所述待添加数据添加至所述闪存设备后的用户存储的数据量确定为操作后的所述闪存设备中用户存储的数据量。
3.根据权利要求1所述的方法，其特征在于，所述接收所述主机发送的操作指令，根据所述操作指令对所述闪存设备中存储的数据进行操作，并确定操作后的所述闪存设备中用户存储的数据量，包括：
接收所述主机发送的删除指令，根据所述删除指令确定待删除数据；
将所述待删除数据从所述闪存设备中删除，并将所述待删除数据被删除后的用户存储的数据量确定为操作后的所述闪存设备中用户存储的数据量。
4.根据权利要求2所述的方法，其特征在于，所述将所述待添加数据添加至所述闪存设备中之前，还包括：
对所述待添加数据进行压缩，所述待添加数据是压缩后的数据。
5.根据权利要求1-4任一项所述的方法，其特征在于，在所述按照所述目标调整参数调整所述闪存设备的冗余空间容量的大小的步骤之后，还包括：
根据所述目标调整参数中的目标垃圾回收调整参数对所述闪存设备存储的数据进行垃圾回收处理。
6.根据权利要求1-4任一项所述的方法，其特征在于，在所述按照所述目标调整参数调整所述闪存设备的冗余空间容量的大小的步骤之后，还包括：
根据所述目标调整参数中的目标磨损平衡调整参数对所述闪存设备存储的数据进行磨损平衡处理。
7.一种数据处理装置，其特征在于，所述数据处理装置应用于存储系统中的闪存设备中，所述存储系统还包括主机，所述闪存设备的物理存储空间根据多个不同的冗余比配置多个冗余等级，每个冗余等级对应一段用户存储空间容量的区间，每个用户存储空间容量的区间对应不同的调整参数，所述冗余比为冗余空间容量与所述用户存储空间容量的比值，所述冗余空间容量为所述物理存储空间的容量与所述用户存储空间容量的差值，所述数据处理装置包括：
接收单元，用于接收所述主机发送的操作指令，根据所述操作指令对所述闪存设备中存储的数据进行操作，并确定操作后的所述闪存设备中用户存储的数据量；
确定单元，用于根据所述操作后的所述闪存设备中用户存储的数据量以及所述每个冗余等级对应的用户存储空间容量的区间，确定目标冗余等级；
所述确定单元还用于根据所述目标冗余等级以及所述每个冗余等级与调整参数之间的对应关系，确定目标调整参数；
调整单元，用于按照所述目标调整参数调整所述闪存设备的冗余空间容量的大小。
8.根据权利要求7所述的装置，其特征在于，所述接收单元具体用于接收所述主机发送的写入指令，根据所述写入指令确定待添加数据，将所述待添加数据添加至所述闪存设备中，并将所述待添加数据添加至所述闪存设备后的用户存储的数据量确定为操作后的所述闪存设备中用户存储的数据量。
9.根据权利要求7所述的装置，其特征在于，所述接收单元具体用于接收所述主机发送的删除指令，根据所述删除指令确定待删除数据，将所述待删除数据从所述闪存设备中删除，并将所述待删除数据被删除后的用户存储的数据量确定为操作后的所述闪存设备中用户存储的数据量。
10.根据权利要求8所述的装置，其特征在于，所述接收单元还用于对所述待添加数据进行压缩，所述待添加数据是压缩后的数据。
11.根据权利要求7-10任一项所述的装置，其特征在于，还包括：
处理单元，用于根据所述目标调整参数中的目标垃圾回收调整参数对所述闪存设备存储的数据进行垃圾回收处理。
12.根据权利要求7-10任一项所述的装置，其特征在于，还包括：
处理单元，用于根据所述目标调整参数中的目标磨损平衡调整参数对所述闪存设备存储的数据进行磨损平衡处理。
13.一种闪存设备，其特征在于，包括如权利要求7-12任一项所述的数据处理装置。
CN201510629175.3A 2015-09-29 2015-09-29 一种数据处理方法、装置及闪存设备 Active CN105335100B (zh)

Priority Applications (14)

Application Number Priority Date Filing Date Title
CN201610859966.XA CN106484331B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置及闪存设备
CN201810950765.XA CN109358804B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置及闪存设备
CN201510629175.3A CN105335100B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置及闪存设备
PCT/CN2016/100824 WO2017054756A1 (zh) 2015-09-29 2016-09-29 一种数据处理方法、装置及闪存设备
EP16850380.3A EP3316115B1 (en) 2015-09-29 2016-09-29 Data processing method and apparatus, and flash memory device
JP2018526989A JP6484763B2 (ja) 2015-09-29 2016-09-29 データ処理方法及び装置、並びにフラッシュデバイス
CA2990969A CA2990969C (en) 2015-09-29 2016-09-29 Data processing method and apparatus, and flash device
AU2016333294A AU2016333294B2 (en) 2015-09-29 2016-09-29 Data processing method and apparatus, and flash device
EP19205519.2A EP3678016B1 (en) 2015-09-29 2016-09-29 Data processing method and apparatus, and flash device
BR112017027915-0A BR112017027915B1 (pt) 2015-09-29 2016-09-29 Método e aparelho de processamento de dados e dispositivo flash
SG11201710576XA SG11201710576XA (en) 2015-09-29 2016-09-29 Data processing method and apparatus, and flash device
US15/927,105 US10552315B2 (en) 2015-09-29 2018-03-21 Data processing method and apparatus, and flash device
US16/726,843 US11200160B2 (en) 2015-09-29 2019-12-25 Data processing method and apparatus, and flash device
US17/534,020 US11960393B2 (en) 2015-09-29 2021-11-23 Data processing method and apparatus, and flash device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510629175.3A CN105335100B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置及闪存设备

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201810950765.XA Division CN109358804B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置及闪存设备
CN201610859966.XA Division CN106484331B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置及闪存设备

Publications (2)

Publication Number Publication Date
CN105335100A CN105335100A (zh) 2016-02-17
CN105335100B true CN105335100B (zh) 2018-09-21

Family

ID=55285681

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201610859966.XA Active CN106484331B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置及闪存设备
CN201810950765.XA Active CN109358804B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置及闪存设备
CN201510629175.3A Active CN105335100B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置及闪存设备

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201610859966.XA Active CN106484331B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置及闪存设备
CN201810950765.XA Active CN109358804B (zh) 2015-09-29 2015-09-29 一种数据处理方法、装置及闪存设备

Country Status (9)

Country Link
US (3) US10552315B2 (zh)
EP (2) EP3316115B1 (zh)
JP (1) JP6484763B2 (zh)
CN (3) CN106484331B (zh)
AU (1) AU2016333294B2 (zh)
BR (1) BR112017027915B1 (zh)
CA (1) CA2990969C (zh)
SG (1) SG11201710576XA (zh)
WO (1) WO2017054756A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484331B (zh) * 2015-09-29 2019-04-12 华为技术有限公司 一种数据处理方法、装置及闪存设备
CN105824667A (zh) * 2016-03-15 2016-08-03 深圳市硅格半导体股份有限公司 存储设备的管理方法、装置及系统
CN107885455B (zh) * 2016-09-30 2020-02-07 郑州云海信息技术有限公司 一种磁盘日志区动态调整方法
US10489064B2 (en) 2016-10-03 2019-11-26 Cypress Semiconductor Corporation Systems, methods, and devices for user configurable wear leveling of non-volatile memory
CN106502586B (zh) * 2016-10-17 2019-10-25 记忆科技(深圳)有限公司 一种提高固态硬盘顺序读性能的方法
CN107066208B (zh) * 2017-04-19 2020-04-03 江苏大学 一种外存设备的非对称读写方法及nvm外存设备
CN109308162B (zh) * 2017-07-26 2022-04-01 北京兆易创新科技股份有限公司 闪存的优化装置、优化方法及设备
CN107766180B (zh) * 2017-09-22 2020-08-14 成都华为技术有限公司 存储介质的管理方法、装置及可读存储介质
CN110554970B (zh) * 2018-05-31 2024-10-01 北京忆恒创源科技股份有限公司 显著降低写放大的垃圾回收方法及存储设备
CN108733320A (zh) * 2018-04-03 2018-11-02 郑州云海信息技术有限公司 一种ssd性能和容量配置方法
US11093408B1 (en) 2018-04-26 2021-08-17 Lightbits Labs Ltd. System and method for optimizing write amplification of non-volatile memory storage media
US11074173B1 (en) * 2018-04-26 2021-07-27 Lightbits Labs Ltd. Method and system to determine an optimal over-provisioning ratio
JP2019194780A (ja) * 2018-05-01 2019-11-07 富士通株式会社 情報処理装置、データ管理プログラム及びデータ管理方法
CN108845908A (zh) * 2018-06-21 2018-11-20 郑州云海信息技术有限公司 一种ssd硬盘测试方法、装置、设备及介质
CN108920313A (zh) * 2018-06-21 2018-11-30 郑州云海信息技术有限公司 一种raid的测试方法、装置、设备及介质
KR102620731B1 (ko) * 2018-09-27 2024-01-05 에스케이하이닉스 주식회사 메모리 시스템 및 그것의 동작방법
CN109857337B (zh) * 2018-12-10 2022-04-22 浪潮(北京)电子信息产业有限公司 一种写入速度控制方法、系统、装置及可读存储介质
CN110750211B (zh) * 2019-09-05 2021-05-04 华为技术有限公司 一种存储空间的管理方法及装置
CN110955642A (zh) * 2019-10-12 2020-04-03 平安科技（深圳）有限公司 数据采集优化方法、装置、设备及可读存储介质
US11392304B2 (en) * 2020-05-29 2022-07-19 Seagate Technology Llc Data storage device with adaptive object storage capabilities
CN111930517B (zh) * 2020-09-18 2023-07-14 北京中科立维科技有限公司 一种高性能自适应垃圾收集方法和计算机系统
CN112187817B (zh) * 2020-10-09 2023-03-31 厦门亿联网络技术股份有限公司 流媒体数据传输方法、装置、设备及存储介质
CN112527194B (zh) * 2020-12-04 2024-02-13 北京浪潮数据技术有限公司 固态硬盘写放大设定方法、系统、装置及可读存储介质
CN112558868B (zh) * 2020-12-07 2024-04-09 炬芯科技股份有限公司 一种配置数据存储的方法和装置及设备
US11385798B1 (en) 2020-12-28 2022-07-12 Lightbits Labs Ltd. Method and system for application aware, management of write operations on non-volatile storage
CN113032290B (zh) * 2021-03-19 2024-01-19 维沃移动通信有限公司 闪存配置方法、装置、电子设备和存储介质
CN113138719B (zh) * 2021-04-29 2022-11-01 山东华芯半导体有限公司 一种实现ssd快速随机写并避免写重复的方法
CN116610249A (zh) * 2022-02-09 2023-08-18 华为云计算技术有限公司 一种ssd的规格参数的调节方法及相关产品
CN114817231B (zh) * 2022-06-30 2022-09-30 深圳中科智能技术有限公司 一种冗余数据识别过滤方法及系统
CN118732932A (zh) * 2023-03-29 2024-10-01 华为技术有限公司 存储管理方法和装置
CN116703651B (zh) * 2023-08-08 2023-11-14 成都秦川物联网科技股份有限公司 一种智慧燃气数据中心运行管理方法、物联网系统和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023818A (zh) * 2010-12-06 2011-04-20 成都市华为赛门铁克科技有限公司 一种存储设备容量调整方法、装置及存储设备
CN103309816A (zh) * 2013-05-31 2013-09-18 苏州亮智科技有限公司 固态硬盘、电子装置和其动态容量控制方法
CN103488575A (zh) * 2013-08-12 2014-01-01 记忆科技(深圳)有限公司 动态调整固态硬盘预留空间的方法及其固态硬盘
CN103562842A (zh) * 2011-05-24 2014-02-05 马维尔国际贸易有限公司 用于存储设备的用低预留空间实现低写入放大的方法
CN103620563A (zh) * 2011-04-26 2014-03-05 Lsi公司 用于非易失性存储器的可变超量配置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183133B2 (en) 2007-11-28 2015-11-10 Seagate Technology Llc System, method, and computer program product for increasing spare space in memory to extend a lifetime of the memory
CN101661412B (zh) * 2008-08-29 2012-08-29 智微科技股份有限公司 快闪存储器的配置方法
US20100235605A1 (en) * 2009-02-13 2010-09-16 Nir Perry Enhancement of storage life expectancy by bad block management
US8479080B1 (en) * 2009-07-12 2013-07-02 Apple Inc. Adaptive over-provisioning in memory systems
US8677054B1 (en) 2009-12-16 2014-03-18 Apple Inc. Memory management schemes for non-volatile memory devices
KR101469408B1 (ko) * 2011-04-25 2014-12-04 캐논 가부시끼가이샤 대전 부재, 프로세스 카트리지 및 전자 사진 장치
JP5265734B2 (ja) 2011-06-21 2013-08-14 大見工業株式会社 穿孔機における油供給装置
US9158670B1 (en) * 2011-06-30 2015-10-13 Western Digital Technologies, Inc. System and method for dynamically adjusting garbage collection policies in solid-state memory
US9158695B2 (en) * 2011-08-09 2015-10-13 Seagate Technology Llc System for dynamically adaptive caching
TWI584120B (zh) * 2012-03-23 2017-05-21 Lsi公司 用於動態調適快取的方法及系統
US8862810B2 (en) 2012-09-27 2014-10-14 Arkologic Limited Solid state device write operation management system
US9141532B2 (en) * 2012-12-26 2015-09-22 Western Digital Technologies, Inc. Dynamic overprovisioning for data storage systems
GB2511325A (en) * 2013-02-28 2014-09-03 Ibm Cache allocation in a computerized system
US9542306B2 (en) * 2013-03-13 2017-01-10 Seagate Technology Llc Dynamic storage device provisioning
US9804960B2 (en) * 2013-03-14 2017-10-31 Western Digital Technologies, Inc. Overprovision capacity in a data storage device
US9778885B2 (en) * 2013-03-15 2017-10-03 Skyera, Llc Compressor resources for high density storage units
TWI526830B (zh) * 2013-11-14 2016-03-21 群聯電子股份有限公司 資料寫入方法、記憶體控制電路單元與記憶體儲存裝置
US9383926B2 (en) * 2014-05-27 2016-07-05 Kabushiki Kaisha Toshiba Host-controlled garbage collection
CN104102459A (zh) * 2014-07-03 2014-10-15 优佰特电子科技（无锡）有限公司 一种闪存设备的数据处理方法及闪存设备
US10216572B2 (en) * 2014-07-22 2019-02-26 Ngd Systems, Inc. Flash channel calibration with multiple lookup tables
US10031673B2 (en) * 2014-09-26 2018-07-24 SK Hynix Inc. Techniques for selecting amounts of over-provisioning
KR102365269B1 (ko) * 2015-04-13 2022-02-22 삼성전자주식회사 데이터 스토리지 및 그것의 동작 방법
CN106484331B (zh) * 2015-09-29 2019-04-12 华为技术有限公司 一种数据处理方法、装置及闪存设备
US10592110B2 (en) * 2016-02-19 2020-03-17 International Business Machines Corporation Techniques for dynamically adjusting over-provisioning space of a flash controller based on workload characteristics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023818A (zh) * 2010-12-06 2011-04-20 成都市华为赛门铁克科技有限公司 一种存储设备容量调整方法、装置及存储设备
CN103620563A (zh) * 2011-04-26 2014-03-05 Lsi公司 用于非易失性存储器的可变超量配置
CN103562842A (zh) * 2011-05-24 2014-02-05 马维尔国际贸易有限公司 用于存储设备的用低预留空间实现低写入放大的方法
CN103309816A (zh) * 2013-05-31 2013-09-18 苏州亮智科技有限公司 固态硬盘、电子装置和其动态容量控制方法
CN103488575A (zh) * 2013-08-12 2014-01-01 记忆科技(深圳)有限公司 动态调整固态硬盘预留空间的方法及其固态硬盘

Also Published As

Publication number Publication date
CN109358804A (zh) 2019-02-19
US11960393B2 (en) 2024-04-16
AU2016333294B2 (en) 2019-04-18
EP3316115A1 (en) 2018-05-02
CN106484331B (zh) 2019-04-12
BR112017027915B1 (pt) 2024-02-20
SG11201710576XA (en) 2018-01-30
EP3678016B1 (en) 2023-05-03
CA2990969C (en) 2020-06-02
EP3316115A4 (en) 2018-07-11
JP6484763B2 (ja) 2019-03-13
EP3316115B1 (en) 2019-12-25
CN106484331A (zh) 2017-03-08
CN109358804B (zh) 2022-03-29
AU2016333294A1 (en) 2018-01-18
BR112017027915A2 (zh) 2018-08-28
US20200133840A1 (en) 2020-04-30
CN105335100A (zh) 2016-02-17
CA2990969A1 (en) 2017-04-06
US20180210828A1 (en) 2018-07-26
US20220083465A1 (en) 2022-03-17
WO2017054756A1 (zh) 2017-04-06
US10552315B2 (en) 2020-02-04
EP3678016A1 (en) 2020-07-08
US11200160B2 (en) 2021-12-14
JP2018527688A (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
CN105335100B (zh) 一种数据处理方法、装置及闪存设备
CN101952808B (zh) 存储设备的扩展利用区域
KR101870062B1 (ko) 적응적 버스트 모드를 위한 저장 모듈 및 방법
US20100174853A1 (en) User device including flash and random write cache and method writing data
US8909895B2 (en) Memory apparatus
KR20110041675A (ko) 불휘발성 메모리 시스템 및 그것의 데이터 관리 방법
CN109683805A (zh) 存储器系统及其操作方法
CN104126178A (zh) Slc-mlc损耗平衡
US10324661B2 (en) Storage device and operating method thereof
US11334493B2 (en) Memory system and operating method thereof
CN108228478A (zh) 一种ssd写性能的提高方法及装置
EP3223160A1 (en) Managing backup of logical-to-physical translation information to control boot-time and write amplification
CN106951186B (zh) 数据程序化方法、存储器存储装置及存储器控制电路单元
US20170003911A1 (en) Information processing device
TWI697009B (zh) 寫入控制方法以及資料儲存裝置及其控制器
WO2018167890A1 (ja) 計算機システム及び管理方法
CN106293530A (zh) 一种数据写入方法和装置
JP4334331B2 (ja) フラッシュメモリのアクセス制御方法
US12099745B2 (en) Data storage device and method for dynamically determining a buffer size
US20240069775A1 (en) Compaction of a Logical-to-Physical Table for Zoned Namespace Nonvolatile Memory
CN117453141A (zh) 一种星载混合键值存储系统多级协作压缩方法及相关装置
CN112885397A (zh) 数据储存装置以及非挥发式存储器控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant