CN116774948B - 一种数据处理方法、设备、电子设备及存储介质 - Google Patents
一种数据处理方法、设备、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116774948B CN116774948B CN202311040203.9A CN202311040203A CN116774948B CN 116774948 B CN116774948 B CN 116774948B CN 202311040203 A CN202311040203 A CN 202311040203A CN 116774948 B CN116774948 B CN 116774948B
- Authority
- CN
- China
- Prior art keywords
- solid state
- state disk
- data
- disks
- disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 239000007787 solid Substances 0.000 claims abstract description 392
- 239000002245 particle Substances 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 5
- 230000002035 prolonged effect Effects 0.000 abstract description 2
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
本申请提供了一种数据处理方法、设备、电子设备及存储介质，数据处理方法包括：获得表征固态硬盘损耗程度的第一数据；基于第一数据，确定出损耗程度最高的第一固态硬盘；当第一固态硬盘的损耗程度对应的状态值小于第一阈值时，将待存储的目标数据随机存储至各个固态硬盘；大于第一阈值时，将固定比例的目标数据存储至第一固态硬盘；在各固态硬盘的损耗程度仍不相同的情况下，再在各固态硬盘之间进行数据搬移，以使不同固态硬盘的损耗程度对应的状态值的差值保持在第一范围内。可以有选择性的根据每一个固态硬盘的损耗程度动态调整数据的分配，而且可以对各个固态硬盘之间进行数据的再分配，进而提高固态硬盘的使用寿命。
Description
技术领域
本申请涉及数据处理技术领域，特别涉及一种数据处理方法、设备、电子设备及存储介质。
背景技术
由于存储介质的不同，固态硬盘（SSD）的寿命制约于其闪存颗粒（NAND）类型（比如现有的SLC，MLC，TLC 和QLC）以及各固态硬盘生产厂家固态硬盘固件（FW：FirmWare）的算法。通常数据随机写入，每个数据块中都有部分垃圾、部分数据，因此，常采用先将垃圾多的数据块进行回收，多出的空闲块，用户就可以继续写入数据了，但往往由于垃圾搬移（GC：Garbage Collection）的原因，为了腾出空间，需要额外数据的搬移，这样就导致闪存颗粒实际写入量和用户实际写入量的不同。现有的固态硬盘由于闪存颗粒以及固件算法的制约，对于固态硬盘的性能、寿命以及写入放大问题通过闪光转换层架构算法尽可能多的优化，以增加固态硬盘的寿命。但现有闪光转换层架构通用于各自设置一个固态硬盘，对于多个固态硬盘的系统并不适用。
发明内容
本申请实施例的目的在于提供一种数据处理方法、设备、电子设备及存储介质，用以解决现有技术中多个固态硬盘在数据处理过程中存在的使用寿命低的问题。
本申请的实施例采用如下技术方案：一种数据处理方法，包括：
获得表征固态硬盘损耗程度的第一数据；
基于表征固态硬盘损耗程度的第一数据，确定出第一固态硬盘，第一固态硬盘的损耗程度高于其他固态硬盘；
当第一固态硬盘的损耗程度对应的状态值小于第一阈值时，将待存储的目标数据随机存储至各个固态硬盘；
当第一固态硬盘的损耗程度对应的状态值大于第一阈值时，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘；
在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据搬移至其他固态硬盘，以使不同固态硬盘的损耗程度对应的状态值的差值保持在第一范围内。
在一些实施例中，所述获得表征固态硬盘损耗程度的第一数据，包括：
获得固态硬盘中每个闪存颗粒的擦除次数；
基于获得的闪存颗粒的擦除次数，确定固态硬盘中闪存颗粒的擦除次数的总平均数作为表征固态硬盘损耗程度的第一数据。
在一些实施例中，所述在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据搬移至其他固态硬盘，以使不同固态硬盘的损耗程度对应的状态值的差值保持在第一范围内，包括：
在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据通过连接在各固态硬盘之间的总线驱动搬移至其他固态硬盘；
数据搬移时，优先搬移至其他固态硬盘中擦除次数更低的闪存颗粒中，使各个闪存颗粒的擦除次数的数量差值在第二范围内。
在一些实施例中，所述当第一固态硬盘的损耗程度对应的状态值大于第一阈值时，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘，包括：
当第一固态硬盘的损耗程度对应的状态值大于第二阈值小于第三阈值时，判断各个固态硬盘是否达到设定的预留空间状态限定；
若各个固态硬盘未达到设定的预留空间状态限定，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘；
若各个固态硬盘达到设定的预留空间状态限定，将固定比例的目标数据降速存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘，同时对各个固态硬盘分别进行垃圾回收以释放各个固态硬盘的存储空间；
将目标数据优先存储至各个固态硬盘中擦除次数更低的闪存颗粒中，使各个固态硬盘的每个闪存颗粒的擦除次数的差值在第三范围内。
在一些实施例中，所述当第一固态硬盘的损耗程度对应的状态值大于第一阈值时，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘，还包括：
当第一固态硬盘的损耗程度对应的状态值大于第三阈值时，将固定比例的目标数据降速存储至第一固态硬盘，将剩余比例的目标数据存储至其他固态硬盘；
对所有固态硬盘进行冷数据和热数据均衡。
在一些实施例中，所述对所有固态硬盘进行冷数据和热数据均衡，包括：
对所有固态硬盘中的冷数据和热数据通过磨损均衡算法均衡各个固态硬盘的闪存颗粒的擦除次数。
在一些实施例中，在对所有固态硬盘进行冷数据和热数据均衡之后，还包括：
生成各个固态硬盘存在数据丢失风险的提醒指令。
本申请还公开了一种数据处理设备，包括：
获取模块，其配置为获得表征固态硬盘损耗程度的第一数据；
确定模块，其配置为基于表征固态硬盘损耗程度的第一数据，确定出第一固态硬盘，第一固态硬盘的损耗程度高于其他固态硬盘；
第一存储模块，其配置为当第一固态硬盘的损耗程度对应的状态值小于第一阈值时，将待存储的目标数据随机存储至各个固态硬盘；
第二存储模块，其配置为当第一固态硬盘的损耗程度对应的状态值大于第一阈值时，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘；
搬移模块，其配置为在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据搬移至其他固态硬盘，以使不同固态硬盘的损耗程度对应的状态值的差值保持在第一范围内。
本申请还公开了一种电子设备，包括处理器和存储器，所述存储器中存储有可执行程序，所述处理器执行所述可执行程序以进行如上述实施例中任意一项所述的方法的步骤。
本申请还公开了一种存储介质，所述存储介质承载有一个或者多个计算机程序，所述一个或者多个计算机程序被处理器执行以实现如上述实施例中任一项所述方法的步骤。
本申请实施例的有益效果在于：采用多个固态硬盘的架构，可以有选择性的根据每一个固态硬盘的损耗程度动态调整数据的分配，以减小固态硬盘的写入放大系数。而且可以对各个固态硬盘之间进行数据的再分配，以减小预留空间，增大用于的存储空间，进而提高固态硬盘的使用寿命。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的数据处理方法的流程图。
图2为本申请实施例的图1中步骤S100的一个实施例的流程图。
图3为本申请实施例的图1中步骤S400的一个实施例的流程图。
图4为本申请实施例的图1中步骤S400的另一个实施例的流程图。
图5为本申请实施例的图1中步骤S500的一个实施例的流程图。
图6为本申请实施例的两个固态硬盘的连接关系示意图。
图7为本申请实施例的数据处理设备的结构框图。
图8为本申请实施例的电子设备的结构框图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。
一种数据处理方法，如图1所示，该方法包括：
步骤S100，获得表征固态硬盘损耗程度的第一数据。
示例性的，该第一数据可以通过获取指令直接获取得到，也可以通过获得对应的参数值，再对获得的对应的参数值进行换算等操作得到。比如，表征固态硬盘中存储单元状态的参数值，该参数值可以表征固态硬盘的损耗程度。
在本申请的一个实施例中，获得表征固态硬盘损耗程度的第一数据，如图2所示，包括：
步骤S110，获得固态硬盘中每个闪存颗粒的擦除次数。
示例性的，可以根据固件算法设置侦测各个固态硬盘中对应的每个闪存颗粒最小擦除单位的状态值，该状态值用于表征各个闪存颗粒已经被擦除的次数，即每个闪存颗粒的擦除次数。擦除次数越多，代表该闪存颗粒已经使用的次数越多，其寿命越低。
示例性的，在进行数据存储时，可以根据该状态值有选择的进行数据的存储。将数据更多的存储值擦除次数少的闪存颗粒中，以尽可能的平衡各个闪存颗粒的擦除次数，避免寿命更低的闪存颗粒再因数据的存储和擦除而导致其寿命再次降低。
步骤S120，基于获得的闪存颗粒的擦除次数，确定固态硬盘中闪存颗粒的擦除次数的总平均数作为表征固态硬盘损耗程度的第一数据。
示例性的，将每个闪存颗粒的所有最小擦除单位的状态值进行汇总，汇总后，计算闪存颗粒的最小擦除单位状态值的总平均数，该最小擦除单位状态值的总平均数的大小即可作为表征固态硬盘损耗程度的第一数据。
比如，最小擦除单位状态值的总平均数越小，代表固态硬盘的损耗程度越低；反之，则代表固态硬盘的损耗程度越高。
步骤S200，基于表征固态硬盘损耗程度的第一数据，确定出第一固态硬盘，第一固态硬盘的损耗程度高于其他固态硬盘。
示例性的，对各个固态硬盘中所有闪存颗粒的最小擦除单位状态值的总平均数进行比较，对应最小擦除单位状态值的总平均数最大的固态硬盘即为第一固态硬盘，表示该第一固态硬盘的损耗程度是当前所有固态硬盘中损耗程度最高的。
步骤S300，当第一固态硬盘的损耗程度对应的状态值小于第一阈值时，将待存储的目标数据随机存储至各个固态硬盘。
示例性的，比如第一阈值为最小擦除单位状态值的总平均数为30%（不限于该具体数值），当第一固态硬盘的损耗程度对应的状态值小于30%时，表示当前损耗程度最高的第一固态硬盘的损耗程度也比较小，其他固态硬盘的损耗程度则更低；进而表明所有的固态硬盘的损耗程度都不高。因此，在存储数据时，不管将待存储的目标数据存储到哪个固态硬盘，都不会对存储目标数据的固态硬盘的寿命造成明显的影响。所以，可以将待存储的目标数据随机存储至各个固态硬盘中即可。
步骤S400，当第一固态硬盘的损耗程度对应的状态值大于第一阈值时，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘。
在本申请的一个实施例中，所述当第一固态硬盘的损耗程度对应的状态值大于第一阈值时，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘，如图3所示，包括：
步骤S410，当第一固态硬盘的损耗程度对应的状态值大于第二阈值小于第三阈值时，判断各个固态硬盘是否达到设定的预留空间状态限定。
示例性的，比如第二阈值为最小擦除单位状态值的总平均数为60%（不限于该具体数值），第三阈值为最小擦除单位状态值的总平均数为90%（不限于该具体数值）。当第一固态硬盘的损耗程度对应的状态值大于60%小于90%时，说明第一固态硬盘的损耗程度相对较高，此时需要判断各个固态硬盘是否达到设定的预留空间状态限定，然后再根据判断结果进行对应的操作。
步骤S411，若各个固态硬盘未达到设定的预留空间状态限定，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘。
若各个固态硬盘未达到设定的预留空间状态限定，说明固态硬盘的预留空间还较为充足，则将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘。其中，固定比例可以根据各个固态硬盘与设定的预留空间状态的比较结果进行设置。
步骤S412，若各个固态硬盘达到设定的预留空间状态限定，将固定比例的目标数据降速存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘，同时对各个固态硬盘分别进行垃圾回收以释放各个固态硬盘的存储空间。
若各个固态硬盘达到设定的预留空间状态限定，说明固态硬盘的预留空间不充足，此时，需要降低向各个固态硬盘存储数据的速度，以便于对各个固态硬盘分别进行垃圾回收，进而释放各个固态硬盘的存储空间。各个固态硬盘的存储空间得到一定的释放，将固定比例的目标数据降速存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘。
步骤S413，将目标数据优先存储至各个固态硬盘中擦除次数更低的闪存颗粒中，使各个固态硬盘的每个闪存颗粒的擦除次数的差值在第三范围内。
示例性的，将目标数据优先存储到各个固态硬盘中擦除次数更低的闪存颗粒中，相较于将目标数据存储至擦除次数更高的闪存颗粒中而导致擦除次数更高的闪存颗粒被更多的损耗，该操作可以更好的保证固态硬盘的使用寿命。将目标数据优先存储到各个固态硬盘中擦除次数更低的闪存颗粒中，使各个固态硬盘的每个闪存颗粒的擦除次数的差值在第三范围内，以使各个固态硬盘的每个闪存颗粒的擦除次数相同为最优。
在本申请的一个实施例中，所述当第一固态硬盘的损耗程度对应的状态值大于第一阈值时，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘，如图4所示，还包括：
步骤S420，当第一固态硬盘的损耗程度对应的状态值大于第三阈值时，将固定比例的目标数据降速存储至第一固态硬盘，将剩余比例的目标数据存储至其他固态硬盘。
示例性的，仍以第三阈值为最小擦除单位状态值的总平均数为90%为例进行说明，当第一固态硬盘的损耗程度对应的状态值大于90%时，表明第一固态硬盘损耗相当严重，可能会有一定数据丢失的风险。此时，仍需要首先降低向各个固态硬盘存储数据的速度，以便于对各个固态硬盘分别进行垃圾回收，进而释放各个固态硬盘的存储空间。然后进行步骤S421。
步骤S421，对所有固态硬盘进行冷数据和热数据均衡。
其中，冷数据指访问频率较低、不太重要的数据。这些数据通常需要长期保存，但不需要频繁访问和处理。热数据指访问频率高、较为关键的数据。这些数据通常需要快速、高效地访问和处理。
在对目标数据进行降速存储的同时，对所有固态硬盘进行冷数据和热数据均衡，以使各个固态硬盘的使用率尽可能达到对等。
在一些实施例中，所述对所有固态硬盘进行冷数据和热数据均衡，包括：
对所有固态硬盘中的冷数据和热数据通过磨损均衡算法均衡各个固态硬盘的闪存颗粒的擦除次数，以使各个固态硬盘的闪存颗粒的擦除次数的差值控制在设定范围内。其中，磨损均衡算法的实现方式是将写入行为安排给闪存颗粒的多个扇区，令每一个扇区能充分利用，控制不均匀磨损现象。将磨损均衡算法集成在闪存控制器的固件内，通过建立闪存逻辑扇区和物理扇区之间的文件分区表，进行合理对应。从理论上讲，磨损均衡算法能够令闪存几乎所有扇区同时达到其耐久度限制。
而当第一固态硬盘的损耗程度对应的状态值大于第一阈值（30%）小于第二阈值（60%）时，将固定比例的目标数据存储至第一固态硬盘，将剩余比例的目标数据存储至其他固态硬盘，以使各个固态硬盘的使用率均衡至设定要求。若未能达到设定要求，则可以将数据在固态硬盘之间进行搬移，进而使各个固态硬盘的使用率均衡至设定要求。
在本申请的一个实施例中，在对所有固态硬盘进行冷数据和热数据均衡之后，还包括：
步骤S430，生成各个固态硬盘存在数据丢失风险的提醒指令，以使用户可以清楚当前各个固态硬盘的使用情况。用户可以根据风险提醒进行相关数据的手动调整或保存等操作，以避免数据的丢失。
步骤S500，在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据搬移至其他固态硬盘，以使不同固态硬盘的损耗程度对应的状态值的差值保持在第一范围内。
示例性的，在第一固态硬盘的损耗程度高于其他固态硬盘的损耗程度的情况下，可以将第一固态硬盘的部分数据直接搬移至其他固态硬盘中，搬移的数据可以是存入第一固态硬盘的目标数据，也可以是本来就存储在第一固态硬盘中的数据。固态硬盘之间数据的直接搬移可以使不同固态硬盘的损耗程度对应的状态值的差值保持在第一范围内，以使不同固态硬盘的损耗程度对应的状态值相同为最优。
在本申请的一个实施例中，所述在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据搬移至其他固态硬盘，以使不同固态硬盘的损耗程度对应的状态值的差值保持在第一范围内，如图5所示，包括：
步骤S510，在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据通过连接在各固态硬盘之间的总线驱动搬移至其他固态硬盘。
示例性的，结合图6，以固态硬盘包括两个为例进行说明，两个固态硬盘分别为损耗程度更高的第一固态硬盘（SSD1）和损耗程度较低的第二固态硬盘（SSD2）。第一固态硬盘和第二固态硬盘分别可以与CPU（中央处理器）进行通信及数据传输的连接，其中第一固态硬盘通过第一总线驱动（PCIE1）实现与CPU的通信及数据传输的连接，第二固态硬盘通过第二总线驱动（PCIE2）实现与CPU的通信及数据传输的连接，而第一固态硬盘与第二固态硬盘则通过第三总线驱动（PCIE3）实现通信及数据传输的连接。在第一固态硬盘是损耗程度仍高于其他固态硬盘的损耗程度的情况下，将第一固态硬盘中的部分数据通过第三总线驱动搬移至第二固态硬盘中。
步骤S520，数据搬移时，优先搬移至其他固态硬盘中擦除次数更低的闪存颗粒中，使各个闪存颗粒的擦除次数的数量差值在第二范围内。
示例性的，再次结合图6，将第一固态硬盘中的部分数据优先搬移到第二固态硬盘中擦除次数更低的闪存颗粒中，使各个闪存颗粒的擦除次数的数量差值在第二范围内，以使各个闪存颗粒的擦除次数相同为最优。
采用多个固态硬盘的架构，可以有选择性的根据每一个固态硬盘的损耗程度动态调整数据的分配，以减小固态硬盘的写入放大系数。而且可以对各个固态硬盘之间进行数据的再分配，以减小预留空间，增大用于的存储空间，进而提高固态硬盘的使用寿命。
本申请还公开了一种数据处理设备，如图7所示，该数据处理设备包括：
获取模块，其配置为获得表征固态硬盘损耗程度的第一数据。
示例性的，该第一数据可以通过获取指令直接获取得到，也可以通过获得对应的参数值，再对获得的对应的参数值进行换算等操作得到。比如，表征固态硬盘中存储单元状态的参数值，该参数值可以表征固态硬盘的损耗程度。
在本申请的一个实施例中，获取模块，进一步配置为：
获得固态硬盘中每个闪存颗粒的擦除次数。
基于获得的闪存颗粒的擦除次数，确定固态硬盘中闪存颗粒的擦除次数的总平均数作为表征固态硬盘损耗程度的第一数据。
确定模块，其配置为基于表征固态硬盘损耗程度的第一数据，确定出第一固态硬盘，第一固态硬盘的损耗程度高于其他固态硬盘。
示例性的，对各个固态硬盘中所有闪存颗粒的最小擦除单位状态值的总平均数进行比较，对应最小擦除单位状态值的总平均数最大的固态硬盘即为第一固态硬盘，表示该第一固态硬盘的损耗程度是当前所有固态硬盘中损耗程度最高的。
第一存储模块，其配置为当第一固态硬盘的损耗程度对应的状态值小于第一阈值时，将待存储的目标数据随机存储至各个固态硬盘。
示例性的，比如第一阈值为最小擦除单位状态值的总平均数为30%（不限于该具体数值），当第一固态硬盘的损耗程度对应的状态值小于30%时，表示当前损耗程度最高的第一固态硬盘的损耗程度也比较小，其他固态硬盘的损耗程度则更低；进而表明所有的固态硬盘的损耗程度都不高。因此，在存储数据时，不管将待存储的目标数据存储到哪个固态硬盘，都不会对存储目标数据的固态硬盘的寿命造成明显的影响。所以，可以将待存储的目标数据随机存储至各个固态硬盘中即可。
第二存储模块，其配置为当第一固态硬盘的损耗程度对应的状态值大于第一阈值时，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘。
在本申请的一个实施例中，第二存储模块进一步配置为：
当第一固态硬盘的损耗程度对应的状态值大于第二阈值小于第三阈值时，判断各个固态硬盘是否达到设定的预留空间状态限定。
若各个固态硬盘未达到设定的预留空间状态限定，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘。
若各个固态硬盘达到设定的预留空间状态限定，将固定比例的目标数据降速存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘，同时对各个固态硬盘分别进行垃圾回收以释放各个固态硬盘的存储空间。
将目标数据优先存储至各个固态硬盘中擦除次数更低的闪存颗粒中，使各个固态硬盘的每个闪存颗粒的擦除次数的差值在第三范围内。
在本申请的一个实施例中，第二存储模块还进一步配置为：
当第一固态硬盘的损耗程度对应的状态值大于第三阈值时，将固定比例的目标数据降速存储至第一固态硬盘，将剩余比例的目标数据存储至其他固态硬盘。
对所有固态硬盘进行冷数据和热数据均衡。对所有固态硬盘进行冷数据和热数据均衡，包括：
对所有固态硬盘中的冷数据和热数据通过磨损均衡算法均衡各个固态硬盘的闪存颗粒的擦除次数，以使各个固态硬盘的闪存颗粒的擦除次数的差值控制在设定范围内。
在本申请的一个实施例中，第二存储模块还进一步配置为：
生成各个固态硬盘存在数据丢失风险的提醒指令，以使用户可以清楚当前各个固态硬盘的使用情况。用户可以根据风险提醒进行相关数据的手动调整或保存等操作，以避免数据的丢失。
搬移模块，其配置为在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据搬移至其他固态硬盘，以使不同固态硬盘的损耗程度对应的状态值的差值保持在第一范围内。
示例性的，在第一固态硬盘的损耗程度高于其他固态硬盘的损耗程度的情况下，可以将第一固态硬盘的部分数据直接搬移至其他固态硬盘中，搬移的数据可以是存入第一固态硬盘的目标数据，也可以是本来就存储在第一固态硬盘中的数据。固态硬盘之间数据的直接搬移可以使不同固态硬盘的损耗程度对应的状态值的差值保持在第一范围内，以使不同固态硬盘的损耗程度对应的状态值相同为最优。
在本申请的一个实施例中，搬移模块进一步配置为：
在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据通过连接在各固态硬盘之间的总线驱动搬移至其他固态硬盘。
数据搬移时，优先搬移至其他固态硬盘中擦除次数更低的闪存颗粒中，使各个闪存颗粒的擦除次数的数量差值在第二范围内。
基于同样的发明构思，本申请还公开了一种电子设备，如图8所示，包括处理器和存储器，所述存储器中存储有可执行程序，所述处理器执行所述可执行程序以进行如上所述的方法的步骤。
基于同样的发明构思，本申请还公开了一种存储介质，所述存储介质承载有一个或者多个计算机程序，所述一个或者多个计算机程序被处理器执行以实现如上述实施例中任一项所述方法的步骤。
本领域技术人员应明白，本申请的实施例可提供为方法、电子设备、计算机可读存储介质或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。当通过软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
上述处理器可以是通用处理器、数字信号处理器、专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logicdevice，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic,简称GAL)或其任意组合。通用处理器可以是微处理器或者任何常规的处理器等。
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
上述可读存储介质可为磁碟、光盘、DVD、USB、只读存储记忆体(ROM)或随机存储记忆体(RAM)等，本申请对具体的存储介质形式不作限定。
以上对本申请多个实施例进行了详细说明，但本申请不限于这些具体的实施例，本领域技术人员在本申请构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本申请所要求保护的范围之内。
Claims (9)
1.一种数据处理方法，其特征在于，包括：
获得表征固态硬盘损耗程度的第一数据；
基于表征固态硬盘损耗程度的第一数据，确定出第一固态硬盘，第一固态硬盘的损耗程度高于其他固态硬盘；
当第一固态硬盘的损耗程度对应的状态值小于第一阈值时，将待存储的目标数据随机存储至各个固态硬盘；
当第一固态硬盘的损耗程度对应的状态值大于第一阈值时，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘，其中，当第一固态硬盘的损耗程度对应的状态值大于第二阈值小于第三阈值时，判断各个固态硬盘是否达到设定的预留空间状态限定；若各个固态硬盘未达到设定的预留空间状态限定，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘；若各个固态硬盘达到设定的预留空间状态限定，将固定比例的目标数据降速存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘，同时对各个固态硬盘分别进行垃圾回收以释放各个固态硬盘的存储空间；将目标数据优先存储至各个固态硬盘中擦除次数更低的闪存颗粒中，使各个固态硬盘的每个闪存颗粒的擦除次数的差值在第三范围内；
在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据搬移至其他固态硬盘，以使不同固态硬盘的损耗程度对应的状态值的差值保持在第一范围内。
2.根据权利要求1所述的数据处理方法，其特征在于，所述获得表征固态硬盘损耗程度的第一数据，包括：
获得固态硬盘中每个闪存颗粒的擦除次数；
基于获得的闪存颗粒的擦除次数，确定固态硬盘中闪存颗粒的擦除次数的总平均数作为表征固态硬盘损耗程度的第一数据。
3.根据权利要求1所述的数据处理方法，其特征在于，所述在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据搬移至其他固态硬盘，以使不同固态硬盘的损耗程度对应的状态值的差值保持在第一范围内，包括：
在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据通过连接在各固态硬盘之间的总线驱动搬移至其他固态硬盘；
数据搬移时，优先搬移至其他固态硬盘中擦除次数更低的闪存颗粒中，使各个闪存颗粒的擦除次数的数量差值在第二范围内。
4.根据权利要求1所述的数据处理方法，其特征在于，所述当第一固态硬盘的损耗程度对应的状态值大于第一阈值时，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘，还包括：
当第一固态硬盘的损耗程度对应的状态值大于第三阈值时，将固定比例的目标数据降速存储至第一固态硬盘，将剩余比例的目标数据存储至其他固态硬盘；
对所有固态硬盘进行冷数据和热数据均衡。
5.根据权利要求4所述的数据处理方法，其特征在于，所述对所有固态硬盘进行冷数据和热数据均衡，包括：
对所有固态硬盘中的冷数据和热数据通过磨损均衡算法均衡各个固态硬盘的闪存颗粒的擦除次数。
6.根据权利要求4所述的数据处理方法，其特征在于，在对所有固态硬盘进行冷数据和热数据均衡之后，还包括：
生成各个固态硬盘存在数据丢失风险的提醒指令。
7.一种数据处理设备，其特征在于，包括：
获取模块，其配置为获得表征固态硬盘损耗程度的第一数据；
确定模块，其配置为基于表征固态硬盘损耗程度的第一数据，确定出第一固态硬盘，第一固态硬盘的损耗程度高于其他固态硬盘；
第一存储模块，其配置为当第一固态硬盘的损耗程度对应的状态值小于第一阈值时，将待存储的目标数据随机存储至各个固态硬盘；
第二存储模块，其配置为当第一固态硬盘的损耗程度对应的状态值大于第一阈值时，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘；其中，当第一固态硬盘的损耗程度对应的状态值大于第二阈值小于第三阈值时，判断各个固态硬盘是否达到设定的预留空间状态限定；若各个固态硬盘未达到设定的预留空间状态限定，将固定比例的目标数据存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘；若各个固态硬盘达到设定的预留空间状态限定，将固定比例的目标数据降速存储至第一固态硬盘，剩余比例的目标数据存储至其他固态硬盘，同时对各个固态硬盘分别进行垃圾回收以释放各个固态硬盘的存储空间；将目标数据优先存储至各个固态硬盘中擦除次数更低的闪存颗粒中，使各个固态硬盘的每个闪存颗粒的擦除次数的差值在第三范围内；
搬移模块，其配置为在第一固态硬盘与其他固态硬盘的损耗程度仍不相同的情况下，再将当前损耗程度更高的固态硬盘中的部分数据搬移至其他固态硬盘，以使不同固态硬盘的损耗程度对应的状态值的差值保持在第一范围内。
8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有可执行程序，所述处理器执行所述可执行程序以进行如权利要求1至6中任意一项所述的方法的步骤。
9.一种存储介质，其特征在于，所述存储介质承载有一个或者多个计算机程序，所述一个或者多个计算机程序被处理器执行以实现如权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311040203.9A CN116774948B (zh) | 2023-08-18 | 2023-08-18 | 一种数据处理方法、设备、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311040203.9A CN116774948B (zh) | 2023-08-18 | 2023-08-18 | 一种数据处理方法、设备、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116774948A CN116774948A (zh) | 2023-09-19 |
| CN116774948B true CN116774948B (zh) | 2023-11-28 |
Family
ID=87991569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311040203.9A Active CN116774948B (zh) | 2023-08-18 | 2023-08-18 | 一种数据处理方法、设备、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116774948B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012060824A1 (en) * | 2010-11-02 | 2012-05-10 | Hewlett-Packard Development Company, L.P. | Solid-state disk (ssd) management |
| CN109582527A (zh) * | 2017-09-29 | 2019-04-05 | 群晖科技股份有限公司 | 存储服务器及其固态硬盘寿命监控方法 |
| CN111324304A (zh) * | 2020-02-14 | 2020-06-23 | 西安奥卡云数据科技有限公司 | 一种基于ssd硬盘寿命预测的数据保护方法及装置 |
| CN112328169A (zh) * | 2020-10-20 | 2021-02-05 | 浙江大华存储科技有限公司 | 固态硬盘的磨损均衡方法、装置及计算机可读存储介质 |
| CN113535082A (zh) * | 2021-06-09 | 2021-10-22 | 杭州电子科技大学 | 一种实现磨损逆均衡的方法 |
| CN115129262A (zh) * | 2022-07-29 | 2022-09-30 | 苏州浪潮智能科技有限公司 | 一种固态硬盘垃圾回收方法、装置、设备及介质 |
| WO2023124571A1 (zh) * | 2021-12-28 | 2023-07-06 | 深圳大普微电子科技有限公司 | 一种存储介质失效的处理方法、装置和固态硬盘 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106933492B (zh) * | 2015-12-30 | 2020-05-22 | 伊姆西Ip控股有限责任公司 | 有助于固态硬盘的磨损平衡的方法和装置 |
| CN106776388A (zh) * | 2016-11-24 | 2017-05-31 | 英业达科技有限公司 | 服务器系统与读取方法 |
| US11513950B2 (en) * | 2020-09-08 | 2022-11-29 | Western Digital Technologies, Inc. | Wear leveling in non-volatile memory |
-
2023
- 2023-08-18 CN CN202311040203.9A patent/CN116774948B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012060824A1 (en) * | 2010-11-02 | 2012-05-10 | Hewlett-Packard Development Company, L.P. | Solid-state disk (ssd) management |
| CN109582527A (zh) * | 2017-09-29 | 2019-04-05 | 群晖科技股份有限公司 | 存储服务器及其固态硬盘寿命监控方法 |
| CN111324304A (zh) * | 2020-02-14 | 2020-06-23 | 西安奥卡云数据科技有限公司 | 一种基于ssd硬盘寿命预测的数据保护方法及装置 |
| CN112328169A (zh) * | 2020-10-20 | 2021-02-05 | 浙江大华存储科技有限公司 | 固态硬盘的磨损均衡方法、装置及计算机可读存储介质 |
| CN113535082A (zh) * | 2021-06-09 | 2021-10-22 | 杭州电子科技大学 | 一种实现磨损逆均衡的方法 |
| WO2023124571A1 (zh) * | 2021-12-28 | 2023-07-06 | 深圳大普微电子科技有限公司 | 一种存储介质失效的处理方法、装置和固态硬盘 |
| CN115129262A (zh) * | 2022-07-29 | 2022-09-30 | 苏州浪潮智能科技有限公司 | 一种固态硬盘垃圾回收方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 面向SSD存储集群的耐久性感知的数据布局方法研究;刘燕;《中国优秀硕士学位论文全文数据库 信息科技辑》;正文第2-8、10-11、15-24、33-44页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116774948A (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200167083A1 (en) | Techniques for controlling recycling of blocks of memory | |
| US9448868B2 (en) | Data storing method, memory control circuit unit and memory storage apparatus | |
| US8103820B2 (en) | Wear leveling method and controller using the same | |
| TWI420303B (zh) | 基於寫入頻率將資料寫至記憶體不同部份之方法、非暫態電腦可讀媒體與裝置 | |
| US9880742B2 (en) | Valid data merging method, memory controller and memory storage apparatus | |
| KR101454817B1 (ko) | 반도체 메모리 장치 및 그것의 마모도 관리 방법 | |
| US20170039141A1 (en) | Mapping table updating method, memory storage device and memory control circuit unit | |
| US10620874B2 (en) | Memory management method, memory control circuit unit and memory storage apparatus | |
| US20120155167A1 (en) | Non-volatile storage device, information processing system and write control method of non-volatile storage device | |
| US9274943B2 (en) | Storage unit management method, memory controller and memory storage device using the same | |
| CN107844432B (zh) | 一种固态硬盘动态垃圾回收的方法及固态硬盘 | |
| US10922028B2 (en) | Data programming method, memory storage device and memory control circuit unit | |
| CN110750466A (zh) | 提高闪存擦写寿命的方法和装置 | |
| US9298610B2 (en) | Data writing method, memory control circuit unit and memory storage apparatus | |
| US9236148B2 (en) | Memory management method, memory control circuit unit and memory storage apparatus | |
| US9001585B1 (en) | Data writing method, memory control circuit unit and memory storage apparatus | |
| US10545700B2 (en) | Memory management method, memory storage device and memory control circuit unit | |
| CN115114180A (zh) | 在快闪存储器中进行耗损平衡操作的方法和相关控制器以及储存系统 | |
| CN112068782B (zh) | 存储器管理方法、存储器存储装置及存储器控制电路单元 | |
| CN112347001B (zh) | 闪存垃圾回收的校验方法、装置及电子设备 | |
| CN116774948B (zh) | 一种数据处理方法、设备、电子设备及存储介质 | |
| US8527690B2 (en) | Optimization of non-volatile solid-state memory by moving data based on data generation and memory wear | |
| US20150186058A1 (en) | Data storing method, memory control circuit unit and memory storage apparatus | |
| US20110087828A1 (en) | Method for enhancing performance of accessing a flash memory, and associated memory device and controller thereof | |
| US11307982B2 (en) | Memory management method with a data merging process based on risk physical units and distribution counts, memory storage device and memory control circuit unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |