CN115758206A

CN115758206A - 一种快速查找ZNS固态硬盘中NorFlash上次写结束位置的方法

Info

Publication number: CN115758206A
Application number: CN202211381606.5A
Authority: CN
Inventors: 钦传雄; 刘兴斌
Original assignee: Wuhan Lugu Technology Co ltd
Current assignee: Wuhan Lugu Technology Co ltd
Priority date: 2022-11-07
Filing date: 2022-11-07
Publication date: 2023-03-07
Anticipated expiration: 2042-11-07
Also published as: CN115758206B

Abstract

本发明涉及一种基于ZNS固态硬盘的快速查找写结束位置的方法和装置，方法包括：通过PSO优化后的SVM算法来找出写结束所处的sector，然后定义该sector中数据阵列的起始位置和结束位置，以及定义一个临时变量mid，判断中间位置的缓冲值buf[mid]是否为写结束位置的0xFFFFFFF，根据判断结果向前或向后进行循环定位，以确定最终的写结束位置。本发明实施例所提供的快速查找写结束位置的方法可以有效提高查找效率，减少存储过程中的性能损失，避免因结束写入时的丢失失效问题，保持了算法通用性，同时充分发挥闪存介质的性能优势。

Description

一种快速查找ZNS固态硬盘中NorFlash上次写结束位置的方法

技术领域

本发明涉及计算机存储领域，尤其涉及一种快速查找ZNS固态硬盘中NorFlash上次写结束位置的方法。

背景技术

高性能的SSD固态硬盘作为磁盘的替代品广泛应用在企业级存储系统中，SSD沿用磁盘的访问接口，屏蔽了闪存的操作特性。SPI(Serial Peripheral Interface串行外设接口)接口的NOR(Not Or)或者NAND(Not And) FLASH(闪存)作为性价比较高的存储介质，越来越多地应用于大多数中小型嵌入式系统。

ZNS（Zone Name Space）固态硬盘作为一种运用分区命名技术的新款固态硬盘，可以将用户可用容量扩大，为存储服务器、数据中心和云环境提供更长的使用寿命。ZNS技术允许根据数据的使用和访问频率对数据进行分组，并按顺序存储在SSD的独立区域中，无需移动和重新排列数据，ZNS SSD可以显著减少写入操作的数量，降低驱动器的写入放大因子（WAF）——与主机系统最初指示的写入相比，驱动器执行的实际写入量，WAF越接近1，SSD的效率就越高，持续的时间越长。与传统SSD不同的是，ZNS SSD一般只支持顺序写入，因此ZNSSSD在进行配置使用之前，需要提前获取SSD内部所有Zone的配置信息，才能准确的确定各个Zone的状态。

但是ZNS SSD在实际写入的情况下，会出现offset丢了，找不到上次写的结束位置，需要在sector里查找特殊标记定位上次写的结束位置，因为Nor的特性，写之前需要擦除，擦除后的区域全是0xFF，如附图1红色区域后面全部是0xFFFFFFFF，所以能够以0xFFFFFFFF为特殊符号来定位上次写结束位置，常规做法是把一个sector的数据读出来逐个比较buf[i]是否为0xFFFFFFFF，而由于固态硬盘中的存储数据排列无序，所以无法用常规的二分法查找，常规算法为逐个查找，定位效率很低，会严重降低再次写入的效率。

基于上述技术问题，可以将分类算法引入确定硬盘写结束位置的sector，然后进一步通过精确查找来确定准确的字节位置。硬盘的所有字节数据可以分类为已写入和待写入状态，目前关于分类算法具有很多种，按不同的分类算法可以设计出不同的分类器，如贝叶斯，支持向量机（SVM），人工神经网络等经典分类器，它们可以依据已知的样本类别信息来进行学习，以提取样本分类的信息。然而不同的分类器对同一组数据的分类准确度和速度都有所不同，也就是说分类器很难兼容所有数据集。其中SVM具备分类精度高、抗噪声能力强，不需要调整和输入大量参数的优点。

发明内容

为解决上述技术问题，本发明实施例提供了一种数据处理方法、装置、系统、计算机存储介质，其中数据处理方法用于快速查找ZNS固态硬盘中NorFlash上次写结束位置。

本发明具体涉及一种快速查找ZNS固态硬盘中SPI Nor的一个Sector 中上次写结束位置的方法，以便接着上次写结束位置继续写。具体方法包括：

步骤1首先通过对日志（log）中的数据写入情况将数据集分为训练集和测试集；

步骤2在训练集上使用支持向量机SVM；

步骤3在测试集上使用步骤2中的SVM来对硬盘中sector写入情况进行识别；

步骤4识别出已写入和未写入区块交界处的sector，并定位后采用

进一步的，所述步骤1中包含以下步骤：

步骤1.1将硬盘写入情况的数据集划分为训练集和测试集；

步骤1.2选择合适的核函数对训练集中每个sector数据进行变换；

步骤1.3计算每个sector数据两两之间的pearson相关系数，选择大于预设阈值的数据，减小训练集规模。

进一步的，所述步骤2中采用确定性粒子群优化算法（PSO）对支持向量机SVM进行优化，具体步骤如下：

步骤2.1在硬盘起始位置随机初始化每个sector的数据情况；

步骤2.2计算每个sector的适应值和对于适应度函数在其位置的梯度；

步骤2.3对于每个sector，将计算得到的适应值和单体最优值进行比较，如果更好则更替为当前单体最优值；

步骤2.4对于每个sector，将计算得到的适应值和群体最优值进行比较，如果更好，则将其更替为当前群体最优值；

步骤2.5当群体多样性值大于预设阈值时，每个sector的速度会进行更替，直到达到终止条件时输出适应值。

在步骤3确定准确的写结束位置所在sector之后，开始进行查找该sector中准确写结束字节。存储区块sector中每个字节均为0x开头，而未写入数据的字节是以0xFF开头的，因此上次写结束位置的后一位一般为0xFF。因此查找上次写结束位置就是查找出0xFF开头字节的位置。现有技术中常规的做法是逐个查找读出来的Nor存储的数据是否为0xFF。但是这种常规做法比较耗时，且会对ZNS固态硬盘中存储区块过度擦写从而导致存储区块磨损，因此本发明提供一种可以快速查找写结束位置的方法。因此所述步骤4的定位方法为：定义所述定位到的sector中数据阵列的起始位置和结束位置；以及定义一个临时变量mid，判断中间位置的缓冲值buf[mid]是否为写结束位置的0xFFFFFFF；根据判断结果向前或向后进行循环定位，以确定最终的写结束位置。

其中步骤4的具体操作步骤如下：

步骤4. 1 每个存储区块sector均有(NOR_SECTOR_SIZE/4)即1024个unsignedint 数据；

步骤4.2 定义起始位置为start=0，结束位置end=1023，临时变量mid，其中mid=(start + end)/2；

步骤4.3判断中间位置buf[mid]是否为0xFFFFFFFF，如果是，则紧接着判断左边buf[mid-1]是否为小于0xFFFFFFFF，如果是，则mid就是定位点；

步骤4.4 如果buf[mid]小于0xFFFFFFFF,表示定位点在后面，在mid-end区间重复向后查找，即start = mid，end=1023，直到查找出准确的字节位置。

更进一步的，本发明提供一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行步骤1-步骤4的方法。

更进一步的，本发明提供一种计算机可读存储介质，其上存储有可执行指令，其特征在于，所述可执行指令被处理器执行时使处理器执行步骤1-步骤4的方法。

本发明所提供的快速查找写结束位置的方法可以有效提高查找效率，减少存储过程中的性能损失，避免因结束写入时的丢失失效问题，保持了算法通用性，同时充分发挥闪存介质的性能优势。相比于常规算法而言，采用本发明的技术方案，通过SVM分类法可以在sector级别上筛选出具体的写结束字节所处的sector，并进一步在该sector中采用跨步查找来定位精确的字节位置，可以大幅降低查找上次写结束位置的次数。在常规的SVM分类器中，发明人采用了PSO优化算法对分类器进行进一步优化，从而可以优化核函数参数来提高SVM的分类性能，即提高其分类的准确率。并且该方法能够延伸到其它有类似数据存储方式的场景，比如一个缓冲区的数据，其中前面部分数据无效且以0填充，后面数据有效，要查出第一个有效的数据，本发明的算法也可以修改后扩展应用于查找出第一个有效数据。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本申请可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均应仍落在本申请所揭示的技术内容得能涵盖的范围内。

图1为NorFlash实际存储示意图（以NorFlash中有个区域A用来保存LOG为例）；

图2为存储区块只写了2个word为例的查找细节示意图(以8个int型的buf为例)；

图3为存储区块写满只剩下2个word为例的查找细节示意图(以8个int型的buf为例)。

具体实施方式

下面将结合本申请实施例中的附图，对本申请中的实施例进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下对本发明实施例涉及到的概念进行解释说明：

1)存储系统包括但不限于：单机文件系统、分布式文件系统、分布式块存储系统以及分布式对象存储系统等。

2)专门用作记录日志的逻辑设备(整盘或者分区)被统称为“日志盘”。日志盘服务的对象被称为“数据盘”。如非特别说明，默认使用固态硬盘作为日志盘，使用传统硬盘作为数据盘。

3)在本发明实施例中，日志对应于英文释义Log一词。Log指系统运行过程中的行为记录，而非用于保证存储系统高可靠和高性能，日志盘具有非易失性。

4)固态硬盘的特性与传统磁盘不同。传统磁盘没有写入次数限制，读、写、删除操作均以页为单位。固态硬盘存在写入次数限制，当达到一定写入、擦除次数时即为寿命用尽；固态硬盘的擦除操作以块为单位。

本发明实施例所提供的快速查找写结束位置的方法可以有效提高查找效率，减少存储过程中的性能损失，避免因结束写入时的丢失失效问题，保持了算法通用性，同时充分发挥闪存介质的性能优势。

本发明实施例中，包括如下步骤：

步骤2在训练集上使用支持向量机SVM；

进一步的，所述步骤1中包含以下步骤：

步骤1.1将硬盘写入情况的数据集划分为训练集和测试集；

步骤2.1在硬盘起始位置随机初始化每个sector的数据情况；

在步骤3确定准确的写结束位置所在sector之后，开始进行查找该sector中准确写结束字节。

其中步骤4的具体操作步骤如下：

本发明对比例中，采用以下步骤：

步骤一：第一次logbuf满，把logbuf的数据保存到NorFlash，写到了NorFlash的红色方框处(假如偏移位置为0x80,)，用全局变量offset保存，即offset=0x80；

步骤二：第二次logbuf满,从offset的位置往后写；

步骤三：第三次logbuf满，以此类推，直到查找出准确的写结束字节所在位置。

实施例与对比例（现有技术常规算法）相比的技术效果如表1所示。

表1 现有技术与本发明算法的查找次数对比表

Offset	本发明算法查找次数（实施例）	常规算法查找次数（对比例）
			1	9	2
10	8	4
			30	9	9
40	8	11
			50	10	14
100	11	26
			200	10	51
300	9	76
			400	11	101
500	10	126
			600	9	151
700	10	176
			1000	8	251
1023	9	257

从表1中可以看出，采用本发明查找方法的实施例比采用常规算法的对比例所查找次数大幅度减少，查找效率大幅提高。

实施例1还包括一种电子设备，包括一个或多个处理器、存储器，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行步骤1-步骤4的方法。

实施例1还包括提供一种计算机可读存储介质，其上存储有可执行指令，其特征在于，所述可执行指令被处理器执行时使处理器执行步骤1-步骤4的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

相应地，本发明实施例还提供一种计算机存储介质，其中存储有计算机程序，该计算机程序配置为执行本发明步骤1-步骤4的方法。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

本说明书中各个实施例采用递进、或并列、或递进和并列结合的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

需要说明的是，在本申请的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中设置的组件。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种快速查找ZNS固态硬盘中NorFlash上次写结束位置的方法，系统在接收到继续写入新数据的指令时，定位上次写结束位置所在的存储区块，其中定位上次写结束位置的具体步骤如下：

步骤2在训练集上使用支持向量机SVM；

步骤4识别出已写入和未写入区块交界处的sector，并定位后采用逐步查找法找出具体的写结束字节所处位置。

2.根据权利要求1所述的方法，所述步骤1具体还包含以下步骤：

步骤1.1将硬盘写入情况的数据集划分为训练集和测试集；

3.根据权利要求1所述的方法，所述步骤2采用确定性粒子群优化算法对所述支持向量机进行优化，具体步骤如下：

步骤2.1在硬盘起始位置随机初始化每个sector的数据情况；

4.根据权利要求1所述的方法，步骤4具体还包括以下步骤：

步骤4. 1 每个存储区块sector均有一定数量的unsigned int 数据；

步骤4.2 定义起始位置为start=0，结束位置end=1023，临时变量mid，其中mid=(start+ end)/2；

5. 根据权利要求4所述的方法，所述步骤4.1中的unsigned int数据个数为NOR_SECTOR_SIZE/4。

6.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至5任一项所述方法。

7.一种计算机可读存储介质，其上存储有可执行指令，其特征在于，所述可执行指令被处理器执行时使处理器执行如权利要求1至5任一项所述方法。