CN112015672A

CN112015672A - 一种存储系统中数据处理方法、装置、设备及存储介质

Info

Publication number: CN112015672A
Application number: CN202010888406.3A
Authority: CN
Inventors: 刘志勇
Original assignee: Beijing Inspur Data Technology Co Ltd
Current assignee: Beijing Inspur Data Technology Co Ltd
Priority date: 2020-08-28
Filing date: 2020-08-28
Publication date: 2020-12-01

Abstract

本申请公开了一种存储系统中数据处理方法，该方法包括以下步骤：接收对第一数据的读取请求；查询第一数据被拆分成的每个第一小块数据的物理地址；基于查询得到的物理地址，读取第一小块数据，对于连续的物理地址中的第一小块数据进行一次读取；将读取到的第一小块数据进行拼接后返回给请求方。应用本申请所提供的技术方案，对于查询得到的连续的物理地址中的第一小块数据进行一次读取，这样将会使得读盘次数小于第一数据拆分成的第一小块数据的数量，减少读盘次数，进而可以减少读取开销，提高读取效率，提升整体的存储性能。本申请还公开了一种存储系统中数据处理装置、设备及存储介质，具有相应技术效果。

Description

一种存储系统中数据处理方法、装置、设备及存储介质

技术领域

本申请涉及存储技术领域，特别是涉及一种存储系统中数据处理方法、装置、设备及存储介质。

背景技术

随着存储技术的快速发展，基于固态硬盘等的全闪存储产品的应用范围越来越广泛，逐渐成为存储领域的主流产品。相比传统存储，全闪存储除了具备高性能的特点外，在数据组织方式上与传统存储也有较大的区别。传统存储的数据组织采用的是覆盖写方式，即向同一个逻辑地址写入数据时，每次都是写在同一个物理地址，并覆盖旧数据，而全闪存储则采用追加写方式，即向同一个逻辑地址写入数据时，每次都写在一个新的物理地址，旧数据不会被覆盖，而是通过垃圾回收进行处理。

全闪存储在进行数据写入处理的过程中，会将待写入的数据拆分成固定大小的小块数据，然后为每个小块数据分配物理地址，并将每个小块数据写入到相应的分配好的物理地址中。当有数据读取请求时，需要确定出待读取的数据之前被分成的每个小块数据的物理地址，然后分别在每个物理地址中读取相应的小块数据。即待读取的数据在写入时被拆分成了多少个小块数据，在读取时就要进行多少次的读取操作。这样将会影响整体的存储性能，增加了读取开销，降低了读取效率。

发明内容

本申请的目的是提供一种存储系统中数据处理方法、装置、设备及存储介质，以减少读取开销，提高读取效率，提升整体的存储性能。

为解决上述技术问题，本申请提供如下技术方案：

一种存储系统中数据处理方法，包括：

接收对第一数据的读取请求；

查询所述第一数据被拆分成的每个第一小块数据的物理地址；

基于查询得到的物理地址，读取第一小块数据，对于连续的物理地址中的第一小块数据进行一次读取；

将读取到的第一小块数据进行拼接后返回给请求方。

在本申请的一种具体实施方式中，所述基于查询得到的物理地址，读取第一小块数据，对于连续的物理地址中的第一小块数据进行一次读取，包括：

基于查询得到的物理地址，确定物理地址的连续性；

对连续的物理地址中的第一小块数据进行一次读取，对不连续的物理地址中的第一小块数据进行分别读取。

在本申请的一种具体实施方式中，还包括：

接收对第二数据的写入请求；

将所述第二数据拆分成多个第二小块数据；

将所述多个第二小块数据进行链接；

为所述多个第二小块数据分配连续的物理地址，并将链接后的第二小块数据写入到分配好的连续的物理地址中。

在本申请的一种具体实施方式中，在所述将所述第二数据拆分成多个第二小块数据之后，还包括：

在每个第二小块数据中添加属性标记，针对每个第二小块数据，该第二小块数据中的属性标记包括所述第二数据的标识和该第二小块数据在所述第二数据中的顺序编号。

在本申请的一种具体实施方式中，在所述为所述多个第二小块数据分配连续的物理地址之后，还包括：

在元数据中记录每个第二小块数据的逻辑地址与物理地址的映射关系，以通过所述元数据进行数据的物理地址的查询。

在本申请的一种具体实施方式中，所述将链接后的第二小块数据写入到分配好的连续的物理地址中，包括：

将链接后的第二小块数据放入缓存中；

当所述缓存中的数据凑满条带时，将满条带数据写入到对应的分配好的物理地址中，其中，所述链接后的第二小块数据对应分配好的连续的物理地址。

在本申请的一种具体实施方式中，在所述将所述第二数据拆分成多个第二小块数据之前，还包括：

确定所述第二数据的大小是否大于预设值；

如果是，则执行所述将所述第二数据拆分成多个第二小块数据的步骤。

一种存储系统中数据处理装置，包括：

读取请求接收模块，用于接收对第一数据的读取请求；

物理地址查询模块，用于查询所述第一数据被拆分成的每个第一小块数据的物理地址；

小块数据读取模块，用于基于查询得到的物理地址，读取第一小块数据，对于连续的物理地址中的第一小块数据进行一次读取；

数据返回模块，用于将读取到的第一小块数据进行拼接后返回给请求方。

一种存储系统中数据处理设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一项所述存储系统中数据处理方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述存储系统中数据处理方法的步骤。

应用本申请实施例所提供的技术方案，在接收到对第一数据的读取请求时，查询第一数据被拆分成的每个第一小块数据的物理地址，基于查询得到的物理地址，读取第一小块数据，对于连续的物理地址中的第一小块数据进行一次读取，然后将读取到的第一小块数据进行拼接后返回给请求方。对于查询得到的连续的物理地址中的第一小块数据进行一次读取，而不是分别多次从每个连续的物理地址中读取相应的第一小块数据，这样将会使得读盘次数小于第一数据拆分成的第一小块数据的数量，减少读盘次数，进而可以减少读取开销，提高读取效率，提升整体的存储性能。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中一种存储系统中数据处理方法的实施流程图；

图2为本申请实施例中数据拆分示意图；

图3为传统的物理地址分配方式示意图；

图4为本申请实施例中物理地址分配方式示意图；

图5为本申请实施例中一种存储系统中数据处理装置的结构示意图；

图6为本申请实施例中一种存储系统中数据处理设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1所示，为本申请实施例所提供的一种存储系统中数据处理方法的实施流程图，该方法可以包括以下步骤：

S110：接收对第一数据的读取请求。

存储系统可以由固态硬盘等构成，通过固态硬盘进行数据存储。在实际应用中，用户或者其他系统等请求方可以根据实际需要进行数据的读取，发出读取请求。

在接收到对第一数据的读取请求时，可以继续执行步骤S120的操作。第一数据为存储系统中存储的任意一个数据。

S120：查询第一数据被拆分成的每个第一小块数据的物理地址。

如前面所描述的，存储系统在进行数据写入处理的过程中，会将待写入的数据拆分成固定大小的小块数据，然后为每个小块数据分配物理地址，并将每个小块数据写入到相应的分配好的物理地址中。在数据写入处理的过程中，可以将每个小块数据对应的物理地址与逻辑地址建立起映射关系，存放到元数据中。

在接收到第一数据的读取请求时，可以查询第一数据被拆分成的每个第一小块数据的物理地址。具体的，可以通过元数据进行每个第一小块数据的物理地址的查询。其中，第一数据在进行存储时，被拆分成了多个第一小块数据，每个第一小块数据被写入到其对应的分配好的物理地址中。

S130：基于查询得到的物理地址，读取第一小块数据，对于连续的物理地址中的第一小块数据进行一次读取。

查询得到第一数据被拆分成的每个第一小块数据的物理地址后，可以基于查询得到的物理地址，从盘中读取每个物理地址中的第一小块数据。

具体的，基于查询得到的物理地址，可以确定物理地址的连续性，对连续的物理地址中的第一小块数据进行一次读取，对不连续的物理地址中的第一小块数据进行分别读取。

查询得到的第一数据被拆分成的每个第一小块数据的物理地址后，可以确定出这些物理地址的顺序，从第一个物理地址开始，确定物理地址的连续性。比如，查询得到的物理地址共有10个，从第一个物理地址开始，如果第一个物理地址至第三个物理地址是连续的，第三个物理地址与第四个物理地址不连续，第四个物理地址至第八个物理地址是连续的，第八个物理地址与第九个物理地址不连续，第九个物理地址与第十个物理地址不连续，则确定的物理地址的连续性为：第一个物理地址至第三个物理地址是连续的、第四个物理地址至第八个物理地址是连续的、第九个物理地址是不连续的、第十个物理地址是不连续的。

对连续的物理地址中的第一小块数据进行一次读取，对不连续的物理地址中的第一小块数据进行分别读取。仍以上例为例，可以将第一个物理地址至第三个物理地址中的三个第一小块数据一次读取出来，将第四个物理地址至第八个物理地址中的五个第一小块数据一次读取出来，分别将第九个物理地址和第十个物理地址中的第一小块数据读取出来。

对于连续的物理地址中的第一小块数据进行一次读取，读盘次数将小于第一数据拆分成的第一小块数据的数量，这样将减少读取开销，提高读取效率。

S140：将读取到的第一小块数据进行拼接后返回给请求方。

读取到第一数据被拆分成的每个第一小块数据后，可以将读取到的第一小块数据进行拼接，得到第一数据，将第一数据返回给请求方。

应用本申请实施例所提供的方法，在接收到对第一数据的读取请求时，查询第一数据被拆分成的每个第一小块数据的物理地址，基于查询得到的物理地址，读取第一小块数据，对于连续的物理地址中的第一小块数据进行一次读取，然后将读取到的第一小块数据进行拼接后返回给请求方。对于查询得到的连续的物理地址中的第一小块数据进行一次读取，而不是分别多次从每个连续的物理地址中读取相应的第一小块数据，这样将会使得读盘次数小于第一数据拆分成的第一小块数据的数量，减少读盘次数，进而可以减少读取开销，提高读取效率，提升整体的存储性能。

在本申请的一个实施例中，该方法还可以包括以下步骤：

步骤一：接收对第二数据的写入请求

步骤二：将第二数据拆分成多个第二小块数据；

步骤三：将多个第二小块数据进行链接；

步骤四：为多个第二小块数据分配连续的物理地址，并将链接后的第二小块数据写入到分配好的连续的物理地址中。

为便于描述，将上述四个步骤结合起来进行说明。

在实际应用中，可以根据实际需要向存储系统中写入数据，以在存储系统中存储相应数据。

在接收到对第二数据的写入请求时，可以将第二数据拆分成多个第二小块数据。具体可以拆分成多个固定大小的第二小块数据。该固定大小可以根据系统预设的标准确定，如4K、8K、16K等。如图2所示，将一个大块数据拆分成了8个小块数据。第二数据可以是待写入到存储系统中的任意一个数据。

也可以先确定第二数据的大小是否大于预设值，如果是，则执行将第二数据拆分成多个第二小块数据的步骤。该预设值可以根据实际情况进行设定和调整。即只有在第二数据较大时，才实施以下步骤的操作，否则可以按照传统方式进行数据写入处理。

将第二数据拆分成多个第二小块数据后，可以将多个第二小块数据进行链接。然后为多个第二小块数据分配连续的物理地址，如可以根据第二小块数据的顺序编号，为其批量分配连续的物理地址。每个第二小块数据对应一个物理地址，每个第二小块数据对应的物理地址是连续的。而且，分配好的物理地址的顺序与第二小块数据在第二数据中的顺序编号的顺序一致。

将链接后的第二小块数据写入到分配好的连续的物理地址中。即在落盘时将这些第二小块数据写入到盘中的连续位置。实现大块数据最终在盘上的连续存放。可以保证之后在读取大块数据时，对于连续的物理地址中的小块数据可以一次读出，减少读盘次数，有效提高读写效率。

在传统技术中，对于拆分后的小块数据的物理地址的分配是随机的，来自同一个大块数据的多个小块数据并没有关联性，如图3所示，通过物理地址分配单元分别为每个小块数据分配了物理地址，分配好的物理地址分别为：A7、A12、A6、A2、A5、A3、A4、A14。因为物理地址分配单元是并发运行的，并不能保证分配给同一个大块数据的每个小块数据的物理地址的顺序是连续的。这种方式将使得在将小块数据写入到相应的物理地址时，需要打散落到磁盘不同位置，在读取时，需要分别从物理地址一个一个取出，导致读取开销较大，读取效率较低。

而本申请中，对于拆分后的小块数据进行链接，为其分配的物理地址是连续的，如图4所示，通过物理地址分配单元分别为每个小块数据分配了物理地址，分配好的物理地址分别为：A1、A2、A3、A4、A5、A6、A7、A8。在进行小块数据的写入时，先将多个小块数据进行链接，然后为其批量分配连续的物理地址，再将链接后的小块数据一次写入到分配好的连续的物理地址中，使得写入到磁盘中的小块数据的物理地址是连续的，读取时对于连续的物理地址中的小块数据可以一次取出，使得待读取的数据对应的小块数据的物理地址连续性更强，减少读盘次数，减小读取开销，提高读取效率。

在本申请的一个实施例中，在将第二数据拆分成多个第二小块数据之后，还可以在每个第二小块数据中添加属性标记，针对每个第二小块数据，该第二小块数据中的属性标记包括第二数据的标识和该第二小块数据在第二数据中的顺序编号。

在接收到对第二数据的写入请求时，将第二数据拆分成多个第二小块数据，拆分后，可以在每个第二小块数据中添加属性标记，针对每个第二小块数据，该第二小块数据中的属性标记包括第二数据的标识和该第二小块数据在第二数据中的顺序编号。即通过拆分后的每个小块数据，都可以获知其所属的大块数据和其在大块数据中的位置。

在第二小块数据上添加属性标记，一方面有助于在读取时对小块数据进行校验，另一方面有助于为对第二小块数据进行链接和分配物理地址时提供依据。

在将多个第二小块数据进行链接时，还可以通过数据或链表中记录的标识信息等按顺序将多个第二小块数据链接起来。

在本申请的一个实施例中，在为多个第二小块数据分配连续的物理地址之后，还可以在元数据中记录每个第二小块数据的逻辑地址与物理地址的映射关系，以通过元数据进行数据的物理地址的查询。

在本申请实施例中，在接收到对第二数据的写入请求，将第二数据拆分成多个第二小块数据，为多个第二小块数据分配连续的物理地址之后，还可以在元数据中记录每个第二小块数据的逻辑地址与物理地址的映射关系，当然，还可以记录更多的信息，如每个第二小块数据的标识与属性标记的对应关系等。

这样在进行数据读取时，可以通过元数据查询得到相应数据的物理地址。

在本申请的一个实施例中，将链接后的第二小块数据写入到分配好的连续的物理地址中，具体可以为：

将链接后的第二小块数据放入缓存中；

当缓存中的数据凑满条带时，将满条带数据写入到对应的分配好的物理地址中，其中，链接后的第二小块数据对应分配好的连续的物理地址。

在本申请实施例中，在对多个第二小块数据进行链接之后，可以将链接后的数据放入缓存中，当缓存中的数据凑满条带时，再将满条带数据写入到对应的分配好的物理地址中。这样满条带写，可以提高写入效率。

通过本申请实施例所提供的技术方案，可以保证系统接收到大块数据进行写入处理时，在盘上分配的物理地址是连续的，在之后进行大块数据的读取时，虽然大块数据被拆分成了多个小块数据，但这些小块数据所对应的盘上的物理地址，通过分析识别后仍是连续的，这样通过较少次数的读盘即可将整个大块数据读取出来，有效减少读盘次数。

相应于上面的方法实施例，本申请实施例还提供了一种存储系统中数据处理装置，下文描述的存储系统中数据处理装置与上文描述的存储系统中数据处理方法可相互对应参照。

参见图5所示，该装置可以包括以下模块：

读取请求接收模块510，用于接收对第一数据的读取请求；

物理地址查询模块520，用于查询第一数据被拆分成的每个第一小块数据的物理地址；

小块数据读取模块530，用于基于查询得到的物理地址，读取第一小块数据，对于连续的物理地址中的第一小块数据进行一次读取；

数据返回模块540，用于将读取到的第一小块数据进行拼接后返回给请求方。

应用本申请实施例所提供的装置，在接收到对第一数据的读取请求时，查询第一数据被拆分成的每个第一小块数据的物理地址，基于查询得到的物理地址，读取第一小块数据，对于连续的物理地址中的第一小块数据进行一次读取，然后将读取到的第一小块数据进行拼接后返回给请求方。对于查询得到的连续的物理地址中的第一小块数据进行一次读取，而不是分别多次从每个连续的物理地址中读取相应的第一小块数据，这样将会使得读盘次数小于第一数据拆分成的第一小块数据的数量，减少读盘次数，进而可以减少读取开销，提高读取效率，提升整体的存储性能。

在本申请的一种具体实施方式中，小块数据读取模块530，用于：

基于查询得到的物理地址，确定物理地址的连续性；

在本申请的一种具体实施方式中，还包括：

写入请求接收模块，用于接收对第二数据的写入请求；

数据拆分模块，用于将第二数据拆分成多个第二小块数据；

数据连接模块，用于将多个第二小块数据进行连接；

物理地址分配模块，用于为多个第二小块数据分配连续的物理地址；

数据写入模块，用于将链接后的第二小块数据写入到分配好的连续的物理地址中。

在本申请的一种具体实施方式中，还包括属性标记添加模块，用于：

在将第二数据拆分成多个第二小块数据之后，在每个第二小块数据中添加属性标记，针对每个第二小块数据，该第二小块数据中的属性标记包括第二数据的标识和该第二小块数据在第二数据中的顺序编号。

在本申请的一种具体实施方式中，还包括元数据记录模块，用于：

在为多个第二小块数据分配连续的物理地址之后，在元数据中记录每个第二小块数据的逻辑地址与物理地址的映射关系，以通过元数据进行数据的物理地址的查询。

在本申请的一种具体实施方式中，数据写入模块，用于：

将链接后的第二小块数据放入缓存中；

在本申请的一种具体实施方式中，还包括拆分判定模块，用于：

在将第二数据拆分成多个第二小块数据之前，确定第二数据的大小是否大于预设值；

如果是，则执行将第二数据拆分成多个第二小块数据的步骤。

相应于上面的方法实施例，本申请实施例还提供了一种存储系统中数据处理设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现上述存储系统中数据处理方法的步骤。

如图6所示，为存储系统中数据处理设备的组成结构示意图，存储系统中数据处理设备可以包括：处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。

在本申请实施例中，处理器10可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。

处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行存储系统中数据处理方法的实施例中的操作。

存储器11中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，存储器11中至少存储有用于实现以下功能的程序：

接收对第一数据的读取请求；

查询第一数据被拆分成的每个第一小块数据的物理地址；

将读取到的第一小块数据进行拼接后返回给请求方。

在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能(比如请求获取功能、地址查询功能)所需的应用程序等；存储数据区可存储使用过程中所创建的数据，如地址数据、元数据等。

此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。

通信接口13可以为通信模块的接口，用于与其他设备或者系统连接。

当然，需要说明的是，图6所示的结构并不构成对本申请实施例中存储系统中数据处理设备的限定，在实际应用中存储系统中数据处理设备可以包括比图6所示的更多或更少的部件，或者组合某些部件。

相应于上面的方法实施例，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述存储系统中数据处理方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种存储系统中数据处理方法，其特征在于，包括：

接收对第一数据的读取请求；

将读取到的第一小块数据进行拼接后返回给请求方。

2.根据权利要求1所述的方法，其特征在于，所述基于查询得到的物理地址，读取第一小块数据，对于连续的物理地址中的第一小块数据进行一次读取，包括：

基于查询得到的物理地址，确定物理地址的连续性；

3.根据权利要求1或2所述的方法，其特征在于，还包括：

接收对第二数据的写入请求；

将所述第二数据拆分成多个第二小块数据；

将所述多个第二小块数据进行链接；

4.根据权利要求3所述的方法，其特征在于，在所述将所述第二数据拆分成多个第二小块数据之后，还包括：

5.根据权利要求3所述的方法，其特征在于，在所述为所述多个第二小块数据分配连续的物理地址之后，还包括：

6.根据权利要求3所述的方法，其特征在于，所述将链接后的第二小块数据写入到分配好的连续的物理地址中，包括：

将链接后的第二小块数据放入缓存中；

7.根据权利要求3所述的方法，其特征在于，在所述将所述第二数据拆分成多个第二小块数据之前，还包括：

确定所述第二数据的大小是否大于预设值；

8.一种存储系统中数据处理装置，其特征在于，包括：

读取请求接收模块，用于接收对第一数据的读取请求；

9.一种存储系统中数据处理设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述存储系统中数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述存储系统中数据处理方法的步骤。