CN109901946A

CN109901946A - 一种纠删码操作方法、装置、设备及存储介质

Info

Publication number: CN109901946A
Application number: CN201910146501.3A
Authority: CN
Inventors: 王晓成
Original assignee: Sangfor Technologies Co Ltd
Current assignee: Sangfor Technologies Co Ltd
Priority date: 2019-02-27
Filing date: 2019-02-27
Publication date: 2019-06-18

Abstract

本发明公开了一种纠删码操作方法，该方法包括以下步骤：接收客户端发往纠删码存储池的针对第一对象写操作的请求；如果写操作是非条带对齐的，则将第一对象发送给副本存储池；在确定副本存储池写操作完成后，在纠删码存储池做存储位置标记；如果写操作是条带对齐的，则将第一对象只写入到纠删码存储池中；向客户端返回写操作完成信息。应用本发明实施例所提供的技术方案，有效减少了非条带对齐写额外引入的读操作，降低了存储系统开销，提升了写操作性能。本发明还公开了一种纠删码操作装置、设备及存储介质，具有相应技术效果。

Description

一种纠删码操作方法、装置、设备及存储介质

技术领域

本发明涉及存储技术领域，特别是涉及一种纠删码操作方法、装置、设备及存储介质。

背景技术

在存储系统中，常使用纠删码(Erasure Coding，EC)的方式存储数据对象，以保障数据可靠性。纠删码是一种数据保护方法，将数据分割成K个数据块，将K个数据块编码生成M个校验块，形成一个条带，K+M个数据块及校验块存储在不同的位置。存储系统可最多容忍任意M个原始数据块或者校验块损坏，即丢失小于等于M个数据块或者校验块，都可通过计算的方式还原数据，保证数据不丢失。

纠删码可以有效降低冗余度，降低存储成本，然而，纠删码给写操作带来了很大的额外开销，包括编解码计算开销和流程性开销。纠删码的写操作的偏移和长度如果没有对齐到条带，即非条带对齐，需要更新涉及到的整个条带，这类操作称为部分写，或者非条带对齐写。

非条带对齐写的最直接办法是将整个条带的数据读出来，与新数据合并，然后再整条带编码并写入。非条带对齐写额外的引入了读操作，增加了存储系统的开销，降低了写入性能。

发明内容

本发明的目的是提供一种纠删码操作方法、装置、设备及存储介质，以有效减少非条带对齐写额外引入的读操作，降低系统开销，提升写操作性能。

为解决上述技术问题，本发明提供如下技术方案：

一种纠删码操作方法，包括：

接收客户端发往纠删码存储池的针对第一对象写操作的请求；

如果所述写操作是非条带对齐的，则将所述第一对象发送给副本存储池；

在确定所述副本存储池写操作完成后，在所述纠删码存储池做存储位置标记；

如果所述写操作是条带对齐的，则将所述第一对象只写入到所述纠删码存储池中；

向所述客户端返回写操作完成信息。

在本发明的一种具体实施方式中，所述在所述纠删码存储池做存储位置标记，包括：

在所述纠删码存储池所述写操作对应条带的位图上做存储位置标记。

在本发明的一种具体实施方式中，在所述将所述第一对象只写入到所述纠删码存储池中之后，所述方法还包括：

在所述纠删码存储池所述写操作对应条带的位图上清除存储位置标记。

在本发明的一种具体实施方式中，还包括：

接收所述客户端发往所述纠删码存储池的针对第二对象的读操作的请求；

确定所述纠删码存储池中是否存在所述第二对象对应的存储位置标记；

如果否，则直接在所述纠删码存储池中读取所述第二对象，返回给所述客户端。

在本发明的一种具体实施方式中，还包括：

如果确定所述纠删码存储池中存在所述第二对象对应的存储位置标记，则在所述副本存储池读取所述存储位置标记对应的数据段；

将在所述副本存储池读取的数据段与在所述纠删码存储池读取的数据段合并，获得所述第二对象，返回给所述客户端。

一种纠删码操作装置，包括：

请求接收模块，用于接收客户端发往纠删码存储池的针对第一对象写操作的请求；

对象发送模块，用于如果所述写操作是非条带对齐的，则将所述第一对象发送给副本存储池；

标记模块，用于在确定所述副本存储池写操作完成后，在所述纠删码存储池做存储位置标记；

对象写入模块，用于如果所述写操作是条带对齐的，则将所述第一对象只写入到所述纠删码存储池中；

信息返回模块，用于向所述客户端返回写操作完成信息。

在本发明的一种具体实施方式中，所述标记模块，具体用于：

在本发明的一种具体实施方式中，所述装置还包括标记清除模块，用于：

在所述将所述第一对象只写入到所述纠删码存储池中之后，在所述纠删码存储池所述写操作对应条带的位图上清除存储位置标记。

在本发明的一种具体实施方式中，还包括读操作处理模块，用于：

如果否，则直接在所述纠删码存储池中读取所述第二对象，返回给所述客户端；

一种纠删码操作设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一项所述纠删码操作方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述纠删码操作方法的步骤。

应用本发明实施例所提供的技术方案，在接收到客户端发往纠删码存储池的针对第一对象写操作的请求时，如果写操作是非条带对齐的，则将第一对象发送给副本存储池，在确定副本存储池写操作完成后，在纠删码存储池做存储位置标记，如果写操作是条带对齐的，则将第一对象只写入到纠删码存储池中，向客户端返回写操作完成信息。有效减少了非条带对齐写额外引入的读操作，降低了存储系统开销，提升了写操作性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种纠删码操作方法的实施流程图；

图2为本发明实施例中非条带对齐写操作流程示意图；

图3为本发明实施例中条带对齐写操作流程示意图；

图4为本发明实施例中一种纠删码操作装置的结构示意图；

图5为本发明实施例中一种纠删码操作设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明实施例所提供的一种纠删码操作方法的实施流程图，该方法可以包括以下步骤：

S110：接收客户端发往纠删码存储池的针对第一对象写操作的请求。

本发明实施例采用分层的方案，创建两个存储池，一个是纠删码存储池，即数据存储池，一个是副本存储池，即缓存存储池。写操作都会先经过纠删码存储池。

客户端可以向纠删码存储池发送针对第一对象写操作的请求。接收到客户端发往纠删码存储池的针对第一对象写操作的请求后，可以继续执行步骤S120或者步骤S140的操作。

S120：如果写操作是非条带对齐的，则将第一对象发送给副本存储池。

在接收到针对第一对象写操作的请求时，可以先判断该写操作是否是条带对齐的，如果该写操作是非条带对齐的，则可以将第一对象发送给副本存储池，副本存储池对第一对象执行写操作。

S130：在确定副本存储池写操作完成后，在纠删码存储池做存储位置标记。

如果写操作是非条带对齐的，将第一对象发送给副本存储池后，副本存储池对第一对象执行写操作，副本存储池写操作完成后，向纠删码存储池返回反馈信息。纠删码存储池根据该反馈信息，可以确定副本存储池写操作完成。

在确定副本存储池写操作完成后，可以在纠删码存储池做存储位置标记，表明该第一对象存储在了副本存储池。

S140：如果写操作是条带对齐的，则将第一对象只写入到纠删码存储池中。

在接收到针对第一对象写操作的请求时，如果确定该写操作是条带对齐的，则将该第一对象只写入到纠删码存储池中，在纠删码存储池中存储。

S150：向客户端返回写操作完成信息。

如果写操作是非条带对齐的，则在确定副本存储池写操作完成后，在纠删码存储池做存储位置标记后，可以向客户端返回写操作完成信息。

如果写操作是条带对齐的，则在将第一对象写入到纠删码存储池中后，可以向客户端返回写操作完成信息。

至此，客户端发往纠删码存储池的针对第一对象写操作的请求已完成。

应用本发明实施例所提供的方法，在接收到客户端发往纠删码存储池的针对第一对象写操作的请求时，如果写操作是非条带对齐的，则将第一对象发送给副本存储池，在确定副本存储池写操作完成后，在纠删码存储池做存储位置标记，如果写操作是条带对齐的，则将第一对象只写入到纠删码存储池中，向客户端返回写操作完成信息。有效减少了非条带对齐写额外引入的读操作，降低了存储系统开销，提升了写操作性能。

在本发明的一个实施例中，在纠删码存储池做存储位置标记，可以包括以下步骤：

在纠删码存储池写操作对应条带的位图上做存储位置标记。

在本发明实施例中，每个条带可以对应一个位图bitmap。如果写操作是非条带对齐的，将第一对象发送给副本存储池，确定副本存储池写操作完成后，在纠删码存储池做存储位置标记时，可以在纠删码存储池写操作对应条带的位图上做存储位置标记。

如图2所示，为非条带对齐写操作流程示意图，具体流程如下：

①客户端client发往纠删码存储池针对第一对象(黑色部分)写操作的请求；

②在纠删码存储池判断该写操作是非条带对齐的，将第一对象发送给副本存储池；

③副本存储池完成写操作后，返回纠删码存储池，纠删码存储池标记位图bitmap，即在该写操作对应条带的位图上做存储位置标记，标识数据在副本存储池；

④纠删码存储池完成位图标记后，返回客户端写操作完成。

假设原有数据为图2左侧合并后数据中灰色部分，写操作完成后，客户端写入到存储池的实际有效数据为图2中右侧“合并后数据”灰色+黑色部分。

在本发明的一种具体实施方式中，在将第一对象只写入到纠删码存储池中之后，该方法还可以包括以下步骤：

在纠删码存储池写操作对应条带的位图上清除存储位置标记。

在本发明实施例中，如果写操作是条带对齐的，则可以将第一对象只写入到纠删码存储池中，在写入到纠删码存储池中之后，可以在纠删码存储池写操作对应条带的位图上清除存储位置标记，以表明数据在纠删码存储池中。

如图3所示，为条带对齐写操作流程示意图，具体流程如下：

①客户端client发往纠删码存储池针对第一对象(灰色部分)写操作的请求；

②在纠删码存储池判断该写操作是条带对齐的，将第一对象只写入纠删码存储池，清除对应的位图bitmap，即在纠删码存储池写操作对应条带的位图上清除存储位置标记；

③纠删码存储池完成写操作后，返回客户端写操作完成。

写操作完成后，客户端写入到存储池的实际有效数据为图3中右侧“合并后数据”灰色部分。

采用位图方式标记存储位置，简单明了。

在本发明的一个实施例中，该方法还可以包括以下步骤：

步骤一：接收客户端发往纠删码存储池的针对第二对象的读操作的请求；

步骤二：确定纠删码存储池中是否存在第二对象对应的存储位置标记；如果否，则执行步骤三；

步骤三：直接在纠删码存储池中读取第二对象，返回给客户端。

为便于描述，将上述三个步骤结合起来进行说明。

在接收到客户端发往纠删码存储池的针对第二对象的读操作的请求时，可以先确定纠删码存储池中是否存在第二对象对应的存储位置标记，如果存在，则表明要读取的第二对象中有数据段存储于副本存储池，如果不存在，则表明要读取的第二对象仅在纠删码存储池中存储。根据存储位置标记判断是否需要读取副本存储池数据。

在确定纠删码存储中不存在第二对象对应的存储位置标记时，可以直接在纠删码存储池中读取第二对象，返回给客户端，响应客户端的读操作的请求，完成读操作。

如果确定纠删码存储池中存在第二对象对应的存储位置标记，则可以在副本存储池读取存储位置标记对应的数据段，将在副本存储池读取的数据段与在纠删码存储池读取的数据段合并，获得第二对象，返回给客户端。即如果确定纠删码存储池中存在第二对象对应的存储位置标记，则表明要读取的第二对象中有数据段存储于副本存储池，可以在副本存储池读取存储位置标记对应的数据段，并在纠删码存储池读取其他数据段，将在副本存储池读取的数据段与在纠删码存储池读取的数据段合并，即可获得第二对象，返回给客户端，响应客户端的读操作的请求，完成读操作。

相应于上面的方法实施例，本发明实施例还提供了一种纠删码操作装置，下文描述的一种纠删码操作装置与上文描述的一种纠删码操作方法可相互对应参照。

参见图4所示，该装置包括以下模块：

请求接收模块410，用于接收客户端发往纠删码存储池的针对第一对象写操作的请求；

对象发送模块420，用于如果写操作是非条带对齐的，则将第一对象发送给副本存储池；

标记模块430，用于在确定副本存储池写操作完成后，在纠删码存储池做存储位置标记；

对象写入模块440，用于如果写操作是条带对齐的，则将第一对象只写入到纠删码存储池中；

信息返回模块450，用于向客户端返回写操作完成信息。

应用本发明实施例所提供的装置，在接收到客户端发往纠删码存储池的针对第一对象写操作的请求时，如果写操作是非条带对齐的，则将第一对象发送给副本存储池，在确定副本存储池写操作完成后，在纠删码存储池做存储位置标记，如果写操作是条带对齐的，则将第一对象只写入到纠删码存储池中，向客户端返回写操作完成信息。有效减少了非条带对齐写额外引入的读操作，降低了存储系统开销，提升了写操作性能。

在本发明的一种具体实施方式中，标记模块430，具体用于：

在纠删码存储池写操作对应条带的位图上做存储位置标记。

在本发明的一种具体实施方式中，装置还包括标记清除模块，用于：

在将第一对象只写入到纠删码存储池中之后，在纠删码存储池写操作对应条带的位图上清除存储位置标记。

接收客户端发往纠删码存储池的针对第二对象的读操作的请求；

确定纠删码存储池中是否存在第二对象对应的存储位置标记；

如果否，则直接在纠删码存储池中读取第二对象，返回给客户端；

如果确定纠删码存储池中存在第二对象对应的存储位置标记，则在副本存储池读取存储位置标记对应的数据段；

将在副本存储池读取的数据段与在纠删码存储池读取的数据段合并，获得第二对象，返回给客户端。

相应于上面的方法实施例，本发明实施例还提供了一种纠删码操作设备，如图5所示，包括：

存储器510，用于存储计算机程序；

处理器520，用于执行计算机程序时实现上述纠删码操作方法的步骤。

相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述纠删码操作方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种纠删码操作方法，其特征在于，包括：

向所述客户端返回写操作完成信息。

2.根据权利要求1所述的方法，其特征在于，所述在所述纠删码存储池做存储位置标记，包括：

3.根据权利要求2所述的方法，其特征在于，在所述将所述第一对象只写入到所述纠删码存储池中之后，所述方法还包括：

4.根据权利要求1至3之中任一项所述的方法，其特征在于，还包括：

5.根据权利要求4所述的方法，其特征在于，还包括：

6.一种纠删码操作装置，其特征在于，包括：

信息返回模块，用于向所述客户端返回写操作完成信息。

7.根据权利要求6所述的装置，其特征在于，所述标记模块，具体用于：

8.根据权利要求7所述的装置，其特征在于，所述装置还包括标记清除模块，用于：

9.根据权利要求6至8之中任一项所述的装置，其特征在于，还包括读操作处理模块，用于：

10.一种纠删码操作设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述纠删码操作方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述纠删码操作方法的步骤。