CN107589916A

CN107589916A - 一种基于纠删码的纠删池的创建方法及相关装置

Info

Publication number: CN107589916A
Application number: CN201710909902.0A
Authority: CN
Inventors: 赵赞
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-09-29
Filing date: 2017-09-29
Publication date: 2018-01-16

Abstract

本申请公开了一种基于纠删码的纠删池的创建方法、创建装置、计算机可读存储介质及服务器，该方法包括：将创建纠删池的处理流程中的纠删条带大小配置信息更改为纠删条带单元配置信息；获取创建指令，并解析创建指令得到纠删条带单元数据；其中，纠删条带单元数据根据存储文件进行设定；获取纠删码，将纠删码中的数据块值与纠删条带单元数据相乘得到条带大小数据；根据条带大小数据创建纠删池。通过设置条带大小避免了写入多余的数据，提高了系统的整体读写性能，不同的纠删条带大小可以更好的适应纠删算法，提高算法的运行效率，节省CPU的消耗，并且不同的文件类型也可以应用不同的纠删条带大小，提高整体的IOPS，使系统可以发挥最高的性能。

Description

一种基于纠删码的纠删池的创建方法及相关装置

技术领域

本申请涉及计算机技术领域，特别涉及一种基于纠删码的纠删池的创建方法、创建装置、计算机可读存储介质及服务器。

背景技术

随着计算机技术的发展，服务器存储的数据越来越多，单个服务器就没有办法满足存储数据的要求，因此发展出分布式存储系统。其中，CEPH是目前一种应用较为广泛的分布式存储系统。

面对大量的数据存储就不得不考虑数据存储的可靠性，常用的纠删码技术对数据做一定的冗余来增加系统的可靠性，将存储的数据切分为K个数据块，通过编码算法计算出M个校验块，利用K+M个数据块中的任意K个数据块就能恢复原始的数据。通过该纠删码的纠删规则设定，就可控制存储空间大小，有利于提高存储的利用率。例如，纠删规则中数据块与校验块的比例为4比2时，存储系统可用的容量就为总容量的三分之二，在不超过两个节点故障的情况下保证数据的安全。

但是，在计算数据块的过程中除了纠删码还有条带大小决定数据块的数量，当不同类型不同文件大小的数据根据相同的条带大小进行计算时，为了使数据的长度到条带的长度满足一个数据块，会使用零数据补齐，因此会导致其空间利用率不相同，当文件大小和条带大小相差很大时，会使空间利用率下降很多，因此，可以修改纠删池的条带大小，但是修改后条带大小需要重启系统才可以能使修改生效，十分不方便。

并且现有的处理逻辑是使用固定的条带大小来创建纠删池，无法针对不同的数据设置不同的条带大小，也就无法适应不同类型的文件存储，造成空间利用率的下降。空间利用率的下降会带来多余数据的读写操作，造成系统整体的读写性能下降。并且影响纠删算法的运行速度，提高了CPU的消耗。同时对于不同类型的文件使用固定的条带大小，会影响存储性能降低系统的IOPS(每秒进行读写操作的次数)。

因此，如何方便的设置纠删条带大小并创建纠删池是本领域技术人员所关注的重点问题。

发明内容

本申请的目的是提供一种基于纠删码的纠删池的创建方法、创建装置、计算机可读存储介质及服务器，通过获取配置的条带单元大小数据将条带单元大小数据和数据块数据进行相乘得到数据条带大小数据，并设置条带大小，既保证了原有的功能使用，方便了创建过程，可以更好的应对不同的应用场景和不同的纠删值设置合适的条带大小的纠删池。

为解决上述技术问题，本申请提供一种基于纠删码的纠删池的创建方法，包括：

将创建纠删池的处理流程中的纠删条带大小配置信息更改为纠删条带单元配置信息；

获取创建指令，并解析所述创建指令得到纠删条带单元数据；其中，所述纠删条带单元数据根据存储文件进行设定；

获取纠删码，将所述纠删码中的数据块值与所述纠删条带单元数据相乘得到条带大小数据；

根据所述条带大小数据创建所述纠删池。

可选的，还包括：

当所述创建指令没有所述纠删条带单元数据时，所述纠删条带单元数据为默认值。

可选的，还包括：

判断所述纠删条带单元数据是否在预设范围内；

若否，则中断创建所述纠删池，发送错误信息。

可选的，还包括：

判断所述纠删条带单元数据是否符合预设参数格式；

若否，则中断创建所述纠删池，发送所述错误信息。

可选的，所述将创建纠删池的处理流程中的纠删条带大小配置信息更改为纠删条带单元配置信息，包括：

将创建所述纠删池的处理逻辑中的纠删条带大小修改为纠删条带单元；

将存储系统中的纠删条带大小配置项更改为纠删条带单元配置项；

在所述创建指令中增加所述纠删条带单元的参数。

本申请还提供一种基于纠删码的纠删池的创建装置，其特征在于，包括：

配置信息设置模块，用于将创建纠删池的处理流程中的纠删条带大小配置信息更改为纠删条带单元配置信息；

条带单元数据获取模块，用于获取创建指令，并解析所述创建指令得到纠删条带单元数据；其中，所述纠删条带单元数据根据存储文件进行设定；

条带大小数据获取模块，用于获取纠删码，将所述纠删码中的数据块值与所述条带单元大小数据相乘得到条带大小数据；

纠删池创建模块，用于根据所述条带大小数据创建所述纠删池。

可选的，还包括：

默认数据设置模块，用于当所述创建指令没有所述纠删条带单元数据时，所述纠删条带单元数据为默认值。

可选的，所述配置信息设置模块，包括：

处理逻辑修改单元，用于将创建所述纠删池的处理逻辑中的纠删条带大小修改为纠删条带单元；

配置项修改单元，用于将存储系统中的纠删条带大小配置项更改为纠删条带单元配置项；

指令修改单元，用于在所述创建指令中增加所述纠删条带单元的参数。

本申请还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如下步骤：

根据所述条带大小数据创建所述纠删池。

本申请还提供一种服务器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时，实现如下步骤：

根据所述条带大小数据创建所述纠删池。

本申请所提供的一种基于纠删码的纠删池的创建方法，包括：将创建纠删池的处理流程中的纠删条带大小配置信息更改为纠删条带单元配置信息；获取创建指令，并解析所述创建指令得到纠删条带单元数据；其中，所述纠删条带单元数据根据存储文件进行设定；获取纠删码，将所述纠删码中的数据块值与所述纠删条带单元数据相乘得到条带大小数据；根据所述条带大小数据创建所述纠删池。

通过获取配置的条带单元大小数据将条带单元大小数据和数据块数据进行相乘得到数据条带大小数据，并设置条带大小，既保证了原有的功能使用，方便了创建过程，可以更好的应对不同的应用场景和不同的纠删值创建合适的条带大小的纠删池。避免了写入多余的数据，提高了系统的整体读写性能，设置不同的纠删条带大小可以更好的适应纠删算法，提高算法的运行效率，节省CPU的消耗，并且不同的文件类型也可以应用不同的纠删条带大小，提高整体的IOPS，使系统可以发挥最高的性能。

本申请还提供一种基于纠删码的纠删池的创建装置、计算机可读存储介质及服务器，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种基于纠删码的纠删池的创建方法的流程图；

图2为本申请实施例所提供的一种基于纠删码的纠删池的创建方法的错误判断的流程图；

图3为本申请实施例所提供的一种基于纠删码的纠删池的创建方法的配置信息的修改流程图；

图4为本申请实施例所提供的一种基于纠删码的纠删池的创建装置的结构示意图。

具体实施方式

本申请的核心是提供一种基于纠删码的纠删池的创建方法、创建装置、计算机可读存储介质及服务器，通过获取配置的条带单元大小数据将条带单元大小数据和数据块数据进行相乘得到数据条带大小数据，并设置条带大小，既保证了原有的功能使用，方便了创建过程，可以更好的应对不同的应用场景和不同的纠删值设置合适的条带大小的纠删池。避免了写入多余的数据，提高了系统的整体读写性能，设置不同的纠删条带大小可以更好的适应纠删算法，提高算法的运行效率，节省CPU的消耗，并且不同的文件类型也可以应用不同的纠删条带大小，提高整体的IOPS，使系统可以发挥最高的性能。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种基于纠删码的纠删池的创建方法的流程图。

本实施例提供一种基于纠删码的纠删条带大小的创建方法，该方法可以包括：

S101，将创建纠删池的处理流程中的纠删条带大小配置信息更改为纠删条带单元配置信息；

本步骤旨在，将现有的纠删池的创建过程中的有关纠删条带的配置信息修改为条带单元的配置信息，是为了在创建纠删池中可以使用条带单元的配置信息对纠删池进行创建，同时在使用者创建纠删池的界面中只有纠删条带单元的信息，使使用者无需关注条带大小，只关注配置条带单元的信息，方便使用。

其中，本技术方案应用的存储系统是CEPH分布式存储系统，在存储系统领域应用的较为广泛。在CEPH存储系统中，池是存储数据时的逻辑分区，起到命名空间的作用。在存储系统中，每个池包含一定数量的Placement Group(PG)，PG里的对象被映射到不同的OSD(Object Storage Device对象存储设备)，因此池是分布到整个集群的，而根据不同的冗余方法将池分为副本池和纠删池。

对于纠删池与纠删码配合使用，对数据做一定的冗余，而增加数据存储的可靠性。在应用纠删码技术时，需要将数据以纠删条带大小切分为K块，通过编码算法就可以计算出M个校验快，利用所有数据块中的任意K块就能够恢复原始数据。相比起保存副本的方式，可以使用更少的存储空间而保持数据的可靠性。

当原始数据块的长度小于纠删条带大小时，就需要对数据用零数据进行补齐，当所存储的文件类型差距较大时，其存储文件的大小差距较大，此时使用相同的条带大小会浪费许多空间，用来存储零数据。使存储空间大量的浪费，同时使存储利用率也下降。

综上，本步骤中所说的纠删条带大小的配置信息是指在原有的存储系统中创建纠删池中需要配置相关纠删条带大小的配置信息，可以是配置项，也可以是配置参数等，总的来说是指在输入端的输入的信息影响纠删池中条带大小的信息。在本步骤中把条带大小的配置信息一一对应的替换为条带单元的配置信息。

其中，条带单元可以是虚拟出的参数量，用来与纠删码形成纠删条带大小。其中，可以使在不改变纠删池底层设置的同时，通过改变纠删单元大小改变纠删条带大小，以方便创建应对不同文件类型的不同条带大小的纠删池。

S102，获取创建指令，并解析创建指令得到纠删条带单元数据；其中，纠删条带单元数据根据存储文件进行设定；

在步骤S101的基础上，本步骤旨在，根据前述的配置信息获取创建纠删池的指令，并从指令中获取条带单元数据。可以想到的是，在创建纠删池的过程中，获取的指令中还包括其他的数据信息，在本技术方案中，不关注其他的配置数据的信息，因此，不做赘述。

其中，对于纠删条带单元数据的大小，可以是使用者根据纠删池的需要存储的文件类型进行设定得到，也可是存储系统对于所存储的文件类型进行判断得到纠删条带单元数据，在此不做赘述。无论纠删单元数据的大小是根据什么方式得到的，都需要根据所存储的文件类型做设定。针对不同的文件类型设定不同的纠删条带单元的大小，可以使存储系统在存储不同类型的文件中降低零数据的存储数量，提高数据的空间利用率。避免了在一般的技术方案中写入多余的数据，利于系统的整体读写性能，可以通过条带大小优化纠删算法的运行效率，节省了系统的性能消耗。

S103，获取纠删码，将纠删码中的数据块值与纠删条带单元数据相乘得到条带大小数据；

在步骤S102的基础上，本步骤旨在，将纠删条带单元数据与数据块的数值，相乘得到条带大小数据。

其中，纠删码的数据块值是指在纠删码技术中的K值，K值是指原始数据块的块数值。由于在纠删码技术中，所占存储空间和计算所需的数据量都与纠删码的数据块的数值，即K值有关。同时，对于不同类型的文件其纠删码的大小不同也会影响其存储的利用率以及存储的可靠性。因此，在本实施例中，根据纠删码的数据块的大小计算出纠删条带大小的数据。

本步骤在最后是获取相应的条带大小数据，由于在本技术方案中，只是改变了条带大小的配置方式通过条带单元实现，但是在存储系统底层创建纠删池的时候，其系统还是识别为条带大小，因此，在本步骤中获取的还是条带大小数据。

S104，根据条带大小数据创建纠删池。

在步骤S103的基础上，本步骤旨在根据获取的条带大小数据创建纠删池。由于可以根据不同的文件类型设定不同的条带单元数据，而获取不同的条带大小数据，因此，可以创建不同条带大小的纠删池，来存储不同类型的文件。

例如，存储系统的集群用作存储一般的大文件时，并且纠删码为4+1，可以在创建纠删池时指定纠删条带单元为1MB，则纠删条带大小为4MB，此时就可以将某一目录指定存储到该纠删池，并将这些文件存储到这个目录下。

还可以，当分布式存储系统一些核心的大文件，大小在1MB左右时。且纠删码为6+2，可以在创建纠删码时指定纠删条带单元为512KB，则纠删条带大小为3MB，此时将某一目录指定到该纠删池中，并将文件存储在这个目录下。

也可以，当集群存储一般的小文件，大小为2KB左右。且纠删码为2+1，可以在创建纠删池时指定纠删条带单元为1KB，则此时的条带大小为2KB，将某一目录指定到该纠删池，并将文件保存在这个目录下。

其中，KB与MB指的是文件存储的大小单位。

因此，基于以上实例，可以看到本技术方案可以根据不同的文件创建纠删条带大小不同的纠删池，以提高空间的利用率。

综上，本实施例提供的技术方案，通过获取配置的条带单元大小数据将条带单元大小数据和数据块数据进行相乘得到数据条带大小数据，并设置条带大小，既保证了原有的功能使用，方便了创建过程，可以更好的应对不同的应用场景和不同的纠删值设置合适的条带大小的纠删池。避免了写入多余的数据，提高了系统的整体读写性能，设置不同的纠删条带大小可以更好的适应纠删算法，提高算法的运行效率，节省CPU的消耗，并且不同的文件类型也可以应用不同的纠删条带大小，提高整体的IOPS，使系统可以发挥最高的性能。

可选的，结合上一实施例，还可以当创建指令没有纠删条带单元数据时，纠删条带单元数据为默认值。

也就是说，本实施例在实施中可以不输入纠删条带单元数据，此时条带单元大小数据即为默认值，其中默认值可以是2048B，也可以是视具体情况做设定在此不再做赘述。

请参考图2，图2为本申请实施例所提供的一种基于纠删码的纠删池的创建方法的错误判断的流程图。

S201，判断纠删条带单元数据是否在预设范围内；

S202，若否，则执行步骤S205；

S203，判断纠删条带单元数据是否符合预设参数格式；

S204，若否，则执行步骤S205。

S205，中断创建纠删池，发送错误信息。

本实施例旨在提供两种判断错误的方式，其中，对于预设范围的判断，是针对纠删条带单元数据的大小进行判断，例如，判断其数据是否在256B到4096B之间，可以根据应用的环境设定其范围大小，在此不再做赘述。

其中，对于参数格式的判断，就是旨在获取指令时，其中关于条带单元的数据是否符合所要求的格式，例如，可以设定参数的格式是数值加单位的参数格式，判断其是否为参数加单位就可以。具体的根据不同的应用情况做设定，在此不做赘述。

请参考图3，图3为本申请实施例所提供的一种基于纠删码的纠删池的创建方法的配置信息的修改流程图。

结合上一实施例，本实施例主要是针对上一实施例中如何更改配置信息做一个解释，其他部分大体与上一实施例相同，相同部分可以参考上一实施例，在此不再做赘述。

本实施例可以包括：

S301，将创建纠删池的处理逻辑中的纠删条带大小修改为纠删条带单元；

S302，将存储系统中的纠删条带大小配置项更改为纠删条带单元配置项；

S303，在创建指令中增加纠删条带单元的参数。

本实施例只要是针对上一实施例中的如何更换配置信息的一种方式，通过先将处理逻辑中的纠删条带大小更换为条带单元，再将条带大小的配置项更换为条带单元的配置项，最后在指令中增加条带单元的参数。

本申请实施例提供了一种基于纠删码的纠删池的创建方法，通过获取配置的条带单元大小数据将条带单元大小数据和数据块数据进行相乘得到数据条带大小数据，并设置条带大小，既保证了原有的功能使用，方便了创建过程，可以更好的应对不同的应用场景和不同的纠删值设置合适的条带大小的纠删池。避免了写入多余的数据，提高了系统的整体读写性能，设置不同的纠删条带大小可以更好的适应纠删算法，提高算法的运行效率，节省CPU的消耗，并且不同的文件类型也可以应用不同的纠删条带大小，提高整体的IOPS，使系统可以发挥最高的性能。

下面对本申请实施例提供的一种基于纠删码的纠删池的创建装置进行介绍，下文描述的一种基于纠删码的纠删池的创建装置与上文描述的一种基于纠删码的纠删池的创建方法可相互对应参照。

请参考图4，图4为本申请实施例所提供的一种基于纠删码的纠删池的创建装置的结构示意图。

本实施例可以包括：

配置信息设置模块100，用于将创建纠删池的处理流程中的纠删条带大小配置信息更改为纠删条带单元配置信息；

条带单元数据获取模块200，用于获取创建指令，并解析创建指令得到纠删条带单元数据；其中，纠删条带单元数据根据存储文件进行设定；

条带大小数据获取模块300，用于获取纠删码，将纠删码中的数据块值与条带单元大小数据相乘得到条带大小数据；

纠删池创建模块400，用于根据条带大小数据创建纠删池。

可选的，还可以包括：

默认数据设置模块，用于当创建指令没有纠删条带单元数据时，纠删条带单元数据为默认值。

可选的，配置信息设置模块100，可以包括：

处理逻辑修改单元，用于将创建纠删池的处理逻辑中的纠删条带大小修改为纠删条带单元；

指令修改单元，用于在创建指令中增加纠删条带单元的参数。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现如下的步骤：

获取创建指令，并解析创建指令得到纠删条带单元数据；其中，纠删条带单元数据根据存储文件进行设定；

获取纠删码，将纠删码中的数据块值与纠删条带单元数据相乘得到条带大小数据；

根据条带大小数据创建纠删池。

本申请实施例还提供一种服务器，可以包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时，实现如下的步骤：

根据条带大小数据创建纠删池。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用装置，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请所提供的一种基于纠删码的纠删池的创建方法、创建装置、计算机可读存储介质及服务器进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种基于纠删码的纠删池的创建方法，其特征在于，包括：

根据所述条带大小数据创建所述纠删池。

2.根据权利要求1所述的创建方法，其特征在于，还包括：

3.根据权利要求2所述的创建方法，其特征在于，还包括：

判断所述纠删条带单元数据是否在预设范围内；

若否，则中断创建所述纠删池，发送错误信息。

4.根据权利要求3所述的创建方法，其特征在于，还包括：

判断所述纠删条带单元数据是否符合预设参数格式；

若否，则中断创建所述纠删池，发送所述错误信息。

5.根据权利要求1至4任一项所述的创建方法，其特征在于，所述将创建纠删池的处理流程中的纠删条带大小配置信息更改为纠删条带单元配置信息，包括：

在所述创建指令中增加所述纠删条带单元的参数。

6.一种基于纠删码的纠删池的创建装置，其特征在于，包括：

7.根据权利要求6所述的创建装置，其特征在于，还包括：

8.根据权利要求6或7所述的创建装置，其特征在于，所述配置信息设置模块，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的创建方法的步骤。

10.一种服务器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述创建方法的步骤。