CN107562566A - 一种通过纠删码对数据的处理方法及装置 - Google Patents

Abstract

本发明公开了一种通过纠删码对数据的处理方法及装置，该方法包括：设定纠删处理单元的容量；获取原始数据，并根据原始数据的总量计算处理原始数据所需的纠删处理单元的单元数量；根据单元数量分配相应数量的纠删处理单元，并通过纠删码在纠删处理单元中处理原始数据以得到结果数据。可见本方法可以根据原始数据的量灵活的改变纠删码每次能够处理的数据的总量，克服了现有技术中纠删码每一次能够处理的数据总量为默认值的情况，不会对系统的可用资源造成浪费，保证了纠删码处理数据的效率以及系统的整体性能。此外，本发明还提供一种通过纠删码对数据的处理装置，有益效果如上所述。

Description

一种通过纠删码对数据的处理方法及装置

技术领域

本发明涉及数据存储领域，特别是涉及一种通过纠删码对数据的处理方法及装置。此外，本发明还涉及一种基于上述通过纠删码对数据的处理方法的测试方法及装置。

背景技术

随着互联网的发展，互联网中的数据也在急剧膨胀，由于数据可以表征各个行业领域的发展情况以及发展趋势，因此数据对于企业的价值是不可估量的。

随着数据价值的不断提高，对于数据的安全性越来越受到人们的关注，因此用于解决数据安全问题的纠删码应运而生。纠删码是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。纠删码可以用于具有大量数据和任何需要容错的应用程序或系统中，比如磁盘阵列系统、数据网格、分布式存储应用程序、对象存储或归档存储。尽管纠删码对于数据的安全有着强大的保障能力，但是通过纠删码每一次能够处理的数据总量默认为4K，所以在每一次纠删码处理数据时，系统所分配的资源数量是固定的，因此当需要处理的数据量很小时，会分配多余的可用资源，进而对系统的可用资源造成了浪费，降低系统性能；另外当需要处理的数据量很大时，由于处理数据的总量固定，因此会增加处理的时间，无法保证系统对数据的纠删码处理效率，同样会降低系统性能。

由此可见，提供一种通过纠删码对数据的处理方法，在提高纠删码处理数据的效率的同时，保证系统的整体性能，是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种通过纠删码对数据的处理方法及装置，保证了纠删码处理数据的效率，并且能够保证系统的整体性能。本发明的另一目的是提供一种基于上述通过纠删码对数据的处理方法的测试方法及装置，减少不必要的测试开销，使测试相对高效，测试结果更加准确。

为解决上述技术问题，本发明提供一种通过纠删码对数据的处理方法，包括：

设定纠删处理单元的容量；其中纠删处理单元是通过纠删码进行数据处理的最小数据单元；

获取原始数据，并根据原始数据的总量计算处理原始数据所需的纠删处理单元的单元数量；

根据单元数量分配相应数量的纠删处理单元，并通过纠删码在纠删处理单元中处理原始数据以得到结果数据。

优选的，该方法进一步包括：

将结果数据存储至分布式存储系统。

此外，本发明还提供一种测试方法，基于通过纠删码对数据的处理方法，包括：

根据纠删码的使用场景划分相应的测试脚本集；其中测试脚本集中包括对纠删码进行多种相关测试的测试脚本；

设置针对使用场景的测试比例；

根据测试比例获取并执行测试脚本集中相应数量的测试脚本以得到执行状态，并将执行状态作为测试结果。

优选的，该方法进一步包括：

将测试结果转化为测试日志以及测试报告。

优选的，使用场景具体包括：

纠删池创建场景、CLI命令场景、文件系统读写场景。

优选的，该方法进一步包括：

设定测试结果阈值；

相应的，在将执行状态作为测试结果后，该方法进一步包括：

判断测试结果是否超过测试结果阈值；

如果是，则进行用户提示。

此外，本发明还提供一种通过纠删码对数据的处理装置，包括：

设定模块，用于设定纠删处理单元的容量；

单元计算模块，用于获取原始数据，并根据原始数据的总量计算处理原始数据所需的纠删处理单元的单元数量；

数据处理模块，用于根据单元数量分配相应数量的纠删处理单元，并通过纠删码在纠删处理单元中处理原始数据以得到结果数据。

优选的，该装置进一步包括：

数据存储模块，用于将结果数据存储至分布式存储系统。

此外，本发明还提供一种测试装置，其特征在于，包括：

脚本划分模块，用于根据纠删码的使用场景划分相应的测试脚本集；

比例设置模块，用于设置针对使用场景的测试比例；

脚本执行模块，用于根据测试比例获取并执行测试脚本集中相应数量的测试脚本以得到执行状态，并将执行状态作为测试结果。

优选的，该装置进一步包括：

结果转化模块，用于将测试结果转化为测试日志以及测试报告。

本发明所提供的通过纠删码对数据的处理方法，将纠删处理单元作为纠删码能够处理的最小数据单元，根据获取到的原始数据的总量计算处理该原始数据所需要的纠删处理单元总数，进而分配相应数量的纠删处理单元，并在纠删处理单元中依靠纠删码对原始数据进行处理。可见，本方法可以根据原始数据的量灵活的改变纠删码每次能够处理的数据的总量，克服了现有技术中纠删码每一次能够处理的数据总量为默认值的情况，因此系统所分配的资源总量能够随实际需要而灵活变动，不会对系统的可用资源造成浪费，并且由于单次处理数据的总量能够选择性的增加，因此对数据的整体处理时间相对减少，保证了纠删码处理数据的效率，并且能够保证系统的整体性能。此外，本发明还提供一种纠删码对数据的处理装置，有益效果如上所述。

基于上述方法，本发明还提供一种测试方法及测试装置，该测试方法，对于多种纠删码的使用场景均划分有相应的测试脚本，因此能够更加全面测试纠删码对数据的处理状态以及效率等工作情况。此外，用户可以根据测试的实际需求，设置针对所述使用场景的测试比例，进行更有针对性的测试，因此能够减少不必要的测试开销，使测试相对高效，测试结果更加准确。此外，本发明所提供的测试装置，有益效果如上所述。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种通过纠删码对数据的处理方法的流程图；

图2为本发明实施例提供的另一种通过纠删码对数据的处理方法的流程图；

图3为本发明实施例提供的一种通过纠删码对数据的处理装置结构图；

图4为本发明实施例提供的一种测试方法的流程图；

图5为本发明实施例提供的另一种测试方法的流程图；

图6为本发明实施例提供的一种测试装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

本发明的核心是提供一种通过纠删码对数据的处理方法及装置，保证了纠删码处理数据的效率，并且能够保证系统的整体性能。本发明的另一核心是提供一种基于上述通过纠删码对数据的处理方法的测试方法及装置，减少不必要的测试开销，使测试相对高效，测试结果更加准确。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

实施例一

图1为本发明实施例提供的一种通过纠删码对数据的处理方法的流程图。请参考图1，通过纠删码对数据的处理方法的具体步骤包括：

步骤S10：设定纠删处理单元的容量。

其中纠删处理单元是通过纠删码进行数据处理的最小数据单元。

需要说明的是，本步骤中纠删处理单元的容量可以根据实际的数据处理量或是用户的经验而设定，例如当处理的数据量很大时，可以将每一个纠删处理单元的容量设置的相对较大，进而每一个单元能够处理相对多的数据，提高数据的整体处理效率；当数据量很小时，可以将纠删处理单元设置的足够小，可以相对节省处理数据时的系统资源开销。需要说明的是，纠删处理单元是是通过纠删码进行数据处理的最小数据单元，并且纠删处理单元可以进行组合以处理相应数据量大小的数据。

步骤S11：获取原始数据，并根据原始数据的总量计算处理原始数据所需的纠删处理单元的单元数量。

可以理解的是，由于纠删处理单元能够进行组合共同处理原始数据，因此任意纠缠处理单元能够对原始数据的某一部分内容进行处理，进而本步骤的目的是将原始数据拆分到纠删处理单元中进行纠删码处理，因此需要根据原始数据的总量计算处理原始数据所需的纠删处理单元的单元数量。

步骤S12：根据单元数量分配相应数量的纠删处理单元，并通过纠删码在纠删处理单元中处理原始数据以得到结果数据。

本步骤是根据上述步骤所计算出的单元数量获取相应数量的纠删处理单元，进而在每一个纠删处理单元中通过纠删码进行对部分数据的处理，在处理结束后每一个纠删处理单元中的处理结果相组合即为整体原始数据处理后的结果。

本发明所提供的通过纠删码对数据的处理方法，将纠删处理单元作为纠删码能够处理的最小数据单元，根据获取到的原始数据的总量计算处理该原始数据所需要的纠删处理单元总数，进而分配相应数量的纠删处理单元，并在纠删处理单元中依靠纠删码对原始数据进行处理。可见，本方法可以根据原始数据的量灵活的改变纠删码每次能够处理的数据的总量，克服了现有技术中纠删码每一次能够处理的数据总量为默认值的情况，因此系统所分配的资源总量能够随实际需要而灵活变动，不会对系统的可用资源造成浪费，并且由于单次处理数据的总量能够选择性的增加，因此对数据的整体处理时间相对减少，保证了纠删码处理数据的效率，并且能够保证系统的整体性能。

实施例二

图2为本发明实施例提供的另一种通过纠删码对数据的处理方法的流程图。图2中步骤S10-S12与图1相同，在此不再赘述。

如图2所示，作为一种优选的实施例，该方法进一步包括：

步骤S20：将结果数据存储至分布式存储系统。

需要说明的是，由于纠删码处理数据的目的是在数据存储到存储介质后，保证数据的完整性以及准确性，并且由于纠删码对数据进行处理后，对数据进行了冗余的保护，因此尤其适用于分布式存储系统的冗余体系中，在分布式系统中可以将数据经过纠删码处理后的结果分布在集群的节点中，即使某一个节点中的结果丢失或损坏也能够通过其他节点中的结果转化回原始数据。

实施例三

在上文中对于一种通过纠删码对数据的处理方法的实施例进行了详细的描述，本发明还提供一种通过纠删码对数据的处理装置，由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图3为本发明实施例提供的一种通过纠删码对数据的处理装置结构图。如图3所示，本发明实施例提供的一种通过纠删码对数据的处理装置，包括：

设定模块10，用于设定纠删处理单元的容量。

单元计算模块11，用于获取原始数据，并根据原始数据的总量计算处理原始数据所需的纠删处理单元的单元数量。

数据处理模块12，用于根据单元数量分配相应数量的纠删处理单元，并通过纠删码在纠删处理单元中处理原始数据以得到结果数据。

本发明所提供的通过纠删码对数据的处理装置，将纠删处理单元作为纠删码能够处理的最小数据单元，根据获取到的原始数据的总量计算处理该原始数据所需要的纠删处理单元总数，进而分配相应数量的纠删处理单元，并在纠删处理单元中依靠纠删码对原始数据进行处理。可见，本装置可以根据原始数据的量灵活的改变纠删码每次能够处理的数据的总量，克服了现有技术中纠删码每一次能够处理的数据总量为默认值的情况，因此系统所分配的资源总量能够随实际需要而灵活变动，不会对系统的可用资源造成浪费，并且由于单次处理数据的总量能够选择性的增加，因此对数据的整体处理时间相对减少，保证了纠删码处理数据的效率，并且能够保证系统的整体性能。

在实施例三的基础上，作为一种优选的实施方式，该装置进一步包括：

数据存储模块，用于将结果数据存储至分布式存储系统。

在上述通过纠删码对数据的处理方法的基础上，本发明还提供一种测试方法。

实施例四

图4为本发明实施例提供的一种测试方法的流程图。请参考图4，测试方法的具体步骤包括：

步骤S40：根据纠删码的使用场景划分相应的测试脚本集。

其中测试脚本集中包括对纠删码进行多种相关测试的测试脚本。

需要说明的是，纠删码往往被应用在不同的场景中，因此对于纠删码执行情况的测试应该针对应用纠删码的不同场景，而本步骤中所划分测试脚本集也是根据在不同场景下使用纠删码时的相应操作，相当于对于各个场景进行了纠删码的使用模拟。需要说明的是，测试脚本及中的内容是纠删码在相应使用场景下的相关功能的执行步骤。

步骤S41：设置针对使用场景的测试比例。

需要说明的是，本步骤中的测试比例所指的是用户针对每一个场景下的测试脚本执行比例。在实际测试过程中，用户往往需要针对某一重点使用场景进行主要测试，因此可以通过设置针对使用场景的测试比例，规定每个场景中的测试权重。通过设置测试比例可以避免测试中不必要的开销，并且能够进行针对性的测试，进而使测试结果更加准确。

步骤S42：根据测试比例获取并执行测试脚本集中相应数量的测试脚本以得到执行状态，并将执行状态作为测试结果。

需要说明的是，本步骤根据上述步骤所设置的测试比例计算该测试比例所对应的场景中相应的测试脚本的数量，并且不同场景中获取对应数量的测试脚本，并执行测试脚本进行测试，进而获得测试结果。

本发明所提供的测试方法，对于多种纠删码的使用场景均划分有相应的测试脚本，因此能够更加全面测试纠删码对数据的处理状态以及效率等工作情况。此外，用户可以根据测试的实际需求，设置针对所述使用场景的测试比例，进行更有针对性的测试，因此能够减少不必要的测试开销，使测试相对高效，测试结果更加准确。

实施例五

图5为本发明实施例提供的另一种测试方法的流程图。图5中步骤S40-S42与图4相同，在此不再赘述。

如图5所示，作为一种优选的实施例，该方法进一步包括：

步骤S50：将测试结果转化为测试日志以及测试报告。

可以理解的是，将测试结果转化为测试日志以及测试报告能有助于用户了解测试情况并且对后续的数据处理的优化也有所帮助。

此外，作为一种优选的实施方式，使用场景具体包括：

纠删池创建场景、CLI命令场景、文件系统读写场景。

需要说明的是，纠删池为经过纠删码进行处理后的数据所组成的数据池；CLI命令是向用户用于控制纠删码实现具体功能的控制端；文件系统用于存储纠删码所处理的数据。上述三种场景均与纠删码的执行有关，并且基本囊括了纠删码主要被应用的场景，因此通过对上述场景的测试能够清楚全面的了解纠删码的执行情况。

如图5所示，作为一种优选的实施例，该方法进一步包括：

步骤S51：设定测试结果阈值。

相应的，在将执行状态作为测试结果后，该方法进一步包括：

步骤S52：判断测试结果是否超过测试结果阈值；

如果是，则执行步骤S53。

步骤S53：进行用户提示。

可以理解的是，设定测试结果阈值是为了界定所获得的测试结果是否在可接受的范围内，当测试结果超出了结果阈值的范围时，说明测试的过程中系统存在故障或是纠删码的相关设置不合理，因此需要进行用户提示，进而使用户尽快排查故障并保证测试顺利进行。需要说明的是，设定测试结果阈值的步骤可以在判断测试结果是否超过测试结果阈值之前的任意步骤前进行，在此不做具体限定。

实施例六

在上文中对于一种测试方法的实施例进行了详细的描述，本发明还提供一种测试装置，由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图6为本发明实施例提供的一种测试装置结构图。如图6所示，本发明实施例提供的一种测试装置，包括：

脚本划分模块20，用于根据纠删码的使用场景划分相应的测试脚本集。

比例设置模块21，用于设置针对使用场景的测试比例。

脚本执行模块22，用于根据测试比例获取并执行测试脚本集中相应数量的测试脚本以得到执行状态，并将执行状态作为测试结果。

本发明所提供的测试装置，对于多种纠删码的使用场景均划分有相应的测试脚本，因此能够更加全面测试纠删码对数据的处理状态以及效率等工作情况。此外，用户可以根据测试的实际需求，设置针对所述使用场景的测试比例，进行更有针对性的测试，因此能够减少不必要的测试开销，使测试相对高效，测试结果更加准确。

在实施例六的基础上，作为一种优选的实施方式，该装置进一步包括：

结果转化模块，用于将测试结果转化为测试日志以及测试报告。

以上对本发明所提供的一种通过纠删码对数据的处理方法及装置与一种基于上述通过纠删码对数据的处理方法的测试方法及装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种通过纠删码对数据的处理方法，其特征在于，包括：

设定纠删处理单元的容量；其中所述纠删处理单元是通过纠删码进行数据处理的最小数据单元；

获取原始数据，并根据所述原始数据的总量计算处理所述原始数据所需的所述纠删处理单元的单元数量；

根据所述单元数量分配相应数量的所述纠删处理单元，并通过所述纠删码在所述纠删处理单元中处理所述原始数据以得到结果数据。

2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

将所述结果数据存储至分布式存储系统。

3.一种测试方法，基于权利要求1-2任意一项所述的通过纠删码对数据的处理方法，其特征在于，包括：

根据纠删码的使用场景划分相应的测试脚本集；其中所述测试脚本集中包括对所述纠删码进行多种相关测试的测试脚本；

设置针对所述使用场景的测试比例；

根据所述测试比例获取并执行所述测试脚本集中相应数量的所述测试脚本以得到执行状态，并将所述执行状态作为测试结果。

4.根据权利要求3所述的方法，其特征在于，该方法进一步包括：

将所述测试结果转化为测试日志以及测试报告。

5.根据权利要求3所述的方法，其特征在于，所述使用场景具体包括：

纠删池创建场景、CLI命令场景、文件系统读写场景。

6.根据权利要求3至5任意一项所述的方法，其特征在于，该方法进一步包括：

设定测试结果阈值；

相应的，在所述将所述执行状态作为测试结果后，该方法进一步包括：

判断所述测试结果是否超过所述测试结果阈值；

如果是，则进行用户提示。

7.一种通过纠删码对数据的处理装置，其特征在于，包括：

设定模块，用于设定纠删处理单元的容量；

单元计算模块，用于获取原始数据，并根据所述原始数据的总量计算处理所述原始数据所需的所述纠删处理单元的单元数量；

数据处理模块，用于根据所述单元数量分配相应数量的所述纠删处理单元，并通过所述纠删码在所述纠删处理单元中处理所述原始数据以得到结果数据。

8.根据权利要求7所述的装置，其特征在于，该装置进一步包括：

数据存储模块，用于将所述结果数据存储至分布式存储系统。

9.一种测试装置，其特征在于，包括：

脚本划分模块，用于根据纠删码的使用场景划分相应的测试脚本集；

比例设置模块，用于设置针对所述使用场景的测试比例；

脚本执行模块，用于根据所述测试比例获取并执行所述测试脚本集中相应数量的所述测试脚本以得到执行状态，并将所述执行状态作为测试结果。

10.根据权利要求9所述的装置，其特征在于，该装置进一步包括：

结果转化模块，用于将所述测试结果转化为测试日志以及测试报告。