CN117827527A - 一种用于分布式存储系统中的数据完整性校验方法及系统 - Google Patents

Abstract

本发明属于计算机存储技术领域，具体涉及一种用于分布式存储系统中的数据完整性校验方法及系统，通过以分布式存储系统中的数据为基础划分子数据块和获取子数据块的头、中、尾部分的字节，设定校验值的初始值设置为零，对数据进行校验计算；选择子数据块的头部N字节采用校验算法计算出校验值一；选择子数据块的尾部N字节，以校验值一作为初始值采用校验算法计算出校验值二；随机选择子数据块的中间位置的中部N字节，以校验值二作为初始值采用校验算法计算出校验值三，结合了分布式存储系统的数据特征，保证数据完整性的同时，也加快完整性校验的速度，降低CPU资源消耗，提高系统的整体性能。

Description

一种用于分布式存储系统中的数据完整性校验方法及系统

技术领域

本发明属于计算机存储技术领域，具体涉及一种用于分布式存储系统中的数据完整性校验方法及系统。

背景技术

随着数据量的爆炸式的增长，对分布式存储系统提出新的要求。不仅要求数据在传输过程中保证完整性，又要求提供极致的数据传输效率。在目前现有的分布式存储系统中，常用的方法是：在应用层计算出数据的校验值(如：Cyclic Redundancy Check)，将该校验值和数据一同发送到对端。对端收到后，重新计算校验值，和之前的校验值进行比较，如果相同表示数据正确，如果不同表示数据错误。

但是，这种方法存在着一些不足。因为在分布式存储系统中，节点数量庞大，每在节点间传递一次，都需要在发送端、接受端分别计算一次校验值。这样便会让计算量成倍的增加，对CPU带来沉重的负担，极大的消耗CPU资源。同时，由于对校验值的计算工作处于IO流程中，会增加处理的时延，最终降低系统性能。

发明内容

本发明的目的在于提供一种用于分布式存储系统中的数据完整性校验方法，保证数据完整性的同时，也加快完整性校验的速度，降低CPU资源消耗，提高系统的整体性能，以解决上述背景技术中提出现有技术中的问题。

为实现上述目的，本发明采用了如下技术方案：一种用于分布式存储系统中的数据完整性校验方法，以分布式存储系统中的数据为基础划分子数据块和获取所述子数据块的头、中、尾部分的字节，包括S1：设定校验值的初始值设置为零，对所述数据进行校验计算；S2:将所述数据划分成M组子数据块；S3：选择所述子数据块的头部N字节采用校验算法计算出校验值一；S4：选择所述子数据块的尾部N字节，以所述校验值一作为初始值采用校验算法计算出校验值二；S5：随机选择所述子数据块的中间位置的中部N字节，以所述校验值二作为初始值采用校验算法计算出校验值三；S6：以所述校验值三初始值，重复S2-S5，直到所述数据中的所有子数据块完成计算，返回最终的校验值。

优选地，所述以分布式存储系统中的数据为基础划分子数据块和获取所述子数据块的头、中、尾部分的字节，包括：将分布式存储系统中的数据分成M组子数据块；选择每组所述子数据块的头部的N字节，获得头部字节；在每组所述子数据块的中间位置随机选择N字节，获得中部字节；选择每组所述子数据块的尾部的N字节，获得尾部字节。

优选地，所述M组子数据块的大小均为4K的整数倍。

优选地，所述头部字节、中部字节以及尾部字节的N数量均为4个字节的整数倍。

优选地，在S5中，如计算出的校验值三为所述数据中的最后一组所述子数据块产生的，则校验值三为最终的校验值。

优选地，在S5中，如计算出的校验值三不是所述数据中的最后一组所述子数据块产生的，则校验值三为下一组所述子数据块的初始值。

优选地，采用校验算法计算出校验值时，包括如下步骤：获取目标字节作为输入数据；将所述输入数据依次划分成多组序列长度相同的目标数据序列；利用多组处理器对多组所述目标数据序列进行并行循环冗余校验CRC计算，得到对应的多组第一CRC值；获取多组所述第一CRC值对应的目标序列影响系数，分别将组所述第一CRC值与对应的目标序列影响系数进行迦罗瓦域乘法运算，得到多组第二CRC值；对多组所述第二CRC值进行异或运算，得到校验值。

优选地，所述获取目标字节作为输入数据，包括：获取所述头部字节；确定所述头部字节的比特长度是否可以划分成多组序列长度相同的序列；如果是，将所述头部字节确定为输入数据；如果否，在所述头部字节之前补充零序列，以得到比特长度相同的序列的第二数据序列，将所述第二数据序列确定为输入数据。

优选的，所述校验值的算法为CRC-8、CRC-16、CRC-32中的一种或多种。

另一方面，本发明提出一种用于分布式存储系统中的数据完整性校验系统，包括：

初始模块，用于设定校验值的初始值设置为零，对所述数据进行校验计算；

头部字节获取模块，用于选择所述子数据块的头部N字节采用校验算法计算出校验值一；

尾部字节获取模块，用于选择所述子数据块的尾部N字节，以所述校验值一作为初始值采用校验算法计算出校验值二；

中部字节获取模块，用于随机选择所述子数据块的中间位置的中部N字节，以所述校验值二作为初始值采用校验算法计算出校验值三；

校验模块，用于以所述校验值三初始值，使得所述数据中的所有子数据块完成计算，返回最终的校验值

本发明的技术效果和优点：本发明提出的一种用于分布式存储系统中的数据完整性校验方法，与现有技术相比，具有以下优点：

本发明通过以分布式存储系统中的数据为基础获取子数据块和子数据块的头、中、尾部分的字节，设定校验值的初始值设置为零，对数据进行校验计算，选择子数据块的头部N字节采用校验算法计算出校验值一，选择子数据块的尾部N字节，以校验值一作为初始值采用校验算法计算出校验值二，随机选择子数据块的中间位置的中部N字节，以校验值二作为初始值采用校验算法计算出校验值三，结合了分布式存储系统的数据特征，保证数据完整性的同时，也加快完整性校验的速度，降低CPU资源消耗，提高系统的整体性能。

附图说明

图1为网络消息结构图；

图2为本发明的数据分布示意图；

图3为本发明的数据选择示意图；

图4为本发明一种用于分布式存储系统中的数据完整性校验方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中提供了一种用于分布式存储系统中的数据完整性校验方法，主要针对分布式存储系统，提出一种新的数据完整性校验方法。其目的是保证数据完整性的同时，也加快完整性校验的速度，降低CPU资源消耗，提高系统的整体性能。

在网络消息中，一般分为两部分：头部(Header)和数据(Data)。头部(Header)中一般描述了数据的元数据信息，例如消息序号、协议版本、数据长度等内容。除此之外，我们在头部加入1个字段：校验值(如：crc)。如图1所示。

在对数据做完整性校验时一般会遵循两条原则：(1)校验值不同时，表示Data一定不同。(2)校验值相同时，表示Data大概率相同，不能保证数据一定相同。

在常见的分布式存储系统中，会让整个数据部分(Data)参与crc计算，由于计算量大，在性能场景下，需要默认关闭数据校验功能，会为系统的数据不一致问题埋下隐患。

而本实施例中主要结合了分布式存储系统的数据特征，减少校验值的计算量，节省cpu资源，提高系统性能。在任务业务场景下(包括高性能场景)，都能提供一种数据完整性校验措施。在分布式存储系统中，数据部分(Data)大小一般都是4K的整数倍，如图2所示。

在分布式存储系统中，容易发生以下情况：1)数据被其他线程、模块错误的修改；2)内存未按照期望进行填充数据；3)写数据越界；4)由于bug而随机踩内存等等。但这些行为有一个共同的特征，即：在数据块的交界处(4K的头部和尾部)更容易损毁数据。所以只需要将关键数据部分进行校验计算，而无需将所有数据都作为计算样本。

如图4所示，本发明提供了一种用于分布式存储系统中的数据完整性校验方法。

该方法以分布式存储系统中的数据为基础获取子数据块和所述子数据块的头、中、尾部分的字节。具体的，将分布式存储系统中的数据分成M组子数据块；选择每组所述子数据块的头部的N字节，获得头部字节；在每组所述子数据块的中间位置随机选择N字节，获得中部字节；选择每组所述子数据块的尾部的N字节，获得尾部字节。

进一步的，所述M组子数据块的大小均为4K的整数倍。所述头部字节、中部字节以及尾部字节的N数量均为4个字节的整数倍。

上述方法，包括如下步骤：

S1：设定校验值的初始值设置为零，对所述数据进行校验计算。

S2:将所述数据划分成M组子数据块；

S3：选择所述子数据块的头部N字节采用校验算法计算出校验值一(value1)。

S4：选择所述子数据块的尾部N字节，以所述校验值一作为初始值采用校验算法计算出校验值二(value2)。

S5：随机选择所述子数据块的中间位置的中部N字节，以所述校验值二作为初始值采用校验算法计算出校验值三(value3)。

示例性地，如计算出的校验值三为所述数据中的最后一组所述子数据块产生的，则校验值三为最终的校验值；如计算出的校验值三不是所述数据中的最后一组所述子数据块产生的，则校验值三为下一组所述子数据块的初始值。

S6：以所述校验值三初始值，重复S2-S5，直到所述数据中的所有子数据块完成计算，返回最终的校验值。

上述的校验算法可以为CRC-8、CRC-16、CRC-32等。

在本实施例中采用的校验算法计算出校验值时，包括如下步骤：

(1)获取目标字节作为输入数据；(2)将所述输入数据依次划分成多组序列长度相同的目标数据序列；(3)利用多组处理器对多组所述目标数据序列进行并行循环冗余校验CRC计算，得到对应的多组第一CRC值；(4)获取多组所述第一CRC值对应的目标序列影响系数，分别将组所述第一CRC值与对应的目标序列影响系数进行迦罗瓦域乘法运算，得到多组第二CRC值；(5)对多组所述第二CRC值进行异或运算，得到校验值。

其中，获取目标字节作为输入数据，包括：获取所述头部字节；确定所述头部字节的比特长度是否可以划分成多组序列长度相同的序列；如果是，将所述头部字节确定为输入数据；如果否，在所述头部字节之前补充零序列，以得到比特长度相同的序列的第二数据序列，将所述第二数据序列确定为输入数据。

示例性地，所述校验值的计算公式为：

式中，CRC[W_i(X)]为i个目标数据序列对应的第一CRC值，为迦罗瓦域乘法运算，为异或运算，β_i为第i个目标数据序列对应的目标序列影响系数。

根据上述算法，进行实验，结果如下：

1、实验环境：

CPU:Intel(R)Xeon(R)Gold 6348CPU@2.60GHz

2、实验数据：

表1时延对比图(时延单位：ns)。

通过上表可以看出，本专利的时延相比普通crc算法，可以极大的降低计算时延，减小cpu的开销。且随着IO的增大，效果越加明显。所以，在时延敏感性分布式存储系统中，该专利方案可以极大的降低系统时延，且能够大概率校验出存储系统的数据完整性。

本发明相对现有技术而言，在现有分布式存储系统的数据传输过程中，一方面：为了保证数据完整性而采取的数据校验方法，会极大的消耗cpu资源，且增大系统时延。另一方面：为了保证系统低时延，又不得不关闭对数据的校验计算，为数据完整性埋下隐患。本发明能够极大的兼容二者的诉求，既可以降低系统时延，又能保证系统的数据完整性。

另一方面，本发明实施例中还提供了一种用于分布式存储系统中的数据完整性校验系统，该系统包括初始模块、头部字节获取模块、尾部字节获取模块、中部字节获取模块以及校验模块。

示例性地，初始模块用于设定校验值的初始值设置为零，对所述数据进行校验计算；

示例性地，头部字节获取模块用于选择所述子数据块的头部N字节采用校验算法计算出校验值一；

示例性地，尾部字节获取模块用于选择所述子数据块的尾部N字节，以所述校验值一作为初始值采用校验算法计算出校验值二；

示例性地，中部字节获取模块用于随机选择所述子数据块的中间位置的中部N字节，以所述校验值二作为初始值采用校验算法计算出校验值三；

示例性地，校验模块用于以所述校验值三初始值，重复S2-S4，直到所述数据中的所有子数据块完成计算，返回最终的校验值。

另外，上述初始模块、头部字节获取模块、尾部字节获取模块、中部字节获取模块以及校验模块还可以实现如上所述的一种用于分布式存储系统中的数据完整性校验方法中的其他功能，在此不作一一赘述。

此外，本发明还提供了一种终端设备，在本实施例中涉及的用于分布式存储系统中的数据完整性校验方法主要应用于终端设备中，该终端设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。

具体的，终端设备可以包括处理器(例如CPU)，通信总线，用户接口，网络接口，存储器。其中，通信总线用于实现这些组件之间的连接通信；用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)；存储器可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器可选的还可以是独立于前述处理器的存储装置。

其中，存储器中存储可读存储介质，可读存储介质中数据完整性校验程序，处理器可以调用存储器中存储的数据处理程序，并执行本发明实施例提供的用于分布式存储系统中的数据完整性校验方法。

可以理解的，可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(I SA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开内容的各个方面。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于分布式存储系统中的数据完整性校验方法，其特征在于，以分布式存储系统中的数据为基础划分子数据块和获取所述子数据块的头、中、尾部分的字节，包括：

S1：设定校验值的初始值设置为零，对所述数据进行校验计算；

S2:将所述数据划分成M组子数据块；

S3：选择所述子数据块的头部N字节采用校验算法计算出校验值一；

S4：选择所述子数据块的尾部N字节，以所述校验值一作为初始值采用校验算法计算出校验值二；

S5：随机选择所述子数据块的中间位置的中部N字节，以所述校验值二作为初始值采用校验算法计算出校验值三；

S6：以所述校验值三初始值，重复S2-S5，直到所述数据中的所有子数据块完成计算，返回最终的校验值。

2.根据权利要求1所述的一种用于分布式存储系统中的数据完整性校验方法，其特征在于，所述以分布式存储系统中的数据为基础划分子数据块和获取所述子数据块的头、中、尾部分的字节，包括：

将分布式存储系统中的数据分成M组子数据块；

选择每组所述子数据块的头部的N字节，获得头部字节；

在每组所述子数据块的中间位置随机选择N字节，获得中部字节；

选择每组所述子数据块的尾部的N字节，获得尾部字节。

3.根据权利要求2所述的一种用于分布式存储系统中的数据完整性校验方法，其特征在于，所述M组子数据块的大小均为4K的整数倍，所述头部字节、中部字节以及尾部字节的数量N均为4个字节的整数倍。

4.根据权利要求1所述的一种用于分布式存储系统中的数据完整性校验方法，其特征在于，在S5中，如计算出的校验值三为所述数据中的最后一组所述子数据块产生的，则校验值三为最终的校验值。

5.根据权利要求1所述的一种用于分布式存储系统中的数据完整性校验方法，其特征在于，在S5中，如计算出的校验值三不是所述数据中的最后一组所述子数据块产生的，则校验值三为下一组所述子数据块的初始值。

6.根据权利要求1所述的一种用于分布式存储系统中的数据完整性校验方法，其特征在于，采用校验算法计算出校验值时，包括如下步骤：

获取目标字节作为输入数据；

将所述输入数据依次划分成多组序列长度相同的目标数据序列；

利用多组处理器对多组所述目标数据序列进行并行循环冗余校验CRC计算，得到对应的多组第一CRC值；

获取多组所述第一CRC值对应的目标序列影响系数，分别将组所述第一CRC值与对应的目标序列影响系数进行迦罗瓦域乘法运算，得到多组第二CRC值；

对多组所述第二CRC值进行异或运算，得到校验值。

7.根据权利要求6所述的一种用于分布式存储系统中的数据完整性校验方法，其特征在于，所述获取目标字节作为输入数据，包括：

获取所述头部字节；

确定所述头部字节的比特长度是否可以划分成多组序列长度相同的序列；

如果是，将所述头部字节确定为输入数据；

如果否，在所述头部字节之前补充零序列，以得到比特长度相同的序列的第二数据序列，将所述第二数据序列确定为输入数据。

8.根据权利要求6所述的一种用于分布式存储系统中的数据完整性校验方法，其特征在于，所述校验值的算法为CRC-8、CRC-16、CRC-32中的一种或多种。

9.一种用于分布式存储系统中的数据完整性校验系统，其特征在于，包括：

初始模块，用于设定校验值的初始值设置为零，对所述数据进行校验计算；

头部字节获取模块，用于选择所述子数据块的头部N字节采用校验算法计算出校验值一；

尾部字节获取模块，用于选择所述子数据块的尾部N字节，以所述校验值一作为初始值采用校验算法计算出校验值二；

中部字节获取模块，用于随机选择所述子数据块的中间位置的中部N字节，以所述校验值二作为初始值采用校验算法计算出校验值三；

校验模块，用于以所述校验值三初始值，使得所述数据中的所有子数据块完成计算，返回最终的校验值。