CN107315668A - 分布式存储系统数据一致性自动化快速检测方法及装置 - Google Patents

Abstract

本申请公开了一种分布式存储系统数据一致性自动化快速检测方法及装置，包括：通过采用脚本语言自动生成测试种子；将测试种子按设定要求随机产生任意大小的文件；将随机产生的文件写入分布式存储系统或由本地拷贝到远端系统中，并自动保存文件的MD5值；模拟分布式存储系统故障，并自动保存故障后文件的MD5值；自动比对故障前后保存的MD5值，进行数据一致性校验。本申请能够自动快速匹配多个文件、任意文件大小的测试场景，高效的模拟覆盖常用场景，与传统的手工读写文件以及某些测试平台需要借助第三方MD5检测工具进行MD5值校验来说，本申请可以显著提升测试效率及测试准确性，节省人力资源。

Description

分布式存储系统数据一致性自动化快速检测方法及装置

技术领域

本发明涉及存储技术领域，特别是涉及一种分布式存储系统数据一致性自动化快速检测方法及装置。

背景技术

分布式存储系统是将数据分散存储在多台独立的设备上，采用可扩展的系统结构和多种冗余策略，利用多台存储服务器分担存储负荷，根据相应的定位算法查找存储信息。它不但可以提高系统的可靠性、可用性和存取效率，还易于扩展，并且消除单点故障，在规定的冗余规则范围内，存储节点某块磁盘或整个存储节点故障，对前端业务产生的影响很小。

作为存储在保证相应的性能指标的同时，如何针对系统故障快速检测数据的一致性也是相当重要的课题。目前针对数据一致性测试方法比较单一，基本上采用手工对存取的数据进行MD5值检验。此方法对少量文件有效，但当系统中存储的数据持续增大时，该方法可能效率较低。

发明内容

有鉴于此，本发明的目的在于提供一种分布式存储系统数据一致性自动化快速检测方法及装置，可以自动快速匹配多个文件、任意文件大小的测试场景，显著提升测试效率及测试准确性，节省人力资源。其具体方案如下：

一种分布式存储系统数据一致性自动化快速检测方法，包括：

通过采用脚本语言自动生成测试种子；

根据所述测试种子，按设定要求随机产生任意大小的文件；

将随机产生的所述文件写入分布式存储系统，或由本地拷贝到远端系统中，并自动保存所述文件的MD5值；

模拟分布式存储系统故障，并自动保存故障后所述文件的MD5值；

自动比对故障前后保存的MD5值，进行数据一致性校验。

优选地，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，根据所述测试种子，按设定要求随机产生任意大小的文件，具体包括：

指定循环读取所述测试种子的次数；

按照所述次数，循环随机读取所述测试种子中的字符，拼接成任意大小的文件。

优选地，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，将随机产生的所述文件写入分布式存储系统，或本地拷贝到远端系统中，具体包括：

将随机产生的所述文件写入指定文件；所述指定文件的文件名默认为创建时间；

通过cifs或nfs协议映射分布式存储共享目录，指定操作的路径为本地测试客户端或者远端节点。

优选地，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，将随机产生的所述文件由本地拷贝到远端系统中，具体包括：

若所述指定操作的路径为所述本地测试客户端时，通过输入拷贝文件名和拷贝的目的地址，将所述指定文件拷贝到所述远端节点。

优选地，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，模拟分布式存储系统故障，具体包括：

本地调用远端节点IPMI模拟所述分布式存储系统因异常发生重启操作；

封装所述分布式存储系统集成的IPMI底层命令，实现远程开关机。

优选地，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，自动比对故障前后保存的MD5值，进行一致性校验，具体包括：

通过自动比对重启前和重启后的MD5值，以确定故障前后数据的一致性；

当重启前和重启后的MD5值相同时，则故障前后数据一致，未被破坏；反之，则数据发送破坏，测试不通过。

优选地，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，所述保存的MD5值是在指定写文件过程中或完成后进行；或，所述保存的MD5值是在拷贝文件过程中或完成后进行。

优选地，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，所述脚本语言包括python语言。

优选地，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，所述测试种子包括英文字母、数字、标点及特殊字符。

本发明实施例还提供了一种分布式存储系统数据一致性自动化快速检测，包括：

种子生成模块，用于通过采用脚本语言自动生成测试种子；

文件生成模块，用于根据所述测试种子，按设定要求随机产生任意大小的文件；

文件写入模块，用于将随机产生的所述文件写入分布式存储系统，或由本地拷贝到远端系统中，并自动保存所述文件的MD5值；

模拟故障模块，模拟分布式存储系统故障，并自动保存故障后所述文件的MD5值；

MD5检测模块，用于自动比对故障前后保存的MD5值，进行数据一致性校验。

本发明所提供的一种分布式存储系统数据一致性自动化快速检测方法及装置，包括：通过采用脚本语言自动生成测试种子；根据测试种子，按设定要求随机产生任意大小的文件；将随机产生的文件写入分布式存储系统，或由本地拷贝到远端系统中，并自动保存文件的MD5值；模拟分布式存储系统故障，并自动保存故障后文件的MD5值；自动比对故障前后保存的MD5值，进行数据一致性校验。本发明能够自动快速匹配多个文件、任意文件大小的测试场景，高效的模拟覆盖常用场景，与传统的手工读写文件以及某些测试平台需要借助第三方MD5检测工具进行MD5值校验来说，本发明可以显著提升测试效率及测试准确性，节省人力资源。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的分布式存储系统数据一致性自动化快速检测方法的流程图；

图2为本发明实施例提供的分布式存储系统数据一致性自动化快速检测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种分布式存储系统数据一致性自动化快速检测方法，如图1所示，包括以下步骤：

S101、通过采用脚本语言自动生成测试种子；

S102、根据测试种子，按设定要求随机产生任意大小的文件；

S103、将随机产生的文件写入分布式存储系统，或由本地拷贝到远端系统中，并自动保存文件的MD5值；

S104、模拟分布式存储系统故障，并自动保存故障后文件的MD5值；

S105、自动比对故障前后保存的MD5值，进行数据一致性校验。

在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，首先通过采用脚本语言自动生成测试种子；将测试种子按设定要求随机产生任意大小的文件；然后将随机产生的文件写入分布式存储系统或由本地拷贝到远端系统中，并自动保存文件的MD5值；之后模拟分布式存储系统故障，并自动保存故障后文件的MD5值；最后自动比对故障前后保存的MD5值，进行数据一致性校验。通过上述步骤能够自动快速匹配多个文件、任意文件大小的测试场景，高效的模拟覆盖常用场景，与传统的手工读写文件以及某些测试平台需要借助第三方MD5检测工具进行MD5值校验来说，本申请可以显著提升测试效率及测试准确性，节省人力资源。

需要说明的是，MD5(Message Digest Algorithm 5)，中文名为消息摘要算法第五版，为计算机安全领域广泛使用的一种散列函数，用于确保信息传输完整一致，MD5的作用是让大容量信息在用数字签名软件签署私人密钥前被“压缩”成一种保密的格式，将数据运算成另一固定长度值(即把一个任意长度的字节串变换成一定长的十六进制数字串)。

在具体实施时，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，步骤S102根据测试种子，按设定要求随机产生任意大小的文件，具体可以包括以下步骤：

首先，指定循环读取测试种子的次数；

然后，按照次数，循环随机读取测试种子中的字符，拼接成任意大小的文件。

在具体实施时，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，步骤S103将随机产生的文件写入分布式存储系统，或本地拷贝到远端系统中，具体可以包括以下步骤：

首先，将随机产生的文件写入指定文件；指定文件的文件名默认为创建时间；

然后，通过cifs或nfs协议映射分布式存储共享目录，指定操作的路径为本地测试客户端或者远端节点。

进一步地，在具体实施时，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，将随机产生的所述文件由本地拷贝到远端系统中，具体可以包括以下步骤：

若指定操作的路径为本地测试客户端时，通过输入拷贝文件名和拷贝的目的地址，将指定文件拷贝到远端节点。

在具体实施时，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，步骤S104模拟分布式存储系统故障，具体可以包括以下步骤：

首先，本地调用远端节点IPMI模拟分布式存储系统因异常发生重启操作；

然后，封装分布式存储系统集成的IPMI底层命令，实现远程开关机。

需要说明的是，IPMI是一种开放标准的硬件管理接口规格，定义了嵌入式管理子系统通信的特定方法。

在具体实施时，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，保存的MD5值是在指定写文件过程中或完成后进行；或，保存的MD5值是在拷贝文件过程中或完成后进行。

需要说明的是，这里的保存的MD5值包括故障前自动保存的MD5值，也包括故障后自动保存的MD5值。

在具体实施时，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，步骤S105自动比对故障前后保存的MD5值，进行一致性校验，具体可以包括以下步骤：

首先，通过自动比对重启前和重启后的MD5值，以确定故障前后数据的一致性；

然后，当重启前和重启后的MD5值相同时，则故障前后数据一致，未被破坏；反之，则数据发送破坏，测试不通过。

在具体实施时，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，设计合理的分布式存储数据一致性的检测流程，借助的脚本语言可以包括python语言，来实现此自动检测方法。需要说明的是，python是一种面向对象的解释型计算机程序设计语言。

在具体实施时，在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测方法中，测试种子可以包括英文字母、数字、标点及特殊字符。具体地，测试种子seed可以为26个英文字母、0-9数字、#$％^&*()！～？<>}{[]等标点及特殊字符。

基于同一发明构思，本发明实施例还提供了一种分布式存储系统数据一致性自动化快速检测装置，由于该装置解决问题的原理与前述一种分布式存储系统数据一致性自动化快速检测方法相似，因此该装置的实施可以参见分布式存储系统数据一致性自动化快速检测方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的分布式存储系统数据一致性自动化快速检测装置，如图2所示，具体包括：

种子生成模块1，用于通过采用脚本语言自动生成测试种子；

文件生成模块2，用于根据所述测试种子，按设定要求随机产生任意大小的文件；

文件写入模块3，用于将随机产生的所述文件写入分布式存储系统，或由本地拷贝到远端系统中，并自动保存所述文件的MD5值；

模拟故障模块4，模拟分布式存储系统故障，并自动保存故障后所述文件的MD5值；

MD5检测模块5，用于自动比对故障前后保存的MD5值，进行数据一致性校验。

需要说明的是，MD5检测模块可以通过导入调用hashlib库实现。

在本发明实施例提供的上述分布式存储系统数据一致性自动化快速检测装置中，使用此装置，能够快速匹配多个文件，任意文件大小的测试场景，高效的覆盖应用场景，增加了测试场景的复现效率，提升了测试效率及测试准确性。

本发明实施例提供的一种分布式存储系统数据一致性自动化快速检测方法及装置，包括：通过采用脚本语言自动生成测试种子；根据测试种子，按设定要求随机产生任意大小的文件；将随机产生的文件写入分布式存储系统，或由本地拷贝到远端系统中，并自动保存文件的MD5值；模拟分布式存储系统故障，并自动保存故障后文件的MD5值；自动比对故障前后保存的MD5值，进行数据一致性校验。本发明能够自动快速匹配多个文件、任意文件大小的测试场景，高效的模拟覆盖常用场景，与传统的手工读写文件以及某些测试平台需要借助第三方MD5检测工具进行MD5值校验来说，本发明可以显著提升测试效率及测试准确性，节省人力资源。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的分布式存储系统数据一致性自动化快速检测方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种分布式存储系统数据一致性自动化快速检测方法，其特征在于，包括：

通过采用脚本语言自动生成测试种子；

根据所述测试种子，按设定要求随机产生任意大小的文件；

将随机产生的所述文件写入分布式存储系统，或由本地拷贝到远端系统中，并自动保存所述文件的MD5值；

模拟分布式存储系统故障，并自动保存故障后所述文件的MD5值；

自动比对故障前后保存的MD5值，进行数据一致性校验。

2.根据权利要求1所述的分布式存储系统数据一致性自动化快速检测方法，其特征在于，根据所述测试种子，按设定要求随机产生任意大小的文件，具体包括：

指定循环读取所述测试种子的次数；

按照所述次数，循环随机读取所述测试种子中的字符，拼接成任意大小的文件。

3.根据权利要求2所述的分布式存储系统数据一致性自动化快速检测方法，其特征在于，将随机产生的所述文件写入分布式存储系统，具体包括：

将随机产生的所述文件写入指定文件；所述指定文件的文件名默认为创建时间；

通过cifs或nfs协议映射分布式存储共享目录，指定操作的路径为本地测试客户端或者远端节点。

4.根据权利要求3所述的分布式存储系统数据一致性自动化快速检测方法，其特征在于，将随机产生的所述文件由本地拷贝到远端系统中，具体包括：

若所述指定操作的路径为所述本地测试客户端时，通过输入拷贝文件名和拷贝的目的地址，将所述指定文件拷贝到所述远端节点。

5.根据权利要求4所述的分布式存储系统数据一致性自动化快速检测方法，其特征在于，模拟分布式存储系统故障，具体包括：

本地调用远端节点IPMI模拟所述分布式存储系统因异常发生重启操作；

封装所述分布式存储系统集成的IPMI底层命令，实现远程开关机。

6.根据权利要求5所述的分布式存储系统数据一致性自动化快速检测方法，其特征在于，自动比对故障前后保存的MD5值，进行一致性校验，具体包括：

通过自动比对重启前和重启后的MD5值，以确定故障前后数据的一致性；

当重启前和重启后的MD5值相同时，则故障前后数据一致，未被破坏；反之，则数据发送破坏，测试不通过。

7.根据权利要求6所述的分布式存储系统数据一致性自动化快速检测方法，其特征在于，所述保存的MD5值是在指定写文件过程中或完成后进行；或，所述保存的MD5值是在拷贝文件过程中或完成后进行。

8.根据权利要求1-7任一项所述的分布式存储系统数据一致性自动化快速检测方法，所述脚本语言包括python语言。

9.根据权利要求1-7任一项所述的分布式存储系统数据一致性自动化快速检测方法，所述测试种子包括英文字母、数字、标点及特殊字符。

10.一种分布式存储系统数据一致性自动化快速检测装置，其特征在于，包括：

种子生成模块，用于通过采用脚本语言自动生成测试种子；

文件生成模块，用于根据所述测试种子，按设定要求随机产生任意大小的文件；

文件写入模块，用于将随机产生的所述文件写入分布式存储系统，或由本地拷贝到远端系统中，并自动保存所述文件的MD5值；

模拟故障模块，模拟分布式存储系统故障，并自动保存故障后所述文件的MD5值；

MD5检测模块，用于自动比对故障前后保存的MD5值，进行数据一致性校验。