CN111782141A - 一种数据巡检方法及装置 - Google Patents

Abstract

本申请涉及磁盘检测技术领域，特别涉及一种数据巡检方法及装置。所述方法应用于分布式存储系统中的存储服务器，所述存储服务器的物理磁盘的各指定位置预存储有标准数据，所述方法包括：在接收到数据巡检指令时，获取目标物理磁盘的各指定位置存储的数据，其中，所述目标物理磁盘为所述存储服务器上的任一物理磁盘；将获取到的各数据与所述标准数据进行比对，得到比对结果；基于所述比对结果，判断所述目标物理磁盘是否发生静默错误。

Description

一种数据巡检方法及装置

技术领域

本申请涉及磁盘检测技术领域，特别涉及一种数据巡检方法及装置。

背景技术

随着数字化的发展，企业对存储系统的需求日趋明显，对存储系统的容量要求越来越大。分布式存储中的副本冗余策略，很好的保证了数据的可靠性，但是副本策略空间耗费过高，很多企业都无法接受这么高的代价来保证数据的可靠性。因此很多企业采用了纠删码策略，这种策略可以减少空间的消耗，但性能是差于副本策略的，本质就是用时间换取空间。对于企业来说，使用纠删码策略虽然性能有所下降，但是为了节约成本，还是有大量的厂商采用了纠删码策略。随着纠删码策略的广泛使用，很多问题也随之出现，其中一个问题就是纠删码的巡检方案。存储系统为了及时发现存储系统中的异常数据，需要定时的进行数据巡检。

目前纠删码数据池进行数据巡检时，采用的是主数据分片发起数据巡检请求，然后从数据分片把数据发送给主数据分片，然后主数据分片使用全部数据分片的内容重新计算校验数据，与发送过来的校验数据进行比较，如果比较结果一致，则校验通过：如果比较结果不一致，则说明数据存在错误。

传统的纠删码存储池巡检，由于需要全量的数据读取和数据发送，存储集群的网络负载会增加，需要耗费大量的资源，这将严重影响存储集群的性能，对存储系统整体性能造成影响。

发明内容

本申请实施例提供了一种数据巡检方法及装置，用以解决现有技术中存在的数据巡检而导致存储系统性能降低的问题。

本申请实施例提供的具体技术方案如下：

第一方面，本申请提供了一种数据巡检方法，应用于分布式存储系统中的存储服务器，所述存储服务器的物理磁盘的各指定位置预存储有标准数据，所述方法包括：

在接收到数据巡检指令时，获取目标物理磁盘的各指定位置存储的数据，其中，所述目标物理磁盘为所述存储服务器上的任一物理磁盘；

将获取到的各数据与所述标准数据进行比对，得到比对结果；

基于所述比对结果，判断所述目标物理磁盘是否发生静默错误。

可选地，在接收到数据巡检指令时，获取目标物理磁盘的各指定位置存储的数据之前，所述方法还包括：

在格式化一个物理磁盘时，根据所述一个物理磁盘的大小和标准数据写入规则，确定用于存储所述标准数据的多个指定位置；

将所述标准数据分别写入所述多个指定位置，其中，所述一个物理磁盘中除所述多个指定位置之外的其它位置用于存储业务数据。

可选地，将获取到的各数据与所述标准数据进行比对，得到比对结果的步骤包括：

将获取到的所述各数据分别与所述标准数据进行比对，得到所述各数据与所述标准数据是否一致的结果。

可选地，基于所述比对结果，判断所述目标物理磁盘是否发生静默错误的步骤包括：

若确定所述各数据与所述标准数据均一致，则判定所述目标物理磁盘未发生静默错误；

若确定所述各数据中存在与所述标准数据不一致的数据，则判定所述目标物理磁盘发生静默错误。

可选地，所述方法还包括：

若确定所述目标物理磁盘中任一指定位置的数据获取失败，则确定所述目标物理磁盘发生静默错误。

第二方面，本申请提供了一种数据巡检装置，应用于分布式存储系统中的存储服务器，所述存储服务器的物理磁盘的各指定位置预存储有标准数据，所述装置包括：

获取单元，在接收到数据巡检指令时，所述获取单元用于获取目标物理磁盘的各指定位置存储的数据，其中，所述目标物理磁盘为所述存储服务器上的任一物理磁盘；

比对单元，用于将获取到的各数据与所述标准数据进行比对，得到比对结果；

判断单元，用于基于所述比对结果，判断所述目标物理磁盘是否发生静默错误。

可选地，在接收到数据巡检指令时，获取目标物理磁盘的各指定位置存储的数据之前，所述装置还包括：

确定单元，在格式化一个物理磁盘时，所述确定单元用于根据所述一个物理磁盘的大小和标准数据写入规则，确定用于存储所述标准数据的多个指定位置；

写入单元，用于将所述标准数据分别写入所述多个指定位置，其中，所述一个物理磁盘中除所述多个指定位置之外的其它位置用于存储业务数据。

可选地，在将获取到的各数据与所述标准数据进行比对，得到比对结果时，所述比对单元具体用于：

将获取到的所述各数据分别与所述标准数据进行比对，得到所述各数据与所述标准数据是否一致的结果。

可选地，在基于所述比对结果，判断所述目标物理磁盘是否发生静默错误时，所述判断单元具体用于：

若确定所述各数据与所述标准数据均一致，则判定所述目标物理磁盘未发生静默错误；

若确定所述各数据中存在与所述标准数据不一致的数据，则判定所述目标物理磁盘发生静默错误。

可选地，所述判断单元还用于：

若确定所述目标物理磁盘中任一指定位置的数据获取失败，判定所述目标物理磁盘发生静默错误。

第三方面，本申请提供了一种计算设备，该计算设备包括：

存储器，用于存储程序指令；

处理器，用于调用上述存储器中存储的程序指令，按照获得的程序执行上述第一方面中任一项方法。

第四方面，本申请提供一种计算机存储介质，该计算机可读存储介质存储有计算机可执行指令，上述计算机可执行指令用于使上述计算机执行上述第一方面中任一项方法。

本申请有益效果如下：

综上所述，本申请提供的数据巡检方法，应用于分布式存储系统中的存储服务器，上述存储服务器的物理磁盘的各指定位置预存储有标准数据，上述方法包括：在接收到数据巡检指令时，获取目标物理磁盘的各指定位置存储的数据，其中，上述目标物理磁盘为上述存储服务器上的任一物理磁盘；将获取到的各数据与上述标准数据进行比对，得到比对结果；基于上述比对结果，判断上述目标物理磁盘是否发生静默错误。

采用本申请提供的数据巡检方法，采用物理磁盘抽样巡检的方式进行数据巡检，避免数据巡检所带来的网络流量，避免纠删码数据校验所占用的物理资源，从而提升了存储系统的整体性能。

附图说明

图1为本申请实施例提供的一种数据巡检方法的流程示意图；

图2为本申请实施例提供的一种物理磁盘的多个指定位置写入标准数据的示意图；

图3为本申请实施例提供的另一种数据巡检方法的流程示意图；

图4为本申请实施例提供的一种数据巡检装置的结构示意图；

图5为本申请实施例提供的另一种数据巡检装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先，本申请实施例中术语“和”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

当本申请提及“第一”、“第二”、“第三”或者“第四”等序数词时，除非根据上下文其确实表达顺序之意，否则应当理解为仅仅是起区分之用。

数据巡检，本质上是解决磁盘静默错误引起的数据异常问题。即检查物理磁盘是否存在数据跳变，检查范围在单磁盘上进行即可，并不涉及分布式存储、纠删码等业务逻辑。

下面将通过具体实施例对本申请的方案进行详细描述，当然，本申请并不限于以下实施例。

示例性的，参阅图1所示，为本申请提供的一种数据巡检方法的流程示意图，该数据巡检方法应用于分布式存储系统中的存储服务器，该存储服务器的物理磁盘的各指定位置预存储有标准数据，该存储服务器以纠删码的方式存储业务数据，该数据巡检方法的详细流程如下：

步骤100：在接收到数据巡检指令时，获取目标物理磁盘的各指定位置存储的数据，其中，上述目标物理磁盘为上述存储服务器上的任一物理磁盘。

本申请实施例中，在执行步骤100之前，上述方法还可以包括：在格式化一个物理磁盘时，根据上述一个物理磁盘的大小和标准数据写入规则，确定用于存储上述标准数据的多个指定位置；将上述标准数据分别写入上述多个指定位置，其中，上述一个物理磁盘中除上述多个指定位置之外的其它位置用于存储业务数据。

具体地，本申请实施例中，存储服务器的本地文件系统初始化时，可以基于用户自定义标准数据的大小和形式，如，标准数据设置为魔数0xabcdef(占用物理磁盘的1个扇区)，当然，标准数据为用户自定义的数据，标准数据的大小和形式本申请实施例中不做具体限定，如，标准数据的大小可以是n个扇区的大小，n为大于等于1的正整数。

进一步地，在对存储服务器的各物理磁盘进行格式化操作时，针对每一物理磁盘分别执行以下操作：根据一个物理磁盘的大小，以及标准数据写入规则(如，每间隔1G或10G存储空间确定出一个指定位置)，确定出用于存储标准数据的多个指定位置，并在格式化完成之后，将标准数据分别写入确定出的多个指定位置。

示例性的，参阅图2所示，为本申请实施例提供的一种物理磁盘的多个指定位置写入标准数据的示意图。每隔固定间隔大小写入一个标准数据，其中，标准数据为0xabcdef，其占用物理磁盘的1个扇区。

实际应用中，物理磁盘都是TB级别，因此，一块物理磁盘上设置多个用于存储标准数据的指定位置，对物理磁盘连续性不构成影响，不会导致顺序读变成随机读的问题。

由上可知，本申请实施例中，在执行步骤100时，一种较佳地实现方式为，存储服务器在接收到管理服务器发送的数据巡检指令时，即可针对本地各物理磁盘分别执行以下操作：获取到本地一个物理磁盘的各指定位置存储的数据，并根据获取到的该一个物理磁盘的各指定位置存储的各数据，以及标准数据确定该一个磁盘的数据巡检结果。

较佳地，本申请实施例中具体地数据巡检过程详见下文描述。

步骤110：将获取到的各数据与上述标准数据进行比对，得到比对结果。

本申请实施例中，将获取到的各数据与上述标准数据进行比对，得到比对结果时，一种较佳地实现方式为，将获取到的上述各数据分别与上述标准数据进行比对，得到上述各数据与上述标准数据是否一致的结果。

例如，假设目标物磁盘中设置有m个指定位置，那么，就可以从m个指定位置处获取到m个数据，接着，就可以依次将m个数据分别与其对应的标准数据进行比对，以判断各数据是否与其对应的标准数据一致。

本申请实施例中，m个数据分别对应的标准数据可以相同，也可以不同，本申请实施例中，在此不做具体限定。

也就是说，可以针对目标物理磁盘上的每一指定位置设置不同的标准数据，也可以针对目标物理磁盘上的各指定位置设置同一标准数据。

例如，假设目标物理磁盘包括指定位置1，指定位置2，指定位置3和指定位置4，本申请实施例中，一种较佳地实现方式为，指定位置1对应标准数据1，指定位置2对应标准数据2，指定位置3对应标准数据3，指定位置4对应标准数据4，其中，标准数据1，标准数据2，标准数据3和标准数据4不相同；另一种较佳地实现方式为，指定位置1，指定位置2，指定位置3和指定位置4对应同一标准数据。当然，还可以包括其它实现方式，如，指定位置1和指定位置2对应标准数据1，指定位置3和指定位置4对应标准数据2。具体地，指定位置和标准数据的对应方式可以根据用户需求和/或具体应用场景的不同而自定义配置，本申请实施例中，在此不做具体限定。

需要说明的是，在后续的将从各指定位置获取到的数据与标准数据进行比对时，只需将从一个指定位置获取到的数据与该一个指定位置对应的标准数据进行比对即可。

步骤120：基于上述比对结果，判断上述目标物理磁盘是否发生静默错误。

本申请实施例中，在基于上述比对结果，判断上述目标物理磁盘是否发生静默错误时，一种较佳地实现方式为，若确定上述各数据与上述标准数据均一致，则判定上述目标物理磁盘未发生静默错误；若确定上述各数据中存在与上述标准数据不一致的数据，则判定上述目标物理磁盘发生静默错误。

也就是说，针对一个物理磁盘而言，若从该物理磁盘上的任一指定位置读取到的数据与该任一指定位置对应的标准数据不一致，则确定该物理磁盘发生了静默错误，对应的，若从该物理磁盘上所有指定位置读取到的数据与其对应的标准数据均一致，则确定该物理磁盘未发生静默错误。

进一步地，本申请实施例中，若确定上述目标物理磁盘中任一指定位置的数据获取失败，则确定上述目标物理磁盘发生静默错误。

下面，采用具体的应用场景对本申请上述实施例进行进一步说明。示例性的，参阅图3所示，为本申请实施例提供的另一种数据巡检方法的详细流程图，该方法应用于分布式存储系统的存储服务器，该存储服务器以纠删码的方式存储业务数据，该方法可以包括以下步骤：

步骤300：本地文件系统初始化。

步骤310：设置物理磁盘的标准数据。

具体地，用户可以自定义该标准数据，如，用户定义标准数据为魔数0abcdef。

步骤320：读取配置文件，获取物理磁盘大小和用于存储标准数据的指定位置的个数。

具体地，配置文件可以理解为指定位置确定规则，如，配置文件可以包括如下规则，每间隔固定大小(如，1G/10G)设置1个用于存储标准数据的指定位置，指定位置的大小为1个扇区，……。

步骤330：物理磁盘格式化，将标准数据写入对应的指定位置。

步骤340：接收到数据巡检指令时，从指定位置读取数据。

步骤350：判断读取到的各数据与标准数据是否均一致，若是，则执行步骤360；否则，执行步骤380。

步骤360：确定物理磁盘校验通过。

步骤370：上报物理磁盘状态。

步骤380：确定物理磁盘存在静默错误。

进一步地，若确定任一指定位置的数据读取失败，也可以确定物理磁盘存在静默错误。

步骤390：数据巡检结束。

基于上述实施例，参阅图4所示，为本申请提供的一种数据巡检装置的结构示意图，所述数据巡检装置应用于分布式存储系统中的存储服务器，所述存储服务器的物理磁盘的各指定位置预存储有标准数据，所述装置包括：

获取单元40，在接收到数据巡检指令时，获取单元40用于获取目标物理磁盘的各指定位置存储的数据，其中，所述目标物理磁盘为所述存储服务器上的任一物理磁盘；

比对单元41，用于将获取到的各数据与所述标准数据进行比对，得到比对结果；

判断单元42，用于基于所述比对结果，判断所述目标物理磁盘是否发生静默错误。

可选地，在接收到数据巡检指令时，获取目标物理磁盘的各指定位置存储的数据之前，所述装置还包括：

确定单元，在格式化一个物理磁盘时，所述确定单元用于根据所述一个物理磁盘的大小和标准数据写入规则，确定用于存储所述标准数据的多个指定位置；

写入单元，用于将所述标准数据分别写入所述多个指定位置，其中，所述一个物理磁盘中除所述多个指定位置之外的其它位置用于存储业务数据。

可选地，在将获取到的各数据与所述标准数据进行比对，得到比对结果时，比对单元41具体用于：

将获取到的所述各数据分别与所述标准数据进行比对，得到所述各数据与所述标准数据是否一致的结果。

可选地，在基于所述比对结果，判断所述目标物理磁盘是否发生静默错误时，判断单元42具体用于：

若确定所述各数据与所述标准数据均一致，则判定所述目标物理磁盘未发生静默错误；

若确定所述各数据中存在与所述标准数据不一致的数据，则判定所述目标物理磁盘发生静默错误。

可选地，判断单元42还用于：

若确定所述目标物理磁盘中任一指定位置的数据获取失败，判定所述目标物理磁盘发生静默错误。

进一步地，参阅图5所示，本申请还提供了另一种数据巡检装置的结构示意图，该数据巡检装置包括存储器50和处理器51，其中，

存储器50，用于存储程序指令；

处理器51，用于调用上述存储器50中存储的程序指令，按照获得的程序执行上述任一方法实施例。

更进一步地，本申请提供一种计算机存储介质，该计算机可读存储介质存储有计算机可执行指令，上述计算机可执行指令用于使上述计算机执行上述任一方法实施例。

综上所述，本申请提供的数据巡检方法，应用于分布式存储系统中的存储服务器，上述存储服务器的物理磁盘的各指定位置预存储有标准数据，上述方法包括：在接收到数据巡检指令时，获取目标物理磁盘的各指定位置存储的数据，其中，上述目标物理磁盘为上述存储服务器上的任一物理磁盘；将获取到的各数据与上述标准数据进行比对，得到比对结果；基于上述比对结果，判断上述目标物理磁盘是否发生静默错误。

采用本申请提供的数据巡检方法，采用物理磁盘抽样巡检的方式进行数据巡检，避免数据巡检所带来的网络流量，避免纠删码数据校验所占用的物理资源，从而提升了存储系统的整体性能。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据巡检方法，其特征在于，应用于分布式存储系统中的存储服务器，所述存储服务器的物理磁盘的各指定位置预存储有标准数据，所述方法包括：

在接收到数据巡检指令时，获取目标物理磁盘的各指定位置存储的数据，其中，所述目标物理磁盘为所述存储服务器上的任一物理磁盘；

将获取到的各数据与所述标准数据进行比对，得到比对结果；

基于所述比对结果，判断所述目标物理磁盘是否发生静默错误。

2.如权利要求1所述的方法，其特征在于，在接收到数据巡检指令时，获取目标物理磁盘的各指定位置存储的数据之前，所述方法还包括：

在格式化一个物理磁盘时，根据所述一个物理磁盘的大小和标准数据写入规则，确定用于存储所述标准数据的多个指定位置；

将所述标准数据分别写入所述多个指定位置，其中，所述一个物理磁盘中除所述多个指定位置之外的其它位置用于存储业务数据。

3.如权利要求1或2所述的方法，其特征在于，将获取到的各数据与所述标准数据进行比对，得到比对结果的步骤包括：

将获取到的所述各数据分别与所述标准数据进行比对，得到所述各数据与所述标准数据是否一致的结果。

4.如权利要求3所述的方法，其特征在于，基于所述比对结果，判断所述目标物理磁盘是否发生静默错误的步骤包括：

若确定所述各数据与所述标准数据均一致，则判定所述目标物理磁盘未发生静默错误；

若确定所述各数据中存在与所述标准数据不一致的数据，则判定所述目标物理磁盘发生静默错误。

5.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

若确定所述目标物理磁盘中任一指定位置的数据获取失败，则确定所述目标物理磁盘发生静默错误。

6.一种数据巡检装置，其特征在于，应用于分布式存储系统中的存储服务器，所述存储服务器的物理磁盘的各指定位置预存储有标准数据，所述装置包括：

获取单元，在接收到数据巡检指令时，所述获取单元用于获取目标物理磁盘的各指定位置存储的数据，其中，所述目标物理磁盘为所述存储服务器上的任一物理磁盘；

比对单元，用于将获取到的各数据与所述标准数据进行比对，得到比对结果；

判断单元，用于基于所述比对结果，判断所述目标物理磁盘是否发生静默错误。

7.如权利要求6所述的装置，其特征在于，在接收到数据巡检指令时，获取目标物理磁盘的各指定位置存储的数据之前，所述装置还包括：

确定单元，在格式化一个物理磁盘时，所述确定单元用于根据所述一个物理磁盘的大小和标准数据写入规则，确定用于存储所述标准数据的多个指定位置；

写入单元，用于将所述标准数据分别写入所述多个指定位置，其中，所述一个物理磁盘中除所述多个指定位置之外的其它位置用于存储业务数据。

8.如权利要求6或7所述的装置，其特征在于，在将获取到的各数据与所述标准数据进行比对，得到比对结果时，所述比对单元具体用于：

将获取到的所述各数据分别与所述标准数据进行比对，得到所述各数据与所述标准数据是否一致的结果。

9.如权利要求8所述的装置，其特征在于，在基于所述比对结果，判断所述目标物理磁盘是否发生静默错误时，所述判断单元具体用于：

若确定所述各数据与所述标准数据均一致，则判定所述目标物理磁盘未发生静默错误；

若确定所述各数据中存在与所述标准数据不一致的数据，则判定所述目标物理磁盘发生静默错误。

10.如权利要求6或7所述的装置，其特征在于，所述判断单元还用于：

若确定所述目标物理磁盘中任一指定位置的数据获取失败，判定所述目标物理磁盘发生静默错误。

Images