CN107506147B - 一种保持元数据一致性的方法及系统 - Google Patents

Abstract

本申请公开了一种保持元数据一致性的方法，方法包括：当接收到客户端发送的权限申请指令时，为客户端增加预设字节长度的写入权限并更新权限申请次数；判断客户端写入数据的字节长度是否小于写入权限对应的字节长度；若否，则停止客户端写入数据直至客户端再次发送权限申请指令，为客户端增加预设字节长度的写入权限并记录权限申请次数；当检测到所述客户端断开时，根据权限申请次数和存储池信息更新元数据；该方法能够有效缩小元数据服务系统确认数据的范围，提高文件恢复速度，保证了元数据的一致性；本申请还公开了一种保持元数据一致性的系统，具有以上有益效果。

Description

一种保持元数据一致性的方法及系统

技术领域

本发明涉及数据存储领域，特别涉及一种保持元数据一致性的方法及系统。

背景技术

随着科技的迅猛发展，数据存储技术在人类生产生活中扮演着重要的角色，人们对数据存储技术越来越重视。

目前海量数据的存储方案大部分都会采用分布式构架，容量大、拓展性和安全性也有一定保障，在分布式构架下，元数据与数据是分开管理的。考虑到性能因素，数据写入存储池和元数据更新这两个操作不是同步进行的，元数据一般会延时更新，但是如果写入过程出现异常，就会出现元数据与存储池数据不一致的情况。在现有技术中还没有解决元数据不一致问题的方案。

因此，如何使元数据与存储池实际保存的数据量一致，是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种保持元数据一致性的方法及系统，使元数据与存储池实际保存的数据量一致。

为解决上述技术问题，本申请提供一种保持元数据一致性的方法，该方法包括：

当接收到客户端发送的权限申请指令时，为所述客户端增加预设字节长度的写入权限并更新权限申请次数；

判断所述客户端写入数据的字节长度是否小于所述写入权限对应的字节长度；

若否，则停止所述客户端写入所述数据直至所述客户端再次发送所述权限申请指令，为所述客户端增加所述预设字节长度的所述写入权限并记录所述权限申请次数；

当检测到所述客户端断开时，根据所述权限申请次数和存储池信息更新所述元数据。

可选的，还包括：

当所述客户端创建文件时，根据存储历史记录判断所述客户端是否为第一次创建所述文件；

若是，则发送所述权限申请指令，以便获取所述写入权限写入所述数据。

可选的，所述当检测到所述客户端断开时，根据所述权限申请次数和存储池信息更新所述元数据包括：

当检测到所述客户端断开时，根据增加所述写入权限的所述次数确定对应的写入字节范围；

根据所述写入字节范围查询所述存储池信息得到实际写入数据量；

根据所述实际写入数据量更新所述元数据。

本申请还提供了一种保持元数据一致性的系统，该系统包括：

赋权模块，用于当接收到客户端发送的权限申请指令时，为所述客户端增加预设字节长度的写入权限并更新权限申请次数；

判断模块，用于判断所述客户端写入数据的字节长度是否小于所述写入权限对应的字节长度；

再赋权模块，用于当所述客户端写入数据的字节长度小于所述写入权限对应的字节长度时，停止所述客户端写入所述数据直至所述客户端再次发送所述权限申请指令，为所述客户端增加所述预设字节长度的所述写入权限并记录所述权限申请次数；

修正模块，用于当检测到所述客户端断开时，根据所述权限申请次数和存储池信息更新所述元数据。

可选的，还包括：

首次判断模块，用于当所述客户端创建文件时，根据存储历史记录判断所述客户端是否为第一次创建所述文件；

首次申请权限模块，用于当所述客户端为第一次创建所述文件时，发送所述权限申请指令，以便获取所述写入权限写入所述数据。

可选的，所述修正模块包括：

范围确定单元，用于当检测到所述客户端断开时，根据增加所述写入权限的所述次数确定对应的写入字节范围；

查询单元，用于根据所述写入字节范围查询所述存储池信息得到实际写入数据量；

更新单元，用于根据所述实际写入数据量更新所述元数据。

本发明提供了一种保持元数据一致性的方法，当接收到客户端发送的权限申请指令时，为所述客户端增加预设字节长度的写入权限并更新权限申请次数；判断所述客户端写入数据的字节长度是否小于所述写入权限对应的字节长度；若否，则停止所述客户端写入所述数据直至所述客户端再次发送所述权限申请指令，为所述客户端增加所述预设字节长度的所述写入权限并记录所述权限申请次数；当检测到所述客户端断开时，根据所述权限申请次数和存储池信息更新所述元数据。

本方法中只有在客户端有一定字节长度的写入权限时才可以写入数据，每当客户端写入对应写入权限的字节长度时，就会停止写入数据直至写入权限再次增加才可以继续写入数据。在客户端向元数据服务系统申请增加写入权限时，元数据服务系统为客户端增加预设字节长度的写入权限。当客户端出现故障时，可以根据元数据服务系统为客户端增加写入权限的次数粗略估计写入数据的字节长度的范围，从该范围中利用存储池信息查找出准确的数值。该方法能够有效缩小元数据服务系统确认数据的范围，提高文件恢复速度，保证了元数据的一致性。本申请同时还提供了一种保持元数据一致性的系统，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种保持元数据一致性的方法的流程图；

图2为本申请实施例所提供的另一种保持元数据一致性的方法的流程图；

图3为本方案在实际应用中保持元数据一致性的示意图；

图4为本申请提供的一种保持元数据一致性的系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面请参见图1，图1为本申请实施例所提供的一种保持元数据一致性的方法的流程图；

具体步骤可以包括：

步骤S101：当接收到客户端发送的权限申请指令时，为所述客户端增加预设字节长度的写入权限并更新权限申请次数；

其中，本步骤中的客户端可以是第一次写入数据，也可以是非第一次写入数据。当客户端是第一次写入数据时，客户端的写入权限的字节长度为0，因此当客户端第一次写入数据时，会先向元数据服务系统发送权限申请指令，以获得一定字节长度的写入权限。如果客户端是非第一次写入数据，则需要判断客户端是否还存在可以写入的权限，根据客户端上一次写入数据的具体情况进行选择。

可以理解的是本步骤中执行的操作只是增加预设字节长度的写入权限，也就是说客户端始终都有写入权限(第一次写入数据时权限为0)。写入权限是指客户端能够写入的字节长度，即限制了客户端的最大写入范围。由于客户端始终是写入数据，写入数据所占的字节长度是始终增加的，因此当客户端所要写入的数据的字节长度大于其拥有的写入权限对应的字节长度时，则需要元数据服务系统为客户端增加一定的写入权限，值得注意的是此处是在原有写入权限对应的字节长度的基础上再增加一定字节长度。

举例说明，客户端A的原有写入权限为4M，已经写入2M数据还需写入3M数据，当客户端A再写入3M数据时由于写入权限的限制停止剩余数据的写入，直至元数据服务系统为客户端A的写入权限增加预设字节长度2M时(此时客户端A的写入权限为6M)，客户端才可以将剩余的1M数据写入完毕，数据写入完毕后客户端还有1M字节长度的写入权限没有使用，即在下一次写入数据时无需先申请增加写入权限，当再写入1M数据后再申请增加写入权限。

其中，增加写入权限的“预设字节长度”是本领域技术人员根据实际应用的具体场景选定的，此处并不对预设字节长度的具体数值进行限定。可以理解的是，为了方便元数据的更新，预设字节长度的具体数值在整个数据写入的过程中是不变的。

本步骤中的权限申请次数是客户端向元数据服务系统申请写入权限的次数，即增加预设字节长度的写入权限的次数，由于每次增加申请权限的字节长度是固定大小的，所以可以根据权限申请次数估计数据写入量的范围。可以理解的是，权限申请次数是一个不断更新的数字，(即当客户端第一次写入数据时其权限申请次数为0)权限申请次数不会消失只会更新。

步骤S102：判断所述客户端写入数据的字节长度是否小于所述写入权限对应的字节长度；

其中，在步骤S101中已经解释了写入权限对客户端写入数据大小的限制关系，当客户端写入的数据的字节长度超过写入权限时，则需要元数据服务系统对客户端赋予更多的字节长度的写入权限。

本步骤实际上是检测客户端写入数据大小的过程，可以按照预定周期检测客户端写入了多少数据，也可以是编写相应程序使客户端写入的数据达到写入权限对应的字节长度大小进行判断。总之，本步骤是要元数据服务系统得知客户端所拥有的写入权限不足以继续写入数据。

可以理解的是，本步骤中客户端的写入权限是始终处于不断变化的过程中的，每两个时刻对应的写入权限可能是不同的，因此将客户端写入数据的字节长度进行对比的参照对象——写入权限对应的字节长度也是出于不断变化的(即随着客户端不断执行任务写入权限越来越大)。其中，本方案中提到的客户端写入的数据是指，客户端在其创建的文件中写入数据的总和，可以是多次写入的结果。

步骤S103：若否，则停止所述客户端写入所述数据直至所述客户端再次发送所述权限申请指令，为所述客户端增加所述预设字节长度的所述写入权限并记录所述权限申请次数；

其中，当元数据服务系统判定客户端已经没有足够大的写入权限时，则停止客户端继续写入数据，由于客户端与元数据服务系统之间的信息传递是很快的，所以当客户端写入数据的总量达到写入权限时会立即停止写入数据的操作，并等待写入权限的更新。

当客户端因写入权限受限无法继续写入数据时，会向元数据服务系统发送权限申请指令，元数据系统根据权限申请指令为客户端增加预设字节长度的写入权限，以便客户端可以在写入权限允许的范围内继续写入数据。可以理解的是，每次为客户端赋予新的写入权限时都会进行相应的记录，即权限申请次数的更新。

步骤S104：当检测到所述客户端断开时，根据所述权限申请次数和存储池信息更新所述元数据；

其中，在客户端没有断开的时候，虽然元数据的更新会有一定的延迟，但元数据是能够保持准确性的。如果客户端出现异常，数据已经写入由客户端至存储池，而元数据并没有同步到元数据服务系统中，会造成元数据服务系统与存储池数据不一致的情况，即存储池实际保存的数据量与元数据服务系统保存的文件大小不一致。

值得注意的是，只根据存储池信息来更新元数据的过程是异常缓慢的，效率十分低，因此本步骤中使用了在其他步骤中更新的权限申请次数来缩小查找范围保证了元数据的一致性，使得更新元数据的过程更加迅速且准确。

可以理解的是，能够引起客户端断开的原因有很多，例如网络断开、客户端异常崩溃等，此处不进行具体的限定。

下面请参见图2，图2为本申请实施例所提供的另一种保持元数据一致性的方法的流程图；

具体步骤可以包括：

步骤S201：当所述客户端创建文件时，根据存储历史记录判断所述客户端是否为第一次创建所述文件；

其中，在客户端写入数据之前是需要客户端先创建用于写入数据的文件的，存储历史记录是记录客户端写入数据操作的信息，可以根据存储历史记录判断客户端是否为第一次创建所述文件，即判断客户端是否为第一次写入数据。

步骤S202：若是，则发送所述权限申请指令，以便获取所述写入权限写入所述数据。

步骤S203：判断所述客户端写入数据的字节长度是否小于所述写入权限对应的字节长度。

步骤S204：若否，则停止所述客户端写入所述数据直至所述客户端再次发送所述权限申请指令，为所述客户端增加所述预设字节长度的所述写入权限并记录所述权限申请次数。

步骤S205：当检测到所述客户端断开时，根据增加所述写入权限的所述次数确定对应的写入字节范围；

其中，导致客户端断开的原因有很多，如网络断开、客户端异常崩溃等，此处不对导致客户端断开的具体原因进行限定。由于客户端每次申请增加写入权限都有记录且每次增加写入权限的字节长度都是固定的，因此可以根据增加写入权限的次数来确定对应的范围，且该范围应为一个预设字节长度大小。

步骤S206：根据所述写入字节范围查询所述存储池信息得到实际写入数据量；

其中，存储池信息中记录了客户端实际写入的数据量，根据步骤S205中查找到的范围快速确定具体的数值。举例说明请参见图3，图3为本方案在实际应用中保持元数据一致性的示意图：预设字节长度为4M，增加写入权限的次数为4次，当客户端断开后可以估计写入数据的范围为12M至16M之间，而数据池中实际写入了14M；若不在估计的范围内查找则需要在0M至14M范围内进行确认，费时费力；若在12M至16M范围内进行确认，可快速的查找出实际写入的数据量，即14M。

步骤S207：根据所述实际写入数据量更新所述元数据。

请参见图4，图4为本申请提供的一种保持元数据一致性的系统的结构示意图；

该系统可以包括：

赋权模块100，用于当接收到客户端发送的权限申请指令时，为所述客户端增加预设字节长度的写入权限并更新权限申请次数；

判断模块200，用于判断所述客户端写入数据的字节长度是否小于所述写入权限对应的字节长度；

再赋权模块300，用于当所述客户端写入数据的字节长度小于所述写入权限对应的字节长度时，停止所述客户端写入所述数据直至所述客户端再次发送所述权限申请指令，为所述客户端增加所述预设字节长度的所述写入权限并记录所述权限申请次数；

修正模块400，用于当检测到所述客户端断开时，根据所述权限申请次数和存储池信息更新所述元数据。

在本申请提供的另一种保持元数据一致性的系统的实施例中，还包括：

首次判断模块，用于当所述客户端创建文件时，根据存储历史记录判断所述客户端是否为第一次创建所述文件；

首次申请权限模块，用于当所述客户端为第一次创建所述文件时，发送所述权限申请指令，以便获取所述写入权限写入所述数据。

进一步的，所述修正模块400包括：

范围确定单元，用于当检测到所述客户端断开时，根据增加所述写入权限的所述次数确定对应的写入字节范围；

查询单元，用于根据所述写入字节范围查询所述存储池信息得到实际写入数据量；

更新单元，用于根据所述实际写入数据量更新所述元数据。

由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (4)

1.一种保持元数据一致性的方法，其特征在于，包括：

当接收到客户端发送的权限申请指令时，为所述客户端增加预设字节长度的写入权限并更新权限申请次数；

判断所述客户端写入数据的字节长度是否小于所述写入权限对应的字节长度；

若否，则停止所述客户端写入所述数据直至所述客户端再次发送所述权限申请指令，为所述客户端增加所述预设字节长度的所述写入权限并记录所述权限申请次数；

当检测到所述客户端断开时，根据所述权限申请次数和存储池信息更新所述元数据；

其中，当检测到所述客户端断开时，根据所述权限申请次数和存储池信息更新所述元数据包括：

当检测到所述客户端断开时，根据增加所述写入权限的所述次数确定对应的写入字节范围；

根据所述写入字节范围查询所述存储池信息得到实际写入数据量；

根据所述实际写入数据量更新所述元数据。

2.根据权利要求1所述方法，其特征在于，还包括：

当所述客户端创建文件时，根据存储历史记录判断所述客户端是否为第一次创建所述文件；

若是，则发送所述权限申请指令，以便获取所述写入权限写入所述数据。

3.一种保持元数据一致性的系统，其特征在于，包括：

赋权模块，用于当接收到客户端发送的权限申请指令时，为所述客户端增加预设字节长度的写入权限并更新权限申请次数；

判断模块，用于判断所述客户端写入数据的字节长度是否小于所述写入权限对应的字节长度；

再赋权模块，用于当所述客户端写入数据的字节长度小于所述写入权限对应的字节长度时，停止所述客户端写入所述数据直至所述客户端再次发送所述权限申请指令，为所述客户端增加所述预设字节长度的所述写入权限并记录所述权限申请次数；

修正模块，用于当检测到所述客户端断开时，根据所述权限申请次数和存储池信息更新所述元数据；

其中，所述修正模块包括：

范围确定单元，用于当检测到所述客户端断开时，根据增加所述写入权限的所述次数确定对应的写入字节范围；

查询单元，用于根据所述写入字节范围查询所述存储池信息得到实际写入数据量；

更新单元，用于根据所述实际写入数据量更新所述元数据。

4.根据权利要求3所述系统，其特征在于，还包括：

首次判断模块，用于当所述客户端创建文件时，根据存储历史记录判断所述客户端是否为第一次创建所述文件；

首次申请权限模块，用于当所述客户端为第一次创建所述文件时，发送所述权限申请指令，以便获取所述写入权限写入所述数据。

Images