CN108170757B - 一种数据文件读取方法、装置及设备 - Google Patents

Abstract

本申请公开了一种数据文件读取方法，包括向分布式系统中的元数据服务器请求读缓存权限；判断是否在预设时长内接收到元数据服务器下发的包含有读缓存权限的回复消息；若否，则查询并判断本地权限记录中是否存在已获取的读缓存权限；若本地权限记录中存在已获取的读缓存权限，则利用已获取的读缓存权限进行数据文件读取。本申请中，读取数据文件的客户端在因其他客户端并发读取数据文件属性信息而处于等待状态时，可从本地权限记录中寻找已获取的读缓存权限，并进行数据文件的读取，因而无需长时间等待，可有效避免读卡顿现象发生，进而提高用户体验。本申请还公开了一种数据文件读取装置、设备及计算机可读存储介质，同样具有上述有益效果。

Description

一种数据文件读取方法、装置及设备

技术领域

本申请涉及分布式系统技术领域，特别涉及一种数据文件读取方法、装置、设备及计算机可读存储介质。

背景技术

随着信息时代和数据时代的不断发展，分布式系统在许多行业中得到了广泛应用。

在分布式系统中，不同的用户可以分别利用不同的客户端来进行各种数据操作。在这过程前后，客户端与分布式系统的元数据服务器之间存在着这样的交互过程：首先，客户端向元数据服务器发起与操作相应的权限请求；然后，元数据服务器向客户端下发包含相应权限的回复消息；客户端接收之后，进行相应的数据操作，并在操作完成后释放相应权限并告知元数据服务器。

常见的数据操作包括读数据文件、写数据文件和读取数据文件属性信息等；其中，读取数据文件属性信息这一操作的优先级往往在行业内被设置为是高于读数据文件或者写数据文件的，以防和其他操作同时进行时造成混乱。

由此，当客户端A和客户端B分别同时向分布式存储系统中的元数据服务器请求读数据文件和读取数据文件属性信息时，按照分布式系统一般所采用的处理机制，元数据服务器会分别给客户端A和客户端B分配读缓存权限，并且，分配给客户端A的是个时效较短的读缓存权限；然后先应答客户端B发起的请求，即向客户端B下发包含分配给客户端B的读缓存权限的回复消息，以便客户端B进行相应的读取数据文件属性信息操作；并且，暂时不对客户端A的请求进行应答，而只是将分配给客户端A的读缓存权限以消息推送的方式推送至客户端A。因分布式系统中应答机制的设置，客户端A虽然已经接收到了元数据服务器推送的读缓存权限并对本地权限记录进行了更新，但其在没有接收到元数据服务器应答的回复消息时，仍然会认为自己“没有”获得读缓存权限，因此一直处于等待状态，导致其已获取的读缓存权限时限失效而进入权限释放进程。直至客户端B完成了读取数据文件属性信息并释放了读缓存权限之后，元数据服务器才会再次处理未完成的请求，即再次为客户端A分配读缓存权限并下发回复消息，以便客户端A进行读数据文件操作。但其中，考虑数据安全因素，权限的释放机制一般会使得权限释放的过程延迟10秒左右；因此，在此过程中客户端A的等待时间将形成至少10秒的读卡顿时间，给用户带来不良体验。

由此可见，采用何种数据文件读取方法，以便避免因同期进行读取数据文件属性信息操作而造成的读卡顿现象，是本领域技术人员所亟待解决的技术问题。

发明内容

本申请的目的在于提供一种数据文件读取方法、装置、设备及计算机可读存储介质，以便避免因同期进行读取数据文件属性信息操作而造成的读卡顿现象，进而有效提高用户体验。

为解决上述技术问题，本申请提供了一种数据文件读取方法，包括：

向分布式系统中的元数据服务器请求读缓存权限；

判断是否在预设时长内接收到所述元数据服务器下发的包含有读缓存权限的回复消息；

若否，则查询并判断本地权限记录中是否存在已获取的读缓存权限；

若所述本地权限记录中存在所述已获取的读缓存权限，则利用所述已获取的读缓存权限进行数据文件读取。

可选地，还包括：

若在所述预设时长内接收到所述元数据服务器下发的所述包含有读缓存权限的回复消息，则利用所述元数据服务器下发的所述读缓存权限进行数据文件读取。

可选地，还包括：

若所述本地权限记录中不存在所述已获取的读缓存权限，则继续执行所述判断是否在预设时长内接收到所述元数据服务器下发的包含有读缓存权限的回复消息的后续步骤。

可选地，在所述利用所述已获取的读缓存权限进行数据文件读取之后还包括：

释放所述读缓存权限并上报至所述元数据服务器，以便所述元数据服务器更新读缓存权限分配记录。

可选地，在所述以便所述元数据服务器更新读缓存权限分配记录之后，还包括：

在接收到所述元数据服务器下发的权限分配记录更新消息之后，更新所述客户端的所述本地权限记录。

本申请还提供了一种数据文件读取装置，应用于分布式系统中的客户端，包括：

请求模块：用于向分布式系统中的元数据服务器请求读缓存权限；

判断模块：用于判断是否在预设时长内接收到所述元数据服务器下发的包含有读缓存权限的回复消息；若否，则用于查询并判断本地权限记录中是否存在已获取的读缓存权限；

读取模块：用于若所述本地权限记录中存在所述已获取的读缓存权限时，利用所述已获取的读缓存权限进行数据文件读取。

可选地，还包括：

释放模块：用于在所述读取模块利用所述已获取的读缓存权限进行数据文件读取之后，释放所述读缓存权限并上报至所述元数据服务器，以便所述元数据服务器更新读缓存权限分配记录。

可选地，还包括：

更新模块：用于在接收到所述元数据服务器下发的权限分配记录更新消息之后，更新所述客户端的所述本地权限记录。

本申请还提供了一种数据文件读取设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如上所述的任一种数据文件读取方法的步骤。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的任一种数据文件读取方法的步骤。

本申请所提供的数据文件读取方法包括：向分布式系统中的元数据服务器请求读缓存权限；判断是否在预设时长内接收到所述元数据服务器下发的包含有读缓存权限的回复消息；若否，则查询并判断本地权限记录中是否存在已获取的读缓存权限；若所述本地权限记录中存在所述已获取的读缓存权限，则利用所述已获取的读缓存权限进行数据文件读取。

可见，相比于现有技术，本申请所提供的数据文件读取方法中，进行数据文件读取的客户端在因其他客户端并发进行读数据文件属性信息操作而处于等待状态时，可从本地权限记录中寻找已获取的读缓存权限，进而利用该已获取的读缓存权限来进行数据文件的读取，因而无需进入长时间的等待，更无需等待至读取数据文件属性信息的客户端完成相应操作并释放相应权限。由此可见，本申请可以有效避免读卡顿现象的发生，进而提高用户体验。本申请所提供的数据文件读取装置、设备及计算机可读存储介质可以实现上述数据文件读取方法，同样具有上述有益效果。

附图说明

为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。

图1为本申请实施例所提供的一种数据文件读取方法的流程图；

图2为本申请实施例所提供的一种数据文件读取装置的结构框图。

具体实施方式

本申请的核心在于提供一种数据文件读取方法、装置、设备及计算机可读存储介质，以便避免因同期进行读取数据文件属性信息操作而造成的读卡顿现象，进而有效提高用户体验。

为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种数据文件读取方法的流程图，主要包括以下步骤：

步骤1：向分布式系统中的元数据服务器请求读缓存权限。

步骤2：判断是否在预设时长内接收到元数据服务器下发的包含有读缓存权限的回复消息；若否，则进入步骤3。

步骤3：查询并判断本地权限记录中是否存在已获取的读缓存权限；若是，则进入步骤4。

步骤4：利用已获取的读缓存权限进行数据文件读取。

具体地，前文中已经介绍了造成读卡顿的具体原因，总结起来，这是由分布式系统(如CEPH系统)中的权限控制机制引起的。由于分布式系统中存在有多个客户端，因此，其权限控制机制需要保证分布式系统在多个客户端并发读写时具有一定的一致性。因此，才会令元数据服务器优先应答读取数据文件属性信息的客户端B，并给请求读数据文件的客户端A以推送的方式发送一个时效较短的读缓存权限，而不针对客户端A的读数据文件请求进行应答，使得客户端A在接收到该读缓存权限之后继续处于等待状态，造成读卡顿。

为了避免客户端A一直处于不必要的等待状态，本申请所提供的数据文件读取方法充分利用了在现有技术中客户端A没有使用的这个时效较短的读缓存权限。具体地，当客户端A向分布式系统中的元数据服务器请求读缓存权限之后，可以判断在预设时长内是否接收到元数据服务器下发的包含有读缓存权限的回复消息，若没有接收到，则此时可令客户端A不再处于等待状态，而是从自身的本地权限记录中去查询已经获取到的读缓存权限，进而完成读取数据文件的操作。

具体地，根据分布式系统的权限机制，元数据服务器在同时接收到客户端A的读数据文件请求和客户端B的读取数据文件属性信息请求后，会以推送的方式发送给客户端A一个时效较短的读缓存权限，则客户端A在接收到该推送来的时效较短的读缓存权限后，会自动记录在其本地权限记录中。因此，处于等待状态中的客户端A可以从其本地权限记录中来寻找并使用其已接收到的读缓存权限，利用该已获取的读缓存权限进行数据文件读取。

需要说明的是，这里所述的预设时间是用来令客户端A区分元数据服务器是否及时对读数据文件请求进行应答的时间尺度，其具体取值可由本领域技术人员根据实际应用情况自行选择并设置，本申请实施例对此并不进行限定。

可见，本申请实施例所提供的数据文件读取方法中，进行数据文件读取的客户端在因其他客户端并发进行读数据文件属性信息操作而处于等待状态时，可从本地权限记录中寻找已获取的读缓存权限，进而利用该已获取的读缓存权限来进行数据文件的读取，因而无需进入长时间的等待，更无需等待至读取数据文件属性信息的客户端完成相应操作并释放相应权限。由此可见，本申请可以有效避免读卡顿现象的发生，进而提高用户体验。

本申请所提供的数据文件读取方法，在上述实施例的基础上：

作为一种优选实施例，还包括：

若在预设时长内接收到元数据服务器下发的包含有读缓存权限的回复消息，则利用元数据服务器下发的读缓存权限进行数据文件读取。

具体地，当没有其他的客户端B进行读取数据文件属性信息的并发操作时，请求读取数据文件的客户端A会正常接收到元数据服务器下发的包含有读缓存权限的回复消息，进而客户端A可根据元数据服务器的回复消息进行读取数据文件的操作。

作为一种优选实施例，还包括：

若本地权限记录中不存在已获取的读缓存权限，则继续执行判断是否在预设时长内接收到元数据服务器下发的包含有读缓存权限的回复消息的后续步骤。

具体地，若客户端A的本地权限记录中没有已获取的读缓存权限，说明客户端A没有接收到相应的读缓存权限或者权限记录已经清除更新，因此，此时客户端A可以继续等待并判断是否在预设时间内接收到元数据服务器下发的包含有读缓存权限的回复消息。

作为一种优选实施例，在利用已获取的读缓存权限进行数据文件读取之后还包括：

释放读缓存权限并上报至元数据服务器，以便元数据服务器更新读缓存权限分配记录。

具体地，在客户端A完成了数据文件的读取操作之后，需要将该已获取的读缓存权限释放。类似地，如前文所说，这里客户端A的读缓存权限的释放过程也要按照权限释放机制进行。同时，客户端A还需要上报至元数据服务器，以便元数据服务器对其权限分配记录进行更新。

作为一种优选实施例，在以便元数据服务器更新读缓存权限分配记录之后，还包括：

在接收到元数据服务器下发的权限分配记录更新消息之后，更新客户端的本地权限记录。

具体地，元数据服务器在更新了权限分配记录之后，会向客户端A发送权限分配记录更新消息，客户端A在接收之后可以对本地权限记录也同样进行更新。

下面对本申请实施例所提供的数据文件读取装置进行介绍。

请参阅图2，图2为本申请所提供的一种数据文件读取装置的结构框图；包括请求模块1、判断模块2和读取模块3；

请求模块1用于向分布式系统中的元数据服务器请求读缓存权限；

判断模块2用于判断是否在预设时长内接收到元数据服务器下发的包含有读缓存权限的回复消息；若否，则用于查询并判断本地权限记录中是否存在已获取的读缓存权限；

读取模块3用于若本地权限记录中存在已获取的读缓存权限时，利用已获取的读缓存权限进行数据文件读取。

可见，本申请所提供的数据文件读取装置，当其他客户端并发进行读数据文件属性信息操作时，可由读取模块3从本地权限记录中寻找已获取的读缓存权限，进而利用该已获取的读缓存权限来进行数据文件的读取，因而无需进入长时间的等待，直至读取数据文件属性信息的客户端完成相应操作并释放相应权限。由此可见，本申请可以有效避免读卡顿现象的发生，进而提高用户体验。。

本申请所提供的数据文件读取装置，在上述实施例的基础上：

作为一种优选实施例，还包括：

释放模块：用于在读取模块利用已获取的读缓存权限进行数据文件读取之后，释放读缓存权限并上报至元数据服务器，以便元数据服务器更新读缓存权限分配记录。

作为一种优选实施例，还包括：

更新模块：用于在接收到元数据服务器下发的权限分配记录更新消息之后，更新客户端的本地权限记录。

本申请还提供了一种数据文件读取设备，包括存储器和处理器；

存储器用于存储计算机程序；

处理器用于执行计算机程序以实现以上实施例中所介绍的任一种数据文件读取方法的步骤。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现以上实施例所介绍的任一种数据文件读取方法的步骤。

本申请所提供的数据文件读取装置、设备及计算机可读存储介质的具体实施方式与上文所描述的数据文件读取方法可相互对应参照，这里就不再赘述。

本申请中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需说明的是，在本申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种数据文件读取方法，应用于分布式系统中的客户端，其特征在于，包括：

向分布式系统中的元数据服务器请求读缓存权限；

判断是否在预设时长内接收到所述元数据服务器下发的包含有读缓存权限的回复消息；

若否，则查询并判断本地权限记录中是否存在所述元数据服务器在多客户端并发请求时以推送方式发放的读缓存权限；以推送方式发放的读缓存权限的时效短于以回复消息方式发放的读缓存权限；

若所述本地权限记录中存在已获取的读缓存权限，则在所述已获取的读缓存权限过期之前利用所述已获取的读缓存权限进行数据文件读取。

2.根据权利要求1所述的数据文件读取方法，其特征在于，还包括：

若在所述预设时长内接收到所述元数据服务器下发的所述包含有读缓存权限的回复消息，则利用所述元数据服务器以回复消息方式下发的所述读缓存权限进行数据文件读取。

3.根据权利要求2所述的数据文件读取方法，其特征在于，还包括：

若所述本地权限记录中不存在所述已获取的读缓存权限，则继续执行所述判断是否在预设时长内接收到所述元数据服务器下发的包含有读缓存权限的回复消息的后续步骤。

4.根据权利要求1至3任一项所述的数据文件读取方法，其特征在于，在所述已获取的读缓存权限过期之前利用所述已获取的读缓存权限进行数据文件读取之后还包括：

释放所述读缓存权限并上报至所述元数据服务器，以便所述元数据服务器更新读缓存权限分配记录。

5.根据权利要求4所述的数据文件读取方法，其特征在于，在所述以便所述元数据服务器更新读缓存权限分配记录之后，还包括：

在接收到所述元数据服务器下发的权限分配记录更新消息之后，更新所述客户端的所述本地权限记录。

6.一种数据文件读取装置，应用于分布式系统中的客户端，其特征在于，包括：

请求模块：用于向分布式系统中的元数据服务器请求读缓存权限；

判断模块：用于判断是否在预设时长内接收到所述元数据服务器下发的包含有读缓存权限的回复消息；若否，则用于查询并判断本地权限记录中是否存在所述元数据服务器在多客户端并发请求时以推送方式发放的读缓存权限；以推送方式发放的读缓存权限的时效短于以回复消息方式发放的读缓存权限；

读取模块：用于若所述本地权限记录中存在已获取的读缓存权限时，在所述已获取的读缓存权限过期之前利用所述已获取的读缓存权限进行数据文件读取。

7.根据权利要求6所述的数据文件读取装置，其特征在于，还包括：

释放模块：用于在所述读取模块在所述已获取的读缓存权限过期之前利用所述已获取的读缓存权限进行数据文件读取之后，释放所述读缓存权限并上报至所述元数据服务器，以便所述元数据服务器更新读缓存权限分配记录。

8.根据权利要求7所述的数据文件读取装置，其特征在于，还包括：

更新模块：用于在接收到所述元数据服务器下发的权限分配记录更新消息之后，更新所述客户端的所述本地权限记录。

9.一种数据文件读取设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如权利要求1至5任一项所述的数据文件读取方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的数据文件读取方法的步骤。

Images