CN107729435A - 分布式文件系统任务分派的方法、装置、设备和存储介质 - Google Patents

Abstract

本申请公开了分布式文件系统任务分派的方法、装置、设备和存储介质，该方法包括将附加元数据信息的任务插入任务队列；每隔预设间隔，将所述任务队列中的任务批量发送至客户端；更新所述客户端中的执行文件的所有元数据，再处理任务；在任务处理结束后，批量返回回复消息。上述分布式文件系统任务分派的方法、装置、设备和存储介质，能够降低通信次数，减少服务器通信压力，保证任务得到更高效的处理。

Description

分布式文件系统任务分派的方法、装置、设备和存储介质

技术领域

本发明属于分布式文件系统技术领域，特别是涉及分布式文件系统任务分派的方法、装置、设备和存储介质。

背景技术

现有的分布式文件系统中，元数据服务发送任务到客户端，客户端依次处理每一个文件，但是客户端本地没有文件元数据，需要再去元数据服务器请求获取元数据，接收到元数据服务器发送的元数据后，客户端更新本地元数据，再进行相应的任务处理。

而针对请求频繁和元数据服务端分派到固定客户端实时性不高的任务，采用逐条发送的办法，不仅严重增加网络开销，而且对发送端和接收端造成一定的消息处理压力。如果客户端需要文件的元数据才能进行进一步的消息处理，客户端接收到任务后，首先还要向元数据服务器获取元数据，这样通信的效率较低。

发明内容

为解决上述问题，本发明提供了分布式文件系统任务分派的方法、装置、设备和存储介质，能够降低通信次数，减少服务器通信压力，保证任务得到更高效的处理。

本发明提供的分布式文件系统任务分派的方法，包括：

将附加元数据信息的任务插入任务队列；

每隔预设间隔，将所述任务队列中的任务批量发送至客户端；

更新所述客户端中的执行文件的所有元数据，再处理任务；

在任务处理结束后，批量返回回复消息。

优选的，在上述分布式文件系统任务分派的方法中，所述将所述任务队列中的任务批量发送至客户端之后，还包括：

当所述任务发送超过预设时间无回应时，检测所述客户端是否掉线，如果掉线则取消本次任务，当检测到所述客户端启动时再次发送所述任务；

如果所述客户端未掉线，则检测所述客户端本地是否有任务请求记录，如果没有则立即重新发送所述任务，如果有则输出超时日志。

优选的，在上述分布式文件系统任务分派的方法中，所述每隔预设间隔，将所述任务队列中的任务批量发送至客户端为：

每隔5秒，将所述任务队列中任务批量发送至客户端，设置每100个为一批。

本发明提供的分布式文件系统任务分派的装置，包括：

插入单元，用于将附加元数据信息的任务插入任务队列；

发送单元，用于每隔预设间隔，将所述任务队列中的任务批量发送至客户端；

更新和处理单元，用于更新所述客户端中的执行文件的所有元数据，再处理任务；

返回单元，用于在任务处理结束后，批量返回回复消息。

优选的，在上述分布式文件系统任务分派的装置中，还包括：

超时处理单元，用于当所述任务发送超过预设时间无回应时，检测所述客户端是否掉线，如果掉线则取消本次任务，当检测到所述客户端启动时再次发送所述任务；如果所述客户端未掉线，则检测所述客户端本地是否有任务请求记录，如果没有则立即重新发送所述任务，如果有则输出超时日志。

优选的，在上述分布式文件系统任务分派的装置中，所述每隔预设间隔，将所述任务队列中的任务批量发送至客户端为：

每隔5秒，将所述任务队列中任务批量发送至客户端，设置每100个为一批。

本发明提供的分布式文件系统任务分派的设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上面任一项所述分布式文件系统任务分派的方法的步骤。

本发明提供的分布式文件系统任务分派的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上面任一项所述分布式文件系统任务分派的方法的步骤。

通过上述描述可知，本发明提供的上述分布式文件系统任务分派的方法、装置、设备和存储介质，由于该方法包括将附加元数据信息的任务插入任务队列；每隔预设间隔，将所述任务队列中的任务批量发送至客户端；更新所述客户端中的执行文件的所有元数据，再处理任务；在任务处理结束后，批量返回回复消息，因此能够降低通信次数，减少服务器通信压力，保证任务得到更高效的处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的第一种分布式文件系统任务分派的方法的示意图；

图2为本申请实施例提供的第一种分布式文件系统任务分派的装置的示意图；

图3为本申请实施例提供的分布式文件系统任务分派的设备的示意图。

具体实施方式

本发明的核心思想在于提供分布式文件系统任务分派的方法、装置、设备和存储介质，能够降低通信次数，减少服务器通信压力，保证任务得到更高效的处理。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供的第一种分布式文件系统任务分派的方法如图1所示，图1为本申请实施例提供的第一种分布式文件系统任务分派的方法的示意图，该方法包括如下步骤：

S1：将附加元数据信息的任务插入任务队列；

S2：每隔预设间隔，将所述任务队列中的任务批量发送至客户端；

需要说明的是，每个预设间隔，就会触发任务分派，这是利用一个单独的线程进行，采用这种定时触发机制，检测任务队列，如果不是空的队列，就执行批量发送，由于任务中附加了元数据信息，因此可以将元数据一并发送到客户端，批量式的元数据发送使得不必频繁请求和发送，降低网络压力。

S3：更新所述客户端中的执行文件的所有元数据，再处理任务；

这里的重点在于先以文件为单位，更新所有元数据，在对任务进行处理，不像现有技术那样执行任务的过程中，当需要使用某些元数据时就向服务器请求发送元数据，可见本方案效率更高，占用网络资源更少。

S4：在任务处理结束后，批量返回回复消息。

在该步骤中，实时检测任务是否完成，如果未完成，则更新元数据，执行任务，收集执行结果，如此往复进行，当最后任务执行完成后，批量反馈结果给任务分派端，这里的重点在于不再像现有技术一样出来结果之后立即就反馈，而是将所有结果一次性反馈，这就达到占用网络资源较少的目的。

通过上述描述可知，本申请实施例提供的第一种分布式文件系统任务分派的方法，由于包括将附加元数据信息的任务插入任务队列；每隔预设间隔，将所述任务队列中的任务批量发送至客户端；更新所述客户端中的执行文件的所有元数据，再处理任务；在任务处理结束后，批量返回回复消息，因此能够降低通信次数，减少服务器通信压力，保证任务得到更高效的处理。

本申请实施例提供的第二种分布式文件系统任务分派的方法，是在上述第一种分布式文件系统任务分派的方法的基础上，还包括如下技术特征：

所述将所述任务队列中的任务批量发送至客户端之后，还包括：

当所述任务发送超过预设时间无回应时，检测所述客户端是否掉线，如果掉线则取消本次任务，当检测到所述客户端启动时再次发送所述任务；

如果所述客户端未掉线，则检测所述客户端本地是否有任务请求记录，如果没有，则立即重新发送所述任务，如果有，就证明客户端正常处理请求但任务没有执行完毕，则输出超时日志，便于系统维护。

本申请实施例提供的第三种分布式文件系统任务分派的方法，是在上述第二种分布式文件系统任务分派的方法的基础上，还包括如下技术特征：

所述每隔预设间隔，将所述任务队列中的任务批量发送至客户端为：

每隔5秒，将所述任务队列中任务批量发送至客户端，设置每100个为一批。

在这种情况下，事先设置批量数为100，则每一批次发送100个任务，当剩余任务不足100个时，也将这些一并发送出去。

本申请实施例提供的第一种分布式文件系统任务分派的装置如图2所示，图2为本申请实施例提供的第一种分布式文件系统任务分派的装置的示意图，该装置包括：

插入单元201，用于将附加元数据信息的任务插入任务队列；

发送单元202，用于每隔预设间隔，将所述任务队列中的任务批量发送至客户端，需要说明的是，每个预设间隔，就会触发任务分派，这是利用一个单独的线程进行，采用这种定时触发机制，检测任务队列，如果不是空的队列，就执行批量发送，由于任务中附加了元数据信息，因此可以将元数据一并发送到客户端，批量式的元数据发送使得不必频繁请求和发送，降低网络压力；

更新和处理单元203，用于更新所述客户端中的执行文件的所有元数据，再处理任务，这里的重点在于先以文件为单位，更新所有元数据，在对任务进行处理，不像现有技术那样执行任务的过程中，当需要使用某些元数据时就向服务器请求发送元数据，可见本方案效率更高，占用网络资源更少；

返回单元204，用于在任务处理结束后，批量返回回复消息，实时检测任务是否完成，如果未完成，则更新元数据，执行任务，收集执行结果，如此往复进行，当最后任务执行完成后，批量反馈结果给任务分派端，这里的重点在于不再像现有技术一样出来结果之后立即就反馈，而是将所有结果一次性反馈，这就达到占用网络资源较少的目的。

本申请实施例提供的第二种分布式文件系统任务分派的装置，是在上述第一种分布式文件系统任务分派的装置的基础上，还包括如下技术特征：

还包括：

超时处理单元，用于当所述任务发送超过预设时间无回应时，检测所述客户端是否掉线，如果掉线则取消本次任务，当检测到所述客户端启动时再次发送所述任务；如果所述客户端未掉线，则检测所述客户端本地是否有任务请求记录，如果没有则立即重新发送所述任务，如果有则输出超时日志。

本申请实施例提供的第三种分布式文件系统任务分派的装置，是在上述第二种分布式文件系统任务分派的装置的基础上，还包括如下技术特征：

所述每隔预设间隔，将所述任务队列中的任务批量发送至客户端为：

每隔5秒，将所述任务队列中任务批量发送至客户端，设置每100个为一批。

在这种情况下，事先设置批量数为100，则每一批次发送100个任务，当剩余任务不足100个时，也将这些一并发送出去。

本申请实施例提供的分布式文件系统任务分派的设备如图3所示，图3为本申请实施例提供的分布式文件系统任务分派的设备的示意图，该设备包括：

存储器301，用于存储计算机程序；

处理器302，用于执行所述计算机程序时实现如上面任一种所述分布式文件系统任务分派的方法的步骤。

本申请实施例提供的分布式文件系统任务分派的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上面任一种所述分布式文件系统任务分派的方法的步骤。

上述分布式文件系统任务分派的设备和存储介质，由于执行上述方法，因此能够降低通信次数，减少服务器通信压力，保证任务得到更高效的处理。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.分布式文件系统任务分派的方法，其特征在于，包括：

将附加元数据信息的任务插入任务队列；

每隔预设间隔，将所述任务队列中的任务批量发送至客户端；

更新所述客户端中的执行文件的所有元数据，再处理任务；

在任务处理结束后，批量返回回复消息。

2.根据权利要求1所述的分布式文件系统任务分派的方法，其特征在于，所述将所述任务队列中的任务批量发送至客户端之后，还包括：

当所述任务发送超过预设时间无回应时，检测所述客户端是否掉线，如果掉线则取消本次任务，当检测到所述客户端启动时再次发送所述任务；

如果所述客户端未掉线，则检测所述客户端本地是否有任务请求记录，如果没有则立即重新发送所述任务，如果有则输出超时日志。

3.根据权利要求2所述的分布式文件系统任务分派的方法，其特征在于，所述每隔预设间隔，将所述任务队列中的任务批量发送至客户端为：

每隔5秒，将所述任务队列中任务批量发送至客户端，设置每100个为一批。

4.分布式文件系统任务分派的装置，其特征在于，包括：

插入单元，用于将附加元数据信息的任务插入任务队列；

发送单元，用于每隔预设间隔，将所述任务队列中的任务批量发送至客户端；

更新和处理单元，用于更新所述客户端中的执行文件的所有元数据，再处理任务；

返回单元，用于在任务处理结束后，批量返回回复消息。

5.根据权利要求4所述的分布式文件系统任务分派的装置，其特征在于，还包括：

超时处理单元，用于当所述任务发送超过预设时间无回应时，检测所述客户端是否掉线，如果掉线则取消本次任务，当检测到所述客户端启动时再次发送所述任务；如果所述客户端未掉线，则检测所述客户端本地是否有任务请求记录，如果没有则立即重新发送所述任务，如果有则输出超时日志。

6.根据权利要求5所述的分布式文件系统任务分派的方法，其特征在于，所述每隔预设间隔，将所述任务队列中的任务批量发送至客户端为：

每隔5秒，将所述任务队列中任务批量发送至客户端，设置每100个为一批。

7.分布式文件系统任务分派的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述分布式文件系统任务分派的方法的步骤。

8.分布式文件系统任务分派的存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述分布式文件系统任务分派的方法的步骤。