CN106850827A - 一种分布式文件系统元数据处理方法和装置 - Google Patents

Abstract

本发明公开了一种分布式文件系统元数据处理方法，包括步骤：获取客户端对元数据服务器对象的操作请求指令；将获取到的操作请求指令缓存至请求队列保存；计算请求队列中的操作请求指令数量，与预设操作请求指令目标数值对比；若请求队列中的操作请求指令数量大于或等于预设阈值，则执行请求队列中的操作请求指令。本发明还公开了一种分布式文件系统元数据处理装置。本发明实现操作请求指令在通信过程中的高效可靠执行，及其保密性的问题。

Description

一种分布式文件系统元数据处理方法和装置

技术领域

本发明涉及分布式文件技术领域，尤其涉及一种分布式文件系统元数据处理方法和装置。

背景技术

随着互联网向着更宽更广方向发展，计算机及信息系统在各行各业的应用越来越广泛，要求也越来越高。分布式系统相对于集中式系统具有并行应用、高性能、高可靠性等特点，因而广泛应用于操作系统、文件系统、数据库系统等计算机技术领域。

但分布式系统也有其缺点，其中很大一个便是操作指令执行问题，如何保障操作请求指令在通信传送过程中的高效可靠的执行，成为一个亟待解决的问题

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种分布式文件系统元数据处理方法，旨在解决操作请求指令在通信过程中的高效可靠执行，及其保密性的问题。

本发明提供的一种分布式文件系统元数据处理方法，包括步骤：

获取客户端对元数据服务器对象的操作请求指令，所述操作请求指令的对象为元数据服务器下的分布式文件系统根目录下统一目录及其子目录；

将获取到的操作请求指令缓存至请求队列保存；

统计请求队列中的操作请求指令数量，与预设操作请求指令目标数值对比；

若请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值，则执行请求队列中的操作请求指令。

优选地，所述统计求队列中的操作请求指令数量，与预设操作请求指令目标数值对比，还包括：

若请求队列中的操作请求指令数量小于预设操作请求指令目标数值，维持当前操作状态，直至请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值后，执行请求队列中的操作请求指令。

优选地，所述若请求队列的请求指令数量大于或等于预设操作请求指令目标数值时，执行该请求队列中的操作请求指令之后，还包括：

设置接收操作请求指令的元数据服务器为不可识别状态。

优选地，所述若请求队列的请求指令数量大于或等于预设操作请求指令目标数值时，执行该请求队列中的操作请求指令之后，还包括：

请求队列中的操作请求指令执行完成后，根据已执行完成的操作请求指令，解除对应对象文件的锁定。

优选地，所述方法还包括：

获取当前元数据服务器状态，若元数据服务器状态都被设置为不可识别时，重置元数据服务器状态，将元数据服务器状态设置为可识别状态。

此外，为实现上述目的，本发明还提供一种分布式文件系统元数据处理装置，包括：

获取模块，用于获取客户端对元数据服务器的操作请求指令，所述操作请求指令的对象为元数据服务器下的分布式文件系统根目录下统一目录及其子目录；

缓存模块，用于将获取到的操作请求指令缓存至请求队列保存；

统计模块，用于统计请求队列中的操作请求指令数量；

对比模块，用于将统计的操作请求指令数量与预设操作请求指令目标数值对比；

执行模块，用于若请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值，则执行请求队列中的操作请求指令。

优选地，所述装置还包括：

确认模块，用于若请求队列中的操作请求指令数量小于预设操作请求指令目标数值，维持当前操作状态，直至请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值后，执行请求队列中的操作请求指令。

优选地，所述装置还包括：

设置模块，用于设置原接收操作请求指令的元数据服务器状态为不可识别状态。

优选地，所述装置还包括：

解锁模块，用于请求队列中的操作请求指令执行完成后，根据已执行完成的操作请求指令，解除对应对象文件的锁定。

优选地，所述装置还包括重置模块，

所述获取模块，还用于获取当前元数据服务器状态；

所述重置模块，用于若元数据服务器状态都被设置为不可识别时，重置元数据服务器状态为可识别状态。

本发明通过获取客户端对元数据服务器对象的操作请求指令，所述操作请求指令的对象为元数据服务器下的分布式文件系统根目录下统一目录及其子目录；将获取到的操作请求指令缓存至请求队列保存；统计请求队列中的操作请求指令数量，与预设操作请求指令目标数值对比；若请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值，则执行请求队列中的操作请求指令。解决操作请求指令的高效可靠的执行，及其针对指令保密性的问题。

附图说明

图1为本发明分布式文件系统元数据处理方法的第一实施例的流程示意图；

图2为本发明分布式文件系统元数据处理方法的第二实施例的流程示意图；

图3为本发明分布式文件系统元数据处理方法的第三实施例的流程示意图；

图4为本发明分布式文件系统元数据处理装置的第一实施例的功能模块示意图；

图5为本发明分布式文件系统元数据处理装置的第二实施例的功能模块示意图；

图6为本发明分布式文件系统元数据处理装置的第三实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

基于上述问题，本发明提供一种分布式文件系统元数据处理方法。

参照图1，图1为本发明分布式文件系统元数据处理方法的第一实施例的流程示意图。

在一实施例中，所述方法包括：

步骤S10，获取客户端对元数据服务器对象的操作请求指令，所述操作请求指令的对象为元数据服务器下的分布式文件系统根目录下统一目录及其子目录；

自客户端发起对元数据服务器对对象的操作请求指令，所述客户端为有发送操作请求指令的电子设备，或与该电子设备关联的其他终端，或定制的专属终端；该终端与元数据服务器通过无线网络或有线网络关联，用以进行操作请求指令的发送，所述关联方式为现有技术，在此不多赘述。在对应元数据服务器中，接收客户端发送的操作请求指令，所述操作请求指令对应当前接收的元数据服务器对象，所述对象为该元数据服务器下的分布式文件系统根目录下统一目录及其子目录的文件，称之为操作请求指令对应的对象文件。即，每个操作请求指令都有对应的对象文件用以进行当前的操作请求指令。

步骤S20，将获取到的操作请求指令缓存至请求队列保存；

已获取到的操作请求指令，按目标顺序将操作请求指令缓存至请求队列中保存，所述目标顺序可以为接收操作请求指令的时间，或者按操作请求指令的紧急程度在请求队列中排列，相关顺序于元数据服务器中相关功能设置。

步骤S30，统计请求队列中的操作请求指令数量，与预设操作请求指令目标数值对比；

已在请求队列中排列的操作请求指令，统计所述请求队列中缓存的操作请求指令的数量，将所述数量与预设操作请求指令目标数值对比，所述预设操作请求指令目标数值，根据服务器的操作请求指令的执行能力设置，即，该预设操作请求指令目标数值的数值为当前元数据服务器操作请求指令的较佳执行数量。在所述元数据服务器接收客户端发送的操作请求指令之前，在所述元数据服务器中相关功能设置完成，并根据元数据服务器的最佳执行数量更改预设操作请求指令目标数值或提示重新设置预设操作请求指令目标数值。

步骤S40，若请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值，则执行请求队列中的操作请求指令。

当前缓存于请求队列中的操作请求指令数量大于或等于预设阈值时，表示当前已接收并缓存的操作请求指令不能够继续进行缓存保留或当前操作请求指令缓存的数量已达到当前请求队列的最大缓存内存，按照当前请求队列中排列的操作请求指令，执行每一条操作请求指令的内容。

进一步的，所述统计求队列中的操作请求指令数量，与预设操作请求指令目标数值对比，还包括：

若请求队列中的操作请求指令数量小于预设操作请求指令目标数值，维持当前操作状态，直至请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值后，执行请求队列中的操作请求指令。

当前缓存于请求队列中的操作请求指令数量小于预设操作请求指令目标数值时，维持当前操作状态不变，即继续接收自客户端发送的操作请求指令，并将接收到的操作请求指令缓存于请求队列中，直至请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值后，执行请求队列中的操作请求指令。

进一步的，根据预设周期统计请求队列中操作请求指令的数量，并与预设操作请求指令目标数值对比，用以监控已缓存的操作请求指令，待请求队列中缓存的操作请求指令数量满足执行条件时执行请求队列中的操作请求指令。所述预设周期，在元数据服务器中设置当前请求队列检查周期，周期内统计当前请求队列中已缓存的操作请求指令。

本实施例通过接收客户端发送的针对于元数据服务器下分布式文件目录中统一目录及其子目录中对象文件的操作请求指令，并将之缓存至请求队列中，在请求队列中缓存的操作请求指令数量大于或等于预设操作请求指令目标数值时，停止接收操作请求指令并执行请求队列中的操作请求指令内容，统一执行已接收到的操作请求指令，并控制接收操作请求指令的数量，保证了信息在通信过程的高度保密性，并高效率执行操作请求指令。

参照图2，图2为本发明分布式文件系统元数据处理方法的第二实施例的流程示意图。基于上述方法的第一实施例，所述若请求队列的请求指令数量大于或等于预设操作请求指令目标数值时，执行该请求队列中的操作请求指令之后，还包括：

步骤S50，设置原接收操作请求指令的元数据服务器状态为不可识别状态；

在执行请求队列中的操作请求指令时，为避免依旧接收操作请求指令造成操作请求指令执行出错，设置当前执行操作请求指令的元数据服务器为不可识别状态，所述不可识别状态，用以使客户端不能搜索到该元数据服务器，进而不能针对该元数据服务器发起操作请求指令，从根本上阻止操作请求指令的发送及接收。保证操作请求指令执行的保密性及高效率。所述设置元数据服务器状态为不可识别状态，可通过设置当前元数据服务器标识控制元数据服务器是否为可识别状态，例如，设置元数据服务器标识为0，为元数据服务器不可识别状态。

进一步的，在当前元数据服务器设置为不可识别状态，即不能接收自客户端发送的操作请求指令后，切换与当前执行操作执行指令的元数据服务器关联的另一元数据服务器，用以获取客户端发送的操作请求指令，并进行与当前执行操作请求指令的元数据服务器同样的操作。

步骤S60，请求队列中的操作请求指令执行完成后，根据已执行完成的操作请求指令，解除对应对象文件的锁定。

自客户端发送的操作请求指令，所述操作请求指令根据指令内容，对应元数据服务器中分布式文件系统根目录下统一目录及其子目录的文件，即操作请求指令的对象文件。考虑到元数据服务器的系统容量及其对象文件灵活性，请求队列中的操作请求指令待执行完成后，解除该操作请求指令的对应对象文件，便于该对象文件的二次使用及释放分布式文件系统容量。

参照图3，图3为本发明分布式文件系统元数据处理方法的第三实施例的流程示意图。基于上述方法的第一实施例，所述方法，还包括：

步骤S70，获取当前元数据服务器状态，若元数据服务器状态都被设置为不可识别时，重置元数据服务器状态为可识别状态。

获取当前元数据服务器状态，所述元数据服务器不止一个，根据客户需求及其分布式文件系统文件的存储情况，设置多个元数据服务器进行数据存储，并将已存储数据的元数据服务器进行关联，并以元数据服务器为单位，依次接收自客户端发送的操作请求指令，待一元数据服务器执行操作请求指令后，将该元数据服务器状态设置为不可识别后，切换另一元数据服务器接收操作请求指令；并逐一对当前所有元数据服务器进行此种操作。

进一步的，根据预设周期，在周期内获取当前元数据服务器状态，若获取到的元数据服务器状态都为不可识别状态时，重置元数据服务器状态为可识别状态。所述预设周期，在元数据服务器中设置当前获取元数据服务器状态检查周期，周期内获取当前元数据服务器的状态。所述设置元数据服务器状态为不可识别状态，可通过设置当前元数据服务器标识控制元数据服务器是否为可识别状态，例如，设置元数据服务器标识为0，为元数据服务器不可识别状态。在当前元数据服务器标识都为0的状态下，重置所有元数据服务器的标识为1，用以重置元数据服务器为可识别状态。

上述第一至第三实施例的分布式文件系统元数据处理方法的执行主体均可以为发送操作请求指令功能的电子终端或与该电子终端连接的其他电子设备。更进一步地，该分布式文件系统元数据处理方法可以由分布式文件系统安装客户端程序实现，其中，该电子设备可以包括但不限于手机、pad、笔记本电脑等。

本发明进一步提供一种分布式文件系统元数据处理装置。

参照图4，图4为本发明分布式文件系统元数据处理装置的第一实施例的功能模块示意图。

在一实施例中，所述装置包括：获取模块10、缓存模块20、统计模块30、对比模块40、执行模块50及确认模块60。

获取模块10，用于获取客户端对元数据服务器的操作请求指令，所述操作请求指令的对象为元数据服务器下的分布式文件系统根目录下统一目录及其子目录；

自客户端发起对元数据服务器对对象的操作请求指令，所述客户端为有发送操作请求指令的电子设备，或与该电子设备关联的其他终端，或定制的专属终端；该终端与元数据服务器通过无线网络或有线网络关联，用以进行操作请求指令的发送，所述关联方式为现有技术，在此不多赘述。在对应元数据服务器中，接收客户端发送的操作请求指令，所述操作请求指令对应当前接收的元数据服务器对象，所述对象为该元数据服务器下的分布式文件系统根目录下统一目录及其子目录的文件，称之为操作请求指令对应的对象文件。即，每个操作请求指令都有对应的对象文件用以进行当前的操作请求指令。

缓存模块20，用于将获取到的操作请求指令缓存至请求队列保存；

已获取到的操作请求指令，按目标顺序将操作请求指令缓存至请求队列中保存，所述目标顺序可以为接收操作请求指令的时间，或者按操作请求指令的紧急程度在请求队列中排列，相关顺序于元数据服务器中相关功能设置。

统计模块30，用于统计请求队列中的操作请求指令数量；

已在请求队列中排列的操作请求指令，统计所述请求队列中缓存的操作请求指令的数量。

对比模块40，用于将统计的操作请求指令数量与预设操作请求指令目标数值对比；

将所述数量与预设操作请求指令目标数值对比，所述预设操作请求指令目标数值，根据服务器的操作请求指令的执行能力设置，即，该预设操作请求指令目标数值的数值为当前元数据服务器操作请求指令的较佳执行数量。在所述元数据服务器接收客户端发送的操作请求指令之前，在所述元数据服务器中相关功能设置完成，并根据元数据服务器的最佳执行数量更改预设操作请求指令目标数值或提示重新设置预设操作请求指令目标数值。

执行模块50，用于若请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值，则执行请求队列中的操作请求指令。

当前缓存于请求队列中的操作请求指令数量大于或等于预设阈值时，表示当前已接收并缓存的操作请求指令不能够继续进行缓存保留或当前操作请求指令缓存的数量已达到当前请求队列的最大缓存内存，按照当前请求队列中排列的操作请求指令，执行每一条操作请求指令的内容。

进一步的，所述计算请求队列中的操作请求指令数量，与预设操作请求指令目标数值对比，还包括：

确认模块60，用于若请求队列中的操作请求指令数量小于预设操作请求指令目标数值，维持当前操作状态，直至请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值后，执行请求队列中的操作请求指令。

当前缓存于请求队列中的操作请求指令数量小于预设操作请求指令目标数值时，维持当前操作状态不变，即继续接收自客户端发送的操作请求指令，并将接收到的操作请求指令缓存于请求队列中，直至请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值后，执行请求队列中的操作请求指令。

进一步的，根据预设周期统计请求队列中操作请求指令的数量，并与预设操作请求指令目标数值对比，用以监控已缓存的操作请求指令，待请求队列中缓存的操作请求指令数量满足执行条件时执行请求队列中的操作请求指令。所述预设周期，在元数据服务器中设置当前请求队列检查周期，周期内统计当前请求队列中已缓存的操作请求指令。

本实施例通过接收客户端发送的针对于元数据服务器下分布式文件目录中统一目录及其子目录中对象文件的操作请求指令，并将之缓存至请求队列中，在请求队列中缓存的操作请求指令数量大于或等于预设操作请求指令目标数值时，停止接收操作请求指令并执行请求队列中的操作请求指令内容，统一执行已接收到的操作请求指令，并控制接收操作请求指令的数量，保证了信息在通信过程的高度保密性，并高效率执行操作请求指令。

参照图5，图5为本发明分布式文件系统元数据处理装置的第二实施例的功能模块示意图。所述装置还包括：设置模块70及解锁模块80。

设置模块70，用于设置原接收操作请求指令的元数据服务器状态为不可识别状态。

在执行请求队列中的操作请求指令时，为避免依旧接收操作请求指令造成的操作请求指令执行出错，设置当前执行操作请求指令的元数据服务器为不可识别状态，所述不可识别状态，用以使客户端不能搜索到该元数据服务器，进而不能针对该元数据服务器发起操作请求指令，从根本上阻止操作请求指令的发送及接收。保证操作请求指令执行的保密性及高效率。所述设置元数据服务器状态为不可识别状态，可通过设置当前元数据服务器标识控制元数据服务器是否为可识别状态，例如，设置元数据服务器标识为0，为元数据服务器不可识别状态。

进一步的，在当前元数据服务器设置为不可识别状态，即不能接收自客户端发送的操作请求指令后，切换与当前执行操作执行指令的元数据服务器关联的另一元数据服务器，用以获取客户端发送的操作请求指令，并进行与当前执行操作请求指令的元数据服务器同样的操作。

解锁模块80，用于请求队列中的操作请求指令执行完成后，根据已执行完成的操作请求指令，解除对应对象文件的锁定。

自客户端发送的操作请求指令，所述操作请求指令根据指令内容，对应元数据服务器中分布式文件系统根目录下统一目录及其子目录的文件，即操作请求指令的对象文件。考虑到元数据服务器的系统容量及其对象文件灵活性，请求队列中的操作请求指令待执行完成后，解除该操作请求指令的对应对象文件，便于该对象文件的二次使用及释放分布式文件系统容量。

参照图6，图6为本发明分布式文件系统元数据处理装置的第三实施例的功能模块示意图。所述装置还包括：重置模块90。

所述获取模块10，还用于获取当前所有元数据服务器状态；

获取当前元数据服务器状态，所述元数据服务器不止一个，根据客户需求及其分布式文件系统文件的存储情况，设置多个元数据服务器进行数据存储，并将已存储数据的元数据服务器进行关联，并以元数据服务器为单位，依次接收自客户端发送的操作请求指令，待一元数据服务器执行操作请求指令后，将该元数据服务器状态设置为不可识别后，切换另一元数据服务器接收操作请求指令；并逐一对当前所有元数据服务器进行此种操作。

重置模块90，用于若元数据服务器状态都被设置为不可识别时，重置元数据服务器状态为可识别状态。

根据预设周期，在周期内获取当前元数据服务器状态，若获取到的元数据服务器状态都为不可识别状态时，重置元数据服务器状态为可识别状态。所述预设周期，在元数据服务器中设置当前获取元数据服务器状态检查周期，周期内获取当前元数据服务器的状态。所述设置元数据服务器状态为不可识别状态，可通过设置当前元数据服务器标识控制元数据服务器是否为可识别状态，例如，设置元数据服务器标识为0，为元数据服务器不可识别状态。在当前元数据服务器标识都为0的状态下，重置所有元数据服务器的标识为1，用以重置元数据服务器为可识别状态。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种分布式文件系统元数据处理方法，其特征在于，包括步骤：

获取客户端对元数据服务器对象的操作请求指令，所述操作请求指令的对象为元数据服务器下的分布式文件系统根目录下统一目录及其子目录；

将获取到的操作请求指令缓存至请求队列保存；

统计请求队列中的操作请求指令数量，与预设操作请求指令目标数值对比；

若请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值，则执行请求队列中的操作请求指令。

2.如权利要求1所述分布式文件系统元数据处理方法，其特征在于，所述统计请求队列中的操作请求指令数量，与预设操作请求指令目标数值对比，还包括：

若请求队列中的操作请求指令数量小于预设操作请求指令目标数值，维持当前操作状态，直至请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值后，执行请求队列中的操作请求指令。

3.如权利要求1所述分布式文件系统元数据处理方法，其特征在于，所述若请求队列的请求指令数量大于或等于预设操作请求指令目标数值时，执行该请求队列中的操作请求指令之后，还包括：

设置接收操作请求指令的元数据服务器为不可识别状态。

4.如权利要求1所述分布式文件系统元数据处理方法，其特征在于，所述若请求队列的请求指令数量大于或等于预设操作请求指令目标数值时，执行该请求队列中的操作请求指令之后，还包括：

请求队列中的操作请求指令执行完成后，根据已执行完成的操作请求指令，解除对应对象文件的锁定。

5.如权利要求1至4任一项所述分布式文件系统元数据处理方法，其特征在于，所述方法还包括：

获取当前元数据服务器状态，若元数据服务器状态都被设置为不可识别时，重置元数据服务器状态，将元数据服务器状态设置为可识别状态。

6.一种分布式文件系统元数据处理装置，其特征在于，包括：

获取模块，用于获取客户端对元数据服务器的操作请求指令，所述操作请求指令的对象为元数据服务器下的分布式文件系统根目录下统一目录及其子目录；

缓存模块，用于将获取到的操作请求指令缓存至请求队列保存；

统计模块，用于统计请求队列中的操作请求指令数量；

对比模块，用于将统计的操作请求指令数量与预设操作请求指令目标数值对比；

执行模块，用于若请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值，则执行请求队列中的操作请求指令。

7.如权利要求6所述分布式文件系统元数据处理装置，其特征在于，所述装置还包括：

确认模块，用于若请求队列中的操作请求指令数量小于预设操作请求指令目标数值，维持当前操作状态，直至请求队列中的操作请求指令数量大于或等于预设操作请求指令目标数值后，执行请求队列中的操作请求指令。

8.如权利要求6所述分布式文件系统元数据处理装置，其特征在于，所述装置还包括：

设置模块，用于设置原接收操作请求指令的元数据服务器状态为不可识别状态。

9.如权利要求6所述分布式文件系统元数据处理装置，其特征在于，所述装置还包括：

解锁模块，用于请求队列中的操作请求指令执行完成后，根据已执行完成的操作请求指令，解除对应对象文件的锁定。

10.如权利要求6至9任一项所述分布式文件系统元数据处理装置，其特征在于，所述装置还包括重置模块，

所述获取模块，还用于获取当前元数据服务器状态；

所述重置模块，用于若元数据服务器状态都被设置为不可识别时，重置元数据服务器状态为可识别状态。