CN115858419B - 元数据管理方法、装置、设备、服务器及可读存储介质 - Google Patents

Abstract

本发明公开了一种元数据管理方法、装置、设备、服务器及可读存储介质，属于分布式文件存储系统领域，用于对元数据进行管理。为了减少数据处理节点的数量以及数据缓存量，本申请仅在DFS模块中设置了缓存，也即通过客户端与OSD之间具备缓存功能的各个DFS模块，实现了对客户端发送的元数据访问指令的处理，在自身本地缓存具有目标元数据时，便可以直接对本地缓存中的目标元数据进行处理，而在自身本地缓存中不具有目标元数据时，则可以直接从OSD中获取目标元数据并进行处理，利用一层缓存便实现了客户端对于元数据的各类访问请求，降低了数据跨越节点的数量并减少了数据的重复缓存，提升了工作效率的同时节省了资源。

Description

元数据管理方法、装置、设备、服务器及可读存储介质

技术领域

本发明涉及分布式文件存储系统领域，特别是涉及一种元数据管理方法，本发明还涉及一种元数据管理装置、设备、服务器及计算机可读存储介质。

背景技术

元数据又称中介数据、中继数据，为描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找以及文件记录等功能，分布式文件存储系统中同样存在大量的元数据，在分布式文件存储系统运行过程中，用户可能存在对于元数据进行访问的需求，然而现有技术中缺少一种成熟的元数据管理方法，导致进行元数据访问的效率较低，降低了用户体验。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种元数据管理方法，通过客户端与OSD之间具备缓存功能的各个DFS模块，实现了对客户端发送的元数据访问指令的处理，利用一层缓存便实现了客户端对于元数据的各类访问请求，降低了数据跨越节点的数量并减少了数据的重复缓存，提升了工作效率的同时节省了资源；本发明的另一目的是提供一种元数据管理装置、设备、服务器及计算机可读存储介质，通过客户端与OSD之间具备缓存功能的各个DFS模块，实现了对客户端发送的元数据访问指令的处理，利用一层缓存便实现了客户端对于元数据的各类访问请求，降低了数据跨越节点的数量并减少了数据的重复缓存，提升了工作效率的同时节省了资源。

为解决上述技术问题，本发明提供了一种元数据管理方法，应用于分布式文件服务DFS模块，包括：

响应于对于目标元数据的元数据访问指令，判断自身是否管辖所述目标元数据；

若管辖，判断本地缓存中是否存在所述目标元数据；

若存在，根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理；

若不存在，将所述目标元数据从对象存储设备OSD中读入本地缓存，并执行所述根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理的步骤。

优选地，所述响应于对于目标元数据的元数据访问指令，判断自身是否管辖所述目标元数据具体为：

预先判断自身是否存在于预设的提供元数据管理服务的DFS列表中；

若存在于，则加载自身管辖元数据的元数据目录；

响应于对于目标元数据的元数据访问指令，判断自身是否管辖所述目标元数据；

所述判断本地缓存中是否存在所述目标元数据具体为：

判断自身所述元数据目录中的已缓存元数据中是否包含所述目标元数据；

若包含，则判定本地缓存中存在所述目标元数据；

若不包含，则判定本地缓存中不存在所述目标元数据。

优选地，所述预先判断自身是否存在于预设的提供元数据管理服务的DFS列表中具体为：

预先接收集群监控服务MON广播的提供元数据管理服务的DFS列表；

判断自身所在所述DFS是否存在于所述DFS列表。

优选地，所述DFS列表为所述MON根据元数据配置参数以及集群规模，基于MON一致性选举机制确定出的DFS列表。

优选地，该元数据管理方法还包括：

每隔预设周期向所述MON发送心跳信号，以便所述MON监测自身的在线情况；

根据所述MON发送的广播信号更新自身存储的所述DFS列表。

优选地，所述加载自身管辖元数据的元数据目录具体为：

根据目录均衡算法从所述OSD中确定并加载自身管辖元数据的元数据目录。

优选地，所述目录均衡算法为目录子树片算法或文件哈希机制。

优选地，所述判断自身是否管辖所述目标元数据具体为：

根据目录均衡算法确定出管辖所述目标元数据的目标DFS；

判断所述目标DFS是否为自身所在DFS；

若是，则判定自身管辖所述目标元数据；

若否，则判定自身不管辖所述目标元数据。

优选地，所述判断所述目标DFS是否为自身所在DFS之后，该元数据管理方法还包括：

若否，则向所述目标DFS请求所述目标元数据；

该元数据管理方法还包括：

响应于其他所述DFS模块的元数据请求，判断被请求的元数据是否存在于自身本地缓存中；

若存在，则将本地缓存中的所述被请求的元数据反馈至发送所述元数据请求的所述DFS模块；

若不存在，将从所述OSD中获取所述被请求的元数据反馈至发送所述元数据请求的所述DFS模块。

优选地，所述根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理具体为：

将本地缓存中的所述目标元数据锁定，以防除所述元数据访问指令外的其他来源进行更改；

根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理。

优选地，所述根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理具体为：

在所述元数据访问指令为元数据写指令时，判断本地缓存在处理所述元数据写指令后的空间占用量是否大于预设限值；

若大于，则向发送所述元数据写指令的客户端告知操作失败。

优选地，该元数据管理方法还包括：

生成自身当前的所述元数据目录的快照信息；

将所述快照信息发送至MON。

优选地，所述将所述目标元数据从对象存储设备OSD中读入本地缓存具体为：

将所述目标元数据及与所述目标元数据相邻的预设数量的数据从OSD中读入本地缓存。

优选地，该元数据管理方法还包括：

确定出自身的本地缓存中各个元数据最后一次被访问至今的持续时长；

将所述持续时长最大的所述元数据从本地缓存删除。

优选地，所述根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理具体为：

根据预设的用户与元数据操作权限的对应关系，确定出所述元数据访问指令的发送者对于所述目标元数据的操作权限；

判断所述元数据访问指令中的目标操作类型是否属于所述操作权限；

若属于，则根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理；

若不属于，则向所述元数据访问指令的发送者反馈无权限。

优选地，该元数据管理方法还包括：

响应于对应关系修改指令，对自身当前存储的所述预设的用户与元数据操作权限的对应关系进行修改。

为解决上述技术问题，本发明还提供了一种元数据管理装置，包括：

第一判断模块，用于响应于对于目标元数据的元数据访问指令，判断自身是否管辖所述目标元数据，若管辖，触发第二判断模块；

所述第二判断模块，用于判断本地缓存中是否存在所述目标元数据，若存在，触发处理模块，若不存在，触发读取模块；

所述处理模块，用于根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理；

所述读取模块，用于将所述目标元数据从对象存储设备OSD中读入本地缓存，并触发所述处理模块。

为解决上述技术问题，本发明还提供了一种元数据管理设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述元数据管理方法的步骤。

为解决上述技术问题，本发明还提供了一种服务器，包括服务器本体以及与所述服务器本体连接的如上所述的元数据管理设备。

为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述元数据管理方法的步骤。

本发明提供了一种元数据管理方法，为了减少数据处理节点的数量以及数据缓存量，本申请仅在DFS模块中设置了缓存，也即通过客户端与OSD之间具备缓存功能的各个DFS模块，实现了对客户端发送的元数据访问指令的处理，在自身本地缓存具有目标元数据时，便可以直接对本地缓存中的目标元数据进行处理，而在自身本地缓存中不具有目标元数据时，则可以直接从OSD中获取目标元数据并进行处理，利用一层缓存便实现了客户端对于元数据的各类访问请求，降低了数据跨越节点的数量并减少了数据的重复缓存，提升了工作效率的同时节省了资源。

本发明还提供了一种元数据管理装置、设备、服务器以及计算机可读存储介质，具有如上元数据管理方法相同的有益效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种元数据管理方法的流程示意图；

图2为现有技术中的分布式文件存储系统的结构示意图；

图3为现有技术中的元数据流转路径示意图；

图4为本发明提供的一种分布式文件存储系统的结构示意图；

图5为本发明提供的一种元数据流转路径示意图；

图6为本发明提供的一种元数据管理装置的结构示意图；

图7为本发明提供的一种元数据管理设备的结构示意图；

图8为本发明提供的一种计算机可读存储介质的结构示意图。

具体实施方式

本发明的核心是提供一种元数据管理方法，通过客户端与OSD之间具备缓存功能的各个DFS模块，实现了对客户端发送的元数据访问指令的处理，利用一层缓存便实现了客户端对于元数据的各类访问请求，降低了数据跨越节点的数量并减少了数据的重复缓存，提升了工作效率的同时节省了资源；本发明的另一核心是提供一种元数据管理装置、设备、服务器及计算机可读存储介质，通过客户端与OSD之间具备缓存功能的各个DFS模块，实现了对客户端发送的元数据访问指令的处理，利用一层缓存便实现了客户端对于元数据的各类访问请求，降低了数据跨越节点的数量并减少了数据的重复缓存，提升了工作效率的同时节省了资源。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明提供的一种元数据管理方法的流程示意图，该元数据管理方法应用于DFS（Distributed file server，分布式文件服务）模块，包括：

S101：响应于对于目标元数据的元数据访问指令，判断自身是否管辖目标元数据；

为了更好地对本发明实施例进行说明，请参考图2至图5，图2为现有技术中的分布式文件存储系统的结构示意图；图3为现有技术中的元数据流转路径示意图；图4为本发明提供的一种分布式文件存储系统的结构示意图；图5为本发明提供的一种元数据流转路径示意图，在图2的系统架构中，有独立的MDS元数据服务集群，DFS（分布式文件服务）模块的元数据访问需要通过MDS模块与底层OSD（Object Storage Device，对象存储设备）存储模块交互，进行读写。在海量小文件场景中，元数据交互频繁，DFS模块与MDS会产生大量消息通信，由此需要提升MDS模块的访问效率（性能），同时也要保证元数据的一致性、可靠性。

如上图3：

业务侧通过DFS模块访问文件时，DFS都需要和MDS交互（初始场景DFS无缓存），获取或更新文件元数据信息以及对应授权：

访问文件2的路径：①、②、⑤、④，读操作时，若MDS中缓存命中则⑤可以省略，但写操作还得下盘，⑤不能省略。

访问文件3的路径：③、⑥、⑤、⑦，读操作时，若MDS中缓存命中则⑤可以省略，但写操作还得下盘，⑤不能省略。

具体的，考虑到如上背景技术中的技术问题，为了减少数据处理节点的数量以及数据缓存量，本申请欲去除掉原来存在于分布式文件存储系统中的MDS（Meta-Data-Server，元数据服务），而将MDS的功能分散在各个DFS模块，从而达到减少元数据的处理节点数量的效果，而且由于MDS中原本也具有一层缓存，因此将MDS去除掉的同时也降低了分布式文件存储系统中的元数据缓存量，减少了对于内存空间的占用，降低了成本。

具体的，基于上文，也就是说本申请中的分布式文件存储系统中各个DFS模块可能被分配有对于部分元数据的管理职能，因此本步骤中可以响应于对于目标元数据的元数据访问指令，判断自身是否管辖目标元数据，也即由DFS模块直接展开对于元数据访问指令的处理。

其中，值得一提的是，每个客户端具有一一对应的DFS模块，客户端发出元的数据访问指令可以发送至对应的DFS模块。

S102：若管辖，判断本地缓存中是否存在目标元数据；

具体的，如果接收到元数据访问指令的DFS模块管辖该目标元数据，那么若之前处理过目标元数据的访问，那么本地缓存中可能具有目标元数据，因此本步骤中可以在判定管辖的情况下，判断本地缓存中是否存在目标元数据。

S103：若存在，根据元数据访问指令对本地缓存中的目标元数据进行处理；

具体的，在本地缓存存在目标元数据的情况下，那么便可以直接对本地缓存中的目标元数据进行处理，无需再从其他节点获取目标元数据，直接减少了元数据的跨越节点。

S104：若不存在，将目标元数据从对象存储设备OSD中读入本地缓存，并执行根据元数据访问指令对本地缓存中的目标元数据进行处理的步骤。

具体的，在本地缓存不存在目标元数据的情况下，此时便需要从OSD中读取该目标元数据，因此本步骤中可以将目标元数据从对象存储设备OSD中读入本地缓存，此时也仅需要进行一次的元数据传递。

本发明提供了一种元数据管理方法，为了减少数据处理节点的数量以及数据缓存量，本申请仅在DFS模块中设置了缓存，也即通过客户端与OSD之间具备缓存功能的各个DFS模块，实现了对客户端发送的元数据访问指令的处理，在自身本地缓存具有目标元数据时，便可以直接对本地缓存中的目标元数据进行处理，而在自身本地缓存中不具有目标元数据时，则可以直接从OSD中获取目标元数据并进行处理，利用一层缓存便实现了客户端对于元数据的各类访问请求，降低了数据跨越节点的数量并减少了数据的重复缓存，提升了工作效率的同时节省了资源。

在上述实施例的基础上：

作为一种优选的实施例，响应于对于目标元数据的元数据访问指令，判断自身是否管辖目标元数据具体为：

预先判断自身是否存在于预设的提供元数据管理服务的DFS列表中；

若存在于，则加载自身管辖元数据的元数据目录；

响应于对于目标元数据的元数据访问指令，判断自身是否管辖目标元数据；

判断本地缓存中是否存在目标元数据具体为：

判断自身元数据目录中的已缓存元数据中是否包含目标元数据；

若包含，则判定本地缓存中存在目标元数据；

若不包含，则判定本地缓存中不存在目标元数据。

具体的，MON（Monitor，集群监控服务）可以预先根据元数据配置参数以及集群规模，基于MON一致性选举机制确定出的DFS列表，DFS列表中的各个DFS即为具有元数据管理职能的DFS，然后将DFS列表分别发送至各个DFS，以便于每个DFS预先判断自身是否存在于预设的提供元数据管理服务的DFS列表中，从而开展元数据管理服务，并在存在于DFS列表的情况下，加载自身管辖元数据的元数据目录，那么在判断本地缓存中是否存在目标元数据时，便可以判断自身元数据目录中的已缓存元数据中是否包含目标元数据，如果包含，便证明本地缓存中存在目标元数据，不包含的话则判定本地缓存中不存在目标元数据。

其中，通过MON可以为各个DFS分配元数据管理职能，最多可以为每个DFS均分配一定元数据的管理职能，而通过加载的元数据目录可以清晰且快速地了解自身管辖的元数据及其是否已缓存等情况，提高了工作效率。

作为一种优选的实施例，预先判断自身是否存在于预设的提供元数据管理服务的DFS列表中具体为：

预先接收集群监控服务MON广播的提供元数据管理服务的DFS列表；

判断自身所在DFS是否存在于DFS列表。

具体的，MON可以通过广播的形式将DFS列表发送至各个DFS模块，具有高效稳定等优点。

当然，除了该形式外，MON还可以通过其他形式发送DFS列表，本发明实施例在此不做限定。

作为一种优选的实施例，DFS列表为MON根据元数据配置参数以及集群规模，基于MON一致性选举机制确定出的DFS列表。

具体的，MON根据元数据配置参数以及集群规模，基于MON一致性选举机制可以快速且合理地确定出分布式文件存储系统中需要进行元数据管理的DFS模块的DFS列表。

当然，除了该方式外，还可以通过其他方式确定DFS列表，本发明实施例在此不做限定。

作为一种优选的实施例，该元数据管理方法还包括：

每隔预设周期向MON发送心跳信号，以便MON监测自身的在线情况；

根据MON发送的广播信号更新自身存储的DFS列表。

具体的，考虑到DFS模块本身存在故障的可能性，而故障时整个分布式文件存储系统的元数据服务便会存在漏洞，因此本发明实施例中可以通过每隔预设周期向MON发送心跳信号，以便MON监测自身的在线情况，如此一来，MON在通过心跳信号发现某个DFS不在线（故障）时，便可以将故障的DFS标记在元数据MAP（也即DFS列表）里并广播至各个DFS，以便各个DFS模块在处理元数据时若发现目标DFS模块为故障状态，便可以停止对于元数据访问指令的处理并向客户端反馈故障情况，避免浪费时间。

其中，预设周期可以进行自主设定，例如可以设置为3秒等，本发明实施例在此不做限定。

作为一种优选的实施例，加载自身管辖元数据的元数据目录具体为：

根据目录均衡算法从OSD中确定并加载自身管辖元数据的元数据目录。

具体的，通过目录均衡算法可以高效准确且合理的确定出各个DFS模块需要管辖的元数据。

当然，除了目录均衡算法外，还可以通过其他方法加载自身管辖元数据的元数据目录，本发明实施例在此不做限定。

作为一种优选的实施例，目录均衡算法为目录子树片算法或文件哈希机制。

具体的，目录子树片算法或文件哈希机制均具有处理速度快以及可靠性高等优点。

当然，除了该两种算法外，目录均衡算法还可以为其他多种类型，本发明实施例在此不做限定。

作为一种优选的实施例，判断自身是否管辖目标元数据具体为：

根据目录均衡算法确定出管辖目标元数据的目标DFS；

判断目标DFS是否为自身所在DFS；

若是，则判定自身管辖目标元数据；

若否，则判定自身不管辖目标元数据。

具体的，同样可以通过目录均衡算法的方式确定出管辖目标元数据的目标DFS，然后再判断目标DFS是否为自身所在DFS，如果是便可以判定自身管辖目标元数据，如果不是便可以判定自身不管辖目标元数据，通过该方法可以快速准确地确定出自身是否管辖目标元数据。

当然，除了该方法外，还可以通过其他方式确定出自身是否管辖目标元数据，本发明实施例在此不做限定。

作为一种优选的实施例，判断目标DFS是否为自身所在DFS之后，该元数据管理方法还包括：

若否，则向目标DFS请求目标元数据；

该元数据管理方法还包括：

响应于其他DFS模块的元数据请求，判断被请求的元数据是否存在于自身本地缓存中；

若存在，则将本地缓存中的被请求的元数据反馈至发送元数据请求的DFS模块；

若不存在，将从OSD中获取被请求的元数据反馈至发送元数据请求的DFS模块。

具体的，目标DFS即为负责管辖目标元数据的DFS，因此本发明实施例中可以向目标DFS请求目标元数据，并且对于每个DFS来说，还可以响应于其他DFS模块的元数据请求，判断被请求的元数据是否存在于自身本地缓存中，如果存在，则将本地缓存中的被请求的元数据反馈至发送元数据请求的DFS模块，若不存在，将从OSD中获取被请求的元数据反馈至发送元数据请求的DFS模块，从而可以顺利实现各个DFS之间的元数据交互，以便完成对于元数据的调用。

其中，DFS中的元数据缓存产生来源：一是作为业务处理模块，接收的客户端业务访问产生的文件缓存，二是作为元数据服务，本模块上层业务或其他DFS申请访问权限以及目录文件操作（创建、读取）等生成、加载的目录文件信息。访问权限在本DFS模块的情况下，对比原有MDS架构，减少了消息通信以及内存只占一份，有效提升访问效率及降低内存占用。

具体的，在图4中，新架构元数据访问流程如下：

访问文件2（①、②）：

（1）DFS-A接收业务侧请求，根据新机制判断文件2对应元数据服务在本节点（子树均衡或HASH机制判定），则先本地缓存中查找，若缓存有则直接进行授权处理，然后业务操作返回结果；

（2）本地缓存未命中，直接向OSD读取文件2元数据信息，此操作也会加载相邻的其他文件信息；

（3）缓存更新文件2元数据，对本模块业务授权处理，并进行操作处理，然后给业务侧返回结果。

（4）此种场景，对比原架构下，一是减少了IO交互（无MDS交互），二是元数据内存只一份（无MDS重复内存占用），整体访问效率大大提升。

访问文件3（③、④、⑤、⑥）；

（1）DFS-A接收业务侧请求，根据新机制判断文件3对应元数据server在DFS-B（子树均衡或HASH机制判定）；

（2）向DFS-B通信，获取文件3元数据及授权；

（3）DFS-B收到DFS-A请求，首先从本地缓存中查找，若有则进行授权处理并返回给DFS-A；

（4）DFS-B本地无缓存，则向OSD读取文件3元数据信息，此操作也会加载相邻的其他文件信息；

（5）DFS-A收到DFS-B返回的信息，创建本地文件3缓存，进行操作处理后返回给业务侧；

（6）此场景下，与原有MDS架构下交互流程基本一致；

（7）继续，若业务侧直接向DFS-B访问文件3，则直接命中，进行授权及操作处理后返回业务侧，无需再与原有MDS模块进行授权交互，提升访问效率。

其中，写操作与上面读操作类似，本地命中的直接与OSD交互，提升访问效率。

作为一种优选的实施例，根据元数据访问指令对本地缓存中的目标元数据进行处理具体为：

将本地缓存中的目标元数据锁定，以防除元数据访问指令外的其他来源进行更改；

根据元数据访问指令对本地缓存中的目标元数据进行处理。

具体的，考虑出道在处理元数据访问指令的过程中，若元数据被其他来源的动作修改，那么便会可能出现元数据访问指令处理失败以及元数据错误等问题，因此本发明实施例中可以将本地缓存中的目标元数据锁定，以防除元数据访问指令外的其他来源进行更改，然后将本地缓存中的目标元数据锁定，以防除元数据访问指令外的其他来源进行更改，最后再根据元数据访问指令对本地缓存中的目标元数据进行处理。

作为一种优选的实施例，根据元数据访问指令对本地缓存中的目标元数据进行处理具体为：

在元数据访问指令为元数据写指令时，判断本地缓存在处理元数据写指令后的空间占用量是否大于预设限值；

若大于，则向发送元数据写指令的客户端告知操作失败。

具体的，考虑到在元数据管理过程中，每个DFS所缓存的元数据所占的内存容量很有可能越来越大从而占用太多的内存资源，为了对内存占用空间进行限制，本发明实施例中还可以在元数据访问指令为元数据写指令时，判断本地缓存在处理元数据写指令后的空间占用量是否大于预设限值，若大于，则向发送元数据写指令的客户端告知操作失败，同时不必再处理元数据写指令，以便工作人员及时对DFS占用的内存空间进行清理。

其中，预设限制可以进行自主设定，本发明实施例在此不做限定。

作为一种优选的实施例，该元数据管理方法还包括：

生成自身当前的元数据目录的快照信息；

将快照信息发送至MON。

具体的，考虑到工作人员可能存在对于各个DFS所管理元数据情况的了解需求，因此本发明实施例中可以生成自身当前的元数据目录的快照信息，然后将快照信息发送至MON。

其中，快照信息中可以包含元数据目录的各种信息，例如已缓存元数据信息，已缓存时长以及各个元数据上次被访问的时间等，本发明实施例在此不做限定。

作为一种优选的实施例，将目标元数据从对象存储设备OSD中读入本地缓存具体为：

将目标元数据及与目标元数据相邻的预设数量的数据从OSD中读入本地缓存。

具体的，考虑到用户在对目标元数据进行访问时，后续大概率可能对目标元数据相邻的数据进行访问，因此本发明实施例中可以将目标元数据及与目标元数据相邻的预设数量的数据从OSD中读入本地缓存，后续便无需再与OSD进行交互，进一步提升了工作效率。

作为一种优选的实施例，该元数据管理方法还包括：

确定出自身的本地缓存中各个元数据最后一次被访问至今的持续时长；

将持续时长最大的元数据从本地缓存删除。

具体的，考虑到DFS中缓存的元数据会不断增加，因此为了自动地防止缓存元数据不断扩张，本发明实施例中可以确定出自身的本地缓存中各个元数据最后一次被访问至今的持续时长，然后将持续时长最大的元数据从本地缓存删除，也即删除掉被访问概率最低的缓存元数据，从而达到在不降低数据处理效率的情况下清楚元数据缓存的目的。

作为一种优选的实施例，根据元数据访问指令对本地缓存中的目标元数据进行处理具体为：

根据预设的用户与元数据操作权限的对应关系，确定出元数据访问指令的发送者对于目标元数据的操作权限；

判断元数据访问指令中的目标操作类型是否属于操作权限；

若属于，则根据元数据访问指令对本地缓存中的目标元数据进行处理；

若不属于，则向元数据访问指令的发送者反馈无权限。

具体的，考虑到分布式文件存储系统中可能存在对于客户端发送的元数据访问指令的权限管理需求，因此本发明实施例中可以根据预设的用户与元数据操作权限的对应关系，确定出元数据访问指令的发送者对于目标元数据的操作权限，然后判断元数据访问指令中的目标操作类型是否属于操作权限，若属于，则根据元数据访问指令对本地缓存中的目标元数据进行处理，若不属于，则向元数据访问指令的发送者反馈无权限，从而可以为各个客户端进行权限设置，提升了分布式文件存储系统的功能性。

其中，目标操作类型可以为多种，例如可以为读、写或删除等，本发明实施例在此不做限定。

作为一种优选的实施例，该元数据管理方法还包括：

响应于对应关系修改指令，对自身当前存储的预设的用户与元数据操作权限的对应关系进行修改。

具体的，考虑到工作人员可能存在对于预设的用户与元数据操作权限的对应关系的修改需求，因此本发明实施例中提供了对应关系修改接口，可以响应于对应关系修改指令，对自身当前存储的预设的用户与元数据操作权限的对应关系进行修改，进一步提升了工作效率。

请参考图6，图6为本发明提供的一种元数据管理装置的结构示意图，该元数据管理装置包括：

第一判断模块61，用于响应于对于目标元数据的元数据访问指令，判断自身是否管辖目标元数据，若管辖，触发第二判断模块62；

第二判断模块62，用于判断本地缓存中是否存在目标元数据，若存在，触发处理模块63，若不存在，触发读取模块64；

处理模块63，用于根据元数据访问指令对本地缓存中的目标元数据进行处理；

读取模块64，用于将目标元数据从对象存储设备OSD中读入本地缓存，并触发处理模块。

本发明提供了一种元数据管理装置，为了减少数据处理节点的数量以及数据缓存量，本申请仅在DFS模块中设置了缓存，也即通过客户端与OSD之间具备缓存功能的各个DFS模块，实现了对客户端发送的元数据访问指令的处理，在自身本地缓存具有目标元数据时，便可以直接对本地缓存中的目标元数据进行处理，而在自身本地缓存中不具有目标元数据时，则可以直接从OSD中获取目标元数据并进行处理，利用一层缓存便实现了客户端对于元数据的各类访问请求，降低了数据跨越节点的数量并减少了数据的重复缓存，提升了工作效率的同时节省了资源。

对于本发明实施例提供的元数据管理装置的介绍请参照前述的元数据管理方法的实施例，本发明实施例在此不再赘述。

请参考图7，图7为本发明提供的一种元数据管理设备的结构示意图，该元数据管理装置包括：

存储器71，用于存储计算机程序；

处理器72，用于执行计算机程序时实现如前述实施例中元数据管理方法的步骤。

具体的，存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器执行存储器中保存的计算机程序时，可以实现以下步骤：响应于对于目标元数据的元数据访问指令，判断自身是否管辖目标元数据；若管辖，判断本地缓存中是否存在目标元数据；若存在，根据元数据访问指令对本地缓存中的目标元数据进行处理；若不存在，将目标元数据从对象存储设备OSD中读入本地缓存，并执行根据元数据访问指令对本地缓存中的目标元数据进行处理的步骤。

本发明提供了一种元数据管理设备，为了减少数据处理节点的数量以及数据缓存量，本申请仅在DFS模块中设置了缓存，也即通过客户端与OSD之间具备缓存功能的各个DFS模块，实现了对客户端发送的元数据访问指令的处理，在自身本地缓存具有目标元数据时，便可以直接对本地缓存中的目标元数据进行处理，而在自身本地缓存中不具有目标元数据时，则可以直接从OSD中获取目标元数据并进行处理，利用一层缓存便实现了客户端对于元数据的各类访问请求，降低了数据跨越节点的数量并减少了数据的重复缓存，提升了工作效率的同时节省了资源。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：预先判断自身是否存在于预设的提供元数据管理服务的DFS列表中；

若存在于，则加载自身管辖元数据的元数据目录；

响应于对于目标元数据的元数据访问指令，判断自身是否管辖目标元数据；

判断本地缓存中是否存在目标元数据具体为：

判断自身元数据目录中的已缓存元数据中是否包含目标元数据；

若包含，则判定本地缓存中存在目标元数据；

若不包含，则判定本地缓存中不存在目标元数据。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：预先接收集群监控服务MON广播的提供元数据管理服务的DFS列表；

判断自身所在DFS是否存在于DFS列表。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：DFS列表为MON根据元数据配置参数以及集群规模，基于MON一致性选举机制确定出的DFS列表。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：每隔预设周期向MON发送心跳信号，以便MON监测自身的在线情况；

根据MON发送的广播信号更新自身存储的DFS列表。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：

根据目录均衡算法从OSD中确定并加载自身管辖元数据的元数据目录。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：目录均衡算法为目录子树片算法或文件哈希机制。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：根据目录均衡算法确定出管辖目标元数据的目标DFS；

判断目标DFS是否为自身所在DFS；

若是，则判定自身管辖目标元数据；

若否，则判定自身不管辖目标元数据。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：若否，则向目标DFS请求目标元数据；

该元数据管理方法还包括：

响应于其他DFS模块的元数据请求，判断被请求的元数据是否存在于自身本地缓存中；

若存在，则将本地缓存中的被请求的元数据反馈至发送元数据请求的DFS模块；

若不存在，将从OSD中获取被请求的元数据反馈至发送元数据请求的DFS模块。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：将本地缓存中的目标元数据锁定，以防除元数据访问指令外的其他来源进行更改；

根据元数据访问指令对本地缓存中的目标元数据进行处理。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：在元数据访问指令为元数据写指令时，判断本地缓存在处理元数据写指令后的空间占用量是否大于预设限值；

若大于，则向发送元数据写指令的客户端告知操作失败。

作为一种可选的实施例，生成自身当前的元数据目录的快照信息；

将快照信息发送至MON。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：将目标元数据及与目标元数据相邻的预设数量的数据从OSD中读入本地缓存。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：确定出自身的本地缓存中各个元数据最后一次被访问至今的持续时长；

将持续时长最大的元数据从本地缓存删除。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：根据预设的用户与元数据操作权限的对应关系，确定出元数据访问指令的发送者对于目标元数据的操作权限；

判断元数据访问指令中的目标操作类型是否属于操作权限；

若属于，则根据元数据访问指令对本地缓存中的目标元数据进行处理；

若不属于，则向元数据访问指令的发送者反馈无权限。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：响应于对应关系修改指令，对自身当前存储的预设的用户与元数据操作权限的对应关系进行修改。

对于本发明实施例提供的元数据管理设备的介绍请参照前述的元数据管理方法的实施例，本发明实施例在此不再赘述。

本发明还提供了一种服务器，包括服务器本体以及与服务器本体连接的如前述实施例中的元数据管理设备。

本发明提供了一种元数据管理方法，为了减少数据处理节点的数量以及数据缓存量，本申请仅在DFS模块中设置了缓存，也即通过客户端与OSD之间具备缓存功能的各个DFS模块，实现了对客户端发送的元数据访问指令的处理，在自身本地缓存具有目标元数据时，便可以直接对本地缓存中的目标元数据进行处理，而在自身本地缓存中不具有目标元数据时，则可以直接从OSD中获取目标元数据并进行处理，利用一层缓存便实现了客户端对于元数据的各类访问请求，降低了数据跨越节点的数量并减少了数据的重复缓存，提升了工作效率的同时节省了资源。

对于本发明实施例提供的服务器的介绍请参照前述的元数据管理方法的实施例，本发明实施例在此不再赘述。

请参考图8，图8为本发明提供的一种计算机可读存储介质的结构示意图，计算机可读存储介质80上存储有计算机程序81，计算机程序81被处理器72执行时实现如前述实施例中元数据管理方法的步骤。

具体的，该可读存储介质可以包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：响应于对于目标元数据的元数据访问指令，判断自身是否管辖目标元数据；若管辖，判断本地缓存中是否存在目标元数据；若存在，根据元数据访问指令对本地缓存中的目标元数据进行处理；若不存在，将目标元数据从对象存储设备OSD中读入本地缓存，并执行根据元数据访问指令对本地缓存中的目标元数据进行处理的步骤。

本发明提供了一种元数据管理方法，为了减少数据处理节点的数量以及数据缓存量，本申请仅在DFS模块中设置了缓存，也即通过客户端与OSD之间具备缓存功能的各个DFS模块，实现了对客户端发送的元数据访问指令的处理，在自身本地缓存具有目标元数据时，便可以直接对本地缓存中的目标元数据进行处理，而在自身本地缓存中不具有目标元数据时，则可以直接从OSD中获取目标元数据并进行处理，利用一层缓存便实现了客户端对于元数据的各类访问请求，降低了数据跨越节点的数量并减少了数据的重复缓存，提升了工作效率的同时节省了资源。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：预先判断自身是否存在于预设的提供元数据管理服务的DFS列表中；

若存在于，则加载自身管辖元数据的元数据目录；

响应于对于目标元数据的元数据访问指令，判断自身是否管辖目标元数据；

判断本地缓存中是否存在目标元数据具体为：

判断自身元数据目录中的已缓存元数据中是否包含目标元数据；

若包含，则判定本地缓存中存在目标元数据；

若不包含，则判定本地缓存中不存在目标元数据。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：预先接收集群监控服务MON广播的提供元数据管理服务的DFS列表；

判断自身所在DFS是否存在于DFS列表。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：DFS列表为MON根据元数据配置参数以及集群规模，基于MON一致性选举机制确定出的DFS列表。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：每隔预设周期向MON发送心跳信号，以便MON监测自身的在线情况；

根据MON发送的广播信号更新自身存储的DFS列表。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：根据目录均衡算法从OSD中确定并加载自身管辖元数据的元数据目录。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：目录均衡算法为目录子树片算法或文件哈希机制。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：根据目录均衡算法确定出管辖目标元数据的目标DFS；

判断目标DFS是否为自身所在DFS；

若是，则判定自身管辖目标元数据；

若否，则判定自身不管辖目标元数据。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：判断目标DFS是否为自身所在DFS之后，该元数据管理方法还包括：

若否，则向目标DFS请求目标元数据；

该元数据管理方法还包括：

响应于其他DFS模块的元数据请求，判断被请求的元数据是否存在于自身本地缓存中；

若存在，则将本地缓存中的被请求的元数据反馈至发送元数据请求的DFS模块；

若不存在，将从OSD中获取被请求的元数据反馈至发送元数据请求的DFS模块。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：将本地缓存中的目标元数据锁定，以防除元数据访问指令外的其他来源进行更改；

根据元数据访问指令对本地缓存中的目标元数据进行处理。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：在元数据访问指令为元数据写指令时，判断本地缓存在处理元数据写指令后的空间占用量是否大于预设限值；

若大于，则向发送元数据写指令的客户端告知操作失败。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：生成自身当前的元数据目录的快照信息；

将快照信息发送至MON。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：将目标元数据及与目标元数据相邻的预设数量的数据从OSD中读入本地缓存。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：确定出自身的本地缓存中各个元数据最后一次被访问至今的持续时长；

将持续时长最大的元数据从本地缓存删除。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：根据预设的用户与元数据操作权限的对应关系，确定出元数据访问指令的发送者对于目标元数据的操作权限；

判断元数据访问指令中的目标操作类型是否属于操作权限；

若属于，则根据元数据访问指令对本地缓存中的目标元数据进行处理；

若不属于，则向元数据访问指令的发送者反馈无权限。

作为一种可选的实施例，处理器执行存储器中保存的计算机子程序时，可以实现以下步骤：响应于对应关系修改指令，对自身当前存储的预设的用户与元数据操作权限的对应关系进行修改。

对于本发明实施例提供的计算机可读存储介质的介绍请参照前述的元数据管理方法的实施例，本发明实施例在此不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (19)

1.一种元数据管理方法，其特征在于，应用于分布式文件服务DFS模块，包括：

响应于对于目标元数据的元数据访问指令，判断自身是否管辖所述目标元数据；

若管辖，判断本地缓存中是否存在所述目标元数据；

若存在，根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理；

若不存在，将所述目标元数据从对象存储设备OSD中读入本地缓存，并执行所述根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理的步骤；

所述判断自身是否管辖所述目标元数据具体为：

确定出管辖所述目标元数据的目标DFS；

判断所述目标DFS是否为自身所在DFS；

若是，则判定自身管辖所述目标元数据；

若否，则判定自身不管辖所述目标元数据；

所述判断所述目标DFS是否为自身所在DFS之后，该元数据管理方法还包括：

若否，则向所述目标DFS请求所述目标元数据；

该元数据管理方法还包括：

响应于其他所述DFS模块的元数据请求，判断被请求的元数据是否存在于自身本地缓存中；

若存在，则将本地缓存中的所述被请求的元数据反馈至发送所述元数据请求的所述DFS模块；

若不存在，将从所述OSD中获取所述被请求的元数据反馈至发送所述元数据请求的所述DFS模块；

其中，所述其他所述DFS模块为分布式文件存储系统中除自身外的所述DFS模块。

2.根据权利要求1所述的元数据管理方法，其特征在于，所述响应于对于目标元数据的元数据访问指令，判断自身是否管辖所述目标元数据具体为：

预先判断自身是否存在于预设的提供元数据管理服务的DFS列表中；

若存在于，则加载自身管辖元数据的元数据目录；

响应于对于目标元数据的元数据访问指令，判断自身是否管辖所述目标元数据；

所述判断本地缓存中是否存在所述目标元数据具体为：

判断自身所述元数据目录中的已缓存元数据中是否包含所述目标元数据；

若包含，则判定本地缓存中存在所述目标元数据；

若不包含，则判定本地缓存中不存在所述目标元数据。

3.根据权利要求2所述的元数据管理方法，其特征在于，所述预先判断自身是否存在于预设的提供元数据管理服务的DFS列表中具体为：

预先接收集群监控服务MON广播的提供元数据管理服务的DFS列表；

判断自身所在所述DFS是否存在于所述DFS列表。

4.根据权利要求3所述的元数据管理方法，其特征在于，所述DFS列表为所述MON根据元数据配置参数以及集群规模，基于MON一致性选举机制确定出的DFS列表。

5.根据权利要求3所述的元数据管理方法，其特征在于，该元数据管理方法还包括：

每隔预设周期向所述MON发送心跳信号，以便所述MON监测自身的在线情况；

根据所述MON发送的广播信号更新自身存储的所述DFS列表。

6.根据权利要求2所述的元数据管理方法，其特征在于，所述加载自身管辖元数据的元数据目录具体为：

根据目录均衡算法从所述OSD中确定并加载自身管辖元数据的元数据目录。

7.根据权利要求6所述的元数据管理方法，其特征在于，所述目录均衡算法为目录子树片算法或文件哈希机制。

8.根据权利要求1所述的元数据管理方法，其特征在于，所述确定出管辖所述目标元数据的目标DFS具体为：

根据目录均衡算法确定出管辖所述目标元数据的目标DFS。

9.根据权利要求1所述的元数据管理方法，其特征在于，所述根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理具体为：

将本地缓存中的所述目标元数据锁定，以防除所述元数据访问指令外的其他来源进行更改；

根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理。

10.根据权利要求1所述的元数据管理方法，其特征在于，所述根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理具体为：

在所述元数据访问指令为元数据写指令时，判断本地缓存在处理所述元数据写指令后的空间占用量是否大于预设限值；

若大于，则向发送所述元数据写指令的客户端告知操作失败。

11.根据权利要求2所述的元数据管理方法，其特征在于，该元数据管理方法还包括：

生成自身当前的所述元数据目录的快照信息；

将所述快照信息发送至MON。

12.根据权利要求1所述的元数据管理方法，其特征在于，所述将所述目标元数据从对象存储设备OSD中读入本地缓存具体为：

将所述目标元数据及与所述目标元数据相邻的预设数量的数据从OSD中读入本地缓存。

13.根据权利要求1所述的元数据管理方法，其特征在于，该元数据管理方法还包括：

确定出自身的本地缓存中各个元数据最后一次被访问至今的持续时长；

将所述持续时长最大的所述元数据从本地缓存删除。

14.根据权利要求1至13任一项所述的元数据管理方法，其特征在于，所述根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理具体为：

根据预设的用户与元数据操作权限的对应关系，确定出所述元数据访问指令的发送者对于所述目标元数据的操作权限；

判断所述元数据访问指令中的目标操作类型是否属于所述操作权限；

若属于，则根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理；

若不属于，则向所述元数据访问指令的发送者反馈无权限。

15.根据权利要求14所述的元数据管理方法，其特征在于，该元数据管理方法还包括：

响应于对应关系修改指令，对自身当前存储的所述预设的用户与元数据操作权限的对应关系进行修改。

16.一种元数据管理装置，其特征在于，应用于分布式文件服务DFS模块，包括：

第一判断模块，用于响应于对于目标元数据的元数据访问指令，判断自身是否管辖所述目标元数据，若管辖，触发第二判断模块；

所述第二判断模块，用于判断本地缓存中是否存在所述目标元数据，若存在，触发处理模块，若不存在，触发读取模块；

所述处理模块，用于根据所述元数据访问指令对本地缓存中的所述目标元数据进行处理；

所述读取模块，用于将所述目标元数据从对象存储设备OSD中读入本地缓存，并触发所述处理模块；

所述判断自身是否管辖所述目标元数据具体为：

确定出管辖所述目标元数据的目标DFS；

判断所述目标DFS是否为自身所在DFS；

若是，则判定自身管辖所述目标元数据；

若否，则判定自身不管辖所述目标元数据；

所述判断所述目标DFS是否为自身所在DFS之后，该元数据管理装置还包括：

若否，则向所述目标DFS请求所述目标元数据；

该元数据管理装置还包括：

响应于其他所述DFS模块的元数据请求，判断被请求的元数据是否存在于自身本地缓存中；

若存在，则将本地缓存中的所述被请求的元数据反馈至发送所述元数据请求的所述DFS模块；

若不存在，将从所述OSD中获取所述被请求的元数据反馈至发送所述元数据请求的所述DFS模块；

其中，所述其他所述DFS模块为分布式文件存储系统中除自身外的所述DFS模块。

17.一种元数据管理设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至15任一项所述元数据管理方法的步骤。

18.一种服务器，其特征在于，包括服务器本体以及与所述服务器本体连接的如权利要求17所述的元数据管理设备。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至15任一项所述元数据管理方法的步骤。

Images