CN104142953A

CN104142953A - 元数据动态管理方法及系统

Info

Publication number: CN104142953A
Application number: CN201310170473.1A
Authority: CN
Inventors: 顾茜
Original assignee: China Telecom Corp Ltd
Current assignee: China Telecom Corp Ltd
Priority date: 2013-05-10
Filing date: 2013-05-10
Publication date: 2014-11-12
Anticipated expiration: 2033-05-10
Also published as: CN104142953B

Abstract

本发明涉及一种元数据动态管理方法及系统，方法包括：元数据管理服务器接收客户端发出的对元数据的查询请求时，在本地查询元数据对应的元数据存储节点的位置；根据元数据的访问时间和访问频率确定元数据的访问频度；将元数据的访问频度与预设阈值比对，将较高访问频度的元数据及副本调整到负载能力更高的元数据存储节点。本发明在元数据管理服务器处理客户端发出的元数据的查询请求时，根据元数据的访问时间和访问频率确定元数据的访问频度，再根据访问频度来将访问频度较高的元数据和元数据副本调整到负载能力更高的元数据存储节点。这样就使得这些被频繁访问的元数据及副本调整在负载能力更高的服务器，从而不容易发生失效的情况。

Description

元数据动态管理方法及系统

技术领域

本发明涉及云计算海量存储应用领域，尤其涉及一种元数据动态管理方法及系统。

背景技术

在当前的信息社会中，每天都会产生大量需要保存的数据，这也促使海量存储系统成为当前研究和应用中的热点问题。云计算已经逐渐走进人们的视野，基于云计算平台的海量数据存储系统为海量存储提供了解决方案。

在云计算平台的海量数据存储系统中，云数据节点负责整体数据描述，属于数据存储的核心节点，目前云数据节点采用单节点形式，一旦云数据节点出现失效的情况，将会导致云计算平台的数据存储无法继续提供服务。

发明内容

本发明的目的是提出一种元数据动态管理方法及系统，能够解决元数据存储节点易失效的问题。

为实现上述目的，本发明提供了一种元数据动态管理方法，包括：

元数据管理服务器接收客户端发出的对元数据的查询请求时，根据所述数据查询请求在本地查询所述元数据对应的元数据存储节点的位置；

所述元数据管理服务器根据所述元数据的访问时间和访问频率确定所述元数据的访问频度；

所述元数据管理服务器将所述元数据的访问频度与预设阈值进行比对，将较高访问频度的元数据及对应的元数据副本调整到负载能力更高的元数据存储节点。

进一步的，在所述元数据管理服务器接收客户端发出的对元数据的查询请求的操作之前，还包括以下步骤：

所述元数据管理服务器对所述元数据进行副本备份，得到至少一个元数据副本；

所述元数据管理服务器将所述元数据和对应的元数据副本的对应关系进行保存。

进一步的，所述元数据管理服务器将所述元数据的访问频度与预设阈值进行比对，将较高访问频度的元数据及对应的元数据副本调整到负载能力更高的元数据存储节点的操作具体为：

所述元数据管理服务器计算本地保存的多个元数据的访问频度均值，作为访问频度的预设阈值；

所述元数据管理服务器判断所述元数据的访问频度是否超过所述访问频度均值，如果所述元数据的访问频度超过所述访问频度均值，则将所述元数据及对应的元数据副本调整到负载能力更高的元数据存储节点，否则不需对所述元数据及对应的元数据副本的存储位置进行调整。

进一步的，所述元数据管理服务器根据所述元数据的访问时间和访问频率确定所述元数据的访问频度的操作具体为：

所述元数据管理服务器根据以下公式计算所述元数据的访问频度A，

A = 1 - \frac{1}{f_{r}} + \frac{1}{t - t_{c}}

其中，t_c是元数据创建的时间；t是系统当前的时间；f_r是元数据在单位时间内被访问的次数，t_c和t以天为计算单位。

进一步的，所述根据数据查询请求在本地查询所述元数据对应的元数据存储节点的位置的操作具体为：

所述元数据管理服务器基于语义对所述元数据的元数据存储节点的位置进行查询。

为实现上述目的，本发明提供了一种元数据动态管理系统，包括：

元数据存储节点，用于存储元数据及对应的至少一个元数据副本；

元数据管理服务器，用于对所述元数据和元数据副本的对应关系进行管理，接收客户端发出的对所述元数据的查询请求时，根据所述数据查询请求在本地查询所述元数据对应的元数据存储节点的位置，根据所述元数据的访问时间和访问频率确定所述元数据的访问频度，将所述元数据的访问频度与预设阈值进行比对，将较高访问频度的元数据及对应的元数据副本调整到负载能力更高的元数据存储节点。

进一步的，所述元数据管理服务器具体包括：

副本关系管理模块，用于对所述元数据和元数据副本的对应关系进行管理；

查询请求接收模块，用于接收客户端发出的对所述元数据的查询请求；

节点位置查询模块，用于根据所述数据查询请求在本地查询所述元数据对应的元数据存储节点的位置；

访问频度确定模块，用于根据所述元数据的访问时间和访问频率确定所述元数据的访问频度；

访问频度比对模块，用于将所述元数据的访问频度与预设阈值进行比对；

存储节点调整模块，用于将较高访问频度的元数据及对应的元数据副本调整到负载能力更高的元数据存储节点。

进一步的，所述元数据管理服务器还包括：

副本备份模块，用于对所述元数据进行副本备份，得到至少一个元数据副本，并将所述元数据和对应的元数据副本的对应关系进行保存。

进一步的，所述元数据管理服务器还包括：

均值计算模块，用于计算本地保存的多个元数据的访问频度均值，作为访问频度的预设阈值；

访问频度比对模块具体用于判断所述元数据的访问频度是否超过所述访问频度均值，如果所述元数据的访问频度超过所述访问频度均值，则调用所述存储节点调整模块将所述元数据及对应的元数据副本调整到负载能力更高的元数据存储节点，否则不需对所述元数据及对应的元数据副本的存储位置进行调整。

进一步的，所述访问频度确定模块具体用于根据以下公式计算所述元数据的访问频度A，

A = 1 - \frac{1}{f_{r}} + \frac{1}{t - t_{c}}

进一步的，所述节点位置查询模块具体用于基于语义对所述元数据的元数据存储节点的位置进行查询。

基于上述技术方案，本发明在元数据管理服务器处理客户端发出的元数据的查询请求时，根据元数据的访问时间和访问频率确定元数据的访问频度，再根据访问频度来将访问频度较高的元数据和元数据副本调整到负载能力更高的元数据存储节点。这样就使得这些被频繁访问的元数据及副本调整在负载能力更高的服务器，从而不容易发生失效的情况。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明元数据动态管理方法的一实施例的流程示意图。

图2为本发明元数据动态管理方法的另一实施例的流程示意图。

图3为本发明元数据动态管理系统的一实施例的结构示意图。

图4为本发明元数据动态管理系统的另一实施例中的元数据管理服务器的结构示意图。

图5为本发明元数据动态管理系统的又一实施例中的元数据管理服务器的结构示意图。

图6为本发明元数据动态管理系统的再一实施例中的元数据管理服务器的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

如图1所示，为本发明元数据动态管理方法的一实施例的流程示意图。在本实施例中，元数据动态管理方法包括：

步骤101、元数据管理服务器接收客户端发出的对元数据的查询请求时，根据所述数据查询请求在本地查询所述元数据对应的元数据存储节点的位置；

步骤102、元数据管理服务器根据所述元数据的访问时间和访问频率确定所述元数据的访问频度；

步骤103、元数据管理服务器将所述元数据的访问频度与预设阈值进行比对；

步骤104、元数据管理服务器将较高访问频度的元数据及对应的元数据副本调整到负载能力更高的元数据存储节点。

在本实施例中，元数据管理服务器在接收到客户端发出的查询请求时，可以基于语义对元数据的元数据存储节点的位置进行查询。

在客户端发出元数据的查询请求时，元数据管理服务器会通过以下公式来确定元数据的访问频度A：

A = 1 - \frac{1}{f_{r}} + \frac{1}{t - t_{c}}

在确定了元数据的访问频度后，元数据管理服务器需要将该元数据的访问频度与预设阈值进行比对。这里的预设阈值可由元数据管理服务器针对本地保存的多个元数据的访问频度计算的均值确定。在对元数据的访问频度和访问频度均值进行比较后，可以确定本次查询请求所对应的元数据的访问频度是不是高于访问频度均值，如果超过访问频度均值，将元数据及对应的元数据副本调整到负载能力更高的元数据存储节点。对于元数据存储节点来说，其负载能力越强，调整到该元数据存储节点的元数据及对应的元数据副本失效的可能性就越小，通过上述调整过程，可以使被频繁访问的元数据及元数据副本更不容易失效。

如图2所示，为本发明元数据动态管理方法的另一实施例的流程示意图。与上一实施例相比，本实施例在步骤101之前还包括：

步骤100a、元数据管理服务器对元数据进行副本备份，得到至少一个元数据副本；

步骤100b、元数据管理服务器将所述元数据和对应的元数据副本的对应关系进行保存。

在本实施例中，元数据管理服务器对元数据进行副本备份，这样即便是元数据出现失效的情况，也可以通过元数据副本继续提供服务或者进行元数据的恢复。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

如图3所示，为本发明元数据动态管理系统的一实施例的结构示意图。在本实施例中，元数据动态管理系统包括：元数据存储节点1和元数据管理服务器2。

元数据存储节点1负责存储元数据及对应的至少一个元数据副本。元数据管理服务器2负责对所述元数据和元数据副本的对应关系进行管理，接收客户端发出的对所述元数据的查询请求时，根据所述数据查询请求在本地查询所述元数据对应的元数据存储节点的位置，根据所述元数据的访问时间和访问频率确定所述元数据的访问频度，将所述元数据的访问频度与预设阈值进行比对，将较高访问频度的元数据及对应的元数据副本调整到负载能力更高的元数据存储节点1。

如图4所示，为本发明元数据动态管理系统的另一实施例中的元数据管理服务器的结构示意图。与上一实施例相比，元数据管理服务器具体包括：副本关系管理模块21、查询请求接收模块22、节点位置查询模块23、访问频度确定模块24、访问频度比对模块25和存储节点调整模块26。

副本关系管理模块21负责对所述元数据和元数据副本的对应关系进行管理。查询请求接收模块22负责接收客户端发出的对所述元数据的查询请求。节点位置查询模块23负责根据所述数据查询请求在本地查询所述元数据对应的元数据存储节点的位置，可基于语义对所述元数据的元数据存储节点的位置进行查询。

访问频度确定模块24负责根据所述元数据的访问时间和访问频率确定所述元数据的访问频度，可根据以下公式计算所述元数据的访问频度A，

A = 1 - \frac{1}{f_{r}} + \frac{1}{t - t_{c}}

访问频度比对模块25负责将所述元数据的访问频度与预设阈值进行比对。存储节点调整模块26负责将较高访问频度的元数据及对应的元数据副本调整到负载能力更高的元数据存储节点。

如图5所示，为本发明元数据动态管理系统的又一实施例中的元数据管理服务器的结构示意图。与上一实施例相比，本实施例的元数据管理服务器还包括副本备份模块27，用于对所述元数据进行副本备份，得到至少一个元数据副本，并将所述元数据和对应的元数据副本的对应关系进行保存。

如图6所示，为本发明元数据动态管理系统的再一实施例中的元数据管理服务器的结构示意图。与上述实施例相比，本实施例还包括均值计算模块28，用于计算本地保存的多个元数据的访问频度均值，作为访问频度的预设阈值。访问频度比对模块25具体用于判断所述元数据的访问频度是否超过所述访问频度均值，如果所述元数据的访问频度超过所述访问频度均值，则调用所述存储节点调整模块26将所述元数据及对应的元数据副本调整到负载能力更高的元数据存储节点，否则不需对所述元数据及对应的元数据副本的存储位置进行调整。

最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims

1.一种元数据动态管理方法，包括：

2.根据权利要求1所述的元数据动态管理方法，其中在所述元数据管理服务器接收客户端发出的对元数据的查询请求的操作之前，还包括以下步骤：

3.根据权利要求1所述的元数据动态管理方法，其中所述元数据管理服务器将所述元数据的访问频度与预设阈值进行比对，将较高访问频度的元数据及对应的元数据副本调整到负载能力更高的元数据存储节点的操作具体为：

4.根据权利要求1所述的元数据动态管理方法，其中所述元数据管理服务器根据所述元数据的访问时间和访问频率确定所述元数据的访问频度的操作具体为：

A = 1 - \frac{1}{f_{r}} + \frac{1}{t - t_{c}}

5.根据权利要求1所述的元数据动态管理方法，其中所述根据数据查询请求在本地查询所述元数据对应的元数据存储节点的位置的操作具体为：

6.一种元数据动态管理系统，包括：

7.根据权利要求6所述的元数据动态管理系统，其中所述元数据管理服务器具体包括：

8.根据权利要求7所述的元数据动态管理系统，其中所述元数据管理服务器还包括：

9.根据权利要求7所述的元数据动态管理系统，其中所述元数据管理服务器还包括：

10.根据权利要求7所述的元数据动态管理系统，其中所述访问频度确定模块具体用于根据以下公式计算所述元数据的访问频度A，

A = 1 - \frac{1}{f_{r}} + \frac{1}{t - t_{c}}

11.根据权利要求7所述的元数据动态管理系统，其中所述节点位置查询模块具体用于基于语义对所述元数据的元数据存储节点的位置进行查询。