CN103841168A - 数据副本更新方法及元数据服务器 - Google Patents

Abstract

本发明涉及一种数据副本更新方法及元数据服务器，数据副本更新方法包括：接收客户端发送的数据更新请求，并根据数据更新请求查询待更新的数据副本对应的元数据的活跃度；将元数据的活跃度与预设的活跃度阈值进行比较，如果超过预设的活跃度阈值，则为元数据对应的数据模块设置代表较高优先级的更新标记；查看元数据对应的数据模块的更新标记，如果更新标记所代表的优先级高于当前处理优先级，则查找元数据对应的数据模块的各个数据副本；按照各个数据副本的活跃度的大小顺序更新各个数据副本。本发明将元数据和对应的数据副本的活跃度作为优先更新的依据，使得被频繁访问的数据模块可以被及时的同步更新，从而不影响访问者获得数据的及时性。

Description

数据副本更新方法及元数据服务器

技术领域

本发明涉及云计算海量存储应用领域，尤其涉及一种数据副本更新方法及元数据服务器。

背景技术

在当今的信息社会，每天都产生大量的需要保存的数据，这使得云计算海量存储系统称为当前研究和应用中的热点问题。对于云计算平台的海量数据存储系统来说，其保存了大量的数据，并提供这些数据的访问接口，用户可以通过访问这些接口来进行数据读取和数据写入。

当云计算平台的海量数据存储系统中的数据被频繁访问时，原始数据会被复制出多个数据副本以提供给访问者。访问者可以对其所获取到的数据副本执行写入的更新操作。当这些数据副本被多次读写时，如果需要对某个数据副本更新，那么其他的数据副本也需要进行同步更新，而数据副本的同步更新则会耗费很多的时间，进而影响访问者获得数据的及时性。但目前尚缺乏能够及时更新数据副本的机制。

发明内容

本发明的目的是提出一种数据副本更新方法及元数据服务器，能够在海量数据存储体系中实现数据副本的及时更新。

为实现上述目的，本发明提供了一种数据副本更新方法，包括：

接收客户端发送的数据更新请求，并根据所述数据更新请求查询待更新的数据副本对应的元数据的活跃度；

将所述元数据的活跃度与预设的活跃度阈值进行比较，如果超过所述预设的活跃度阈值，则为所述元数据对应的数据模块设置代表较高优先级的更新标记；

查看所述元数据对应的数据模块的更新标记，如果所述更新标记所代表的优先级高于当前处理优先级，则查找所述元数据对应的数据模块的各个数据副本；

按照所述各个数据副本的活跃度的大小顺序更新所述各个数据副本。

进一步的，在接收到所述客户端发出的数据访问请求时，还包括：

查找希望访问的数据的元数据，并根据所述元数据查找对应的数据副本；

根据访问的频度计算所述元数据和数据副本的活跃度。

进一步的，如果所述元数据的活跃度未超过所述预设的活跃度阈值，则为所述元数据对应的数据模块设置代表较低优先级的更新标记。

进一步的，如果所述更新标记所代表的优先级未高于当前处理优先级，则暂不处理所述元数据对应的数据模块的更新。

进一步的，所述元数据和数据副本的活跃度采用以下公式进行计算：

$A=1-\frac{1}{f_r}+\frac{1}{t-t_c}$

其中，A表示元数据或数据副本的活跃度，f_r表示元数据或数据副本在单位时间被访问的次数，t为当前时间，t_c是元数据或数据副本创建的时间，t和t_c均以天为计算单位。

为实现上述目的，本发明提供了一种实现数据副本更新的元数据服务器，包括：

活跃度查询模块，用于接收客户端发送的数据更新请求，并根据所述数据更新请求查询待更新的数据副本对应的元数据的活跃度；

优先级标记模块，用于将所述元数据的活跃度与预设的活跃度阈值进行比较，如果超过所述预设的活跃度阈值，则为所述元数据对应的数据模块设置代表较高优先级的更新标记；

数据更新模块，用于查看所述元数据对应的数据模块的更新标记，如果所述更新标记所代表的优先级高于当前处理优先级，则查找所述元数据对应的数据模块的各个数据副本，并按照所述各个数据副本的活跃度的大小顺序更新所述各个数据副本。

进一步的，还包括：

数据查找模块，用于在接收到所述客户端发出的数据访问请求时，查找希望访问的数据的元数据，并根据所述元数据查找对应的数据副本；

活跃度计算模块，用于根据访问的频度计算所述元数据和数据副本的活跃度。

进一步的，所述优先级标记模块还用于在所述元数据的活跃度未超过所述预设的活跃度阈值时，为所述元数据对应的数据模块设置代表较低优先级的更新标记。

进一步的，所述数据更新模块还用于在所述更新标记所代表的优先级未高于当前处理优先级时，暂不处理所述元数据对应的数据模块的更新。

进一步的，所述活跃度计算模块中元数据和数据副本的活跃度采用以下公式进行计算：

$A=1-\frac{1}{f_r}+\frac{1}{t-t_c}$

其中，A表示元数据或数据副本的活跃度，f_r表示元数据或数据副本在单位时间被访问的次数，t为当前时间，t_c是元数据或数据副本创建的时间，t和t_c均以天为计算单位。

基于上述技术方案，本发明将元数据和对应的数据副本的活跃度作为优先更新的依据，对元数据对应的数据模块设置优先级的更新标记，并在更新过程中按照标记的优先级高低来进行元数据对应的数据副本的更新，而在同一个元数据对应的多个数据副本来说，则按照数据副本的活跃度大小依次进行更新。这样就使得被频繁访问的数据副本可以被及时的同步更新，从而不影响访问者获得数据的及时性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为应用本发明元数据服务器实施例的元计算平台的海量数据存储系统的示意图。

图2为本发明数据副本更新方法的一实施例的流程示意图。

图3为本发明数据副本更新方法的另一实施例的流程示意图。

图4为本发明元数据服务器的一实施例的结构示意图。

图5为本发明元数据服务器的另一实施例的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

如图1所示，为应用本发明元数据服务器实施例的元计算平台的海量数据存储系统的示意图。在元计算平台的海量数据存储系统中，客户端1可以访问元数据服务器2，元数据服务器2中保存有元数据，即数据模块的描述信息，而数据模块由多个数据的复制版本，即数据副本3构成。客户端1可以对希望获取的数据的复制版本进行读写操作，当用户通过客户端1对数据副本3进行写操作时，需要对其他的数据副本3也进行更新。

基于上述系统，图2给出了本发明数据副本更新方法的一实施例的流程示意图。在本实施例中，数据副本更新方法包括：

步骤101、接收客户端发送的数据更新请求，并根据所述数据更新请求查询待更新的数据副本对应的元数据的活跃度；

步骤102、将所述元数据的活跃度与预设的活跃度阈值进行比较，如果超过所述预设的活跃度阈值，则为所述元数据对应的数据模块设置代表较高优先级的更新标记；

步骤103、查看所述元数据对应的数据模块的更新标记，如果所述更新标记所代表的优先级高于当前处理优先级，则查找所述元数据对应的数据模块的各个数据副本；

步骤104、按照所述各个数据副本的活跃度的大小顺序更新所述各个数据副本。

在上述技术方案中，活跃度是数据更新的优先程度的依据，而活跃度是由时间与访问频率两方面因素所影响的，如果某个数据被创建的时间比较新，或者某个数据单位时间里被访问的次数较多，则认为其活跃度较高，反之，如果某个数据属于比较老且很少被访问的数据，则认为其活跃度较低。

对于活跃度较高的元数据，则对其设置较高优先级的更新标记，以便在实际更新时能够及时对其对应的数据副本进行更新，而对于活跃度较低的元数据，则对其设置较低优先级的更新标记，当优先级较高的元数据对应的数据副本更新完毕后，则可以对这些优先级较低的元数据对应的数据副本进行更新。而由于这些数据副本被访问的频率较低，因此对用户的影响也比较小。

在对于某个待更新的元数据的数据副本来说，更新顺序可以根据数据副本的活跃度的大小顺序来安排，这样就可以使访问最频繁的数据副本最先被更新，从而满足用户的访问及时性需求。

在步骤103中，如果所述更新标记所代表的优先级未高于当前处理优先级，则暂不处理所述元数据对应的数据模块的更新，等到较高优先级的元数据对应的数据模块更新完毕后，再进行这些元数据对应的数据模块的更新。

如图3所示，为本发明数据副本更新方法的另一实施例的流程示意图。与上一实施例相比，本实施例在步骤201接收到所述客户端发出的数据访问请求时，还包括以下步骤：

步骤202、查找希望访问的数据的元数据，并根据所述元数据查找对应的数据副本；

步骤203、根据访问的频度计算所述元数据和数据副本的活跃度。

元数据和数据副本的活跃度计算均可以采用以下公式进行计算：

$A=1-\frac{1}{f_r}+\frac{1}{t-t_c}$

其中，A表示元数据或数据副本的活跃度，f_r表示元数据或数据副本在单位时间被访问的次数，t为当前时间，t_c是元数据或数据副本创建的时间，t和t_c均以天为计算单位。

上面所示的公式只是一个说明性示例，其他利用时间和访问频率，且能够体现出时间和/或访问频率对活跃度的影响的公式也同样适用于本发明，这里就不再一一举例了。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

如图4所示，为本发明元数据服务器的一实施例的结构示意图。在本实施例中，实现数据副本更新的元数据服务器包括：活跃度查询模块21、优先级标记模块22和数据更新模块23。

活跃度查询模块21负责接收客户端发送的数据更新请求，并根据所述数据更新请求查询待更新的数据副本对应的元数据的活跃度。优先级标记模块22负责将所述元数据的活跃度与预设的活跃度阈值进行比较，如果超过所述预设的活跃度阈值，则为所述元数据对应的数据模块设置代表较高优先级的更新标记。优先级标记模块22还可以在所述元数据的活跃度未超过所述预设的活跃度阈值时，为所述元数据对应的数据模块设置代表较低优先级的更新标记。

数据更新模块23负责查看所述元数据对应的数据模块的更新标记，如果所述更新标记所代表的优先级高于当前处理优先级，则查找所述元数据对应的数据模块的各个数据副本，并按照所述各个数据副本的活跃度的大小顺序更新所述各个数据副本。数据更新模块23还可以在所述更新标记所代表的优先级未高于当前处理优先级时，暂不处理所述元数据对应的数据模块的更新。

如图5所示，为本发明元数据服务器的另一实施例的结构示意图。与上一实施例相比，本实施例还包括了数据查找模块24和活跃度计算模块25。其中，数据查找模块24负责在接收到所述客户端发出的数据访问请求时，查找希望访问的数据的元数据，并根据所述元数据查找对应的数据副本。活跃度计算模块25负责根据访问的频度计算所述元数据和数据副本的活跃度。

活跃度计算模块中元数据和数据副本的活跃度可以采用以下公式进行计算：

$A=1-\frac{1}{f_r}+\frac{1}{t-t_c}$

其中，A表示元数据或数据副本的活跃度，f_r表示元数据或数据副本在单位时间被访问的次数，t为当前时间，t_c是元数据或数据副本创建的时间，t和t_c均以天为计算单位。

通过上述数据副本更新方法及元数据服务器实施例，可以看出本发明可以实现被频繁访问的数据副本的及时同步更新，使访问者可以及时获得更新后的数据，尤其对现有云计算平台的各类行业应用例如政务舆情监测、中小企业经营等所采用的海量数据存储提供合理有效的同步更新机制。

最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (10)

1.一种数据副本更新方法，包括：

接收客户端发送的数据更新请求，并根据所述数据更新请求查询待更新的数据副本对应的元数据的活跃度；

将所述元数据的活跃度与预设的活跃度阈值进行比较，如果超过所述预设的活跃度阈值，则为所述元数据对应的数据模块设置代表较高优先级的更新标记；

查看所述元数据对应的数据模块的更新标记，如果所述更新标记所代表的优先级高于当前处理优先级，则查找所述元数据对应的数据模块的各个数据副本；

按照所述各个数据副本的活跃度的大小顺序更新所述各个数据副本。

2.根据权利要求1所述的数据副本更新方法，其中在接收到所述客户端发出的数据访问请求时，还包括：

查找希望访问的数据的元数据，并根据所述元数据查找对应的数据副本；

根据访问的频度计算所述元数据和数据副本的活跃度。

3.根据权利要求2所述的数据副本更新方法，其中如果所述元数据的活跃度未超过所述预设的活跃度阈值，则为所述元数据对应的数据模块设置代表较低优先级的更新标记。

4.根据权利要求2所述的数据副本更新方法，其中如果所述更新标记所代表的优先级未高于当前处理优先级，则暂不处理所述元数据对应的数据模块的更新。

5.根据权利要求2所述的数据副本更新方法，其中所述元数据和数据副本的活跃度采用以下公式进行计算：

$A=1-\frac{1}{f_r}+\frac{1}{t-t_c}$

其中，A表示元数据或数据副本的活跃度，f_r表示元数据或数据副本在单位时间被访问的次数，t为当前时间，t_c是元数据或数据副本创建的时间，t和t_c均以天为计算单位。

6.一种实现数据副本更新的元数据服务器，包括：

活跃度查询模块，用于接收客户端发送的数据更新请求，并根据所述数据更新请求查询待更新的数据副本对应的元数据的活跃度；

优先级标记模块，用于将所述元数据的活跃度与预设的活跃度阈值进行比较，如果超过所述预设的活跃度阈值，则为所述元数据对应的数据模块设置代表较高优先级的更新标记；

数据更新模块，用于查看所述元数据对应的数据模块的更新标记，如果所述更新标记所代表的优先级高于当前处理优先级，则查找所述元数据对应的数据模块的各个数据副本，并按照所述各个数据副本的活跃度的大小顺序更新所述各个数据副本。

7.根据权利要求6所述的元数据服务器，其中还包括：

数据查找模块，用于在接收到所述客户端发出的数据访问请求时，查找希望访问的数据的元数据，并根据所述元数据查找对应的数据副本；

活跃度计算模块，用于根据访问的频度计算所述元数据和数据副本的活跃度。

8.根据权利要求7所述的元数据服务器，其中所述优先级标记模块还用于在所述元数据的活跃度未超过所述预设的活跃度阈值时，为所述元数据对应的数据模块设置代表较低优先级的更新标记。

9.根据权利要求7所述的元数据服务器，其中所述数据更新模块还用于在所述更新标记所代表的优先级未高于当前处理优先级时，暂不处理所述元数据对应的数据模块的更新。

10.根据权利要求7所述的数据副本更新方法，其中所述活跃度计算模块中元数据和数据副本的活跃度采用以下公式进行计算：

$A=1-\frac{1}{f_r}+\frac{1}{t-t_c}$

其中，A表示元数据或数据副本的活跃度，f_r表示元数据或数据副本在单位时间被访问的次数，t为当前时间，t_c是元数据或数据副本创建的时间，t和t_c均以天为计算单位。

Images