CN101800768A - 一种基于存储联盟子集划分的网格数据副本生成方法 - Google Patents

Abstract

一种基于存储联盟子集划分的网格数据副本生成方法，是一种根据网格用户数据访问的行为特征，来网格中数据副本创建及其在网格节点上的分布的方法。该方法的基本思想是将数据网格节点划分为彼此之间网络传输速率较好的若干子集合，利用在各子集合中网络延迟小的特点，减少副本创建数目，从而减小网格系统存储开销；同时运用缓存策略，能够在各个网格节点子集合中比较快速的生成副本；最后运用最佳客户策略，在网格节点子集合中调整数据副本的位置，形成良好的数据副本的布局。

Description

一种基于存储联盟子集划分的网格数据副本生成方法

技术领域

本发明是一种网格中数据副本创建问题的解决方案，主要用于解决低端网格中数据副本的创建问题，属于分布式环境下数据管理领域。

背景技术

自20世纪90年代以来，随着互联网技术的迅速发展，为了解决网络虚拟环境上的高性能资源共享和协同求解问题，网格(Grid)技术应运而生，并且得到了广泛应用。目前，各个国家都已经建立了许多面向多种应用的网格，仅在国内就已经建立了中国国家网格、973语义网格、863网格、上海网格、织女星网格等多个网格。网格这种新型分布式计算的基础架构被广泛应用于多种重大应用研究问题，已经成为国家级高性能计算和信息服务的战略性基础设施。

根据应用目标的不同，网格可以分为计算网格、数据网格、语义网格等，在各种网格，特别是数据网格中，都需要进行分布式环境下的数据管理，以便对各种数据资源的提供一体化访问。为了减少访问数据时的延迟，减轻网络带宽的消耗，往往在任务执行的节点或者其附件节点上缓存该任务所需的数据的副本。同时，由于网格节点的动态性，数据副本的采用也增强了网格的容错性和可靠性，并且使整个网格具有较好的负载平衡。这样，随着数据副本的采用而出现的数据副本管理成为各种网格(特别是数据网格)中数据管理的重要组成部分之一，其性能也对网格中数据管理，甚至整个网格的性能也产生重大影响。

在数据网格系统副本管理所涉及的副本创建、副本定位、副本选择和副本一致性管理等问题中，副本创建是基础。副本创建服务主要负责根据数据网格系统的应用特征、用户访问特征等信息，自动将数据复制到数据网格系统的不同节点上，为数据创建多个副本，实现副本创建服务的关键是副本创建策略。为了适应特定数据网格系统的应用特征，副本创建通常需要采取与之相适应的策略。

跟欧洲数据网格相比，低端数据网格系统具有以下不同特点：

1.拓扑结构：低端数据网格系统基于P2P拓扑结构；

2.源数据分布：低端数据网格系统的源数据通常分布存储于不同网格节点上；

3.网络环境：低端数据网格系统通常基于带宽得不到保证的Internet网络环境；

4.节点存储能力：由于低端数据网格系统通常基于历史遗留系统，甚至是桌面计算机系统，单个网格节点的存储能力有限。

目前已有的副本创建策略，如瀑布副本创建策略、缓存加瀑布副本创建策略以及快速传播副本创建策略主要是针对数据存储于顶层节点、基于层次式拓扑结构的数据网格系统开发的，因此无法应用于具有P2P拓扑结构、源数据分布存储于不同网格节点的低端数据网格系统；而最佳用户副本创建策略、基于缓存的副本创建策略和基于经济模型的副本创建策略，虽然可以应用于具有P2P拓扑结构以及源数据分布存储的数据网格系统中，但由于它们并没有针对低端数据网格系统的拓扑结构、源数据分布、网络带宽以及节点存储能力有限等特点进行相应的设计，故其系统性能较差。因此，需要根据低端数据网格系统的特点，开发适合低端数据网格系统的副本创建策略。

发明内容

技术问题：本发明的目的是提供一种基于存储联盟子集划分的网格数据副本生成方法，根据低端数据网格系统的特点，来有效的创建副本并形成合理的副本布局。

技术方案：本发明的方法是一种基于存储联盟子集划分的网格数据副本创建策略，通过划分数据网格节点到子集合中，同时结合缓存策略以及最佳客户策略，来创建网格数据副本并形成合理的副本分布。其基本思想是将彼此之间网络传输速率较好的网格节点划分到各子集合中，利用缓存策略来比较快速的生成副本，同时通过最佳客户策略来形成合理的副本布局。

该方法的主要步骤如下：

步骤1.标记网格中的源数据集合为D＝{d₁，d₂，……，d_n}，具有存储能力的网格节点集合为N＝{n₁，n₂，……，n_m}。根据低端数据网格的特点，源数据分布在各个节点中；d₁，d₂，……，d_n为源数据的n个分块，n₁，n₂，……，n_m代表m个网格节点；

步骤2.确定网络传输速率的阈值为v，依据v值的大小按照存储联盟子集划分的方法对N进行划分，把N划分为若干子集；

步骤3.设定划分基数，以此来确定网格节点子集的大小，若划分基数设为k，则子集的大小在区间[1，k]中；

步骤4.选定一个节点n_i加入集合A₁，并在N中选择任意一个剩余节点，使用网络性能检测工具判断该节点与A₁集合中任意节点之间的网络传输速率是否不小于v，若该节点与A₁中所有节点间的网络传输速率都不小于v，则将其加入集合A₁，否则继续选择一个剩余节点，并判断其是否能够加入A₁集合，直到A₁子集达到饱和值k或者N中没有剩余节点为止；

步骤5.在N-A₁中按照步骤3的方法在子集合A₂，A₃……中加入节点，直到N中所有节点都已经分配到子集合中去，得到子集集合A＝{A₁，A₂，……，As}；

步骤6.规定在任意一个网格节点子集合中，对于D中的任意一个数据只能存在一个副本(包括源数据文件)。

步骤7.按照副本创建中的缓存策略，当用户请求访问数据时便在本地创建此数据的副本，不同的是在用户节点创建数据副本前，先判断该用户节点所在的网格节点子集中是否存在该数据的副本，若存在，则创建，否则不创建；

步骤8.按照副本创建中的最佳用户策略来布局副本文件在节点子集中的位置。在数据网格系统的每个节点中保存一个详细的，对于每个数据的历史信息，包括对数据的访问次数和每次访问的节点；

步骤9.设定数据访问次数的阈值为f。给定一个时间间隙t，每过时间t，每个节点检查自己记录的历史信息，找出对某个数据访问次数超过阈值f的数据。如果没有找到这样的数据，则不需要对副本的布局作任何变动；如果找到了这样的数据，则根据历史记录信息确定对此数据访问次数最多的网格节点，此节点就是最佳用户；

步骤10.判断在该最佳用户中是否存在超过阈值f的数据的副本(包括源文件)，如果存在，则不需要作任何变动；如果不存在，则在此最佳用户上创建数据副本，并判断该最佳用户所在节点集合中其他节点上是否存在该数据副本，如果存在则删除。

步骤11.根据以上规则和机制，在此数据网格系统环境下，随着用户对数据的不断访问，副本逐渐被建立。在每次时间间隔t的历史信息记录的自检过程中，根据最佳用户的策略，逐步调整副本的位置，形成一个网格系统中合理的副本布局。

有益效果：本发明方法提出了一种基于存储联盟子集划分的网格数据副本创建策略，主要解决低端网格数据副本的生成问题。通过使用本发明的方法，能够采用尽量少的网格数据副本，节省网格节点存储空间，同时能够对数据副本进行合理的分布，达到减少网格数据访问延迟，减小存储开销的目地。下面给出具体的说明：

(1)将网格节点集合按照存储联盟子集划分的方法进行划分，将彼此之间网络传输速率较好的节点放入同一个网格节点子集合中，形成了在任意一个网格节点子集合中网络延迟小的特点，根据这个特点，在任意子集中只需要较少的副本就能够满足各用户节点的需求；

(2)设定了一个参数k，来限制节点子集的大小，并规定在任意一个子集中对于网格中任意数据只能存在一个副本，这样就能够限制副本的数目，减少网格系统的存储开销，同时又能够在一定程度上减少网格数据访问的延迟；

(3)采用了类似于缓存策略的副本创建策略，能够比较快速的生成副本，同时在(2)的限制条件下，减少了创建副本的数目；

(4)采用了最佳客户的策略来合理布局网格节点子集合中副本的位置，能够更有效的较少网格数据访问的延迟。

附图说明

图1是数据副本创建策略模块功能图。

图2是副本创建过程前后对比图。

图3是子集合划分流程图。

具体实施方式

整个副本创建策略的模块功能如图1所示，主要包含下面几个主要的子过程：

一、基于存储联盟的网格节点子集划分

集合N为网格系统中所有节点的集合，v为预先设定的网络传输速率阈值，k为预先设定的满足本发明要求的子集的大小值(节点子集的大小不可超过k)。若对于N的一个子集合Ap，满足：任意节点n_i，n_j∈Ap，若对于任意n_i≠n_j都有n_i，n_j间的网络传输速率Tv(n_i，n_j)＞v，则称这个子集为满足本发明要求的网格节点子集。

一个低端数据网格系统可以划分为多个节点子集，子集可以由网格系统管理员按照子集划分的规则事先设定，也可以在运行时刻根据网络状态动态生成。当有新的网格节点加入网格系统中时，则通过网络性能分析工具，分析它与未饱和子集中节点间的网络传输速率，以判断自身属于哪个节点子集。如果没有满足条件的节点子集，则子集单独构成一个新的节点子集。

在实际情况中，可能某个节点同时满足若干个节点子集的条件，则可将该节点加入任意一个节点子集。

在划分节点子集时，应根据网络环境以及应用的具体需要选择合适的网络传输速率阈值v和节点子集的大小参数k，这两个参数的取值直接影响着单个节点子集的大小以及访问数据网格的网络延迟的大小。因为本发明中，在任意一个节点子集中，对于网格系统中的任意一个数据，只能存在一个副本，而k值的大小影响到节点子集的大小，若k值过大，那么由于副本数目的过少会影响网络延迟；而如果k值过小，则可能会随着用户的不断访问，产生过多的副本，占用网格系统过多的存储资源。因此选择合适的参数对于本副本创建策略至关重要。

二、数据副本创建

将网格系统节点集合N划分为若干子集，则子集集合A＝{A₁，A₂，……，As}。规定在网格系统中任意一个节点子集中，对于网格系统的任意一个数据只能存在一个副本。缓存副本创建策略：当用户访问一个数据时，则在该用户节点创建这个数据的副本。这里用到的方法类似于缓存策略，当用户访问一个数据时，首先判断在该用户节点上是否存在这个数据的副本(包括源文件)，若存在，则不创建；若不存在，然后在该用户节点所在的节点子集中寻找是否存在该数据的副本(包括源文件)，若存在，则不创建，若不存在，则在该用户节点上创建这个数据的副本。

使用这种基于缓存策略的方法能够达到比较快速的创建副本的效果。

三、副本布局调整

根据上述方法已经在数据网格系统中初步创建了副本。本发明借鉴了最佳客户策略来调整副本的位置，以达到减小网络延迟的目地。

在数据网格系统中的每个节点要保存一个详细的，对于每个数据的历史信息，包括对数据的访问次数和每次访问的节点。设定自检时间间隔t，以及访问次数的预定值f。每过一个时间间隔t，则每个节点检查子集记录的历史信息，找出对某个数据的访问次数超过预定值f的数据。如果没有找到这样的数据，数据网格系统不需要作任何变动。如果找到了这样的数据，则根据记录的信息寻找对此数据访问次数最多的网格节点，此节点就是最佳用户。找到了最佳用户节点后，首先判断在该用户节点上是否存在此数据的副本，如果存在，则不需要作任何调整；如果不存在，则在该节点上创建此数据的副本，然后在最佳用户节点所在的节点子集合中，寻找除最佳用户节点以外的节点上是否存在此数据的副本，若存在则删除，不存在则不需要作任何变动。最后在服务端清除关于此数据的历史信息。

在这个过程中有两个关键点：1.访问次数预定值f的确定；2.自检时间间隔t的确定。如果f值取的过大，则系统在长时间内无法对数据副本的位置进行合理布局，因此会影响到用户访问数据的网络延迟；如果f取值过小，则可能导致大范围的频繁调整副本的位置，影响到系统的性能。t的取值也同样会影响到网格系统的性能和网络延迟的大小。

四、副本创建过程示例

下面以一个简单的数据网格系统和用户访问行为来示例本发明的低端数据网格系统中副本的创建过程，图3为副本创建过程前后对比图。

假设一个数据网格系统由n₁，n₂，n₃，n₄这4个节点构成，源数据集合D由d₁，d₂，d₃构成，d₁，d₂，d₃分别在n₁，n₂，n₃上。现在n₁，n₂在节点子集A₁中，n₃，n₄在节点子集A₂中。设访问次数阈值为50，经过一段时间间隔t，用户的历史访问信息为：

n₁节点数据访问情况：

数据	n1访问次数	n2访问次数	n3访问次数	n4访问次数	总次数
						d1	18	22	8	7	55

由上表可知，d₁数据被访问的总次数为55超过了阈值50，则在d₁数据的最佳客户n₂上创建d₁的副本。然后判断在n₂所在的节点子集A₁中(不包括n₂)是否存在d₁的副本。由于数据d₁在节点n₁上存在副本，故删除n₁节点上的d₁副本即可。

n₂节点数据访问情况：

数据	n1访问次数	n2访问次数	n3访问次数	n4访问次数	总次数
						d2	7	22	15	25	69

由上表可知，d₂数据被访问的总次数为69超过了阈值50，则在d₂数据的最佳客户n₄上创建d₂的副本。然后判断在n₄所在的节点子集A₂中(不包括n₄)是否存在d₂的副本，由于在A₂子集中不存在d₂数据的副本，故不需要作任何变动。

n₃节点数据访问情况：

数据	n1访问次数	n2访问次数	n3访问次数	n4访问次数	总次数
						d3	7	8	10	12	35

由上表可知，d3数据被访问的次数为35，小于阈值50，故不需要作任何变动。

Claims (1)

1.一种基于存储联盟子集划分的网格数据副本生成方法，其特征在于该方法通过网络性能分析工具，将彼此之间网络传输速率高的网格节点划分到各子集合中，利用缓存策略来快速的生成副本，同时通过最佳客户策略来形成合理的副本布局，其步骤主要如下：

步骤1.标记网格中的源数据集合为D＝{d₁，d₂，……，d_n}，具有存储能力的网格节点集合为N＝{n₁，n₂，……，n_m}，根据低端数据网格的特点，源数据分布在各个节点中；d₁，d₂，……，d_n为源数据的n个分块，n₁，n₂，……，n_m代表m个网格节点；

步骤2.确定网络传输速率的阈值为v，依据v值的大小按照存储联盟子集划分的方法对N进行划分，把N划分为若干子集；

步骤3.设定划分基数，以此来确定网格节点子集的大小，若划分基数设为k，则子集的大小在区间[1，k]中；

步骤4.选定一个节点n_i加入集合A₁，并在N中选择任意一个剩余节点，使用网络性能检测工具判断该节点与A₁集合中任意节点之间的网络传输速率是否不小于v，若该节点与A₁中所有节点间的网络传输速率都不小于v，则将其加入集合A₁，否则继续选择一个剩余节点，并判断其是否能够加入A₁集合，直到A₁子集达到饱和值k或者N中没有剩余节点为止；

步骤5.在N-A₁中按照步骤3的方法在子集合A₂，A₃……中加入节点，直到N中所有节点都已经分配到子集合中去，得到子集集合A＝{A₁，A₂，……，As}；

步骤6.规定在任意一个网格节点子集合中，对于D中的任意一个数据包括源数据文件只能存在一个副本，

步骤7.按照副本创建中的缓存策略，当用户请求访问数据时便在本地创建此数据的副本，不同的是在用户节点创建数据副本前，先判断该用户节点所在的网格节点子集中是否存在该数据的副本，若存在，则创建，否则不创建；

步骤8.按照副本创建中的最佳用户策略来布局副本文件在节点子集中的位置，在数据网格系统的每个节点中保存一个详细的，对于每个数据的历史信息，包括对数据的访问次数和每次访问的节点；

步骤9.设定数据访问次数的阈值为f，给定一个时间间隙t，每过时间t，每个节点检查自己记录的历史信息，找出对某个数据访问次数超过阈值f的数据，如果没有找到这样的数据，则不需要对副本的布局作任何变动；如果找到了这样的数据，则根据历史记录信息确定对此数据访问次数最多的网格节点，此节点就是最佳用户；

步骤10.判断在该最佳用户中是否存在超过阈值f的数据的副本，这里的副本包括源文件，如果存在，则不需要作任何变动；如果不存在，则在此最佳用户上创建数据副本，并判断该最佳用户所在节点集合中其他节点上是否存在该数据副本，如果存在则删除，

步骤11.根据以上规则和机制，在此数据网格系统环境下，随着用户对数据的不断访问，副本逐渐被建立，在每次时间间隔t的历史信息记录的自检过程中，根据最佳用户的策略，逐步调整副本的位置，形成一个网格系统中合理的副本布局。

Images