CN103455579A - 一种基于万有引力搜索模型的副本替换方法 - Google Patents

Abstract

本发明公开了一种基于万有引力搜索模型的副本替换方法：步骤1：获得最近T时间段内文件的副本文件被访问记录；步骤2：获得文件所在节点与副本文件所在节点之间最大网络带宽及副本文件访问时间；步骤3：当存储节点的文件被访问后，得到新的副本文件，判断该节点上是否至少有一个副本文件，是则执行步骤4，否则执行步骤5；步骤4：计算该文件的所有副本文件的替换价值，判断新的副本文件的大小是否小于替换价值最小的副本文件与该存储节点的剩余存储空间之和，是则替换价值最小的副本文件；步骤5：判断该存储节点的剩余存储空间是否大于新的副本文件的大小，存储将新的副本文件。该方法能够提高系统副本管理能力，优化网络存储系统整体性能。

Description

一种基于万有引力搜索模型的副本替换方法

技术领域

本发明涉及一种副本替换方法，具体是一种基于万有引力搜索模型的副本替换方法。

背景技术

在海量网络存储系统中，由于存储节点多而杂，而且存储网络存在异构性，使得各个存储节点在性能和可靠性上不尽相同，系统需要合理的管理这些节点，协调它们的工作，尽量使用大量价格低廉的存储设备按一定的规则组合成一个可靠性较强、可用性较高的存储系统，因此需要创建文件副本。

副本管理技术是海量网络存储系统中保证数据可用性和可靠性的重要技术，其用于避免由于个别存储节点的网络故障或机器故障等不可预知的情况而造成文件的不可访问或丢失。因此，从理论上分析文件副本越多，则系统和文件的可用性及可靠性就越高；但是，副本的数量即副本冗余度的增加会消耗更多的系统资源如存储空间，并且随着副本数量的增加，为了更新副本，保持副本的一致性，也将会占用一定的网络资源，势必会加重网络带宽的负担。因此，副本管理过程要权衡上述两方面。副本数量的管理是在适当的时间、合适的节点创建或删除对应的副本，可明显地提高数据文件的访问速度以及降低网络资源的消耗和系统的负载均衡。海量网络存储系统中，副本选择策略可提高系统的响应时间、降低网络的时间延迟和带宽消耗，从而提高数据文件的访问速度。

副本替换是副本管理技术中的一种手段，由于文件副本数量的增加，不但占用了存储节点中的大量存储空间，而且加大了系统对副本管理和维护的开销，因此必须要适当地进行副本替换。副本替换的好坏会对存储系统的性能产生直接的影响。副本替换一般有以下两种情况：（1）创建副本之初，如果存储节点上没有足够的空间来存储，新的副本文件，这时需要存储系统调用副本替换策略，删除旧的文件副本；（2）需要定期进行副本替换来实现对系统中文件副本进行更新，旧版本的文件副本需要删除。

当存储节点中剩余的存储空间不足以存储新副本的时候，如何选择一个新的副本来替换旧的副本？传统的副本替换方法通常采用操作系统的页面置换算法的操作方式。传统的副本替换方法一般只适应于单一网络存储环境下，其无法适应海量信息网络存储环境（系统），对数据文件的读取速度较慢，且常常陷入局部最优值，无法在海量存储整体环境中找到最优的替换的副本文件。这是由于以下几个原因：1）海量存储环境中的存储节点更多，存储节点覆盖范围更广；2）存储的副本文件不仅仅放在单一网络系统中，而可能分布在不同的网络系统中，因此具有更高的动态性；3）文件访问时延、网络带宽和硬件的配置等。

因此，研究一种能够有效降低文件访问时间的副本替换方法，对于提高系统副本管理能力，达到优化系统的整体性能是十分有必要的。

Esmat Rashedi和H.Nezamabadrpour等人于2009年提出一种源于对物理学中的牛顿万有引力定律进行模拟的优化搜索技术，即引力搜索算法（GSA），它与粒子群算法相似，是一种元启发式算法，它通过群体中各粒子之间的万有引力相互作用产生的群体智能指导优化搜索，以达到节约网络资源，提高系统服务性能的目的。万有引力是自然界4种基础的力之一，粒子在万有引力的作用下相互之间不断地靠近，在自然界中，每一个里粒子都会和其他的所有粒子相互吸引，对于两个相互分离的粒子，它们相互之间的万有引力是没有间隔和延迟的。

发明内容

针对目前海量存储中因用户数量、数据类型以及网络环境复杂而引起对数据文件的读取速度较慢，导致系统整体服务性能降低、浪费部分网络资源的问题，本发明的目的在于，提供一种基于万有引力搜索模型的副本替换算法（GMRA），该方法根据海量网络存储的副本替换的特点及万有引力搜索算法的特性而提出，实现对数据文件读取请求快速响应。本发明在海量网络存储环境下，采用万有引力搜索模型有效地对系统进行负载均衡，降低文件访问时间，降低网络带宽的消耗和数据访问的延迟，使用本发明的方法能够提高副本管理能力，达到优化海量信息网络存储系统的整体性能的目的。

为了实现上述任务，本发明采用如下的技术方案予以解决：

一种基于万有引力搜索模型的副本替换方法，具体包括如下步骤：

步骤1：获得最近T时间段内文件f的所有副本文件f_i的被访问记录，并将访问记录存储在多维关系索引表中；每条访问记录包括：最近T时间段内副本文件f_i被访问次数t、副本文件f_i所在节点位置、副本文件f_i的大小S_i；

步骤2：根据多维关系索引表中的索引地址，找到步骤1中文件f的所有副本文件各自所在的节点，并分别获得文件f所在节点与它的每个副本文件所在节点之间的最大网络带宽B_i及每个副本文件的访问时间T_vt；

步骤3：当某存储节点上的某文件f被访问后，得到该文件f的新的副本文件，此处的访问是指用户对文件的写操作。

如果在文件f被访问前，该存储节点上存有文件f的至少一个副本文件，执行步骤4；否则执行步骤5；

步骤4：判断步骤3得到的新的副本文件的大小是否大于原有的所有副本文件与该存储节点的剩余存储空间之和，如果是，则将新的副本文件删除；否则，利用式3分别计算该文件f的所有副本文件的替换价值，并按照替换价值将副本文件升序排列；此时，判断新的副本文件的大小是否小于替换价值最小的副本文件与该存储节点的剩余存储空间之和，是则用新的副本文件替换替换价值最小的副本文件，否则，比较新的副本文件的大小是否小于替换价值最小的两个副本文件与该存储节点的剩余存储空间之和，是则用新的副本文件替换该替换价值最小的两个副本文件，否则增加副本文件的个数继续判断并删除原有的副本文件，直到将新的副本文件存入该存储节点；

$F_i\left(f\right)=G_0\frac{N_i(t,T)\×S_i}{B_i\×T_{\mathrm{vt}}}$ （式3）

式中，F_i(f)表示副本文件f_i的替换价值，i∈(1，n)，n为文件f的所有副本文件的数目；N_i(t，T)表示副本文件f_i在最近的时间段T内被访问t次；B_i表示文件f所在节点到副本文件f_i所在节点之间的带宽（单位：MBps）；S_i表示副本文件f_i的大小（单位：MB）；T_vt表示访问副本文件f_i所需要的时间（单位：S）；G₀为引力常数。

步骤5：判断该存储节点的剩余存储空间是否大于新的副本文件的大小，如果是，将新的副本文件存储到该存储节点上，否则，删除该新的副本文件。

进一步的，所述步骤4中，所述引力常数G₀=0.02。

本发明的有益效果如下：

本发明的基于万有引力搜索模型的副本替换方法在解决海量信息网络存储系统，特别是异构系统多副本文件的优化问题上，有效的避免了传统操作系统平台由于文件置换方法的局限性而陷入局部最优值的情况发生，更好从系统整体来分析处理，根据各副本文件之间的微引力，宏观扩大其之间基于万有引力搜索的副本价值，来合理选择系统需要调度的文件副本。经试验，在不同作业数的情况下，本发明的基于引力搜索模型的副本替换策略总体上要优于其他几种经典算法（如LRU、LFU、MRU、MFU等），在作业数量较少的时候，本发明的算法的平均作业时间比几种经典的算法更具有优势；在作业数较多的时候，本发明的算法的平均作业时间明显比较短，优势较明显。另外，对于网络利用率，本发明的算法大幅度优于几种经典的算法。因此，本发明对于提高系统效率和存储的负载均衡性是有效的。

附图说明

图1是万有引力作用原理图。

图2是本发明的基于万有引力模型的副本替换方法的流程图。

图3是本发明的方法在OptorSim实践操作平台的参数设置。

图4是本发明的方法与几种经典算法的平均作业时间的比较。

图5是本发明的方法与几种经典算法的网络利用率的比较。

以下结合附图和具体实施方式对本发明进一步解释说明。

具体实施方式

本发明的方法是在操作系统中的页面置换算法的基础上，基于操作系统与海量信息网络存储系统的差异性提出的，由于海量信息网络存储系统中存储节点多而杂，且存储网络存在异构性，为了提高文件访问时间，需要实现对数据文件读取请求快速响应。由此引出引力搜索算法达到节约网络资源，提高系统服务性能的目的。

如图1所示的万有引力作用原理，对于两个相互分离的粒子，它们相互之间作用的万有引力，根据牛顿万有引力，它的大小和两个粒子的质量成正比，和两个粒子之间的欧式距离的平方成反比。

$F=G\frac{M_1{M}_2}{R^2}$ （式1）

式中，F表示两个粒子之间的引力大小；G表示万有引力常数；M₁、M2分别表示两个粒子的惯性质量；R表示两个粒子之间的欧式距离。该公式适用于计算两个质点之间的万有引力；对于非质点，先将其分割成无数个质点，再计算各质点之间的引力。

为了得到文件及副本文件的引力关系，本发明在文件和存放副本节点之间建立一个索引机制，该索引机制提供文件与存放副本节点之间的多维映射关系，即一张多维索引表，其包括各副本文件的大小、副本文件在一段时间内被访问的次数、副本文件存放的节点位置。根据索引机制中提供的相关映射参数，构造出万有引力搜索模型。在索引机制中，存放文件与存放副本节点之间的引力价值越小，则该副本被淘汰和替换的概率就越大。当存储节点上的剩余空间不足以将系统所需的副本文件存放时，系统将根据其引力价值的大小将引力价值较小的副本文件替换掉，以此使系统具有较高的吞吐率，提升系统执行效率。

一般来说，用户成功获得副本所花费的代价主要包含访问代价和传输代价。访问代价又包含访问速度（包括查找时间和定位时间）、带宽B、文件响应时间等。传输代价指的是副本在传输过程中所花费的时间也即传输时间。如果用户选择的副本不在本地节点，那么就需要到其他节点去访问该副本，访问时间由此加大。如果副本的容量较大，则传输时间较大系统的作业时间（Mean Job Time）表示如下：

$T_{\mathrm{ft}}=T_{\mathrm{vt}}+T_{\mathrm{pt}}+T_{\mathrm{wt}}$ （式2）

式中，T_ft表示作业时间，T_vt表示文件访问时间（在本发明中为访问每个副本文件的时间），T_pt表示文件处理时间，T_wt表示作业排队时间（根据引力价值的大小在挂起队列中选择合适的文件副本进行替换，并将之加入到排队序列中所用的时间）。从式2中可看出，在相同的情况下，副本的传输时间与文件访问时间T_vt成正比增长；因此，副本的传输时间的增大必然会加大作业时间T_ft，最终导致系统的整体性能下降。从另外一个角度来说，如果副本的容量较大，加上用户请求该节点的频率较高，必然会大量消耗网络带宽资源。

因此，考虑到副本大小、带宽、访问频率和时间等特点，基于式1，本发明建立如下的基于万有引力搜索模型的副本替换公式：

$F_i\left(f\right)=G_0\frac{N_i(t,T)\×S_i}{B_i\×T_{\mathrm{vt}}}$ （式3）

式中，F_i(f)表示副本文件价值亦即文件与副本之间的引力大小；N_i(t，T)表示副本文件f_i在时间段T内被访问t次；B_i表示文件f所在节点到副本文件f_i所在节点之间的带宽（单位：MBps）；S_i表示副本文件f_i的大小（单位：MB）；T_vt表示访问副本文件f_i所需要的时间（单位：S）；G₀=0.02为引力常数。由式3可知，在一个时间段内，一个副本文件被访问的频率越高，副本文件的容量越大，文件和副本节点之间的带宽越窄或定位到该副本文件f_i的时间越短，那么它们之间的引力就越大，副本文件被替换淘汰的概率越小；反之，其被替换淘汰的概率就越大。

如果用户所选择的副本不在本地，那么用户欲成功获得理想的副本文件的访问时间包括：查找时间和定位时间。查找时间指在多维索引表中寻找该副本文件所存放的地址，定位时间指根据查找到的地址再具体定位到副本文件存放位置（包括本地或者其他远程存储节点上）。

为了更清楚地说明本发明的方法，这里对海量信息网络存储系统中文件的副本文件定义为：与一个文件相同的所有冗余文件均称为该文件的副本文件。

如图2所示，本发明的基于万有引力搜索模型的副本替换方法，具体包括如下步骤：

步骤1：获得最近T时间段内文件f的所有副本文件f_i的被访问记录，并将访问记录存储在多维关系索引表中；每条访问记录包括：最近T时间段内副本文件f_i被访问次数t、索引地址（即副本文件f_i所在节点位置）、副本文件f_i的大小S_i；

步骤2：根据多维关系索引表中的索引地址，找到步骤1中文件f的所有副本文件各自所在的节点，并分别获得文件f所在节点与它的每个副本文件所在节点之间的最大网络带宽B_i及每个副本文件的访问时间T_vt；

步骤3：当某存储节点上的某文件f被访问后，得到该文件f的新的副本文件，此处的访问是指用户对文件的写操作。

如果在文件f被访问前，该存储节点上存有文件f的至少一个副本文件，执行步骤4；否则执行步骤5。

步骤4：判断步骤3得到的新的副本文件的大小是否大于原有的所有副本文件与该存储节点的剩余存储空间之和，如果是，则将新的副本文件删除；否则，利用式3分别计算该文件f的所有副本文件的替换价值，并按照替换价值将副本文件升序排列；此时，判断新的副本文件的大小是否小于替换价值最小的副本文件与该存储节点的剩余存储空间之和，是则用新的副本文件替换替换价值最小的副本文件，否则，比较新的副本文件的大小是否小于替换价值最小的两个副本文件与该存储节点的剩余存储空间之和，是则用新的副本文件替换该替换价值最小的两个副本文件，否则增加副本文件的个数继续判断并删除原有的副本文件，直到能够将新的副本文件存入该存储节点。

$F_i\left(f\right)=G_0\frac{N_i(t,T)\×S_i}{B_i\×T_{\mathrm{vt}}}$ （式3）

式中，F_i(f)表示副本文件f_i的替换价值（即文件与其副本文件之间的引力大小），i∈(1，n)，n为文件f的所有副本文件的数目；N_i(t，T)表示副本文件f_i在最近的时间段T内被访问t次；B_i表示文件f所在节点到副本文件f_i所在节点之间的带宽（单位：MBps）；S_i表示副本文件f_i的大小（单位：MB）；T_vt表示访问副本文件f_i所需要的时间（单位：S）；G₀=0.02为引力常数。

步骤5：判断该存储节点的剩余存储空间是否大于新的副本文件的大小，如果是，将新的副本文件存储到该存储节点上，否则，删除该新的副本文件。

为了说明本发明的性能，发明人利用本发明的方法以及几种同类经典算法（LRU、LFU、MRU、MFU）进行比较试验，并使用OptorSim软件进行试验，并通过配置文件的Optimiser值加入新的替换算法。OptorSim是一款由Java语言开发的数据网格模拟软件，主要研究在一个特定的环境下副本优化算法的性能问题。它可以模拟多个节点之间的数据传输状态，每个节点提供的计算单元和存储单元，它们之间的相互作用可以执行海量数据任务。本发明在OptorSim中用DataFile模块副本文件，DataFile模块包含副本文件所在存储资源（SE）的相关信息，包含副本的建立时间、副本的逻辑文件名、副本的大小等信息。

上述几种同类经典算法已经被嵌入在现有的OptorSim中：

①最近最久未使用(LRU)：该类的名称为LRUOptimiser，对距离当前时间最近的一段时间内最久未被访问过的副本进行删除。

②最不经常使用(LFU)：该类的名称为LFUOptimiser，将过去一段时间内被使用过最少次数的副本删除。

③最经常使用(MFU)：该类的名称为MFUOptimiser，将过去一段时间内被使用过次数最多的副本文件。

④最近使用(MRU)：该类的名称为MRUOptimiser，将过去一段时间年内最近被使用过的副本文件。

实验具体实施步骤如下：

本发明的基于引力模型的替换方法(GMRA)在仿真时，需要嵌入在现有OptorSim中，但需要事先对OptorSim进行扩展。实现GMRA方法并对OptorSim的拓展包括：

(1)在optor包中添加两个类：GmraOptimiser类和GmraStorageElement类。GmraStorageElement类是为了实现算法的数据存储，并覆盖父类方法中的fileToDelete()。fileToDelete()方法对GMRA算法选择出需要删除的副本文件进行删除。

GmraOptimiser类是GMRA副本替换方法的控制中心，如当需要删除副本文件的时候，调用存储单元的chooseFilesToDelete()方法，来选择出需要删除的副本文件，该方法的原型为：protected ListchooseFilesToDelete(DataFile file，StorageElement se)；其调用存储单元中的filesToDelete()；由此实现副本替换方法。添加GMRA算法后，optor包中的类和类之间的关系（参见图3）。

(2)在完成(1)步骤以后，修改optor包中的OptimiserFactory类和StorageElementFactory类，最后将build.xml通过ant软件编译，即可进行试验。

实验将GMRA算法与OptorSim自带的几种经典算法相比较，作业数分别为200、500、1000和2000。本实验所需设置的参数（参见下表），通过平均作业时间和网络利用率来评价算法的性能。

对于几种经典替换算法的平均时间和网络利用率，在作业数不同的情况下，它们的结果如图4、图5所示。可以看出，在不同作业数的情况下，本发明的基于引力搜索模型的副本替换方法总体上优于其他几种经典算法，在作业数量较少的时候，本发明的算法的平均作业时间比几种经典的算法具有一定的优势。在作业数较多的时候，本发明的算法的平均作业时间（Mean Job Time）明显比较短，优势较明显。另外，对于网络利用率，本发明的算法大幅度优于几种经典的算法。因此，本发明对于提高系统效率和存储负载均衡性是有效的。

Claims (2)

1.一种基于万有引力搜索模型的副本替换方法，其特征在于，具体包括如下步骤：

步骤1：获得最近T时间段内文件f的所有副本文件f_i的被访问记录，并将访问记录存储在多维关系索引表中；每条访问记录包括：最近T时间段内副本文件f_i被访问次数t、副本文件f_i所在节点位置、副本文件f_i的大小S_i；

步骤2：根据多维关系索引表中的索引地址，找到步骤1中文件f的所有副本文件各自所在的节点，并分别获得文件f所在节点与它的每个副本文件所在节点之间的最大网络带宽B_i及每个副本文件的访问时间T_vt；

步骤3：当某存储节点上的某文件f被访问后，得到该文件f的新的副本文件，此处的访问是指用户对文件的写操作。

如果在文件f被访问前，该存储节点上存有文件f的至少一个副本文件，执行步骤4；否则执行步骤5；

步骤4：判断步骤3得到的新的副本文件的大小是否大于原有的所有副本文件与该存储节点的剩余存储空间之和，如果是，则将新的副本文件删除；否则，利用式3分别计算该文件f的所有副本文件的替换价值，并按照替换价值将副本文件升序排列；此时，判断新的副本文件的大小是否小于替换价值最小的副本文件与该存储节点的剩余存储空间之和，是则用新的副本文件替换替换价值最小的副本文件，否则，比较新的副本文件的大小是否小于替换价值最小的两个副本文件与该存储节点的剩余存储空间之和，是则用新的副本文件替换该替换价值最小的两个副本文件，否则增加副本文件的个数继续判断并删除原有的副本文件，直到将新的副本文件存入该存储节点；

$F_i\left(f\right)=G_0\frac{N_i(t,T)\×S_i}{B_i\×T_{\mathrm{vt}}}$ （式3）

式中，F_i(f)表示副本文件f_i的替换价值，i∈(1，n)，n为文件f的所有副本文件的数目；N_i(t，T)表示副本文件f_i在最近的时间段T内被访问t次；B_i表示文件f所在节点到副本文件f_i所在节点之间的带宽（单位：MBps）；S_i表示副本文件f_i的大小（单位：MB）；T_vt表示访问副本文件f_i所需要的时间（单位：S）；G₀为引力常数。

步骤5：判断该存储节点的剩余存储空间是否大于新的副本文件的大小，如果是，将新的副本文件存储到该存储节点上，否则，删除该新的副本文件。

2.如权利要求1所述的基于万有引力搜索模型的副本替换方法，其特征在于，所述步骤4中，所述引力常数G₀=0.02。

Images