CN103150347A - 基于文件热度的动态副本管理方法 - Google Patents

Abstract

本发明涉及计算机应用领域，公开了一种基于文件热度的动态副本管理方法，包括主管理服务器、存储服务器集群，所述主管理服务器用于接受用户文件访问请求、更新被访问文件的访问记录，所述存储服务器集群包括多个用于储存文件的存储服务器，具体步骤包括：多频率文件热度计算机制、多队列文件热度更新机制、多频率副本执行机制。本发明的优点在于，有效解决了文件热度的统计周期与统计热度准确性之间的矛盾和用户的突发性访问问题，大幅度减少了系统开支，同时具有较高的可靠性。

Description

基于文件热度的动态副本管理方法

技术领域

本发明涉及计算机应用领域，特别涉及一种基于文件热度的动态副本管理方法。

背景技术

传统的数据存储技术在可扩展性，高可用性等方面远远无法满足当今的数据存储需求，20世纪80年代，分布式文件存储的概念被提出。

分布式文件存储是指一些不一定直接连接在本地节点上的物理存储资源，通过计算机网络与节点相连，被存储系统统一管理，向用户提供统一的、对象化的访问接口，屏蔽对物理设备的直接操作和资源管理。分布式文件存储系统通过分布式的架构支持海量文件数据的存储。通过分布式文件存储，可以将各类存储设备结合使用，提供良好的可扩展的存储服务。相比传统的存储设备，其在扩展性，安全性，可靠性等方面，都有了很大的提升。

在分布式文件存储系统中，文件副本策略的提出，主要是为了解决两个关键的问题：1.保证存储系统的高可用性和高可靠性。2.提升系统的整体性能。

为了解决以上两个问题，系统需要进行两方面的决策：副本数量和副本存放位置。较高的副本数量不仅可以增加系统的可用性和可靠性，而且可以为高效的负载均衡提供有效的支持。但是会增加系统的负担，包括副本传输复制的代价，副本信息维护的代价以及占用系统的存储空间。较低的副本数量可能会降低系统可靠性，甚至有可能带来数据丢失，数据不可用的后果。合理的副本存放位置可以让负载请求均衡到较为空闲的服务器。不合理的副本存放位置可能引发大量的请求集中在某几个存储服务器，造成系统负载失衡。

近年来提出了很多的分布式架构下的文件存储副本管理方案。主要可以分为静态副本管理策略和动态副本管理策略。

静态副本管理策略是指文件在生成的时候就已经决定了文件的数量和文件的存放位置，当系统状态发生改变时，文件的数量和存放位置不会做相应的调整。

动态副本管理策略是指副本的策略会跟着系统的改变而做出相应的调整。这个调整可以是文件数量的调整，也可以是文件存储位置的调整。但是，如何进行动态调整，是增加还是减少副本数，副本的迁移策略以及如何在系统代价和系统性能、可靠性上得到均衡，另外，用户的访问行为有一定的突发性，即用户可以在短时间内大量的发起相似的请求，而且请求维持的时间非常短，在这种情况下，如果创建过多的副本，不但不能提升系统性能，而且还会增加系统的开销。这些都是副本策略的动态调整所面临的巨大挑战。

发明内容

本发明针对现有技术中存在的副本数量和系统性能无法兼顾的缺点，提供了一种通过调整文件的热度来动态地管理文件副本的新型基于文件热度的动态副本管理方法。

为实现上述目的，本发明可采取下述技术方案：

基于文件热度的动态副本管理方法，包括主管理服务器、存储服务器集群，所述主管理服务器用于接受用户文件访问请求、更新被访问文件的访问记录，所述存储服务器集群包括多个用于储存文件的存储服务器，具体步骤包括：

多频率文件热度计算机制：为每一个储存在所述存储服务器上的文件建立热度，所述热度包括四元组(h₀，n₁，n₂，n₃)、状态二元组(N，S)，其中，n₁、n₂、n₃分别表示上一个统计周期T1、T2、T3中所述文件的被访问次数N，h₀表示所述文件上一个统计周期T1的热度值，N表示所述文件的被访问次数，S表示所述文件的热度状态；所述主管理服务器接收一个文件访问请求，将该文件的被访问次数N加1；每隔T1、T2和T3个统计周期，所述主管理服务器更新所述四元组，其中h₀的更新方法如下：计算

f₁、f₂、f₃分别为统计周期T1、T2、T3内所述文件的访问频率，Δt_i表示当前时间与上一个统计周期T1的统计时刻的差值，Δt₁表示当前时刻与零时的差值；分别计算

$\left\{\begin{array}{c}{N}_1=N-n_1\\ N_2=N-n_2\\ N_3=N-n_3\\ \mathrm{\μ}=\frac{\mathrm{\Δ}{t}_1}{T1}\\ h=(1-\mathrm{\μ})h_0+\mathrm{\μ}(\left(\frac{N_1}{\mathrm{\Δ}{t}_1}\right)+(N_2\×\frac{f_2}{f_1}+N_3\×\frac{f_3}{f_1})/T1)\end{array}\right.,$

用所述h更新所述四元组的h₀；

多队列文件热度更新机制：将所述存储服务器中储存的文件分为三个队列：低热度队列LQ、中热度队列MQ、高热度队列HQ，对不同的队列分别采用不同的更新周期进行更新，所述更新周期分别为T_L、T_M、T_H，设定热度阈值H_l、H_h，所述文件的热度值h小于H₁则该文件归入低热度队列LQ，所述文件的热度值h大于H_l且小于H_h则该文件归入中热度队列MQ，所述文件的热度值h大于H_h则该文件归入高热度队列HQ；

多频率副本执行机制：设定所述文件的最小副本数N_min，计算所述文件的副本数量

${N_F}_i=\left\{\begin{array}{c}(N_{\min }\&times;\frac{h_{F_i}}{H_1}-N_{\mathrm{cur}})\&times;\frac{{\mathrm{Sp}}_{\mathrm{total}}-{\mathrm{Sp}}_{\mathrm{used}}}{{\mathrm{Sp}}_{\mathrm{total}}},\frac{N_{\min }{h}_{F_i}}{H_1}-N_{\mathrm{cur}}\&GreaterEqual;0\\ (N_{\min }\&times;\frac{h_{F_i}}{H_1}-N_{\mathrm{cur}})\&times;\frac{{\mathrm{Sp}}_{\mathrm{used}}}{{\mathrm{Sp}}_{\mathrm{total}}},\frac{N_{\min }{h}_{F_i}}{H_1}-N_{\mathrm{cur}}<0\end{array}\right.,$

其中，

为所述文件的热度值，N_cur为所述文件当前的副本数量，Sp_total表示所述存储服务器的总存储空间大小，Sp_used表示所述存储服务器已经使用的存储空间；将负载较低的存储服务器确认为副本放置服务器，将所述文件的副本放置在所述副本放置服务器中。

作为优选，所述多队列文件热度更新机制还包括：所述热度状态S包括5个不同的状态等级，由低到高分别用状态标识{S_L2}、{S_L1}、{S₀}、{S_H1}、{S_H2}表示；当所述主管理服务器应用所述多队列文件热度更新机制时，如果

所述热度状态S的状态等级提升一级；如果

所述热度状态S的状态等级降低一级；所述热度状态的状态等级改变时，如果改变前所述热度状态S为{S_H2}，则所述文件切换为中热度队列MQ或者高热度队列HQ，如果改变前所述热度状态S为{S_L2}，则所述文件切换为低热度队列LQ或者中热度队列MQ；所述热度状态S改变后的初始值为{S₀}。

作为优选，所述低热度队列LQ中文件的热度状态S为{S₀、S_H1、S_H2}，高热度队列HQ中文件的S为{S_L2、S_L1、S₀}，中热度队列中MQ中文件的S为{S_L2、S_L1、S₀、S_H1、S_H2}。

作为优选，多频率副本执行机制还包括：计算所述存储服务器的负载权值，所述存储服务器的负载权值越大则该存储服务器的负载越低。

作为优选，多频率副本执行机制还包括：删除文件副本时，如果所述文件的副本分别储存在多个存储服务器中，优先删除储存在负载权值较小的存储服务器中的文件副本；增加文件副本时，所述主管理服务器随机选定一个储存有文件副本的存储服务器，由该选定的存储服务器向所述副本放置服务器发送所述文件副本。

作为优选，所述统计周期T1、T2、T3为预设值，其中，T3>T2>T1。

作为优选，所述更新周期T_L、T_M、T_H为预设值，其中，T_L>T_M>T_H。

作为优选，所述低热度队列LQ中文件的副本数为N_min且保持不变。

本发明由于采用了以上技术方案，具有显著的技术效果：

本发明通过引入文件热度机制，有效解决了文件热度的统计周期与统计热度准确性之间的矛盾和用户的突发性访问问题。针对不同热度的文件执行不同的更新策略和副本执行策略，大幅度减少了系统开支，提升了系统性能。

进一步地，通过将文件划分为不同的热度队列，采用不同的更新周期，控制不同热度文件的更新频率，低热度的文件较少更新，高热度的文件则具有更高的更新频率，提高了系统性能。同时，限制低热度队列LQ和高热度队列HQ的热度状态S的状态等级，低热度队列LQ中文件的热度状态S为{S₀、S_H1、S_H2}，高热度队列HQ中文件的S为{S_L2、S_L1、S₀}，提高了切换文件队列的效率。

进一步地，通过计算存储服务器的负载权值来确定服务器的负载，可以保证文件副本储存在负载较低的服务器中，充分利用了系统闲置计算能力，降低了系统的整体反应时间。

在3个统计周期中，统计周期T1最短，统计频率最高，可以由此来计算并确定文件的热度值h₀。

此外，将低热度队列LQ中文件的副本数量固定为N_min，由于低热度队列LQ中文件的更新频率较低，因此，固定地确定文件副本的数量，可以减少计算文件副本数量所带来额外的计算量。同时，由于低热度队列LQ中文件更新频率较低，固定文件副本的数量对文件的安全性影响较小。

附图说明

图1为本发明的分布式存储系统的拓扑结构示意图。

图2为本发明所述动态副本管理方法的流程示意图。

图3为文件热度队列的切换示意图。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

实施例1

基于文件热度的动态副本管理方法，整个系统采用分布式架构，分布式文件存储系统如图1所示，包括主管理服务器1、存储服务器集群2，所述主管理服务器1用于接受用户文件访问请求、更新被访问文件的访问记录，所述存储服务器集群2包括多个用于储存文件的存储服务器3。分布式文件存储系统支持大规模的高并发访问与缓存服务器集群的动态扩展，主管理服务器1通过双机热备，可消除单点故障，主管理服务器1管理存储服务器集群2中的存储节点和存储系统中文件的元数据信息。存储服务器集群2实现动态加载和删除节点的功能，以提供动态可扩展的存储服务，其主要功能是负责数据文件的实际存储。客户端通过与主管理服务器1和存储服务器集群2的通信来实现对文件的操作

本发明的具体流程步骤如图2所示，包括：

多频率文件热度计算机制：

为每一个储存在所述存储服务器3上的文件建立热度，所述热度包括四元组(h₀，n₁，n₂，n₃)、状态二元组(N，S)，其中，n₁、n₂、n₃分别表示上一个统计周期T1、T2、T3中所述文件的被访问次数N，这里，统计周期T1、T2、T3为预设值，其中，T3>T2>T1，h₀表示所述文件上一个统计周期T1的热度值，N表示所述文件的被访问次数，S表示所述文件的热度状态；所述主管理服务器1接收一个文件访问请求，将该文件的被访问次数N加1。

每隔T1、T2和T3个统计周期，所述主管理服务器1更新所述四元组，更新规则是根据不同的周期将N更新到n₁，n₂，n₃中，其中h₀的更新方法如下：计算

f₁、f₂、f₃分别为统计周期T1、T2、T3内所述文件的访问频率，Δt_i表示当前时间与上一个统计周期T1的统计时刻的差值，如T1=24小时，则最近统计时刻为零时，Δt₁表示当前时刻与零时的差值。所以Δt₁小于等于T1，Δt₂小于等于T2，Δt₃小于等于T3。N-n_i则表示相应的上次统计时刻至当前时刻的文件的被访问次数。

分别计算

$\left\{\begin{array}{c}{N}_1=N-n_1\\ N_2=N-n_2\\ N_3=N-n_3\\ \mathrm{\&mu;}=\frac{\mathrm{\&Delta;}{t}_1}{T1}\\ h=(1-\mathrm{\&mu;})h_0+\mathrm{\&mu;}(\left(\frac{N_1}{\mathrm{\&Delta;}{t}_1}\right)+N_2\&times;\frac{f_2}{f_1}+N_3\&times;\frac{f_3}{f_1})/T1)\end{array}\right.,$

计算出当前时刻的N₁，N₂，N₃值，即上一次统计至当前时刻的文件访问次数。计算出当前时刻距离最近一次T1统计时刻的差值与T1周期的比值μ。用所述h更新所述四元组的h₀。

多队列文件热度更新机制：

在分布式文件存储系统中，所有的文件是一个集合，我们用F表示在此分布式文件存储系统中的所有文件的集合。将所述存储服务器3中储存的文件分为三个队列：低热度队列LQ、中热度队列MQ、高热度队列HQ，F＝LQ∪MQ∪HQ。对不同的队列分别采用不同的更新周期进行更新，所述更新周期分别为T_L、T_M、T_H，更新周期T_L、T_M、T_H为预设值，其中，T_L>T_M>T_H。需要说明的是，和统计周期不同，这里的更新周期不涉及文件热度值的计算，而是通过统计得到的热度值确定文件的归属队列。设定热度阈值H_l、H_h，所述文件的热度值h小于H₁则该文件归入低热度队列LQ，所述文件的热度值h大于H₁且小于H_h则该文件归入中热度队列MQ，所述文件的热度值h大于H_h则该文件归入高热度队列HQ。

分布式文件存储系统中的文件在某一时刻只能属于一个队列，但是，文件可以在不同队列中进行切换，如图3所示，二元组（N，S）中的热度状态S是队列之间切换的主要标志。所述热度状态S包括5个不同的状态等级，由低到高分别用状态标识{S_L2}、{S_L1}、{S₀}、{S_H1}、{S_H2}表示。其中，所述低热度队列LQ中文件的热度状态S为{S₀、S_H1、S_H2}，高热度队列HQ中文件的S为{S_L2、S_L1、S₀}，中热度队列中MQ中文件的S为{S_L2、S_L1、S₀、S_H1、S_H2}。当所述主管理服务器1应用所述多队列文件热度更新机制时，如果

所述热度状态S的状态等级提升一级；如果

所述热度状态S的状态等级降低一级；所述热度状态的状态等级改变时，如果改变前所述热度状态S为{S_H2}，则所述文件切换为中热度队列MQ或者高热度队列HQ，如果改变前所述热度状态S为{S_L2}，则所述文件切换为低热度队列LQ或者中热度队列MQ；所述热度状态S改变后的初始值一律设定为{S₀}。

多频率副本执行机制：

设定所述文件的最小副本数N_min，低热度队列LQ中文件的副本数为N_min且保持不变，计算所述文件的副本数量

${N_F}_i=\left\{\begin{array}{c}(N_{\min }\&times;\frac{h_{F_i}}{H_1}-N_{\mathrm{cur}})\&times;\frac{{\mathrm{Sp}}_{\mathrm{total}}-{\mathrm{Sp}}_{\mathrm{used}}}{{\mathrm{Sp}}_{\mathrm{total}}},\frac{N_{\min }{h}_{F_i}}{H_1}-N_{\mathrm{cur}}\&GreaterEqual;0\\ (N_{\min }\&times;\frac{h_{F_i}}{H_1}-N_{\mathrm{cur}})\&times;\frac{{\mathrm{Sp}}_{\mathrm{used}}}{{\mathrm{Sp}}_{\mathrm{total}}},\frac{N_{\min }{h}_{F_i}}{H_1}-N_{\mathrm{cur}}<0\end{array}\right.,$

其中，为所述文件的热度值，N_cur为所述文件当前的副本数量，Sp_total表示所述存储服务器3的总存储空间大小，Sp_used表示所述存储服务器3已经使用的存储空间，所以（Sp_total-Sp_used）/Sp_total表示系统当前剩余可用存储空间的百分比。Sp_used/Sp_total表示系统当前已使用的存储空间的百分比。

计算所述存储服务器3的负载权值，权值包括CPU、内存、磁盘读写能力、剩余存储空间、网络读写等因素，所述存储服务器3的负载权值越大则该存储服务器3的负载越低。将负载较低的存储服务器3确认为副本放置服务器，将所述文件的副本放置在所述副本放置服务器中。

删除文件副本时，如果所述文件的副本分别储存在多个存储服务器3中，优先删除储存在负载权值较小的存储服务器3中的文件副本。

增加文件副本时，所述主管理服务器1随机选定一个储存有文件副本的存储服务器3，由该选定的存储服务器3向所述副本放置服务器发送所述文件副本。

总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (8)

1.一种基于文件热度的动态副本管理方法，其特征在于，包括主管理服务器（1）、存储服务器集群（2），所述主管理服务器（1）用于接受用户文件访问请求、更新被访问文件的访问记录，所述存储服务器集群（2）包括多个用于储存文件的存储服务器（3），具体步骤包括：

多频率文件热度计算机制：为每一个储存在所述存储服务器（3）上的文件建立热度，所述热度包括四元组(h₀，n₁，n₂，n₃)、状态二元组(N，S)，其中，n₁、n₂、n₃分别表示上一个统计周期T1、T2、T3中所述文件的被访问次数N，h₀表示所述文件上一个统计周期T1的热度值，N表示所述文件的被访问次数，S表示所述文件的热度状态；所述主管理服务器（1）接收一个文件访问请求，将该文件的被访问次数N加1；每隔T1、T2和T3个统计周期，所述主管理服务器（1）更新所述四元组，其中h₀的更新方法如下：计算

f₁、f₂、f₃分别为统计周期T1、T2、T3内所述文件的访问频率，Δt_i表示当前时间与上一个统计周期T1的统计时刻的差值，Δt₁表示当前时刻与零时的差值；分别计算 $\left\{\begin{array}{c}{N}_1=N-n_1\\ N_2=N-n_2\\ N_3=N-n_3\\ \mathrm{\&mu;}=\frac{\mathrm{\&Delta;}{t}_1}{T1}\\ h=(1-\mathrm{\&mu;})h_0+\mathrm{\&mu;}(\left(\frac{N_1}{\mathrm{\&Delta;}{t}_1}\right)+(N_2\&times;\frac{f_2}{f_1}+N_3\&times;\frac{f_3}{f_1})/T1)\end{array}\right.,$ 用所述h更新所述四元组的h₀；多队列文件热度更新机制：将所述存储服务器（3）中储存的文件分为三个队列：低热度队列LQ、中热度队列MQ、高热度队列HQ，对不同的队列分别采用不同的更新周期进行更新，所述更新周期分别为T_L、T_M、T_H，设定热度阈值H_l、H_h，所述文件的热度值h小于H_l则该文件归入低热度队列LQ，所述文件的热度值h大于H_l且小于H_h则该文件归入中热度队列MQ，所述文件的热度值h大于H_h则该文件归入高热度队列HQ；多频率副本执行机制：设定所述文件的最小副本数N_min，计算所述文件的副本数量 ${N_F}_i=\left\{\begin{array}{c}(N_{\min }\&times;\frac{h_{F_i}}{H_1}-N_{\mathrm{cur}})\&times;\frac{{\mathrm{Sp}}_{\mathrm{total}}-{\mathrm{Sp}}_{\mathrm{used}}}{{\mathrm{Sp}}_{\mathrm{total}}},\frac{N_{\min }{h}_{F_i}}{H_1}-N_{\mathrm{cur}}\&GreaterEqual;0\\ (N_{\min }\&times;\frac{h_{F_i}}{H_1}-N_{\mathrm{cur}})\&times;\frac{{\mathrm{Sp}}_{\mathrm{used}}}{{\mathrm{Sp}}_{\mathrm{total}}},\frac{N_{\min }{h}_{F_i}}{H_1}-N_{\mathrm{cur}}<0\end{array}\right.,$ 其中，

为所述文件的热度值，N_cur为所述文件当前的副本数量，Sp_total表示所述存储服务器（3）的总存储空间大小，Sp_used表示所述存储服务器（3）已经使用的存储空间；将负载较低的存储服务器（3）确认为副本放置服务器，将所述文件的副本放置在所述副本放置服务器中。

2.根据权利要求1所述基于文件热度的动态副本管理方法，其特征在于，所述多队列文件热度更新机制还包括：所述热度状态S包括5个不同的状态等级，由低到高分别用状态标识{S_L2}、{S_L1}、{S₀}、{S_H1}、{S_H2}表示；当所述主管理服务器（1）应用所述多队列文件热度更新机制时，如果

所述热度状态S的状态等级提升一级；如果

所述热度状态S的状态等级降低一级；所述热度状态的状态等级改变时，如果改变前所述热度状态S为{S_H2}，则所述文件切换为中热度队列MQ或者高热度队列HQ，如果改变前所述热度状态S为{S_L2}，则所述文件切换为低热度队列LQ或者中热度队列MQ；所述热度状态S改变后的初始值为{S₀}。

3.根据权利要求2所述基于文件热度的动态副本管理方法，其特征在于，所述低热度队列LQ中文件的热度状态S为{S₀、S_H1、S_H2}，高热度队列HQ中文件的S为{S_L2、S_L1、S₀}，中热度队列中MQ中文件的S为{S_L2、S_L1、S₀、S_H1、S_H2}。

4.根据权利要求1所述基于文件热度的动态副本管理方法，其特征在于，多频率副本执行机制还包括：计算所述存储服务器（3）的负载权值，所述存储服务器（3）的负载权值越大则该存储服务器（3）的负载越低。

5.根据权利要求1所述基于文件热度的动态副本管理方法，其特征在于，多频率副本执行机制还包括：删除文件副本时，如果所述文件的副本分别储存在多个存储服务器（3）中，优先删除储存在负载权值较小的存储服务器（3）中的文件副本；增加文件副本时，所述主管理服务器（1）随机选定一个储存有文件副本的存储服务器（3），由该选定的存储服务器（3）向所述副本放置服务器发送所述文件副本。

6.根据权利要求1所述基于文件热度的动态副本管理方法，其特征在于，所述统计周期T1、T2、T3为预设值，其中，T3>T2>T1。

7.根据权利要求1所述基于文件热度的动态副本管理方法，其特征在于，所述更新周期T_L、T_M、T_H为预设值，其中，T_L>T_M>T_H。

8.根据权利要求1所述基于文件热度的动态副本管理方法，其特征在于，所述低热度队列LQ中文件的副本数为N_min且保持不变。

Images