CN102170468A - 基于内容相似性的分布式储存的副本替换算法 - Google Patents
基于内容相似性的分布式储存的副本替换算法 Download PDFInfo
- Publication number
- CN102170468A CN102170468A CN2011100860199A CN201110086019A CN102170468A CN 102170468 A CN102170468 A CN 102170468A CN 2011100860199 A CN2011100860199 A CN 2011100860199A CN 201110086019 A CN201110086019 A CN 201110086019A CN 102170468 A CN102170468 A CN 102170468A
- Authority
- CN
- China
- Prior art keywords
- copy
- algorithm
- distributed storage
- content
- replica
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于内容相似性的分布式储存的副本替换算法，该算法首先基于内容相似性计算副本价值，然后计算复制代价，由于副本大小以及计算节点和存储节点之间连接带宽的差别，每一个副本的淘汰代价是不一样的。最后综合考虑预测和代价因素，提出基于内容相似性的分布式储存的副本替换算法。本发明通过基于内容相似性的副本替换算法提取最少使用的副本，使用分布式储存的副本替换算法找到最长没有被引用的副本，然后综合使用两种算法实现副本替换，提高了平均作业时间，减少了网络资源的消耗，在分布式存储领域具有重要意义。
Description
技术领域
本发明属于分布式存储领域，涉及一种基于内容相似性的分布式储存的副本替换算法。可将其应用到云存储、数据网格存储和分布式存储等领域。
背景技术
在分布式计算中，由于广域网和Internet的高延迟，数据读取的速度受网络的影响越来越大，同时也影响了整个分布式环境的可扩展性。为了解决这一难题，大量数据需要复制在广泛分布的多个节点上。然而节点中存储空间的数量和大小是有限的，当存储空间的副本达到一定的阈值时，存储空间的输入输出性能将会急剧的下降。所以当一个新的数据副本到达以后使得存储空间中所存储的副本大小超过了阈值，必须启动副本替换算法删除一些副本为新的副本空出空间。传统替换算法有最少使用频率副本替换算法和最近最少使用副本替换算法等等。
最少使用频率副本替换算法是一种基于副本使用频率的副本替换算法。当新到达存储空间的副本需要空间时，该算法将删除引用数最低的副本，同时定期的减少被缓存的副本引用计数器的值，这样可以减少一些以前流行现在不流行的副本对最少使用频率副本替换算法的干扰。
最近最少使用副本替换算法是基于副本引用时间的副本替换算法。当需要启动替换算法时，该算法将删除最长没有被引用的副本。然而和最少使用频率副本替换算法一样，它并不能预测未来时间窗口内的热点数据。同时最近最少使用副本替换算法是一种歧视性算法，对比较早到达的副本是不公平的。
发明内容
为了克服上述两种算法的缺点，使分布式存储的整体性能达到最优, 选择被替换的副本不仅是当前代价最小的, 也应该是在以后的时间内代价最小的，本发明的目的是提供一种基于内容相似性的分布式储存的副本替换算法，该算法提高了分布式存储的中文本替换的效率，减少了网络资源的消耗，在分布式存储领域具有重要的意义。
本发明的目的是通过以下技术方案来实现的：
一种基于内容相似性的分布式储存的副本替换算法，其特征在于该算法提取最少使用的副本，并在此基础上提取最长没有被引用的副本，然后综合使用两种算法实现副本替换；具体步骤如下：
1）基于内容相似性计算副本价值；
首先定义副本空间集合{R}和副本ID空间集合{r}，设定副本的标识符为一个正整数，内容的相似性定义成集合{R}和集合{r}之间的映射，若|r1-r2|的值越小，则副本R1 和 R2 的相似度越大；
2） 计算复制代价；
引入代价因子来考虑由于大小以及带宽所引起的替换代价；定义C为代价因子， 
，其中，S k 代表副本大小，B d 代表复制请求节点与拥有该副本节点间的带宽；若多个节点都存储有副本k，则仅考虑与复制请求节点相连的最大带宽并赋值给B d ；
3） 基于内容相似性的分布式储存的副本替换算法；
标识符为k的替换测度F(k)如式(9)所示：
其中F(k)表示副本k的替换测度，替换测度越大，越应该被保留，完成基于内容相似性的分布式储存的副本替换算法。
本发明步骤1）中，假设副本访问从标识符为r0的副本开始，访问历史可以看作一系列的随机步，si(其中i>0)表示副本标识符之差的绝对值，其表示如式(1)所示：
根据时间空间局部性定理，在文件空间中彼此靠近的文件更有可能被连续的访问到；
若初始访问对象为f0，由于第n次访问的副本标识符fn可用式(2)所示：
则fn同时可以用式(3)表示：
假设任意相邻两次副本访问的标识符只绝对值之差为1，即
则对于每一个s i 可以看成一次独立随机实验，实验的输出结果是1或者-1；设定s i 为1的概率为q，则s i 为-1的概率为1-q，n次独立这样的实验，可以将副本访问看出一个n次独立的伯努利实验；
设s i =1的事件数为X， s i =-1事件数为Y，X+Y=n，X-Y=k, n为实验总次数，k即
则
(5)
(6)
（8）
根据文件访问记录，获得如下参数：历史访问窗口T，未来访问窗口T'；T时间内s i =1的事件数M，s i =-1的事件数N，则：
， ， ，
将上述四式代入公式(8)即可算出f(k,M+N,n) ,代表了副本k在未来T'时间窗口内的访问次数，即副本k的价值。
本发明根据时间空间局部性原理，将副本访问建模为一系列独立随机实验，计算出副本k在未来T'时间窗口内的访问次数，即副本的价值，价值低的副本就是使用最少的副本。
步骤3）中，新到达的副本的F(k)值比当前计算节点中F(k)值最低的副本高，F(k)值最低的副本将被删除，新的副本将被保留；当本地的存储器没达到阈值，本算法依然复制副本而不考虑删除。
本发明首先基于内容相似性计算副本价值，然后计算复制代价，由于副本大小以及计算节点和存储节点之间连接带宽的差别，每一个副本的淘汰代价是不一样的。最后综合考虑预测和代价因素，提出基于内容相似性的分布式储存的副本替换算法。
本发明使分布式存储的整体性能达到最优, 选择被替换的副本不仅是当前代价最小的, 也应该是在以后的时间内代价最小的，提高了分布式存储的中文本替换的效率，减少了网络资源的消耗，在分布式存储领域具有重要的意义。
附图说明
图1是本发明实施的分布式存储拓扑结构图。其中CE表示计算节点，SE表示存储节点。
图2是本发明中LRU、LFU以及PC-based算法的平均作业时间比较图。，其中LRU表示最近最少使用副本替换算法，LFU表示最少使用频率副本替换算法，PC-based表示本发明的基于内容相似性的分布式储存的副本替换算法。
图3是本发明中LRU、LFU以及PC-based三个算法的平均网络带宽消耗比较图。，其中LRU表示最近最少使用副本替换算法，LFU表示最少使用频率副本替换算法，PC-based表示本发明的基于内容相似性的分布式储存的副本替换算法。
具体实施方式
一种本发明所述的基于内容相似性的分布式储存的副本替换算法，该算法提取最少使用的副本，并在此基础上提取最长没有被引用的副本，然后综合使用两种算法实现副本替换，具体步骤如下：
1）首先定义副本空间集合{R}和副本ID空间集合{r}，设定副本的标识符为一个正整数，内容的相似性可以定义成集合{R}和集合{r}之间的映射，若|r1-r2|的值越小，则副本R1 和 R2 的相似度越大。假设副本访问从标识符为r0的副本开始，访问历史可以看作一系列的随机步，si(其中i>0)表示副本标识符之差的绝对值，其表示如式(1)所示：
(1)
根据时间空间局部性定理，在文件空间中彼此靠近的文件更有可能被连续的访问到。
若初始访问对象为f0，由于第n次访问的副本标识符fn可用式(2)所示：
则fn同时可以用式(3)表示：
假设任意相邻两次副本访问的标识符只绝对值之差为1，即
则对于每一个s i 可以看成一次独立随机实验，实验的输出结果是1或者-1。设定s i 为1的概率为q，则s i 为-1的概率为1-q，n次独立这样的实验，可以将副本访问看出一个n次独立的伯努利实验。
设s i =1的事件数为X， s i =-1事件数为Y，X+Y=n，X-Y=k, n为实验总次数，k即
则
(5)
(6)
（8）
根据文件访问记录，可获得如下参数：历史访问窗口T，未来访问窗口T'；T时间内s i =1的事件数M，s i =-1的事件数N。则：
， ， 
，
将上述四式代入公式(8)即可算出f(k,M+N,n) ,代表了副本k在未来T'时间窗口内的访问次数，即副本k的价值。
2） 计算复制代价
由于副本大小以及计算节点和存储节点之间连接带宽的差别，每一个副本的淘汰代价是不一样的。例如一个1GB大小的副本淘汰所引起的网络的消耗必然比淘汰一个100MB的副本的大。发生大副本淘汰以后，该副本又被请求，这将引起更大的带宽消耗。所以本发明引入代价因子来考虑由于大小以及带宽所引起的替换代价。
定义C为代价因子， 
，其中，S k 代表副本大小，B d 代表复制请求节点与拥有该副本节点间的带宽。需要注意的是，若多个节点都存储有副本k，则仅考虑与复制请求节点相连的最大带宽并赋值给B d 。
3） 基于内容相似性的分布式储存的副本替换算法
综合考虑预测和代价因素，本发明提出一种基于内容相似性的分布式储存的副本替换算法，该算法中标识符为k的替换测度F(k)如式(9)所示：
其中F(k)表示副本k的替换测度，替换测度越大，越应该被保留。如果新到达的副本的F(k)值比当前计算节点中F(k)值最低的副本高，F(k)值最低的副本将被删除，新的副本将被保留。当本地的存储器没达到阈值，本算法依然复制副本而不考虑删除。
本发明在实施过程中首先根据副本直接的内容相似性计算副本价值，然后引入副本因子计算复制代价，最后综合考虑预测和代价因素将基于内容相似性的副本替换算法和带宽敏感的副本替换算法结合计算出替换测度，设定阀值决定副本是否删除，具体步骤如下：
1、 判断本地节点是否有足够空间存储新副本对象K，若有则执行步骤2，否则执行步骤3。
2、从拥有K的远程节点获取K的副本并存储到本地节点。
3、 分别计算副本K和本地节点已有副本的综合值，综合值计算过程按照发明内容的算法步骤，然后转步骤4。
4、 判断副本K的综合值是否比当前节点中综合值最低的副本高，若是转步骤5，若不是转步骤6。
5、 删除综合值最低的副本，从远程节点获取副本K存储到本地。
6、 不在本地节点存储副本K。
本发明的一组实验如下。
图1是本发明实施的分布式存储拓扑结构图。其中CE表示计算节点，SE表示存储节点。图2是本发明中LRU、LFU以及PC-based算法的平均作业时间比较图。，其中LRU表示最近最少使用副本替换算法，LFU表示最少使用频率副本替换算法，PC-based表示本发明的基于内容相似性的分布式储存的副本替换算法。图3是本发明中LRU、LFU以及PC-based三个算法的平均网络带宽消耗比较图。，其中LRU表示最近最少使用副本替换算法，LFU表示最少使用频率副本替换算法，PC-based表示本发明的基于内容相似性的分布式储存的副本替换算法。
设置一系列计算节点(CE)，存储节点(SE)和数据集（表1）。同时分布式存储的网络拓扑结构如图1所示，每个计算节点（CE）都有相同的处理能力，大小为S大小的作业要运行70S秒，其中S是输入文件的大小单位是G。每个作业的输入文件可以由几个数据文件组成。每个SE总都有1GB的存储容量，而每个CE也有1GB存储容量。
表1 实验参数表
| 计算节点数 | 10 |
| 存储节点数 | 50 |
| 数据集的数量 | 600 |
| 带宽 | 100MB/sec |
| 工作负载 | 100 jobs or1000 jobs10000jobs |
图2是最近最少使用副本替换算法(LRU)、最少使用频率副本替换算法(LFU)和本发明基于内容相似性的带宽敏感的副本替换算法(PC-based)的平均作业时间的比较，可以看出三个算法分别在100个作业、1000个作业和10000个作业时都是发明的PC-based算法的平均左右时间最优，而且伴随着更高的作业负载，效果更加明显，因此基于内容相似性的带宽敏感的副本替换算法更优。
图3是表示分别就100个、1000个和10000个作业，使用LRU、LFU和PC-based这三个淘汰算法时的系统带宽消耗状况，可以看出PC-based算法综合考虑了这两个因素所以减少了网络带宽资源的消耗。
本发明使分布式存储的整体性能达到最优, 选择被替换的副本不仅是当前代价最小的, 也应该是在以后的时间内代价最小的，提高了分布式存储的中文本替换的效率，减少了网络资源的消耗。
Claims (4)
1.一种基于内容相似性的分布式储存的副本替换算法，其特征在于该算法提取最少使用的副本，并在此基础上提取最长没有被引用的副本，然后综合使用两种算法实现副本替换；具体步骤如下：
1）基于内容相似性计算副本价值；
首先定义副本空间集合{R}和副本ID空间集合{r}，设定副本的标识符为一个正整数，内容的相似性定义成集合{R}和集合{r}之间的映射，若|r1-r2|的值越小，则副本R1 和 R2 的相似度越大；
2） 计算复制代价；
引入代价因子来考虑由于大小以及带宽所引起的替换代价；定义C为代价因子， 
，其中，S k 代表副本大小，B d 代表复制请求节点与拥有该副本节点间的带宽；若多个节点都存储有副本k，则仅考虑与复制请求节点相连的最大带宽并赋值给B d ；
3） 基于内容相似性的分布式储存的副本替换算法；
标识符为k的替换测度F(k)如式(9)所示：
其中F(k)表示副本k的替换测度，替换测度越大，越应该被保留，完成基于内容相似性的分布式储存的副本替换算法。
2.根据权利要求1所述的基于内容相似性的分布式储存的副本替换算法，其特征在于：步骤1）中，假设副本访问从标识符为r0的副本开始，访问历史可以看作一系列的随机步，si(其中i>0)表示副本标识符之差的绝对值，其表示如式(1)所示：
根据时间空间局部性定理，在文件空间中彼此靠近的文件更有可能被连续的访问到；
若初始访问对象为f0，由于第n次访问的副本标识符fn可用式(2)所示：
则fn同时可以用式(3)表示：
假设任意相邻两次副本访问的标识符只绝对值之差为1，即
则对于每一个s i 可以看成一次独立随机实验，实验的输出结果是1或者-1；设定s i 为1的概率为q，则s i 为-1的概率为1-q，n次独立这样的实验，可以将副本访问看出一个n次独立的伯努利实验；
设s i =1的事件数为X， s i =-1事件数为Y，X+Y=n，X-Y=k, n为实验总次数，k即
则
(5)
(6)
根据文件访问记录，获得如下参数：历史访问窗口T，未来访问窗口T'；T时间内s i =1的事件数M，s i =-1的事件数N，则：
， ， 
，
将上述四式代入公式(8)即可算出f(k,M+N,n) ,代表了副本k在未来T'时间窗口内的访问次数，即副本k的价值。
3.根据权利要求2所述的基于内容相似性的分布式储存的副本替换算法，其特征在于：根据时间空间局部性原理，将副本访问建模为一系列独立随机实验，计算出副本k在未来T'时间窗口内的访问次数，即副本的价值，价值低的副本就是使用最少的副本。
4.根据权利要求1所述的基于内容相似性的分布式储存的副本替换算法，其特征在于：步骤3）中，新到达的副本的F(k)值比当前计算节点中F(k)值最低的副本高，F(k)值最低的副本将被删除，新的副本将被保留；当本地的存储器没达到阈值，本算法依然复制副本而不考虑删除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011100860199A CN102170468A (zh) | 2011-04-07 | 2011-04-07 | 基于内容相似性的分布式储存的副本替换算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011100860199A CN102170468A (zh) | 2011-04-07 | 2011-04-07 | 基于内容相似性的分布式储存的副本替换算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102170468A true CN102170468A (zh) | 2011-08-31 |
Family
ID=44491444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011100860199A Pending CN102170468A (zh) | 2011-04-07 | 2011-04-07 | 基于内容相似性的分布式储存的副本替换算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102170468A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455579A (zh) * | 2013-08-26 | 2013-12-18 | 西安建筑科技大学 | 一种基于万有引力搜索模型的副本替换方法 |
| CN104951403A (zh) * | 2015-07-06 | 2015-09-30 | 中国科学技术大学 | 一种低开销且无差错的冷热数据识别方法 |
| CN105915626A (zh) * | 2016-05-27 | 2016-08-31 | 南京邮电大学 | 一种面向云存储的数据副本初始放置方法 |
-
2011
- 2011-04-07 CN CN2011100860199A patent/CN102170468A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| 马腾等: "AMS 实验中的副本管理研究", 《华中科技大学学报(自然科学版)》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455579A (zh) * | 2013-08-26 | 2013-12-18 | 西安建筑科技大学 | 一种基于万有引力搜索模型的副本替换方法 |
| CN104951403A (zh) * | 2015-07-06 | 2015-09-30 | 中国科学技术大学 | 一种低开销且无差错的冷热数据识别方法 |
| CN104951403B (zh) * | 2015-07-06 | 2018-01-30 | 中国科学技术大学 | 一种低开销且无差错的冷热数据识别方法 |
| CN105915626A (zh) * | 2016-05-27 | 2016-08-31 | 南京邮电大学 | 一种面向云存储的数据副本初始放置方法 |
| CN105915626B (zh) * | 2016-05-27 | 2019-02-26 | 南京邮电大学 | 一种面向云存储的数据副本初始放置方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10761758B2 (en) | Data aware deduplication object storage (DADOS) | |
| US9747320B2 (en) | Efficient reference counting in content addressable storage | |
| CN109154917A (zh) | 存储系统和固态硬盘 | |
| US9436392B1 (en) | Access-based eviction of blocks from solid state drive cache memory | |
| JP5824167B2 (ja) | クラスタシステムデータ処理方法及び装置 | |
| US20160231948A1 (en) | Load balancing technique for a storage array | |
| CN104731864A (zh) | 一种海量非结构化数据的数据存储方法 | |
| US10540095B1 (en) | Efficient garbage collection for stable data | |
| CN103366016A (zh) | 基于hdfs的电子文件集中存储及优化方法 | |
| WO2007137133A2 (en) | Database partitioning by virtual partitions | |
| CN105227645A (zh) | 一种云数据迁移方法 | |
| CN111258980B (zh) | 一种云存储系统中基于组合预测的动态文件放置方法 | |
| CN110908589B (zh) | 数据文件的处理方法、装置、系统和存储介质 | |
| CN105320773A (zh) | 一种基于Hadoop平台的分布式重复数据删除系统和方法 | |
| CN108920100B (zh) | 基于Ceph的读写模型优化和异构副本组合方法 | |
| CN104054071A (zh) | 访问存储设备的方法和存储设备 | |
| CN108431815A (zh) | 在处理器网格中的分布式数据的去重复数据 | |
| CN111708894B (zh) | 一种知识图谱创建方法 | |
| CN102170468A (zh) | 基于内容相似性的分布式储存的副本替换算法 | |
| CN101399765A (zh) | 降低对等网络中热点节点负荷的方法和系统 | |
| KR101686346B1 (ko) | 하이브리드 ｓｓｄ 기반 하둡 분산파일 시스템의 콜드 데이터 축출방법 | |
| CN104765572A (zh) | 一种节能的虚拟存储服务器系统及其调度方法 | |
| Abdi et al. | The Impact of Data Replicatino on Job Scheduling Performance in Hierarchical data Grid | |
| Qin et al. | Fault tolerant storage and data access optimization in data center networks | |
| Khayat et al. | Trust in real-time distributed database systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110831 |