CN103118136B

CN103118136B - 一种基于块级别云存储负载均衡优化的方法

Info

Publication number: CN103118136B
Application number: CN201310063508.1A
Authority: CN
Inventors: 张纪林; 张剑亮; 万健; 陈恂; 任永坚; 周丽; 蒋从锋; 殷昱煜; 任祖杰
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2013-02-28
Filing date: 2013-02-28
Publication date: 2015-08-12
Anticipated expiration: 2033-02-28
Also published as: CN103118136A

Abstract

本发明公开了一种基于块级别云存储负载均衡优化的方法，本发明将遗传算法中的变异部分加入到负载均衡策略中，尽可能地提高该策略搜索全局最优解的准确性；同时设计了一种面向iSCSI的断点续传功能，在重新选择卷服务器进行iSCSI重连时，正在上传数据的用户无需将数据重新上传，系统自动会从断点处继续上传，提高了系统的可靠性；通过利用现有的异构存储环境，提出了一种基于卷生命周期的分级存储管理机制，充分利用不同存储设备的优势和特点，进一步提高系统访问效率。本发明可用于计算机存储技术领域中来解决云存储系统的负载均衡问题。

Description

一种基于块级别云存储负载均衡优化的方法

技术领域

本发明涉及计算机存储技术领域，尤其涉及一种基于负载均衡的多卷服务器的块级别云存储优化管理的装置。

背景技术

云存储是云计算概念的一个延伸和发展，它指的是通过集群技术、分布式文件系统、网格技术等，将网络中各种异构的存储设备集合起来协同工作，对外向用户提供安全、可靠、高效的数据存储和数据访问服务。

云存储按其提供的存储层面不同，可以分为两大类：文件级别云存储和块级别云存储。文件级别云存储主要指的是分布式文件系统，它通过网络文件系统访问协议提供文件级的存储访问服务；块级别云存储则是通过小型计算机系统接口或者高速光纤通道，向用户提供原始块级别存储资源。

块级别云存储具有通用性高、灵活性强等特点，因此，它在文件存储、数据库存储、虚拟机文件系统卷等方面有着广泛的应用。但是现有的块级别存储产品也存在一些自身的不足：1.系统中存在存储服务器瓶颈，严重影响了系统整体性能和可靠性；2.没有提供断点续传机制，用户在连接断开后只能重新上传数据，既浪费用户时间，也增加系统资源开销；3.缺乏细化统一管理异构存储设备,不能提供分级存储的策略，影响系统的I/O吞吐率和性能。

发明内容

针对上述传统的云存储系统中存在的问题，需要提出一种能够减少系统单点故障，提高系统的整体性能和可靠性的装置。需要对其存在的负载均衡局部最优、断点重传和缺乏细化统一管理异构存储设备等问题进行了一定的改进。该方法将遗传算法中的变异部分加入到负载均衡策略中，尽可能地提高该策略搜索全局最优解的准确性。同时设计了一种面向iSCSI的断点续传功能，在重新选择卷服务器进行iSCSI重连时，正在上传数据的用户无需将数据重新上传，系统自动会从断点处继续上传，提高了系统的可靠性。通过利用现有的异构存储环境，提出了一种基于卷生命周期的分级存储管理机制，充分利用不同存储设备的优势和特点，进一步提高系统访问效率。

本发明关注于通过改进传统云存储的负载均衡策略，优化工作包括：对卷服务器负载和性能进行建模，并在此基础上提出了基于机器性能的静态、动态负载均衡策略。静态负载均衡策略通过工作中的卷服务器选择，避免系统进入负载不均衡状态。动态负载均衡策略通过遗传算法决定iSCSI连接的最佳部署方式，使得云存储系统在系统中卷服务器处于负载不均衡状态时，根据遗传算法的模拟结果均衡各卷服务器的负载；通过设计了一种基于iSCSI的断点续传功能，使得用户在连接重置后，仍然能够继续上传自己未传完的数据而不必重新上传，减少了系统的负担，提高了系统的可靠性；同时本装置设计了一种基于卷生命周期的分级存储管理机制，能够根据存储资源的冷热程度，自动将将高访问频率的数据存储在高性能和高成本的存储设备上，不经常访问的数据存储在低性能和低成本的存储设备上，使得存储系统的成本趋于价格低的设备，节省存储成本，提高数据访问效率。

本发明的基本步骤是：

（1）遗传算法动态负载均衡策略

1.将系统选出的两台需要进行负载均衡的卷服务器上的iSCSI连接进行编码，编码成一段0/1字符串，并把它作为初始染色体s。随后对初始染色体s进行k次变异，产生k个后代s₁, s₂, …, s_k作为初始种群。

2.分别计算出种群中所有个体的适应度值和它们的积累概率。为了防止优良基因个体被强制破坏，本发明采用精英保留策略，即每次产生子代后，就与保留的精英个体进行比较，保留适应度值高的个体作为精英。

3.用轮盘赌选择法选择出k个后代，并进行交叉变异等一系列操作。重复上述过程，直至达到限定代数。

4.根据上述步骤所得的编码，对两台卷服务器的iSCSI连接进行重新布置。

（2）iSCSI断点续传

1.当用户将某文件上传到iSCSI挂载的卷上时，先根据文件的源地址和目标地址在日志文件中寻找是否有对应的记录。

2.如果日志中没有记录，则表示该文件为首次上传，那么将会在日志文件中记录该文件的源地址和目标地址，待上传完成后将此记录删除。

3.如果日志文件中有相对应的记录，则表明该文件为续传，那么先根据记录中的目标地址，用相应的函数计算出已上传文件的大小。

4.设置读指针至断点后一字节，将未上传部分读入缓冲区，同时，设置写指针至目标文件末尾，将缓冲区数据写入。

5.文件上传完毕后，删除日志文件中对应记录。

（3）分级存储管理机制

1.当系统满足卷迁移的某一个条件时，卷迁移执行器(VMT)就能够检测到并随即被触发，它会向价值判定管理器（VVJM）发送一个获取迁移卷信息的请求。

2.卷价值判定管理器（VVJM）定时地从卷元数据库中获取卷实时信息，并利用一定的策略不断地更新完善它所维护的迁移队列。当卷价值判定管理器（VVJM）收到获取迁移卷信息的请求后，取出迁移队列中队首的卷的信息，将它发送给卷使用状况检测器（VSD）进行检测卷现在的使用状况。

3.如果卷使用状况检测器（VSD）检测到该卷正在被用户使用，则向VVJM发送反馈，请求继续发送迁移卷信息，直至寻找到一个未在使用的最为合理的卷。

4.卷使用状况检测器（VSD）将检测过使用状况的卷的信息发送至卷服务创建器（VME），由卷服务创建器（VME）来执行最终的迁移工作。

5.卷服务创建器（VME）会按照创建新卷—复制内容—删除旧卷—更新卷元数据服务器这几个步骤来对卷进行迁移，完成后向系统返回相应的完成信息。

6.卷使用情况收集器（VUC）子模块将实时监控用户对于卷的访问情况，并将卷访问信息及时更新至卷元数据服务器。

本发明的有益效果是：

1.本发明通过在存储策略中加入遗传算法，实现系统的动态负载均衡，能有效的减少系统开销，提高系统的读写吞吐率，加快系统的平均I/O响应时间。

2.本发明设计了一种iSCSI的断点续传功能，能让用户在连接重置后不必重新上传数据，减少了系统的开销，提高了系统的可靠性。

3.本发明充分利用了系统现有的异构资源，在后端设计了基于卷生命周期的分级存储管理机制，能有效的提高系统的I/O吞吐量，加快系统的响应时间。

4.本发明可用于计算机存储技术领域中解决云存储系统的负载均衡问题。

附图说明

图1为基于遗传算法的负载均衡策略流程图；

图2为iSCSI断点续传流程图；

图3为卷迁移模型逻辑结构示意图。

具体实施方式

下面结合附图和实施方法对本发明作进一步的详细说明。

参照图1，图2和图3执行步骤来说明本发明的实施过程：

1.当系统出现负载不均衡时，选出的两台需要进行负载均衡的卷服务器上的iSCSI连接进行编码，编码成一段0/1字符串，并把它作为初始染色体s。

2.如步骤1所描述，对初始染色体s进行k次变异，产生k个后代s₁, s₂, …, s_k作为初始种群。

3.如步骤2所描述，分别计算出种群中所有个体的适应度值和它们的积累概率。为了防止优良基因个体被强制破坏，本发明采用精英保留策略，即每次产生子代后，就与保留的精英个体进行比较，保留适应度值高的个体作为精英。

4.如步骤3所描述，用轮盘赌选择法选择出k个后代，并进行交叉变异等一系列操作。重复上述过程，直至达到限定代数。

5.根据由步骤1，2，3，4所得的编码，对两台卷服务器的iSCSI连接进行重新布置。

6.如果发现用户在上传数据，本装置的所实现的iSCSI断点续传功能会自动启动

7.当用户将某文件上传到iSCSI挂载的卷上时，先根据文件的源地址和目标地址在日志文件中寻找是否有对应的记录。

8.如步骤7所描述，如果日志文件中没有记录，则表示该文件为首次上传，那么将会在日志文件中记录该文件的源地址和目标地址，待上传完成后将此记录删除。

9.如步骤7所描述，如果日志文件中有相对应的记录，则表明该文件为续传，那么先根据记录中的目标地址，用相应的函数计算出已上传文件的大小。

10.如步骤9所描述，设置读指针至断点后一字节，将未上传部分读入缓冲区，同时，设置写指针至目标文件末尾，将缓冲区数据写入。

11.文件上传完毕后，删除日志文件中对应记录。

12.如果发现系统满足卷迁移的某一个条件时，卷迁移执行器（VMT）就能够检测到并随即被触发，它会向卷价值判定管理器（VVJM）发送一个获取迁移卷信息的请求。

13.如步骤12所述，卷价值判定管理器定时地从卷元数据库中获取卷实时信息，并利用一定的策略不断地更新完善它所维护的迁移队列。

14.当卷价值判定管理器收到获取迁移卷信息的请求后，取出迁移队列中队首的卷的信息，将它发送给卷使用状况检测器（VSD）进行检测卷现在的使用状况。

15.如步骤14所述，卷使用状况检测器(VSD)检测到该卷正在被用户使用，则向卷价值判定管理器(VVJM)发送反馈，请求继续发送迁移卷信息，直至寻找到一个未在使用的最为合理的卷。

16.如步骤15所述，卷使用状况检测器(VSD)将检测过使用状况的卷的信息发送至卷服务创建器（VME），由卷服务创建器（VME）来执行最终的迁移工作。

17.如步骤16所述，卷服务创建器（VME）会按照创建新卷—复制内容—删除旧卷—更新卷元数据服务器这几个步骤来对卷进行迁移，完成后向系统返回相应的完成信息。

18.在系统运行过程中，卷使用情况收集器（VUC）子模块将实时监控用户对于卷的访问情况，并将卷访问信息及时更新至卷元数据服务器。

Claims

1.一种基于块级别云存储负载均衡优化的方法，其特征在于：包括遗传算法优化模块，断点续传优化模块和分级存储优化模块；

实现所述基于遗传算法优化模块的步骤具体是：

(1-1)将系统选出的两台需要进行负载均衡的卷服务器上的iSCSI连接进行编码，编码成一段0/1字符串，并把它作为初始染色体s，随后对初始染色体s进行k次变异，产生k个后代s₁,s₂,…,s_k作为初始种群；

(1-2)分别计算出种群中所有个体的适应度值和它们的积累概率；

(1-3)用轮盘赌选择法选择出k个后代，并进行交叉变异一系列操作，重复上述过程，直至达到限定代数；

(1-4)根据得到的编码，对两台卷服务器的iSCSI连接进行重新布置；

实现所述断点续传优化模块的步骤具体是：

(2-1)当用户将某文件上传到iSCSI挂载的卷上时，先根据文件的源地址和目标地址在日志文件中寻找是否有对应的记录；

(2-2)如果日志中没有记录，则表示该文件为首次上传，那么将在日志文件中记录该文件的源地址和目标地址，待上传完成后将此记录删除；

(2-3)如果日志文件中有相对应的记录，则表明该文件为续传，那么先根据记录中的目标地址，用相应的函数计算出已上传文件的大小；

(2-4)设置读指针至断点后一字节，将未上传部分读入缓冲区，同时，设置写指针至目标文件末尾，将缓冲区数据写入；

(2-5)文件上传完毕后，删除日志文件中对应记录；

实现所述分级存储优化模块的步骤具体是：

(3-1)当系统满足卷迁移的某一个条件时，卷迁移执行器(VMT)就能够检测到并随即被触发，它会向卷价值判定管理器(VVJM)发送一个获取迁移卷信息的请求；

(3-2)卷价值判定管理器(VVJM)定时地从卷元数据库中获取卷实时信息，并不断地更新完善它所维护的迁移队列；当卷价值判定管理器收到获取迁移卷信息的请求后，取出迁移队列中队首的卷的信息，将它发送给卷使用状况检测器(VSD)进行检测卷现在的使用状况；

(3-3)如果卷使用状况检测器(VSD)检测到该卷正在被用户使用，则向卷价值判定管理器(VVJM)发送反馈，请求继续发送迁移卷信息，直至寻找到一个未在使用的最为合理的卷；

(3-4)卷使用状况检测器(VSD)将检测过使用状况的卷的信息发送至卷服务创建器(VME)，由卷服务创建器(VME)来执行最终的迁移工作；

(3-5)卷服务创建器(VME)会按照创建新卷—复制内容—删除旧卷—更新卷元数据服务器这几个步骤来对卷进行迁移，完成后向系统返回相应的完成信息；

(3-6)卷使用情况收集器(VUC)子模块将实时监控用户对于卷的访问情况，并将卷访问信息及时更新至卷元数据服务器。