CN109889573A - 混合云中基于ngsa多目标的副本放置方法 - Google Patents

Abstract

本发明公开了一种混合云中基于NGSA多目标的副本放置方法，是结合副本放置算法和混合云资源放置规则提出来的基于NGSA多目标的任务调度方法，本调度方法适用于混合云环境下大数据副本放置，它综合考虑了副本放置规则和混合云环境的特点以及系统性能的相关影响因素，提出基于多个子目标函数。传统的副本放置算法鲜有考虑文件可用率和数据的可靠性的，并且多目标优化算法需要大量的训练作业集。本发明方法无需大量的数据集训练，能够快速的选择最优解，满足多个子目标要求，使得混合云整体利用率提高；优化副本放置减少了负载均衡的过程，保证了数据可靠性的同时提高了混合云存储的利用率，提高了QoS满意率，达到了合理放置数据块副本目的。

Description

混合云中基于NGSA多目标的副本放置方法

技术领域

本发明涉及计算机云存储技术领域，特别涉及一种混合云中基于NGSA多目标的副本放置方法。

背景技术

云存储有以下几个特点：成本低、易于管理、高可用性、高扩展、数据容灾能力强、降低中断升级的影响。如何优化现有的云使用策略(节约云使用成本)、用云计算缓解工作负载、扩展公有云是云存储研究的关键点。目前云计算模式主要有三类:私有云、公有云和混合云。私有云是针对持定的组织或企业内部提供云计算服务的一种云计算模式，能够根据资源节点数量、性能等不同的建设需求而定制，具有数据安全性好、服务质量高、单次计算成本较低的特点；公有云是在公共网络环境(Internet)上，以第三方服务供应商的方式，为用户提供可租用服务及基础设施，具有节点数量大、可用资源多、按计算使用情况计费、对通信质量较为敏感等持点；混合云融合了公有云和私有云，是近年来云计算的主要模式和发展方向。混云环境下的多副本管理技术主要是依托于现在新型的云存储技术，要在混合云环境下如何优化多副本管理技术就要综合云平台特性及客户需求，有不同的策略，在这种复杂情况下的数据副本管理不仅要依赖于传统多副本管理方法，还要针对混合云环境下不同应用优化服务策略，因为优秀的副本管理策略直接影响用户体验，必须考虑以下情形：运行系统负载、存储终端效率、网络状况、数据副本个数、放置位置、创建最佳时机、创建副本数量等。虽然混合云环境下副本的引入很好地解决了公有云对用户的响应时间问题，但在混合云中，网络的延迟可能导致从副本接收到的更新消息顺序与主副本发送的顺序不同，网络的拥塞或断开可能会使主副本发送的更新消息丢失，这都会导致从副本与主副本的不一致。保证混合云运行环境负载均衡，合理放置副本数目才能够保证资源部署成本，降低用户使用成本，提高系统性能，避免系统负载不均衡。

迄今为止，学者们提出了很多有关副本放置的算法。但是这些算法并能不较好地适用于混合云环境下大数据的副本放置。

发明内容

本发明的目的是针对现有技术的不足，提出一种混合云中基于NGSA多目标的副本放置方法，通过充分利用系统资源，能提高任务执行效率的同时减少任务执行能耗。

为实现上述目的，本发明所设计的混合云中基于NGSA多目标的副本放置方法，其特殊之处在于，包括如下步骤：

1)初始化集群节点信息；

2)获得创建副本数k，建立数据块NGSA-II副本放置优化模型，设定子目标优化函数个数，确定变量定义域范围，配置交叉算子、变异算子、选择算子、子目标优化函数，设置群体大小M，终止条件T，所述子目标优化函数包括文件可用率函数、节点性能函数、节点相对负载函数、网络距离函数和集群负载函数；

3)求解数据块NGSA-II副本放置优化模型，在终止条件T内，种群内的每个个体按照设定概率进行选择、杂交、变异生成子代个体，将子代和父代合并生成新的种群P_t；

4)对种群P_t进行快速非支配排序及拥挤度计算；

5)引入NGSA精英保留策略，筛选保留满足拥挤度要求的个体放入种群P_t。

6)通过快速非支配排序，获得第一、第二级非支配解集构成最佳解集Z；

7)计算最佳解集Z中每个个体的拥挤度，并选择最小值，即为子目标优化函数的最优解；

8)根据子目标优化函数最优解，放置数据块副本到子目标优化函数最优解对应的个体编码位的指定节点，并记录放置信息。

优选地，所述步骤2)中数据块NGSA-II副本放置优化模型为

其中， 表示新增数据块中，数据块i的第k_i个副本放置在节点j上；表示新增数据块中，数据块i的第k_i个副本不放置在节点j上， 表示第i个数据块新增副本的个数；N^node表示DataNode节点的个数。

优选地，所述步骤4)和步骤7)中拥挤度的计算公式为

其中，为多目标函数中第m个指标按照快速非支配排序后个体i的目标值，1≤m≤5，和表示多目标函数中第m个指标的最大值和最小值，对下次迭代的种群，按照拥挤度距离dis(i)进行排序，选择最小的dis(i)，即为最贴近目标值的解。

优选地，所述步骤8)中放置数据块副本时，满足如下规则：不同数据块的副本放置于同一个DataNode节点上时，令N^block表示数据块的个数，则使得

其中，F_j表示在新增数据块副本放置过程中节点N_j拥有的新增的数据块个数，表示第i个数据块需要添加的副本数。

优选地，所述步骤8)中放置数据块副本时，满足如下规则：同一个数据块的不同副本放置在不同的DataNode节点上时，有

DEST_i＝{N_i1,N_i2,…,N_ir}

其中，N_ir表示数据块b_i第个副本，N^block表示数据块的个数，DEST_i表示当前数据块b_i已经放置的副本所在节点的集合|DEST_i|＝R_exit，即R_exit表示数据块当前存在的副本个数。

优选地，所述步骤2)中文件可用率函数为：

其中，N^node表示DataNode节点的个数，f₁是多目标函数的第一个目标函数。

优选地，所述步骤2)中节点性能子目标优化函数为：

其中，N^node表示DataNode节点的个数，f₂是多目标函数的第二个目标函数，D(N_j)表示数据节点磁盘性能的量化值，D(N_j)＝(Size×R×Cache×V_data)/T′，Size表示磁盘容量，R表示磁盘转速，Cache表示缓存大小，V_data表示磁盘传输速率，T′表示平均寻道时间；C(N_j)表示节点CPU的量化值，C(N_j)＝f×Cache×Num×V_bus，f表示CPU的主频，Cache表示缓存大小，Num表示CPU的核心数量，V_bus表示CPU的总线数度；M(N_j)表示节点内存的量化，M(N_j)＝(V×Size×Bandwidth)/CAS，V表示网络传输速度，Size表示内存的大小，Bandwidth表示内存的带宽，CAS表示响应时间，整体性能越高越好。

优选地，所述步骤2)中节点相对负载子目标优化函数为：

其中，N^node表示DataNode节点的个数，f₃是多目标函数的第三个目标函数，节点j上已经放置的数据块个数为每个节点的性能为P_j，P为集群所有节点的性能和。

优选地，所述步骤2)中网络距离子目标优化函数为：

其中，f₄是多目标函数的第四个目标函数，S₀表示数据块大小；C_tr表示单位时间内每比特数据的传输成本；R_k表示数据块在稳定网络环境中的下载时间；表示在系统网络拓扑结构G中，用户到副本的期望最近距离，用户到副本的期望最近距离h_ij表示数据块i和节点j之间的最短网络距离。

优选地，所述步骤2)中集群负载子目标优化函数为：

其中，f₅是多目标函数的第五个目标函数，B_size表示文件分片大小，F_j表示在新增数据块副本放置过程中节点N_j拥有的新增的数据块个数，C_j表示节点j上总存储空间，表示节点j已经使用的存储空间，定义节点j存储空间使用率为β_j，集群平均存储使用率 每个数据块大小相等。

传统的副本放置算法鲜有考虑文件可用率和数据的可靠性的，并且多目标优化算法需要大量的训练作业集。本发明提出基于NGSA多目标的副本放置算法，该方法无需大量的数据集训练，能够快速的选择最优解，满足多个子目标要求，使得混合云整体利用率提高。

本发明结合副本放置算法和混合云资源放置规则提出来基于NGSA多目标的任务调度方法。本调度方法适用于混合云环境下大数据副本放置，它综合考虑了副本放置规则和混合云环境的特点以及系统性能的相关影响因素，提出基于多个子目标函数。这一优化副本放置减少了负载均衡的过程，保证了数据可靠性的同时提高了混合云存储的利用率，提高了QoS满意率，达到了合理放置数据块副本目的。

附图说明

图1为本发明混合云中基于NGSA多目标的副本放置算法流程图。

图2为混合云环境下基于NGSA多目标的副本放置模型。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细描述。

在混合云中进行副本放置之前，需要获取数据块副本放置个数，从而合理资源分配，降低作业的执行时间，提高系统服务性能。对于副本放置问题已有学者研究，但在混合云环境下的副本放置问题去少有研究。有的人考虑通过Qos感知贪婪副本放置算法算法的GS_QoS和GS_QoS_C1，同过此方法在副本放置阶段循环调用可以实现数据副本的均匀分布来保证用户Qos满意度，这种方法感知时间长，模型复杂不易实现。有的方法使用一些由基础设施、网络和应用程序能力与服务质量(QoS)需求相结合的约束，提出一组可互操作的副本复制放置算法，保证了副本放置过程中的可靠性和有效性，但是此算法中服务质量设置有很多人为约束，无法量化，无法保证运行环境的改变算法依旧适用新的环境。还有人提出了基于云模糊评估的数据副本放置策略，采用层次分析法建立一种新型的服务质量模型，对不同用户的数据中心进行模糊评估，选择副本放置的最佳地点，虽然提高了存储服务质量，但该策略适用于各种IQS用户，且有人为参与设置权重。本发明采用的NGSA-II算法无需样本训练，无需对数据进行训练也无需设定权重，算法结构简单，只是在每一代，首先对种群P进行多次遗传进化,反复进行直到结束。应用NGSA-II算法求解多个子目标优化函数，根据所得到的解集通过空间密集度计算得到次优解，通过次优解决定数据块副本放置位置，最后将数据块副本合理放置到指定的节点上。该方法能提高作业的Qos满意率，同时保证了系统的高性能。

本发明提出的混合云环境下基于NGSA多目标的副本放置方法模型由3部分组成：(1)数据块副本创建模块，根据数据块访问历史频次，通过根据分布式文件管理的放置规则，建立合理的副本放置模块。(2)在放置的过程中，根据文件可用性、网络距离、集群相对负载、节点相对负载、存储空间利用率设计子目标优化函数，设置NGSA-II相关算子配置。(3)通过空间密集度选择排序算法，获得次优解，对数据块副本进行复制放置，并通过数据块记录数据块放置地址与数据块源地址的路径。其放置模型如图2所示。

副本放置是否合理，直接影响着MapReduce任务执行时间，同时考虑到私有云资源的异构性以及公有云资源存在较大的差异性，所以考虑副本放置的情况，包括节点性能、节点相对负载、带宽、网络距离、集群相对负载和集群存储空间利用率等也是副本放置的主要影响因素。由于副本放置需要求解一种多目标的问题，本发明的是基于NGSA多目标的副本放置方法，关于NGSA遗传基因编码相关参数设计如表1所示。

表1主要参数配置

首先，初始化集群性息，设计NGSA相关算子，将副本放置影响因素进行量化为相对应的子目标优化函数，主要影响因素如表2所示。

表2副本放置的影响因素

本发明中，Hadoop副本放置模型设计如下：数据块副本放置的过程中必须要考虑其放置情况，数据块副本放置模型为：

其中，当k_i≠0时， 表示新增数据块中，数据块i的第k_i个副本放置在节点j上；表示新增数据块中，数据块i的第k_i个副本不放置在节点j上。 表示第i个数据块新增副本的个数；N^node表示DataNode节点的个数，k_i表示数据块i的第k个副本。

HDFS集群环境下，节点的集合可以表示为：

Node＝{N_j|j＝1,2,…,N^node} (2)

其中N_j表示第j个数据节点。

其中Hadoop默认副本放置的一些规则需要遵守：

①不同数据块的副本可以放置于同一个DataNode节点上，令N^block表示数据块的个数，则使得

其中，F_j表示在新增数据块副本放置过程中节点N_j拥有的新增的数据块个数。

②同一个数据块的不同副本放置在不同的DataNode节点上，有

DEST_i＝{N_i1,N_i1,…,N_ir} (5)

其中，N_ir表示数据块b_i第i个副本；DEST_i表示当前数据块b_i已经放置的副本所在节点的集合|DEST_i|＝R_exit，即R_exit表示数据块副本个数。

假设数据块新增副本已经放置了个，则数据块副本放置的节点可以表示为：

则当数据块放置第k+1个副本时可放置的节点表示为：

子目标函数的相关设计如下：

1:文件可用率函数

2：节点性能函数

D(N_j)表示数据节点磁盘性能的量化值，D(N_j)＝(Size×R×Cache×V_data)/T′，Size表示磁盘容量，R表示磁盘转速，Cache表示缓存大小，V_data表示磁盘传输速率，T′表示平均寻道时间；C(N_j)表示节点CPU的量化值，C(N_j)＝f×Cache×Num×V_bus，f表示CPU的主频，Cache表示缓存大小，Num表示CPU的核心数量，V_bus表示CPU的总线数度；M(N_j)表示节点内存的量化，M(N_j)＝(V×Size×Bandwidth)/CAS，V表示网络传输速度，Size表示内存的大小，Bandwidth表示内存的带宽，CAS表示响应时间，整体性能越高越好。

3：节点相对负载函数

节点j上已经放置的数据块个数为每个节点的性能为P_j，P为集群所有节点的性能。

4：网络距离函数

网络距离子目标优化函数为：

其中， 表示新增数据块中，数据块i的第k_i个副本放置在节点j上；表示新增数据块中，数据块i的第k_i个副本不放置在节点j上， 表示第i个数据块新增副本的个数；N^node表示DataNode节点的个数，S₀表示数据块大小；C_tr表示单位时间内每比特数据的传输成本(由服务提供商设定)；R_k表示数据块在稳定网络环境中的下载时间(数据块在相对稳定网络环境下，完成传输所需要的时间)；表示在系统网络拓扑结构G中，用户到副本的期望最近距离h_ij表示数据块i和节点j之间的最短网络距离。

5：集群负载函数

其中，C_j表示节点j上总存储空间，表示节点j已经使用的存储空间，定义节点j存储空间使用率为β_j，集群平均存储使用率 每个数据块大小相等。

Pareto解集次优解选择，制定拥挤度公式如下：

其中，为多目标函数中第m(1≤m≤5)个指标按照快速非支配排序后个体i的目标值，和表示多目标函数中第m个指标的最大值和最小值。对下次迭代的种群，按照拥挤度距离dis(i)进行排序，选择最小的dis(i)，即为最贴近目标值的解。

本发明提出的混合云环境下基于NGSA多目标的数据块放置方法，是结合分布式文件系统放置规则和混合云特点而提出来的。本方法首先根据副本放置规则，从而确定副本放置的数学模型，模型构建规则见公式(3)到(5)。根据影响系统服务性能量化5个子目标优化函数，具体量化函数见公式(8)到(12)。通过NGSA算法获得Parto解集，通过公式(13)求得次优解几位目标函数的最优解，最后进行副本放置操作。本方法的流程图如图1所示，具体过程描述如下：

(1)初始化集群节点信息。

(2)获得创建副本数，建立数据块NGSA-II副本放置优化模型。

(3)输入决策变量个数和优化目标函数个数,确定变量定义域范围。

(4)配置交叉算子、变异算子、选择算子、子目标优化函数

(5)设置群体大小为M，终止条件T。

(6)令t＝0,初始化种群为P₀，对个体进行个体编码。

(7)根据终止条件T判断是否生成新的父种群P_t，当t≤T时转(8)，当t>T时转步骤(12)。

(8)当t≤T时，父代个体按照设定概率进行选择、杂交、变异生成新的，令t＝t+1，子代和父代合并生成新的种群P_t。

(9)对种群P_t快速非支配排序。

(10)拥挤度计算。

(11)引入精英保留策略，选中合适的个体放入P_t，转(7)。

(12)快速非支配排序获得第一，第二级非支配解集集合Z。

(13)计算集合Z中每个个体的dis(i)，并选择最小值，即为最优解。

(14)根据子目标优化函数最优解，放置数据块副本到子目标优化函数最优解对应的个体编码位的指定节点，并记录放置信息。

副本放置的伪代码描述如下

由算法的伪代码描述可以得到，第1行，副本放置相关模型的构建；第2行，运行平台相关信息的采集获取，包括节点信息、集群信息、分布式系统相关日志；第3到4行，对遗传算法NGSA算法的相关配置；第5到6行，量化混合云环境下相关子目标优化函数，文件可用率、网络距离、节点相对负载、集群相对负载、集群存储使用率；第9到18行，使用遗传算法NGSA对目标函数求解过程；第22行，遗传筛选获得的Pareto解集；第23行，计算所有解集的空间密集度，进行排序，获得次优解；第24行，对数据块副本进行放置操作，并用数据块记录相应的副本放置信息。按照数据块副本放置规则将副本放置问题转换为特定的模型。定义五个影响系统服务性能的子目标函数，使用NGSA-II算法寻找满足系统服务性能的最优解，并通过数据库记录数据块副本放置相关信息，从而保证系统服务性能的情况下，提高用户的Qos满意度。

本领域的技术人员应当理解，此处所述的具体实施方案仅用解释本发明专利，并不用于限制本发明专利。在本发明专利的精神和原则之内作出的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之中。

Claims (10)

1.一种混合云中基于NGSA多目标的副本放置方法，其特征在于：包括如下步骤：

1)初始化集群节点信息；

2)获得创建副本数k，建立数据块NGSA-II副本放置优化模型，设定子目标优化函数个数，确定变量定义域范围，配置交叉算子、变异算子、选择算子、子目标优化函数，设置群体大小M，终止条件T，所述子目标优化函数包括文件可用率函数、节点性能函数、节点相对负载函数、网络距离函数和集群负载函数；

3)求解数据块NGSA-II副本放置优化模型，在终止条件T内，种群内的每个个体按照设定概率进行选择、杂交、变异生成子代个体，将子代和父代合并生成新的种群P_t；

4)对种群P_t进行快速非支配排序及拥挤度计算；

5)引入NGSA精英保留策略，筛选保留满足拥挤度要求的个体放入种群P_t；

6)通过快速非支配排序，获得第一、第二级非支配解集构成最佳解集Z；

7)计算最佳解集Z中每个个体的拥挤度，并选择最小值，即为子目标优化函数的最优解；

8)根据子目标优化函数最优解，放置数据块副本到子目标优化函数最优解对应的个体编码位的指定节点，并记录放置信息。

2.根据权利要求1所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤2)中数据块NGSA-II副本放置优化模型为

其中， 表示新增数据块中，数据块i的第k_i个副本放置在节点j上；表示新增数据块中，数据块i的第k_i个副本不放置在节点j上， 表示第i个数据块新增副本的个数；N^node表示DataNode节点的个数。

3.根据权利要求1所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤4)和步骤7)中拥挤度的计算公式为

其中，为多目标函数中第m个指标按照快速非支配排序后个体i的目标值，1≤m≤5，和表示多目标函数中第m个指标的最大值和最小值，对下次迭代的种群，按照拥挤度距离dis(i)进行排序，选择最小的dis(i)，即为最贴近目标值的解。

4.根据权利要求1所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤8)中放置数据块副本时，满足如下规则：不同数据块的副本放置于同一个DataNode节点上时，令N^block表示数据块的个数，则使得

其中，F_j表示在新增数据块副本放置过程中节点N_j拥有的新增的数据块个数，表示第i个数据块需要添加的副本数。

5.根据权利要求1所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤8)中放置数据块副本时，满足如下规则：同一个数据块的不同副本放置在不同的DataNode节点上时，有

DEST_i＝{N_i1,N_i2,…,N_ir}

其中，N_ir表示数据块b_i第个副本，N^block表示数据块的个数，DEST_i表示当前数据块b_i已经放置的副本所在节点的集合|DEST_i|＝R_exit，即R_exit表示数据块当前存在的副本个数。

6.根据权利要求2所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤2)中文件可用率函数为：

其中，N^node表示DataNode节点的个数，f₁是多目标函数的第一个目标函数。

7.根据权利要求2所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤2)中节点性能子目标优化函数为：

其中，N^node表示DataNode节点的个数，f₂是多目标函数的第二个目标函数，D(N_j)表示数据节点磁盘性能的量化值，D(N_j)＝(Size×R×Cache×V_data)/T′，Size表示磁盘容量，R表示磁盘转速，Cache表示缓存大小，V_data表示磁盘传输速率，T′表示平均寻道时间；C(N_j)表示节点CPU的量化值，C(N_j)＝f×Cache×Num×V_bus，f表示CPU的主频，Cache表示缓存大小，Num表示CPU的核心数量，V_bus表示CPU的总线数度；M(N_j)表示节点内存的量化，M(N_j)＝(V×Size×Bandwidth)/CAS，V表示网络传输速度，Size表示内存的大小，Bandwidth表示内存的带宽，CAS表示响应时间，整体性能越高越好。

8.根据权利要求2所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤2)中节点相对负载子目标优化函数为：

其中，N^node表示DataNode节点的个数，f₃是多目标函数的第三个目标函数，节点j上已经放置的数据块个数为每个节点的性能为P_j，P为集群所有节点的性能。

9.根据权利要求2所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤2)中网络距离子目标优化函数为：

其中，f₄是多目标函数的第四个目标函数，S₀表示数据块大小；C_tr表示单位时间内每比特数据的传输成本；R_k表示数据块在稳定网络环境中的下载时间；表示在系统网络拓扑结构G中，用户到副本的期望最近距离h_ij表示数据块i和节点j之间的最短网络距离。

10.根据权利要求2所述的混合云中基于NGSA多目标的副本放置方法，其特征在于：所述步骤2)中集群负载子目标优化函数为：

其中，f₅是多目标函数的第五个目标函数，B_size表示文件分片大小，F_j表示在新增数据块副本放置过程中节点N_j拥有的新增的数据块个数，C_j表示节点j上总存储空间，表示节点j已经使用的存储空间，定义节点j存储空间使用率为β_j，集群平均存储使用率 每个数据块大小相等。