CN104468379B - 基于最短逻辑距离的虚拟Hadoop集群节点选择方法及装置 - Google Patents

Abstract

本发明涉及一种虚拟Hadoop集群节点选择方法及装置，公开了基于最短逻辑距离的虚拟Hadoop集群节点选择方法，通过计算虚拟机节点的逻辑通信距离选择Master节点，通过计算虚拟机节点的逻辑传输距离选择R个Reducer节点，通过监控虚拟集群是否达到SLA要求决定是否重新选择Master节点以及Reducer节点，此外，本发明也提供了一种应用上述基于最短逻辑距离的虚拟Hadoop集群节点选择方法得到的选择装置。本发明的优点在于，可以提高计算性能，减少网络数据数据传输压力，同时兼具对网络环境的动态适应机制，具有较好的应用价值。

Description

基于最短逻辑距离的虚拟Hadoop集群节点选择方法及装置

技术领域

本发明涉及一种虚拟Hadoop集群节点选择方法及装置，特别涉及一种基于最短逻辑距离的虚拟Hadoop集群节点选择方法，以及基于最短逻辑距离的虚拟Hadoop集群节点选择装置。

背景技术

随着云计算技术的飞速发展，传统的物理集群上运行的程序也逐渐向云计算环境下的虚拟机集群转移。大数据计算平台Hadoop便是典型代表，Hadoop平台部署到虚拟机集群具有很多优势：一、高效的资源利用率，多虚拟机共用一台物理机提升资源使用效率；二、快捷的动态部署，节点数可以在秒级时间内按需增减；三、动态资源调配，每个虚拟机节点的资源分配可以按需增减；四、高效的存储性能，计算时数据存储在本地磁盘，共用数据和不急需的数据存放在HDFS上，提升了数据存取速度。

然而，虚拟Hadoop集群的推广同时面临很多需要解决的性能问题，最具代表性的是网络开销问题，虚拟集群使得多台虚拟机部署到一台物理机上，每一台虚拟机承受和原有物理机同样的数据传输压力，使得物理机的网络传输压力是以前的数倍。因此，急需就减少物理机的网络传输压力进行进一步的研究。

发明内容

本发明针对现有技术中，缺乏针对网络传输压力，特别是针对虚拟Hadoop集群的网络优化方案的缺点，提供了一种基于最短逻辑距离的虚拟Hadoop集群节点选择方法及应用上述方法的装置。

为实现上述目的，本发明可采取下述技术方案：

基于最短逻辑距离的虚拟Hadoop集群节点选择方法，包括以下具体步骤：

1)应用Vivaldi网络坐标计算方法计算虚拟集群内每个虚拟机节点在Vivaldi网络坐标内所对应的虚拟坐标；

2)根据虚拟坐标计算虚拟机节点QUOTE V_i、QUOTE V_j之间的逻辑通信距离QUOTELCD_i,j，其中，虚拟机节点QUOTE V_i、QUOTE V_j为虚拟集群内的任意两个虚拟机节点，QUOTELCD_i,j＝||X_i-X_j||，QUOTE X_i为虚拟机节点QUOTE V_i在Vivaldi网络坐标内所对应的坐标向量，QUOTE X_j为虚拟机节点QUOTE V_j在Vivaldi网络坐标内所对应的坐标向量；

3)根据逻辑通信距离QUOTE LCD_i,j计算虚拟集群内任一虚拟机节点与虚拟集群内除该任一虚拟机节点以外的所有虚拟机节点的逻辑通信距离之和，记为总逻辑通信距离，选择总逻辑通信距离最短的虚拟机节点作为Master节点；

4)计算虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTE LTD_i,j，其中，QUOTE V_i为虚拟集群内的任一虚拟机节点，Mapper节点QUOTE V_j为任一Mapper节点，k为QUOTE LCD_i,j以及与虚拟机节点QUOTEV_i相连接的交换机i的影响力因子，QUOTE S_i为与虚拟机节点QUOTE V_i相连接的交换机i的剩余传输能力，QUOTE S_total为所有与交换机i相连接的交换机的剩余传输能力之和，Mapper节点由虚拟Hadoop系统根据虚拟集群的规模和网络状态自动选取，最小个数为2个；

5)根据虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTE LTD_i,j，分别计算集群内任一虚拟机节点至集群内除该任一虚拟机节点以外的其他虚拟机节点的逻辑传输距离之和，记为总逻辑传输距离，选择R个总逻辑传输距离最短的虚拟机节点作为Reducer节点，其中，根据用户的集群范围和运算量要求取不同的值，优选为1个或者不多于所有虚拟机节点数的1/2；

6)对虚拟集群进行监控，如果虚拟集群因为网络传输速率无法达到预定速率从而出现网络数据传输瓶颈，则重新开始步骤1)，选择新的Master节点以及Reducer节点，并将数据迁移至新的Master节点以及Reducer节点。

作为优选，步骤2)中，使用欧式距离计算任意两个虚拟机节点之间的逻辑通信距离QUOTE LCD_i,j。

作为优选，步骤5)中，还包括以下具体步骤：对虚拟机节点的总逻辑传输距离进行升序排序，选择前R个虚拟机节点作为Reducer节点。

作为优选，步骤6)中，如果虚拟集群因为网络数据传输瓶颈而无法满足SLA时，则重新开始步骤1)。

基于最短逻辑距离的虚拟Hadoop集群节点选择装置，包括：

逻辑通信距离计算器：逻辑通信距离计算器应用Vivaldi网络坐标计算方法计算虚拟集群内每个虚拟机节点在Vivaldi网络坐标内所对应的虚拟坐标；

Master节点选择器：Master节点选择器根据虚拟坐标计算虚拟机节点QUOTE V_i、QUOTE V_j之间的逻辑通信距离QUOTE LCD_i,j；

逻辑传输距离计算器：逻辑传输距离计算器根据逻辑通信距离QUOTE LCD_i,j计算任意虚拟机节点与其他所有虚拟机节点的逻辑通信距离之和，并选择总逻辑通信距离最短的虚拟机节点作为Master节点；

Reducer节点选择器：Reducer节点选择器计算虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTELTD_i,j；

集群性能监控器：集群性能监控器对虚拟集群进行监控，如果虚拟集群因为网络传输速率无法达到预定速率从而出现网络数据传输瓶颈，则重新开始步骤1)，选择新的Master节点以及Reducer节点，并将数据迁移至新的Master节点以及Reducer节点。

解决虚拟集群网络开销的方案主要分为两种，第一种是提升硬件传输速度，但是这种方法需要改变原有数据中心物理结构，而且开销较大；第二种是使用更合理的资源整合与网络压力分配，将网络压力大的节点尽量分散，尽量减少数据在整个网络中传输的时间与距离。本方法采用第二种优化思想。

减少数据在网络中的传输时间与传输距离面临很多挑战，首先，传输距离的定义，传输距离在通信量小的时候中间经过的交换机的剩余传输能力对传输性能影响较小，然而，当传输的数据量较大的时候，不仅节点间的响应时间会对整个传输过程造成很大的影响，同时，节点间传输需要经过的交换机的剩余传输能力也会对传输距离产生很大的影响。其次，如果集群规模在运行时发生变化，具有最短逻辑距离的节点可能会发生改变。最后，最优节点会随着运行时状态的变化而改变。所以，我们提出一种与底层网络架构无关，可以根据运行时状态和集群规模的改变而随时调整最优节点的方法。

本发明由于采用了以上技术方案，具有显著的技术效果：

具有较高的计算性能，Master节点作为总控节点，需要持续保持着和其他节点的联系，需要与其他节点交换运行时信息并发送调控指令，所以，通过最短逻辑通信方法降低了Master节点的总通信时间，加速了计算过程；Reducer节点在数据传输量大的大数据计算中会有大量数据传输，所以Reducer节点位置经常会成为瓶颈节点，通过最短逻辑传输距离选择逻辑通信距离最短且连接的交换机的剩余传输能力最强的节点，可以缩短Reduce阶段的等待时间，提升集群整体性能。

可以减少物理网络的数据传输压力，最短逻辑通信距离和最短逻辑传输距离都通过节点选择的方法减少了控制指令与中间数据传输的传输，缩短了数据在网络中传输的时间，减轻了集群网络的压力。

具备对网络环境的动态适应，当数据中心中其他的虚拟集群对虚拟Hadoop集群资源产生干扰，或者是当虚拟集群的规模发生改变的时候，本方法可以动态的根据环境改变前后SLA违背的情况进行动态重新计算Master节点和Reducer节点位置并进行数据迁移，保证系统稳定高效运行。

进一步地，通过欧式距离计算虚拟机节点在Vivaldi网络中的坐标，不仅计算开销少，也可以精确地反映两个虚拟机节点之间的网络距离。

进一步地，通过升序排序选择Reducer节点，进一步地减少了需要处理的数据量，减少了计算开销。

进一步地，通过对是否满足SLA进行监控，可以更为准确地反映网络通信瓶颈的问题，因此，可以更为精确地预测网络通信瓶颈的出现时机，及时更新Master节点和Reducer节点，减少突发的数据流或者网络环境的改变对整个网络数据传输速率的影响。

附图说明

图1是本发明的流程示意图。

图2是逻辑传输距离的计算流程示意图。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

实施例1

基于最短逻辑距离的虚拟Hadoop集群节点选择方法，如图1所示，包括以下具体步骤：

1)应用Vivaldi网络坐标计算方法计算虚拟集群内每个虚拟机节点在Vivaldi网络坐标内所对应的虚拟坐标；

2)根据虚拟坐标计算虚拟机节点QUOTE V_i、QUOTE V_j之间的逻辑通信距离QUOTELCD_i,j，其中，虚拟机节点QUOTE V_i、QUOTE V_j为虚拟集群内的任意两个虚拟机节点，QUOTELCD_i,j＝||X_i-X_j||，QUOTE X_i为虚拟机节点QUOTE V_i在Vivaldi网络坐标内所对应的坐标向量，QUOTE X_j为虚拟机节点QUOTE V_j在Vivaldi网络坐标内所对应的坐标向量；

3)根据逻辑通信距离QUOTE LCD_i,j计算虚拟集群内任一虚拟机节点与虚拟集群内除该任一虚拟机节点以外的所有虚拟机节点的逻辑通信距离之和，记为总逻辑通信距离，选择总逻辑通信距离最短的虚拟机节点作为Master节点；

4)计算虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTE LTD_i,j，其中，QUOTE V_i为虚拟集群内的任一虚拟机节点，QUOTE V_j为任一Mapper节点，k为QUOTE LCD_i,j以及与虚拟机节点QUOTE V_i相连接的交换机i的影响力因子，QUOTE S_i为与虚拟机节点QUOTE V_i相连接的交换机i的剩余传输能力，QUOTE S_total为所有与交换机i相连接的交换机的剩余传输能力之和；

5)根据虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTE LTD_i,j，分别计算集群内任一虚拟机节点至集群内除该任一虚拟机节点以外的其他虚拟机节点的逻辑传输距离之和，记为总逻辑传输距离，选择R个总逻辑传输距离最短的虚拟机节点作为Reducer节点；

6)对虚拟集群进行监控，如果虚拟集群因为网络传输速率无法达到预定速率从而出现网络数据传输瓶颈，则重新开始步骤1)，选择新的Master节点以及Reducer节点，并将数据迁移至新的Master节点以及Reducer节点。

步骤2)中，使用欧式距离计算任意两个虚拟机节点之间的逻辑通信距离QUOTELCD_i,j。

步骤5)中，还包括以下具体步骤：对虚拟机节点的总逻辑传输距离进行升序排序，选择前R个虚拟机节点作为Reducer节点。

步骤6)中，如果虚拟集群因为网络数据传输瓶颈而无法满足SLA时，则重新开始步骤1)。

为了能够进一步地提高计算虚拟机的逻辑传输距离时的性能，需要对虚拟机的逻辑传输距离的计算过程进行进一步的优化。现有技术中，对虚拟机的逻辑通信距离和逻辑传输距离的计算无法并行处理，因为在对逻辑通信距离的计算过程中，必然会涉及到数据包的传输，从而对稍后的逻辑传输距离的计算结果产生影响。本发明通过计算与虚拟机直接相连的交换机剩余传输能力，避免了上述问题，因此，可以将逻辑通信距离的计算和交换机的剩余传输能力的计算并行处理，如图2所示，在计算逻辑传输距离之前，并行地进行以下计算步骤1’)以及步骤2’)：1’)计算虚拟机在Vivaldi网络中的虚拟坐标，计算虚拟机的逻辑通信距离；2’)对交换机进行选择，即选择与步骤1’)的虚拟机直接相连接的所有交换机中具有最大剩余传输能力的交换机，并计算该交换机的剩余传输能力。

通过应用上述虚拟Hadoop集群节点选择方法，本实施例还提供了一种基于最短逻辑距离的虚拟Hadoop集群节点选择装置，如图1所示，包括：

逻辑通信距离计算器：逻辑通信距离计算器应用Vivaldi网络坐标计算方法计算虚拟集群内每个虚拟机节点在Vivaldi网络坐标内所对应的虚拟坐标；

Master节点选择器：Master节点选择器根据虚拟坐标计算虚拟机节点QUOTE V_i、QUOTE V_j之间的逻辑通信距离QUOTE LCD_i,j；

逻辑传输距离计算器：逻辑传输距离计算器根据逻辑通信距离QUOTE LCD_i,j计算任意虚拟机节点与其他所有虚拟机节点的逻辑通信距离之和，并选择总逻辑通信距离最短的虚拟机节点作为Master节点；

Reducer节点选择器：Reducer节点选择器计算虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTE LTD_i,j；

集群性能监控器：集群性能监控器对虚拟集群进行监控，如果虚拟集群因为网络传输速率无法达到预定速率从而出现网络数据传输瓶颈，则重新开始步骤1)，选择新的Master节点以及Reducer节点，并将数据迁移至新的Master节点以及Reducer节点。

总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (5)

1.一种基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其特征在于，包括以下具体步骤：

1)应用Vivaldi网络坐标计算方法计算虚拟集群内每个虚拟机节点在Vivaldi网络坐标内所对应的虚拟坐标；

2)根据虚拟坐标计算虚拟机节点QUOTE V_i、QUOTE V_j之间的逻辑通信距离QUOTELCD_i,j，其中，虚拟机节点QUOTE V_i、QUOTE V_j为虚拟集群内的任意两个虚拟机节点，QUOTELCD_i,j＝||X_i-X_j||，QUOTE X_i为虚拟机节点QUOTE V_i在Vivaldi网络坐标内所对应的坐标向量，QUOTE X_j为虚拟机节点QUOTE V_j在Vivaldi网络坐标内所对应的坐标向量；

3)根据逻辑通信距离QUOTE LCD_i,j计算虚拟集群内任一虚拟机节点与虚拟集群内除该任一虚拟机节点以外的所有虚拟机节点的逻辑通信距离之和，记为总逻辑通信距离，选择总逻辑通信距离最短的虚拟机节点作为Master节点；

4)计算虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTELTD_i,j，其中，QUOTE V_i为虚拟集群内的任一虚拟机节点，Mapper节点QUOTE V_j为任一Mapper节点，QUOTEk为QUOTE LCD_i,j以及与虚拟机节点QUOTE V_i相连接的交换机i的影响力因子，QUOTE S_i为与虚拟机节点QUOTE V_i相连接的交换机i的剩余传输能力，QUOTE S_total为所有与交换机i相连接的交换机的剩余传输能力之和；

5)根据虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTELTD_i,j，分别计算集群内任一虚拟机节点至集群内除该任一虚拟机节点以外的其他虚拟机节点的逻辑传输距离之和，记为总逻辑传输距离，选择R个总逻辑传输距离最短的虚拟机节点作为Reducer节点；

6)对虚拟集群进行监控，如果虚拟集群因为网络传输速率无法达到预定速率从而出现网络数据传输瓶颈，则重新开始步骤1)，选择新的Master节点以及Reducer节点，并将数据迁移至新的Master节点以及Reducer节点。

2.根据权利要求1所述的基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其特征在于，步骤2)中，使用欧式距离计算任意两个虚拟机节点之间的逻辑通信距离QUOTELCD_i,j。

3.根据权利要求1所述的基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其特征在于，步骤5)中，还包括以下具体步骤：对虚拟机节点的总逻辑传输距离进行升序排序，选择前R个虚拟机节点作为Reducer节点。

4.根据权利要求1所述的基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其特征在于，步骤6)中，如果虚拟集群因为网络数据传输瓶颈而无法满足SLA时，则重新开始步骤1)。

5.一种基于最短逻辑距离的虚拟Hadoop集群节点选择装置，其特征在于，包括：

逻辑通信距离计算器：逻辑通信距离计算器应用Vivaldi网络坐标计算方法计算虚拟集群内每个虚拟机节点在Vivaldi网络坐标内所对应的虚拟坐标；

Master节点选择器：Master节点选择器根据虚拟坐标计算虚拟机节点QUOTE V_i、QUOTEV_j之间的逻辑通信距离QUOTE LCD_i,j；

逻辑传输距离计算器：逻辑传输距离计算器根据逻辑通信距离QUOTE LCD_i,j计算任意虚拟机节点与其他所有虚拟机节点的逻辑通信距离之和，并选择总逻辑通信距离最短的虚拟机节点作为Master节点；

Reducer节点选择器：Reducer节点选择器计算虚拟集群内虚拟机节点QUOTE V_i至Mapper节点QUOTE V_j的逻辑传输距离QUOTE LTD_i,j；

集群性能监控器：集群性能监控器对虚拟集群进行监控，如果虚拟集群因为网络传输速率无法达到预定速率从而出现网络数据传输瓶颈，则重新开始步骤1)，选择新的Master节点以及Reducer节点，并将数据迁移至新的Master节点以及Reducer节点。