CN105302641B - 虚拟化集群中进行节点调度的方法及装置 - Google Patents

Abstract

本发明公开了虚拟化集群中进行节点调度的方法及装置，其中，该方法包括：设置调度条件，所述调度条件包含定制参数及对应各定制参数的调度阈值范围；从虚拟化集群的各数据节点获取与定制参数对应的数据；判断获取的定制参数对应的数据是否满足调度阈值范围，如果是，则进行数据节点的调度。本发明方案能够实现在虚拟化集群中自动进行节点调度。

Description

虚拟化集群中进行节点调度的方法及装置

技术领域

本发明涉及虚拟化集群技术，尤其涉及虚拟化集群中进行节点调度的方法及装置。

背景技术

虚拟化，指计算元件在虚拟的基础上而不是真实的基础上运行，把有限的固定的资源根据不同需求进行重新规划以达到最大利用率。常见的支持该技术的平台如：VmWare、HyperVisor、Kvm等。虚拟化集群，指在多个主机的大型集群环境中，部署运行多个虚拟机的环境，一个主机上至少运行一个虚拟机。一个集群一般由多个数据节点(Datanode)组成，每个数据节点即一个虚拟机。下面以虚拟化平台上运行的hadoop集群为例，对虚拟化集群中进行节点调度的方法进行具体说明。

Hadoop，是一个分布式文件系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

随着大数据的时代来临和开源平台hadoop的流行，越来越多的系统使用hadoop来存储和分析企业的海量数据。在此环境下，为了更有效的利用现有主机的资源，发挥计算机集群的威力，hadoop平台通常会部署到集群式的虚拟化平台中。但随着计算请求越来越多，虚拟机的cpu、内存、磁盘存储等资源会不断耗尽，虚拟机会高负荷运转，运转效率越来越低。

该环境下，需要动态的添加数据节点来扩展集群下的系统资源。目前，采用的是由系统维护人员，对虚拟机资源进行监控，在发现资源耗尽的情况下，手动添加新的虚拟机资源到现有的集群中。这将大量的消耗人力、物力，运维人员也要小心的修改，对系统的稳定性有一定的影响。

上述是进行数据添加的情况，在某些环境下，也需要系统维护人员进行数据节点的关闭操作。

综上，现有采用人为监控、手动进行节点调度的方案，存在操作繁琐、消耗大量人力和物力、且稳定性差、效率低的缺陷。

发明内容

本发明提供了一种虚拟化集群中进行节点调度的方法，该方法能够实现在虚拟化集群中自动进行节点调度。

本发明提供了一种虚拟化集群中进行节点调度的装置，该装置能够实现在虚拟化集群中自动进行节点调度。

一种虚拟化集群中进行节点调度的方法，该方法包括：

设置调度条件，所述调度条件包含定制参数及对应各定制参数的调度阈值范围；

从虚拟化集群的各数据节点获取与定制参数对应的数据；

判断获取的定制参数对应的数据是否满足调度阈值范围，如果是，则进行数据节点的调度。

一种虚拟化集群中进行节点调度的装置，该装置包括定制化模块、采集模块、调度模块和操作模块；

所述定制化模块，设置调度条件发送给所述调度模块，所述调度条件包含定制参数及对应各定制参数的调度阈值范围，并将调度条件包含的定制参数发送给所述采集模块；

所述采集模块，从虚拟化集群的各数据节点获取与定制参数对应的数据，发送给所述调度模块；

所述调度模块，接收来自所述定制化模块的调度条件，以及来自所述采集模块的获取的与定制参数对应的数据，判断获取的定制参数对应的数据是否满足调度阈值范围，如果是，则向所述操作模块发送调度操作命名；

所述操作模块，接收来自所述调度模块的调度操作命令，进行数据节点的调度。从上述方案可以看出，本发明中，设置调度条件，所述调度条件包含定制参数及对应各定制参数的调度阈值范围；从虚拟化集群的各数据节点获取与定制参数对应的数据；判断获取的定制参数对应的数据是否满足调度阈值范围，如果是，则进行数据节点的调度。采用本发明方案，设置调度参数后，便可自动根据定制参数进行数据获取、阈值判断，根据判断结果进一步启动数据节点的调度。这样，无需人为监控、手动进行节点调度，简化了操作，节省了大量人力和物力，具有较高的操作效率，且不会出现因人为误差而引起稳定性差的问题。

附图说明

图1为本发明虚拟化集群中进行节点调度的方法示意性流程图；

图2为本发明虚拟化集群中进行节点调度的方法流程图实例；

图3为本发明虚拟化集群中进行节点调度的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

现有虚拟化集群中进行节点调度的方案，采用人为监控、手动调度实现，存在操作繁琐、消耗大量人力和物力、且稳定性差、效率低的缺陷。针对该问题，本申请提出了自动进行节点调度的方案，先设置调度条件，然后基于调度条件自动从虚拟机进行数据获取，并进行数据分析，根据分析结果启动关于数据节点的调度。这样，无需人为监控、手动进行节点调度，简化了操作，节省了大量人力和物力，具有较高的操作效率，且不会出现因人为误差而引起稳定性差的问题。

参见图1，为本发明虚拟化集群中进行节点调度的方法示意性流程图，其包括以下步骤：

步骤101，设置调度条件，所述调度条件包含定制参数及对应各定制参数的调度阈值范围。

调度条件包含的内容可根据需要设置，例如包含定制参数以及对应的调度阈值范围。所述定制参数例如为CPU使用量、内存使用量、磁盘使用量、网络输入输出大小等中的至少一项。每项定制参数对应各自的调度阈值范围，调度阈值范围根据需要设定，例如，该调度阈值范围可以只包含大于调度阈值上限的范围，如果超过调度阈值上限，表明负荷过重，则进行数据节点的添加；该调度阈值范围也可以只包含小于调度阈值下限的范围，如果低于调度阈值下限，表明负荷较小，为节省资源，可关闭相应的数据节点；还可以，该调度阈值范围同时包含大于调度阈值上限的范围和小于调度阈值下限的范围。

步骤102，从虚拟化集群的各数据节点获取与定制参数对应的数据。

步骤103，判断获取的定制参数对应的数据是否满足调度阈值范围，如果是，则进行数据节点的调度。

进一步地，所述进行数据节点的调度之后，还可自动根据对数据节点的调度，修改集群内各虚拟机上的集群配置信息，所述集群配置信息包含集群内所有虚拟机的标识信息；所述标识信息可具体为各虚拟机的IP地址和主机名。集群内的虚拟机可根据集群配置信息互相进行访问。

本步骤中，如果判断出获取的定制参数对应的数据大于调度阈值上限，则为集群设置新的数据节点；并在集群内原各虚拟机上的集群配置信息中添加新增数据节点的标识信息，并将更新后的集群配置信息写入新设置的数据节点中。

如果判断出获取的定制参数对应的数据小于调度阈值下限，则关闭小于调度阈值下限的数据节点；并在集群内各虚拟机上的集群配置信息中删除所关闭的数据节点的标识信息；并将关闭的数据节点上的数据复制到具有空闲资源的数据节点上。

进一步地，为了保证关闭数据节点的同时，集群中有足够空闲容量的数据节点；上述在判断出获取的定制参数对应的数据小于调度阈值下限时，还判断集群的总体资源使用量是否小于集群阈值，如果是，才进行数据节点的关闭。集群的总体资源使用量可根据获取的定制参数对应的数据计算得到，集群的总体资源量预先已经知道，用当前获取的集群内所有虚拟机的资源量与总体资源量相除，便得到集群的总体资源使用量。

图1的流程中，步骤102从虚拟化集群的各数据节点获取与定制参数对应的数据，可采用多种方式实现，如随机获取、实时获取等，还可以周期性地进行获取，例如每隔10秒获取一次。

步骤101设置的调度条件中还可进一步包括对应各定制参数的持续时间；相应地，步骤103所述判断获取的定制参数对应的数据是否满足调度阈值范围包括：判断从当前时刻开始往前的持续时间之内，获取的定制参数对应的数据是否满足调度阈值范围。各定制参数的持续时间可以不相同，也可以相同，例如都为30分钟，也就是，每次进行判断是，都提取当前时刻之前30分钟内从虚拟机获取的数据，进行分析判断。调度条件中包含的定制参数可以只包含一个，也可以包含两个以上；如果为两个以上，所述判断从当前时刻开始往前的持续时间之内，获取的定制参数对应的数据是否都满足调度阈值范围，如果都满足调度阈值范围，才进行数据节点的调度。

采用本发明方案，设置调度参数后，便可自动根据定制参数进行数据获取，进行阈值判断，根据判断结果进一步启动数据节点的调度。这样，无需人为监控、手动进行节点调度，简化了操作，节省了大量人力和物力，具有较高的操作效率，且不会出现因人为误差而引起稳定性差的问题。

下面通过图2的流程对本发明虚拟化集群中进行节点调度的方法进行实例说明，本实例具体涉及hadoop集群中节点数据的添加，其包括以下步骤：

步骤201，设置调度条件，所述调度条件包含定制参数及对应各定制参数的调度阈值范围，还包含对应各定制参数的持续时间。

本实例中，定制参数包含：CPU使用量、内存使用量、磁盘使用量，分别各自的调度阈值上限：CPU使用率阈值(90％)、内存使用率阈值(80％)、硬盘空间使用率阈值(85％)；持续时间都为30分钟。当然地，各调度阈值上限也可不采用百分比的表示方式。

步骤202，每隔10秒从虚拟化集群的各数据节点获取与定制参数对应的数据。

与定制参数对应的数据，体现了各数据节点的运行状态。本实例中，每隔10秒获取一次运行状态数据，并存储，以供步骤203中进行分析判断。

步骤203，判断从当前时刻开始往前的持续时间之内，获取的定制参数对应的数据是否都大于调度阈值上限，如果是，则执行步骤204。

虚拟机的资源总量已知，在获取CPU使用量、内存使用量、磁盘使用量对应的数据后，与相应的资源总量进行相除，便可得到CPU使用率、内存使用率、磁盘使用率，进而判断其是否大于调度阈值上限。如果三项定制参数对应的数据都大于调度阈值上限，则表明资源负荷过重，需要添加新的数据节点。

本实例中，每次获取虚拟机的运行数据后，都执行步骤203的分析判断步骤，如果判断出从当前时刻开始往前的持续时间之内，获取的定制参数对应的数据不满足都大于调度阈值上限，则继续等待下一次分析判断时刻的到来。

步骤204，为集群设置新的数据节点。

具体实现时，可根据不同的虚拟化环境，调用相应的接口，通过虚拟机创建软件来创建虚拟机(即节点数据)。

步骤205，在集群内原各虚拟机上的集群配置信息中添加新增数据节点的标识信息，并将更新后的集群配置信息写入新设置的数据节点中。

步骤204和205可无序执行。

本发明中，调度条件根据需要设置，包括多种如：cpu使用率(％)、内存使用率(％)、硬盘空间(mb)、网络IO(bps/s)、持续时间(min)等。而后，便可基于调度条件自动定时的去采集各数据节点的状态数据，并且判断数据是否满足定制化的调度条件。并根据不同虚拟化环境，调用相应的接口创建虚拟机，还修改各数据节点的集群配置信息文件(如host，slaves文件)，并且发送指令启动创建的虚拟机。这样，不需要人为的去发现、判断，减少了工作量及人工干预，有效提升了运行效率，也减少了误操作带来的灾难。

参见图3，为本发明虚拟化集群中进行节点调度的装置结构示意图，该实例中虚拟化集群具体为hadoop集群，该装置包括定制化模块、采集模块、调度模块和操作模块；

所述定制化模块，设置调度条件发送给所述调度模块，所述调度条件包含定制参数及对应各定制参数的调度阈值范围，并将调度条件包含的定制参数发送给所述采集模块；

所述采集模块，从虚拟化集群的各数据节点获取与定制参数对应的数据，发送给所述调度模块；

所述调度模块，接收来自所述定制化模块的调度条件，以及来自所述采集模块的获取的与定制参数对应的数据，判断获取的定制参数对应的数据是否满足调度阈值范围，如果是，则向所述操作模块发送调度操作命名；

所述操作模块，接收来自所述调度模块的调度操作命令，进行数据节点的调度。

较佳地，所述操作模块，进行数据节点的调度之后，还根据对数据节点的调度，修改集群内各虚拟机上的集群配置信息，所述集群配置信息包含集群内所有虚拟机的标识信息。

较佳地，所述调度模块包含节点添加调度子模块，所述操作模块包括节点添加操作子模块；

所述节点添加调度子模块，判断出获取的定制参数对应的数据大于调度阈值上限时，向所述节点添加操作子模块发送节点添加命令；

所述节点添加操作子模块，接收来自所述节点添加调度子模块的节点添加命令，为集群设置新的数据节点，在集群内原各虚拟机上的集群配置信息中添加新增数据节点的标识信息，并将更新后的集群配置信息写入新设置的数据节点中。

较佳地，所述调度模块包含节点关闭调度子模块，所述操作模块包括节点关闭操作子模块；

所述节点关闭调度子模块，判断出获取的定制参数对应的数据小于调度阈值下限时，向所述节点关闭操作子模块发送节点关闭命令；

所述节点关闭操作子模块，接收来自所述节点关闭调度子模块的节点关闭命令，关闭小于调度阈值下限的数据节点，在集群内各虚拟机上的集群配置信息中删除所关闭的数据节点的标识信息；并将关闭的数据节点上的数据复制到具有空闲资源的数据节点上。

较佳地，所述采集模块周期性地从虚拟化集群的各数据节点获取与定制参数对应的数据；

所述调度条件还包含对应各定制参数的持续时间，所述调度模块判断从当前时刻开始往前的持续时间之内，获取的定制参数对应的数据是否满足调度阈值范围。

本发明设置调度条件，使得满足设定的调度条件时触发添加节点或关闭节点的操作。定制化模块设置调度条件。采集模块会根据调度条件，定时去所有虚拟机实时采集各数据节点的监控数据；具体实现时，可通过采集线程实现对各数据节点的数据获取，一个采集线程可对一个以上的数据节点进行数据采集，图3的实例中，一个采集线程负责两个数据节点的数据获取。接下来，调度模块会将采集出来的数据进行分析处理，若满足定制化过程中设定的调度条件，将触发添加或关闭数据节点的操作。最后，操作模块会根据不同的虚拟化平台，添加相应的虚拟机到集群环境中，并且修改集群中各虚拟机上的集群配置信息及启动新增的数据节点或关闭相应的数据节点，到达自动化动态进行数据节点调度的效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种虚拟化集群中进行节点调度的方法，其特征在于，该方法包括：

设置调度条件，所述调度条件包含定制参数、对应各定制参数的调度阈值范围及集群阈值；

从虚拟化集群的各数据节点获取与定制参数对应的数据；

判断获取的定制参数对应的数据是否满足调度阈值范围，如果是，则进行数据节点的调度；其中，所述调度包括为所述集群设置新的数据节点或关闭所述集群中的数据节点；在关闭所述数据节点时，还判断集群的总体资源使用量是否小于所述集群阈值，如果是，才进行数据节点的关闭；所述集群的总体资源使用量通过所述获取的定制参数对应的数据得到。

2.如权利要求1所述的方法，其特征在于，所述进行数据节点的调度之后，该方法还包括：

根据对数据节点的调度，修改集群内各虚拟机上的集群配置信息，所述集群配置信息包含集群内所有虚拟机的标识信息。

3.如权利要求2所述的方法，其特征在于，所述判断获取的定制参数对应的数据是否满足调度阈值范围，如果是，则进行数据节点的调度包括：判断出获取的定制参数对应的数据大于调度阈值上限，则为集群设置新的数据节点；

所述修改集群内各虚拟机上的集群配置信息包括：在集群内原各虚拟机上的集群配置信息中添加新增数据节点的标识信息，并将更新后的集群配置信息写入新设置的数据节点中。

4.如权利要求2所述的方法，其特征在于，所述判断获取的定制参数对应的数据是否满足调度阈值范围，如果是，则进行数据节点的调度包括：判断出获取的定制参数对应的数据小于调度阈值下限，则关闭小于调度阈值下限的数据节点；

所述修改集群内各虚拟机上的集群配置信息包括：在集群内各虚拟机上的集群配置信息中删除所关闭的数据节点的标识信息；并将关闭的数据节点上的数据复制到具有空闲资源的数据节点上。

5.如权利要求1或2所述的方法，其特征在于，所述从虚拟化集群的各数据节点获取与定制参数对应的数据包括：周期性地从虚拟化集群的各数据节点获取与定制参数对应的数据；

所述调度条件还包含对应各定制参数的持续时间，所述判断获取的定制参数对应的数据是否满足调度阈值范围包括：判断从当前时刻开始往前的持续时间之内，获取的定制参数对应的数据是否满足调度阈值范围。

6.如权利要求5所述的方法，其特征在于，所述定制参数包括CPU使用量、内存使用量、磁盘使用量、网络输入输出大小中的至少一项。

7.一种虚拟化集群中进行节点调度的装置，其特征在于，该装置包括定制化模块、采集模块、调度模块和操作模块；

所述定制化模块，设置调度条件发送给所述调度模块，所述调度条件包含定制参数、对应各定制参数的调度阈值范围及集群阈值，并将调度条件包含的定制参数发送给所述采集模块；

所述采集模块，从虚拟化集群的各数据节点获取与定制参数对应的数据，发送给所述调度模块；

所述调度模块，接收来自所述定制化模块的调度条件，以及来自所述采集模块的获取的与定制参数对应的数据，判断获取的定制参数对应的数据是否满足调度阈值范围，如果是，则向所述操作模块发送调度操作命令；所述调度操作命令包括为所述集群设置新的数据节点或关闭所述集群中的数据节点；当所述调度操作命令为关闭所述集群中的数据节点时，所述调度模块还进一步判断集群的总体资源使用量是否小于所述集群阈值，如果是，所述调度模块才向所述操作模块发送关闭所述集群中数据节点的调度操作命令；所述集群的总体资源使用量通过所述获取的定制参数对应的数据得到；

所述操作模块，接收来自所述调度模块的调度操作命令，进行数据节点的调度。

8.如权利要求7所述的装置，其特征在于，所述操作模块，进行数据节点的调度之后，还根据对数据节点的调度，修改集群内各虚拟机上的集群配置信息，所述集群配置信息包含集群内所有虚拟机的标识信息。

9.如权利要求8所述的装置，其特征在于，所述调度模块包含节点添加调度子模块，所述操作模块包括节点添加操作子模块；

所述节点添加调度子模块，判断出获取的定制参数对应的数据大于调度阈值上限时，向所述节点添加操作子模块发送节点添加命令；

所述节点添加操作子模块，接收来自所述节点添加调度子模块的节点添加命令，为集群设置新的数据节点，在集群内原各虚拟机上的集群配置信息中添加新增数据节点的标识信息，并将更新后的集群配置信息写入新设置的数据节点中。

10.如权利要求8所述的装置，其特征在于，所述调度模块包含节点关闭调度子模块，所述操作模块包括节点关闭操作子模块；

所述节点关闭调度子模块，判断出获取的定制参数对应的数据小于调度阈值下限时，向所述节点关闭操作子模块发送节点关闭命令；

所述节点关闭操作子模块，接收来自所述节点关闭调度子模块的节点关闭命令，关闭小于调度阈值下限的数据节点，在集群内各虚拟机上的集群配置信息中删除所关闭的数据节点的标识信息；并将关闭的数据节点上的数据复制到具有空闲资源的数据节点上。

11.如权利要求7或8所述的装置，其特征在于，所述采集模块周期性地从虚拟化集群的各数据节点获取与定制参数对应的数据；

所述调度条件还包含对应各定制参数的持续时间，所述调度模块判断从当前时刻开始往前的持续时间之内，获取的定制参数对应的数据是否满足调度阈值范围。