CN105404542A - 云计算系统及在其上运行高性能计算的方法 - Google Patents

Abstract

本发明涉及一种云计算系统及在其上运行高性能计算的方法。所述方法包括高性能计算资源池创建步骤，具体包括：由云计算管理系统基于高性能计算作业需求在一个计算节点上创建调度系统虚拟机以运行高性能计算调度系统，以及在一定数量的计算节点上创建计算虚拟机，并将计算虚拟机的信息返回给高性能计算调度系统以形成高性能计算资源池。所创建的高性能计算资源池还可动态的添加资源和回收资源。本发明在云计算系统上创建高性能计算资源池，通过采用虚拟化技术，使高性能计算能够获得虚拟化带来的灵活性和弹性，并且几乎无性能损失。这样可以提高资源利用率，打破单个业务对资源的独占，实现整个计算服务平台的动态性。

Description

云计算系统及在其上运行高性能计算的方法

技术领域

本发明涉及计算技术，更具体地说，涉及一种云计算系统及在其上运行高性能计算的方法。

背景技术

云计算(cloudcomputing)是互联网上一种新兴的资源和独特的交付模式。通过云计算这种技术，可以通过按需分配资源的方式获得所需服务。云计算改变了互联网的技术基础，云计算凭借自身的多种优点，例如资源配置的自由化、数据资源使用的完全自主化、使用时无时空限制以及资源即用即付化等，逐渐成为未来互联网的发展趋势。所以现在云计算已经被运用到很多领域。

随着信息化社会的飞速发展,高性能计算(highperformancecomputing，缩写HPC)已成为继理论科学和实验科学之后科学研究的第三大支柱。在高性能计算技术快速发展与高性能计算服务广泛应用的相互推动下，高性能计算已从科学与工程计算扩展到电子商务、金融、保险、信息等高新产业和服务业以及工业和制造业等传统产业。

云计算采用的关键技术是虚拟化，这样可以使资源按需调度。如果云计算和高性能计算以物理分区的方式分割使用，当云计算集群或高性能集群中出现资源闲置时，将会造成资源的浪费。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种云计算系统及在其上运行高性能计算的方法。

本发明在第一方面为解决其技术问题所采用的技术方案是：提出一种在云计算系统上运行高性能计算的方法，其中所述云计算系统包括云计算管理系统和由其管理的多个计算节点，所述方法包括如下步骤：

高性能计算资源池创建步骤，具体包括：由云计算管理系统基于高性能计算作业需求在一个计算节点上创建调度系统虚拟机以运行高性能计算调度系统，以及在一定数量的计算节点上创建计算虚拟机，并将计算虚拟机的信息返回给高性能计算调度系统以形成高性能计算资源池；

高性能计算资源添加步骤，具体包括：由云计算管理系统基于高性能计算调度系统发出的资源申请在相应数量的计算节点上创建计算虚拟机，并将该计算虚拟机信息返回给高性能计算调度系统，以由高性能计算调度系统将新创建的计算虚拟机添加到高性能计算资源池中；

高性能计算资源回收步骤，具体包括：由高性能计算调度系统在资源冗余时将空闲的计算虚拟机从高性能计算资源池中删除，并将被删除的计算虚拟机信息发送给云计算管理系统，以由云计算管理系统将该计算虚拟机从相应计算节点删除并将该相应计算节点回收。

根据本发明第一方面的一个实施例中，所述方法在高性能计算资源池创建步骤之前还包括：

在云计算管理系统中部署高性能计算调度系统虚拟机模板和高性能计算虚拟机模板。

根据本发明第一方面的一个实施例中，所述高性能计算资源池创建步骤进一步包括：

由云计算管理系统根据预设的初始值创建一定数量的计算虚拟机并将该计算虚拟机信息返回给高性能计算调度系统以形成一个全局高性能计算资源池；和/或

由云计算管理系统根据用户申请的资源量创建相应数量的计算虚拟机并将该计算虚拟机信息返回给高性能计算调度系统以形成一个用户高性能计算资源池。

根据本发明第一方面的一个实施例中，所述云计算管理系统在每个计算节点上仅创建一个计算虚拟机。

根据本发明第一方面的一个实施例中，所述高性能计算资源添加步骤进一步包括：

由高性能计算调度系统根据预先定义的规则自动向云计算管理系统发出资源申请。

根据本发明第一方面的一个实施例中，所述高性能计算资源回收步骤进一步包括：

由高性能计算调度系统根据预先定义的规则自动将一定数量的空闲计算虚拟机从高性能计算资源池中删除；和/或

由云计算管理系统基于用户的选择调用高性能计算调度系统删除相应的计算虚拟机。

根据本发明第一方面的一个实施例中，所述方法进一步包括：

针对创建的每一个调度系统虚拟机和计算虚拟机，采用InfiniBand分区技术来进行网络隔离，提供独立的管理端口和存储端口。

本发明在第二方面为解决其技术问题所采用的技术方案是：提出一种云计算系统，包括云计算管理系统和由其管理的多个计算节点，其中：

所述云计算管理系统基于高性能计算作业需求在一个计算节点上创建调度系统虚拟机以运行高性能计算调度系统，以及在一定数量的计算节点上创建计算虚拟机，并将计算虚拟机的信息返回给高性能计算调度系统以形成高性能计算资源池；

所述云计算管理系统还基于高性能计算调度系统发出的资源申请在相应数量的计算节点上创建计算虚拟机，并将该计算虚拟机信息返回给高性能计算调度系统以便将新创建的计算虚拟机添加到高性能计算资源池中；

所述云计算管理系统还基于高性能计算调度系统在资源冗余时从高性能计算资源池中删除空闲的计算虚拟机后返回被删除的计算虚拟机信息将该计算虚拟机从相应计算节点删除并将相应计算节点回收。

根据本发明第二方面的一个实施例中，所述云计算管理系统中部署有高性能计算调度系统虚拟机模板和高性能计算虚拟机模板。

根据本发明第二方面的一个实施例中，所述云计算管理系统在每个计算节点上仅创建一个计算虚拟机。

本发明的云计算系统及在其上运行高性能计算的方法，在云计算系统上创建高性能计算资源池，通过采用虚拟化技术，使高性能计算能够获得虚拟化带来的灵活性和弹性，并且几乎无性能损失。这样可以提高资源利用率，打破单个业务对资源的独占，实现整个计算服务平台的动态性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明一个实施例在云计算系统上运行高性能计算的方法的流程图；

图2是本发明一个实施例的云计算系统上运行高性能计算的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

高性能计算迟迟没有采用虚拟化技术的主要原因有两个：其一是人们通常认为虚拟化会严重影响应用程序的性能，虚拟化提升灵活性的优点被其降低了应用程序计算吞吐量的缺点所压倒；其二是传统的HPC基础架构的利用率已经非常高，通常为80％-95％，因此，通常推动企业采用虚拟化的动因(提高硬件利用率、整合服务器或提高许可证利用率)不足以抵消使用虚拟化资源运行工作负载带来的复杂性和费用增加的缺点。因此，本发明提出一种在云计算系统上运行高性能计算的方法，旨在结合云计算和高性能计算，通过采用虚拟化技术，使高性能计算资源可以动态地根据需求进行扩展，大大增加高性能计算的灵活性和弹性。

图1示出了根据本发明一个实施例在云计算系统上运行高性能计算的方法100的流程图。其中，云计算系统包括云计算管理系统和由其管理的多个计算节点。云计算的基础和关键是虚拟化，所以所有计算节点部署虚拟化Hypervisor，所有Hypervisor由云计算管理系统统一管理。如图1所示，该在云计算系统上运行高性能计算的方法100包括如下步骤：

步骤S110中，部署高性能计算调度系统虚拟机模板和高性能计算虚拟机模板。

由于高性能计算运行于云计算系统之上，因此基础管理平台是云计算操作系统，不需要考虑高性能计算使用的操作系统。当所有计算节点由云计算管理系统统一管理时，要在云计算系统上运行HPC计算任务，首先必须得有执行HPC计算任务的虚拟机模板来启动相关虚拟机。因此，该方法100首先在云计算管理系统中部署好HPC调度系统虚拟机模板和HPC计算虚拟机模板。执行HPC计算任务时，首先由云计算管理系统调用这些模板来启动相关虚拟机，对这些虚拟机进行自动初始化配置。部署好HPC调度系统虚拟机模板和HPC计算虚拟机模板之后，云计算管理系统便有能力创建HPC资源池用于HPC计算任务。

步骤S120中，创建高性能计算资源池。该步骤具体包括：由云计算管理系统基于高性能计算作业需求在一个计算节点上创建调度系统虚拟机以运行高性能计算调度系统，以及在一定数量的计算节点上创建计算虚拟机，并将计算虚拟机的信息返回给高性能计算调度系统以形成高性能计算资源池。

具体实施例中，HPC资源池的创建可分为两种情况：

1、创建一个大的全局HPC资源池，可动态添加资源和回收资源，使用方式和传统的HPC资源池一致，并且申请的最小资源颗粒度为单个物理计算节点。全局HPC资源池的创建方式如下：云计算管理系统首先在一个计算节点上创建调度系统虚拟机来运行HPC调度系统和其它相应的管理服务，并创建用户的网络及接口(管理、存储、计算IB等)，然后根据预设的初始值在一定数量的计算节点上创建计算虚拟机，并将该计算虚拟机的信息返回给HPC调度系统，从而形成全局HPC资源池。为了满足高性能计算的性能，避免资源抢占造成性能损失，本发明优选在每个物理计算节点仅创建一个计算虚拟机。

2、创建用户的HPC资源池。具体方式如下：如果有些用户因作业问题需要自己创建一个HPC资源池，云计算管理系统可根据用户的申请为用户创建HPC调度系统虚拟机和其它相应的管理服务虚拟机，并创建用户的网络及接口(管理、存储、计算IB等)，然后根据用户申请的资源量创建相应数量的计算虚拟机并将该计算虚拟机信息返回给用户的HPC调度系统，从而形成一个用户的HPC资源池。同样，申请的最小资源颗粒度为单个物理计算节点。

步骤S130中，添加高性能计算资源。该步骤具体包括：由云计算管理系统基于高性能计算调度系统发出的资源申请在相应数量的计算节点上创建计算虚拟机，并将该计算虚拟机信息返回给高性能计算调度系统，以由高性能计算调度系统将新创建的计算虚拟机添加到高性能计算资源池中。

对于前述全局HPC资源池的情况，可预先定义某些规则，根据这些规则自动添加HPC资源。例如，对传统的超级计算中心而言，超过70％的利用率已经意味着系统饱和，但对在云计算系统上运行的可以灵活进行资源调度的HPC资源池而言，当用户提交作业导致此HPC资源池计算资源利用率超过80％或某个预设的阀值时，HPC调度系统自动调用云计算管理系统API向云计算管理系统进一步申请计算资源，以便满足HPC计算作业需求。当用户申请的计算资源因为总资源不足处于排队状态时，假设此时用户申请的资源总量为S，这时HPC调度系统向云计算管理系统申请1.5S(或某个预设倍数关系)的资源以满足HPC计算资源需求。

对于前述用户HPC资源池的情况，可由云计算管理系统根据用户申请的资源量创建相应数量的HPC计算虚拟机，并将该计算虚拟机信息返回给用户的HPC调度系统，HPC调度系统将新创建的计算虚拟机加入到用户HPC资源池。

步骤S140中，回收高性能计算资源。该步骤具体包括：由高性能计算调度系统在资源冗余时将空闲的计算虚拟机从高性能计算资源池中删除，并将被删除的计算虚拟机信息发送给云计算管理系统，以由云计算管理系统将该计算虚拟机从相应计算节点删除并将该相应计算节点回收。

对于前述全局HPC资源池的情况，为了实现资源自动化分配，HPC调度系统始终会和云计算管理系统存在交互。例如，根据预先定义的规则(比如当前空闲资源量超过全部计算资源总数的20％或某个预设阀值时)，HPC调度系统可自动将一定数量的空闲计算虚拟机从HPC资源池中删除，然后发送信息给云计算管理系统，通知相应虚拟机可以被删除。又例如，HPC管理员在云计算管理系统上选择释放计算资源，云计算管理系统调用HPC调度系统删除对应的计算虚拟机，然后由云计算管理系统回收虚拟机资源。

对于前述用户HPC资源池的情况，即用户单独拥有自己的HPC资源池，用户可以在云计算管理系统上选择释放计算资源，云计算管理系统调用用户的HPC调度系统删除对应的计算虚拟机，然后由云计算管理系统回收资源。同样地，对于用户HPC资源池，亦可由HPC调度系统根据预先定义的规则(例如CPU或内存利用率等)来自动删除冗余的资源。

根据本发明创建的每个HPC资源池是一个完整的HPC环境，有自己的调度系统和管理服务器，因此对于创建的每个HPC调度系统虚拟机和HPC计算虚拟机，都要有自己的网络隔离方案、以及相关I/O虚拟化技术和存储解决方案，以保证虚拟化的高性能计算的性能和安全性。为此，本发明采用InfiniBand分区(InfiniBandPartition)技术、SR-IOV(singlerootI/Ovirtualization，单根I/O虚拟化)技术、以及基于通过InfiniBand的互连I/O技术网络提供RDMA(RemoteDirectMemoryAccess)远程直接内存访问NFS存储服务等技术，以实现在云计算系统上运行的HPC计算资源池获得接近物理机的性能。

首先，对于所有启动的虚拟机，都会有独立的管理端口和存储端口，以形成独立的管理网络和存储网络。在超算中心，为了满足高性能计算I/O需求，一般都会采用InfiniBand网络进行计算通信。为了实现网络隔离，可以采用最新的InfiniBandPartition技术。一个InfiniBandPartition定义了一组被允许与彼此通信的InfiniBand节点。通过配置相关的InfiniBand交换机的Partition属性将InfiniBand网络隔离以提高安全性。此外，将计算节点的以太网接口划分到不同的VLAN或VXLAN以实现网络隔离，这样可以实现不同的HPC资源池的网络隔离。为资源创建隔离网络的具体实现步骤如下：

1.根据HPC资源池创建时自动生成的资源池UUID生成VLAN/VXLANID和InfinibandPartitionkeyID；

2.将上述两种ID和HPC资源池绑定，所以归于该HPC资源池的虚拟机使用的以太网和InfinibandPartition将分别使用上述ID；

3.虚拟机以太网VLAN/VXLAN接口在虚拟机创建时由云计算管理系统自动到对应的物理计算节点的虚拟交换机上创建；

4.虚拟机带Partitionkey的Infiniband接口在虚拟机创建时由云计算管理系统远程调用InfinibandSM服务器和相应交换机自动配置。

对于I/O虚拟化，外设部件互连ExpressPCIe采用SR-IOV技术，SR-IOV的实现基于由PCI-SIG定义的1.1版标准。SR-IOV标准允许在虚拟机之间高效共享PCIe设备，并在硬件中实现以获得能与本机性能媲美的I/O性能，这样才可以满足高性能计算对I/O性能要求。SR-IOV规范定义了新的标准，其中创建的新设备允许虚拟机直接连接到I/O设备，本发明中所有计算虚拟机的以太网卡和Infiniband网卡皆采用SR-IOV技术，以此保证数据传输性能和直接使用物理设备性能接近。

对于存储技术，有以下两种情况：

1.HPC资源池在计算虚拟机不多的情况下：一个块设备(物理硬盘、SAN存储LUN)添加给一个虚拟机，虚拟机通过InfiniBand的互连I/O技术提供RDMA远程直接内存访问NFS服务，这样NFS的缺省传输采用RDMA协议，这是一种通过高速网络实现内存到内存数据传输的技术。具体来说，RDMA可提供不受CPU干预而直接进出内存的远程数据传输。RDMA还可提供直接数据放置，消除了数据拷贝，RDMA不仅减轻了主机CPU的负担，而且还减少了主机内存和I/O总线的争用。

2.可以采用搭建类似于OCFS这样的集群文件系统，这样每个虚拟机有自己的块设备(虚拟硬盘)，缺点是不能实现计算节点的动态删除；或者分配一组虚拟机，将FC-SAN或者IP-SAN的LUN直接映射给这一组虚拟机，然后由这些虚拟机组建Lustre文件系统，缺点是为了保证Lustre文件系统性能和稳定性，一般组成Lustre文件系统的虚拟机只能增加，不能减少。

图2示出了根据本发明一个实施例的云计算系统200上运行高性能计算的结构示意图。如图2所示，该云计算系统200包括云计算管理系统210和由其管理的多个计算节点220。为了实现在该云计算系统200上运行高性能计算，云计算管理系统210中部署有HPC调度系统虚拟机模板和HPC计算虚拟机模板。执行HPC计算任务时，首先由云计算管理系统210调用这些模板来启动相关虚拟机，创建HPC资源池。图2中所示的HPC资源池230对应于前述的全局HPC资源池，由云计算管理系统210在一个计算节点上创建调度系统虚拟机231运行HPC调度系统，以及根据预设的初始值在一定数量的计算节点上创建计算虚拟机232来形成。云计算管理系统210将创建的计算虚拟机的信息返回给HPC调度系统，从而形成一个全局HPC资源池230。图2中所示的HPC资源池240对应于前述的用户HPC资源池，由云计算管理系统210根据用户的申请在一个计算节点上创建HPC调度系统虚拟机241运行用户的HPC调度系统，以及根据用户申请的资源量创建相应数量的计算虚拟机242来形成。云计算管理系统210将创建的计算虚拟机信息返回给用户的HPC调度系统，从而形成一个用户的HPC资源池240。HPC资源池230和240均可基于前述的结合图1所介绍的方法动态的添加资源和删除资源。例如，云计算管理系统210可基于HPC调度系统发出的资源申请在相应数量的计算节点上创建计算虚拟机，并将新创建的计算虚拟机信息返回给HPC调度系统，以便将新创建的计算虚拟机添加到HPC资源池中。又例如，云计算管理系统210还可基于HPC调度系统在资源冗余时从HPC资源池中删除空闲的计算虚拟机后返回被删除的计算虚拟机信息将该计算虚拟机从相应计算节点删除并将相应计算节点回收。为了满足高性能计算的性能，避免资源抢占造成性能损失，云计算管理系统210优选在每个物理计算节点仅创建一个计算虚拟机。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种在云计算系统上运行高性能计算的方法，其中所述云计算系统包括云计算管理系统和由其管理的多个计算节点，其特征在于，所述方法包括如下步骤：

高性能计算资源池创建步骤，具体包括：由云计算管理系统基于高性能计算作业需求在一个计算节点上创建调度系统虚拟机以运行高性能计算调度系统，以及在一定数量的计算节点上创建计算虚拟机，并将计算虚拟机的信息返回给高性能计算调度系统以形成高性能计算资源池；

高性能计算资源添加步骤，具体包括：由云计算管理系统基于高性能计算调度系统发出的资源申请在相应数量的计算节点上创建计算虚拟机，并将该计算虚拟机信息返回给高性能计算调度系统，以由高性能计算调度系统将新创建的计算虚拟机添加到高性能计算资源池中；

高性能计算资源回收步骤，具体包括：由高性能计算调度系统在资源冗余时将空闲的计算虚拟机从高性能计算资源池中删除，并将被删除的计算虚拟机信息发送给云计算管理系统，以由云计算管理系统将该计算虚拟机从相应计算节点删除并将相应计算节点回收。

2.根据权利要求1所述的方法，其特征在于，所述方法在高性能计算资源池创建步骤之前还包括：

在云计算管理系统中部署高性能计算调度系统虚拟机模板和高性能计算虚拟机模板。

3.根据权利要求1所述的方法，其特征在于，所述高性能计算资源池创建步骤进一步包括：

由云计算管理系统根据预设的初始值创建一定数量的计算虚拟机并将该计算虚拟机信息返回给高性能计算调度系统以形成一个全局高性能计算资源池；和/或

由云计算管理系统根据用户申请的资源量创建相应数量的计算虚拟机并将该计算虚拟机信息返回给高性能计算调度系统以形成一个用户高性能计算资源池。

4.根据权利要求3或4所述的方法，其特征在于，所述云计算管理系统在每个计算节点上仅创建一个计算虚拟机。

5.根据权利要求1所述的方法，其特征在于，所述高性能计算资源添加步骤进一步包括：

由高性能计算调度系统根据预先定义的规则自动向云计算管理系统发出资源申请。

6.根据权利要求1所述的方法，其特征在于，所述高性能计算资源回收步骤进一步包括：

由高性能计算调度系统根据预先定义的规则自动将一定数量的空闲计算虚拟机从高性能计算资源池中删除；和/或

由云计算管理系统基于用户的选择调用高性能计算调度系统删除相应的计算虚拟机。

7.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

针对创建的每一个调度系统虚拟机和计算虚拟机，采用InfiniBand分区技术来进行网络隔离，提供独立的管理端口和存储端口。

8.一种云计算系统，包括云计算管理系统和由其管理的多个计算节点，其特征在于，

所述云计算管理系统基于高性能计算作业需求在一个计算节点上创建调度系统虚拟机以运行高性能计算调度系统，以及在一定数量的计算节点上创建计算虚拟机，并将计算虚拟机的信息返回给高性能计算调度系统以形成高性能计算资源池；

所述云计算管理系统还基于高性能计算调度系统发出的资源申请在相应数量的计算节点上创建计算虚拟机，并将该计算虚拟机信息返回给高性能计算调度系统以便将新创建的计算虚拟机添加到高性能计算资源池中；

所述云计算管理系统还基于高性能计算调度系统在资源冗余时从高性能计算资源池中删除空闲的计算虚拟机后返回被删除的计算虚拟机信息将该计算虚拟机从相应计算节点删除并将相应计算节点回收。

9.根据权利要求8所述的云计算系统，其特征在于，所述云计算管理系统中部署有高性能计算调度系统虚拟机模板和高性能计算虚拟机模板。

10.根据权利要求8所述的云计算系统，其特征在于，所述云计算管理系统在每个计算节点上仅创建一个计算虚拟机。