CN106371889A - 一种调度镜像的高性能集群系统实现方法及装置 - Google Patents

Abstract

本发明公开了一种调度镜像的高性能集群系统实现方法及装置，通过下载镜像，将下载的镜像存储至管理节点的共享路径中；获取作业任务，根据作业任务对计算节点进行调度，生成计算任务调度；当接收到计算任务调度时，计算节点通过共享路径，将镜像加载到本地；通过容器使用主机网络以及主机进程，与其他节点的容器进行通信。本发明所提供的调度镜像的高性能集群系统实现方法及装置，管理节点提供镜像网关功能，监控到的空闲的计算节点加载镜像启动容器，根据MPI父进程启动子进程，完成MPI并行计算处理。

Description

一种调度镜像的高性能集群系统实现方法及装置

技术领域

本发明涉及高性能集群技术领域，特别是涉及一种调度镜像的高性能集群系统实现方法及装置。

背景技术

由于高性能集群具备超强的计算能力，并且同时为多个用户提供计算服务。在庞大的用户群中，不同用户对操作系统及操作系统版本的需求也不尽相同，并且对操作系统中包含的动态库版本的要求也不一样。集群的操作系统和版本在部署之日起已经固定。如果上千个计算节点组成的集群，采用重装操作系统的方法来满足用户的需求，那么对系统管理员来说将是一项无法忍受的任务。

虚拟机可以很好的解决了用户对平台及应用软件的版本差异问题。在不启动虚拟机的情况下，只占用一些集群系统的存储空间，不占用CPU内存资源。在虚拟机中用户可以安装任意的操作系统和应用软件。虚拟机很好的屏蔽了系统环境的差异带来的问题。但是虚拟机有三个弊端：一、启动虚拟机时虚拟机的内核进程占用一定的主机计算资源，由此带来的影响是系统启动较慢；二、虚拟机的内核空间也影响了虚拟机的启动速度；三、虚拟机的跨节点运行需要手动配置，非常麻烦。

容器技术是一种更轻量级的虚拟机技术。它共享主机的进程，在启动时不需要启动额外的内核，启动速度较快。在传统应用中的容器间通信需要手动设置网络，跨节点的容器通信几乎是不可能的，并且无法结合作业调度系统使用。

发明内容

本发明的目的是提供一种调度镜像的高性能集群系统实现方法及装置，目的在于提供一种在高性能集群中不同节点的自动启动容器，实现容器间MPI进程通信，进行并行计算。

为解决上述技术问题，本发明提供一种调度镜像的高性能集群系统实现方法，包括：

下载镜像，将下载的镜像存储至管理节点的共享路径中；

获取作业任务，根据所述作业任务对计算节点进行调度，生成计算任务调度；

当接收到所述计算任务调度时，所述计算节点通过所述共享路径，将所述镜像加载到本地；

通过容器使用主机网络以及主机进程，与其他节点的容器进行通信。

可选地，所述下载镜像包括：

从局域网私有镜像仓库和/或互联网github上下载镜像。

可选地，所述获取作业任务包括：

获取用户提交的脚本中的挂载卷、模式、节点列表以及每个节点的任务数信息。

可选地，所述根据所述作业任务对计算节点进行调度包括：

根据所述作业任务确定所述计算节点的数量以及加载镜像名称。

可选地，所述根据所述作业任务对计算节点进行调度还包括：

通过资源监控，确定所述计算节点中的空闲节点，将所述作业任务调度给所述空闲节点。

本发明还提供了一种调度镜像的高性能集群系统实现装置，包括：

下载模块，用于下载镜像，将下载的镜像存储至管理节点的共享路径中；

调度模块，用于获取作业任务，根据所述作业任务对计算节点进行调度，生成计算任务调度；

加载模块，用于当接收到所述计算任务调度时，所述计算节点通过所述共享路径，将所述镜像加载到本地；

计算模块，用于通过容器使用主机网络以及主机进程，与其他节点的容器进行通信。

可选地，所述下载模块具体用于：

从局域网私有镜像仓库和/或互联网github上下载镜像。

可选地，所述调度模块具体用于：

获取用户提交的脚本中的挂载卷、模式、节点列表以及每个节点的任务数信息。

可选地，所述调度模块具体用于：

根据所述作业任务确定所述计算节点的数量以及加载镜像名称。

可选地，所述调度模块还用于：

通过资源监控，确定所述计算节点中的空闲节点，将所述作业任务调度给所述空闲节点。

本发明所提供的调度镜像的高性能集群系统实现方法及装置，通过下载镜像，将下载的镜像存储至管理节点的共享路径中；获取作业任务，根据作业任务对计算节点进行调度，生成计算任务调度；当接收到计算任务调度时，计算节点通过共享路径，将镜像加载到本地；通过容器使用主机网络以及主机进程，与其他节点的容器进行通信。本发明所提供的调度镜像的高性能集群系统实现方法及装置，管理节点提供镜像网关功能，监控到的空闲的计算节点加载镜像启动容器，根据MPI父进程启动子进程，完成MPI并行计算处理。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的调度镜像的高性能集群系统实现方法的一种具体实施方式的流程图；

图2为本发明所提供的调度镜像的高性能集群系统实现的另一种具体实施方式的流程图；

图3为本发明实施例提供的调度镜像的高性能集群系统实现装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的调度镜像的高性能集群系统实现方法的一种具体实施方式的流程图如图1所示，该方法包括：

步骤S101：下载镜像，将下载的镜像存储至管理节点的共享路径中；

步骤S102：获取作业任务，根据所述作业任务对计算节点进行调度，生成计算任务调度；

步骤S103：当接收到所述计算任务调度时，计算节点通过所述共享路径，将所述镜像加载到本地；

步骤S104：通过容器使用主机网络以及主机进程，与其他节点的容器进行通信。

本发明所提供的调度镜像的高性能集群系统实现方法，通过下载镜像，将下载的镜像存储至管理节点的共享路径中；获取作业任务，根据作业任务对计算节点进行调度，生成计算任务调度；当接收到计算任务调度时，计算节点通过共享路径，将镜像加载到本地；通过容器使用主机网络以及主机进程，与其他节点的容器进行通信。本发明所提供的调度镜像的高性能集群系统实现方法及装置，管理节点提供镜像网关功能，监控到的空闲的计算节点加载镜像启动容器，根据MPI父进程启动子进程，完成MPI并行计算处理。

需要指出的是，本申请能够解决集群的操作系统版本、应用软件版本和基础库的差异性。该环境只对该用户有效，不影响当前的集群系统环境和其它用户的使用。本发明实施例通过挂载即可生效的方式，解决了管理员的多节点重复配置的问题。此外，本申请还可以通过卸载目录的方式清除多计算节点的系统环境，能够保障系统的清洁。

在上述实施例的基础上，本发明所提供的调度镜像的高性能集群系统实现方法中，下载镜像的过程可以具体包括：

从局域网私有镜像仓库和/或互联网github上下载镜像。

进一步地，获取作业任务的过程可以具体包括：

获取用户提交的脚本中的挂载卷、模式、节点列表以及每个节点的任务数信息。

在上述任一实施例的基础上，本发明所提供的调度镜像的高性能集群系统实现方法中，根据所述作业任务对计算节点进行调度的过程具体包括：

根据所述作业任务确定所述计算节点的数量以及加载镜像名称。

优选地，管理节点通过资源监控，确定所述计算节点中的空闲节点，将所述作业任务调度给所述空闲节点。

如图2本发明所提供的调度镜像的高性能集群系统实现的另一种具体实施方式的流程图所示，管理节点提供镜像网关功能。用户可以从局域网私有镜像仓库和互联网github上下载镜像，并存储至管理节点的共享路径。当调度系统将计算任务调度给计算节点后，计算节点通过文件共享路径，将镜像加载到计算节点的本地ramfs中。容器使用主机网络，以及主机进程与其它节点的容器进行通信。本实施例中用户调度并行任务时，需要指定镜像文件。空闲的计算节点将共享存储中的该镜像挂载到本地ramfs上。将用户设置的环境变量生效，并行作业任务就可以进行计算。

调度系统通过资源监控，得到空闲机器列表。将作业调度给空闲机器。本发明实施例提供了一种针对调度系统的容器管理插件。在调度之前，该计算节点加载镜像启动容器，根据MPI父进程启动子进程进行计算。

下面对本发明实施例提供的调度镜像的高性能集群系统实现装置进行介绍，下文描述的调度镜像的高性能集群系统实现装置与上文描述的调度镜像的高性能集群系统实现方法可相互对应参照。

图3为本发明实施例提供的调度镜像的高性能集群系统实现装置的结构框图，参照图3调度镜像的高性能集群系统实现装置可以包括：

下载模块100，用于下载镜像，将下载的镜像存储至管理节点的共享路径中；

调度模块200，用于获取作业任务，根据所述作业任务对计算节点进行调度，生成计算任务调度；

加载模块300，用于当接收到所述计算任务调度时，计算节点通过所述共享路径，将所述镜像加载到本地；

计算模块400，用于通过容器使用主机网络以及主机进程，与其他节点的容器进行通信。

在上述实施例的基础上，本发明所提供的调度镜像的高性能集群系统实现装置中，下载模块100可以具体用于：

从局域网私有镜像仓库和/或互联网github上下载镜像。

具体地，本发明所提供的调度镜像的高性能集群系统实现装置，中，上述调度模块200具体用于：

获取用户提交的脚本中的挂载卷、模式、节点列表以及每个节点的任务数信息。

在上述任一实施例的基础上，本发明所提供的调度镜像的高性能集群系统实现装置中，调度模块200具体用于：

根据所述作业任务确定所述计算节点的数量以及加载镜像名称。

此外，调度模块还用于：

通过资源监控，确定所述计算节点中的空闲节点，将所述作业任务调度给所述空闲节点。

下面对本发明所提供的调度镜像的高性能集群系统实现装置的具体实施过程进行进一步详细阐述。

高性能集群管理系统启动镜像管理服务。镜像管理服务可以提供初始化队列、下载镜像、转换镜像格式、写元数据、清除临时文件等功能。此服务主要是提供镜像服务接口，供其它镜像相关进程调用。

开启镜像管理API；镜像管理服务提供一个网络端口，镜像网关工作进程通过curl命令查找镜像、显示镜像信息以及MPI进程间通信管理。

当用户高性能集群使用的作业调度系统时，管理系统通过预处理作业，获取用户提交的脚本中的挂载卷、模式、节点列表和每个节点的任务数信息。系统的镜像管理API和镜像管理的进程管理，完成MPI并行计算处理。

本发明所提供的调度镜像的高性能集群系统实现装置，通过下载镜像，将下载的镜像存储至管理节点的共享路径中；获取作业任务，根据作业任务对计算节点进行调度，生成计算任务调度；当接收到计算任务调度时，计算节点通过共享路径，将镜像加载到本地；通过容器使用主机网络以及主机进程，与其他节点的容器进行通信。本发明所提供的调度镜像的高性能集群系统实现装置，管理节点提供镜像网关功能，监控到的空闲的计算节点加载镜像启动容器，根据MPI父进程启动子进程，完成MPI并行计算处理。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的调度镜像的高性能集群系统实现方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种调度镜像的高性能集群系统实现方法，其特征在于，包括：

下载镜像，将下载的镜像存储至管理节点的共享路径中；

获取作业任务，根据所述作业任务对计算节点进行调度，生成计算任务调度；

当接收到所述计算任务调度时，所述计算节点通过所述共享路径，将所述镜像加载到本地；

通过容器使用主机网络以及主机进程，与其他节点的容器进行通信。

2.如权利要求1所述的调度镜像的高性能集群系统实现方法，其特征在于，所述下载镜像包括：

从局域网私有镜像仓库和/或互联网github上下载镜像。

3.如权利要求2所述的调度镜像的高性能集群系统实现方法，其特征在于，所述获取作业任务包括：

获取用户提交的脚本中的挂载卷、模式、节点列表以及每个节点的任务数信息。

4.如权利要求1至3任一项所述的调度镜像的高性能集群系统实现方法，其特征在于，所述根据所述作业任务对计算节点进行调度包括：

根据所述作业任务确定所述计算节点的数量以及加载镜像名称。

5.如权利要求4所述的调度镜像的高性能集群系统实现方法，其特征在于，所述根据所述作业任务对计算节点进行调度还包括：

通过资源监控，确定所述计算节点中的空闲节点，将所述作业任务调度给所述空闲节点。

6.一种调度镜像的高性能集群系统实现装置，其特征在于，包括：

下载模块，用于下载镜像，将下载的镜像存储至管理节点的共享路径中；

调度模块，用于获取作业任务，根据所述作业任务对计算节点进行调度，生成计算任务调度；

加载模块，用于当接收到所述计算任务调度时，所述计算节点通过所述共享路径，将所述镜像加载到本地；

计算模块，用于通过容器使用主机网络以及主机进程，与其他节点的容器进行通信。

7.如权利要求6所述的调度镜像的高性能集群系统实现装置，其特征在于，所述下载模块具体用于：

从局域网私有镜像仓库和/或互联网github上下载镜像。

8.如权利要求7所述的调度镜像的高性能集群系统实现装置，其特征在于，所述调度模块具体用于：

获取用户提交的脚本中的挂载卷、模式、节点列表以及每个节点的任务数信息。

9.如权利要求6至8任一项所述的调度镜像的高性能集群系统实现装置，其特征在于，所述调度模块具体用于：

根据所述作业任务确定所述计算节点的数量以及加载镜像名称。

10.如权利要求9所述的调度镜像的高性能集群系统实现装置，其特征在于，所述调度模块还用于：

通过资源监控，确定所述计算节点中的空闲节点，将所述作业任务调度给所述空闲节点。