CN103473140A

CN103473140A - 一种生命科学应用的集群分配方法、软件安装方法及装置

Info

Publication number: CN103473140A
Application number: CN2013104675656A
Authority: CN
Inventors: 金莲
Original assignee: Inspur Beijing Electronic Information Industry Co Ltd
Current assignee: Inspur Beijing Electronic Information Industry Co Ltd
Priority date: 2013-10-09
Filing date: 2013-10-09
Publication date: 2013-12-25

Abstract

本发明公开了一种生命科学应用的集群分配方法及装置、软件安装方法及系统，将这些应用快速高效地部署到集群中，其中，所述集群分配方法包括：对生命科学应用进行分类；根据各类应用对集群资源的需求，为各类应用分配满足分配策略的集群。所述安装方法在集群分配方法的基础上还包括：在所述集群的节点上将待安装的应用软件使用静态库进行安装。本发明的集群分配方法及装置、软件安装方法及系统将这些应用快速高效地部署到集群中，提高生命科学领域程序部署进度以及集群管理员的工作效率。

Description

一种生命科学应用的集群分配方法、软件安装方法及装置

技术领域

本发明涉及高性能计算科学集群，具体涉及一种生命科学应用的集群分配方法及装置、软件安装方法及系统。

背景技术

将多台同构或异构的计算机连接起来协同完成特定的任务就构成了集群（cluster）系统。简单的说，集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点。在高性能计算中，生命科学占有非常重要的位置，并且在该领域中应用类别庞杂，每个应用又包含很多软件，以某基因研究所为例，其应用软件高达100种，这些应用有些为计算密集型应用，有些为存储密集型，有些为内存密集型应用，有些事网络密集型应用，如此多的应用，应用特征不一，对硬件平台的需求自然不同，使得集群选型部署难度重重，何种集群能够满足这么多应用的需求就变的非常重要，如何将这些应用快速高效地部署到集群中是集群管理员或是科研工作者头痛的问题。

发明内容

本发明需要解决的技术问题是提供一种生命科学应用的集群分配方法及装置、软件安装方法及系统，将这些应用快速高效地部署到集群中，提高生命科学领域程序部署进度以及集群管理员的工作效率。

为了解决上述技术问题，本发明提供了一种生命科学应用的集群分配方法，包括：

对生命科学应用进行分类；

根据各类应用对集群资源的需求，为各类应用分配满足分配策略的集群。

进一步地，所述对生命科学应用进行分类包括：

将所述生命科学应用分为：序列比对、序列拼接、分子动力学、分子对接、蛋白质结构预测、质谱解析和三维电镜重构。

进一步地，所述对集群资源的需求包括：对内存容量需求、对磁盘IO需求、主频敏感度和扩展性的要求；

所述分配策略包括：

当某类应用对内存容量需求及磁盘IO需求大于第一阈值时，为该类应用分配胖节点集群；

当某类应用对内存需求小于第一阈值、对磁盘IO需求小于第一阈值且大于第二阈值、主频敏感度大于第三阈值、对网络带宽需求高于第四阈值且扩展性好时，为该类应用分配双路高主频、高网络带宽集群；

当某类应用对内存容量需求小于第一阈值、对磁盘IO需求大于第一阈值、主频敏感度大于第三阈值且扩展性好时，为该类应用分配双路高主频高IO吞吐集群。

为了解决上述技术问题，本发明还提供了一种生命科学应用的集群软件安装方法，包括：

对生命科学应用进行分类；

根据各类应用对集群资源的需求，为各类应用分配满足分配策略的集群；

在所述集群的节点上将待安装的应用软件使用静态库进行安装。

进一步地，在所述集群的节点上将待安装的应用软件使用静态库进行安装包括：

根据所述应用的类别将各个类别对应的应用软件使用静态库编译软件，生成二进制文件，并将每类应用的所述二进制文件构建一个文件夹。

进一步地，所述方法还包括：

当有应用软件需要更新时，将需要更新的应用软件使用静态库重新编译软件生成二进制文件，添加到相应应用类别的所述文件夹中。

进一步地，在所述集群的节点上将待安装的应用软件使用静态库进行安装之前，还包括：

在所述集群中的节点上安装操作系统及集群文件系统，安装编译器并设置消息传送接口MPI并行环境。

进一步地，所述对生命科学应用进行分类包括：

所述分配策略包括：

为了解决上述技术问题，本发明还提供了一种生命科学应用的集群分配装置，包括：

分类模块，用于对生命科学应用进行分类；

集群分配模块，用于根据各类应用对集群资源的需求，为各类应用分配满足分配策略的集群。

进一步地，所述对生命科学应用进行分类包括：

所述分配策略包括：

为了解决上述技术问题，本发明还提供了一种生命科学应用的集群软件安装系统，包括：如上所述的装置，还包括：

与所述装置相连的安装模块，用于在所述集群的节点上将待安装的应用软件使用静态库进行安装。

进一步地，所述安装模块，用于在所述集群的节点上将待安装的应用软件使用静态库进行安装包括：

进一步地，所述安装模块，还用于当有应用软件需要更新时，将需要更新的应用软件使用静态库重新编译软件生成二进制文件，添加到相应应用类别的所述文件夹中。

与现有技术相比，本发明提供的生命科学应用的集群分配方法及装置、软件安装方法及系统，分析生命科学应用类别，选择满足分配策略的集群，能够将这些应用快速高效地部署到集群中，大大提高了生命科学领域程序部署进度，通过使用静态库批量的安装生命科学应用软件，大大提高了集群管理员的工作效率。

附图说明

图1是实施例中生命科学应用的集群分配方法流程图；

图2是实施例中生命科学应用的集群软件安装方法流程图；

图3是实施例中生命科学应用的集群软件安装方法流程图；

图4是实施例中生命科学应用的集群分配装置结构图；

图5是实施例中生命科学应用的集群软件安装系统结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

实施例：

如图1所示，本实施例提供了一种生命科学应用的集群分配方法，包括：

S101：对生命科学应用进行分类；

其中，将生命科学类应用中与高性能计算相关的应用照生命科学的研究方向，研究热点等将生命科学应用分为：序列比对、序列拼接、分子动力学、分子对接、蛋白质结构预测、质谱解析和三维电镜重构等几个类别；

S102：根据各类应用对集群资源的需求，为各类应用分配满足分配策略的集群。

其中，集群资源的需求包括：对内存容量需求、对磁盘IO需求、主频敏感度和扩展性的要求；

其中，生命科学中有三种集群，分别是：胖节点集群，双路高主频高网络带宽集群，双路高主频高IO吞吐集群，在步骤S102中，所述分配策略包括：

当某类应用对内存容量需求大于第一阈值且对磁盘IO需求大于第二阈值时，为该类应用分配胖节点集群；

当某类应用对内存需求小于第一阈值、对磁盘IO需求小于第二阈值且大于第三阈值、主频敏感度大于第四阈值、对网络带宽需求高于第五阈值且扩展性好时，为该类应用分配双路高主频、高网络带宽集群；

当某类应用对内存需求小于第一阈值、对磁盘IO需求大于第二阈值、主频敏感度大于第四阈值且扩展性好时，为该类应用分配双路高主频高IO吞吐集群。

例如，序列比对应用对内存容量需求以及磁盘IO需求中上，高主频可加快计算速度；序列拼接应用内存容量需求以及磁盘IO需求大，高主频可加快计算速度。一般情况下，序列比对和序列拼接应用会被同时使用，这两类应用的应用特征也有其交集，能够满足需求序列拼接的集群必然能够满足序列比对应用，且能发挥较好性能，一般大内存胖节点集群满足序列比对和序列拼接应用的计算需求；分子动力学、分子对接、蛋白质结构预测这三类应用都是对内存容量需求小，主频敏感度高，扩展性较好，网络带宽需求高，磁盘IO需求适中的应用，双路高主频、高网络带宽集群适用于该类应用，集群一般选用双路高主频机型，各个机器间使用高速Infiniband网络互连；质谱解析，三维电镜重构应用对内存容量需求小，磁盘IO需求较大，主频敏感度高，扩展性好，一般双路高主频高IO吞吐集群适用于该类应用。

如果某客户应用包含着几个方面，可以选择胖节点和双路节点机型，双路节点间通过高速INFINIBAND互联；各个胖节点千兆连接，各个胖节点节点内并行即可，胖节点只运行序列比对，序列拼接应用；对于存储介质，鉴于序列比对，序列拼接，质谱解析和电镜三维重构对磁盘IO压力较大，可选用读速率达到1.2GB/s,写速率达到700-800MB/s的设备，且磁盘容量较大；存储和计算节点间使用万兆或是光纤互联。

此外，如图2所示，本实施例还提供了一种生命科学应用的集群软件安装方法，即在上述步骤S101～S102之后，还包括以下步骤：

S103：在所述集群的节点上将待安装的应用软件使用静态库进行安装；

根据所述应用的类别将各个类别对应的应用软件使用静态库编译软件，生成二进制文件；这样不论系统版本如何升级，这些编译出的二进制文件均可以使用，无需重头编译。

按照研究方向进行分类，应用的类别包括：序列比对、序列拼接、分子动力学、分子对接、蛋白质结构预测、质谱解析和三维电镜重构等8类应用，每类应用对应多种软件，每种软件都使用静态库安装，生成二进制文件；

由于在现有技术中，都是在节点上一个一个软件地安装，每个节点上都需要将每套应用软件安装一遍，浪费时间、效率极低，而本实施例将所有待安装的应用软件根据应用的类别使用静态库编译软件生成二进制文件后，统一安装，就可以节省大量时间，提高工作效率了。

S104：在安装所述应用软件时，将使用静态库安装生成的二进制文件统一设置在一个固定目录下，即将每类应用的所述二进制文件构建一个文件夹，并且设置相应的环境变量。

如图3所示，本实施例还提供了一种生命科学应用的集群软件安装方法，包括以下步骤：

S201：对生命科学应用进行分类；

S202：根据各类应用对内存容量需求、对磁盘IO需求、主频敏感度、扩展性的要求，为各类应用分配满足分配策略的集群；

S203：在所述集群中的节点上安装操作系统及集群文件系统，安装编译器并设置MPI并行环境；

其中，安装操作系统前先确定各个节点主机名，节点名称能够区分登陆节点，管理节点，计算节点，胖节点，IO节点，在这些节点上安装相应的操作系统，操作系统安装完成后该节点的名称也相应确定了。系统安装完成后配置NFS（Network File System，网络文件系统）或是Lustre文件系统，节点间访问时无需密码；安装编译器，并设置MPI并行环境。

S204：生命科学应用集群部署完成后按需进行软件安装，在安装软件时，全部选用静态库进行安装，编译生成二进制文件；

S205：将应用程序打包分装，即将安装好的二进制文件统一设置在一个固定目录下，即，将每类应用的所述二进制文件构建一个文件夹，并且设置好环境变量；

S206：判断是否有软件需要更新，如果是，则将需要更新的应用软件使用静态库重新编译软件生成二进制文件，添加到相应应用类别的文件夹中。

如图4所示，本实施例还提供了生命科学应用的集群分配装置，包括：

分类模块，用于对生命科学应用进行分类；

其中，所述对生命科学应用进行分类包括：

所述对集群资源的需求包括：对内存容量需求、对磁盘IO需求、主频敏感度和扩展性的要求；

所述分配策略包括：

如图5所示，本实施例还提供了一种生命科学应用的集群软件安装系统，包括如上所述的生命科学应用的集群分配装置以及与其相连的安装模块，用于在所述集群的节点上将待安装的应用软件使用静态库进行安装。

其中，所述安装模块，用于在所述集群的节点上将待安装的应用软件使用静态库进行安装包括：

此外，优选地，所述安装模块，还用于当有应用软件需要更新时，将需要更新的应用软件使用静态库重新编译软件生成二进制文件，添加到相应应用类别的所述文件夹中。

从上述实施例可以看出，相对于现有技术，上述实施例中提供的生命科学应用的高性能计算集群分配方法及应用软件安装方法，分析生命科学应用类别，选择满足分配策略的集群，能够将这些应用快速高效地部署到集群中，大大提高了生命科学领域程序部署进度，通过使用静态库批量的安装生命科学应用软件，大大提高了集群管理员的工作效率。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并非用于限定本发明的保护范围。根据本发明的发明内容，还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种生命科学应用的集群分配方法，包括：

对生命科学应用进行分类；

2.如权利要求1所述的方法，其特征在于：

所述对生命科学应用进行分类包括：

3.如权利要求1所述的方法，其特征在于：所述对集群资源的需求包括：对内存容量需求、对磁盘IO需求、主频敏感度和扩展性的要求；

所述分配策略包括：

4.一种生命科学应用的集群软件安装方法，包括：

对生命科学应用进行分类；

5.如权利要求4所述的方法，其特征在于：

在所述集群的节点上将待安装的应用软件使用静态库进行安装包括：

6.如权利要求5所述的方法，其特征在于：所述方法还包括：

7.如权利要求4所述的方法，其特征在于：在所述集群的节点上将待安装的应用软件使用静态库进行安装之前，还包括：

8.如权利要求4所述的方法，其特征在于：

所述对生命科学应用进行分类包括：

9.如权利要求4所述的方法，其特征在于：所述对集群资源的需求包括：对内存容量需求、对磁盘IO需求、主频敏感度和扩展性的要求；

所述分配策略包括：

10.一种生命科学应用的集群分配装置，包括：

分类模块，用于对生命科学应用进行分类；

11.如权利要求10所述的装置，其特征在于：

所述对生命科学应用进行分类包括：

12.如权利要求10所述的装置，其特征在于：所述对集群资源的需求包括：对内存容量需求、对磁盘IO需求、主频敏感度和扩展性的要求；

所述分配策略包括：

13.一种生命科学应用的集群软件安装系统，包括：如权利要求10～12任一项所述的装置，还包括：

14.如权利要求13所述的系统，其特征在于：

所述安装模块，用于在所述集群的节点上将待安装的应用软件使用静态库进行安装包括：

15.如权利要求14所述的系统，其特征在于：

所述安装模块，还用于当有应用软件需要更新时，将需要更新的应用软件使用静态库重新编译软件生成二进制文件，添加到相应应用类别的所述文件夹中。