CN112988695B - 一种超融合混合架构计算材料平台 - Google Patents

Abstract

一种超融合混合架构计算材料平台，包括基础设施模块，其配置成采用弹性基础设施架构实现云主机服务、云存储服务、高性能计算服务、以及研发环境支持服务；数据服务模块，其配置成以数据包为粒度对数据进行管理，通过构建标注系统、规范数据标注行为提高数据生产力，屏蔽各异构存储及文件系统，以屏蔽层为依托实现各种数据任务的操作以实现对数据的管理；平台服务模块，其配置成通过集成计算材料相关的多个HPC应用并结合数据仓库的访问以实现应用服务，通过HPC应用编排子系统和蒙特卡洛算法、以及通用算法库实现开发服务；应用软件模块，其配置成通过配属计算材料相关的软件以实现计算作业的编译以及运算；和用户接口模块。

Description

一种超融合混合架构计算材料平台

技术领域

本申请涉及计算材料领域，尤其涉及一种超融合混合架构计算材料平台。

背景技术

化学工作者是最早使用并行计算工作的群体，利用量子力学的基本理论去求解各种方程早已成为他们工作的一部分，利用并行计算方法可以帮助他们从量子理论的观点上去解释和模拟化学现象和构成。随着高分子材料和纳米材料的不断发展，材料力学已经逐渐成为一种和化学物理共同交叉的学科，材料研究者利用量子力学理论和分子动力学理论去求解相应的材料问题，他们和化学工作者一样，是最早使用并行计算作为研究工具的人群之一。包括凝聚态物理、空间物理等理论都需要利用并行计算技术去实现计算模拟时间的缩短，利用并行计算技术，物理学家有了更充分的时间去模拟和验证自己的理论。

计算技术的发展带动了传统行业的变革，越来越多的用户需要通过大规模并行或分布式计算解决问题，未来并行计算和分布式计算可能就像我们的手机一样，成为很多用户工作中不可或缺的工具，而这个趋势到底有多快，在平台建设的时候很难估算。因此，平台建设的最后一个需求，就是弹性扩展和混合架构。通过私有云连接公有云，可大大增加平台的灵活扩展程度，为未来的快速发展做好准备。

在兼顾传统HPC客户应用的基础上，拓展HPC计算中心的服务内容，服务于计算材料学科以及人工智能交叉学科对规模化计算有需求的科研工作者。平台在不改变传统HPC用户的使用模式，尽可能增加用户的易用性和平台的可靠性，以高质量服务于HPC用户；其次，平台需要适应于新型HPC应用、计算材料软件应用以的快速发展，为科研工作者提供更易用的工具。

平台的组成部分为基础架构的管理、运行的任务、环境的依赖、数据管理、流程管理、计算材料软件辅助工具、智能化运维等方面。

传统的HPC平台设计中，基础架构设计主要分为：计算资源(以CPU资源为主)、存储资源(普通的共享文件系统、高性能并行文件系统)、网络资源(以太网、IB网)，计算材料软件服务的引入，使得基础架构需要考虑更多：在计算资源层面需要更多考虑CPU和GPU异构资源配置，既保证传统HPC的服务质量，又要适合计算材料这类以数据驱动的应用；在存储资源，需要考虑分布式文件系统，以及不同文件系统之间数据的互访；在网络层面，还需要考虑容器资源和物理资源之间的网络配置，以及在容器里特殊网络设备的驱动等等。

传统的HPC对环境的依赖相对简单，包括：操作系统、基础系统库环境、编译和运行的库环境等。应用软件通常采用共享安装的方式，计算几点透明可见，各计算节点环境完全一致，商业应用软件的版本不会频繁更新，自研的软件可以部署在共享环境中，也可以部署在用户私有环境中，可随时更改。在HPC领域，也有对灵活变更环境的需求，比如：HPC实验或者学习。计算材料软件对计算环境的依赖比较复杂。计算材料需要的环境通常会包含一套用于开发和运行应用的框架，这个框架对计算材料过程中用到的很多底层库函数进行了封装，为用户提供简易的接口，框架的类型、版本、依赖的系统环境变量和库的差异非常大。由于框架使用的多样性非常明显，用户在熟悉一个软件之后，经常不得不因为某个具体功能而转向另外一个软件。对这些传统的应用和先进的灵活的应用统一管理，给平台带来很大挑战。综上所述，传统的HPC平台并不适用于计算材料的运算。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种超融合混合架构计算材料平台，包括：

基础设施模块，其配置成采用弹性基础设施架构实现云主机服务、云存储服务、高性能计算服务、以及研发环境支持服务；

数据服务模块，其配置成以数据包为粒度对数据进行管理，通过构建标注系统、规范数据标注行为提高数据生产力，屏蔽各异构存储及文件系统，以屏蔽层为依托实现各种数据任务的操作和相关任务的管理功能；

平台服务模块，其配置成通过集成计算材料相关的多个HPC应用并结合数据仓库的访问以实现应用服务，通过HPC应用编排子系统和蒙特卡洛算法、以及通用算法库实现开发服务；

应用软件模块，其配置成通过配属计算材料相关的软件以实现计算作业的编译以及运算；和

用户接口模块，其配置成将业务逻辑层整合后的数据，按其数据逻辑划分为不同功能模块，通过集成式的界面和菜单将各功能统一在一起，并以Web Portal的形式提供服务。

可选地，所述的基础设施模块中的弹性基础设施架构包括：

计算资源弹性扩展单元，其配置成采用物理资源与容器资源相结合的方式实现计算资源的快速弹性扩展；和

存储资源弹性扩展单元，其配置成将服务器存储与Lustre或GPFS并行共享文件系统相结合，将服务器存储与具备高度扩展性和数据高可用性的分布式文件系统相结合、并兼顾数据的存储以及分析任务。

可选地，所述的基础设施模块中的资源动态分配服务包括基础IAAS资源的统一调度服务，调度方法为：

对于HPC应用，物理资源调度权重高于容器资源调度权重；

对于计算材料软件，容器资源调度高于物理资源调度权重。

可选地，对于HPC，所述的数据服务模块通过已有的前处理程序产生不同颗粒度的行业数据。

可选地，所述的数据服务模块中的数据任务的操作包括将文件上传或下载至不同的文件系统、将文件从某一个文件系统转换或迁移至另一个文件系统、为业务环境挂载和取消数据对象、将数据对象在不同的文件系统上进行发布及取消发布。

可选地，所述的平台服务模块中的开发服务采用开放方式构建单元实现。

可选地，所述的开放方式构建单元包括：

业务流节点创建子单元，其配置成按照用户的要求创建若干个应用；

链接子单元，其配置成按照用户的要求将所述若干个应用链接起来，所述的链接包括顺序链接和条件链接。

可选地于，所述的应用软件模块与SaaS系统相关联，通过软件租用的方式使用SaaS系统所提供的相关软件。

本申请的超融合混合架构计算材料平台通过任务调度和大数据任务管理对数据处理任务、各种规模的计算任务、交互任务进行统一管理，各种任务管理系统统一协同工作，统一调度底层资源。

围绕为用户提供更加方便的使用方式，上述平台提供了深度学习中样本数据处理、模型建立和优化训练、基于训练完成模型的推理的一整套完整的优化解决方案，例如，让科研工作者可以无需编程，仅需通过图形界面操作即可以完成整套流程，大大降低了非计算机行业用户使用本平台的难度。

超融合平台保证高性能计算服务质量的基础上，提供了更多面向计算的服务，为材料行业用户使用专业软件提供一整套便捷的工具。平台着重在高性能计算服务的高可靠性和易用性、数据的管理和使用、业务流程可视化管理、计算材料应用的开发和管理、智能化运维、实训和实验管理等方面为用户提供服务，以满足越来越多的新需求。

提供了基于共享文件系统和分布式文件系统的统一数据管理、针对不同的业务场景切换底层的数据管理方式。基于Docker容器和Kubernetes容器编排工具的容器编排工具体系能够满足灵活构建系统环境的需求。

自动化和人工相结合的数据标注模块，提高了数据标注的效率和准确度。

智能化运维方面，基于硬件层、系统层和应用层数据的关联分析，建立了满足日常需求的故障库，为7×24小时运维自动化提供了数据支撑。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本申请一个实施例的一种超融合混合架构计算材料平台的示意性结构框图；

图2是图1中用户接口层的功能框图；

图3是图1中应用软件层的功能框图；

图4是图1中材料设计仿真全流程部分的功能框图；

图5是图1中材料数据智能分析服务部分的功能框图；

图6是图1中应用编排、使用、分发、管控子系统部分的功能框图；

图7是图1中数据服务层的功能框图；

图8是图1中基础设施层的功能框图；

图9是根据本申请一个实施例的集群示意图，其中(a)和(b)分别集群和web服务集群示意图；

图10是根据本申请一个实施例的资源池示意图，其中(a)和(b)是逻辑资源抽象示意图，(c)是物理层抽象示意图；

图11是根据本申请一个实施例的数据标注可视化原理示意图；

图12是根据本申请一个实施例的标注时间对比图；

图13是根据本申请一个实施例的自动化报告设计原理示意；

图14是根据本申请一个实施例的应用服务构建图；

图15是根据本申请一个实施例的工作流设计的原理示意图。

具体实施方式

图1至图8是根据本申请一个实施例的一种超融合混合架构计算材料平台的示意性结构框图，所述的超融合混合架构计算材料平台一般性地可包括基础设施模块、数据服务模块、平台服务模块、应用软件模块和用户接口模块。下面具体介绍各模块的功能。

基础设施模块，其配置成采用弹性基础设施架构实现云主机服务、云存储服务、高性能计算服务、研发环境支持服务等；云主机服务指通过互联网提供软件租用的模式，服务供应商将自己的服务统一部署到SaaS系统平台服务器上，科研工作者可以根据自己实际需求，通过SaaS系统平台定购所需的应用软件服务，按定购服务的约定方式支付费用。科研工作者不用再像在传统模式下那样花费大量投资用于硬件、软件的购买和维护，而改用向服务供应商间接租用软件的方式，来满足企业管理活动中的需求，并且无需对软件进行维护，因为这部分工作将由服务供应商来完成。

平台构建于弹性的基础设施架构之上，包括计算资源的弹性扩展以及存储资源的弹性扩展。计算资源的弹性扩展采用物理资源与容器资源相结合的方式来实现，利用系统内置的应用快速部署技术，实现计算资源的快速弹性扩展。

存储资源的弹性扩展主要包括两个方面，一是指满足高性能计算中对I/O聚合读写带宽和延迟要求较高的应用，采用服务器存储结合Lustre或GPFS并行共享文件系统的方式实现；另一方面是指满足高并发分布读写访问的应用，例如：对图片、日志等非结构化数据的分析和推理，这部分存储采用服务器存储结合具备高度扩展性和数据高可用性的分布式文件系统(如：Hadoop)生态系统作为技术实现，同时兼顾数据的存储以及分析任务。

基础架构管理主要向科研应用和开发人员、科学数据中心管理人员及管理员提供基础IAAS资源服务统一平台，该平台将数据中心的基础资源抽象化。通过灵活的服务编排，以模块化的方式为用户提供标准资源服务，简化用户获取资源的方式，更好地为用户服务，提升用户体验。为更好地管理IT设施、优化IT运维管理流程，基础设施模块提供了从任务级、服务级到流程级的IT服务管理功能。

下面重点介绍资源调度与应用编排策略。

本平台中基础设施层提供了基础IAAS资源的统一调度服务，实现了数据中心的基础资源抽象化。通过资源调度与应用编排策略，以模块化的方式为用户提供标准资源服务，简化用户获取资源方式，更好地为用户服务，提升用户体验。

资源调度方法具体如下：1)HPC应用尽可能基于物理资源调度与管理；2)计算材料软件尽可能基于容器资源调度。其原因是HPC应用的开发更为底层，应用场景也更为灵活，因此算法本身在统一的框架方面并没有计算材料软件那样形成如此迅速的积累，对于分布式异构硬件并发计算方面也更依赖于传统的调度系统，而传统调度系统是基于物理层硬件和并行文件系统进行管理的，当然调度系统在近些年也做了很多的优化来支持容器级别的调度，但显然这是迫于容器技术发展的速度所致，而非以业务为核心的专有设计，因此，基于传统硬件资源进行管理的模型适应性更强。

超融合框架在开发时就充分考虑了异构系统下分布式并发训练和推理计算，虽然部分框架与HPC使用相同的底层技术，分布式异构硬件并发计算的设计也更加成熟，因此容器级别的资源管理对计算材料软件技术而言是更好的选择。

平台基于物理资源集群纳管、业务逻辑划分资源池管理的思想进行资源的调度。物理集群纳管是将集群纳入云平台的管理，而集群则是基于物理视图的一种逻辑概念，它将多台物理服务器依据功能和角色的不同而进行逻辑的划分。节点是指单台物理服务器，在网络拓扑中被称之为节点，多个物理节点构成了一个集群的纳管，如图9所示。

物理节点具体的资源描述精细化至CPU物理核，内存则以可使用的范围进行配置，本地存储按照挂载盘与集群可用容量进行配置，让云平台的纳管动作更为细粒化，亦更容易对物理资源的具体用途进行把控。

而资源池将物理层资源进一步抽象成逻辑资源层，如图10所示，所谓的逻辑资源层便是忽略硬件物理位置的更细粒度的划分，它帮助系统以业务逻辑的视角去抽象资源。资源池的实质是将物理硬件资源细化、打散，再重新按照逻辑资源的抽象进行定义。科研工作者可以根据自身的业务需求创建不同的资源池，并将物理资源按照系统最小粒度划分到不同的资源池中。

平台基础设施层主要实现对所有资源的统一监控、统一调度、统一分配、统一管理。各个资源生命周期的管理，是通过对前端业务请求的流程控制和资源操作，实现资源分配、变更、回收的自动化。自动化运维的核心目的是帮助科研机构提升数据中心的运营运维服务质量，降低故障时间，提升服务供给满意度。

自动化运维是基于业务专门为科学数据中心提供系统硬件、软件、OS、业务层级的运维监控与分析、运营监控分析以及业务监控与分析，并在数字化的基础上提供运维、运营问题、趋势的分析、故障的追根溯源分析，故障告警推送。基于分布式数据库的底层架构设计，可以作为数据中心等运维、运营、业务分析等数据的数据源平台，为快速完成企业定制特性等二次开发提供数据层服务。

想要实现自动化运维首先要考虑的IT设备的监控，监控是整个运维乃至整个产品生命周期中最重要的一环，需要事前及时预警发现故障，事后提供详实的数据用于追查定位问题。对资产不间断实时监控，实际上是对资产不间断的实时数据收集、存储、展示。监控功能以插件方式开发，高度可扩展，定义标准的数据格式，通过解析系统文件或API，避免命令方式，降低因监控对服务器造成的负载压力从而影响业务的稳定运行，异步高性能采集架构，支持Windows/Linux系统。

监控展示应分为两部分：

(1)单节点、单设备类型详细的信息展示，包括各类操作系统、物理机、虚拟机、数据库、SNMP网络设备、共享存储、并行存储、业务进程、网络服务、作业调度系统、中间件等等，并提供监控模板和灵活的配置和扩展能力。

(2)基于业务监控，以业务拓扑为导向，系统根据用户创建好的业务拓扑自动创建业务专属的监控页面，通过页面监控界面即可实时查看业务相关资源的实时运行情况、历史周期运行情况。

数据服务模块，其配置成以数据包为粒度对数据进行管理，通过构建标注系统、规范数据标注行为提高数据生产力，屏蔽各异构存储及文件系统，以屏蔽层为依托实现各种数据任务的操作和相关任务的管理功能。计算材料软件主要分为数据处理、模型建立和数值模拟，这三个过程中存在面向海量数据的数据处理任务、大规模的分布式计算任务。从任务的特点看，系统配置任务调度模块和大数据任务管理模块实现对数据处理任务、数据计算任务、交互任务等的统一管理。

数据层为整个系统提供数据的统一管理能力，数据层的统一管理包括如下功能：

(1)能够进行数据仓库的管理。

数据仓库的主要目的是让科研机构的数据可积累，在业务层面可以用于后续研究、应用开发、为这些业务行为提供充足的数据沉淀。数据服务模块可以灵活、规整的将数据仓库管理起来，具体为以数据包为粒度对数据进行管理，向上层业务提供数据下载、挂载、访问的功能。

(2)数据产生

数据生产能力主要指为系统提供可再生数据的能力，与数据仓库形成配合关系，科研机构不仅仅可以利用行业、开放数据积累数据仓库，同时也可以自己生产数据、补充所需数据的能力。数据服务模块通过构建标注系统、规范数据标注行为的管理能力增强数据生产力。对于HPC，可经由已有的前处理程序形成不同颗粒度的行业数据，例如不同尺度模拟的石墨烯材料的生产数据。

(3)异构存储、文件系统的屏蔽能力。

超融合架构系统需要容纳更多种类的存储系统，例如并行文件系统、分布式文件系统等，而业务的多样性会导致异构存储存在壁垒，使业务效率降低，因此数据服务模块提供了屏蔽各异构存储和文件系统的能力，即如何实现对全局数据的统一管理，让数据可以在云平台内流动，让数据成为基础资源，打破异构存储壁垒。本平台建立一套可以同时管理共享文件系统和分布式文件系统的机制，方便用户在不同的应用场景间切换数据。通过对全局数据进行统一管理，既保证数据读写的性能，又保证应用调用数据的方便。

(4)数据任务管理

数据任务管理构建在屏蔽层之上，系统提供各种数据任务的操作以实现对数据的管理，例如将文件上传或下载至不同的文件系统，将文件从某一个文件系统转换或迁移至另一个文件系统，为业务环境挂载和取消数据对象，让数据对象在不同文件系统上进行发布和取消发布等功能。

从业务层面来看，计算材料业务都属于重型数据处理业务，因此数据层的统一管理、灵活迁移、规整化管理、数据生产力对于整个超融合平台会起到非常重要的作用，超融合平台内置数据管理层又可以与业务层面进行无缝衔接，使得应用生产，科学实验等业务场景可以更加顺畅的进行，同时自动化的系统也可对数据财产进行更智能化的控制，例如自动化备份、自动化统计、索引建立等。

对于计算材料模拟场景而言，标注系统是模型生产力，非工具化、流程化的标注数据生产不仅仅是效率低下的问题，错误的、质量低下的标注数据直接影响模型的准确性和泛化能力，本实施例的平台能够提供高效的标注过程框架和标注质量管理流程，帮助科研机构高效高质量地生产数据。

下面重点介绍数据标注管理。

对于计算材料模拟场景而言，标注系统是模型生产力，超融合平台应该具有高效的标注过程框架和标注质量管理流程帮助科研机构高效高质量的生产数据,并与平台的数据仓库、异构文件系统的管理形成无缝的衔接。

标注场景问题：

超融合平台在材料模型开发方面为用户提供足够多场景的数据标注能力，让科研工作者能够方便的在统一平台上构造数据集，这样科研工作者才有意愿为云平台贡献数据生产力。然而材料领域场景众多，若要一项一项的开发所有模型的数据标注系统是不现实的，这将花费巨大的成本，平台充分利用已有的开源或商用标注系统为平台贡献数据生产力，能够有非常好的扩展性来将各种各样的标注系统以服务的形式集成在平台内。而集成公开、开源、商用标注系统的技术就使用到了超融合平台内置的资源环境自动化调度管理能力和应用集成与编排能力以及工作流引擎，利用这些平台既有功能可以非常好的完成标注系统的集成工作，然后只需要对标注服务的生命周期管理加以扩展即可。

标注效率问题：

标注系统仅仅是解决了标注方法的问题，材料模型的设计往往需要大量的标注数据，因此标注效率问题也需要考虑，超融合平台在这方面实现了创新性的演进式标注概念，其核心是：

由于模型的推理结果和输入的标注数据是一对逆向对称的数据，因此演进式的理念便是让正在被试验中的模型能够产生标注数据，但此时模型还不成熟，还不能完成正确的推理，因此模型产生的标注需要人工进行确认，在模型刚开始训练时人工确认的工作量与人工标注是一样的，但随着试验迭代，模型逐渐成熟，模型标注也越来越准确，人工确认的工作量在模型的帮助下也大幅下降，人和模型逐步推进模型向更成熟的方向发展，这便是演进式标注概念的由来。图11给出了目标识别演进式标注系统的概念示意。

超融合平台通过演进式标注的基础支撑，包括演进式任务流程的支撑，提供模型标注数据的管理，混合人工标注和模型标注进入至核验流程随机进行效果的抽检，最后在人工确认之后计算模型与人工调整后偏差并将标注数据归类到试验数据集中。

图12给出了人工标注和演进式标注的效率曲线对比情况。

为解决众多材料试验标注场景问题，平台集成了公开、开源的不同场景的数据标注应用、目标检测、通用文本、评价评论、图像等场景，嵌入了过程管理框架、标注质量管理流程，包括核验和审批流程。平台还提供了演进式标注系统构建的支撑框架以及演进式任务流程、模型标准数据迁移、同屏提示、随机抽检等功能。

统一数据层分布式数据库将会作为原数据的持久化层，其主要特点是可以作为一个大型分布式集群(数百台服务器)技术，处理PB级数据，服务大公司；也可以运行在单机上，全文检索，同义词处理，相关度排名，复杂数据分析，海量数据的近实时处理。

ESB组件层按业务逻辑关系分解为自定义模板管理、自定义展现插件管理、多数据源配置管理、在线编辑、导出等多个逻辑上的业务模块。业务模块之间存在相互调用与查询等接口进行关联。在数据逻辑关系上，按照独立的对象模型建立对象数据表，按照关系模型建立关系表。并利用下面数据存储层提供的数据查询接口、存储接口组织业务逻辑关系；

业务逻辑层提供更高层的业务数据抽象，而不触及任何实际的数据存储操作和界面展示操作，上述平台能够将业务逻辑层提供的高层业务数据抽象展现给用户，并将用户在图形界面上的指令转换为URL或远程接口的调用来实现用户通过图形界面对业务的控制；

接入层与业务逻辑层通过标准的HTTP请求与响应、业务层提供的接口调用、JSON或XML等标准格式的数据消息进行通信，降低与业务逻辑层的耦合，使得接入层可以实现多套界面接入，如web端、APP端、其他信息化系统；

系统为高性能数据采集提供了一套兼具高性能、低负载、可扩展、可定制的采集套件，为系统提供稳定的数据输入：

自动化报表是数据中心数字化层的运营与运维、业务核心数据的展示平台，帮助拥有HPC、数据中心的客户构建全面智能化、自动化的数据中心运维、运营报告能力，如图13所示，主要包含以下功能模块：

自定义模板提供开发多种报表样式的能力，通过建设报表设计功能，并内置丰富的报表控件如表格、图表等控件，支持在线数据建模到可视化效果设计的完整报表开发过程，帮助用户轻松设计多种报表样式。

为了提升自动报表的浏览速度，提升交互体验，系统将会根据用户页面上的操作进行报告的保存，生成报告时可以根据用户前台操作进行保存报告，用户下次可以在系统上选择已生成报告进行在线浏览。

为了方便后期对用户提供持续服务，系统可以通过开发展示插件来丰富报告中数据展现形式，只需要严格按照技术指引及相关约束开发好插件，放入系统指定目录内即可完成新增展现形式功能。

自动化报告通过数据进行多维展示时可能存在用户需要手动增加、调整报告内容，自动化报告在设计之初就已经考虑了此类操作，生成报告后页面的所有信息均支持管理员前台修改操作，也支持增加自定义模块进行在线填写数据生成图表。

数据可视化主要负责将系统运行信息以定制化的方式展现出来，由于平台具备统一的数据管理方式，统一管理系统数据和业务数据，门户层可以非常便捷的从数据总线获取底层数据。数据可视化部分可以根据不同的用户角色进行定制，为管理人员、运维人员、业务使用人员等提供多种可视化展现。通过数据汇总，将用户关心的信息以图形化的方式展示在大屏幕上。

平台服务模块，其配置成通过集成计算材料相关的多个HPC应用并结合数据仓库的访问以实现应用服务，通过HPC应用编排子系统和蒙特卡洛算法、以及通用算法库实现开发服务；

业务是平台功能的重中之重，是平台的灵魂，业务直接决定了平台所能够提供的服务能力。本平台所提供的服务能力从性质上能够被划分为：应用服务、开发服务、分析服务三种。

应用服务指的是集成在超融合平台上的业务应用和资源可以被用户使用，从而产生业务价值。例如材料类HPC应用可以用于材料耐腐蚀性的分析，从而为农业、军事、旅游等领域提供服务，这便是产生的业务价值。而资源的使用又分为基础资源的使用和数据资源的使用，基础资源的使用更倾向于为业务应用或研究环境提供按需使用的环境，例如对于HPC的算法研究，研究人员通过平台可以迅速申请一个完整的研究环境，而不需要对环境进行基础库的安装、相关参数的配置，以此避免浪费时间，从而将精力集中在算法的研究上，而这一切只需要在云平台上描述自己的需求即可，这种环境使用的服务就需要云平台可以进行自动化环境供给的管理能力。而数据资源是能够更便捷的让业务研究人员使用数据，如研究材料数据算法的科研人员可以通过数据商店选取合适自己研究粒度的材料图谱数据，当然数据资源的使用也包含对存储的使用。

开发服务指的是在超融合平台上高效的开发业务服务应用，因为是统一平台，所以在平台上进行应用的创造更容易为使用者提供统一的访问方式，进而平台也可以更智能化的管理应用，例如应用的发布管理、应用的生命周期管理、业务流管理等，帮助多个孤岛应用能够形成闭环的综合性应用，从而形成更加智能的综合业务应用。HPC应用编排子系统可以让HPC的算法应用更容易地集成在平台中，提供前后处理一体化的解决方案能力，而计算材料方面又可以通过三个层次(模型开发、模型可视化编排调参、固化模型的直接使用)让蒙特卡洛算法在各个知识层面的群体中产生业务价值，同时提供的通用算法库，开放式应用库让材料应用的开发效率得到大幅的提升。同时开发服务又与智能化的使用超融合服务在同一平台内无缝结合，让科研人员聚焦在价值的创造上。

技术的高速发展带来了强烈的知识传递需求，现在计算机科学、HPC与计算材料应用算法科学已经成为通用学科，与各行业、专业进行横向相连，业务人员对知识的掌握深度和广度也进一步在决定着业务价值产出的效率，因此，如果科研机构已经有了强大的算法工具、基础设施工具、以及效率工具，那么科研机构也应该让科研工作者从理论到实践到工具链上融会贯通，如图14所示这样才能充分发挥“使用微服务”、“创造微服务”的价值，进一步提升价值产出的效率。

三种服务统一纳入统一超融合平台中，有机结合，为科研机构在基础设施的使用上、业务形态的构建上形成完整闭环。

应用服务提供了基础设施和业务的使用能力，同时为创造服务和计算服务提供基础的土壤，开发服务又反过来哺育完善业务场景和业务应用，同时为学习服务提供创新性的真实实践场景，实验服务为业务院校科员、学员提供了理论与实践结合的场景，更深更广的知识掌握也为使用服务、创造服务提供更强大的业务价值创造能力。知识成长、业务价值、创造性的闭环，正是所谓产学研一体化。

经由统一的用户管理和权限管理，让系统用户同时使用三种服务能力。应用环境编排引擎从基础资源、镜像的编排能力、集群级逻辑拓扑编排能力方面为三种服务提供支撑。HPC应用编排、计算材料应用构建为业务应用的创造提供支持。业务流引擎帮助孤岛应用集成起来，形成综合性应用，提供更高价值。应用发布引擎为应用商店的发布、和资源使用配置提供了定义。利用基础环境为科研机构提供了可扩展的学习、实践能力。

下面重点介绍开发服务中的工作流管理。

平台服务层中提供应用服务、开发服务、分析服务三种服务。其中开发服务指的是在超融合系统上高效的开发业务服务应用。本平台采用工作流管理的方式构建应用算法，开放式构建算法让材料应用的开发效率得到大幅的提升。

业务流引擎帮助孤岛应用集成起来，形成综合性应用，提供更高价值。基于材料应用编排引擎构建应用之后，科研工作者已经可以在超融合平台上轻松完成应用计算，而不用关心具体的资源分配问题、软件安装问题、数据访问问题，但这些应用仍然是一个个的孤岛，在实际的业务应用中往往是需要多个应用的组合才能完成一个业务需求，例如HPC中前处理、计算处理、后处理就是一个需要多应用支撑的业务；HPC计算输出的数据作为神经网络的输入，神经网络输出HPC应用的可控参数进一步提升HPC应用的计算精度，反之亦然。

超融合平台业务流引擎需要将平台内的应用孤岛串起来，不需要过于复杂、炫丽的功能，但需要提供平台级的支持，但凡是在平台内集成发布的孤岛应用都应该可以通过输入与输出衔接的方式串联起来形成一个具体的业务流对象，平台在衔接处提供接口级支持，并提供整套业务流对象生命周期、管理与可视化机制。

如图15所示，给出了平台在业务流层面的编排能力设计示意：

超融合平台中业务流引擎包含如下几个概念：

业务流对象：在平台内用户可创建不同的业务流对象，并利用平台功能对业务流对象实施生命周期管理，用户可以发布业务流，让企业内其他成员使用，也可以执行撤销发布，编辑发布，删除业务流等行为。

业务流节点：业务流对象是由业务流节点组成的，每一个节点描述了自身的应用能力，包括其重要的输入输出描述，通过业务流引擎可以将这些节点串联起来，形成不同的业务流对象，在超融合平台系统中，用户可以以图形化的方式编辑业务流节点对象，包括关联应用，配置输入输出描述等。

业务流调度引擎：是业务流整体系统的核心，它提供了业务流节点之间的链接能力，调度引擎需要感知业务流动启动，上一节点的输出事件，并按照业务流对象的设定启动下一个业务流节点。控制过程包括顺序链接、条件链接。

顺序链接即直通式的从一个业务流节点调度到下一个业务流节点。而条件链接则是需要满足条件才会进入到下一个节点中，系统通过执行用户自定义的条件检查器来触发用户回调脚本或程序，然后根据其输出结果判定是否进入下一节点。条件链接是一种流程框架中的基本元素，其可以让系统形成非常复杂的业务流程控制，例如编程语言中的switch…case…控制流，或循环控制流。

当然，在业务流机制已存在的基础上也可继续根据企业的需求增加一些管控和统计能力，例如在不同部门间的业务流片段中增加审核机制等，例如为业务流创建增加一个定时启动或事件启动的机制，在运行时系统可以按时自动或事件触发进行自动运行。

总体而言，应用业务流引擎具备如下功能：

业务流级别的应用市场：让用户轻松访问并能够像在线应用一样使用业务流对象；

业务流管理服务：用户可创建业务流对象、管理业务流对象生命周期、创建配置业务流节点、以及调度条件、最终发布业务流。

应用软件模块，其配置成通过配属计算材料相关的软件以实现计算作业的编译以及运算；

在计算材料业务中需要配属相应的计算软件来实现计算作业的编译以及运算，该类软件大多数为国外软件、开源软件，将此类软件部署在计算平台上进行使用。

用户接口模块，其配置成将业务逻辑层整合后的数据，按其数据逻辑划分为不同功能模块，通过集成式的界面和菜单将各功能统一在一起，并以Web Portal的形式提供服务，用户可通过web浏览器和客户端访问平台、使用资源。

本实施例提供的一种超融合混合架构计算材料平台具有以下特点:

数据管理是超融合混合架构计算材料平台重要的特点之一，HPC是以数据围绕计算，计算材料则是以计算围绕数值模拟和数据展示，两者之间在一些特定场合又存在以数据为桥梁的关联。所述的超融合混合架构计算材料平台能够对全局数据进行统一管理，即能保证数据读写的性能，又能保证应用调用数据的方便。平台建立了一套可以同时管理共享文件系统和分布式文件系统的机制，方便用户在不同的应用场景间切换数据。在具体的应用过程中，数据管理能够对数据进行上传、下载、删除、解/压缩、重命名、以及提供深度学习过程中数据标记的相关功能。

流程管理方面，例如，使用HPC进行材料模拟的过程包括设计和仿真两个环节，在流程的开始需要进行数据导入、建模等前处理工作，完成大规模的仿真计算后，还需要对生成数据进行后处理。在计算材料应用场景下，需要从科学数据导入、数据标记，到建模、计算、调优，直到最后的保存网络参数、利用保存的网络参数进行推理，整个流程都围绕数据在工作。平台建立了一套流程管理的引擎，以对接下一层的作业调度系统和计算材料应用，为用户提升工作效率。

超融合混合架构计算材料平台围绕为用户提供更加方便的使用方式，提供了深度学习中样本数据处理、模型建立和优化训练、基于训练完成模型的推理的一整套完整的优化解决方案，例如，让科研工作者可以无需编程，仅通过图形界面操作即可以完成整套流程。这也将大大降低非计算机行业用户使用本平台的难度。

科研工作者能够在小型的集群甚至是单机上实现第一原理的量子化学计算，各种计算软件更是数不胜数。量子化学在未来的材料科学，化学合成，生物领域及基础研究等方面都有重要的作用。量子化学理论方面包括：群论，数值积分，密度泛函，分子动力学，量子蒙特卡罗等。平台可以在众多的工具中挑选合适的科研工作者研究工作的程序并且加以应用。

超融合架构通过集成虚拟化，计算，存储以及网络等技术，不再按照三层架构的方式组合，支持小颗粒度的横向扩展。通过分布式，软件定义技术和自适应的功能提供服务。

为一种软件的交付模式，超融合混合架构计算材料平台与应用结合的模式，科研工作者无需再自己实验室的硬件上安装购买许可证软件，而是按照需求付费的模式，使用浏览器或者终端设备，通过互联网访问应用。这更加有效地保护了知识产权，降低测试和维护的复杂度，并通过多租户模式降低运营成本。超融合混合架构计算材料平台提供管理SaaS应用服务、计算材料SaaS应用服务、其他SaaS应用服务(第三方)。计算材料SaaS应用库服务，实现多租户、计费、性能和安全等云管理平台的高端应用功能，提供给最终用户敏捷、丰富的应用系统构建服务。

超融合混合架构计算材料平台的各类云资源作为管理对象，实现全服务周期的一站式服务，支持跨异构系统，进行多级云资源管理的系统，云管理平台包括云资源的调度、管理、监控、服务和运营管理。通过对基础平台资源虚拟化和应用系统的SOA服务化，实现对各类云计算的全方位管理，根据不同的用户需求，动态配置、调度各类软、硬件资源，实现用户应用环境的动态弹性扩展，满足客户的云服务需求。云管理平台为业务系统提供灵活的部署、运行与管理环境，屏蔽底层硬件、操作系统的差异，为应用提供安全、高性能、可扩展、可管理、可靠和可伸缩的全面保障，降低开发、部署、运行和维护应用系统的成本。

超融合混合架构计算材料平台通过互联网提供软件租用的模式，服务供应商将自己的服务统一部署到SaaS系统平台服务器上，科研工作者可以根据自己实际需求，通过SaaS系统平台定购所需的应用软件服务，按定购服务的约定方式支付费用。科研工作者不用再像在传统模式下那样花费大量投资用于硬件、软件的购买和维护，而改用向服务供应商间接租用软件的方式，来满足企业管理活动中的需求，并且无需对软件进行维护，因为这部分工作将由服务供应商来完成。

平台运营管理是SaaS服务与科研工作者直接交互的部分，平台用户通过用户管理模块完成科研机构注册、用户权限分配等功能，而用户管理对于这些功能的支持与实现，是在安全中心提供数据接口及安全策略的配合下完成的；同时用户管理还通过运营端服务管理来完成服务的注册、使用申请、关闭，而这些操作都会由日志管理部分记录；费用管理模块正是依靠这些记录来产生用户费用数据，平台会员和平台管理员都会使用费用管理模块来查阅用户费用；运营端服务管理调用应用服务管理模块提供的接口，实现平台运营模块和应用服务管理模块的交互。

此外，上述平台还具有安装实施简单、成本低廉、便于推广和扩大应用的优点。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种超融合混合架构计算材料系统，包括：

基础设施模块，其配置成采用弹性基础设施架构实现云主机服务、云存储服务、高性能计算服务、以及研发环境支持服务；

所述的基础设施模块中的弹性基础设施架构包括：

计算资源弹性扩展单元，其配置成采用物理资源与容器资源相结合的方式实现计算资源的快速弹性扩展；和

存储资源弹性扩展单元，其配置成将服务器存储与Lustre或GPFS并行共享文件系统相结合，将服务器存储与具备高度扩展性和数据高可用性的分布式文件系统相结合、并兼顾数据的存储以及分析任务；

数据服务模块，其配置成以数据包为粒度对数据进行管理，通过构建标注系统、规范数据标注行为提高数据生产力，屏蔽各异构存储及文件系统，以屏蔽层为依托实现各种数据任务的操作以实现对数据的管理；

平台服务模块，其配置成通过集成计算材料相关的多个HPC应用并结合数据仓库的访问以实现应用服务，通过HPC应用编排子系统和蒙特卡洛算法、以及通用算法库实现开发服务；

应用软件模块，其配置成通过配属计算材料相关的软件以实现计算作业的编译以及运算；和

用户接口模块，其配置成将业务逻辑层整合后的数据，按其数据逻辑划分为不同功能模块，通过集成式的界面和菜单将各功能统一在一起，并以Web Portal的形式提供服务。

2.根据权利要求1所述的系统，其特征在于，对于HPC，所述的数据服务模块通过已有的前处理程序产生不同颗粒度的行业数据。

3.根据权利要求1-2中任一项所述的系统，其特征在于，所述的数据服务模块中的数据任务的操作包括将文件上传或下载至不同的文件系统、将文件从某一个文件系统转换或迁移至另一个文件系统、为业务环境挂载和取消数据对象、将数据对象在不同的文件系统上进行发布及取消发布。

4.根据权利要求1所述的系统，其特征在于，所述的平台服务模块中的开发服务采用开放方式构建单元实现。

5.根据权利要求4所述的系统，其特征在于，所述的开放方式构建单元包括：

业务流节点创建子单元，其配置成按照用户的要求创建若干个应用；

链接子单元，其配置成按照用户的要求将所述若干个应用链接起来，所述的链接包括顺序链接和条件链接。

6.根据权利要求1所述的系统，其特征在于，所述的应用软件模块与SaaS系统相关联，通过软件租用的方式使用SaaS系统所提供的相关软件。