CN115543628A - 一种基于网格的计算资源整合的宇宙学在线模拟系统 - Google Patents

一种基于网格的计算资源整合的宇宙学在线模拟系统 Download PDF

Info

Publication number
CN115543628A
CN115543628A CN202211287267.4A CN202211287267A CN115543628A CN 115543628 A CN115543628 A CN 115543628A CN 202211287267 A CN202211287267 A CN 202211287267A CN 115543628 A CN115543628 A CN 115543628A
Authority
CN
China
Prior art keywords
computing
user
file
resources
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211287267.4A
Other languages
English (en)
Inventor
王武
郭雨丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Computer Network Information Center of CAS
Original Assignee
Computer Network Information Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computer Network Information Center of CAS filed Critical Computer Network Information Center of CAS
Priority to CN202211287267.4A priority Critical patent/CN115543628A/zh
Publication of CN115543628A publication Critical patent/CN115543628A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于网格的计算资源整合的宇宙学在线模拟系统，该系统包括：用户操作平台、网格中间件和分布式资源；其中，所述用户操作平台，用于对用户的个人信息进行管理，并引导用户修改并上传正确的参数配置文件，提交到网格中间件；所述网格中间件，用于将计算资源按照不同的节点、应用类型和用户权限进行分类，整合成虚拟的计算队列，帮助分发用户提交的计算任务，最大化地优化资源分配；所述分布式资源由不同计算服务器节点组成，这些计算节点预先安装了宇宙学模拟需要的开源并行数值模拟软件包，根据用户提交的配置文件和数据资源执行计算任务；在计算完成后，对计算结果进行可视化，将二进制数据文件绘制成图片。

Description

一种基于网格的计算资源整合的宇宙学在线模拟系统
技术领域
本发明属于计算宇宙学应用领域，通过网格中间件的计算资源与开源的天文模拟软件和计算宇宙学知识，实现了一种可视化的计算资源整合方案。
背景技术
N体问题指的是通过计算多个粒子在经典力学下的相互作用力，研究粒子运动规律的一类模拟问题。在宇宙学中N体数值模拟成为了帮助人们理解与认识暗物质的非线性引力聚集与星系相互作用的主要研究手段。
然而，由于天文N体模拟的计算时间步较多，对于粒子数较大的模拟，需要消耗大量计算资源和较长的运行时间，这成了宇宙学模拟的主要瓶颈。近二十年来一些基于并行计算的开源宇宙模拟软件采用MPI、OpenMP等并行模式，在并行计算机上成功实现大规模天文N体模拟。德国马普所V.Springel等开发的Gadget软件能够很好地模拟星系的碰撞合并、星系团的形成与演化、宇宙中大尺度结构以及其他天文现象，如天文领域著名的“千年模拟”，采用上百亿粒子获得精确的宇宙大尺度结构模拟结果。中科院国家天文台开发的天文模拟软件PhoToNS在国产高性能异构并行计算平台上实现了上万亿量级粒子规模的天文N体模拟。
然而，对于非计算机专业人士来说，这些并行软件从安装到应用仍存在不少的困难。首先，这些软件在做大规模宇宙模拟时需要使用成千上万的CPU核和TB/PB量级的存储才能获得理想的计算速度和精度。而对于天文领域的普通科研人员与学习人员，这样的计算资源往往难以获取；同时，这些软件没有图形化界面，必须通过命令行的方式编辑、编译、提交计算任务，对于非Linux系统的用户具有一定的难度。最后，这些软件的计算结果为二进制数据文件，需要专业辅助软件才能获取直观结果，这给普通使用者带来挑战。
一个常用的解决方案是基于B/S架构搭建一个能够整合多种计算及资源的平台，通过封装应用底层的应用参数和接口，将复杂的安装与运行流程隐去，使得用户能够以相对透明的方式选取最快的计算资源，完成自己的计算任务。
发明内容
本发明的目的在于，通过编写一种基于网格的宇宙学应用整合系统，提供从编写文档到计算结果并输出的一站式服务，使得用户能够更加便捷的对宇宙模型进行建模、修改、以及可视化地查看结果。
为实现上述目的，本发明提供了一种基于网格的计算资源整合的宇宙学在线模拟系统，该系统包括：用户操作平台、网格中间件和分布式资源；其中，
所述用户操作平台，用于对用户的个人信息进行管理，并引导用户修改并上传正确的参数配置文件，提交到网格中间件；
所述网格中间件，用于将计算资源按照不同的节点、应用类型和用户权限进行分类，整合成虚拟的计算队列，帮助分发用户提交的计算任务，最大化地优化资源分配；
所述分布式资源由不同计算服务器节点组成，这些计算节点预先安装了宇宙学模拟需要的开源并行数值模拟软件包，根据用户提交的配置文件和数据资源执行计算任务；在计算完成后，对计算结果进行可视化，将二进制数据文件绘制成图片。
本发明可用于帮助天文领域的学习和研究人员在网页上完成宇宙学的大规模模拟和计算任务。
附图说明
图1为本发明实施例提供的一种基于网格的计算资源整合的宇宙学在线模拟系统架构示意图；
图2为图1所示系统提交作业逻辑时序图示意图；
图3为图1所示系统用户提交作业界面示意图；
图4为图1所示系统作业信息返回界面示意图；
图5为图1所示系统图像转码程序流程图；
图6为图1所示系统运行结果可视化(投影)示意图；
图7为图1所示系统运行结果可视化(切片)示意图。
具体实施方式
以下结合说明书附图对本发明的具体实例进行说明：
图1为本发明实施例提供的一种基于网格的计算资源整合的宇宙学在线模拟系统架构示意图。如图1所示，本系统分为用户操作平台、网格中间件、分布式资源三个部分。其中，用户操作平台主要与用户对接，负责管理用户信息、查询可用网格队列信息、接受提交的任务等等功能。以及负责引导用户上传并调整个人的计算任务，配置合理的参数，并将对应文件上传至服务器中。
具体地，用户操作平台主要使用VUE开源框架搭建，分为前端和后端两个部分。前端主要对接用户需求，接收用户所设定好的运行参数信息(包括计算时长、计算队列核数、计算结果存储路径、计算选择的模型类型、计算开始时起始信息等)。为了使得用户更快的正确配置这些信息，系统页面提供了相应的技术文档，对参数文件的撰写提供相应的指导。除了帮助用户上传、提交计算任务外，用户操作平台还包括一整套用户信息管理系统与作业队列管理系统。根据用户信息管理系统，用户可以随时查看自己的过往提交记录，下载计算结果文件。而作业队列管理使得用户可以更加透明地查看由网格中间件整合的不同计算资源和可用的计算任务队列。
网格中间件将底层分布式的计算节点进行了整合，将位于不同地理位置的计算资源整合在了一起，自动化地对计算资源进行合并与分配，使得用户可以更加便利地访问不同节点。网格中间件部分一方面向上层的平台提供服务接口，允许用户操作平台查看队列，提交任务；另一方面调用底层不同计算节点的接口，对这些计算资源进行整合与分类，经过网格中运行的队列调度算法封装后以队列的形式展示给用户。
具体地，网格中间件部分通过提供计算接口，忽略了不同计算资源之间的异构性，将多个计算节点合并成一个统一的计算平台。服务接口提供给上层程序，通过Https协议传输数据；而作业调度系统对接底层的计算资源，自动分配最优节点计算作业并回传结果。
分布式资源则真正地部署在不同的计算节点上，包括有计算需要的硬件设备，以及软件资源和知识模型。用户提交的计算任务依照网格中运行的算法被分配至合理的计算节点上，最终在分布式资源部分得到执行，并对软件包的计算结果进行可视化，生成最终结果返回给用户。分布式资源包含多个部分，一部分是分布在全国不同地理位置的计算节点可用的计算资源，另一部分是部署在这些节点上的科学计算软件，以及所应用的宇宙学模型和结果可视化程序。用户使用时，系统会自动整合不同的节点上的宇宙学应用软件，将节点归入不同的计算队列。用户可以自由地选择队列，提交作业并获取计算结果。返回计算结果后，系统还会自动调用转码程序，方便用户查看结果的可视化效果。
具体地，分布式资源部分将完成计算任务所需要的算法与程序代码分布在不同的节点上，由网格中间件进行调用。分布式资源分为宇宙学知识模型、开源软件包、计算节点、数据文件转码程序这几部分。其中，计算节点包括有多个异构的超级计算机组成，通过网格中间件统一调度，平台目前部署了PhotoNs-2和Gadget-2两个开源的计算宇宙学软件，用户可以自行进行选择，并提交相应的配置文件。
宇宙学知识模型采用了当前广泛认可的ΛCDM模型，即冷暗物质(Cold DarkMatter)模型，Λ为宇宙学常数，是解释当前宇宙观测到的加速膨胀的暗能量项。一个包含辐射、重子物质和宇宙学常数的场方程可以表达为：
Gab＝k2Tab-Λgab
其中Tab包含了辐射，重子物质和CDM，Λ为宇宙学常数，R为标量曲率。
数据转码文件主要解决输出数据可视化的问题。宇宙学模拟软件PhotoNs-2与Gadget-2的输出结果均为粒子分布二进制数据，使用者无法直观查看计算结果。数据转码程序对常规输出结果进行绘制，将计算盒子中的粒子投影到平面上，并根据粒子密度分布进行渲染。系统还提供了切片的方法，在z轴方向取盒子尺度的1％进行切片，得到清晰的暗物质晕的局部图像。
图2为图1所示系统提交作业逻辑时序图示意图。如图2所示，使用者向用户操作平台发起登录请求，并选择所需要使用的计算软件，平台会检查其登录状态，并返回可用的服务器队列信息。由用户自行选择服务器队列(如图3所示)，并提交文件后，用户操作平台将数据上传给网格中间件，并由网格中间件选择、调度分布式资源执行这一计算任务，并将结果回传给用户(如图4所示)。
图5为图1所示系统图像转码程序流程图。如图5所示，宇宙学模拟软件计算完毕后得到天体数据计算结果，宇宙学模拟软件的输出结果均为粒子分布二进制数据，数据转码程序得到二进制数据后，首先依照其格式读入内存中，依照文件结构在内存中声明相应的数据结构，其分为报送与数据两部分。根据Gadget标准输出文件的数据报头可以得知粒子数量、盒子尺寸、物理常数等信息。依照这些信息，程序依照报头计算出输出图片文件的文件头格式，并对待输出的BMP文件报头进行设置。之后，程序依次读入Gadget输出文件中的粒子位置，并依次计算这些粒子在可视化图片中的像素位置，保存在内存中。粒子的位置信息对应其在图片中像素点的相对位置，而粒子的z轴坐标则需要在x-y平面上进行投影。通过归一化计算出其的绝对坐标后，系统将绘图信息加入缓冲队列。当所有的粒子数据读取完毕，输出文件将这些内存中的缓冲数据统一有序写入BMP文件。如果用户需要获得切片后的可视化效果，那么绘图程序仅会对切片区间内的数据进行投影。
图片的绘制结果如图6、图7所示。其中图6为投影法在x-y平面的粒子密度场分布，图7为使用切片法的可视化效果。在使用切片法绘制时，程序会在z轴上选取厚度为盒子边长1/100的切片，对切片内的粒子密度场进行渲染。
本发明实施例可以用于帮助天文领域的学习和研究人员在网页上完成宇宙学的大规模模拟和计算任务。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于网格的计算资源整合的宇宙学在线模拟系统，其特征在于，包括：用户操作平台、网格中间件和分布式资源；其中，
所述用户操作平台，用于对用户的个人信息进行管理，并引导用户修改并上传正确的参数配置文件，提交到网格中间件；
所述网格中间件，用于将计算资源按照不同的节点、应用类型和用户权限进行分类，整合成虚拟的计算队列，帮助分发用户提交的计算任务，最大化地优化资源分配；
所述分布式资源由不同计算服务器节点组成，这些计算节点预先安装了宇宙学模拟需要的开源并行数值模拟软件包，根据用户提交的配置文件和数据资源执行计算任务；在计算完成后，对计算结果进行可视化，将二进制数据文件绘制成图片。
2.根据权利要求1所述的系统，其特征在于，所述用户操作平台分为前端和后端两个部分，前端主要对接用户需求，接收用户所设定好的运行参数信息，包括计算时长、计算队列核数、计算结果存储路径、计算选择的模型类型和计算开始时起始信息。
3.根据权利要求2所述的系统，其特征在于，所述用户操作平台还包括一整套用户信息管理系统与作业队列管理系统，根据用户信息管理系统，用户随时查看自己的过往提交记录，下载计算结果文件；而队列管理使得用户更加透明地查看由网格中间件整合的不同计算资源和可用的计算任务队列。
4.根据权利要求1所述的系统，其特征在于，所述网格中间件通过提供计算接口，忽略了不同计算资源之间的异构性，将多个计算节点合并成一个统一的计算平台；服务接口提供给上层程序，通过Https协议传输数据；而作业调度系统对接底层的计算资源，自动分配最优节点计算作业并回传结果。
5.根据权利要求1所述的系统，其特征在于，所述分布式资源将完成计算任务所需要的算法与程序代码分布在不同的节点上，由网格中间件进行调用；所述分布式资源分为宇宙学知识模型、开源软件包、计算节点和数据文件转码程序；其中，计算节点包括有多个异构的超级计算机组成，通过网格中间件统一调度。
6.根据权利要求6所述的系统，其特征在于，所述宇宙学知识模型采用ΛCDM模型，Λ为宇宙学常数，是解释当前宇宙观测到的加速膨胀的暗能量项；一个包含辐射、重子物质和宇宙学常数的场方程可以表达为：
Gab＝k2Tab-Λgab
其中Tab包含了辐射，重子物质和CDM，Λ为宇宙学常数，R为标量曲率。
7.根据权利要求6所述的系统，其特征在于，所述数据转码文件主要解决输出数据可视化的问题，对常规输出结果进行绘制，将计算盒子中的粒子投影到平面上，并根据粒子密度分布进行渲染。
8.根据权利要求6所述的系统，其特征在于，所述系统还提供了切片的方法，在z轴方向取盒子尺度的1％进行切片，得到清晰的暗物质晕的局部图像。
9.根据权利要求1所述的系统，其特征在于，所述系统部署了PhotoNs-2和Gadget-2两个开源的计算宇宙学软件，用户可以自行进行选择，并提交相应的配置文件。
10.根据权利要求1所述的系统，其特征在于，所述将二进制数据文件绘制成图片步骤包括：
在得到二进制形式的输出文件后，首先依照其格式读入内存中，根据Gadget标准输出文件的数据报头可以得知粒子数量、盒子尺寸和物理常数信息，依照这些信息，程序计算出待输出的可视化图片尺寸大小，并对待输出的BMP文件报头进行设置。
CN202211287267.4A 2022-10-20 2022-10-20 一种基于网格的计算资源整合的宇宙学在线模拟系统 Pending CN115543628A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211287267.4A CN115543628A (zh) 2022-10-20 2022-10-20 一种基于网格的计算资源整合的宇宙学在线模拟系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211287267.4A CN115543628A (zh) 2022-10-20 2022-10-20 一种基于网格的计算资源整合的宇宙学在线模拟系统

Publications (1)

Publication Number Publication Date
CN115543628A true CN115543628A (zh) 2022-12-30

Family

ID=84734634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211287267.4A Pending CN115543628A (zh) 2022-10-20 2022-10-20 一种基于网格的计算资源整合的宇宙学在线模拟系统

Country Status (1)

Country Link
CN (1) CN115543628A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117240631A (zh) * 2023-11-15 2023-12-15 成都超算中心运营管理有限公司 基于消息中间件连接异构工业设备与云平台的方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117240631A (zh) * 2023-11-15 2023-12-15 成都超算中心运营管理有限公司 基于消息中间件连接异构工业设备与云平台的方法及系统

Similar Documents

Publication Publication Date Title
Deelman et al. Pegasus: A framework for mapping complex scientific workflows onto distributed systems
Agullo et al. A hybridization methodology for high-performance linear algebra software for GPUs
Craig et al. CPL6: The new extensible, high performance parallel coupler for the Community Climate System Model
US20200005155A1 (en) Scheduler and simulator for a area-efficient, reconfigurable, energy-efficient, speed-efficient neural network substrate
De Coninck et al. Dynamic auto-scaling and scheduling of deadline constrained service workloads on IaaS clouds
CN111310936A (zh) 机器学习训练的构建方法、平台、装置、设备及存储介质
Maheshwari et al. Workflow performance improvement using model-based scheduling over multiple clusters and clouds
Klusáček et al. Alea–complex job scheduling simulator
US20230118325A1 (en) Method and apparatus having a memory manager for neural networks
CN115543628A (zh) 一种基于网格的计算资源整合的宇宙学在线模拟系统
Peng et al. Cloud computing model based on MPI and OpenMP
Hluchý et al. Effective computation resilience in high performance and distributed environments
Geihs et al. Performance analysis of edge-fog-cloud architectures in the internet of things
Pop et al. A simulation model for grid scheduling analysis and optimization
Kurochkin et al. Boinc forks, issues and directions of development
Dad et al. Synthesis and feedback on the distribution and parallelization of FMI-CS-based co-simulations with the DACCOSIM platform
Reilly et al. Tutorial: parallel computing of simulation models for risk analysis
Capes et al. Dynamic scheduling of mpi-based distributed deep learning training jobs
Li Optimizing geospatial cyberinfrastructure to improve the computing capability for climate studies
Shabanov et al. Influence of Execution Time Forecast Accuracy on the Efficiency of Scheduling Jobs in a Distributed Network of Supercomputers
Hernández et al. Simulation and realistic workloads to support the meta-scheduling of scientific workflows
Smirnov et al. Fuel-cell simulator interface
Pop Heuristics analysis for distributed scheduling using MONARC simulation tool
He et al. Study on the mobile cloud framework for sociology: An empirical implementation
Xu Multi-logic interactive model of virtual reality based on digital media

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination