CN110991041B - 一种基于高性能计算系统的自动化多专业协同仿真方法 - Google Patents
一种基于高性能计算系统的自动化多专业协同仿真方法 Download PDFInfo
- Publication number
- CN110991041B CN110991041B CN201911220181.8A CN201911220181A CN110991041B CN 110991041 B CN110991041 B CN 110991041B CN 201911220181 A CN201911220181 A CN 201911220181A CN 110991041 B CN110991041 B CN 110991041B
- Authority
- CN
- China
- Prior art keywords
- job
- simulation
- dependent
- specialty
- storage space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004806 packaging method and process Methods 0.000 claims abstract description 5
- 230000001419 dependent effect Effects 0.000 claims description 46
- 230000004913 activation Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 238000005538 encapsulation Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本申请提供一种基于高性能计算系统的自动化多专业协同仿真方法，计算服务器及管理服务器访问相同存储空间；该方法包括：确定仿真作业提交参数；封装仿真作业；根据提交参数，存储封装的仿真作业的执行结果。本申请实现高性能系统内多专业协同仿真，不同专业设计师提交的仿真作业，根据封装仿真作业过程，实现基于时序以及数据依赖的自动协同仿真，避免了高性能仿真大量数据跨系统传输，简化了协同仿真流程，避免了同份数据由于权限的问题在系统内出现多份拷贝。同时，通过精确对文件赋予访问控制权限，保证了多专业协同中的信息安全，兼顾安全及效率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于高性能计算系统的自动化多专业协同仿真方法。
背景技术
高性能计算系统是一种整合了多种软硬件资源，并通过网络提供服务，支持大规模仿真、计算的系统。高性能系统一般由硬件、仿真软件、调度软件组成。硬件包括管理服务器、计算服务器、网络设备、存储阵列。作业调度软件是C/S架构软件，进行仿真作业与仿真资源的匹配。管理服务器部署调度软件Server程序，各计算服务器部署Client程序，所有计算服务器连接相同的存储阵列。用户通过网络进行仿真作业提交，申请一定数量的计算服务器，执行仿真任务，任务执行完毕后，仿真结果保存至存储阵列中用户指定位置。
高性能计算系统内的多专业协同仿真是指为完成特定项目，多种专业在高性能计算系统内提交计算作业，并且计算作业之间具有数据依赖或时序依赖的关系。高性能计算系统中调度程序只负责将具体计算作业申请与计算资源匹配，而数据依赖以及时序依赖等高级需求，需要设计人员根据具体调度系统设计。
一般地，高性能计算系统内，用户仿真作业获得申请的仿真资源后，计算服务器将产生相关进程，进行仿真计算。相关进程仅能访问属于该用户的数据文件，非经授权，无法读写其他用户数据，这制约了多专业协同仿真的应用。同时，存在情况，某用户仿真作业可以执行成功的前提是依赖的作业已经执行完毕或产生特定结果。
发明内容
为解决上述问题，本申请实施例提供了一种基于高性能计算系统的自动化多专业协同仿真方法，计算服务器及管理服务器访问相同存储空间；
所述方法包括：
确定仿真作业提交参数；
封装仿真作业；
根据所述提交参数，存储封装的仿真作业的执行结果。
可选地，所述计算服务器及管理服务器访问相同存储空间，包括：
计算服务器及管理服务器基于网络文件系统配置，访问相同存储空间。
可选地，所述计算服务器及管理服务器访问相同存储空间，包括：
计算服务器及管理服务器通过网络信息服务技术，以相同用户名以及访问凭据访问相同存储空间。
可选地，所述提交参数为depend_on字段以及all_uer字段；
所述depend_on字段，用于设定值为当前作业所有输入及输出数据文件添加授权访问用户；
所述depend_on字段，用于表明本作业的执行依赖于特定作业执行完毕。
可选地，所述封装仿真作业，包括：
判断仿真作业是否存在依赖作业；
如果不存在，则执行所述仿真作业；
如果存在依赖作业，则查询依赖作业的信息。
可选地，所述查询依赖作业的信息，包括：
利用调度系统的接口，查询依赖作业的信息。
可选地，所述信息为作业号和是否执行完毕；
所述查询依赖作业的信息之后，还包括：
如依赖作业的作业号大于所述仿真作业的作业号，则结束所述仿真作业；
如依赖作业的作业号不大于所述仿真作业的作业号，且依赖作业已执行完毕，则执行所述仿真作业；
如依赖作业的作业号不大于所述仿真作业的作业号，且依赖作业未执行完毕，则所述仿真作业进入H状态，等待调度系统激活。
可选地，如依赖作业的作业号大于所述仿真作业的作业号，则进行报错，且报错原因为：高性能计算系统内，任一时刻，调度系统均在接受仿真作业请求，作业依赖仅依赖已存在作业，未来的作业号未预知。
可选地，所述根据所述提交参数，存储封装的仿真作业的执行结果，包括：
封装的仿真作业执行结束后，根据所述提交参数，将封装的仿真作业的输入数据文件，仿真结果文件存储至所述相同存储空间。
可选地，所述仿真作业还具有allow_user字段；
所述封装的仿真作业执行结束后，根据所述提交参数，将封装的仿真作业的输入数据文件，仿真结果文件存储至所述相同存储空间的同时，利用操作系统接口设置输入数据文件，仿真结果文件的读写权限加入allow_user。
有益效果如下：
本申请提供的基于高性能计算系统的自动化多专业协同仿真方法，计算服务器及管理服务器访问相同存储空间；该方法包括：确定仿真作业提交参数；封装仿真作业；根据提交参数，存储封装的仿真作业的执行结果。本申请实现高性能系统内多专业协同仿真，不同专业设计师提交的仿真作业，根据封装仿真作业过程，实现基于时序以及数据依赖的自动协同仿真，避免了高性能仿真大量数据跨系统传输，简化了协同仿真流程，避免了同份数据由于权限的问题在系统内出现多份拷贝。同时，通过精确对文件赋予访问控制权限，保证了多专业协同中的信息安全，兼顾安全及效率。
附图说明
下面将参照附图描述本申请的具体实施例，其中：
图1示出了本申请一实施例提供的一种基于高性能计算系统的自动化多专业协同仿真方法的流程示意图；
图2示出了本申请一实施例提供的一种基于高性能计算系统的自动化多专业协同仿真方法的高性能计算系统内多专业协同仿真示意图；
图3示出了本申请一实施例提供的一种python程序实现流程示意图。
具体实施方式
一般地，高性能计算系统内，用户仿真作业获得申请的仿真资源后，计算服务器将产生相关进程，进行仿真计算。相关进程仅能访问属于该用户的数据文件，非经授权，无法读写其他用户数据，这制约了多专业协同仿真的应用。同时，存在情况，某用户仿真作业可以执行成功的前提是依赖的作业已经执行完毕或产生特定结果。因此，需要设计方法，在高性能计算系统内，多专业协同仿真时，不同用户仿真作业能自动获取其他用户作业执行状态及相关运算结果，进行判断后，激活作业。并使仿真任务在计算服务器激活的进程能访问相关用户的数据文件，实现基于高性能计算系统的多专业自动化协同仿真。
参见图1，本实施例提供的基于高性能计算系统的自动化多专业协同仿真方法实现流程如下：
101，设计环境。
在设计后的环境中，计算服务器及管理服务器访问相同存储空间。
具体的，计算服务器及管理服务器基于网络文件系统(Network File System，NFS)配置，访问相同存储空间。
以Linux为例，计算服务器及管理服务器通过网络信息服务(NetworkInformation Service，NIS)技术，以相同用户名以及访问凭据访问相同存储空间。
具体实现时，本步骤可以确保所有计算服务器，利用)配置所有计算服务器及管理服务器访问相同存储空间。计算服务器及管理服务器用户管理使用域管理，以Linux为例，通过NIS技术，确保通过相同用户名以及相同访问凭据可访问所有计算服务器及管理服务器。
102，作业提交参数设计
本步骤中会确定仿真作业提交参数。
其中，提交参数为空，或者，为如下的一种或多种：depend_on字段以及all_uer字段。
depend_on字段，用于设定值为当前作业所有输入及输出数据文件添加授权访问用户。
depend_on字段，用于表明本作业的执行依赖于特定作业执行完毕。
在具体实施时，本步骤在普通仿真作业提交的基础上设计提交参数，提交参数包括depend_on字段以及all_uer字段，上述两字段以web表单形式交付各专业设计人员，两字段内容由设计人员确定。allow_user字段的设定值为当前作业所有输入及输出数据文件添加授权访问用户，depend_on字段表明本作业的执行依赖于特定作业执行完毕。
103，仿真求解作业封装
本步骤中，封装仿真作业。
具体的，判断仿真作业是否存在依赖作业。如果不存在，则执行仿真作业。如果存在依赖作业，则查询依赖作业的信息。
对于查询依赖作业的信息的实现方式，可以为利用调度系统的接口，查询依赖作业的信息。
其中，信息包括但不限于：作业号和是否执行完毕。
若信息为作业号和是否执行完毕，则查询依赖作业的信息之后，还会当依赖作业的作业号大于仿真作业的作业号时，结束仿真作业。当依赖作业的作业号不大于仿真作业的作业号，且依赖作业已执行完毕时，执行仿真作业。当依赖作业的作业号不大于仿真作业的作业号，且依赖作业未执行完毕时，仿真作业进入H状态，等待调度系统激活。
当依赖作业的作业号大于仿真作业的作业号时，结束仿真作业的同时，还会进行报错，且报错原因为：高性能计算系统内，任一时刻，调度系统均在接受仿真作业请求，作业依赖仅依赖已存在作业，未来的作业号未预知。
在具体实施时，在用户仿真作业执行前，执行预处理程序。程序流程如图2所示。首先判断本作业是否存在依赖的作业，如果不存在，则开始执行，如果存在依赖的作业，则利用调度系统的接口，查询依赖作业的信息。如依赖的作业号，大于本作业号，本次仿真任务退出，报错。报错原因为高性能计算系统内，任一时刻，调度系统均在接受仿真作业请求，作业依赖仅依赖已存在作业，未来的作业号并不可预知。如依赖的作业已结束，则本次仿真作业开始执行，如依赖的作业未执行完毕，则作业进入H状态，等待调度系统激活。
104，作业结束后，结果数据写入共享存储
本步骤，根据提交参数，存储封装的仿真作业的执行结果。
如封装的仿真作业执行结束后，根据提交参数，将封装的仿真作业的输入数据文件，仿真结果文件存储至相同存储空间。
若仿真作业还具有allow_user字段，则封装的仿真作业执行结束后，根据提交参数，将封装的仿真作业的输入数据文件，仿真结果文件存储至相同存储空间的同时，利用操作系统接口设置输入数据文件，仿真结果文件的读写权限加入allow_user。
具体实施时，当仿真作业执行结束后，将所有输入数据文件、仿真结果文件写入共享存储。写入完毕后，判断本次仿真作业是否具有allow_user字段，如果具有allow_user字段，则利用操作系统接口设置所有文件的读写权限加入allow_user,以Linux操作系统为例，为实现仅为allow_user增加权限，可调用setfacl精确为文件授权。如仿真作业未有allow_user字段，则仿真作业执行完毕、退出，作业退出时，作业退出信息将发送至高性能计算系统调度程序，调度程序将激活所有依赖本次计算的作业，实现闭环。
103和104通过python程序实现的技术方案可如图3所示。
本实施例通过设计基于高性能计算系统的自动化多专业协同仿真方法，实现高性能系统内多专业协同仿真。不同专业设计师提交的仿真作业，可根据本设计中的仿真字段以及预处理程序，实现基于时序以及数据依赖的自动协同仿真。此种方法避免了高性能仿真大量数据跨系统传输，简化了协同仿真流程，避免了同份数据由于权限的问题在系统内出现多份拷贝。同时，通过精确对文件赋予访问控制权限，保证了多专业协同中的信息安全，兼顾安全及效率。
本实施例提供的方法可以使设计人员能在仿真作业存在数据依赖及时序依赖的条件下，基于高性能计算开展多专业自动化协同仿真。
有效的解决如下技术问题：
首先，通过仿真作业提交时，指定授权用户，利用操作系统shell接口，实现精确数据文件权限控制，满足其他用户作业访问本次仿真作业生成数据文件的需求。
其次，作业提交时，明确本作业执行需依赖的作业，进行仿真作业二次封装，在仿真作业执行前，利用调度软件接口查询依赖作业状态，判断数据文件状态，自动进行多专业仿真任务协同。
有益效果：
本申请提供的基于高性能计算系统的自动化多专业协同仿真方法，计算服务器及管理服务器访问相同存储空间；该方法包括：确定仿真作业提交参数；封装仿真作业；根据提交参数，存储封装的仿真作业的执行结果。本申请实现高性能系统内多专业协同仿真，不同专业设计师提交的仿真作业，根据封装仿真作业过程，实现基于时序以及数据依赖的自动协同仿真，避免了高性能仿真大量数据跨系统传输，简化了协同仿真流程，避免了同份数据由于权限的问题在系统内出现多份拷贝。同时，通过精确对文件赋予访问控制权限，保证了多专业协同中的信息安全，兼顾安全及效率。
Claims (5)
1.一种基于高性能计算系统的自动化多专业协同仿真方法，其特征在于，计算服务器及管理服务器访问相同存储空间；
所述方法包括：
确定仿真作业提交参数；
封装仿真作业；
根据所述提交参数，存储封装的仿真作业的执行结果；
所述封装仿真作业，包括：
判断仿真作业是否存在依赖作业；
如果不存在，则执行所述仿真作业；
如果存在依赖作业，则查询依赖作业的信息；
所述查询依赖作业的信息，包括：
利用调度系统的接口，查询依赖作业的信息；
所述信息为作业号和是否执行完毕；
所述查询依赖作业的信息之后，还包括：
如依赖作业的作业号大于所述仿真作业的作业号，则结束所述仿真作业；
如依赖作业的作业号不大于所述仿真作业的作业号，且依赖作业已执行完毕，则执行所述仿真作业；
如依赖作业的作业号不大于所述仿真作业的作业号，且依赖作业未执行完毕，则所述仿真作业进入H状态，等待调度系统激活；
如依赖作业的作业号大于所述仿真作业的作业号，则进行报错，且报错原因为：高性能计算系统内，任一时刻，调度系统均在接受仿真作业请求，作业依赖仅依赖已存在作业，未来的作业号未预知；
所述仿真作业还具有allow_user字段；
所述封装的仿真作业执行结束后，根据所述提交参数，将封装的仿真作业的输入数据文件，仿真结果文件存储至所述相同存储空间的同时，利用操作系统接口设置输入数据文件，仿真结果文件的读写权限加入allow_user。
2.根据权利要求1所述的方法，其特征在于，所述计算服务器及管理服务器访问相同存储空间，包括：
计算服务器及管理服务器基于网络文件系统配置，访问相同存储空间。
3.根据权利要求1所述的方法，其特征在于，所述计算服务器及管理服务器访问相同存储空间，包括：
计算服务器及管理服务器通过网络信息服务技术，以相同用户名以及访问凭据访问相同存储空间。
4.根据权利要求1所述的方法，其特征在于，所述提交参数为depend_on字段以及all_uer字段；
所述depend_on字段，用于设定值为当前作业所有输入及输出数据文件添加授权访问用户；
所述depend_on字段，用于表明本作业的执行依赖于特定作业执行完毕。
5.根据权利要求1所述的方法，其特征在于，所述根据所述提交参数，存储封装的仿真作业的执行结果，包括：
封装的仿真作业执行结束后，根据所述提交参数，将封装的仿真作业的输入数据文件，仿真结果文件存储至所述相同存储空间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911220181.8A CN110991041B (zh) | 2019-12-03 | 2019-12-03 | 一种基于高性能计算系统的自动化多专业协同仿真方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911220181.8A CN110991041B (zh) | 2019-12-03 | 2019-12-03 | 一种基于高性能计算系统的自动化多专业协同仿真方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110991041A CN110991041A (zh) | 2020-04-10 |
| CN110991041B true CN110991041B (zh) | 2024-01-26 |
Family
ID=70089538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911220181.8A Active CN110991041B (zh) | 2019-12-03 | 2019-12-03 | 一种基于高性能计算系统的自动化多专业协同仿真方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110991041B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101034362A (zh) * | 2007-02-05 | 2007-09-12 | 南京邮电大学 | 运用移动代理实现网格作业调度的方法 |
| US20080306717A1 (en) * | 2007-03-30 | 2008-12-11 | Fujitsu Limited | Cooperative simulation system |
| CN103336720A (zh) * | 2013-06-17 | 2013-10-02 | 湖南大学 | 一种基于slurm的具有数据依赖关系的作业执行方法 |
| CN107239335A (zh) * | 2017-06-09 | 2017-10-10 | 中国工商银行股份有限公司 | 分布式系统的作业调度系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7533008B2 (en) * | 2002-08-19 | 2009-05-12 | General Electric Capital Corporation | System and method for simulating a discrete event process using business system data |
-
2019
- 2019-12-03 CN CN201911220181.8A patent/CN110991041B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101034362A (zh) * | 2007-02-05 | 2007-09-12 | 南京邮电大学 | 运用移动代理实现网格作业调度的方法 |
| US20080306717A1 (en) * | 2007-03-30 | 2008-12-11 | Fujitsu Limited | Cooperative simulation system |
| CN103336720A (zh) * | 2013-06-17 | 2013-10-02 | 湖南大学 | 一种基于slurm的具有数据依赖关系的作业执行方法 |
| CN107239335A (zh) * | 2017-06-09 | 2017-10-10 | 中国工商银行股份有限公司 | 分布式系统的作业调度系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| PBS作业调度研究;杨洋 等;苏州大学学报(自然科学版);42-46 * |
| 一种新型的分布协同仿真系统—"仿真网格";李伯虎 等;系统仿真学报;第1-3节 * |
| 基于BOINC的仿真网格设计与实现;黄橙蓝 等;计算机应用与软件;第3-5节 * |
| 面向订单的瓶颈资源识别与单机成组作业调度;邹律龙 等;现代机械;91-93 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110991041A (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101700313B1 (ko) | 인스턴스 호스트 구성 | |
| US10387605B2 (en) | System and method for managing and composing verification engines | |
| US6928378B2 (en) | Stress testing at low cost through parallel execution of unit tests | |
| CN103679401A (zh) | 一种流程控制方法、服务器、客户端及系统 | |
| US20190340057A1 (en) | Methods and systems to compound alerts in a distributed computing system | |
| US20150058586A1 (en) | Guarded Memory Access in a Multi-Thread Safe System Level Modeling Simulation | |
| CN110134504A (zh) | 一种基于有限状态机的操作系统需求层形式化建模方法及装置 | |
| CN113010265A (zh) | Pod的调度方法、调度器、存储插件及系统 | |
| CN108228410A (zh) | 一种基于Event-B的多核并发系统验证方法 | |
| Ferrari et al. | Time and memory tradeoffs in the implementation of AUTOSAR components | |
| US9612863B2 (en) | Hardware device for accelerating the execution of a systemC simulation in a dynamic manner during the simulation | |
| CN103309676A (zh) | 用于海洋数值模拟ROMS的Web服务封装方法以及系统 | |
| CN110991041B (zh) | 一种基于高性能计算系统的自动化多专业协同仿真方法 | |
| US9268608B2 (en) | Automatic administration of UNIX commands | |
| Zhang et al. | SMT-based bounded model checking for OSEK/VDX applications | |
| US20190347138A1 (en) | Resource provisioning for multiple invocations to an electronic design automation application | |
| CN109669829A (zh) | 一种基于bmc的诊断调试方法、装置及服务器 | |
| CN103530091A (zh) | Cpmd的计算任务的实现方法和装置 | |
| CN106656684A (zh) | 一种网格资源可靠性监控方法及装置 | |
| Audsley et al. | Integrating unbounded software components into hard real-time systems | |
| CN105022661A (zh) | 一种多处理器系统可调度性验证方法 | |
| Anthony et al. | Techniques for developing analytic models | |
| US9697036B2 (en) | Method and apparatus for generating unique identifier for distributed computing environment | |
| Perez Tijero et al. | Multiprocessor platform for partitioned real‐time systems | |
| US20120124558A1 (en) | Scenario testing composability across multiple components |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |