CN110109757B - 一种基于云计算的高性能计算方法 - Google Patents
一种基于云计算的高性能计算方法 Download PDFInfo
- Publication number
- CN110109757B CN110109757B CN201910353361.7A CN201910353361A CN110109757B CN 110109757 B CN110109757 B CN 110109757B CN 201910353361 A CN201910353361 A CN 201910353361A CN 110109757 B CN110109757 B CN 110109757B
- Authority
- CN
- China
- Prior art keywords
- data
- hpc
- computer
- connector
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000003993 interaction Effects 0.000 claims abstract description 12
- 238000013075 data extraction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 230000008676 import Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims 3
- 238000007726 management method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种基于云计算的高性能计算方法，包括如下步骤：在云计算管理系统内建立虚拟连接器，调节虚拟连接器的基本参数，计算机通过虚拟连接器连接HPC，虚拟连接器的建立步骤为在计算机内的控制面板中打开系统管理界面，在管理窗格中，展开管理界面的属性框，然后单击连接器，在任务窗格中的连接器之下，单击创建连接器，在与HPC成功连接后，在计算机内创建数据调度系统和存储系统，对计算过程中用到的参数进行调度，在计算机内建立数据交互通道，数据在计算机与HPC之间进行传递，采集计算机上各个节点的数据，将计算机的节点数据导入HPC中，进行数据综合计算。
Description
技术领域
本发明涉及计算技术领域，尤其涉及一种基于云计算的高性能计算方法。
背景技术
高性能计算在工程计算、科学研究、遗传基因以及金融风险分析中已经取得了巨大的成就。高性能计算历经几十年的发展，如今不仅是作为实验和理论以外的第三大科学研究手段，而且,可以被当作是一个国家综合国力的主要评价标准。云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
云计算采用的关键技术是虚拟化，这样可以使资源按需调度，但也势必导致一部分的性能损失，而高性能计算以计算速度为第一追求，因而在性能方面与云计算会有一定的冲突，各个超级计算中心一般都会根据业务、服务的不同将计算集群分为云计算分区和高性能计算分区，云计算分区运行云操作系统，应用于云计算服务，而高性能计算分区则运行高性能作业调度系统，应用于高性能计算服务。当高性能计算业务不忙而云计算业务比较紧张的时候，如果按照以往计算中心常规的分区划分方式，那么将会出现高性能计算资源闲置的情况。
发明内容
本发明提出了一种基于云计算的高性能计算方法，以解决上述背景技术中提出的问题。
本发明提出了一种基于云计算的高性能计算方法，包括如下步骤：
S1：在云计算管理系统内建立虚拟连接器，调节虚拟连接器的基本参数，计算机通过虚拟连接器连接HPC，虚拟连接器的建立步骤为：
（1）在计算机内的控制面板中打开系统管理界面；
（2）在管理窗格中，展开管理界面的属性框，然后单击连接器；
（3）在任务窗格中的连接器之下，单击创建连接器；
S2：在与HPC成功连接后，在计算机内创建数据调度系统和存储系统，对计算过程中用到的参数进行调度；
S3：在计算机内建立数据交互通道，数据在计算机与HPC之间进行传递；
S4：采集计算机上各个节点的数据，将计算机的节点数据导入HPC中，进行数据综合计算。
优选的,所述S1中，基本参数的调节是根据HPC内的基本数据进行调节，使虚拟连接器内的数据与HPC内的基本数据保持在可连接状态，调节虚拟连接器内的基本参数使得在连接HPC的过程中，计算机与HPC在共同工作的过程中数据传递更快，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，且虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理。
优选的, 所述S1中，虚拟连接器连接HPC的步骤为：
（1）在计算机的查询框内，输入新连接器的名称，检索到新建立的连接器，确保选中启用此连接器；
（2）在连接界面内的服务器信息区域中，输入HPC的名称；
（3）在连接界面内区域中，选择现有帐户或者单击新建；
（4）在运行方式帐户对话框内的显示名称框中，输入此运行方式帐户的名称在帐户列表中，选择需要连接的HPC名称，输入有权连接连接器的HPC的凭据，然后单击确定，在连接页上，单击测试连接，在测试连接对话框中，确保出现已成功连接到服务器，然后单击确定；
（5）对连接界面进行设置，确保设置正确，在完成页面上，确保收到已成功连接连接器的消息。
优选的, 所述S2中，数据调度系统包含数据提取模块和数据整合模块，在向数据调度系统输入特征参数后，数据提取模块快速接收特征参数，将特征参数传输至数据库内，数据整合模块对接收的特征参数进行整合，根据特征参数的某些特征，将数据分类整合存放，在需要提取数据进行节点计算时，数据提取模块将从数据库内提取特征参数进行节点计算。
优选的,所述S2中，存储系统是对输入计算机内的数据进行存储，方便计算机在计算的过程中可快速的从存储系统内提取特征参数。
优选的, 所述S3中，数据交互通道的建立步骤为：
（1）设置数据交互接口，根据计算的需要设置连接接口，包括接口连接的名称、连接方式和连接秘钥；
（2）根据接口设置的内容获取相对应的配置，HPC与计算机实现接口连接，配置包含的信息有接口请求连接的方式，和与接口相匹配的秘钥，接着对传入的参数进行验证和处理，对数据完成整理后，调用数据请求；
（3）从计算机配置文件库中读取相关配置，根据配置信息对数据请求进行验证，当请求验证成功后，将从数据库内调出符合请求的数据。
优选的,所述S4中，数据采集过程为HPC向计算机中发出节点数据采集命令，计算机在接受到数据采集命令后，计算机对采集命令进行验证，确定命令后，计算机将各个计算节点的数据进行集中，生成节点数据包。
优选的,所述S4中，数据导入过程为HPC向计算机中发出命令，计算机通过数据交互通道，将经过整合的节点传输给HPC，数据包在进入HPC后，由HPC内的数据读取模块对数据包进行读取和拆分，生成单一独立的节点数据信息。
本发明提出的一种基于云计算的高性能计算方法，有益效果在于：
1、通过虚拟连接器，将计算机和HPC相连，由计算机计算各个节点的参数，最终由HPC进行综合计算，降低了计算难度，加快了计算的速度。
2、通过数据调度系统对参数进行调度，使得计算机和HPC在工作的过程中各个模块均在进行计算，不会存在资源闲置状态。
具体实施方式
下面结合具体实施例来对本发明做进一步说明。
本发明提出了一种基于云计算的高性能计算方法，包括如下步骤：
S1：在云计算管理系统内建立虚拟连接器，用于计算机与HPC的连接，调节虚拟连接器的基本参数，基本参数的调节是根据HPC内的基本数据进行调节，使虚拟连接器内的数据与HPC内的基本数据保持在可连接状态，调节虚拟连接器内的基本参数使得在连接HPC的过程中，计算机与HPC在共同工作的过程中数据传递更快，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，且虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理，计算机通过虚拟连接器连接HPC，虚拟连接器的建立步骤为：
（1）在计算机内的控制面板中打开系统管理界面；
（2）在管理窗格中，展开管理界面的属性框，然后单击连接器；
（3）在任务窗格中的连接器之下，单击创建连接器。
虚拟连接器连接HPC的步骤为：
（1）在计算机的查询框内，输入新连接器的名称，检索到新建立的连接器，确保选中启用此连接器；
（2）在连接界面内的服务器信息区域中，输入HPC的名称；
（3）在连接界面内区域中，选择现有帐户或者单击新建；
（4）在运行方式帐户对话框内的显示名称框中，输入此运行方式帐户的名称在帐户列表中，选择需要连接的HPC名称，输入有权连接连接器的HPC的凭据，然后单击确定，在连接页上，单击测试连接，在测试连接对话框中，确保出现已成功连接到服务器，然后单击确定；
（5）对连接界面进行设置，确保设置正确，在完成页面上，确保收到已成功连接连接器的消息。
S2：在与HPC成功连接后，在计算机内创建数据调度系统和存储系统，数据调度系统是对输入的特征数据进行调度，存储系统是对输入的特征数据进行存储，数据调度系统包含数据提取模块和数据整合模块，在向数据调度系统输入特征参数后，数据提取模块快速接收特征参数，将特征参数传输至数据库内，数据整合模块对接收的特征参数进行整合，根据特征参数的某些特征，将数据分类整合存放，在需要提取数据进行节点计算时，数据提取模块将从数据库内提取特征参数进行节点计算，存储系统是对输入计算机内的数据进行存储，方便计算机在计算的过程中可快速的从存储系统内提取特征参数，对计算过程中用到的参数进行调度；
S3：在计算机内建立数据交互通道，数据在计算机与HPC之间进行传递，使得计算机和HPC可协同工作，加快数据的处理，数据交互通道的建立步骤为：
（1）设置数据交互接口，与HPC相连，根据计算的需要设置连接接口，包括接口连接的名称、连接方式和连接秘钥； （2）根据接口设置的内容获取相对应的配置，HPC与计算机实现接口连接，配置包含的信息有接口请求连接的方式，和与接口相匹配的秘钥，接着对传入的参数进行验证和处理，对数据完成整理后，调用数据请求； （3）从计算机配置文件库中读取相关配置，根据配置信息对数据请求进行验证，当请求验证成功后，将从数据库内调出符合请求的数据；
S4：采集计算机上各个节点的数据，数据采集过程为HPC向计算机中发出节点数据采集命令，计算机在接受到数据采集命令后，计算机对采集命令进行验证，确定命令后，计算机将各个计算节点的数据进行集中，生成节点数据包，将计算机的节点数据导入HPC中，进行数据综合计算，数据导入过程为HPC向计算机中发出命令，计算机通过数据交互通道，将经过整合的节点传输给HPC，数据包在进入HPC后，由HPC内的数据读取模块对数据包进行读取和拆分，生成单一独立的节点数据信息。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于云计算的高性能计算方法，其特征在于，包括以下步骤：
S1：在云计算管理系统内建立虚拟连接器，调节虚拟连接器的基本参数，计算机通过虚拟连接器连接HPC，虚拟连接器的建立步骤为：
（1）在计算机内的控制面板中打开系统管理界面；
（2）在管理窗格中，展开管理界面的属性框，然后单击连接器；
（3）在任务窗格中的连接器之下，单击创建连接器；
S2：在与HPC成功连接后，在计算机内创建数据调度系统和存储系统，对计算过程中用到的参数进行调度；
S3：在计算机内建立数据交互通道，数据在计算机与HPC之间进行传递；
S4：采集计算机上各个节点的数据，将计算机的节点数据导入HPC中，进行数据综合计算。
2.根据权利要求1所述的一种基于云计算的高性能计算方法，其特征在于,所述S1中，基本参数的调节是根据HPC内的基本数据进行调节，使虚拟连接器内的数据与HPC内的基本数据保持在可连接状态，调节虚拟连接器内的基本参数使得在连接HPC的过程中，计算机与HPC在共同工作的过程中数据传递更快，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，且虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理。
3.根据权利要求1所述的一种基于云计算的高性能计算方法，其特征在于, 所述S1中，虚拟连接器连接HPC的步骤为：
（1）在计算机的查询框内，输入新连接器的名称，检索到新建立的连接器，确保选中启用此连接器；
（2）在连接界面内的服务器信息区域中，输入HPC的名称；
（3）在连接界面内区域中，选择现有帐户或者单击新建；
（4）在运行方式帐户对话框内的显示名称框中，输入此运行方式帐户的名称在帐户列表中，选择需要连接的HPC名称，输入有权连接连接器的HPC的凭据，然后单击确定，在连接页上，单击测试连接，在测试连接对话框中，确保出现已成功连接到服务器，然后单击确定；
（5）对连接界面进行设置，确保设置正确，在完成页面上，确保收到已成功连接连接器的消息。
4.根据权利要求1所述的一种基于云计算的高性能计算方法，其特征在于,所述S2中，数据调度系统包含数据提取模块和数据整合模块，在向数据调度系统输入特征参数后，数据提取模块快速接收特征参数，将特征参数传输至数据库内，数据整合模块对接收的特征参数进行整合，根据特征参数的某些特征，将数据分类整合存放，在需要提取数据进行节点计算时，数据提取模块将从数据库内提取特征参数进行节点计算。
5.根据权利要求1所述的一种基于云计算的高性能计算方法，其特征在于,所述S2中，存储系统是对输入计算机内的数据进行存储，方便计算机在计算的过程中可快速的从存储系统内提取特征参数。
6.根据权利要求1所述的一种基于云计算的高性能计算方法，其特征在于, 所述S3中，数据交互通道的建立步骤为：
（1）设置数据交互接口，根据计算的需要设置连接接口，包括接口连接的名称、连接方式和连接秘钥； （2）根据接口设置的内容获取相对应的配置，HPC与计算机实现接口连接，配置包含的信息有接口请求连接的方式，和与接口相匹配的秘钥，接着对传入的参数进行验证和处理，对数据完成整理后，调用数据请求； （3）从计算机配置文件库中读取相关配置，根据配置信息对数据请求进行验证，当请求验证成功后，将从数据库内调出符合请求的数据。
7.根据权利要求1所述的一种基于云计算的高性能计算方法，其特征在于, 所述S4中，数据采集过程为HPC向计算机中发出节点数据采集命令，计算机在接受到数据采集命令后，计算机对采集命令进行验证，确定命令后，计算机将各个计算节点的数据进行集中，生成节点数据包。
8.根据权利要求1所述的一种基于云计算的高性能计算方法，其特征在于,所述S4中，数据导入过程为HPC向计算机中发出命令，计算机通过数据交互通道，将经过整合的节点传输给HPC，数据包在进入HPC后，由HPC内的数据读取模块对数据包进行读取和拆分，生成单一独立的节点数据信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910353361.7A CN110109757B (zh) | 2019-04-29 | 2019-04-29 | 一种基于云计算的高性能计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910353361.7A CN110109757B (zh) | 2019-04-29 | 2019-04-29 | 一种基于云计算的高性能计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110109757A CN110109757A (zh) | 2019-08-09 |
| CN110109757B true CN110109757B (zh) | 2022-11-22 |
Family
ID=67487435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910353361.7A Active CN110109757B (zh) | 2019-04-29 | 2019-04-29 | 一种基于云计算的高性能计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110109757B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110716790A (zh) * | 2019-09-12 | 2020-01-21 | 中城智慧(北京)城市规划设计研究院有限公司 | 一种高性能混合云计算平台的搭建方法 |
| CN114697329A (zh) * | 2022-03-28 | 2022-07-01 | 北京蓝耘科技股份有限公司 | 一种基于云计算移动网络资源管理的hpc云计算系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105404542A (zh) * | 2015-08-14 | 2016-03-16 | 国家超级计算深圳中心(深圳云计算中心) | 云计算系统及在其上运行高性能计算的方法 |
| CN106020969A (zh) * | 2016-05-05 | 2016-10-12 | 云神科技投资股份有限公司 | 一种高性能云计算混合计算系统及其方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8782637B2 (en) * | 2007-11-03 | 2014-07-15 | ATM Shafiqul Khalid | Mini-cloud system for enabling user subscription to cloud service in residential environment |
| US10025638B2 (en) * | 2012-07-02 | 2018-07-17 | Vmware, Inc. | Multiple-cloud-computing-facility aggregation |
-
2019
- 2019-04-29 CN CN201910353361.7A patent/CN110109757B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105404542A (zh) * | 2015-08-14 | 2016-03-16 | 国家超级计算深圳中心(深圳云计算中心) | 云计算系统及在其上运行高性能计算的方法 |
| CN106020969A (zh) * | 2016-05-05 | 2016-10-12 | 云神科技投资股份有限公司 | 一种高性能云计算混合计算系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110109757A (zh) | 2019-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109165153B (zh) | 一种高仿真证券业交易类系统的性能测试方法 | |
| CN109560996B (zh) | 物联网终端自动化测试系统及方法 | |
| CN110109757B (zh) | 一种基于云计算的高性能计算方法 | |
| CN110704484A (zh) | 一种对海量实时数据流进行处理的方法及系统 | |
| CN108885641A (zh) | 高性能查询处理和数据分析 | |
| CN111680799B (zh) | 用于处理模型参数的方法和装置 | |
| CN104598299A (zh) | 用于对每条接收数据执行聚合处理的系统和方法 | |
| CN110689223A (zh) | 一种基于rpa控制的机器人批量管理系统 | |
| CN110928732A (zh) | 服务器集群性能采样分析方法、装置及电子设备 | |
| CN111400356A (zh) | 数据查询方法、装置及设备 | |
| CN111970151A (zh) | 虚拟及容器网络的流量故障定位方法及系统 | |
| CN115237566A (zh) | 批量任务执行方法、装置、设备、介质及产品 | |
| CN105912740A (zh) | 一种基于云计算的cae分布式协同工作方法 | |
| CN111475532A (zh) | 数据处理的优化方法及装置、存储介质、终端 | |
| CN112948467B (zh) | 数据处理方法及装置、计算机设备和存储介质 | |
| CN112800140B (zh) | 一种基于区块链预言机的高可信数据获取方法 | |
| CN102541811B (zh) | 基于按需计算的分析因子的数据分析装置及方法 | |
| CN111008078A (zh) | 数据的批量处理方法、装置、设备及计算机存储介质 | |
| WO2022267395A1 (zh) | 代付请求处理方法及系统 | |
| CN112667393B (zh) | 分布式任务计算调度框架搭建的方法、装置及计算机设备 | |
| CN115169590A (zh) | 一种基于边缘计算和迁移学习的工业物联网设备参与联邦学习方法 | |
| CN112328683A (zh) | 一种支持数据库与库直接的数据传输方法、系统及存储介质 | |
| CN111866171A (zh) | 报文处理方法、装置、电子设备和介质 | |
| CN111897839A (zh) | 一种数据处理方法及系统 | |
| CN109828983A (zh) | Pg数据库处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230303 Address after: Room 227-6, Floor 2, Building 1, Incubator, Wenzhou National University Science Park, No. 50, Dongfang South Road, Ouhai Economic Development Zone, Wenzhou City, Zhejiang Province, 325000 Patentee after: Wenzhou Zhongtong Enterprise Management Co.,Ltd. Address before: 325000 Wenzhou City National University Science Park incubator, No. 38 Dongfang South Road, Ouhai District, Wenzhou, Zhejiang Patentee before: WENZHOU VOCATIONAL & TECHNICAL College Effective date of registration: 20230303 Address after: 510000, No. 106, Fengze East Road, Nansha District, Guangzhou City, Guangdong Province (self-compiled building 1) X1301-E011212 (cluster registration) (JM) Patentee after: Guangzhou Specialized Enterprise Information Technology Co.,Ltd. Address before: Room 227-6, Floor 2, Building 1, Incubator, Wenzhou National University Science Park, No. 50, Dongfang South Road, Ouhai Economic Development Zone, Wenzhou City, Zhejiang Province, 325000 Patentee before: Wenzhou Zhongtong Enterprise Management Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230918 Address after: CK199, 5th Floor, Building A3, Optics Valley Software Park, No.1 Guanshan Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430070 Patentee after: Digital Building Block Technology (Wuhan) Co.,Ltd. Address before: 510000, No. 106, Fengze East Road, Nansha District, Guangzhou City, Guangdong Province (self-compiled building 1) X1301-E011212 (cluster registration) (JM) Patentee before: Guangzhou Specialized Enterprise Information Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |