CN113037856B - 基于公有云的计算系统、方法、计算机设备以及存储介质 - Google Patents
基于公有云的计算系统、方法、计算机设备以及存储介质 Download PDFInfo
- Publication number
- CN113037856B CN113037856B CN202110305688.4A CN202110305688A CN113037856B CN 113037856 B CN113037856 B CN 113037856B CN 202110305688 A CN202110305688 A CN 202110305688A CN 113037856 B CN113037856 B CN 113037856B
- Authority
- CN
- China
- Prior art keywords
- task
- computing
- cluster
- processor
- public cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 238000004088 simulation Methods 0.000 claims abstract description 20
- 238000012544 monitoring process Methods 0.000 claims abstract description 4
- 238000005094 computer simulation Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 8
- 238000002955 isolation Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000342 Monte Carlo simulation Methods 0.000 description 8
- 238000000329 molecular dynamics simulation Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于公有云的计算系统、方法、计算机设备以及存储介质。其中基于公有云的计算系统，包括至少一名授权用户，向计算模拟服务系统发送任务请求，并接收该任务请求的结果；计算模拟服务系统，其中包括分发器，用于将所述任务请求分发给具体任务的处理器；处理器，用于根据计算任务的大小向该计算模拟服务系统中的集群管理器申请相应规模的微集群；集群管理器，用于接收该计算模拟服务系统中的资源管理器发送的动态资源消耗并实现动态扩展；任务监测器，用于实时监测每个任务的进度并反馈给所述集群管理器及所述授权用户；资源管理器，用于将任务的资源消耗反馈给所述授权用户；以及公有云，用于部署所述微集群。
Description
技术领域
本发明涉及云计算平台领域，具体而言，涉及一种基于公有云的计算系统、方法、计算机设备以及存储介质。
背景技术
现有技术的云计算平台服务模式包括：软件即服务、平台即服务、附加服务。
软件即服务的应用完全运行在云中。软件即服务面向用户，提供稳定的在线应用软件。用户购买的是软件的使用权，而不是购买软件的所有权。用户只需使用网络接口便可访问应用软件。对于一般的用户来说，他们通常使用如同浏览器一样的简单客户端。供应商的服务器被虚拟分区以满足不同客户的应用需求。对客户来说，软件即服务的方式无须在服务器和软件上进行前期投入。对应用开发商来说，只需为大量客户维护唯一版本的应用程序。
平台即服务的含义是，一个云平台为应用的开发提供云端的服务，而不是建造自己的客户端基础设施。例如，一个新的软件即应用服务的开发者在云平台上进行研发，云平台直接的使用者是开发人员而不是普通用户，它为开发者提供了稳定的开发环境。
附加服务，每一个安装在本地的应用程序本身就可以给用户提供有用的功能，而一个应用有时候可以通过访问云中的特殊的应用服务来加强功能。因为这些服务只对特定的应用起作用，所以它们可以被看成一种附加服务。
云计算和云平台服务本身在适当场景下的确有着巨大的优势，但同时面临着许多的技术难题亟待解决。随着云计算越来越流行，越来越多新的应用场景出现，现有技术的云计算平台服务不足之处在于，首先，如何在云服务中实现满足多种科学和工程应用需求的问题，也就是要在实现高性能计算，满足不同用户的基本计算需求的基础上，最大化云计算平台的资源利用率，并使不同用户的计算资源实现完全的逻辑隔离。
发明内容
本发明的目的在于克服现有技术存在的以上问题，提供一种基于公有云的计算系统，在公有云的基础上研发一套满足多种科学和工程应用需求的高性能计算平台。
为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
一种基于公有云的计算系统，包括至少一名授权用户，向计算模拟服务系统发送任务请求，并接收该任务请求的结果；
计算模拟服务系统，其中包括分发器，用于将所述任务请求分发给具体任务的处理器；处理器，用于根据计算任务的大小向该计算模拟服务系统中的集群管理器申请相应规模的微集群；集群管理器，用于接收处理器的微集群申请、用于接收该计算模拟服务系统中的资源管理器发送的动态资源消耗并实现动态扩展；任务监测器，用于实时监测每个任务的进度并反馈给所述集群管理器及所述授权用户；资源管理器，用于将任务的资源消耗反馈给所述授权用户；以及
公有云，用于部署所述微集群。
该系统进一步包括，所述处理器是针对特定的HPC计算场景开发的模块，包括内嵌有计算执行程序的虚拟机镜像、集群优化参数以及动态扩展参数。所述处理器中的HPC计算模拟的任务类型包括蒙特卡罗模拟(monte carlo simulation,MC)、分子动力学模拟(molecular dynamics simulation,MD)、计算机辅助工程(computer aided engineering,CAE) 以及相场模拟(phase field simulation,PF)等。
作为该系统的优选实施方式，所述授权用户包含于一个注册客户中，该注册客户中包含多个所述授权用户，这些授权用户共享该注册客户账户下的计算集群，不同注册客户之间的计算资源实现完全的逻辑隔离。
一种基于公有云的计算方法，包括：
由至少一名授权用户向计算模拟服务系统发送任务请求；
所述任务请求通过所述计算模拟服务系统许可验证后，由该系统中的分发器根据任务类型分发给该系统中对应任务的处理器；
所述处理器根据计算任务的大小向该系统集群管理器申请相应规模的微集群，其中所述微集群部署在公有云上；
同时资源管理器会动态监测任务的资源消耗，并反馈给所述集群管理器，实现动态扩展；
所述资源管理器也会将任务的资源消耗并给所述授权用户；
同时任务监测器会实时监测每个任务的进度，并反馈给所述授权用户。
该方法进一步包括，所述处理器是针对特定的HPC计算场景开发的模块，包括内嵌有计算执行程序的虚拟机镜像、集群优化参数以及动态扩展参数。所述处理器中的HPC计算模拟的任务类型包括蒙特卡罗模拟(monte carlo simulation,MC)、分子动力学模拟(molecular dynamics simulation,MD)、计算机辅助工程(computer aided engineering,CAE) 以及相场模拟(phase field simulation,PF)等。
作为该方法优选的实施方式，所述授权用户包含于一个注册客户中，该注册客户中包含多个所述授权用户，这些授权用户共享该注册客户账户下的计算集群，不同注册客户之间的计算资源实现完全的逻辑隔离。
一种计算机设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述基于公有云的计算方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于公有云的计算方法。
本发明的有益效果是：
1、在公有云的基础上研发一套满足多种科学和工程应用需求的高性能计算平台。将首次推出“计算模拟即服务”(Computation/Simulation as a Service,CSaaS)这一新概念，即用户无需管理计算资源(硬件及软件) 以及计算资源的动态扩展、优化等。
2、每一位注册客户(如某一学术课题组，企业技术团队等)名下包含多名授权用户，这些授权用户共享该账户下的计算集群。不同注册客户之间的计算资源实现完全的逻辑隔离。
3、所述任务请求系统中的分发器根据任务类型分发给该系统中对应任务的处理器，处理器根据计算任务的大小向该系统集群管理器申请相应规模的微集群，所述处理器是针对特定的HPC计算场景开发的模块，包括内嵌有计算执行程序的虚拟机镜像、集群优化参数以及动态扩展参数，最大化利用系统资源。
4、资源管理器会动态监测任务的资源消耗，并反馈给所述集群管理器，实现动态扩展；资源管理器也会将任务的资源消耗并给所述授权用户；任务监测器会实时监测每个任务的进度，并反馈给所述授权用户。多个模块从多个维度向系统及用户反馈资源、进度，优化计算过程。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为基于公有云的计算系统架构。
具体实施方式
为了完全理解本发明，将参考附图描述本发明的优选实施例。可以以各种形式修改本发明的实施例，并且本发明的范围不应被解释为限于下面详细描述的实施例。提供本发明的实施例是为了使本领域技术人员能够更全面地理解本发明。因此，可以夸大附图中的元件的形状等，以便强调更清楚的解释。应注意，在附图中，相同的构件由相同的附图标记表示。此外，省略了可能由本发明的主旨不必要地模糊的已知功能和配置的详细描述。
下面将参考附图并结合实施例，来详细说明本发明。
参照图1所示，一种基于公有云的计算系统，包括至少一名授权用户，向计算模拟服务系统发送任务请求，并接收该任务请求的结果；
计算模拟服务系统，其中包括分发器，用于将所述任务请求分发给具体任务的处理器；处理器，用于根据计算任务的大小向该计算模拟服务系统中的集群管理器申请相应规模的微集群；集群管理器，用于接收处理器的微集群申请、用于接收该计算模拟服务系统中的资源管理器发送的动态资源消耗并实现动态扩展；任务监测器，用于实时监测每个任务的进度并反馈给所述集群管理器及所述授权用户；资源管理器，用于将任务的资源消耗反馈给所述授权用户；以及
公有云，用于部署所述微集群。
该系统进一步包括，所述处理器是针对特定的HPC计算场景开发的模块，包括内嵌有计算执行程序的虚拟机镜像、集群优化参数以及动态扩展参数。所述处理器中的HPC计算模拟的任务类型包括蒙特卡罗模拟(monte carlo simulation,MC)、分子动力学模拟(molecular dynamics simulation,MD)、计算机辅助工程(computer aided engineering,CAE) 以及相场模拟(phase field simulation,PF)等。
作为该系统的优选实施方式，所述授权用户包含于一个注册客户中 (如某一学术课题组，企业技术团队等)，该注册客户中包含多个所述授权用户，这些授权用户共享该注册客户账户下的计算集群，不同注册客户之间的计算资源实现完全的逻辑隔离。
用户界面主要分为任务管理、授权用户管理以及账户管理。任务管理界面包含新任务发送，已提交任务检测，以及历史任务查看。授权用户管理包括添加和删除授权用户，以及授权的HPC计算任务类型、计算量大小。账户管理主要包括集群类型的申请、当前集群的资源消耗、以及流水账单。
一种基于公有云的计算方法，包括：
由至少一名授权用户向计算模拟服务系统发送任务请求；
所述任务请求通过所述计算模拟服务系统许可验证后，由该系统中的分发器根据任务类型分发给该系统中对应任务的处理器；
所述处理器根据计算任务的大小向该系统集群管理器申请相应规模的微集群，其中所述微集群部署在公有云上；
同时资源管理器会动态监测任务的资源消耗，并反馈给所述集群管理器，实现动态扩展；
所述资源管理器也会将任务的资源消耗并给所述授权用户；
同时任务监测器会实时监测每个任务的进度，并反馈给所述授权用户。
该方法进一步包括，所述处理器是针对特定的HPC计算场景开发的模块，包括内嵌有计算执行程序的虚拟机镜像、集群优化参数以及动态扩展参数。所述处理器中的HPC计算模拟的任务类型包括蒙特卡罗模拟(monte carlo simulation,MC)、分子动力学模拟(molecular dynamics simulation,MD)、计算机辅助工程(computer aided engineering,CAE) 以及相场模拟(phase field simulation,PF)等。
作为该方法优选的实施方式，所述授权用户包含于一个注册客户 (如某一学术课题组，企业技术团队等)中，该注册客户中包含多个所述授权用户，这些授权用户共享该注册客户账户下的计算集群，不同注册客户之间的计算资源实现完全的逻辑隔离。
一种计算机设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述基于公有云的计算方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于公有云的计算方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于公有云的计算系统，其特征在于：包括至少一名授权用户，向计算模拟服务系统发送任务请求，并接收该任务请求的结果；
计算模拟服务系统，其中包括分发器，用于将所述任务请求分发给具体任务的处理器；处理器，用于根据计算任务的大小向该计算模拟服务系统中的集群管理器申请相应规模的微集群；集群管理器，用于接收处理器的微集群申请、用于接收该计算模拟服务系统中的资源管理器发送的动态资源消耗并实现动态扩展；任务监测器，用于实时监测每个任务的进度并反馈给所述集群管理器及所述授权用户；资源管理器，用于将任务的资源消耗反馈给所述授权用户；以及
公有云，用于部署所述微集群。
2.根据权利要求1所述的基于公有云的计算系统，其特征在于：所述处理器是针对特定的HPC计算场景开发的模块，包括内嵌有计算执行程序的虚拟机镜像、集群优化参数以及动态扩展参数。
3.根据权利要求1所述的基于公有云的计算系统，其特征在于：所述授权用户包含于一个注册客户中，该注册客户中包含多个所述授权用户，这些授权用户共享该注册客户账户下的计算集群，不同注册客户之间的计算资源实现完全的逻辑隔离。
4.一种基于公有云的计算方法，其特征在于，包括：
由至少一名授权用户向计算模拟服务系统发送任务请求；
所述任务请求通过所述计算模拟服务系统许可验证后，由该系统中的分发器根据任务类型分发给该系统中对应任务的处理器；
所述处理器根据计算任务的大小向该系统集群管理器申请相应规模的微集群，其中所述微集群部署在公有云上；
同时资源管理器会动态监测任务的资源消耗，并反馈给所述集群管理器，实现动态扩展；
所述资源管理器也会将任务的资源消耗反馈 给所述授权用户；
同时任务监测器会实时监测每个任务的进度，并反馈给所述授权用户。
5.根据权利要求4所述的基于公有云的计算方法，其特征在于：所述处理器是针对特定的HPC计算场景开发的模块，包括内嵌有计算执行程序的虚拟机镜像、集群优化参数以及动态扩展参数。
6.根据权利要求4所述的基于公有云的计算方法，其特征在于：所述授权用户包含于一个注册客户中，该注册客户中包含多个所述授权用户，这些授权用户共享该注册客户账户下的计算集群，不同注册客户之间的计算资源实现完全的逻辑隔离。
7.一种计算机设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求4-6中任意一项所述的基于公有云的计算方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求4-6中任意一项中所述的基于公有云的计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110305688.4A CN113037856B (zh) | 2021-03-23 | 2021-03-23 | 基于公有云的计算系统、方法、计算机设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110305688.4A CN113037856B (zh) | 2021-03-23 | 2021-03-23 | 基于公有云的计算系统、方法、计算机设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113037856A CN113037856A (zh) | 2021-06-25 |
| CN113037856B true CN113037856B (zh) | 2022-07-08 |
Family
ID=76472822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110305688.4A Expired - Fee Related CN113037856B (zh) | 2021-03-23 | 2021-03-23 | 基于公有云的计算系统、方法、计算机设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113037856B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107734035A (zh) * | 2017-10-17 | 2018-02-23 | 华南理工大学 | 一种云计算环境下的虚拟集群自动伸缩方法 |
| CN108696553A (zh) * | 2017-04-06 | 2018-10-23 | 北京算云联科科技有限公司 | 一种基于混合云的物联网控制系统 |
| CN110912773A (zh) * | 2019-11-25 | 2020-03-24 | 深圳晶泰科技有限公司 | 面向多公有云计算平台的集群监控系统及其监控方法 |
| CN110958311A (zh) * | 2019-11-27 | 2020-04-03 | 北京大学 | 一种基于yarn的共享集群弹性伸缩系统及方法 |
| CN111078404A (zh) * | 2019-12-09 | 2020-04-28 | 腾讯科技（深圳）有限公司 | 一种计算资源确定方法、装置、电子设备及介质 |
| CN111427675A (zh) * | 2020-03-20 | 2020-07-17 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置以及计算机可读存储介质 |
-
2021
- 2021-03-23 CN CN202110305688.4A patent/CN113037856B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108696553A (zh) * | 2017-04-06 | 2018-10-23 | 北京算云联科科技有限公司 | 一种基于混合云的物联网控制系统 |
| CN107734035A (zh) * | 2017-10-17 | 2018-02-23 | 华南理工大学 | 一种云计算环境下的虚拟集群自动伸缩方法 |
| CN110912773A (zh) * | 2019-11-25 | 2020-03-24 | 深圳晶泰科技有限公司 | 面向多公有云计算平台的集群监控系统及其监控方法 |
| CN110958311A (zh) * | 2019-11-27 | 2020-04-03 | 北京大学 | 一种基于yarn的共享集群弹性伸缩系统及方法 |
| CN111078404A (zh) * | 2019-12-09 | 2020-04-28 | 腾讯科技（深圳）有限公司 | 一种计算资源确定方法、装置、电子设备及介质 |
| CN111427675A (zh) * | 2020-03-20 | 2020-07-17 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置以及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113037856A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | A review on cloud computing: Design challenges in architecture and security | |
| US9351153B2 (en) | Apparatus for end-user transparent utilization of computational, storage, and network capacity of mobile devices, and associated methods | |
| US10778750B2 (en) | Server computer management system for supporting highly available virtual desktops of multiple different tenants | |
| US20150186228A1 (en) | Managing nodes in a distributed computing environment | |
| CN109189595A (zh) | 基于服务器的事件处理方法、装置、设备及介质 | |
| US11308223B2 (en) | Blockchain-based file handling | |
| CN105308553B (zh) | 动态提供存储 | |
| US20140310554A1 (en) | System and method for graph based k-redundant resiliency for it cloud | |
| CN103167003A (zh) | 云计算应用平台 | |
| CN113285804A (zh) | 虚拟机磁盘数据的加解密方法、装置、设备及存储介质 | |
| CN110661865A (zh) | 一种网络通信方法及网络通信架构 | |
| Saravanakumar et al. | An Efficient On-Demand Virtual Machine Migration in Cloud Using Common Deployment Model. | |
| KR101250881B1 (ko) | 클라우드 컴퓨팅의 블럭 스토리지 서비스의 데이터 이중화 방법 | |
| CN113037856B (zh) | 基于公有云的计算系统、方法、计算机设备以及存储介质 | |
| AU2021246978B2 (en) | Multi-level cache-mesh-system for multi-tenant serverless environments | |
| WO2021057150A1 (zh) | 端口共享方法及装置、存储介质、电子装置 | |
| Thakur et al. | Review on cloud computing: issues, services and models | |
| Zhou | Cloudftp: A case study of migrating traditional applications to the cloud | |
| Mehta et al. | Design of infrastructure as a service (IAAS) framework with report generation mechanism | |
| CN104731656B (zh) | 一种资源分配方法及装置 | |
| Miao et al. | The Design of a private cloud infrastructure based on Xen | |
| CN114465765B (zh) | 一种云桌面系统的客户端安全管理系统及方法 | |
| CN104158835A (zh) | 一种智能桌面系统服务器控制客户端的方法 | |
| Albalawi et al. | A Trend toward Virtualization and Cloud Services | |
| CN105824704A (zh) | 一种使用图形工作站的方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220708 |