CN114697329A - 一种基于云计算移动网络资源管理的hpc云计算系统 - Google Patents
一种基于云计算移动网络资源管理的hpc云计算系统 Download PDFInfo
- Publication number
- CN114697329A CN114697329A CN202210310778.7A CN202210310778A CN114697329A CN 114697329 A CN114697329 A CN 114697329A CN 202210310778 A CN202210310778 A CN 202210310778A CN 114697329 A CN114697329 A CN 114697329A
- Authority
- CN
- China
- Prior art keywords
- data
- cloud computing
- module
- hpc
- network resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于云计算移动网络资源管理的HPC云计算系统，包括云计算中心，所述云计算中心包括虚拟连接器、移动数据交互系统和资源管理器，所述云计算中心连接有终端云储存模块；所述云储存模块利用云服务器存储网络资源数据；所述虚拟连接器包括任务发布模块和虚拟连接模块，所述任务发布模块用于对移动数据交互系统接收到的任务进行发布工作。该种基于云计算移动网络资源管理的HPC云计算系统，移动数据交互系统通过虚拟连接器的虚拟连接模块，将云计算中心和HPC相连，由云计算中心计算各个节点的参数，最终由HPC进行综合计算，降低了计算难度，加快了计算的速度，保证了执行云计算任务的时间最优化，保证了云平台的可靠性。
Description
技术领域
本发明涉及HPC云计算系统技术领域，具体为一种基于云计算移动网络资源管理的HPC云计算系统。
背景技术
现有网络资源调度策略都是基于监控系统发现某台固定的虚拟机的资源不足或过剩后进行调度，没有考虑资源池的总体资源需求情况，调整思路比较局限。
同时，资源容错调度时都是假设单机失败，可是大规模云计算系统使用的资源具有高度动态性和异构性，资源环境所固有的不可靠状态，使得云计算系统出现大规模资源失败的可能性大大增加。因此我们对此做出改进，提出一种基于云计算移动网络资源管理的HPC云计算系统。
发明内容
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种基于云计算移动网络资源管理的HPC云计算系统，包括云计算中心，所述云计算中心包括虚拟连接器、移动数据交互系统和资源管理器，所述云计算中心连接有终端云储存模块；
所述云储存模块利用云服务器存储网络资源数据；
所述虚拟连接器包括任务发布模块和虚拟连接模块，所述任务发布模块用于对移动数据交互系统接收到的任务进行发布工作，所述虚拟连接模块用于连接云计算中心与HPC；
所述移动数据交互系统包括数据采集模块、数据查找模块、数据传输模块和数据转换模块。
所述资源管理器包括资源调度模块、资源整合模块和资源库。
作为本发明的一种优选技术方案，所述移动数据交互系统通过数据采集模块，采集网络资源数据，用于采集极端及上各个节点的数据，通过数据传输模块将数据传输到终端云储存模块，所述数据转换模块用于对不同数据格式的任务进行转换格式的操作，在数据转换模块中配置了不同的数据格式的映射转换，所述数据查找模块对网络资源管理数据进行查找。
作为本发明的一种优选技术方案，所述任务发布模块在将对应的任务请求发布到HPC中，所述虚拟连接模块用于建立数据交互通道，使数据能在云计算中心与HPC之间进行传递，进行数据综合计算。
作为本发明的一种优选技术方案，所述资源调度模块是通过资源调度程序调度云计算中心网络资源，获取资源库内历史数据，和调度云储存模块现有资源数据，所述资源整合模块对经过云计算中心处理的数据信息，进行适配的数据分类后压缩，按照数据分类模块分类的内容信息，发送到资源库内归档，所述资源库用于存放每个物理机的历史资源数据信息，并且对经过的记录、分类和归档的任务进行缓存。
作为本发明的一种优选技术方案，所述数据采集模块在采集数据的过程中，HPC往云计算中心中的节点数据发送采集命令，在云计算中心验证命令后，对各个节点的数据进行整合，并且生成节点数据包。
作为本发明的一种优选技术方案，所述数据包在进入HPC后经过读取和拆分，生成单个的数据信息，所述HPC中包括执行模块和处理模块。
作为本发明的一种优选技术方案，所述执行模块对于读取到的数据包进行相关参数合法性的验证，并且根据读取后的数据包，进行拆分工作，对于生成的单个数据信息批量创建所需的资源执行部署，完成集群部署任务，并且通过执行模块进行计算工作。
作为本发明的一种优选技术方案，所述处理模块是用于调整HPC内的基本数据参数，使虚拟连接模块与HPC始终保持数据可连接的状态，云计算中心与HPC在共同工作的过程中数据传递更快，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，防止基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理。
本发明的有益效果是：
1、该种基于云计算移动网络资源管理的HPC云计算系统，移动数据交互系统通过虚拟连接器的虚拟连接模块，将云计算中心和HPC相连，由云计算中心计算各个节点的参数，最终由HPC进行综合计算，降低了计算难度，加快了计算的速度，保证了执行云计算任务的时间最优化，保证了云平台的可靠性；
2、该种基于云计算移动网络资源管理的HPC云计算系统，通过移动数据交互系统，实现了云储存模块与云计算中心的数据和信息的交互目的，通过资源管理器，便于对降低传输数据的容量，有效的提高传输数据的效率，同时通过云计算系统中心中设有的移动数据分解模块，便于对移动传输的移动数据进行分解为多个资源数据进行处理，有效的提高数据分析处理的效率。
3、该种基于云计算移动网络资源管理的HPC云计算系统，通过在HPC中设计执行模块和处理模块，保障了云计算中心与HPC之间的连接状态，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，防止基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理，安全性较传统技术高，相比于基于虚拟化的高性能计算集群，性能折损小。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于云计算移动网络资源管理的HPC云计算系统的框图；
图2是本发明一种基于云计算移动网络资源管理的HPC云计算系统的云计算中心框图；
图3是本发明一种基于云计算移动网络资源管理的HPC云计算系统的HPC框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1-3所示，本发明一种基于云计算移动网络资源管理的HPC云计算系统，包括云计算中心，云计算中心包括虚拟连接器、移动数据交互系统和资源管理器，云计算中心连接有终端云储存模块；
云储存模块利用云服务器存储网络资源数据；
虚拟连接器包括任务发布模块和虚拟连接模块，任务发布模块用于对移动数据交互系统接收到的任务进行发布工作，虚拟连接模块用于连接云计算中心与HPC；
移动数据交互系统包括数据采集模块、数据查找模块、数据传输模块和数据转换模块。
资源管理器包括资源调度模块、资源整合模块和资源库。
其中，移动数据交互系统通过数据采集模块，采集网络资源数据，用于采集极端及上各个节点的数据，通过数据传输模块将数据传输到终端云储存模块，数据转换模块用于对不同数据格式的任务进行转换格式的操作，在数据转换模块中配置了不同的数据格式的映射转换，数据查找模块对网络资源管理数据进行查找。
其中，任务发布模块在将对应的任务请求发布到HPC中，虚拟连接模块用于建立数据交互通道，使数据能在云计算中心与HPC之间进行传递，进行数据综合计算。
其中，资源调度模块是通过资源调度程序调度云计算中心网络资源，获取资源库内历史数据，和调度云储存模块现有资源数据，资源整合模块对经过云计算中心处理的数据信息，进行适配的数据分类后压缩，按照数据分类模块分类的内容信息，发送到资源库内归档，资源库用于存放每个物理机的历史资源数据信息，并且对经过的记录、分类和归档的任务进行缓存。
其中，数据采集模块在采集数据的过程中，HPC往云计算中心中的节点数据发送采集命令，在云计算中心验证命令后，对各个节点的数据进行整合，并且生成节点数据包。
其中，数据包在进入HPC后经过读取和拆分，生成单个的数据信息，HPC中包括执行模块和处理模块。
其中，执行模块对于读取到的数据包进行相关参数合法性的验证，并且根据读取后的数据包，进行拆分工作，对于生成的单个数据信息批量创建所需的资源执行部署，完成集群部署任务，并且通过执行模块进行计算工作。
其中，处理模块是用于调整HPC内的基本数据参数，使虚拟连接模块与HPC始终保持数据可连接的状态，云计算中心与HPC在共同工作的过程中数据传递更快，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，防止基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理。
在HPC往云计算中心中的节点数据发送采集命令，在云计算中心验证命令后，对各个节点的数据进行整合，并且生成节点数据包移动数据交互系统通过虚拟连接器的虚拟连接模块，将云计算中心和HPC相连，由云计算中心计算各个节点的参数，最终由HPC进行综合计算，降低了计算难度，加快了计算的速度，保证了执行云计算任务的时间最优化，保证了云平台的可靠性，通过移动数据交互系统，实现了云储存模块与云计算中心的数据和信息的交互目的，通过资源管理器，便于对降低传输数据的容量，有效的提高传输数据的效率，同时通过云计算系统中心中设有的移动数据分解模块，便于对移动传输的移动数据进行分解为多个资源数据进行处理，有效的提高数据分析处理的效率，通过在HPC中设计执行模块和处理模块，保障了云计算中心与HPC之间的连接状态，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，防止基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理，安全性较传统技术高，相比于基于虚拟化的高性能计算集群，性能折损小。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于云计算移动网络资源管理的HPC云计算系统，包括云计算中心，其特征在于，所述云计算中心包括虚拟连接器、移动数据交互系统和资源管理器，所述云计算中心连接有终端云储存模块；
所述云储存模块利用云服务器存储网络资源数据；
所述虚拟连接器包括任务发布模块和虚拟连接模块，所述任务发布模块用于对移动数据交互系统接收到的任务进行发布工作，所述虚拟连接模块用于连接云计算中心与HPC；
所述移动数据交互系统包括数据采集模块、数据查找模块、数据传输模块和数据转换模块；
所述资源管理器包括资源调度模块、资源整合模块和资源库。
2.根据权利要求1所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述移动数据交互系统通过数据采集模块，采集网络资源数据，用于采集极端及上各个节点的数据，通过数据传输模块将数据传输到终端云储存模块，所述数据转换模块用于对不同数据格式的任务进行转换格式的操作，在数据转换模块中配置了不同的数据格式的映射转换，所述数据查找模块对网络资源管理数据进行查找。
3.根据权利要求1所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述任务发布模块在将对应的任务请求发布到HPC中，所述虚拟连接模块用于建立数据交互通道，使数据能在云计算中心与HPC之间进行传递，进行数据综合计算。
4.根据权利要求1所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述资源调度模块是通过资源调度程序调度云计算中心网络资源，获取资源库内历史数据，和调度云储存模块现有资源数据，所述资源整合模块对经过云计算中心处理的数据信息，进行适配的数据分类后压缩，按照数据分类模块分类的内容信息，发送到资源库内归档，所述资源库用于存放每个物理机的历史资源数据信息，并且对经过的记录、分类和归档的任务进行缓存。
5.根据权利要求1所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述数据采集模块在采集数据的过程中，HPC往云计算中心中的节点数据发送采集命令，在云计算中心验证命令后，对各个节点的数据进行整合，并且生成节点数据包。
6.根据权利要求1所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述数据包在进入HPC后经过读取和拆分，生成单个的数据信息，所述HPC中包括执行模块和处理模块。
7.根据权利要求6所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述执行模块对于读取到的数据包进行相关参数合法性的验证，并且根据读取后的数据包，进行拆分工作，对于生成的单个数据信息批量创建所需的资源执行部署，完成集群部署任务，并且通过执行模块进行计算工作。
8.根据权利要求6所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述处理模块是用于调整HPC内的基本数据参数，使虚拟连接模块与HPC始终保持数据可连接的状态，云计算中心与HPC在共同工作的过程中数据传递更快，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，防止基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210310778.7A CN114697329A (zh) | 2022-03-28 | 2022-03-28 | 一种基于云计算移动网络资源管理的hpc云计算系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210310778.7A CN114697329A (zh) | 2022-03-28 | 2022-03-28 | 一种基于云计算移动网络资源管理的hpc云计算系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114697329A true CN114697329A (zh) | 2022-07-01 |
Family
ID=82140958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210310778.7A Pending CN114697329A (zh) | 2022-03-28 | 2022-03-28 | 一种基于云计算移动网络资源管理的hpc云计算系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114697329A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117880857A (zh) * | 2024-03-11 | 2024-04-12 | 北京蓝耘科技股份有限公司 | 基于移动网络资源管理的云计算方法、系统及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546771A (zh) * | 2011-12-27 | 2012-07-04 | 西安博构电子信息科技有限公司 | 基于特征模型的云挖掘网络舆情监测系统 |
| CN102571948A (zh) * | 2011-12-29 | 2012-07-11 | 国云科技股份有限公司 | 基于云计算的PaaS平台系统及其实现方法 |
| RU2013118640A (ru) * | 2013-04-23 | 2014-10-27 | Федеральное Государственное Автономное Образовательное Учреждение Высшего Профессионального Образования "Московский Физико-Технический Институт (Государственный Университет)" | Аппаратно-вычилистельный комплекс виртуализации и управления ресурсами в среде облачных вычислений |
| CN107295096A (zh) * | 2017-07-14 | 2017-10-24 | 中国石油大学(华东) | 一种私有云计算服务平台、管理方法及系统 |
| CN110109757A (zh) * | 2019-04-29 | 2019-08-09 | 温州职业技术学院 | 一种基于云计算的高性能计算方法 |
| CN111444020A (zh) * | 2020-03-31 | 2020-07-24 | 中国科学院计算机网络信息中心 | 一种超融合计算系统架构及融合服务平台 |
-
2022
- 2022-03-28 CN CN202210310778.7A patent/CN114697329A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546771A (zh) * | 2011-12-27 | 2012-07-04 | 西安博构电子信息科技有限公司 | 基于特征模型的云挖掘网络舆情监测系统 |
| CN102571948A (zh) * | 2011-12-29 | 2012-07-11 | 国云科技股份有限公司 | 基于云计算的PaaS平台系统及其实现方法 |
| RU2013118640A (ru) * | 2013-04-23 | 2014-10-27 | Федеральное Государственное Автономное Образовательное Учреждение Высшего Профессионального Образования "Московский Физико-Технический Институт (Государственный Университет)" | Аппаратно-вычилистельный комплекс виртуализации и управления ресурсами в среде облачных вычислений |
| CN107295096A (zh) * | 2017-07-14 | 2017-10-24 | 中国石油大学(华东) | 一种私有云计算服务平台、管理方法及系统 |
| CN110109757A (zh) * | 2019-04-29 | 2019-08-09 | 温州职业技术学院 | 一种基于云计算的高性能计算方法 |
| CN111444020A (zh) * | 2020-03-31 | 2020-07-24 | 中国科学院计算机网络信息中心 | 一种超融合计算系统架构及融合服务平台 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117880857A (zh) * | 2024-03-11 | 2024-04-12 | 北京蓝耘科技股份有限公司 | 基于移动网络资源管理的云计算方法、系统及存储介质 |
| CN117880857B (zh) * | 2024-03-11 | 2024-05-14 | 北京蓝耘科技股份有限公司 | 基于移动网络资源管理的云计算方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103761309B (zh) | 一种运营数据处理方法及系统 | |
| CN114268640B (zh) | 云边协同的工业物联网智能路由系统 | |
| CN111600936B (zh) | 一种适用于泛在电力物联网边缘终端的基于多容器的非对称处理系统 | |
| CN104410662A (zh) | 物联网并行海量数据传输中间件及其工作方法 | |
| WO2020186807A1 (zh) | 一种基于区块链技术的电力数据链接系统及方法 | |
| CN110688213B (zh) | 一种基于边缘计算的资源管理方法、系统及电子设备 | |
| CN113900794A (zh) | 一种工业数据采集平台及方法 | |
| CN110717664B (zh) | 基于移动边缘计算的面向服务生产过程的cps生产系统 | |
| CN111309488B (zh) | 无人机集群的计算资源共享方法与系统及计算机存储介质 | |
| CN113937894A (zh) | 一种基于云边协同的电力智能终端管理系统及方法 | |
| CN112688997A (zh) | 基于rpa机器人的通用数据采集、管理方法和系统 | |
| CN115865680A (zh) | 分布式的设备接入、控制和数据传输的方法及系统、装置 | |
| CN103324538B (zh) | 一种异位分散集群环境分布式并发进程的设计方法 | |
| CN114697329A (zh) | 一种基于云计算移动网络资源管理的hpc云计算系统 | |
| CN114401284A (zh) | 固定污染源治理工况实时数据采集与传输系统及方法 | |
| CN118740634A (zh) | 基于云平台的工业物联网信息服务方法、系统及存储介质 | |
| CN118227691A (zh) | 一种基于大数据的数据采集方法和系统 | |
| CN118101791A (zh) | 一种基于多协议设备接入的物联网数据处理系统 | |
| CN112714016A (zh) | 一种电力物联网大数据边缘分析方法 | |
| CN110099116B (zh) | 一种基于大数据的子网安全性评估方法 | |
| CN111107163B (zh) | 一种面向用户需求变化的微服务自适应方法及系统 | |
| CN116700985A (zh) | 模型部署方法、系统及存储介质 | |
| CN117271074A (zh) | 一种面向服务的轻量级异构计算集群系统 | |
| CN109672728A (zh) | 一种大规模分布式集群节点信息快速获取方法 | |
| CN113965608A (zh) | 一种数控设备数据收集及指令下发系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220701 |