CN114697329A - 一种基于云计算移动网络资源管理的hpc云计算系统 - Google Patents
一种基于云计算移动网络资源管理的hpc云计算系统 Download PDFInfo
- Publication number
- CN114697329A CN114697329A CN202210310778.7A CN202210310778A CN114697329A CN 114697329 A CN114697329 A CN 114697329A CN 202210310778 A CN202210310778 A CN 202210310778A CN 114697329 A CN114697329 A CN 114697329A
- Authority
- CN
- China
- Prior art keywords
- data
- cloud computing
- module
- hpc
- network resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于云计算移动网络资源管理的HPC云计算系统，包括云计算中心，所述云计算中心包括虚拟连接器、移动数据交互系统和资源管理器，所述云计算中心连接有终端云储存模块；所述云储存模块利用云服务器存储网络资源数据；所述虚拟连接器包括任务发布模块和虚拟连接模块，所述任务发布模块用于对移动数据交互系统接收到的任务进行发布工作。该种基于云计算移动网络资源管理的HPC云计算系统，移动数据交互系统通过虚拟连接器的虚拟连接模块，将云计算中心和HPC相连，由云计算中心计算各个节点的参数，最终由HPC进行综合计算，降低了计算难度，加快了计算的速度，保证了执行云计算任务的时间最优化，保证了云平台的可靠性。
Description
技术领域
本发明涉及HPC云计算系统技术领域，具体为一种基于云计算移动网络资源管理的HPC云计算系统。
背景技术
现有网络资源调度策略都是基于监控系统发现某台固定的虚拟机的资源不足或过剩后进行调度，没有考虑资源池的总体资源需求情况，调整思路比较局限。
同时，资源容错调度时都是假设单机失败，可是大规模云计算系统使用的资源具有高度动态性和异构性，资源环境所固有的不可靠状态，使得云计算系统出现大规模资源失败的可能性大大增加。因此我们对此做出改进，提出一种基于云计算移动网络资源管理的HPC云计算系统。
发明内容
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种基于云计算移动网络资源管理的HPC云计算系统，包括云计算中心，所述云计算中心包括虚拟连接器、移动数据交互系统和资源管理器，所述云计算中心连接有终端云储存模块；
所述云储存模块利用云服务器存储网络资源数据；
所述虚拟连接器包括任务发布模块和虚拟连接模块，所述任务发布模块用于对移动数据交互系统接收到的任务进行发布工作，所述虚拟连接模块用于连接云计算中心与HPC；
所述移动数据交互系统包括数据采集模块、数据查找模块、数据传输模块和数据转换模块。
所述资源管理器包括资源调度模块、资源整合模块和资源库。
作为本发明的一种优选技术方案，所述移动数据交互系统通过数据采集模块，采集网络资源数据，用于采集极端及上各个节点的数据，通过数据传输模块将数据传输到终端云储存模块，所述数据转换模块用于对不同数据格式的任务进行转换格式的操作，在数据转换模块中配置了不同的数据格式的映射转换，所述数据查找模块对网络资源管理数据进行查找。
作为本发明的一种优选技术方案，所述任务发布模块在将对应的任务请求发布到HPC中，所述虚拟连接模块用于建立数据交互通道，使数据能在云计算中心与HPC之间进行传递，进行数据综合计算。
作为本发明的一种优选技术方案，所述资源调度模块是通过资源调度程序调度云计算中心网络资源，获取资源库内历史数据，和调度云储存模块现有资源数据，所述资源整合模块对经过云计算中心处理的数据信息，进行适配的数据分类后压缩，按照数据分类模块分类的内容信息，发送到资源库内归档，所述资源库用于存放每个物理机的历史资源数据信息，并且对经过的记录、分类和归档的任务进行缓存。
作为本发明的一种优选技术方案，所述数据采集模块在采集数据的过程中，HPC往云计算中心中的节点数据发送采集命令，在云计算中心验证命令后，对各个节点的数据进行整合，并且生成节点数据包。
作为本发明的一种优选技术方案，所述数据包在进入HPC后经过读取和拆分，生成单个的数据信息，所述HPC中包括执行模块和处理模块。
作为本发明的一种优选技术方案，所述执行模块对于读取到的数据包进行相关参数合法性的验证，并且根据读取后的数据包，进行拆分工作，对于生成的单个数据信息批量创建所需的资源执行部署，完成集群部署任务，并且通过执行模块进行计算工作。
作为本发明的一种优选技术方案，所述处理模块是用于调整HPC内的基本数据参数，使虚拟连接模块与HPC始终保持数据可连接的状态，云计算中心与HPC在共同工作的过程中数据传递更快，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，防止基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理。
本发明的有益效果是：
1、该种基于云计算移动网络资源管理的HPC云计算系统，移动数据交互系统通过虚拟连接器的虚拟连接模块，将云计算中心和HPC相连，由云计算中心计算各个节点的参数，最终由HPC进行综合计算，降低了计算难度，加快了计算的速度，保证了执行云计算任务的时间最优化，保证了云平台的可靠性；
2、该种基于云计算移动网络资源管理的HPC云计算系统，通过移动数据交互系统，实现了云储存模块与云计算中心的数据和信息的交互目的，通过资源管理器，便于对降低传输数据的容量，有效的提高传输数据的效率，同时通过云计算系统中心中设有的移动数据分解模块，便于对移动传输的移动数据进行分解为多个资源数据进行处理，有效的提高数据分析处理的效率。
3、该种基于云计算移动网络资源管理的HPC云计算系统，通过在HPC中设计执行模块和处理模块，保障了云计算中心与HPC之间的连接状态，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，防止基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理，安全性较传统技术高，相比于基于虚拟化的高性能计算集群，性能折损小。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于云计算移动网络资源管理的HPC云计算系统的框图；
图2是本发明一种基于云计算移动网络资源管理的HPC云计算系统的云计算中心框图；
图3是本发明一种基于云计算移动网络资源管理的HPC云计算系统的HPC框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1-3所示，本发明一种基于云计算移动网络资源管理的HPC云计算系统，包括云计算中心，云计算中心包括虚拟连接器、移动数据交互系统和资源管理器，云计算中心连接有终端云储存模块；
云储存模块利用云服务器存储网络资源数据；
虚拟连接器包括任务发布模块和虚拟连接模块，任务发布模块用于对移动数据交互系统接收到的任务进行发布工作，虚拟连接模块用于连接云计算中心与HPC；
移动数据交互系统包括数据采集模块、数据查找模块、数据传输模块和数据转换模块。
资源管理器包括资源调度模块、资源整合模块和资源库。
其中，移动数据交互系统通过数据采集模块，采集网络资源数据，用于采集极端及上各个节点的数据，通过数据传输模块将数据传输到终端云储存模块，数据转换模块用于对不同数据格式的任务进行转换格式的操作，在数据转换模块中配置了不同的数据格式的映射转换，数据查找模块对网络资源管理数据进行查找。
其中，任务发布模块在将对应的任务请求发布到HPC中，虚拟连接模块用于建立数据交互通道，使数据能在云计算中心与HPC之间进行传递，进行数据综合计算。
其中，资源调度模块是通过资源调度程序调度云计算中心网络资源，获取资源库内历史数据，和调度云储存模块现有资源数据，资源整合模块对经过云计算中心处理的数据信息，进行适配的数据分类后压缩，按照数据分类模块分类的内容信息，发送到资源库内归档，资源库用于存放每个物理机的历史资源数据信息，并且对经过的记录、分类和归档的任务进行缓存。
其中，数据采集模块在采集数据的过程中，HPC往云计算中心中的节点数据发送采集命令，在云计算中心验证命令后，对各个节点的数据进行整合，并且生成节点数据包。
其中，数据包在进入HPC后经过读取和拆分，生成单个的数据信息，HPC中包括执行模块和处理模块。
其中，执行模块对于读取到的数据包进行相关参数合法性的验证，并且根据读取后的数据包，进行拆分工作，对于生成的单个数据信息批量创建所需的资源执行部署，完成集群部署任务，并且通过执行模块进行计算工作。
其中，处理模块是用于调整HPC内的基本数据参数，使虚拟连接模块与HPC始终保持数据可连接的状态，云计算中心与HPC在共同工作的过程中数据传递更快，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，防止基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理。
在HPC往云计算中心中的节点数据发送采集命令，在云计算中心验证命令后，对各个节点的数据进行整合，并且生成节点数据包移动数据交互系统通过虚拟连接器的虚拟连接模块，将云计算中心和HPC相连，由云计算中心计算各个节点的参数，最终由HPC进行综合计算，降低了计算难度，加快了计算的速度，保证了执行云计算任务的时间最优化，保证了云平台的可靠性，通过移动数据交互系统，实现了云储存模块与云计算中心的数据和信息的交互目的，通过资源管理器，便于对降低传输数据的容量，有效的提高传输数据的效率，同时通过云计算系统中心中设有的移动数据分解模块，便于对移动传输的移动数据进行分解为多个资源数据进行处理，有效的提高数据分析处理的效率，通过在HPC中设计执行模块和处理模块，保障了云计算中心与HPC之间的连接状态，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，防止基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理，安全性较传统技术高，相比于基于虚拟化的高性能计算集群，性能折损小。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于云计算移动网络资源管理的HPC云计算系统，包括云计算中心，其特征在于，所述云计算中心包括虚拟连接器、移动数据交互系统和资源管理器，所述云计算中心连接有终端云储存模块；
所述云储存模块利用云服务器存储网络资源数据；
所述虚拟连接器包括任务发布模块和虚拟连接模块，所述任务发布模块用于对移动数据交互系统接收到的任务进行发布工作，所述虚拟连接模块用于连接云计算中心与HPC；
所述移动数据交互系统包括数据采集模块、数据查找模块、数据传输模块和数据转换模块；
所述资源管理器包括资源调度模块、资源整合模块和资源库。
2.根据权利要求1所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述移动数据交互系统通过数据采集模块，采集网络资源数据，用于采集极端及上各个节点的数据，通过数据传输模块将数据传输到终端云储存模块，所述数据转换模块用于对不同数据格式的任务进行转换格式的操作，在数据转换模块中配置了不同的数据格式的映射转换，所述数据查找模块对网络资源管理数据进行查找。
3.根据权利要求1所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述任务发布模块在将对应的任务请求发布到HPC中，所述虚拟连接模块用于建立数据交互通道，使数据能在云计算中心与HPC之间进行传递，进行数据综合计算。
4.根据权利要求1所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述资源调度模块是通过资源调度程序调度云计算中心网络资源，获取资源库内历史数据，和调度云储存模块现有资源数据，所述资源整合模块对经过云计算中心处理的数据信息，进行适配的数据分类后压缩，按照数据分类模块分类的内容信息，发送到资源库内归档，所述资源库用于存放每个物理机的历史资源数据信息，并且对经过的记录、分类和归档的任务进行缓存。
5.根据权利要求1所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述数据采集模块在采集数据的过程中，HPC往云计算中心中的节点数据发送采集命令，在云计算中心验证命令后，对各个节点的数据进行整合，并且生成节点数据包。
6.根据权利要求1所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述数据包在进入HPC后经过读取和拆分，生成单个的数据信息，所述HPC中包括执行模块和处理模块。
7.根据权利要求6所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述执行模块对于读取到的数据包进行相关参数合法性的验证，并且根据读取后的数据包，进行拆分工作，对于生成的单个数据信息批量创建所需的资源执行部署，完成集群部署任务，并且通过执行模块进行计算工作。
8.根据权利要求6所述的一种基于云计算移动网络资源管理的HPC云计算系统，其特征在于，所述处理模块是用于调整HPC内的基本数据参数，使虚拟连接模块与HPC始终保持数据可连接的状态，云计算中心与HPC在共同工作的过程中数据传递更快，避免在连接过程中由于基础数据不匹配导致数据传递慢或者断开连接，虚拟连接器内的基本参数直接影响虚拟连接器的稳定性，防止基本参数的不同导致虚拟连接器在工作的过程中容易崩溃，影响HPC对数据的处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210310778.7A CN114697329A (zh) | 2022-03-28 | 2022-03-28 | 一种基于云计算移动网络资源管理的hpc云计算系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210310778.7A CN114697329A (zh) | 2022-03-28 | 2022-03-28 | 一种基于云计算移动网络资源管理的hpc云计算系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114697329A true CN114697329A (zh) | 2022-07-01 |
Family
ID=82140958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210310778.7A Pending CN114697329A (zh) | 2022-03-28 | 2022-03-28 | 一种基于云计算移动网络资源管理的hpc云计算系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114697329A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117880857A (zh) * | 2024-03-11 | 2024-04-12 | 北京蓝耘科技股份有限公司 | 基于移动网络资源管理的云计算方法、系统及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546771A (zh) * | 2011-12-27 | 2012-07-04 | 西安博构电子信息科技有限公司 | 基于特征模型的云挖掘网络舆情监测系统 |
| CN102571948A (zh) * | 2011-12-29 | 2012-07-11 | 国云科技股份有限公司 | 基于云计算的PaaS平台系统及其实现方法 |
| RU2013118640A (ru) * | 2013-04-23 | 2014-10-27 | Федеральное Государственное Автономное Образовательное Учреждение Высшего Профессионального Образования "Московский Физико-Технический Институт (Государственный Университет)" | Аппаратно-вычилистельный комплекс виртуализации и управления ресурсами в среде облачных вычислений |
| CN107295096A (zh) * | 2017-07-14 | 2017-10-24 | 中国石油大学(华东) | 一种私有云计算服务平台、管理方法及系统 |
| CN110109757A (zh) * | 2019-04-29 | 2019-08-09 | 温州职业技术学院 | 一种基于云计算的高性能计算方法 |
| CN111444020A (zh) * | 2020-03-31 | 2020-07-24 | 中国科学院计算机网络信息中心 | 一种超融合计算系统架构及融合服务平台 |
-
2022
- 2022-03-28 CN CN202210310778.7A patent/CN114697329A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546771A (zh) * | 2011-12-27 | 2012-07-04 | 西安博构电子信息科技有限公司 | 基于特征模型的云挖掘网络舆情监测系统 |
| CN102571948A (zh) * | 2011-12-29 | 2012-07-11 | 国云科技股份有限公司 | 基于云计算的PaaS平台系统及其实现方法 |
| RU2013118640A (ru) * | 2013-04-23 | 2014-10-27 | Федеральное Государственное Автономное Образовательное Учреждение Высшего Профессионального Образования "Московский Физико-Технический Институт (Государственный Университет)" | Аппаратно-вычилистельный комплекс виртуализации и управления ресурсами в среде облачных вычислений |
| CN107295096A (zh) * | 2017-07-14 | 2017-10-24 | 中国石油大学(华东) | 一种私有云计算服务平台、管理方法及系统 |
| CN110109757A (zh) * | 2019-04-29 | 2019-08-09 | 温州职业技术学院 | 一种基于云计算的高性能计算方法 |
| CN111444020A (zh) * | 2020-03-31 | 2020-07-24 | 中国科学院计算机网络信息中心 | 一种超融合计算系统架构及融合服务平台 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117880857A (zh) * | 2024-03-11 | 2024-04-12 | 北京蓝耘科技股份有限公司 | 基于移动网络资源管理的云计算方法、系统及存储介质 |
| CN117880857B (zh) * | 2024-03-11 | 2024-05-14 | 北京蓝耘科技股份有限公司 | 基于移动网络资源管理的云计算方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108769121A (zh) | 智能工业装备物联网数据采集系统及采集数据的上传方法 | |
| CN115086379B (zh) | 一种基于边缘计算及虚拟化技术的数控机床数据采集方法 | |
| CN103906087A (zh) | 升级接入点的方法、装置和系统 | |
| CN109547240B (zh) | 基于边缘计算的智能设备以及接入与设备的解析方法 | |
| CN111885150B (zh) | 一种泛在电力物联网多协议适配系统及其方法 | |
| CN111930598A (zh) | 基于区块链和大数据分析的信息处理方法及大数据平台 | |
| CN114697329A (zh) | 一种基于云计算移动网络资源管理的hpc云计算系统 | |
| CN102510403B (zh) | 用于车辆数据接收和实时分析的集群分布式系统及方法 | |
| CN105607606A (zh) | 一种基于双主板架构的数据采集装置及方法 | |
| CN112711488B (zh) | 基于微服务和消息队列的设备初始化方法和系统 | |
| CN112131023B (zh) | 应用容器引擎的消息处理系统、方法、设备及存储介质 | |
| CN102238571B (zh) | 物联网m2m业务处理的装置、系统以及方法 | |
| CN113873033B (zh) | 一种具有容错功能的智能边缘计算网关平台 | |
| CN112202896A (zh) | 边缘计算方法、框架、终端和存储介质 | |
| CN115002035A (zh) | 基于业务级别的电力数据传输拥塞规避方法 | |
| CN114422227B (zh) | 一种基于网络安全的数据采集分析系统 | |
| CN115802207A (zh) | 基于hplc通信的光伏逆变器高频数据采集系统 | |
| CN106487694A (zh) | 一种数据流处理方法和装置 | |
| CN113848834A (zh) | 一种基于边云协同的车间设备接入系统及方法 | |
| CN115442767B (zh) | 车控事件关联方法、装置及系统、介质 | |
| CN116055322B (zh) | 一种多设备协同工作方法 | |
| CN115190128B (zh) | 基于嵌入式边缘网关的算力感知与计算任务分配系统 | |
| CN214959613U (zh) | 一种负载均衡设备 | |
| CN118631822A (zh) | 数据枢纽与数据处理单元之间的信息同步方法 | |
| CN116633958A (zh) | 物联网边缘计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |