CN117851023A - 一种高性能计算机群与本地资源算力的转换方法及其系统 - Google Patents
一种高性能计算机群与本地资源算力的转换方法及其系统 Download PDFInfo
- Publication number
- CN117851023A CN117851023A CN202310328104.4A CN202310328104A CN117851023A CN 117851023 A CN117851023 A CN 117851023A CN 202310328104 A CN202310328104 A CN 202310328104A CN 117851023 A CN117851023 A CN 117851023A
- Authority
- CN
- China
- Prior art keywords
- computing power
- resource
- local
- computer group
- mirror image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims abstract description 127
- 238000012545 processing Methods 0.000 claims abstract description 108
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 238000012546 transfer Methods 0.000 claims description 34
- 238000013468 resource allocation Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 238000013506 data mapping Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Power Sources (AREA)
Abstract
本申请涉及一种高性能计算机群与本地资源算力的转换方法及其系统，其方法包括实时获取待处理数据集的目标算力资源，根据所述目标算力资源调用本地资源算力对所述待处理数据集进行优先处理，得到本地资源算力调度策略，当所述目标算力资源超过所述本地资源算力时，获取所述目标算力资源与所述本地资源算力的算力资源差值，根据所述算力资源差值，调用计算机群的机群算力资源对所述待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略。本申请具有合理地调用计算机群与本地资源之间的算力，提高计算机群的数据处理速率的效果。
Description
技术领域
本发明涉及算力转换的技术领域，尤其是涉及一种高性能计算机群与本地资源算力的转换方法及其系统。
背景技术
目前，随着信息化时代的快速发展，信息处理能力出众的超级计算机应运而生，且超级计算机也普遍应用于数据中心、中大型网站、电子政务以及大型管理信息系统等对数据计算或运行能力有一定要求的场景下，对超级计算机机群的算力合理调用也提出了更高的要求。
现有的计算机群的算力使用方法通常是通过对计算机群的硬件资源的计算，来对每个用户节点进行算力分配，每个用户节点所分配到的算力资源容量与计算机群的硬件资源相适配，使计算机群的算力性能达到最优，但是，在计算机群对海量的数据样本进行分析处理时，需要调用大量的机群算力资源，当计算机群的算力资源不能合理地调用或者算力资源不足时，容易导致数据样本训练的运行速率变慢。
上述中的现有技术方案存在以下缺陷：计算机群的算力资源调用情况影响数据处理的运行速率。
发明内容
为了合理地调用计算机群与本地资源之间的算力，提高计算机群的数据处理速率，本申请提供一种高性能计算机群与本地资源算力的转换方法及其系统。
本申请的上述发明目的一是通过以下技术方案得以实现的：
提供一种高性能计算机群与本地资源算力的转换方法，所述高性能计算机群与本地资源算力的转换方法包括：
实时获取待处理数据集的目标算力资源；
根据所述目标算力资源调用本地资源算力对所述待处理数据集进行优先处理，得到本地资源算力调度策略；
当所述目标算力资源超过所述本地资源算力时，获取所述目标算力资源与所述本地资源算力的算力资源差值；
根据所述算力资源差值，调用计算机群的机群算力资源对所述待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略。
通过采用上述技术方案，由于计算机群在对海量的数据样本进行分析处理时，需要调用大量的机群算力资源，当计算机群的算力资源不能合理地调用时，容易导致计算机群数据训练的运行速率变慢，因此，通过对待处理数据集进行数据运算的算力资源需求的计算，得到待处理数据集的目标算力资源，便于根据目标算力资源动态地调用本地资源算力，根据目标算力资源调用本地资源算力对待处理数据集进行优先处理，从而有助于根据本地资源算力调度策略来减少算力资源调度的通信量，当目标算力资源的需求量超过本地资源算力时，容易引起本地资源运行速率变慢，因此获取目标算力资源和本地资源算力之间的算力资源差值，有助于根据算力资源差值来准确地调用计算机群的算力资源，并通过计算机群的机群算力资源的精准调用来对待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略，从而有助于充分地利用本地资源算力与计算机群算力，提高本地资源算力与计算机群算力之间的算力分配合理性，减少本地资源算力对超量的待处理数据集进行超负荷运载的情况，进而提高计算机群的数据处理速率。
本申请在一较佳示例中可以进一步配置为：所述根据所述算力资源差值，调用计算机群的机群算力资源对所述待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略，具体包括：
根据所述算力资源差值，在预设的存储区创建与所述算力资源差值相对应的数据调用镜像；
根据所述数据调用镜像，在预设的计算机群创建与所述数据调用镜像相适配的数据应用节点；
将所述数据应用节点与计算机群算力进行算力资源协同调度处理，得到用于在计算机群与本地资源算力之间进行协同调度的算力调度策略；
根据所述算力协同调度策略，调用本地资源算力与计算机群算力对所述待处理数据集进行算力协同转换处理，得到算力协同转换策略。
通过采用上述技术方案，通过在预设的存储区创建与算力资源差值相对应的数据调用镜像，便于根据数据调用镜像在本地资源与计算机群之间进行准确的算力调用，并根据数据调用镜像，在计算机群端创建适配的数据应用节点，以便于对待处理数据集的目标算力资源合理地分配对应的应用节点，将数据应用节点和计算机群算力进行算力资源协同调度处理，将计算机群算力精确地分配至每个数据应用节点处，得到计算机群的算力调度策略，有助于提高计算机群的机群算力调配精确度，根据算力调度策略来调用本地资源算力与计算机群算力对待处理数据集进行算力协同转换处理，从而减轻本地资源算力或计算机群算力对待处理数据集的独立运算压力，从而通过对本地资源算力与计算机群算力的协同调用，做到算力资源的合理分配，提高计算机群与本地资源算力之间的算力分配协同性。
本申请在一较佳示例中可以进一步配置为：所述根据所述算力资源差值，在预设的存储区创建与所述算力资源差值相对应的数据调用镜像，具体包括：
根据所述算力资源差值，调用本地资源预先训练得到的应用部署容器进行本地应用部署处理，得到部署容器启动指令；
根据所述部署容器启动指令，将所述应用部署容器中预设的算力部署算法部署至计算机群，得到算法部署策略；
根据所述算法部署指令，将计算机群的机群算力镜像上传至本地资源预设的存储区，得到机群算力镜像上传策略；
根据所述机群算力镜像上传策略，创建与所述算力资源差值相对应的数据调用镜像，得到本地资源的算力数据调用镜像。
通过采用上述技术方案，通过算力资源差值，来调用本地资源预设的应用部署容器，对本地资源算力进行本地应用部署处理，有助于根据部署容器指令来启动本地资源的应用部署状况，并根据部署容器启动指令来将应用部署容器中预设的算力部署算法部署至计算机群中，有助于根据算法部署策略来启动计算机群进行机群算力的调用工作，并通过将计算机群的机群算力进行上传至本地资源预设的存储区中，有助于根据机群算力镜像上传策略，将机群算力情况及时通知本地资源处，提高本地资源与计算机群之间的算力资源互通性，根据机群算力镜像上传策略，在本地资源预设存储区中创建与算力资源差值相对应的数据调用镜像，从而得到本地资源的算力数据调用镜像，便于在本地资源端协同交换计算机群的机群算力，提高本地资源与计算机群算力之间的算力调用便利性。
本申请在一较佳示例中可以进一步配置为：所述将所述数据应用节点与计算机群算力进行算力资源协同调度处理，得到用于在计算机群与本地资源算力之间进行协同调度的算力调度策略，具体包括：
根据所述数据应用节点，对计算机群的空闲算力资源进行资源分配处理，得到机群算力资源分配策略；
根据所述机群算力资源分配策略，拉取预设存储区中相适配的算力调用镜像，得到机群镜像调用数据；
将所述机群镜像调用数据与本地资源算力对应的镜像权限进行数据关联，得到关联后的机群镜像权限数据；
根据所述机群镜像权限数据，调用对应镜像权限的本地资源算力与计算机群算力进行算力资源协同调度处理，得到计算机群与本地资源算力之间的算力协同调度策略。
通过采用上述技术方案，通过本地资源的数据应用节点来对计算机群的空闲算力资源进行资源合理分配，将计算机群的空闲算力资源准确地分配至每个数据应用节点，得到机群算力资源分配策略，便于提高机群算力的分配精确性，并根据机群算力资源分配策略，在预设存储区中拉取相适配的算力调用镜像，从而得到机群镜像调用数据，有助于提高机群算力调用的便利性，并将机群镜像调用数据和本地资源算力相对应的镜像权限进行数据关联处理，得到便于对同一权限范围内的机群算力数据进行调用的机群镜像权限数据，分权限进行算力资源调度减少资源调度的遍历次数，进一步提高数据运算的效率，通过机群镜像权限数据来调用对应镜像权限的本地资源算力和计算机群算力进行算力资源的协同运行处理，从而便于充分地调用多维度的算力资源对待处理数据集进行数据运算，提高计算机群与本地资源算力之间的算力调度协同性，从而得到算力协同调度策略，有助于提高计算机群与本地资源算力之间的算力调度灵活性。
本申请在一较佳示例中可以进一步配置为：所述根据所述机群镜像权限数据，调用对应镜像权限的本地资源算力与计算机群算力进行算力资源协同调度处理，得到计算机群与本地资源算力之间的算力协同调度策略，还包括：
根据所述机群镜像权限数据，将所述待处理数据集从预设的对象存储区中调度至对应权限的镜像内部，得到数据集调用策略；
根据所述数据集调用策略，调用对应的本地资源镜像进行数据映射处理，得到本地镜像启动结果；
将计算机群的机群资源镜像与所述本地资源镜像进行镜像关联处理，得到计算机群与本地资源之间的镜像挂载关系；
根据所述镜像挂载关系，调用所述机群资源镜像从所述本地资源镜像中拉取预存储的所述待处理数据集。
通过采用上述技术方案，通过机群镜像权项数据将待处理数据集从预设的对象存储区中调度至对应权限的镜像内部，得到便于根据镜像将待处理数据集映射至对应权限的计算机群中，提高算数据调度的便利性，根据数据集调度策略来调用本地资源镜像对待处理数据集进行数据映射处理，得到本地镜像启动结果，便于启动本地镜像对本地资源算力进行算力部署，将计算机群的机群资源镜像和本地资源镜像进行镜像关联处理，得到计算机群和本地资源之间的镜像挂载关系，提高计算机群与本地资源之间的资源调度便利性，并根据镜像挂载关系来调用机群资源镜像从本地资源镜像中拉取预存储的待处理数据集，从而便于计算机群对拉取到的待处理数据集进行机群资源算力的合理调用，提高计算机群与本地资源算力之间的数据交换效率。
本申请在一较佳示例中可以进一步配置为：所述根据所述目标算力资源调用本地资源算力对所述待处理数据集进行优先处理，得到本地资源算力调度策略，具体包括：
实时获取携带有所述目标算力资源的算力资源调度指令；
根据所述算力资源调度指令，对本地资源算力的可用节点进行分配，得到本地节点分配数据；
根据所述本地节点分配数据，对本地可用节点创建对应的算力调用镜像，得到本地节点镜像数据；
对所述本地节点镜像数据进行调用权限分配处理，得到节点镜像权限数据；
根据所述节点镜像权限数据对本地资源算力进行资源调用处理，得到本地资源算力调度策略。
通过采用上述技术方案，通过携带有目标算力资源需求的算力资源调度指令的获取，来启动本地资源的算力部署容器，并根据算力资源调度指令对本地资源算力的可用节点进行动态调配，从而得到与目标算力资源相适配的本地节点分配数据，提高本地节点与目标算力资源的适配性，并对每个本地可用节点创建对应的算力调用镜像，便于通过本地节点镜像数据对每个本地可用节点进行单点算力调度，提高本地可用节点的算力调度精确性，并通过对本地节点镜像数据进行调用权限分配处理，使本地资源算力能够按调用权限进行分级别调用，进一步提高本地资源算力的调用精确程度，根据节点镜像权限数据对本地资源算力进行资源调度处理，得到按照镜像权限进行本地资源算力分配的本地资源算力调度策略，提高本地资源算力分配的有序性。
本申请在一较佳示例中可以进一步配置为：所述当所述目标算力资源超过所述本地资源算力时，获取所述目标算力资源与所述本地资源算力的算力资源差值，还包括：
根据所述算力资源差值，获取本地资源算力对所述待处理数据集的数据处理时间；
根据所述数据处理时间，判断所述本地资源算力与计算机群之间的算力资源转移状态是否满足所述目标算力资源的算力需求；
若否，则根据所述算力资源转移状态，对本地资源算力与计算机群算力进行算力转移处理，得到算力资源转移策略。
通过采用上述技术方案，通过算力资源差值来计算本地资源算力对待处理数据集进行数据运算的时间，从而得到本地资源算力的数据处理时间，有助于根据数据处理时间来计算本地资源的数据运算效率，并根据数据处理时间来判断本地资源算力与计算机群之间的算力资源转移状态是否能够满足目标算力资源的算力需求，有助于对算力资源转移状态的优良情况进行实时监控，并在算力资源转移状态不能满足目标算力资源的算力转移需求时，能够根据当前的算力资源转移状态，对本地资源算力和计算机群算力进行算力转移处理，从而便于通过本地资源算力和计算机群算力之间的合理调用来优化算力资源转移状态，进而提高计算机群与本地资源算力之间的算力转移效率。
本申请在一较佳示例中可以进一步配置为：所述根据所述算力资源差值，调用计算机群的机群算力资源对所述待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略，还包括：
根据本地资源算力调度策略，对所述机群算力资源进行原算力镜像备份处理，得到与所述本地资源算力调度进度相互同步的HPC资源等候数据；
当所述算力资源差值的工作状态处于被抢占状态时，调用所述HPC资源等候数据对所述机群算力资源进行算力资源更新处理，得到备用资源替换策略。
通过采用上述技术方案，根据本地资源算力调度策略，对机群算力资源进行原算力镜像备份处理，得到与本地资源调度进度相互同步的HPC资源等候数据，有助于通过HPC资源等候数据对本地资源数据调度情况进行同步热备份，从而减少资源调度故障或者资源被非法抢占时数据丢失的风险，并在算力资源差值的工作状态处理被抢占状态时，调用HPC资源等候数据来对机群算力资源进行算力资源更新处理，从而通过HPC资源等候数据对异常状态下的机群算力资源的及时替换，减少算力资源被抢占时的调度时延，提高算力资源调度的及时性。
本申请的上述发明目的二是通过以下技术方案得以实现的：
提供一种高性能计算机群与本地资源算力的转换系统，所述高性能计算机群与本地资源算力的转换系统包括：
目标算力资源获取模块，用于实时获取待处理数据集的目标算力资源；
本地资源算力调度模块，用于根据所述目标算力资源调用本地资源算力对所述待处理数据集进行优先处理，得到本地资源算力调度策略；
算力资源差值获取模块，用于当所述目标算力资源超过所述本地资源算力时，获取所述目标算力资源与所述本地资源算力的算力资源差值；
算力资源协同转换模块，用于根据所述算力资源差值，调用计算机群的机群算力资源对所述待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略。
通过采用上述技术方案，由于计算机群在对海量的数据样本进行分析处理时，需要调用大量的机群算力资源，当计算机群的算力资源不能合理地调用时，容易导致计算机群数据训练的运行速率变慢，因此，通过对待处理数据集进行数据运算的算力资源需求的计算，得到待处理数据集的目标算力资源，便于根据目标算力资源动态地调用本地资源算力，根据目标算力资源调用本地资源算力对待处理数据集进行优先处理，从而有助于根据本地资源算力调度策略来减少算力资源调度的通信量，当目标算力资源的需求量超过本地资源算力时，容易引起本地资源运行速率变慢，因此获取目标算力资源和本地资源算力之间的算力资源差值，有助于根据算力资源差值来准确地调用计算机群的算力资源，并通过计算机群的机群算力资源的精准调用来对待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略，从而有助于充分地利用本地资源算力与计算机群算力，提高本地资源算力与计算机群算力之间的算力分配合理性，减少本地资源算力对超量的待处理数据集进行超负荷运载的情况，进而提高计算机群的数据处理速率。
本申请的上述目的三是通过以下技术方案得以实现的：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述高性能计算机群与本地资源算力的转换方法的步骤。
本申请的上述目的四是通过以下技术方案得以实现的：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述高性能计算机群与本地资源算力的转换方法的步骤。
综上所述，本申请包括以下至少一种有益技术效果：
1、通过对待处理数据集进行数据运算的算力资源需求的计算，得到待处理数据集的目标算力资源，便于根据目标算力资源动态地调用本地资源算力，根据目标算力资源调用本地资源算力对待处理数据集进行优先处理，从而有助于根据本地资源算力调度策略来减少算力资源调度的通信量，当目标算力资源的需求量超过本地资源算力时，容易引起本地资源运行速率变慢，因此获取目标算力资源和本地资源算力之间的算力资源差值，有助于根据算力资源差值来准确地调用计算机群的算力资源，并通过计算机群的机群算力资源的精准调用来对待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略，从而有助于充分地利用本地资源算力与计算机群算力，提高本地资源算力与计算机群算力之间的算力分配合理性，减少本地资源算力对超量的待处理数据集进行超负荷运载的情况，进而提高计算机群的数据处理速率；
2、通过在预设的存储区创建与算力资源差值相对应的数据调用镜像，便于根据数据调用镜像在本地资源与计算机群之间进行准确的算力调用，并根据数据调用镜像，在计算机群端创建适配的数据应用节点，以便于对待处理数据集的目标算力资源合理地分配对应的应用节点，将数据应用节点和计算机群算力进行算力资源协同调度处理，将计算机群算力精确地分配至每个数据应用节点处，得到计算机群的算力调度策略，有助于提高计算机群的机群算力调配精确度，根据算力调度策略来调用本地资源算力与计算机群算力对待处理数据集进行算力协同转换处理，从而减轻本地资源算力或计算机群算力对待处理数据集的独立运算压力，从而通过对本地资源算力与计算机群算力的协同调用，做到算力资源的合理分配，提高计算机群与本地资源算力之间的算力分配协同性；
3、通过算力资源差值，来调用本地资源预设的应用部署容器，对本地资源算力进行本地应用部署处理，有助于根据部署容器指令来启动本地资源的应用部署状况，并根据部署容器启动指令来将应用部署容器中预设的算力部署算法部署至计算机群中，有助于根据算法部署策略来启动计算机群进行机群算力的调用工作，并通过将计算机群的机群算力进行上传至本地资源预设的存储区中，有助于根据机群算力镜像上传策略，将机群算力空闲情况及时通知本地资源处，提高本地资源与计算机群之间的算力资源互通性，根据机群算力镜像上传策略，在本地资源预设存储区中创建与算力资源差值相对应的数据调用镜像，从而得到本地资源的算力数据调用镜像，便于在本地资源端协同交换计算机群的机群算力，提高本地资源与计算机群算力之间的算力调用便利性。
附图说明
图1是本实施例一种高性能计算机群与本地资源算力的转换方法的实现流程图。
图2是本实施例高性能计算机群与本地资源算力的转换方法步骤S20的实现流程图。
图3是本实施例高性能计算机群与本地资源算力的转换方法步骤S30的另一实现流程图。
图4是本实施例高性能计算机群与本地资源算力的转换方法步骤S40的实现流程图。
图5是本实施例高性能计算机群与本地资源算力的转换方法步骤S301的实现流程图。
图6是本实施例高性能计算机群与本地资源算力的转换方法步骤S303的实现流程图。
图7是本实施例高性能计算机群与本地资源算力的转换方法步骤S504的另一实现流程图。
图8是本实施例高性能计算机群与本地资源算力的转换方法步骤S40的另一实现流程图。
图9是本实施例一种高性能计算机群与本地资源算力系统的转换的结构示意图。
图10是用于实现高性能计算机群与本地资源算力的转换方法的计算机设备内部结构示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
在一实施例中，如图1所示，本申请公开了一种高性能计算机群与本地资源算力的转换方法，具体包括如下步骤：
S10：实时获取待处理数据集的目标算力资源。
具体的，根据待处理数据集的内存大小来计算待处理数据集的数据运算所需要的带宽资源，根据运算带宽资源的需求得到待处理数据集的目标算力资源，有助于根据目标算力资源来调用本地资源算力或者计算机群算力对待处理数据集进行数据运算处理。
S20：根据目标算力资源，调用本地资源算力对待处理数据集进行优先处理，得到本地资源算力调度策略。
具体的，如图2所示，步骤S20具体包括以下步骤：
S101：实时获取携带有目标算力资源的算力资源调度指令，根据算力资源调度指令对本地资源算力的可用节点进行分配，得到本地节点分配数据。
具体的，当计算机群接收到待处理数据集时，根据待处理数据集的数据运算需求生成算力资源调度策略，以便于根据目标算力资源调度计算机群的算力资源进行数据运算工作，并根据算力资源调度指令来对本地资源算力的可用节点进行分配，从而得到用于调度本地资源算力对应的可用节点来进行数据运算的本地节点分配数据。
S102：根据本地节点分配数据，对本地可用节点创建对应的算力调用镜像，得到本地节点镜像数据。
具体的，根据本地节点分配数据，调用预设的镜像创建算法对本地可用节点创建对应的算力调用镜像，如通过Kubernetes容器编排算法将本地可用节点进行数据打包，得到与每个本地可用节点一一对应的算力调用镜像，根据算力调用镜像来将本地资源算力进行算力映射处理，提高本地资源算力的调用遍历性。
S103：对本地节点镜像数据进行调用权限分配处理，得到节点镜像权限数据。
具体的，根据待处理数据集的数据运算需求，对本地节点镜像数据进行调用权限分配，其中，调用权限包括可选择的共享权限、算力资源独享的独占权限，对于共享权限下的本地节点镜像数据可以根据实际需要进行选择性调用，对于独占权限下的本地节点镜像数据设置为GPU独享，从而得到与待处理数据集的实际需要相适配的节点镜像权限数据。
S104：根据节点镜像权限数据对本地资源算力进行资源调用处理，得到本地资源算力调度策略。
具体的，根据节点镜像权限数据，根据每个本地节点的调用权限对本地资源算力进行资源调用处理，从而将本地资源算力按权限进行算力分配将所有本地节点的本地资源算力分配情况进行汇总，从而得到本地资源算力调度策略。
S30：当目标算力资源超过本地资源算力时，获取目标算力资源与本地资源算力的算力资源差值。
具体的，将目标算力资源和本地资源算力进行算力比对，根据算力比对结果来判断本地资源算力是否能够独立处理待处理数据集的数据运算，从而根据算力比对结果来获取目标算力资源与本地资源算力之间的算力资源差值。
在一实施例中，为了优化本地资源算力和计算机群之间的算力交换转移效率，如图3所示，步骤S30还包括：
S201：根据算力资源差值，获取本地资源算力对待处理数据集的数据处理时间。
具体的，根据算力资源差值，获取本地资源算力满足待处理数据集的数据运算需求的调度时间，根据本地资源算力的调度时间来得到本地资源算力对待处理数据集的目标算力资源的数据处理时间，如把本地资源算力对目标算力资源的算力调度用时作为对应的数据处理时间。
S202：根据数据处理时间，判断本地资源算力与计算机群之间的算力资源转移状态是否满足目标算力资源的算力需求。
具体的，根据本地资源算力对待处理数据集的数据处理时间，来判断本地资源算力与计算机群之间的算力资源转移状态是否能够满足目标算力资源的算力需求，如在对海量的数据样本进行数据训练时，若算力资源不足容易造成数据运算速度变慢，通常对一个AI模型的训练需要一周以上，因此，当数据处理时间超过预设的时间阈值时，则判定本地资源算力不能满足独立进行快速数据运算的需求，因此，需要在本地资源算力与计算机群之间进行算力资源的协同调动，来提升待处理数据集的数据处理速度，并通过本地资源算力与计算机群之间的算力资源转移状态，来获取算力资源的调动是否能够支持目标算力资源的算力运算需求。
S203：若否，则根据算力资源转移状态，对本地资源算力与计算机群算力进行算力转移处理，得到算力资源转移策略。
具体的，当本地资源算力和计算机群之间的算力资源转移状态不能满足目标算力资源的算力需求时，则说明本地资源算力不足以支撑待处理数据集的数据运算需求，则根据实时的算力资源转移状态来对本地资源算力和计算机群算力进行算力转移处理，从而将待处理数据集的数据运算压力合理地分配至计算机群中，从而减轻本地资源算力的运算压力，得到算力资源转移策略。
S204：若是，则优先调用本地资源算力对待处理数据集进行数据运算处理，得到本地算力运算策略。
具体的，当本地资源算力能够满足目标算力资源的算力需求时，则优先调用本地资源算力对待处理数据集进行数据运算处理，从而减少算力资源调度的通信量，得到本地算力运算策略。
S40：根据算力资源差值，调用计算机群的机群算力资源对待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略。
具体的，如图4所示，步骤S40具体包括以下步骤：
S301：根据算力资源差值，在预设的存储区创建与算力资源差值相对应的数据调用镜像。
具体的，如图5所示，步骤S301具体包括以下步骤：
S401：根据算力资源差值，调用本地资源预先训练得到的应用部署容器进行本地应用部署处理，得到部署容器启动指令。
具体的，根据算力资源差值来调用本地资源预先训练得到的应用部署容器，如Kubernetes所部署的虚拟容器作为本地资源的应用部署容易，通过对本地资源的应用节点容器之间的独立解耦进行本地应用部署，从而得到用于启动部署容器的部署容器启动指令。
S402：根据部署容器启动指令，将应用部署容器中预设的算力部署算法部署至计算机群，得到算法部署策略。
具体的，根据部署容器启动指令，将本地资源的应用部署容器中预设的算力部署算法部署至计算机群中，如通过将本地资源算力的算力部署算法打包并存储至预设的存储区中，在计算机群通过预设的存储区的数据调用，来获取本地资源算力的算力部署算法，并部署至计算机群自身的计算机群容器中，从而得到计算机群和本地资源算力之间的算法部署策略。
S403：根据算法部署指令，将计算机群的机群算力镜像上传至本地资源预设的存储区，得到机群算力镜像上传策略。
具体的，根据算法部署指令，将计算机群的机群算力镜像通过预设的存储路径上传至本地资源预设的存储区，其中本地资源预设的存储区中存在有专门用于存储计算机群数据的大数据存储区和记录计算机群算力资源的GPUFS存储区，从而得到分类存储的机群算力镜像上传策略。
S404：根据机群算力镜像上传策略，创建与算力资源差值相对应的数据调用镜像，得到本地资源的算力数据调用镜像。
具体的，根据机群算力镜像上传策略，调用本地资源预设的部署容器算法来对本地资源算力进行打包，从而创建与算力资源差值相对应的数据调用镜像，通过本地资源算力的数据调用镜像便于资源算力能够迁移至计算机群中，得到算力资源调用更加便利的算力数据调用镜像。
S302：根据数据调用镜像，在预设的计算机群创建与数据调用镜像相适配的数据应用节点。
具体的，根据数据调用镜像，在计算机群调用预先部署好的容器部署算力来将已打包的本地资源算力映射至计算机群中，从而根据本地资源算力相对应的数据调用镜像来创建与数据调用镜像相适配的数据应用节点。
S303：将数据应用节点与计算机群算力进行算力资源协同调度处理，得到用于在计算机群与本地资源算力之间进行协同调度的算力调度策略。
具体的，如图6所示，步骤S303具体包括以下步骤：
S501：根据数据应用节点，对计算机群的空闲算力资源进行资源分配处理，得到机群算力资源分配策略。
具体的，根据计算机群的数据应用节点数量，对计算机群的空闲算力资源进行资源分配处理，如根据每个数据应用节点所需要的实际算力资源，对计算机群的机群算力资源进行针对性分配至每一个数据应用节点，从而得到与数据应用节点所需要的实际算力资源相适配的机群算力资源分配策略。
S502：根据机群算力资源分配策略，拉取预设存储区中相适配的算力调用镜像，得到机群镜像调用数据。
具体的，根据机群算力资源分配策略，从预设的存储区中拉取与每个数据应用节点相适配的算力调用镜像，并根据每个数据应用节点的调用权限，将数据应用节点与对应的算力调用镜像进行一对一关联，得到节点镜像关联关系，并根据一一对应的节点镜像关联关系生成机群镜像调用数据。
S503：将机群镜像调用数据与本地资源算力对应的镜像权限进行数据关联，得到关联后的机群镜像权限数据。
具体的，根据机群镜像调用数据，将机群镜像调用数据与本地资源算力所对应的镜像权限进行数据关联，如对于GPU独占权限下的机群镜像调用数据，与本地资源算力中对应GOU独占权限下的本地资源算力进行数据关联，减少算力资源调度过程中对不同权限范围内的镜像数据的错误调用，从而得到一一关联后的机群镜像权限数据。
S504：根据机群镜像权限数据，调用对应镜像权限的本地资源算力与计算机群算力进行算力资源协同调度处理，得到计算机群与本地资源算力之间的算力协同调度策略。
具体的，根据机群镜像权限数据，调用对应镜像权限的本地资源算力与计算机群算力进行氻资源协同运行处理，如当本地资源算力不足以独立地对待处理数据集进行数据运算时，通过对相同镜像权限下的计算机群算力的调用，来对超出本地资源算力的处理范围的待处理数据集进行数据运算，从而提高待处理数据集的整体数据运算速率，得到计算机群与本地资源算力之间的算力协同调度策略。
在一实施例中，为了提高本地资源算力和计算机群之间的镜像关联度，如图7所示，步骤S504还包括：
S601：根据机群镜像权限数据，将待处理数据集从预设的对象存储区中调度至对应权限的镜像内部，得到数据集调用策略。
具体的，根据机群镜像权限数据，将待处理数据集从预设的对象存储区中调度至对应权限的镜像内部，便于通过镜像映射将待处理数据集在计算机群与本地资源算力之间进行数据流转，降低不同应用系统之间的信息壁垒，通过待处理数据集与对应权限之间一一对应的数据映射关系，得到数据集调用策略。
S602：根据数据集调用策略，调用对应的本地资源镜像进行数据映射处理，得到本地镜像启动结果。
具体的，根据数据集调用策略，调用对应权限的本地资源镜像对待处理数据集进行数据映射处理，如通过预设的Kubernetes容器将待处理数据集进行数据打包并上传至本地资源镜像中，当本地资源镜像获取到待处理数据集后生成本地镜像启动指令，从而得到本地镜像启动结果。
S603：将计算机群的机群资源镜像与本地资源镜像进行镜像关联处理，得到计算机群与本地资源之间的镜像挂载关系。
具体的，在本地镜像启动后，将计算机群的机群资源镜像与本地资源镜像进行镜像关联处理，将同一调用权限内的机群资源镜像和本地资源镜像进行一一对应的关联，将机群资源镜像挂载于本地资源镜像的关联关系下，从而便于在本地资源算力和计算机群之间进行算力转移。
S604：根据镜像挂载关系，调用机群资源镜像从本地资源镜像中拉取预存储的待处理数据集。
具体的，根据镜像挂载关系，通过机群资源镜像与本地资源镜像之间一一对应的关联关系，调用机群资源镜像从本地资源镜像中拉取预存储的待处理数据集，从而将待处理数据集映射至机群资源镜像中，便于调用计算机群算力对待处理数据集进行数据运算算力分担。
S304：根据算力协同调度策略，调用本地资源算力与计算机群算力对待处理数据集进行算力协同转换处理，得到算力协同转换策略。
具体的，根据算力协同调度策略调用本地资源算力与计算机群算力，对待处理数据集进行算力协同转换处理，如根据算力协同调度策略，在本地资源算力不能满足待处理数据集的数据运算需求时，及时地调用计算机群算力分担本地资源算力的运算压力，或者在计算机群的算力不足时，能够及时将本地资源算力转换至计算机群中，从而得到算力协同转换策略，便于对本地资源算力和计算机群之间的算力充分调用。
在一实施例中，为了减少机群算力资源被非法抢占时对算力资源调度所带来的数据丢失风险，如图8所示，步骤S40还包括以下步骤：
S701：根据本地资源算力调度策略，对机群算力资源进行原算力镜像备份处理，得到与本地资源算力调度进度相互同步的HPC资源等候数据。
具体的，根据本地资源算力调度策略，对机群算力资源进行原算力镜像备份处理，如通过预设的热备服务器将机群算力资源镜像至预设的HPC资源等候区中，并根据镜像备份的时间来顺序地对备份的机群算力资源进行存储，从而得到与本地资源算力调度进度相互同步的HPC资源等候数据。
S702：当算力资源差值的工作状态处于被抢占状态时，调用HPC资源等候数据对机群算力资源进行算力资源更新处理，得到备用资源替换策略。
具体的，根据计算算力资源的算力资源调度情况来判断资源调度过程中是否出现异常，并在算力资源算力资源所对应的算力资源被抢占时，能够及时调用热备的HPC资源等待数据对机群算力资源进行算力更新，通过备用的HPC资源等待数据对本地算力资源调度进行处理，从而得到备用资源替换策略。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种高性能计算机群与本地资源算力的转换系统，该高性能计算机群与本地资源算力的转换系统与上述实施例中高性能计算机群与本地资源算力的转换方法一一对应。如图9所示，该高性能计算机群与本地资源算力的转换系统包括目标算力资源获取模块、本地资源算力调度模块、算力资源差值获取模块和算力资源协同转换模块。各功能模块详细说明如下：
目标算力资源获取模块，用于实时获取待处理数据集的目标算力资源。
本地资源算力调度模块，用于根据目标算力资源，调用本地资源算力对待处理数据集进行优先处理，得到本地资源算力调度策略。
算力资源差值获取模块，用于当目标算力资源超过本地资源算力时，获取目标算力资源与本地资源算力的算力资源差值。
算力资源协同转换模块，用于根据算力资源差值，调用计算机群的机群算力资源对待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略。
优选的，算力资源协同转换模块具体包括：
数据调用镜像创建子模块，用于根据算力资源差值，在预设的存储区创建与算力资源差值相对应的数据调用镜像。
数据应用节点创建子模块，用于根据数据调用镜像，在预设的计算机群创建与数据调用镜像相适配的数据应用节点。
资源协同调度子模块，用于将数据应用节点与计算机群算力进行算力资源协同调度处理，得到用于在计算机群与本地资源算力之间进行协同调度的算力调度策略。
算力协同转换子模块，用于根据算力协同调度策略，调用本地资源算力与计算机群算力对待处理数据集进行算力协同转换处理，得到算力协同转换策略。
优选的，数据调用镜像创建子模块，具体包括：
部署容器启动单元，用于根据算力资源差值，调用本地资源预先训练得到的应用部署容器进行本地应用部署处理，得到部署容器启动指令。
部署算法部署单元，用于根据部署容器启动指令，将应用部署容器中预设的算力部署算法部署至计算机群，得到算法部署策略。
机群算力镜像上传单元，用于根据算法部署指令，将计算机群的机群算力镜像上传至本地资源预设的存储区，得到机群算力镜像上传策略。
算力数据调用镜像创建单元，用于根据机群算力镜像上传策略，创建与算力资源差值相对应的数据调用镜像，得到本地资源的算力数据调用镜像。
优选的，资源协同调度子模块具体包括：
算力资源分配单元，用于根据数据应用节点，对计算机群的空闲算力资源进行资源分配处理，得到机群算力资源分配策略。
机群镜像调用单元，用于根据机群算力资源分配策略，拉取预设存储区中相适配的算力调用镜像，得到机群镜像调用数据。
镜像关联单元，用于将机群镜像调用数据与本地资源算力对应的镜像权限进行数据关联，得到关联后的机群镜像权限数据。
算力协同调度单元，用于根据机群镜像权限数据，调用对应镜像权限的本地资源算力与计算机群算力进行算力资源协同调度处理，得到计算机群与本地资源算力之间的算力协同调度策略。
优选的，算力协同调度单元还包括：
数据集调用子单元，用于根据机群镜像权限数据，将待处理数据集从预设的对象存储区中调度至对应权限的镜像内部，得到数据集调用策略。
数据映射子单元，用于根据数据集调用策略，调用对应的本地资源镜像进行数据映射处理，得到本地镜像启动结果。
镜像关联子单元，用于将计算机群的机群资源镜像与本地资源镜像进行镜像关联处理，得到计算机群与本地资源之间的镜像挂载关系。
数据集拉取子单元，用于根据镜像挂载关系，调用机群资源镜像从本地资源镜像中拉取预存储的待处理数据集。
优选的，本地资源算力调度模块具体包括：
本地节点分配子模块，用于实时获取携带有目标算力资源的算力资源调度指令，根据算力资源调度指令对本地资源算力的可用节点进行分配，得到本地节点分配数据。
本地节点镜像子模块，用于根据本地节点分配数据，对本地可用节点创建对应的算力调用镜像，得到本地节点镜像数据。
调用权限分配子模块，用于对本地节点镜像数据进行调用权限分配处理，得到节点镜像权限数据。
资源算力调度子模块，用于根据节点镜像权限数据对本地资源算力进行资源调用处理，得到本地资源算力调度策略。
优选的，算力资源差值获取模块还包括：
数据处理时间获取子模块，用于根据算力资源差值，获取本地资源算力对待处理数据集的数据处理时间。
资源转移状态判断子模块，用于根据数据处理时间，判断本地资源算力与计算机群之间的算力资源转移状态是否满足目标算力资源的算力需求。
算力转移子模块，用于若否，则根据算力资源转移状态，对本地资源算力与计算机群算力进行算力转移处理，得到算力资源转移策略。
优选的，算力资源协同转换模块还包括：
算力热备份处理子模块，用于根据本地资源算力调度策略，对所述机群算力资源进行原算力镜像备份处理，得到与所述本地资源算力调度进度相互同步的HPC资源等候数据。
备用资源替换子模块，用于当所述算力资源差值的工作状态处于被抢占状态时，调用所述HPC资源等候数据对所述机群算力资源进行算力资源更新处理，得到备用资源替换策略。
关于高性能计算机群与本地资源算力的转换系统的具体限定可以参见上文中对于高性能计算机群与本地资源算力的转换方法的限定，在此不再赘述。上述高性能计算机群与本地资源算力的转换系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待处理数据集以及进行算力交换过程中出现的中间文件。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种高性能计算机群与本地资源算力的转换方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现高性能计算机群与本地资源算力的转换方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种高性能计算机群与本地资源算力的转换方法，其特征在于，所述高性能计算机群与本地资源算力的转换方法包括：
实时获取待处理数据集的目标算力资源；
根据所述目标算力资源调用本地资源算力对所述待处理数据集进行优先处理，得到本地资源算力调度策略；
当所述目标算力资源超过所述本地资源算力时，获取所述目标算力资源与所述本地资源算力的算力资源差值；
根据所述算力资源差值，调用计算机群的机群算力资源对所述待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略。
2.根据权利要求1所述的高性能计算机群与本地资源算力的转换方法，其特征在于，所述根据所述算力资源差值，调用计算机群的机群算力资源对所述待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略，具体包括：
根据所述算力资源差值，在预设的存储区创建与所述算力资源差值相对应的数据调用镜像；
根据所述数据调用镜像，在预设的计算机群创建与所述数据调用镜像相适配的数据应用节点；
将所述数据应用节点与计算机群算力进行算力资源协同调度处理，得到用于在计算机群与本地资源算力之间进行协同调度的算力调度策略；
根据所述算力协同调度策略，调用本地资源算力与计算机群算力对所述待处理数据集进行算力协同转换处理，得到算力协同转换策略。
3.根据权利要求2所述的高性能计算机群与本地资源算力的转换方法，其特征在于，所述根据所述算力资源差值，在预设的存储区创建与所述算力资源差值相对应的数据调用镜像，具体包括：
根据所述算力资源差值，调用本地资源预先训练得到的应用部署容器进行本地应用部署处理，得到部署容器启动指令；
根据所述部署容器启动指令，将所述应用部署容器中预设的算力部署算法部署至计算机群，得到算法部署策略；
根据所述算法部署指令，将计算机群的机群算力镜像上传至本地资源预设的存储区，得到机群算力镜像上传策略；
根据所述机群算力镜像上传策略，创建与所述算力资源差值相对应的数据调用镜像，得到本地资源的算力数据调用镜像。
4.根据权利要求2所述的高性能计算机群与本地资源算力的转换方法，其特征在于，所述将所述数据应用节点与计算机群算力进行算力资源协同调度处理，得到用于在计算机群与本地资源算力之间进行协同调度的算力调度策略，具体包括：
根据所述数据应用节点，对计算机群的空闲算力资源进行资源分配处理，得到机群算力资源分配策略；
根据所述机群算力资源分配策略，拉取预设存储区中相适配的算力调用镜像，得到机群镜像调用数据；
将所述机群镜像调用数据与本地资源算力对应的镜像权限进行数据关联，得到关联后的机群镜像权限数据；
根据所述机群镜像权限数据，调用对应镜像权限的本地资源算力与计算机群算力进行算力资源协同调度处理，得到计算机群与本地资源算力之间的算力协同调度策略。
5.根据权利要求4所述的高性能计算机群与本地资源算力的转换方法，其特征在于，所述根据所述机群镜像权限数据，调用对应镜像权限的本地资源算力与计算机群算力进行算力资源协同调度处理，得到计算机群与本地资源算力之间的算力协同调度策略，还包括：
根据所述机群镜像权限数据，将所述待处理数据集从预设的对象存储区中调度至对应权限的镜像内部，得到数据集调用策略；
根据所述数据集调用策略，调用对应的本地资源镜像进行数据映射处理，得到本地镜像启动结果；
将计算机群的机群资源镜像与所述本地资源镜像进行镜像关联处理，得到计算机群与本地资源之间的镜像挂载关系；
根据所述镜像挂载关系，调用所述机群资源镜像从所述本地资源镜像中拉取预存储的所述待处理数据集。
6.根据权利要求1所述的高性能计算机群与本地资源算力的转换方法，其特征在于，所述根据所述目标算力资源调用本地资源算力对所述待处理数据集进行优先处理，得到本地资源算力调度策略，具体包括：
实时获取携带有所述目标算力资源的算力资源调度指令，根据所述算力资源调度指令对本地资源算力的可用节点进行分配，得到本地节点分配数据；
根据所述本地节点分配数据，对本地可用节点创建对应的算力调用镜像，得到本地节点镜像数据；
对所述本地节点镜像数据进行调用权限分配处理，得到节点镜像权限数据；
根据所述节点镜像权限数据对本地资源算力进行资源调用处理，得到本地资源算力调度策略。
7.根据权利要求1所述的高性能计算机群与本地资源算力的转换方法，其特征在于，所述当所述目标算力资源超过所述本地资源算力时，获取所述目标算力资源与所述本地资源算力的算力资源差值，还包括：
根据所述算力资源差值，获取本地资源算力对所述待处理数据集的数据处理时间；
根据所述数据处理时间，判断所述本地资源算力与计算机群之间的算力资源转移状态是否满足所述目标算力资源的算力需求；
若否，则根据所述算力资源转移状态，对本地资源算力与计算机群算力进行算力转移处理，得到算力资源转移策略。
8.根据权利要求1所述的高性能计算机群与本地资源算力的转换方法，其特征在于，所述根据所述算力资源差值，调用计算机群的机群算力资源对所述待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略，还包括：
根据本地资源算力调度策略，对所述机群算力资源进行原算力镜像备份处理，得到与所述本地资源算力调度进度相互同步的HPC资源等候数据；
当所述算力资源差值的工作状态处于被抢占状态时，调用所述HPC资源等候数据对所述机群算力资源进行算力资源更新处理，得到备用资源替换策略。
9.一种高性能计算机群与本地资源算力的转换系统，其特征在于，所述高性能计算机群与本地资源算力的转换系统包括：
目标算力资源获取模块，用于实时获取待处理数据集的目标算力资源；
本地资源算力调度模块，用于根据所述目标算力资源调用本地资源算力对所述待处理数据集进行优先处理，得到本地资源算力调度策略；
算力资源差值获取模块，用于当所述目标算力资源超过所述本地资源算力时，获取所述目标算力资源与所述本地资源算力的算力资源差值；
算力资源协同转换模块，用于根据所述算力资源差值，调用计算机群的机群算力资源对所述待处理数据集进行协同处理，得到计算机群算力与本地资源算力之间的算力协同转换策略。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述高性能计算机群与本地资源算力的转换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310328104.4A CN117851023A (zh) | 2023-03-29 | 2023-03-29 | 一种高性能计算机群与本地资源算力的转换方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310328104.4A CN117851023A (zh) | 2023-03-29 | 2023-03-29 | 一种高性能计算机群与本地资源算力的转换方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117851023A true CN117851023A (zh) | 2024-04-09 |
Family
ID=90527763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310328104.4A Pending CN117851023A (zh) | 2023-03-29 | 2023-03-29 | 一种高性能计算机群与本地资源算力的转换方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117851023A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150256481A1 (en) * | 2014-03-06 | 2015-09-10 | Jisto Inc. | Elastic Compute Cloud Based On Underutilized Server Resources Using A Distributed Container System |
| CN107908476A (zh) * | 2017-11-11 | 2018-04-13 | 许继集团有限公司 | 基于分布式集群的数据处理方法与装置 |
| CN110597623A (zh) * | 2019-08-13 | 2019-12-20 | 平安普惠企业管理有限公司 | 容器资源分配方法、装置、计算机设备和存储介质 |
| CN111381936A (zh) * | 2020-03-23 | 2020-07-07 | 中山大学 | 一种分布式云系统-云簇架构下的服务容器资源的分配方法与系统 |
| CN113835865A (zh) * | 2021-09-30 | 2021-12-24 | 北京金山云网络技术有限公司 | 一种任务部署方法和装置、电子设备和存储介质 |
| CN115328645A (zh) * | 2022-06-27 | 2022-11-11 | 国网冀北电力有限公司信息通信分公司 | 计算任务调度方法、计算任务调度装置及电子设备 |
| CN115562824A (zh) * | 2022-09-22 | 2023-01-03 | 国网冀北电力有限公司张家口供电公司 | 一种算力资源协同调度系统、方法、装置及存储介质 |
-
2023
- 2023-03-29 CN CN202310328104.4A patent/CN117851023A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150256481A1 (en) * | 2014-03-06 | 2015-09-10 | Jisto Inc. | Elastic Compute Cloud Based On Underutilized Server Resources Using A Distributed Container System |
| CN107908476A (zh) * | 2017-11-11 | 2018-04-13 | 许继集团有限公司 | 基于分布式集群的数据处理方法与装置 |
| CN110597623A (zh) * | 2019-08-13 | 2019-12-20 | 平安普惠企业管理有限公司 | 容器资源分配方法、装置、计算机设备和存储介质 |
| CN111381936A (zh) * | 2020-03-23 | 2020-07-07 | 中山大学 | 一种分布式云系统-云簇架构下的服务容器资源的分配方法与系统 |
| CN113835865A (zh) * | 2021-09-30 | 2021-12-24 | 北京金山云网络技术有限公司 | 一种任务部署方法和装置、电子设备和存储介质 |
| CN115328645A (zh) * | 2022-06-27 | 2022-11-11 | 国网冀北电力有限公司信息通信分公司 | 计算任务调度方法、计算任务调度装置及电子设备 |
| CN115562824A (zh) * | 2022-09-22 | 2023-01-03 | 国网冀北电力有限公司张家口供电公司 | 一种算力资源协同调度系统、方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160378570A1 (en) | Techniques for Offloading Computational Tasks between Nodes | |
| CN111104208B (zh) | 进程调度管理方法、装置、计算机设备及存储介质 | |
| CN112463290A (zh) | 动态调整计算容器的数量的方法、系统、装置和存储介质 | |
| EP3993346A1 (en) | Method and device for distributed data storage | |
| CN108491163B (zh) | 一种大数据处理方法、装置和存储介质 | |
| CN113204353B (zh) | 一种大数据平台组件部署方法及装置 | |
| CN112948050A (zh) | 一种部署pod的方法及装置 | |
| CN111669787A (zh) | 一种基于时延敏感网络切片的资源分配方法及装置 | |
| CN115086244A (zh) | 带宽分配方法、装置、计算机设备及存储介质 | |
| CN112732601B (zh) | 数据预处理方法、装置、计算机设备和存储介质 | |
| CN117851023A (zh) | 一种高性能计算机群与本地资源算力的转换方法及其系统 | |
| CN116204312A (zh) | 一种基于边缘云计算的软硬件共享方法及其系统 | |
| CN117591236A (zh) | 一种云原生环境下应用程序部署方法、设备及介质 | |
| CN117194029A (zh) | 任务请求处理方法、系统、计算机设备和存储介质 | |
| WO2018170732A1 (zh) | 一种边缘云架构下服务部署的方法和装置 | |
| CN116402318A (zh) | 面向配电网的多级算力资源分配方法、装置及网络架构 | |
| CN113742059B (zh) | 任务分配方法、装置、计算机设备和存储介质 | |
| CN115495288A (zh) | 一种数据备份方法、装置、设备及计算机可读存储介质 | |
| KR102177440B1 (ko) | 빅데이터 처리 장치 및 방법 | |
| CN115878309A (zh) | 资源分配方法、装置、处理核、设备和计算机可读介质 | |
| CN110022220B (zh) | 名片识别中的路由激活方法及系统 | |
| CN112527760A (zh) | 数据存储方法、装置、服务器及介质 | |
| CN114064225A (zh) | 一种自适应调度方法、装置、计算机存储介质及系统 | |
| CN114721834B (zh) | 资源分配处理方法、装置、设备、车辆和介质 | |
| CN114371853B (zh) | 一种分布式系统部署方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |