CN117687798B - 一种算力网络原生应用管控方法、系统及存储介质 - Google Patents
一种算力网络原生应用管控方法、系统及存储介质 Download PDFInfo
- Publication number
- CN117687798B CN117687798B CN202410138244.XA CN202410138244A CN117687798B CN 117687798 B CN117687798 B CN 117687798B CN 202410138244 A CN202410138244 A CN 202410138244A CN 117687798 B CN117687798 B CN 117687798B
- Authority
- CN
- China
- Prior art keywords
- computing
- unit
- information
- application
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000004364 calculation method Methods 0.000 claims abstract description 75
- 238000010276 construction Methods 0.000 claims abstract description 60
- 238000004458 analytical method Methods 0.000 claims description 52
- 238000012795 verification Methods 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 34
- 238000005457 optimization Methods 0.000 claims description 29
- 238000007726 management method Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 20
- 230000001419 dependent effect Effects 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 241000700605 Viruses Species 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 244000035744 Hura crepitans Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种算力网络原生应用管控方法、系统及存储介质,涉及算力网络应用技术领域,所述方法包括:获取应用的文件数据以及配置信息;对文件进行分组形成计算单元,生成与计算单元对应的类型标签;根据各类型标签,确定匹配算力节点,将计算单元发送至与匹配算力节点关联的单元库中;响应于用户应用需求信息,生成构建指令;发送各个构建指令以使目标算力节点构建计算运行单元。将应用的文件数据划分为更小粒度的计算单元,按照计算单元不同的算力需求匹配对应的算力节点,实现计算需求匹配算力类型,达到算力网络原生应用的效果,使应用能够充分利用不同类型算力节点提供的算力优势,提高计算效率以及算力资源使用的合理性。
Description
技术领域
本发明涉及算力网络应用技术领域,尤其涉及一种算力网络原生应用管控方法、系统及存储介质。
背景技术
算力网络包括通过网络连接广泛分布的云、边、端、智算、超算以及各类服务能力等的设备,实现不同类型算力的深度融合,并提供一体化服务的新型信息设施。另外如微服务、服务网格、声明式API、Severless等服务形态,为大规模分布式应用的构建提供了条件,能够利用算力网络中的算力节点实现分布式应用的构建与运行。
当前算力网络通过高速网络(5G、全光网、专网等)将云、边、端、智算、超算等跨地域的多元异构算力节点进行了互联和融合。然而现有技术中,应用还处于传统粗放式的发布构建模式,即集中在一个算力节点中运行,如云数据中心、智算中心等,没有与算力网络融合来发挥算力网络中各种异构类型算力的优势提升应用的运行性能。
因此,如何利用算力网络中不同类型的算力节点优势构建分布式应用,实现应用与算力网络融合提高应用运行性能,构建算力网络原生应用服务,是亟需解决的技术问题。
发明内容
本发明提供一种算力网络原生应用管控方法、系统及存储介质,用以解决现有技术中应用集中在一个算力节点中运行没有合理运用算力网络中多样的算力节点的缺陷。
本发明提供一种算力网络原生应用管控方法,包括:
获取应用的文件数据以及配置信息,所述文件数据包括多个文件;
根据所述文件数据以及所述配置信息,对所述文件进行分组形成计算单元,生成与所述计算单元对应的类型标签,所述类型标签表征所述计算单元需要的算力类型;
根据各个所述计算单元的所述类型标签,确定匹配算力节点,将所述计算单元发送至与所述匹配算力节点关联的单元库中,所述匹配算力节点的类型与所述类型标签对应;
响应于用户应用需求信息,生成各个所述计算单元对应的构建指令,所述构建指令用于部署所述计算单元至目标算力节点;
发送各个所述构建指令以使所述目标算力节点基于所述计算单元构建计算运行单元;
其中,各个所述计算运行单元用于实现所述应用的功能。
根据本发明提供的一种算力网络原生应用管控方法,所述获取应用的文件数据以及配置信息,包括:
获取所述文件数据以及所述配置信息;
根据预设的安全规则库与病毒库,检测所述文件数据的安全性,获取安全检测结果;
当所述安全检测结果为数据安全时,检查所述文件数据的完整性,获取完整检测结果;
当所述完整检测结果为数据完整时,将所述文件数据与所述配置信息存储至应用库中。
根据本发明提供的一种算力网络原生应用管控方法,所述获取应用的文件数据以及配置信息,包括:
获取所述文件数据以及所述配置信息;
根据预设的安全规则库与病毒库,检测所述文件数据的安全性,获取安全检测结果;
当所述安全检测结果为数据安全时,检查所述文件数据的完整性,获取完整检测结果;
当所述完整检测结果为数据完整时,将所述文件数据与所述配置信息存储至应用库中。
根据本发明提供的一种算力网络原生应用管控方法,所述获取应用的文件数据以及配置信息,包括:
获取所述文件数据以及所述配置信息;
根据预设的安全规则库与病毒库,检测所述文件数据的安全性,获取安全检测结果;
当所述安全检测结果为数据安全时,检查所述文件数据的完整性,获取完整检测结果;
当所述完整检测结果为数据完整时,将所述文件数据与所述配置信息存储至应用库中。
根据本发明提供的一种算力网络原生应用管控方法,在所述根据所述依赖信息,使所述计算单元对应的所述单元库获取依赖的所述文件之后,还包括:
生成测试验证指令,将所述测试验证指令发送至各个所述计算单元对应的所述匹配算力节点以在所述匹配算力节点中形成测试运行单元;
根据所述配置信息,配置各个所述测试运行单元,获取测试运行结果;
根据所述测试运行结果,当运行异常时,生成第一错误反馈信息,当运行正常时,生成自动验证脚本存储至所述应用库中。
其中,所述测试验证指令用于使所述匹配算力节点从关联的所述单元库中获取所述计算单元并进行编译和运行形成所述测试运行单元。
根据本发明提供的一种算力网络原生应用管控方法,所述响应于用户应用需求信息,生成各个所述计算单元对应的构建指令,包括:
根据所述用户应用需求信息,确定应用关联的所述计算单元以及所述配置信息;
根据所述计算单元以及对应的所述匹配算力节点,生成部署信息;
根据所述部署信息以及所述配置信息,生成所述构建指令;
其中,所述构建指令包括计算单元标识码、运行配置信息、目标算力节点标识码以及调用关系信息。
根据本发明提供的一种算力网络原生应用管控方法,在所述根据所述部署信息以及所述配置信息,生成所述构建指令之前,还包括:
获取用户自定义部署信息,所述自定义部署信息表征用户指定所述计算单元部署的算力节点;
根据所述用户自定义部署信息,更新所述部署信息。
根据本发明提供的一种算力网络原生应用管控方法,在所述发送各个所述构建指令以使所述目标算力节点基于所述计算单元构建计算运行单元之后,还包括:
获取各个所述计算运行单元的运行状态信息;
根据所述运行状态信息,获取运行分析结果;
根据所述运行分析结果以及预设优化策略信息,生成优化调整信息;
将所述优化调整信息发送至对应的所述计算运行单元;
其中,所述优化调整信息用于调整所述计算运行单元的运行参数。
本发明还提供一种算力网络原生应用管控系统,包括:
应用发布模块,用于获取应用的文件数据以及配置信息;
应用分析模块,用于分析所述文件数据以及所述配置信息,划分计算单元以及生成类型标签;
单元分发模块,用于根据各个所述计算单元的所述类型标签,确定匹配算力节点,将所述计算单元发送至与所述匹配算力节点关联的单元库中;
依赖分析模块,用于分析所述计算单元的依赖关系,生成依赖信息发送至单元库中;
发布验证模块,用于基于所述计算单元验证所述应用的运行状态;
构建分析模块,用于生成构建指令;
构建执行模块,用于根据所述构建指令,使目标算力节点基于所述计算单元构建计算运行单元;
构建验证模块,用于验证所述计算运行单元的运行状态;
运行分析模块,用于根据所述计算运行单元的运行状态信息,获取运行分析结果;
运行优化模块,用于根据所述运行分析结果以及预设优化策略信息,生成优化调整信息;
所述应用发布模块、所述应用分析模块、所述单元分发模块、所述依赖分析模块、所述发布验证模块、所述构建分析模块、所述构建执行模块、所述构建验证模块、所述运行分析模块以及所述运行优化模块之间相互配合,能够实现上述的一种算力网络原生应用管控方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述一种算力网络原生应用管控方法。
本发明提供的一种算力网络原生应用管控方法、系统及存储介质,至少具有以下有益效果:通过对应用的文件数据以及配置信息进行分析,将文件数据划分为多个计算单元,并且基于计算单元的算力需求生成类型标签,进而基于类型标签匹配对应的算力节点作为匹配算力节点,将计算单元发送至匹配算力节点的单元库。在用户需要使用应用时,生成构建指令发送至目标算力节点,使得目标算力节点从关联的单元库中获取计算单元并基于计算单元构建计算运行单元,各个计算运行单元之间相互配合工作实现所需应用的功能。以此,将应用的文件数据划分为更小粒度的计算单元,按照计算单元不同的算力需求匹配对应的算力节点,实现计算需求匹配算力节点的算力类型,达到算力网络原生应用的效果,充分利用不同类型算力节点提供的算力优势,有利于提高计算效率以及算力资源使用的合理性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的一种算力网络原生应用管控方法的流程示意图之一;
图2是本发明提供的一种算力网络原生应用管控方法的流程示意图之二;
图3是本发明提供的一种算力网络原生应用管控方法的流程示意图之三;
图4是本发明提供的一种算力网络原生应用管控方法的流程示意图之四;
图5是本发明提供的一种算力网络原生应用管控方法的流程示意图之五;
图6是本发明提供的一种算力网络原生应用管控方法的流程示意图之六;
图7是本发明提供的一种算力网络原生应用管控方法的流程示意图之七;
图8是本发明其中一种实施例中应用的计算单元匹配对应的匹配算力节点的示意图;
图9是本发明提供的一种算力网络原生应用管控系统的结构示意图;
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
算力网络中包括了不同类型的算力节点,如面向通用计算的云,面向并行计算的智算中心,面向高性能计算的超算中心,面向特定领域的边和端等类型的算力节点,即不同类型的算力节点提供的算力服务存在优势差异。现有集中于一个算力节点中构建应用的方式,没有利用不同算力节点提供的算力优势,虽然能够实现应用的功能,但是应用的计算效率受限,并且对算力节点的资源利用效率较低,算力节点在处理非优势数据时可能占用更多的资源进行处理,存在资源利用不合理的问题。
为了充分利用算力网络中跨区域不同算力类型的算力节点优势,将应用与算力网络进行融合,以令不同的计算需求匹配算力类型对应的算力节点,有利于实现计算效率的最大化和费用的合理化,下面结合图1-图7描述本发明提供的一种算力网络原生应用管控方法,包括:
S100:获取应用的文件数据以及配置信息,所述文件数据包括多个文件;
S110:根据所述文件数据以及所述配置信息,对所述文件进行分组形成计算单元,生成与所述计算单元对应的类型标签,所述类型标签表征所述计算单元需要的算力类型;
S120:根据各个所述计算单元的所述类型标签,确定匹配算力节点,将所述计算单元发送至与所述匹配算力节点关联的单元库中,所述匹配算力节点的类型与所述类型标签对应;
S200:响应于用户应用需求信息,生成各个所述计算单元对应的构建指令,所述构建指令用于部署所述计算单元至目标算力节点;
S210:发送各个所述构建指令以使所述目标算力节点基于所述计算单元构建计算运行单元;
其中,各个所述计算运行单元用于实现所述应用的功能。
通过对应用的文件数据以及配置信息进行分析,将文件数据划分为多个计算单元,并且基于计算单元的算力需求生成类型标签,进而基于类型标签匹配对应的算力节点作为匹配算力节点,将计算单元发送至匹配算力节点的单元库。在用户需要使用应用时,生成构建指令发送至目标算力节点,使得目标算力节点从关联的单元库中获取计算单元并基于计算单元构建计算运行单元,各个计算运行单元之间相互配合工作实现所需应用的功能。以此,将应用的文件数据划分为更小粒度的计算单元,按照计算单元不同的算力需求匹配对应的算力节点,实现计算需求匹配算力节点的算力类型,达到应用与算力网络一体融合的效果,充分利用不同类型算力节点提供的算力优势,有利于提高计算效率以及算力资源使用的合理性。即将应用以计算单元的粒度的分析和构建,来利用不同类型算力节点的优势,实现进一步提高应用的计算效率和降低整体费用。
参考图8,在本发明的一个实施例中,某应用包括的计算单元,基于对应的类型标签,分别匹配到对应的匹配算力节点,分别为智能终端、中心云、智算中心。后续在应用构建时,智能终端、中心云、智算中心分别获取对应的计算单元进行编译和运行,形成计算运行单元,各个计算运行单元之间相互配合实现应用的功能。
应用的文件数据可以是包括应用程序包、依赖库、源代码以及环境配置等文件,应用程序包、依赖库可以包括编译后的可执行或可引用的程序包、依赖库,例如格式为.jar、.so、.dll、.exe等文件;源代码可以包括应用程序包对应的可编译代码,如通过Java、C/C++、Python、Go、JavaScript等语言开发的代码文件。
应用的配置信息可以是包括运行环境配置信息以及应用基本信息等,环境配置信息可以包括应用程序包运行或源代码编译所需要的配置信息,如环境变量、使用的编译器、依赖库、模块关系、模块类型以及兼容平台等;应用基本信息可以包括应用名称、版本、应用类型、功能说明、应用场景、开发者等信息,便于对应用进行统一管理。
参考图2,在本发明一种算力网络原生应用管控方法的一些实施例中,所述S100,包括:
S101:获取所述文件数据以及所述配置信息;
S102:根据预设的安全规则库与病毒库,检测所述文件数据的安全性,获取安全检测结果;
S103:当所述安全检测结果为数据安全时,检查所述文件数据的完整性,获取完整检测结果;
S104:当所述完整检测结果为数据完整时,将所述文件数据与所述配置信息存储至应用库中。
在获取文件数据以及配置信息后,基于预设的安全规则以及病毒库对文件数据进行扫描检测,在数据安全的情况下,进一步检查文件数据的完整性,在数据完整的情况下,将文件数据和配置信息存储至应用库中。以此,确保文件数据的安全性,避免后续运行恶意的应用,确保文件数据的完整性,避免文件缺失导致应用无法运行,有利于提高文件数据的安全性和可靠性。将文件数据以及配置信息存储至应用库中,便于管理以及保全应用的完整数据,同时亦便于后续需要运行应用时提供所需文件和配置信息。
应用库可以是网络上某一用于存储的服务器、网络节点等,在一些实施例中亦可以是本地的数据库。
参考图3,在本发明一种算力网络原生应用管控方法的一些实施例中,所述S110,包括:
S111:从所述应用库中获取历史特征分析数据;
S112:根据所述文件数据,获取类型设置信息,所述类型设置信息表征用户设定所述文件的特征分类;
S113:根据所述类型设置信息,初始化所述文件对应的特征分类;
S114:根据所述历史特征分析数据,分析所述文件以调整所述特征分类形成特征信息;
S115:根据所述特征信息以及所述文件之间的关联程度,对所述文件进行划分形成计算单元,生成与所述计算单元对应的类型标签。
用户在上传应用的文件数据以及配置信息时,文件数据可以携带文件对应的类型设置信息,根据类型设置信息初始化文件对应的特征分类,并根据历史特征分析数据对特征分类进行调整,形成特征信息反映文件需要的算力特征,进而根据特征信息以及文件之间的关联程度划分形成计算单元和生成类型标签。以此,基于文件的特征以及文件之间的关联程度划分计算单元,以将算力需要特征相近并且关联程度较高的文件分为一组形成计算单元,便于以计算单元为粒度进行应用的构建,同时生成计算单元对应的类型标签,便于快速匹配到提供所需算力特征的算力节点,提高匹配效率。
可以理解的是S111只需要在S114之前完成便可,并不是必须在S112之前完成。
计算单元主要包括应用程序包和源代码文件,用户在上传应用的文件数据时,可以选择程序包或源代码的特征分类,如CPU类、GPU类、FPGA类、DSA类、磁盘IO类、网络IO类、轻量型、高性能型等,即携带类型设置信息,则初始化为用户提交的特征分类。
根据历史特征分析数据对初始化特征分类进行调整,可以是通过在沙箱环境中测试分析文件的堆栈信息、分析依赖关系、分析源代码等方式获知文件的功能,在根据文件功能进行特征分类调整,如深度学习功能依赖GPU调整为GPU类、文件存取和数据库功能依赖磁盘IO调整为磁盘IO类、采集插件功能占用极少资源调整为轻量型、面向特定领域的功能调整为DSA类等。
在划分形成计算单元时,除了考虑文件的特征分类,还需要考虑文件的关联程度,将同类的特征分类且关系紧密的文件划分到一组中,提高可维护性、横向扩展能力和减少网络通信损耗。例如有两个文件对应的功能之间,存在频繁的交互或对同一块数据进行处理,即关联程度高,则基于已有的特征标签数据是否是相同或相近,且在无严格网络需求限制的条件下将两个文件划分为一组形成计算单元,并为该算力单元设置较高算力需求的类型标签。
在本发明的一些实施例中,若文件数据的类型设置信息缺失,即用户没有设定文件特征分类,则根据文件数据的类型从预设分类表中获取初始化的特征分类,预设分类表包括不同类型文件对应的特征分类。
历史特征分析数据,可以是由历史文件的特征信息结合后续形成计算运行单元后表现的特征对照形成的,简而言之,即在对文件设置特征信息后,对比实际在计算运行单元中运行时表现的特征是否适配,可以知道在前设置的特征信息是正确,据此形成历史特征分析数据,可以在后续对新的文件调整特征分类时更加准确,形成更加合适的特征信息。
在计算单元类型标签确定后,根据算力网络中各算力节点的算力特征,匹配相对应的算力节点作为匹配算力节点,将所述计算单元发送至匹配算力节点关联的附近单元库中。由于算力节点通常用于计算处理,为了避免在不使用应用时占用算力节点的资源,将计算单元存储至关联的单元库中,单元库可以是算力节点关联的服务器、数据中心等。例如将GPU类型的计算单元分发到具有GPU服务器的中心云和智算中心,将大数据存储和处理单元分发到具有大型共享存储的数据中心。
单元库为多副本模式,即网络上存在多个单元库,单元库主要存储计算单元对应的文件,建立在一些主要算力节点,如边缘节点、中心云、智算中心、超算中心等附近以提高构建时的拉取效率。由于类型标签匹配到的算力节点,即匹配算力节点可能存在多个,可以将计算单元分别发送至各个匹配算力节点关联的单元库中。
参考图4,在本发明一种算力网络原生应用管控方法的一些实施例中,在所述S120之后,还包括:
S130:分析所述计算单元对所述文件的依赖关系,生成依赖信息;
S140:根据所述依赖信息,使所述计算单元对应的所述单元库获取依赖的所述文件。
由于应用的文件对应的功能之间存在依赖关系,划分形成的计算单元亦存在依赖关系,据此生成依赖信息,令单元库获取计算单元依赖的文件,以使得单元库从其他单元库中获取依赖的文件。以此,后续算力节点获取计算单元进行编译运行时,能够从单元库中获取到所依赖的文件,有利于保障计算运行单元的构建。
单元库可以从应用库或其他单元库中获取所依赖的文件。依赖关系可以包括编译依赖、运行依赖,编译依赖主要指在源代码编译时需要的一些程序库文件,如package.json、pom.xml、.mod等代码依赖配置文件中列举的依赖包和动态链接库等,运行依赖主要指程序包运行时需要的运行时环境、动态/静态链接库,如JDK、.Net Framework、glibc.so等文件。
参考图4,在本发明一种算力网络原生应用管控方法的一些实施例中,在所述S140之后,还包括:
S150:生成测试验证指令,将所述测试验证指令发送至各个所述计算单元对应的所述匹配算力节点以在所述匹配算力节点中形成测试运行单元;
S160:根据所述配置信息,配置各个所述测试运行单元,获取测试运行结果;
S170:根据所述测试运行结果,当运行异常时,生成第一错误反馈信息,当运行正常时,生成自动验证脚本存储至所述应用库中。
其中,所述测试验证指令用于使所述匹配算力节点从关联的所述单元库中获取所述计算单元并进行编译和运行形成所述测试运行单元。
在单元库完成存储后,让各个计算单元对应的匹配算力节点从单元库中获取计算单元进行编译和运行,形成测试运行单元,并且根据配置信息,配置各个测试运行单元,使得各个测试运行单元实现应用的功能,获取测试运行结果。当整体运行能够正常实现应用功能的情况下,意味着分布式应用的部署成功,当运行异常时,生成第一错误反馈信息,便于后续人工对异常问题进行查看和处理,直至整体运行正常。以此,能够确保应用功能的实现,在上传应用时及时发现问题,保障后续使用应用时的可靠性。
在整体运行正常后,基于测试验证的过程生成自动验证脚本存储至应用库中,便于后续应用实际被用户使用时快速进行验证。
至此,完成应用的上传发布阶段。
参考图5,在本发明一种算力网络原生应用管控方法的一些实施例中,所述S200,包括:
S201:根据所述用户应用需求信息,确定应用关联的所述计算单元以及所述配置信息;
S202:根据所述计算单元以及对应的所述匹配算力节点,生成部署信息;
S205:根据所述部署信息以及所述配置信息,生成所述构建指令;
其中,所述构建指令包括计算单元标识码、运行配置信息、目标算力节点标识码以及调用关系信息。
在用户需要使用应用时,在应用库中选择所需要的应用,确定需要使用的应用以及关联的计算单元和配置信息。构建应用过程中,需要将计算单元部署至算力节点中并运行,根据上传发布阶段中计算单元匹配到的匹配算力节点,将匹配算力节点作为目标算力节点,生成部署信息,进而生成构建指令,构建指令包括计算单元标识码、运行配置信息、目标算力节点标识码以及调用关系信息。
其中,计算单元识别码用于确定具体的计算单元;运行配置信息为计算单元的最大、最小运行配置数据以及自定义环境变量等参数信息,如CPU、GPU、内存限制等;算力节点识别码用于确定计算单元运行的目标算力节点;调用关系信息用于确定计算单元间的调用关系。
发送构建指令至代理执行的算力节点或设备并执行,依次解析计算单元标识码、运行配置信息、目标算力节点标识码以及调用关系信息。首先根据计算单元标识码就近从关联的单元库中获取对应的计算单元和依赖文件,根据运行配置信息调用目标算力节点的算力资源申请接口,进行算力资源的申请,如调用云平台云主机申请接口申请一个合适的云主机用于部署计算单元;然后将计算单元和依赖文件发送至该算力资源中,并按编译脚本和环境配置进行计算单元的构建和配置形成计算运行单元;在计算运行单元构建完成后,根据上联单元配置计算单元间的网络参数,如防火墙策略、路由策略,打通不同计算运行单元的网络连接。
参考图5,在本发明一种算力网络原生应用管控方法的一些实施例中,在所述S205之前,还包括:
S203:获取用户自定义部署信息,所述自定义部署信息表征用户指定所述计算单元部署的算力节点;
S204:根据所述用户自定义部署信息,更新所述部署信息。
随着各行业对安全和合规的重视,重要数据要求严格限制在本地计算,而普通数据或脱敏数据可以在外部算力节点计算。因此,通过基于用户自定义部署信息更新部署信息的方式,可以允许用户将重要的计算单元部署在指定的算力节点,如将处理敏感数据的计算单元部署到本地的算力节点中,有利于根据需求快捷灵活地部署计算单元。
可以理解的是,在构建阶段中,计算单元对应目标算力节点,在计算单元没有对应的用户自定义部署信息,即计算单元没有指定目标算力节点的情况时,将上传发布阶段中匹配获得的匹配算力节点作为目标算力节点,而在计算单元对应的匹配算力节点存在多个时,可以根据匹配算力节点的运行状态、负载压力、空闲资源等参数,筛选出最优的匹配算力节点作为目标算力节点。
参考图6,在本发明一种算力网络原生应用管控方法的一些实施例中,在所述S210之后,还包括:
S220:获取所述自动验证脚本;
S230:根据所述自动验证脚本,验证所述计算运行单元的运行状态,获取检测运行结果;
S240:当所述检测运行结果为异常时,生成第二错误反馈信息。
在构建完计算运行单元之后,使用在上传发布阶段中进行验证测试形成的自动验证脚本,对各个计算运行单元整体运行情况进行快速测试,获取检测运行结果,以根据检测运行结果获知运行异常时,生成第二错误反馈信息,便于人工对异常问题进行查看和处理。以此,在构建计算运行单元之后,进行验证,保障应用的整体运行正常,有利于提高应用使用时的可靠性。
可以理解的是,在上传发布阶段中形成的测试运行单元与用户实际使用构建阶段形成的计算运行单元,实际上是相同的,即均是算力节点对计算单元进行编译运行后形成的,只是处于的阶段过程不同。因此,基于测试运行单元验证过程形成的自动验证脚本,能够应用于计算运行单元的验证过程。
参考图7,在本发明一种算力网络原生应用管控方法的一些实施例中,在所述S210之后,还包括:
S300:获取各个所述计算运行单元的运行状态信息;
S310:根据所述运行状态信息,获取运行分析结果;
S320:根据所述运行分析结果以及预设优化策略信息,生成优化调整信息;
S330:将所述优化调整信息发送至对应的所述计算运行单元;
其中,所述优化调整信息用于调整所述计算运行单元的运行参数。
构建阶段完成后,在应用运行阶段,获取各个计算运行单元的运行状态信息进行监控,以便于及时发现运行异常的计算运行单元。同时,基于运行状态信息,结合预设优化策略信息生成优化调整信息发送至计算运行单元,使得计算运行单元优化运行参数,有利于提高计算运行单元的运行效率、响应速度。
各计算单元的运行状态信息,可以包括CPU占用、内存占用、硬盘占用、网络时延以及日志信息等,并基于可观测理论对各计算运行单元的运行情况进行分析,如通过RED方法(请求速率、请求错误、请求耗时)和USE方法(使用率、饱和度、错误)对用户体验和系统性能进行综合分析和评估,以发现异常问题和性能瓶颈点进行优化修复。
基于运行分析结果生成的优化调整信息,可以是通过调整运行参数加快计算运行单元的冷启动速度,通过水平扩展实例数提高计算运行单元的并发处理能力,通过垂直扩展提升计算运行单元所在算力资源的性能,提高运算效率,通过向上迁移将某计算运行单元从边缘节点迁移到中心云中提高计算性能和弹性,通过向下卸载将某计算运行单元卸载到边缘节点或终端执行来减小网络时延、提高响应速度。
参考图7,在本发明一种算力网络原生应用管控方法的一些实施例中,在所述S300之后,还包括:
S340:根据所述运行状态信息,更新所述历史特征分析数据。
根据计算运行单元的运行状态信息,能够获知对应计算单元中文件的功能,即获知文件实际的特征分类,对比上传发布过程中设置的特征分类,即特征信息,可以获知设置的特征信息是否正确,据此更新历史特征分析数据,并将更新的历史特征分析数据存储至应用库中,以使得对后续新上传发布的文件能够更加准确地调整特征分类,形成更加准确的特征信息。
参考图9,本发明还提供一种算力网络原生应用管控系统,包括:
应用发布模块,用于获取应用的文件数据以及配置信息;
应用分析模块,用于分析所述文件数据以及所述配置信息,划分计算单元以及生成类型标签;
单元分发模块,用于根据各个所述计算单元的所述类型标签,确定匹配算力节点,将所述计算单元发送至与所述匹配算力节点关联的单元库中;
依赖分析模块,用于分析所述计算单元的依赖关系,生成依赖信息发送至单元库中;
发布验证模块,用于基于所述计算单元验证所述应用的运行状态;
构建分析模块,用于生成构建指令;
构建执行模块,用于根据所述构建指令,使目标算力节点基于所述计算单元构建计算运行单元;
构建验证模块,用于验证所述计算运行单元的运行状态;
运行分析模块,用于根据所述计算运行单元的运行状态信息,获取运行分析结果;
运行优化模块,用于根据所述运行分析结果以及预设优化策略信息,生成优化调整信息;
所述应用发布模块、所述应用分析模块、所述单元分发模块、所述依赖分析模块、所述发布验证模块、所述构建分析模块、所述构建执行模块、所述构建验证模块、所述运行分析模块以及所述运行优化模块之间相互配合,能够实现如上述的一种算力网络原生应用管控方法。
可以理解的是,应用发布模块、应用分析模块、单元分发模块、依赖分析模块、发布验证模块、构建分析模块、构建执行模块、构建验证模块、运行分析模块、运行优化模块可以与上述一种算力网络原生应用管控方法的步骤相互参考对照。
应用发布模块、应用分析模块、单元分发模块、依赖分析模块、发布验证模块、构建分析模块、构建执行模块、构建验证模块、运行分析模块、运行优化模块可以是分别设置在不同设备中的实施方式,亦可以是设置在同一设备中的实施方式。
本发明还提供一种电子设备的实体结构示意图,如图10所示,该电子设备可以包括:处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840,其中,处理器810,通信接口820,存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令,以执行上述的一种算力网络原生应用管控方法。
本发明提供的一种电子设备,具体可以是计算机、云平台设备等与算力网络连接的设备。
另一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的一种算力网络原生应用管控方法。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个、三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种算力网络原生应用管控方法,其特征在于,包括:
获取应用的文件数据以及配置信息,所述文件数据包括多个文件;
根据所述文件数据以及所述配置信息,对所述文件进行分组形成计算单元,生成与所述计算单元对应的类型标签,所述类型标签表征所述计算单元需要的算力类型;
根据各个所述计算单元的所述类型标签,确定匹配算力节点,将所述计算单元发送至与所述匹配算力节点关联的单元库中,所述匹配算力节点的类型与所述类型标签对应;
响应于用户应用需求信息,生成各个所述计算单元对应的构建指令,所述构建指令用于部署所述计算单元至目标算力节点;
发送各个所述构建指令以使所述目标算力节点基于所述计算单元构建计算运行单元;
其中,各个所述计算运行单元用于实现所述应用的功能;
在所述根据各个所述计算单元的所述类型标签,确定匹配算力节点,将所述计算单元发送至与所述匹配算力节点关联的单元库中之后,还包括:
分析所述计算单元对所述文件的依赖关系,生成依赖信息;
根据所述依赖信息,使所述计算单元对应的所述单元库获取依赖的所述文件;
在所述根据所述依赖信息,使所述计算单元对应的所述单元库获取依赖的所述文件之后,还包括:
生成测试验证指令,将所述测试验证指令发送至各个所述计算单元对应的所述匹配算力节点以在所述匹配算力节点中形成测试运行单元;
根据所述配置信息,配置各个所述测试运行单元,获取测试运行结果;
根据所述测试运行结果,当运行异常时,生成第一错误反馈信息,当运行正常时,生成自动验证脚本存储至所述应用库中;
其中,所述测试验证指令用于使所述匹配算力节点从关联的所述单元库中获取所述计算单元并进行编译和运行形成所述测试运行单元。
2.根据权利要求1所述的一种算力网络原生应用管控方法,其特征在于,所述获取应用的文件数据以及配置信息,包括:
获取所述文件数据以及所述配置信息;
根据预设的安全规则库与病毒库,检测所述文件数据的安全性,获取安全检测结果;
当所述安全检测结果为数据安全时,检查所述文件数据的完整性,获取完整检测结果;
当所述完整检测结果为数据完整时,将所述文件数据与所述配置信息存储至应用库中。
3.根据权利要求2所述的一种算力网络原生应用管控方法,其特征在于,所述根据所述文件数据以及所述配置信息,对所述文件进行分组形成计算单元,生成与所述计算单元对应的类型标签,包括:
从所述应用库中获取历史特征分析数据;
根据所述文件数据,获取类型设置信息,所述类型设置信息表征用户设定所述文件的特征分类;
根据所述类型设置信息,初始化所述文件对应的特征分类;
根据所述历史特征分析数据,分析所述文件以调整所述特征分类形成特征信息;
根据所述特征信息以及所述文件之间的关联程度,对所述文件进行划分形成计算单元,生成与所述计算单元对应的类型标签。
4.根据权利要求1所述的一种算力网络原生应用管控方法,其特征在于,所述响应于用户应用需求信息,生成各个所述计算单元对应的构建指令,包括:
根据所述用户应用需求信息,确定应用关联的所述计算单元以及所述配置信息;
根据所述计算单元以及对应的所述匹配算力节点,生成部署信息;
根据所述部署信息以及所述配置信息,生成所述构建指令;
其中,所述构建指令包括计算单元标识码、运行配置信息、目标算力节点标识码以及调用关系信息。
5.根据权利要求4所述的一种算力网络原生应用管控方法,其特征在于,在所述根据所述部署信息以及所述配置信息,生成所述构建指令之前,还包括:
获取用户自定义部署信息,所述自定义部署信息表征用户指定所述计算单元部署的算力节点;
根据所述用户自定义部署信息,更新所述部署信息。
6.根据权利要求1所述的一种算力网络原生应用管控方法,其特征在于,在所述发送各个所述构建指令以使所述目标算力节点基于所述计算单元构建计算运行单元之后,还包括:
获取各个所述计算运行单元的运行状态信息;
根据所述运行状态信息,获取运行分析结果;
根据所述运行分析结果以及预设优化策略信息,生成优化调整信息;
将所述优化调整信息发送至对应的所述计算运行单元;
其中,所述优化调整信息用于调整所述计算运行单元的运行参数。
7.一种算力网络原生应用管控系统,其特征在于,包括:
应用发布模块,用于获取应用的文件数据以及配置信息;
应用分析模块,用于分析所述文件数据以及所述配置信息,划分计算单元以及生成类型标签;
单元分发模块,用于根据各个所述计算单元的所述类型标签,确定匹配算力节点,将所述计算单元发送至与所述匹配算力节点关联的单元库中;
依赖分析模块,用于分析所述计算单元的依赖关系,生成依赖信息发送至单元库中;
发布验证模块,用于基于所述计算单元验证所述应用的运行状态;
构建分析模块,用于生成构建指令;
构建执行模块,用于根据所述构建指令,使目标算力节点基于所述计算单元构建计算运行单元;
构建验证模块,用于验证所述计算运行单元的运行状态;
运行分析模块,用于根据所述计算运行单元的运行状态信息,获取运行分析结果;
运行优化模块,用于根据所述运行分析结果以及预设优化策略信息,生成优化调整信息;
所述应用发布模块、所述应用分析模块、所述单元分发模块、所述依赖分析模块、所述发布验证模块、所述构建分析模块、所述构建执行模块、所述构建验证模块、所述运行分析模块以及所述运行优化模块之间相互配合,能够实现如权利要求1至6任一权利要求所述的一种算力网络原生应用管控方法。
8.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一权利要求所述的一种算力网络原生应用管控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410138244.XA CN117687798B (zh) | 2024-02-01 | 2024-02-01 | 一种算力网络原生应用管控方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410138244.XA CN117687798B (zh) | 2024-02-01 | 2024-02-01 | 一种算力网络原生应用管控方法、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117687798A CN117687798A (zh) | 2024-03-12 |
CN117687798B true CN117687798B (zh) | 2024-05-10 |
Family
ID=90137456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410138244.XA Active CN117687798B (zh) | 2024-02-01 | 2024-02-01 | 一种算力网络原生应用管控方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117687798B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111949394A (zh) * | 2020-07-16 | 2020-11-17 | 广州玖的数码科技有限公司 | 一种共享算力资源的方法、系统及存储介质 |
CN115543582A (zh) * | 2022-11-04 | 2022-12-30 | 联通(广东)产业互联网有限公司 | 超算算力网络统一调度方法、系统及设备 |
CN115658282A (zh) * | 2022-08-18 | 2023-01-31 | 江苏腾威云天科技有限公司 | 服务器算力管理分配方法、系统、网络设备和存储介质 |
CN115914392A (zh) * | 2022-11-14 | 2023-04-04 | 北京邮电大学 | 算力网络资源调度方法及系统 |
WO2023066084A1 (zh) * | 2021-10-22 | 2023-04-27 | 量子科技长三角产业创新中心 | 算力分配方法、装置及算力服务器 |
CN116501711A (zh) * | 2023-04-28 | 2023-07-28 | 山东省计算中心(国家超级计算济南中心) | 一种基于“存算分离”架构的算力网络任务调度方法 |
CN116909695A (zh) * | 2023-02-13 | 2023-10-20 | 中国移动通信集团设计院有限公司 | 基于区块链的算力网络的算力任务处理方法及系统 |
CN116910745A (zh) * | 2022-11-18 | 2023-10-20 | 中国移动通信集团浙江有限公司 | 基于可信执行环境的混合算力处理方法及装置 |
CN116962528A (zh) * | 2022-11-30 | 2023-10-27 | 中国移动通信集团重庆有限公司 | 网络算力的编排方法、装置、设备和计算机存储介质 |
CN117009072A (zh) * | 2023-06-21 | 2023-11-07 | 浪潮通信信息系统有限公司 | 算力网络场景下的异构任务迁移系统 |
CN117149295A (zh) * | 2023-07-25 | 2023-12-01 | 浪潮通信信息系统有限公司 | 算力接入方法、装置、电子设备及存储介质 |
CN117472555A (zh) * | 2022-07-20 | 2024-01-30 | 中国电信股份有限公司 | 算力资源分配方法、系统、装置、设备及存储介质 |
-
2024
- 2024-02-01 CN CN202410138244.XA patent/CN117687798B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111949394A (zh) * | 2020-07-16 | 2020-11-17 | 广州玖的数码科技有限公司 | 一种共享算力资源的方法、系统及存储介质 |
WO2023066084A1 (zh) * | 2021-10-22 | 2023-04-27 | 量子科技长三角产业创新中心 | 算力分配方法、装置及算力服务器 |
CN117472555A (zh) * | 2022-07-20 | 2024-01-30 | 中国电信股份有限公司 | 算力资源分配方法、系统、装置、设备及存储介质 |
CN115658282A (zh) * | 2022-08-18 | 2023-01-31 | 江苏腾威云天科技有限公司 | 服务器算力管理分配方法、系统、网络设备和存储介质 |
CN115543582A (zh) * | 2022-11-04 | 2022-12-30 | 联通(广东)产业互联网有限公司 | 超算算力网络统一调度方法、系统及设备 |
CN115914392A (zh) * | 2022-11-14 | 2023-04-04 | 北京邮电大学 | 算力网络资源调度方法及系统 |
CN116910745A (zh) * | 2022-11-18 | 2023-10-20 | 中国移动通信集团浙江有限公司 | 基于可信执行环境的混合算力处理方法及装置 |
CN116962528A (zh) * | 2022-11-30 | 2023-10-27 | 中国移动通信集团重庆有限公司 | 网络算力的编排方法、装置、设备和计算机存储介质 |
CN116909695A (zh) * | 2023-02-13 | 2023-10-20 | 中国移动通信集团设计院有限公司 | 基于区块链的算力网络的算力任务处理方法及系统 |
CN116501711A (zh) * | 2023-04-28 | 2023-07-28 | 山东省计算中心(国家超级计算济南中心) | 一种基于“存算分离”架构的算力网络任务调度方法 |
CN117009072A (zh) * | 2023-06-21 | 2023-11-07 | 浪潮通信信息系统有限公司 | 算力网络场景下的异构任务迁移系统 |
CN117149295A (zh) * | 2023-07-25 | 2023-12-01 | 浪潮通信信息系统有限公司 | 算力接入方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
算力网络架构与场景分析;黄光平;罗鉴;周建锋;;信息通信技术;20200815(第04期);全文 * |
黄光平 ; 罗鉴 ; 周建锋 ; .算力网络架构与场景分析.信息通信技术.2020,(第04期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN117687798A (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109739573B (zh) | 实现api接口调用的处理方法及装置、实现api接口的系统 | |
US9413604B2 (en) | Instance host configuration | |
CN111897541B (zh) | 一种云环境下自动化部署资源的软件交互平台及方法 | |
US9996331B1 (en) | Customized application state transition | |
US20120291132A1 (en) | System, method and program product for dynamically performing an audit and security compliance validation in an operating environment | |
US8966025B2 (en) | Instance configuration on remote platforms | |
CN112866333A (zh) | 基于云原生的微服务场景优化方法、系统、设备和介质 | |
EP4053699A1 (en) | Instance host configuration | |
US20170123777A1 (en) | Deploying applications on application platforms | |
US10013340B1 (en) | Testing in virtualized computing environments | |
US10949216B2 (en) | Support for third-party kernel modules on host operating systems | |
CN111045751B (zh) | 多服务配置链式处理方法及装置 | |
US20190050209A1 (en) | Method and system to develop, deploy, test, and manage platform-independent software | |
Chardet et al. | Toward safe and efficient reconfiguration with concerto | |
US20230418623A1 (en) | Application remodeling method, system, cluster, medium, and program product | |
Harichane et al. | KubeSC‐RTP: Smart scheduler for Kubernetes platform on CPU‐GPU heterogeneous systems | |
EP3724776A1 (en) | Method, function manager and arrangement for handling function calls | |
CN117687798B (zh) | 一种算力网络原生应用管控方法、系统及存储介质 | |
CN113535220B (zh) | 一种代码包管理方法和装置 | |
US11893380B2 (en) | Super bundles for software-defined datacenter upgrades | |
CN116185740A (zh) | 方案测试方法、装置、计算机设备和存储介质 | |
CN110297706A (zh) | 一种基于Eureka-Server项目的下线方法 | |
CN113515293B (zh) | 一种管理DevOps工具链的方法和系统 | |
US12033235B2 (en) | Offload server, offload control method, and offload program | |
CN114296883A (zh) | 一种轻载虚拟化网络实验行为仿真器构建和调度方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |