CN116700991A - 基于算力网络的资源池的规划方法、装置、设备及介质 - Google Patents
基于算力网络的资源池的规划方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116700991A CN116700991A CN202310822428.3A CN202310822428A CN116700991A CN 116700991 A CN116700991 A CN 116700991A CN 202310822428 A CN202310822428 A CN 202310822428A CN 116700991 A CN116700991 A CN 116700991A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- type
- service
- theme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013439 planning Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 claims abstract description 98
- 238000012216 screening Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 230000007774 longterm Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 235000019633 pungent taste Nutrition 0.000 description 3
- 238000013499 data model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例提供了一种基于算力网络的资源池的规划方法、装置、电子设备及存储介质，涉及大数据领域。该方法包括：获得业务主题的综合规划信息；对于每个数据分层，根据业务主题在数据分层的规划信息、在一个业务周期内规划的初始数据量，确定业务主题在数据分层的目标数据量，并从业务主题相应的业务区域关联的存储资源节点中筛选出与业务主题在数据分层的目标数据量相匹配的至少一个目标存储节点，从至少一个目标存储节点中筛选出与各类型的应用关联的至少一个预设任务相匹配的目标计算节点；根据目标存储节点和目标计算节点创建业务主题的资源池。本申请实施例针对业务主题创建资源池，可面向业务主题的各类应用共享算力服务，并实现“一次申请、长期占有”的目的。
Description
技术领域
本申请涉及大数据技术领域，具体而言，本申请涉及一种基于算力网络的资源池的规划方法、装置、电子设备及存储介质。
背景技术
算力网络作为一项新兴技术，在标准路线、体系架构等方面仍处于起步阶段。从标准界来看，ITU-T、CCSA等组织主要围绕算网自身架构及能力的完整性进行研究，与其它系统交互还有待收敛明晰。从产业界来看，2019至今中国联通、中国移动陆续发布了算力网络相关白皮书，如提到算力封装指通过对算力网络包含的硬件资源、软件资源、功能资源等原子化的基础资源进行的统一封装，从而构建一致化的计算引擎和存储引擎。在大数据处理场景下，由大数据应用去调用计算引擎和存储引擎即可以实现对大数据的处理。
然而，该白皮书尚未针对如下问题提出相应的解决方案：
1.如何构建大数据处理场景下的算力开放和交互模式，以支撑面向大数据应用下算力服务的高效共享。
2.如何基于大数据处理场景针对算力的“一次申请，长期占有”特点下的算力资源的便捷支撑。
发明内容
本申请实施例的目的旨在能解决上述技术问题之一。
一方面，本申请实施例提供了一种基于算力网络的资源池的规划方法，该方法包括：
获得业务主题的综合规划信息，综合规划信息包括规划的至少一个类型的应用、在至少一个数据分层的规划信息、在一个业务周期内规划的初始数据量、业务主题所属的业务区域，以及各类型的应用关联的至少一个预设任务；对于每个数据分层，根据业务主题在数据分层的规划信息、在一个业务周期内规划的初始数据量，确定业务主题在数据分层的目标数据量，并从业务主题相应的业务区域关联的存储资源节点中筛选出与业务主题在数据分层的目标数据量相匹配的至少一个目标存储节点；从至少一个目标存储节点中筛选出与各类型的应用关联的至少一个预设任务相匹配的目标计算节点；根据目标存储节点和目标计算节点创建业务主题的资源池。
可选的，综合规划信息还包括各类型的应用在一个周期内规划的数据量占比；对于每个数据分层，业务主题在数据分层的规划信息包括第一类规划参数、第二类规划参数和第三类规划参数；业务主题在一个周期内规划的初始数据量为至少一个数据类型的初始数据量之和。
其中，根据业务主题在数据分层的规划信息、在一个业务周期内规划的初始数据量，确定业务主题在数据分层的目标数据量，包括：
根据各数据类型在数据分层的预设权重对各数据类型的初始数据量进行加权处理，获得业务主题在数据分层的初始数据量。对于每个类型的应用，根据业务主题在数据分层的初始数据量、该类型的应用相应的数据量占比、类型的应用基于数据分层的各规划参数相应的权重，确定该类型的应用在数据分层的目标数据量。根据业务主题各类型的应用在数据分层的目标数据量，获得业务主题在数据分层的目标数据量。
可选的，该类型的应用基于数据分层的各规划参数相应的权重，包括：
对于第一类规划参数、第二类规划参数和第三类规划参数中每类规划参数，与该类型的应用关联的预设对应关系中该类规划参数对应的权重；预设对应关系包括预设的多个参数范围，以及每个参数范围对应的权重。
可选的，每个数据分层还包括数据分层的数据热度。
其中，从业务主题相应的业务区域关联的存储资源节点中筛选出与业务主题在数据分层的目标数据量相匹配的至少一个目标存储节点，包括：
根据业务区域将算力网络中的预设资源节点分为第一类资源节点、第二类资源节点和第三类资源节点；预设资源节点为提供对象存储功能的节点；第一类资源节点为业务区域内的资源节点，第二类资源节点为与业务区域相距第一预设距离的区域内的资源节点，第三类资源节点为与业务区域相距第二预设距离的区域内的资源节点；第二预设距离比第一预设距离大。根据数据分层的数据热度从第一类资源节点、第二类资源节点和第三类资源节点中确定与数据分层的目标数据量相匹配的至少一个目标存储节点。
可选的，对于每个数据分层，业务主题在数据分层的规划信息包括数据表。
其中，从至少一个目标存储节点中筛选出与各类型的应用关联的至少一个预设任务相匹配的目标计算节点，包括：
对于每项预设任务，获得用于存储预设任务的至少一个数据表的存储节点，将获得的存储节点中存储的数据表的数量最多的存储节点作为与预设任务相匹配的目标计算节点。
可选的，根据目标存储节点和目标计算节点创建业务主题的资源池，包括：
发送第一创建指令和第二创建指令，第一创建指令用于指示在目标存储节点上创建存储引擎，第二创建指令用于指示在目标计算节点上创建计算引擎。将包括存储引擎的目标存储节点，以及包括计算引擎的目标计算节点进行组合，获得业务主题的资源池。
另一方面，本申请实施例提供了一种基于算力网络的资源池的规划装置，该装置包括：
获得模块，用于获得业务主题的综合规划信息，综合规划信息包括规划的至少一个类型的应用、在至少一个数据分层的规划信息、在一个业务周期内规划的初始数据量、业务主题所属的业务区域，以及各类型的应用关联的至少一个预设任务。
确定模块，用于对于每个数据分层，根据业务主题在数据分层的规划信息、在一个业务周期内规划的初始数据量，确定业务主题在数据分层的目标数据量，并从业务主题相应的业务区域关联的存储资源节点中筛选出与业务主题在数据分层的目标数据量相匹配的至少一个目标存储节点。
筛选模块，用于从至少一个目标存储节点中筛选出与各类型的应用关联的至少一个预设任务相匹配的目标计算节点。
创建模块，用于根据目标存储节点和目标计算节点创建业务主题的资源池。
本申请实施例还提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上的计算机程序，其特征在于，处理器执行计算机程序以本申请实施例提供的一种基于算力网络的资源池的规划方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现本申请实施例提供的一种基于算力网络的资源池的规划方法的步骤。
本申请实施例提供的技术方案带来的有益效果是：
在获得业务主题的综合规划信息之后，在每个数据分层，就可以根据数据分层的规划信息等确定业务主题在各个数据分层的目标数据量。基于业务主题关联的业务区域确定与各数据分层的目标数据量相匹配的目标存储节点。进一步地，从至少一个目标存储节点中筛选出与各类型的应用，以及目标计算节点。基于确定的目标计算节点和目标存储节点就可以创建业务主题的资源池。由于资源池中的计算节点和存储节点都是按照业务主题的综合规划信息进行汇聚所得，因此其中的资源是能够适配业务主题的各类应用的实际运行需要。在业务主题的各类应用运行时，都可以从资源池中获取相匹配的存储节点和计算节点，从而实现各类应用对算力服务的高效共享。另外，通过为单个业务划定资源池的方式，也可以实现对算力资源的“一次申请、长期占有”的目的。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种基于算力网络的资源池的规划方法的流程示意图；
图2为本申请实施例提供的数据分层和数据热度的对应关系示意图；
图3为本申请实施例提供的一种使用资源池过程的交互过程示意图；
图4为本申请实施例提供的一种基于算力网络的资源池的规划装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”指示实现为“A”，或者实现为“A”，或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍和解释：
算力网络，一种对边缘节点、终端节点、云节点等各级节点的算力资源进行整合、组织和调度的网络。其中，算力资源具体可以包括：节点中的存储资源，如硬盘资源，以及节点中的计算资源，如CPU资源、GPU资源；对基础资源进行封装所得的计算服务资源和存储服务资源。其中，计算服务资源包括：Spark(一种大数据处理技术)、MapReduce(一种大数据处理技术)等；其中，存储服务资源包括：Hbase(一个分布式的、面向列的开源数据库)和Hudi(下一代数仓解决方案)等。
PaaS，Platform as a Service，把服务器平台作为一种服务提供的上业务模式，通过网络进行程序提供的服务称之为SaaS(Software as a Service)，而云计算时代相应的服务器平台或者开发环境作为服务进行提供就成为了PaaS。
下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
本申请实施例提供了一种基于算力网络的资源池的规划方法，如图1所示，该方法包括S110～S140。
S110，获得业务主题的综合规划信息，综合规划信息包括规划的至少一个类型的应用、在至少一个数据分层的规划信息、在一个业务周期内规划的初始数据量、业务主题关联的业务区域，以及各类型的应用关联的至少一个预设任务。
具体而言，在业务主题的规划期间，可规划与业务主题相适配的各类型的应用。在规划应用时，包括针对一个应用规划多个数据模型，每个数据模型对应一张数据表。其中，业务周期的初始数据量，则是基于各应用相关的数据表在该业务周期内产生的数据量。
可选的，一个业务主题可以包括如下类型的应用：周期报表应用，详单查询应用，KPI/实时分析应用。需要说明的是，本申请中基于业务所规划的应用，一般指大数据应用。
可选的，在业务主题的规划期间，可以按照四层架构模型对获得业务主题的4个数据分层：明细数据层(ODS层)，保持数据原貌不做任何修改，保留历史数据，储存起到备份数据作用；轻度汇总数据层(DWD层)，对ODS层的数据进行数据清洗、脱敏、维度退化和压缩；高价值高维度汇总数据层(DW层)，在DWD层的数据基础上，做一些轻微的聚合操作；应用数据层(ST层)，对DW层的数据进行汇总，并提供给应用。
S120，对于每个数据分层，根据业务主题在数据分层的规划信息、在一个业务周期内规划的初始数据量，确定业务主题在数据分层的目标数据量，并从业务主题相应的业务区域关联的存储资源节点中筛选出与业务主题在数据分层的目标数据量相匹配的至少一个目标存储节点。
S130，从至少一个目标存储节点中筛选出与各类型的应用关联的至少一个预设任务相匹配的目标计算节点。
S140，根据目标存储节点和目标计算节点创建业务主题的资源池。
本申请还提供了一种可选的实施例，以阐述业务主题在各数据分层的目标数据量的确定过程。该实施例包括如下步骤Sa1～Sa3。
Sa1，根据各数据类型在数据分层的预设权重对各数据类型的初始数据量进行加权处理，获得业务主题在数据分层的初始数据量。
其中，综合规划信息还包括各类型的应用在一个周期内规划的数据量占比。
其中，业务主题在一个周期内规划的初始数据量为至少一个数据类型的初始数据量之和。其中，至少一个数据类型包括结构化的数据、非结构化的数据。每种类型的数据在一个数据分层所占的权重不同。
Sa2，对于每个类型的应用，根据业务主题在数据分层的初始数据量、该类型的应用相应的数据量占比、该类型的应用基于数据分层的各规划参数相应的权重，确定该类型的应用在数据分层的目标数据量。
其中，对于每个数据分层，业务主题在该数据分层的规划信息还包括第一类规划参数、第二类规划参数和第三类规划参数。其中，第一类规划参数就是业务主题在该数据分层规划的数据表的数量；第二类规划参数就是业务主题在该数据分层规划的数据表中数据冗余度，数据冗余度通过各数据表中冗余字段的数量、各冗余字段的冗余次数获得；第三类规划参数就业务主题在该数据分层规划的数据访问要求，数据访问要求表征各数据表的访问速度等。
在一个实现方式中，该类型的应用基于数据分层的各规划参数相应的权重，包括：对于第一类规划参数、第二类规划参数和第三类规划参数中每类规划参数，与该类型的应用关联的预设对应关系中该类规划参数对应的权重；预设对应关系包括预设的多个参数范围，以及每个参数范围对应的权重。
在一个示例中，以DW层、周期报表应用为例。在一个业务周期内，规划的初始数据量中，结构化数据的数量为W1，非结构化数据的数量为W2，则业务主题在一个业务周期内的初始数据量为：W1+W2，各自的权重分别为Q1和Q2，则业务主题在DW层的初始数据量为：W1*Q1+W2*Q2。进一步地，周期报表的数据量占比为Q3，而周期报表应用在DW层基于第一类规划参数、第二类规划参数和第三类规划参数各自的权重分别为：Q3、Q4、Q5。则在一个业务周期内，周期报表在DW层的目标数据量为：(W1*Q1+W2*Q2)*Q3*(Q3+Q4+Q5)/3。
Sa3，根据业务主题各类型的应用在数据分层的目标数据量，获得业务主题在数据分层的目标数据量。
具体而言，将各业务类型的应用在该数据分层的目标数据量进行相加，就可以得到业务主题在数据分层的目标数据量。
本申请还提供了一种可选的实施例，以阐述如何确定业务主题在该数据分层的存储节点。该实施例包括如下步骤Sb1～Sb2。
Sb1，根据业务区域将算力网络中的预设资源节点分为第一类资源节点、第二类资源节点和第三类资源节点；预设资源节点为提供对象存储功能的节点；第一类资源节点为业务区域内的资源节点，第二类资源节点为与业务区域相距第一预设距离的区域内的资源节点，第三类资源节点为与业务区域相距第二预设距离的区域内的资源节点。其中，第二预设距离要比第一预设距离大。
其中，算力网络中各资源节点都带有标识，各标识可以表征相应资源节点的一项或者多项功能。
可选的，可以按照数据热度对各数据分层进行分类，如图2示出了数据分层和数据热度的对应关系。如，ODS层的数据的访问热度较低，属于冷数据；DWD层、DW层的数据的访问热度适中，但不是很高，属于温数据；ST层的数据的访问热度较高，属于热数据。可以按照数据热度为各数据分层筛选目标存储节点。如，热数据的存储节点的筛选范围为业务区域内的资源节点，温数据的存储节点的筛选范围可以为与业务区域相距第一预设距离的区域内的资源节点，冷数据的存储节点的筛选范围可以为与业务区域相距第二预设距离的区域内的资源节点。
在一个示例中，业务区域为浙江市，则相距第一预设距离的区域可以为湖北省、贵州省等中部地区，相距第二预设距离的区域可以为新疆省等西部偏远地区。
Sb2，根据数据分层的数据热度从第一类资源节点、第二类资源节点和第三类资源节点中确定与数据分层的目标数据量相匹配的至少一个目标存储节点。
以热数据相应的数据分层，可从第一类资源节点中筛选目标资源节点。
在该实施例的一种实现方式中，从至少一个目标存储节点中筛选出与各类型的应用关联的至少一个预设任务相匹配的目标计算节点，包括：
对于每项预设任务，获得用于存储预设任务的至少一个数据表的存储节点，将获得的存储节点中存储的数据表的数量最多的存储节点作为与预设任务相匹配的目标计算节点。
预设任务可以为应用中需要大量计算的任务，此类任务由于大量计算会经常访问数据表，因此尽可能的将计算节点和存储节点设置在一起。
本申请还提供了一种实施例，用于阐述如何创建资源池。其中，该实施例包括如下步骤Sc1～Sc2。
Sc1，发送第一创建指令和第二创建指令，第一创建指令用于指示在目标存储节点上创建存储引擎，第二创建指令用于指示在目标计算节点上创建计算引擎。
具体而言，向目标存储节点发送携带存储引擎安装包或者安装包的下载地址的第一创建指令，以便目标存储节点根据该指令，安装存储引擎。如，Hbase、Hudi等。当目标存储节点上存在存储引擎时，可直接调用该存储节点执行存储的操作。
Sc2，将包括存储引擎的目标存储节点，以及包括计算引擎的目标计算节点进行组合，获得业务主题的资源池。
通过上述实施例，完成了业务主题的资源池的一次规划。伴随着业务主题下各类数据的持续接入和业务逻辑的更新，PaaS平台将基于该业务主题的资源池的使用情况，将继续从算力网络中批发资源或者释放资源，从而实现对资源池的算力分配的持续优化，提升效率。
在创建资源池之后，就是如何使用资源的过程。为了理解资源池的使用效果，本申请实施例还提供了一种使用资源池过程的交互过程示意图，如图3所示。
本示例中，在应用运行阶段，网状协同调度枢纽将任务的资源请求信息发送给PaaS，由PaaS根据该应用业务主题的资源池是否存在可用的资源。如果存在，则从资源池中获得可用的资源，以支撑应用的任务的执行。应用在使用完之后，释放资源池中的资源。接下来，通过步骤S1001～S1006对该过程进行详细的阐述。
S1001，创建应用的执行实例。
具体而言，在应用部署上线过程中将应用的调度触发规则向网状协同调度枢纽进行注册，生成应用执行实例。由网状协同调度枢纽依据应用执行实例下各任务的触发时机(时间触发、依赖触发等)进行执行。
接下来，以任务1的执行过程为例进行详细说明。
S1002，网状协同调度枢纽申请资源。
具体而言，网状协同调度枢纽向PaaS发出任务1所需要计算资源、存储资源、执行策略及策略类型等请求信息。
S1003，PaaS进行资源申请评估。
具体而言，依据任务1所属应用归属业务主题的整体资源使用率，以及其它业务相似任务的资源使用信息，对任务1的资源申请进行初步评估，返回资源申请调整建议。
S1004，PaaS进行资源分配管理。
依据本次计划分配的资源量，首先对业务主题的资源池内的资源进行识别，如果有可用资源，将资源地址返回给网状协同调度枢纽，并对相关资源进行标记；
S1005，网状协同调度枢纽开始任务的运行调度。
网状协同调度枢纽将本次数据处理任务脚本提交到计算引擎，并依据存储地址进行数据存储信息配置，实现本次任务处理；
S1006，PaaS释放资源。
在本次任务处理完成后，将从资源池中获取的资源重新归还资源池。
本申请实施例还提供了一种基于算力网络的资源池的规划装置400，如图4所示。其中，装置400包括：
获得模块410，用于获得业务主题的综合规划信息，综合规划信息包括规划的至少一个类型的应用、在至少一个数据分层的规划信息、在一个业务周期内规划的初始数据量、业务主题所属的业务区域，以及各类型的应用关联的至少一个预设任务。
确定模块420，用于对于每个数据分层，根据业务主题在数据分层的规划信息、在一个业务周期内规划的初始数据量，确定业务主题在数据分层的目标数据量，并从业务主题相应的业务区域关联的存储资源节点中筛选出与业务主题在数据分层的目标数据量相匹配的至少一个目标存储节点。
筛选模块430，用于从至少一个目标存储节点中筛选出与各类型的应用关联的至少一个预设任务相匹配的目标计算节点。
创建模块440，用于根据目标存储节点和目标计算节点创建业务主题的资源池。
本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现基于算力网络的资源池的规划方法的步骤，与现有技术相比：针对业务主题创建资源池，可面向业务主题的各类应用共享算力服务，并实现“一次申请、长期占有”的目的。
参见图5，本申请实施例还提供了一种电子设备具体示例，图5所示的电子设备5000包括：处理器5001和存储器5003。其中，处理器5001和存储器5003相连，如通过总线5002相连。可选地，电子设备5000还可以包括收发器5004，收发器5004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器5004不限于一个，该电子设备5000的结构并不构成对本申请实施例的限定。
处理器5001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器5001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线5002可包括一通路，在上述组件之间传送信息。总线5002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器5003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器5003用于存储执行本申请实施例的计算机程序，并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的计算机程序，以实现前述方法实施例所示的步骤。
其中，电子设备包括但不限于：服务器。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。
Claims (9)
1.一种基于算力网络的资源池的规划方法，其特征在于，包括：
获得业务主题的综合规划信息，所述综合规划信息包括规划的至少一个类型的应用、在至少一个数据分层的规划信息、在一个业务周期内规划的初始数据量、所述业务主题所属的业务区域，以及各类型的应用关联的至少一个预设任务；
对于每个数据分层，根据所述业务主题在所述数据分层的规划信息、在一个业务周期内规划的初始数据量，确定所述业务主题在所述数据分层的目标数据量，并从所述业务主题相应的业务区域关联的存储资源节点中筛选出与所述业务主题在所述数据分层的目标数据量相匹配的至少一个目标存储节点；
从所述至少一个目标存储节点中筛选出与各类型的应用关联的至少一个预设任务相匹配的目标计算节点；
根据所述目标存储节点和所述目标计算节点创建所述业务主题的资源池。
2.根据权利要求1所述的方法，其特征在于，所述综合规划信息还包括各类型的应用在一个周期内规划的数据量占比；
对于每个数据分层，所述业务主题在所述数据分层的规划信息包括第一类规划参数、第二类规划参数和第三类规划参数；
所述业务主题在一个周期内规划的初始数据量为至少一个数据类型的初始数据量之和；
所述根据所述业务主题在所述数据分层的规划信息、在一个业务周期内规划的初始数据量，确定所述业务主题在所述数据分层的目标数据量，包括：
根据各数据类型在所述数据分层的预设权重对各数据类型的初始数据量进行加权处理，获得所述业务主题在所述数据分层的初始数据量；
对于每个类型的应用，根据所述业务主题在所述数据分层的初始数据量、所述类型的应用相应的数据量占比、所述类型的应用基于所述数据分层的各规划参数相应的权重，确定所述类型的应用在所述数据分层的目标数据量；
根据所述业务主题各类型的应用在所述数据分层的目标数据量，获得所述业务主题在所述数据分层的目标数据量。
3.根据权利要求2所述的方法，其特征在于，所述类型的应用基于所述数据分层的各规划参数相应的权重，包括：
对于所述第一类规划参数、所述第二类规划参数和所述第三类规划参数中每类规划参数，与所述类型的应用关联的预设对应关系中该类规划参数对应的权重；所述预设对应关系包括预设的多个参数范围，以及每个参数范围对应的权重。
4.根据权利要求1所述的方法，其特征在于，每个数据分层还包括所述数据分层的数据热度；
所述从所述业务主题相应的业务区域关联的存储资源节点中筛选出与所述业务主题在所述数据分层的目标数据量相匹配的至少一个目标存储节点，包括：
根据所述业务区域将算力网络中的预设资源节点分为第一类资源节点、第二类资源节点和第三类资源节点；所述预设资源节点为提供对象存储功能的节点；所述第一类资源节点为所述业务区域内的资源节点，所述第二类资源节点为与所述业务区域相距第一预设距离的区域内的资源节点，所述第三类资源节点为与所述业务区域相距第二预设距离的区域内的资源节点；所述第二预设距离比所述第一预设距离大；
根据所述数据分层的数据热度从所述第一类资源节点、所述第二类资源节点和所述第三类资源节点中确定与所述数据分层的目标数据量相匹配的至少一个目标存储节点。
5.根据权利要求1所述的方法，其特征在于，对于每个数据分层，所述业务主题在所述数据分层的规划信息包括数据表；
所述从所述至少一个目标存储节点中筛选出与各类型的应用关联的至少一个预设任务相匹配的目标计算节点，包括：
对于每项预设任务，获得用于存储所述预设任务的至少一个数据表的存储节点，将获得的存储节点中存储的数据表的数量最多的存储节点作为与所述预设任务相匹配的目标计算节点。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标存储节点和所述目标计算节点创建所述业务主题的资源池，包括：
发送第一创建指令和第二创建指令，所述第一创建指令用于指示在所述目标存储节点上创建存储引擎，所述第二创建指令用于指示在所述目标计算节点上创建计算引擎；
将包括所述存储引擎的目标存储节点，以及包括所述计算引擎的目标计算节点进行组合，获得所述业务主题的资源池。
7.一种基于算力网络的资源池的规划装置，其特征在于，包括：
获得模块，用于获得业务主题的综合规划信息，所述综合规划信息包括规划的至少一个类型的应用、在至少一个数据分层的规划信息、在一个业务周期内规划的初始数据量、所述业务主题所属的业务区域，以及各类型的应用关联的至少一个预设任务；
确定模块，用于对于每个数据分层，根据所述业务主题在所述数据分层的规划信息、在一个业务周期内规划的初始数据量，确定所述业务主题在所述数据分层的目标数据量，并从所述业务主题相应的业务区域关联的存储资源节点中筛选出与所述业务主题在所述数据分层的目标数据量相匹配的至少一个目标存储节点；
筛选模块，用于从所述至少一个目标存储节点中筛选出与各类型的应用关联的至少一个预设任务相匹配的目标计算节点；
创建模块，用于根据所述目标存储节点和所述目标计算节点创建所述业务主题的资源池。
8.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-6任一项所述的基于算力网络的资源池的规划方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的基于算力网络的资源池的规划方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310822428.3A CN116700991A (zh) | 2023-07-05 | 2023-07-05 | 基于算力网络的资源池的规划方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310822428.3A CN116700991A (zh) | 2023-07-05 | 2023-07-05 | 基于算力网络的资源池的规划方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116700991A true CN116700991A (zh) | 2023-09-05 |
Family
ID=87841128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310822428.3A Pending CN116700991A (zh) | 2023-07-05 | 2023-07-05 | 基于算力网络的资源池的规划方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116700991A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117667602A (zh) * | 2024-01-31 | 2024-03-08 | 山东航天九通车联网有限公司 | 一种基于云计算在线服务算力优化方法和装置 |
-
2023
- 2023-07-05 CN CN202310822428.3A patent/CN116700991A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117667602A (zh) * | 2024-01-31 | 2024-03-08 | 山东航天九通车联网有限公司 | 一种基于云计算在线服务算力优化方法和装置 |
| CN117667602B (zh) * | 2024-01-31 | 2024-04-26 | 山东航天九通车联网有限公司 | 一种基于云计算在线服务算力优化方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gai et al. | Cost-aware multimedia data allocation for heterogeneous memory using genetic algorithm in cloud computing | |
| CN110716744A (zh) | 一种数据流处理方法、系统和计算机可读存储介质 | |
| Belardinelli et al. | An efficient parallel implementation of cell mapping methods for MDOF systems | |
| CN116700991A (zh) | 基于算力网络的资源池的规划方法、装置、设备及介质 | |
| CN105991478A (zh) | 服务器资源分配方法及其系统 | |
| TWI686758B (zh) | 資料請求處理、詢問消息處理方法、裝置以及設備 | |
| Xingye et al. | Research on resource management for cloud computing based information system | |
| CN111767139A (zh) | 一种跨地域多数据中心资源云服务建模方法及系统 | |
| Tusa et al. | Microservices and serverless functions—lifecycle, performance, and resource utilisation of edge based real-time IoT analytics | |
| CN109726219A (zh) | 数据查询的方法及终端设备 | |
| CN112270083A (zh) | 一种多分辨建模与仿真方法及系统 | |
| CN115237455B (zh) | 应用管理方法及相关设备 | |
| CN110633128A (zh) | 一种基于Docker和Ceph的云平台电力系统分析计算方法 | |
| CN103268231B (zh) | 一种电力信息系统组件接口的实现系统及方法 | |
| Abase et al. | Locality sim: cloud simulator with data locality | |
| CN117376346A (zh) | 基于边缘计算与分布式计算的设备数据处理方法及装置 | |
| CN111339245B (zh) | 数据存储方法、装置、存储介质及设备 | |
| CN114691873A (zh) | 自动驾驶日志数据的语义化处理方法、装置及存储介质 | |
| CN103488792A (zh) | 云计算的pm2.5监测、存储、处理的方法 | |
| CN111708521A (zh) | 电力系统台区智能终端的软件构建方法及软件构建装置 | |
| TW201939401A (zh) | 多業務共用召回模式下的業務召回方法、系統和伺服器 | |
| CN116567686B (zh) | 数字孪生网络的构建方法、装置、设备、介质及程序产品 | |
| CN110019296A (zh) | 数据库查询脚本的生成方法、装置、存储介质及处理器 | |
| Khan et al. | Behavioral analysis of service composition patterns in ECBS Using petri-net-based approach | |
| CN114826994B (zh) | 用户环境回放方法、系统、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |