CN114091688A - 一种计算资源获取方法、装置、电子设备和存储介质 - Google Patents
一种计算资源获取方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114091688A CN114091688A CN202111411238.XA CN202111411238A CN114091688A CN 114091688 A CN114091688 A CN 114091688A CN 202111411238 A CN202111411238 A CN 202111411238A CN 114091688 A CN114091688 A CN 114091688A
- Authority
- CN
- China
- Prior art keywords
- operator
- resource
- information
- role
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 172
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 description 26
- 230000008676 import Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种计算资源获取方法、装置、电子设备和存储介质，所述方法包括：根据场景信息和训练样本数据，确定用于模型训练的拓扑信息；根据所述拓扑信息，获得所述拓扑信息包括的每个算子的算子资源信息；根据所述每个算子的算子资源信息，获得用于模型训练的目标资源信息。基于用户输入的场景信息和训练样本数据来确定用于模型训练的拓扑信息，后续计算拓扑信息中所包括的每个算子的算子资源信息，以及用于模型训练的目标资源信息，辅助用户完成模型训练对应的计算资源的配置，降低人为因素带来的干扰，减小模型训练时所需的计算资源和用户配置的计算资源之间的偏差。
Description
技术领域
本申请涉及机器学习技术领域，具体涉及一种计算资源获取方法、装置、电子设备和存储介质。
背景技术
基于机器学习的算法模型具有充分训练后预测时间短，预测准确率高等优点，被广泛应用于各个领域中。
在算法模型的训练过程中，不同算法模型训练时所需要的计算资源会相应变化，上述用于模型训练的计算资源需用户手动配置，在人为因素的干扰下，使得算法模型训练时所需的计算资源和用户配置的计算资源之间的偏差较大，若配置的计算资源不足容易造成内存溢出，或者，若造成配置的计算资源大于所需资源，造成资源浪费。
发明内容
本申请实施例的目的在于提供一种计算资源获取方法、装置、电子设备和存储介质，用于解决算法模型训练时所需的计算资源和用户配置的计算资源之间的偏差较大的问题。
第一方面，本申请实施例提供一种计算资源获取方法，包括：
根据场景信息和训练样本数据，确定用于模型训练的拓扑信息；
根据所述拓扑信息，获得所述拓扑信息包括的每个算子的算子资源信息；
根据所述每个算子的算子资源信息，获得用于模型训练的目标资源信息。
可选的，所述根据所述拓扑信息，获得所述拓扑信息包括的每个算子的算子资源信息，包括：
根据所述拓扑信息，确定每个算子对应的资源框架信息；
根据所述每个算子对应的资源框架信息，计算所述每个算子的算子资源信息。
可选的，所述根据所述每个算子对应的资源框架信息，计算所述每个算子的算子资源信息，包括：
根据所述每个算子对应的资源框架信息，确定每个算子对应的至少一个框架角色信息；
根据所述每个算子对应的至少一个框架角色信息，计算所述每个算子的算子资源信息。
可选的，所述根据所述每个算子对应的至少一个框架角色信息，计算所述每个算子的算子资源信息，包括：
根据所述训练样本数据的训练样本量，确定所述每个算子的资源计算方式；
根据算子对应的至少一个框架角色信息，利用所述资源计算方式，计算所述算子包含的框架角色对应的角色资源；
根据所述算子包含的框架角色对应的角色资源，获得所述算子的算子资源信息。
可选的，所述根据算子对应的至少一个框架角色信息，利用所述算子计算方式，计算所述算子包含的框架角色对应的角色资源，包括：
所述框架角色信息包括默认计算资源信息、样本参数信息和批量导入参数信息；
在所述训练样本量小于或等于第一阈值的情况下，根据所述默认计算资源信息，获得所述框架角色对应的角色资源；
在所述训练样本量大于第一阈值且小于第二阈值的情况下，根据所述样本参数信息和所述训练样本量，获得所述框架角色对应的角色资源；
在所述训练样本量大于或等于第二阈值的情况下，根据所述批量导入参数信息，获得所述框架角色对应的角色资源。
可选的，所述资源框架信息包括框架标识，所述框架角色信息包括角色标识；
所述根据所述每个算子的算子资源信息，获得用于模型训练的目标资源信息，包括：
获取框架标识以及角色标识均相同的所有角色资源；
从获取到的所有角色资源中确定最大角色资源；
基于所述最大角色资源，获得用于模型训练的目标资源信息。
可选的，所述样本参数信息包括第一基础计算资源数据和样本系数；
所述在所述训练样本量大于第一阈值且小于第二阈值的情况下，根据所述样本参数信息和所述训练样本量，获得所述框架角色对应的角色资源，包括：
在所述训练样本量大于第一阈值且小于第二阈值的情况下，根据如下表达式获得所述框架角色对应的角色资源；
其中，RR为所述框架角色对应的角色资源，BC1为所述第一基础计算资源数据，CR为所述样本系数，DS为所述训练样本量。
可选的，所述批量导入参数信息包括第二基础计算资源数据和单批导入的样本数据量；
所述在所述训练样本量大于或等于第二阈值的情况下，根据所述批量导入参数信息，获得所述框架角色对应的角色资源，包括：
在所述训练样本量大于或等于第二阈值的情况下，根据如下表达式获得所述框架角色对应的角色资源；
其中，RR为所述框架角色对应的角色资源，BC2为所述第二基础计算资源数据，BS为所述单批导入的样本数据量。
可选的，所述根据场景信息和训练样本数据，确定用于模型训练的拓扑信息，包括：
以所述训练样本数据的训练样本量和所述场景信息作为检索条件，在信息库中进行检索，获得所述拓扑信息；
或者，
将所述训练样本量和所述场景信息输入预获取的工作流计算模型中，获得所述拓扑信息。
第二方面，本申请实施例提供一种计算资源获取装置，包括：
拓扑获取模块，用于根据场景信息和训练样本数据，确定用于模型训练的拓扑信息；
算子获取模块，用于根据所述拓扑信息，获得所述拓扑信息包括的每个算子的算子资源信息；
资源获取模块，用于根据所述每个算子的算子资源信息，获得用于模型训练的目标资源信息。
可选的，所述算子获取模块包括：
框架获取子模块，用于根据所述拓扑信息，确定每个算子对应的资源框架信息；
算子获取子模块，用于根据所述每个算子对应的资源框架信息，计算所述每个算子的算子资源信息。
可选的，所述算子获取子模块包括：
角色获取单元，根据所述每个算子对应的资源框架信息，确定每个算子对应的至少一个框架角色信息；
计算单元，根据所述每个算子对应的至少一个框架角色信息，计算所述每个算子的算子资源信息。
可选的，所述计算单元包括：
第一计算子单元，用于根据所述训练样本数据的训练样本量，确定所述每个算子的资源计算方式；
第二计算子单元，用于根据算子对应的至少一个框架角色信息，利用所述资源计算方式，计算所述算子包含的框架角色对应的角色资源；
第三计算子单元，用于根据所述算子包含的框架角色对应的角色资源，获得所述算子的算子资源信息。
可选的，所述第二计算子单元包括：
所述框架角色信息包括默认计算资源信息、样本参数信息和批量导入参数信息；
在所述训练样本量小于或等于第一阈值的情况下，根据所述默认计算资源信息，获得所述框架角色对应的角色资源；
在所述训练样本量大于第一阈值且小于第二阈值的情况下，根据所述样本参数信息和所述训练样本量，获得所述框架角色对应的角色资源；
在所述训练样本量大于或等于第二阈值的情况下，根据所述批量导入参数信息，获得所述框架角色对应的角色资源。
可选的，所述资源框架信息包括框架标识，所述框架角色信息包括角色标识；
所述资源获取模块包括：
获取框架标识以及角色标识均相同的所有角色资源；
从获取到的所有角色资源中确定最大角色资源；
基于所述最大角色资源，获得用于模型训练的目标资源信息。
可选的，所述样本参数信息包括第一基础计算资源数据和样本系数；
所述第二计算子单元包括：
在所述训练样本量大于第一阈值且小于第二阈值的情况下，根据如下表达式获得所述框架角色对应的角色资源；
其中，RR为所述框架角色对应的角色资源，BC1为所述第一基础计算资源数据，CR为所述样本系数，DS为所述训练样本量。
可选的，所述批量导入参数信息包括第二基础计算资源数据和单批导入的样本数据量；
所述第二计算子单元包括：
在所述训练样本量大于或等于第二阈值的情况下，根据如下表达式获得所述框架角色对应的角色资源；
其中，RR为所述框架角色对应的角色资源，BC2为所述第二基础计算资源数据，BS为所述单批导入的样本数据量。
可选的，所述拓扑获取模块，包括：
以所述训练样本数据的训练样本量和所述场景信息作为检索条件，在信息库中进行检索，获得所述拓扑信息；
或者，
将所述训练样本量和所述场景信息输入预获取的工作流计算模型中，获得所述拓扑信息。
第三方面，本申请实施例提供一种电子设备，包括：
处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上第一方面所述的计算资源获取方法中的步骤。
第四方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如上第一方面所述的计算资源获取方法中的步骤。
本申请实施例所提供的计算资源获取方法，基于用户输入的场景信息和训练样本数据来确定用于模型训练的拓扑信息，后续计算拓扑信息中所包括的每个算子的算子资源信息，以及用于模型训练的目标资源信息，辅助用户完成模型训练对应的计算资源的配置，降低人为因素带来的干扰，减小模型训练时所需的计算资源和用户配置的计算资源之间的偏差。
附图说明
图1是本申请实施例提供的一种计算资源获取方法的流程图；
图2是本申请实施例提供的一种模型训练工作流的示意图；
图3是本申请实施例提供的一种计算资源获取装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请实施例提供的一种计算资源获取方法的流程图，如图1所示，上述计算资源获取方法包括：
步骤101、根据场景信息和训练样本数据，确定用于模型训练的拓扑信息。
步骤102、根据所述拓扑信息，获得所述拓扑信息包括的每个算子的算子资源信息。
步骤103、根据所述每个算子的算子资源信息，获得用于模型训练的目标资源信息。
如上所述，基于用户输入的场景信息和训练样本数据来确定用于模型训练的拓扑信息，后续计算拓扑信息中所包括的每个算子的算子资源信息，以及用于模型训练的目标资源信息，辅助用户完成模型训练对应的计算资源的配置，降低人为因素(如工作经验不足、工作状态不佳等)带来的干扰，减小模型训练时所需的计算资源和用户配置的计算资源之间的偏差，即在确保所配置的计算资源被充分使用的前提下，提高模型训练的效率，避免模型训练时计算资源溢出导致用户重新配置计算资源的情况。
需要说明的是，在确定所述目标资源信息以后，将通过信息推送的方式，向用户展示所述目标资源信息，以便用户能基于所展示的目标资源信息，完成模型训练对应的计算资源的配置操作，实际中，用户可适应性调整目标资源信息(包括但不限于增减目标资源信息中部分参数的数值大小)，即用户实际配置的用于模型训练的计算资源与目标资源信息对应的计算资源可以相同，也可以不同，本申请实施例对此并不加以限定。
示例性的，上述信息推送的方式可以为，在用于模型训练的计算资源配置界面以弹窗的方式完成；上述信息推送的方式也可以为，在用于模型训练的计算资源配置界面以自动录入目标资源信息所包括的各个参数的方式完成。实际中，用户可以选择上述两种方式中的任意一种完成目标资源信息的信息推送，也可以选择其他方式来完成目标资源信息的信息推送，本申请实施例对此并不加以限定。
其中，所述训练样本数据至少包括用于模型训练的训练集的存储地址，以及训练样本数据的训练样本量(即训练集所占用的计算机存储容量)，举例来说，在用于模型训练的训练集为多个图像共同构成的图像集的情况下，所述训练样本数据至少包括上述图像集的存储地址，以及上述图像集所占用的计算机存储容量(如30M、300M或1G等)。
所述场景信息可理解为机器学习的使用场景，上述机器学习的使用场景包括但不限于特征加工，分类，回归，图像识别，异常值检测，自然语言处理(Natural LanguageProcessing，NLP)等。
优选的，在根据场景信息和训练样本数据，确定用于模型训练的拓扑信息的过程中，用户还可以适应性增加用于模型训练的其他信息，以适配不同场景下的模型训练需求，例如，增加算法信息，上述算法信息包括但不限于线性回归算法、支持向量机算法(SupportVector Machine，SVM)、最近邻居/k-近邻算法(K-Nearest Neighbors，KNN)、逻辑回归算法(Logistic Regression)、决策树算法(Decision Tree)、k-平均算法(K-Means)、随机森林算法(Random Forest)、朴素贝叶斯算法(Naive Bayes)、降维算法(DimensionalReduction)等。
需要注意的是，上述拓扑信息可理解为模型训练对应的工作流的流程图信息，该流程图信息所对应的流程图为有向无环图，上述算子可理解为流程图信息对应的流程图中的步骤。
可选的，所述根据场景信息和训练样本数据，确定用于模型训练的拓扑信息，包括：
以所述训练样本数据的训练样本量和所述场景信息作为检索条件，在信息库中进行检索，获得所述拓扑信息；
或者，
将所述训练样本量和所述场景信息输入预获取的工作流计算模型中，获得所述拓扑信息。
通过上述设置，使拓扑信息的获取过程能规避人为因素的干扰，确保后续所获得的目标资源信息的准确性，以进一步减小模型训练时所需的计算资源和用户配置的计算资源之间的偏差。实际中，用户能选择检索方式(用户需在信息库中预先存储相应的拓扑信息)或通过工作量计算方式中的任意一种方式来获取流程图信息，本申请实施例对此并不加以限定。
示例性的，将所述训练样本量和所述场景信息输入预获取的工作流计算模型中，获得所述拓扑信息的过程可以为：
获取用户输入的所述训练样本量和所述场景信息；
基于所述工作流计算模型对所述训练样本量和所述场景信息进行处理，以构建得到模型训练的流程信息；
基于所述流程信息生成所述拓扑信息。
具体的，工作流计算模型中包括模型训练策略，该模型训练策略包括模型训练的算法、算法的评估方法、算法的参数设置方法、所述数据的拆分方法、所述数据的处理方法和所述数据的特征选择方法等，以及，训练样本量和场景信息与模型训练策略中各信息的映射关系，工作流计算模型根据用户输入的训练样本量和场景信息，基于该映射关系，得到模型训练的流程信息，进而得到拓扑信息。
示例性的，获得拓扑信息的过程还可以为：
响应于工作流构建指令，解析用户输入的简易代码，得到被调用算子标识和被调用算子参数；根据被调用算子标识和被调用算子参数，调用算子，以构建工作流，并获得工作流对应的拓扑信息。
其中，所述用户可以理解为需要构建工作流的软件用户和/或软件程序开发人员，所述简易代码可以理解为符合通用的或自定义的代码解析规则、代码编写规则的代码，且所述简易代码至少包括所述训练样本数据的训练样本量和所述场景信息，所述工作流构建指令可以在简易代码输入完成后发出，在接收到工作流构建指令后，开始解析简易代码。
可选的，所述根据所述拓扑信息，获得所述拓扑信息包括的每个算子的算子资源信息，包括：
根据所述拓扑信息，确定每个算子对应的资源框架信息；
根据所述每个算子对应的资源框架信息，计算所述每个算子的算子资源信息。
可选的，所述根据所述每个算子对应的资源框架信息，计算所述每个算子的算子资源信息，包括：
根据所述每个算子对应的资源框架信息，确定每个算子对应的至少一个框架角色信息；
根据所述每个算子对应的至少一个框架角色信息，计算所述每个算子的算子资源信息。
上述拓扑信息包括多个算子、以及每个算子对应的资源框架信息；每一资源框架信息包括至少一个框架角色信息，每一框架角色信息对应一框架角色。
如上所述，计算每个算子的算子资源信息可理解为，确定每个算子对应的至少一个框架角色，以及计算每个框架角色对应的角色资源，需要说明的是，每个算子对应的至少一个框架角色均属于同一资源框架。
属于同一资源框架的至少两个框架角色通过协调配合，即可完成某个算子(即步骤)的执行，此时，上述至少两个框架角色即对应该算子，且上述至少两个框架角色所属的资源框架即为该算子对应的资源框架。
需要说明的是，算子的执行也可以经由一个框架角色实现。
资源框架是包括资源框架角色(也即前述的框架角色)的一类组件库，一个资源框架包括几组资源框架角色(Resource Framework Role Type)，每组资源框架角色在具体算子执行过程中承担的角色任务相互独立，举例来说，资源框架角色可以为负责管理、调度、合并等调度工作的资源框架角色(如驱动端-Driver、客户端-Client)，资源框架角色也可以为负责任务执行工作的资源框架角色(如执行器-Executor、工人-Worker)。
示例性的，上述资源框架包括但不限于单机资源框架、PySpark分布式资源框架、Dask分布式资源框架、TensorFlow2分布式资源框架、PyTorch分布式资源框架。
其中，单机资源框架至少包括Worker资源框架角色，PySpark分布式资源框架至少包括Driver资源框架角色和/或Executor资源框架角色，Dask分布式资源框架至少包括Client资源框架角色和/或Worker资源框架角色，TensorFlow2分布式资源框架至少包括Worker资源框架角色，PyTorch分布式资源框架至少包括Worker资源框架角色。
不同的资源框架中所包括的资源框架角色各不相同(即便在资源框架角色的名称相同的情况下，属于不同资源框架的同名资源框架角色也不相同；并且，每个资源框架中所包括的资源框架角色的数量也有所差异)，举例来说，TensorFlow2资源框架包括Worker资源框架角色，Dask资源框架包括Client资源框架角色和Worker资源框架角色，TensorFlow2资源框架中的Worker资源框架角色和Dask资源框架中的Worker资源框架角色不同。
可选的，所述根据所述每个算子对应的至少一个框架角色信息，计算所述每个算子的算子资源信息，包括：
根据所述训练样本数据的训练样本量，确定所述每个算子的资源计算方式；
根据算子对应的至少一个框架角色信息，利用所述资源计算方式，计算所述算子包含的框架角色对应的角色资源；
根据所述算子包含的框架角色对应的角色资源，获得所述算子的算子资源信息。
可选的，所述根据算子对应的至少一个框架角色信息，利用所述算子计算方式，计算所述算子包含的框架角色对应的角色资源，包括：
所述框架角色信息包括默认计算资源信息、样本参数信息和批量导入参数信息；
在所述训练样本量小于或等于第一阈值的情况下，根据所述默认计算资源信息，获得所述框架角色对应的角色资源；
在所述训练样本量大于第一阈值且小于第二阈值的情况下，根据所述样本参数信息和所述训练样本量，获得所述框架角色对应的角色资源；
在所述训练样本量大于或等于第二阈值的情况下，根据所述批量导入参数信息，获得所述框架角色对应的角色资源。
如上所述，通过第一阈值和第二阈值的设置，基于训练样本量的数值大小，适应性调整框架角色对应的角色资源的计算方式，确保每一算子中每一框架角色对应的角色资源均为最优，上述最优可以理解为，某一算子中某一框架角色对应的角色资源能在满足该算子执行所需计算资源的前提下，使角色资源中所包括的各个参数的数值最小。
需要说明的是，如前所述，在基于场景信息、训练样本数据、算法信息确定用于模型训练的拓扑信息的情况下，若训练样本量的数值大小不影响算法信息所指示算法的应用(例如，算法在训练阶段批量导入训练集，且每次批量导入的训练集的数据量小于第一阈值的情况)，则根据每一框架角色信息对应的默认计算资源信息，获得该框架角色对应的角色资源；若训练样本量的数值大小影响算法信息所指示算法的应用，则根据通过比较训练样本量的数值大小、第一阈值、第二阈值的方式，以相应选择上述三种计算方式中的一种计算方式来计算框架角色对应的角色资源。
所述训练样本量小于或等于第一阈值的情况，可理解为训练样本量过小；所述训练样本量大于或等于第二阈值的情况，可理解为训练样本量过大，此时通过批量导入(将数据量过大的训练样本数据拆分为数据量较小的训练子集，并逐一导入所拆分得到的训练子集)的方式，能在保障模型训练过程正常进行的前提下，使所分配的计算资源得到充分应用；举例来说，上述批量导入训练样本数据的过程可以为，设定训练样本数据所占用的计算机存储容量为10单位，每次将1单位的训练样本导入框架角色对应的算子执行，重复执行10次，直至将训练样本全部导入框架角色对应的算子执行完成。
其中，所述框架角色对应的角色资源包括但不限于内存、中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)等。
可选的，所述样本参数信息包括第一基础计算资源数据和样本系数；
所述在所述训练样本量大于第一阈值且小于第二阈值的情况下，根据所述样本参数信息和所述训练样本量，获得所述框架角色对应的角色资源，包括：
在所述训练样本量大于第一阈值且小于第二阈值的情况下，根据如下表达式获得所述框架角色对应的角色资源；
其中，RR为所述框架角色对应的角色资源，BC1为所述第一基础计算资源数据，CR为所述样本系数，DS为所述训练样本量。
可选的，所述批量导入参数信息包括第二基础计算资源数据和单批导入的样本数据量；
所述在所述训练样本量大于或等于第二阈值的情况下，根据所述批量导入参数信息，获得所述框架角色对应的角色资源，包括：
在所述训练样本量大于或等于第二阈值的情况下，根据如下表达式获得所述框架角色对应的角色资源；
其中，RR为所述框架角色对应的角色资源，BC2为所述第二基础计算资源数据，BS为所述单批导入的样本数据量。
需要说明的是，第一基础计算资源数据和第二基础计算资源数据可以相同，也可以不同，用户可以适应性调整上述两者的数值，本申请实施例对此并不加以限定。
示例性的，根据所述默认计算资源信息，获得所述框架角色对应的角色资源的过程可以为，将所述默认计算资源信息设定为框架角色对应的角色资源。举例来说，若设定所述默认计算资源信息具体为2G内存、1核CPU和1核GPU，则根据默认计算资源信息所获得的框架角色对应的角色资源同样为2G内存、1核CPU和1核GPU。
可选的，所述资源框架信息包括框架标识，所述框架角色信息包括角色标识；
所述根据所述每个算子的算子资源信息，获得用于模型训练的目标资源信息，包括：
获取框架标识以及角色标识均相同的所有角色资源；
从获取到的所有角色资源中确定最大角色资源；
基于所述最大角色资源，获得用于模型训练的目标资源信息。。
示例性的，从获取到的所有角色资源中确定最大角色资源过程可以为：
设定上述拓扑信息包括一号算子和二号算子，一号算子和二号算子均对应PySpark分布式资源框架(即框架标识)，PySpark分布式资源框架包括Driver资源框架角色(角色标识)和Executor资源框架角色(角色标识)。
若设定对应一号算子的Driver资源框架角色的角色资源为2G内存、1核CPU和2核GPU，二号算子的Driver资源框架角色的角色资源为3G内存、2核CPU和1核GPU，则PySpark分布式资源框架中的Driver资源框架角色的推荐计算资源即为3G内存、2核CPU和2核GPU(即PySpark框架中的Driver角色对应的最大角色资源)。
若设定对应一号算子的Executor资源框架角色的角色资源为1G内存、1核CPU和1核GPU，对应二号算子的Executor资源框架角色的角色资源为2G内存、2核CPU和2核GPU，如上所述，PySpark分布式资源框架中的Executor资源框架角色的推荐计算资源即为2G内存、2核CPU和2核GPU(即PySpark框架中的Executor角色对应的最大角色资源)。
此时，目标资源信息中关于PySpark分布式资源框架对应的推荐计算资源即为：
Driver资源框架角色：3G内存、2核CPU和2核GPU；
Executor资源框架角色：2G内存、2核CPU和2核GPU。
示例性的，设定训练样本占用的计算机存储容量为30M，模型的场景信息为分类，训练所述模型的算法信息为TensorFlow2分布式算法中的Xception网络，根据所述场景信息、所述训练样本数据，获得拓扑信息如图2所示，所述拓扑信息包括图像分类步骤、PipeLine初始化步骤、数据集拆分步骤、Xception步骤、多分类评估_Xception步骤以及生成pipesline_Xception步骤。
其中，图像分类步骤、管道(Pipeline)初始化步骤、数据集拆分步骤、基于感知网络的多分类评估步骤以及生成目标感知网络(即训练完成的感知网络)步骤均属于单机资源框架；而感知网络(Xception)训练步骤则属于TensorFlow2分布式资源框架；即目标资源信息包括单机资源框架的框架计算资源信息和TensorFlow2分布式资源框架的框架计算资源信息，设定每一步骤仅对应一个资源框架角色，且在所对应资源框架相同的情况下，不同步骤对应的资源框架角色相同。
图像分类步骤所包括资源框架角色的角色配置信息如表1所示：
表1管道初始化步骤所包括资源框架角色的角色配置信息如表2所示：
表2数据集拆分步骤所包括资源框架角色的角色配置信息如表3所示：
表3
基于感知网络的多分类评估步骤所包括资源框架角色的角色配置信息如
表4所示：
表4成目标感知网络步骤包括资源框架角色的角色配置信息参见表5：
表5感知网络训练步骤所包括资源框架角色的角色配置信息如表6所示：
表6
如表1-表6的数据所示，目标资源信息为：
单机资源框架：1核CPU、3G内存且数量为1；
Tensorflow2分布式资源框架：1核CPU、8G内存且数量为3。
如上所述，为简化示例，设定每一步骤(算子)仅通过一个框架角色即可执行。其中，参数useDefaultFlag为1可理解为训练样本量小于或等于第一阈值；参数useBatchSizeRatioFlag为1可理解为训练样本量大于或等于第二阈值；参数useDefaultFlag为0且参数useBatchSizeRatioFlag为0可理解为训练样本量大于第一阈值且小于第二阈值。
参数batchSize除以参数batchSizeRatio所得到数据可理解为前述单批导入的样本数据量，参数baseCapacity可理解为前述第一基础计算资源数据和第二基础计算资源数据。
如上所述，目标资源信息可理解为多个资源框架、以及每个资源框架包括的多个框架角色、以及每个框架角色对应的最大角色资源。
请参阅图3，图3是本申请实施例提供的一种计算资源获取装置200的结构示意图，如图3所示，上述计算资源获取装置200包括：
拓扑获取模块201，用于根据场景信息和训练样本数据，确定用于模型训练的拓扑信息；
算子获取模块202，用于根据所述拓扑信息，获得所述拓扑信息包括的每个算子的算子资源信息；
资源获取模块203，用于根据所述每个算子的算子资源信息，获得用于模型训练的目标资源信息。
可选的，所述算子获取模块202包括：
框架获取子模块，用于根据所述拓扑信息，确定每个算子对应的资源框架信息；
算子获取子模块，用于根据所述每个算子对应的资源框架信息，计算所述每个算子的算子资源信息。
可选的，所述算子获取子模块包括：
角色获取单元，根据所述每个算子对应的资源框架信息，确定每个算子对应的至少一个框架角色信息；
计算单元，根据所述每个算子对应的至少一个框架角色信息，计算所述每个算子的算子资源信息。
可选的，所述计算单元包括：
第一计算子单元，用于根据所述训练样本数据的训练样本量，确定所述每个算子的资源计算方式；
第二计算子单元，用于根据算子对应的至少一个框架角色信息，利用所述资源计算方式，计算所述算子包含的框架角色对应的角色资源；
第三计算子单元，用于根据所述算子包含的框架角色对应的角色资源，获得所述算子的算子资源信息。
可选的，所述第二计算子单元包括：
所述框架角色信息包括默认计算资源信息、样本参数信息和批量导入参数信息；
在所述训练样本量小于或等于第一阈值的情况下，根据所述默认计算资源信息，获得所述框架角色对应的角色资源；
在所述训练样本量大于第一阈值且小于第二阈值的情况下，根据所述样本参数信息和所述训练样本量，获得所述框架角色对应的角色资源；
在所述训练样本量大于或等于第二阈值的情况下，根据所述批量导入参数信息，获得所述框架角色对应的角色资源。
可选的，所述资源框架信息包括框架标识，所述框架角色信息包括角色标识；
所述资源获取模块203包括：
获取框架标识以及角色标识均相同的所有角色资源；
从获取到的所有角色资源中确定最大角色资源；
基于所述最大角色资源，获得用于模型训练的目标资源信息。
可选的，所述样本参数信息包括第一基础计算资源数据和样本系数；
所述第二计算子单元包括：
在所述训练样本量大于第一阈值且小于第二阈值的情况下，根据如下表达式获得所述框架角色对应的角色资源：
其中，RR为所述框架角色对应的角色资源，BC1为所述第一基础计算资源数据，CR为所述样本系数，DS为所述训练样本量。
可选的，所述批量导入参数信息包括第二基础计算资源数据和单批导入的样本数据量；
在所述训练样本量大于或等于第二阈值的情况下，根据如下表达式获得所述框架角色对应角色资源；
可选的，所述批量导入参数信息包括第二基础计算资源数据和单批导入的样本数据量；
所述第二计算子单元包括：
在所述训练样本量大于或等于第二阈值的情况下，根据如下表达式获得所述框架角色对应的角色资源：
其中，RR为所述框架角色对应的角色资源，BC2为所述第二基础计算资源数据，BS为所述单批导入的样本数据量。
可选的，所述拓扑获取模块201，包括：
以所述训练样本数据的训练样本量和所述场景信息作为检索条件，在信息库中进行检索，获得所述拓扑信息；
或者，
将所述训练样本量和所述场景信息输入预获取的工作流计算模型中，获得所述拓扑信息。
需要说明的是，本申请实施例中的计算资源获取装置200可以是装置，也可以是电子设备中的部件、集成电路或芯片。
请参见图4，图4是本申请实施例提供的一种电子设备的结构示意图，如图4所示，电子设备包括：总线301、收发机302、天线303、总线接口304、处理器305和存储器306。处理器305能够实现上述计算资源获取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
在图4中，总线架构(用总线301来代表)，总线301可以包括任意数量的互联的总线和桥，总线301将包括由处理器305代表的一个或多个处理器和存储器306代表的存储器的各种电路链接在一起。总线301还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口304在总线301和收发机302之间提供接口。收发机302可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器305处理的数据通过天线303在无线介质上进行传输，进一步，天线303还接收数据并将数据传送给处理器305。
处理器305负责管理总线301和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器306可以被用于存储处理器305在执行操作时所使用的数据。
可选的，处理器305可以是CPU、ASIC、FPGA或CPLD。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，的计算机可读存储介质，如只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者第二终端设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种计算资源获取方法，其特征在于，包括：
根据场景信息和训练样本数据，确定用于模型训练的拓扑信息；
根据所述拓扑信息，获得所述拓扑信息包括的每个算子的算子资源信息；
根据所述每个算子的算子资源信息，获得用于模型训练的目标资源信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述拓扑信息，获得所述拓扑信息包括的每个算子的算子资源信息，包括：
根据所述拓扑信息，确定每个算子对应的资源框架信息；
根据所述每个算子对应的资源框架信息，计算所述每个算子的算子资源信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述每个算子对应的资源框架信息，计算所述每个算子的算子资源信息，包括：
根据所述每个算子对应的资源框架信息，确定每个算子对应的至少一个框架角色信息；
根据所述每个算子对应的至少一个框架角色信息，计算所述每个算子的算子资源信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述每个算子对应的至少一个框架角色信息，计算所述每个算子的算子资源信息，包括：
根据所述训练样本数据的训练样本量，确定所述每个算子的资源计算方式；
根据算子对应的至少一个框架角色信息，利用所述资源计算方式，计算所述算子包含的框架角色对应的角色资源；
根据所述算子包含的框架角色对应的角色资源，获得所述算子的算子资源信息。
5.根据权利要求4所述的方法，其特征在于，所述资源框架信息包括框架标识，所述框架角色信息包括角色标识；
所述根据所述每个算子的算子资源信息，获得用于模型训练的目标资源信息，包括：
获取框架标识以及角色标识均相同的所有角色资源；
从获取到的所有角色资源中确定最大角色资源；
基于所述最大角色资源，获得用于模型训练的目标资源信息。
6.一种计算资源获取装置，其特征在于，包括：
拓扑获取模块，用于根据场景信息和训练样本数据，确定用于模型训练的拓扑信息；
算子获取模块，用于根据所述拓扑信息，获得所述拓扑信息包括的每个算子的算子资源信息；
资源获取模块，用于根据所述每个算子的算子资源信息，获得用于模型训练的目标资源信息。
7.根据权利要求6所述的装置，其特征在于，所述算子获取模块包括：
框架获取子模块，用于根据所述拓扑信息，确定每个算子对应的资源框架信息；
算子获取子模块，用于根据所述每个算子对应的资源框架信息，计算所述每个算子的算子资源信息。
8.根据权利要求7所述的装置，其特征在于，所述算子获取子模块包括：
角色获取单元，根据所述每个算子对应的资源框架信息，确定每个算子对应的至少一个框架角色信息；
计算单元，根据所述每个算子对应的至少一个框架角色信息，计算所述每个算子的算子资源信息。
9.根据权利要求8所述的装置，其特征在于，所述计算单元包括：
第一计算子单元，用于根据所述训练样本数据的训练样本量，确定所述每个算子的资源计算方式；
第二计算子单元，用于根据算子对应的至少一个框架角色信息，利用所述资源计算方式，计算所述算子包含的框架角色对应的角色资源；
第三计算子单元，用于根据所述算子包含的框架角色对应的角色资源，获得所述算子的算子资源信息。
10.根据权利要求9所述的装置，其特征在于，所述资源框架信息包括框架标识，所述框架角色信息包括角色标识；
所述资源获取模块包括：
获取框架标识以及角色标识均相同的所有角色资源；
从获取到的所有角色资源中确定最大角色资源；
基于所述最大角色资源，获得用于模型训练的目标资源信息。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111411238.XA CN114091688B (zh) | 2021-11-25 | 2021-11-25 | 一种计算资源获取方法、装置、电子设备和存储介质 |
| PCT/CN2022/125905 WO2023093375A1 (zh) | 2021-11-25 | 2022-10-18 | 一种计算资源获取方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111411238.XA CN114091688B (zh) | 2021-11-25 | 2021-11-25 | 一种计算资源获取方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114091688A true CN114091688A (zh) | 2022-02-25 |
| CN114091688B CN114091688B (zh) | 2022-05-20 |
Family
ID=80304371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111411238.XA Active CN114091688B (zh) | 2021-11-25 | 2021-11-25 | 一种计算资源获取方法、装置、电子设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114091688B (zh) |
| WO (1) | WO2023093375A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114898175A (zh) * | 2022-04-29 | 2022-08-12 | 北京九章云极科技有限公司 | 目标检测方法、装置及相关设备 |
| WO2023093375A1 (zh) * | 2021-11-25 | 2023-06-01 | 北京九章云极科技有限公司 | 一种计算资源获取方法、装置、电子设备和存储介质 |
Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104052811A (zh) * | 2014-06-17 | 2014-09-17 | 华为技术有限公司 | 一种业务调度的方法、装置及系统 |
| CN105512162A (zh) * | 2015-09-28 | 2016-04-20 | 杭州圆橙科技有限公司 | 一种基于Storm的流数据实时智能化处理框架 |
| CN107480717A (zh) * | 2017-08-16 | 2017-12-15 | 北京奇虎科技有限公司 | 训练作业处理方法及系统、计算设备、计算机存储介质 |
| CN108510081A (zh) * | 2018-03-23 | 2018-09-07 | 北京京东尚科信息技术有限公司 | 机器学习方法和平台 |
| CN108665072A (zh) * | 2018-05-23 | 2018-10-16 | 中国电力科学研究院有限公司 | 一种基于云架构的机器学习算法全过程训练方法及系统 |
| CN108874487A (zh) * | 2018-06-13 | 2018-11-23 | 北京九章云极科技有限公司 | 基于工作流的数据分析处理方法及系统 |
| CN109298940A (zh) * | 2018-09-28 | 2019-02-01 | 考拉征信服务有限公司 | 计算任务分配方法、装置、电子设备及计算机存储介质 |
| CN109933306A (zh) * | 2019-02-11 | 2019-06-25 | 山东大学 | 混合计算框架生成、数据处理方法、装置及混合计算框架 |
| CN110018817A (zh) * | 2018-01-05 | 2019-07-16 | 中兴通讯股份有限公司 | 数据的分布式运行方法及装置、存储介质及处理器 |
| CN110618870A (zh) * | 2019-09-20 | 2019-12-27 | 广东浪潮大数据研究有限公司 | 一种深度学习训练任务的工作方法及装置 |
| CN110889492A (zh) * | 2019-11-25 | 2020-03-17 | 北京百度网讯科技有限公司 | 用于训练深度学习模型的方法和装置 |
| CN111104214A (zh) * | 2019-12-26 | 2020-05-05 | 北京九章云极科技有限公司 | 一种工作流应用方法及装置 |
| CN111190741A (zh) * | 2020-01-03 | 2020-05-22 | 深圳鲲云信息科技有限公司 | 基于深度学习节点计算的调度方法、设备及存储介质 |
| CN111222046A (zh) * | 2020-01-03 | 2020-06-02 | 腾讯科技（深圳）有限公司 | 服务配置方法、用于服务配置的客户端、设备及电子设备 |
| CN111435315A (zh) * | 2019-01-14 | 2020-07-21 | 北京沃东天骏信息技术有限公司 | 分配资源的方法、装置、设备和计算机可读介质 |
| CN111444019A (zh) * | 2020-03-31 | 2020-07-24 | 中国科学院自动化研究所 | 云端协同的深度学习模型分布式训练方法及系统 |
| CN111476344A (zh) * | 2019-01-23 | 2020-07-31 | 三星电子株式会社 | 多径神经网络、资源分配的方法及多径神经网络分析器 |
| CN111611087A (zh) * | 2020-06-30 | 2020-09-01 | 中国人民解放军国防科技大学 | 一种资源调度方法、装置和系统 |
| CN111611240A (zh) * | 2020-04-17 | 2020-09-01 | 第四范式（北京）技术有限公司 | 执行自动机器学习过程的方法、装置及设备 |
| CN112799850A (zh) * | 2021-02-26 | 2021-05-14 | 重庆度小满优扬科技有限公司 | 模型的训练方法、模型的预测方法以及模型的控制系统 |
| CN112882696A (zh) * | 2021-03-24 | 2021-06-01 | 国家超级计算天津中心 | 一种基于超级计算机的全要素模型训练系统 |
| CN113065843A (zh) * | 2021-03-15 | 2021-07-02 | 腾讯科技（深圳）有限公司 | 一种模型处理方法、装置、电子设备和存储介质 |
| WO2021141716A1 (en) * | 2020-01-09 | 2021-07-15 | Microsoft Technology Licensing, Llc | Resource usage prediction for deep learning model |
| US20210255896A1 (en) * | 2020-02-14 | 2021-08-19 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for processing tasks in parallel, device and storage medium |
| CN113467922A (zh) * | 2020-03-30 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 资源管理方法、装置、设备及存储介质 |
| CN113569987A (zh) * | 2021-08-19 | 2021-10-29 | 北京沃东天骏信息技术有限公司 | 模型训练方法和装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112753016B (zh) * | 2018-09-30 | 2024-09-24 | 华为技术有限公司 | 神经网络中数据预处理阶段的计算资源的管理方法和装置 |
| US20220300345A1 (en) * | 2019-08-26 | 2022-09-22 | Telefonaktiebolaget Lm Ericsson (Publ) | Entity and Method Performed therein for Handling Computational Resources |
| CN111930524B (zh) * | 2020-10-10 | 2021-02-12 | 上海兴容信息技术有限公司 | 一种计算资源分配的方法和系统 |
| CN114091688B (zh) * | 2021-11-25 | 2022-05-20 | 北京九章云极科技有限公司 | 一种计算资源获取方法、装置、电子设备和存储介质 |
-
2021
- 2021-11-25 CN CN202111411238.XA patent/CN114091688B/zh active Active
-
2022
- 2022-10-18 WO PCT/CN2022/125905 patent/WO2023093375A1/zh unknown
Patent Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104052811A (zh) * | 2014-06-17 | 2014-09-17 | 华为技术有限公司 | 一种业务调度的方法、装置及系统 |
| CN105512162A (zh) * | 2015-09-28 | 2016-04-20 | 杭州圆橙科技有限公司 | 一种基于Storm的流数据实时智能化处理框架 |
| CN107480717A (zh) * | 2017-08-16 | 2017-12-15 | 北京奇虎科技有限公司 | 训练作业处理方法及系统、计算设备、计算机存储介质 |
| CN110018817A (zh) * | 2018-01-05 | 2019-07-16 | 中兴通讯股份有限公司 | 数据的分布式运行方法及装置、存储介质及处理器 |
| CN108510081A (zh) * | 2018-03-23 | 2018-09-07 | 北京京东尚科信息技术有限公司 | 机器学习方法和平台 |
| CN108665072A (zh) * | 2018-05-23 | 2018-10-16 | 中国电力科学研究院有限公司 | 一种基于云架构的机器学习算法全过程训练方法及系统 |
| CN108874487A (zh) * | 2018-06-13 | 2018-11-23 | 北京九章云极科技有限公司 | 基于工作流的数据分析处理方法及系统 |
| CN109298940A (zh) * | 2018-09-28 | 2019-02-01 | 考拉征信服务有限公司 | 计算任务分配方法、装置、电子设备及计算机存储介质 |
| CN111435315A (zh) * | 2019-01-14 | 2020-07-21 | 北京沃东天骏信息技术有限公司 | 分配资源的方法、装置、设备和计算机可读介质 |
| CN111476344A (zh) * | 2019-01-23 | 2020-07-31 | 三星电子株式会社 | 多径神经网络、资源分配的方法及多径神经网络分析器 |
| CN109933306A (zh) * | 2019-02-11 | 2019-06-25 | 山东大学 | 混合计算框架生成、数据处理方法、装置及混合计算框架 |
| CN110618870A (zh) * | 2019-09-20 | 2019-12-27 | 广东浪潮大数据研究有限公司 | 一种深度学习训练任务的工作方法及装置 |
| CN110889492A (zh) * | 2019-11-25 | 2020-03-17 | 北京百度网讯科技有限公司 | 用于训练深度学习模型的方法和装置 |
| CN111104214A (zh) * | 2019-12-26 | 2020-05-05 | 北京九章云极科技有限公司 | 一种工作流应用方法及装置 |
| CN111190741A (zh) * | 2020-01-03 | 2020-05-22 | 深圳鲲云信息科技有限公司 | 基于深度学习节点计算的调度方法、设备及存储介质 |
| CN111222046A (zh) * | 2020-01-03 | 2020-06-02 | 腾讯科技（深圳）有限公司 | 服务配置方法、用于服务配置的客户端、设备及电子设备 |
| WO2021141716A1 (en) * | 2020-01-09 | 2021-07-15 | Microsoft Technology Licensing, Llc | Resource usage prediction for deep learning model |
| US20210255896A1 (en) * | 2020-02-14 | 2021-08-19 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for processing tasks in parallel, device and storage medium |
| CN113467922A (zh) * | 2020-03-30 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 资源管理方法、装置、设备及存储介质 |
| CN111444019A (zh) * | 2020-03-31 | 2020-07-24 | 中国科学院自动化研究所 | 云端协同的深度学习模型分布式训练方法及系统 |
| CN111611240A (zh) * | 2020-04-17 | 2020-09-01 | 第四范式（北京）技术有限公司 | 执行自动机器学习过程的方法、装置及设备 |
| CN111611087A (zh) * | 2020-06-30 | 2020-09-01 | 中国人民解放军国防科技大学 | 一种资源调度方法、装置和系统 |
| CN112799850A (zh) * | 2021-02-26 | 2021-05-14 | 重庆度小满优扬科技有限公司 | 模型的训练方法、模型的预测方法以及模型的控制系统 |
| CN113065843A (zh) * | 2021-03-15 | 2021-07-02 | 腾讯科技（深圳）有限公司 | 一种模型处理方法、装置、电子设备和存储介质 |
| CN112882696A (zh) * | 2021-03-24 | 2021-06-01 | 国家超级计算天津中心 | 一种基于超级计算机的全要素模型训练系统 |
| CN113569987A (zh) * | 2021-08-19 | 2021-10-29 | 北京沃东天骏信息技术有限公司 | 模型训练方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| HAO WU: "Mapping Task-based Data-flow Models on Heterogeneous CPU-GPU Systems", 《HTTPS://OPUS4.KOBV.DE》 * |
| JILONG XUE 等: "Fast Distributed Deep Learning over RDMA", 《EUROSYS ’19》 * |
| 汤世征 等: "DragDL：一种易用的深度学习模型可视化构建系统", 《计算机科学》 * |
| 袁旭初 等: "分布式数据流计算系统的数据缓存技术综述", 《大数据》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023093375A1 (zh) * | 2021-11-25 | 2023-06-01 | 北京九章云极科技有限公司 | 一种计算资源获取方法、装置、电子设备和存储介质 |
| CN114898175A (zh) * | 2022-04-29 | 2022-08-12 | 北京九章云极科技有限公司 | 目标检测方法、装置及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114091688B (zh) | 2022-05-20 |
| WO2023093375A1 (zh) | 2023-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950638B (zh) | 基于模型蒸馏的图像分类方法、装置和电子设备 | |
| CN114091688B (zh) | 一种计算资源获取方法、装置、电子设备和存储介质 | |
| CN108388515B (zh) | 测试数据生成方法、装置、设备以及计算机可读存储介质 | |
| CN111325353A (zh) | 训练数据集的贡献度计算方法、装置、设备及存储介质 | |
| CN111459993B (zh) | 基于行为分析的配置更新方法、装置、设备及存储介质 | |
| CN110264274B (zh) | 客群划分方法、模型生成方法、装置、设备及存储介质 | |
| CN112965803A (zh) | Ai模型生成方法及电子设备 | |
| CN109948107A (zh) | 面积曲面积分计算方法、装置、设备及存储介质 | |
| CN111651989B (zh) | 命名实体识别方法和装置、存储介质及电子装置 | |
| CN110941251A (zh) | 基于数字孪生体的生产控制方法、装置、设备及介质 | |
| CN113296769A (zh) | 数据处理方法、视觉稿的处理方法、系统及电子设备 | |
| CN117094302A (zh) | 基于ChatGPT的自动化处理方法、装置及存储介质 | |
| CN111783843A (zh) | 一种特征选择方法、装置及计算机系统 | |
| CN111475137A (zh) | 一种软件开发需求预测的方法、系统及设备 | |
| CN110909888A (zh) | 泛型决策树构建方法、装置、设备及可读存储介质 | |
| JP2022079755A (ja) | 特許情報処理装置、特許情報処理方法、およびプログラム | |
| EP4012630A1 (en) | Model optimization method and apparatus, storage medium, and device | |
| CN110377769B (zh) | 基于图数据结构的建模平台系统、方法、服务器及介质 | |
| CN114185938B (zh) | 基于数字金融及大数据溯源的项目溯源分析方法及系统 | |
| CN109783134B (zh) | 前端页面配置方法、装置及电子设备 | |
| CN112099794A (zh) | 前端项目构建方法及装置 | |
| CN114968541B (zh) | 容器集群节点预选方法和装置 | |
| CN110874615A (zh) | 特征聚类处理方法、集群服务器及可读存储介质 | |
| CN110033184B (zh) | 一种基于元数据的业务流程推荐方法及装置 | |
| WO2019073894A1 (ja) | 構成管理装置、構成管理方法および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |