CN116304720A - 一种代价模型训练的方法、装置、存储介质及电子设备 - Google Patents
一种代价模型训练的方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116304720A CN116304720A CN202310564363.7A CN202310564363A CN116304720A CN 116304720 A CN116304720 A CN 116304720A CN 202310564363 A CN202310564363 A CN 202310564363A CN 116304720 A CN116304720 A CN 116304720A
- Authority
- CN
- China
- Prior art keywords
- hardware platform
- training sample
- determining
- operator
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 233
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010845 search algorithm Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Abstract
本说明书公开了一种代价模型训练的方法、装置、存储介质及电子设备。本方法使用各算子的特征以及各硬件平台的特征构造训练样本，并针对每个算子，将该算子的运行代码在各硬件平台上的实际运行时间作为该算子对应的训练样本的标注。将训练样本输入代价模型的特征提取层，通过各硬件平台对应的门控网络层的加权矩阵，确定训练样本对应各硬件平台的预测运行时间，根据预测运行时间与实际运行时间之间的差异训练代价模型。通过将各硬件平台的特征加入训练样本、在代价模型中增加针对各硬件平台的门控网络以及针对各硬件平台的输出层等创新的方式，训练得到适用于多个硬件平台的代价模型。
Description
技术领域
本说明书涉及计算机技术领域，尤其涉及一种代价模型训练的方法、装置、存储介质及电子设备。
背景技术
随着计算机技术的飞速发展，深度学习的应用也越来越广泛。
随着机器学习模型的应用越来越广泛，模型可能会被应用在各种硬件平台上，如不同类型的芯片等。将根据机器学习模型应用的框架以及计算逻辑确定在硬件平台上实现的调度逻辑的过程称为张量编译。现有的张量编译技术通常先预设张量代码模板构造由多个调度逻辑构成的调度空间，再结合搜索算法与代价模型选择合适的调度逻辑来实现自动张量编译。
其中，代价模型用于预测调度逻辑在硬件平台上执行时长的模型，而预测执行时长准确度，影响到自动张量编译的效果，基于此本说明书提供一种代价模型训练的方法。
发明内容
本说明书提供一种代价模型训练的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供的一种代价模型训练的方法，所述代价模型包括：特征提取层、各硬件平台对应的门控网络层以及各硬件平台对应的输出层，所述方法包括：
确定用于部署在模型中的各算子，并确定各算子的特征以及各硬件平台的特征；
针对每个算子，根据该算子的特征以及各硬件平台的特征确定训练样本，并根据该算子的运行代码在各硬件平台执行的实际运行时间，确定所述训练样本对应各硬件平台的标注；
将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征；
针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵；
针对每个硬件平台，根据对应该硬件平台的门控网络输出的加权矩阵对所述训练样本的中间特征加权的结果，确定所述训练样本对应该硬件平台的第一特征；
将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间；
根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定损失，并以损失最小为优化目标训练所述代价模型。
可选地，所述特征提取层具有多个子特征提取层；
将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征，具体包括：
将所述训练样本分别输入所述代价模型的所述特征提取层中的各子特征提取层中，确定所述各子特征提取层提取的所述训练样本的中间特征。
可选地，所述算子的特征包括算子的计算特征与运行代码的特征。
可选地，所述门控网络层包括：权重确定层与归一化层；
针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵，具体包括：
将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该目标硬件平台对应的门控网络层中的所述权重确定层确定该门控网络层的初始加权矩阵；
将所述初始权重矩阵输入所述归一化层，获得归一化的加权矩阵，其中，所述归一化的加权矩阵中的各权重值是归一化的。
可选地，所述输出层包括：各硬件平台对应的任务塔，以及各硬件平台对应的预测层；
将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间，具体包括：
将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的任务塔中，获得所述训练样本针对各目标硬件平台的第二特征；
将所述各第二特征输入对应该硬件平台的预测层中，通过各预测层输出该算子在各目标硬件平台上预测运行时间。
可选地，根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定损失，具体包括：
根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定所述训练样本对应该硬件平台的损失；
根据所述训练样本对应各硬件平台的损失确定最终的损失。
可选地，所述方法还包括：
确定目标模型对应的计算图中的每个算子，根据预设的搜索算法在该算子的所述调度空间中确定预设数量的运行代码；
根据该算子的各运行代码，分别确定该算子对应的各算子的特征，并通过训练得到的代价模型，确定该算子的各运行代码分别对应的各预测运行时间；
按照所述预测运行时间从短到长，确定用于训练的运行代码；
在目标硬件平台运行该算子的各运行代码，确定实际运行时间，以根据预测运行时间与实际运行时间的差异最小，调整代价模型；
继续通过预设的搜索算法，根据用于训练的运行代码，从调度空间继续确定预设数量的运行代码，用调整后的代价模型，继续确定各重新确定的运行代码的预测运行时间，重复上述过程直至使用搜索算法的次数达到第一预设阈值或使用搜索算法的时间达到第二预设阈值。
本说明书提供了一种代价模型训练的装置，所述代价模型包括：特征提取层、各硬件平台对应的门控网络层以及各硬件平台对应的输出层，所述装置包括：
第一确定模块，用于确定用于部署在模型中的各算子，并确定各算子的特征以及各硬件平台的特征；
第二确定模块，用于针对每个算子，根据该算子的特征以及各硬件平台的特征确定训练样本，并根据该算子的运行代码在各硬件平台执行的实际运行时间，确定所述训练样本对应各硬件平台的标注；
提取模块，用于将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征；
加权模块，用于针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵；
加权结果模块，用于针对每个硬件平台，根据对应该硬件平台的门控网络输出的加权矩阵对所述训练样本的中间特征加权的结果，确定所述训练样本对应该硬件平台的第一特征；
预测结果模块，用于将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间；
训练模块，用于根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定损失，并以损失最小为优化目标训练所述代价模型。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述代价模型训练的方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
本方法使用用于部署模型的各算子的特征以及各硬件平台的特征构造训练样本，并针对每个算子，将该算子的运行代码在各硬件平台上的实际运行时间作为该算子对应的训练样本的标注。将训练样本输入代价模型的特征提取层，通过各硬件平台对应的门控网络层的加权矩阵，确定该训练样本对应各硬件平台的第一特征，并根据各第一特征确定训练样本对应各硬件平台的预测运行时间，根据预测运行时间与实际运行时间之间的差异训练代价模型。
本方法能够通过将各硬件平台的特征加入训练样本、在代价模型中增加针对各硬件平台的门控网络以及针对各硬件平台的输出层等创新的方式，训练得到适用于多个硬件平台的代价模型。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中提供的一种代价模型训练的方法的流程示意图；
图2为本说明书中提供的一种代价模型的结构的示意图；
图3为本说明书中提供的另一种训练代价模型的方法的示意图；
图4为本说明书提供的一种代价模型训练的装置结构的示意图；
图5为本说明书提供的一种对应于图1的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种代价模型训练的方法的流程示意图，包括以下步骤：
所述代价模型包括：特征提取层、各硬件平台对应的门控网络层以及各硬件平台对应的输出层。
S100：确定用于部署在模型中的各算子，并确定各算子的特征以及各硬件平台的特征。
近些年，深度神经网络(DNN)已经在图像分类、目标检测、自然语言处理、自动驾驶等众多场景下取得了广泛且成功的应用。为了降低深度学习算法开发门槛及编程复杂度，国内外科技公司已经发展出众多的深度学习框架，如TensorFlow、PyTorch、PaddlePaddle、MXNet等。为应对海量的数据计算并支撑深度学习算法高效地训练推理，如GPU、FPGA和特殊设计的人工智能芯片也如雨后春笋般得以开发应用，成为了当前深度学习负载的主要计算力。
为了结合众多深度学习框架与多种硬件平台，并对深度学习负载进一步优化加速，需要领域处理器架构专用的编译器，因此，深度学习编译器应运而生。
现有的编译主要包括手工编译与自动张量编译两种方式。其中，将根据机器学习模型应用的框架以及计算逻辑确定在硬件平台上实现的调度逻辑的过程称为张量编译。现有的张量编译技术通常先预设张量代码模板构造由多个调度逻辑构成的调度空间，再结合搜索算法与代价模型选择合适的调度逻辑来实现自动张量编译。代价模型是用于预测调度逻辑在硬件平台上执行时长的模型，传统代价模型。而预测执行时长准确度，影响到自动张量编译的效果，基于此本说明书提供一种代价模型训练的方法。上述各算子的调度逻辑即实现各算子计算逻辑的运行代码。
本说明书提供的一种代价模型训练方法的执行主体为任意一种具备计算能力的电子设备，如计算机、服务器等。考虑到模型训练需要的计算能力，下述均以服务器为执行主体为例进行说明。
服务器确定用于部署在模型中的各算子，并确定各算子的特征以及各硬件平台的特征。
其中，部署在模型中的各算子即可用于各机器学习模型的各算子，如卷积算子、Relu激活算子等。需要说明的是，虽然代价模型用于张量编译，但由于代价模型是用于预测各算子的运行代码的预测运行时间的模型，所以训练代价模型时，可以先不确定需要编译的机器学习模型，仅根据用于部署模型的各算子训练即可。训练样本包括各算子的特征，首先确定用于部署各模型的各算子，并根据经验确定各算子的特征。如根据算子的计算逻辑确定算子的计算特征，根据算子的运行代码确定算子的运行代码特征等。所述算子的特征至少包括算子的计算特征与运行代码的特征。
由传统训练方法得到的代价模型通常适用于单个硬件平台，可迁移性较差，因此在本说明提供的代价模型训练的方法中，训练样本还包括各硬件平台的特征。其中，各硬件平台的特征也是根据经验确定的，各硬件平台至少包括各种类型的芯片、边缘设备等，本说明书所述的硬件平台即可以部署机器学习模型的硬件。各硬件平台的特征至少包括表征各硬件平台性能的特征，如寄存器的数量、内存大小、支持的算子库等。
S102：针对每个算子，根据该算子的特征以及各硬件平台的特征确定训练样本，并根据该算子的运行代码在各硬件平台执行的实际运行时间，确定所述训练样本对应各硬件平台的标注。
在本说明书提供的一种实施例中，确定各算子的特征以及各硬件平台的特征中后，针对每个算子，根据该算子的特征以及各硬件平台的特征确定训练样本，并根据该算子的运行代码在各硬件平台执行的实际运行时间，确定所述训练样本对应各硬件平台的标注。该算子的运行代码在各硬件平台执行的实际运行时间通常在记录在各硬件平台中的日志或其他具有存储能力的文件中，通过读取日志等方式即可获取。
具体地，可以将该算子的特征以及各硬件平台的特征进行拼接得到训练样本。每个训练样本对应多个标注，即由一个算子的特征与各硬件平台的特征组成的训练样本，该训练样本对应的标注分别为该算子的运行代码在各硬件平台执行的实际运行时间。
S104：将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征。
如前所述，在本说明提供的一种实施例中，代价模型包括特征提取层，将训练样本输入特征提取层中，对训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征。需要说明的是，特征提取层可以为全连接层、池化层等，且代价模型还可能包括输入层等其他层，本说明书在此并不做限制。
特征提取层可以提取并转化训练样本中各算子的特征，作为训练样本的中间特征，也可以提取并转化训练样本中各算子的特征与各硬件平台的通用特征，作为训练样本的中间特征。
S106：针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵。
如前所述，在本说明提供的一种实施例中，代价模型包括各硬件平台对应的门控网络层，针对每个门控网络层，将训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵。
S108：针对每个硬件平台，根据对应该硬件平台的门控网络输出的加权矩阵对所述训练样本的中间特征加权的结果，确定所述训练样本对应该硬件平台的第一特征。
针对每个硬件平台，将根据对应该硬件平台的门控网络输出的加权矩阵对所述训练样本的中间特征加权的结果，确定为训练样本对应该硬件平台的第一特征。
S110：将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间。
S112：根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定损失，并以损失最小为优化目标训练所述代价模型。
服务器首先根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定所述训练样本对应该硬件平台的损失，根据所述训练样本对应各硬件平台的损失确定最终的损失，并以确定出的最终的损失最小为优化目标训练所述代价模型。
从上述方法可以看出，本方法使用用于部署模型的各算子的特征以及各硬件平台的特征构造训练样本，并针对每个算子，将该算子的运行代码在各硬件平台上的实际运行时间作为该算子对应的训练样本的标注。将训练样本输入代价模型的特征提取层，通过各硬件平台对应的门控网络层的加权矩阵，确定该训练样本对应各硬件平台的第一特征，并根据各第一特征确定训练样本对应各硬件平台的预测运行时间，根据预测运行时间与实际运行时间之间的差异训练代价模型。
本方法能够通过将各硬件平台的特征加入训练样本、以及在代价模型中增加针对各硬件平台的门控网络以及针对各硬件平台的输出层等创新的方式，训练得到适用于多个硬件平台的代价模型。
进一步地，为使训练出的代价模型的准确性更高或减少训练时间，所述特征提取层具有多个子特征提取层。
则如步骤S104所述，将所述训练样本分别输入所述代价模型的所述特征提取层中的各子特征提取层中，确定所述各子特征提取层提取的所述训练样本的中间特征。
需要说明的是，多个子特征提取层的结构和/或参数既可以相同也可以不同，所以多个子特征提取层提取的所述训练样本的中间特征也既可以相同，也可以不同。为使训练效果更好，通常不会将不同子特征提取层的结构或参数都设置为相同的。
进一步地，在本说明书提供的一种实施例中，门控网络层包括：权重确定层与归一化层。在服务器执行步骤S106时，为缩短模型训练的时间，可以先将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该目标硬件平台对应的门控网络层中的所述权重确定层确定该门控网络层的初始加权矩阵，再将所述初始权重矩阵输入归一化层，获得归一化的加权矩阵，其中，所述归一化的加权矩阵中的各权重值是归一化的。
在本说明书提供的一种实施例中，当特征提取层具有多个子特征提取层且门控网络层包括：权重确定层与归一化层时，则在服务器执行步骤S106时，服务器确定归一化的加权矩阵，与各子特征提取层提取的训练样本的中间特征后，针对每个硬件平台，根据对应该硬件平台的门控网络输出的归一化的加权矩阵对训练样本的各子特征提取层提取中间特征加权的结果，确定训练样本对应该硬件平台的第一特征。
在本说明书提供的一种实施例中，服务器执行步骤S110时，所述输出层包括：各硬件平台对应的任务塔，以及各硬件平台对应的预测层。则服务器执行步骤S110时，可以将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的任务塔中，获得所述训练样本针对各目标硬件平台的第二特征，将所述各第二特征输入对应该硬件平台的预测层中，通过各预测层输出该算子在各目标硬件平台上预测运行时间。
以卷积算子为例，确定卷积算子的特征、硬件平台A的特征以及硬件平台B的特征，根据卷积算子的特征、硬件平台A的特征以及硬件平台B的特征确定训练样本{卷积算子的特征，硬件平台A的特征，硬件平台B的特征}，将卷积算子的运行代码在硬件平台A执行的实际运行时间T1作为该训练样本对应硬件平台A的标注，将卷积算子的运行代码在硬件平台B执行的实际运行时间T2作为该训练样本对应硬件平台B的标注。
如图2所示，特征提取层中包含n个子特征提取层，将该训练样本输入特征提取层中n个子特征提取层，获得n个子特征提取层输出的n个中间特征，如图2所示的标号数字1的圆即表示子特征提取层1根据该训练样本输出的中间特征1，标号数字n的圆即表示子特征提取层n根据该训练样本输出的中间特征n。
如图2所示，代价模型包括硬件平台A对应的门控网络层A，与代价模型包括硬件平台B对应的门控网络层B。
针对门控网络层A，将该训练样本包含的门控网络层A对应的硬件平台A的特征，输入门控网络层A，确定门控网络层A输出的加权矩阵。针对门控网络层B，将该训练样本包含的门控网络层B对应的硬件平台B的特征，输入门控网络层B，确定门控网络层B输出的加权矩阵。需要说明的是，如图2所示的门控网络层均可以包括权重确定层与归一化层，本图并未画出。
门控网络层A输出的加权矩阵可以为由各权重系数组成的，如{0.1，0.2，...，0.3}（归一化，则各权重系数之和为1），每个系数对应且仅对应一个子特征提取层，通常该矩阵内部的权重系数的顺序与各子特征提取层的顺序是一致的，每个权重系数可以理解为该门控网络层对该权重系数对应的子特征提取层的信任程度。
针对每个硬件平台，根据对应该硬件平台的门控网络输出的归一化的加权矩阵对训练样本的各子特征提取层提取中间特征加权的结果，确定训练样本对应该硬件平台的第一特征。如图2所示，针对每个硬件平台A，将门控网络层A的每个系数与该系数对应的子特征提取层输出的中间特征相乘得到乘积，再将所有乘积加权得到硬件平台A的第一特征（硬件平台A的第一特征在图2中即标号A的阴影圆）。
最后将硬件平台A的第一特征输入硬件平台A的输出层中（包括任务塔层与预测层），获得卷积算子的运行代码在硬件平台A上执行的预测运行时间。
进一步地，可以根据下述公式来确定如步骤S112所述的最终的损失：
其中，
表示（由l算子的特征与各硬件平台特征组成的）训练样本的运行代码在各硬件平台上执行的实际运行时间之和，/>
表示共有n条训练样本。/>
表示代价模型输出的该训练样本运行代码在各硬件平台上执行的预测运行时间之和，/>
表示训练样本对应各硬件平台的实际运行时间之和与预测运行时间之和的差异，/>
即各训练样本对该差异的平方值求和再求均值的结果，也即/>
，将/>
作为最终的损失，以/>
最小为训练目标训练代价模型。
在本说明书提供的一种实施例中，还可以在自动张量编译的过程中训练代价模型，具体地，确定目标模型对应的计算图中的每个算子，然后根据预设的调度逻辑模板（即运行代码模板）确定该算子的调度空间。预设的调度逻辑模板是根据经验确定的，调度空间即由多个调度逻辑映射得到的。该算子根据预设的搜索算法在该算子的所述调度空间中确定预设数量的运行代码，根据该算子的各运行代码，分别确定该算子对应的各算子的特征，并通过训练得到的代价模型，确定该算子的各运行代码分别对应的各预测运行时间，按照所述预测运行时间从短到长，确定用于训练的运行代码。在目标硬件平台运行该算子的各运行代码，确定实际运行时间，以根据预测运行时间与实际运行时间的差异最小，调整代价模型。继续通过预设的搜索算法，根据用于训练的运行代码，从调度空间继续确定预设数量的运行代码，用调整后的代价模型，继续确定各重新确定的运行代码的预测运行时间，重复上述过程直至使用搜索算法的次数达到第一预设阈值或使用搜索算法的时间达到第二预设阈值。
其中，预设的搜索算法如遗传算法、模拟退火算法、粒子群算法、强化学习等，本说明书在此不做限制。
其中，确定目标模型以及目标模型对应的计算图，具体可以如下：确定目标模型以及所述目标模型在对应深度学习框架下的计算图。根据预设映射规则，通过分析所述目标模型在对应深度学习框架下的计算图中每个算子的属性，并根据算子间的数据依赖关系构建统一标准的计算图，作为所述目标模型对应的计算图。算子的属性即算子的计算逻辑等。
在统一计算图的标准后，还可以对计算图进行优化，常见的图优化包括：算术表达式化简、公共子表达式消除、常数传播、矩阵乘自动融合、算子融合、子图替换和随机子图替换等。
具体地，在本说明书提高的一种实施例中，根据该算子的计算逻辑，按照预设代码模板，生成该算子对应各硬件平台的调度逻辑，并确定由各调度逻辑映射得到的调度空间，按照预设的搜索算法，在所述调度空间中确定第一预设数量的调度逻辑（即运行代码），根据确定出的运行代码确定代价模型的输入，输入所述代价模型中，获得确定出的各运行代码对应的各预测运行时间；所述代价模型是基于如步骤S100~112所述的方法训练得到的，比较各预测执行时间，从确定出的第一预设数量的运行代码中确定第二预设数量的运行代码，作为较优运行代码。在所述各目标硬件平台上执行各较优张量代码，获得各实际运行时间，根据各预测运行时间与各实际运行时间之间的差异训练所述代价模型。按照预设的搜索算法，在调度空间中确定与较优张量代码邻近的第一预设数量的张量代码，将确定出的张量代码输入预先训练的代价模型中，获得确定出的各运行代码对应的各预测运行时间。重复执行上述步骤训练代价模型，直至执行上述搜索算法的搜索次数达到预设阈值和/或训练搜索时间达到预设时长时停止训练代价模型。比较最后一次确定的各预测执行时间，确定该算子对应各硬件平台的最优运行代码，实现自动张量编译。其中，第二预设数量不大于第一预设数量，在实际应用中，第二预设数量通常远小于第一预设数量。
其中，具体的调度逻辑包括循环切分、向量化、并行化、循环展开和循环合并等等。
如图3所示，根据历史数据组成的离线数据集确定训练样本，预先如步骤S100~S112所述训练代价模型，然后在自动张良编译过程中，使用搜索算法在算子的调度空间中搜索算子的调度逻辑（即运行代码），根据搜索算子的运行代码确定在线数据集，根据在线数据集中算子运行代码和/或计算逻辑确定算子的特征，确定由算子的特征与硬件平台特征构成的训练样本，获得算子运行代码的预测运行时间，同时确定根据在线数据集确定的部分训练样本在硬件平台的实际运行时间，以预测运行时间与实际运行时间的差异进一步训练代价模型。
使用上述方法训代价模型，不仅能够在自动张量编译的过程中迭代训练代价模型，使代价模型的效果越来越好，同时也加快了目标模型在各硬件平台上的自动编译速度，提高了自动张量编译的准确性以及自动张量编译方法（或代价模型）对多硬件平台的适用性。
进一步地，还可以设计模型评估指标，用于评估和比较代价模型的性能，模型评估指标可以包括基于步骤S100~S102所述的训练样本训练得到的代价模型的第一指标，和在结合搜索算法的自动张量编译过程中进一步训练得到的代价模型的第二指标，用于评价将代价模型集成在结合搜索算法的自动张量编译过程中的编译性能。
对于第一指标，本发明使用RMSE和
系数进行代价模型的评估，如下所示：
其中，
表示实际运行时间的平均值。该公式的含义即将代价模型与均值模型相比较，均值模型即对算子的运行代码在各硬件平台的预测运行时间都是实际运行时间的平均值。
对于后者，固定搜索时间，比较不同代价模型达到指定搜索时间时，机器学习模型编译后在硬件平台上运行的时间。如本发明训练了2个代价模型，在搜索时间t0范围内，根据代价模型model1确定的运行代码运行时间为t1，代价模型model2确定的运行代码运行时间为t2。若t1＞t2,则认为代价模型model2的编译效果要好于代价模型model1，即代价模型model2的第二指标更优。
以上为本说明书的一个或多个实施的方法，基于同样的思路，本说明书还提供了相应的代价模型训练的装置，如图4所示。
图4为本说明书提供的一种代价模型训练的装置的示意图，所述代价模型包括：特征提取层、各硬件平台对应的门控网络层以及各硬件平台对应的输出层，所述装置包括：
第一确定模块401，用于确定用于部署在模型中的各算子，并确定各算子的特征以及各硬件平台的特征；
第二确定模块402，用于针对每个算子，根据该算子的特征以及各硬件平台的特征确定训练样本，并根据该算子的运行代码在各硬件平台执行的实际运行时间，确定所述训练样本对应各硬件平台的标注；
提取模块403，用于将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征；
加权模块404，用于针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵；
加权结果模块405，用于针对每个硬件平台，根据对应该硬件平台的门控网络输出的加权矩阵对所述训练样本的中间特征加权的结果，确定所述训练样本对应该硬件平台的第一特征；
预测结果模块406，用于将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间；
训练模块407，用于根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定损失，并以损失最小为优化目标训练所述代价模型。
可选地，所述特征提取层具有多个子特征提取层；
所述提取模块403具体用于，将所述训练样本分别输入所述代价模型的所述特征提取层中的各子特征提取层中，确定所述各子特征提取层提取的所述训练样本的中间特征。
可选地，所述算子的特征包括算子的计算特征与运行代码的特征。
可选地，所述门控网络层包括：权重确定层与归一化层；
所述加权模块404具体用于，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该目标硬件平台对应的门控网络层中的所述权重确定层确定该门控网络层的初始加权矩阵；将所述初始权重矩阵输入所述归一化层，获得归一化的加权矩阵，其中，所述归一化的加权矩阵中的各权重值是归一化的。
可选地，所述输出层包括：各硬件平台对应的任务塔，以及各硬件平台对应的预测层；
所述预测结果模块406将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的任务塔中，获得所述训练样本针对各目标硬件平台的第二特征；将所述各第二特征输入对应该硬件平台的预测层中，通过各预测层输出该算子在各目标硬件平台上预测运行时间。
可选地，所述训练模块具体用于，根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定所述训练样本对应该硬件平台的损失；根据所述训练样本对应各硬件平台的损失确定最终的损失。
可选地，所述训练模块407还用于，确定目标模型对应的计算图中的每个算子，根据预设的搜索算法在该算子的所述调度空间中确定预设数量的运行代码；根据该算子的各运行代码，分别确定该算子对应的各算子的特征，并通过训练得到的代价模型，确定该算子的各运行代码分别对应的各预测运行时间；按照所述预测运行时间从短到长，确定用于训练的运行代码；在目标硬件平台运行该算子的各运行代码，确定实际运行时间，以根据预测运行时间与实际运行时间的差异最小，调整代价模型；继续通过预设的搜索算法，根据用于训练的运行代码，从调度空间继续确定预设数量的运行代码，用调整后的代价模型，继续确定各重新确定的运行代码的预测运行时间，重复上述过程直至使用搜索算法的次数达到第一预设阈值或使用搜索算法的时间达到第二预设阈值。
本说明书还提供了图5所示的一种对应于图1的电子设备的示意结构图。如图5所示，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的代价模型训练的方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种代价模型训练的方法，其特征在于，所述代价模型包括：特征提取层、各硬件平台对应的门控网络层以及各硬件平台对应的输出层，所述方法包括：
确定用于部署在模型中的各算子，并确定各算子的特征以及各硬件平台的特征；
针对每个算子，根据该算子的特征以及各硬件平台的特征确定训练样本，并根据该算子的运行代码在各硬件平台执行的实际运行时间，确定所述训练样本对应各硬件平台的标注；
将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征；
针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵；
针对每个硬件平台，根据对应该硬件平台的门控网络输出的加权矩阵对所述训练样本的中间特征加权的结果，确定所述训练样本对应该硬件平台的第一特征；
将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间；
根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定损失，并以损失最小为优化目标训练所述代价模型。
2.如权利要求1所述的方法，其特征在于，所述特征提取层具有多个子特征提取层；
将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征，具体包括：
将所述训练样本分别输入所述代价模型的所述特征提取层中的各子特征提取层中，确定所述各子特征提取层提取的所述训练样本的中间特征。
3.如权利要求1所述的方法，其特征在于，所述算子的特征包括算子的计算特征与运行代码的特征。
4.如权利要求1所述的方法，其特征在于，所述门控网络层包括：权重确定层与归一化层；
针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵，具体包括：
将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该目标硬件平台对应的门控网络层中的权重确定层，确定该门控网络层的初始加权矩阵；
将所述初始权重矩阵输入该目标硬件平台对应的门控网络层中的归一化层，获得归一化的加权矩阵，其中，所述归一化的加权矩阵中的各权重值是归一化的。
5.如权利要求1所述的方法，其特征在于，所述输出层包括：各硬件平台对应的任务塔，以及各硬件平台对应的预测层；
将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间，具体包括：
将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的任务塔中，获得所述训练样本针对各目标硬件平台的第二特征；
将所述各第二特征输入对应该硬件平台的预测层中，通过各预测层输出该算子在各目标硬件平台上预测运行时间。
6.如权利要求1所述的方法，其特征在于，根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定损失，具体包括：
根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定所述训练样本对应该硬件平台的损失；
根据所述训练样本对应各硬件平台的损失确定最终的损失。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
确定目标模型对应的计算图中的每个算子，根据预设的搜索算法在该算子的调度空间中确定预设数量的运行代码；
根据该算子的各运行代码，分别确定该算子对应的各算子的特征，并通过训练得到的代价模型，确定该算子的各运行代码分别对应的各预测运行时间；
按照所述预测运行时间从短到长，确定用于训练的运行代码；
在目标硬件平台运行该算子的各运行代码，确定实际运行时间，以根据预测运行时间与实际运行时间的差异最小，调整代价模型；
继续通过预设的搜索算法，根据用于训练的运行代码，从调度空间继续确定预设数量的运行代码，用调整后的代价模型，继续确定各重新确定的运行代码的预测运行时间，重复上述过程直至使用搜索算法的次数达到第一预设阈值或使用搜索算法的时间达到第二预设阈值。
8.一种代价模型训练的装置，其特征在于，所述代价模型包括：特征提取层、各硬件平台对应的门控网络层以及各硬件平台对应的输出层，所述装置包括：
第一确定模块，用于确定用于部署在模型中的各算子，并确定各算子的特征以及各硬件平台的特征；
第二确定模块，用于针对每个算子，根据该算子的特征以及各硬件平台的特征确定训练样本，并根据该算子的运行代码在各硬件平台执行的实际运行时间，确定所述训练样本对应各硬件平台的标注；
提取模块，用于将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征；
加权模块，用于针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵；
加权结果模块，用于针对每个硬件平台，根据对应该硬件平台的门控网络输出的加权矩阵对所述训练样本的中间特征加权的结果，确定所述训练样本对应该硬件平台的第一特征；
预测结果模块，用于将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间；
训练模块，用于根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定损失，并以损失最小为优化目标训练所述代价模型。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310564363.7A CN116304720B (zh) | 2023-05-18 | 2023-05-18 | 一种代价模型训练的方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310564363.7A CN116304720B (zh) | 2023-05-18 | 2023-05-18 | 一种代价模型训练的方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116304720A true CN116304720A (zh) | 2023-06-23 |
| CN116304720B CN116304720B (zh) | 2023-08-25 |
Family
ID=86798173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310564363.7A Active CN116304720B (zh) | 2023-05-18 | 2023-05-18 | 一种代价模型训练的方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116304720B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116661574A (zh) * | 2023-07-13 | 2023-08-29 | 之江实验室 | 一种计算设备散热的方法、装置、存储介质及电子设备 |
| CN116721399A (zh) * | 2023-07-26 | 2023-09-08 | 之江实验室 | 一种量化感知训练的点云目标检测方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2090983A1 (en) * | 2008-02-15 | 2009-08-19 | Siemens Aktiengesellschaft | Determining an architecture for executing code in a multi architecture environment |
| CN110070117A (zh) * | 2019-04-08 | 2019-07-30 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及装置 |
| CN111160515A (zh) * | 2019-12-09 | 2020-05-15 | 中山大学 | 运行时间预测方法、模型搜索方法及系统 |
| CN111738434A (zh) * | 2020-06-03 | 2020-10-02 | 中国科学院计算技术研究所 | 在异构处理单元上执行深度神经网络的方法 |
| KR102257028B1 (ko) * | 2020-10-06 | 2021-05-27 | 주식회사 딥이티 | 컴퓨팅 플랫폼 기반의 적응형 딥러닝 작업 할당 장치 및 방법 |
| CN113469322A (zh) * | 2020-03-31 | 2021-10-01 | 杭州海康威视数字技术股份有限公司 | 确定模型的可执行程序的方法、装置、设备及存储介质 |
| US20220051104A1 (en) * | 2020-08-14 | 2022-02-17 | Microsoft Technology Licensing, Llc | Accelerating inference of traditional ml pipelines with neural network frameworks |
| CN114064242A (zh) * | 2021-11-12 | 2022-02-18 | 中兴通讯股份有限公司 | 调度参数的调整方法、设备及存储介质 |
| CN114463091A (zh) * | 2022-01-29 | 2022-05-10 | 北京沃东天骏信息技术有限公司 | 信息推送模型训练和信息推送方法、装置、设备和介质 |
| CN115222030A (zh) * | 2022-07-15 | 2022-10-21 | 北京航空航天大学 | 深度学习网络算子程序的自动调优加速方法 |
-
2023
- 2023-05-18 CN CN202310564363.7A patent/CN116304720B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2090983A1 (en) * | 2008-02-15 | 2009-08-19 | Siemens Aktiengesellschaft | Determining an architecture for executing code in a multi architecture environment |
| CN110070117A (zh) * | 2019-04-08 | 2019-07-30 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及装置 |
| CN111160515A (zh) * | 2019-12-09 | 2020-05-15 | 中山大学 | 运行时间预测方法、模型搜索方法及系统 |
| CN113469322A (zh) * | 2020-03-31 | 2021-10-01 | 杭州海康威视数字技术股份有限公司 | 确定模型的可执行程序的方法、装置、设备及存储介质 |
| CN111738434A (zh) * | 2020-06-03 | 2020-10-02 | 中国科学院计算技术研究所 | 在异构处理单元上执行深度神经网络的方法 |
| US20220051104A1 (en) * | 2020-08-14 | 2022-02-17 | Microsoft Technology Licensing, Llc | Accelerating inference of traditional ml pipelines with neural network frameworks |
| KR102257028B1 (ko) * | 2020-10-06 | 2021-05-27 | 주식회사 딥이티 | 컴퓨팅 플랫폼 기반의 적응형 딥러닝 작업 할당 장치 및 방법 |
| CN114064242A (zh) * | 2021-11-12 | 2022-02-18 | 中兴通讯股份有限公司 | 调度参数的调整方法、设备及存储介质 |
| CN114463091A (zh) * | 2022-01-29 | 2022-05-10 | 北京沃东天骏信息技术有限公司 | 信息推送模型训练和信息推送方法、装置、设备和介质 |
| CN115222030A (zh) * | 2022-07-15 | 2022-10-21 | 北京航空航天大学 | 深度学习网络算子程序的自动调优加速方法 |
Non-Patent Citations (2)
| Title |
|---|
| XUEYING WANG等: ""Facilitating hardware-aware neural architecture search with learning-based predictive models"", 《JOURNAL OF SYSTEMS ARCHITECTURE》, vol. 137 * |
| 钱新宇: ""基于OpenCL的深度卷积神经网络推理加速与性能模型研究"", 《万方数据库》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116661574A (zh) * | 2023-07-13 | 2023-08-29 | 之江实验室 | 一种计算设备散热的方法、装置、存储介质及电子设备 |
| CN116661574B (zh) * | 2023-07-13 | 2023-12-12 | 之江实验室 | 一种计算设备散热的方法、装置、存储介质及电子设备 |
| CN116721399A (zh) * | 2023-07-26 | 2023-09-08 | 之江实验室 | 一种量化感知训练的点云目标检测方法及装置 |
| CN116721399B (zh) * | 2023-07-26 | 2023-11-14 | 之江实验室 | 一种量化感知训练的点云目标检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116304720B (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116304720B (zh) | 一种代价模型训练的方法、装置、存储介质及电子设备 | |
| CN116663618B (zh) | 一种算子优化方法、装置、存储介质及电子设备 | |
| CN116502679B (zh) | 一种模型构建方法、装置、存储介质及电子设备 | |
| CN116521380A (zh) | 一种资源自适应协同的模型训练加速方法、装置及设备 | |
| CN114936085A (zh) | 基于深度学习算法的etl调度方法及装置 | |
| CN110826894A (zh) | 超参数确定方法、装置及电子设备 | |
| CN115712866B (zh) | 数据处理方法、装置及设备 | |
| CN116860259B (zh) | 一种模型训练和编译器自动调优的方法、装置及设备 | |
| CN115543945B (zh) | 一种模型压缩的方法、装置、存储介质及电子设备 | |
| CN116403097A (zh) | 一种目标检测方法、装置、存储介质及电子设备 | |
| CN114120273A (zh) | 一种模型训练的方法及装置 | |
| CN116755862B (zh) | 一种算子优化调度模型的训练方法、装置、介质及设备 | |
| CN117075918B (zh) | 一种模型部署方法、装置、存储介质及电子设备 | |
| CN116991388B (zh) | 一种深度学习编译器的图优化序列生成方法及装置 | |
| CN117009729B (zh) | 基于softmax的数据处理方法及装置 | |
| CN115862675B (zh) | 一种情感识别方法、装置、设备及存储介质 | |
| CN117407690B (zh) | 一种基于模型迁移性评估的任务执行方法、装置及设备 | |
| CN116434787B (zh) | 一种语音情感识别的方法、装置、存储介质及电子设备 | |
| CN111753990B (zh) | 一种量子计算机模拟环境方法、设备及介质 | |
| CN117828360A (zh) | 一种模型训练、代码生成方法、装置、存储介质及设备 | |
| CN117036829A (zh) | 一种基于原型学习实现标签增强的叶片细粒度识别方法和系统 | |
| CN116484002A (zh) | 一种论文分类方法、装置、存储介质及电子设备 | |
| CN116363418A (zh) | 一种训练分类模型的方法、装置、存储介质及电子设备 | |
| CN117743824A (zh) | 一种模型训练、业务执行方法、装置、存储介质及设备 | |
| CN116401541A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |