CN116011593A - 一种网络模型能耗的确定方法及装置 - Google Patents

Abstract

本说明书实施例提供一种网络模型能耗的确定方法及装置，该方法包括：获取目标网络模型在训练过程的训练浮点计算总量；获取目标网络模型的当前调用量，当前调用量表示调用目标网络模型执行业务预测任务的次数；基于当前调用量及目标网络模型在单次业务预测任务执行过程的第一浮点计算量，确定预测浮点计算总量；基于训练浮点计算总量和预测浮点计算总量，确定目标网络模型的当前能耗量。

Description

一种网络模型能耗的确定方法及装置

技术领域

本说明书涉及数据处理领域，尤其涉及一种网络模型能耗的确定方法及装置。

背景技术

随着环境保护意识的增强，为了减缓全球变暖，目前人工智能也将参与到工作中来，提出"绿色AI"，致力于降低基于人工智能算法的网络模型在运行过程中的能耗。如何相对准确地评估出网络模型的能耗至关重要。

发明内容

本说明书一个或多个实施例提供了一种网络模型能耗的确定方法及装置，以实现对模型能耗的准确确定。

根据第一方面，提供一种网络模型能耗的确定方法，包括：

获取目标网络模型在训练过程的训练浮点计算总量；

获取所述目标网络模型的当前调用量，所述当前调用量表示调用所述目标网络模型执行业务预测任务的次数；

基于所述当前调用量及所述目标网络模型在单次业务预测任务执行过程的第一浮点计算量，确定预测浮点计算总量；

基于所述训练浮点计算总量和预测浮点计算总量，确定所述目标网络模型的当前能耗量。

根据第二方面，提供一种网络模型能耗的确定装置，包括：

第一获取模块，配置为获取目标网络模型在训练过程的训练浮点计算总量；

第二获取模块，配置为获取所述目标网络模型的当前调用量，所述当前调用量表示调用所述目标网络模型执行业务预测任务的次数；

第一确定模块，配置为基于所述当前调用量及所述目标网络模型在单次业务预测任务执行过程的第一浮点计算量，确定预测浮点计算总量；

第二确定模块，配置为基于所述训练浮点计算总量和预测浮点计算总量，确定所述目标网络模型的当前能耗量。

根据第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所述的方法。

根据第四方面，提供一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面所述的方法。

根据本说明书实施例提供的方法及装置，获取目标网络模型在训练过程的训练浮点计算总量；获取目标网络模型的当前调用量，当前调用量表示调用目标网络模型执行业务预测任务的次数；基于当前调用量及目标网络模型在单次业务预测任务执行过程的第一浮点计算量，确定预测浮点计算总量；基于训练浮点计算总量和预测浮点计算总量，确定目标网络模型的当前能耗量。通过分别确定目标网络模型在训练过程和业务预测过程的浮点计算总量，来确定目标网络模型的当前能耗量，以实现对目标网络模型的能耗量的准确确定，避免外界环境对目标网络模型所在硬件的影响，导致所确定的能耗量不准确的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书披露的一个实施例的实施框架示意图；

图2为实施例提供的模型能耗的确定方法的一种流程示意图；

图3为实施例提供的第一浮点计算量确定过程的一种示意图；

图4为实施例提供的模型能耗的确定装置的一种示意性框图。

具体实施方式

下面将结合附图，详细描述本说明书实施例的技术方案。

本说明书实施例披露一种网络模型能耗的确定方法及装置，下面首先对网络模型能耗的确定方法的应用场景和技术构思进行介绍，具体如下：

如前所述，为了更好的保护环境，人工智能将参与到工作中来，提出"绿色AI"，致力于降低基于人工智能算法的网络模型在运行过程中的能耗。如何相对准确地评估出网络模型的能耗至关重要。

目前，可以基于网络模型所在设备的处理器（CPU）的耗能情况，来确定网络模型的能耗。该确定方式中，处理器的能耗情况易受设备硬件的属性、设备所处环境的因素（例如通风情况、温度以及湿度等）的影响，导致针对网络模型所确定的能耗量不够准确。

鉴于此，发明人提出一种网络模型能耗的确定方法，图1示出根据本说明书披露的一个实施例的实施场景示意图。在该实施场景中，电子设备获取目标网络模型在训练阶段的训练浮点计算总量；并基于目标网络模型被调用执行业务预测任务的次数和其在单次业务预测任务执行过程的第一浮点计算量，确定出目标网络模型在被调用执行业务预测任务阶段中的预测浮点计算总量；进而基于目标网络模型在训练阶段的训练浮点计算总量，以及在其被调用执行业务预测任务阶段中的预测浮点计算总量，来确定其生命周期内的当前能耗量。

上述过程中，目标网络模型在训练阶段中和在其被调用执行业务预测任务阶段中的浮点计算总量，是基于目标网络模型自身的网络结构和运行情况而确定的，其受目标网络模型自身的网络结构以及目标网络模型被调用的次数等影响，基于这样的浮点计算总量，确定目标网络模型的当前能耗量，可以避免外界环境对目标网络模型所在设备硬件的影响，导致所确定的能耗量不准确的问题，实现对目标网络模型的能耗量的准确确定。

下面结合具体实施例，对本说明书提供的网络模型能耗的确定方法进行详细阐述。

图2示出了本说明书一个实施例中网络模型能耗的确定方法的流程图。该方法通过电子设备执行，该电子设备可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来实现。在网络模型能耗的确定过程中，如图2所示，所述方法包括如下步骤S210-S250：

在步骤S210，获取目标网络模型在训练阶段的训练浮点计算总量。

其中，该目标网络模块可以是任一基于机器学习算法的网络模型。

在一种实现中，目标网络模型的训练阶段可以包括至少一轮训练过程，该训练浮点计算总量包括目标网络模型在该至少一轮训练过程中消耗产生的浮点计算量的总和。举例而言，目标网络模型经过一轮训练过程（即利用包括与业务预测任务相关的样本数据和标签数据的训练数据，训练该目标网络模型的过程），达到预设收敛状态之后，目标网络模型被用于执行业务预测任务。接着，为了保证其业务预测结果的准确性，目标网络模型被用于执行业务预测任务一段时间后，目标网络模型再经过一轮训练过程，即再一次利用训练数据（包括业务预测任务相关的样本数据和标签数据）对该目标网络模型进行训练，直至目标网络模型达到预设收敛状态，接着达到预设收敛状态的目标网络模型继续被用于执行业务预测任务。上述过程中，目标网络模型经过了两轮训练过程，电子设备所获取的训练浮点计算总量包括目标网络模型在该两轮训练过程中的浮点计算量的总和。

其中，预设收敛状态可以包括但不限于：模型参数调整次数超过预设次数阈值，或者目标网络模型对应的预测损失（基于样本数据对应的标签数据和目标网络模型针对该样本数据得到的业务预测数据确定）低于预设损失阈值。

在一个实施例中，考虑到目标网络模型在训练阶段中，一般为分批次训练，该训练浮点计算总量可以是，基于目标网络模型在训练阶段中单批次数据训练过程的第二浮点计算量，以及训练阶段中数据批次个数而确定的。

本实现方式中，目标网络模型在进行训练时，一般为分批次训练，例如：在一轮训练过程中，存在10000个训练数据（包括样本数据及其对应的标签数据），在训练之前，首先将10000个训练数据分成100组（即将10000个训练数据分成100个数据批次），其中，每组包括100条训练数据（即每一批次包括100个数据）。之后，在训练目标网络模型时，首先将其中1组数据（即100条训练数据）分别输入目标网络模型，以使目标网络模型分别针对每条训练数据进行处理，得到每条训练数据对应的业务预测数据（即100条训练数据对应的100个业务预测数据）。这个过程可以称为正向传播过程。

之后，按照与业务预测相关的损失函数，基于100条训练数据各自对应的业务预测数据和标签数据，确定目标网络模型的预测损失，利用预测损失进行反向传播，调整目标网络模型的模型参数。这个过程称为反向传播过程。

此时经过前述的正向传播过程（目标网络模型进行100次正向运算）和反向传播过程（目标网络模型进行1次反向运算），完成一次目标网络模型在训练阶段中单批次数据训练过程。

可以理解的是，目标网络模型针对各批次的训练数据，均需要执行前述的正向传播过程和反向传播过程，即处理过程是相似的。相应的，该训练浮点计算总量可以是，基于目标网络模型在训练阶段中单批次数据训练过程的第二浮点计算量，以及训练阶段中数据批次个数而确定的。具体的，该训练浮点计算总量等于，第二浮点计算量与数据批次个数的乘积。其中，目标网络模型的训练阶段包括至少一轮训练过程的情况下，该数据批次个数为至少一轮训练过程的数据批次个数的总和。

在另一种实现方式中，在目标网络模型的训练过程中，还可以是每向目标网络模型输入一个样本数据，目标网络模型则对该样本数据进行正向运算，得到该样本数据对应的业务预测数据。之后，按照与业务预测相关的损失函数，基于该样本数据对应的业务预测数据和标签数据，确定目标网络模型的预测损失，之后即利用该预测损失进行反向传播（即反向运算），调整目标网络模型的模型参数。

这样，在目标网络模型的训练过程中，目标网络模型针对各样本数据执行一次正向运算并执行一次反向运算。相应的，电子设备可以先获取目标网络模型执行一次正向运算并执行一次反向运算所消耗产生的浮点计算量（称为第三浮点计算量），之后将第三浮点计算量与参与训练的总数据量的乘积，作为训练浮点计算总量。在一种实现中，在目标网络模型的训练过程中，可以通过调用目标模型平台的指定接口，获取得到该第三浮点计算量，目标模型平台可对目标网络模型的训练过程进行监测。

接着在步骤S220，获取目标网络模型的当前调用量，当前调用量表示调用目标网络模型执行业务预测任务的次数。其中，目标网络模型被调用执行一次业务预测任务，其调用量加一。相应的，本步骤中，电子设备可以直接获取目标网络模型的当前调用量，该当前调用量表示当前截止（执行该网络模型能耗的确定流程截止）调用目标网络模型执行业务预测任务的次数。

之后，在步骤S230，基于当前调用量及目标网络模型在单次业务预测任务执行过程的第一浮点计算量，确定预测浮点计算总量。

可以理解的是，当前调用量表示调用目标网络模型执行业务预测任务的次数，第一浮点计算量为目标网络模型在单次业务预测任务执行过程中的浮点计算量。在一种实现中，在步骤S230，可以具体包括：将当前调用量与第一浮点计算量的乘积，确定为预测浮点计算总量。

在一个实施例中，该第一浮点计算量，可以是其他可以对目标网络模型的业务预测任务执行过程进行监测的设备，反馈给电子设备的。电子设备从其他设备获取到第一浮点计算量之后，将该第一浮点计算量预存于预设存储区域中。之后电子设备在获取当前调用量之后，或者电子设备在网络模型能耗的确定流程被触发后，可以在预设存储区域中读取得到该第一浮点计算量。接着，执行步骤S230。

在又一个实施例中，该电子设备运行有目标模型平台，该目标模型平台可对目标网络模型的业务预测任务执行过程进行监测。相应的，电子设备在步骤S230，确定预测浮点计算总量的过程之前，可以在目标网络模型的业务预测任务执行过程中，通过调用目标模型平台的指定接口，获取该第一浮点计算量，之后执行步骤S230。

在一种实现中，该目标模型平台可以为Tensorflow平台，该Tensorflow平台为一种开源机器学习框架，其具有快速、灵活并适合产品级大规模应用等特点，让每个开发者和研究者都能方便地使用人工智能来解决多样化的挑战。电子设备可以调用Tensorflow平台的API接口，例如其自带的Tensorflow.profiler.profile的api接口，对目标网络模型的业务预测任务执行过程进行监测，通过调用前述接口来调用指定程序代码，获取该第一浮点计算量。其中，指定程序代码如下：

“import tensorflow.keras.backend as K

flops=ensorflow.profiler.profile(graph=K.get_session().graph,

options=tf.profiler.ProfileOptionBuilder.float_operation()

flops.total_float_ops”。

在又一个实施例中，电子设备还可以直接基于目标网络模型的网络结构，确定目标网络模型在一次业务预测任务的执行过程中所消耗产生的浮点计算量，即第一浮点计算量。具体的，目标网络模型包括若干层卷积层和若干层全连接层；

在步骤S230之前，如图3所示，所述方法可以包括如下步骤S310-S330：

在步骤S310，基于第一浮点计算量公式，各卷积层的模型参数，确定各卷积层在目标网络模型的单次业务预测任务执行过程中的浮点计算量。

在步骤S320，基于第二浮点计算量公式，各全连接层的模型参数，确定各全连接层在目标网络模型的单次业务预测任务执行过程中的浮点计算量；

在步骤S330，基于各卷积层的浮点计算量和各全连接层的浮点计算量，确定第一浮点计算量。

目标网络模型在被调用执行业务预测任务的过程（或者在训练过程）中，其主要是利用卷积层（对输入数据）进行卷积操作，以及利用全连接层（对输入数据）进行全连接操作，这些操作的进行都会有对应的浮点计算量的消耗产生。

在一种实现中，假设目标网络模型采用滑动窗口实现卷积操作且忽略非线性计算（例如激活函数的计算）开销，各卷积层在目标网络模型的单次业务预测任务执行过程中的浮点计算量FLOPs，可以基于第一浮点计算量公式和各卷积层的模型参数确定。其中，第一浮点计算量公式，可以通过如下公式（1）表示：

FLOPs_1i=2 H _i W _i （ C _ini K _i ² +1） C _outi ；          （1）

其中，FLOPs_1i表示目标网络模型的单次业务预测任务执行过程中的第i卷积层的浮点计算量， H _i 、 W _i 和 C _ini 分别表示第i卷积层的输入特征图（即输入数据）的高度、宽度和通道数， K _i 表示第i卷积层的卷积核宽度， C _outi 表示第i卷积层的输出特征图（即输出数据）的通道数。

各全连接层在目标网络模型的单次业务预测任务执行过程中的浮点计算量，可以基于第二浮点计算量公式和各全连接层的模型参数确定。其中，第二浮点计算量公式，可以通过如下公式（2）表示：

FLOPs_2j=（ 2I _j -1） O _j ；          （2）

其中，FLOPs_2j表示目标网络模型的单次业务预测任务执行过程中的第j全连接层的浮点计算量， I _j 表示第j全连接层的输入维数， O _j 表示第j全连接层的输出维数。

通过上述方式，可以确定出目标网络模型的单次业务预测任务执行过程中的各卷积层的浮点计算量，以及各全连接层的浮点计算量。之后，可以基于各卷积层的浮点计算量以及各全连接层的浮点计算量，确定目标网络模型的单次业务预测任务执行过程中的浮点计算量，即第一浮点计算量。具体的，将各卷积层的浮点计算量以及各全连接层的浮点计算量的累加和，确定为第一浮点计算量。

在确定出第一浮点计算量之后，可以将第一浮点计算量与当前调用量的乘积，作为目标网络模型在整个业务预测任务执行过程中的浮点计算总量，即得到预测浮点计算总量。

接着，在步骤S240，基于训练浮点计算总量和预测浮点计算总量，确定目标网络模型的当前能耗量。本步骤中，电子设备确定出训练浮点计算总量和预测浮点计算总量之后，可以计算训练浮点计算总量和预测浮点计算总量的和值，作为目标网络模型的当前浮点计算总量。之后基于当前浮点计算总量确定目标网络模型的当前能耗量。在一种实现中，可以按照预设的转换关系（浮点计算量与能耗量之间的转换关系，其中，可以为浮点计算量越大，对应的能耗量越大），基于当前浮点计算总量确定出目标网络模型的当前能耗量；或者将当前浮点计算总量确定为目标网络模型的当前能耗量。

本实施例，目标网络模型在训练阶段和在其被调用执行业务预测任务阶段的浮点计算总量，是基于目标网络模型自身的网络结构和运行情况而确定的，其受目标网络模型自身的网络结构以及目标网络模型被调用的次数等影响，基于这样的浮点计算总量，确定目标网络模型的当前能耗量，可以避免外界环境对目标网络模型所在设备硬件的影响，导致所确定的能耗量不准确的问题，实现对目标网络模型的能耗量的准确确定。

上述内容对本说明书的特定实施例进行了描述，其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行，并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的，或者可能是有利的。

相应于上述方法实施例，本说明书实施例，提供了一种网络模型能耗的确定装置400，所述装置部署于中间方，其示意性框图如图4所示，包括：

第一获取模块410，配置为获取目标网络模型在训练阶段的训练浮点计算总量；

第二获取模块420，配置为获取所述目标网络模型的当前调用量，所述当前调用量表示调用所述目标网络模型执行业务预测任务的次数；

第一确定模块430，配置为基于所述当前调用量及所述目标网络模型在单次业务预测任务执行过程的第一浮点计算量，确定预测浮点计算总量；

第二确定模块440，配置为基于所述训练浮点计算总量和所述预测浮点计算总量，确定所述目标网络模型的当前能耗量。

在一种可选的实施方式中，还包括：

第三获取模块（图中未示出），配置为在所述确定预测浮点计算总量之前，在所述目标网络模型的业务预测任务执行过程中，通过调用目标模型平台的指定接口，获取所述第一浮点计算量，其中，所述目标模型平台可对所述目标网络模型的业务预测任务执行过程进行监测。

在一种可选的实施方式中，所述目标网络模型包括若干层卷积层和若干层全连接层；还包括：

第三确定模块（图中未示出），配置为在所述确定预测浮点计算总量之前，基于第一浮点计算量公式，各卷积层的模型参数，确定各卷积层在所述目标网络模型的单次业务预测任务执行过程中的预测浮点计算量；

第四确定模块（图中未示出），配置为基于第二浮点计算量公式，各全连接层的模型参数，确定各全连接层在所述目标网络模型的单次业务预测任务执行过程中的预测浮点计算量；

第五确定模块（图中未示出），配置为基于各卷积层的预测浮点计算量和各全连接层的预测浮点计算量，确定所述第一浮点计算量。

在一种可选的实施方式中，所述训练浮点计算总量是，基于所述目标网络模型在训练阶段中单批次数据训练过程的第二浮点计算量，以及所述训练阶段中数据批次个数而确定的。

在一种可选的实施方式中，所述第一确定模块430，具体配置为将所述当前调用量与所述第一浮点计算量的乘积，确定为所述预测浮点计算总量。

上述装置实施例与方法实施例相对应，具体说明可以参见方法实施例部分的描述，此处不再赘述。装置实施例是基于对应的方法实施例得到，与对应的方法实施例具有同样的技术效果，具体说明可参见对应的方法实施例。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书所提供的所述网络模型能耗的确定方法。

本说明书实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本说明书所提供的所述网络模型能耗的确定方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于存储介质和计算设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明实施例的目的、技术方案和有益效果进行了进一步的详细说明。所应理解的是，以上所述仅为本发明实施例的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (11)

1.一种网络模型能耗的确定方法，包括：

获取目标网络模型在训练阶段的训练浮点计算总量；

获取所述目标网络模型的当前调用量，所述当前调用量表示调用所述目标网络模型执行业务预测任务的次数；

基于所述当前调用量及所述目标网络模型在单次业务预测任务执行过程的第一浮点计算量，确定预测浮点计算总量；

基于所述训练浮点计算总量和所述预测浮点计算总量，确定所述目标网络模型的当前能耗量。

2.如权利要求1所述的方法，在所述确定预测浮点计算总量之前，还包括：

在所述目标网络模型的业务预测任务执行过程中，通过调用目标模型平台的指定接口，获取所述第一浮点计算量，其中，所述目标模型平台可对所述目标网络模型的业务预测任务执行过程进行监测。

3.如权利要求1所述的方法，所述目标网络模型包括若干层卷积层和若干层全连接层；

在所述确定预测浮点计算总量之前，还包括：

基于第一浮点计算量公式，各卷积层的模型参数，确定各卷积层在所述目标网络模型的单次业务预测任务执行过程中的浮点计算量；

基于第二浮点计算量公式，各全连接层的模型参数，确定各全连接层在所述目标网络模型的单次业务预测任务执行过程中的浮点计算量；

基于各卷积层的浮点计算量和各全连接层的浮点计算量，确定所述第一浮点计算量。

4.如权利要求1所述的方法，所述训练浮点计算总量是，基于所述目标网络模型在训练阶段中单批次数据训练过程的第二浮点计算量，以及所述训练阶段中数据批次个数而确定的。

5.如权利要求1-4任一项所述的方法，其中，所述确定预测浮点计算总量，包括：

将所述当前调用量与所述第一浮点计算量的乘积，确定为所述预测浮点计算总量。

6.一种网络模型能耗的确定装置，包括：

第一获取模块，配置为获取目标网络模型在训练阶段的训练浮点计算总量；

第二获取模块，配置为获取所述目标网络模型的当前调用量，所述当前调用量表示调用所述目标网络模型执行业务预测任务的次数；

第一确定模块，配置为基于所述当前调用量及所述目标网络模型在单次业务预测任务执行过程的第一浮点计算量，确定预测浮点计算总量；

第二确定模块，配置为基于所述训练浮点计算总量和所述预测浮点计算总量，确定所述目标网络模型的当前能耗量。

7.如权利要求6所述的装置，还包括：

第三获取模块，配置为在所述确定预测浮点计算总量之前，在所述目标网络模型的业务预测任务执行过程中，通过调用目标模型平台的指定接口，获取所述第一浮点计算量，其中，所述目标模型平台可对所述目标网络模型的业务预测任务执行过程进行监测。

8.如权利要求6所述的装置，所述目标网络模型包括若干层卷积层和若干层全连接层；

还包括：

第三确定模块，配置为在所述确定预测浮点计算总量之前，基于第一浮点计算量公式，各卷积层的模型参数，确定各卷积层在所述目标网络模型的单次业务预测任务执行过程中的预测浮点计算量；

第四确定模块，配置为基于第二浮点计算量公式，各全连接层的模型参数，确定各全连接层在所述目标网络模型的单次业务预测任务执行过程中的预测浮点计算量；

第五确定模块，配置为基于各卷积层的预测浮点计算量和各全连接层的预测浮点计算量，确定所述第一浮点计算量。

9.如权利要求6所述的装置，所述训练浮点计算总量是，基于所述目标网络模型在训练阶段中单批次数据训练过程的第二浮点计算量，以及所述训练阶段中数据批次个数而确定的。

10.如权利要求6-9任一项所述的装置，其中，所述第一确定模块，具体配置为将所述当前调用量与所述第一浮点计算量的乘积，确定为所述预测浮点计算总量。

11.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-5中任一项所述的方法。

Images