CN115759209A - 神经网络模型的量化方法、装置、电子设备及介质 - Google Patents

Abstract

本公开提供了一种神经网络模型的量化方法、装置、电子设备及介质，涉及人工智能领域，尤其涉及深度学习领域。具体实现方案为：对部署于分布式平台中目标计算设备的目标神经网络模型执行多次量化处理，得到目标量化因子序列；以及根据目标量化因子序列，对目标神经网络模型进行量化；其中，多次量化处理包括：根据第n+2子量化因子序列和来自分布式平台的多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列；n为不小于2的整数；根据第n候选量化因子序列和第n+2量化因子序列，得到第n+1候选量化因子序列；响应于确定满足预设条件，确定第n+1候选量化因子序列为目标量化因子序列。

Description

神经网络模型的量化方法、装置、电子设备及介质

技术领域

本公开涉及计算机技术领域，尤其涉及人工智能、深度学习领域。具体涉及一种神经网络模型的量化方法、装置、电子设备、存储介质及计算机程序产品。

背景技术

近年来，神经网络模型被广泛应用在以计算机视觉、自然语言处理和语音识别为代表的各个应用领域，并取得了非常好的效果。实践中为了获得较高的性能，神经网络模型尤其是大规模神经网络模型的结构复杂度较高，相应地，模型的参数庞大。神经网络模型庞大的数据量和计算复杂度对硬件存储和算力提出了很高的要求，使得模型难以在低存储和低算力的设备上运行，这给神经网络模型尤其是大规模神经网络模型的部署和应用带来了巨大挑战。

神经网络模型的量化方法可以减少神经网络模型占用的内存，以及提高模型推理速度。但是，经过量化后得到的量化模型相比量化前的模型，在精度上会有一定的损失。

发明内容

本公开提供了一种神经网络模型的量化方法、装置、电子设备、存储介质及计算机程序产品。

根据本公开的一方面，提供了一种神经网络模型的量化方法，包括：对部署于分布式平台中目标计算设备的目标神经网络模型执行多次量化处理，得到目标量化因子序列；以及根据目标量化因子序列，对目标神经网络模型进行量化；其中，多次量化处理包括：根据第n+2子量化因子序列和来自分布式平台的多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列，其中，多个第n+2附加子量化因子序列是多个附加计算设备分别基于第n+2输入数据对部署于多个附加计算设备的附加神经网络模型执行量化操作得到的；n为不小于2的整数；根据第n候选量化因子序列和第n+2量化因子序列，得到第n+1候选量化因子序列；其中，第n候选量化因子序列是根据第n+1量化因子序列和第n-1候选量化因子序列得到的；响应于确定满足预设条件，确定第n+1候选量化因子序列为目标量化因子序列。

根据本公开的另一方面，提供了一种神经网络模型的量化装置，包括：第一量化模块，用于对部署于分布式平台中目标计算设备的目标神经网络模型执行多次量化处理，得到目标量化因子序列；以及第二量化模块，用于根据目标量化因子序列，对目标神经网络模型进行量化；其中，第一量化模块包括：第一获取单元，用于根据第n+2子量化因子序列和来自分布式平台的多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列，其中，多个第n+2附加子量化因子序列是多个附加计算设备分别基于第n+2输入数据对部署于多个附加计算设备的附加神经网络模型执行量化操作得到的；n为不小于2的整数；第二获取单元，用于根据第n候选量化因子序列和第n+2量化因子序列，得到第n+1候选量化因子序列；其中，第n候选量化因子序列是根据第n+1量化因子序列和第n-1候选量化因子序列得到的；确定单元，用于响应于确定满足预设条件，确定第n+1候选量化因子序列为目标量化因子序列。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开提供的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的实施例的神经网络模型的量化方法的流程图；

图2是根据本公开实施例的确定第n+2量化因子序列的示意图；

图3是根据本公开实施例的利用目标量化因子序列对目标神经网络模型进行量化的示意图；

图4是根据本公开的实施例的神经网络模型的量化装置的框图；以及

图5是用来实现本公开实施例的神经网络模型的量化方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。

近年来，神经网络模型被广泛应用在以计算机视觉、自然语言处理和语音识别为代表的各个应用领域，并取得了非常好的效果。在一些应用场景中，为了获得较高的性能，神经网络模型尤其是大规模神经网络模型的结构复杂度较高，相应地，模型的参数庞大。神经网络模型庞大的数据量和计算复杂度对硬件存储和算力提出了很高的要求，使得模型难以在低存储和低算力的设备上运行，这给神经网络模型尤其是大规模神经网络模型的部署和应用带来了巨大挑战。

神经网络模型的量化方法例如可以将模型从浮点类型量化成定点类型，以减少神经网络模型占用的内存，以及提高模型推理速度。但是，经过量化后得到的量化模型相比量化前的模型，在精度上会有一定的损失。

图1是根据本公开的实施例的神经网络模型的量化方法的流程图。

如图1所示，神经网络模型的量化方法100包括操作S110～S120。

在操作S110，对部署于分布式平台中目标计算设备的目标神经网络模型执行多次量化处理，得到目标量化因子序列。

在操作S120，根据目标量化因子序列，对目标神经网络模型进行量化。

可以理解，神经网络模型尤其是大规模神经网络模型通常具有复杂的网络结构，相应地，模型的参数非常庞大。单个计算设备通常难以存储神经网络模型的所有模型参数。因此，可以采用张量模型并行策略，通过切分模型参数的方式，把模型参数切分为多个部分并分别部署于分布式平台的多个计算设备上，通过多个计算设备分别基于输入数据来对神经网络模型进行量化处理。

根据本公开的实施例，上述神经网络模型的量化方法可以由多个计算设备中的目标计算设备执行。目标计算设备可以对本地部署的目标神经网络模型执行多次量化处理，得到目标量化因子序列，并根据目标量化因子序列对目标神经网络模型进行量化。

根据本公开的实施例，上述操作S110中，多次量化处理包括操作S111～S113。

在操作S111，根据第n+2子量化因子序列和来自分布式平台的多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列。

在操作S112，根据第n候选量化因子序列和第n+2量化因子序列，得到第n+1候选量化因子序列。

在操作S113，响应于确定满足预设条件，确定第n+1候选量化因子序列为目标量化因子序列。

根据本公开实施例，以上所述的分布式平台的多个计算设备可以包括目标计算设备和多个附加计算设备。部署于目标计算设备的目标神经网络模型与部署于多个附加计算设备中的附加神经网络模型具有相同的结构。

如前所述，由于单个计算设备通常难以存储神经网络模型的所有模型参数，因此，在本公开实施例中，可以采用张量模型并行策略，通过切分模型参数的方式，把模型参数切分为多个部分并分别部署于分布式平台的多个计算设备上。并且，基于数据并行策略和滑动平均策略，通过多个计算设备分别基于多个样本数据来对神经网络模型进行多次量化处理。

本公开中的样本数据例如可以包括文本、图像和视频等各种形式的数据，具体可以根据神经网络模型的实际应用来确定，本公开对此不做限定。

为了便于说明，以下将得到一个量化因子序列的过程称为“一轮”量化操作，将得到一个候选量化因子序列的过程称为“一次”量化处理。

在本公开实施例中，通过多个计算设备基于样本数据来对神经网络模型进行一次量化处理的过程可以包括两个阶段。

第一阶段包括：多个计算设备基于数据并行策略，利用样本数据完成下一轮对部署于各个计算设备中的神经网络模型的量化操作，得到下一轮量化后的量化因子序列。

第二阶段包括：目标计算设备基于滑动平均策略，将下一轮执行量化操作得到的量化因子序列与上一次执行量化处理得到的候选量化因子序列进行平均化处理，得到本次量化处理后的候选量化因子序列。

需要说明的是，由于每次通过多个计算设备分别基于样本数据对神经网络模型进行量化处理的过程类似。因此，为了简便描述，下面以多个计算设备分别基于第n+2(n为不小于2的整数)样本数据对神经网络模型进行第n+1次量化处理的过程为例来对本公开的一次量化处理过程进行示例性说明。

首先，可以基于数据并行策略来完成第n+2轮对部署于各个计算设备中的神经网络模型的量化操作，得到第n+2轮量化操作后的量化因子序列。

例如，可以按照分布式平台中各个计算设备的部署关系以及计算设备的数量，将第n+2样本数据对应切分为多个部分，得到多个第n+2输入数据，n为不小于2的整数。之后，将多个第n+2输入数据分配给对应的计算设备，以便对应的计算设备基于第n+2输入数据对部署于该计算设备上的神经网络模型执行量化操作，得到对应的子量化因子序列。例如，目标计算设备可以基于第n+2输入数据对部署于目标计算设备的目标神经网络模型执行量化操作，得到第n+2子量化因子序列。第n+2子量化因子序列包括目标神经网络模型的各个待量化网络层分别对应的子量化因子。例如，多个附加计算设备可以分别基于第n+2输入数据对部署于多个附加计算设备的附加神经网络模型执行量化操作，得到多个第n+2附加子量化因子序列。多个第n+2附加子量化因子序列中的每一个包括与附加神经网络模型的各个待量化网络层分别对应的子量化因子。

接下来，目标计算设备可以根据第n+2子量化因子序列和来自多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列。第n+2量化因子序列包括与目标神经网络模型的各个待量化网络层分别对应的量化因子。

由此，可以完成第n+2轮对部署于各个计算设备中的神经网络模型的量化操作，得到第n+2轮量化操作后的量化因子序列(即第n+2量化因子序列)。

需要说明的是，在本公开实施例中，各个计算设备对部署于该计算设备上的神经网络模型执行量化操作，通常是指将神经网络模型的模型参数量化为预设位宽的模型参数，以提升模型的计算速度。例如，神经网络模型的模型参数为单精度浮点数(FP32)，预设位宽为8，对神经网络模型执行量化操作可以是指将单精度浮点数类型的模型参数量化为定点类型(8位整型数，INT8)的模型参数。

上述子量化因子可以理解为将神经网络模型的模型参数量化为预设位宽的模型参数时所采用的量化映射关系中的量化参数。例如，将单精度浮点数类型的模型参数x量化为定点类型的模型参数y时，可以采用量化映射关系y＝ax+b进行转换，其中子量化因子包括量化参数a和量化参数b。

之后，可以基于滑动平均策略，得到第n+1次量化处理后的候选量化因子序列。

在本公开实施例中，所谓滑动平均策略例如可以是指针对每一次量化处理，将下一轮执行量化操作得到的量化因子序列与上一次执行量化处理得到的候选量化因子序列进行平均化处理，得到本次量化处理后的候选量化因子序列。以此类推，直至得到第n+1候选量化因子序列。其中，各个候选量化因子序列中包括与神经网络模型的各个待量化网络层分别对应的候选量化因子。

下面结合具体示例，对基于滑动平均策略获取每次量化处理得到的候选量化因子序列的过程进行示例性说明。

首先，多个计算设备基于数据并行策略，利用第1样本数据完成第1轮对部署于各个计算设备中的神经网络模型的量化操作，得到第1轮量化后的量化因子序列，即第1量化因子序列。

接下来，多个计算设备基于数据并行策略，利用第2样本数据完成第2轮对部署于各个计算设备中的神经网络模型的量化操作，得到第2轮量化后的量化因子序列，即第2量化因子序列。之后，目标计算设备可以根据第1量化因子序列和第2量化因子序列，得到第1候选量化因子序列(即第1次量化处理后的候选量化因子序列)。

接下来，多个计算设备基于数据并行策略，利用第3样本数据完成第3轮对部署于各个计算设备中的神经网络模型的量化操作，得到第3轮量化后的量化因子序列，即第3量化因子序列。之后，目标计算设备可以根据第1候选量化因子序列和第3量化因子序列，得到第2候选量化因子序列(即第2次量化处理后的候选量化因子序列)。

接下来，多个计算设备基于数据并行策略，利用第4样本数据完成第4轮对部署于各个计算设备中的神经网络模型的量化操作，得到第4轮量化后的量化因子序列，即第4量化因子序列。之后，目标计算设备可以根据第2候选量化因子序列和第4量化因子序列，得到第3候选量化因子序列(即第3次量化处理后的候选量化因子序列)。

以此类推，多个计算设备基于数据并行策略，利用第n+1样本数据完成第n+1轮对部署于各个计算设备中的神经网络模型的量化操作，得到第n+1轮量化后的量化因子序列，即第n+1量化因子序列。之后，目标计算设备可以根据第n-1候选量化因子序列和第n+1量化因子序列，得到第n候选量化因子序列(即第n次量化处理后的候选量化因子序列)。

需要说明的是，以上示例中获取各个量化因子序列的方式与上述第n+2量化因子序列的获取方式类似，这里不再赘述。

可以理解，按照上述滑动平均策略，在获得第n+2轮量化操作后的量化因子序列(即第n+2量化因子序列)以及第n候选量化因子序列(即第n次量化处理后的候选量化因子序列)之后，目标计算设备可以根据第n候选量化因子序列和第n+2量化因子序列，得到第n+1候选量化因子序列(即第n+1次量化处理后的候选量化因子序列)。

获取第n+1候选量化因子序列之后，可以确定是否满足预设条件。如果确定满足预设条件，目标计算设备可以将第n+1候选量化因子序列作为目标量化因子序列，并根据目标量化因子序列对目标神经网络模型进行量化。

如果不满足预设条件，则可以按照以上描述的量化处理方法，再次执行第n+2次量化处理，得到第n+2次量化处理后的候选量化因子序列，即第n+2候选量化因子序列。之后，再判断是否满足预设条件，如果满足预设条件，目标计算设备则可以将第n+2候选量化因子序列作为目标量化因子序列，并根据目标量化因子序列对目标神经网络模型进行量化。

如果不满足预设条件，再次执行第n+3次量化处理，以此类推，直至确定目标量化因子序列。然后，根据目标量化因子序列对目标神经网络模型进行量化。由此，实现对神经网络模型的量化处理，得到量化后的神经网络模型。

在本公开的实施例中，预设条件例如可以包括当前对神经网络模型的量化处理次数超过预设的量化次数阈值。预设的量化处理次数阈值可以根据神经网络模型的结构以及量化映射关系进行设置，例如预设的量化次数阈值为10次，或者其他合理的数值，本公开不做限制。在一些实施例中，预设条件例如可以包括本次量化后的神经网络模型的精度损失满足预设阈值。预设阈值可以根据神经网络模型的结构以及量化映射关系进行设置。

本公开的实施例中，通过张量模型并行策略将神经网络模型部署于分布式平台的多个计算设备上，并在每次利用多个计算设备分别来对神经网络模型进行量化处理过程中，基于数据并行策略和滑动平均策略方式得到候选量化因子序列，之后根据候选量化因子序列和预设条件确定目标量化因子序列。由于每次量化处理是对神经网络模型各个待量化网络层的参数一并进行量化，而不是针对神经网络模型局部进行量化，因此，能够提升量化效率以及量化后的模型的准确性。并且，在每次量化过程中，基于滑动平均策略方式迭代更新候选量化因子序列，使得获取到的候选量化因子更优，从而降低了量化过程中模型的精度损失，由此进一步提升量化后的模型的准确性。

根据本公开的实施例，在各个计算设备基于输入数据对神经网络模型执行量化操作，得到子量化因子序列的过程中，为了避免计算设备在执行量化操作过程中出现显存溢出的问题，可以按照神经网络模型的顺序，分阶段获取与神经网络模型的各个待量化层分别对应的子量化因子。

需要说明的是，多个附加计算设备和目标计算设备在获取子量化因子序列的过程中，均可以采取上述策略(即分阶段获取与神经网络模型的各个待量化层分别对应的子量化因子)来获取与神经网络模型的各个待量化层分别对应的子量化因子。下面以目标设备基于输入数据对目标神经网络模型执行量化操作，得到子量化因子序列的过程为例进行说明。

例如，假设目标神经网络模型包括M个待量化网络层，M为不小于1的整数。第n+2子量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的子量化因子，此时n可以为不小于1的整数。

在目标计算设备基于第n+2输入数据对目标神经网络模型执行量化操作，得到第n+2子量化因子序列的过程中，目标计算设备可以基于第n+2输入数据对目标神经网络模型的M个待量化网络层执行多次量化操作，并且在每次量化操作之后，目标计算设备可以按照目标神经网络模型的顺序，依次保存预设数量待量化网络层分别对应的子量化因子。由此，避免目标计算设备显存溢出。

例如，目标计算设备可以基于第n+2输入数据对目标神经网络模型的M个待量化网络层执行第一量化操作，得到第一量化因子子序列。第一量化因子子序列包括与目标神经网络模型的第1至m个待量化网络层分别对应的子量化因子，其中，1≤m＜M，且m为整数。也就是说，目标计算设备基于第n+2输入数据对目标神经网络模型的M个待量化网络层执行第一量化操作之后，可以存储与目标神经网络模型的一部分待量化网络层(即第1至m个待量化网络层)分别对应的子量化因子(即第一量化因子子序列)。

接下来，目标计算设备可以基于第n+2输入数据对目标神经网络模型的M个待量化网络层执行第二量化操作，得到第二量化因子子序列。第二量化因子子序列包括与目标神经网络模型的第m+1至M个待量化网络层分别对应的子量化因子。也就是说，目标计算设备基于第n+2输入数据对目标神经网络模型的M个待量化网络层执行第二量化操作之后，可以存储M个待量化网络层中剩余部分待量化网络层(即第m+1至M个待量化网络层)分别对应的子量化因子(即第二量化因子子序列)。

之后，目标计算设备可以根据第一量化因子子序列和第二量化因子子序列，得到第n+2子量化因子序列。由此，可以实现分阶段获取子量化因子序列中与目标神经网络模型的M个待量化网络层分别对应的子量化因子。

需要说明的是，本公开在分阶段获取子量化因子序列时，不仅限于以上示例中的获取方式。在一些实施例中，还可以根据实际需要调整目标计算设备对目标神经网络模型执行量化操作的次数，例如，通过执行10次、20次、甚至更多次量化操作得到子量化因子序列。在一些示例中，还可以调整每次量化操作所针对的待量化网络层的数量，例如，第一量化操作可以针对第1至10个待量化网络层，第二量化操作可以针对第11至15个待量化网络层，第三量化操作可以针对第16至40个待量化网络层，等等。

在本公开实施例中，在上述操作S111中，目标计算设备根据第n+2子量化因子序列和来自分布式平台的多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列可以包括如下操作。

例如，当目标神经网络模型包括M个待量化网络层时，M为不小于1的整数。针对第n+2子量化因子序列中与目标神经网络模型的第k个待量化网络层对应的第k子量化因子，目标计算设备可以确定第k子量化因子与多个第n+2附加子量化因子序列中对应的子量化因子之间的平均值，作为第n+2量化因子序列中与目标神经网络模型的第k个待量化网络层对应的第k量化因子，其中，1≤k≤M，且k为整数。

下面结合图2对本公开实施例中确定第n+2量化因子序列的过程进行详细说明。

图2是根据本公开实施例的确定第n+2量化因子序列的示意图。

如图2所示，分布式平台的多个计算设备可以包括目标计算设备和多个附加计算设备(例如附加计算设备1至附加计算设备s)。目标神经网络模型和附加神经网络模型具有相同的结构，它们均包括M个待量化网络层，例如待量化网络层1至待量化网络层M，M为不小于1的整数

目标计算设备可以基于第n+2输入数据对目标神经网络模型的M个待量化网络层执行量化操作，得到第n+2子量化因子序列201。第n+2子量化因子序列201包括与目标神经网络模型的M个待量化网络层分别对应的子量化因子，即子量化因子1、子量化因子2至子量化因子M。

附加计算设备1可以分别基于第n+2输入数据对附加神经网络模型执行量化操作，得到第n+2附加子量化因子序列202。第n+2附加子量化因子序列202包括与附加神经网络模型的M个待量化网络层分别对应的子量化因子，即子量化因子11、子量化因子12至子量化因子1M。

附加计算设备2可以分别基于第n+2输入数据对附加神经网络模型执行量化操作，得到第n+2附加子量化因子序列203。第n+2附加子量化因子序列203包括与附加神经网络模型的M个待量化网络层分别对应的子量化因子，即子量化因子21、子量化因子22至子量化因子2M。

附加计算设备s可以分别基于第n+2输入数据对附加神经网络模型执行量化操作，得到第n+2附加子量化因子序列204。第n+2附加子量化因子序列204包括与附加神经网络模型的M个待量化网络层分别对应的子量化因子，即子量化因子s1、子量化因子s2至子量化因子sM。

目标计算设备可以根据第n+2子量化因子序列201、第n+2附加子量化因子序列202至第n+2附加子量化因子序列204，得到第n+2量化因子序列205。第n+2量化因子序列205包括与目标神经网络模型的M个待量化网络层分别对应的量化因子，即量化因子1’、量化因子2’至量化因子M’。

针对第n+2量化因子序列205中与目标神经网络模型的第k个待量化网络层对应的第k量化因子，例如与第M个待量化网络层对应的量化因子M’(如图2所示)，目标计算设备可以确定第n+2子量化因子序列201中与目标神经网络模型的第M个待量化网络层对应的子量化因子M以及多个第n+2附加子量化因子序列中对应的子量化因子(即第n+2附加子量化因子序列202中的子量化因子1M、第n+2附加子量化因子序列203中的子量化因子2M至第n+2附加子量化因子序列204中的子量化因子sM)之间的平均值，并将该平均值作为第n+2量化因子序列205中与目标神经网络模型的第M个待量化网络层对应的量化因子M’。采用上述方式，可以确定第n+2量化因子序列205中与目标神经网络模型的其他待量化网络层对应的量化因子，这里不再赘述。

根据本公开的实施例，由于每轮量化操作是对部署于多个计算设备中的神经网络模型的各个待量化网络层的参数一并进行量化，而不是针对神经网络模型局部进行量化，因此，能够提升量化效率以及量化后的模型的准确性。

根据本公开的实施例，在上述操作S112中，根据第n候选量化因子序列和第n+2量化因子序列，得到第n+1候选量化因子序列可以包括如下操作。

例如，第n候选量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的候选量化因子，针对第n+2量化因子序列中与目标神经网络模型的第i个待量化网络层对应的第i量化因子，确定第i量化因子与第n候选量化因子序列中对应的候选量化因子之间的平均值，作为第n+1候选量化因子序列中与目标神经网络模型的第i个待量化网络层对应的第i候选量化因子，其中，1≤i≤M，且i为整数。

根据本公开的实施例，根据第n候选量化因子序列和第n+2量化因子序列，得到第n+1候选量化因子序列的过程与获取第n+2量化因子序列的过程类似。

例如，针对第n+1候选量化因子序列中与目标神经网络模型的第M个待量化网络层对应的候选量化因子M，目标计算设备可以确定第n候选量化因子序列中与目标神经网络模型的第M个待量化网络层对应的候选量化因子Ma以及第n+2量化因子序列中与目标神经网络模型的第M个待量化网络层对应的候选量化因子Mb之间的平均值，并将该平均值作为第n+1候选量化因子序列中与目标神经网络模型的第M个待量化网络层对应的候选量化因子M。采用上述方式，可以确定第n+1候选量化因子序列中与目标神经网络模型的其他待量化网络层对应的候选量化因子。由此，实现了基于滑动平均策略方式迭代更新候选量化因子序列，使得获取到的候选量化因子更优，从而降低了量化过程中模型的精度损失。

根据本公开的实施例，在上述操作S120中，根据目标量化因子序列，对目标神经网络模型进行量化包括如下操作。

在目标神经网络模型的各个待量化网络层之前插入量化节点，以及将目标量化因子序列中与各个待量化网络层对应的目标量化因子分配至对应的量化节点。

下面结合图3说明利用目标量化因子序列对目标神经网络模型进行量化的过程。

图3是根据本公开实施例的利用目标量化因子序列对目标神经网络模型进行量化的示意图。

如图3所示，目标计算设备在对部署于分布式平台中目标计算设备的目标神经网络模型320执行多次量化处理之后，得到目标量化因子序列310。目标量化因子序列310中包括与目标神经网络模型320的各个待量化网络层对应的目标量化因子，例如与待量化网络层1对应的目标量化因子A、与待量化网络层2对应的目标量化因子B以及与待量化网络层3对应的目标量化因子C，等等。

之后，目标计算设备可以在目标神经网络模型320的各个待量化网络层之前插入量化节点和反量化节点。例如，可以分别在待量化网络层1至待量化网络层3之前插入量化节点(和反量化节点)321、量化节点(和反量化节点)322、量化节点(和反量化节点)323。

接下来，可以将目标量化因子序列310中与各个待量化网络层对应的目标量化因子分配至对应的量化节点和反量化节点。例如，可以将目标量化因子A分配至量化节点(和反量化节点)321，将目标量化因子B分配至量化节点(和反量化节点)322，将目标量化因子C分配至量化节点(和反量化节点)323等等。由此，可以实现整个神经网络模型的量化。

在对整个神经网络模型完成量化之后，目标计算设备可以基于来自多个附加计算设备中的附加神经网络模型的模型参数以及部署于本地的目标神经网络模型的模型参数，得到量化后的神经网络模型。

根据本公开的实施例，神经网络模型经过量化处理之后，由于在多次量化处理过程中，模型的精度损失很小，因而，量化后的神经网络模型基本可以保持精度不变，由此可以提升量化后的模型的准确性。

图4是根据本公开的实施例的神经网络模型的量化装置的框图。

如图4所示，神经网络模型的量化装置400包括第一量化模块410和第二量化模块420。

第一量化模块410用于对部署于分布式平台中目标计算设备的目标神经网络模型执行多次量化处理，得到目标量化因子序列。

第二量化模块420用于根据目标量化因子序列，对目标神经网络模型进行量化。

根据本公开的实施例，第一量化模块410包括第一获取单元411、第二获取单元412和确定单元413。

第一获取单元411用于根据第n+2子量化因子序列和来自分布式平台的多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列，其中，多个第n+2附加子量化因子序列是多个附加计算设备分别基于第n+2输入数据对部署于多个附加计算设备的附加神经网络模型执行量化操作得到的；n为不小于2的整数。

第二获取单元412用于根据第n候选量化因子序列和第n+2量化因子序列，得到第n+1候选量化因子序列；其中，第n候选量化因子序列是根据第n+1量化因子序列和第n-1候选量化因子序列得到的。

确定单元413用于响应于确定满足预设条件，确定第n+1候选量化因子序列为目标量化因子序列。

根据本公开的实施例，神经网络模型的量化装置400还包括：获取模块和第三量化模块。获取模块用于获取第n+2输入数据；其中，第n+2输入数据是根据第n+2样本数据得到的；以及第三量化模块用于基于第n+2输入数据对目标神经网络模型执行量化操作，得到第n+2子量化因子序列。

根据本公开的实施例，目标神经网络模型包括M个待量化网络层，M为不小于1的整数；第n+2子量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的子量化因子。第三量化模块包括：第一量化单元、第二量化单元和第三获取单元。第一量化单元用于基于第n+2输入数据对目标神经网络模型的M个待量化网络层执行第一量化操作，得到第一量化因子子序列，第一量化因子子序列包括与目标神经网络模型的第1至m个待量化网络层分别对应的子量化因子；其中，1≤m＜M，且m为整数。第二量化单元用于基于第n+2输入数据对目标神经网络模型的M个待量化网络层执行第二量化操作，得到第二量化因子子序列，第二量化因子子序列包括与目标神经网络模型的第m+1至M个待量化网络层分别对应的子量化因子。第三获取单元用于根据第一量化因子子序列和第二量化因子子序列，得到第n+2子量化因子序列。

根据本公开的实施例，第n+2量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的量化因子。第一获取单元包括：第一确定子单元。第一确定子单元用于针对第n+2子量化因子序列中与目标神经网络模型的第k个待量化网络层对应的第k子量化因子，确定第k子量化因子与多个第n+2附加子量化因子序列中对应的子量化因子之间的平均值，作为第n+2量化因子序列中与目标神经网络模型的第k个待量化网络层对应的第k量化因子；其中，1≤k≤M，且k为整数。

根据本公开的实施例，第n候选量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的候选量化因子。第二获取单元包括：第二确定子单元。第二确定子单元用于针对第n+2量化因子序列中与目标神经网络模型的第i个待量化网络层对应的第i量化因子，确定第i量化因子与第n候选量化因子序列中对应的候选量化因子之间的平均值，作为第n+1候选量化因子序列中与目标神经网络模型的第i个待量化网络层对应的第i候选量化因子；其中，1≤i≤M，且i为整数。

根据本公开的实施例，第二量化模块420包括：插入单元和分配单元。插入单元用于在目标神经网络模型的各个待量化网络层之前插入量化节点；以及分配单元用于将目标量化因子序列中与各个待量化网络层对应的目标量化因子分配至对应的量化节点。

根据本公开的实施例，附加神经网络模型与目标神经网络模型具有相同的结构。

需要说明的是，装置部分实施例中各模块/单元/子单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似，在此不再赘述。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开实施例的方法。

图5是用来实现本公开实施例的神经网络模型的量化方法的电子设备的框图。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如神经网络模型的量化方法。例如，在一些实施例中，神经网络模型的量化方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的神经网络模型的量化方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行神经网络模型的量化方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种神经网络模型的量化方法，包括：

对部署于分布式平台中目标计算设备的目标神经网络模型执行多次量化处理，得到目标量化因子序列；以及

根据所述目标量化因子序列，对所述目标神经网络模型进行量化；

其中，所述多次量化处理包括：

根据第n+2子量化因子序列和来自分布式平台的多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列，其中，所述多个第n+2附加子量化因子序列是所述多个附加计算设备分别基于第n+2输入数据对部署于所述多个附加计算设备的附加神经网络模型执行量化操作得到的；n为不小于2的整数；

根据第n候选量化因子序列和所述第n+2量化因子序列，得到第n+1候选量化因子序列；其中，所述第n候选量化因子序列是根据第n+1量化因子序列和第n-1候选量化因子序列得到的；

响应于确定满足预设条件，确定所述第n+1候选量化因子序列为目标量化因子序列。

2.根据权利要求1所述的方法，还包括：

获取第n+2输入数据；其中，所述第n+2输入数据是根据第n+2样本数据得到的；以及

基于所述第n+2输入数据对所述目标神经网络模型执行量化操作，得到所述第n+2子量化因子序列。

3.根据权利要求2所述的方法，其中，所述目标神经网络模型包括M个待量化网络层，M为不小于1的整数；所述第n+2子量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的子量化因子；

所述基于所述第n+2输入数据对所述目标神经网络模型执行量化操作，得到所述第n+2子量化因子序列包括：

基于所述第n+2输入数据对所述目标神经网络模型的M个待量化网络层执行第一量化操作，得到第一量化因子子序列，所述第一量化因子子序列包括与目标神经网络模型的第1至m个待量化网络层分别对应的子量化因子；其中，1≤m＜M，且m为整数；

基于所述第n+2输入数据对所述目标神经网络模型的M个待量化网络层执行第二量化操作，得到第二量化因子子序列，所述第二量化因子子序列包括与目标神经网络模型的第m+1至M个待量化网络层分别对应的子量化因子；以及

根据所述第一量化因子子序列和所述第二量化因子子序列，得到所述第n+2子量化因子序列。

4.根据权利要求3所述的方法，其中，所述第n+2量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的量化因子；所述根据第n+2子量化因子序列和来自分布式平台的多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列包括：

针对所述第n+2子量化因子序列中与目标神经网络模型的第k个待量化网络层对应的第k子量化因子，确定所述第k子量化因子与多个第n+2附加子量化因子序列中对应的子量化因子之间的平均值，作为第n+2量化因子序列中与目标神经网络模型的第k个待量化网络层对应的第k量化因子；其中，1≤k≤M，且k为整数。

5.根据权利要求4所述的方法，其中，所述第n候选量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的候选量化因子；

所述根据第n候选量化因子序列和所述第n+2量化因子序列，得到第n+1候选量化因子序列包括：

针对所述第n+2量化因子序列中与目标神经网络模型的第i个待量化网络层对应的第i量化因子，确定所述第i量化因子与所述第n候选量化因子序列中对应的候选量化因子之间的平均值，作为第n+1候选量化因子序列中与目标神经网络模型的第i个待量化网络层对应的第i候选量化因子；其中，1≤i≤M，且i为整数。

6.根据权利要求1至5中任一项所述的方法，其中，所述根据所述目标量化因子序列，对所述目标神经网络模型进行量化包括：

在所述目标神经网络模型的各个待量化网络层之前插入量化节点；以及

将目标量化因子序列中与各个待量化网络层对应的目标量化因子分配至对应的量化节点。

7.根据权利要求6所述的方法，其中，所述附加神经网络模型与所述目标神经网络模型具有相同的结构。

8.一种神经网络模型的量化装置，包括：

第一量化模块，用于对部署于分布式平台中目标计算设备的目标神经网络模型执行多次量化处理，得到目标量化因子序列；以及

第二量化模块，用于根据所述目标量化因子序列，对所述目标神经网络模型进行量化；

其中，所述第一量化模块包括：

第一获取单元，用于根据第n+2子量化因子序列和来自分布式平台的多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列，其中，所述多个第n+2附加子量化因子序列是所述多个附加计算设备分别基于第n+2输入数据对部署于所述多个附加计算设备的附加神经网络模型执行量化操作得到的；n为不小于2的整数；

第二获取单元，用于根据第n候选量化因子序列和所述第n+2量化因子序列，得到第n+1候选量化因子序列；其中，所述第n候选量化因子序列是根据第n+1量化因子序列和第n-1候选量化因子序列得到的；

确定单元，用于响应于确定满足预设条件，确定所述第n+1候选量化因子序列为目标量化因子序列。

9.根据权利要求8所述的装置，还包括：

获取模块，用于获取第n+2输入数据；其中，所述第n+2输入数据是根据第n+2样本数据得到的；以及

第三量化模块，用于基于所述第n+2输入数据对所述目标神经网络模型执行量化操作，得到所述第n+2子量化因子序列。

10.根据权利要求9所述的装置，其中，所述目标神经网络模型包括M个待量化网络层，M为不小于1的整数；所述第n+2子量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的子量化因子；所述第三量化模块包括：

第一量化单元，用于基于所述第n+2输入数据对所述目标神经网络模型的M个待量化网络层执行第一量化操作，得到第一量化因子子序列，所述第一量化因子子序列包括与目标神经网络模型的第1至m个待量化网络层分别对应的子量化因子；其中，1≤m＜M，且m为整数；

第二量化单元，用于基于所述第n+2输入数据对所述目标神经网络模型的M个待量化网络层执行第二量化操作，得到第二量化因子子序列，所述第二量化因子子序列包括与目标神经网络模型的第m+1至M个待量化网络层分别对应的子量化因子；以及

第三获取单元，用于根据所述第一量化因子子序列和所述第二量化因子子序列，得到所述第n+2子量化因子序列。

11.根据权利要求10所述的装置，其中，所述第n+2量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的量化因子；所述第一获取单元包括：

第一确定子单元，用于针对所述第n+2子量化因子序列中与目标神经网络模型的第k个待量化网络层对应的第k子量化因子，确定所述第k子量化因子与多个第n+2附加子量化因子序列中对应的子量化因子之间的平均值，作为第n+2量化因子序列中与目标神经网络模型的第k个待量化网络层对应的第k量化因子；其中，1≤k≤M，且k为整数。

12.根据权利要求11所述的装置，其中，所述第n候选量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的候选量化因子；所述第二获取单元包括：

第二确定子单元，用于针对所述第n+2量化因子序列中与目标神经网络模型的第i个待量化网络层对应的第i量化因子，确定所述第i量化因子与所述第n候选量化因子序列中对应的候选量化因子之间的平均值，作为第n+1候选量化因子序列中与目标神经网络模型的第i个待量化网络层对应的第i候选量化因子；其中，1≤i≤M，且i为整数。

13.根据权利要求8至12中任一项所述的装置，其中，所述第二量化模块包括：

插入单元，用于在所述目标神经网络模型的各个待量化网络层之前插入量化节点；以及

分配单元，用于将目标量化因子序列中与各个待量化网络层对应的目标量化因子分配至对应的量化节点。

14.根据权利要求13所述的装置，其中，所述附加神经网络模型与所述目标神经网络模型具有相同的结构。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至7中任一项所述的方法。

Images