CN112149266A - 确定网络模型量化策略的方法、装置、设备以及存储介质 - Google Patents

Abstract

本申请实施例公开了确定网络模型量化策略的方法、装置、设备以及存储介质，涉及计算机视觉、深度学习等人工智能技术领域，具体可用于图像处理场景。该方法包括：采用针对目标硬件的网络模型的量化策略搜索空间的配置信息，生成量化策略搜索空间；采用量化策略搜索空间，生成量化策略编码生成器；采用量化策略编码生成器，随机生成量化策略编码；对量化策略编码进行解码，得到待选量化策略；根据对应于待选量化策略的网络模型的量化精度损失，确定用于目标硬件的网络模型的目标量化策略，从而提高网络模型在目标硬件上的精度，改善网络模型的适配效果。

Description

确定网络模型量化策略的方法、装置、设备以及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及计算机视觉、深度学习等人工智能技术领域，具体可用于图像处理场景，尤其涉及确定网络模型量化策略的方法、装置、设备以及存储介质。

背景技术

深度学习技术在很多方向上都取得了巨大的成功。在深度学习技术中，网络模型的量化对网络模型的性能和效果有着非常重要的影响。

然而，不同硬件上的网络模型的量化策略差别非常大，以海思芯片为例，网络模型选择使用海思芯片的默认配置，芯片上的量化策略对于用户来讲是黑盒，用户无法自己选择量化策略。

发明内容

本申请实施例提供了确定网络模型量化策略的方法、装置、设备以及存储介质。

第一方面，本申请实施例提供了确定网络模型量化策略的方法，包括：采用针对目标硬件的网络模型的量化策略搜索空间的配置信息，生成量化策略搜索空间；采用所述量化策略搜索空间，生成量化策略编码生成器；采用所述量化策略编码生成器，随机生成量化策略编码；对所述量化策略编码进行解码，得到待选量化策略；根据对应于所述待选量化策略的网络模型的量化精度损失，确定用于目标硬件的网络模型的目标量化策略。

第二方面，本申请实施例提供了确定网络模型量化策略的装置，包括：量化策略搜索空间生成模块，被配置为采用针对目标硬件的网络模型的量化策略搜索空间的配置信息，生成量化策略搜索空间；编码模块，被配置为采用所述量化策略搜索空间，生成量化策略编码生成器；量化策略编码生成模块，被配置为采用所述量化策略编码生成器，随机生成量化策略编码；解码模块，被配置为对所述量化策略编码进行解码，得到待选量化策略；目标量化策略确定模块，被配置为根据对应于所述待选量化策略的网络模型的量化精度损失，确定用于目标硬件的网络模型的目标量化策略。

第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

本申请实施例提供的确定网络模型量化策略的方法、装置、设备以及存储介质，首先采用针对目标硬件的网络模型的量化策略搜索空间的配置信息，生成量化策略搜索空间；其次采用所述量化策略搜索空间，生成量化策略编码生成器；之后采用所述量化策略编码生成器，随机生成量化策略编码；然后对所述量化策略编码进行解码，得到待选量化策略；最后根据对应于所述待选量化策略的网络模型的量化精度损失，确定用于目标硬件的网络模型的目标量化策略，从而提高网络模型在目标硬件上的精度，改善网络模型的适配效果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的确定网络模型量化策略的方法的一个实施例的流程示意图；

图3是根据本申请的确定网络模型量化策略的方法的一个实施例的应用场景示意图；

图4是本申请的确定网络模型量化策略的装置的一个实施例的结构示意图；

图5是用来实现本申请实施例的确定网络模型量化策略的方法的电子设备的框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的确定网络模型量化策略的方法或确定网络模型量化策略的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、网络102、服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101可以通过网络102与服务器103交互。终端设备101中可以提供针对目标硬件的量化策略搜索空间的配置信息，包括但不限于数据库、用户终端等等。

服务器103可以提供各种服务，例如服务器103可以对从终端设备101获取到的针对目标硬件的量化策略搜索空间的配置信息等数据进行分析等处理，生成处理结果(例如用于目标硬件的目标量化策略)。

需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本申请实施例所提供的确定网络模型量化策略的方法一般由服务器103执行，相应地，确定网络模型量化策略的装置一般设置于服务器103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的确定网络模型量化策略的方法的一个实施例的流程200。该方法，包括以下步骤：

步骤201，采用针对目标硬件的网络模型的量化策略搜索空间的配置信息，生成量化策略搜索空间。

在本实施例中，确定网络模型量化策略的方法的执行主体(例如图1所示的服务器103)可以采用针对目标硬件的网络模型的量化策略搜索空间的配置信息，生成量化策略搜索空间。

其中，针对目标硬件的量化策略搜索空间的配置信息可以是用户设置的、用于确定量化策略搜索空间的信息。例如，已知A芯片上的量化策略搜索空间的配置信息是将神经网络模型中的参数向8比特转化，那么可以获取所有关于8比特量化的策略或拟合策略的集合，得到8比特量化策略的搜索空间。值得一提的是，并未所有的目标硬件的量化策略搜索空间的配置信息都是已知的，若目标硬件的量化策略对于用户来说是完全不可知的黑盒，则可以基于默认的配置信息(例如将神经网络模型中的参数向8比特转化)，生成默认的量化策略搜索空间。

其中，量化策略包括量化方法和量化位置。量化方法是指对神经网络模型中的参数进行量化的方法。以8比特量化为例，将神经网络模型的参数转化为8比特类型的方法包括取极值、取幂、统计分布等等。量化位置是指神经网络模型中量化参数的位置。示例性地，如某一神经网络模型中属于同一层的参数值分布在一个较小的区间内(例如，-10，30之间)，那么可以记下最小值和最大值，在采用8位数量化的情况下，可以把同一层的所有参数都线性映射到区间【-10，30】之间的255个8位整数中的最接近的一个数。其中，这些参数所属的神经网络模型中的特定层的位置即为量化位置，量化方法即为取极值。

其中，量化策略搜索空间中的量化方法可以是现有技术中所有已知的量化方法以及未来随着技术的发展而出现的新的量化方法。量化策略搜索空间中的量化位置可以是现有技术中所有已知的量化位置以及未来随着技术的发展而出现的新的量化位置。

其中，从量化策略搜索空间中可以搜索到由任一量化方法和任一量化位置组成的量化策略。这些量化策略既可以是现有技术中已知的量化策略，也可以是对现有量化策略的拟合。

步骤202，采用量化策略搜索空间，生成量化策略编码生成器。

在本实施例中，上述执行主体可以将量化策略搜索空间编码为量化策略编码生成器。

其中，对量化策略搜索空间进行编码可以是对搜索空间中的量化方法和量化位置进行编码。例如，假设搜索空间中有10种量化方法，并且由10种不同的量化位置。那么可以对每种量化方法进行编码，得到对应于10种量化方法的10个编码值。同时对10种不同的量化位置进行编码，得到对应于10种不同量化位置的10个编码值。由于每个量化位置都可以有10种不同的量化方法可以选择，因此，该搜索空间可以有10万种不同的量化策略。每种量化策略都有唯一与之对应的编码值，从而可以得到量化策略编码生成器。

通过对搜索空间中的量化策略进行编码，可以将量化策略转换成计算机可以识别的语言，进而可以实现对量化策略的机器自动搜索。

步骤203，采用量化策略编码生成器，随机生成量化策略编码。

在本实施例中，上述执行主体可以采用量化策略编码生成器，随机生成量化策略编码。

其中，量化策略编码生成器可以随机地生成一组表征一个量化策略的编码。该组量化策略编码可以由任一量化方法编码和任一量化位置编码组成。

步骤204，对量化策略编码进行解码，得到待选量化策略。

在本实施例中，上述执行主体可以对量化策略编码进行解码，得到待选量化策略。其中，由于每组量化策略编码可以对应唯一的一个量化策略，因此对该组量化策略编码进行解码后，即可得到一个待选量化策略。其中，可以采用现有的编码/解码技术实现对量化策略的编码和解码。

步骤205，根据对应于待选量化策略的网络模型的量化精度损失，确定用于目标硬件的网络模型的目标量化策略。

在本实施例中，上述执行主体可以根据对应于待选量化策略的网络模型的量化精度损失，确定用于目标硬件的网络模型的目标量化策略。

其中，可以首先获取用于采用目标硬件的默认量化策略的网络模型的训练脚本(例如网络结构、初始参数、激活函数、损失函数等等)。然后在训练集上执行训练脚本，训练网络模型。随后，利用待选量化策略对训练完成的网络模型进行量化，并在验证集上测试量化后的网络模型的效果(例如精度损失)。若测试的效果满足需求，则可以将该待选量化策略作为目标硬件的量化策略或近似量化策略。

本申请上述实施例提供的确定网络模型量化策略的方法，可以通过自动搜索的方式得到目标硬件上的量化策略或近似量化策略，因此可以提升网络模型在目标硬件上的精度，改善网络模型的适配效果。

在本实施例的一些可选的实现方式中，上述步骤205还包括：响应于待选量化策略的网络模型的量化精度损失小于预定阈值，将待选量化策略确定为用于目标硬件的目标量化策略。

具体地，包括如下步骤：基于待选量化策略，对用于目标硬件的网络模型进行量化；评估量化后的网络模型的量化精度损失；响应于网络模型的量化精度损失小于预定阈值，将待选量化策略确定为用于目标硬件的目标量化策略。在本实施例中，通过设定量化策略自动搜索的终止条件(网络模型的量化精度损失小于预定阈值)，可以筛选出满足需求的量化策略。

在本实施例的一些可选的实现方式中，上述步骤205还包括：响应于所述待选量化策略的网络模型的量化精度损失大于预定阈值，采用所述量化策略编码生成器，生成新的一组量化策略编码，并对所述新的一组量化策略编码进行解码，得到新的待选量化策略；根据对应于所述新的待选量化策略的量化精度损失，确定用于目标硬件的目标量化策略。

具体地，包括如下步骤：基于待选量化策略，对用于目标硬件的网络模型进行量化；评估量化后的网络模型的量化精度损失；响应于网络模型的量化精度损失大于预定阈值，根据量化策略编码生成器，生成新的一组量化策略编码，并对新的一组量化策略编码进行解码，得到新的待选量化策略；根据对应于新的待选量化策略的量化精度损失，确定用于目标硬件的目标量化策略。在本实施例中，通过设定量化策略自动搜索的循环条件(网络模型的量化精度损失大于预定阈值)，可以从量化策略搜索空间中找到最优的目标量化策略。优选地，还可以为量化策略自动搜索的循环条件设定终止条件，例如量化策略编码生成器的更新次数达到预定阈值。其中，每更新一次量化策略编码生成器即可以产生新的一组量化策略编码。

在本实施例的一些可选的实现方式中，待选量化策略包括离线量化策略和在线量化策略。本实施例提供的确定网络模型量化策略的方法既可以应用于离线量化，也可以应用于在线量化。离线量化适用于目标硬件的量化策略对用户来说是黑盒的情况，在线量化一般适用于目标硬件的量化策略对用户来说是白盒的情况。

在本实施例的一些可选的实现方式中，在用户的终端设备具备相应设备处理能力的情况下，上述执行主体可以将目标量化策略返回给用户的终端设备。此时，用户的终端设备可以首先获取训练样本集，以及利用训练样本集进行训练，得到初始模型，然后利用目标量化策略对初始模型进行量化，得到目标模型。

在用户的终端设备不具备相应设备处理能力的情况下，上述执行主体可以获取训练样本集，以及利用训练样本集进行训练，得到初始模型，然后利用目标量化策略对初始模型进行量化，得到目标模型。随后，上述执行主体可以将目标量化策略和目标模型一并返回给用户的终端设备。

值的一提的是，本实施例中的初始模型可以是任何种类的人工神经网络模型，包括但不限于分类模型、识别模型、检测模型等等。采用了本申请实施例中的目标量化策略的目标模型在目标硬件上的运行速度和精度都所有提升，从而提升目标模型、目标硬件的产品竞争力。同时，在同样的精度下，采用目标模型可以降低产品的成本。其中，初始模型可以是应用于目标硬件上的图像处理模型，采用本申请实施例中的目标量化策略对图像处理模型进行量化，可以显著提升图像处理模型的精度，等价于用更小的模型就可以达到同样的精度，即显著提升图像处理模型的速度。硬件收益就是图像处理模型在硬件上处理图像的速度更快，降低产品的成本，提升产品的核心竞争力。

在本实施例的一些可选的实现方式中，待选量化策略包括以下至少一种：16比特量化、8比特量化、4比特量化和2比特量化。

为了便于理解，下面提供可以实现本申请实施例的确定网络模型量化策略的方法的应用场景，具体如图3所示：

步骤301：基于海思芯片的量化策略搜索空间的配置信息，生成量化策略搜索空间。

步骤302：对量化策略搜索空间进行编码，生成量化策略编码生成器。

步骤303：通过量化策略编码生成器，生成量化策略编码。

步骤304：将步骤303中的量化策略编码解码成量化策略。

步骤305：采用步骤304中的量化策略量化训练完成的神经网络模型。

步骤306：若神经网络模型的量化精度损失大于预定阈值，则执行步骤303；若神经网络模型的量化精度损失小于预定阈值，则不执行任何操作。

进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种确定网络模型量化策略的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例的确定网络模型量化策略的装置400可以包括：量化策略搜索空间生成模块401、编码模块402、量化策略编码生成模块403、解码模块404、目标量化策略确定模块405。其中，量化策略搜索空间生成模块401，被配置为采用针对目标硬件的网络模型的量化策略搜索空间的配置信息，生成量化策略搜索空间；编码模块402，被配置为采用所述量化策略搜索空间，生成量化策略编码生成器；量化策略编码生成模块403，被配置为采用所述量化策略编码生成器，随机生成量化策略编码；解码模块404，被配置为对所述量化策略编码进行解码，得到待选量化策略；目标量化策略确定模块405，被配置为根据对应于所述待选量化策略的网络模型的量化精度损失，确定用于目标硬件的网络模型的目标量化策略。

在本实施例中，确定网络模型量化策略的装置400中：量化策略搜索空间生成模块401、编码模块402、量化策略编码生成模块403、解码模块404、目标量化策略确定模块405的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-205的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，所述目标量化策略确定模块进一步被配置成：响应于待选量化策略的网络模型的量化精度损失小于预定阈值，将待选量化策略确定为用于目标硬件的目标量化策略。

在本实施例的一些可选的实现方式中，所述目标量化策略确定模块进一步被配置成：响应于所述待选量化策略的网络模型的量化精度损失大于预定阈值，采用所述量化策略编码生成器，生成新的一组量化策略编码，并对所述新的一组量化策略编码进行解码，得到新的待选量化策略；根据对应于所述新的待选量化策略的量化精度损失，确定用于目标硬件的目标量化策略。

在本实施例的一些可选的实现方式中，所述待选量化策略包括离线量化策略和在线量化策略。

在本实施例的一些可选的实现方式中，还包括：训练样本获取模块，被配置为获取训练样本集；初始模型训练模块，被配置为利用所述训练样本集对用于目标硬件的网络模型进行训练，得到初始模型；初始模型量化模块，被配置为利用所述目标量化策略对所述初始模型进行量化，得到目标模型。

在本实施例的一些可选的实现方式中，所述待选量化策略包括以下至少一种：16比特量化、8比特量化、4比特量化和2比特量化。

如图5所示，是根据本申请实施例确定网络模型量化策略的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的确定网络模型量化策略的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的确定网络模型量化策略的方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的确定网络模型量化策略的方法对应的程序指令/模块(例如，附图4所示的量化策略搜索空间生成模块401、编码模块402、量化策略编码生成模块403、解码模块404、目标量化策略确定模块405)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的确定网络模型量化策略的方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据确定网络模型量化策略的方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至确定网络模型量化策略的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

确定网络模型量化策略的方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与确定网络模型量化策略的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请的技术方案，首先采用针对目标硬件的网络模型的量化策略搜索空间的配置信息，生成量化策略搜索空间；其次采用所述量化策略搜索空间，生成量化策略编码生成器；之后采用所述量化策略编码生成器，随机生成量化策略编码；然后对所述量化策略编码进行解码，得到待选量化策略；最后根据对应于所述待选量化策略的网络模型的量化精度损失，确定用于目标硬件的网络模型的目标量化策略，从而提高网络模型在目标硬件上的精度，改善网络模型的适配效果。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种确定网络模型量化策略的方法，包括：

采用针对目标硬件的网络模型的量化策略搜索空间的配置信息，生成量化策略搜索空间；

采用所述量化策略搜索空间，生成量化策略编码生成器；

采用所述量化策略编码生成器，随机生成量化策略编码；

对所述量化策略编码进行解码，得到待选量化策略；

根据对应于所述待选量化策略的网络模型的量化精度损失，确定用于目标硬件的网络模型的目标量化策略。

2.根据权利要求1所述的方法，所述根据对应于所述待选量化策略的网络模型的量化精度损失，确定应用于目标硬件的目标量化策略包括：

响应于待选量化策略的网络模型的量化精度损失小于预定阈值，将待选量化策略确定为用于目标硬件的目标量化策略。

3.根据权利要求1或2所述的方法，所述根据对应于所述待选量化策略的网络模型的量化精度损失，确定应用于目标硬件的目标量化策略包括：

响应于所述待选量化策略的网络模型的量化精度损失大于预定阈值，采用所述量化策略编码生成器，生成新的一组量化策略编码，并对所述新的一组量化策略编码进行解码，得到新的待选量化策略；

根据对应于所述新的待选量化策略的量化精度损失，确定用于目标硬件的目标量化策略。

4.根据权利要求1所述的方法，所述待选量化策略包括离线量化策略和在线量化策略。

5.根据权利要求1所述的方法，还包括：

获取训练样本集；

利用所述训练样本集对用于目标硬件的网络模型进行训练，得到初始模型；

利用所述目标量化策略对所述初始模型进行量化，得到目标模型。

6.根据权利要求1-5任一项所述的方法，所述待选量化策略包括以下任意一项：16比特量化、8比特量化、4比特量化和2比特量化。

7.一种确定网络模型量化策略的装置，其特征在于，所述装置包括：

量化策略搜索空间生成模块，被配置为采用针对目标硬件的网络模型的量化策略搜索空间的配置信息，生成量化策略搜索空间；

编码模块，被配置为采用所述量化策略搜索空间，生成量化策略编码生成器；

量化策略编码生成模块，被配置为采用所述量化策略编码生成器，随机生成量化策略编码；

解码模块，被配置为对所述量化策略编码进行解码，得到待选量化策略；

目标量化策略确定模块，被配置为根据对应于所述待选量化策略的网络模型的量化精度损失，确定用于目标硬件的网络模型的目标量化策略。

8.根据权利要求7所述的装置，其中，所述目标量化策略确定模块进一步被配置成：

响应于待选量化策略的网络模型的量化精度损失小于预定阈值，将待选量化策略确定为用于目标硬件的目标量化策略。

9.根据权利要求7或8所述的装置，其中，所述目标量化策略确定模块进一步被配置成：

响应于所述待选量化策略的网络模型的量化精度损失大于预定阈值，采用所述量化策略编码生成器，生成新的一组量化策略编码，并对所述新的一组量化策略编码进行解码，得到新的待选量化策略；

根据对应于所述新的待选量化策略的量化精度损失，确定用于目标硬件的目标量化策略。

10.根据权利要求7所述的装置，其中，所述待选量化策略包括离线量化策略和在线量化策略。

11.根据权利要求7所述的装置，还包括：

训练样本获取模块，被配置为获取训练样本集；

初始模型训练模块，被配置为利用所述训练样本集对用于目标硬件的网络模型进行训练，得到初始模型；

初始模型量化模块，被配置为利用所述目标量化策略对所述初始模型进行量化，得到目标模型。

12.根据权利要求7-11任一项所述的装置，所述待选量化策略包括以下至少一种：16比特量化、8比特量化、4比特量化和2比特量化。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

Images