CN111598237A - 量化训练、图像处理方法及装置、存储介质 - Google Patents

Abstract

本公开提供了一种量化训练、图像处理方法及装置、存储介质，其中，所述量化训练方法包括：模型训练设备对神经网络模型进行至少一轮迭代量化训练，得到第一量化模型；所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

Description

量化训练、图像处理方法及装置、存储介质

技术领域

本公开涉及量化训练领域，尤其涉及量化训练、图像处理方法及装置、存储介质。

背景技术

随着越来越多的神经网络模型需要被部署到移动设备上，推理(Inference)的效率已经成为了一个关键性问题。在部署到移动设备的情况下，需要精简神经网络模型的结构，常用的方式包括量化。

量化就是将神经网络模型的高精度参数用较低精度的参数来近似表示。其中，高精度参数可以包括浮点型参数，低精度参数可以包括整数型参数。量化后的神经网络模型在单位时间内能处理更多的数据，且存储空间能进一步的减少等等。

目前，对神经网络模型的量化训练过程一般是根据经验指定量化训练的总次数，在达到总次数后，将得到的量化模型转换为在实际的硬件环境中所对应的测试模型，并在实际的硬件环境中运行该测试模型，得到运行结果。

发明内容

本公开提供了一种量化训练、图像处理方法及装置、存储介质。

根据本公开实施例的第一方面，提供一种量化训练方法，所述方法包括：模型训练设备对神经网络模型进行至少一轮迭代量化训练，得到第一量化模型；所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

在一些可选实施例中，所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，包括：所述模型训练设备通过调用目标函数对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，其中，所述目标函数用于模拟硬件部署环境。

在一些可选实施例中，所述方法还包括：对所述第一量化模型进行转换处理，得到第一测试模型，其中，所述转换处理包括去除所述第一量化模型的至少一个目标单元，所述目标单元用于对所述神经网络模型的网络层的输出数据和网络参数中的至少一种进行量化操作和/或去量化操作；所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，包括：所述模型训练设备通过模拟硬件部署环境，对所述第一测试模型进行测试，得到所述第一量化模型的测试结果。

在一些可选实施例中，所述转换处理是通过用于模拟所述硬件部署环境的目标函数实现的。

在一些可选实施例中，所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，包括：所述模型训练设备通过模拟硬件部署环境，利用对所述第一量化模型的测试样本和网络参数进行定点化处理得到的定点数据，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

在一些可选实施例中，所述方法还包括：所述模型训练设备对所述第一量化模型进行至少一轮迭代量化训练，得到第二量化模型；所述模型训练设备通过模拟硬件部署环境，对所述第二量化模型进行测试，得到所述第二量化模型的测试结果。

在一些可选实施例中，所述方法还包括：至少部分地基于所述第一量化模型的测试结果，得到对所述神经网络模型进行量化训练的训练策略分析结果，其中，所述训练策略分析结果包括下列中的至少一项：终止所述神经网络模型的量化训练、调整所述神经网络模型中至少一个网络层的量化方式、调整所述神经网络模型的后续迭代的量化训练方式。

在一些可选实施例中，所述模型训练设备对所述第一量化模型进行至少一轮迭代量化训练，得到第二量化模型，包括：所述模型训练设备在对所述第一量化模型进行所述测试的过程中，并行地对所述第一量化模型进行至少一轮迭代量化训练，得到所述第二量化模型。

在一些可选实施例中，所述对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，包括以下任一项：响应于对所述神经网络模型进行至少一轮迭代量化训练的次数达到预设次数，对得到的所述第一量化模型进行测试，得到所述第一量化模型的测试结果；或者响应于基于预设测试策略确定所述第一量化模型满足测试条件，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

根据本公开实施例的第二方面，提供一种图像处理方法，包括：将待处理图像输入第一量化模型，得到所述第一量化模型输出的图像处理结果；其中，所述第一量化模型是通过上述第一方面任一项所述的方法得到的量化模型。

根据本公开实施例的第三方面，提供一种量化训练装置，所述装置包括：第一量化训练模块，用于模型训练设备对神经网络模型进行至少一轮迭代量化训练，得到第一量化模型；第一测试模块，用于所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

在一些可选实施例中，所述第一测试模块包括：第一测试子模块，用于所述模型训练设备通过调用目标函数对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，其中，所述目标函数用于模拟硬件部署环境。

在一些可选实施例中，所述装置还包括：模型转换模块，用于对所述第一量化模型进行转换处理，得到第一测试模型，其中，所述转换处理包括去除所述第一量化模型的至少一个目标单元，所述目标单元用于对所述神经网络模型的网络层的输出数据和网络参数中的至少一种进行量化操作和/或去量化操作；所述第一测试模块包括：第二测试子模块，用于所述模型训练设备通过模拟硬件部署环境，对所述第一测试模型进行测试，得到所述第一量化模型的测试结果。

在一些可选实施例中，所述转换处理是通过用于模拟所述硬件部署环境的目标函数实现的。

在一些可选实施例中，所述第一测试模块包括：第三测试子模块，用于所述模型训练设备通过模拟硬件部署环境，利用对所述第一量化模型的测试样本和网络参数进行定点化处理得到的定点数据，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

在一些可选实施例中，所述装置还包括：第二量化训练模块，用于所述模型训练设备对所述第一量化模型进行至少一轮迭代量化训练，得到第二量化模型；第二测试模块，用于所述模型训练设备通过模拟硬件部署环境，对所述第二量化模型进行测试，得到所述第二量化模型的测试结果。

在一些可选实施例中，所述装置还包括：确定模块，用于至少部分地基于所述第一量化模型的测试结果，得到对所述神经网络模型进行量化训练的训练策略分析结果，其中，所述训练策略分析结果包括下列中的至少一项：终止所述神经网络模型的量化训练、调整所述神经网络模型中至少一个网络层的量化方式、调整所述神经网络模型的后续迭代的量化训练方式。

在一些可选实施例中，所述第二量化训练模块包括：量化训练子模块，用于所述模型训练设备在对所述第一量化模型进行所述测试的过程中，并行地对所述第一量化模型进行至少一轮迭代量化训练，得到所述第二量化模型。

在一些可选实施例中，所述第一测试模块包括以下任一项：第四测试子模块，用于响应于对所述神经网络模型进行至少一轮迭代量化训练的次数达到预设次数，对得到的所述第一量化模型进行测试，得到所述第一量化模型的测试结果；或者第五测试子模块，用于响应于基于预设测试策略确定所述第一量化模型满足测试条件，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

根据本公开实施例的第四方面，提供一种图像处理装置，所述装置包括：图像处理模块，用于将待处理图像输入第一量化模型，得到所述第一量化模型输出的图像处理结果；其中，所述第一量化模型是通过第一方面任一项所述的方法得到的量化模型。

根据本公开实施例的第五方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面任一所述的量化训练方法或上述第二方面所述的图像处理方法。

根据本公开实施例的第六方面，提供一种量化训练装置，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现第一方面中任一项所述的量化训练方法。

根据本公开实施例的第七方面，提供一种图像处理装置，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现第二方面所述的图像处理方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例中，可以通过模型训练设备对神经网络模型进行至少一轮迭代量化训练，得到第一量化模型，进一步地，模型训练设备再通过模拟硬件部署环境，对该第一量化模型进行测试，从而得到第一量化模型的测试结果。本公开可以通过模型训练设备在进行至少一轮迭代量化训练之后，模拟硬件部署环境，直接在训练框架下对第一量化模型进行测试，无需将第一量化模型部署到实际硬件设备上就可以得到第一量化模型的测试结果，有利于提高神经网络模型的开发效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开根据一示例性实施例示出的一种量化训练方法流程图；

图2是本公开根据一示例性实施例示出的另一种量化训练方法流程图；

图3A是本公开根据一示例性实施例示出的一种神经网络模型的架构示意图；

图3B是本公开根据一示例性实施例示出的一种第一量化模型的架构示意图；

图3C是本公开根据一示例性实施例示出的一种第一测试模型的架构示意图；

图4是本公开根据一示例性实施例示出的另一种量化训练方法流程图；

图5是本公开根据一示例性实施例示出的另一种量化训练方法流程图；

图6是本公开根据一示例性实施例示出的一种量化训练装置框图；

图7是本公开根据一示例性实施例示出的一种量化训练装置的一结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

目前，神经网络模型在模型训练设备上完成训练后，需要部署到实际的移动设备上进行测试。测试之前，模型训练设备可以对该神经网络模型进行迭代量化训练，得到量化模型之后，将该量化模型转换为实际的硬件环境所对应的测试模型，然后将该测试模型部署到实际的移动设备上进行测试，获得测试结果。根据测试结果来确定量化模型的性能是否符合预期。其中，在本公开实施例中，模型训练设备可以采用部署了包括量化算法或量化工具在内的训练平台框架的电子设备；电子设备可以包括但不限于采用x86架构的终端设备，例如个人计算机(Personal Computer，PC)、手机、便携式设备等。

量化的方案一般可分为训练后量化(Post-training quantization)和训练感知量化(Quantization-aware training)。Post-quantization指的是在训练出浮点型参数的神经网络模型后，对该神经网络模型的参数进行直接量化。这种方法在对参数量大的模型进行量化效果较好，性能损失较小，然而对参数量小的模型会导致大幅度的性能降低。Quantization-aware training是在训练中模拟量化行为，在训练中用浮点型参数来保存定点参数，最后模型推理的时候直接采用定点参数进行运算。

下面以Quantization-aware training为例，介绍一下量化训练的过程：首先，将所有的张量操作都通过模块的方式实现，然后将所有的复用模块都改为单独的，即不允许模块复用，并将训练框架(如pytorch)中所有功能性的接口改为实现相同功能的模块。

但是，需要先通过完整的训练过程得到量化模型之后，将训练得到的量化模型转换为可部署模型，并置于部署环境以测试其在部署环境上的性能，这种方案在进行模型训练或者参数调整时非常不便，需要确保中间转换的环节不能出错。另外需要模型完整训练好后，才能知道模型在真实环境中的结果，不能够尽早地修正模型训练过程。

此外，采用pytorch等训练框架的不足在于，使用包括浮点型参数的量化模型进行测试，而在部署环境中使用包括定点参数的量化模型进行推理，因此测试结果与部署硬件上的推理结果会有一定差异，测试结果不能够真实地反应量化模型在实际的硬件部署环境中的性能。此外，量化模型在训练过程中容易出现过拟合，一旦出现过拟合的情况，不易调整量化模型中的参数。

本公开实施例提供了一种量化训练方案。例如图1所示，图1是根据一示例性实施例示出的一种量化训练方法，包括以下步骤：

在步骤101中，模型训练设备对神经网络模型进行至少一轮迭代量化训练，得到第一量化模型。

在本公开实施例中，由于可以在同一个模型训练设备上可以进行迭代量化训练，后续也可以进行量化模型的测试，因此，模型训练设备可以采用部署了包括量化算法和量化工具在内的训练平台框架的机器设备，或者直接采用可移动的终端设备，例如x86架构的PC、手机等。

模型训练设备可以采用量化训练方式，包括但不限于quantization-awaretraining量化训练方式，对神经网络模型在训练过程中进行量化。在本公开实施例中，模型训练设备可以对神经网络模型进行至少一轮迭代量化训练，从而得到第一量化模型。具体地，模型训练设备可以进行一次或数次等有限次的迭代训练，得到第一量化模型。

在步骤102中，所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

在本公开实施例中，可以在模型训练设备上模拟实际的硬件部署环境，以便直接在模型训练设备上对第一量化模型进行测试，无需将第一量化模型转换到实际硬件部署环境中进行测试。

在一些实施例中，模拟硬件部署环境是指基于硬件部署环境的运算逻辑，通过模块化的方式封装出至少一个接口，在测试时，可以调用至少一个接口中与第一量化模型的网络结构对应的接口，从而运行第一量化模型，得到运行结果，将该运行结果作为第一量化模型的测试结果。其中，至少一个接口分别用于实现不同的网络层的功能，网络层包括但不限于卷积层(conv)、池化层(pooling)、线性层(linear)、激活函数层(prelu)等。

例如，第一量化模型需要运行在移动设备的图形处理器(Graphics ProcessingUnit，GPU)上，则该硬件部署环境是该GPU的硬件环境。通过至少一个接口可以基于GPU的运算逻辑，来实现不同的网络层的功能，模型训练设备可以调用至少一个接口中与第一量化模型的网络结构对应的接口，运行第一量化模型，从而得到第一量化模型的测量结果。

上述实施例中，可以通过模型训练设备在进行至少一轮迭代量化训练之后，模拟硬件部署环境，直接在训练框架下对第一量化模型进行测试，无需将第一量化模型部署到实际硬件设备上就可以得到第一量化模型的测试结果，有利于提高神经网络模型的开发效率。

在一些可选实施例中，针对上述步骤102，模型训练设备可以将基于硬件部署环境的运算逻辑，通过模块化的方式封装出的至少一个接口设置在目标函数中，即目标函数可以用于模拟硬件部署环境。在得到第一量化模型后，采用函数调用的方式，就可以调用该目标函数中与第一量化模型的网络结构对应的接口，从而得到第一量化模型的测试结果。

在一种可能地实现方式中，模型训练平台的量化训练框架采用pytorch框架，相应地，目标函数可以是该量化训练框架中的model.quant()函数。

上述实施例中，模型训练平台可以调用目标模块，对第一量化模型进行测试，获得第一量化模型的测试结果。实现了在同一硬件设备上模拟硬件部署环境，不仅可以进行迭代量化训练，还可以直接得到第一量化模型的测试结果的目的，有利于提高神经网络模型的开发效率。

在一些可选实施例中，在迭代量化训练过程中，会在神经网络模型的每个网络层的输出增加一个伪量化层，通过伪量化层可以模拟该网络层的量化带来的精度损失。

例如，网络层1的原始输出数据为第一精度，假设第一精度为FP32，且数值为1.1，伪量化层对原始输出数据量化得到第二精度的数值，假设第二精度为uint8，数值为1，但是将网络层1的输出作为输入的网络层2也需要采用第一精度的数值，因此还需要通过伪量化层对网络层1量化得到的数值进行去量化，将第二精度的数值1转换为第一精度，数值不变，根据上述过程，可以通过伪量化层确定网络层1的精度损失为1.1-1＝0.1。采用同样的方式，可以确定其他网络层的精度损失。

在一些可选实施例中，例如图2所示，该方法还可以包括：

在步骤103中，对所述第一量化模型进行转换处理，得到第一测试模型。

在本公开实施例中，在对第一量化模型进行测试的过程可以去掉其中的伪量层，采用与实际部署环境中相同的模型结构进行测试，从而可以直接模拟量化训练得到的神经网络模型在实际部署硬件上的运行，得到较为真实的测试结果。因此，在本公开实施例中，需要对第一量化模型进行转换处理，转换处理包括去除所述第一量化模型的至少一个伪量化层，在本公开实施例中，伪量化层可以通过模块化的方式实现，即每个伪量化层可以对应一个目标单元，则相应地，转换处理就包括去除第一量化模型的至少一个目标单元，所述目标单元用于对所述神经网络模型的网络层的输出数据和网络参数中的至少一种进行量化操作和/或去量化操作。

相应地，步骤102可以包括：

所述模型训练设备通过模拟硬件部署环境，对所述第一测试模型进行测试，得到所述第一量化模型的测试结果。

例如，神经网络模型的原始网络结构如图3A所示，包括至少一个目标单元的第一量化模型如图3B所示，其中目标单元1对卷积层的网络参数，即权重值进行量化操作和/或去量化操作，目标单元2对激活函数层的输出数据进行量化操作和/或去量化操作。转换处理就需要在第一量化模型中去除目标单元，得到第一测试模型如图3C所示。

本公开就是由模型训练设备对第一测试模型进行测试，从而得到第一量化模型的测试结果。

上述实施例中，由于所述第一量化模型需要对神经网络模型的网络层的输出数据和网络参数中的至少一种进行量化操作和/或去量化操作，在测试过程中，不再需要进行量化操作和/或去量化操作，因此，可以对第一测试模型进行转换处理，去除第一量化模型中的至少一个目标单元，得到第一测试模型，针对第一测试模型进行测试，从而可以得到所需要的第一量化模型的测试结果，实现了在模型训练设备上对第一量化模型进行测试的目的。

在一些可选实施例中，模型训练设备对第一测试模型进行转换处理的过程，是通过用于模拟所述硬件部署环境的目标函数实现的。

模型训练设备在得到第一量化模型后，调用目标函数，从而对第一测试模型进行转换处理，去除至少一个目标单元，从而对得到的第一测试模型进行测试，得到第一量化模型的测试结果。

在一些可选实施例中，对第一量化模型进行测试时，可以先对第一量化模型的测试样本和网络参数进行定点化处理，得到定点数据，然后对第一量化模型进行测试，从而得到测试结果。

定点化处理是指将数据由第一精度转换为第二精度，其中，第一精度高于第二精度，例如第一精度为浮点精度FP32，第二精度为整型精度uint8。

模型训练设备需要对整个第一量化模型输入的测试样本和网络参数，例如权重值进行定点化处理，然后得到定点数据，基于该定点数据进行测试。

例如图3B中，第一量化模型的测试样本(输入值)和网络参数(输入值所对应的权重值)的精度均为FP32，定点化处理后的定点数据的精度为uint8，图3C中第一测试模型可以基于uint8的定点数据进行测试，得到第一量化模型的测试结果。

上述实施例中，模型训练设备需要理由对第一量化模型的测试样本和网络参数进行定点化处理得到的定点数据，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，使得测试过程更加合理、准确。

在一些可选实施例中，例如图4所示，上述方法还可以包括：

在步骤104中，所述模型训练设备对所述第一量化模型进行至少一轮迭代量化训练，得到第二量化模型。

在本公开实施例中，模型训练设备可以在得到第一量化模型之后，继续对第一量化模型进行至少一轮迭代量化训练，从而得到第二量化模型。

在一种可能地实现方式中，模型训练设备可以在第一量化模型的测试结果指示第一量化模型未达到量化训练要求，例如对测试样本进行处理的准确率未达到神经网络模型的设计要求时，继续对第一量化模型进行至少一轮迭代量化训练，得到该第二量化模型。

在另一种可能地实现方式中，模型训练设备还可以在对第一量化模型进行测试的同时，对所述第一量化模型进行至少一轮迭代量化训练，得到第二量化模型。如果第一量化模型的测试结果指示第一量化模型未达到量化训练要求，那么相当于已经提前开始进行对第一量化模型的至少一轮迭代量化训练，可用性更高。

在步骤105中，所述模型训练设备通过模拟硬件部署环境，对所述第二量化模型进行测试，得到所述第二量化模型的测试结果。

通过模拟硬件部署环境，模型训练设备可以对第二量化模型进行测试，得到第二量化模型的测试结果。根据第二量化模型的测试结果可以进行量化训练的训练策略分析结果，例如可以再次对第二量化模型进行至少一轮的迭代量化训练等。

在一些可选实施例中，例如图5所示，上述方法还可以包括：

在步骤106中，至少部分地基于所述第一量化模型的测试结果，得到对所述神经网络模型进行量化训练的训练策略分析结果。

具体地，可以基于至少一次测试的测试结果，确定神经网络模型的当前量化训练方案是否可行，例如损失函数的设计是否合理，量化方案的设计是否合理等，或者确定当前量化训练方案的调整方案，例如，是否需要修改网络结构、网络超参、损失函数、量化方案等中的一项或多项，或者进一步给出调整策略或其他细节信息，在一些可选例子中，还可以确定是否需要停止当前的量化迭代训练，例如确定需要早停，或者确定神经网络模型已经达到预期，等等，本公开实施例对此不做限定。

在本公开实施例中，训练策略分析结果包括下列中的至少一项：终止所述神经网络模型的量化训练、调整所述神经网络模型中至少一个网络层的量化方式、调整所述神经网络模型的后续迭代的量化训练方式。

在本公开实施例中，将训练和测试放在同一个平台上进行，即放在同一模型训练设备上进行，无需进行模型转换和部署，从而优化神经网络模型的开发过程，并且在训练过程中进行测试，可以根据第一量化模型的测试结果，可以更加方便地结合评价指标，来确定是否需要继续对神经网络模型进行量化迭代训练。该评价指标包括但不限于作为早停(early stop)等的评价指标。

例如第一量化模型的测试结果指示第一量化模型未达到量化训练要求，那么不能终止对神经网络模型的量化训练。再例如，第一量化模型的测试结果指示第一量化模型出现了过拟合，那么可以根据评价指标提前终止对神经网络模型的量化训练。

根据第一量化模型的测试结果，模型训练设备也可以调整对神经网络模型中的至少一个网络层的量化方式，例如之前采用的是Post-quantization，根据第一量化模型的测试结果，可以将量化方式可以调整为Quantization-aware training。

根据第一量化模型的测试结果，模型训练设备还可以调整所述神经网络模型的后续迭代的量化训练方式，量化训练方式包括但不限于迭代量化训练的次数，损失函数的调整等。例如之前对神经网络模型进行了N轮迭代量化训练，得到第一量化模型，对第一量化模型可以进行M轮迭代量化训练，其中，M与N均为正整数，可以相等或不相等。

上述实施例中，根据第一量化模型的测试结果，可以得到对神经网络模型进行量化训练的训练策略分析结果，基于该分析结果可以对量化训练进行调整，使得对神经网络模型的量化训练更加合理。

在一些可选实施例中，模型训练设备可以基于不同的训练时机，停止迭代量化训练，从而得到第一量化模型。

在一种可选实现方式中，模型训练设备可以在对神经网络模型进行至少一轮迭代量化训练的次数达到预设次数，对得到的所述第一量化模型进行测试，得到所述第一量化模型的测试结果。预设次数可以远小于之前设置的对神经网络模型进行迭代量化训练的总次数，例如总次数为1000次，预设次数可以为小于1000的任意正整数，根据第一量化模型的测试结果结合早停等评价指标，可以提前终止对神经网络模型的迭代量化训练，从而避免最终得到的量化模型出现过拟合的问题。

在另一种可能地实现方式中，模型训练设备可以在基于预设测试策略确定所述第一量化模型满足测试条件时，得到第一量化模型，从而对第一量化模型进行测试。其中，测试条件包括但不限于神经网络模型对应的损失函数的变化较小，或者神经网络模型的精度远小于预设精度要求，或者已经达到预设的迭代量化的总次数等。

上述实施例中，模型训练设备可以基于训练时机，对得到的第一量化模型进行测试，从而得到第一量化模型的测试结果，有利于提高神经网络模型的开发效率。

在一些可选实施例中，本公开还提供了一种图像处理方法，可以将待处理图像输入第一量化模型，从而得到第一量化模型输出的图像处理结果。

其中，第一量化模型是通过上述任一项所述的方法对神经网络模型进行至少一轮迭代量化训练得到的量化模型。

待处理图像可以是视觉任务中所采集到的图像，通过第一量化模型可以对采集到的图像进行视觉任务分析，其中，视觉任务分析包括但不限于图像分类、图像语义分割、人体关键点检测等，可用性高。

与前述方法实施例相对应，本公开还提供了装置的实施例。

如图6所示，图6是本公开根据一示例性实施例示出的一种量化训练装置框图，装置包括：第一量化训练模块210，用于模型训练设备对神经网络模型进行至少一轮迭代量化训练，得到第一量化模型；第一测试模块220，用于所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

在一些可选实施例中，所述第一测试模块包括：第一测试子模块，用于所述模型训练设备通过调用目标函数对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，其中，所述目标函数用于模拟硬件部署环境。

在一些可选实施例中，所述装置还包括：模型转换模块，用于对所述第一量化模型进行转换处理，得到第一测试模型，其中，所述转换处理包括去除所述第一量化模型的至少一个目标单元，所述目标单元用于对所述神经网络模型的网络层的输出数据和网络参数中的至少一种进行量化操作和/或去量化操作；所述第一测试模块包括：第二测试子模块，用于所述模型训练设备通过模拟硬件部署环境，对所述第一测试模型进行测试，得到所述第一量化模型的测试结果。

在一些可选实施例中，所述转换处理是通过用于模拟所述硬件部署环境的目标函数实现的。

在一些可选实施例中，所述第一测试模块包括：第三测试子模块，用于所述模型训练设备通过模拟硬件部署环境，利用对所述第一量化模型的测试样本和网络参数进行定点化处理得到的定点数据，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

在一些可选实施例中，所述装置还包括：第二量化训练模块，用于所述模型训练设备对所述第一量化模型进行至少一轮迭代量化训练，得到第二量化模型；第二测试模块，用于所述模型训练设备通过模拟硬件部署环境，对所述第二量化模型进行测试，得到所述第二量化模型的测试结果。

在一些可选实施例中，所述装置还包括：确定模块，用于至少部分地基于所述第一量化模型的测试结果，得到对所述神经网络模型进行量化训练的训练策略分析结果，其中，所述训练策略分析结果包括下列中的至少一项：终止所述神经网络模型的量化训练、调整所述神经网络模型中至少一个网络层的量化方式、调整所述神经网络模型的后续迭代的量化训练方式。

在一些可选实施例中，所述第二量化训练模块包括：量化训练子模块，用于所述模型训练设备在对所述第一量化模型进行所述测试的过程中，并行地对所述第一量化模型进行至少一轮迭代量化训练，得到所述第二量化模型。

在一些可选实施例中，所述第一测试模块包括以下任一项：第四测试子模块，用于响应于对所述神经网络模型进行至少一轮迭代量化训练的次数达到预设次数，对得到的所述第一量化模型进行测试，得到所述第一量化模型的测试结果；或者第五测试子模块，用于响应于基于预设测试策略确定所述第一量化模型满足测试条件，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

本公开还提供了一种图像处理装置，所述装置包括：图像处理模块，用于将待处理图像输入第一量化模型，得到所述第一量化模型输出的图像处理结果；其中，所述第一量化模型是通过第一方面任一项所述的方法得到的量化模型。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本公开实施例还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述任一所述的量化训练方法或图像处理方法。

在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的量化训练方法或图像处理方法的指令。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

本公开实施例还提供了一种量化训练装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一项所述的神经网络模型的量化训练方法。

图7为本公开实施例提供的一种量化训练装置的硬件结构示意图。该神经网络模型的量化训练装置310包括处理器311，还可以包括输入装置312、输出装置313和存储器314。该输入装置312、输出装置313、存储器314和处理器311之间通过总线相互连接。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

可以理解的是，图7仅仅示出了一种量化训练装置的简化设计。在实际应用中，量化训练装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本公开实施例的量化训练装置都在本公开的保护范围之内。

本公开实施例还提供了一种图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一项所述的图像处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (15)

1.一种量化训练方法，其特征在于，所述方法包括：

模型训练设备对神经网络模型进行至少一轮迭代量化训练，得到第一量化模型；

所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

2.根据权利要求1所述的方法，其特征在于，所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，包括：

所述模型训练设备通过调用目标函数对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，其中，所述目标函数用于模拟硬件部署环境。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

对所述第一量化模型进行转换处理，得到第一测试模型，其中，所述转换处理包括去除所述第一量化模型的至少一个目标单元，所述目标单元用于对所述神经网络模型的网络层的输出数据和网络参数中的至少一种进行量化操作和/或去量化操作；

所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，包括：

所述模型训练设备通过模拟硬件部署环境，对所述第一测试模型进行测试，得到所述第一量化模型的测试结果。

4.根据权利要求3所述的方法，其特征在于，所述转换处理是通过用于模拟所述硬件部署环境的目标函数实现的。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，包括：

所述模型训练设备通过模拟硬件部署环境，利用对所述第一量化模型的测试样本和网络参数进行定点化处理得到的定点数据，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

6.根据权利要求1-5任一项的方法，其特征在于，所述方法还包括：

所述模型训练设备对所述第一量化模型进行至少一轮迭代量化训练，得到第二量化模型；

所述模型训练设备通过模拟硬件部署环境，对所述第二量化模型进行测试，得到所述第二量化模型的测试结果。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

至少部分地基于所述第一量化模型的测试结果，得到对所述神经网络模型进行量化训练的训练策略分析结果，其中，所述训练策略分析结果包括下列中的至少一项：终止所述神经网络模型的量化训练、调整所述神经网络模型中至少一个网络层的量化方式、调整所述神经网络模型的后续迭代的量化训练方式。

8.根据权利要求6或7所述的方法，其特征在于，所述模型训练设备对所述第一量化模型进行至少一轮迭代量化训练，得到第二量化模型，包括：

所述模型训练设备在对所述第一量化模型进行所述测试的过程中，并行地对所述第一量化模型进行至少一轮迭代量化训练，得到所述第二量化模型。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述对所述第一量化模型进行测试，得到所述第一量化模型的测试结果，包括以下任一项：

响应于对所述神经网络模型进行至少一轮迭代量化训练的次数达到预设次数，对得到的所述第一量化模型进行测试，得到所述第一量化模型的测试结果；或者

响应于基于预设测试策略确定所述第一量化模型满足测试条件，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

10.一种图像处理方法，其特征在于，包括：

将待处理图像输入第一量化模型，得到所述第一量化模型输出的图像处理结果；其中，所述第一量化模型是通过权利要求1-9任一项所述的方法得到的量化模型。

11.一种量化训练装置，其特征在于，所述装置包括：

第一量化训练模块，用于模型训练设备对神经网络模型进行至少一轮迭代量化训练，得到第一量化模型；

第一测试模块，用于所述模型训练设备通过模拟硬件部署环境，对所述第一量化模型进行测试，得到所述第一量化模型的测试结果。

12.一种图像处理装置，其特征在于，所述装置包括：

图像处理模块，用于将待处理图像输入第一量化模型，得到所述第一量化模型输出的图像处理结果；其中，所述第一量化模型是通过权利要求1-9任一项所述的方法得到的量化模型。

13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9任一所述的量化训练方法或上述权利要求10所述的图像处理方法。

14.一种量化训练装置，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现权利要求1-9中任一项所述的量化训练方法。

15.一种图像处理装置，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现权利要求10所述的图像处理方法。

Images