CN114595799A - 一种模型训练方法及装置 - Google Patents

一种模型训练方法及装置 Download PDF

Info

Publication number
CN114595799A
CN114595799A CN202011377406.3A CN202011377406A CN114595799A CN 114595799 A CN114595799 A CN 114595799A CN 202011377406 A CN202011377406 A CN 202011377406A CN 114595799 A CN114595799 A CN 114595799A
Authority
CN
China
Prior art keywords
layer
neural network
weight
convolution
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011377406.3A
Other languages
English (en)
Inventor
金晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011377406.3A priority Critical patent/CN114595799A/zh
Priority to PCT/CN2021/133383 priority patent/WO2022111617A1/zh
Publication of CN114595799A publication Critical patent/CN114595799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种模型训练方法，可以应用于人工智能领域，方法包括：获取第一神经网络模型，第一神经网络模型包括卷积BN层和第一量化算子，所述卷积BN层用于根据第一权重对输入的第N批batch的数据进行卷积处理，根据BN系数对卷积处理结果进行归一化处理，并基于归一化处理结果更新所述BN系数，对更新后的所述BN系数进行所述第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述卷积BN层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理。本申请可减小神经网络中卷积层的数据运算量。

Description

一种模型训练方法及装置
技术领域
本申请涉及人工智能领域，尤其涉及一种模型训练方法及装置。
背景技术
人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
神经网络的量化(neural network quantization)，是将浮点存储(运算)转换为整型存储(运算)的一种模型压缩技术，例如，原来一个模型的模型参数使用float32(32位的浮点)表示，量化后该模型的模型参数使用int8(8位的定点)表示，通过模型的量化操作，以较小的精度损失为代价，提高模型的运算速度。
训练感知量化(quantization aware training，QAT)是利用训练数据训练补偿量化的精度损失，其主要流程是：1、对模型训练前插入量化算子，2.、在训练过程中统计模型各层(权重和激活)数值的min和max用于计算量化因子。
QAT在模型训练阶段，需要原模型的权重输入和激活输出上插入伪量化节点SimQuant(本实施例中也可称之为量化算子)。此外，对于卷积神经网络(convolutionneural network，CNN)以及批量归一化(batch normalization，BN)结构需借助另外一个CNN实现BN折叠，实现BN系数与CNN权重的融合。在训练过程中，SimQuant会统计对应数据流(Tensor)中min和max值，用于后续scale量化因子的计算。如图2所示，QAT在进行CNN和BN的折叠时，需要构建另一个CNN对当前批batch的数据进行卷积运算，BN利用卷积运算的结果更新BN系数，进而使用更新后的BN系数构建权重，量化算子可以对构建好的权重进行量化和反量化处理，而CNN可以基于反量化后得到的权重，对当前批batch的数据进行卷积运算。然而，由于需借助另外一个CNN实现BN折叠，使得在训练过程中会有两个CNN对同一批batch的数据进行卷积运算，增加了训练过程中CNN的运算量，进而降低了训练速度。
发明内容
第一方面，本申请提供了一种模型训练方法，所述方法包括：
获取第一神经网络模型，其中，所述第一神经网络模型包括卷积BN层和第一量化算子，所述卷积BN层用于根据第一权重对输入的第N批batch的数据进行卷积处理，根据BN系数对卷积处理结果进行归一化处理，并基于归一化处理结果更新所述BN系数，对更新后的所述BN系数进行所述第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述卷积BN层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理；对所述第一神经网络模型进行模型训练，以获取训练后的第一神经网络模型。
卷积处理结果，是指对第N批batch的数据进行卷积处理后得到的结果。
其中，卷积BN层可以作为一个独立的层，一种实现方式下，卷积BN层中仍然能区分出分别对应于第一卷积层和第一批量归一化BN层的部分。本段为方便描述，仍然将卷积BN层中对应第一卷积层的部分称为第一卷积层，将卷积BN层中对应第一批量归一化BN层的部分称为第一批量归一化BN层，所述第一卷积层用于根据第一权重对输入的第N批batch的数据进行卷积处理，以得到第一输出(也就是前文所说的卷积处理结果)，所述第一BN层用于根据BN系数对所述第一输出进行归一化处理，并基于归一化处理结果更新所述BN系数，卷积BN层用于对更新后的所述BN系数进行第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述第一卷积层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理；对所述第一神经网络模型进行模型训练，以获取训练后的第一神经网络模型。
其中，第一神经网络模型可以为对一个预训练pre-trained模型进行BN折叠处理以及添加量化算子(也可以称之为伪量化节点SimQuant)得到的，第一输出可以作为第一BN层的输入，第一BN层可以对所述第一输出进行归一化处理，并基于归一化处理结果更新所述BN系数，其中，在训练过程中，BN层是基于前馈过程中卷积层的输出特征的均值和标准差来进行BN运算的，示例性的，所述第一BN层与所述第一卷积层连接，所述第一BN层用于根据所述第一卷积层的第一输出的均值和标准差对所述第一输出进行BN运算，之后，训练设备可以基于运算结果来更新BN系数，其中，BN系数可以包括但不限于均值μ、方差σ、尺度参数γ和偏移参数β中的至少一种，或者是其中任意多种之间的运算结果。
现有技术中，第一卷积层是通过BN层对当前批batch的数据进行处理后更新的BN系数来确定当前批batch所采用的权重的，因此需要除了第一卷积层之外，再单独设置一个卷积层进行数据处理来使得BN层可以基于当前批batch的数据来更新BN系数，而本申请实施例中，由于第一卷积层是通过BN层对上一批batch的数据进行处理后更新的BN系数来确定当前批batch所采用的权重的，因此无需再单独多设置一个卷积层，一方面，可减小模型大小，另一方面，也减少了神经网络中卷积层的数据运算量。由于训练过程是一个需要迭代大量次数的过程，训练设备的可使用计算资源是有限的，本实施例中在训练过程中将神经网络中的卷积层都相应减少了一次卷积运算，在大量次数的训练过程中，可以大量减少训练设备的运算资源消耗，进而提升了训练的速度。
在一种可能的实现中，所述方法还包括：
获取第二神经网络模型，所述第二神经网络模型可以为预训练pre-trained模型，所述第二神经网络模型包括第一卷积层以及第一BN层；所述第一卷积层可以用于根据目标权重对输入数据进行卷积处理，以得到第一输出，所述目标权重为所述第一卷积层中卷积核包括的权重；所述第一BN层用于根据BN系数对所述第一输出进行归一化处理，并基于归一化处理结果更新所述BN系数；对所述第一卷积层以及所述第一BN层进行BN折叠处理，以得到所述第一神经网络模型，所述第一神经网络模型包括对所述第一卷积层以及所述第一BN层进行折叠处理后得到的所述卷积BN层。
具体的，为了识别出第二神经网络模型中需要进行BN折叠的卷积层和BN层，可以根据第二神经网络模型的计算流图中的算子类型来判别模型中需要进行BN折叠的卷积层和BN层的结构(本实施例也可以描述为CNN+BN结构)，并将识别出的CNN+BN结构组合成一个block(也就是上述实施例中的卷积BN层)；之后可以将组合成的卷积BN层替换掉原本的CNN+BN结构。
在一种可能的实现中，所述卷积BN层为对卷积层和BN层进行折叠得到的，所述第一权重为根据所述BN系数与目标权重的乘积结果得到的，所述更新后的第一权重为将所述更新后的BN系数与所述目标权重进行乘积得到的，所述目标权重为所述卷积层中包括的权重。
其中，所述第二神经网络模型可以包括上文中的卷积层和BN层(卷积层也可以称之为上文中描述的第二神经网络模型中的第一卷积层，BN层也可以称之为上文中描述的第二神经网络模型中的第一BN层)，所述第二神经网络模型中的所述第一卷积层用于根据目标权重对输入数据进行卷积处理第二神经网络模型中的所述第一卷积层用于根据目标权重对输入数据进行卷积处理，输入数据为输入至第一卷积层的数据，也就是神经网络中的中间层的输入，而不是神经网络的输入；所述第一权重为根据所述BN系数与所述目标权重的乘积结果得到的，所述更新后的第一权重为将所述更新后的BN系数与所述目标权重进行乘积得到的，所述目标权重是卷积层中卷积核所包括的权重，具体的，目标权重可以为第二神经网络模型中第一卷积层中包括的权重。第一卷积层可以基于包括目标权重的卷积核对输入数据进行卷积操作，卷积核可以包括目标权重以及偏置。
在一种可能的实现中，所述方法还包括：将所述BN系数与所述目标权重进行乘积运算，以得到第一目标张量，所述第一目标张量包括M个元素；将所述第一目标张量包括的所述M个元素中绝对值最大的N个目标元素替换为所述M个元素中除所述N个目标元素之外的M-N个元素中的最大的元素，以得到所述第一权重。
本申请实施例中，可以利用第二神经网络模型(pre-trained模型)中权重和BN的系数对第一神经网络模型中的第一权重进行初始化。具体的，可以根据pre-trained模型将所述BN系数与所述目标权重进行乘积运算，以得到第一目标张量，例如第一目标张量可以为γ/σ*W，之后对第一目标张量中各个元素按照大小进行排序，并按照对称方式，截取主干部分数值(如：截取95％～99.5％)，并将剩余的元素替换为主干部分数值中最大的值，以此实现第一权重的初始化。其中，第一权重为张量的形式。
第一目标张量中绝对值较大的元素数量较少，在进行后续量化和反量化的过程中，由于绝对值很大，会对运算的精度造成影响，例如会对量化因子的其他元素进行不必要的平滑，本申请实施例通过对第一目标张量进行元素的截取，提高了神经网络模型处理的精度。
在一种可能的实现中，所述第一神经网络模型中的所述第一卷积层用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理，以得到卷积处理结果，并将所述卷积处理结果与所述更新后的BN系数进行相除，以得到第二输出。
和上述实施例类似，本申请实施例中，为了对第二神经网络中各个激活层的输出进行量化，还可以在激活层的输出位置增加第二量化算子。
在一种可能的实现中，所述第二神经网络模型还包括目标激活层，所述第二神经网络模型中的所述目标激活层用于对输入数据进行处理，其中，输入数据为输入至目标激活层的数据，也就是神经网络中的中间层的输入，而不是神经网络的输入，以得到第三输出，所述第一神经网络模型还包括所述目标激活层以及第二量化算子，所述第一神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第四输出，所述第二量化算子用于根据第二量化因子对所述第四输出进行量化处理以及反量化处理。
在一种可能的实现中，所述第三输出为第二目标张量，所述第二目标张量包括X个元素，所述方法还包括：获取所述X个元素中绝对值最大的Y个目标元素；将所述第二目标张量中的所述Y个目标元素替换为所述X个元素中除所述Y个目标元素之外的X-Y个元素中的最大的元素，以得到所述第二量化因子。
和上述实施例类似，本申请实施例中，在对位于激活层输出位置的量化因子进行初始化的过程中，将第二目标张量中的元素进行由大到小的排列后，可以截取其中一定百分比的元素，百分比可以但不限于是95％～99.5％，且95％～99.5％的元素可以是元素分布中主干部分的元素，也就是绝对值靠近0的元素。
在一种可能的实现中，所述训练后的第一神经网络模型包括训练后的第一量化因子以及训练后的BN系数，所述方法还包括：
根据所述训练后的第一量化因子以及所述训练后的BN系数，对所述第一神经网络模型进行量化，以得到第三神经网络模型，所述第三神经网络模型包括量化后的所述第一卷积层，所述第一卷积层用于根据量化后的权重对输入数据进行卷积处理，所述量化后的权重为根据所述第一量化因子以及所述训练后的BN系数得到的。
第二方面，本申请提供了一种模型训练装置，所述装置包括：
获取模块，用于获取第一神经网络模型，其中，所述第一神经网络模型包括卷积BN层和第一量化算子，所述卷积BN层用于根据第一权重对输入的第N批batch的数据进行卷积处理，根据BN系数对卷积处理结果进行归一化处理，并基于归一化处理结果更新所述BN系数，对更新后的所述BN系数进行所述第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述卷积BN层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理；
模型训练模块，用于对所述第一神经网络模型进行模型训练，以获取训练后的第一神经网络模型。
在一种可能的实现中，所述获取模块，用于获取第二神经网络模型，所述第二神经网络模型包括第一卷积层以及第一BN层；对所述第一卷积层以及所述第一BN层进行BN折叠处理，以得到所述第一神经网络模型，所述第一神经网络模型包括对所述第一卷积层以及所述第一BN层进行折叠处理后得到的所述卷积BN层。
在一种可能的实现中，所述卷积BN层为对卷积层和BN层进行折叠得到的，所述第一权重为根据所述BN系数与目标权重的乘积结果得到的，所述更新后的第一权重为将所述更新后的BN系数与所述目标权重进行乘积得到的，所述目标权重为所述卷积层中包括的权重。
在一种可能的实现中，所述装置还包括：
乘积运算模块，用于将所述BN系数与所述目标权重进行乘积运算，以得到第一目标张量，所述第一目标张量包括M个元素；
元素替换模块，用于将所述第一目标张量包括的所述M个元素中绝对值最大的N个目标元素替换为所述M个元素中除所述N个目标元素之外的M-N个元素中的最大的元素，以得到所述第一权重。
在一种可能的实现中，所述第一神经网络模型中的所述第一卷积层用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理，以得到卷积处理结果，并将所述卷积处理结果与所述更新后的BN系数进行相除，以得到第二输出。
在一种可能的实现中，所述第二神经网络模型还包括目标激活层，所述第二神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第三输出，所述第一神经网络模型还包括所述目标激活层以及第二量化算子，所述第一神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第四输出，所述第二量化算子用于根据第二量化因子对所述第四输出进行量化处理以及反量化处理。
在一种可能的实现中，所述第三输出为第二目标张量，所述第二目标张量包括X个元素，所述获取模块，用于获取所述X个元素中绝对值最大的Y个目标元素；
所述元素替换模块，用于将所述第二目标张量中的所述Y个目标元素替换为所述X个元素中除所述Y个目标元素之外的X-Y个元素中的最大的元素，以得到所述第二量化因子。
在一种可能的实现中，所述第一量化算子用于根据第一量化因子对更新后的所述第一权重进行量化处理以及反量化处理，所述训练后的第一神经网络模型包括训练后的第一量化因子以及训练后的BN系数，所述装置还包括：
第三方面，本申请实施例提供了一种模型训练装置，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，以执行如上述第一方面及其任一可选的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面及其任一可选的方法。
第五方面，本申请实施例提供了一种计算机程序，包括代码，当代码被执行时，用于实现上述第一方面及其任一可选的方法。
第六方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持执行设备或训练设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据；或，信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存执行设备或训练设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
本申请实施例提供了一种模型训练方法，所述方法包括：获取第一神经网络模型，其中，所述第一神经网络模型包括卷积BN层和第一量化算子，所述卷积BN层用于根据第一权重对输入的第N批batch的数据进行卷积处理，根据BN系数对卷积处理结果进行归一化处理，并基于归一化处理结果更新所述BN系数，对更新后的所述BN系数进行所述第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述卷积BN层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理，对所述第一神经网络模型进行模型训练，以获取训练后的第一神经网络模型。通过上述方式，由于第一卷积层是通过BN层对上一批batch的数据进行处理后更新的BN系数来确定当前批batch所采用的权重的，因此无需再单独多设置一个卷积层，一方面，可减小模型大小，另一方面，也减少了神经网络中卷积层的数据运算量。由于训练过程是一个需要迭代大量次数的过程，训练设备的可使用计算资源是有限的，本实施例中在训练过程中将神经网络中的卷积层都相应减少了一次卷积运算，在大量次数的训练过程中，可以大量减少训练设备的运算资源消耗，进而提升了训练的速度。
附图说明
图1为人工智能主体框架的一种结构示意图；
图2为QAT进行CNN和BN的折叠的示意图；
图3为本申请实施例提供的卷积神经网络的示意图；
图4为本申请实施例提供的卷积神经网络的示意图；
图5为本申请实施例提供的一种系统架构的示意图；
图6为本申请实施例提供的一种模型训练方法的实施例示意；
图7为本申请实施例提供的一种BN折叠的示意；
图8为本申请实施例提供的一种卷积BN层的结构示意；
图9为本申请实施例提供的一种元素截取的示意；
图10为本申请实施例提供的一种模型训练装置1000的示意；
图11为本申请实施例提供的执行设备的一种结构示意图；
图12是本申请实施例提供的训练设备一种结构示意图；
图13为本申请实施例提供的芯片的一种结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。
下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。
其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能交通、智能医疗、自动驾驶、平安城市等。
本申请实施例可以应用在图片分类、物体检测、语义分割、室内布局(roomlayout)、图片补全或自动编码等等场景中。
下面以ADAS/ADS视觉感知系统和手机美颜两种应用场景为例对本申请的应用场景做简单的介绍。
应用场景1：ADAS/ADS视觉感知系统
在ADAS和ADS中，需要实时进行多类型的2D目标检测，包括：动态障碍物(行人(Pedestrian)、骑行者(Cyclist)、三轮车(Tricycle)、轿车(Car)、卡车(Truck)、公交车(Bus))，静态障碍物(交通锥标(TrafficCone)、交通棍标(TrafficStick)、消防栓(FireHydrant)、摩托车(Motocycle)、自行车(Bicycle))，交通标志((TrafficSign)、导向标志(GuideSign)、广告牌(Billboard)、红色交通灯(TrafficLight_Red)/黄色交通灯(TrafficLight_Yellow)/绿色交通灯(TrafficLight_Green)/黑色交通灯(TrafficLight_Black)、路标(RoadSign))。另外，为了准确获取动态障碍物的在3维空间所占的区域，还需要对动态障碍物进行3D估计，输出3D框。为了与激光雷达的数据进行融合，需要获取动态障碍物的Mask，从而把打到动态障碍物上的激光点云筛选出来；为了进行精确的泊车位，需要同时检测出泊车位的4个关键点；为了进行构图定位，需要检测出静态目标的关键点。使用本申请实施例提供的技术方案训练得到的神经网络模型可以完成上述的全部或ADAS/ADS视觉感知系统实现一部分功能。
应用场景2：手机美颜功能
在手机中，通过本申请实施例提供的技术方案训练得到的神经网络模型(例如训练后的第一神经网络模型、第二神经网络模型以及第三神经网络模型)可以检测出人体的Mask和关键点，可以对人体相应的部位进行放大缩小，比如进行收腰和美臀操作，从而输出美颜的图像。
应用场景3：图像分类场景：
在获取待分类图像后，可以基于神经网络获取待分类图像中的物体的类别，然后可根据待分类图像中物体的类别对待分类图像进行分类。对于摄影师来说，每天会拍很多照片，有动物的，有人物，有植物的。采用本申请的方法可以快速地将照片按照照片中的内容进行分类，可分成包含动物的照片、包含人物的照片和包含植物的照片。
对于图像数量比较庞大的情况，人工分类的方式效率比较低下，并且人在长时间处理同一件事情时很容易产生疲劳感，此时分类的结果会有很大的误差；而通过本申请实施例提供的技术方案训练得到的神经网络模型(例如训练后的第一神经网络模型、第二神经网络模型以及第三神经网络模型)可以可以快速地将图像进行分类。
本申请实施例可以进行神经网络的训练，得到的训练后的神经网络可以进行如上几种场景的任务处理。
神经网络的量化(neural network quantization)，是将浮点存储(运算)转换为整型存储(运算)的一种模型压缩技术，例如，原来一个模型的模型参数使用float32(32位的浮点)表示，量化后该模型的模型参数使用int8(8位的定点)表示，通过模型的量化操作，以较小的精度损失为代价，提高模型的运算速度。
模型的量化的本质是两种数据类型的数据之间的转换/映射，其中，在将浮点数据(数据类型为浮点的数据)转换为定点数据(数据类型为定点的数据)的一种实现方式中，可以通过如下公式：
Figure BDA0002808538460000091
其中，R为输入的浮点数据，Q为浮点数据R量化之后的定点数据，Z表示0点值(ZeroPoint)，S表示比例，可见，确定S和Z后，既可进行这两个数据之间的转换。S和Z的确定方式很多，例如：
Figure BDA0002808538460000092
Z＝Qmax-Rmax/S；
其中，Rmax表示输入浮点数据的最大值，Rmin表示输入浮点数据的最小值，Qmax表示定点数据的最大的值，Rmin表示定点数据的最小值。
其中，不同比特数(位数，1比特＝1位)的定点数据之间的转换可以参照上述浮点数据和定点数据之间的转换方式，也可以是现有技术中其他的转换方式，这里不再赘述。
在一种实现中，4比特和8比特可以参照上述的转换方式进行，而浮点数据和2比特(1比特)转换的一种实现方式可通过如下公式进行：
Figure BDA0002808538460000093
其中2比特可表示为三个数-1,0,1。T为阈值，浮点数据大于等于T时，转换得到的2比特的定点数据为1。浮点数据小于-T时，其值转换为-1。浮点数据为其他值时，其值转换为0。1比特的转换方式和2比特类似，但其定点值只有-1和1，其中T值为0。
训练感知量化(quantization aware training，QAT)是利用训练数据训练补偿量化的精度损失，其主要流程是：1、对模型训练前插入量化算子，2.、在训练过程中统计模型各层(权重和激活)数值的min和max用于计算量化因子。
QAT在模型训练阶段，需要原模型的权重输入和激活输出上插入伪量化节点SimQuant(本实施例中也可称之为量化算子)。此外，对于卷积神经网络(convolutionneural network，CNN)以及批量归一化(batch normalization，BN)结构需借助另外一个CNN实现BN折叠，实现BN系数与CNN权重的融合。在训练过程中，SimQuant会统计对应数据流(Tensor)中min和max值，用于后续scale量化因子的计算。如图2所示，QAT在进行CNN和BN的折叠时，需要构建另一个CNN对当前批batch的数据进行卷积运算，BN利用卷积运算的结果更新BN系数，进而使用更新后的BN系数构建权重，量化算子可以对构建好的权重进行量化和反量化处理，而CNN可以基于反量化后得到的权重，对当前批batch的数据进行卷积运算。然而，由于需借助另外一个CNN实现BN折叠，使得在训练过程中会有两个CNN对同一批batch的数据进行卷积运算，增加了训练过程中CNN的运算量，进而降低了训练速度。
本申请实施例提供的上神经网络中，在进行CNN和BN的折叠时，可以减少CNN的运算量。
由于本申请实施例涉及大量神经网络的应用，为了便于理解，下面先对本申请实施例涉及的相关术语及神经网络等相关概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs(即输入数据)和截距1为输入的运算单元，该运算单元的输出可以为：
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)卷积神经网络(Convosutionas Neuras Network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，我们都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。
卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
(5)反向传播算法
卷积神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的超分辨率模型中参数的大小，使得超分辨率模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的超分辨率模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的超分辨率模型的参数，例如权重矩阵。
卷积神经网络(CNN，Convolutional neuron nrtwork)是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元对输入其中的图像中的重叠区域作出响应。
如图3所示，卷积神经网络(CNN)100可以包括输入层110，卷积层/池化层120，其中池化层为可选的，以及神经网络层130。
其中，卷积层/池化层120以及神经网络层130组成的结构可以为本申请中所描述的第一卷积层以及第二卷积层，输入层110和卷积层/池化层120连接，卷积层/池化层120连接与神经网络层130连接，神经网络层130的输出可以输入至激活层，激活层可以对神经网络层130的输出进行非线性化处理。
卷积层/池化层120：
卷积层：
如图3所示卷积层/池化层120可以包括如示例121-126层，在一种实现中，121层为卷积层，122层为池化层，123层为卷积层，124层为池化层，125为卷积层，126为池化层；在另一种实现方式中，121、122为卷积层，123为池化层，124、125为卷积层，126为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。
以卷积层121为例，卷积层121可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depthdimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用维度相同的多个权重矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化……该多个权重矩阵维度相同，经过该多个维度相同的权重矩阵提取后的特征图维度也相同，再将提取到的多个维度相同的特征图合并形成卷积运算的输出。
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以从输入图像中提取信息，从而帮助卷积神经网络100进行正确的预测。
当卷积神经网络100有多个卷积层的时候，初始的卷积层(例如121)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络100深度的加深，越往后的卷积层(例如126)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。
池化层：
由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，即如图3中120所示例的121-126各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。
神经网络层130：
在经过卷积层/池化层120的处理后，卷积神经网络100还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层120只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或别的相关信息)，卷积神经网络100需要利用神经网络层130来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层130中可以包括多层隐含层(如图3所示的131、132至13n)以及输出层140，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等……
在神经网络层130中的多层隐含层之后，也就是整个卷积神经网络100的最后层为输出层140，该输出层140具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络100的前向传播(如图3由110至140的传播为前向传播)完成，反向传播(如图3由140至110的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络100的损失及卷积神经网络100通过输出层输出的结果和理想结果之间的误差。
需要说明的是，如图3所示的卷积神经网络100仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在，例如，如图4所示的多个卷积层/池化层并行，将分别提取的特征均输入给全神经网络层130进行处理。
(3)BN：通过小批量的归一化，消除了不同层级输入对参数优化的差异性，减少了模型某一层过拟合的可能性，使得训练更能平稳的进行。BN系数可以有：均值μ、方差σ、尺度参数γ和偏移参数β。
(4)BN折叠(BN-folding)：主要目的是将BN与CNN的计算融合以减少计算量。该方法主要用于QAT中，使得训练量化可以模拟推理BN融合过程，以便在模型转化中将BN和CNN进行融合(据计算规则将相关的系数根合并成一个系数)，加速模型推理效率。
(5)卷积BN(ConvBn)表示卷积和BN的融合算子，该算子即实现CNN的功能，也实现BN的功能，由于BN的系数对CNN是可见的，因此易于实现BN折叠，使得CNN卷积权重和相关BN系数进行融合。
图5是本申请实施例提供的一种系统架构100的示意图，在图5中，执行设备110配置输入/输出(input/output，I/O)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向I/O接口112输入数据。
在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理(比如进行本申请中神经网络的功能实现)过程中，执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。
最后，I/O接口112将处理结果返回给客户设备140，从而提供给用户。
可选地，客户设备140，例如可以是自动驾驶系统中的控制单元、手机终端中的功能算法模块，例如该功能算法模块可以用于实现相关的任务。
值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则，该相应的目标模型/规则即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。
在图5中所示情况下，用户可以手动给定输入数据，该手动给定可以通过I/O接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向I/O接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由I/O接口112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库130。
值得注意的是，图5仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图5中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备110中。
首先以模型训练阶段为例对本申请实施例提供的模型训练方法进行说明。
参照图6，图6为本申请实施例提供的一种模型训练方法的实施例示意，如图6示出的那样，本申请实施例提供的一种模型训练方法包括：
601、获取第一神经网络模型，其中，所述第一神经网络模型包括卷积BN层和第一量化算子，所述卷积BN层用于根据第一权重对输入的第N批batch的数据进行卷积处理，根据BN系数对卷积处理结果进行归一化处理，并基于归一化处理结果更新所述BN系数，对更新后的所述BN系数进行所述第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述卷积BN层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理。
其中，第一神经网络模型可以为对一个预训练pre-trained模型进行BN折叠处理以及添加量化算子(也可以称之为伪量化节点SimQuant)得到的。
本申请实施例中，训练设备可以获取第二神经网络模型，所述第二神经网络模型为预训练pre-trained模型，所述第二神经网络模型包括所述第一卷积层以及所述第一BN层；对所述第二神经网络模型中的所述第一卷积层以及所述第一BN层进行折叠处理，以得到所述第一神经网络模型，所述第一神经网络模型包括对所述第一卷积层以及所述第一BN层进行折叠处理后得到的卷积BN层，所述卷积BN层包括所述第一卷积层以及所述第一BN层。
本申请实施例中，第二神经网络模型为预训练pre-trained模型，第二神经网络模型被训练使得其针对于特定的任务具备较高的数据处理精度。为了对第二神经网络模型进行权重量化(更具体的，可以是对卷积层中的权重进行量化)，可以在第二神经网络模型中插入量化算子，并将卷积层与BN层进行折叠处理。
具体的，可以参照图7，图7为本申请实施例提供的一种BN折叠的示意，如图7所示，第二神经网络模型包括所述第一卷积层以及所述第一BN层，训练设备可以对所述第二神经网络模型中的所述第一卷积层以及所述第一BN层进行折叠处理，以得到所述第一神经网络模型，所述第一神经网络模型包括对所述第一卷积层以及所述第一BN层进行折叠处理后得到的卷积BN层。
在一种可能的实现中，所述第二神经网络模型中的所述第一卷积层用于根据目标权重对输入数据进行卷积处理。为了对目标权重进行量化以及实现BN折叠，需要将目标权重与BN系数进行相乘，并通过量化算子对乘积结果进行量化和反量化处理，之后将反量化结果作为第一卷积层的权重。
具体的，所述第一神经网络模型包括卷积BN层和第一量化算子，卷积BN层可以包括第一卷积层和第一批量归一化BN层，所述第一卷积层用于根据第一权重对输入的数据进行卷积处理，以得到第一输出，所述第一BN层用于根据BN系数对所述第一输出进行归一化处理，并基于归一化处理结果更新所述BN系数，所述第一量化算子用于根据第一量化因子对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述更新后的第一权重为根据更新后的BN系数得到的，所述第一卷积层用于根据所述第二权重对输入的数据进行卷积处理。
本申请实施例中，针对于多个批batch的数据，可以通过上一批batch的数据来更新BN系数，并基于上一批batch的数据更新的BN系数，来更新本次卷积层的权重，具体的，所述第一神经网络模型包括第一卷积层、第一批量归一化BN层以及第一量化算子，所述第一卷积层用于根据第一权重对输入的第N批batch的数据进行卷积处理，以得到第一输出，所述第一BN层用于根据BN系数对所述第一输出进行归一化处理，并基于归一化处理结果更新所述BN系数，所述第一量化算子用于根据第一量化因子对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述更新后的第一权重为根据更新后的BN系数得到的，所述第一卷积层用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理，以得到第二输出。其中，所述第一权重为根据所述BN系数与所述目标权重的乘积结果得到的，所述更新后的第一权重为将所述更新后的BN系数与所述目标权重进行乘积得到的。
具体的，可以参照图8，图8为本申请实施例提供的一种卷积BN层的结构示意，如图8所示，conv表示卷积层，bn表示BN层，div表示除法，mul表示乘法，第一卷积层conv可以对上一批batch的数据(也就是第N批batch的数据)进行卷积处理，以得到第一输出。应理解，第一输出是第一卷积层conv对上一批batch的数据进行卷积处理得到的卷积处理结果与BN系数相除的结果。
第一输出可以作为第一BN层的输入，第一BN层可以对所述第一输出进行归一化处理，并基于归一化处理结果更新所述BN系数，其中，在训练过程中，BN层是基于前馈过程中卷积层的输出特征的均值和标准差来进行BN运算的，示例性的，所述第一BN层与所述第一卷积层连接，所述第一BN层用于根据所述第一卷积层的第一输出的均值和标准差对所述第一输出进行BN运算，之后，训练设备可以基于运算结果来更新BN系数，其中，BN系数可以包括但不限于均值μ、方差σ、尺度参数γ和偏移参数β中的至少一种，或者是其中任意多种之间的运算结果。
本申请实施例中，所述卷积BN层为对卷积层和BN层进行折叠得到的，所述第一权重为根据所述BN系数与目标权重的乘积结果得到的，所述更新后的第一权重为将所述更新后的BN系数与所述目标权重进行乘积得到的，所述目标权重为所述卷积层中包括的权重。更新BN系数之后可以得到的更新后的BN系数(如图8所示的尺度参数γnew与方差σnew)，之后可以对尺度参数γnew与方差σnew相除，得到γ/σ，为了进行BN折叠，可以将更新后的BN系数(例如γ/σ)与目标权重W相乘，并将乘积结果(γ/σ*W)输入至第一量化算子，第一量化算子用于根据第一量化因子对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，第一卷积层可以根据第二权重对下一批batch的数据(也就是第N+1批batch的数据)进行卷积处理，以得到第二输出。应理解，还需要设置量化算子中需要量化的bit数。
具体的，为了识别出第二神经网络模型中需要进行BN折叠的卷积层和BN层，可以根据第二神经网络模型的计算流图中的算子类型来判别模型中需要进行BN折叠的卷积层和BN层的结构(本实施例也可以描述为CNN+BN结构)，并将识别出的CNN+BN结构组合成一个block(也就是上述实施例中的卷积BN层)；之后可以将组合成的卷积BN层替换掉原本的CNN+BN结构。
现有技术中，第一卷积层是通过BN层对当前批batch的数据进行处理后更新的BN系数来确定当前批batch所采用的权重的，因此需要除了第一卷积层之外，再单独设置一个卷积层进行数据处理来使得BN层可以基于当前批batch的数据来更新BN系数，而本申请实施例中，由于第一卷积层是通过BN层对上一批batch的数据进行处理后更新的BN系数来确定当前批batch所采用的权重的，因此无需再单独多设置一个卷积层，一方面，可减小模型大小，另一方面，也减少了神经网络中卷积层的数据运算量。由于训练过程是一个需要迭代大量次数的过程，训练设备的可使用计算资源是有限的，本实施例中在训练过程中将神经网络中的卷积层都相应减少了一次卷积运算，在大量次数的训练过程中，可以大量减少训练设备的运算资源消耗，进而提升了训练的速度。
此外，训练的前向图和推理图相同，可降低模型保存和转化的复杂度。
在一种可能的实现中，所述第一神经网络模型中的所述第一卷积层用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理，以得到卷积处理结果，并将所述卷积处理结果与所述更新后的BN系数进行相除，以得到第二输出。
本申请实施例中，可以对第一神经网络模型中的第一权重进行初始化，具体的，可以将所述BN系数与所述目标权重进行乘积运算，以得到第一目标张量，所述第一目标张量包括M个元素；将所述第一目标张量包括的所述M个元素中绝对值最大的N个目标元素替换为所述M个元素中除所述N个目标元素之外的M-N个元素中的最大的元素，以得到所述第一权重。
本申请实施例中，可以利用第二神经网络模型(pre-trained模型)中权重和BN的系数对第一神经网络模型中的第一权重进行初始化。具体的，可以根据pre-trained模型将所述BN系数与所述目标权重进行乘积运算，以得到第一目标张量，例如第一目标张量可以为γ/σ*W，之后对第一目标张量中各个元素按照大小进行排序，并按照对称方式，截取主干部分数值(如：截取95％～99.5％)，并将剩余的元素替换为主干部分数值中最大的值，以此实现第一权重的初始化。
例如，可以如图9所示，图9为本申请实施例提供的一种元素截取的示意，在将第一目标张量中的元素进行由大到小的排列后，可以得到图9中所示的分布，其中，可以截取其中一定百分比的元素，百分比可以但不限于是95％～99.5％，且95％～99.5％的元素可以是元素分布中主干部分的元素，也就是绝对值靠近0的元素。
本申请实施例中，第一目标张量中绝对值较大的元素数量较少，在进行后续量化和反量化的过程中，由于绝对值很大，会对运算的精度造成影响，例如会对量化因子的其他元素进行不必要的平滑，本申请实施例通过对第一目标张量进行元素的截取，提高了神经网络模型处理的精度。
在一种可能的实现中，所述第二神经网络模型还包括目标激活层，所述第二神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第三输出，所述第一神经网络模型还包括所述目标激活层以及第二量化算子，所述第一神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第四输出，所述第二量化算子用于根据第二量化因子对所述第四输出进行量化处理以及反量化处理。
和上述实施例类似，本申请实施例中，为了对第二神经网络中各个激活层的输出进行量化，还可以在激活层的输出位置增加第二量化算子，具体的，所述第二神经网络模型还包括目标激活层，所述第二神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第三输出，所述第一神经网络模型还包括所述目标激活层以及第二量化算子，所述第一神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第四输出，所述第二量化算子用于根据第二量化因子对所述第四输出进行量化处理以及反量化处理。
在一种可能的实现中，所述第三输出为第二目标张量，所述第二目标张量包括X个元素，所述方法还包括，获取所述X个元素中绝对值最大的Y个目标元素，将所述第二目标张量中的所述Y个目标元素替换为所述X个元素中除所述Y个目标元素之外的X-Y个元素中的最大的元素，以得到所述第二量化因子。
和上述实施例类似，本申请实施例中，在对位于激活层输出位置的量化因子进行初始化的过程中，将第一二目标张量中的元素进行由大到小的排列后，可以截取其中一定百分比的元素，百分比可以但不限于是95％～99.5％，且95％～99.5％的元素可以是元素分布中主干部分的元素，也就是绝对值靠近0的元素。
602、对所述第一神经网络模型进行模型训练，以获取训练后的第一神经网络模型。
本申请实施例中，在获取第一神经网络模型之后，可以对所述第一神经网络模型进行模型训练，以获取训练后的第一神经网络模型。
具体的，可以根据设置的epoch对模型进行量化训练，在训练过程中，若当前epoch进行freeze-bn操作；则在当前epoch训练得到量化模型，并在当前epoch推理验证当前量化模型；若当前epoch不进行freeze-bn操作，则在当前epoch训练得到量化模型，并在当前epoch推理验证当前量化模型。
在一种可能的实现中，所述训练后的第一神经网络模型包括训练后的第一量化因子以及训练后的BN系数，训练设备还可以根据所述训练后的第一量化因子以及所述训练后的BN系数，对所述第一神经网络模型进行量化，以得到第三神经网络模型，所述第三神经网络模型包括量化后的所述第一卷积层，所述第一卷积层用于根据量化后的权重对输入数据进行卷积处理，所述量化后的权重为根据所述第一量化因子以及所述训练后的BN系数得到的。
示例性的，以第一卷积层的输入X为UINT型，第一卷积层的权重W为INT型，要转成UINT型推理为例，可以载入第三神经网络模型到converter，并对模型每层根据
Figure BDA0002808538460000171
Figure BDA0002808538460000172
将进行权重量化，并保存为UINT型，其中bits为量化的bit数，如8bit之后将各层的scale量化因子值和权重的量化等保存至推理模型。
本申请实施例提供了一种模型训练方法，所述方法包括：获取第一神经网络模型，其中，所述第一神经网络模型包括卷积BN层和第一量化算子，所述卷积BN层用于根据第一权重对输入的第N批batch的数据进行卷积处理，根据BN系数对卷积处理结果进行归一化处理，并基于归一化处理结果更新所述BN系数，对更新后的所述BN系数进行所述第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述卷积BN层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理，对所述第一神经网络模型进行模型训练，以获取训练后的第一神经网络模型。通过上述方式，由于第一卷积层是通过BN层对上一批batch的数据进行处理后更新的BN系数来确定当前批batch所采用的权重的，因此无需再单独多设置一个卷积层，一方面，可减小模型大小，另一方面，也减少了神经网络中卷积层的数据运算量。由于训练过程是一个需要迭代大量次数的过程，训练设备的可使用计算资源是有限的，本实施例中在训练过程中将神经网络中的卷积层都相应减少了一次卷积运算，在大量次数的训练过程中，可以大量减少训练设备的运算资源消耗，进而提升了训练的速度。
接下来结合一个具体的实例对本申请实施例中的模型训练方法进行描述。
本实施例中可以定义两种卷积BN层ConvBn：1.ConvBnV1仅插入权重量化节点；2.ConvBnV2即插入权重量化节点，也插入了激活量化节点。对于【CNN+BN+激活算子】的结构直接替换为ConvBnV1，但对于【CNN+BN】的结构(即BN后直接输出，不接激活算子)直接替换为ConvBnV2。
在训练阶段，以激活量化bit数设为8，首层权重量化bit数设为8，其余权重量化bit数设为4为例进行说明，首先可以根据MobileNetV2结构在激活算子ReLU6后插入激活量化节点(量化范围：0～255，量化bit数设为8)，在残差结构的Add算子后插入量化节点(量化范围：-127～127，量化bit数设为8)，在全连接(FC)算子后插入插入量化节点(量化范围：-7～7，量化bit数设为4)，然年后扫描MobileNetV2中的【CNN+BN+ReLU6】和【CNN+BN】结构，并分别替换为ConvBnV1和ConvBnV2，实现BN折叠；对ConvBnV2算子中激活的量化bit数设为8，ConvBnV1和ConvBnV2中的权重量化bit数根据情况设置(例如将模型首层的权重量化bit数设为8，其余层权重的量化bit数设为4)；之后载入pre-trained模型，将模型结构与对应的权重逐层一一对应，并利用pre-trained模型中权重和BN的系数对相应的scale量化因子值进行初始化，主干截断的比例设置为95％；利用pre-trained模型和任意筛选256张训练集数据进行推理得到各层的激活X，利用各层的X初始对应的scale量化因子，主干截断的比例为99.5％；根据epoch＝20对模型进行量化训练，并在当前epoch推理验证当前量化模型。
在模型转化阶段，以全8bit的量化为例，模型权重量化范围为-127～127，ReLU6的量化范围为0～255，BN后不接激活的量化范围为-127～127，残差结构的add后的量化范围为-127～127。对于这个模型要转化为UINT的推理，首先可以载入量化后的模型到converter，并对模型每层根据
Figure BDA0002808538460000181
将进行权重量化，并保存为UINT型，其中bits为量化的bit数，如8bit之后将各层的scale量化因子值和权重的量化等保存至推理模型。
参照图10，图10为本申请实施例提供的一种模型训练装置1000的示意，如图10中示出的那样，本申请提供的模型训练装置1000包括：
获取模块1001，用于获取第一神经网络模型，其中，所述第一神经网络模型包括卷积BN层和第一量化算子，所述卷积BN层用于根据第一权重对输入的第N批batch的数据进行卷积处理，根据BN系数对卷积处理结果进行归一化处理，并基于归一化处理结果更新所述BN系数，对更新后的所述BN系数进行所述第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述卷积BN层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理；
模型训练模块1002，用于对所述第一神经网络模型进行模型训练，以获取训练后的第一神经网络模型。
现有技术中，第一卷积层是通过BN层对当前批batch的数据进行处理后更新的BN系数来确定当前批batch所采用的权重的，因此需要除了第一卷积层之外，再单独设置一个卷积层进行数据处理来使得BN层可以基于当前批batch的数据来更新BN系数，而本申请实施例中，由于第一卷积层是通过BN层对上一批batch的数据进行处理后更新的BN系数来确定当前批batch所采用的权重的，因此无需再单独多设置一个卷积层，一方面，可减小模型大小，另一方面，也减少了神经网络中卷积层的数据运算量。由于训练过程是一个需要迭代大量次数的过程，训练设备的可使用计算资源是有限的，本实施例中在训练过程中将神经网络中的卷积层都相应减少了一次卷积运算，在大量次数的训练过程中，可以大量减少训练设备的运算资源消耗，进而提升了训练的速度。
在一种可能的实现中，所述获取模块1001，用于获取第二神经网络模型，所述第二神经网络模型为预训练pre-trained模型，所述第二神经网络模型包括第一卷积层以及第一BN层；对所述第一卷积层以及所述第一BN层进行BN折叠处理，以得到所述第一神经网络模型，所述第一神经网络模型包括对所述第一卷积层以及所述第一BN层进行折叠处理后得到的所述卷积BN层。
在一种可能的实现中，所述卷积BN层为对卷积层和BN层进行折叠得到的，所述第一权重为根据所述BN系数与目标权重的乘积结果得到的，所述更新后的第一权重为将所述更新后的BN系数与所述目标权重进行乘积得到的，所述目标权重为所述卷积层中包括的权重。
在一种可能的实现中，所述装置还包括：
乘积运算模块，用于将所述BN系数与所述目标权重进行乘积运算，以得到第一目标张量，所述第一目标张量包括M个元素；
元素替换模块，用于将所述第一目标张量包括的所述M个元素中绝对值最大的N个目标元素替换为所述M个元素中除所述N个目标元素之外的M-N个元素中的最大的元素，以得到所述第一权重。
本申请实施例中，可以利用第二神经网络模型(pre-trained模型)中权重和BN的系数对第一神经网络模型中的第一权重进行初始化。具体的，可以根据pre-trained模型将所述BN系数与所述目标权重进行乘积运算，以得到第一目标张量，例如第一目标张量可以为γ/σ*W，之后对第一目标张量中各个元素按照大小进行排序，并按照对称方式，截取主干部分数值(如：截取95％～99.5％)，并将剩余的元素替换为主干部分数值中最大的值，以此实现第一权重的初始化。其中，第一权重为张量的形式。
第一目标张量中绝对值较大的元素数量较少，在进行后续量化和反量化的过程中，由于绝对值很大，会对运算的精度造成影响，例如会对量化因子的其他元素进行不必要的平滑，本申请实施例通过对第一目标张量进行元素的截取，提高了神经网络模型处理的精度。
在一种可能的实现中，所述第一神经网络模型中的所述第一卷积层用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理，以得到卷积处理结果，并将所述卷积处理结果与所述更新后的BN系数进行相除，以得到所述第二输出。
在一种可能的实现中，所述第二神经网络模型还包括目标激活层，所述第二神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第三输出，所述第一神经网络模型还包括所述目标激活层以及第二量化算子，所述第一神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第四输出，所述第二量化算子用于根据第二量化因子对所述第四输出进行量化处理以及反量化处理。
在一种可能的实现中，所述第三输出为第二目标张量，所述第二目标张量包括X个元素，所述获取模块，用于获取所述X个元素中绝对值最大的Y个目标元素；
所述元素替换模块，用于将所述第二目标张量中的所述Y个目标元素替换为所述X个元素中除所述Y个目标元素之外的X-Y个元素中的最大的元素，以得到所述第二量化因子。
和上述实施例类似，本申请实施例中，在对位于激活层输出位置的量化因子进行初始化的过程中，将第二目标张量中的元素进行由大到小的排列后，可以截取其中一定百分比的元素，百分比可以但不限于是95％～99.5％，且95％～99.5％的元素可以是元素分布中主干部分的元素，也就是绝对值靠近0的元素。
在一种可能的实现中，所述训练后的第一神经网络模型包括训练后的第一量化因子以及训练后的BN系数，所述装置还包括：
量化模块，用于根据所述训练后的第一量化因子以及所述训练后的BN系数，对所述第一神经网络模型进行量化，以得到第三神经网络模型，所述第三神经网络模型包括量化后的所述第一卷积层，所述量化后的第一卷积层用于根据量化后的权重对输入数据进行卷积处理，所述量化后的权重为根据所述第一量化因子以及所述训练后的BN系数得到的。
乘积运算模块的相关描述可以参照上述实施例中，关于如何将所述BN系数与所述目标权重进行乘积运算，以得到第一目标张量，所述第一目标张量包括M个元素的描述，这里不再赘述。
元素替换模块的相关描述可以参照上述实施例中，关于如何将所述第一目标张量包括的所述M个元素中绝对值最大的N个目标元素替换为所述M个元素中除所述N个目标元素之外的M-N个元素中的最大的元素，以得到所述第一权重的描述，这里不再赘述。
量化模块可以参照上述实施例中，关于如何根据所述训练后的第一量化因子以及所述训练后的BN系数，对所述第一神经网络模型进行量化，以得到第三神经网络模型，所述第三神经网络模型包括量化后的所述第一卷积层，所述量化后的第一卷积层用于根据量化后的权重对输入数据进行卷积处理，所述量化后的权重为根据所述第一量化因子以及所述训练后的BN系数得到的，这里不再赘述。
接下来介绍本申请实施例提供的一种执行设备，请参阅图11，图11为本申请实施例提供的执行设备的一种结构示意图，执行设备1200具体可以表现为手机、平板、笔记本电脑、智能穿戴设备、服务器等，此处不做限定。其中，执行设备1200上可以部署有图10对应实施例中所描述的数据处理装置，用于实现图10对应实施例中数据处理的功能。具体的，执行设备1200包括：接收器1201、发射器1202、处理器1203和存储器1204(其中执行设备1200中的处理器1203的数量可以一个或多个，图11中以一个处理器为例)，其中，处理器1203可以包括应用处理器12031和通信处理器12032。在本申请的一些实施例中，接收器1201、发射器1202、处理器1203和存储器1204可通过总线或其它方式连接。
存储器1204可以包括只读存储器和随机存取存储器，并向处理器1203提供指令和数据。存储器1204的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器1204存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
处理器1203控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1203中，或者由处理器1203实现。处理器1203可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1203中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1203可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器、以及视觉处理器(vision processing unit，VPU)、张量处理器(tensorprocessing unit，TPU)等适用于AI运算的处理器，还可进一步包括专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1203可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1204，处理器1203读取存储器1204中的信息，结合其硬件完成上述方法的步骤。
接收器1201可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器1202可用于通过第一接口输出数字或字符信息；发射器1202还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1202还可以包括显示屏等显示设备。
执行设备可以获取到通过图6对应实施例中的模型训练方法训练得到的模型，并进行模型推理。
本申请实施例还提供了一种训练设备，请参阅图12，图12是本申请实施例提供的训练设备一种结构示意图，具体的，训练设备1300由一个或多个服务器实现，训练设备1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)1313(例如，一个或一个以上处理器)和存储器1332，一个或一个以上存储应用程序1342或数据1344的存储介质1330(例如一个或一个以上海量存储设备)。其中，存储器1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备中的一系列指令操作。更进一步地，中央处理器1313可以设置为与存储介质1330通信，在训练设备1300上执行存储介质1330中的一系列指令操作。
训练设备1300还可以包括一个或一个以上电源1326，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1358；或，一个或一个以上操作系统1341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
具体的，训练设备可以执行图6对应实施例中的模型训练方法。
图10中描述的模型训练装置1000可以为训练设备中的模块，训练设备中的处理器可以执行模型训练装置1000所执行的模型训练方法。
本申请实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述执行设备所执行的步骤，或者，使得计算机执行如前述训练设备所执行的步骤。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述执行设备所执行的步骤，或者，使得计算机执行如前述训练设备所执行的步骤。
本申请实施例提供的执行设备、训练设备或终端设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述实施例描述的数据处理方法，或者，以使训练设备内的芯片执行上述实施例描述的数据处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
具体的，请参阅图13，图13为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU 1400，NPU 1400作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路1403，通过控制器1404控制运算电路1403提取存储器中的矩阵数据并进行乘法运算。
NPU 1400可以通过内部的各个器件之间的相互配合，来实现图6所描述的实施例中提供的模型训练方法，或者对训练得到的模型进行推理。
其中，NPU 1400中的运算电路1403可以执行获取第一神经网络模型以及对所述第一神经网络模型进行模型训练的步骤。
更具体的，在一些实现中，NPU 1400中的运算电路1403内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路1403是二维脉动阵列。运算电路1403还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1403是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器1402中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器1401中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1408中。
统一存储器1406用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)1405，DMAC被搬运到权重存储器1402中。输入数据也通过DMAC被搬运到统一存储器1406中。
BIU为Bus Interface Unit即，总线接口单元1410，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)1409的交互。
总线接口单元1410(Bus Interface Unit，简称BIU)，用于取指存储器1409从外部存储器获取指令，还用于存储单元访问控制器1405从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1406或将权重数据搬运到权重存储器1402中或将输入数据数据搬运到输入存储器1401中。
向量计算单元1407包括多个运算处理单元，在需要的情况下，对运算电路1403的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。
在一些实现中，向量计算单元1407能将经处理的输出的向量存储到统一存储器1406。例如，向量计算单元1407可以将线性函数；或，非线性函数应用到运算电路1403的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1407生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1403的激活输入，例如用于在神经网络中的后续层中的使用。
控制器1404连接的取指存储器(instruction fetch buffer)1409，用于存储控制器1404使用的指令；
统一存储器1406，输入存储器1401，权重存储器1402以及取指存储器1409均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述程序执行的集成电路。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (19)

1.一种模型训练方法，其特征在于，所述方法包括：
获取第一神经网络模型，其中，所述第一神经网络模型包括卷积BN层和第一量化算子，所述卷积BN层用于根据第一权重对输入的第N批batch的数据进行卷积处理，根据BN系数对卷积处理结果进行归一化处理，并基于归一化处理结果更新所述BN系数，对更新后的所述BN系数进行所述第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述卷积BN层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理；
对所述第一神经网络模型进行模型训练，以获取训练后的第一神经网络模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第二神经网络模型，所述第二神经网络模型包括第一卷积层以及第一BN层；
对所述第一卷积层以及所述第一BN层进行BN折叠处理，以得到所述第一神经网络模型，所述第一神经网络模型包括对所述第一卷积层以及所述第一BN层进行折叠处理后得到的所述卷积BN层。
3.根据权利要求1所述的方法，其特征在于，所述卷积BN层为对卷积层和BN层进行折叠得到的，所述第一权重为根据所述BN系数与目标权重的乘积结果得到的，所述更新后的第一权重为将所述更新后的BN系数与所述目标权重进行乘积得到的，所述目标权重为所述卷积层中包括的权重。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
将所述BN系数与所述目标权重进行乘积运算，以得到第一目标张量，所述第一目标张量包括M个元素；将所述第一目标张量包括的所述M个元素中绝对值最大的N个目标元素替换为所述M个元素中除所述N个目标元素之外的M-N个元素中的最大的元素，以得到所述第一权重。
5.根据权利要求3或4所述的方法，其特征在于，所述第一神经网络模型中的所述第一卷积层用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理，以得到卷积处理结果，并将所述卷积处理结果与所述更新后的BN系数进行相除，以得到第二输出。
6.根据权利要求1至5任一所述的方法，其特征在于，所述第二神经网络模型还包括目标激活层，所述第二神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第三输出，所述第一神经网络模型还包括所述目标激活层以及第二量化算子，所述第一神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第四输出，所述第二量化算子用于根据所述第二量化因子对所述第四输出进行量化处理以及反量化处理。
7.根据权利要求6所述的方法，其特征在于，所述第三输出为第二目标张量，所述第二目标张量包括X个元素，所述方法还包括：
获取所述X个元素中绝对值最大的Y个目标元素；
将所述第二目标张量中的所述Y个目标元素替换为所述X个元素中除所述Y个目标元素之外的X-Y个元素中的最大的元素，以得到所述第二量化因子。
8.根据权利要求1至7任一所述的方法，其特征在于，所述第一量化算子用于根据第一量化因子对更新后的所述第一权重进行量化处理以及反量化处理，所述训练后的第一神经网络模型包括训练后的第一量化因子以及训练后的BN系数，所述方法还包括：
根据所述训练后的第一量化因子以及所述训练后的BN系数，对所述第一神经网络模型进行量化，以得到第三神经网络模型，所述第三神经网络模型包括量化后的所述第一卷积层，所述量化后的第一卷积层用于根据量化后的权重对输入数据进行卷积处理，所述量化后的权重为根据所述第一量化因子以及所述训练后的BN系数得到的。
9.一种模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取第一神经网络模型，其中，所述第一神经网络模型包括卷积BN层和第一量化算子，所述卷积BN层用于根据第一权重对输入的第N批batch的数据进行卷积处理，根据BN系数对卷积处理结果进行归一化处理，并基于归一化处理结果更新所述BN系数，对更新后的所述BN系数进行所述第一权重的更新，所述第一量化算子用于对更新后的所述第一权重进行量化处理以及反量化处理，以得到第二权重，所述卷积BN层还用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理；
模型训练模块，用于对所述第一神经网络模型进行模型训练，以获取训练后的第一神经网络模型。
10.根据权利要求9所述的装置，其特征在于，所述获取模块，用于获取第二神经网络模型，所述第二神经网络模型包括第一卷积层以及第一BN层；对所述第一卷积层以及所述第一BN层进行BN折叠处理，以得到所述第一神经网络模型，所述第一神经网络模型包括对所述第一卷积层以及所述第一BN层进行折叠处理后得到的所述卷积BN层。
11.根据权利要求9所述的装置，其特征在于，所述卷积BN层为对卷积层和BN层进行折叠得到的，所述第一权重为根据所述BN系数与目标权重的乘积结果得到的，所述更新后的第一权重为将所述更新后的BN系数与所述目标权重进行乘积得到的，所述目标权重为所述卷积层中包括的权重。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
乘积运算模块，用于将所述BN系数与所述目标权重进行乘积运算，以得到第一目标张量，所述第一目标张量包括M个元素；
元素替换模块，用于将所述第一目标张量包括的所述M个元素中绝对值最大的N个目标元素替换为所述M个元素中除所述N个目标元素之外的M-N个元素中的最大的元素，以得到所述第一权重。
13.根据权利要求12或13所述的装置，其特征在于，所述第一神经网络模型中的所述第一卷积层用于根据所述第二权重对输入的第N+1批batch的数据进行卷积处理，以得到卷积处理结果，并将所述卷积处理结果与所述更新后的BN系数进行相除，以得到第二输出。
14.根据权利要求9至13任一所述的装置，其特征在于，所述第二神经网络模型还包括目标激活层，所述第二神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第三输出，所述第一神经网络模型还包括所述目标激活层以及第二量化算子，所述第一神经网络模型中的所述目标激活层用于对输入数据进行处理，以得到第四输出，所述第二量化算子用于根据第二量化因子对所述第四输出进行量化处理以及反量化处理。
15.根据权利要求14所述的装置，其特征在于，所述第三输出为第二目标张量，所述第二目标张量包括X个元素，所述获取模块，用于获取所述X个元素中绝对值最大的Y个目标元素；
所述元素替换模块，用于将所述第二目标张量中的所述Y个目标元素替换为所述X个元素中除所述Y个目标元素之外的X-Y个元素中的最大的元素，以得到所述第二量化因子。
16.根据权利要求9至15任一所述的装置，其特征在于，所述第一量化算子用于根据第一量化因子对更新后的所述第一权重进行量化处理以及反量化处理，所述训练后的第一神经网络模型包括训练后的第一量化因子以及训练后的BN系数，所述装置还包括：
量化模块，用于根据所述训练后的第一量化因子以及所述训练后的BN系数，对所述第一神经网络模型进行量化，以得到第三神经网络模型，所述第三神经网络模型包括量化后的所述第一卷积层，所述量化后的第一卷积层用于根据量化后的权重对输入数据进行卷积处理，所述量化后的权重为根据所述第一量化因子以及所述训练后的BN系数得到的。
17.一种模型训练装置，其特征在于，所述装置包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至8任一所述的方法。
18.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或多个指令，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机实施权利要求1至8任一所述的方法。
19.一种计算机产品，包括代码，其特征在于，在所述代码被执行时用于实现如权利要求1至8任一所述的方法。
CN202011377406.3A 2020-11-30 2020-11-30 一种模型训练方法及装置 Pending CN114595799A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011377406.3A CN114595799A (zh) 2020-11-30 2020-11-30 一种模型训练方法及装置
PCT/CN2021/133383 WO2022111617A1 (zh) 2020-11-30 2021-11-26 一种模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011377406.3A CN114595799A (zh) 2020-11-30 2020-11-30 一种模型训练方法及装置

Publications (1)

Publication Number Publication Date
CN114595799A true CN114595799A (zh) 2022-06-07

Family

ID=81753774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011377406.3A Pending CN114595799A (zh) 2020-11-30 2020-11-30 一种模型训练方法及装置

Country Status (2)

Country Link
CN (1) CN114595799A (zh)
WO (1) WO2022111617A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496200A (zh) * 2022-09-05 2022-12-20 中国科学院半导体研究所 神经网络量化模型训练方法、装置及设备
CN115879504A (zh) * 2022-12-30 2023-03-31 珠海市欧冶半导体有限公司 一种layernorm算子拆分量化装置及方法
CN116720563A (zh) * 2022-09-19 2023-09-08 荣耀终端有限公司 一种提升定点神经网络模型精度的方法、装置及电子设备
CN117035123A (zh) * 2023-10-09 2023-11-10 之江实验室 一种并行训练中的节点通信方法、存储介质、设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409194B (zh) * 2021-06-30 2024-03-22 上海汽车集团股份有限公司 泊车信息获取方法及装置、泊车方法及装置
CN115984802B (zh) * 2023-03-08 2023-06-09 安徽蔚来智驾科技有限公司 一种目标检测方法、计算机可读存储介质及驾驶设备
CN118469024B (zh) * 2024-07-11 2024-10-15 浪潮电子信息产业股份有限公司 推理引擎创建方法、产品、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059733A (zh) * 2019-04-01 2019-07-26 苏州科达科技股份有限公司 卷积神经网络的优化及快速目标检测方法、装置
CN111368972A (zh) * 2020-02-21 2020-07-03 华为技术有限公司 一种卷积层量化方法及其装置
CN111783974A (zh) * 2020-08-12 2020-10-16 成都佳华物链云科技有限公司 模型构建及图像处理方法、装置、硬件平台及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12033067B2 (en) * 2018-10-31 2024-07-09 Google Llc Quantizing neural networks with batch normalization
KR102462910B1 (ko) * 2018-11-12 2022-11-04 한국전자통신연구원 배치 정규화 레이어의 웨이트들에 대한 양자화 방법 및 그 장치
CN111753862B (zh) * 2019-03-29 2024-07-05 北京地平线机器人技术研发有限公司 训练神经网络模型的方法及装置、图像识别方法
CN111144457B (zh) * 2019-12-13 2024-02-27 北京达佳互联信息技术有限公司 图像处理方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059733A (zh) * 2019-04-01 2019-07-26 苏州科达科技股份有限公司 卷积神经网络的优化及快速目标检测方法、装置
CN111368972A (zh) * 2020-02-21 2020-07-03 华为技术有限公司 一种卷积层量化方法及其装置
CN111783974A (zh) * 2020-08-12 2020-10-16 成都佳华物链云科技有限公司 模型构建及图像处理方法、装置、硬件平台及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496200A (zh) * 2022-09-05 2022-12-20 中国科学院半导体研究所 神经网络量化模型训练方法、装置及设备
CN115496200B (zh) * 2022-09-05 2023-09-22 中国科学院半导体研究所 神经网络量化模型训练方法、装置及设备
CN116720563A (zh) * 2022-09-19 2023-09-08 荣耀终端有限公司 一种提升定点神经网络模型精度的方法、装置及电子设备
CN116720563B (zh) * 2022-09-19 2024-03-29 荣耀终端有限公司 一种提升定点神经网络模型精度的方法、装置及电子设备
CN115879504A (zh) * 2022-12-30 2023-03-31 珠海市欧冶半导体有限公司 一种layernorm算子拆分量化装置及方法
CN115879504B (zh) * 2022-12-30 2023-08-29 珠海市欧冶半导体有限公司 一种layernorm算子拆分量化装置及方法
CN117035123A (zh) * 2023-10-09 2023-11-10 之江实验室 一种并行训练中的节点通信方法、存储介质、设备
CN117035123B (zh) * 2023-10-09 2024-01-09 之江实验室 一种并行训练中的节点通信方法、存储介质、设备

Also Published As

Publication number Publication date
WO2022111617A1 (zh) 2022-06-02

Similar Documents

Publication Publication Date Title
WO2022083536A1 (zh) 一种神经网络构建方法以及装置
WO2022111617A1 (zh) 一种模型训练方法及装置
CN111368972B (zh) 一种卷积层量化方法及其装置
CN112446398B (zh) 图像分类方法以及装置
CN111401517B (zh) 一种感知网络结构搜索方法及其装置
CN110175671A (zh) 神经网络的构建方法、图像处理方法及装置
WO2022001805A1 (zh) 一种神经网络蒸馏方法及装置
CN111401516A (zh) 一种神经网络通道参数的搜索方法及相关设备
CN111797983A (zh) 一种神经网络构建方法以及装置
CN113705769A (zh) 一种神经网络训练方法以及装置
CN112580720B (zh) 一种模型训练方法及装置
CN112529146B (zh) 神经网络模型训练的方法和装置
CN112183718A (zh) 一种用于计算设备的深度学习训练方法和装置
EP4322056A1 (en) Model training method and apparatus
CN110222718B (zh) 图像处理的方法及装置
US20240135174A1 (en) Data processing method, and neural network model training method and apparatus
WO2023274052A1 (zh) 一种图像分类方法及其相关设备
CN113191241A (zh) 一种模型训练方法及相关设备
CN113592060A (zh) 一种神经网络优化方法以及装置
CN114359289A (zh) 一种图像处理方法及相关装置
CN115238909A (zh) 一种基于联邦学习的数据价值评估方法及其相关设备
CN115081588A (zh) 一种神经网络参数量化方法和装置
CN111738403A (zh) 一种神经网络的优化方法及相关设备
CN113065575A (zh) 一种图像处理方法及相关装置
WO2022179599A1 (zh) 一种感知网络及数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination