CN115601692A - 数据处理方法、神经网络模型的训练方法及装置 - Google Patents

数据处理方法、神经网络模型的训练方法及装置 Download PDF

Info

Publication number
CN115601692A
CN115601692A CN202110771795.6A CN202110771795A CN115601692A CN 115601692 A CN115601692 A CN 115601692A CN 202110771795 A CN202110771795 A CN 202110771795A CN 115601692 A CN115601692 A CN 115601692A
Authority
CN
China
Prior art keywords
neural network
target
network model
pwl
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110771795.6A
Other languages
English (en)
Inventor
周彧聪
钟钊
肖延南
刘根树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110771795.6A priority Critical patent/CN115601692A/zh
Priority to EP22836864.3A priority patent/EP4318313A1/en
Priority to PCT/CN2022/103691 priority patent/WO2023280113A1/zh
Publication of CN115601692A publication Critical patent/CN115601692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了人工智能领域中的一种数据处理方法、神经网络模型的训练方法及装置，该数据处理方法包括：利用目标神经网络量化模型对待处理的数据进行处理，目标神经网络量化模型包括多组融合参数，目标神经网络量化模型是通过对目标神经网络模型进行量化得到的，目标神经网络模型的激活函数包括分段线性函数PWL，PWL包括多个区间，多组融合参数与多个区间之间具有对应关系。本申请的方法能够对采用PWL作为激活函数的模型进行量化，提高模型的推理速度。

Description

数据处理方法、神经网络模型的训练方法及装置
技术领域
本申请涉及人工智能领域，并且更具体地，涉及一种数据处理方法、神经网络模型的 训练方法及装置。
背景技术
人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模 拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、 技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质， 并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各 种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域 的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索， AI基础理论等。
深度神经网络是一种具有深度结构的前馈神经网络，是深度学习的代表算法之一。深 度神经网络具有强大的特征表达能力，广泛应用于图像、视频以及语音等多种媒体信号的 处理与分析任务中。激活函数是深度神经网络的一个重要组成部分。激活函数通常被置于 卷积或全连接层之后，为深度神经网络引入非线性运算，从而使得深度神经网络能够更好 地拟合非线性的函数，解决真实世界中的复杂问题。
修正线性单元(rectifier linear unit，ReLU)激活函数为深度神经网络中广泛应用的激 活函数之一。然而，对于值小于0的输入特征经过ReLU处理后，其输出恒为0，造成某 些神经元不会再被激活，导致相应的参数永远不能被更新，影响模型的性能。而采用分段 线性函数(piecewise linear function，PWL)作为激活函数时，通过调整PWL的多个可训 练参数可以拟合出多种函数形式，有利于得到更优的激活函数，提高模型的性能。
随着深度神经网络的发展，网络模型的参数量也随之增长，占用大量的计算资源和内 存。模型量化能够减少模型占用的内存，提高深度神经网络的推理效率，降低功耗。然而， 现有的模型量化方法通常是针对ReLU激活函数设计的。对于采用PWL作为激活函数的模型，现有的模型量化方法无法直接量化PWL的参数，导致模型无法实现量化推理，影 响模型的推理速度。
因此，如何提高采用PWL作为激活函数的神经网络模型的处理效率成为一个亟待解 决的问题。
发明内容
本申请提供一种数据处理方法、神经网络模型的训练方法及装置，能够对采用PWL作为激活函数的模型进行量化，提高模型的推理速度。
第一方面，提供了一种数据处理方法，该方法包括：获取待处理的数据，数据包括：图像数据，音频数据或者文本数据；利用目标神经网络量化模型对待处理的数据进行处理，目标神经网络量化模型包括多组融合参数，目标神经网络量化模型是通过对目标神经网络模型进行量化得到的，目标神经网络模型的激活函数包括PWL，PWL包括多个区间，多 组融合参数与多个区间之间具有对应关系。
现有的方案中仅能对采用PWL作为激活函数的模型中的权重参数进行量化，无法对 PWL的参数进行量化。这样，推理过程中需要基于PWL的参数执行激活函数的计算，也 就是说，现有的方案无法实现全流程的量化推理。根据本申请实施例的方案，目标神经网 络量化模型可以基于与PWL的多个区间对应的多组融合参数对数据进行处理，实现了模 型的量化推理。其中，多组融合参数是通过对目标神经网络模型中的量化流程和PWL的 计算过程进行融合后得到的，在推理过程可以直接基于待处理的数据确定目标指示信息， 并根据目标指示信息从多组融合参数中选择与待处理的数据对应的目标融合参数，并基于 目标融合参数对待处理数据进行简单的计算，进而得到模型的处理结果，而无需执行PWL 的量化、反量化等复杂的计算过程，实现了模型所有环节的量化推理，减少了计算量，提 高了处理效率。
此外，由于多组融合参数是通过对目标神经网络模型中的量化流程和PWL的计算过 程进行融合后得到的，本申请提供的目标神经网络量化模型理论上能够达到与目标神经网 络模型一致的推理精度。即，本申请提供的方案可以在具有PWL激活函数的神经网络中 实现快速推理，并且不牺牲推理结果的精度。
目标神经网络模型的激活函数包括一个或多个PWL。其中，一个PWL包括多个区间。也就是说，一个PWL对应多组融合参数。该多组融合参数分别是基于PWL的多个区间的 参数计算得到的。
结合第一方面，在第一方面的某些实现方式中，利用目标神经网络模型对待处理的数 据进行处理，包括：根据待处理的数据确定目标指示信息，目标指示信息用于指示与待处 理的数据有关的融合参数；根据目标指示信息从多组融合参数中获取与目标指示信息对应 的目标融合参数，基于目标融合参数对待处理的数据进行处理。
示例性地，目标指示信息可以为目标区间的索引，也就是说，目标指示信息可以用于 指示目标区间。该目标区间属于一个PWL的多个区间。
与采用ReLU作为激活函数的量化推理过程相比，采用PWL作为激活函数的量化推理过程中仅需要额外确定目标指示信息，并根据目标指示信息获取相应的融合参数进行计算，而采用PWL作为激活函数能够提高模型的性能。也就是说，采用PWL作为激活函数 的情况下，能够在不引入过多计算量的情况下，提高模型的性能。
结合第一方面，在第一方面的某些实现方式中，根据待处理的数据确定目标指示信息 包括：基于目标神经网络量化模型中的第一网络层的权重参数对第一网络层的输入特征进 行处理，第一网络层的输入特征是根据待处理的数据确定的；根据第一网络层的处理结果 确定目标指示信息。
结合第一方面，在第一方面的某些实现方式中，第一网络层的权重参数是通过对目标 神经网络模型中的第二网络层的权重参数进行量化得到的，第二网络层是目标神经网络模 型中与第一网络层对应的网络层，以及根据第一网络层的处理结果确定目标指示信息，包 括：基于融合偏置参数对第一网络层的处理结果进行处理；根据第一结果与第二网络层对 应的PWL的多个区间中的中间区间的等效长度计算得到目标指示信息，中间区间的等效 长度是根据中间区间的长度和第二网络层的量化参数确定的。
第二网络层可以为目标神经网络模型中的任一网络层，只要该网络层对应的激活函数 为PWL即可。
若将PWL看作一个单独的网络层，那么第二网络层对应的PWL是指第二网络层的下一个网络层，第二网络层的下一个网络层就是PWL层；若将PWL看作卷积层等网络层的 多步计算中的一步，那么第二网络层对应的PWL是指第二网络层执行的激活操作，该激 活操作所使用的激活函数是PWL。
在该情况下，中间区间的长度可以是相等的。
这样，可以充分利用第一结果确定目标指示信息，无需为了得到目标指示信息而进行 其他的计算，避免了不必要的计算，提高了处理效率。
结合第一方面，在第一方面的某些实现方式中，中间区间的等效长度为2的整数次幂。
这样，可以通过位移(shift)得到目标区间的索引，即目标指示信息。具体地，数据向右侧位移一位相当于除以2的运算。例如，中间区间的等效长度为2n，n为整数，在计 算目标区间的索引时，需要执行除以2n的运算，通过位移n位即可实现该运算，避免了利 用除法器执行除法运算。硬件中无需设置除法器，可以降低成本。同时，相对于除法器而 言，利用位移得到目标区间的索引，能够减少计算量，降低功耗开销，提高推理效率。
结合第一方面，在第一方面的某些实现方式中，根据目标指示信息从多组融合参数中 获取与目标指示信息对应的目标融合参数，基于目标融合参数对待处理的数据进行处理， 包括：根据目标指示信息获取目标融合参数中的目标融合缩放参数，基于目标融合缩放参 数对第一结果进行处理，得到第二结果；根据目标指示信息获取目标融合参数中的目标融 合偏移参数，基于目标融合偏移参数对第二结果进行处理，得到第三结果。
第三结果可以作为第一网络层之后的下一个网络层的输入。
结合第一方面，在第一方面的某些实现方式中，方法还包括：对第三结果执行取整处 理。
在该情况下，取整处理后的结果可以作为第一网络层之后的下一个网络层的输入。
结合第一方面，在第一方面的某些实现方式中，方法还包括：对第二结果执行取整处 理；基于目标融合偏移参数对第二结果进行处理以获得取整处理后的第二结果，包括：基 于目标融合偏移参数对取整处理后的第二结果进行处理，得到第三结果。
在该情况下，第三结果可以作为第一网络层之后的下一个网络层的输入。
结合第一方面，在第一方面的某些实现方式中，目标指示信息满足如下公式：
Figure BDA0003153882280000031
Figure BDA0003153882280000032
表示第二网络层的量化后的权重参数，
Figure BDA0003153882280000033
表示第二网络层的量化后的输入特征，i 表示目标指示信息，
Figure BDA0003153882280000034
表示中间区间的等效长度，bias表示融合偏置参数；
中间区间的等效长度满足如下公式：
Figure BDA0003153882280000035
d表示中间区间的长度，SW表示第二网络层的量化参数中的权重量化参数，SX表示第二网络层的量化参数中的特征量化参数。
结合第一方面，在第一方面的某些实现方式中，融合偏置参数是根据以下至少一项确 定的：第二网络层的权重参数、第二网络层对应的PWL的参数或第二网络层的量化参数。
结合第一方面，在第一方面的某些实现方式中，融合偏置参数满足如下公式：
Figure BDA0003153882280000041
其中，bias表示融合偏置参数，LB表示第二网络层对应的PWL的参数中的左边界，
Figure BDA0003153882280000042
表示第二网络层的量化后的权重参数，b表示第二网络层的偏置参数，SW表示第二网 络层的量化参数中的权重量化参数，β和SX表示第二网络层的量化参数中的特征量化参 数。
结合第一方面，在第一方面的某些实现方式中，目标融合缩放参数是根据以下至少一 项确定的：第二网络层对应的PWL的参数、第二网络层的量化参数或第二网络层的下一 个的网络层的量化参数。
结合第一方面，在第一方面的某些实现方式中，目标融合缩放参数满足如下公式：
Figure BDA0003153882280000043
其中，scalei表示目标融合缩放参数，i表示目标指示信息，SW表示第二网络层的量化参数中的权重量化参数，SX表示第二网络层的量化参数中的特征量化参数，SZ表示第 二网络层的下一个网络层的特征量化参数，Ki表示第二网络层对应的PWL中第i个区间 的斜率。
结合第一方面，在第一方面的某些实现方式中，目标融合偏移参数是根据以下至少一 项确定的：第二网络层对应的PWL的参数或第二网络层的下一个网络层的量化参数。
结合第一方面，在第一方面的某些实现方式中，目标融合偏移参数满足如下公式：
Figure BDA0003153882280000044
其中，offseti表示目标融合偏移参数，i表示目标指示信息，SZ和γ表示第二网络层 的下一个网络层的特征量化参数，Ki表示第二网络层对应的PWL中第i个区间的斜率，Bi表示第二网络层对应的PWL中第i个区间的左端点。
第二方面，提供了一种神经网络模型的训练方法，包括：获取神经网络模型，神经网 络模型的激活函数包括分段线性函数PWL，PWL包括多个区间；基于训练数据对神经网络模型进行训练，得到目标神经网络模型，训练数据包括：图像数据，音频数据或者文本 数据；对目标神经网络模型进行处理，得到目标神经网络量化模型，目标神经网络量化模 型包括多组融合参数，多组融合参数与目标神经网络模型中的PWL的多个区间之间具有 对应关系。
现有的方案中仅能对采用PWL作为激活函数的模型中的权重参数进行量化，无法对 PWL的参数进行量化。这样，推理过程中需要基于PWL的参数执行激活函数的计算，也 就是说，现有的训练方案得到的模型无法实现量化推理。根据本申请实施例的方案，对目 标神经网络模型进行处理得到目标神经网络量化模型，目标神经网络量化模型包括多组融合参数，使得目标神经网络量化模型在推理过程中可以基于与PWL的多个区间对应的多 组融合参数进行处理，相当于实现了目标神经网络模型的完全量化。具体地，通过对目标 神经网络模型中的量化流程和PWL的计算过程进行融合得到该多组融合参数，以便于在 推理过程中基于多组融合参数得到处理结果，无需额外执行PWL的计算，有利于实现模 型的量化推理，减少计算量，提高处理效率。
此外，目标神经网络量化模型是通过对目标神经网络模型中的量化流程和PWL的计 算过程进行融合后得到的，目标神经网络量化模型理论上能够达到与目标神经网络模型一 致的推理精度。
该神经网络模型的激活函数包括一个或多个PWL。或者说，该神经网络模型中的至少一个激活函数为PWL。
结合第二方面，在第二方面的某些实现方式中，对目标神经网络模型进行处理，得到 目标神经网络量化模型，包括：根据目标神经网络模型中的PWL的多个区间的参数、神经网络模型的权重量化参数和特征量化参数获取多组融合参数，以得到目标神经网络量化模型，神经网络模型的权重量化参数和特征量化参数是通过量化训练得到的。
量化参数包括权重量化参数和特征量化参数。权重量化参数用于将模型中的权重参数 进行量化，得到量化后的权重参数。特征量化参数用于将输入特征进行量化，得到量化后 的特征。
结合第二方面，在第二方面的某些实现方式中，多组融合参数包括多组融合缩放参数， 融合缩放参数是根据以下至少一项确定的：目标神经网络模型中的PWL的多个区间的参 数、目标神经网络模型中的PWL的之前的网络层的量化参数或目标神经网络模型中的PWL之后的网络层的量化参数。
结合第二方面，在第二方面的某些方式中，多组融合参数包括多组融合偏移参数，融 合偏移参数是根据以下至少一项确定的：目标神经网络模型中的PWL的多个区间的参数或目标神经网络模型中的PWL之后的网络层的量化参数。
结合第二方面，在第二方面的某些实现方式中，根据训练后的神经网络模型得到目标 神经网络模型，包括：调整训练后的神经网络模型中的PWL的中间区间的长度，得到调整后的神经网络模型；根据调整后的神经网络模型得到目标神经网络模型。
根据本申请实施例的方案，能够调整中间区间的长度，得到满足需要的中间区间的长 度，提高模型的灵活性；同时对模型进行训练，保证了模型的精度。
结合第二方面，在第二方面的某些实现方式中，基于训练数据对神经网络模型进行训 练，得到目标神经网络模型，包括：基于训练数据对神经网络模型进行训练；调整该神经 网络模型中的PWL的中间区间的长度，得到调整后的神经网络模型；基于训练数据对调整后的神经网络模型进行训练。
根据本申请实施例的方案，能够调整中间区间的长度，得到满足需要的中间区间的长 度，提高模型的灵活性；同时对模型进行训练，保证了模型的精度。
结合第二方面，在第二方面的某些实现方式中，调整训练后的神经网络模型中的PWL 的中间区间的长度，得到调整后的神经网络模型，包括：根据训练后的神经网络模型中的 PWL的中间区间的等效长度确定训练后的神经网络模型中的PWL的目标缩放系数，中间区间的等效长度是根据训练后的神经网络模型中的PWL的中间区间的长度、神经网络模 型的特征量化参数和权重量化参数确定的；基于目标缩放系数调整训练后的神经网络模型中的目标网络层的参数以及训练后的神经网络模型中的PWL的中间区间的长度，得到调 整后的神经网络模型，目标网络层与训练后的神经网络模型中的PWL对应。
或者说，该训练后的神经网络中的PWL为目标网络层对应的PWL。该训练后的神经网络模型中的PWL可以位于目标网络层中，或者训练后的神经网络中的PWL可以位于目 标网络层之后，目标网络层与训练后的神经网络模型中的PWL相邻。
具体地，中间区间的等效长度是通过中间区间的长度除以量化参数得到的。
结合第二方面，在第二方面的某些实现方式中，根据训练后的神经网络模型中的PWL 的中间区间的等效长度确定训练后的神经网络模型中的PWL的目标缩放系数，包括：根据中间区间的等效长度和与中间区间的等效长度距离最近的2的整数次幂确定目标缩放系数。
例如，与中间区间的等效长度距离最近的2的整数次幂满足如下公式:
Figure BDA0003153882280000061
其中，
Figure RE-GDA0003316628100000062
表示中间区间的等效长度，d'表示与中间区间的等效长度距离最近的2的整 数次幂，
Figure RE-GDA0003316628100000063
表示下取整运算。
根据本申请实施例的方案，通过调整PWL的中间区间的长度，例如，调整PWL的边界，使得PWL的中间区间的等效长度逼近2的整数次幂，有利于将PWL的中间区间的等 效长度约束为2的整数次幂，实现了PWL的参数的量化。同时，对模型进行训练，保证 了模型的精度。这样，在之后模型的量化推理过程中可以通过位移(shift)得到目标区间 的索引，避免了利用除法器执行除法运算。硬件中无需设置除法器，可以降低成本。同时， 相对于除法器而言，利用位移得到目标区间的索引，能够减少计算量，降低功耗开销，提 高推理效率。
结合第二方面，在第二方面的某些实现方式中，根据中间区间的等效长度和与中间区 间的等效长度距离最近的2的整数次幂确定目标缩放系数，包括：根据中间区间的等效长 度和与中间区间的等效长度距离最近的2的整数次幂计算第一缩放系数，在第一缩放系数 处于目标范围内的情况下，目标缩放系数为第一缩放系数；在第一缩放系数处于目标范围 外的情况下，目标缩放系数为目标范围的边界值。
结合第二方面，在第二方面的某些实现方式中，第一缩放系数满足如下公式：
Figure BDA0003153882280000064
其中，s表示所述第一缩放系数，d'表示与中间区间的等效长度距离最近的2的整数 次幂，
Figure BDA0003153882280000065
表示中间区间的等效长度。
结合第二方面，在第二方面的某些实现方式中，中间区间的等效长度满足如下公式：
Figure BDA0003153882280000066
其中，
Figure BDA0003153882280000067
表示中间区间的等效长度，LB表示PWL的左边界，RB表示PWL的右边 界，N表示PWL的中间区间的数量，SW表示目标网络层的权重量化参数，SX表示目标 网络层的特征量化参数。
第三方面，提供了一种数据处理装置，所述装置包括用于执行上述第一方面以及第一 方面中的任意一种实现方式中的方法的模块或单元。
第四方面，提供了一种神经网络模型的训练装置，所述装置包括用于执行上述第二方 面以及第二方面中的任意一种实现方式中的方法的模块或单元。
应理解，在上述第一方面中对相关内容的扩展、限定、解释和说明也适用于第二方面、 第三方面和第四方面中相同的内容。
第五方面，提供了一种数据处理装置，该装置包括：存储器，用于存储程序；处理器， 用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执 行第一方面以及第一方面中的任意一种实现方式中的方法。
上述第五方面中的处理器既可以是中央处理器(central processing unit，CPU)，也可 以是CPU与神经网络运算处理器的组合，这里的神经网络运算处理器可以包括图形处理 器(graphics processing unit，GPU)、神经网络处理器(neural-networkprocessing unit， NPU)和张量处理器(tensor processing unit，TPU)等等。其中，TPU是谷歌(google) 为机器学习全定制的人工智能加速器专用集成电路。
第六方面，提供了一种神经网络模型的训练装置，该装置包括：存储器，用于存储程 序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行第二方面以及第二方面中的任意一种实现方式中的方法。
上述第六方面中的处理器既可以是中央处理器，也可以是CPU与神经网络运算处理 器的组合，这里的神经网络运算处理器可以包括图形处理器、神经网络处理器和张量处理 器等等。其中，TPU是谷歌为机器学习全定制的人工智能加速器专用集成电路。
第七方面，提供一种计算机可读存储介质，该计算机可读存储介质存储用于设备执行 的程序代码，该程序代码包括用于执行第一方面或第二方面中的任意一种实现方式中的方 法。
第八方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运 行时，使得计算机执行上述第一方面或第二方面中的任意一种实现方式中的方法。
第九方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数 据接口读取存储器上存储的指令，执行上述第一方面或第二方面中的任意一种实现方式中 的方法。
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令， 所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执 行第一方面或第二方面中的任意一种实现方式中的方法。
上述芯片具体可以是现场可编程门阵列(field-programmable gate array，FPGA)或者 专用集成电路(application-specific integrated circuit，ASIC)。
附图说明
图1是本申请实施例提供的一种人工智能主体框架示意图；
图2为一种神经网络模型的部分结构的示意图；
图3为本申请实施例提供的一种分段线性函数的示意图；
图4为本申请实施例提供的神经网络模型的处理过程的示意性流程图；
图5为本申请实施例提供的一种系统架构的结构示意图；
图6为本申请实施例提供的一种芯片的硬件结构示意图；
图7为本申请实施例提供的一种系统架构的示意图；
图8为本申请实施例提供的一种应用场景的示意图；
图9为本申请实施例提供的一种神经网络模型的训练方法的示意性流程图；
图10为本申请实施例提供的另一种神经网络模型的训练方法的示意性流程图；
图11为本申请实施例提供的一种神经网络模型前向传播过程的示意性流程图；
图12为本申请实施例提供的数据处理方法的示意性流程图；
图13为本申请实施例提供的数据处理方法的示意性框图；
图14是本申请实施例提供的神经网络模型的训练装置的示意性框图；
图15是本申请实施例提供的数据处理装置的示意性框图；
图16是本申请实施例提供的神经网络模型的训练装置的示意性框图；
图17是本申请实施例提供的数据处理装置的示意性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
图1示出一种人工智能主体框架示意图，该主体框架描述了人工智能系统总体工作流 程，适用于通用的人工智能领域需求。
下面从“智能信息链”(水平轴)和“信息技术(information technology，IT)价值链”(垂直轴)两个维度对上述人工智能主题框架进行详细的阐述。
“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感 知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。
“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。
(1)基础设施：
基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平 台实现支撑。
基础设施可以通过传感器与外部沟通，基础设施的计算能力可以由智能芯片提供。
这里的智能芯片可以是中央处理器(central processing unit，CPU)、神经网络处理器 (neural-network processing unit，NPU)、图形处理器(graphics processingunit，GPU)、 专门应用的集成电路(application specific integrated circuit，ASIC)以及现场可编程门阵列 (field programmable gate array，FPGA)等硬件加速芯片。
基础设施的基础平台可以包括分布式计算框架及网络等相关的平台保障和支持，可以 包括云存储和计算、互联互通网络等。
例如，对于基础设施来说，可以通过传感器和外部沟通获取数据，然后将这些数据提 供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据：
基础设施的上一层的数据用于表示人工智能领域的数据来源。该数据涉及到图形、图 像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位 移、液位、温度、湿度等感知数据。
(3)数据处理：
上述数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等处理方式。
其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、 预处理、训练等。
推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利 用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
(4)通用能力：
对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的 能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理， 语音识别，图像的识别等等。
(5)智能产品及行业应用：
智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决 方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能制造、 智能交通、智能家居、智能医疗、智能安防、自动驾驶、智慧城市或智能终端等。
本申请实施例可以应用在人工智能中的很多领域，例如，智能制造、智能交通、智能 家居、智能医疗、智能安防、自动驾驶、智慧城市或智能终端等领域。
具体地，本申请实施例可以具体应用在自动驾驶、图像分类、图像检索、图像语义分 割、图像质量增强、图像超分辨率和自然语言处理等需要使用(深度)神经网络的领域。
下面对相册图片分类和监控这两种应用场景进行简单的介绍。
相册图片分类：
当用户在终端设备(例如，手机)或者云盘上存储了大量的图片时，通过对相册中图 像进行识别可以方便用户或者系统对相册进行分类管理，提升用户体验。
利用本申请实施例的数据处理方法，能够提高神经网络的推理速度。利用本申请实施 例中的数据处理方法对图片进行分类，提高分类的速度，有利于实时为不同的类别的图片 打上标签，便于用户查看和查找。另外，这些图片的分类标签也可以提供给相册管理系统 进行分类管理，节省用户的管理时间，提高相册管理的效率，提升用户体验。
监控：
监控场景包括：智慧城市、野外监控、室内监控、室外监控、车内监控等。其中，智慧城市场景下，需要进行多种属性识别，例如行人属性识别和骑行属性识别。深度神经网络凭借着其强大的能力在多种属性识别中发挥着重要的作用。
利用本申请实施例的数据处理方法，能够提高神经网络的推理速度。利用本申请实施 例中的数据处理方法对输入的道路画面进行处理，有利于实时识别出道路画面中的不同的 属性信息。
由于本申请实施例涉及大量神经网络的应用，为了便于理解，下面先对本申请实施例 可能涉及的神经网络的相关术语和概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单 元，该运算单元的输出可以为：
Figure BDA0003153882280000101
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。
f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中， 来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层的输 入。激活函数通常是一个实数域到实数域的标量函数，并包含一定的非线性部分。例如， 激活函数可以是ReLU，tanh或sigmoid函数。
神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输 出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连， 来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(deep neural network，DNN)，也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分，DNN内部的神经网络可以 分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中 间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定 与第i+1层的任意一个神经元相连。
虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：
Figure BDA0003153882280000102
其中，
Figure BDA0003153882280000103
是输入向量，
Figure BDA0003153882280000104
是输出向量，
Figure BDA0003153882280000105
是偏移向 量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量
Figure BDA0003153882280000106
经过如此 简单的操作得到输出向量
Figure BDA0003153882280000107
由于DNN层数多，系数W和偏移向量
Figure BDA0003153882280000108
的数量也比较多。 这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二 层的第4个神经元到第三层的第2个神经元的线性系数定义为
Figure BDA0003153882280000109
上标3代表系数W所 在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。
综上，第L-1层的第k个神经元到第L层的第j个神经元的系数定义为
Figure BDA00031538822800001010
激活函数通常置于卷积层或全连接层之后，图2示出了一个全连接层以及该全连接层 之后的激活函数。图2中的输入向量
Figure BDA00031538822800001011
为(x1,x2,x3)，输出向量
Figure BDA00031538822800001012
为
Figure BDA00031538822800001013
权重矩阵W为如图2所示的全连接层的权重(图2中省去了权重矩阵的上标)构成的矩阵，f表示 激活函数。输入向量(x1,x2,x3)经过全连接层处理后输出(y1,y2)，再经过激活函数f得 到输出向量
Figure BDA00031538822800001014
需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更 能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量形成的权重矩阵)。
(3)卷积神经网络
卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经 网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可 以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷 积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常 包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面 的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的 方式与位置无关。卷积核可以以随机大小的矩阵的形式化，在卷积神经网络的训练过程中 卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网 络各层之间的连接，同时又降低了过拟合的风险。
(4)损失函数
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要 预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的 差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有化的过程， 即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重 向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与 真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间 的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用 于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值 (loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过 程。通常地，loss越小，该深度神经网络的训练质量越高，loss越大，深度神经网络的训练质量越低。类似的，loss波动越小，训练越稳定；loss波动越大，训练越不稳定。
(5)反向传播算法
神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正的神 经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传 递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新的神经网络模型 中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在 得到最优的神经网络模型的参数，例如权重矩阵。
例如，神经网络模型每次训练产生的loss值在神经网络模型中从后向前逐层传递。传 递到每一层时，同时计算出该层参数的更新量(偏导运算)，这个更新量与梯度(gradient) 相关。gradient的值与loss的值是线性正相关的。
(6)PWL
分段函数指的是在其定义域的不同区间内或点处采用不同的表达式表示的函数。相邻 的两个区间的公共端点称为分段函数的分界点。或者说，分段函数包括多段定义域不同的 函数。该分段函数的定义域为该多段函数的定义域的并集，分段函数的值域为该多段函数 的值域的并集。
分段线性函数为在其定义域的不同区间内具有不同斜率的线性函数，即分段线性函数 在其定义域的每个区间内均为线性函数，该分段线性函数整体为非线性函数。
一个分段线性函数可以由多种参数组合定义。通过给参数设置不同的值，即可得到不 同的激活函数。
例如，一个分段线性函数包括以下参数：分界点、多个区间上的斜率和任一分界点对 应的函数值。
多个区间上的斜率指的是分段线性函数在该多个区间上的斜率。
一个分段线性函数的定义域基于分界点被划分为多个区间。分段线性函数在多个区间 中的每个区间内均为线性函数。也就是说，分段线性函数包括多个区间内的多个线性函数。 分段线性函数在该多个区间中的任一区间上的斜率即为该区间内的线性函数的斜率。分界 点对应的函数值指的是分界点的值在分段线性函数中对应的函数值。或者说，在该分段线 性函数所在的坐标系中，以分界点的值作为横坐标，在分段线性函数中该横坐标对应的纵 坐标即为分界点对应的函数值。
再如，一个分段线性函数包括以下参数：分界点、分段线性函数在定义域最大的区间 上的斜率、分段线性函数在定义域最小的区间的斜率和分界点对应的函数值。
再如，一个分段线性函数包括以下参数：分界点的数量、右边界、左边界、定义域最大的区间上的斜率、定义域最小的区间的斜率和分界点对应的函数值。在该情况下，中间区间的长度可以是相同的。中间区间指的是分段线性函数的多个区间中左边界和右边界之间的区间。这样，根据右边界RB和左边界LB即可确定其余分界点的值。
右边界指的是分界点中的最大值，左边界指的是分界点中的最小值。
分界点的数量也可以替换为中间区间的数量。即一个分段线性函数包括以下参数：中 间区间的数量、右边界、左边界、定义域最大的区间上的斜率、定义域最小的区间的斜率 和分界点对应的函数值。
定义域最大的区间和定义域最小的区间也可以称为该多个区间中的两端的区间。多个 分界点对应的函数值YP可以表示为一个数组，该数组中的每个元素表示一个函数值，分 别对应一个分界点。
图3示出了一种分段线性函数的示意图。下面结合图3对上述参数进行说明。图3中的分界点的数量为9，右边界RB和左边界LB如图9所示，基于该9个分界点将该分段 线性函数的定义域分为10个区间，中间区间的数量N为8。该10个区间中定义域最大的 区间为该坐标系中最右端的区间，定义域最小的区间为该坐标系中最左端的区间。分段线 性函数在定义域最大的区间上的斜率RK即分段线性函数在最右端的区间上的斜率RK。 分段线性函数在定义域最小的区间上的斜率RK即分段线性函数在最左端的区间上的斜率 LK。该9个分界点对应的函数值可以表示为该9个分界点对应的横坐标在分段线性函数 中的函数值的数组YP。图9还示出了第i个区间的左端点对应的横坐标Bi在分段线性函 数中对应的纵坐标的值Pi，第i个区间的斜率为ki。i大于或等于1且小于或等于N的整 数。
本申请实施例的神经网络模型中采用PWL作为激活函数，通过调整PWL的多个可训练参数可以拟合出多种函数形式，有利于得到更优的激活函数，可以有效提升神经网络模型的拟合能力，进而提高模型的性能。此外，在模型的训练过程中，通过参数梯度更新 PWL的多个可训练参数，降低了运行开销，提高了激活函数的构建效率以及模型的训练 效率，从而能够针对不同的模型实现激活函数的搜索，得到适合不同模型的激活函数，提 高了模型的性能。
(7)模型量化
模型量化是提高模型的推理速度的一种的方式。
通常训练后得到的全精度的神经网络模型为浮点模型，浮点模型中的参数包括浮点型 的参数。模型量化指的是对浮点模型进行量化，得到量化模型的过程。具体地，通过将模 型的参数的数据类型由浮点型量化为整型，相应地，模型的计算也由浮点计算转换为整型 计算，这样能够显著提高计算的效率。硬件上可以设置针对整型数据的计算单元，以实现 量化模型的高效推理。
以8比特(bit)量化为例，例如，对32bit的浮点模型进行量化，得到8bit的量化模型。32bit的浮点模型中的参数的数据类型为32bit的浮点型数据，8bit的量化模型中的参数的数据类型为8bit的整型数据。在该情况下，相对于32bit的浮点模型，8bit的量化模 型的内存占用减少了4倍，而且推理速度得到了提高，功耗也随之降低。
(8)可训练步长的量化(learned step size quantization，LSQ)
为了得到量化模型，可以对浮点模型进行量化训练，这样，在量化训练之后得到的量 化模型可以最大限度地逼近量化之前的浮点模型的精度，即保证了量化模型的精度。
LSQ是一种典型的量化训练方法。通过在浮点模型中插入量化操作和反量化操作，使 得网络在训练过程中适应量化计算。
图4示出了一种LSQ的流程图。在量化训练的过程中，对当前卷积层的卷积参数进行量化，得到量化后的卷积参数，对输入当前卷积层的特征图进行量化，得到量化后的特征图。基于量化后的卷积参数和量化后的特征图执行卷积操作，并对卷积操作后的结果执行反量化操作。通过激活函数对反量化操作的结果进行处理，处理后的结果可以作为输入至下一个卷积层的特征图。如图4的(a)所示，激活函数可以采用ReLU。
卷积参数指的是卷积权重。示例性地，图4的卷积参数的量化操作可以满足如下公式：
Figure BDA0003153882280000131
其中，
Figure BDA0003153882280000132
表示量化后的卷积权重，W表示量化前的卷积权重，SW表示卷积权重的量化训练参数，round()表示取整操作。
示例性地，图4的特征图的量化操作可以满足如下公式：
Figure BDA0003153882280000133
其中，
Figure BDA0003153882280000134
表示量化后的特征图，X表示量化前的特征图，SX和β表示特征图的量化训练参数。
示例性地，图4的卷积操作可以满足如下公式：
Figure BDA0003153882280000135
其中，
Figure BDA0003153882280000136
可以表示卷积操作后的结果。
示例性地，图4的反量化操作可以满足如下公式：
Figure BDA0003153882280000137
其中，
Figure BDA0003153882280000138
可以表示反量化操作后的结果。
如图4的(a)图所示，激活函数采用ReLU。ReLU的输出只有两种情况：y＝x和y＝0。x表示输入至ReLU的数据，y表示经过ReLU处理后的输出数据。也就是说，ReLU对乘 法操作是线性的，即ReLU(x*A)＝ReLU(x)*A。如图4的(a)图所示，在量化训练 完成后，反量化操作的参数可以和下一层的特征图量化操作的参数融合，使得反量化操作 和下一层的特征图量化操作融合为一个操作。在量化训练完成后，可以部署量化训练后得 到的量化模型进行推理。量化模型的参数的数据类型均为量化后的整型数据，降低了内存 占用量。在量化模型的推理过程中，无需进行反量化操作，也就是说，无需执行浮点计算， 采用整型计算的方式，大大提高了计算的效率，降低了功耗。
如图5所示，本申请实施例提供了一种系统架构100。在图5中，数据采集设备160用于采集训练数据。例如，针对本申请实施例的数据处理方法来说，若数据为图像数据， 则训练数据可以包括训练图像以及训练图像对应的分类结果，其中，训练图像的分类结果 可以是人工预先标注的结果。
在采集到训练数据之后，数据采集设备160将这些训练数据存入数据库130，训练设 备120基于数据库130中维护的训练数据训练得到目标模型/规则101。
下面对训练设备120基于训练数据得到目标模型/规则101进行描述，训练设备120对输入的原始数据进行处理，将输出值与目标值进行对比，直到训练设备120输出的值与目标值的差值小于一定的阈值，从而完成目标模型/规则101的训练。
上述目标模型/规则101能够用于实现本申请实施例的数据处理方法。本申请实施例 中的目标模型/规则101具体可以为神经网络模型。例如，卷积神经网络。需要说明的是，在实际的应用中，所述数据库130中维护的训练数据不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完 全基于数据库130维护的训练数据进行目标模型/规则101的训练，也有可能从云端或其 他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。
根据训练设备120训练得到的目标模型/规则101可以应用于不同的系统或设备中， 如应用于图5所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)AR/虚拟现实(virtual reality，VR)，车载终端等，还可以是服务器或者云端等。在图5中，执行设备110配置输入/输出 (input/output，I/O)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140 向I/O接口112输入数据，输入数据在本申请实施例中可以包括：客户设备输入的待处理 的数据。
在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计 算等相关的处理过程中，执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。
最后，I/O接口112将处理结果，如上述得到的数据的处理结果返回给客户设备140， 从而提供给用户。
值得说明的是，训练设备120可以针对不同的目标或不同的任务，基于不同的训练数 据生成相应的目标模型/规则101，该相应的目标模型/规则101即可以用于实现上述目标 或完成上述任务，从而为用户提供所需的结果。
在图5中所示情况下，用户可以手动给定输入数据，该手动给定可以通过I/O接口112 提供的界面进行操作。另一种情况下，客户设备140可以自动地向I/O接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体 的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端， 采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本 数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由I/O接口 112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果，作为 新的样本数据存入数据库130。
值得注意的是，图5仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、 器件、模块等之间的位置关系不构成任何限制，例如，在图5中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备 110中。
如图5所示，根据训练设备120训练得到目标模型/规则101，该目标模型/规则101在本申请实施例中可以是本申请中的神经网络，具体的，本申请实施例构建的神经网络可以为CNN等。
图6为本申请实施例提供的一种芯片的硬件结构，该芯片包括神经网络处理器50。该芯片可以被设置在如图5所示的执行设备110中，用以完成计算模块111的计算工作。 该芯片也可以被设置在如图5所示的训练设备120中，用以完成训练设备120的训练工作 并输出目标模型/规则101。本申请实施例中的方法可在如图6所示的芯片中得以实现。
神经网络处理器NPU 50作为协处理器挂载到主中央处理器(central processingunit， CPU)(host CPU)上，由主CPU分配任务。NPU的核心部分为运算电路503，控制器 504控制运算电路503提取存储器(权重存储器或输入存储器)中的数据并进行运算。
在一些实现中，运算电路503内部包括多个处理单元(process engine，PE)。在一些 实现中，运算电路503是二维脉动阵列。运算电路503还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路503是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器502中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器501 中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累 加器(accumulator)508中。
向量计算单元507可以对运算电路的输出做进一步处理，如向量乘，向量加，指数运 算，对数运算，大小比较等等。例如，向量计算单元507可以用于神经网络中非卷积/非FC层的网络计算，如池化(pooling)，批归一化(batch normalization，BN)，局部响应 归一化(local response normalization)等。
在一些实现种，向量计算单元能507将经处理的输出的向量存储到统一缓存器506。 例如，向量计算单元507可以将非线性函数应用到运算电路503的输出，例如累加值的向 量，用以生成激活值。在一些实现中，向量计算单元507生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路503的激活输入，例如 用于在神经网络中的后续层中的使用。
统一存储器506用于存放输入数据以及输出数据。
权重数据直接通过存储单元访问控制器505(direct memory accesscontroller，DMAC) 将外部存储器中的输入数据搬运到输入存储器501和/或统一存储器506、将外部存储器中 的权重数据存入权重存储器502，以及将统一存储器506中的数据存入外部存储器。
总线接口单元(bus interface unit，BIU)510，用于通过总线实现主CPU、DMAC和取指存储器509之间进行交互。
与控制器504连接的取指存储器(instruction fetch buffer)509，用于存储控制器504 使用的指令；
控制器504，用于调用指存储器509中缓存的指令，实现控制该运算加速器的工作过 程。
一般地，统一存储器506，输入存储器501，权重存储器502以及取指存储器509均为片上(On-Chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双 倍数据率同步动态随机存储器(double data rate synchronous dynamic random accessmemory，DDR SDRAM)、高带宽存储器(high bandwidth memory，HBM)或其他可读 可写的存储器。
上文中介绍的图5中的执行设备110或图6中的芯片能够执行本申请实施例的数据处 理方法的各个步骤。上文中介绍的图5中的训练设备120或图6中的芯片能够执行本申请实施例的神经网络模型的训练方法的各个步骤。
如图7所示，本申请实施例提供了一种系统架构300。该系统架构包括本地设备301、 本地设备302以及执行设备310和数据存储系统350，其中，本地设备301和本地设备302 通过通信网络与执行设备310连接。
执行设备310可以由一个或多个服务器实现。可选的，执行设备310可以与其它计算 设备配合使用，例如：数据存储器、路由器、负载均衡器等设备。执行设备310可以布置在一个物理站点上，或者分布在多个物理站点上。执行设备310可以使用数据存储系统 350中的数据，或者调用数据存储系统350中的程序代码来实现本申请实施例的神经网络 模型的训练方法。
具体地，在一种实现方式中，执行设备110可以执行以下过程：
获取神经网络模型，神经网络模型的激活函数包括分段线性函数PWL，PWL包括多个区间；
基于训练数据对神经网络模型进行训练，根据训练后的神经网络模型得到目标神经网 络模型，训练数据包括：图像数据，音频数据或者文本数据；
对目标神经网络模型进行处理，得到目标神经网络量化模型，目标神经网络量化模型 包括多组融合参数，多组融合参数与目标神经网络模型中的PWL的多个区间之间具有对 应关系。
通过上述过程执行设备110能够获取一个目标神经网络量化模型，该目标神经网络量 化模型可以用于图像分类、进行图像处理、音频处理或者文本处理等等。
用户可以操作各自的用户设备(例如本地设备301和本地设备302)与执行设备310进行交互。每个本地设备可以表示任何计算设备，例如个人计算机、计算机工作站、智能 手机、平板电脑、智能摄像头、智能汽车或其他类型蜂窝电话、媒体消费设备、可穿戴设 备、机顶盒、游戏机等。
每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与执行设备310进 行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。
在一种实现方式中，本地设备301、本地设备302从执行设备310获取到目标神经网络模型的相关参数，将目标神经网络模型部署在本地设备301、本地设备302上，利用该 目标神经网络模型进行图像分类、进行图像处理、音频处理或者文本处理等等。
在另一种实现中，执行设备310上可以直接部署目标神经网络模型，执行设备310通 过从本地设备301和本地设备302获取待处理数据，并采用目标神经网络模型对待处理数 据进行处理。
上述执行设备310也可以为云端设备，此时，执行设备310可以部署在云端；或者，上述执行设备310也可以为终端设备，此时，执行设备310可以部署在用户终端侧，本申 请实施例对此并不限定。
如图8所示，将PWL模型进行量化，得到量化后的PWL模型，即本申请实施例中的 目标神经网络模型，目标神经网络量化模型可以部署于执行设备610中，对用户提供的输 入数据进行处理，得到处理结果。其中，PWL模型指的是采用PWL作为激活函数的神经 网络模型。目标神经网络量化模型可以通过本申请实施例中的方法得到的。执行设备610 可以为终端设备或云端设备。例如，执行设备610可以为图5中的执行设备110、图7中 的执行设备310或本地设备等。
现有的量化训练方法一般是针对采用ReLU作为激活函数的神经网络模型设计的，无 法应用于采用更复杂的激活函数的神经网络模型。对于采用PWL作为激活函数的神经网络模型，即PWL模型，若采用现有方法对PWL模型进行量化训练，得到的量化模型中只 有模型的卷积参数和全连接层的参数能够被量化，PWL的参数无法被量化。具体地，在 量化模型的前向传播中，采用PWL作为激活函数时，在卷积层或全连接层的输出结果输 入至该激活函数之前需要先执行反量化操作，进而由激活函数对反量化操作的结果进行处 理。如图4的(b)图所示，由于PWL不是线性函数，激活函数之前的反量化操作也无法 直接和下一层的特征图量化操作进行融合，PWL的参数也就无法被量化，模型无法执行 量化推理。这样会影响模型推理效率。
因此，如何提高采用PWL作为激活函数的神经网络模型的推理效率成为一个亟待解 决的问题。
本申请实施例提出一种数据处理方法，能够提高采用PWL作为激活函数的神经网络 模型的推理效率。
下面从模型训练侧和模型应用侧对本申请提供的方法进行描述。
本申请实施例提供的神经网络模型的训练方法，对训练数据(如本申请中的图像数据、 音频数据或文本数据)进行符号化和形式化的智能信息建模、抽取、预处理、训练等，最 终得到训练好的量化模型；并且，本申请实施例提供的数据处理方法可以运用上述训练好 的量化模型，将输入数据(如本申请中的待处理的图像数据、音频数据或文本数据)输入到所述训练好的量化模型中，得到输出数据。为了更好地描述本申请实施例中的数据处理方法，下面先对模型的训练方法进行说明。
下面结合图9至图11对本申请实施例中的神经网络模型的训练方法进行详细的描述。
图9示出了本申请实施例提供的神经网络模型的训练方法900。图9所示的方法可以 由神经网络模型的训练装置来执行，该装置可以是云服务设备，也可以是终端设备，例如， 电脑、服务器等运算能力足以用来执行该神经网络模型的训练方法的装置，也可以是由云 服务设备和终端设备构成的系统。示例性地，方法900可以由图5中的训练设备120、图6中的神经网络处理器50或图7中的执行设备310或本地设备执行。
方法900也可以理解为一种神经网络模型的量化训练方法。
方法900包括步骤S910至步骤S930。下面对步骤S910至步骤S930进行详细介绍。
S910，获取神经网络模型，该神经网络模型的激活函数包括PWL，该PWL包括多个区间。
也就是说，该神经网络模型采用PWL作为激活函数。采用PWL作为激活函数的神经网络也可以称为PWL模型。
一个PWL可以包括多个分界点，多个分界点可以将定义域划分为多个区间。该多个分界点中最小的分界点即为左边界，该多个分界点中最大的分界点即为右边界。中间区间指的是该多个区间中的左边界和右边界之间的区间。
例如，若一个PWL的定义域为(-∞,+∞)，分界点为4个点，该4个点将定义域划分为5个区间，该4个分界点中的左边界和右边界之间包括3个区间，该3个区间即为中间 区间。
再如，若一个PWL的定义域为(-∞,a]，分界点为4个点，该4个分界点中的右边界即为a，该4个点将定义域划分为4个区间，该4个分界点中的左边界和右边界之间包括 3个区间，该3个区间即为中间区间。
再如，若一个PWL的定义域为[a',a]，分界点为4个点，该4个分界点中的右边界即为a，左边界即为a'，该4个点将定义域划分为3个区间，该4个分界点中的左边界和右 边界之间包括3个区间，该3个区间即为中间区间。
一个PWL可以包括一个或多个中间区间，在一个PWL包括多个中间区间的情况下，该多个中间区间的长度是相同的。一个PWL的中间区间的数量也可以称为该PWL的分段 的数量。
该神经网络模型的激活函数包括一个或多个PWL。或者说，该神经网络模型中的至少一个激活函数为PWL。
若该神经网络模型包括多个PWL，则该多个PWL的参数可以相同，即该多个PWL 可以共享参数。或者，该多个PWL的参数也可以不同，即该多个PWL的参数可以是相互 独立的。在该情况下，该多个PWL中的一个PWL的参数的变化不影响其他PWL的参数。
本申请实施例中对模型中的各个PWL可以采用相同的处理方式，为了便于描述，本申请实施例中仅以其中的一个PWL进行说明，不对本申请实施例的方案构成限定。
S920，基于训练数据对神经网络模型进行训练，得到目标神经网络模型。
训练数据包括：图像数据，音频数据或者文本数据。
训练数据的类型与模型的任务有关。例如，模型用于图像处理任务，则该训练数据可 以为图像。具体地，图像处理任务包括图像分类、图像检测、图像分割或图像生成等。再如，神经网络模型用于文本处理任务，则该训练数据可以为文本。具体地，文本处理任务 包括文本识别或文本翻译等。再如，神经网络模型用于音频处理任务，则该训练数据可以 为音频数据。具体地，音频处理任务包括音频识别等。本申请实施例对训练数据的类型不 做限定。
示例性地，训练数据可以是预先存储的。例如，该训练数据可以是图5所示的数据库 130中维护的训练数据。
可替换地，训练数据可以是用户输入的。例如，方法900由提供AutoML服务的设备执行，训练数据可以由用户输入。
S930，对目标神经网络模型进行处理，得到目标神经网络量化模型。目标神经网络量 化模型包括多组融合参数，多组融合参数与目标神经网络模型中的PWL的多个区间之间具有对应关系。
对目标神经网络模型进行处理，也可以理解为对目标神经网络模型进行量化处理。
也就是说，对目标神经网络模型中的参数进行量化处理。例如，对目标神经网络模型 中的权重参数进行量化处理，即将浮点型的权重参数转换为整型的权重参数。该整型的权 重参数即为目标神经网络模型中的权重参数。具体地，可以基于目标神经网络模型的量化 参数对目标神经网络模型中的参数进行量化处理。
具体地，步骤S930包括：将目标神经网络模型前向传播过程中的量化过程与PWL的计算进行融合，得到目标神经网络量化模型。量化过程包括量化操作和反量化操作等。
或者说，步骤S930包括：将目标神经网络模型前向传播过程中依次执行的量化后的 网络层的操作、反量化操作、目标神经网络模型的PWL的计算和下一个网络层的特征的量化操作基于该PWL的多个区间分别进行融合，得到目标神经网络量化模型。
将量化过程中的参数与PWL的参数进行融合，可以得到多组融合参数。
可选地，多组融合参数是根据目标神经网络模型中的PWL的多个区间的参数、权重参数、量化参数中的权重量化参数和量化参数中的特征量化参数得到的。
或者说，步骤S930包括：根据目标神经网络模型中的PWL的多个区间的参数、神经网络模型的量化参数中的权重量化参数和量化参数中的特征量化参数获取多组融合参数，以得到目标神经网络量化模型。
具体地，多组融合参数包括多组融合缩放参数，融合缩放参数是根据以下至少一项确 定的：目标神经网络模型中的PWL的多个区间的参数、目标神经网络模型中的PWL的之前的网络层的量化参数或目标神经网络模型中的PWL之后的网络层的量化参数。
多组融合参数包括多组融合偏移参数，融合偏移参数是根据以下至少一项确定的：目 标神经网络模型中的PWL的多个区间的参数或目标神经网络模型中的PWL之后的网络层 的量化参数。
具体的计算方式可以参考后文图11的描述。
目标神经网络量化模型可以用于执行目标任务。示例性地，目标任务可以为图像处理 任务，例如，目标检测，图像分割，实例分割，图像去噪，图像超分辨率等。或者，目标任务可以为音频处理任务，例如，语音识别等。或者，目标任务可以为文本处理任务，例 如，文本识别或文本翻译等。
现有的方案中仅能对采用PWL作为激活函数的模型中的权重参数进行量化，无法对 PWL的参数进行量化。这样，推理过程中需要基于PWL的参数执行激活函数的计算，也 就是说，现有的训练方案得到的模型无法实现量化推理。
根据本申请实施例的方案，对目标神经网络模型进行处理得到目标神经网络量化模 型，目标神经网络量化模型包括多组融合参数，使得目标神经网络量化模型可以基于与PWL的多个区间对应的多组融合参数对待处理的数据进行处理，相当于实现了目标神经 网络模型的完全量化。具体地，通过对目标神经网络模型中的量化流程和PWL的计算过 程进行融合得到该多组融合参数，以便于在推理过程中基于多组融合参数得到处理结果， 无需额外执行PWL的计算，有利于实现模型的量化推理，减少计算量，提高处理效率。 从效果上来说，目标神经网络量化模型中实现了完全量化，即不但实现了权重参数的量化， 也实现了PWL的参数的量化的处理效果。
此外，目标神经网络量化模型是通过对目标神经网络模型中的量化流程和PWL的计 算过程进行融合后得到的，目标神经网络量化模型理论上能够达到与目标神经网络模型一 致的推理精度。
在一种实现方式中，步骤S920中的神经网络模型可以为全精度的神经网络模型。
全精度的神经网络模型是指基于浮点类型(一般是单精度)参数训练出来的模型。也 就是说，全精度的神经网络模型为训练好的模型。全精度的神经网络模型为浮点模型。浮 点模型即参数为浮点型的模型。也就是说，基于浮点类型的数据对初始神经网络模型进行 训练，可以得到全精度的神经网络模型。
在该情况下，步骤S920可以包括：在该全精度的神经网络模型中插入量化操作以及 反量化操作，进行量化训练，得到量化训练后的神经网络模型和量化参数。将该量化训练 后的神经网络模型作为目标神经网络模型。
具体地，在量化训练过程中，基于训练数据调整全精度的神经网络模型中的权重参数 以及量化训练参数。量化训练参数为量化训练过程中的量化操作和反量化操作中涉及的参 数。具体地，量化训练参数包括模型的权重量化训练参数和特征量化训练参数。在量化训 练过程中基于量化训练参数对全精度的神经网络模型中的权重参数进行量化，基于特征量 化训练参数将输入特征进行量化。此外，基于量化训练参数对需要执行反量化操作的数据 执行反量化操作。量化训练完成后得到的量化训练参数即为量化参数。
示例性地，步骤S920可以采用现有的方案进行量化训练。例如，可以通过量化感知训练(quantification aware training，QAT)或LSQ等基于均匀量化方案的量化训练方法对 全精度的神经网络模型进行量化训练，得到量化训练后的神经网络模型以及量化参数。
在另一种实现方式中，步骤S920中的神经网络模型为前述实现方式中得到的量化训 练后的神经网络模型。
也就是说，该神经网络模型是在全精度的神经网络模型中插入量化操作以及反量化操 作，进行量化训练得到的。该神经网络模型的量化参数是也在该过程中训练得到的。
示例性地，获取神经网络模型可以为，从其他设备接收神经网络模型。也就是说，可 以由其他设备对全精度的神经网络模型进行量化训练，得到该神经网络模型。或者，获取 神经网络模型也可以为，对全精度的神经网络模型进行量化训练，得到该神经网络模型。 本申请实施例对神经网络模型的获取方式不做限定。
量化参数包括权重量化参数和特征量化参数。权重量化参数用于将模型中的权重参数 进行量化，得到量化后的权重参数。特征量化参数用于将输入特征进行量化，得到量化后 的特征。
神经网络模型中的不同的网络层的权重量化参数可以相同，也可以不同。一个模型中 的不同的网络层的特征量化参数可以相同，也可以不同。
例如，网络层1#的权重量化参数用于对网络层1#的权重参数进行量化。网络层1#的 特征量化参数用于对网络层1#的输入特征进行量化。
权重参数可以包括卷积层的权重参数和/或全连接层的权重参数。
也就是说，若该神经网络模型中包括卷积层，则权重参数包括卷积层的参数。
若该神经网络模型中包括全连接层，则权重参数包括全连接层的参数。
可选地，步骤S920包括步骤S921至步骤S922。
S921，基于训练数据对该神经网络模型进行训练。
S922，调整训练后的神经网络模型中的PWL的中间区间的长度，得到调整后的目标神经网络模型。
根据调整后的目标神经网络模型可以得到该目标神经网络模型。
示例性地，将调整后的目标网络模型作为该目标神经网络模型。
需要说明的是，在步骤S921至步骤S922的执行过程中，量化参数保持不变，神经网络模型的量化参数和目标神经网络模型的量化参数实质上是相同的。
在一种可能的实现方式中，步骤S921和步骤S922的步骤的执行顺序可以调换，即：
调整该神经网络模型中的PWL的中间区间的长度；基于训练数据对调整后的神经网 络模型进行训练。
进一步地，将步骤S922中得到的调整后的神经网络模型作为步骤S921中的神经网络 模型，重复执行步骤S921至步骤S922，直至得到目标神经网络模型。
根据本申请实施例的方案，能够调整中间区间的长度，得到满足需要的中间区间的长 度，提高模型的灵活性；同时对模型进行训练，保证了模型的精度。
需要说明的是，由于步骤之间的执行顺序不同，步骤S921中的模型可以为S922调整 后的神经网络模型，或者，也可以为步骤S910中获取的神经网络模型。后文中仅以步骤S921中的模型为步骤S910中获取的神经网络模型为例进行说明，不对本申请实施例的方案构成限定。
基于训练数据对该神经网络模型进行训练，即基于训练数据调整神经网络模型中的参 数。具体地，在训练过程中，基于训练数据执行神经网络模型的前向传播，得到损失函数 值，进而根据该损失函数值执行反向传播，即计算模型参数的梯度，根据模型参数的梯度 调整模型参数。
示例性地，模型参数可以包括模型权重参数和PWL的参数。
例如，PWL的参数可以包括以下至少一项：右边界、左边界、定义域最大的区间上的斜率、定义域最小的区间的斜率或分界点对应的函数值。
示例性地，如图11所示，在执行神经网络模型的前向传播的过程中，基于量化参数对当前网络层的权重参数和输入特征进行量化，基于量化后的权重参数和量化后的输入特征执行当前网络层的操作，例如卷积操作，对当前网络层的操作结果进行反量化，计算反量化操作的结果的激活函数值，并对该激活函数值进行量化，作为下一个网络层的量化后的输入特征。
训练过程中迭代次数可以为一次，也可以为多次。
可选地，步骤S922包括步骤S1至步骤S3。
需要说明的是，由于步骤之间的执行顺序不同，步骤S922，或者说，步骤S1至步骤S3中的模型可以为S921训练后的神经网络模型，或者，也可以为步骤S910中获取的神 经网络模型。后文中仅以步骤S922中的模型为训练后的神经网络模型为例进行说明，不 对本申请实施例的方案构成限定。
S1，基于神经网络模型的量化参数计算PWL的中间区间的等效长度。
对于一个PWL而言，基于量化参数计算PWL的中间区间的等效长度，指的是基于目标网络层的量化参数的量化参数计算该PWL的中间区间的等效长度。该目标网络层与该PWL具有对应关系。或者说，该PWL为目标网络层对应的PWL。该PWL可以位于目标 网络层中，或者PWL可以位于目标网络层之后，目标网络层与训练后的神经网络模型中 的PWL相邻。
一个网络层的输出结果输入至一个PWL中，则该网络层即为该PWL之前相邻的网络层。
例如，卷积层1#的输出结果输入至激活函数中进行处理，该激活函数为PWL，激活函数计算后的结果输出至卷积层2#中。在该情况下，基于卷积层1#的权重量化参数和特 征量化参数计算该PWL的中间区间的等效长度。
具体地，中间区间的等效长度是通过中间区间的长度除以量化参数得到的。
或者说，中间区间的等效长度是根据与中间区间的长度相关的参数和量化参数确定 的。
示例性地，中间区间的等效长度
Figure BDA0003153882280000221
满足如下公式：
Figure BDA0003153882280000222
其中，d表示中间区间的长度，SW表示目标网络层的权重量化参数，SX表示目标网络层的特征量化参数。
中间区间的长度d满足如下公式：
Figure BDA0003153882280000223
其中，RB表示PWL的右边界，LB表示PWL的左边界，N表示该PWL的中间区间 的数量。
由此，中间区间的等效长度
Figure BDA0003153882280000224
可以满足如下公式：
Figure BDA0003153882280000225
S2，根据中间区间的等效长度确定PWL的目标缩放系数。
具体地，根据中间区间的等效长度和目标长度确定目标缩放系数。
目标长度可以根据需要设定。
可选地，目标长度为与中间区间的等效长度距离最近的2的整数次幂。
其中，与中间区间的等效长度距离最近的2的整数次幂满足如下公式:
Figure BDA0003153882280000226
其中，d'表示与中间区间的等效长度距离最近的2的整数次幂，
Figure RE-GDA0003316628100000227
表示下取整运算。
可选地，目标缩放系数为缩放系数。缩放系数是根据中间区间的等效长度以及与中间 区间的等效长度距离最近的2的整数次幂确定的。
例如，缩放系数为与中间区间的等效长度距离最近的2的整数次幂和中间区间的等效 长度的商，即由与中间区间的等效长度距离最近的2的整数次幂除以中间区间的等效长 度，得到缩放系数。
示例性地，缩放系数可以满足如下公式：
Figure BDA0003153882280000231
其中，s表示缩放系数。
再如，缩放系数为中间区间的等效长度和与中间区间的等效长度距离最近的2的整数 次幂的商，即由中间区间的等效长度除以与中间区间的等效长度距离最近的2的整数次 幂，得到缩放系数。
可选地，在缩放系数处于目标范围内的情况下，目标缩放系数为缩放系数；在缩放系 数处于目标范围外的情况下，目标缩放系数为目标范围的边界值。
也就是说，目标缩放系数处于目标范围内。目标范围可以根据需要设置。
示例性地，在缩放系数小于第一边界值，且大于第二边界值的情况下，目标缩放系数 为缩放系数，在缩放系数大于或等于第一边界值的情况下，目标缩放系数为第一边界值， 在缩放系数小于或等于第二边界值的情况下，目标缩放系数为第二边界值，第一边界值大 于第二边界值。
例如，对缩放系数进行约束，得到目标缩放系数。目标缩放系数可以满足如下公式：
s'＝clip(s,low,high)；
其中，s'表示目标缩放系数，low表示第二边界值，high表示第一边界值，clip()表示当s＜low时，返回low的值，当s＞high时，返回high的值，否则，返回s的值。low 和high为超参数，用于约束目标缩放系数的范围，即将目标缩放系数约束在目标范围内。 high的值和low的值可以选择与1接近的值。例如，high＝1.01，low＝0.99。本申请实施例 对此不作限定。
神经网络模型中通常包括两类参数，一类是可以从训练数据中学习估计得到的参数， 即可训练参数，例如，神经网络模型的权重。另一类参数通常无法从训练数据中得到，即 超参数。超参数可以是人为设定的，也可以是通过AutoML进行超参数搜索得到的。
可训练参数在神经网络模型的训练过程中可以基于训练数据进行更新。超参数在神经 网络模型训练的迭代过程中保持不变。
可替换地，在缩放系数小于第一边界值的情况下，目标缩放系数为缩放系数，在缩放 系数大于或等于第一边界值的情况下，目标缩放系数为第一边界值。
可替换地，在缩放系数大于第二边界值的情况下，目标缩放系数为缩放系数，在缩放 系数小于或等于第二边界值的情况下，目标缩放系数为第二边界值。
S3，基于训练后的神经网络模型中的PWL的目标缩放系数调整训练后的神经网络模 型中的目标网络层的参数以及PWL的中间区间的长度。
该训练后的神经网络中的PWL为目标网络层对应的PWL。该训练后的神经网络模型中的PWL可以位于目标网络层中，或者训练后的神经网络中的PWL可以位于目标网络层 之后，目标网络层与训练后的神经网络模型中的PWL相邻。
基于目标缩放系数调整目标网络层的参数以及PWL的中间区间的长度，也可以理解 为，基于目标缩放系数对目标网络层的参数以及PWL的中间区间的长度进行缩放处理。
示例性地，对PWL的中间区间的长度进行缩放处理，包括：对PWL的左边界和右边界进行缩放处理，得到缩放处理后的神经网络模型。
具体的缩放处理的方式与目标缩放系数的计算方式有关。
下面以缩放系数为与中间区间的等效长度距离最近的2的整数次幂和中间区间的等 效长度的商为例对步骤S3进行说明。
在该情况下，对目标网络层的参数进行缩放处理包括，将该目标网络层的参数除以目 标缩放系数，得到缩放处理后的网络层的参数。
示例性地，缩放处理后的网络层的参数满足如下公式：
Figure BDA0003153882280000241
Figure BDA0003153882280000242
其中，w'表示缩放处理后的网络层的权重参数，w表示缩放处理前的网络层的权重参 数，b'表示缩放处理后的网络层的偏置参数，b表示缩放处理前的网络层的偏置参数。
对PWL的左边界和右边界进行缩放处理，包括：将该PWL的左边界和右边界乘以目标缩放系数，得到缩放处理后的PWL的左边界和右边界。
示例性地，缩放处理后的PWL的左边界和右边界可以满足如下公式：
LB'＝LB·s'；
RB'＝RB·s'；
其中，LB'表示缩放处理后的PWL的左边界，LB表示缩放处理前的PWL的左边界，RB'表示缩放处理后的PWL的右边界，RB表示缩放处理前的PWL的右边界。
若缩放系数为中间区间的等效长度缩放系数和与中间区间的等效长度距离最近的2 的整数次幂的商，对目标网络层的参数进行缩放处理包括，将目标网络层的参数乘以目标 缩放系数。对PWL的左边界和右边界进行缩放处理，包括：将该PWL的左边界和右边界除以目标缩放系数，得到缩放处理后的PWL的左边界和右边界。
如前所述，在一种实现方式中，可以将步骤S922中得到的缩放处理后的神经网络模 型作为步骤S921中的神经网络模型，重复执行步骤S921至步骤S922，直至训练完成， 或者说，直至满足训练终止条件。训练完成后得到训练好的神经网络模型，即目标神经网 络模型。
步骤S921的训练过程中可以迭代T次，每次迭代过程中，基于上一次迭代后调整后的模型参数执行前向传播、反向传播和参数更新。
也就是说，可以将迭代T次后得到的模型作为步骤S922中的模型。
T为正整数。T为超参数，T的具体值可以根据需要设置。示例性地，T的数量级可 以为百或者千等。例如，T＝300。
训练终止条件可以根据需要设置。
示例性地，训练终止条件包括迭代次数大于或等于目标迭代次数。在当前迭代次数大 于或等于目标迭代次数时，终止训练，得到目标神经网络模型。
可替换地，训练终止条件包括模型的精度大于或等于目标精度。在当前模型的精度大 于或等于目标精度时，终止训练，得到目标神经网络模型。
可替换地，训练终止条件包括连续多次迭代得到的模型的精度的变化量小于或等于目 标变化量。也就是说，模型的精度趋于稳定后，终止训练，得到目标神经网络模型。
判断是否满足训练终止条件可以在步骤S921的过程中执行，或者在步骤S921之后执 行，或者也可以在步骤S922之后执行，本申请实施例对此不做限定。
示例性地，在执行步骤S921之后，判断是否满足训练终止条件，若满足训练终止条件，则输出当前的模型作为目标神经网络模型。若不满足训练终止条件，则继续执行步骤S922。
或者，在执行步骤S921的每次迭代之后，判断是否满足训练终止条件，若满足训练终止条件，则输出当前的模型作为目标神经网络模型。若不满足训练终止条件，则继续迭代，直至达到T次，执行步骤S922。
或者，在执行步骤S922之后，判断是否满足训练终止条件，若满足训练终止条件，则输出当前的模型作为目标神经网络模型。若不满足训练终止条件，则继续执行步骤S921。
根据本申请实施例的方案，通过对神经网络模型进行训练，不断调整PWL的边界和权重，以使PWL的中间区间的等效长度不断逼近2的整数次幂，最终将PWL的中间区间 的等效长度约束为2的整数次幂，实现了PWL的参数的量化。这样，在之后模型的量化 推理过程中可以通过位移(shift)得到目标区间的索引。需要说明的是，本申请实施例中 “位移”也可以称为“移位”。具体地，数据向右侧位移一位相当于除以2的运算，若中 间区间的等效长度为2n，在计算目标区间的索引时，需要执行除以2n的运算，通过位移n 位即可实现该运算，避免了利用除法器执行除法运算。硬件中无需设置除法器，可以降低 成本。同时，相对于除法器而言，利用位移得到目标区间的索引，能够减少计算量，降低 功耗开销，提高推理效率。同时对模型进行了训练，保证了模型的精度。
图10示出了本申请实施例提供的一种神经网络模型的训练方法1000，方法1000可以视为步骤S920的一种具体实现方式，具体描述可以参考步骤S920中的描述，为了避免 重复，在描述方法1000时适当省略部分描述。
方法1000包括步骤S1010至步骤S1030。
S1010，基于训练数据对初始PWL模型进行训练，得到全精度的PWL模型。
初始PWL模型的激活函数包括PWL。
具体地，训练装置可以获取初始PWL模型的模型结构和训练数据，并执行训练过程， 得到全精度的PWL模型。例如，该全精度的PWL模型可以是32bit的浮点型模型。
步骤S1010为可选步骤，例如，训练装置可以从其他设备接收全精度的PWL模型。
S1020，对全精度的PWL模型进行量化训练。
步骤S1020得到的模型可以作为步骤S920中的神经网络模型。
示例性地，可以采用QAT或LSQ等基于均匀量化方案的量化训练方法对该全精度的PWL模型进行量化训练。
步骤S1020为可选步骤，例如，训练装置可以从其他设备接收量化训练后的PWL模型。
S1030，固定量化参数SX、SW和β。
在步骤S1020的量化训练过程中会对量化参数和模型的参数进行调整，而在步骤S1030至步骤S1090中，量化参数保持不变。
S1040，对当前模型进行训练。
具体地，基于训练数据对当前模型执行前向传播、反向传播和参数更新。
在训练过程中，每隔T次迭代，对模型中的每个PWL执行步骤S1050至步骤S1090。 T为正整数。例如，T为300。
S1050，计算中间区间的等效长度。
中间区间的等效长度
Figure BDA0003153882280000261
满足如下公式：
Figure BDA0003153882280000262
S1060，计算与中间区间的等效长度距离最近的2的整数次幂，并计算缩放系数。
缩放系数满足如下公式：
Figure BDA0003153882280000263
d'表示与中间区间的等效长度距离最近的2的整数次幂，s表示缩放系数
S1070，对缩放系数进行约束，得到目标缩放系数。
目标缩放系数s'满足如下公式：
s'＝clip(s,low,high)；
high的值和low的值可以选择与1接近的值。例如，high＝1.01，low＝0.99。
S1080，对目标网络层的参数进行缩放处理。
缩放处理后的网络层的参数满足如下公式：
Figure BDA0003153882280000264
Figure BDA0003153882280000265
其中，w'表示缩放处理后的网络层的权重参数，w表示缩放处理前的网络层的权重参 数，b'表示缩放处理后的网络层的偏置参数，b表示缩放处理前的网络层的偏置参数。
S1090，对PWL的边界进行缩放处理。
缩放处理后的PWL的左边界和右边界可以满足如下公式：
LB'＝LB·s'；
RB'＝RB·s'；
其中，LB'表示缩放处理后的PWL的左边界，LB表示缩放处理前的PWL的左边界，RB'表示缩放处理后的PWL的右边界，RB表示缩放处理前的PWL的右边界。
判断是否达到训练终止条件，若达到训练终止条件，则完成训练，得到目标神经网络 模型和量化参数。若没有达到训练终止条件，则返回继续执行步骤S1040。
示例性地，训练终止条件可以包括当前迭代次数达到目标迭代次数。
如图10所示，判断当前迭代次数是否达到目标迭代次数，若达到目标迭代次数，则完成训练，得到目标神经网络模型和量化参数。否则，返回继续执行步骤S1040。
应理解，图10中的训练终止条件仅为示例，还可设置其他训练终止条件，具体描述可以参考步骤S920中的描述，此处不再赘述。
根据本申请实施例的方案，通过对全精度的PWL模型进行量化训练，得到了量化后的权重，然后不断调整PWL的边界和模型的权重参数，以使PWL的中间区间的等效长度 不断逼近2的整数次幂，最终将PWL的中间区间的等效长度约束为2的整数次幂，实现 PWL的参数的量化。这样，在之后模型的量化推理过程中可以通过位移得到中间区间的 索引，避免了除法运算，硬件中无需设置除法器，可以降低成本。同时，相对于除法器而 言，利用位移得到目标区间的索引，能够减少计算量，降低功耗开销，提高推理效率。
图11示出了一种PWL模型的量化训练过程的前向传播过程的示意性流程图。图11中仅以当前网络层为卷积层为例进行说明，不对PWL模型中的网络层的类型构成限定。 图11中的PWL模型可以为步骤S920得到目标神经网络模型或方法1000训练得到的模型， 也可以是由其他训练方法训练得到的模型，本申请对此不做限定。
如图11所示，当前网络层的前向传播过程包括以下步骤。
(1)对当前网络层的输入特征X进行量化，得到当前网络层的量化后的输入特征图
Figure BDA0003153882280000271
对当前网络层的权重参数W进行量化，得到当前网络层的量化后的权重参数
Figure BDA0003153882280000272
图 11中的当前网络层为卷积层，W也可以称为卷积权重参数。
示例性地，当前网络层的量化后的输入特征图
Figure BDA0003153882280000273
可以满足如下公式：
Figure BDA0003153882280000274
SX为当前网络层的特征量化参数，可以通过现有的量化训练方法确定，例如LSQ等， round()表示计算与括号内的值最接近的整数。
或者，当前网络层的量化后的输入特征
Figure BDA0003153882280000275
可以满足如下公式：
Figure BDA0003153882280000276
其中，β和SX为当前网络层的特征量化参数，可以通过现有的量化训练方法确定，例如LSQ等。为了便于描述，本申请实施例中仅以该方式为例对量化推理过程进行说明， 若量化过程中不设置β，将后文中的β的值设置为0即可。
示例性地，当前网络层的量化后的权重参数
Figure BDA0003153882280000277
可以满足如下公式：
Figure BDA0003153882280000278
其中，SW为当前网络层的权重量化参数，可以通过现有的量化训练方法确定，例如LSQ等。
(2)基于当前网络层的量化后的权重参数W和量化后的输入特征
Figure BDA0003153882280000279
执行卷积操作，得到卷积操作的结果
Figure BDA00031538822800002710
示例性地，卷积操作的结果
Figure BDA00031538822800002711
满足如下公式：
Figure BDA00031538822800002712
应理解，本申请实施例中，*表示矩阵乘法运算或卷积运算。例如，若当前网络层为卷积层，则*表示卷积运算，若当前网络层为全连接层，则*表示矩阵乘法运算。
(3)对卷积操作的结果执行反量化操作和加卷积的偏置的操作，得到操作结果
Figure BDA00031538822800002717
示例性地，操作结果
Figure BDA00031538822800002713
满足如下公式：
Figure BDA00031538822800002714
其中，b表示当前网络层的偏置，若当前网络层为卷积层，则b为卷积的偏置。
需要说明的是，若当前网络层没有设置卷积的偏置，则步骤(3)可以包括：对卷积操作的结果执行反量化操作，得到操作结果
Figure BDA00031538822800002715
(4)利用PWL激活函数对步骤(3)得到的操作结果
Figure BDA00031538822800002716
进行处理，处理结果即为下 一个网络层的输入特征Z。
示例性地，下一个网络层的输入特征Z可以满足如下公式：
Figure BDA0003153882280000281
其中，Bi表示PWL中第i个区间的左端点，Ki表示PWL中第i个区间的斜率，Pi表 示PWL中第i个区间的左端点对应的函数值。
需要说明的是，该公式仅为示例，还可以通过其他形式的公式得到PWL的处理结果， 例如，将Ki表示为由PWL中的其他参数的计算结果。本申请实施例仅以上述形式的公式为例进行说明，不对本申请实施例的方案构成限定。
(5)对下一个网络层的输入特征Z进行量化，得到下一个网络层的量化后的输入特征
Figure BDA0003153882280000282
示例性地，下一个网络层的量化后的输入特征
Figure BDA0003153882280000283
可以满足如下公式：
Figure BDA0003153882280000284
SZ为下一个网络层的特征量化参数，可以通过现有的量化训练方法确定，例如LSQ等。
或者，下一个网络层的量化后的输入特征
Figure BDA0003153882280000285
可以满足如下公式：
Figure BDA0003153882280000286
其中，γ和SZ为下一个网络层的特征量化参数，可以通过现有的量化训练方法确定， 例如LSQ等。为了便于描述，本申请实施例中仅以该方式为例对量化推理过程进行说明， 若量化过程中不设置γ，将后文中的γ的值设置为0即可。
如图11所示，在前向传播过程中，在网络层的输出结果输入至PWL之前，需要对网络层的输出结果执行反量化操作，然后由PWL对反量化操作的结果进行处理，在该过程 中，需要进行较多的浮点运算，计算量较大。
图11中的卷积操作、反量化操作和量化操作均为线性操作，PWL在各个区间上是线性操作。因此，本申请实施例中，基于权重量化参数将量化训练后的PWL模型中的权重 参数进行量化，并将目标神经网络模型前向传播过程中依次执行的量化后的网络层的操 作、反量化操作、PWL的计算过程以及下一个网络层的特征的量化操作，得到目标神经 网络量化模型。或者，也可以理解为将网络层的权重参数、量化参数、PWL的参数以及 下一个网络层的量化参数分别基于PWL的多个区间进行融合，得到目标神经网络量化模 型。
下面对图11中目标神经网络模型前向传播过程中依次执行的量化后的网络层的操 作、反量化操作、PWL的计算过程以及下一个网络层的特征的量化操作的融合过程进行说明。
如前所示，下一个网络层的量化后的输入特征
Figure BDA0003153882280000287
可以满足如下公式：
Figure BDA0003153882280000288
由此，可以得出下一个网络层的量化后的输入特征图
Figure BDA0003153882280000289
可以满足如下公式：
Figure BDA0003153882280000291
其中，bias表示融合后的偏置，scalei表示第i个区间的融合缩放参数，offseti表示第 i个区间的融合偏移参数。
其中，bias满足如下公式：
Figure BDA0003153882280000292
scalei满足如下公式：
Figure BDA0003153882280000293
offseti满足如下公式：
Figure BDA0003153882280000294
输入至PWL中的数据所属的区间的确定方式可以根据需要设定。
示例性地，将输入至PWL中的数据与PWL的各个分界点的值进行比较，根据比较结果确定输入至PWL中的数据所属的区间。
具体地，输入至PWL中的数据所属的区间即为与输入至PWL中的数据距离最近的两个分界点之间的区间。
可替换地，在PWL的中间区间的长度相同的情况下，可以通过输入至PWL中的数据与左边界之间的距离确定。或者，可以通过输入至PWL中的数据与右边界之间的距离确 定。
例如，输入至PWL中的数据所属的区间的索引i满足如下公式：
Figure BDA0003153882280000295
由此得出，输入至PWL中的数据所属的区间的编号i满足如下公式：
Figure BDA0003153882280000301
其中，
Figure BDA0003153882280000302
满足如下公式：
Figure BDA0003153882280000303
进一步地，训练后的PWL模型中的PWL的中间区间的等效长度为2的整数次幂。这样，在计算i时，除以中间区间的等效长度的运算可以通过位移来实现，避免了利用除法 器执行除法运算。硬件中无需设置除法器，可以降低成本。同时，相对于除法器而言，利 用位移得到目标区间的索引，能够减少计算量，降低功耗开销，提高推理效率。
本申请实施例中的bias、scalei以及offseti是在量化推理开始前预先存储的，在量化推 理过程中，可以根据目标区间的索引i选择相应的参数，无需额外执行PWL计算流程， 减少了计算量，实现了PWL模型的完全量化推理，提高了推理效率。
应理解，以上推导过程仅以当前网络层为卷积层为例进行说明，若当前网络层为全连 接层，则将上述推导过程中的卷积运算替换为矩阵乘法运算即可。
将目标神经网络模型中的量化操作、反量化操作以及PWL的计算进行融合，或者说将网络层的权重参数、量化参数、PWL的参数以及下一个网络层的量化参数进行融合， 得到融合后的量化参数，相当于实现了PWL参数的量化。这样，将量化操作、反量化操 作与PWL的计算融合，在PWL量化模型的推理过程中，PWL的计算流程融合进量化过 程中，无需额外执行PWL的计算，能够简化硬件实现，降低硬件成本。而且，目标神经 网络量化模型中的参数均是由目标神经网络模型中的参数推导计算得到的，目标神经网络 模型理论上能够实现与目标神经网络模型相同的精度。
下面结合图12至图13对本申请实施例中的数据处理方法进行详细的描述。
图12示出了本申请实施例提供的数据处理方法1200。图12所示的方法可以由神经网络模型的执行装置来执行，该装置可以是云服务设备，也可以是终端设备，例如，电脑、服务器、车辆、无人机或机器人等运算能力足以用来执行该数据处理方法的装置，也可以是由云服务设备和终端设备构成的系统。示例性地，方法1200可以由图5中的执行设备110、图6中的神经网络处理器50或图7中的执行设备310或本地设备执行。方法1200 可以通过软件实现，也可以通过硬件实现。
示例性地，本申请实施例的方案能够内置于计算设备中，该计算设备可以是云服务设 备，也可以是终端设备。例如，本申请实施例的方案能够内置于终端中，即由终端执行本 申请实施例的方法。或者，本申请实施例的方案能够部署于计算设备上的应用程序(application，APP)中，例如，部署于终端上的APP中，即通过APP调用执行本申请实 施例的方法。
在本申请实施例中，方法1200也可以理解为一种神经网络模型的量化推理方法。
方法1200包括步骤S1210至步骤S1220。下面对步骤S1210至步骤S1220进行详细介绍。
S1210，获取待处理的数据。待处理的数据包括图像数据、音频数据或文本数据等。
待处理的数据的类型与神经网络模型的任务有关。例如，神经网络模型用于图像处理 任务，则该待处理的数据可以为图像。具体地，图像处理任务包括图像分类、图像检测、 图像分割、图像识别或图像生成等。再如，神经网络模型用于文本处理任务，则该待处理 的数据可以为文本。具体地，文本处理任务包括文本识别或文本翻译等。再如，神经网络模型用于音频处理任务，则该待处理的数据可以为音频数据。具体地，音频处理任务包括语音识别等。本申请实施例对待处理的数据的类型不做限定。
示例性地，待处理的数据为图像，待处理图像可以是终端设备(或者电脑、服务器等 其他装置或设备)通过摄像头拍摄到的图像，或者，该待处理图像还可以是从终端设备(或 者电脑、服务器等其他装置或设备)内部获得的图像(例如，终端设备的相册中存储的图 像，或者终端设备从云端获取的图像)，本申请实施例对此并不限定。
S1220，利用目标神经网络量化模型对待处理的数据进行处理，目标神经网络量化模 型包括多组融合参数。目标神经网络量化模型是通过对目标神经网络模型进行量化得到 的，目标神经网络模型的激活函数包括PWL，PWL包括多个区间，多组融合参数与多个 区间之间具有对应关系。
具体地，步骤S1220包括：根据待处理的数据确定目标指示信息；根据目标指示信息 从多组融合参数中获取与目标指示信息对应的目标融合参数，基于目标融合参数对待处理 的数据进行处理。
目标神经网络模型的激活函数包括一个或多个PWL。其中，一个PWL包括多个区间。也就是说，一个PWL对应多组融合参数。该多组融合参数分别是基于PWL的多个区间的 参数计算得到的。
该目标神经网络模型可以是通过量化训练得到的。也就是说，在模型中插入量化操作 和反量化操作进行量化训练，以提高量化训练后的模型的性能。
在示例性地，目标神经网络模型可以是通过方法900或方法1000得到的。或者，目标神经网络模型也可以是通过其他方法训练得到的。
示例性地，目标指示信息可以为目标区间的索引，也就是说，目标指示信息可以用于 指示目标区间。该目标区间属于一个PWL的多个区间。
目标指示信息是根据待处理的数据确定的，可以理解为，目标指示信息是根据待处理 的数据自身确定的，或者，可以理解为，目标指示信息是根据对待处理的数据进行处理后 的数据确定的。例如，对待处理的数据进行一个或多个网络层的处理，并根据处理后的结 果确定目标指示信息。
可选地，根据待处理的数据确定目标指示信息，包括：基于目标神经网络量化模型中 的第一网络层的权重参数对第一网络层的输入特征进行处理；根据第一网络层的处理结果 确定目标指示信息。第一网络层的输入特征是根据待处理的数据确定的。
多组融合参数可以是预先存储的。例如，该多组融合参数可以存储在缓存区(buffer) 中，在量化推理过程中，根据目标指示信息从buffer中获取相应的融合参数。
根据本申请实施例的方案，目标神经网络量化模型可以基于与PWL的多个区间对应 的多组融合参数进行处理，实现了模型的量化推理。具体地，多组融合参数是通过对目标 神经网络模型中的量化流程和PWL的计算过程进行融合后得到的，在推理过程可以基于多组融合参数得到模型的处理结果，无需额外执行PWL的计算，实现了模型的量化推理， 减少了计算量，提高了处理效率。从效果上来说，目标神经网络量化模型中实现了完全量 化，即不但实现了权重参数的量化，也实现PWL的参数的量化的处理效果。若方法1200 通过硬件实现，能够减少计算量，降低功耗开销，提高推理效率。
与采用ReLU作为激活函数的量化推理过程相比，采用PWL作为激活函数的量化推理过程中仅需要额外确定目标指示信息，并根据目标指示信息获取相应的融合参数进行计算。而采用PWL作为激活函数能够提高模型的性能。也就是说，采用PWL作为激活函数 的情况下，能够在不引入过多计算量的情况下，提高模型的性能。
可选地，多组融合参数是通过对目标神经网络模型的前向传播过程中依次执行的量化后的 网络层的操作、反量化操作、PWL的计算和下一个网络层的特征的量化操作基于该多个 区间分别进行融合得到的。
示例性地，网络层可以包括卷积层或全连接层等。
具体融合方式可以参考图11的相关描述，此处不再赘述。
示例性地，目标神经网络模型是通过量化训练得到的，在目标神经网络模型的前向传 播过程中，需要依次执行量化后的网络层1#的操作、反量化操作、网络层1#对应的PWL的计算以及网络层1#的下一个网络层的特征的量化操作，例如，如图11所示。将上述操 作融合，或者说，将上述操作的参数融合后得到多组融合参数，该多组融合参数与该PWL 的多个区间是一一对应的。
在目标神经网络模型的前向传播过程中，执行量化后的网络层1#的操作后，执行反 量化操作，根据反量化操作的结果确定PWL的目标区间，即反量化操作的结果落入当前PWL的定义域中的哪个区间，进而执行PWL的计算，并将PWL的计算结果作为下一个 网络层的输入特征，并对该输入特征执行下一个网络层的特征的量化操作。
在目标神经网络量化模型的推理过程中，执行量化后的网络层1#的操作后，根据操 作结果确定目标指示信息，目标指示信息可以指示目标区间的索引，进而根据该目标指示 信息从该多组融合参数中获取目标融合参数，并基于该目标融合参数进行处理。也就是说， 目标融合参数即为目标区间对应的融合参数。对于同样的待处理数据，理论上来说目标神 经网络量化模型的处理结果与目标神经网络模型的处理结果是一致的。
在本申请实施例的方案中，目标神经网络量化模型是通过将目标神经网络模型推理过 程中的量化操作、反量化操作以及PWL的计算流程进行融合后得到的，或者说，在目标神经网络量化模型的推理过程中，相当于将目标神经网络模型中的量化流程和PWL的计 算过程进行了融合，减少了计算量，提高了处理效率。同时简化了硬件实现，降低了实现 成本。而且，目标神经网络量化模型的多组融合参数是通过对目标神经网络模型中的操作 进行融合后实现的，理论上目标神经网络量化模型的推理精度与目标神经网络模型的精度一致。若目标神经网络模型是对全精度的神经网络模型量化训练后得到的，则目标神经网络量化模型能够达到与全精度的神经网络模型相近的推理精度。
在一种可能的实现方式中，步骤S1220包括步骤S1221至步骤S1225。图12中未示出。
S1221，基于目标神经网络量化模型中的第一网络层的权重参数对输入至第一网络层 的特征进行处理。
目标神经网络量化模型中的第一网络层的权重参数是通过对目标神经网络模型中的 第二网络层的权重参数进行量化得到的，第二网络层是目标神经网络模型中与目标神经网 络量化模型中的第一网络层对应的网络层，第一网络层的输入特征为量化后的特征。第一 网络层的输入特征是根据待处理的数据确定的。
第二网络层对应的激活函数为PWL。也就是说，第二网络层可以为目标神经网络模型中的任一网络层，只要该网络层对应的激活函数为PWL即可。
若将PWL看作一个单独的网络层，那么第二网络层对应的PWL是指第二网络层的下一个网络层，第二网络层的下一个网络层就是PWL层；若将PWL看作卷积层等网络层的 多步计算中的一步，那么第二网络层对应的PWL是指第二网络层执行的激活操作，该激 活操作所使用的激活函数是PWL。
应理解，本申请实施例中的“第一网络层”和“第二网络层”中的“第一”和“第二”仅用 于区分目标神经网络量化模型中的网络层以及目标神经网络模型中的网络层，不具有其他 限定作用。
具体地，第二网络层的量化参数包括第二网络层的权重量化参数和第二网络层的特征 量化参数。第二网络层的权重量化参数用于对第二网络层的权重参数进行量化，第二网络 层的特征量化参数用于对第二网络层的输入特征进行量化。
第一网络层的权重参数是基于第二网络层的权重量化参数对第二网络层的权重参数 进行量化得到的。
示例性地，第一网络层的权重参数满足如下公式：
Figure BDA0003153882280000331
Figure BDA0003153882280000332
表示第一网络层的权重参数，即第二网络层的量化后的权重参数，W表示第二网络层的权重参数，SW表示第二网络层的权重量化参数。若第二网络层为卷积层，则W也 可以称为第二网络层的卷积权重参数，
Figure BDA0003153882280000333
也可以称为第一网络层的卷积权重参数。
第一网络层的输入特征可以是基于第二网络层的特征量化参数对第二网络层的输入 特征进行量化得到的。
第一网络层的输入特征是根据待处理的数据确定的，可以理解为，第一网络层的输入 特征是对待处理的数据进行量化后得到的，或者，可以理解为，第一网络层的输入特征是 根据对待处理的数据进行处理后的数据确定的。例如，对待处理的数据进行一个或多个网 络层的处理，该处理结果可以理解为第二网络层的输入特征，基于第二网络层的特征量化 参数对该处理后的结果进行量化，得到第一网络层的输入特征，该一个或多个网络层为该 第一网络层之前的网络层。
示例性地，第一网络层的输入特征满足如下公式：
Figure BDA0003153882280000341
其中，
Figure BDA0003153882280000342
表示第一网络层的输入特征，即第二网络层的量化后的输入特征，X表示第 二网络层的输入特征，SX表示第二网络层的特征量化参数。
或者，第一网络层的输入特征可以满足如下公式：
Figure BDA0003153882280000343
其中，β和SX为第二网络层的特征量化参数。为了便于描述，本申请实施例中仅以该方式为例对量化推理过程进行说明，若量化过程中不设置β，将后文中的β的值设置为 0即可。
示例性地，第一网络层的处理结果满足如下公式：
Figure BDA0003153882280000344
其中，
Figure BDA0003153882280000345
表示第一网络层的处理结果。
S1222，基于融合偏置参数对第一网络层的处理结果进行处理，得到第一结果。
为了便于描述，在本申请实施例中，将基于融合偏置参数进行的处理称为执行偏置的 运算。
也就是说，步骤S1222可以理解为，基于融合偏置参数对第一网络层的处理结果执行 偏置的运算，得到第一结果。为了便于理解和描述，后文中将第一结果称为偏置运算的结 果。
具体地，步骤S1222包括：对融合偏置参数和第一网络层的处理结果执行加法运算或 减法运算。
可选地，融合偏置参数是根据以下至少一项确定的：第二网络层的权重参数、第二网 络层对应的PWL的参数或第二网络层的量化参数。
进一步地，在第二网络层包括偏置参数的情况下，融合偏置参数还可以根据第二网络 层的偏置参数确定。
可选地，融合偏置参数满足如下公式：
Figure BDA0003153882280000346
其中，bias表示融合偏置参数，LB表示第二网络层对应的PWL的参数中的左边界，b表示第二网络层的偏置参数。
示例性地，偏置运算的结果可以满足如下公式：
Figure BDA0003153882280000347
Figure BDA0003153882280000348
表示偏置运算的结果。
或者，如图13的(b)所示，步骤S1121和步骤S1122的结果也可以满足如下公式：
Figure BDA0003153882280000349
Figure BDA00031538822800003410
和bias均可以预先存储在buffer中，在执行步骤S1121和步骤S1122时可以从buffer 中获取
Figure BDA00031538822800003411
和bias，以便执行相应的运算。
S1223，确定目标指示信息。
如前所示，目标指示信息可以指示PWL中的目标区间，即输入PWL的数据落入的区间。
可选地，根据步骤S1222中偏置运算后的结果得到目标指示信息。
这样，可以充分利用步骤S1222中的计算结果，无需为了得到目标指示信息而进行其 他的计算，避免了不必要的计算，提高了处理效率。
可选地，根据偏置运算后的结果得到目标指示信息，包括：根据偏置运算后的结果与 第二网络层对应的PWL中的中间区间的等效长度计算得到目标指示信息，中间区间的等效长度是根据中间区间的长度和第二网络层的量化参数确定的。在该情况下，中间区间的长度可以是相等的。
可选地，中间区间的等效长度满足如下公式：
Figure BDA0003153882280000351
其中，
Figure BDA0003153882280000352
表示中间区间的等效长度，d表示中间区间的长度，SW表示第二网络层的权重量化参数，SX表示第二网络层的特征量化参数。
中间区间的长度可以根据PWL的左边界、右边界以及中间区间的数量确定，具体计算方法可以参考前文中的描述，此处不再赘述。
可选地，目标指示信息满足如下公式：
Figure BDA0003153882280000353
i表示目标指示信息，或者，也可以称为目标区间的索引，即第i个区间即为目标区间。
例如，如图13的(b)所示，根据偏置运算的结果计算目标指示信息。需要说明的是，图13的(b)中的i的取值仅为示例，具体的取值范围可以根据需要设置。
目标指示信息满足如下公式：
Figure BDA0003153882280000354
可选地，中间区间的等效长度为2的整数次幂。
这样，可以通过位移(shift)得到目标区间的索引，即目标指示信息。具体地，数据向右侧位移一位相当于除以2的运算，若中间区间的等效长度为2n，n为整数，在计算目 标区间的索引时，需要执行除以2n的运算，通过位移n位即可实现该运算，避免了利用除 法器执行除法运算。硬件中无需设置除法器，可以降低成本。同时，相对于除法器而言， 利用位移得到目标区间的索引，能够减少计算量，降低功耗开销，提高推理效率。
示例性地，目标神经网络模型可以是通过方法900得到的目标神经网络模型，或者， 也可以是通过方法1000得到的目标神经网络模型。
或者，根据第一网络层的处理结果和第二网络层对应的PWL中的各个分界点确定目 标指示信息。各个分界点的等效值可以是根据各个分界点的值和第二网络层的量化参数确 定的。
例如，将第一网络层的处理结果执行反量化操作，并将反量化操作的结果与各个分界 点进行比较，得到目标指示信息。
S1224，根据目标指示信息获取目标融合参数中的目标融合缩放参数，基于目标融合 缩放参数对第一结果进行处理，得到第二结果。
也就是说，通过目标指示信息确定采用哪个区间对应的融合缩放参数，即目标融合缩 放参数。
为了便于描述，在本申请实施例中，将基于目标融合缩放参数进行的处理称为缩放处 理。
也就是说，基于目标融合缩放参数对第一结果进行处理，可以理解为，基于目标融合 缩放参数对第一结果执行缩放处理，得到第二结果。为了便于描述和理解，后文中将第二 结果称为缩放处理的结果。
具体地，基于目标融合缩放参数对第一结果执行缩放处理，包括：对目标融合缩放参 数和第一结果执行乘法运算或除法运算。
融合参数包括融合缩放参数和融合偏移参数。
目标融合参数为多组融合参数中的一组，相应地，目标融合缩放参数为多个融合缩放 参数中的一个。根据目标指示信息可以从多个融合缩放参数中获取对应的融合缩放参数， 即目标融合缩放参数。
例如，目标指示信息可以为目标区间的索引。PWL的多个区间的索引与多个融合缩放参数之间具有对应关系，根据目标区间的索引以及该对应关系即可获取目标融合缩放参数。
例如，如图13的(b)所示，根据目标区间的索引i获取目标融合缩放参数scalei。
可选地，目标融合缩放参数是根据以下至少一项确定的：第二网络层对应的PWL的参数、第二网络层的量化参数或第二网络层之后相邻的网络层的量化参数。
第二网络层之后相邻的网络层的量化参数包括第二网络层之后相邻的网络层的特征 量化参数。
可选地，目标融合缩放参数满足如下公式：
Figure BDA0003153882280000361
其中，scalei表示目标融合缩放参数。SZ表示第二网络层的下一个网络层的特征量化 参数，Ki表示第二网络层对应的PWL中的第i个区间的斜率。
S1224，根据目标指示信息获取目标融合参数中的目标融合偏移参数，基于目标融合 偏移参数对第二结果进行处理，得到第三结果。
为了便于描述，在本申请实施例中，将基于目标融合偏移参数进行的处理称为偏移处 理。
也就是说，基于目标融合偏移参数对第二结果进行处理，可以理解为，基于目标融合 偏移参数对第二结果执行偏移处理，得到第三结果。为了便于描述和理解，后文中将第三 结果称为偏移处理的结果。
具体地，基于目标融合偏移参数对第一结果执行偏移处理，包括：对目标融合偏移参 数和第二结果执行加法运算或减法运算。
也就是说，通过目标指示信息确定采用哪个区间对应的融合偏移参数，即目标融合偏 移参数。
目标融合参数为多组融合参数中的一组，相应地，目标融合偏移参数为多个融合偏移 参数中的一个。根据目标指示信息可以从多个融合偏移参数中获取对应的融合偏移参数， 即目标融合偏移参数。
例如，目标指示信息可以为目标区间的索引。PWL的多个区间的索引与多个融合偏移参数之间具有对应关系，根据目标区间的索引以及该对应关系即可获取目标融合偏移参数。
例如，如图13的(b)所示，根据目标区间的索引i获取目标融合偏移参数offseti。
融合偏移参数是根据以下至少一项确定的：第二网络层对应的PWL的参数或第二网 络层之后相邻的网络层的量化参数。
可选地，目标融合偏移参数满足如下公式：
Figure BDA0003153882280000371
其中，offseti表示目标融合偏移参数，i表示目标指示信息。SZ和γ表示第二网络层 的下一个网络层的特征量化参数，Ki表示第二网络层对应的PWL中第i个区间的斜率。Bi表示第二网络层对应的PWL中第i个区间的左端点。
进一步地，步骤S1220还包括步骤S1226。
S1226，对偏移处理后的结果进行取整处理。取整处理的结果即为第一网络层的下一 个网络层的输入特征。
示例性地，第一网络层的下一个网络层的输入特征满足如下公式：
Figure BDA0003153882280000372
Figure BDA0003153882280000373
表示第一网络层的下一个网络层的输入特征。
或者，第一网络层的下一个网络层的输入特征也可以满足如下公式：
Figure BDA0003153882280000374
可替换地，步骤S1224还包括：对缩放处理后的结果进行取整处理。
在该情况下，步骤S1125包括：基于目标融合偏移参数对取整处理后的结果进行偏移 处理，得到的结果即为第一网络层的下一个网络层的输入特征。
示例性地，第一网络层之后的网络层的输入特征满足如下公式：
Figure BDA0003153882280000375
或者，如图13的(b)所示，第一网络层的下一个网络层的输入特征可以满足如下公式：
Figure BDA0003153882280000376
取整处理在缩放处理后执行与取整处理在偏移处理后执行得到的结果相差较小。也就 是说，本申请实施例中，取整处理可以在缩放处理后执行，也可以在偏移处理后执行，本 申请实施例对此不做限定。
在目标神经网络量化模型的推理过程中的参数可以是通过前文中的方法预先计算得 到的。例如，bias、scalei、offseti以及d均是基于目标神经网络模型中的参数预先计算得 到的。
为了进行对比，图13的(a)中还示出了采用ReLU作为激活函数时的量化推理过程。与采用ReLU作为激活函数的量化推理过程相比，采用PWL作为激活函数的量化推理过 程中需要确定目标指示信息，并根据目标指示信息获取相应的融合参数进行计算，当PWL 的中间区间的等效长度为2的整数次幂时，可以通过位移得到目标中间区间的索引，不会 增加过多的计算量。而采用PWL作为激活函数能够提高模型的性能。也就是说，采用PWL 作为激活函数的情况下，能够在不引入过多计算量的情况下，提高模型的性能。
应理解，图13中仅以一个卷积层的量化推理过程作为示例，目标神经网络量化模型 中还可以包括其他网络层，本申请实施例对此不做限定。
此外，也可以采用其他方式实现步骤S1220，具体的处理方式与融合参数的具体表现 形式有关。
可以理解方法900为PWL模型的量化训练阶段(如图5所示的训练设备120执行的阶段)，具体训练是采用由方法900中提供的神经网络模型进行的；而方法1200则可以 理解为是模型的应用阶段(如图5所示的执行设备110执行的阶段)，具体可以体现对采 用由方法900训练得到目标神经网络模型进行量化处理，并根据输入的待处理数据，得到 输出结果。需要说明的是，方法1200也可以不采用由方法900训练得到的目标神经网络 模型。
下面结合图14至图17对本申请实施例的装置进行说明。应理解，下面描述的装置能 够执行前述本申请实施例的方法，为了避免不必要的重复，下面在介绍本申请实施例的装 置时适当省略重复的描述。
图14是本申请实施例的神经网络模型的训练装置的示意性框图。图14所示的神经网 络模型的训练装置3000包括获取单元3010和处理单元3020。
获取单元3010和处理单元3020可以用于执行本申请实施例的神经网络模型的训练方 法，具体地，可以用于执行方法900或方法1000。
获取单元3010用于获取神经网络模型，神经网络模型的激活函数包括分段线性函数 PWL，PWL包括多个区间.
处理单元3020，用于：基于训练数据对神经网络模型进行训练，得到目标神经网络模型，训练数据包括：图像数据，音频数据或者文本数据；对目标神经网络模型进行处理，得到目标神经网络量化模型，目标神经网络量化模型包括多组融合参数，多组融合参数与目标神经网络模型中的PWL的多个区间之间具有对应关系。
可选地，作为一个实施例，处理单元3020具体用于：根据目标神经网络模型中的PWL 的多个区间的参数、神经网络模型的权重量化参数和特征量化参数获取多组融合参数，以 得到目标神经网络量化模型，神经网络模型的权重量化参数和特征量化参数是通过量化训 练得到的。
可选地，作为一个实施例，处理单元3020具体用于：基于训练数据对神经网络模型进行训练；调整训练后的神经网络模型中的PWL的中间区间的长度，得到调整后的神经 网络模型，根据调整后的神经网络模型得到目标神经网络模型。
可选地，作为一个实施例，处理单元3020具体用于：根据中间区间的等效长度确定训练后的神经网络模型中的PWL的目标缩放系数，中间区间的等效长度是根据训练后的 神经网络模型中的PWL的中间区间的长度、神经网络模型的权重量化参数和特征量化参 数确定的；基于目标缩放系数调整训练后的神经网络模型中的目标网络层的参数以及训练 后的神经网络模型中的PWL的中间区间的长度，得到调整后的神经网络模型，目标网络 层与训练后的神经网络模型中的PWL对应。
可选地，作为一个实施例，处理单元3020具体用于：根据中间区间的等效长度和与中间区间的等效长度距离最近的2的整数次幂确定目标缩放系数。
图15是本申请实施例提供的数据处理装置4000的示意性框图。图15所示的数据处理装置4000包括获取单元4010和处理单元4020。
获取单元4010和处理单元4020可以用于执行本申请实施例的数据处理方法，例如， 可以用于执行方法1200。
获取单元4010用于获取待处理的数据，所述数据包括：图像数据，音频数据或者文本数据。
处理单元4020用于利用目标神经网络量化模型对待处理的数据进行处理，目标神经 网络量化模型包括多组融合参数，目标神经网络量化模型是通过对目标神经网络模型进行 量化得到的，目标神经网络模型的激活函数包括分段线性函数PWL，PWL包括多个区间， 多组融合参数与多个区间之间具有对应关系。
可选地，作为一个实施例，处理单元4020具体用于：根据待处理的数据确定目标指示信息；根据目标指示信息从多组融合参数中获取与目标指示信息对应的目标融合参数，基于目标融合参数对待处理的数据进行处理。
可选地，作为一个实施例，处理单元4020具体用于：基于目标神经网络量化模型中的第一网络层的权重参数对第一网络层的输入特征进行处理，第一网络层的输入特征是根据待处理的数据确定的；根据第一网络层的处理结果确定目标指示信息。
可选地，作为一个实施例，第一网络层的权重参数是通过对目标神经网络模型中的第 二网络层的权重参数进行量化得到的，第二网络层是目标神经网络模型中的与第一网络层 对应的网络层，以及处理单元4020具体用于：基于融合偏置参数对第一网络层的处理结 果进行处理，得到第一结果；根据第一结果与第二网络层对应的PWL的多个区间中的中 间区间的等效长度计算得到目标指示信息，中间区间的等效长度是根据中间区间的长度和 第二网络层的量化参数确定的。
可选地，作为一个实施例，中间区间的等效长度为2的整数次幂。
可选地，作为一个实施例，处理单元4020具体用于：根据目标指示信息获取目标融合参数中的目标融合缩放参数，基于目标融合缩放参数对第一结果进行处理，得到第二结果；根据目标指示信息获取目标融合参数中的目标融合偏移参数，基于目标融合偏移参数对第二结果进行处理，得到第三结果。
可选地，作为一个实施例，处理单元4020还用于：对第三结果执行取整处理。
可选地，作为一个实施例，处理单元4020还用于：对第二结果执行取整处理以得到取整后的第二结果；处理单元4020具体用于：基于目标融合偏移参数对取整处理后的第 二结果进行处理，得到第三结果。
需要说明的是，上述训练装置3000以及装置4000以功能单元的形式体现。这里的术 语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。
例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、 用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器 等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件 和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的 特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所 描述的功能，但是这种实现不应认为超出本申请的范围。
图16是本申请实施例提供的神经网络模型的训练装置的硬件结构示意图。图16所示 的神经网络模型的训练装置5000(该装置5000具体可以是一种计算机设备)包括存储器5001、处理器5002、通信接口5003以及总线5004。其中，存储器5001、处理器5002、 通信接口5003通过总线5004实现彼此之间的通信连接。
存储器5001可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器5001可以存储程序， 当存储器5001中存储的程序被处理器5002执行时，处理器5002用于执行本申请实施例 的神经网络模型的训练方法的各个步骤。具体地，处理器5002可以执行上文中图9所示 的方法中的步骤S920至步骤S930，或者执行上文中图10所示的步骤S1010至步骤S1090。
处理器5002可以采用通用的中央处理器(central processing unit，CPU)，微处理器， 应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请方法 实施例的神经网络模型的训练方法。
处理器5002还可以是一种集成电路芯片，具有信号的处理能力，例如，可以是图6所示的芯片。在实现过程中，本申请的神经网络模型的训练方法的各个步骤可以通过处理器5002中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器5002还可以是通用处理器、数字信号处理器(digital signalprocessing， DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执 行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该 处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体 现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软 件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程 存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器5001，处理器5002 读取存储器5001中的信息，结合其硬件完成图14所示的训练装置中包括的单元所需执行 的功能，或者，执行本申请方法实施例的图9或图10所示的神经网络模型的训练方法。
通信接口5003使用例如但不限于收发器一类的收发装置，来实现装置5000与其他设 备或通信网络之间的通信。例如，可以通过通信接口5003获取训练数据或者神经网络模型。
总线5004可包括在装置5000各个部件(例如，存储器5001、处理器5002、通信接 口5003)之间传送信息的通路。
图17是本申请实施例的数据处理装置的硬件结构示意图。图17所示的数据处理装置 6000包括存储器6001、处理器6002、通信接口6003以及总线6004。其中，存储器6001、 处理器6002、通信接口6003通过总线6004实现彼此之间的通信连接。
存储器6001可以是ROM，静态存储设备和RAM。存储器6001可以存储程序，当存 储器6001中存储的程序被处理器6002执行时，处理器6002和通信接口6003用于执行本 申请实施例的数据处理方法的各个步骤。具体地，处理器6002可以执行上文中图12所示 的方法中的步骤S1220。
处理器6002可以采用通用的，CPU，微处理器，ASIC，GPU或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的数据处理装置中的单元所需执行的功能，或者执行本申请方法实施例的数据处理方法。
处理器6002还可以是一种集成电路芯片，具有信号的处理能力，例如，可以是图6所示的芯片。在实现过程中，本申请实施例的数据处理方法的各个步骤可以通过处理器6002中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器6002还可以是通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领 域成熟的存储介质中。该存储介质位于存储器6001，处理器6002读取存储器6001中的 信息，结合其硬件完成本申请实施例的数据处理装置中包括的单元所需执行的功能，或者 执行本申请方法实施例的数据处理方法。
通信接口6003使用例如但不限于收发器一类的收发装置，来实现装置6000与其他设 备或通信网络之间的通信。例如，可以通过通信接口6003获取待处理的数据。
总线6004可包括在装置6000各个部件(例如，存储器6001、处理器6002、通信接 口6003)之间传送信息的通路。
应注意，尽管上述装置5000和装置6000仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置5000和装置6000还可以包括实 现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置 5000和装置6000还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当 理解，装置5000和装置6000也可仅仅包括实现本申请实施例所必须的器件，而不必包括 图16和图17中所示的全部器件。
应理解，本申请实施例中的处理器可以为中央处理单元(central processingunit，CPU)， 该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专 用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、 分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器 等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包 括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只 读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)， 其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随 机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、 双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强 型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存 储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM， DR RAM)。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使 用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机 程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指 令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机 可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可 以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存 储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通 过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质 可以是固态硬盘。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B 这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关 联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后 文进行理解。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下 至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项 (个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或 a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的 先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程 构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及 算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以 硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可 以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本 申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装 置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通 过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显 示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的 部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络 单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各 个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储 在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现 有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机 软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计 算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而 前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的 介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟 悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖 在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (25)

1.一种数据处理方法，其特征在于，包括：
获取待处理的数据，所述数据包括：图像数据，音频数据或者文本数据；
利用目标神经网络量化模型对所述待处理的数据进行处理，所述目标神经网络量化模型包括多组融合参数，所述目标神经网络量化模型是通过对目标神经网络模型进行量化得到的，所述目标神经网络模型的激活函数包括分段线性函数PWL，所述PWL包括多个区间，所述多组融合参数与所述多个区间之间具有对应关系。
2.根据权利要求1所述的方法，其特征在于，所述利用目标神经网络量化模型对所述待处理的数据进行处理，包括：
根据所述待处理的数据确定目标指示信息；
根据所述目标指示信息从所述多组融合参数中获取与所述目标指示信息对应的目标融合参数，基于所述目标融合参数对所述待处理的数据进行处理。
3.根据权利要求2所述的方法，其特征在于，所述根据所述待处理的数据确定目标指示信息，包括：
基于所述目标神经网络量化模型中的第一网络层的权重参数对所述第一网络层的输入特征进行处理，所述第一网络层的输入特征是根据所述待处理的数据确定的；
根据所述第一网络层的处理结果确定所述目标指示信息。
4.根据权利要求3所述的方法，其特征在于，所述第一网络层的权重参数是通过对所述目标神经网络模型中的第二网络层的权重参数进行量化得到的，所述第二网络层是所述目标神经网络模型中的与所述第一网络层对应的网络层，以及
所述根据所述第一网络层的处理结果确定目标指示信息，包括：
基于融合偏置参数对所述第一网络层的处理结果进行处理，得到第一结果；
根据所述第一结果与所述第二网络层对应的PWL的所述多个区间中的中间区间的等效长度计算得到目标指示信息，所述中间区间的等效长度是根据所述中间区间的长度和所述第二网络层的量化参数确定的。
5.根据权利要求4所述的方法，其特征在于，所述中间区间的等效长度为2的整数次幂。
6.一种神经网络模型的训练方法，其特征在于，包括：
获取神经网络模型，所述神经网络模型的激活函数包括分段线性函数PWL，所述PWL包括多个区间；
基于训练数据对所述神经网络模型进行训练，得到目标神经网络模型，所述训练数据包括：图像数据，音频数据或者文本数据；
对所述目标神经网络模型进行处理，得到目标神经网络量化模型，所述目标神经网络量化模型包括多组融合参数，所述多组融合参数与所述目标神经网络模型中的PWL的多个区间之间具有对应关系。
7.根据权利要求6所述的训练方法，其特征在于，所述对所述目标神经网络模型进行处理，得到目标神经网络量化模型，包括：
根据所述目标神经网络模型中的PWL的多个区间各自的参数、所述神经网络模型的权重量化参数和特征量化参数获取所述多组融合参数，以得到所述目标神经网络量化模型，所述神经网络模型的权重量化参数和特征量化参数是通过量化训练得到的。
8.根据权利要求6或7所述的训练方法，其特征在于，所述基于训练数据对所述神经网络模型进行训练，得到目标神经网络模型，包括：
基于训练数据对所述神经网络模型进行训练；
调整所述训练后的神经网络模型中的PWL的中间区间的长度，得到调整后的神经网络模型；
根据所述调整后的神经网络模型得到所述目标神经网络模型。
9.根据权利要求8所述的训练方法，其特征在于，所述调整所述训练后的神经网络模型中的PWL的中间区间的长度，得到调整后的神经网络模型，包括：
根据所述训练后的神经网络模型中的PWL的中间区间的等效长度确定所述训练后的神经网络模型中的PWL的目标缩放系数，所述中间区间的等效长度是根据所述训练后的神经网络模型中的PWL的中间区间的长度、所述神经网络模型的权重量化参数和特征量化参数确定的；
基于所述目标缩放系数调整所述训练后的神经网络模型中的目标网络层的参数以及所述训练后的神经网络模型中的PWL的中间区间的长度，得到所述调整后的神经网络模型，所述目标网络层与所述训练后的神经网络模型中的PWL对应。
10.根据权利要求9所述的训练方法，其特征在于，所述根据所述训练后的神经网络模型中的PWL的中间区间的等效长度确定所述训练后的神经网络模型中的PWL的目标缩放系数，包括：
根据所述中间区间的等效长度和与所述中间区间的等效长度距离最近的2的整数次幂确定所述目标缩放系数。
11.一种数据处理装置，其特征在于，包括：
获取单元，用于获取待处理的数据，所述数据包括：图像数据，音频数据或者文本数据；
处理单元，用于利用目标神经网络量化模型对所述待处理的数据进行处理，所述目标神经网络量化模型包括多组融合参数，所述目标神经网络量化模型是通过对目标神经网络模型进行量化得到的，所述目标神经网络模型的激活函数包括分段线性函数PWL，所述PWL包括多个区间，所述多组融合参数与所述多个区间之间具有对应关系。
12.根据权利要求11所述的装置，其特征在于，所述处理单元具体用于：
根据所述待处理的数据确定目标指示信息；
根据所述目标指示信息从所述多组融合参数中获取与所述目标指示信息对应的目标融合参数，基于所述目标融合参数对所述待处理的数据进行处理。
13.根据权利要求12所述的装置，其特征在于，所述处理单元具体用于：
基于所述目标神经网络量化模型中的第一网络层的权重参数对所述第一网络层的输入特征进行处理，所述第一网络层的输入特征是根据所述待处理的数据确定的；
根据所述第一网络层的处理结果确定所述目标指示信息。
14.根据权利要求13所述的装置，其特征在于，所述第一网络层的权重参数是通过对所述目标神经网络模型中的第二网络层的权重参数进行量化得到的，所述第二网络层是所述目标神经网络模型中的与所述第一网络层对应的网络层，以及
所述处理单元具体用于：
基于融合偏置参数对所述第一网络层的处理结果进行处理，得到第一结果；
根据所述第一结果与所述第二网络层对应的PWL中的所述多个区间中的中间区间的等效长度计算得到目标指示信息，所述中间区间的等效长度是根据所述中间区间的长度和所述第二网络层的量化参数确定的。
15.根据权利要求14所述的装置，其特征在于，所述中间区间的等效长度为2的整数次幂。
16.一种神经网络模型的训练装置，其特征在于，包括：
获取单元，用于获取神经网络模型，所述神经网络模型的激活函数包括分段线性函数PWL，所述PWL包括多个区间；
处理单元，用于：
基于训练数据对所述神经网络模型进行训练，得到目标神经网络模型，所述训练数据包括：图像数据，音频数据或者文本数据；
对所述目标神经网络模型进行处理，得到目标神经网络量化模型，所述目标神经网络量化模型包括多组融合参数，所述多组融合参数与所述目标神经网络模型中的PWL的多个区间之间具有对应关系。
17.根据权利要求16所述的训练装置，其特征在于，所述处理单元具体用于：根据所述目标神经网络模型中的PWL的多个区间的参数、所述神经网络模型的权重量化参数和特征量化参数获取所述多组融合参数，以得到所述目标神经网络量化模型，所述神经网络模型的权重量化参数和特征量化参数是通过量化训练得到的。
18.根据权利要求16或17所述的训练装置，其特征在于，所述处理单元具体用于：
基于训练数据对所述神经网络模型进行训练；
调整所述训练后的神经网络模型中的PWL的中间区间的长度，得到调整后的神经网络模型；
根据所述调整后的神经网络模型得到所述目标神经网络模型。
19.根据权利要求18所述的训练装置，其特征在于，所述处理单元具体用于：
根据所述训练后的神经网络模型中的PWL的中间区间的等效长度确定所述训练后的神经网络模型中的PWL的目标缩放系数，所述中间区间的等效长度是根据所述训练后的神经网络模型中的PWL的中间区间的长度、所述神经网络模型的权重量化参数和特征量化参数确定的；
基于所述目标缩放系数调整所述训练后的神经网络模型中的目标网络层的参数以及所述训练后的神经网络模型中的PWL的中间区间的长度，得到所述调整后的神经网络模型，所述目标网络层与所述训练后的神经网络模型中的PWL对应。
20.根据权利要求19所述的训练装置，其特征在于，所述处理单元具体用于：
根据所述中间区间的等效长度和与所述中间区间的等效长度距离最近的2的整数次幂确定所述目标缩放系数。
21.一种数据处理装置，其特征在于，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行权利要求1至5中任一项所述的方法。
22.一种神经网络模型的训练装置，其特征在于，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行权利要求6至10中任一项所述的方法。
23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储用于设备执行的程序代码，该程序代码包括用于执行如权利要求1至5或6至10中任一项所述的方法。
24.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至5或6至10中任一项所述的方法。
25.一种芯片，其特征在于，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，以执行如权利要求1至5或6至10中任一项所述的方法。
CN202110771795.6A 2021-07-08 2021-07-08 数据处理方法、神经网络模型的训练方法及装置 Pending CN115601692A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110771795.6A CN115601692A (zh) 2021-07-08 2021-07-08 数据处理方法、神经网络模型的训练方法及装置
EP22836864.3A EP4318313A1 (en) 2021-07-08 2022-07-04 Data processing method, training method for neural network model, and apparatus
PCT/CN2022/103691 WO2023280113A1 (zh) 2021-07-08 2022-07-04 数据处理方法、神经网络模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110771795.6A CN115601692A (zh) 2021-07-08 2021-07-08 数据处理方法、神经网络模型的训练方法及装置

Publications (1)

Publication Number Publication Date
CN115601692A true CN115601692A (zh) 2023-01-13

Family

ID=84801084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110771795.6A Pending CN115601692A (zh) 2021-07-08 2021-07-08 数据处理方法、神经网络模型的训练方法及装置

Country Status (3)

Country Link
EP (1) EP4318313A1 (zh)
CN (1) CN115601692A (zh)
WO (1) WO2023280113A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116451770A (zh) * 2023-05-19 2023-07-18 北京百度网讯科技有限公司 神经网络模型的压缩方法、训练方法、处理方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579400B (zh) * 2023-05-19 2024-02-23 北京百度网讯科技有限公司 深度学习模型的量化方法、数据处理方法和装置
CN116662593B (zh) * 2023-07-21 2023-10-27 湖南大学 一种基于fpga的全流水线医药高光谱图像神经网络分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11775611B2 (en) * 2019-11-01 2023-10-03 Samsung Electronics Co., Ltd. Piecewise quantization for neural networks
CN111047007B (zh) * 2019-11-06 2021-07-30 北京中科胜芯科技有限公司 一种针对量化后的lstm的激活函数计算单元
CN111382860A (zh) * 2019-11-13 2020-07-07 南京航空航天大学 一种lstm网络的压缩加速方法及fpga加速器
CN111507465B (zh) * 2020-06-16 2020-10-23 电子科技大学 一种可配置的卷积神经网络处理器电路

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116451770A (zh) * 2023-05-19 2023-07-18 北京百度网讯科技有限公司 神经网络模型的压缩方法、训练方法、处理方法和装置
CN116451770B (zh) * 2023-05-19 2024-03-01 北京百度网讯科技有限公司 神经网络模型的压缩方法、训练方法、处理方法和装置

Also Published As

Publication number Publication date
EP4318313A1 (en) 2024-02-07
WO2023280113A1 (zh) 2023-01-12

Similar Documents

Publication Publication Date Title
CN110175671B (zh) 神经网络的构建方法、图像处理方法及装置
CN112418392A (zh) 一种神经网络构建方法以及装置
CN113011575A (zh) 神经网络模型更新方法、图像处理方法及装置
CN112445823A (zh) 神经网络结构的搜索方法、图像处理方法和装置
CN114255361A (zh) 神经网络模型的训练方法、图像处理方法及装置
CN113705769A (zh) 一种神经网络训练方法以及装置
CN112183718A (zh) 一种用于计算设备的深度学习训练方法和装置
CN113326930B (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
WO2022001805A1 (zh) 一种神经网络蒸馏方法及装置
CN115601692A (zh) 数据处理方法、神经网络模型的训练方法及装置
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
CN112308200A (zh) 神经网络的搜索方法及装置
CN110222718B (zh) 图像处理的方法及装置
CN112215332A (zh) 神经网络结构的搜索方法、图像处理方法和装置
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN114492723A (zh) 神经网络模型的训练方法、图像处理方法及装置
CN113592060A (zh) 一种神经网络优化方法以及装置
CN111797882A (zh) 图像分类方法及装置
CN112561028A (zh) 训练神经网络模型的方法、数据处理的方法及装置
CN112883149A (zh) 一种自然语言处理方法以及装置
CN113505883A (zh) 一种神经网络训练方法以及装置
CN114698395A (zh) 神经网络模型的量化方法和装置、数据处理的方法和装置
CN112529146A (zh) 神经网络模型训练的方法和装置
CN115081588A (zh) 一种神经网络参数量化方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination