CN111368972B - 一种卷积层量化方法及其装置 - Google Patents

一种卷积层量化方法及其装置 Download PDF

Info

Publication number
CN111368972B
CN111368972B CN202010109185.5A CN202010109185A CN111368972B CN 111368972 B CN111368972 B CN 111368972B CN 202010109185 A CN202010109185 A CN 202010109185A CN 111368972 B CN111368972 B CN 111368972B
Authority
CN
China
Prior art keywords
value
convolutional neural
neural network
probability
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010109185.5A
Other languages
English (en)
Other versions
CN111368972A (zh
Inventor
韩凯
杨朝晖
王云鹤
许春景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010109185.5A priority Critical patent/CN111368972B/zh
Publication of CN111368972A publication Critical patent/CN111368972A/zh
Priority to PCT/CN2021/076983 priority patent/WO2021164750A1/zh
Application granted granted Critical
Publication of CN111368972B publication Critical patent/CN111368972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开了一种卷积层量化方法，应用于人工智能领域，包括：获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，第一卷积神经网络包括目标卷积层，目标卷积层包括权重值，权重值对应于N个概率值，N个概率值中的每个概率值对应一个候选量化值，权重值为根据N个概率值和N个候选量化值确定的量化期望值；通过第一卷积神经网络对图像数据进行处理，得到第二卷积神经网络，第二卷积神经网络包括更新后的权重值；对更新后的权重值进行权重量化，得到第三卷积神经网络。本申请可以提高网络参数的更新精度。

Description

一种卷积层量化方法及其装置
技术领域
本申请涉及人工智能领域，尤其涉及一种卷积层量化方法及其装置。
背景技术
深度卷积神经网络在训练完成后拥有几百甚至上千万的参数，例如，卷积神经网络模型参数中包括的权重参数和偏置参数，还有每一层卷积层的特征图参数等。并且模型参数和特征图参数的存储都是基于32位比特进行的。由于参数较多并且数据量较大，整个卷积计算过程需要消耗大量的存储和计算资源。而深度卷积神经网络的发展朝着“更深、更大、更复杂”的方向发展，就深度卷积神经网络的模型尺寸来说，根本无法移植到手机端或嵌入式芯片当中，就算是想通过网络传输，较高的带宽占用率也往往成为工程实现的难题。
目前，对于在不降低卷积神经网络精度的前提下降低卷积神经网络的复杂度的解决方案主要是利用对卷积神经网络的参数进行量化的方法实现。但是目前量化的方法使用直通估计器(straight through estimator，STE)来近似计算网络参数的梯度，这个梯度是不准确的，进而会影响网络参数的更新精度。
发明内容
第一方面，本申请提供了一种卷积层量化方法，所述方法包括：
获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。
可选地，在第一方面的一种设计中，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述根据目标损失函数迭代更新所述权重值，包括：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
可选地，在第一方面的一种设计中，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述通过所述第一卷积神经网络对所述图像数据进行处理，包括：
通过所述第一卷积神经网络对所述图像数据进行多次前馈处理，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
可选地，在第一方面的一种设计中，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
可选地，在第一方面的一种设计中，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述方法还包括：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；
对所述M个所述第五神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，所述第二BN层用于根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
可选地，在第一方面的一种设计中，所述预设函数为如下函数：
其中，所述Pi为第i个候选量化值对应的概率值，所述Wpi为与所述第i个候选量化值对应的隐藏变量，所述τ为温度系数。
可选地，在第一方面的一种设计中，所述权重值为基于如下方式计算得到：
其中，所述Wq为所述权重值，所述vi为第i个候选量化值，所述Pi为第i个候选量化值对应的概率值。
第二方面，本申请提供了一种卷积层量化方法，所述方法包括：
获取第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
对所述第一卷积神经网络进行前馈，并根据目标损失函数迭代更新所述权重值，直到所述目标损失满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。
可选地，在第二方面的一种设计中，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述根据目标损失函数迭代更新所述权重值，包括：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
可选地，在第二方面的一种设计中，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述对所述第一卷积神经网络进行前馈，包括：
对所述第一卷积神经网络进行多次前馈，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
可选地，在第二方面的一种设计中，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
可选地，在第二方面的一种设计中，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述方法还包括：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；
对所述M个所述第五神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，所述第二BN层用于根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
可选地，在第二方面的一种设计中，所述预设函数为如下函数：
其中，所述Pi为第i个候选量化值对应的概率值，所述Wpi为与所述第i个候选量化值对应的隐藏变量，所述τ为温度系数。
可选地，在第二方面的一种设计中，所述权重值为基于如下方式计算得到：
其中，所述Wq为所述权重值，所述vi为第i个候选量化值，所述Pi为第i个候选量化值对应的概率值。
第三方面，本申请提供了一种卷积层量化装置，所述装置包括：
获取模块，用于获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
训练模块，用于通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
权重值量化模块，用于对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。
可选地，在第三方面的一种设计中，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述训练模块，具体用于：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
可选地，在第三方面的一种设计中，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述训练模块，具体用于：
通过所述第一卷积神经网络对所述图像数据进行多次前馈处理，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
可选地，在第三方面的一种设计中，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
可选地，在第三方面的一种设计中，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述权重值量化模块还用于：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；
对所述M个所述第五神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，所述第二BN层用于根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
可选地，在第三方面的一种设计中，所述预设函数为如下函数：
其中，所述Pi为第i个候选量化值对应的概率值，所述Wpi为与所述第i个候选量化值对应的隐藏变量，所述τ为温度系数。
可选地，在第三方面的一种设计中，所述权重值为基于如下方式计算得到：
其中，所述Wq为所述权重值，所述vi为第i个候选量化值，所述Pi为第i个候选量化值对应的概率值。
第四方面，本申请提供了一种卷积层量化装置，所述装置包括：
获取模块，用于获取第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
训练模块，用于对所述第一卷积神经网络进行前馈，并根据目标损失函数迭代更新所述权重值，直到所述目标损失满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
权重值量化模块，用于对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。
可选地，在第四方面的一种设计中，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述训练模块，具体用于：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
可选地，在第四方面的一种设计中，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述训练模块，具体用于：
对所述第一卷积神经网络进行多次前馈，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
可选地，在第四方面的一种设计中，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
可选地，在第四方面的一种设计中，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述权重值量化模块还用于：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；对所述M个所述第五神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，所述第二BN层用于根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
可选地，在第四方面的一种设计中，所述预设函数为如下函数：
其中，所述Pi为第i个候选量化值对应的概率值，所述Wpi为与所述第i个候选量化值对应的隐藏变量，所述τ为温度系数。
可选地，在第四方面的一种设计中，所述权重值为基于如下方式计算得到：
其中，所述Wq为所述权重值，所述vi为第i个候选量化值，所述Pi为第i个候选量化值对应的概率值。
第五方面，本申请实施例提供了一种神经网络结构搜索装置，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，以执行如上述第一方面及其任一可选的方法或上述第二方面及其任一可选的方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面及其任一可选的方法或上述第二方面及其任一可选的方法。
第七方面，本申请实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面及其任一可选的方法或上述第二方面及其任一可选的方法。
第八方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持执行设备或训练设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据；或，信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存执行设备或训练设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
本申请实施例提供了一种卷积层量化方法，所述方法包括：获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。通过上述方式，将候选量化值的期望作为权重值，对量化值的概率分布进行学习，该量化过程是可导的，所以不需要通过使用STE来近似计算网络参数的导数，提高了网络参数的更新精度。
附图说明
图1为人工智能主体框架的一种结构示意图；
图2为本申请的一种场景示意图；
图3为本申请的一种场景示意图；
图4为本申请实施例提供的系统架构；
图5为本申请实施例提供的卷积神经网络的示意；
图6为本申请实施例提供的卷积神经网络的示意；
图7为本申请实施例提供的一种芯片的硬件结构；
图8为本申请示例提供的一种卷积层量化方法的流程示意；
图9为本申请实施例中一种训练中的卷积层的结构示意；
图10为本申请实施例中一种应用中的卷积层的结构示意；
图11为本申请实施例中一种应用中的卷积层的结构示意；
图12为本申请示例提供的一种卷积层量化方法的流程示意；
图13为本申请实施例提供的卷积层量化装置的一种结构示意图；
图14为本申请实施例提供的训练设备的一种结构示意图；
图15为本申请实施例提供的芯片的一种结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。
下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。
其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能交通、智能医疗、自动驾驶、平安城市等。
本申请实施例主要应用在驾驶辅助、自动驾驶、手机终端等领域。
下面介绍几种应用场景：
应用场景1：ADAS/ADS视觉感知系统
如图2所示，在ADAS和ADS中，需要实时进行多类型的2D目标检测，包括：动态障碍物(行人(Pedestrian)、骑行者(Cyclist)、三轮车(Tricycle)、轿车(Car)、卡车(Truck)、公交车(Bus))，静态障碍物(交通锥标(TrafficCone)、交通棍标(TrafficStick)、消防栓(FireHydrant)、摩托车(Motocycle)、自行车(Bicycle))，交通标志(TrafficSign、导向标志(GuideSign)、广告牌(Billboard)、红色交通灯(TrafficLight_Red)/黄色交通灯(TrafficLight_Yellow)/绿色交通灯(TrafficLight_Green)/黑色交通灯(TrafficLight_Black)、路标(RoadSign))。另外，为了准确获取动态障碍物的在3维空间所占的区域，还需要对动态障碍物进行3D估计，输出3D框。为了与激光雷达的数据进行融合，需要获取动态障碍物的Mask，从而把打到动态障碍物上的激光点云筛选出来；为了进行精确的泊车位，需要同时检测出泊车位的4个关键点；为了进行构图定位，需要检测出静态目标的关键点。这是一个语义分割问题。自动驾驶车辆的摄像头捕捉到道路画面，需要对画面进行分割，分出路面、路基、车辆、行人等不同物体，从而保持车辆行驶在正确的区域。对于安全型要求极高的自动驾驶需要实时对画面进行理解，能够实时运行的进行语义分割的卷积神经网络至关重要。
应用场景2：手机美颜功能
如图3所示，在手机中，通过本申请实施例提供的神经网络检测出人体的Mask和关键点，可以对人体相应的部位进行放大缩小，比如进行收腰和美臀操作，从而输出美颜的图片。
应用场景3：图像分类场景：
物体识别装置在获取待分类图像后，采用本申请的物体识别方法获取待分类图像；
中的物体的类别，然后可根据待分类图像中物体的物体类别对待分类图像进行分类。对于摄影师来说，每天会拍很多照片，有动物的，有人物，有植物的。采用本申请的方法可以快速地将照片按照照片中的内容进行分类，可分成包含动物的照片、包含人物的照片和包含植物的照片。
对于图像数量比较庞大的情况，人工分类的方式效率比较低下，并且人在长时间处理同一件事情时很容易产生疲劳感，此时分类的结果会有很大的误差。
应用场景4商品分类：
物体识别装置获取商品的图像后，然后采用本申请的物体识别方法获取商品的图像中商品的类别，然后根据商品的类别对商品进行分类。对于大型商场或超市中种类繁多的商品，采用本申请的物体识别方法可以快速完成商品的分类，降低了时间开销和人工成本。
应用场景5：入口闸机人脸验证
这是一个图像相似度比对问题。在高铁、机场等入口的闸机上，乘客进行人脸认证时，摄像头会拍摄人脸图像，使用卷积神经网络抽取特征，和存储在系统中的身份证件的图像特征进行相似度计算，如果相似度高就验证成功。其中，卷积神经网络抽取特征是最耗时的，要快速进行人脸验证，需要高效的卷积神经网络进行特征提取。
应用场景6：翻译机同声传译
这是一个语音识别和机器翻译问题。在语音识别和机器翻译问题上，卷积神经网络也是常有的一种识别模型。在需要同声传译的场景，必须达到实时语音识别并进行翻译，高效的卷积神经网络可以给翻译机带来更好的体验。
本申请实施例训练出的神经网络模型可以实现上述功能。
由于本申请实施例涉及大量神经网络的应用，为了便于理解，下面先对本申请实施例涉及的相关术语及神经网络等相关概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(Deep Neural Network，DNN)，可以理解为具有很多层隐含层的神经网络，这里的“很多”并没有特别的度量标准，我们常说的多层神经网络和深度神经网络其本质上是同一个东西。从DNN按不同层的位置划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：其中，/>是输入向量，/>是输出向量，/>是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量/>经过如此简单的操作得到输出向量/>由于DNN层数多，则系数W和偏移向量/>的数量也就是很多了。那么，具体的参数在DNN是如何定义的呢？首先我们来看看系数W的定义。以一个三层的DNN为例，如：第二层的第4个神经元到第三层的第2个神经元的线性系数定义为/>上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结下，第L-1层的第k个神经元到第L层的第j个神经元的系数定义为/>注意，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。
(3)卷积神经网络(Convosutionas Neuras Network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，我们都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。
卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
(4)反向传播算法
卷积神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的超分辨率模型中参数的大小，使得超分辨率模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的超分辨率模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的超分辨率模型的参数，例如权重矩阵。
(5)循环神经网络(recurrent neural networks，RNN)是用来处理序列数据的。在
传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，而对于每一层层内之间的各个节点是无连接的。这种普通的神经网络虽然解决了很多难题，但是却仍然对很多问题无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐含层本层之间的节点不再无连接而是有连接的，并且隐含层的输入不仅包括输入层的输出还包括上一时刻隐含层的输出。理论上，RNN能够对任何长度的序列数据进行处理。对于RNN的训练和对传统的CNN或DNN的训练一样。
既然已经有了卷积神经网络，为什么还要循环神经网络？原因很简单，在卷积神经网络中，有一个前提假设是：元素之间是相互独立的，输入与输出也是独立的，比如猫和狗。但现实世界中，很多元素都是相互连接的，比如股票随时间的变化，再比如一个人说了：我喜欢旅游，其中最喜欢的地方是云南，以后有机会一定要去。这里填空，人类应该都知道是填“云南”。因为人类会根据上下文的内容进行推断，但如何让机器做到这一步？RNN就应运而生了。RNN旨在让机器像人一样拥有记忆的能力。因此，RNN的输出就需要依赖当前的输入信息和历史的记忆信息。
(6)损失函数
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
(7)反向传播算法
神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
下面介绍本申请实施例提供系统架构。
参见图4，本申请实施例提供了一种系统架构100。如所述系统架构100所示，数据采集设备160用于采集训练数据，本申请实施例中训练数据包括：物体的图像或者图像块及物体的类别；并将训练数据存入数据库130，训练设备120基于数据库130中维护的训练数据训练得到CNN特征提取模型(解释说明：这里的特征提取模型就是前面介绍的经训练阶段训练得到的模型，可以是用于特征提取的神经网络等)。下面将以实施例一更详细地描述训练设备120如何基于训练数据得到CNN特征提取模型，该CNN特征提取模型能够用于实现本申请实施例提供的神经网络，即，将待识别图像或图像块通过相关预处理后输入该CNN特征提取模型，即可得到待识别图像或图像块感兴趣物体的2D、3D、Mask、关键点等信息。本申请实施例中的CNN特征提取模型具体可以为CNN卷积神经网络。需要说明的是，在实际的应用中，所述数据库130中维护的训练数据不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完全基于数据库130维护的训练数据进行CNN特征提取模型的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。
根据训练设备120训练得到的目标模型/规则可以应用于不同的系统或设备中，如应用于图4所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)AR/虚拟现实(virtual reality，VR)，车载终端等，还可以是服务器或者云端等。在图4中，执行设备110配置输入/输出(input/output，I/O)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向I/O接口112输入数据，所述输入数据在本申请实施例中可以包括：待识别图像或者图像块或者图片。
在执行设备120对输入数据进行预处理，或者在执行设备120的计算模块111执行计算等相关的处理(比如进行本申请中神经网络的功能实现)过程中，执行设备120可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。
最后，I/O接口112将处理结果，如上述得到的图像或图像块或者图片中感兴趣物体的2D、3D、Mask、关键点等信息返回给客户设备140，从而提供给用户。
可选地，客户设备140，可以是自动驾驶系统中的规划控制单元、手机终端中的美颜算法模块。
值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则，该相应的目标模型/规则即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。
在图4中所示情况下，用户可以手动给定输入数据，该手动给定可以通过I/O接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向I/O接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由I/O接口112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库130。
值得注意的是，图4仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图4中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备110中。
如图4所示，根据训练设备120训练得到CNN特征提取模型，该CNN特征提取模型在本申请实施例中可以是CNN卷积神经网络也可以是下面实施例即将介绍的的神经网络。
由于CNN是一种非常常见的神经网络，下面结合图5重点对CNN的结构进行详细的介绍。如上文的基础概念介绍所述，卷积神经网络是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。
本申请实施例的图像处理方法具体采用的神经网络的结构可以如图5所示。在图5中，卷积神经网络(CNN)200可以包括输入层210，卷积层/池化层220(其中池化层为可选的)，以及神经网络层230。其中，输入层210可以获取待处理图像，并将获取到的待处理图像交由卷积层/池化层220以及后面的神经网络层230进行处理，可以得到图像的处理结果。下面对图5中的CNN 200中内部的层结构进行详细的介绍。
卷积层/池化层220：
卷积层：
如图5所示卷积层/池化层220可以包括如示例221-226层，举例来说：在一种实现中，221层为卷积层，222层为池化层，223层为卷积层，224层为池化层，225为卷积层，226为池化层；在另一种实现方式中，221、222为卷积层，223为池化层，224、225为卷积层，226为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。
下面将以卷积层221为例，介绍一层卷积层的内部工作原理。
卷积层221可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长
stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的卷积特征图的尺寸也相同，再将提取到的多个尺寸相同的卷积特征图合并形成卷积运算的输出。
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络200进行正确的预测。
当卷积神经网络200有多个卷积层的时候，初始的卷积层(例如221)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络200深度的加深，越往后的卷积层(例如226)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。
池化层：
由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在如图5中220所示例的221-226各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
神经网络层230：
在经过卷积层/池化层220的处理后，卷积神经网络200还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层220只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络200需要利用神经网络层230来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层230中可以包括多层隐含层(如图5所示的231、232至23n)以及输出层240，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等。
在神经网络层230中的多层隐含层之后，也就是整个卷积神经网络200的最后层为输出层240，该输出层240具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络200的前向传播(如图5由210至240方向的传播为前向传播)完成，反向传播(如图5由240至210方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络200的损失，及卷积神经网络200通过输出层输出的结果和理想结果之间的误差。
本申请实施例的图像处理方法具体采用的神经网络的结构可以如图6所示。在图6中，卷积神经网络(CNN)200可以包括输入层110，卷积层/池化层120(其中池化层为可选的)，以及神经网络层130。与图5相比，图6中的卷积层/池化层120中的多个卷积层/池化层并行，将分别提取的特征均输入给全神经网络层130进行处理。
需要说明的是，图5和图6所示的卷积神经网络仅作为一种本申请实施例的图像处理方法的两种可能的卷积神经网络的示例，在具体的应用中，本申请实施例的图像处理方法所采用的卷积神经网络还可以以其他网络模型的形式存在。
另外，采用本申请实施例的神经网络结构的搜索方法得到的卷积神经网络的结构可以如图5和图6中的卷积神经网络结构所示。
图7为本申请实施例提供的一种芯片的硬件结构，该芯片包括神经网络处理器50。该芯片可以被设置在如图4所示的执行设备110中，用以完成计算模块111的计算工作。该芯片也可以被设置在如图4所示的训练设备120中，用以完成训练设备120的训练工作并输出目标模型/规则。如图5和图6所示的卷积神经网络中各层的算法均可在如图7所示的芯片中得以实现。
神经网络处理器NPU 50，NPU作为协处理器挂载到主中央处理器(centralprocessing unit，CPU)(host CPU)上，由主CPU分配任务。NPU的核心部分为运算电路503，控制器504控制运算电路503提取存储器(权重存储器或输入存储器)中的数据并进行运算。
在一些实现中，运算电路503内部包括多个处理单元(process engine,PE)。在一些实现中，运算电路503是二维脉动阵列。运算电路503还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路503是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器502中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器501中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)508中。
向量计算单元507可以对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元507可以用于神经网络中非卷积/非FC层的网络计算，如池化(pooling)，批归一化(batch normalization)，局部响应归一化(local response normalization)等。
在一些实现中，向量计算单元能507将经处理的输出的向量存储到统一缓存器506。例如，向量计算单元507可以将非线性函数应用到运算电路503的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元507生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路503的激活输入，例如用于在神经网络中的后续层中的使用。
统一存储器506用于存放输入数据以及输出数据。
权重数据直接通过存储单元访问控制器505(direct memory accesscontroller，DMAC)将外部存储器中的输入数据搬运到输入存储器501和/或统一存储器506、将外部存储器中的权重数据存入权重存储器502，以及将统一存储器506中的数据存入外部存储器。
总线接口单元(bus interface unit，BIU)510，用于通过总线实现主CPU、DMAC和取指存储器509之间进行交互。
与控制器504连接的取指存储器(instruction fetch buffer)509，用于存储控制器504使用的指令；
控制器504，用于调用指存储器509中缓存的指令，实现控制该运算加速器的工作过程。
可选地，本申请中此处的输入数据为图片，输出数据为图片中感兴趣物体的2D、3D、Mask、关键点等信息。
一般地，统一存储器506，输入存储器501，权重存储器502以及取指存储器509均为片上(On-Chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(double data rate synchronous dynamic random accessmemory，DDR SDRAM)、高带宽存储器(high bandwidth memory，HBM)或其他可读可写的存储器。
上文中介绍的图5中的执行设备110能够执行本申请实施例的图像处理方法或者图像处理方法的各个步骤，图6和图7所示的CNN模型和图7所示的芯片也可以用于执行本申请实施例的图像处理方法或者图像处理方法的各个步骤。下面结合附图对本申请实施例的图像处理方法和本申请实施例的图像处理方法进行详细的介绍。
本申请实施例提供了一种系统架构。该系统架构包括本地设备、本地设备以及执行设备和数据存储系统，其中，本地设备和本地设备通过通信网络与执行设备连接。
执行设备可以由一个或多个服务器实现。可选的，执行设备可以与其它计算设备配合使用，例如：数据存储器、路由器、负载均衡器等设备。执行设备可以布置在一个物理站点上，或者分布在多个物理站点上。执行设备可以使用数据存储系统中的数据，或者调用数据存储系统中的程序代码来实现本申请实施例的搜索神经网络结构的方法。
用户可以操作各自的用户设备(例如本地设备和本地设备)与执行设备进行交互。每个本地设备可以表示任何计算设备，例如个人计算机、计算机工作站、智能手机、平板电脑、智能摄像头、智能汽车或其他类型蜂窝电话、媒体消费设备、可穿戴设备、机顶盒、游戏机等。
每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与执行设备进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。
在一种实现方式中，本地设备、本地设备从执行设备获取到目标神经网络的相关参数，将目标神经网络部署在本地设备、本地设备上，利用该目标神经网络进行图像分类或者图像处理等等。
在另一种实现中，执行设备上可以直接部署目标神经网络，执行设备通过从本地设备和本地设备获取待处理图像，并根据目标神经网络对待处理图像进行分类或者其他类型的图像处理。
上述执行设备也可以称为云端设备，此时执行设备一般部署在云端。
首先从训练侧对本申请提供的进行描述。图8所示的方法可以由卷积层量化装置来执行，该卷积层量化装置可以是电脑、服务器等。参照图8，图8为本申请示例提供的一种卷积层量化方法的流程示意，如图8示出的那样，本申请提供的卷积层量化方法包括：
801、获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值。
本申请实施例中，训练设备可以获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值。
本申请实施例中，可以获取第一卷积神经网络以及N个候选量化值{v1，v2，…，vN}，所述第一卷积神经网络包括多个卷积层，其中目标卷积层为多个卷积层中的一个，目标卷积层对应的权重矩阵W，其可以包括多个权重值，设定要将权重值量化为N个候选量化值{v1，v2，…，vN}，目标权重值属于N个候选量化值的概率分别为：
其中，所述Pi为第i个候选量化值对应的概率值，所述Wpi为与所述第i个候选量化值对应的隐藏变量，所述τ为温度系数。所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小。以上述概率为例，在迭代训练的过程，τ越接近于0，N个概率值中的一个概率值会越接近1。
在训练时，可以将根据所述N个概率值和所述N个候选量化值确定的量化期望值，作为权重值和输入特征进行卷积运算，所述权重值为基于如下方式计算得到：
其中，所述Wq为所述权重值，所述vi为第i个候选量化值，所述Pi为第i个候选量化值对应的概率值。
该权重值会用来和输入特征进行卷积计算，得到输出特征yq；
以二值神经网络为例，现有量化方法要训练的参数是W，本申请实施例中训练的参数为Wpi。现有传统方法的量化过程为：Wq＝sign(W)，这个过程在零点不可导，所以难以训练，因此通过使用直通估计器(straight through estimator，STE)来近似计算网络参数的梯度，这个梯度是不准确的，进而会影响网络参数的更新精度。本申请实施例中的权重值量化过程为从Wpi到Wq的映射，该映射过程是可导的，解决了传统量化过程中从待训练的权重值到量化值的映射过程不可导的问题。
通过本申请实施例中的量化方法，Wq的导数可以直接通过反向传播算法求出，然后训练参数Wpi即可。
802、通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值。
本申请实施例中，在获取到图像数据、标注值、第一卷积神经网络以及N个候选量化值之后，训练设备可以通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值。
本申请实施例中，可以对第一卷积神经网络进行前馈，并根据目标损失函数迭代更新所述权重值，直到所述目标损失满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值。
本申请实施例中，在训练过程中，可以基于损失函数来更新N个隐藏变量，进而更新所述权重值。且训练过程中，可以更新温度系数的数值，以使得温度系数接近于预设值，例如，可以将温度系数τ从一个较大的值(预先设定)逐渐衰减到接近于0，这样N个概率值Pi会趋向于0或1，从而将Pi接近于1对应的候选量化值作为该权重值将要量化成的值。
803、对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。
本申请实施例中，可以将最大概率值所对应的{v1，v2，…，vN}作为量化后的权重值，即：
Wd＝∑ivi(P1＝max(P1，…，PN))；
Wd可以用来和输入特征进行卷积计算，得到输出特征yd
本申请实施例中，可以通过上述方式对权重矩阵中的每个权重值进行处理，所述更新后的权重值进行权重量化，得到第三卷积神经网络。
参照图9，图9为本申请实施例中一种训练中的卷积层的结构示意，如图9中示出的那样，通过更新隐藏变量的值，进而更新概率值，进而更新权重值，权重值用于和输入特征进行卷积运算来得到输出特征。
参照图10，图10为本申请实施例中一种应用中的卷积层的结构示意，如图10中示出的那样，通过训练得到的量化后的权重值可以用于和输入特征进行卷积运算来得到输出特征。
本申请实施例中，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。即，在训练过程中，BN层是基于当前前馈过程中卷积层的输出特征的均值和标准差来进行BN运算的。
本申请实施例中，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；对所述M个所述第五神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，所述第二BN层用于根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。即，在训练过程中，可以每次更新参数后得到的卷积神经网络进行量化，得到第四卷积神经网络，在应用过程中，BN层是基于各个第四卷积神经网络的输出特征的均值和标准差对输入特征进行BN运算。需要说明的是，BN运算还需要基于训练中获取到的仿射系数。关于如何进行BN运算可以参照现有技术中的描述，这里不再赘述。
参照图11，图11为本申请实施例中一种应用中的卷积层的结构示意，如图11中示出的那样，通过训练得到的均值、标准差以及仿射系数可以用于和输入特征进行BN运算来得到输出特征。
本申请实施例提供了一种卷积层量化方法，所述方法包括：获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。通过上述方式，将候选量化值的期望作为权重值，对量化值的概率分布进行学习，该量化过程是可导的，所以不需要通过使用STE来近似计算网络参数的导数，提高了网络参数的更新精度。
参照图12，图12为本申请示例提供的一种卷积层量化方法的流程示意，如图12示出的那样，本申请提供的卷积层量化方法包括：
1201、获取第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值。
1202、对所述第一卷积神经网络进行前馈，并根据目标损失函数迭代更新所述权重值，直到所述目标损失满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值。
1203、对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。
可选地，可以通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
可选地，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，可以对所述第一卷积神经网络进行多次前馈，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
可选地，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
可选地，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，还可以对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；对所述M个所述第五神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，所述第二BN层用于根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
可选地，所述预设函数为如下函数：
其中，所述Pi为第i个候选量化值对应的概率值，所述Wpi为与所述第i个候选量化值对应的隐藏变量，所述τ为温度系数。
可选地，所述权重值为基于如下方式计算得到：
其中，所述Wq为所述权重值，所述vi为第i个候选量化值，所述Pi为第i个候选量化值对应的概率值。
本申请实施例提供了一种卷积层量化方法，所述方法包括：获取第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；对所述第一卷积神经网络进行前馈，并根据目标损失函数迭代更新所述权重值，直到所述目标损失满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。通过上述方式，将候选量化值的期望作为权重值，对量化值的概率分布进行学习，该量化过程是可导的，所以不需要通过使用STE来近似计算网络参数的导数，提高了网络参数的更新精度。
在图1至图12所对应的实施例的基础上，为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图13，图13为本申请实施例提供的卷积层量化装置1300的一种结构示意图，卷积层量化装置1300可以是服务器，卷积层量化装置1300包括：
获取模块1301，用于获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
训练模块1302，用于通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
权重值量化模块1303，用于对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。
可选地，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述训练模块1302，具体用于：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
可选地，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述训练模块1302，具体用于：
通过所述第一卷积神经网络对所述图像数据进行多次前馈处理，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
可选地，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
可选地，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述权重值量化模块1303还用于：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；
对所述M个所述第五神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，所述第二BN层用于根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
可选地，所述预设函数为如下函数：
其中，所述Pi为第i个候选量化值对应的概率值，所述Wpi为与所述第i个候选量化值对应的隐藏变量，所述τ为温度系数。
可选地，所述权重值为基于如下方式计算得到：
其中，所述Wq为所述权重值，所述vi为第i个候选量化值，所述Pi为第i个候选量化值对应的概率值。
本申请实施例提供了一种卷积层量化装置1300，获取模块1301获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；训练模块1302通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；权重值量化模块1303对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。通过上述方式，将候选量化值的期望作为权重值，对量化值的概率分布进行学习，该量化过程是可导的，所以不需要通过使用STE来近似计算网络参数的导数，提高了网络参数的更新精度。
本申请实施例中，卷积层量化装置1300还可以包括：
获取模块1301，用于获取第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
训练模块1302，用于对所述第一卷积神经网络进行前馈，并根据目标损失函数迭代更新所述权重值，直到所述目标损失满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
权重值量化模块1303，用于对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。
可选地，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述训练模块，具体用于：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
可选地，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述训练模块，具体用于：
对所述第一卷积神经网络进行多次前馈，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
可选地，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
可选地，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述权重值量化模块还用于：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；对所述M个所述第五神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，所述第二BN层用于根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
可选地，所述预设函数为如下函数：
其中，所述Pi为第i个候选量化值对应的概率值，所述Wpi为与所述第i个候选量化值对应的隐藏变量，所述τ为温度系数。
可选地，所述权重值为基于如下方式计算得到：
其中，所述Wq为所述权重值，所述vi为第i个候选量化值，所述Pi为第i个候选量化值对应的概率值。
本申请实施例提供了一种卷积层量化装置1300，获取模块1301获取第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；训练模块1302对所述第一卷积神经网络进行前馈，并根据目标损失函数迭代更新所述权重值，直到所述目标损失满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；权重值量化模块1303对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。通过上述方式，将候选量化值的期望作为权重值，对量化值的概率分布进行学习，该量化过程是可导的，所以不需要通过使用STE来近似计算网络参数的导数，提高了网络参数的更新精度。
本申请实施例还提供了一种训练设备，请参阅图14，图14是本申请实施例提供的训练设备的一种结构示意图，训练设备1400上可以部署有图13对应实施例中所描述的训练设备，用于实现图13对应实施例中卷积层量化装置的功能，具体的，训练设备1400由一个或多个服务器实现，训练设备1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1414(例如，一个或一个以上处理器)和存储器1432，一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中，存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备中的一系列指令操作。更进一步地，中央处理器1414可以设置为与存储介质1430通信，在训练设备1400上执行存储介质1430中的一系列指令操作。
训练设备1400还可以包括一个或一个以上电源1426，一个或一个以上有线或无线网络接口1450，一个或一个以上输入输出接口1458；或，一个或一个以上操作系统1441，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
本申请实施例中，中央处理器1414，用于执行图12对应实施例中的卷积层量化装置执行的数据处理方法。
具体的，中央处理器1414，可以获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。
可选地，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，中央处理器1414可以执行：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
可选地，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，中央处理器1414可以执行：
通过所述第一卷积神经网络对所述图像数据进行多次前馈处理，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
可选地，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
可选地，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述方法还包括：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；
对所述M个所述第五神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，所述第二BN层用于根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
可选地，所述预设函数为如下函数：
其中，所述Pi为第i个候选量化值对应的概率值，所述Wpi为与所述第i个候选量化值对应的隐藏变量，所述τ为温度系数。
可选地，所述权重值为基于如下方式计算得到：
其中，所述Wq为所述权重值，所述vi为第i个候选量化值，所述Pi为第i个候选量化值对应的概率值。
本申请实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述训练设备所执行的步骤。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如下步骤：
获取第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
对所述第一卷积神经网络进行前馈，并根据目标损失函数迭代更新所述权重值，直到所述目标损失满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值。
可选地，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述根据目标损失函数迭代更新所述权重值，包括：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
可选地，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述对所述第一卷积神经网络进行前馈，包括：
对所述第一卷积神经网络进行多次前馈，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
可选地，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
可选地，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述方法还包括：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；
对所述M个所述第五神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，所述第二BN层用于根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
可选地，所述预设函数为如下函数：
其中，所述Pi为第i个候选量化值对应的概率值，所述Wpi为与所述第i个候选量化值对应的隐藏变量，所述τ为温度系数。
可选地，所述权重值为基于如下方式计算得到：
其中，所述Wq为所述权重值，所述vi为第i个候选量化值，所述Pi为第i个候选量化值对应的概率值。
本申请实施例提供的执行设备、训练设备或终端设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述实施例描述的数据处理方法，或者，以使训练设备内的芯片执行上述实施例描述的数据处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
具体的，请参阅图15，图15为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU 1500，NPU 1500作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路1503，通过控制器1504控制运算电路1503提取存储器中的矩阵数据并进行乘法运算。
在一些实现中，运算电路1503内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路1503是二维脉动阵列。运算电路1503还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1503是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器1502中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器1501中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1508中。
统一存储器1506用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)1505，DMAC被搬运到权重存储器1502中。输入数据也通过DMAC被搬运到统一存储器1506中。
BIU为Bus Interface Unit即，总线接口单元1510，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)1509的交互。
总线接口单元1510(Bus Interface Unit，简称BIU)，用于取指存储器1509从外部存储器获取指令，还用于存储单元访问控制器1505从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1506或将权重数据搬运到权重存储器1502中或将输入数据数据搬运到输入存储器1501中。
向量计算单元1507包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。
在一些实现中，向量计算单元1507能将经处理的输出的向量存储到统一存储器1506。例如，向量计算单元1507可以将线性函数；或，非线性函数应用到运算电路1503的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1507生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1503的激活输入，例如用于在神经网络中的后续层中的使用。
控制器1504连接的取指存储器(instruction fetch buffer)1509，用于存储控制器1504使用的指令；
统一存储器1506，输入存储器1501，权重存储器1502以及取指存储器1509均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述程序执行的集成电路。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (29)

1.一种卷积层量化方法，其特征在于，所述方法包括：
获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值；所述第三卷积神经网络用于进行图像检测。
2.根据权利要求1所述的方法，其特征在于，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述根据目标损失函数迭代更新所述权重值，包括：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
3.根据权利要求2所述的方法，其特征在于，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述通过所述第一卷积神经网络对所述图像数据进行处理，包括：
通过所述第一卷积神经网络对所述图像数据进行多次前馈处理，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
4.根据权利要求1至3任一所述的方法，其特征在于，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
5.根据权利要求4所述的方法，其特征在于，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述方法还包括：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；
对所述M个所述第五卷积神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，通过第二BN层，根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
6.根据权利要求3所述的方法，其特征在于，所述预设函数为如下函数：
；
其中，所述为第i个候选量化值对应的概率值，所述/>和/>为与所述第i个和第j个候选量化值对应的隐藏变量，所述/>为温度系数。
7.根据权利要求1至3任一所述的方法，其特征在于，所述权重值为基于如下方式计算得到：
；
其中，所述为所述权重值，所述/>为第i个候选量化值，所述/>为第i个候选量化值对应的概率值。
8.一种卷积层量化方法，其特征在于，所述方法包括：
获取第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
对所述第一卷积神经网络进行前馈，并根据目标损失函数迭代更新所述权重值，直到所述目标损失满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值；所述第三卷积神经网络用于进行图像检测。
9.根据权利要求8所述的方法，其特征在于，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述根据目标损失函数迭代更新所述权重值，包括：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
10.根据权利要求9所述的方法，其特征在于，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述对所述第一卷积神经网络进行前馈，包括：
对所述第一卷积神经网络进行多次前馈，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
11.根据权利要求8至10任一所述的方法，其特征在于，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
12.根据权利要求11所述的方法，其特征在于，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述方法还包括：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；
对所述M个所述第五卷积神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，通过第二BN层，根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
13.根据权利要求10所述的方法，其特征在于，所述预设函数为如下函数：
；
其中，所述为第i个候选量化值对应的概率值，所述/>和/>为与所述第i个和第j个候选量化值对应的隐藏变量，所述/>为温度系数。
14.根据权利要求8至10任一所述的方法，其特征在于，所述权重值为基于如下方式计算得到：
；
其中，所述为所述权重值，所述/>为第i个候选量化值，所述/>为第i个候选量化值对应的概率值。
15.一种卷积层量化装置，其特征在于，所述装置包括：
获取模块，用于获取图像数据、标注值、第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
训练模块，用于通过所述第一卷积神经网络对所述图像数据进行处理，得到检测结果和目标损失，根据目标损失函数迭代更新所述权重值，直到所述检测结果和所述标注值之间的差异满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
权重值量化模块，用于对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值；所述第三卷积神经网络用于进行图像检测。
16.根据权利要求15所述的装置，其特征在于，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述训练模块，具体用于：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
17.根据权利要求16所述的装置，其特征在于，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述训练模块，具体用于：
通过所述第一卷积神经网络对所述图像数据进行多次前馈处理，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
18.根据权利要求15至17任一所述的装置，其特征在于，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
19.根据权利要求18所述的装置，其特征在于，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述权重值量化模块还用于：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；
对所述M个所述第五卷积神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，通过第二BN层，根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
20.根据权利要求17所述的装置，其特征在于，所述预设函数为如下函数：
；
其中，所述为第i个候选量化值对应的概率值，所述/>和/>为与所述第i个和第j个候选量化值对应的隐藏变量，所述/>为温度系数。
21.根据权利要求15至17任一所述的装置，其特征在于，所述权重值为基于如下方式计算得到：
；
其中，所述为所述权重值，所述/>为第i个候选量化值，所述/>为第i个候选量化值对应的概率值。
22.一种卷积层量化装置，其特征在于，所述装置包括：
获取模块，用于获取第一卷积神经网络以及N个候选量化值，所述第一卷积神经网络包括目标卷积层，所述目标卷积层包括权重值，所述权重值对应于N个概率值，所述N个概率值中的每个概率值对应一个候选量化值，每个概率值表示所述权重值为对应的候选量化值的概率大小，所述权重值为根据所述N个概率值和所述N个候选量化值确定的量化期望值；
训练模块，用于对所述第一卷积神经网络进行前馈，并根据目标损失函数迭代更新所述权重值，直到所述目标损失满足预设条件，得到第二卷积神经网络，所述第二卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值；
权重值量化模块，用于对所述更新后的权重值进行权重量化，得到第三卷积神经网络，所述第三卷积神经网络包括与所述更新后的权重值对应的目标量化值，所述目标量化值为所述更新后的N个概率值中最大的概率值对应的候选量化值；所述第三卷积神经网络用于进行图像检测。
23.根据权利要求22所述的装置，其特征在于，所述权重值对应于N个隐藏变量，所述N个概率值中的每个概率值对应一个隐藏变量，每个概率值为基于对应的隐藏变量计算得到的，所述训练模块，具体用于：
通过根据目标损失函数更新所述N个隐藏变量来更新所述权重值。
24.根据权利要求23所述的装置，其特征在于，所述N个概率值中的每个概率值为通过将对应的隐藏变量基于预设函数映射得到的，所述预设函数包括温度系数，所述预设函数满足如下条件：在进行所述第一卷积神经网络的前馈时，所述温度系数与预设值的差值绝对值越小，所述N个概率值中的一个概率值与1的差值绝对值越小，所述训练模块，具体用于：
对所述第一卷积神经网络进行多次前馈，其中，所述多次前馈包括第一前馈过程和第二前馈过程，所述第二前馈过程在所述第一前馈过程之后，在对所述第一卷积神经网络进行第一前馈过程时，所述预设函数包括第一温度系数，在对所述第一卷积神经网络进行第二前馈过程时，所述预设函数包括第二温度系数，所述第二温度系数与预设值的差值绝对值小于所述第一温度系数与预设值的差值绝对值。
25.根据权利要求22至24任一所述的装置，其特征在于，所述第一卷积神经网络还包括：第一批归一化BN层，所述第一BN层与所述目标卷积层连接，所述第一BN层用于根据所述目标卷积层的输出特征的第一均值和第一标准差对所述目标卷积层的输出特征进行BN运算。
26.根据权利要求25所述的装置，其特征在于，根据目标损失函数迭代更新所述权重值后得到M个第四卷积神经网络，所述M个第四卷积神经网络中的每个第四卷积神经网络包括更新后的权重值，所述更新后的权重值对应于更新后的N个概率值，所述权重值量化模块还用于：
对第四卷积神经网络包括的更新后的权重值进行权重值量化，得到M个第五卷积神经网络；
对所述M个所述第五卷积神经网络中的每个第五卷积神经网络进行前馈，得到M个输出特征，通过第二BN层，根据所述M个输出特征的第二均值和第二标准差对所述第三卷积神经网络包括的更新后的目标卷积层的输出特征进行BN运算。
27.根据权利要求24所述的装置，其特征在于，所述预设函数为如下函数：
；
其中，所述为第i个候选量化值对应的概率值，所述/>和/>为与所述第i个和第j个候选量化值对应的隐藏变量，所述/>为温度系数。
28.根据权利要求22至24任一所述的装置，其特征在于，所述权重值为基于如下方式计算得到：
；
其中，所述为所述权重值，所述/>为第i个候选量化值，所述/>为第i个候选量化值对应的概率值。
29.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序用于执行根据权利要求1至14中任一项所述方法的指令。
CN202010109185.5A 2020-02-21 2020-02-21 一种卷积层量化方法及其装置 Active CN111368972B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010109185.5A CN111368972B (zh) 2020-02-21 2020-02-21 一种卷积层量化方法及其装置
PCT/CN2021/076983 WO2021164750A1 (zh) 2020-02-21 2021-02-20 一种卷积层量化方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010109185.5A CN111368972B (zh) 2020-02-21 2020-02-21 一种卷积层量化方法及其装置

Publications (2)

Publication Number Publication Date
CN111368972A CN111368972A (zh) 2020-07-03
CN111368972B true CN111368972B (zh) 2023-11-10

Family

ID=71208314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010109185.5A Active CN111368972B (zh) 2020-02-21 2020-02-21 一种卷积层量化方法及其装置

Country Status (2)

Country Link
CN (1) CN111368972B (zh)
WO (1) WO2021164750A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368972B (zh) * 2020-02-21 2023-11-10 华为技术有限公司 一种卷积层量化方法及其装置
CN112257858A (zh) * 2020-09-21 2021-01-22 华为技术有限公司 一种模型压缩方法及装置
TWI764628B (zh) * 2021-03-18 2022-05-11 英業達股份有限公司 影像中資訊的分類系統及其方法
CN112949599B (zh) * 2021-04-07 2022-01-14 青岛民航凯亚系统集成有限公司 基于大数据的候选内容推送方法
CN113570033B (zh) * 2021-06-18 2023-04-07 北京百度网讯科技有限公司 神经网络处理单元、神经网络的处理方法及其装置
CN115471398B (zh) * 2022-08-31 2023-08-15 北京科技大学 图像超分辨率方法、系统、终端设备及存储介质
CN116739050A (zh) * 2022-09-30 2023-09-12 荣耀终端有限公司 跨层均衡化优化方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598839A (zh) * 2018-06-12 2019-12-20 华为技术有限公司 卷积神经网络系统和卷积神经网络量化的方法
CN110610166A (zh) * 2019-09-18 2019-12-24 北京猎户星空科技有限公司 文本区域检测模型训练方法、装置、电子设备和存储介质
CN110688502A (zh) * 2019-09-09 2020-01-14 重庆邮电大学 一种基于深度哈希和量化的图像检索方法及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11755913B2 (en) * 2016-03-11 2023-09-12 Telecom Italia S.P.A Convolutional neural networks, particularly for image analysis
CN109388779A (zh) * 2017-08-03 2019-02-26 珠海全志科技股份有限公司 一种神经网络权重量化方法和神经网络权重量化装置
CN107644254A (zh) * 2017-09-09 2018-01-30 复旦大学 一种卷积神经网络权重参数量化训练方法及系统
US10936913B2 (en) * 2018-03-20 2021-03-02 The Regents Of The University Of Michigan Automatic filter pruning technique for convolutional neural networks
KR20190125141A (ko) * 2018-04-27 2019-11-06 삼성전자주식회사 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
CN108805265B (zh) * 2018-05-21 2021-03-30 Oppo广东移动通信有限公司 神经网络模型处理方法和装置、图像处理方法、移动终端
CN108805258B (zh) * 2018-05-23 2021-10-12 北京图森智途科技有限公司 一种神经网络训练方法及其装置、计算机服务器
CN110222821B (zh) * 2019-05-30 2022-03-25 浙江大学 基于权重分布的卷积神经网络低位宽量化方法
CN111368972B (zh) * 2020-02-21 2023-11-10 华为技术有限公司 一种卷积层量化方法及其装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598839A (zh) * 2018-06-12 2019-12-20 华为技术有限公司 卷积神经网络系统和卷积神经网络量化的方法
CN110688502A (zh) * 2019-09-09 2020-01-14 重庆邮电大学 一种基于深度哈希和量化的图像检索方法及存储介质
CN110610166A (zh) * 2019-09-18 2019-12-24 北京猎户星空科技有限公司 文本区域检测模型训练方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
权重量化的深度神经网络模型压缩算法;陈昀 等;《西安电子科技大学学报》;20190430;第46卷(第2期);第132-138页 *

Also Published As

Publication number Publication date
CN111368972A (zh) 2020-07-03
WO2021164750A1 (zh) 2021-08-26

Similar Documents

Publication Publication Date Title
CN111368972B (zh) 一种卷积层量化方法及其装置
CN110298262B (zh) 物体识别方法及装置
EP4064130A1 (en) Neural network model update method, and image processing method and device
WO2022083536A1 (zh) 一种神经网络构建方法以及装置
WO2022042713A1 (zh) 一种用于计算设备的深度学习训练方法和装置
WO2021043112A1 (zh) 图像分类方法以及装置
CN111401517B (zh) 一种感知网络结构搜索方法及其装置
CN111507378A (zh) 训练图像处理模型的方法和装置
WO2021147325A1 (zh) 一种物体检测方法、装置以及存储介质
CN111291809B (zh) 一种处理装置、方法及存储介质
WO2022052601A1 (zh) 神经网络模型的训练方法、图像处理方法及装置
CN111797983A (zh) 一种神经网络构建方法以及装置
CN110222718B (zh) 图像处理的方法及装置
WO2022111617A1 (zh) 一种模型训练方法及装置
CN111882031A (zh) 一种神经网络蒸馏方法及装置
CN111832592B (zh) Rgbd显著性检测方法以及相关装置
WO2021129668A1 (zh) 训练神经网络的方法和装置
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
CN112464930A (zh) 目标检测网络构建方法、目标检测方法、装置和存储介质
CN113191241A (zh) 一种模型训练方法及相关设备
CN111738403A (zh) 一种神经网络的优化方法及相关设备
CN113537462A (zh) 数据处理方法、神经网络的量化方法及相关装置
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
WO2022179599A1 (zh) 一种感知网络及数据处理方法
CN113128285A (zh) 一种处理视频的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant