CN110929865A - 网络量化方法、业务处理方法及相关产品 - Google Patents

网络量化方法、业务处理方法及相关产品 Download PDF

Info

Publication number
CN110929865A
CN110929865A CN201811092329.XA CN201811092329A CN110929865A CN 110929865 A CN110929865 A CN 110929865A CN 201811092329 A CN201811092329 A CN 201811092329A CN 110929865 A CN110929865 A CN 110929865A
Authority
CN
China
Prior art keywords
layer
network
convolutional
branch
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811092329.XA
Other languages
English (en)
Other versions
CN110929865B (zh
Inventor
周争光
王孝宇
吕旭涛
黄轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201811092329.XA priority Critical patent/CN110929865B/zh
Priority to PCT/CN2018/124834 priority patent/WO2020057000A1/zh
Publication of CN110929865A publication Critical patent/CN110929865A/zh
Application granted granted Critical
Publication of CN110929865B publication Critical patent/CN110929865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种网络量化方法、业务处理方法及相关产品，所述方法包括获取待量化的原始深度神经网络，所述原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。本发明能够使网络定点量化训练时的波动更小，训练出来的网络精度更高，有利于业务处理过程的顺利执行。

Description

网络量化方法、业务处理方法及相关产品
技术领域
本发明涉及机器学习领域，具体涉及深度神经网络领域，尤其涉及一种网络量化方法、一种基于深度神经网络的业务处理方法、一种网络量化装置、一种基于深度神经网络的业务处理装置及一种网络设备。
背景技术
深度神经网络(Deep Neural Network,DNN)在很多计算机视觉、自然语言处理任务中取得了瞩目的成绩，近些年，DNN则越来越多地被应用到移动手机和嵌入式设备上。然而，高性能的DNN却需要大量的存储空间和计算量等，这就使得移动设备运行DNN更具挑战。因此，越来越多的网络压缩与加速方法被提出，旨在保证DNN性能无明显降低的条件下减少网络的存储空间并提高网络的运行速度。其中，网络量化是一种有效的压缩方法，即用少的比特数来表示网络中的每个权值或者每层的激活值，从而可以高效地在CPU(CentralProcessing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)和FPGA(Field-Programmable Gate Array，现场可编程门阵列)上计算。但是，目前的网络量化方法往往波动较大，训练出来的网络精度也较低。
发明内容
本发明实施例提供了一种网络量化方法、基于深度神经网络的业务处理方法及相关产品，能够使深度神经网络在网络量化训练时的波动更小，训练出来的网络精度更高，有利于业务处理过程的顺利执行。
一方面，本发明实施例提供了一种网络量化方法，包括：
获取待量化的原始深度神经网络，所述原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；
对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；
当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。
另一方面，本发明实施例提供了一种基于深度神经网络的业务处理方法，包括：
接收业务请求，所述业务请求携带待处理的业务对象；所述业务请求包括以下任一种：图像处理请求、人脸识别请求、视觉处理请求及自然语言识别处理请求；
调用目标深度神经网络对所述业务对象进行处理，得到业务处理结果；其中，所述目标深度神经网络是采用上述方面的网络量化方法获得的；
输出所述业务处理结果。
再一方面，本发明实施例提供了一种网络量化装置，包括：
获取单元，用于获取待量化的原始深度神经网络；所述原始深度神经网络包括多层卷积网络，任一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；
量化单元，用于对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；
处理单元，用于当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。
再一方面，本发明实施例提供了一种基于深度神经网络的业务处理装置，包括：
请求接收单元，用于接收业务请求，所述业务请求携带待处理的业务对象；所述业务请求包括以下任一种：图像处理请求、人脸识别请求、视觉处理请求及自然语言识别处理请求；
业务处理单元，用于调用目标深度神经网络对所述业务对象进行处理，得到业务处理结果；其中所述目标深度神经网络是采用上述方面的网络量化方法获得的：
结果输出单元，用于输出所述业务处理结果。
再一方面，本发明实施例提供了一种网络设备，包括：
处理器，适于实现一条或一条以上指令；以及
计算机存储介质，所述计算机存储介质存储有一条或一条以上第一指令，所述一条或一条以上第一指令适于由所述处理器加载并执行如下网络量化方法：
获取待量化的原始深度神经网络，所述原始深度神经网络包括多层卷积网络，任一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；
对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；
当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络；
或者，所述计算机存储介质存储有一条或一条以上第二指令，所述一条或一条以上第二指令适于由所述处理器加载并执行如下基于深度神经网络的业务处理方法：
接收业务请求，所述业务请求携带待处理的业务对象；所述业务请求包括以下任一种：图像处理请求、人脸识别请求、视觉处理请求及自然语言识别处理请求；
调用目标深度神经网络对所述业务对象进行处理，得到业务处理结果；其中，所述目标深度神经网络是采用上述方面的网络量化方法获得的；
输出所述业务处理结果。
本发明实施例的网络量化过程中，原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。实施本发明实施例，通过在原始深度神经网络的每一层卷积网络中设置全精度卷积结构的第二分支，这使得每一层卷积网络的输出具备更强的表达能力；再对每一层卷积网络进行量化训练及衰减处理，这样能够使网络量化训练时的波动更小，训练出来的网络精度更高，所得到的目标深度神经网络的网络性能更佳。
本发明实施例基于深度神经网络的业务处理过程中，可接收业务请求，所述业务请求携带待处理的业务对象；所述业务请求包括以下任一种：图像处理请求、人脸识别请求、视觉处理请求及自然语言识别处理请求；调用目标深度神经网络对所述业务对象进行处理，得到业务处理结果；其中，所述目标深度神经网络是采用所述网络量化方法获得的；输出所述业务处理结果；实施本发明实施例，由于用于进行业务处理的目标深度神经网络是通过所述网络量化方法获得的，该目标深度神经网络具备较佳的网络性能且精度较高，这样可有效提高业务处理的效率及保证业务处理的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种网络量化方法的流程图；
图2为本发明实施例提供的初始深度神经网络的结构示意图；
图3为本发明实施例提供的原始深度神经网络的一种结构示意图；
图4为本发明实施例提供的原始深度神经网络的另一种结构示意图；
图5为图1所示的步骤s102的一种具体实现方式的流程图；
图6为图1所示的步骤s102的另一种具体实现方式的流程图；
图7为本发明实施例提供的一种基于深度神经网络的业务处理方法的流程图；
图8a-图8c为本发明实施例提供的一种基于深度神经网络的业务处理方法的应用场景图；
图9为本发明实施例提供的一种网络量化装置的结构示意图；
图10本发明实施例提供的一种基于深度神经网络的业务处理装置的结构示意图；
图11为本发明实施例提供的一种网络设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提出了一种网络量化方法，请参见图1，该方法具体包括以下步骤：
s101，获取待量化的原始深度神经网络，所述原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构。
原始深度神经网络是在初始深度神经网络的基础上增加分支而得到的。该初始深度神经网络是目前常见的深度神经网络，该初始深度神经网络包括多层卷积网络，每一层卷积网络具有单一结构；为了便于描述，设所述初始神经网络包括L层卷积网络，L为正整数，其中的任一层卷积网络表示为第l层卷积网络，l为正整数，且1≤l≤L，初始深度神经网络的第l层卷积网络的结构可参见图2。由于初始深度神经网络仅有单一结构，在进行网络量化训练时，仅有单一结构的网络参数(包括权重和激活值)都被量化到有限个数值中，例如：若按照需求采用8位定点数来对初始深度神经网络的权重和激活值进行量化，那么该权重和激活值则被量化到8位定点数所决定的有限个数值中；再如：若按照需求采用2位定点数来对初始深度神经网络的权重和激活值进行量化，那么该权重和激活值则被量化到2位定点数所决定的有限个数值中。可见，初始深度神经网络仅有单一结构，而该单一结构的网络参数都被量化到有限个数值中，这使得初始深度神经网络的输出表达能力较弱，增加量化训练的难度，使得量化训练过程的波动很大。为了减小量化训练过程的波动，减小量化训练的难度，本发明实施例对初始深度神经网络进行改进，将初始深度神经网络中每一层卷积网络的原单一结构确定为第一分支，在此基础上再增加一个第二分支，从而构成所述原始深度神经网络。
原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，具体地：所述原始深度神经网络包括L层卷积网络，L为正整数，其中的任一层卷积网络表示为第l层卷积网络，l为正整数，且1≤l≤L。所述第一分支可以为定点量化精度卷积结构，所谓定点量化精度是指由定点数所决定的精度范围，例如前述若采用8位定点数进行网络量化，则定点量化精度为8位定点数所决定的精度范围；若采用2位定点数进行网络量化，则定点量化精度为2位定点数所决定的精度范围。第l层卷积网络中的第一分支包括权重量化单元、第一卷积单元、第一激活单元及激活值量化单元；其中，所述权重量化单元采用权重量化函数对第l层的权重进行量化训练；所述第一卷积单元用于将量化后的第l层的权重和第l-1层的输出值进行卷积运算；所述第一激活单元用于对第一卷积单元的输出值进行非线性处理；所述激活值量化单元采用激活值量化函数对卷积网络进行量化训练。所述第二分支为全精度卷积结构，所谓全精度是指由浮点数所决定的精度范围，例如若按需采用32位浮点数，则全精度是指由32位浮点数所决定的精度范围。第l层卷积网络中的第二分支包括第二卷积单元，第二激活单元及缩放单元；其中，所述第二卷积单元用于将第l层的权重和第l-1层的输出值进行卷积运算；所述第二激活单元用于对第二卷积单元的输出值进行非线性处理；所述缩放单元用于对所述第二分支进行衰减处理。在一种可行的实施方式中，原始深度神经网络中的每一层卷积网络的第一分支与第二分支可采用先相加再量化的方式进行组合，具体请如图3所示；另一种可行的实施方式中，原始深度神经网络中的每一层卷积网络的第一分支可以采用先量化再与第二分支相加的方式进行组合，具体请参见图4所示。
s102，对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小。
对某一卷积网络进行量化训练的过程包括采用权重量化函数对卷积网络的权重进行量化的过程，和/或采用激活值量化函数对卷积网络的激活值进行量化的过程。由于本实施例的原始深度神经网络的每一层卷积网络包括两个分支，因此在步骤s102中，针对每一层卷积网络的所述第一分支的权重和激活值均进行量化训练，而对所述第二分支的权重和激活值则均不做量化训练，仅按照缩放因子进行衰减处理。
具体实现中，针对任一层卷积网络，步骤s102可采用以下步骤a1-a2来获取所述缩放因子：
a1，获取第l层卷积网络进行量化训练时的训练步数；
a2，调用余弦衰减函数计算第l层卷积网络进行量化训练时的训练步数对应的缩放因子。
s103，当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。
所述量化训练从所述原始深度神经网络的输入层开始，逐层依次迭代，每一层都按照步骤s102所述的方法进行量化训练，即对每一层的第一分支进行量化训练，而对每一层的第二分支按照缩放因子进行衰减处理，直至所述原始深度神经网络的所有层都完成所述量化训练且所述第二分支的缩放因子减小至零。当所述缩放因子减小至零时，所述第二分支则对整个网络没有作用，那么在网络收敛时则可以将每一层的所述第二分支移除，具体是将每一层卷积网络中的第二分支的全精度卷积结构进行删除(即剪枝图3或图4中虚线所示第二分支)，删除之后每一层卷积网络仅包含第一分支，移除第二分支之后的各层卷积网络构成量化后的目标深度神经网络。
本发明实施例的网络量化过程中，原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。实施本发明实施例，通过在原始深度神经网络的每一层卷积网络中设置全精度卷积结构的第二分支，这使得每一层卷积网络的输出具备更强的表达能力；再对每一层卷积网络进行量化训练及衰减处理，这样能够使网络量化训练时的波动更小，训练出来的网络精度更高，所得到的目标深度神经网络的网络性能更佳。
针对图3所示的原始深度神经网络的结构，本发明实施例提出了上述图1所示的步骤s102的一种具体实施方式的流程图，请参见图5，步骤s102具体可包括以下步骤s501-s508：
s501，获取第l层卷积网络的输入参数，所述输入参数包括权重和激活值；
s502，采用权重量化函数在第l层卷积网络中的第一分支中对第l层卷积网络的输入参数进行量化训练，得到第l层卷积网络中的所述第一分支的第一输出参数；
在一种可行的实施方式中，步骤s502具体包括以下步骤：
b1，采用定点量化方法得到第l层卷积网络的第一分支的权重量化值；
b2，第一卷积单元接收所述第l层卷积网络的第一分支的权重量化值和第l-1层的输出值，将两个值卷积后得到第一分支的第一卷积值；
b3，第一激活单元采用非线性函数对所述第一分支的第一卷积值进行非线性处理，得到所述第一分支的第一输出参数。
根据步骤s102，所述定点量化方法采用所述低精度量化模型来对所述第l层卷积网络的第一分支的权重进行量化训练，得到所述第l层卷积网络的第一分支的权重量化值。在步骤b1中，采用定点量化方法得到第l层卷积网络的第一分支的权重量化值，计算公式如下：
Figure BDA0001804677150000081
其中，
Figure BDA0001804677150000082
表示第l层卷积网络的第一分支的权重量化值，Wl 1表示第l层卷积网络的第一分支的权重，Qw表示定点量化方法对权重的量化函数。
在步骤b2中，第一卷积单元接收所述第l层卷积网络的第一分支的权重量化值和第l-1层的输出值，将两个值卷积的计算公式如下；
Figure BDA0001804677150000083
其中，
Figure BDA0001804677150000084
表示第一分支的第一卷积值，
Figure BDA0001804677150000085
表示第l-1层的输出值。
在步骤b3中，第一激活单元采用非线性函数对所述第一分支的第一卷积值进行非线性处理，计算公式如下：
Figure BDA0001804677150000086
其中，
Figure BDA0001804677150000087
表示所述第一分支的第一输出参数，φ表示第一激活单元的激活函数。
s503，将第l层卷积网络的输入参数传输至第l层卷积网络中的第二分支进行训练得到第l层卷积网络中的第二分支的原始输出参数；
在一种可行的实施方式中，步骤s503具体包括：
c1，第二卷积单元接收第l层卷积网络的第二分支的权重和第l-1层的输出值，将两个值卷积后得到第二分支的第二卷积值；
c2，第二激活单元采用非线性函数对所述第二卷积值进行非线性处理，得到所述第l层卷积网络的第二分支的原始输出参数。
根据步骤s102，所述第l层卷积网络的第二分支的权重采用全精度模型表示。所述第二激活单元采用非线性函数(如ReLu函数)对所述第二卷积值进行非线性处理。在步骤c1中，第二卷积单元接收第l层卷积网络的第二分支的权重和第l-1层的输出值，将两个值卷积的计算公式如下：
Figure BDA0001804677150000088
其中，
Figure BDA0001804677150000089
表示第二分支的第二卷积值，Wl 2表示第l层卷积网络的第二分支的权重，
Figure BDA0001804677150000091
表示第l-1层的输出值。
在步骤c2中，第二激活单元采用非线性函数对所述第二卷积值进行非线性处理，计算公式如下：
Figure BDA0001804677150000092
其中，
Figure BDA0001804677150000093
表示所述第二分支的原始输出参数，φ′表示第二激活单元的激活函数。
s504，根据第l层卷积网络进行量化训练时的训练步数获取对应的缩放因子；
s505，采用所获取的缩放因子对第l层卷积网络中的第二分支的原始输出参数进行衰减处理，得到第l层卷积网络中的所述第二分支的第二输出参数；
在步骤s505中，采用所获取的缩放因子对第l层卷积网络中的第二分支的原始输出参数进行衰减处理，计算公式如下：
Figure BDA0001804677150000094
其中，factor表示所述所获取的缩放因子。
s506，对所述第一输出参数及所述第二输出参数进行求和处理得到中间参数；
在步骤s506中，对所述第一输出参数及所述第二输出参数进行求和处理得到中间参数，计算公式如下：
Figure BDA0001804677150000095
其中，Al表示中间参数。
s507，采用激活值量化函数对所述中间参数进行量化训练，得到第l层卷积网络的输出参数；
在步骤s507中，采用激活值量化函数对所述中间参数进行量化训练，计算公式如下：
Figure BDA0001804677150000096
其中，
Figure BDA0001804677150000097
表示第l层卷积网络的输出参数，Qa表示定点量化方法对激活值的量化函数。
s508，将第l层卷积网络的输出参数确定为第l+1层卷积网络的输入参数，并重复上述步骤直至所有层卷积网络均完成量化训练且所述缩放因子减小至零为止。
本发明实施例的网络量化过程中，原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理，直到所有层卷积网络均完成量化训练且所述缩放因子减小至零为止；其中，所述缩放因子随所述量化训练的训练步数的增加而减小。实施本发明实施例，通过在原始深度神经网络的每一层卷积网络中增设全精度卷积结构的第二分支，这使得每一层卷积网络的输出具备更强的表达能力；再对每一层卷积网络进行量化训练及衰减处理，这样能够使网络量化训练时的波动更小，训练出来的网络精度更高，所得到的目标深度神经网络可以收敛到更好的局部最优点，网络性能更佳。
针对图4所示的原始深度神经网络的结构，本发明实施例提出了图1所示的步骤s102的另一种具体实施方式流程图，请参见图6，步骤s102具体包括以下步骤s601-s607：
s601，获取第l层卷积网络的输入参数，所述输入参数包括权重和激活值；
s602，采用权重量化函数及激活值量化函数在第l层卷积网络中的第一分支中对第l层卷积网络的输入参数进行量化训练，得到第l层卷积网络中的所述第一分支的第一输出参数；
在一种可行的实施方式中，步骤s602具体包括以下步骤：
d1，采用定点量化方法得到第l层卷积网络的第一分支的权重量化值；
d2，第一卷积单元接收所述第l层卷积网络的第一分支的权重量化值和第l-1层的输出值，将两个值卷积后的得到第一分支的第一卷积值；
d3，第一激活单元采用非线性函数对所述第一分支的第一卷积值进行非线性处理，得到所述第一分支的激活值；
d4，采用激活值量化函数对所述第一分支的激活值进行量化训练得到所述第l层卷积网络中的所述第一分支的第一输出参数。
在步骤d1中，采用定点量化方法得到第l层卷积网络的第一分支的权重量化值，计算公式如下：
Figure BDA0001804677150000101
其中，
Figure BDA0001804677150000102
表示第l层卷积网络的第一分支的权重量化值，Wl 1表示第l层卷积网络的第一分支的权重，Qw表示定点量化方法对权重的量化函数。
在步骤d2中，第一卷积单元接收所述第l层卷积网络的第一分支的权重量化值和第l-1层的输出值，将两个值卷积的计算公式如下：
Figure BDA0001804677150000103
其中，
Figure BDA00018046771500001111
表示第一分支的第一卷积值，
Figure BDA0001804677150000111
表示第l-1层的输出值。
在步骤d3中，第一激活单元采用非线性函数对所述第一分支的第一卷积值进行非线性处理，计算公式如下：
Figure BDA0001804677150000112
其中，
Figure BDA0001804677150000113
表示所述第一分支的第一输出参数，φ表示第一激活单元的激活函数。
在步骤d4中，采用激活值量化函数对所述第一分支的激活值进行量化训练，计算公式如下：
Figure BDA0001804677150000114
其中，
Figure BDA0001804677150000115
表示第l层卷积网络中的所述第一分支的第一输出参数，Qa表示定点量化方法对激活值的量化函数。
s603，将第l层卷积网络的输入参数传输至第l层卷积网络中的第二分支进行训练得到第l层卷积网络中的第二分支的原始输出参数；
在一种可行的实施方式中，步骤s603具体包括：
e1，第二卷积单元接收第l层卷积网络的第二分支的权重和第l-1层的输出值，将两个值卷积后得到第二卷积值；
e2，第二激活单元采用非线性函数对所述第二卷积值进行非线性处理，得到所述第l层卷积网络的第二分支的原始输出参数。
在步骤e1中，第二卷积单元接收第l层卷积网络的第二分支的权重和第l-1层的输出值，将两个值卷积的计算公式如下：
Figure BDA0001804677150000116
其中，
Figure BDA0001804677150000117
表示第二分支的第二卷积值，Wl 2表示第l层卷积网络的第二分支的权重，
Figure BDA0001804677150000118
表示第l-1层的输出值。
在步骤e2中，第二激活单元采用非线性函数对所述第二卷积值进行非线性处理，计算公式如下：
Figure BDA0001804677150000119
其中，
Figure BDA00018046771500001110
表示所述第二分支的原始输出参数，φ′表示第二激活单元的激活函数。
s604，根据第l层卷积网络进行量化训练时的训练步数获取对应的缩放因子；
s605，采用所获取的缩放因子对第l层卷积网络中的第二分支的原始输出参数进行衰减处理，得到第l层卷积网络中的所述第二分支的第二输出参数；
在步骤s605中，采用所获取的缩放因子对第l层卷积网络中的第二分支的原始输出参数进行衰减处理，计算公式如下：
Figure BDA0001804677150000121
其中，factor表示所述所获取的缩放因子。
s606，对所述第一输出参数及所述第二输出参数进行求和处理得到第l层卷积网络的输出参数；
在步骤s606中，对所述第一输出参数及所述第二输出参数进行求和处理，计算公式如下：
Figure BDA0001804677150000122
其中，
Figure BDA0001804677150000123
表示第l层卷积网络的输出参数。
s607，将第l层卷积网络的输出参数确定为第l+1层卷积网络的输入参数，并重复上述步骤直至所有层卷积网络均完成量化训练且所述缩放因子减小至零为止。
本发明实施例的网络量化过程中，原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理，直到所有层卷积网络均完成量化训练且所述缩放因子减小至零为止；其中，所述缩放因子随所述量化训练的训练步数的增加而减小。实施本发明实施例，通过在原始深度神经网络的每一层卷积网络中设置全精度卷积结构的第二分支，这使得每一层卷积网络的输出具备更强的表达能力；再对每一层卷积网络进行量化训练及衰减处理，这样能够使网络量化训练时的波动更小，训练出来的网络精度更高，所得到的目标深度神经网络可以收敛到更好的局部最优点，网络性能更佳。
基于上述网络量化方法的实施例的描述，本发明实施例提出了一种基于深度神经网络的业务处理方法，请参见图7，该方法具体包括以下步骤：
s701，接收业务请求，所述业务请求携带待处理的业务对象；所述业务请求包括以下任一种：图像处理请求、人脸识别请求、视觉处理请求及自然语言识别处理请求。可以理解的是，所述待处理的业务可包括但不限于：图像处理业务，人脸识别业务，视觉处理业务及自然语言识别业务等。
s702，调用目标深度神经网络对所述业务对象进行处理，得到业务处理结果；其中，所述目标深度神经网络是采用所述网络量化方法获得的。
目标深度神经网络可以是采用图1-图6所示的网络量化方法得到的，该目标深度神经网络可以设于网络设备中，该网络设备可包括但不限于：终端设备、嵌入式设备及网络服务器等等。其中，终端设备可以包括但不限于：智能手机、平板电脑及移动可穿戴设备等；嵌入式设备可包括但不限于DSP(Digital Signal Processing，数字信号处理)芯片设备等。当接收到业务请求时，网络设备调用所述目标深度神经网络，并将该业务请求携带的待处理的业务对象(如图像、人脸图像等)作为输入参数传输至目标深度神经网络进行相应的业务处理，得到业务处理结果。
s703，输出所述业务处理结果。
根据业务对象的不同，所述业务处理结果与所述业务对象一一对应；例如，所述业务对象为图像处理，则对应的业务处理结果可以包括但不限于图像的模糊、锐化、边缘检测等；又例如，所述业务对象为人脸识别，则对应的业务处理结果为匹配人脸图像，查找关联的身份信息等。
本发明实施例基于深度神经网络的业务处理过程中，可接收业务请求，所述业务请求携带待处理的业务对象；所述业务请求包括以下任一种：图像处理请求、人脸识别请求、视觉处理请求及自然语言识别处理请求；调用目标深度神经网络对所述业务对象进行处理，得到业务处理结果；其中，所述目标深度神经网络是采用所述网络量化方法获得的；输出所述业务处理结果；实施本发明实施例，由于用于进行业务处理的目标深度神经网络是通过所述网络量化方法获得的，该目标深度神经网络具备较佳的网络性能且精度较高，这样可有效提高业务处理的效率及保证业务处理的质量。
基于上述基于深度神经网络的业务处理方法，本发明实施例提供一种基于深度神经网络的业务处理方法的应用场景，请参见图8a-图8c，以人脸识别业务为例，设目标深度神经网络被设置于手机中的人脸识别APP(Application，应用程序)中。所述人脸识别业务的处理步骤如下：①用户使用安装了相机APP(Application，应用程序)和人脸识别APP的手机，打开相机APP，点击拍照，如图8a所示；用户拍摄照片后，打开人脸识别APP，选择进行人脸识别处理，则人脸识别APP调用所述目标深度神经网络对所述用户拍摄的人脸照片进行人脸识别处理，如图8b所示；处理完成后输出人脸识别结果，如图8c所示。
本发明实施例基于深度神经网络的业务处理过程中，可接收人脸识别请求，所述人脸识别请求携带待处理的人脸图像；调用目标深度神经网络对所述人脸图像进行识别处理得到人脸识别结果；其中，所述目标深度神经网络是采用所述网络量化方法获得的；输出所述人脸识别结果；实施本发明实施例，由于用于进行人脸识别处理的目标深度神经网络是通过所述网络量化方法获得的，该目标深度神经网络具备较佳的网络性能且精度较高，这样可有效提高人脸识别处理的效率，保证人脸识别处理的准确性。
基于上述网络量化方法的实施例的描述，本发明实施例提供一种网络量化装置，该装置可以是运行于网络设备中的一个计算机程序，可以被应用于上述图1、图5及图6所示的网络量化方法中，以用于执行网络量化方法中的相应步骤。请参见图9，该装置可包括：
获取单元101，用于获取待量化的原始深度神经网络；所述原始深度神经网络包括多层卷积网络，任一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；
量化单元102，用于对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；
处理单元103，用于当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。
一种实施例中，所述获取单元101具体用于：
获取初始深度神经网络，所述初始深度神经网络包括多层卷积网络，每一层卷积网络包括第一分支，所述第一分支为定点量化精度卷积结构；
为所述初始深度神经网络的每一层卷积网络设置第二分支得到所述原始深度神经网络。
另一种实施例中，所述量化单元102具体用于：
获取第l层卷积网络的输入参数，所述输入参数包括权重和激活值；
采用权重量化函数在第l层卷积网络中的第一分支中对第l层卷积网络的输入参数进行量化训练，得到第l层卷积网络中的所述第一分支的第一输出参数；
将第l层卷积网络的输入参数传输至第l层卷积网络中的第二分支进行训练得到第l层卷积网络中的第二分支的原始输出参数；
根据第l层卷积网络进行量化训练时的训练步数获取对应的缩放因子；
采用所获取的缩放因子对第l层卷积网络中的第二分支的原始输出参数进行衰减处理，得到第l层卷积网络中的所述第二分支的第二输出参数；
对所述第一输出参数及所述第二输出参数进行求和处理得到中间参数；
采用激活值量化函数对所述中间参数进行量化训练，得到第l层卷积网络的输出参数；
将第l层卷积网络的输出参数确定为第l+1层卷积网络的输入参数，并重复上述步骤直至所有层卷积网络均完成量化训练且所述缩放因子减小至零为止。
再一种实施例中，所述量化单元102具体用于：
获取第l层卷积网络中的输入参数，所述输入参数包括权重和激活值；
采用权重量化函数及激活值量化函数在第l层卷积网络中的第一分支中对第l层卷积网络的输入参数进行量化训练，得到第l层卷积网络中的所述第一分支的第一输出参数；
将第l层卷积网络的输入参数传输至第l层卷积网络中的第二分支进行训练得到第l层卷积网络中的第二分支的原始输出参数；
根据第l层卷积网络进行量化训练时的训练步数获取对应的缩放因子；
采用计算得到的缩放因子对第l层卷积网络中的第二分支的原始输出参数进行衰减处理，得到第l层卷积网络中的所述第二分支的第二输出参数；
对所述第一输出参数及所述第二输出参数进行求和处理得到第l层卷积网络的输出参数；
将第l层卷积网络的输出参数确定为第l+1层卷积网络的输入参数，并重复上述步骤直至所有层卷积网络均完成量化训练且所述缩放因子减小至零为止。
再一种实施例中，所述量化单元102具体用于：
获取第l层卷积网络进行量化训练时的训练步数；
调用余弦衰减函数计算第l层卷积网络进行量化训练时的训练步数对应的缩放因子。
本发明实施例的网络量化过程中，原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。实施本发明实施例，通过在原始深度神经网络的每一层卷积网络中设置全精度卷积结构的第二分支，这使得每一层卷积网络的输出具备更强的表达能力；再对每一层卷积网络进行量化训练及衰减处理，这样能够使网络量化训练时的波动更小，训练出来的网络精度更高，所得到的目标深度神经网络的网络性能更佳。
基于上述基于深度神经网络的业务处理方法的实施例的描述，本发明实施例提供一种基于深度神经网络的业务处理装置，该装置可以是运行于网络设备中的一个计算机程序，可以被应用于上述图7所示的基于深度神经网络的业务处理方法中，以用于执行基于深度神经网络的业务处理方法中的相应步骤。请参见图10，该装置可包括：
请求接收单元201，用于接收业务请求，所述业务请求携带待处理的业务对象；所述业务请求包括以下任一种：图像处理请求、人脸识别请求、视觉处理请求及自然语言识别处理请求；
业务处理单元202，用于调用目标深度神经网络对所述业务对象进行处理，得到业务处理结果；其中所述目标深度神经网络是采用所述网络量化方法获得的；
结果输出单元203，用于输出所述业务处理结果。
本发明实施例基于深度神经网络的业务处理过程中，可接收业务请求，所述业务请求携带待处理的业务对象；所述业务请求包括以下任一种：图像处理请求、人脸识别请求、视觉处理请求及自然语言识别处理请求；调用目标深度神经网络对所述业务对象进行处理，得到业务处理结果；其中，所述目标深度神经网络是采用所述网络量化方法获得的；输出所述业务处理结果；实施本发明实施例，由于用于进行业务处理的目标深度神经网络是通过所述网络量化方法获得的，该目标深度神经网络具备较佳的网络性能且精度较高，这样可有效提高业务处理的效率及保证业务处理的质量。
基于上述网络量化方法及装置，基于深度神经网络的业务处理方法及装置的实施例的描述，本发明实施例还提供一种网络设备，可以被应用于上述图1、图5及图6所示的网络量化方法及图7所示的基于深度神经网络的业务处理方法中，以用于执行网络量化方法及基于深度神经网络的业务处理方法中的相应步骤。请参见图11，该网络设备的内部结构可包括处理器、网络接口及计算机存储介质。其中，该网络设备内的处理器、通信接口及计算机存储介质可通过总线或其他方式连接。
通信接口是实现网络设备与外部设备之间进行交互和信息交换的媒介。处理器(或称CPU(Central Processing Unit，中央处理器))是网络设备的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；计算机存储介质(Memory)是服务器中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括网络设备的内置存储介质，当然也可以包括网络设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了网络设备的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，所述计算机存储介质存储有一条或一条以上第一指令，处理器加载并执行计算机存储介质中存放的一条或一条以上第一指令，以实现上述图1、图5或图6所示网络量化方法流程中的相应步骤；具体实现中，计算机存储介质中的一条或一条以上第一指令由处理器加载并执行如下步骤：
获取待量化的原始深度神经网络，所述原始深度神经网络包括多层卷积网络，任一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；
对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；
当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。
另一种实施例中，所述获取待量化的原始深度神经网络，包括：
获取初始深度神经网络，所述初始深度神经网络包括多层卷积网络，每一层卷积网络包括第一分支，所述第一分支为定点量化精度卷积结构；
为所述初始深度神经网络的每一层卷积网络设置第二分支得到所述原始深度神经网络。
再一种实施例中，所述原始深度神经网络包括L层卷积网络，L为正整数；其中的任一层卷积网络表示为第l层卷积网络，l为正整数，且1≤l≤L；
其中，全精度包括浮点精度及定点量化精度。
再一种实施例中，所述对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理，包括：
获取第l层卷积网络的输入参数，所述输入参数包括权重和激活值；
采用权重量化函数在第l层卷积网络中的第一分支中对第l层卷积网络的输入参数进行量化训练，得到第l层卷积网络中的所述第一分支的第一输出参数；
将第l层卷积网络的输入参数传输至第l层卷积网络中的第二分支进行训练得到第l层卷积网络中的第二分支的原始输出参数；
根据第l层卷积网络进行量化训练时的训练步数获取对应的缩放因子；
采用所获取的缩放因子对第l层卷积网络中的第二分支的原始输出参数进行衰减处理，得到第l层卷积网络中的所述第二分支的第二输出参数；
对所述第一输出参数及所述第二输出参数进行求和处理得到中间参数；
采用激活值量化函数对所述中间参数进行量化训练，得到第l层卷积网络的输出参数；
将第l层卷积网络的输出参数确定为第l+1层卷积网络的输入参数，并重复上述步骤直至所有层卷积网络均完成量化训练且所述缩放因子减小至零为止。
再一种实施例中，所述对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理，包括：
获取第l层卷积网络中的输入参数，所述输入参数包括权重和激活值；
采用权重量化函数及激活值量化函数在第l层卷积网络中的第一分支中对第l层卷积网络的输入参数进行量化训练，得到第l层卷积网络中的所述第一分支的第一输出参数；
将第l层卷积网络的输入参数传输至第l层卷积网络中的第二分支进行训练得到第l层卷积网络中的第二分支的原始输出参数；
根据第l层卷积网络进行量化训练时的训练步数获取对应的缩放因子；
采用计算得到的缩放因子对第l层卷积网络中的第二分支的原始输出参数进行衰减处理，得到第l层卷积网络中的所述第二分支的第二输出参数；
对所述第一输出参数及所述第二输出参数进行求和处理得到第l层卷积网络的输出参数；
将第l层卷积网络的输出参数确定为第l+1层卷积网络的输入参数，并重复上述步骤直至所有层卷积网络均完成量化训练且所述缩放因子减小至零为止。
再一种实施例中，所述根据第l层卷积网络进行量化训练时的训练步数获取对应的缩放因子，包括：
获取第l层卷积网络进行量化训练时的训练步数；
调用余弦衰减函数计算第l层卷积网络进行量化训练时的训练步数对应的缩放因子。
本发明实施例的网络量化过程中，原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。实施本发明实施例，通过在原始深度神经网络的每一层卷积网络中设置全精度卷积结构的第二分支，这使得每一层卷积网络的输出具备更强的表达能力；再对每一层卷积网络进行量化训练及衰减处理，这样能够使网络量化训练时的波动更小，训练出来的网络精度更高，所得到的目标深度神经网络的网络性能更佳。
在一个实施例中，所述计算机存储介质存储有一条或一条以上第二指令，处理器加载并执行计算机存储介质中存放的一条或一条以上第二指令，以实现上述图7所示基于深度神经网络的业务处理方法流程中的相应步骤；具体实现中，计算机存储介质中的一条或一条以上第二指令由处理器加载并执行如下步骤：
接收业务请求，所述业务请求携带待处理的业务对象；所述业务请求包括以下任一种：图像处理请求、人脸识别请求、视觉处理请求及自然语言识别处理请求；
调用目标深度神经网络对所述业务对象进行处理，得到业务处理结果；其中，所述目标深度神经网络是采用所述网络量化方法获得的；
输出所述业务处理结果。
本发明实施例基于深度神经网络的业务处理过程中，可接收业务请求，所述业务请求携带待处理的业务对象；所述业务请求包括以下任一种：图像处理请求、人脸识别请求、视觉处理请求及自然语言识别处理请求；调用目标深度神经网络对所述业务对象进行处理，得到业务处理结果；其中，所述目标深度神经网络是采用所述网络量化方法获得的；输出所述业务处理结果；实施本发明实施例，由于用于进行业务处理的目标深度神经网络是通过所述网络量化方法获得的，该目标深度神经网络具备较佳的网络性能且精度较高，这样可有效提高业务处理的效率及保证业务处理的质量。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种网络量化方法，其特征在于，所述方法包括：
获取待量化的原始深度神经网络，所述原始深度神经网络包括多层卷积网络，每一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；
对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；
当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。
2.根据权利要求1所述的方法，其特征在于，所述获取待量化的原始深度神经网络，包括：
获取初始深度神经网络，所述初始深度神经网络包括多层卷积网络，每一层卷积网络包括第一分支，所述第一分支为定点量化精度卷积结构；
为所述初始深度神经网络的每一层卷积网络设置第二分支得到所述原始深度神经网络。
3.根据权利要求1所述的方法，其特征在于，所述原始深度神经网络包括L层卷积网络，L为正整数；其中的任一层卷积网络表示为第l层卷积网络，l为正整数，且1≤l≤L；
其中，全精度包括浮点精度。
4.根据权利要求3所述的方法，其特征在于，所述对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理，包括：
获取第l层卷积网络的输入参数，所述输入参数包括权重和激活值；
采用权重量化函数在第l层卷积网络中的第一分支中对第l层卷积网络的输入参数进行量化训练，得到第l层卷积网络中的所述第一分支的第一输出参数；
将第l层卷积网络的输入参数传输至第l层卷积网络中的第二分支进行训练得到第l层卷积网络中的第二分支的原始输出参数；
根据第l层卷积网络进行量化训练时的训练步数获取对应的缩放因子；
采用所获取的缩放因子对第l层卷积网络中的第二分支的原始输出参数进行衰减处理，得到第l层卷积网络中的所述第二分支的第二输出参数；
对所述第一输出参数及所述第二输出参数进行求和处理得到中间参数；
采用激活值量化函数对所述中间参数进行量化训练，得到第l层卷积网络的输出参数；
将第l层卷积网络的输出参数确定为第l+1层卷积网络的输入参数，并重复上述步骤直至所有层卷积网络均完成量化训练且所述缩放因子减小至零为止。
5.根据权利要求3所述的方法，其特征在于，所述对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理，包括：
获取第l层卷积网络中的输入参数，所述输入参数包括权重和激活值；
采用权重量化函数及激活值量化函数在第l层卷积网络中的第一分支中对第l层卷积网络的输入参数进行量化训练，得到第l层卷积网络中的所述第一分支的第一输出参数；
将第l层卷积网络的输入参数传输至第l层卷积网络中的第二分支进行训练得到第l层卷积网络中的第二分支的原始输出参数；
根据第l层卷积网络进行量化训练时的训练步数获取对应的缩放因子；
采用计算得到的缩放因子对第l层卷积网络中的第二分支的原始输出参数进行衰减处理，得到第l层卷积网络中的所述第二分支的第二输出参数；
对所述第一输出参数及所述第二输出参数进行求和处理得到第l层卷积网络的输出参数；
将第l层卷积网络的输出参数确定为第l+1层卷积网络的输入参数，并重复上述步骤直至所有层卷积网络均完成量化训练且所述缩放因子减小至零为止。
6.根据权利要求4或5所述的方法，其特征在于，所述根据第l层卷积网络进行量化训练时的训练步数获取对应的缩放因子，包括：
获取第l层卷积网络进行量化训练时的训练步数；
调用余弦衰减函数计算第l层卷积网络进行量化训练时的训练步数对应的缩放因子。
7.一种基于深度神经网络的业务处理方法，其特征在于，所述方法包括：
接收业务请求，所述业务请求携带待处理的业务对象；所述业务请求包括以下任一种：图像处理请求、人脸识别请求、视觉处理请求及自然语言识别处理请求；
调用目标深度神经网络对所述业务对象进行处理，得到业务处理结果；其中，所述目标深度神经网络是采用权利要求1-6任一项所述的网络量化方法获得的；
输出所述业务处理结果。
8.一种网络量化装置，其特征在于，所述装置包括：
获取单元，用于获取待量化的原始深度神经网络；所述原始深度神经网络包括多层卷积网络，任一层卷积网络均包括第一分支和第二分支，所述第二分支为全精度卷积结构；
量化单元，用于对每一层卷积网络进行量化训练，并按照缩放因子对每一层卷积网络进行衰减处理；其中，所述缩放因子随所述量化训练的训练步数的增加而减小；
处理单元，用于当所有层卷积网络均完成量化训练且所述缩放因子减小至零时，将所述原始深度神经网络中每一层卷积网络中的所述第二分支进行移除处理，得到量化后的目标深度神经网络。
9.一种基于深度神经网络的业务处理装置，其特征在于，包括：
请求接收单元，用于接收业务请求，所述业务请求携带待处理的业务对象；所述业务请求包括以下任一种：图像处理请求、人脸识别请求、视觉处理请求及自然语言识别处理请求；
业务处理单元，用于调用目标深度神经网络对所述业务对象进行处理，得到业务处理结果；其中所述目标深度神经网络是采用权利要求1-6任一项所述的网络量化方法获得的；
结果输出单元，用于输出所述业务处理结果。
10.一种网络设备，其特征在于，包括：
处理器，适于实现一条或一条以上指令；以及
计算机存储介质，所述计算机存储介质存储有一条或一条以上第一指令，所述一条或一条以上第一指令适于由所述处理器加载并执行如权利要求1-6任一项所述的网络量化方法；或者，所述计算机存储介质存储有一条或一条以上第二指令，所述一条或一条以上第二指令适于由所述处理器加载并执行如权利要求7所述的基于深度神经网络的业务处理方法。
CN201811092329.XA 2018-09-19 2018-09-19 网络量化方法、业务处理方法及相关产品 Active CN110929865B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811092329.XA CN110929865B (zh) 2018-09-19 2018-09-19 网络量化方法、业务处理方法及相关产品
PCT/CN2018/124834 WO2020057000A1 (zh) 2018-09-19 2018-12-28 网络量化方法、业务处理方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811092329.XA CN110929865B (zh) 2018-09-19 2018-09-19 网络量化方法、业务处理方法及相关产品

Publications (2)

Publication Number Publication Date
CN110929865A true CN110929865A (zh) 2020-03-27
CN110929865B CN110929865B (zh) 2021-03-05

Family

ID=69855094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811092329.XA Active CN110929865B (zh) 2018-09-19 2018-09-19 网络量化方法、业务处理方法及相关产品

Country Status (2)

Country Link
CN (1) CN110929865B (zh)
WO (1) WO2020057000A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523526A (zh) * 2020-07-02 2020-08-11 杭州雄迈集成电路技术股份有限公司 一种目标检测方法、计算机设备及可读存储介质
CN112712164A (zh) * 2020-12-30 2021-04-27 上海熠知电子科技有限公司 一种神经网络的非均匀量化方法
CN116187420A (zh) * 2023-05-04 2023-05-30 上海齐感电子信息科技有限公司 轻量化的深度神经网络的训练方法、系统、设备和介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11977388B2 (en) * 2019-02-21 2024-05-07 Nvidia Corporation Quantizing autoencoders in a neural network
CN113780513B (zh) * 2020-06-10 2024-05-03 杭州海康威视数字技术股份有限公司 网络模型量化、推理方法、装置、电子设备及存储介质
CN111985495B (zh) * 2020-07-09 2024-02-02 珠海亿智电子科技有限公司 模型部署方法、装置、系统及存储介质
CN112861602B (zh) * 2020-12-10 2023-05-26 华南理工大学 基于深度可分离卷积的人脸活体识别模型压缩和移植方法
CN112766456B (zh) * 2020-12-31 2023-12-26 平安科技（深圳）有限公司 浮点型深度神经网络的量化方法、装置、设备及存储介质
CN113128440A (zh) * 2021-04-28 2021-07-16 平安国际智慧城市科技股份有限公司 基于边缘设备的目标物识别方法、装置、设备及存储介质
CN116911350B (zh) * 2023-09-12 2024-01-09 苏州浪潮智能科技有限公司 基于图神经网络模型的量化方法、任务处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160328646A1 (en) * 2015-05-08 2016-11-10 Qualcomm Incorporated Fixed point neural network based on floating point neural network quantization
CN106778684A (zh) * 2017-01-12 2017-05-31 易视腾科技股份有限公司 深度神经网络训练方法及人脸识别方法
CN106971160A (zh) * 2017-03-23 2017-07-21 西京学院 基于深度卷积神经网络和病害图像的冬枣病害识别方法
CN107368857A (zh) * 2017-07-24 2017-11-21 深圳市图芯智能科技有限公司 图像对象检测方法、系统及模型处理方法、设备、终端
US20180046903A1 (en) * 2016-08-12 2018-02-15 DeePhi Technology Co., Ltd. Deep processing unit (dpu) for implementing an artificial neural network (ann)
CN108491927A (zh) * 2018-03-16 2018-09-04 新智认知数据服务有限公司 一种基于神经网络的数据处理方法和装置
CN108510467A (zh) * 2018-03-28 2018-09-07 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160328645A1 (en) * 2015-05-08 2016-11-10 Qualcomm Incorporated Reduced computational complexity for fixed point neural network
US20170076195A1 (en) * 2015-09-10 2017-03-16 Intel Corporation Distributed neural networks for scalable real-time analytics
US10831444B2 (en) * 2016-04-04 2020-11-10 Technion Research & Development Foundation Limited Quantized neural network training and inference
CN107480770B (zh) * 2017-07-27 2020-07-28 中国科学院自动化研究所 可调节量化位宽的神经网络量化与压缩的方法及装置
CN108256632A (zh) * 2018-01-29 2018-07-06 百度在线网络技术（北京）有限公司 信息处理方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160328646A1 (en) * 2015-05-08 2016-11-10 Qualcomm Incorporated Fixed point neural network based on floating point neural network quantization
US20180046903A1 (en) * 2016-08-12 2018-02-15 DeePhi Technology Co., Ltd. Deep processing unit (dpu) for implementing an artificial neural network (ann)
CN106778684A (zh) * 2017-01-12 2017-05-31 易视腾科技股份有限公司 深度神经网络训练方法及人脸识别方法
CN106971160A (zh) * 2017-03-23 2017-07-21 西京学院 基于深度卷积神经网络和病害图像的冬枣病害识别方法
CN107368857A (zh) * 2017-07-24 2017-11-21 深圳市图芯智能科技有限公司 图像对象检测方法、系统及模型处理方法、设备、终端
CN108491927A (zh) * 2018-03-16 2018-09-04 新智认知数据服务有限公司 一种基于神经网络的数据处理方法和装置
CN108510467A (zh) * 2018-03-28 2018-09-07 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523526A (zh) * 2020-07-02 2020-08-11 杭州雄迈集成电路技术股份有限公司 一种目标检测方法、计算机设备及可读存储介质
CN112712164A (zh) * 2020-12-30 2021-04-27 上海熠知电子科技有限公司 一种神经网络的非均匀量化方法
CN112712164B (zh) * 2020-12-30 2022-08-26 上海熠知电子科技有限公司 一种神经网络的非均匀量化方法
CN116187420A (zh) * 2023-05-04 2023-05-30 上海齐感电子信息科技有限公司 轻量化的深度神经网络的训练方法、系统、设备和介质

Also Published As

Publication number Publication date
CN110929865B (zh) 2021-03-05
WO2020057000A1 (zh) 2020-03-26

Similar Documents

Publication Publication Date Title
CN110929865B (zh) 网络量化方法、业务处理方法及相关产品
US11023801B2 (en) Data processing method and apparatus
CN110263909B (zh) 图像识别方法及装置
CN113132723B (zh) 一种图像压缩方法及装置
TW202119293A (zh) 對人工神經網路進行量化的方法及系統以及人工神經網路設備
CN109284761B (zh) 一种图像特征提取方法、装置、设备及可读存储介质
EP3485433A1 (en) Generating video frames using neural networks
CN111967608A (zh) 数据处理方法、装置、设备及存储介质
CN113780549A (zh) 溢出感知的量化模型训练方法、装置、介质及终端设备
CN110795235A (zh) 一种移动web深度学习协作的方法及系统
CN111461302B (zh) 一种基于卷积神经网络的数据处理方法、设备及存储介质
CN113241064A (zh) 语音识别、模型训练方法、装置、电子设备和存储介质
CN113222813A (zh) 图像超分辨率重建方法、装置、电子设备及存储介质
CN113780523A (zh) 图像处理方法、装置、终端设备及存储介质
WO2021081854A1 (zh) 一种卷积运算电路和卷积运算方法
CN111915689A (zh) 用于生成目标函数的方法、装置、电子设备和计算机可读介质
CN110276448B (zh) 一种模型压缩方法及装置
CN112561050B (zh) 一种神经网络模型训练方法及装置
CN113902928A (zh) 图像特征的提取方法、装置及电子设备
US11604972B2 (en) Increased precision neural processing element
CN113255576B (zh) 人脸识别方法及装置
CN109308194B (zh) 用于存储数据的方法和装置
CN115456167B (zh) 轻量级模型训练方法、图像处理方法、装置及电子设备
CN114077889A (zh) 一种神经网络处理器和数据处理方法
CN117610619A (zh) 量化卷积方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant