CN111582229A - 一种网络自适应半精度量化的图像处理方法和系统 - Google Patents

一种网络自适应半精度量化的图像处理方法和系统 Download PDF

Info

Publication number
CN111582229A
CN111582229A CN202010433705.8A CN202010433705A CN111582229A CN 111582229 A CN111582229 A CN 111582229A CN 202010433705 A CN202010433705 A CN 202010433705A CN 111582229 A CN111582229 A CN 111582229A
Authority
CN
China
Prior art keywords
quantization
network
value
convolution
depth residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010433705.8A
Other languages
English (en)
Inventor
孙显
刁文辉
陈凯强
闫志远
冯瑛超
曹志颖
马益杭
赵良瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202010433705.8A priority Critical patent/CN111582229A/zh
Publication of CN111582229A publication Critical patent/CN111582229A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供了一种网络自适应半精度量化的图像处理方法和系统，包括：采集边缘计算设备的图像数据；将图像数据输入到预先建立的用于图像处理的深度残差卷积量化网络进行处理，得到图像数据对应的目标的类别、定位和图像中像素的类别；其中，深度残差卷积量化网络是基于深度网络自适应半精度量化方法训练得到的，半精度量化为采用一半位数的浮点数进行量化。本发明对深度残差卷积量化网络进行半精度自适应量化，能够在保证精度的前提下，减少深度残差卷积量化网络的大小，降低计算资源要求。

Description

一种网络自适应半精度量化的图像处理方法和系统
技术领域
本发明属于数字图像处理和计算机视觉技术领域，具体涉及一种网络自适应半精度量化的图像处理方法和系统。
背景技术
随着深度学习的发展，卷积神经网络在目标检测领域得到了广泛的应用。为了保证目标检测的准确性，基于卷积神经网络的目标检测模型越来越复杂，使得模型的参数量呈指数级增长，不仅增大了模型存储空间，计算成本也相应的提高。这使得目前的高精度目标检测模型无法在资源受限的边缘设备上部署。而量化方法可以将深度学习模型使用的32位单精度浮点数运算转换为低比特深度的数值类型，可以大大降低模型计算资源。
目前常见的量化方法有二值量化、三值量化等。论文“Binarized NeuralNetworks”提出的二值化网络，把网络的权重、激活值量化为-1或者+1，使用一个位宽表示，相对于32位浮点数网络，二值化可以节约32倍存储，并且可以使得整个网络的浮点数乘加运算可以转换成浮点数加减法运算。但是该方法使得网络的表达能力变弱，即便只是对复杂的分类任务，性能也会下降很多，无法适用于更加复杂的检测模型。论文“TrainedTernary Quantization”则是一个典型的三值量化方法，该方法并不是简单的将参数量化0，+1，-1，而是通过学习的方式将每一层量化为不同的参数，尽管一定程度上避免的性能损失，但是该方法仅量化权值，不对激活值进行量化，并且依然用32位浮点数表示量化参数，同样不适合在边缘设备上进行部署使用。另外，还有一些后训练量化算法，将模型参数直接进行量化进行推理，尽管这种方法实现简单，但是没有重新训练网络去学习修正量化带来的误差，使得性能损失更大。
发明内容
为克服上述现有技术的不足，本发明提出一种网络自适应半精度量化的图像处理方法，其改进之处在于，包括：
采集边缘计算设备的图像数据；
将所述图像数据输入到预先建立的用于图像处理的深度残差卷积量化网络进行处理，得到所述图像数据对应的目标的类别、定位和图像中像素的类别；
其中，所述的深度残差卷积量化网络是基于深度网络自适应半精度量化方法训练得到的，所述半精度量化为采用一半位数的浮点数进行量化。
优选的，所述深度残差卷积量化网络的建立，包括：
第一步：基于完成识别的图像数据以及对应图像数据的目标的类别、定位和图像中像素的类别得到训练数据集，基于训练数据集，采用深度残差卷积网络进行初步迭代训练，得到所述深度残差卷积量化网络中各卷积层权值的初始值；
第二步：基于所述训练数据集中的图像数据，并对所述深度残差卷网络的每一个卷积层的权值进行分组半精度量化以及对每一个卷积层输出的激活值进行分组半精度量化，进行前向传播得到当前深度残差卷积网络的输出的目标的类别、定位和图像中像素的类别；
第三步：对比所述输出的目标的类别、定位和图像中像素的类别和对应所述图像数据的目标的类别、定位和图像中像素的类别，得到输出误差，并基于所述输出误差对所述深度残差卷积网络进行反向传播计算梯度值，根据所述梯度值更新半精度量化前的卷积层权值；
第四步：判断所述深度残差卷积网络是否收敛；若是，则结束，得到完成训练的深度残差卷积量化网络，否则，转入第二步，直至所述深度残差卷积网络收敛。
优选的，所述基于所述训练数据集中的图像数据，并对所述深度残差卷网络的每一个卷积层的权值进行分组半精度量化以及对每一个卷积层输出的激活值进行分组半精度量化，进行前向传播得到当前深度残差卷积网络的输出的目标的类别、定位和图像中像素的类别，包括：
依次针对所述深度残差卷网络的从第一层开始的各卷积层，对所述卷积层的权值进行分组半精度量化，根据所述卷积层的输入值和半精度量化后的权值进行卷积运算得到所述卷积层的激活值；
对所述卷积层的激活值进行分组半精度量化，得到所述卷积层的输出值；
其中，第一层卷积层的输入值为所述训练数据集中的图像数据，其他各层卷积层的输入值为上一层卷积层的输出值；最后一层卷积层的输出值为目标的类别、定位和图像中像素的类别。
优选的，所述卷积层各组权值的量化公式如下：
Figure BDA0002501440400000021
式中，
Figure BDA0002501440400000022
表示第i组权值的量化输出，wi表示第i组权值，
Figure BDA0002501440400000023
表示第i组权值的下阈值，
Figure BDA0002501440400000024
表示i组权值的上阈值，Nw表示权值分组数量，
Figure BDA0002501440400000025
表示将第i组权值限制到该组上阈值和该组下阈值之间；
Figure BDA0002501440400000026
表示第i组权值的缩放因子；
Figure BDA0002501440400000027
的取值如下式所示：
Figure BDA0002501440400000031
Figure BDA0002501440400000032
的计算式如下：
Figure BDA0002501440400000033
式中，αl表示权值下阈值尺度因子，
Figure BDA0002501440400000034
表示第i组权值的最小值；
Figure BDA0002501440400000035
的计算式如下：
Figure BDA0002501440400000036
式中，αt表示权值上阈值尺度因子，
Figure BDA0002501440400000037
表示第i组权值的最大值。
优选的，所述第i组权值的缩放因子
Figure BDA0002501440400000038
的计算式如下：
Figure BDA0002501440400000039
优选的，所述权值量化级别nw设置为216。
优选的，所述卷积层输出的激活值的量化公式如下：
Figure BDA00025014404000000310
式中，
Figure BDA00025014404000000311
表示第i组激活值的量化输出，ai表示第i组激活值，
Figure BDA00025014404000000312
表示第i组激活值的下阈值，
Figure BDA00025014404000000313
表示i组激活值的上阈值，该阈值范围通过指数移动平均值在训练中统计得到,Na表示激活值分组数量，
Figure BDA00025014404000000314
表示将第i组激活值限制到该组上阈值和该组下阈值之间；
Figure BDA00025014404000000315
表示第i组激活值的缩放因子；
Figure BDA00025014404000000316
的取值如下式所示：
Figure BDA00025014404000000317
优选的，所述第i组激活值的缩放因子
Figure BDA00025014404000000318
的计算式如下：
Figure BDA00025014404000000319
式中，na为表示量化级别的常数。
优选的，所述权值量化级别na设置为216。
基于同一发明构思，本申请还提供了一种网络自适应半精度量化的图像处理系统，其特征在于，包括：数据获取模块和图像处理模块；
所述数据处理模块，用于采集边缘计算设备的图像数据；
所述图像处理模块，用于将所述图像数据输入到预先建立的用于图像处理的深度残差卷积量化网络进行处理，得到所述图像数据对应的目标的类别、定位和图像中像素的类别；
其中，所述的深度残差卷积量化网络是基于深度网络自适应半精度量化方法训练得到的，所述半精度量化为采用一半位数的浮点数进行量化。
与最接近的现有技术相比，本发明具有的有益效果如下：
本发明提供了一种网络自适应半精度量化的图像处理方法和系统，包括：采集边缘计算设备的图像数据；将图像数据输入到预先建立的用于图像处理的深度残差卷积量化网络进行处理，得到图像数据对应的目标的类别、定位和图像中像素的类别；其中，深度残差卷积量化网络是基于深度网络自适应半精度量化方法训练得到的，半精度量化为采用一半位数的浮点数进行量化。本发明对深度残差卷积量化网络进行半精度自适应量化，能够在保证精度的前提下，减少深度残差卷积量化网络的大小，降低计算资源要求。
本发明针对深度残差卷积量化网络的权值和激活值进行半精度量化，减小了量化误差，另外，根据分组的情况进行误差量化，可以使得量化更加的细粒度，最后，本发明在深度残差卷积量化网络的训练过程中模拟了量化的过程，让深度残差卷积量化网络参数学习去修正量化带来的误差，比训练后量化更准确。
附图说明
图1为本发明提供的一种网络自适应半精度量化的图像处理方法流程示意图；
图2为本发明提供的一个网络自适应半精度量化的图像处理方法实施例的流程示意图；
图3为本发明的权值分组量化的一种结构示意图；
图4为本发明的权值分组量化的另一种结构示意图；
图5为本发明的权值分组量化的再一种结构示意图；
图6为本发明的激活值分组量化的一种结构示意图；
图7为本发明的激活值分组量化的另一种结构示意图；
图8为本发明提供的一种网络自适应半精度量化的图像处理系统基本结构示意图；
图9为本发明提供的一种网络自适应半精度量化的图像处理系统详细结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步的详细说明。
实施例1：
本发明提供的一种网络自适应半精度量化的图像处理方法流程示意图如图1所示，包括：
步骤1：采集边缘计算设备的图像数据；
步骤2：将图像数据输入到预先建立的用于图像处理的深度残差卷积量化网络进行处理，得到图像数据对应的目标的类别、定位和图像中像素的类别；
其中，深度残差卷积量化网络是基于深度网络自适应半精度量化方法训练得到的，半精度量化为采用一半位数的浮点数进行量化。
这里的图像处理可以有多种，比如图像分类任务，经过量化网络处理得到图像的分类结果；比如是图像检测任务，经过量化网络处理得到定位结果和类别结果；比如是图像语义分割任务，经过量化网络处理得到每个像素的类别结果。
具体的，本发明的步骤如图2所示，包括：
第一步。对深度残差卷积量化网络进行预训练，首先，使用预训练模型训练一个用于图像处理的深度残差卷积网络，该网络可以为多种形式，对目标检测，可以是双阶段网络，如Faster-RCNN、RetinaNet等，也可以是单阶段检测网络SSD、YOLO网络等。预训练模型可以imagenet等数据集上进行预训练。迭代次数一般按照总迭代次数设置为10％，防止直接进行量化训练导致损失发散，无法收敛。
第二步。进行前向传播。在前向传播过程中，对网络的每一个卷积层的权值进行分组半精度量化。各组权值的量化公式如下：
Figure BDA0002501440400000051
式中，
Figure BDA0002501440400000052
表示第i组权值的量化输出，wi表示第i组权值，
Figure BDA0002501440400000053
表示第i组权值的下阈值，
Figure BDA0002501440400000054
表示i组权值的上阈值，Nw表示分组数量，
Figure BDA0002501440400000055
表示将第i组权值限制到该组上阈值和该组下阈值之间；
Figure BDA0002501440400000056
表示第i组权值的缩放因子；
Figure BDA0002501440400000057
的计算式如下：
Figure BDA0002501440400000061
式中，nw表示权值量化级别，设置为216；
Figure BDA0002501440400000062
的取值如下式所示：
Figure BDA0002501440400000063
Figure BDA0002501440400000064
的计算式如下：
Figure BDA0002501440400000065
式中，αl表示权值下阈值尺度因子，一般设置为1，
Figure BDA0002501440400000066
表示第i组权值的最小值；
Figure BDA0002501440400000067
的计算式如下：
Figure BDA0002501440400000068
式中，αt表示权值上阈值尺度因子，一般设置为1，
Figure BDA0002501440400000069
表示第i组权值的最大值。
假设某一个卷积层的输入通道为Cin,输出通道为Cout,卷积核的尺寸为K×K，则该卷积层的权值尺寸为Cin×K×K×Cout，那么，对于权值分组的设计，可以有多种分组方式。常见的几种分组方式如下：如图3所示，可以直接按照顺序分组，当每一组的大小为1时，表示每一个卷积核为一组，每一组的大小为Cin×Cout时，表示整个层的权值为一组；如图4所示，可以基于卷积层的输出通道分组，每一组对应同一个输入通道的权重大小；如图5所示，可以基于卷积层的输入通道分组，每一组对应同一个输出通道的权值大小。
使用量化后的权值进行卷积运算得到激活值，在对每一个卷积层输出的激活值进行分组半精度量化。量化后的激活值作为本层的卷积层的输出值，并作为下一卷积层的输入值。特别的，第一层的输入值为输入的训练数据集中的图像数据，最后一层卷积层的输出值为目标的类别、定位和图像中像素的类别。其中，训练数据集是基于完成识别的图像数据以及对应图像数据的目标的类别、定位和图像中像素的类别得到的。
各组激活值的量化公式如下：
Figure BDA00025014404000000610
式中，
Figure BDA00025014404000000611
表示第i组激活值的量化输出，ai表示第i组激活值，
Figure BDA00025014404000000612
表示第i组激活值的下阈值，
Figure BDA00025014404000000613
表示i组激活值的上阈值，该阈值范围通过指数移动平均值在训练中统计得到,Na表示激活值分组数量，
Figure BDA0002501440400000071
表示将第i组激活值限制到该组上阈值和该组下阈值之间；
Figure BDA0002501440400000072
表示第i组激活值的缩放因子；
Figure BDA0002501440400000073
的计算式如下：
Figure BDA0002501440400000074
式中，na为表示量化级别的常数，设置为216；
Figure BDA0002501440400000075
的取值如下式所示：
Figure BDA0002501440400000076
假设某一个激活值的输出尺寸为Cout×H×W,那么，对于激活值分组的设计，可以有多种分组方式。常见的几种分组方式如下：如图6所示，可以直接按照顺序分组，当每一组的大小为1时，表示每一个通道的激活值为一组，每一组的大小为Cin时，表示整个激活值输出为一组；如图7所示，可以基于激活值的空间维度的输出分组，每一组对应同一个空间位置的激活值大小。
第三步。对比输出的目标的类别、定位和图像中像素的类别和对应图像数据的目标的类别、定位和图像中像素的类别，得到输出误差，并基于输出误差对所述深度残差卷积网络进行反向传播计算梯度值，然后对量化前的卷积层权值进行更新；
第四步。判断网络是否收敛；若是，则结束，得到深度残差卷积量化网络，否则，转入第二步，直至深度残差卷积量化网络收敛。
最后，将收敛的深度残差卷积量化网络部署至边缘计算设备。
边缘计算设备可获取图像数据，并输入深度残差卷积量化网络，得到图像数据对应的目标的类别、定位和图像中像素的类别。
实施例2：
基于同一发明构思，本发明还提供了一种网络自适应半精度量化的图像处理系统，由于这些设备解决技术问题的原理与网络自适应半精度量化的图像处理方法相似，重复之处不再赘述。
该系统基本结构如图8所示，包括：数据获取模块和图像处理模块；
数据处理模块，用于采集边缘计算设备的图像数据；
图像处理模块，用于将图像数据输入到预先建立的用于图像处理的深度残差卷积量化网络进行处理，得到图像数据对应的目标的类别、定位和图像中像素的类别；
其中，深度残差卷积量化网络是基于深度网络自适应半精度量化方法训练得到的，半精度量化为采用一半位数的浮点数进行量化。
网络自适应半精度量化的图像处理系统详细结构如图9所示。该系统还包括用于建立深度残差卷积量化网络的网络建立模块；
网络建立模块包括：初始化单元、前向传播单元、反向传播单元和收敛判断单元；
初始化单元，用于基于完成识别的图像数据以及对应图像数据的目标的类别、定位和图像中像素的类别得到训练数据集，基于训练数据集，采用深度残差卷积网络进行初步迭代训练，得到深度残差卷积量化网络中各卷积层权值的初始值；
前向传播单元，用于基于训练数据集中的图像数据，并对深度残差卷网络的每一个卷积层的权值进行分组半精度量化以及对每一个卷积层输出的激活值进行分组半精度量化，进行前向传播得到当前深度残差卷积网络的输出的目标的类别、定位和图像中像素的类别；
反向传播单元，用于对比输出的目标的类别、定位和图像中像素的类别和对应图像数据的目标的类别、定位和图像中像素的类别，得到输出误差，并基于输出误差对深度残差卷积网络进行反向传播计算梯度值，根据梯度值更新半精度量化前的卷积层权值；
收敛判断单元，用于判断深度残差卷积网络是否收敛；若是，则结束，得到完成训练的深度残差卷积量化网络，否则，调用前向传播单元，直至深度残差卷积网络收敛。
其中，前向传播单元包括：权重量化子单元和激活值量化子单元；
权重量化子单元，用于依次针对深度残差卷网络的从第一层开始的各卷积层，对卷积层的权值进行分组半精度量化，根据卷积层的输入值和半精度量化后的权值进行卷积运算得到卷积层的激活值；
激活值量化子单元，用于对卷积层的激活值进行分组半精度量化，得到卷积层的输出值；
其中，第一层卷积层的输入值为训练数据集中的图像数据，其他各层卷积层的输入值为上一层卷积层的输出值；最后一层卷积层的输出值为目标的类别、定位和图像中像素的类别。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用于说明本申请的技术方案而非对其保护范围的限制,尽管参照上述实施例对本申请进行了详细的说明,所属领域的普通技术人员应当理解:本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在申请待批的权利要求保护范围之内。

Claims (10)

1.一种网络自适应半精度量化的图像处理方法，其特征在于，包括：
采集边缘计算设备的图像数据；
将所述图像数据输入到预先建立的用于图像处理的深度残差卷积量化网络进行处理，得到所述图像数据对应的目标的类别、定位和图像中像素的类别；
其中，所述深度残差卷积量化网络是基于深度网络自适应半精度量化方法训练得到的，所述半精度量化为采用一半位数的浮点数进行量化。
2.如权利要求1所述的方法，其特征在于，所述深度残差卷积量化网络的建立，包括：
第一步：基于完成识别的图像数据以及对应图像数据的目标的类别、定位和图像中像素的类别得到训练数据集，基于训练数据集，采用深度残差卷积网络进行初步迭代训练，得到所述深度残差卷积量化网络中各卷积层权值的初始值；
第二步：基于所述训练数据集中的图像数据，并对所述深度残差卷网络的每一个卷积层的权值进行分组半精度量化以及对每一个卷积层输出的激活值进行分组半精度量化，进行前向传播得到当前深度残差卷积网络的输出的目标的类别、定位和图像中像素的类别；
第三步：对比所述输出的目标的类别、定位和图像中像素的类别和对应所述图像数据的目标的类别、定位和图像中像素的类别，得到输出误差，并基于所述输出误差对所述深度残差卷积网络进行反向传播计算梯度值，根据所述梯度值更新半精度量化前的卷积层权值；
第四步：判断所述深度残差卷积网络是否收敛；若是，则结束，得到完成训练的深度残差卷积量化网络，否则，转入第二步，直至所述深度残差卷积网络收敛。
3.如权利要求2所述的方法，其特征在于，所述基于所述训练数据集中的图像数据，并对所述深度残差卷网络的每一个卷积层的权值进行分组半精度量化以及对每一个卷积层输出的激活值进行分组半精度量化，进行前向传播得到当前深度残差卷积网络的输出的目标的类别、定位和图像中像素的类别，包括：
依次针对所述深度残差卷网络的从第一层开始的各卷积层，对所述卷积层的权值进行分组半精度量化，根据所述卷积层的输入值和半精度量化后的权值进行卷积运算得到所述卷积层的激活值；
对所述卷积层的激活值进行分组半精度量化，得到所述卷积层的输出值；
其中，第一层卷积层的输入值为所述训练数据集中的图像数据，其他各层卷积层的输入值为上一层卷积层的输出值；最后一层卷积层的输出值为目标的类别、定位和图像中像素的类别。
4.如权利要求3所述的方法，其特征在于，所述卷积层各组权值的量化公式如下：
Figure FDA0002501440390000021
式中，
Figure FDA0002501440390000022
表示第i组权值的量化输出，wi表示第i组权值，
Figure FDA0002501440390000023
表示第i组权值的下阈值，
Figure FDA0002501440390000024
表示i组权值的上阈值，Nw表示权值分组数量，
Figure FDA0002501440390000025
表示将第i组权值限制到该组上阈值和该组下阈值之间；
Figure FDA0002501440390000026
表示第i组权值的缩放因子；
Figure FDA0002501440390000027
的取值如下式所示：
Figure FDA0002501440390000028
Figure FDA0002501440390000029
的计算式如下：
Figure FDA00025014403900000210
式中，αl表示权值下阈值尺度因子，
Figure FDA00025014403900000211
表示第i组权值的最小值；
Figure FDA00025014403900000212
的计算式如下：
Figure FDA00025014403900000213
式中，αt表示权值上阈值尺度因子，
Figure FDA00025014403900000214
表示第i组权值的最大值。
5.如权利要求4所述的方法，其特征在于，所述第i组权值的缩放因子
Figure FDA00025014403900000215
的计算式如下：
Figure FDA00025014403900000216
6.如权利要求5所述的方法，其特征在于，所述权值量化级别nw设置为216。
7.如权利要求3所述的方法，其特征在于，所述卷积层输出的激活值的量化公式如下：
Figure FDA00025014403900000217
式中，
Figure FDA00025014403900000218
表示第i组激活值的量化输出，ai表示第i组激活值，
Figure FDA00025014403900000219
表示第i组激活值的下阈值，
Figure FDA00025014403900000220
表示i组激活值的上阈值，该阈值范围通过指数移动平均值在训练中统计得到，Na表示激活值分组数量，
Figure FDA00025014403900000221
表示将第i组激活值限制到该组上阈值和该组下阈值之间；
Figure FDA00025014403900000222
表示第i组激活值的缩放因子；
Figure FDA00025014403900000223
的取值如下式所示：
Figure FDA0002501440390000031
8.如权利要求7所述的方法，其特征在于，所述第i组激活值的缩放因子
Figure FDA0002501440390000032
的计算式如下：
Figure FDA0002501440390000033
式中，na为表示量化级别的常数。
9.如权利要求8所述的方法，其特征在于，所述权值量化级别na设置为216。
10.一种网络自适应半精度量化的图像处理系统，其特征在于，包括：数据获取模块和图像处理模块；
所述数据处理模块，用于采集边缘计算设备的图像数据；
所述图像处理模块，用于将所述图像数据输入到预先建立的用于图像处理的深度残差卷积量化网络进行处理，得到所述图像数据对应的目标的类别、定位和图像中像素的类别；
其中，所述深度残差卷积量化网络是基于深度网络自适应半精度量化方法训练得到的，所述半精度量化为采用一半位数的浮点数进行量化。
CN202010433705.8A 2020-05-21 2020-05-21 一种网络自适应半精度量化的图像处理方法和系统 Pending CN111582229A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010433705.8A CN111582229A (zh) 2020-05-21 2020-05-21 一种网络自适应半精度量化的图像处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010433705.8A CN111582229A (zh) 2020-05-21 2020-05-21 一种网络自适应半精度量化的图像处理方法和系统

Publications (1)

Publication Number Publication Date
CN111582229A true CN111582229A (zh) 2020-08-25

Family

ID=72125167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010433705.8A Pending CN111582229A (zh) 2020-05-21 2020-05-21 一种网络自适应半精度量化的图像处理方法和系统

Country Status (1)

Country Link
CN (1) CN111582229A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222039A (zh) * 2021-05-24 2021-08-06 中国平安财产保险股份有限公司 遥感影像标的查勘模型的训练方法、装置、设备及介质
CN113705791A (zh) * 2021-08-31 2021-11-26 上海阵量智能科技有限公司 神经网络推理量化的方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485316A (zh) * 2016-10-31 2017-03-08 北京百度网讯科技有限公司 神经网络模型压缩方法以及装置
CN110363281A (zh) * 2019-06-06 2019-10-22 上海交通大学 一种卷积神经网络量化方法、装置、计算机和存储介质
CN110659734A (zh) * 2019-09-27 2020-01-07 中国科学院半导体研究所 深度可分离卷积结构的低比特量化方法
CN110799994A (zh) * 2017-08-14 2020-02-14 美的集团股份有限公司 神经网络的自适应位宽缩减
CN111091184A (zh) * 2019-12-19 2020-05-01 浪潮(北京)电子信息产业有限公司 一种深度神经网络的量化方法、装置、电子设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485316A (zh) * 2016-10-31 2017-03-08 北京百度网讯科技有限公司 神经网络模型压缩方法以及装置
CN110799994A (zh) * 2017-08-14 2020-02-14 美的集团股份有限公司 神经网络的自适应位宽缩减
CN110363281A (zh) * 2019-06-06 2019-10-22 上海交通大学 一种卷积神经网络量化方法、装置、计算机和存储介质
CN110659734A (zh) * 2019-09-27 2020-01-07 中国科学院半导体研究所 深度可分离卷积结构的低比特量化方法
CN111091184A (zh) * 2019-12-19 2020-05-01 浪潮(北京)电子信息产业有限公司 一种深度神经网络的量化方法、装置、电子设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENOIT JACOB等: "《Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference》", 《ARXIV》 *
NICK HIGHAM: "《Half Precision Arithmetic: fp16 Versus bfloat16》", 《HTTPS://NHIGHAM.COM/2018/12/03/HALF-PRECISION-ARITHMETIC-FP16-VERSUS-BFLOAT16/COMMENT-PAGE-1/》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222039A (zh) * 2021-05-24 2021-08-06 中国平安财产保险股份有限公司 遥感影像标的查勘模型的训练方法、装置、设备及介质
CN113222039B (zh) * 2021-05-24 2023-09-05 中国平安财产保险股份有限公司 遥感影像标的查勘模型的训练方法、装置、设备及介质
CN113705791A (zh) * 2021-08-31 2021-11-26 上海阵量智能科技有限公司 神经网络推理量化的方法、装置、电子设备及存储介质
CN113705791B (zh) * 2021-08-31 2023-12-19 上海阵量智能科技有限公司 神经网络推理量化的方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11657254B2 (en) Computation method and device used in a convolutional neural network
JP6806412B2 (ja) パターン認識に適用可能なモデルを最適化するための方法および装置ならびに端末デバイス
CN108846826B (zh) 物体检测方法、装置、图像处理设备及存储介质
JP6922387B2 (ja) ディープニューラルネットワークに基づく認識装置、トレーニング装置及び方法
US11775611B2 (en) Piecewise quantization for neural networks
US20180350109A1 (en) Method and device for data quantization
WO2022006919A1 (zh) 基于激活定点拟合的卷积神经网络训练后量化方法及系统
CN106855952B (zh) 基于神经网络的计算方法及装置
CN110084357B (zh) 经由选择性修剪来加速长短期记忆网络
US11687761B2 (en) Improper neural network input detection and handling
CN110298394B (zh) 一种图像识别方法和相关装置
CN113159276B (zh) 模型优化部署方法、系统、设备及存储介质
CN106991999B (zh) 语音识别方法及装置
WO2023098544A1 (zh) 基于局部稀疏约束的结构化剪枝方法和装置
US20200342315A1 (en) Method, device and computer program for creating a deep neural network
CN111582229A (zh) 一种网络自适应半精度量化的图像处理方法和系统
KR102456987B1 (ko) 건물 외벽의 균열을 탐지하는 방법
WO2021178704A1 (en) Adaptive quantization for execution of machine learning models
US20200073755A1 (en) Determining significance levels of error values in processes that include multiple layers
CN112598062A (zh) 一种图像识别方法和装置
CN112598123A (zh) 神经网络的权值的量化方法、量化装置及存储介质
Eldebiky et al. Correctnet: Robustness enhancement of analog in-memory computing for neural networks by error suppression and compensation
CN115238883A (zh) 神经网络模型的训练方法、装置、设备及存储介质
CN110837885B (zh) 一种基于概率分布的Sigmoid函数拟合方法
JPWO2018135516A1 (ja) ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination