CN108510067B - 基于工程化实现的卷积神经网络量化方法 - Google Patents
基于工程化实现的卷积神经网络量化方法 Download PDFInfo
- Publication number
- CN108510067B CN108510067B CN201810319586.6A CN201810319586A CN108510067B CN 108510067 B CN108510067 B CN 108510067B CN 201810319586 A CN201810319586 A CN 201810319586A CN 108510067 B CN108510067 B CN 108510067B
- Authority
- CN
- China
- Prior art keywords
- bit width
- layer
- floating point
- point
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本发明公开了一种基于工程化实现的卷积神经网路量化方法,主要解决现有技术耗费时间长,准确率不高的问题,其实现方案是:1)下载已经预训练好的浮点格式的卷积神经网络模型;2)在下载的浮点网络中定义量化层;3)在下载的浮点网络中每一层批量归一化层后面调用2)定义的量化层,并构建输入数据的量化公式对浮点输入数据进行量化;4)在1)下载的浮点网络中,构建权值量化公式对浮点权值进行量化。本发明与现有技术相比,在保持识别准确率的同时降低了图像分类任务的时间成本和存储需求,可用于专用芯片FPGA/ASIC硬件平台的部署。
Description
技术领域
本发明属于深度学习技术领域,具体涉及一种卷积神经网络量化方法,可用于专用芯片FPGA/ASIC硬件平台的部署。
背景技术
深度学习近年来发展迅速,已经被广泛应用到各个领域,特别是计算机视觉、语音识别和自然语言处理领域。卷积神经网络是深度学习的代表,在计算机视觉领域掀起了热潮,凭借其强大的学习能力被广泛应用于图像分类任务中。为了提高图像分类任务的识别准确率,卷积神经网络的层数越来越多,结构越来越复杂。提高识别准确率的同时也付出了巨大的代价,计算复杂度和模型存储需求大量增加,这不利于卷积神经网络在功率预算有限的硬件平台的部署。因此,改进卷积神经网络的算法,降低卷积神经网络的存储需求已成为趋势,从而可以促进卷积神经网络在硬件平台FPGA和ASIC芯片上的应用。目前,将卷积神经网络使用的32位浮点数的数制量化成低位宽的定点数这种方法可以使得硬件资源占用和功耗更少。
Gupta,S.在其发表的论文“Deep learning with limited numericalprecision”(《Computer Science》,2015)中提出了使用随机舍入的方法对卷积神经网络进行定点数的量化,该方法在网络量化位宽为16的时候也能取得与网络使用32位浮点数时几乎相同的性能。但是在硬件平台中随机数的实现特别复杂,所以该方法不易于部署在硬件平台上。
Rastegari M.在其发表的论文“XNOR-Net:ImageNet Classification UsingBinary Convolutional Neural Networks”(European Conference on Computer Vision,2016:525-542)中提出了XNOR-Net,XNOR-Net将卷积神经网络量化成了二值网络,量化位宽为1,该方法虽说能最大程度地降低硬件占用的资源和消耗的功率,实现起来非常的高效。但是对大规模图像数据集imagenet做分类任务时,该方法的识别准确率与网络使用32位浮点数时得到的识别准确率相比下降超过了10%。
发明内容
本发明的目的在于针对上述现有技术的问题,提出一种基于工程化实现的卷积神经网络量化方法,以在保持识别准确率的同时降低图像分类任务的时间成本和存储需求。
本发明的基本思路是:根据硬件平台处理器的位宽将卷积神经网络量化为位宽为16、8的定点网络,对定点数整数和小数进行不同的位宽组合,对量化后的定点网络进行测试,根据测试准确率选择最适合部署在硬件平台的定点数位宽和表示格式,其实现方案包括如下:
(1)从互联网下载两个已经预训练好的浮点格式卷积神经网络模型;
(2)在(1)下载的预训练浮点模型的每一层卷积层和全连接层后面都添加一层自定义的量化层,并用该自定义的量化层对浮点形式的输入数据进行量化,量化的公式为:
其中,Convert表示将浮点输入数据转化为定点输入数据,x为浮点输入数据,IL和FL分别表示定点输入数据的整数位宽和小数位宽,round为四舍五入函数,是编程语言的内置函数,2FL表示量化成小数位宽为FL的定点数,-2IL-1表示定点输入数据表示的数值范围的下限,2IL-1-2-FL表示定点输入数据表示的数值范围的上限;
(3)对(1)下载的预训练浮点模型中已经训练好的浮点权值进行量化,量化的公式为:
其中,Convert表示将浮点权值转化为定点权值,w为浮点权值,IL′和FL′分别表示定点权值的整数位宽和小数位宽,round为四舍五入函数,是编程语言的内置函数,2FL′表示量化成小数位宽为FL′的定点数,-2IL′-1表示定点权值表示的数值范围的下限,2IL′-1-2-FL′表示定点权值表示的数值范围的上限。
本发明与现有技术相比有以下优点:
第一、由于本发明将已经预训练好的的浮点卷积神经网络量化为定点卷积神经网络,数据经过量化由高位宽变为低位宽,充分地降低了时间成本。
第二、由于只需对网络的前向传播过程进行量化,网络模型设计简单,易于实现。
附图说明
图1为本发明的实现流程图;
图2为现有vgg16网络模型结构图;
图3为本发明使用位宽为16的定点网络测试cifar100得到的准确率;
图4为本发明使用位宽为8的定点网络测试cifar100得到的准确率;
图5为本发明使用位宽为16的定点网络测试imagenet得到的准确率;
图6为本发明使用位宽为8的定点网络测试imagenet得到的准确率。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照附图1,本发明的具体步骤如下。
步骤1,获取预训练浮点模型。
本发明从互联网下载两个已经预训练好的浮点格式的卷积神经网络模型,一个是由3层卷积层和2层全连接层组成的小型网络模型,另一个是由带13层卷积层和3层全连接层组成的大型网络模型,其中:
小型网络模型中每一个卷积层后面按顺序加了一层批量归一化层、激活层、池化层,每一个全连接层后面都按顺序加了一层批量归一化层、激活层、Dropout层,最后一层全连接层除外;该小型网络模型用于测试中规模的数据集cifar100,cifar100的测试集包括10000张测试图片,图片分为100类。
该大型网络模型在vgg16模型的基础上在每层卷积层之后都加了一层批量归一化层;该大型网络模型用于测试大规模的数据集imagenet,imagenet是计算机视觉领域最大的数据库,本发明使用其中的分类数据集,分类数据集中验证集有50000张验证图片,图片分为1000类。
所述常用的vgg16模型,如图2。该vgg16一共有13层卷积层和3层全连接层,13层卷积层分为5段,每段卷积之后紧接着最大池化层。
步骤2,浮点模型定点化。
(2a)定义一个量化层,量化层对浮点输入数据进行量化,量化的定点数位宽用1+IL+FL表示,其中IL表示整数位宽,FL表示小数位宽;
(2b)利用编程语言python,在步骤1下载的小型预训练浮点模型的每一层批量归一化层后面调用(2a)定义的量化层;在步骤1下载的大型预训练浮点模型的每一层批量归一化层后面调用(2a)定义的量化层,由于全连接层后面没有批量归一化层,故直接在全连接层后面调用(2a)定义的量化层,最后一层全连接层不调用;
(2c)将(2b)中小型网络的每一层批量归一化层的输出作为(2a)定义的量化层的输入,将大型网络的每一层批量归一化层的输出和全连接层的输出作为(2a)定义的量化层的输入,量化层对这个浮点形式的输入进行量化,量化的公式为:
其中,Convert表示将浮点输入数据转化为定点输入数据,x为浮点输入数据,IL和FL分别表示定点输入数据的整数位宽和小数位宽,round为四舍五入函数,是编程语言的内置函数,2FL表示量化成小数位宽为FL的定点数,-2IL-1表示定点输入数据表示的数值范围的下限,2IL-1-2-FL表示定点输入数据表示的数值范围的上限;
(2d)对步骤1下载的预训练浮点模型中已经训练好的浮点权值进行量化,量化的定点数位宽用1+IL′+FL′表示,其中IL′表示整数位宽,FL′表示小数位宽,量化的公式为:
其中,Convert表示将浮点权值转化为定点权值,w为浮点权值,IL′和FL′分别表示定点权值的整数位宽和小数位宽,round为四舍五入函数,是编程语言的内置函数,2FL′表示量化成小数位宽为FL′的定点数,-2IL′-1表示定点权值表示的数值范围的下限,2IL′-1-2-FL′表示定点权值表示的数值范围的上限。
本发明的效果可通过以下仿真实验做进一步说明。
1.仿真条件:
本发明的仿真实验是在基于python的深度学习框架pytorch下进行的。
2.仿真内容:
本发明通过使用定点量化后的小型网络模型对图像数据集cifar100进行测试,使用定点量化后的大型网络模型对图像数据集imagenet进行测试,验证本发明提出的量化方法的效果。
仿真1,使用定点量化后的小型网络模型测试图像数据集cifar100。
将输入图像数据的范围从0到255映射到0到1,并通过设置均值和方差将数据归一化到-1到1;
根据硬件处理器的位宽,通过设置IL和FL将定点输入数据位宽分别设置成16、8,通过设置IL′和FL′将定点权值位宽分别设置成16、8,使用量化后的定点网络进行仿真测试,测试结果如图3和图4,其中:
图3是定点网络位宽为16时测试得到的准确率,图4是定点网络位宽为8时测试得到的准确率,该图3和图4是一个三维图,图中x维代表定点输入数据的整数位宽,y维代表定点权值的整数位宽,z维代表测试准确率。
从图3和图4可以看出:当定点输入数据整数位宽和小数位宽分别为4和11,定点权值整数位宽和小数位宽分别为2和13或3和12时,位宽为16的定点网络测试得到的准确率最高,为56.43%,比浮点型网络测试得到的准确率56.41%还要高。当定点输入数据整数位宽和小数位宽分别为4和3,定点权值整数位宽和小数位宽分别为3和4时,位宽为8的定点网络测试得到的准确率最高,为56.26%,比预训练的浮点型网络测试得到的准确率56.41%只低0.15%。
仿真2,使用定点量化后的大型网络模型测试图像数据集imagenet。
将输入图像数据的尺寸调整到256×256,再在图片的中间区域进行裁剪,将图片裁剪成224×224的尺寸,最后将裁剪后的图像数据的范围从0到255映射到0到1,并通过设置均值和方差将数据进行归一化处理。
根据硬件处理器的位宽,通过设置IL和FL将定点输入数据位宽分别设置成16、8,通过设置IL′和FL′将定点权值位宽分别设置成16、8,使用量化后的定点网络进行仿真测试,测试结果如图5和图6,其中:
图5是定点网络位宽为16时测试得到的准确率,图6是定点网络位宽为8时测试得到的准确率,图中x维代表定点输入数据的整数位宽,y维代表定点权值的整数位宽,z维代表测试准确率。
从图5和图6可以看出:当定点输入数据整数位宽和小数位宽分别为6和9,定点权值整数位宽和小数位宽分别为2和13时,位宽为16的定点网络测试得到的准确率最高,为73.496%,比预训练的浮点型网络测试得到的准确率73.476%还要高。当定点输入数据整数位宽和小数位宽分别为2和5,定点权值整数位宽和小数位宽分别为0和7时,位宽为8的定点网络测试得到的准确率最高,为71.968%,只比浮点型网络测试得到的准确率73.476%下降约1.5%。
Claims (3)
1.一种基于工程化实现的卷积神经网络量化方法,包括:
(1)从互联网下载两个已经预训练好的浮点格式卷积神经网络模型;
(2)根据硬件平台处理器的位宽在(1)下载的预训练浮点模型的每一层卷积层和全连接层后面都添加一层自定义的量化层,并用该自定义的量化层对浮点形式的输入数据进行量化,量化的公式为:
其中,Convert表示将浮点输入数据转化为定点输入数据,x为浮点输入数据,IL和FL分别表示定点输入数据的整数位宽和小数位宽,round为四舍五入函数,是编程语言的内置函数,2FL表示量化成小数位宽为FL的定点数,-2IL-1表示定点输入数据表示的数值范围的下限,2IL-1-2-FL表示定点输入数据表示的数值范围的上限;
(3)根据硬件平台处理器的位宽对(1)下载的预训练浮点模型中已经训练好的浮点权值进行量化,量化的公式为:
其中,Convert表示将浮点权值转化为定点权值,w为浮点权值,IL′和FL′分别表示定点权值的整数位宽和小数位宽,round为四舍五入函数,是编程语言的内置函数,2FL′表示量化成小数位宽为FL′的定点数,-2IL′-1表示定点权值表示的数值范围的下限,2IL′-1-2-FL′表示定点权值表示的数值范围的上限。
2.根据权利要求1所述的方法,其中步骤(2)中在步骤(1)下载的预训练浮点模型的每一层卷积层和全连接层后面都添加一层自定义的量化层,是利用编程语言python完成的,其步骤如下:
(2a)定义一个量化层,量化层对浮点输入数据进行量化,量化的定点数位宽用1+IL+FL表示,其中IL表示整数位宽,FL表示小数位宽;
(2b)在步骤(1)下载的预训练浮点网络的每一层卷积层和全连接层后面调用(2a)定义的量化层,用于网络的前向传播。
3.根据权利要求1所述的方法,其中步骤(1)从互联网下载两个已经预训练好的浮点格式卷积神经网络模型,包括:
由3层卷积层和2层全连接层组成的小型网络模型,
由13层卷积层和3层全连接层组成的大型网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810319586.6A CN108510067B (zh) | 2018-04-11 | 2018-04-11 | 基于工程化实现的卷积神经网络量化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810319586.6A CN108510067B (zh) | 2018-04-11 | 2018-04-11 | 基于工程化实现的卷积神经网络量化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108510067A CN108510067A (zh) | 2018-09-07 |
CN108510067B true CN108510067B (zh) | 2021-11-09 |
Family
ID=63381480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810319586.6A Active CN108510067B (zh) | 2018-04-11 | 2018-04-11 | 基于工程化实现的卷积神经网络量化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108510067B (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11437032B2 (en) | 2017-09-29 | 2022-09-06 | Shanghai Cambricon Information Technology Co., Ltd | Image processing apparatus and method |
US11630666B2 (en) | 2018-02-13 | 2023-04-18 | Shanghai Cambricon Information Technology Co., Ltd | Computing device and method |
US11397579B2 (en) | 2018-02-13 | 2022-07-26 | Shanghai Cambricon Information Technology Co., Ltd | Computing device and method |
KR102148110B1 (ko) | 2018-02-13 | 2020-08-25 | 상하이 캠브리콘 인포메이션 테크놀로지 컴퍼니 리미티드 | 계산 장치 및 방법 |
CN116991226A (zh) | 2018-02-14 | 2023-11-03 | 上海寒武纪信息科技有限公司 | 处理器的控制装置、方法及设备 |
EP3624020A4 (en) | 2018-05-18 | 2021-05-05 | Shanghai Cambricon Information Technology Co., Ltd | CALCULATION PROCEDURES AND RELATED PRODUCTS |
EP3757896B1 (en) | 2018-08-28 | 2023-01-11 | Cambricon Technologies Corporation Limited | Method and device for pre-processing data in a neural network |
WO2020062392A1 (zh) | 2018-09-28 | 2020-04-02 | 上海寒武纪信息科技有限公司 | 信号处理装置、信号处理方法及相关产品 |
CN109472353B (zh) * | 2018-11-22 | 2020-11-03 | 浪潮集团有限公司 | 一种卷积神经网络量化电路及量化方法 |
WO2020118553A1 (zh) * | 2018-12-12 | 2020-06-18 | 深圳鲲云信息科技有限公司 | 一种卷积神经网络的量化方法、装置及电子设备 |
CN111383638A (zh) | 2018-12-28 | 2020-07-07 | 上海寒武纪信息科技有限公司 | 信号处理装置、信号处理方法及相关产品 |
CN109389212B (zh) * | 2018-12-30 | 2022-03-25 | 南京大学 | 一种面向低位宽卷积神经网络的可重构激活量化池化系统 |
CN109800865B (zh) * | 2019-01-24 | 2021-03-23 | 北京市商汤科技开发有限公司 | 神经网络生成及图像处理方法和装置、平台、电子设备 |
CN111695671B (zh) * | 2019-03-12 | 2023-08-08 | 北京地平线机器人技术研发有限公司 | 训练神经网络的方法及装置、电子设备 |
CN111832739B (zh) | 2019-04-18 | 2024-01-09 | 中科寒武纪科技股份有限公司 | 一种数据处理方法及相关产品 |
US20200334522A1 (en) | 2019-04-18 | 2020-10-22 | Cambricon Technologies Corporation Limited | Data processing method and related products |
CN110222821B (zh) * | 2019-05-30 | 2022-03-25 | 浙江大学 | 基于权重分布的卷积神经网络低位宽量化方法 |
US11676028B2 (en) | 2019-06-12 | 2023-06-13 | Shanghai Cambricon Information Technology Co., Ltd | Neural network quantization parameter determination method and related products |
CN112085181B (zh) * | 2019-06-12 | 2024-03-29 | 上海寒武纪信息科技有限公司 | 神经网络量化方法及装置以及相关产品 |
CN110309877B (zh) * | 2019-06-28 | 2021-12-07 | 北京百度网讯科技有限公司 | 一种特征图数据的量化方法、装置、电子设备及存储介质 |
CN110717585B (zh) * | 2019-09-30 | 2020-08-25 | 上海寒武纪信息科技有限公司 | 神经网络模型的训练方法、数据处理方法和相关产品 |
CN110837890A (zh) * | 2019-10-22 | 2020-02-25 | 西安交通大学 | 一种面向轻量级卷积神经网络的权值数值定点量化方法 |
CN113222148B (zh) * | 2021-05-20 | 2022-01-11 | 浙江大学 | 一种面向物料识别的神经网络推理加速方法 |
CN114676830A (zh) * | 2021-12-31 | 2022-06-28 | 杭州雄迈集成电路技术股份有限公司 | 一种基于神经网络编译器的仿真实现方法 |
WO2023164858A1 (en) * | 2022-03-03 | 2023-09-07 | Intel Corporation | Decimal-bit network quantization of convolutional neural network models |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105760933A (zh) * | 2016-02-18 | 2016-07-13 | 清华大学 | 卷积神经网络的逐层变精度定点化方法及装置 |
CN107239829A (zh) * | 2016-08-12 | 2017-10-10 | 北京深鉴科技有限公司 | 一种优化人工神经网络的方法 |
CN107480770A (zh) * | 2017-07-27 | 2017-12-15 | 中国科学院自动化研究所 | 可调节量化位宽的神经网络量化与压缩的方法及装置 |
CN107688855A (zh) * | 2016-08-12 | 2018-02-13 | 北京深鉴科技有限公司 | 针对于复杂神经网络的分层量化方法与装置 |
CN107844830A (zh) * | 2016-12-08 | 2018-03-27 | 上海兆芯集成电路有限公司 | 具有数据大小和权重大小混合计算能力的神经网络单元 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10262259B2 (en) * | 2015-05-08 | 2019-04-16 | Qualcomm Incorporated | Bit width selection for fixed point neural networks |
US10643126B2 (en) * | 2016-07-14 | 2020-05-05 | Huawei Technologies Co., Ltd. | Systems, methods and devices for data quantization |
-
2018
- 2018-04-11 CN CN201810319586.6A patent/CN108510067B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105760933A (zh) * | 2016-02-18 | 2016-07-13 | 清华大学 | 卷积神经网络的逐层变精度定点化方法及装置 |
CN107239829A (zh) * | 2016-08-12 | 2017-10-10 | 北京深鉴科技有限公司 | 一种优化人工神经网络的方法 |
CN107688855A (zh) * | 2016-08-12 | 2018-02-13 | 北京深鉴科技有限公司 | 针对于复杂神经网络的分层量化方法与装置 |
CN107844830A (zh) * | 2016-12-08 | 2018-03-27 | 上海兆芯集成电路有限公司 | 具有数据大小和权重大小混合计算能力的神经网络单元 |
CN107480770A (zh) * | 2017-07-27 | 2017-12-15 | 中国科学院自动化研究所 | 可调节量化位宽的神经网络量化与压缩的方法及装置 |
Non-Patent Citations (6)
Title |
---|
Deep Learning with Limited Numerical Precision;Suyog Gupta等;《arXiv:1502.02551v1》;20150209;1-10 * |
Fixed Point Quantization of Deep Convolutional Networks;Darryl D. Lin等;《arXiv:1511.06393v3》;20160602;1-10 * |
Overcoming challenges in fixed point training of deep convolutional networks;Darryl D. Lin等;《arXiv:1607.02241v1》;20160708;1-5 * |
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference;Benoit Jacob等;《arXiv:1712.05877v1》;20171215;1-14 * |
分簇架构处理器上卷积并行计算算法的研究;邓文齐等;《小型微型计算机系统》;20180315;第39卷(第03期);第520-524页 * |
基于FPGA的神经系统高速仿真;张荣华等;《第二十九届中国控制会议论文集》;20100729;第5575-5579页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108510067A (zh) | 2018-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108510067B (zh) | 基于工程化实现的卷积神经网络量化方法 | |
US11645493B2 (en) | Flow for quantized neural networks | |
US11403528B2 (en) | Self-tuning incremental model compression solution in deep neural network with guaranteed accuracy performance | |
US20230140185A1 (en) | Neural network activation compression with non-uniform mantissas | |
EP3788559A1 (en) | Quantization for dnn accelerators | |
CN111488986A (zh) | 一种模型压缩方法、图像处理方法以及装置 | |
Kavyashree et al. | Compressed mobilenet v3: a light weight variant for resource-constrained platforms | |
JP7408799B2 (ja) | ニューラルネットワークモデルの圧縮 | |
WO2020001401A1 (zh) | 深度神经网络中的网络层运算方法及装置 | |
CN113657421A (zh) | 卷积神经网络压缩方法和装置、图像分类方法和装置 | |
CN114282666A (zh) | 基于局部稀疏约束的结构化剪枝方法和装置 | |
CN114677548A (zh) | 基于阻变存储器的神经网络图像分类系统及方法 | |
WO2022222649A1 (zh) | 神经网络模型的训练方法、装置、设备及存储介质 | |
CN111126557B (zh) | 神经网络量化、应用方法、装置和计算设备 | |
CN116187416A (zh) | 一种基于层剪枝灵敏度的迭代式重训练方法及一种图像处理器 | |
CN116301914A (zh) | 基于gap8微处理器的卷积神经网络部署方法 | |
CN114065913A (zh) | 模型量化方法、装置及终端设备 | |
WO2021083154A1 (en) | Method and apparatus for quantization of neural networks post training | |
CN114139678A (zh) | 卷积神经网络量化方法、装置、电子设备和存储介质 | |
CN114565080A (zh) | 神经网络压缩方法及装置、计算机可读介质、电子设备 | |
CN110276448B (zh) | 一种模型压缩方法及装置 | |
Chai et al. | Low precision neural networks using subband decomposition | |
WO2020165491A1 (en) | Apparatus and a method for neural network compression | |
CN110633787A (zh) | 基于多比特神经网络非线性量化的深度神经网络压缩方法 | |
CN115062777B (zh) | 卷积神经网络的量化方法、量化装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |