CN109472353A - 一种卷积神经网络量化电路及量化方法 - Google Patents
一种卷积神经网络量化电路及量化方法 Download PDFInfo
- Publication number
- CN109472353A CN109472353A CN201811398233.6A CN201811398233A CN109472353A CN 109472353 A CN109472353 A CN 109472353A CN 201811398233 A CN201811398233 A CN 201811398233A CN 109472353 A CN109472353 A CN 109472353A
- Authority
- CN
- China
- Prior art keywords
- quantization
- convolutional neural
- neural networks
- parameter
- zero
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明公开了一种卷积神经网络量化电路及量化方法，属于人工智能数据处理技术领域，包括原始参数池、比较器阵列、量化参数计算单元和算术运算单元，所述原始参数池用于存储卷积神经网络每层计算所需的原始参数数据，包括每层所有卷积核各通道数据和偏置数据；所述比较器阵列用于对原始参数池中的数据进行统计运算，迭代比较得到卷积神经网络各层参数的最大值及最小值；所述量化参数计算单元用于对所述最大值及最小值进行算术运算，得到模型量化所用的各参数；所述算术运算单元用于对模型进行量化，所得结果均以无符号位指定位数的整数格式表示。本发明经过量化可以降低系统功耗，使卷积神经网络在端上的部署运行得到更可靠的保证。
Description
技术领域
本发明涉及人工智能数据处理技术领域，具体地说是一种卷积神经网络量化电路及量化方法。
背景技术
卷积神经网络作为人工智能发展大潮中一支重要方向，已呈白热化发展状态。各种新模型新算法层出不穷，为这一领域源源不断注入新的推动力量。其中，网络模型深度增加和规模增大是主要发展方向，在精度不断提高的过程中，神经网络的部署与实现却面临巨大挑战。
由于移动端处理和存储水平发展限制，深度和尺寸成倍增长的人工神经网络只能在大规模计算资源的处理机器中运行，设备功耗和运行速度达不到要求。无法进行端的移植，进而无法集群部署。一些适用于各种场景的新型网络无法得到应用与验证，一定程度上阻碍着算法的优化和网络的进步。
发明内容
本发明的技术任务是针对以上不足之处，提供一种卷积神经网络量化电路及量化方法，可以降低系统功耗，使卷积神经网络在端上的部署运行得到更可靠的保证。
本发明解决其技术问题所采用的技术方案是：
一种卷积神经网络量化电路，包括原始参数池、比较器阵列、量化参数计算单元和算术运算单元，
所述原始参数池用于存储卷积神经网络每层计算所需的原始参数数据，包括每层所有卷积核各通道数据和偏置数据，均以有符号实数型数据格式表达；
所述比较器阵列用于对原始参数池中的数据进行统计运算，迭代比较得到卷积神经网络各层参数的最大值及最小值；
所述量化参数计算单元用于根据一定的算法，对所述最大值及最小值进行算术运算，得到模型量化所用的各参数；
所述算术运算单元用于根据所述量化后的参数，从卷积神经网络首层的原始输入开始，对卷积、累加、池化及全连接等过程进行量化，所得结果均以无符号位指定位数的整数格式表示。
通过量化计算，可以将有符号的实数型数据格式变为无符号指定位数的整数格式，可以降低模型存储容量和带宽需求。
进一步的，该量化电路还包括微调单元，用于对量化结果进行一定范围内的修正，以消除算术运算单元由于移位及乘除法运算带来的误差。
进一步的，该量化电路还包括激活单元，用于根据量化参数，将量化后的数据截短，以满足下一层卷积神经网络输入要求。
优选的，所述量化参数计算单元得到的量化参数包括：卷积核量化零值、量化扩展系数、量化移位位数一、量化移位位数二、输出量化零值、偏置扩展系数和全连接输出量化零值。
进一步的，所述算术运算单元包括加法阵列、位移阵列和乘法器阵列，以实现卷积、累加、池化及全连接等过程中的量化运算，包括：对输入特征图与输入特征图量化零值作差运算，对输入卷积核与卷积核量化零值作差运算，对减去零值的输入特征图及卷积核乘积运算，对乘积结果与量化扩展系数进行乘积运算，对二次乘积结果进行两次量化移位计算，对移位结果和输出量化零值进行求和运算，对原始偏置与偏置扩展系数进行乘积运算，对全连接输出和全连接输出量化零值进行求和。
其中，在量化扩展乘积运算之后以及第一次量化位移之后，需要经过微调单元对结果进行微调计算。
进一步的，所述输入特征图量化零值经模型重新训练得到。
本发明还提供一种卷积神经网络量化方法，该方法通过以下步骤实现：
1)、对原始卷积神经网络各层参数进行数据统计，得到每层每组参数的最大值和最小值；
2)、利用极值及特定算法得到量化过程所需参数，参数包括：卷积核量化零值、量化扩展系数、量化移位位数一、量化移位位数二、输出量化零值、偏置扩展系数和全连接输出量化零值；
3)、在原有卷积神经网络计算过程基础上添加量化计算，从卷积神经网络首层的原始输入开始，对卷积、累加、池化及全连接等过程进行量化，得到量化后的输出结果，所得结果均以无符号位指定位数的整数格式表示；
4)、对结果进行修正及激活截短，消除由于移位及乘除法运算带来的误差，并将量化后的数据截短，以适应下一层卷积神经网络输入。
具体的，所述量化后的输出结果均以无符号位指定位数的整数格式表示。
具体的，利用步骤2)所得到量化过程所需参数，所述量化计算为：对输入特征图与输入特征图量化零值作差运算，对输入卷积核与卷积核量化零值作差运算，对减去零值的输入特征图及卷积核乘积运算，对乘积结果与量化扩展系数进行乘积运算，对二次乘积结果进行两次量化移位计算，对移位结果和输出量化零值进行求和运算，对原始偏置与偏置扩展系数进行乘积运算，对全连接输出和全连接输出量化零值进行求和。
本发明的一种卷积神经网络量化电路及量化方法与现有技术相比，具有以下有益效果：
通过对卷积神经网络模型参数的量化，首先对存储系统的要求放宽，由带符号多位实数转化为无符号八位整形数据，大大降低了模型存储容量与带宽需求，提高仿存速率；在保证计算精度的同时，量化后的模型计算消耗时延降低，业务效率得到提升；量化后系统功耗降低，使得卷积神经网络在端上的部署与运行得到更可靠的保证。
附图说明
图1是本发明的卷积神经网络量化电路的结构框图；
图2是本发明的卷积神经网络量化方法的流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
一种卷积神经网络量化电路，包括原始参数池、比较器阵列、量化参数计算单元、算术运算单元、微调单元和激活单元。
所述原始参数池用于存储卷积神经网络每层计算所需的原始参数数据，包括每层所有卷积核各通道数据和偏置数据，均以有符号实数型数据格式表达；
所述比较器阵列用于对原始参数池中的数据进行统计运算，迭代比较得到卷积神经网络各层参数的最大值及最小值；
所述量化参数计算单元用于根据一定的算法，对所述最大值及最小值进行算术运算，得到模型量化所用的各参数；
所述算术运算单元用于根据所述量化后的参数，从卷积神经网络首层的原始输入开始，对卷积、累加、池化及全连接等过程进行量化，所得结果均以无符号位指定位数的整数格式表示。
所述微调单元，用于对量化结果进行一定范围内的修正，以消除算术运算单元由于移位及乘除法运算带来的误差。
所述激活单元，用于根据量化参数，将量化后的数据截短，以满足下一层卷积神经网络输入要求。
其中，所述量化参数计算单元得到的量化参数包括：卷积核量化零值、量化扩展系数、量化移位位数一、量化移位位数二、输出量化零值、偏置扩展系数和全连接输出量化零值。
所述算术运算单元包括加法阵列、位移阵列和乘法器阵列，以实现卷积、累加、池化及全连接等过程中的量化运算，包括：对输入特征图与输入特征图量化零值作差运算，对输入卷积核与卷积核量化零值作差运算，对减去零值的输入特征图及卷积核乘积运算，对乘积结果与量化扩展系数进行乘积运算，对二次乘积结果进行两次量化移位计算，对移位结果和输出量化零值进行求和运算，对原始偏置与偏置扩展系数进行乘积运算，对全连接输出和全连接输出量化零值进行求和。
其中，在量化扩展乘积运算之后以及第一次量化位移之后，需要经过微调单元对结果进行微调计算。
其中，所述输入特征图量化零值经模型重新训练得到。
通过量化计算，可以将有符号的实数型数据格式变为无符号指定位数的整数格式，可以降低模型存储容量和带宽需求。
在发明的一个实施例中，还提供一种卷积神经网络量化方法，该方法通过以下步骤实现：
1)、对原始卷积神经网络各层参数进行数据统计，得到每层每组参数的最大值和最小值；
使用原始参数池存储卷积神经网络每层计算所需的原始参数数据，包括每层所有卷积核各通道数据和偏置数据，均以有符号实数型数据格式表达；
通过使用比较器阵列用于对原始参数池中的数据进行统计运算，迭代比较得到卷积神经网络各层参数的最大值及最小值。
2)、利用极值及特定算法，对所述最大值及最小值进行算术运算，得到量化过程所需参数，参数包括：卷积核量化零值、量化扩展系数、量化移位位数一、量化移位位数二、输出量化零值、偏置扩展系数和全连接输出量化零值；
3)、在原有卷积神经网络计算过程基础上添加量化计算，从卷积神经网络首层的原始输入开始，对卷积、累加、池化及全连接等过程进行量化，得到量化后的输出结果，所得结果均以无符号位指定位数的整数格式表示；
利用步骤2)所得到量化过程所需参数，所述量化计算为：对输入特征图与输入特征图量化零值作差运算，对输入卷积核与卷积核量化零值作差运算，对减去零值的输入特征图及卷积核乘积运算，对乘积结果与量化扩展系数进行乘积运算，对二次乘积结果进行两次量化移位计算，对移位结果和输出量化零值进行求和运算，对原始偏置与偏置扩展系数进行乘积运算，对全连接输出和全连接输出量化零值进行求和。
4)、对结果进行修正及激活截短，消除由于移位及乘除法运算带来的误差，并将量化后的数据截短，以适应下一层卷积神经网络输入。
在量化扩展乘积运算之后以及第一次量化位移之后，需要经过微调单元对结果进行微调计算。
其中，所述输入特征图量化零值经模型重新训练得到。
通过对卷积神经网络模型参数的量化，首先对存储系统的要求放宽，由带符号多位实数转化为无符号八位整形数据，大大降低了模型存储容量与带宽需求，提高仿存速率；在保证计算精度的同时，量化后的模型计算消耗时延降低，业务效率得到提升；量化后系统功耗降低，使得卷积神经网络在端上的部署与运行得到更可靠的保证。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (10)
1.一种卷积神经网络量化电路，其特征在于包括原始参数池、比较器阵列、量化参数计算单元和算术运算单元，
所述原始参数池用于存储卷积神经网络每层计算所需的原始参数数据，包括每层所有卷积核各通道数据和偏置数据；
所述比较器阵列用于对原始参数池中的数据进行统计运算，迭代比较得到卷积神经网络各层参数的最大值及最小值；
所述量化参数计算单元用于对所述最大值及最小值进行算术运算，得到模型量化所用的各参数；
所述算术运算单元用于根据所述量化后的参数，从卷积神经网络首层的原始输入开始，对卷积、累加、池化及全连接等过程进行量化，所得结果均以无符号位指定位数的整数格式表示。
2.根据权利要求1所述的一种卷积神经网络量化电路，其特征在于还包括微调单元，用于对量化结果进行修正，以消除算术运算单元运算产生的误差。
3.根据权利要求1或2所述的一种卷积神经网络量化电路，其特征在于还包括激活单元，用于根据量化参数，将量化后的数据截短，以满足下一层卷积神经网络输入要求。
4.根据权利要求3所述的一种卷积神经网络量化电路，其特征在于所述量化参数计算单元得到的量化参数包括：卷积核量化零值、量化扩展系数、量化移位位数一、量化移位位数二、输出量化零值、偏置扩展系数和全连接输出量化零值。
5.根据权利要求4所述的一种卷积神经网络量化电路，其特征在于所述算术运算单元包括加法阵列、位移阵列和乘法器阵列，对输入特征图与输入特征图量化零值作差运算，对输入卷积核与卷积核量化零值作差运算，对减去零值的输入特征图及卷积核乘积运算，对乘积结果与量化扩展系数进行乘积运算，对二次乘积结果进行两次量化移位计算，对移位结果和输出量化零值进行求和运算，对原始偏置与偏置扩展系数进行乘积运算，对全连接输出和全连接输出量化零值进行求和。
6.根据权利要求5所述的一种卷积神经网络量化电路，其特征在于在量化扩展乘积运算之后以及第一次量化位移之后，对结果进行微调计算。
7.根据权利要求5所述的一种卷积神经网络量化电路，其特征在于所述输入特征图量化零值经模型重新训练得到。
8.一种卷积神经网络量化方法，其特征在于该方法通过以下步骤实现：
1)、对原始卷积神经网络各层参数进行数据统计，得到每层每组参数的最大值和最小值；
2)、利用极值及特定算法得到量化过程所需参数；
3)、在原有卷积神经网络计算过程基础上添加量化计算，得到量化后的输出结果；
4)、对结果进行修正及激活截短，以适应下一层卷积神经网络输入。
9.根据权利要求8所述的一种卷积神经网络量化方法，其特征在于所述量化后的输出结果均以无符号位指定位数的整数格式表示。
10.根据权利要求8或9所述的一种卷积神经网络量化方法，其特征在于所述量化计算为：对输入特征图与输入特征图量化零值作差运算，对输入卷积核与卷积核量化零值作差运算，对减去零值的输入特征图及卷积核乘积运算，对乘积结果与量化扩展系数进行乘积运算，对二次乘积结果进行两次量化移位计算，对移位结果和输出量化零值进行求和运算，对原始偏置与偏置扩展系数进行乘积运算，对全连接输出和全连接输出量化零值进行求和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811398233.6A CN109472353B (zh) | 2018-11-22 | 2018-11-22 | 一种卷积神经网络量化电路及量化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811398233.6A CN109472353B (zh) | 2018-11-22 | 2018-11-22 | 一种卷积神经网络量化电路及量化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109472353A true CN109472353A (zh) | 2019-03-15 |
| CN109472353B CN109472353B (zh) | 2020-11-03 |
Family
ID=65672971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811398233.6A Active CN109472353B (zh) | 2018-11-22 | 2018-11-22 | 一种卷积神经网络量化电路及量化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109472353B (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008952A (zh) * | 2019-03-26 | 2019-07-12 | 深兰科技（上海）有限公司 | 一种目标识别方法及设备 |
| CN110020616A (zh) * | 2019-03-26 | 2019-07-16 | 深兰科技（上海）有限公司 | 一种目标识别方法及设备 |
| CN110674924A (zh) * | 2019-08-22 | 2020-01-10 | 苏州浪潮智能科技有限公司 | 一种深度学习推理自动量化方法和装置 |
| CN111291876A (zh) * | 2020-01-21 | 2020-06-16 | 厦门星宸科技有限公司 | 运算装置、运算方法和运算芯片 |
| CN111767204A (zh) * | 2019-04-02 | 2020-10-13 | 杭州海康威视数字技术股份有限公司 | 溢出风险检测方法、装置及设备 |
| CN111783957A (zh) * | 2020-07-02 | 2020-10-16 | 厦门美图之家科技有限公司 | 模型量化训练方法、装置、机器可读存储介质及电子设备 |
| CN111930681A (zh) * | 2019-05-13 | 2020-11-13 | 中科寒武纪科技股份有限公司 | 一种计算装置及相关产品 |
| CN112085181A (zh) * | 2019-06-12 | 2020-12-15 | 上海寒武纪信息科技有限公司 | 神经网络量化方法及装置以及相关产品 |
| CN112085187A (zh) * | 2019-06-12 | 2020-12-15 | 安徽寒武纪信息科技有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN112085177A (zh) * | 2019-06-12 | 2020-12-15 | 安徽寒武纪信息科技有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| WO2021022903A1 (zh) * | 2019-08-07 | 2021-02-11 | 安徽寒武纪信息科技有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN113298843A (zh) * | 2020-02-24 | 2021-08-24 | 中科寒武纪科技股份有限公司 | 数据量化处理方法、装置、电子设备和存储介质 |
| CN113919479A (zh) * | 2020-06-30 | 2022-01-11 | 华为技术有限公司 | 一种提取数据特征的方法和相关装置 |
| WO2022087953A1 (zh) * | 2020-10-29 | 2022-05-05 | 华为技术有限公司 | 一种基于神经网络模型的量化方法及其相关设备 |
| US11397579B2 (en) | 2018-02-13 | 2022-07-26 | Shanghai Cambricon Information Technology Co., Ltd | Computing device and method |
| US11410410B2 (en) | 2019-12-16 | 2022-08-09 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network processing |
| US11437032B2 (en) | 2017-09-29 | 2022-09-06 | Shanghai Cambricon Information Technology Co., Ltd | Image processing apparatus and method |
| US11436011B2 (en) | 2020-02-18 | 2022-09-06 | Samsung Electronics Co., Ltd. | Processing method and processing device with matrix multiplication computation |
| US11513586B2 (en) | 2018-02-14 | 2022-11-29 | Shanghai Cambricon Information Technology Co., Ltd | Control device, method and equipment for processor |
| CN115879530A (zh) * | 2023-03-02 | 2023-03-31 | 湖北大学 | 一种面向rram存内计算系统阵列结构优化的方法 |
| US11676028B2 (en) | 2019-06-12 | 2023-06-13 | Shanghai Cambricon Information Technology Co., Ltd | Neural network quantization parameter determination method and related products |
| US11789847B2 (en) | 2018-06-27 | 2023-10-17 | Shanghai Cambricon Information Technology Co., Ltd | On-chip code breakpoint debugging method, on-chip processor, and chip breakpoint debugging system |
| CN113298843B (zh) * | 2020-02-24 | 2024-05-14 | 中科寒武纪科技股份有限公司 | 数据量化处理方法、装置、电子设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529668A (zh) * | 2015-11-17 | 2017-03-22 | 中国科学院计算技术研究所 | 加速深度神经网络算法的加速芯片的运算装置及方法 |
| CN107239826A (zh) * | 2017-06-06 | 2017-10-10 | 上海兆芯集成电路有限公司 | 在卷积神经网络中的计算方法及装置 |
| CN107256422A (zh) * | 2017-06-06 | 2017-10-17 | 上海兆芯集成电路有限公司 | 数据量化方法及装置 |
| CN108364061A (zh) * | 2018-02-13 | 2018-08-03 | 北京旷视科技有限公司 | 运算装置、运算执行设备及运算执行方法 |
| CN108510067A (zh) * | 2018-04-11 | 2018-09-07 | 西安电子科技大学 | 基于工程化实现的卷积神经网络量化方法 |
-
2018
- 2018-11-22 CN CN201811398233.6A patent/CN109472353B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529668A (zh) * | 2015-11-17 | 2017-03-22 | 中国科学院计算技术研究所 | 加速深度神经网络算法的加速芯片的运算装置及方法 |
| CN107239826A (zh) * | 2017-06-06 | 2017-10-10 | 上海兆芯集成电路有限公司 | 在卷积神经网络中的计算方法及装置 |
| CN107256422A (zh) * | 2017-06-06 | 2017-10-17 | 上海兆芯集成电路有限公司 | 数据量化方法及装置 |
| CN108364061A (zh) * | 2018-02-13 | 2018-08-03 | 北京旷视科技有限公司 | 运算装置、运算执行设备及运算执行方法 |
| CN108510067A (zh) * | 2018-04-11 | 2018-09-07 | 西安电子科技大学 | 基于工程化实现的卷积神经网络量化方法 |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11437032B2 (en) | 2017-09-29 | 2022-09-06 | Shanghai Cambricon Information Technology Co., Ltd | Image processing apparatus and method |
| US11507370B2 (en) | 2018-02-13 | 2022-11-22 | Cambricon (Xi'an) Semiconductor Co., Ltd. | Method and device for dynamically adjusting decimal point positions in neural network computations |
| US11397579B2 (en) | 2018-02-13 | 2022-07-26 | Shanghai Cambricon Information Technology Co., Ltd | Computing device and method |
| US11513586B2 (en) | 2018-02-14 | 2022-11-29 | Shanghai Cambricon Information Technology Co., Ltd | Control device, method and equipment for processor |
| US11789847B2 (en) | 2018-06-27 | 2023-10-17 | Shanghai Cambricon Information Technology Co., Ltd | On-chip code breakpoint debugging method, on-chip processor, and chip breakpoint debugging system |
| CN110008952B (zh) * | 2019-03-26 | 2021-06-15 | 深兰科技（上海）有限公司 | 一种目标识别方法及设备 |
| CN110020616A (zh) * | 2019-03-26 | 2019-07-16 | 深兰科技（上海）有限公司 | 一种目标识别方法及设备 |
| CN110008952A (zh) * | 2019-03-26 | 2019-07-12 | 深兰科技（上海）有限公司 | 一种目标识别方法及设备 |
| CN111767204A (zh) * | 2019-04-02 | 2020-10-13 | 杭州海康威视数字技术股份有限公司 | 溢出风险检测方法、装置及设备 |
| CN111930681B (zh) * | 2019-05-13 | 2023-10-10 | 中科寒武纪科技股份有限公司 | 一种计算装置及相关产品 |
| CN111930681A (zh) * | 2019-05-13 | 2020-11-13 | 中科寒武纪科技股份有限公司 | 一种计算装置及相关产品 |
| CN112085187A (zh) * | 2019-06-12 | 2020-12-15 | 安徽寒武纪信息科技有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN112085181A (zh) * | 2019-06-12 | 2020-12-15 | 上海寒武纪信息科技有限公司 | 神经网络量化方法及装置以及相关产品 |
| WO2020248423A1 (zh) * | 2019-06-12 | 2020-12-17 | 上海寒武纪信息科技有限公司 | 一种神经网络的量化参数确定方法及相关产品 |
| CN112085183B (zh) * | 2019-06-12 | 2024-04-02 | 上海寒武纪信息科技有限公司 | 一种神经网络运算方法及装置以及相关产品 |
| CN112085181B (zh) * | 2019-06-12 | 2024-03-29 | 上海寒武纪信息科技有限公司 | 神经网络量化方法及装置以及相关产品 |
| US11676029B2 (en) | 2019-06-12 | 2023-06-13 | Shanghai Cambricon Information Technology Co., Ltd | Neural network quantization parameter determination method and related products |
| CN112085177A (zh) * | 2019-06-12 | 2020-12-15 | 安徽寒武纪信息科技有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| US11675676B2 (en) | 2019-06-12 | 2023-06-13 | Shanghai Cambricon Information Technology Co., Ltd | Neural network quantization parameter determination method and related products |
| CN112085183A (zh) * | 2019-06-12 | 2020-12-15 | 上海寒武纪信息科技有限公司 | 一种神经网络运算方法及装置以及相关产品 |
| US11676028B2 (en) | 2019-06-12 | 2023-06-13 | Shanghai Cambricon Information Technology Co., Ltd | Neural network quantization parameter determination method and related products |
| WO2021022903A1 (zh) * | 2019-08-07 | 2021-02-11 | 安徽寒武纪信息科技有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN110674924A (zh) * | 2019-08-22 | 2020-01-10 | 苏州浪潮智能科技有限公司 | 一种深度学习推理自动量化方法和装置 |
| CN110674924B (zh) * | 2019-08-22 | 2022-06-03 | 苏州浪潮智能科技有限公司 | 一种深度学习推理自动量化方法和装置 |
| US11823029B2 (en) | 2019-12-16 | 2023-11-21 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network processing |
| US11410410B2 (en) | 2019-12-16 | 2022-08-09 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network processing |
| CN111291876B (zh) * | 2020-01-21 | 2023-03-28 | 星宸科技股份有限公司 | 运算装置、运算方法和运算芯片 |
| CN111291876A (zh) * | 2020-01-21 | 2020-06-16 | 厦门星宸科技有限公司 | 运算装置、运算方法和运算芯片 |
| US11436011B2 (en) | 2020-02-18 | 2022-09-06 | Samsung Electronics Co., Ltd. | Processing method and processing device with matrix multiplication computation |
| CN113298843A (zh) * | 2020-02-24 | 2021-08-24 | 中科寒武纪科技股份有限公司 | 数据量化处理方法、装置、电子设备和存储介质 |
| CN113298843B (zh) * | 2020-02-24 | 2024-05-14 | 中科寒武纪科技股份有限公司 | 数据量化处理方法、装置、电子设备和存储介质 |
| CN113919479A (zh) * | 2020-06-30 | 2022-01-11 | 华为技术有限公司 | 一种提取数据特征的方法和相关装置 |
| CN111783957A (zh) * | 2020-07-02 | 2020-10-16 | 厦门美图之家科技有限公司 | 模型量化训练方法、装置、机器可读存储介质及电子设备 |
| CN111783957B (zh) * | 2020-07-02 | 2024-05-03 | 厦门美图之家科技有限公司 | 模型量化训练方法、装置、机器可读存储介质及电子设备 |
| WO2022087953A1 (zh) * | 2020-10-29 | 2022-05-05 | 华为技术有限公司 | 一种基于神经网络模型的量化方法及其相关设备 |
| CN115879530A (zh) * | 2023-03-02 | 2023-03-31 | 湖北大学 | 一种面向rram存内计算系统阵列结构优化的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109472353B (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109472353A (zh) | 一种卷积神经网络量化电路及量化方法 | |
| CN111242282B (zh) | 基于端边云协同的深度学习模型训练加速方法 | |
| CN107516129B (zh) | 基于维度自适应的Tucker分解的深度网络压缩方法 | |
| US11645529B2 (en) | Sparsifying neural network models | |
| CN109635936A (zh) | 一种基于重训练的神经网络剪枝量化方法 | |
| CN109886397A (zh) | 一种针对卷积层的神经网络结构化剪枝压缩优化方法 | |
| CN109508784A (zh) | 一种神经网络激活函数的设计方法 | |
| Huang et al. | Achieving personalized federated learning with sparse local models | |
| CN110188880A (zh) | 一种深度神经网络的量化方法及装置 | |
| CN116701692B (zh) | 一种图像生成方法、装置、设备及介质 | |
| CN110163350A (zh) | 一种计算装置及方法 | |
| Cheng et al. | Msnet: Structural wired neural architecture search for internet of things | |
| Savich et al. | Resource efficient arithmetic effects on rbm neural network solution quality using mnist | |
| CN114422382A (zh) | 网络流量预测方法、计算机装置、产品及存储介质 | |
| CN104915566A (zh) | 一种支持增量更新的深度计算模型设计方法 | |
| Bao et al. | LSFQ: A low precision full integer quantization for high-performance FPGA-based CNN acceleration | |
| Sun et al. | Clustering analysis for internet of spectrum devices: Real-world data analytics and applications | |
| CN116822616A (zh) | 一种用于大语言模型中Softmax函数训练的装置 | |
| Yuan et al. | Multimodal reward shaping for efficient exploration in reinforcement learning | |
| CN111488981A (zh) | 基于高斯分布估计选取深度网络参数稀疏阈值的方法 | |
| CN109840308B (zh) | 一种区域风电功率概率预报方法及系统 | |
| Yu et al. | Gate trimming: One-shot channel pruning for efficient convolutional neural networks | |
| CN103632673B (zh) | 一种语音线性预测模型的非线性量化方法 | |
| CN115310607A (zh) | 一种基于注意力图的视觉Transformer模型剪枝方法 | |
| CN107220702B (zh) | 一种低计算能力处理设备的计算机视觉处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201012 Address after: 250100 Ji'nan high tech Zone, Shandong, No. 1036 wave road Applicant after: INSPUR GROUP Co.,Ltd. Address before: 250100, Ji'nan province high tech Zone, Sun Village Branch Road, No. 2877, building, floor, building, on the first floor Applicant before: JINAN INSPUR HI-TECH INVESTMENT AND DEVELOPMENT Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |