CN112446491A - 神经网络模型实时自动量化方法及实时自动量化系统 - Google Patents
神经网络模型实时自动量化方法及实时自动量化系统 Download PDFInfo
- Publication number
- CN112446491A CN112446491A CN202110071971.5A CN202110071971A CN112446491A CN 112446491 A CN112446491 A CN 112446491A CN 202110071971 A CN202110071971 A CN 202110071971A CN 112446491 A CN112446491 A CN 112446491A
- Authority
- CN
- China
- Prior art keywords
- network model
- embedded
- neural network
- real
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000011002 quantification Methods 0.000 title claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 99
- 238000007667 floating Methods 0.000 claims abstract description 96
- 238000012549 training Methods 0.000 claims abstract description 69
- 238000007781 pre-processing Methods 0.000 claims abstract description 39
- 230000001133 acceleration Effects 0.000 claims abstract description 25
- 238000002054 transplantation Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000013135 deep learning Methods 0.000 claims abstract description 19
- 238000013139 quantization Methods 0.000 claims description 138
- 238000011156 evaluation Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000003860 storage Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000017525 heat dissipation Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000012088 reference solution Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/483—Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Molecular Biology (AREA)
- Mathematical Optimization (AREA)
- Nonlinear Science (AREA)
- Neurology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种神经网络模型实时自动量化方法，其基于嵌入式AI加速器，包括：在PC端进行嵌入式AI神经网络训练，搭建PC端深度学习神经网络，训练输入的嵌入式AI模型的浮点网络模型；将浮点网络模型量化为嵌入端定点网络模型；对需要量化数据预处理，通过硬件模式实现模型网络每层的所有加速算子；嵌入端的嵌入式AI硬件部署及嵌入端神经网络模型移植，对搭建的AI硬件平台进行神经网络模型移植。本发明还公开了一种神经网络模型实时自动量化系统。本发明基于嵌入式AI加速器硬件模式实现算法加速，能减小神经网络模型存储占用空间，能加速神经网络模型运算，能提高嵌入式设备算力，降低运算功耗，实现嵌入式AI技术的有效部署。
Description
技术领域
本发明涉及人工智能技术领域，特别是涉及一种基于嵌入式AI加速器的神经网络模型实时自动量化方法。本发明还涉及一种基于嵌入式AI加速器的神经网络模型实时自动量化系统。
背景技术
随着人工智能技术的快速发展，目前的嵌入式开发更加趋于智能化，近年来移动互联网、IOT的迅猛发展，嵌入式AI技术日渐普及，嵌入式AI应用领域也日益亲民，嵌入式AI产品不断渗透到日常生活中。从随身携带的智能手机，智能平板到家庭当中的智能空调、智能扫地机器人、智能高清电视、智能冰箱、智能机顶盒，再到智能工业生产、智能新能源车、娱乐中的智能音响，智能聊天机器人，无不采用嵌入式AI技术。在智能通讯、智能汽车电子、智能网络、智能医疗器械、智能工业控制等领域，嵌入式AI技术越来越发挥着重要的作用。
然而嵌入式AI技术的部署至关重要，这需要对AI芯片性能的全方位评估，同时需要对芯片的神经网络处理器NPU( Neural Network Processing Unit)做特殊处理，包括神经网络模型的训练、神经网络模型的量化、神经网络模型的移植，神经网络单元算子的加速计算等操作。神经网络模型预测的精准性一定程度与神经网络的层数深度成正相关性，为获得更精准的神经网络计算结果，就应添加更多的神经网络层数，这会导致嵌入式AI设备需要更多的内存及算力。由于嵌入式AI设备资源有限，对嵌入式AI设备的运算力，功耗、散热提出了严峻的考验。目前，关于嵌入式AI部署的方法，大多集中在模型裁剪、模型的量化、模型的压缩以及模型的比特位转换的实现细节研究，通用性不佳，再加上不同平台的差异性交大，这就导致了技术壁垒，在快速发展的嵌入式AI领域是一种技术障碍。
现有技术的缺点是嵌入端计算、算力、内存、存储等资源有限。神经网络包括模型的训练和模型的推理两个过程，在PC端训练端需要海量的数据输入，以及模型的不断优化调整才能训练输出高精度的网络模型，场景的复杂性也会递增计算量的规模。因此，受嵌入端资源的限制，在嵌入端较难训练出高精度的网络模型，另外，即使训练出来高精度的网络模型，在网络的推理端也很难满足嵌入式设备的实时推理，同时也会加剧嵌入式设备的功耗及散热问题。
发明内容
在发明内容部分中引入了一系列简化形式的概念,该简化形式的概念均为本领域现有技术简化，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
本发明要解决的技术问题是提供一种基于嵌入式AI加速器，能减小神经网络模型存储占用空间，能加速神经网络模型运算，能提高嵌入式设备算力，降低运算功耗的神经网络模型实时自动量化方法。
本发明要解决的另一技术问题是提供一种基于嵌入式AI加速器，能减小神经网络模型存储占用空间，能加速神经网络模型运算，能提高嵌入式设备算力，降低运算功耗的神经网络模型实时自动量化系统。
为解决上述技术问题，本发明提供一种基于嵌入式AI加速器的神经网络模型实时自动量化方法，包括以下步骤：
S1，在PC端进行嵌入式AI神经网络训练，搭建PC端深度学习神经网络，训练输入的嵌入式AI模型的浮点网络模型；输入嵌入式AI模型的浮点网络模型是在PC端训练获得的；
S2，PC端网络模型量化，将浮点网络模型量化为嵌入端定点网络模型，从而减少计算量和存储量；
S3，嵌入式AI加速器实时自动量化，对需要量化数据预处理，包括数据噪点剔除、裁剪、缩放、减均值处理等，通过硬件模式实现模型网络每层的所有加速算子；
S4, 嵌入端的嵌入式AI硬件部署及嵌入端神经网络模型移植，对搭建的AI硬件平台进行神经网络模型移植。
可选择的，进一步改进所述的神经网络模型实时自动量化方法，步骤S1包括以下子步骤；
S1.1，根据嵌入端的嵌入式AI应用的具体场景，分析出嵌入式AI应用的需求，采集网络训练所需要的数据集；
S1.2，PC端搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型。
可选择的，进一步改进所述的神经网络模型实时自动量化方法，步骤S1还包括以下子步骤；
S1.3，在PC端评估训练得到的浮点网络模型，若达到指定精度和评价指标则输出浮点网络模型至网络模型量化模块；否则，调整PC端神经网络结构，优化神经网络参数、增强训练数据集、重新训练得到浮点网络模型。
可选择的，进一步改进所述的神经网络模型实时自动量化方法，步骤S2包括以下子步骤；
S2.1，输入量化图片、量化配置参数、以及量化选择模式的选择，可选择多数据集量化或者单一数据集量化，配置好量化工具；
S2.2，执行下述公式（1）-公式（3）量化为嵌入端定点网络模型；
F表示浮点网络模型的浮点数据，I表示嵌入端定点网络模型的定点数据，S表示比例系
数，Z表示零点，表示浮点数据中的零经过量化后对应的整数；
分别代表浮点数
F的最大值和最小值； 
分别表示定点数I的最大值和最小值。
可选择的，进一步改进所述的神经网络模型实时自动量化方法，步骤S2还包括以下子步骤；
S2.3，嵌入端评估量化后的嵌入端定点网络模型，若达到指定的精度及评价指标将定点模型输出至嵌入式AI加速器实时自动量化；否则，PC端调整神经网络结构，优化神经网络参数、增加数据集、重新训练得到浮点网络模型。
可选择的，进一步改进所述的神经网络模型实时自动量化方法，步骤S3包括以下子步骤；
S3.1，根据嵌入式AI加速器数值范围对需要量化数据预处理，预处理采用公式（4）；
M、V是两个常数，分别指输入数据的均值和均方差，X指输入数据，Y是经过预处理后的输出数据；
S3.2，通过硬件模式实现模型网络每层的所有加速算子,嵌入端硬件上使用移位代替乘法器运算；
嵌入式AI加速器上将网络每层的卷积算子、激励算子，池化算子、批处理算子、内积算子、尺寸裁剪算子、链接算子等加速算子均用硬件模式实现，实现了硬件的加速计算。
可选择的，进一步改进所述的神经网络模型实时自动量化方法，步骤S3还包括以下子步骤；
在嵌入式AI加速器上，嵌入端实时自动量化后的每层网络单层比对量化之前的浮点每层结果，包括浮点模型每层数据与量化后每层数据的欧式距离、最大误差、平均误差、余弦相似度、相关系数，对这些实时量化指标进行分析。
S3.3，评估量化后嵌入端实时自动量化后模型的实时量化指标，若达到评价指标则进行AI硬件平台部署及神经网络模型移植；否则，PC端调整神经网络结构，优化神经网络参数、增强训练数据集、重新训练得到浮点网络模型。
可选择的，进一步改进所述的神经网络模型实时自动量化方法，步骤S4包括以下子步骤；
S4.1，根据需求搭建AI硬件平台；
S4.2，定义嵌入端网络接口参数，设计网络输入前后的预处理方法，调用嵌入式AI加速器算子，CPU计算资源调度，输出网推理计算结果，将网络模型和硬件进行移植集成。
可选择的，进一步改进所述的神经网络模型实时自动量化方法，步骤S4还包括以下子步骤；
S4.3，进行应用指标测试，输出嵌入式AI的应用，若应用测试指标通过完成AI硬件平台部署，否则，调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
为解决上述技术问题，本发明提供一种基于嵌入式AI加速器的神经网络模型实时自动量化系统，包括：
PC端嵌入式AI神经网络训练模块，其用于搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型；
网络模型量化模块，其用于将浮点网络模型量化为嵌入端定点网络模型；
嵌入式AI加速器实时自动量化模块，其用于对需要量化数据预处理，通过硬件模式实现模型网络每层的所有加速算子；
嵌入端神经网络模型移植模块，其用于对搭建的AI硬件平台进行神经网络模型移植；
其中，PC端嵌入式AI神经网络训练模块、网络模型量化模块、嵌入式AI加速器实时自动量化模块和嵌入端神经网络模型移植模块横向级联。
可选择的，进一步改进所述的神经网络模型实时自动量化系统，嵌入式AI神经网络训练模块训练输入的嵌入式AI模型的浮点网络模型包括以下步骤；
S1.1，根据嵌入端的嵌入式AI应用的具体场景，分析出嵌入式AI应用的需求，采集网络训练所需要的数据集；
S1.2，PC端搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型。
可选择的，进一步改进所述的神经网络模型实时自动量化系统，嵌入式AI神经网络模型训练输入的嵌入式AI模型的浮点网络模型还包括以下步骤；
S1.3，评估训练得到的浮点网络模型，若达到指定精度和评价指标则输出浮点网络模型至网络模型量化模块；否则，调整PC端神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
可选择的，进一步改进所述的神经网络模型实时自动量化系统，网络模型量化模块将浮点网络模型量化为嵌入端定点网络模型包括以下步骤；
S2.1，输入量化图片、量化配置参数、以及量化选择模式配置好量化工具；
S2.2，执行下述公式（1）-公式（3）量化为嵌入端定点网络模型；
F表示浮点网络模型的浮点数据，I表示嵌入端定点网络模型的定点数据，S表示比例系
数，Z表示零点，表示浮点数据中的零经过量化后对应的整数；
分别代表浮点
数F的最大值和最小值； 
分别表示定点数I的最大值和最小值。
可选择的，进一步改进所述的神经网络模型实时自动量化系统，网络模型量化模块将浮点网络模型量化为嵌入端定点网络模型还包括以下步骤；
S2.3，评估量化后的嵌入端定点网络模型，若达到指定的精度及评价指标将定点模型输出至嵌入式AI加速器实时自动量化模块；否则，PC端调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
可选择的，进一步改进所述的神经网络模型实时自动量化系统，嵌入式AI加速器实时自动量化模块实现实时自动量化包括以下步骤；
S3.1，根据嵌入式AI加速器数值范围对需要量化数据预处理，预处理采用公式（4）；
M、V是两个常数，分别指输入数据的均值和均方差，X指输入数据，Y是经过预处理后的输出数据；
S3.2，通过硬件模式实现模型网络每层的所有加速算子,嵌入端硬件上使用移位代替乘法器运算；
可选择的，进一步改进所述的神经网络模型实时自动量化系统，嵌入式AI加速器实时自动量化模块实现实时自动量化还包括以下步骤；
S3.3，评估量化后嵌入端实时自动量化后模型的实时量化指标，若达到评价指标则进行AI硬件平台部署及神经网络模型移植；否则，PC端调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
可选择的，进一步改进所述的神经网络模型实时自动量化系统，神经网络模型移植模块进行神经网络模型移植包括以下步骤；
S4.1，根据需求搭建AI硬件平台；
S4.2，定义嵌入端网络接口参数，设计网络输入前后的预处理方法，调用嵌入式AI加速器算子，CPU计算资源调度，输出网推理计算结果，将网络模型和硬件进行移植集成。
可选择的，进一步改进所述的神经网络模型实时自动量化系统，神经网络模型移植模块进行神经网络模型移植还包括以下步骤；
S4.3，进行应用指标测试，输出嵌入式AI的应用，若应用测试指标通过完成AI硬件平台部署，否则，调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
可选择的，进一步改进所述的神经网络模型实时自动量化系统，神经网络模型移植模块进行神经网络模型移植包括以下步骤；
S4.1，根据需求搭建AI硬件平台；
S4.2，定义嵌入端网络接口参数，设计网络输入前后的预处理方法，调用嵌入式AI加速器算子，CPU计算资源调度，输出网推理计算结果，将网络模型和硬件进行移植集成。
可选择的，进一步改进所述的神经网络模型实时自动量化系统，神经网络模型移植模块进行神经网络模型移植还包括以下步骤；
S4.3，进行应用指标测试，输出嵌入式AI的应用，若应用测试指标通过完成AI硬件平台部署，否则，调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
嵌入式AI技术的部署是决定嵌入式AI广泛应用及嵌入式AI产品落地的关键技术，现有技术的缺点是嵌入端计算、算力、内存、存储等资源有限。本发明解决了嵌入式AI部署通用性方面存在的技术问题，将模型的量化、算法实现、嵌入式AI加速、实时自动量化处理等技术，实现嵌入式AI技术的有效部署。经过实验测试，本发明部署在2101C芯片平台通过模型量化并基于嵌入式AI加速器硬件模式实现算法加速，能减小神经网络模型存储占用空间，能加速神经网络模型运算，能提高嵌入式设备算力，降低运算功耗，解决散热等问题，实现嵌入式AI技术的有效部署。
附图说明
本发明附图旨在示出根据本发明的特定示例性实施例中所使用的方法、结构和/或材料的一般特性，对说明书中的描述进行补充。然而，本发明附图是未按比例绘制的示意图，因而可能未能够准确反映任何所给出的实施例的精确结构或性能特点，本发明附图不应当被解释为限定或限制由根据本发明的示例性实施例所涵盖的数值或属性的范围。下面结合附图与具体实施方式对本发明作进一步详细的说明：
图1是本发明第一实施例流程示意图。
图2是本发明第三实施例流程示意图。
图3是嵌入式AI量化架构示意图。
图4是本发明第六实施例示意图一。
图5是本发明第六实施例示意图二。
具体实施方式
以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所公开的内容充分地了解本发明的其他优点与技术效果。本发明还可以通过不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点加以应用，在没有背离发明总的设计思路下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。本发明下述示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的具体实施例。应当理解的是，提供这些实施例是为了使得本发明的公开彻底且完整，并且将这些示例性具体实施例的技术方案充分传达给本领域技术人员。
应当理解的是，当元件被称作“连接”或“结合”到另一元件时，该元件可以直接连接或结合到另一元件，或者可以存在中间元件。不同的是，当元件被称作“直接连接”或“直接结合”到另一元件时，不存在中间元件。在全部附图中，相同的附图标记始终表示相同的元件。
第一实施例；
参考图1所示，本发明提供一种其基于嵌入式AI加速器的神经网络模型实时自动量化方法，包括以下步骤：
S1，在PC端进行嵌入式AI神经网络训练，搭建PC端深度学习神经网络，训练输入的嵌入式AI模型的浮点网络模型；
S2，PC端网络模型量化，将浮点网络模型量化为嵌入端定点网络模型；
S3，嵌入式AI加速器实时自动量化，对需要量化数据预处理，通过硬件模式实现模型网络每层的所有加速算子；
S4, 嵌入端的嵌入式AI硬件部署及嵌入端神经网络模型移植，对搭建的AI硬件平台进行神经网络模型移植。
第二实施例；
本发明提供一种其基于嵌入式AI加速器的神经网络模型实时自动量化方法，包括以下步骤：
S1，在PC端进行嵌入式AI神经网络训练，搭建PC端深度学习神经网络，训练输入的嵌入式AI模型的浮点网络模型，实施步骤S1时包括以下子步骤；
S1.1，根据嵌入端的嵌入式AI应用的具体场景，分析出嵌入式AI应用的需求，采集网络训练所需要的数据集；
S1.2，PC端搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型；
S2，PC端网络模型量化，将浮点网络模型量化为嵌入端定点网络模型，实施步骤S2时包括以下子步骤；
S2.1，输入量化图片、量化配置参数、以及量化选择模式的选择，可选择多数据集量化或者单一数据集量化，配置好量化工具；
S2.2，执行下述公式（1）-公式（3）量化为嵌入端定点网络模型；
F表示浮点网络模型的浮点数据，I表示嵌入端定点网络模型的定点数据，S表示比例系
数，Z表示零点，表示浮点数据中的零经过量化后对应的整数；
分别代表浮
点数F的最大值和最小值； 
分别表示定点数I的最大值和最小值；
S3，嵌入式AI加速器实时自动量化，对需要量化数据预处理，通过硬件模式实现模型网络每层的所有加速算子，实施步骤S3时包括以下子步骤；
S3.1，根据嵌入式AI加速器数值范围对需要量化数据预处理，预处理采用公式（4）；
M、V是两个常数，分别指输入数据的均值和均方差，X指输入数据，Y是经过预处理后的输出数据；
S3.2，通过硬件模式实现模型网络每层的所有加速算子,嵌入端硬件上使用移位代替乘法器运算；
S4,嵌入端的嵌入式AI硬件部署及嵌入端神经网络模型移植，对搭建的AI硬件平台进行神经网络模型移植，实施步骤S4时包括以下子步骤；
S4.1，根据需求搭建AI硬件平台；
S4.2，定义嵌入端网络接口参数，设计网络输入前后的预处理方法，调用嵌入式AI加速器算子，CPU计算资源调度，输出网推理计算结果，将网络模型和硬件进行移植集成。
第三实施例；
参考图2所示，本发明提供一种其基于嵌入式AI加速器的神经网络模型实时自动量化方法，包括以下步骤：
S1，在PC端进行嵌入式AI神经网络训练，搭建PC端深度学习神经网络，训练输入的嵌入式AI模型的浮点网络模型，实施步骤S1时包括以下子步骤；
S1.1，根据嵌入端的嵌入式AI应用的具体场景，分析出嵌入式AI应用的需求，采集网络训练所需要的数据集；
S1.2，PC端搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型；
S1.3，在PC端评估训练得到的浮点网络模型，若达到指定精度和评价指标则输出浮点网络模型至网络模型量化模块；否则，调整PC端神经网络结构，优化神经网络参数、增强训练数据集、重新训练得到浮点网络模型；
S2，PC端网络模型量化，将浮点网络模型量化为嵌入端定点网络模型，实施步骤S2时包括以下子步骤；
S2.1，输入量化图片、量化配置参数、以及量化选择模式的选择，可选择多数据集量化或者单一数据集量化，配置好量化工具；
S2.2，执行下述公式（1）-公式（3）量化为嵌入端定点网络模型；
F表示浮点网络模型的浮点数据，I表示嵌入端定点网络模型的定点数据，S表示比例系
数，Z表示零点，表示浮点数据中的零经过量化后对应的整数；
分别代表浮点数
F的最大值和最小值； 
分别表示定点数I的最大值和最小值；
S2.3，嵌入端评估量化后的嵌入端定点网络模型，若达到指定的精度及评价指标将定点模型输出至AI加速器实时自动量化；否则，PC端调整神经网络结构，优化神经网络参数、增加数据集、重新训练得到浮点网络模型；
S3，嵌入式AI加速器实时自动量化，对需要量化数据预处理，通过硬件模式实现模型网络每层的所有加速算子，实施步骤S3时包括以下子步骤；
S3.1，根据嵌入式AI加速器数值范围对需要量化数据预处理，预处理采用公式（4）；
M、V是两个常数，分别指输入数据的均值和均方差，X指输入数据，Y是经过预处理后的输出数据；
S3.2，通过硬件模式实现模型网络每层的所有加速算子,嵌入端硬件上使用移位代替乘法器运算；
S3.3，评估量化后嵌入端实时自动量化后模型的实时量化指标，若达到评价指标则进行AI硬件平台部署及神经网络模型移植；否则，PC端调整神经网络结构，优化神经网络参数、增强训练数据集、重新训练得到浮点网络模型；
S4,嵌入端的嵌入式AI硬件部署及嵌入端神经网络模型移植，对搭建的AI硬件平台进行神经网络模型移植，实施步骤S4时包括以下子步骤；
S4.1，根据需求搭建AI硬件平台；
S4.2，定义嵌入端网络接口参数，设计网络输入前后的预处理方法，调用嵌入式AI加速器算子，CPU计算资源调度，输出网推理计算结果，将网络模型和硬件进行移植集成；
S4.3，进行应用指标测试，输出嵌入式AI的应用，若应用测试指标通过完成AI硬件平台部署，否则，调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
第四实施例；
本发明提供一种基于嵌入式AI加速器的神经网络模型实时自动量化系统，包括：
PC端嵌入式AI神经网络训练模块，其用于搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型；
网络模型量化模块，其用于将浮点网络模型量化为嵌入端定点网络模型；
嵌入式AI加速器实时自动量化模块，其用于对需要量化数据预处理，通过硬件模式实现模型网络每层的所有加速算子；
嵌入端神经网络模型移植模块，其用于对搭建的AI硬件平台进行神经网络模型移植；
其中，PC端嵌入式AI神经网络训练模块、网络模型量化模块、嵌入式AI加速器实时自动量化模块和嵌入端神经网络模型移植模块横向级联。
第五实施例；
本发明提供一种基于嵌入式AI加速器的神经网络模型实时自动量化系统，其特征在于，包括：
PC端嵌入式AI神经网络训练模块，其用于搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型，包括以下步骤；
S1.1，根据嵌入端的嵌入式AI应用的具体场景，分析出嵌入式AI应用的需求，采集网络训练所需要的数据集；
S1.2，PC端搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型；
网络模型量化模块，其用于将浮点网络模型量化为嵌入端定点网络模型，包括以下步骤；
S2.1，输入量化图片、量化配置参数、以及量化选择模式配置好量化工具；
S2.2，执行下述公式（1）-公式（3）量化为嵌入端定点网络模型；
F表示浮点网络模型的浮点数据，I表示嵌入端定点网络模型的定点数据，S表示比例系
数，Z表示零点，表示浮点数据中的零经过量化后对应的整数；
分别代表浮点数F
的最大值和最小值； 
分别表示定点数I的最大值和最小值；
嵌入式AI加速器实时自动量化模块，其用于对需要量化数据预处理，通过硬件模式实现模型网络每层的所有加速算子，嵌入式AI加速器实时自动量化模块实现实时自动量化包括以下步骤；
S3.1，根据嵌入式AI加速器数值范围对需要量化数据预处理，预处理采用公式（4）；
M、V是两个常数，分别指输入数据的均值和均方差，X指输入数据，Y是经过预处理后的输出数据；
S3.2，通过硬件模式实现模型网络每层的所有加速算子,嵌入端硬件上使用移位代替乘法器运算；
嵌入端神经网络模型移植模块，其用于对搭建的AI硬件平台进行神经网络模型移植，包括以下步骤；
S4.1，根据需求搭建AI硬件平台；
S4.2，定义嵌入端网络接口参数，设计网络输入前后的预处理方法，调用嵌入式AI加速器算子，CPU计算资源调度，输出网推理计算结果，将网络模型和硬件进行移植集成；
其中，PC端嵌入式AI神经网络训练模块、网络模型量化模块、嵌入式AI加速器实时自动量化模块和嵌入端神经网络模型移植模块横向级联。
第六实施例；
本发明提供一种基于嵌入式AI加速器的神经网络模型实时自动量化系统，其特征在于，包括：
PC端嵌入式AI神经网络训练模块，其用于搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型，包括以下步骤；
S1.1，根据嵌入端的嵌入式AI应用的具体场景，分析出嵌入式AI应用的需求，采集网络训练所需要的数据集；
S1.2，PC端搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型；
S1.3，评估训练得到的浮点网络模型，若达到指定精度和评价指标则输出浮点网络模型至网络模型量化模块；否则，调整PC端神经网络结构，优化神经网络参数重新训练得到浮点网络模型；
参考图3所示，网络模型量化模块，其用于将浮点网络模型量化为嵌入端定点网络模型，包括以下步骤；
S2.1，输入量化图片、量化配置参数、以及量化选择模式配置好量化工具；
S2.2，执行下述公式（1）-公式（3）量化为嵌入端定点网络模型；
F表示浮点网络模型的浮点数据，I表示嵌入端定点网络模型的定点数据，S表示比例系
数，Z表示零点，表示浮点数据中的零经过量化后对应的整数；
分别代表浮点
数F的最大值和最小值； 
分别表示定点数I的最大值和最小值；
S2.3，评估量化后的嵌入端定点网络模型，若达到指定的精度及评价指标将定点模型输出至嵌入式AI加速器实时自动量化模块；否则，PC端调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型；
嵌入式AI加速器实时自动量化模块，其用于对需要量化数据预处理，通过硬件模式实现模型网络每层的所有加速算子，嵌入式AI加速器实时自动量化模块实现实时自动量化包括以下步骤；
S3.1，根据嵌入式AI加速器数值范围对需要量化数据预处理，预处理采用公式（4）；
M、V是两个常数，分别指输入数据的均值和均方差，X指输入数据，Y是经过预处理后的输出数据；
S3.2，通过硬件模式实现模型网络每层的所有加速算子,嵌入端硬件上使用移位代替乘法器运算；
S3.3，评估量化后嵌入端实时自动量化后模型的实时量化指标，若达到评价指标则进行AI硬件平台部署及神经网络模型移植；否则，PC端调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型；
嵌入端神经网络模型移植模块，其用于对搭建的AI硬件平台进行神经网络模型移植，包括以下步骤；
S4.1，根据需求搭建AI硬件平台；参考图4所示，示例性的提供一种基于2101C芯片的嵌入式AI加速平台作为搭建的AI硬件平台，包括外围串口线模块、USB接口模块、AI加速器模块、电源模块、SD卡存储模块、2101C芯片模块、摄像头接口模块、编解码器模块、图像信号处理器模块、显示屏接口模块等；相应的，本领域技术人员可以基于本发明的原理根据实际需求搭建AI硬件平台。
所述2101C系列边缘AI视觉芯片，提供极致的AI应用解决方案。可广泛用于智能安防、智能家居、智慧零售等众多领域。参考解决方案包括，智能家用摄像机、智能专用安防摄像机、智能门铃、刷脸门禁、智能家电、电池供电摄像机等新型智能应用。
S4.2，参考图5所示，定义嵌入端网络接口参数，设计网络输入前后的预处理方法，调用嵌入式AI加速器算子，CPU计算资源调度，输出网推理计算结果，将网络模型和硬件进行移植集成。
S4.3，嵌入端进行应用指标测试，输出嵌入式AI的应用，若应用测试指标通过完成AI硬件平台部署，否则，调整神经网络结构，优化神经网络参数、增强数据训练集、重新训练得到浮点网络模型；
其中，PC端嵌入式AI神经网络训练模块、网络模型量化模块、嵌入式AI加速器实时自动量化模块和嵌入端神经网络模型移植模块横向级联。
除非另有定义，否则这里所使用的全部术语（包括技术术语和科学术语）都具有与本发明所属领域的普通技术人员通常理解的意思相同的意思。还将理解的是，除非这里明确定义，否则诸如在通用字典中定义的术语这类术语应当被解释为具有与它们在相关领域语境中的意思相一致的意思， 而不以理想的或过于正式的含义加以解释。
以上通过具体实施方式和实施例对本发明进行了详细的说明，但这些并非构成对本发明的限制。在不脱离本发明原理的情况下，本领域的技术人员还可做出许多变形和改进，这些也应视为本发明的保护范围。
Claims (18)
1.一种神经网络模型实时自动量化方法，其基于嵌入式AI加速器，其特征在于，包括以下步骤：
S1，在PC端进行嵌入式AI神经网络训练，搭建PC端深度学习神经网络，训练输入的嵌入式AI模型的浮点网络模型；
S2，PC端网络模型量化，将浮点网络模型量化为嵌入端定点网络模型；
S3，嵌入式AI加速器实时自动量化，对需要量化数据预处理，通过硬件模式实现模型网络每层的所有加速算子；
S4，嵌入端的嵌入式AI硬件部署及嵌入端神经网络模型移植，对搭建的AI硬件平台进行神经网络模型移植。
2.如权利要求1所述的神经网络模型实时自动量化方法，其特征在于，步骤S1包括以下子步骤；
S1.1，根据嵌入端的嵌入式AI应用的具体场景，分析出嵌入式AI应用的需求，采集网络训练所需要的数据集；
S1.2，PC端搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型。
3.如权利要求2所述的神经网络模型实时自动量化方法，其特征在于，步骤S1还包括以下子步骤；
S1.3，评估训练得到的浮点网络模型，若达到指定精度和评价指标则输出浮点网络模型至网络模型量化模块；否则，调整PC端神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
4.如权利要求1所述的神经网络模型实时自动量化方法，其特征在于，步骤S2包括以下子步骤；
S2.1，输入量化图片、量化配置参数、以及量化选择模式配置好量化工具；
S2.2，执行下述公式（1）-公式（3）量化为嵌入端定点网络模型；
F表示浮点网络模型的浮点数据，I表示嵌入端定点网络模型的定点数据，S表示比例系
数，Z表示零点，表示浮点数据中的零经过量化后对应的整数；
分别代表浮点数F
的最大值和最小值； 
分别表示定点数I的最大值和最小值。
5.如权利要求4所述的神经网络模型实时自动量化方法，其特征在于，步骤S2还包括以下子步骤；
S2.3，评估量化后的嵌入端定点网络模型，若达到指定的精度及评价指标将定点模型输出至嵌入式AI加速器实时自动量化；否则，PC端调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
6.如权利要求1所述的神经网络模型实时自动量化方法，其特征在于，步骤S3包括以下子步骤；
S3.1，根据嵌入式AI加速器数值范围对需要量化数据预处理，预处理采用公式（4）；
M、V是两个常数，分别指输入数据的均值和均方差，X指输入数据，Y是经过预处理后的输出数据；
S3.2，通过硬件模式实现模型网络每层的所有加速算子,嵌入端硬件上使用移位代替乘法器运算；
7.如权利要求6所述的神经网络模型实时自动量化方法，其特征在于，步骤S3还包括以下子步骤；
S3.3，评估量化后嵌入端实时自动量化后模型的实时量化指标，若达到评价指标则进行AI硬件平台部署及神经网络模型移植；否则，PC端调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
8.如权利要求1所述的神经网络模型实时自动量化方法，其特征在于，步骤S4包括以下子步骤；
S4.1，根据需求搭建AI硬件平台；
S4.2，定义嵌入端网络接口参数，设计网络输入前后的预处理方法，调用嵌入式AI加速器算子，CPU计算资源调度，输出网推理计算结果，将网络模型和硬件进行移植集成。
9.如权利要求8所述的神经网络模型实时自动量化方法，其特征在于，步骤S4还包括以下子步骤；
S4.3，进行应用指标测试，输出嵌入式AI的应用，若应用测试指标通过完成AI硬件平台部署，否则，调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
10.一种神经网络模型实时自动量化系统，其基于嵌入式AI加速器，其特征在于，包括：
PC端嵌入式AI神经网络训练模块，其用于搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型；
网络模型量化模块，其用于将浮点网络模型量化为嵌入端定点网络模型；
嵌入式AI加速器实时自动量化模块，其用于对需要量化数据预处理，通过硬件模式实现模型网络每层的所有加速算子；
嵌入端神经网络模型移植模块，其用于对搭建的AI硬件平台进行神经网络模型移植；
其中，PC端嵌入式AI神经网络训练模块、网络模型量化模块、嵌入式AI加速器实时自动量化模块和嵌入端神经网络模型移植模块横向级联。
11.如权利要求10所述的神经网络模型实时自动量化系统，其特征在于，嵌入式AI神经网络训练模块训练输入的嵌入式AI模型的浮点网络模型包括以下步骤；
S1.1，根据嵌入端的嵌入式AI应用的具体场景，分析出嵌入式AI应用的需求，采集网络训练所需要的数据集；
S1.2，PC端搭建深度学习神经网络训练输入的嵌入式AI模型的浮点网络模型。
12.如权利要求11所述的神经网络模型实时自动量化系统，其特征在于，嵌入式AI神经网络模型训练输入的嵌入式AI模型的浮点网络模型还包括以下步骤；
S1.3，评估训练得到的浮点网络模型，若达到指定精度和评价指标则输出浮点网络模型至网络模型量化模块；否则，调整PC端神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
13.如权利要求10所述的神经网络模型实时自动量化系统，其特征在于，网络模型量化模块将浮点网络模型量化为嵌入端定点网络模型包括以下步骤；
S2.1，输入量化图片、量化配置参数、以及量化选择模式配置好量化工具；
S2.2，执行下述公式（1）-公式（3）量化为嵌入端定点网络模型；
F表示浮点网络模型的浮点数据，I表示嵌入端定点网络模型的定点数据，S表示比例系
数，Z表示零点，表示浮点数据中的零经过量化后对应的整数；
分别代表浮点数
F的最大值和最小值； 
分别表示定点数I的最大值和最小值。
14.如权利要求13所述的神经网络模型实时自动量化系统，其特征在于，网络模型量化模块将浮点网络模型量化为嵌入端定点网络模型还包括以下步骤；
S2.3，评估量化后的嵌入端定点网络模型，若达到指定的精度及评价指标将定点模型输出至嵌入式AI加速器实时自动量化模块；否则，PC端调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
15.如权利要求10所述的神经网络模型实时自动量化系统，其特征在于，嵌入式AI加速器实时自动量化模块实现实时自动量化包括以下步骤；
S3.1，根据嵌入式AI加速器数值范围对需要量化数据预处理，预处理采用公式（4）；
M、V是两个常数，分别指输入数据的均值和均方差，X指输入数据，Y是经过预处理后的输出数据；
S3.2，通过硬件模式实现模型网络每层的所有加速算子,嵌入端硬件上使用移位代替乘法器运算；
16.如权利要求15所述的神经网络模型实时自动量化系统，其特征在于，嵌入式AI加速器实时自动量化模块实现实时自动量化还包括以下步骤；
S3.3，评估量化后嵌入端实时自动量化后模型的实时量化指标，若达到评价指标则进行AI硬件平台部署及神经网络模型移植；否则，PC端调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
17.如权利要求10所述的神经网络模型实时自动量化系统，其特征在于，神经网络模型移植模块进行神经网络模型移植包括以下步骤；
S4.1，根据需求搭建AI硬件平台；
S4.2，定义嵌入端网络接口参数，设计网络输入前后的预处理方法，调用嵌入式AI加速器算子，CPU计算资源调度，输出网推理计算结果，将网络模型和硬件进行移植集成。
18.如权利要求17所述的神经网络模型实时自动量化系统，其特征在于，神经网络模型移植模块进行神经网络模型移植还包括以下步骤；
S4.3，进行应用指标测试，输出嵌入式AI的应用，若应用测试指标通过完成AI硬件平台部署，否则，调整神经网络结构，优化神经网络参数重新训练得到浮点网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110071971.5A CN112446491B (zh) | 2021-01-20 | 2021-01-20 | 神经网络模型实时自动量化方法及实时自动量化系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110071971.5A CN112446491B (zh) | 2021-01-20 | 2021-01-20 | 神经网络模型实时自动量化方法及实时自动量化系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112446491A true CN112446491A (zh) | 2021-03-05 |
| CN112446491B CN112446491B (zh) | 2024-03-15 |
Family
ID=74740478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110071971.5A Active CN112446491B (zh) | 2021-01-20 | 2021-01-20 | 神经网络模型实时自动量化方法及实时自动量化系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112446491B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011569A (zh) * | 2021-04-07 | 2021-06-22 | 开放智能机器（上海）有限公司 | 离线量化参数加注方法、装置、电子设备和存储介质 |
| CN113255901A (zh) * | 2021-07-06 | 2021-08-13 | 上海齐感电子信息科技有限公司 | 实时量化方法及实时量化系统 |
| CN114004352A (zh) * | 2021-12-31 | 2022-02-01 | 杭州雄迈集成电路技术股份有限公司 | 一种仿真实现方法、神经网络编译器以及计算机可读存储介质 |
| CN114492769A (zh) * | 2022-04-11 | 2022-05-13 | 飞腾信息技术有限公司 | 数据处理方法、相关设备及系统 |
| WO2023004799A1 (zh) * | 2021-07-30 | 2023-02-02 | 华为技术有限公司 | 电子设备及神经网络量化方法 |
| CN116543419A (zh) * | 2023-07-06 | 2023-08-04 | 浙江大学金华研究院 | 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180053091A1 (en) * | 2016-08-17 | 2018-02-22 | Hawxeye, Inc. | System and method for model compression of neural networks for use in embedded platforms |
| CN109389219A (zh) * | 2017-08-04 | 2019-02-26 | 三星电子株式会社 | 用于对神经网络的参数进行量化的方法和装置 |
| US20190340492A1 (en) * | 2018-05-04 | 2019-11-07 | Microsoft Technology Licensing, Llc | Design flow for quantized neural networks |
| CN111598237A (zh) * | 2020-05-21 | 2020-08-28 | 上海商汤智能科技有限公司 | 量化训练、图像处理方法及装置、存储介质 |
-
2021
- 2021-01-20 CN CN202110071971.5A patent/CN112446491B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180053091A1 (en) * | 2016-08-17 | 2018-02-22 | Hawxeye, Inc. | System and method for model compression of neural networks for use in embedded platforms |
| CN109389219A (zh) * | 2017-08-04 | 2019-02-26 | 三星电子株式会社 | 用于对神经网络的参数进行量化的方法和装置 |
| US20190340492A1 (en) * | 2018-05-04 | 2019-11-07 | Microsoft Technology Licensing, Llc | Design flow for quantized neural networks |
| CN111598237A (zh) * | 2020-05-21 | 2020-08-28 | 上海商汤智能科技有限公司 | 量化训练、图像处理方法及装置、存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| SONG HAN: "《Deep Compression：Compressing Deep Neural Networks With Pruning, Trained Quantization And Huffman Coding》", 《ICLR 2016》, 31 December 2016 (2016-12-31) * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011569A (zh) * | 2021-04-07 | 2021-06-22 | 开放智能机器（上海）有限公司 | 离线量化参数加注方法、装置、电子设备和存储介质 |
| CN113255901A (zh) * | 2021-07-06 | 2021-08-13 | 上海齐感电子信息科技有限公司 | 实时量化方法及实时量化系统 |
| WO2023004799A1 (zh) * | 2021-07-30 | 2023-02-02 | 华为技术有限公司 | 电子设备及神经网络量化方法 |
| CN114004352A (zh) * | 2021-12-31 | 2022-02-01 | 杭州雄迈集成电路技术股份有限公司 | 一种仿真实现方法、神经网络编译器以及计算机可读存储介质 |
| CN114492769A (zh) * | 2022-04-11 | 2022-05-13 | 飞腾信息技术有限公司 | 数据处理方法、相关设备及系统 |
| CN114492769B (zh) * | 2022-04-11 | 2022-08-12 | 飞腾信息技术有限公司 | 数据处理方法、相关设备及系统 |
| CN116543419A (zh) * | 2023-07-06 | 2023-08-04 | 浙江大学金华研究院 | 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统 |
| CN116543419B (zh) * | 2023-07-06 | 2023-11-07 | 浙江大学金华研究院 | 基于嵌入式平台的酒店卫勤人员穿戴检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112446491B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112446491B (zh) | 神经网络模型实时自动量化方法及实时自动量化系统 | |
| US11676029B2 (en) | Neural network quantization parameter determination method and related products | |
| US11675676B2 (en) | Neural network quantization parameter determination method and related products | |
| US20190130255A1 (en) | Method and apparatus for generating fixed-point type neural network | |
| CN111950723B (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
| CN117456297A (zh) | 图像生成方法、神经网络的压缩方法及相关装置、设备 | |
| CN111832437A (zh) | 建筑图纸识别方法、电子设备及相关产品 | |
| KR20220137076A (ko) | 이미지 프로세싱 방법 및 관련된 디바이스 | |
| CN112183742B (zh) | 基于渐进式量化和Hessian信息的神经网络混合量化方法 | |
| CN112052951A (zh) | 一种剪枝神经网络方法、系统、设备及可读存储介质 | |
| CN112818893A (zh) | 一种面向移动终端的轻量化开集地标识别方法 | |
| WO2022088063A1 (zh) | 神经网络模型的量化方法和装置、数据处理的方法和装置 | |
| WO2018228399A1 (zh) | 运算装置和方法 | |
| CN114925651A (zh) | 一种电路走线确定方法及相关设备 | |
| CN113780523A (zh) | 图像处理方法、装置、终端设备及存储介质 | |
| US20230143985A1 (en) | Data feature extraction method and related apparatus | |
| CN114154626B (zh) | 一种用于图像分类任务的滤波器剪枝方法 | |
| CN113378866B (zh) | 图像分类方法、系统、存储介质及电子设备 | |
| CN112200275B (zh) | 人工神经网络的量化方法及装置 | |
| CN114065913A (zh) | 模型量化方法、装置及终端设备 | |
| CN113962262A (zh) | 一种基于连续学习的雷达信号智能分选方法 | |
| CN113361707A (zh) | 一种模型压缩方法、系统及计算机可读介质 | |
| CN116959489B (zh) | 语音模型的量化方法、装置、服务器及存储介质 | |
| CN113657421B (zh) | 卷积神经网络压缩方法和装置、图像分类方法和装置 | |
| CN113365072B (zh) | 特征图压缩方法、装置、计算设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |