CN111368978B - 一种离线量化工具的精度提升方法 - Google Patents

一种离线量化工具的精度提升方法 Download PDF

Info

Publication number
CN111368978B
CN111368978B CN202010137113.1A CN202010137113A CN111368978B CN 111368978 B CN111368978 B CN 111368978B CN 202010137113 A CN202010137113 A CN 202010137113A CN 111368978 B CN111368978 B CN 111368978B
Authority
CN
China
Prior art keywords
quantization
processing unit
network model
quantization parameter
conversion factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010137113.1A
Other languages
English (en)
Other versions
CN111368978A (zh
Inventor
唐琦
黄明飞
王海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Open Intelligent Machine Shanghai Co ltd
Original Assignee
Open Intelligent Machine Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Open Intelligent Machine Shanghai Co ltd filed Critical Open Intelligent Machine Shanghai Co ltd
Priority to CN202010137113.1A priority Critical patent/CN111368978B/zh
Publication of CN111368978A publication Critical patent/CN111368978A/zh
Application granted granted Critical
Publication of CN111368978B publication Critical patent/CN111368978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及深度学习领域，尤其涉及一种离线量化工具的精度提升方法。精度提升方法包括：步骤S1，处理单元对每个量化转换因子进行线性处理；步骤S2，处理单元得到所有卷积层输出的第一处理数据；步骤S3，处理单元获得卷积层输出的第二处理数据；步骤S4，根据第一处理数据和第二处理数据确定本次更新相关的量化参数，并将采用被确定的量化参数更新对应的量化转换因子；步骤S5，判断量化转换因子集中是否存在尚未被更新的量化转换因子：若是，则返回步骤S3；若否，则将更新后的量化转换因子集作为精度提升结果输出，随后结束。上述技术方案有益效果在于：进一步提高网络模型的处理精度，加快处理速度，降低经济成本。

Description

一种离线量化工具的精度提升方法
技术领域
本发明涉及深度学习领域，尤其涉及一种离线量化工具的精度提升方法。
背景技术
随着AI技术的不断发展，目前基于深度学习的神经网络算法已经成为AI研究的主流方式。出于成本，功耗，隐私性等问题的考虑，越来越多的应用场景把AI算法的计算从云端向移动嵌入式终端设备迁移。
目前的嵌入式终端设备算力、存储资源有限，对神经网络算法模型在嵌入式终端部署时，需要采用网络模型压缩技术，而工业级使用最多的就是将浮点(Float32)的网络模型量化成整型(Int8)的网络模型。减小存储需求，提升网络模型推理速度。
Int8网络模型量化分为两种实现方案：一种是需要训练框架支持的感知量化训练，直接输出Int8网络模型，量化后的Int8网络模型精度较高，然而需要对已有的Float32网络模型进行重训练，需要大量的数据集和长时间训练支撑；另一种是在已有的Float32网络模型基础上，通过模型量化工具和少量的校准图片离线输出Int8网络模型，操作相对简单，不需要重训练，但是精度较低。
发明内容
根据现有技术中存在的上述问题，现提供一种离线量化工具的精度提升方法，用于提高深度学习模型的精度，其特征在于，采用一处理单元将预先设置的训练数据输入一网络模型，所述网络模型中包括多个依次连接的卷积层，每个所述卷积层分别用于对输入至所述卷积层的所述训练数据进行处理并得到处理数据输出，每个所述卷积层的输出端还分别连接所述处理单元；
所述处理单元获取所有所述处理数据并分别提取所述处理数据中的量化转换因子并生成一量化转换因子集，每个所述量化转换因子分别对应于一所述卷积层，所述量化转换因子集中的所述量化转换因子依据对应的所述卷积层的顺序进行排序；
所述精度提升方法包括：
步骤S1，所述处理单元对每个所述量化转换因子进行线性处理，生成多个量化参数形成一量化参数集，每个所述量化参数集分别对应于一所述量化转换因子；
步骤S2，所述处理单元将所述训练数据输入所述网络模型，控制所述网络模型以第一工作模式运行，分别得到所有所述卷积层输出的第一处理数据；
步骤S3，所述处理单元分别根据所述量化参数，再次将所述训练数据输入所述网络模型，控制所述网络模型以第二工作模式运行，获得所述卷积层输出的第二处理数据；
步骤S4，根据所述第一处理数据和所述第二处理数据确定本次更新相关的所述量化参数，并将采用被确定的所述量化参数更新对应的所述量化转换因子；
步骤S5，判断所述量化转换因子集中是否存在尚未被更新的所述量化转换因子：
若是，则返回所述步骤S3；
若否，则将更新后的所述量化转换因子集作为精度提升结果输出，随后结束。
优选的，步骤S1采用下述公式实现：
Scalem＝0.75·scale+0.01·scale·m
其中，
Scalem用于表示所述量化参数，m用于表示所述量化参数在所述量化参数集中的排序序号；
scale用于表示所述处理数据中的量化转换因子。
优选的，所述第一工作模式为Float32工作模式。
优选的，步骤S2采用下述公式实现：
OutputDatafp32′＝Convolutionfp32(InputDatafp32,Weightfp32)
其中，
OutputDatafp32′用于表示所述第一处理数据；
InputDatafp32用于表示所述训练数据；
Weightfp32用于表示所述网络模型以第一工作模式运行时的权值参数。
优选的，所述步骤S3中包括：
步骤S31，所述处理单元选取一所述卷积层作为当前的所述卷积层；
步骤S32，所述处理单元确定与当前的所述卷积层对应的所述第一处理数据和所述量化参数集；
步骤S33，所述处理单元于所述量化参数集内选取一所述量化参数作为当前的所述量化参数；
步骤S34，所述处理单元根据当前的所述量化参数对所述网络模型进行设置，随后再次将所述训练数据输入所述网络模型，控制所述网络模型以第二工作模式运行，得到所述卷积层输出的所述第二处理数据；
步骤S35，所述处理单元判断当前的所述卷积层对应的所述量化参数集中的所述量化参数是否均对所述网络模型进行设置：
若是，则转至步骤S4；
若否，则所述处理单元将未对所述网络模型进行设置的所述量化参数作为当前的所述量化参数，随后转至步骤S34。
优选的，所述步骤S4中包括：
步骤S41，所述处理单元根据所述第一处理数据，分别对所有所述第二处理数据进行余弦距离计算，得到所有的余弦距离值；
步骤S42，所述处理单元根据最小的所述余弦距离值，确定本次更新相关的所述量化参数，并采用被确定的所述量化参数更新对应的所述量化转换因子，随后转至步骤S5。
优选的，所述步骤S5中，当所述量化转换因子集中存在尚未被更新的所述量化转换因子时，所述处理单元将尚未被更新的所述量化转换因子对应的所述卷积层作为当前的所述卷积层，随后转至步骤S32。
优选的，所述第二工作模式为Int8工作模式。
上述技术方案的有益效果在于：提高网络模型的处理精度，加快处理速度，降低经济成本。
附图说明
图1是本发明的一种较优实施例中的总流程示意图；
图2是本发明的一种较优实施例中的步骤S3的流程示意图；
图3是本发明的一种较优实施例中的步骤S4的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
一种离线量化工具的精度提升方法，用于提高深度学习模型的精度，如图1所示，采用一处理单元将预先设置的训练数据输入一网络模型，网络模型中包括多个依次连接的卷积层，每个卷积层分别用于对输入至卷积层的训练数据进行处理并得到处理数据输出，每个卷积层的输出端还分别连接处理单元；
处理单元获取所有处理数据并分别提取处理数据中的量化转换因子并生成一量化转换因子集，每个量化转换因子分别对应于一卷积层，量化转换因子集中的量化转换因子依据对应的卷积层的顺序进行排序；
精度提升方法包括：
步骤S1，处理单元对每个量化转换因子进行线性处理，生成多个量化参数形成一量化参数集，每个量化参数集分别对应于一量化转换因子；
步骤S2，处理单元将训练数据输入网络模型，控制网络模型以第一工作模式运行，分别得到所有卷积层输出的第一处理数据；
步骤S3，处理单元分别根据量化参数，再次将训练数据输入网络模型，控制网络模型以第二工作模式运行，获得卷积层输出的第二处理数据；
步骤S4，根据第一处理数据和第二处理数据确定本次更新相关的量化参数，并将采用被确定的量化参数更新对应的量化转换因子；
步骤S5，判断量化转换因子集中是否存在尚未被更新的量化转换因子：
若是，则返回步骤S3；
若否，则将更新后的量化转换因子集作为精度提升结果输出，随后结束。
具体地，现有技术方案中的第二种实现方案：在已有的Float32网络模型基础上，通过模型量化工具和少量的校准图片离线输出Int8网络模型，具有精度较低的缺点，但是操作较为简单，能够快速得出结果，符合现有芯片厂商、终端用户的实际需求。由此，本技术方案选择在第二种实现方案的基础上进行改进。
进一步地，考虑到常用的模型离线量化工具：使用“KLD-Calibration”策略来统计求出每一卷积层的输出数据对应的量化转换因子，通过少量的较合理图片输出到待量化的网络模型进行推理计算，最终统计出所需的量化转换因子。由此，本文对量化转换因子进行进一步的精确量化。
具体地，选取计算机作为处理单元，图片作为训练数据，于步骤S1中，处理单元对每个卷积层对应的量化转换因子均进行线性处理，在每个量化转换因子的一定取值范围内进行线性处理，生成对应于量化转换因子的多个量化参数，相应的，每个卷积层对应一量化转换因子，每个量化转换因子又分别对应多个量化参数，因此，计算量化参数中精确度最高的量化参数，将其更新至卷积层输出的量化转化因子，以提高网络模型的精确度。
进一步地，确定精确度最高的量化参数的过程中，步骤S2，处理单元将训练数据输入网络模型，得到所有卷积层输出的第一处理数据，每个卷积层输出的第一处理数据均不相同；步骤S3-步骤S4，处理单元通过计算余弦距离值，逐步确定当前的量化参数中，精度更高的量化参数并更新至量化转换因子；步骤S5，对所有卷积层对应的量化转换因子均进行更新处理，得到更新的量化转换因子集作为精度提升结果输出。
本发明一种较优的实施例中，步骤S1采用下述公式实现：
Scalem＝0.75·scale+0.01·scale·m (1)
其中，
Scalem用于表示量化参数，m用于表示量化参数在量化参数集中的排序序号；
scale用于表示处理数据中的量化转换因子。
具体地，考虑到芯片厂商的实际经济成本以及终端用户的实际需求，以此，处理单元采用公式(1)对量化因子进行线性处理，以[0.75scale,1.25scale]为取值范围对量化因子进行划分，生成50个量化参数，提高了网络模型的调节精度，避免产生遗漏和误差。
本发明一种较优的实施例中，第一工作模式为Float32工作模式。
本发明一种较优的实施例中，步骤S2采用下述公式实现：
OutputDatafp32′＝Convolutionfp32(InputDatafp32,Weightfp32) (2)
其中，
OutputDatafp32′用于表示第一处理数据；
InputDatafp32用于表示训练数据；
Weightfp32用于表示网络模型以第一工作模式运行时的权值参数。
具体地，处理单元选用测试图片作为训练数据，输入网络模型，控制网络模型以Float32工作模式运行，采用公式(2)得到所有卷积层输出的第一处理数据。
本发明的一种较优实施例中，如图2所示，步骤S3中包括：
步骤S31，处理单元选取一卷积层作为当前的卷积层；
步骤S32，处理单元确定与当前的卷积层对应的第一处理数据和量化参数集；
步骤S33，处理单元于量化参数集内选取一量化参数作为当前的量化参数；
步骤S34，处理单元根据当前的量化参数对网络模型进行设置，随后再次将训练数据输入网络模型，控制网络模型以第二工作模式运行，得到卷积层输出的第二处理数据；
步骤S35，处理单元判断当前的卷积层对应的量化参数集中的量化参数是否均对网络模型进行设置：
若是，则转至步骤S4；
若否，则处理单元将未对网络模型进行设置的量化参数作为当前的量化参数，随后转至步骤S34。
本发明的一种较优实施例中，如图3所示，步骤S4中包括：
步骤S41，处理单元根据第一处理数据，分别对所有第二处理数据进行余弦距离计算，得到所有的余弦距离值；
步骤S42，处理单元根据最小的余弦距离值，确定本次更新相关的量化参数，并采用被确定的量化参数更新对应的量化转换因子，随后转至步骤S5。
本发明的一种较优实施例中，步骤S5中，当量化转换因子集中存在尚未被更新的量化转换因子时，处理单元将尚未被更新的量化转换因子对应的卷积层作为当前的卷积层，随后转至步骤S32。
本发明一种较优的实施例中，第二工作模式为Int8工作模式。
具体地，针对当前的卷积层以及对应量化参数集，于此处，处理单元根据量化参数集选取当前的量化参数，控制网络模型以第二工作模式运行，得到此时的卷积层输出的一第二处理数据，处理单元根据第一处理数据，对此时的第二处理数据进行计算，确定本次更新相关的量化参数。
进一步地，S51采用下述公式实现：
Figure GDA0002507501690000091
其中，
OutputDatafp32″用于表示第二处理数据；
InputDataint8用于表示网络模型以第二工作模式运行时的训练数据；
Weightint8用于表示网络模型以第二工作模式运行时的权值参数；
Scaleinput用于表示卷积层输入的量化转换因子；
Scaleweight用于表示卷积层权重参数的量化转换因子。
进一步地，处理单元选用测试图片作为训练数据，输入网络模型，控制网络模型以Int8工作模式运行，采用公式(3)得到所有卷积层输出的第二处理数据。
进一步地，此处的InputDataint8采用下述公式进行计算：
InputDataint8＝Round(InputDatafp32×Scaleinput) (4)
其中，
InputDatafp32用于表示输入网络模型的训练数据；
Scaleinput用于表示卷积层输入的量化转换因子。
进一步地，此处的Weightint8采用下述公式进行计算：
Weightint8＝Round(Weightfp32×Scaleweight) (5)
其中，
Weightfp32用于表示网络模型以第一工作模式运行时的权值参数；
Scaleweight用于表示卷积层权重参数的量化转换因子。
相应地，
Figure GDA0002507501690000101
/>
进一步地，考虑到余弦距离值是一种能够度量相似度的数值，处理单元根据第一处理数据，对此时的第二处理数据进行余弦距离计算，能够得到对应于当前的量化参数的余弦距离值，考虑到此处的训练数据为图片，图片可为RGB图片具有图片的特征向量，由此，处理单元可根据计算第一处理数据和第二处理数据之间的相似程度，以进一步的提高网络模型精度。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种离线量化工具的精度提升方法，用于提高深度学习模型的精度，其特征在于，采用一处理单元将预先设置的训练数据输入一网络模型，所述网络模型中包括多个依次连接的卷积层，每个所述卷积层分别用于对输入至所述卷积层的所述训练数据进行处理并得到处理数据输出，每个所述卷积层的输出端还分别连接所述处理单元；
所述处理单元获取所有所述处理数据并分别提取所述处理数据中的量化转换因子并生成一量化转换因子集，每个所述量化转换因子分别对应于一所述卷积层，所述量化转换因子集中的所述量化转换因子依据对应的所述卷积层的顺序进行排序；
所述精度提升方法包括：
步骤S1，所述处理单元对每个所述量化转换因子进行线性处理，生成多个量化参数形成一量化参数集，每个所述量化参数集分别对应于一所述量化转换因子；
步骤S2，所述处理单元将所述训练数据输入所述网络模型，控制所述网络模型以第一工作模式运行，分别得到所有所述卷积层输出的第一处理数据；
步骤S3，所述处理单元分别根据所述量化参数，再次将所述训练数据输入所述网络模型，控制所述网络模型以第二工作模式运行，获得所述卷积层输出的第二处理数据；
步骤S4，根据所述第一处理数据和所述第二处理数据确定本次更新相关的所述量化参数，并将采用被确定的所述量化参数更新对应的所述量化转换因子；
步骤S5，判断所述量化转换因子集中是否存在尚未被更新的所述量化转换因子：
若是，则返回所述步骤S3；
若否，则将更新后的所述量化转换因子集作为精度提升结果输出，随后结束。
2.根据权利要求1所述的一种离线量化工具的精度提升方法，其特征在于，步骤S1采用下述公式实现：
Scalem＝0.75·scale+0.01·scale·m
其中，
Scalem用于表示所述量化参数，m用于表示所述量化参数在所述量化参数集中的排序序号；
scale用于表示所述处理数据中的量化转换因子。
3.根据权利要求1所述的一种离线量化工具的精度提升方法，其特征在于，所述第一工作模式为Float32工作模式。
4.根据权利要求3所述的一种离线量化工具的精度提升方法，其特征在于，步骤S2采用下述公式实现：
OutputDatafp32′＝Convolutio nfp32(InputDatafp32,Weightfp32)
其中，
OutputDatafp32′用于表示所述第一处理数据；
InputDatafp32用于表示所述训练数据；
Weightfp32用于表示所述网络模型以第一工作模式运行时的权值参数。
5.根据权利要求1所述的一种离线量化工具的精度提升方法，其特征在于，所述步骤S3中包括：
步骤S31，所述处理单元选取一所述卷积层作为当前的所述卷积层；
步骤S32，所述处理单元确定与当前的所述卷积层对应的所述第一处理数据和所述量化参数集；
步骤S33，所述处理单元于所述量化参数集内选取一所述量化参数作为当前的所述量化参数；
步骤S34，所述处理单元根据当前的所述量化参数对所述网络模型进行设置，随后再次将所述训练数据输入所述网络模型，控制所述网络模型以第二工作模式运行，得到所述卷积层输出的所述第二处理数据；
步骤S35，所述处理单元判断当前的所述卷积层对应的所述量化参数集中的所述量化参数是否均对所述网络模型进行设置：
若是，则转至步骤S4；
若否，则所述处理单元将未对所述网络模型进行设置的所述量化参数作为当前的所述量化参数，随后转至步骤S34。
6.根据权利要求5所述的一种离线量化工具的精度提升方法，其特征在于，所述步骤S4中包括：
步骤S41，所述处理单元根据所述第一处理数据，分别对所有所述第二处理数据进行余弦距离计算，得到所有的余弦距离值；
步骤S42，所述处理单元根据最小的所述余弦距离值，确定本次更新相关的所述量化参数，并采用被确定的所述量化参数更新对应的所述量化转换因子，随后转至步骤S5。
7.根据权利要求5所述的一种离线量化工具的精度提升方法，其特征在于，所述步骤S5中，当所述量化转换因子集中存在尚未被更新的所述量化转换因子时，所述处理单元将尚未被更新的所述量化转换因子对应的所述卷积层作为当前的所述卷积层，随后转至步骤S32。
8.根据权利要求5所述的一种离线量化工具的精度提升方法，其特征在于，所述第二工作模式为Int8工作模式。
CN202010137113.1A 2020-03-02 2020-03-02 一种离线量化工具的精度提升方法 Active CN111368978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010137113.1A CN111368978B (zh) 2020-03-02 2020-03-02 一种离线量化工具的精度提升方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010137113.1A CN111368978B (zh) 2020-03-02 2020-03-02 一种离线量化工具的精度提升方法

Publications (2)

Publication Number Publication Date
CN111368978A CN111368978A (zh) 2020-07-03
CN111368978B true CN111368978B (zh) 2023-03-24

Family

ID=71206445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010137113.1A Active CN111368978B (zh) 2020-03-02 2020-03-02 一种离线量化工具的精度提升方法

Country Status (1)

Country Link
CN (1) CN111368978B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990457B (zh) * 2021-03-26 2024-05-03 开放智能机器（上海）有限公司 离线量化调优方法、装置、设备、介质及程序产品
CN113011569A (zh) * 2021-04-07 2021-06-22 开放智能机器（上海）有限公司 离线量化参数加注方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658003A (zh) * 2016-09-27 2017-05-10 清华大学 一种基于字典学习的图像压缩系统的量化方法
WO2018140294A1 (en) * 2017-01-25 2018-08-02 Microsoft Technology Licensing, Llc Neural network based on fixed-point operations
CN108596143A (zh) * 2018-05-03 2018-09-28 复旦大学 基于残差量化卷积神经网络的人脸识别方法及装置
CN109635935A (zh) * 2018-12-29 2019-04-16 北京航空航天大学 基于模长聚类的深度卷积神经网络模型自适应量化方法
CN109858372A (zh) * 2018-12-29 2019-06-07 浙江零跑科技有限公司 一种车道级精度自动驾驶结构化数据分析方法
WO2019109771A1 (zh) * 2017-12-05 2019-06-13 南京南瑞信息通信科技有限公司 基于多核异构并行计算的电力人工智能视觉分析系统
WO2019120114A1 (zh) * 2017-12-21 2019-06-27 深圳励飞科技有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
CN110211593A (zh) * 2019-06-03 2019-09-06 北京达佳互联信息技术有限公司 语音识别方法、装置、电子设备及存储介质
JP2019160319A (ja) * 2018-03-09 2019-09-19 キヤノン株式会社 多階層ニューラルネットワークモデルを最適化して適用する方法及び装置、及び記憶媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239826A (zh) * 2017-06-06 2017-10-10 上海兆芯集成电路有限公司 在卷积神经网络中的计算方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658003A (zh) * 2016-09-27 2017-05-10 清华大学 一种基于字典学习的图像压缩系统的量化方法
WO2018140294A1 (en) * 2017-01-25 2018-08-02 Microsoft Technology Licensing, Llc Neural network based on fixed-point operations
WO2019109771A1 (zh) * 2017-12-05 2019-06-13 南京南瑞信息通信科技有限公司 基于多核异构并行计算的电力人工智能视觉分析系统
WO2019120114A1 (zh) * 2017-12-21 2019-06-27 深圳励飞科技有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
JP2019160319A (ja) * 2018-03-09 2019-09-19 キヤノン株式会社 多階層ニューラルネットワークモデルを最適化して適用する方法及び装置、及び記憶媒体
CN108596143A (zh) * 2018-05-03 2018-09-28 复旦大学 基于残差量化卷积神经网络的人脸识别方法及装置
CN109635935A (zh) * 2018-12-29 2019-04-16 北京航空航天大学 基于模长聚类的深度卷积神经网络模型自适应量化方法
CN109858372A (zh) * 2018-12-29 2019-06-07 浙江零跑科技有限公司 一种车道级精度自动驾驶结构化数据分析方法
CN110211593A (zh) * 2019-06-03 2019-09-06 北京达佳互联信息技术有限公司 语音识别方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于残差量化卷积神经网络的人脸识别方法;周光朕等;《计算机系统应用》;20180815(第08期);全文 *
基于神经网络的自学习模糊控制;冯冬青等;《郑州大学学报(工学版)》;20031230(第04期);全文 *

Also Published As

Publication number Publication date
CN111368978A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
James et al. Risk-sensitive control and dynamic games for partially observed discrete-time nonlinear systems
KR20190130636A (ko) 기계번역 방법, 장치, 컴퓨터 기기 및 기억매체
CN111368978B (zh) 一种离线量化工具的精度提升方法
CN106447085A (zh) 一种短期电力负荷预测方法、装置及计算设备
CN105100800A (zh) 视频编码器编码码率调节方法及装置
CN111860841B (zh) 量化模型的优化方法、装置、终端及存储介质
EP4135325A1 (en) Method and apparatus for encoding video, electronic device, and storage medium
CN111930673B (zh) 异构智能处理量化装置、量化方法、电子设备及存储介质
CN112966592A (zh) 手部关键点检测方法、装置、设备和介质
CN114023313B (zh) 语音处理模型的训练、语音处理方法、装置、设备及介质
CN115983349A (zh) 卷积神经网络的量化方法及装置、电子设备和存储介质
CN116259328A (zh) 用于音频降噪的后训练量化方法、装置和存储介质
CN115940202A (zh) 基于人工智能的多逆变器功率分配控制方法、装置及设备
CN113159318A (zh) 一种神经网络的量化方法、装置、电子设备及存储介质
CN113673532B (zh) 基于量化模型的目标检测方法及装置
CN115249058A (zh) 神经网络模型的量化方法、装置、终端及存储介质
CN113112311B (zh) 训练因果推断模型的方法、信息提示方法以装置
CN111930670B (zh) 异构智能处理量化装置、量化方法、电子设备及存储介质
CN112561050B (zh) 一种神经网络模型训练方法及装置
CN111783957A (zh) 模型量化训练方法、装置、机器可读存储介质及电子设备
TWI771745B (zh) 神經網路模型的超參數設定方法及建立平台
CN114580448B (zh) 一种手语翻译方法、装置、电子设备及存储介质
CN112801017B (zh) 一种视觉场景描述方法及系统
CN114282656A (zh) 一种用于目标识别的网络系统及方法
CN118092229A (zh) 一种控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant