CN113408695A - 一种离线量化工具的精度调优方法 - Google Patents
一种离线量化工具的精度调优方法 Download PDFInfo
- Publication number
- CN113408695A CN113408695A CN202110477401.6A CN202110477401A CN113408695A CN 113408695 A CN113408695 A CN 113408695A CN 202110477401 A CN202110477401 A CN 202110477401A CN 113408695 A CN113408695 A CN 113408695A
- Authority
- CN
- China
- Prior art keywords
- weight
- tuning
- model
- quantization
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013139 quantization Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013136 deep learning model Methods 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 9
- 102100030148 Integrator complex subunit 8 Human genes 0.000 claims description 4
- 101710092891 Integrator complex subunit 8 Proteins 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明提供一种离线量化工具的精度调优方法，涉及深度学习领域，包括：步骤S1，判断深度学习模型是否适合第一权重调优方案：若否，转向步骤S2；若是，根据第一权重调优方案对卷积层的权重和偏置进行调优，以重新赋值得到第一调优模型；步骤S2，用第二权重调优方案及第一训练数据对第一调优模型的各卷积层权重调优得到量化因子集；步骤S3，将第二训练数据输入第一调优模型，根据量化因子集计算得到权重最大值和权重最小值，对各卷积层的权重进行截断，并对第一调优模型中的权重赋值得到第二调优模型；步骤S4，用离线量化工具对第二调优模型量化得到量化模型。本技术方案联用多种权值调优方案对网络模型进行量化调优，提升了深度学习模型的精度。
Description
技术领域
本发明涉及深度学习领域，尤其涉及一种离线量化工具的精度调优方法。
背景技术
随着AI技术的不断发展，目前基于深度学习算法的模型已经在端侧部署端进行了大量的应用。为了考虑到受限于端侧设备的成本，功耗，性能等问题，越来越多的研发人员投入到如何在不损失原模型精度的情况下，进行模型的压缩，量化使其能高精度，高性能的在端侧设备运行，更好的符合落地场景的要求。
目前，现有的量化工具只支持一种或者两种量化调优算法来对模型进行精度调优提升，例如KLD，EasyQuant，DFQ以及MinMax等。并且在市场的端侧设备影响下，主要集中于从FP32模型到INT8模型的量化调优。若只使用单一量化算法，当遇到存有离散型权重分布较广的卷积层模型时，量化结果并不理想。
市场上的模型量化工具针对检测网络量化部分支持有限，无法做到普适性。因此，如何对现有的离线量化工具进行优化调优是需要解决的问题。
目前常见的模型量化调优策略一般分为三种：方法一，针对模型的输入输出进行量化产生量化系数；方法二，无需外部数据，针对模型卷积层中的权重与斜偏量进行权重调优；方法三，结合调优数据集，通过前向推理来针对模型的的权重进行调优截断；通过以上三种方法可以对模型进行初步的量化调优。方法一是从训练数据集中抽取少量并合理的图片数据集进行模型前向推理，并通过此策略来统计出每一层的量化转换因子与零点。方法二则是无需外部数据集，通过模型中相邻卷积的权重关系来对权重进行调优。方法三是模型结合前向推理过程中的推理的输入数据与权重关系来进行权重调优。
但是，单独使用上述的方法一、方法二或方法三其中的一种，仅能实现对模型的初步量化调优，而无法保证卷积层模型的精度，量化结果并不十分理想。
发明内容
针对现有技术中存在的问题，本发明提供一种离线量化工具的精度调优方法，应用于一深度学习模型，所述深度学习模型包括多个卷积层；
所述精度调优方法包括：
步骤S1，根据所述深度学习模型的网络结构判断所述深度学习模型是否适合预先配置的一第一权重调优方案：
若否，则转向步骤S2；
若是，则根据所述第一权重调优方案对各所述卷积层的权重和偏置进行权重调优，并根据权重调优结果对所述深度学习模型的所述权重和所述偏置进行重新赋值得到一第一调优模型，随后转向步骤S2；
步骤S2，采用预先配置的一第二权重调优方案并根据预先获取的一第一训练数据对所述第一调优模型的各所述卷积层的所述权重进行调优得到所述权重的量化因子集；
步骤S3，将预先获取的一第二训练数据输入所述第一调优模型，并在进行推理之前，根据所述量化因子集计算得到各所述卷积层对应的一权重最大值和一权重最小值，以根据所述权重最大值和所述权重最小值对各所述卷积层的所述权重进行截断，并根据截断得到的所述权重对所述第一调优模型中的所述权重进行重新赋值得到一第二调优模型；
步骤S4，将预先获取的一第三训练数据输入所述第二调优模型，并采用预先配置的一离线量化工具对所述第二调优模型进行模型量化得到量化模型。
优选的，执行所述步骤S4之后，还包括将所述量化模型部署至一端侧设备进行精度测试，并在精度测试结果小于一预设精度时，调整所述第一权重调优方案的使用次数，或调整所述第一训练数据，或调整所述第三训练数据进行精度优化，直至所述精度测试结果不小于所述预设精度。
优选的，所述步骤S1中，在所述深度学习模型中存在至少两个所述卷积层相连接的所述网络结构时，则表示所述深度学习模型适合所述第一权重调优方案。
优选的，采用所述第一权重调优方案对各所述卷积层的权重和偏置进行权重调优时，若所述深度学习模型的所述网络结构中存在卷积分支，则对所述卷积分支内外相连接的所述卷积层的所述权重和所述偏置进行重新赋值，得到所述第一调优模型；
若所述深度学习模型的所述网络结构中不存在所述卷积分支，则对连接的所述卷积层的所述权重和所述偏置进行重新赋值，得到所述第一调优模型。
优选的，所述步骤S2包括：
步骤S21，根据所述第二权重调优方案将所述第一训练数据输入所述第一调优模型中的各所述卷积层；
步骤S22，各所述卷积层根据所述第一训练数据处理得到一第一处理数据；
步骤S23，根据各所述第一处理数据对所述第一调优模型的各所述卷积层的所述权重进行调优得到所述权重的量化因子，并根据多个所述量化因子形成所述量化因子集。
优选的，所述步骤S3包括：
步骤S31，根据所述量化因子集中所述量化因子的最大值处理得到各所述卷积层中对应的所述权重最大值，以及根据所述量化因子的的最小值处理得到各所述卷积层中对应的所述权重最小值；
步骤S32，根据所述权重最大值和所述权重最小值对各所述卷积层的所述权重进行截断，得到截断后的所述权重；
步骤S33，根据截断得到的所述权重对所述第一调优模型中的所述权重进行重新赋值，得到所述第二调优模型。
优选的，步骤S32采用下述公式实现对各所述卷积层中的所述权重进行截断：
其中，f(x)用于表示截断后的所述权重；
W用于表示每个所述卷积层中的所述权重；
Min用于表示所述权重最小值；
Max用于表示所述权重最大值。
优选的，所述权重最小值采用下述公式计算得到：
Min＝scale*zeropoint-1
其中，Min用于表示所述权重最小值；
scale用于表示所述量化因子的最小值；
zeropiont用于表示零点。
优选的，所述权重最大值采用下述公式计算得到：
Max＝scale*255+Min
其中，Max用于表示所述权重最大值；
scale用于表示所述量化因子的最大值；
Min用于表示所述权重最小值。
优选的，所述深度学习模型、所述第一调优模型和所述第二调优模型为Float32模型，所述量化模型为Int8模型。
上述技术方案具有如下优点或有益效果：
本技术方案组合使用多种权重调优方案对深度学习模型进行量化调优，保证了量化调优的效果，有效提升了深度学习模型的处理精度。
附图说明
图1为本发明的较佳的实施例中，精度调优方法的流程图；
图2为本发明的较佳的实施例中，精度调优方法的子流程图；
图3为本发明的较佳的实施例中，精度调优方法的子流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。
本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种离线量化工具的精度调优方法，应用于一深度学习模型，所述深度学习模型包括多个卷积层；
如图1所示，精度调优方法包括：
步骤S1，根据深度学习模型的网络结构判断深度学习模型是否适合预先配置的一第一权重调优方案：
若否，则转向步骤S2；
若是，则根据第一权重调优方案对各卷积层的权重和偏置进行权重调优，并根据权重调优结果对深度学习模型的权重和偏置进行重新赋值得到一第一调优模型，随后转向步骤S2；
步骤S2，采用预先配置的一第二权重调优方案并根据预先获取的一第一训练数据对第一调优模型的各卷积层的权重进行调优得到权重的量化因子集；
步骤S3，将预先获取的一第二训练数据输入第一调优模型，并在进行推理之前，根据量化因子集计算得到各卷积层对应的一权重最大值和一权重最小值，以根据权重最大值和权重最小值对各卷积层的权重进行截断，并根据截断得到的权重对第一调优模型中的权重进行重新赋值得到一第二调优模型；
步骤S4，将预先获取的一第三训练数据输入第二调优模型，并采用预先配置的一离线量化工具对第二调优模型进行模型量化得到量化模型。
具体地，本实施例中，第一权重调优方案可以为无数据量化(Data-FreeQuantization，DFQ)调优方案，简称为DFQ调优方案，该方案无需输入外部数据，能够针对深度学习模型的各卷积层中的权重和偏置进行量化调优。但是，并非所有深度学习模型都适合DFQ调优方案，因为DFQ调优方案需要深度学习模型中具有至少两个相连的卷积层。当深度学习模型中不具备两个相连的卷积层时，则该深度学习模型无法使用DFQ调优方案。在步骤S1中，首先判断对深度学习模型是否适合DFQ调优方案进行判断，在深度学习模型适合DFQ调优方案时，使用DFQ调优方案对深度学习模型中的各卷积层的权重和偏置进行权重调优，进而根据权重调优的结果对深度学习的权重和偏置重新赋值得到第一调优模型；在深度学习模型不适合DFQ调优方案时，则不采用DFQ调优方案对深度学习模型中的权重和偏置进行调整。
在本技术方案中，选用图片作为训练数据。
进一步地，第一训练数据可以为特定的调优图片。第二训练数据可以为预设的调校图片。第三训练数据可以为预设的校准图片。
在步骤S2中，根据第二权重调优方案将特定的调优图片输入深度学习模型中的各卷积层中，各卷积层根据特定的调优图片处理得到第一处理数据，进而根据第一处理数据对第一调优模型的各卷积层的权重进行调优得到权重的量化因子，并根据多个量化因子形成量化因子集。
进一步地，第二权重调优方案可以为EasyQuant调优方案。EasyQuant调优方案可以结合调优数据集，通过前向推理来针对模型中的权重进行调优截断。
在步骤S3中，根据步骤S2得到的量化因子集中的量化因子的最大值和最小值处理得到对每个卷积层中的权重最大值和权重最小值，进而根据每个卷积层中的权重最大值和权重最小值对每个卷积层中的权重进行截断，以滤除比权重最大值大和比权重最小值小的权重，得到截断后的权重。进而根据截断后的权重对第一调优方案中的权重进行重新赋值，形成第二调优模型。
在步骤S4中，使用离线量化工具对第二调优模型进行模型量化。其中，离线量化工具可以为最大最小(MinMax)策略或KLD-Calibration策略。其中，MinMax策略是指能够获得的最小收益最大化的策略。使用离线量化工具对第二调优模型进行量化时：现将预设的校准图片输入第二模型的各卷积层中，各卷积层根据预设的调校图片处理得到第三处理数据，进而根据各第三处理数据对第二调优模型的各卷积层的权重进行调优得到权重的第二量化因子，并根据多个第二量化因子形成第二量化因子集。通过第二量化因子集对第二模型进行量化，形成量化模型。
进一步地，深度学习模型、第一调优模型和第二调优模型为Float32模型，量化模型为Int8模型。
本发明的较佳的实施例中，执行步骤S4之后，还包括将量化模型部署至一端侧设备进行精度测试，并在精度测试结果小于一预设精度时，调整第一权重调优方案的使用次数，或调整第一训练数据，或调整第二训练数据进行精度优化，直至精度测试结果不小于预设精度。
具体地，本实施例中，执行步骤S4之后，在量化模型于端侧设备上进行精度测试时，将步骤S4中形成的量化模型与单独使用DFQ调优方案、EasyQuant调优方案、MinMax策略或KLD-Calibration策略中的一种调优方案的深度学习模型的精度进行比较，并进行精度测试，得到一精度测试结果。若精度测试结果不小于预设精度时，则表明量化模型的精度相较于单独使用一种调优方案的深度学习的模型有了较大提升，将该量化模型作为精度调优的结果输出；若精度测试结果小于预设精度，则则需要对本技术方案中的步骤S1，步骤S2或步骤S4做出调整：
调整步骤S1中DFQ调优方案的使用次数，当DFQ调优方案的使用次数改变时，DFQ调优方案对深度学习模型中的权重和偏置的调优结果会发生变化，相应的第一调优模型也会发生变化。
调整步骤S2中输入至第一调优模型中的第一训练数据，当第一训练数据发生变化时，各卷积层处理得到的第一处理数据也会发生变化，进而量化因子集也会发生改变。
调整步骤S3中输入至第二调优模型的第三训练数据，当第三训练数据发生变化时，各卷积层处理得到的第三处理数据也会发生变化，进而第二量化因子集发生变化。
对步骤S1，步骤S2和步骤S4中的一个步骤做出调整后运行步骤S1至步骤S4，直至最终输出的量化模型的精度有所提升。
本技术方案组合使用多种权重调优方案对深度学习模型进行量化调优，保证了量化调优的效果，有效提升了深度学习模型的处理精度。
本发明的较佳的实施例中，步骤S1中，在深度学习模型中存在至少两个卷积层相连接的网络结构时，则表示深度学习模型适合第一权重调优方案。
本发明的较佳的实施例中，采用第一权重调优方案对各卷积层的权重和偏置进行权重调优时，若深度学习模型的网络结构中存在卷积分支，则对卷积分支内外相连接的卷积层的权重和偏置进行重新赋值，得到第一调优模型；
若深度学习模型的网络结构中不存在卷积分支，则对连接的卷积层的权重和偏置进行重新赋值，得到第一调优模型。
本发明的较佳的实施例中，如图2所示，步骤S2包括：
步骤S21，根据第二权重调优方案将第一训练数据输入第一调优模型中的各卷积层；
步骤S22，各卷积层根据第一训练数据处理得到一第一处理数据；
步骤S23，根据各第一处理数据对第一调优模型的各卷积层的权重进行调优得到权重的量化因子，并根据多个量化因子形成量化因子集。
具体地，本实施例中，使用EasyQuant调优方案对第一调优模型中的各卷积层中的权重进行调整：将第一训练数据输入第一调优模型中的各卷积层中，第一调优模型进行前向推理，得到第一处理数据，进而根据第一处理数据对第一调优模型的各卷积层的权重进行调优得到权重的量化因子，最终根据各卷积层中的第一量化因子形成量化因子集。
本发明的较佳的实施例中，如图3所示，步骤S3包括：
步骤S31，根据量化因子集中量化因子的最大值处理得到各卷积层中对应的权重最大值，以及根据量化因子的的最小值处理得到各卷积层中对应的权重最小值；
步骤S32，根据权重最大值和权重最小值对各卷积层的权重进行截断，得到截断后的权重；
步骤S33，根据截断得到的权重对第一调优模型中的权重进行重新赋值，得到第二调优模型。
本发明的较佳的实施例中，步骤S32采用下述公式实现对各卷积层中的权重进行截断：
其中，f(x)用于表示截断后的权重；
W用于表示每个卷积层中的权重；
Min用于表示权重最小值；
Max用于表示权重最大值。
本发明的较佳的实施例中，权重最小值采用下述公式计算得到：
Min＝scale*zeropoint-1
其中，Min用于表示权重最小值；
scale用于表示量化因子的最小值；
zeropoint用于表示零点。
具体地，本实施例中，zeropoint用于表示实数中的0经过量化后对应的整数。
本发明的较佳的实施例中，权重最大值采用下述公式计算得到：
Max＝scale*255+Min
其中，Max用于表示权重最大值；
scale用于表示量化因子的最大值；
Min用于表示权重最小值。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (10)
1.一种离线量化工具的精度调优方法，其特征在于，应用于一深度学习模型，所述深度学习模型包括多个卷积层；
所述精度调优方法包括：
步骤S1，根据所述深度学习模型的网络结构判断所述深度学习模型是否适合预先配置的一第一权重调优方案：
若否，则转向步骤S2；
若是，则根据所述第一权重调优方案对各所述卷积层的权重和偏置进行权重调优，并根据权重调优结果对所述深度学习模型的所述权重和所述偏置进行重新赋值得到一第一调优模型，随后转向步骤S2；
步骤S2，采用预先配置的一第二权重调优方案并根据预先获取的一第一训练数据对所述第一调优模型的各所述卷积层的所述权重进行调优得到所述权重的量化因子集；
步骤S3，将预先获取的一第二训练数据输入所述第一调优模型，并在进行推理之前，根据所述量化因子集计算得到各所述卷积层对应的一权重最大值和一权重最小值，以根据所述权重最大值和所述权重最小值对各所述卷积层的所述权重进行截断，并根据截断得到的所述权重对所述第一调优模型中的所述权重进行重新赋值得到一第二调优模型；
步骤S4，将预先获取的一第三训练数据输入所述第二调优模型，并采用预先配置的一离线量化工具对所述第二调优模型进行模型量化得到量化模型。
2.根据权利要求1所述的精度调优方法，其特征在于，执行所述步骤S4之后，还包括将所述量化模型部署至一端侧设备进行精度测试，并在精度测试结果小于一预设精度时，调整所述第一权重调优方案的使用次数，或调整所述第一训练数据，或调整所述第三训练数据进行精度优化，直至所述精度测试结果不小于所述预设精度。
3.根据权利要求1所述的精度调优方法，其特征在于，所述步骤S1中，在所述深度学习模型中存在至少两个所述卷积层相连接的所述网络结构时，则表示所述深度学习模型适合所述第一权重调优方案。
4.根据权利要求3所述的精度调优方法，其特征在于，采用所述第一权重调优方案对各所述卷积层的权重和偏置进行权重调优时，若所述深度学习模型的所述网络结构中存在卷积分支，则对所述卷积分支内外相连接的所述卷积层的所述权重和所述偏置进行重新赋值，得到所述第一调优模型；
若所述深度学习模型的所述网络结构中不存在所述卷积分支，则对连接的所述卷积层的所述权重和所述偏置进行重新赋值，得到所述第一调优模型。
5.根据权利要求1所述的精度调优方法，其特征在于，所述步骤S2包括：
步骤S21，根据所述第二权重调优方案将所述第一训练数据输入所述第一调优模型中的各所述卷积层；
步骤S22，各所述卷积层根据所述第一训练数据处理得到一第一处理数据；
步骤S23，根据各所述第一处理数据对所述第一调优模型的各所述卷积层的所述权重进行调优得到所述权重的量化因子，并根据多个所述量化因子形成所述量化因子集。
6.根据权利要求5所述的精度调优方法，其特征在于，所述步骤S3包括：
步骤S31，根据所述量化因子集中所述量化因子的最大值处理得到各所述卷积层中对应的所述权重最大值，以及根据所述量化因子的的最小值处理得到各所述卷积层中对应的所述权重最小值；
步骤S32，根据所述权重最大值和所述权重最小值对各所述卷积层的所述权重进行截断，得到截断后的所述权重；
步骤S33，根据截断得到的所述权重对所述第一调优模型中的所述权重进行重新赋值，得到所述第二调优模型。
7.根据权利要求6所述的精度调优方法，其特征在于，采用下述公式实现对各所述卷积层中的所述权重进行截断：
其中，f(x)用于表示截断后的所述权重；
W用于表示每个所述卷积层中的所述权重；
Min用于表示所述权重最小值；
Max用于表示所述权重最大值。
8.根据权利要求6所述的精度调优方法，其特征在于，所述权重最小值采用下述公式计算得到：
Min＝scale*zeropoint-1
其中，Min用于表示所述权重最小值；
scale用于表示所述量化因子的最小值；
zeropiont用于表示零点。
9.根据权利要求6所述的精度调优方法，其特征在于，所述权重最大值采用下述公式计算得到：
Max＝scale*255+Min
其中，Max用于表示所述权重最大值；
scale用于表示所述量化因子的最大值；
Min用于表示所述权重最小值。
10.根据权利要求1所述的精度调优方法，其特征在于，所述深度学习模型、所述第一调优模型和所述第二调优模型为Float32模型，所述量化模型为Int8模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110477401.6A CN113408695B (zh) | 2021-04-29 | 一种离线量化工具的精度调优方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110477401.6A CN113408695B (zh) | 2021-04-29 | 一种离线量化工具的精度调优方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113408695A true CN113408695A (zh) | 2021-09-17 |
| CN113408695B CN113408695B (zh) | 2024-05-31 |
Family
ID=
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109615627A (zh) * | 2018-12-14 | 2019-04-12 | 国网山东省电力公司信息通信公司 | 一种输变电巡检图像质量评价方法及系统 |
| US20190138882A1 (en) * | 2017-11-07 | 2019-05-09 | Samusung Electronics Co., Ltd. | Method and apparatus for learning low-precision neural network that combines weight quantization and activation quantization |
| CN111260022A (zh) * | 2019-11-22 | 2020-06-09 | 中国电子科技集团公司第五十二研究所 | 一种卷积神经网络全int8定点量化的方法 |
| CN111261289A (zh) * | 2018-11-30 | 2020-06-09 | 上海图灵医疗科技有限公司 | 一种基于人工智能模型的心脏疾病的检测方法 |
| CN111814676A (zh) * | 2020-07-08 | 2020-10-23 | 上海雪湖科技有限公司 | 基于kl散度的fpga离线量化方法 |
| CN112149809A (zh) * | 2020-10-23 | 2020-12-29 | 北京百度网讯科技有限公司 | 模型超参数的确定方法及设备、计算设备和介质 |
| CN112652299A (zh) * | 2020-11-20 | 2021-04-13 | 北京航空航天大学 | 时间序列语音识别深度学习模型的量化方法及装置 |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190138882A1 (en) * | 2017-11-07 | 2019-05-09 | Samusung Electronics Co., Ltd. | Method and apparatus for learning low-precision neural network that combines weight quantization and activation quantization |
| CN111261289A (zh) * | 2018-11-30 | 2020-06-09 | 上海图灵医疗科技有限公司 | 一种基于人工智能模型的心脏疾病的检测方法 |
| CN109615627A (zh) * | 2018-12-14 | 2019-04-12 | 国网山东省电力公司信息通信公司 | 一种输变电巡检图像质量评价方法及系统 |
| CN111260022A (zh) * | 2019-11-22 | 2020-06-09 | 中国电子科技集团公司第五十二研究所 | 一种卷积神经网络全int8定点量化的方法 |
| CN111814676A (zh) * | 2020-07-08 | 2020-10-23 | 上海雪湖科技有限公司 | 基于kl散度的fpga离线量化方法 |
| CN112149809A (zh) * | 2020-10-23 | 2020-12-29 | 北京百度网讯科技有限公司 | 模型超参数的确定方法及设备、计算设备和介质 |
| CN112652299A (zh) * | 2020-11-20 | 2021-04-13 | 北京航空航天大学 | 时间序列语音识别深度学习模型的量化方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 孙彦丽;叶炯耀;: "基于剪枝与量化的卷积神经网络压缩方法", 计算机科学, no. 08 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102214837B1 (ko) | 컨벌루션 신경망 파라미터 최적화 방법, 컨벌루션 신경망 연산방법 및 그 장치 | |
| KR102247896B1 (ko) | 학습된 파라미터의 형태변환을 이용한 컨벌루션 신경망 파라미터 최적화 방법, 컨벌루션 신경망 연산방법 및 그 장치 | |
| WO2023000807A1 (zh) | 一种快速灵活全纯嵌入式电力系统最优潮流评估方法 | |
| CN102685501B (zh) | 实现jpeg2000图像压缩的定点小波变换方法 | |
| CN111950715A (zh) | 基于自适应动态移位的8位整型全量化推理方法及装置 | |
| CN110766190A (zh) | 一种配电网负荷预测方法 | |
| CN111310888A (zh) | 处理卷积神经网络的方法 | |
| CN114139683A (zh) | 一种神经网络加速器模型量化方法 | |
| CN114528987A (zh) | 一种神经网络边缘-云协同计算分割部署方法 | |
| US11531884B2 (en) | Separate quantization method of forming combination of 4-bit and 8-bit data of neural network | |
| CN107622242A (zh) | 一种工程中盲源混合信号的加速分离方法 | |
| CN113408695A (zh) | 一种离线量化工具的精度调优方法 | |
| CN113408695B (zh) | 一种离线量化工具的精度调优方法 | |
| KR101987475B1 (ko) | 하드웨어 구현에 적합한 신경망 파라미터 최적화 방법, 신경망 연산방법 및 그 장치 | |
| US11934954B2 (en) | Pure integer quantization method for lightweight neural network (LNN) | |
| CN112199637A (zh) | 基于回归注意力生成对抗网络数据增强的回归建模方法 | |
| CN116701681A (zh) | 一种用于语义分割的多查询网络 | |
| CN108880672B (zh) | Bosa组件的校准方法及系统 | |
| CN110837885A (zh) | 一种基于概率分布的Sigmoid函数拟合方法 | |
| CN113743806B (zh) | 一种电力系统非凸双目标最优潮流全局解的搜索方法 | |
| CN109901398B (zh) | 一种非线性系统冲激响应的峰值上限估算方法 | |
| Novosadová et al. | Piecewise-polynomial signal segmentation using reweighted convex optimization | |
| CN112990457B (zh) | 离线量化调优方法、装置、设备、介质及程序产品 | |
| CN117313958B (zh) | 基于迁移学习的低压分布式光伏功率预测方法及系统 | |
| CN114239835A (zh) | 一种降低网络依赖的多设备协同推理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |