CN106845640A - 基于深度卷积神经网络的层内非均匀的等间隔定点量化方法 - Google Patents
基于深度卷积神经网络的层内非均匀的等间隔定点量化方法 Download PDFInfo
- Publication number
- CN106845640A CN106845640A CN201710032865.XA CN201710032865A CN106845640A CN 106845640 A CN106845640 A CN 106845640A CN 201710032865 A CN201710032865 A CN 201710032865A CN 106845640 A CN106845640 A CN 106845640A
- Authority
- CN
- China
- Prior art keywords
- fixed
- neural networks
- convolutional neural
- model
- point value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013139 quantization Methods 0.000 title claims abstract description 53
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000010410 layer Substances 0.000 claims abstract description 45
- 238000013507 mapping Methods 0.000 claims abstract description 38
- 230000001788 irregular Effects 0.000 claims abstract description 16
- 239000011229 interlayer Substances 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000003062 neural network model Methods 0.000 claims abstract description 6
- 238000009966 trimming Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims 1
- 238000003379 elimination reaction Methods 0.000 claims 1
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度卷积神经网络的层内非均匀的等间隔定点量化方法，包括一下步骤：步骤一，选取部分深度卷积神经网络的能够正确识别的图像，并提取识别过程中产生的特征映射(Feature Map)；步骤二，对卷积神经网络中的特征映射进行层间非规则量化，在保持模型精度情况下，确定每一层卷积网络的最大量化位数；步骤三，对于模型中的每一卷积层，在最大量化位数能表示的范围内，以一定间隔选取定点值，并用定点值代表特征映射中的值，并以索引的形式进行保存；步骤四，利用神经网络模型微调方法(Fine Tuning Method)对模型进行微调，消除量化带来的误差。本发明层间非均匀的等间隔定点量化方法，能够在保持模型精度的前提下大幅度减少深度卷积神经网络的特征映射的存储开销，具有一定的创新性。
Description
技术领域
本发明涉及深度学习模型压缩领域，特别是面向嵌入式系统的深度卷积神经网络的定点化领域。
背景技术
随着人工智能的快速发展，以深度学习为主导的算法所设计的应用已经越来愈多的出现在人们的生活，工作和娱乐中。然而深度神经网络往往由其十几甚至上百的卷积层构成，计算过程中产生的特征映射需要占据大量的存储空间。这意味着对于嵌入式应用对导致产品面积大大增加。所以，研究深度卷积神经网络的定点压缩问题，对于减小特征映射的存储开销，提高深度学习的实用价值有着非常非常重要的意义。
目前的深度卷积神经网络中的特征映射定点量化中主要是通过层间规则或者非规则量化方法，以减少特征映射的存储开销。
发明内容
发明目的：本发明所要解决的技术问题是针对深度卷积神经网络中特征映射存储开销过大的问题，提供一种基于深度卷积神经网络的层内非均匀的等间隔定点量化方法，从而在保持模型精度的情况下使得存储开销得以大大减少。
为了解决上述技术问题，本发明公开了一种基于深度卷积神经网络的层内非均匀的等间隔定点量化方法，包括以下步骤：
步骤一，选取部分深度卷积神经网络的能够正确识别的图像，并提取识别过程中产生的特征映射；
步骤二，对卷积神经网络中的特征映射进行层间非规则量化，在保持模型精度情况下，确定每一层卷积网络的最大量化位数；
步骤三，对于模型中的每一卷积层，在最大量化位数能表示的范围内，以一定间隔选取定点值，并用定点值代表特征映射中的值，并以索引的形式进行保存；
步骤四，利用神经网络模型微调方法(Fine Tuning Method)对模型进行微调，消除量化带来的误差。
本发明中，优选地，所述步骤一包括以下步骤：
步骤(11)，对已有深度卷积神经网络模型进行前向测试，由于正确样本的特征映射的分布更具有代表性，故选取其中能够正确识别的图像；
步骤(12)，提取正确样本的特征映射。
本发明中，优选地，所述步骤二包括以下步骤：
步骤(21)，在满足精度的前提下，通过将原本为全精度浮点数的特征映射改用固定位数的定点数表示，如果发生超过定点数表达范围的数，则在二进制下将超过规定位数的比特位截断，对深度卷积神经网络所有卷积层进行统一量化位数的规则量化；
步骤(22)，在不大于规则量化所确定的量化位数的前提下，通过层间非规则量化确定每一层卷积神经网络所满足的最大量化位数，以节省更多存储空间；
本发明中，优选地，所述步骤三包括以下步骤：
步骤(31)，确定最大能容忍的精度损失，如果量化带来的精度损失超过此阈值，则提高量化位数；
步骤(32)，将0和每层卷积层的最大量化位数能达到的最大值分别设为定点值的区间的起点和终点；
步骤(33)，在确定的区间内以等间隔选取一定数量的定点值，并确保定点值的数量小于最大量化位数可以表示的数量；
步骤(34)，将选取的定点值从小到大对应以相应的索引；
步骤(35)，按向下取值的原则，将特征映射中的所有值分别替换为离其最近并小于自己的定点值并保证在小于能同人的最大精度损失的情况下尽可能减小定点值的数量；
步骤(36)，表示索引所用的位数小于表示定点值所用的位数，存储时采用定点值对应的索引进行存储可以在层间非规则量化的基础上进一步缩减存储空间；
本发明中，优选地，所述步骤四包括以下步骤：
步骤(41)，在满足定点约束的条件下，对模型进行再训练对模型进行微调，消除误差。
本发明的原理是通过提取识别过程中产生的特征映射。其次，对卷积神经网络中的特征映射进行层间非规则等间隔量化。然后对于模型中的每一卷积层，在最大量化位数能表示的范围内，以一定间隔选取定点值，并用定点值代表特征映射中的值，并以索引的形式进行保存。最后，利用神经网络模型微调方法对模型进行微调，消除量化带来的误差。
有益效果：本发明通过软件和硬件结合方法进行模型压缩，在对深度卷积神经网络进行层内非均匀定点化后，即可大幅度减少其存储开销。本发明在深度神经网络在嵌入式设备中有广泛的应用前景。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是本发明定点值和索引的电路转换单元。
图2是本发明方法简化流程图。
具体实施方式：
本发明，核心思路是利用深度卷积网络的特征映射的冗余性，利用层内非均匀等间隔定点量化方法对特征映射进行定点化，通过存储索引值来降低存储需求并使用重训练对模型微调以弥补定点化带来的误差。
本发明公开了一种基于深度卷积神经网络的层内非均匀的等间隔定点量化方法，包括以下步骤：
步骤一，对已有的深度卷积神经网络进行前向测试，由于正确样本的特征映射往往更能代表绝大多数样本的特征映射的分布，所以选取能够正确识别的样本。并提取识别过程中产生的特征映射。
步骤二，对卷积神经网络中的特征映射进行层间非规则定点量化，在保持模型精度情况下，确定每一层卷积网络的最大量化位数。首先对卷积神经网络进行规则定点量化，在规则量化基础上进行层间非规则量化，确定每一卷积层自己的对打量化位数；
所述步骤二包括以下步骤：
步骤21，首先对卷积神经网络提取出来的特征映射进行规则定点量化。定点量化是基于二进制的方法，所以定点量化的位数则代表这使用的二进制比特数。不妨假设定点量化所采用的位数为b，则定点量化所表示的范围为：
Range＝step*2b， (1)
其中，Range为定点数能表示的范围，step是最低位所能达到的最高精度。不同的精度和定点位数会对定点数范围产生相应的影响。由于原本的特征映射是由全精度浮点数表示，故其值的范围很可能超过了定点数的表示范围，如果超过定点数的表示范围，则需要将其转换为二进制数，并将超过定点数所能达到的最高精度的部分截断。除此以外还要将超过定点数最大表示范围的位数同样截断。由于原本的全精度表示的值损失了部分精度，会造成一定的精度损失。所以需要在定点位数和模型精度进行权衡和取舍。
步骤22，规则定点量化是基于整个卷积神经网络的量化策略。其位数和精度的选择取决于对精度和范围需求最高的卷积层的特征映射。然而有许多卷积层的特征映射并不需要非常高的精度和范围，所以规则量化的结果对于许多卷积层的特征映射存在冗余。所以需要利用非规则量化对每一层采取不同的量化方案。规则量化的结果确定了非规则量化定点位数的上限，之后根据规则量化的所采用的定点位数进行层间非规则量化。由于深度卷积神经网络每一层均会有不同的分布，故针对每一卷积层再选取适合本层的量化位数，新选取的量化位数不大于规则量化所却确定的全局量化位数。
步骤三，对于模型中的每一卷积层，在最大量化位数能表示的范围内，以一定间隔选取定点值，并用定点值代表特征映射中的值，并以索引的形式进行保存。
所述步骤三包括以下步骤：
步骤31，在将特征映射由全精度浮点数转换位定点数时，很可能导致原本的全精度浮点数对于要转换的定点数无法表示的情况。所以累积下来，会等深度卷积神经网络的精度造成一定的影响。为了权衡量化位数于模型精度，防止模型精度偏差过多。需要定义最大能容忍的精度损失g，如果量化带来的精度损失超过此阈值g，则提高量化位数，g的条件如下：
g≤A-Aq， (2)
其中，A表示初始的全精度浮点数表示下的深度卷积神经网络的精度，Aq表示用定点数来表示深度卷积神经网络之后的精度。当g满足式(2)所示的条件时则可以尝试进一步缩减量化位数。如果模型的精度损失超过g能容忍的最大范围，则需要对现有的定点方案进行调整。
步骤32，为了进一步缩减空间，需要对定点数的数量进行进一步缩减。在选取新的定点数之前确定其区间范围，新的定点数将基于在之前步骤确定的层间非规则量化的结果。将0和每层卷积层的最大量化位数能达到的最大值分别设为定点值的区间的起点和终点
步骤33，对第i个卷积层，设之前步骤中确定的层间非规则量化的定点位数为qmi，在层内非规则等间隔量化中选取单个卷积层的新的定点位数为Ei，其中Ei≤qmi。Ei位的定点位数共可以表示种定点数其中Pi，k对应的定点值的计算公式如下：
其中，F为减少的位数即位数差。通过该过程可以为每层卷积层分别选取新的定点值，并且在设计过程中也需要满足之前步骤提高的精度损失不能大于选定的阈值的条件。
步骤34，将选取的定点值从小到大对应以相应的索引，对于Pi，k对应的定点值Vi，k，设定其对应的索引为k。
步骤35，按向下取值的原则，将特征映射中的所有值分别替换为离其最近并小于自己的定点值。设特征映射中的值为x当时，将x转换为如下公式所示的定点值：
其中x′表示定点化之后的特征映射的值。当时，则将x转换为定点值和索引的数字电路转换单元如图1所示。如果精度损失低于g，则进一步降低定点位数Ei，直到精度损失接近超过g。
步骤36，因为表示定点值的索引所需要的位数一般要小于定点值本身所需要的定点位数。所以在将每一层的卷积层的特征映射的值替换为层内非规则等间隔定点数之后，需要将定点值转化为对应的索引，并用其索引值进行保存，这样可以进一步减小存储。
步骤四，利用神经网络模型微调方法对模型进行微调，在原有模型的基础上，将全精度浮点数转化为定点数表示会对模型精度带来一定的损失。所以需要使用神经网络模型微调方法对模型就行微调。在微调时，需要分别进行前向计算以获得损失函数和倒向累加梯度调整参数两种方式的计算。在进行前向计算时，需要对模型的特征映射进行如上文所示的定点约束。而在倒向进行梯度的计算式采用全精度计算，这样可以更好的使模型收敛，防止因为定点精度问题导致梯度消失现象发生。在通过模型微调之后，可以弥补特征映射定点化带来的误差，使深度卷积模型可以在无精度损失的情况下实现特征映射的存储空间的大幅度压缩。
本发明提供了基于深度卷积神经网络的层内非均匀的等间隔定点量化方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (5)
1.基于深度卷积神经网络的层内非均匀的等间隔定点量化方法，其特征在于，包括以下步骤：
步骤一，选取部分深度卷积神经网络的能够正确识别的图像，并提取识别过程中产生的特征映射；
步骤二，对卷积神经网络中的特征映射进行层间非规则量化，在保持模型精度情况下，确定每一层卷积网络的最大量化位数；
步骤三，对于模型中的每一卷积层，在最大量化位数能表示的范围内，以一定间隔选取定点值，并用定点值代表特征映射中的值，并以索引的形式进行保存；
步骤四，利用神经网络模型微调方法(Fine Tuning Method)对模型进行微调，消除量化带来的误差。
2.所述步骤一包括以下步骤：
步骤(11)，对已有深度卷积神经网络模型进行前向测试，并选取其中能够正确识别的图像；
步骤(12)，提取选取图像在计算过程中产生的特征映射。
3.所述步骤二包括以下步骤：
步骤(21)，在满足精度的前提下，对深度卷积神经网络所有卷积层进行统一量化位数的规则量化。
步骤(22)，在不大于规则量化所确定的量化位数的前提下，通过层间非规则量化确定每一层卷积神经网络所满足的最大量化位数。
4.所述步骤三包括以下步骤：
步骤(31)，确定最大能容忍的精度损失；
步骤(32)，将0和每层卷积层的最大量化位数能达到的最大值分别设为定点值的区间的起点和终点；
步骤(33)，以等间隔选取一定数量的定点值，并确保定点值的数量小于最大量化位数可以表示的数量；
步骤(34)，将选取的定点值用对应的索引值来表示；
步骤(35)，按向下取值的原则，将特征映射中的所有值分别替换为离其最近并小于自己的定点值并保证在小于能同人的最大精度损失的情况下尽可能减小定点值的数量；
步骤(36)，存储时采用定点值对应的索引进行存储。
5.所述步骤四包括以下步骤：
步骤(41)，在满足定点约束的条件下，对模型进行再训练，消除误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710032865.XA CN106845640A (zh) | 2017-01-12 | 2017-01-12 | 基于深度卷积神经网络的层内非均匀的等间隔定点量化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710032865.XA CN106845640A (zh) | 2017-01-12 | 2017-01-12 | 基于深度卷积神经网络的层内非均匀的等间隔定点量化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106845640A true CN106845640A (zh) | 2017-06-13 |
Family
ID=59123491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710032865.XA Pending CN106845640A (zh) | 2017-01-12 | 2017-01-12 | 基于深度卷积神经网络的层内非均匀的等间隔定点量化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106845640A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107480789A (zh) * | 2017-08-07 | 2017-12-15 | 北京中星微电子有限公司 | 一种深度学习模型的高效转换方法及装置 |
| CN108416426A (zh) * | 2018-02-05 | 2018-08-17 | 深圳市易成自动驾驶技术有限公司 | 数据处理方法、装置及计算机可读存储介质 |
| CN108764458A (zh) * | 2018-05-15 | 2018-11-06 | 武汉环宇智行科技有限公司 | 一种非均匀量化的模型压缩方法及系统 |
| CN108875899A (zh) * | 2018-02-07 | 2018-11-23 | 北京旷视科技有限公司 | 用于神经网络的数据处理方法、装置和系统及存储介质 |
| CN108875923A (zh) * | 2018-02-08 | 2018-11-23 | 北京旷视科技有限公司 | 用于神经网络的数据处理方法、装置和系统及存储介质 |
| CN109359728A (zh) * | 2018-08-29 | 2019-02-19 | 深思考人工智能机器人科技（北京）有限公司 | 定点位数的确认方法、存储介质和装置 |
| CN109993296A (zh) * | 2019-04-01 | 2019-07-09 | 北京中科寒武纪科技有限公司 | 量化实现方法及相关产品 |
| CN109993298A (zh) * | 2017-12-29 | 2019-07-09 | 百度在线网络技术（北京）有限公司 | 用于压缩神经网络的方法和装置 |
| CN110413255A (zh) * | 2018-04-28 | 2019-11-05 | 北京深鉴智能科技有限公司 | 人工神经网络调整方法和装置 |
| CN110598838A (zh) * | 2018-06-13 | 2019-12-20 | 国际商业机器公司 | 统计感知权重量化 |
| CN110889503A (zh) * | 2019-11-26 | 2020-03-17 | 中科寒武纪科技股份有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN110929838A (zh) * | 2018-09-19 | 2020-03-27 | 杭州海康威视数字技术股份有限公司 | 神经网络中位宽定点化方法、装置、终端和存储介质 |
| CN109523016B (zh) * | 2018-11-21 | 2020-09-01 | 济南大学 | 面向嵌入式系统的多值量化深度神经网络压缩方法及系统 |
| CN111831251A (zh) * | 2019-04-19 | 2020-10-27 | 富士通株式会社 | 信息处理设备、信息处理方法及记录介质 |
| US10997492B2 (en) | 2017-01-20 | 2021-05-04 | Nvidia Corporation | Automated methods for conversions to a lower precision data format |
| CN115294108A (zh) * | 2022-09-29 | 2022-11-04 | 深圳比特微电子科技有限公司 | 目标检测方法、目标检测模型的量化方法、装置和介质 |
-
2017
- 2017-01-12 CN CN201710032865.XA patent/CN106845640A/zh active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10997492B2 (en) | 2017-01-20 | 2021-05-04 | Nvidia Corporation | Automated methods for conversions to a lower precision data format |
| CN107480789A (zh) * | 2017-08-07 | 2017-12-15 | 北京中星微电子有限公司 | 一种深度学习模型的高效转换方法及装置 |
| CN109993298A (zh) * | 2017-12-29 | 2019-07-09 | 百度在线网络技术（北京）有限公司 | 用于压缩神经网络的方法和装置 |
| CN109993298B (zh) * | 2017-12-29 | 2023-08-08 | 百度在线网络技术（北京）有限公司 | 用于压缩神经网络的方法和装置 |
| CN108416426A (zh) * | 2018-02-05 | 2018-08-17 | 深圳市易成自动驾驶技术有限公司 | 数据处理方法、装置及计算机可读存储介质 |
| CN108875899A (zh) * | 2018-02-07 | 2018-11-23 | 北京旷视科技有限公司 | 用于神经网络的数据处理方法、装置和系统及存储介质 |
| CN108875923A (zh) * | 2018-02-08 | 2018-11-23 | 北京旷视科技有限公司 | 用于神经网络的数据处理方法、装置和系统及存储介质 |
| CN110413255A (zh) * | 2018-04-28 | 2019-11-05 | 北京深鉴智能科技有限公司 | 人工神经网络调整方法和装置 |
| CN110413255B (zh) * | 2018-04-28 | 2022-08-19 | 赛灵思电子科技(北京)有限公司 | 人工神经网络调整方法和装置 |
| CN108764458B (zh) * | 2018-05-15 | 2021-03-02 | 武汉环宇智行科技有限公司 | 一种减少移动设备存储空间消耗以及计算量的方法及系统 |
| CN108764458A (zh) * | 2018-05-15 | 2018-11-06 | 武汉环宇智行科技有限公司 | 一种非均匀量化的模型压缩方法及系统 |
| CN110598838A (zh) * | 2018-06-13 | 2019-12-20 | 国际商业机器公司 | 统计感知权重量化 |
| CN110598838B (zh) * | 2018-06-13 | 2024-01-19 | 国际商业机器公司 | 统计感知权重量化 |
| CN109359728A (zh) * | 2018-08-29 | 2019-02-19 | 深思考人工智能机器人科技（北京）有限公司 | 定点位数的确认方法、存储介质和装置 |
| CN109359728B (zh) * | 2018-08-29 | 2021-04-09 | 深思考人工智能机器人科技（北京）有限公司 | 计算神经网络压缩最佳定点位数的方法、存储介质和装置 |
| CN110929838A (zh) * | 2018-09-19 | 2020-03-27 | 杭州海康威视数字技术股份有限公司 | 神经网络中位宽定点化方法、装置、终端和存储介质 |
| CN110929838B (zh) * | 2018-09-19 | 2023-09-26 | 杭州海康威视数字技术股份有限公司 | 神经网络中位宽定点化方法、装置、终端和存储介质 |
| CN109523016B (zh) * | 2018-11-21 | 2020-09-01 | 济南大学 | 面向嵌入式系统的多值量化深度神经网络压缩方法及系统 |
| CN109993296A (zh) * | 2019-04-01 | 2019-07-09 | 北京中科寒武纪科技有限公司 | 量化实现方法及相关产品 |
| CN109993296B (zh) * | 2019-04-01 | 2020-12-29 | 安徽寒武纪信息科技有限公司 | 量化实现方法及相关产品 |
| CN111831251A (zh) * | 2019-04-19 | 2020-10-27 | 富士通株式会社 | 信息处理设备、信息处理方法及记录介质 |
| CN110889503B (zh) * | 2019-11-26 | 2021-05-04 | 中科寒武纪科技股份有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN110889503A (zh) * | 2019-11-26 | 2020-03-17 | 中科寒武纪科技股份有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN115294108A (zh) * | 2022-09-29 | 2022-11-04 | 深圳比特微电子科技有限公司 | 目标检测方法、目标检测模型的量化方法、装置和介质 |
| CN115294108B (zh) * | 2022-09-29 | 2022-12-16 | 深圳比特微电子科技有限公司 | 目标检测方法、目标检测模型的量化方法、装置和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106845640A (zh) | 基于深度卷积神经网络的层内非均匀的等间隔定点量化方法 | |
| CN106897734A (zh) | 基于深度卷积神经网络的层内非均匀的k平均聚类定点量化方法 | |
| CN111242287A (zh) | 一种基于通道l1范数剪枝的神经网络压缩方法 | |
| CN111583165A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN107885760A (zh) | 一种基于多种语义的知识图谱表示学习方法 | |
| CN108446711A (zh) | 一种基于迁移学习的软件缺陷预测方法 | |
| CN106228185A (zh) | 一种基于神经网络的通用图像分类识别系统及方法 | |
| WO2020237904A1 (zh) | 一种基于幂指数量化的神经网络压缩方法 | |
| CN109726799A (zh) | 一种深度神经网络的压缩方法 | |
| CN113591954B (zh) | 一种工业系统中缺失的时序数据的填充方法 | |
| CN110119447A (zh) | 自编码神经网络处理方法、装置、计算机设备及存储介质 | |
| CN107463993A (zh) | 基于互信息‑核主成分分析‑Elman网络的中长期径流预报方法 | |
| CN108681844B (zh) | 一种调水工程洪水资源利用风险评价方法 | |
| CN112232526B (zh) | 一种基于集成策略的地质灾害易发性评价方法及系统 | |
| CN112163145B (zh) | 基于编辑距离与余弦夹角的网站检索方法、装置及设备 | |
| CN112000772A (zh) | 面向智能问答基于语义特征立方体的句子对语义匹配方法 | |
| CN107632590A (zh) | 一种基于优先级的底事件排序方法 | |
| CN110472518A (zh) | 一种基于全卷积网络的指纹图像质量判断方法 | |
| CN110689092B (zh) | 一种基于数据导向的鞋底花纹图像深度聚类方法 | |
| CN116050595A (zh) | 一种注意力机制与分解机制耦合的径流量预测方法 | |
| CN112380243B (zh) | 基于机器学习的sql查询选择度预估方法 | |
| CN114707692A (zh) | 基于混合神经网络的湿地出水氨氮浓度预测方法及系统 | |
| CN114595427A (zh) | 基于非自回归模型的含缺失值车辆轨迹序列填补修复方法 | |
| CN107220333A (zh) | 一种基于Sunday算法的字符搜索方法 | |
| CN116796250B (zh) | 一种混叠无线信号智能识别与分离方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190428 Address after: Room 816, Block B, Software Building 9 Xinghuo Road, Jiangbei New District, Nanjing, Jiangsu Province Applicant after: Nanjing Fengxing Technology Co., Ltd. Address before: 210023 Electronic Building 229, 163 Xianlin Avenue, Qixia District, Nanjing, Jiangsu Province Applicant before: Nanjing University |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170613 |