CN107395211A - 一种基于卷积神经网络模型的数据处理方法及装置 - Google Patents
一种基于卷积神经网络模型的数据处理方法及装置 Download PDFInfo
- Publication number
- CN107395211A CN107395211A CN201710816734.0A CN201710816734A CN107395211A CN 107395211 A CN107395211 A CN 107395211A CN 201710816734 A CN201710816734 A CN 201710816734A CN 107395211 A CN107395211 A CN 107395211A
- Authority
- CN
- China
- Prior art keywords
- mrow
- data
- data processing
- supplemental characteristic
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 53
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 230000000153 supplemental effect Effects 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000003860 storage Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000001537 neural effect Effects 0.000 claims 2
- 230000006835 compression Effects 0.000 abstract description 12
- 238000007906 compression Methods 0.000 abstract description 12
- 230000008859 change Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000009891 weiqi Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供一种基于卷积神经网络模型的数据处理方法及装置，上述方法包括以下步骤：通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；采用预设位数比特位对所述预设格式离散数据进行存储。上述技术方案中，通过将参数数据转换为离散数据，并根据预设位数比特位进行存储，实现了模型压缩存储，同时且转换后的模型没有精度损失；由于采用了预设格式离散数据，使得运算效率大大提升。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于卷积神经网络模型的数据处理方法及装置。
背景技术
当前人类处在第四次工业革命大潮，而人工智能正是引领这次大潮的关键技术，由于人工智能技术功能强大，应用场景广阔，未来有望给各行各业带来突破并渗透到生活的方方面面，因此，各国科学家、研究人员、企业、网络社区都在大力研究并推动人工智能的发展，而其中深度学习是最为流行的技术之一：深度学习一般采用神经网络模型，利用大量数据对神经网络模型进行训练，使得机器在某些方面学到接近人类甚至超过人类能力水平，比如图像识别、自然语言处理、下围棋、游戏对战、作画、读唇语等等。
深度学习在各个领域取得突破进展，将其应用到实际生活场景的需求也愈发强烈，尤其是在移动端与嵌入式系统的应用部署。但是，通常情况下深度学习的神经网络模型都非常大，从几十兆到上百兆不等，这样的文件大小，对于移动端来说，下载时耗费的流量是用户无法忍受的，而对于一些嵌入式系统，可能根本没有足够的存储空间来存储这么大的神经网络模型文件。不仅如此，在使用大型模型进行计算时，移动端与嵌入式系统或者无法提供其所需的计算资源，或者计算响应延迟太高而无法满足实际应用场景。因此，压缩模型尺寸，并同时提供提高计算效率便成为了当前要解决的难点。
现有技术中，模型压缩常用的方式是对模型进行剪枝(即将模型当中较小的参数或者满足某些条件的参数删除)，并对参数采取稀疏矩阵的方式进行存储，这样虽然达到了压缩效果，但模型的精度损失也不可避免；另外也有压缩方法采取对裁剪后的模型进行重新训练的方法，减小模型精度损失，但在利用模型推理预测时的运算性能却有明显下降。
因此，迫切需要提供一种基于卷积神经网络模型的数据处理方案来解决上述技术问题。
发明内容
本发明提供一种基于卷积神经网络模型的数据处理方法及装置，以解决上述问题。
本发明实施例提供一种基于卷积神经网络模型的数据处理方法，包括以下步骤：通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；
采用预设位数比特位对所述预设格式离散数据进行存储。
本发明实施例还提供一种基于卷积神经网络模型的数据处理装置，包括处理器，适于实现各指令；存储设备，适于存储多条指令，所述指令适于由所述处理器加载并执行；
通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；
采用预设位数比特位对所述预设格式离散数据进行存储。
本发明实施例提供的技术方案：通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；采用预设位数比特位对所述预设格式离散数据进行存储。
上述技术方案中，通过将参数数据转换为离散数据，并根据预设位数比特位进行存储，实现了模型压缩存储，同时且转换后的模型没有精度损失；由于采用了预设格式离散数据，使得运算效率大大提升。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1所示为本发明实施例1的低比特位存储数值与真实值对应关系表；
图2所示为本发明实施例2的基于卷积神经网络模型的数据处理方法流程图；
图3所示为本发明实施例3的卷积神经网络模型训练过程中参数数据离散化的示意图；
图4所示为本发明实施例4的基于卷积神经网络模型的数据处理方法流程图；
图5所示为本发明实施例5的基于卷积神经网络模型的数据处理装置结构图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的核心原理：将预先训练好的卷积神经网络模型中卷积层与全连接层的参数数据循环重新训练为预设格式离散数据，且转换后的模型没有精度损失；将预设格式离散数据采用低比特位存储。
其中，模型中卷积层与全连接层的参数数据均为FP32格式(浮点数32位存储格式)。
进一步地，所述通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据之前，还包括：
对所述卷积神经网络模型中卷积层和/或全连接层的参数数据的转换比例进行设定，获取设定结果，其中，所述设定结果包括所述卷积神经网络模型中离散数据的初始比例；每一次训练完成后，所述卷积神经网络模型中离散数据的目标比例。
在训练模型开始前，将导入的卷积神经网络模型中的卷积层与全连接层中的参数数据根据上述设定的数据转换比例，将未转换的数据中的较大值转换为预设格式离散数据。
标记卷积层与全连接层中的已转换的参数数据与未转换的参数数据，已转换的参数数据在之后的所有训练过程中均不再更新，未转换的参数数据在此次训练中更新，以消除参数数据转化所导致的精度损失。
此次训练完成后，重复上述过程，并将此次训练后输出的模型作为下一次训练的输入模型，直至卷积神经网络模型中卷积层与全连接层的所有参数数据均转化为预设格式离散数据为止。
优选地，预设格式离散数据为FP32格式存储的2的整次幂数据或0数据。
优选地，将转换后的预设格式离散数据，即FP32格式存储的2的整次幂数据或0数据，采用比32位更少的n(n为正整数，且n＜32)个比特位存储，从而达到模型压缩效果。
优选地，将模型中未转换的参数数据中的较大值转换为FP32格式存储的2的整次幂形式数值或0数值，此过程包括：
根据比特位的位数n的值，确定2的幂指数的范围；
对于无法离散化到相应的2的整次幂形式的过小数据，将其离散化为0。
优选地，n＝4。
本发明实施例将预先训练好的卷积神经网络模型中卷积层与全连接层的参数数据循环重新训练为预设格式离散数据；将预设格式离散数据采用低比特位存储，能够在对模型压缩的同时，模型精度没有下降，而且提供了更高效运算方案。
具体实施步骤如下：
1)将预先训练好的卷积神经网络模型中卷积层与全连接层的参数数据循环重新训练为预设格式离散数据；
步骤1)主要解决了当前模型压缩算法中精度损失的问题。
步骤2)采用预设位数比特位对所述离散数据进行存储
若比特位的位数n＝4，则参见图1，实现了用4位比特位对离散数据的存储。
直至最后一次训练，所有的参数都转化为了2的整次幂形式或者为0。对于步骤2)，则主要用于卷积神经网络模型的压缩，并提供了提高运算性能的可能性方案。将训练过后被离散化为2的整次幂的模型参数按照图1的对应关系，由FP32(32比特位存储)格式数据转化为4比特位存储，极大的减少了模型存储所占用的空间，可以达到模型压缩效果；对于运算性能方面，由于本实施例方法得到的模型参数均为2的整次幂，对于2的整次幂的乘法运算，在计算机当中可以方便的转化为移位操作，而移位操作在计算速度与性能上均优于FP32操作，对于深度学习线上推测部分而言，处理数据时需要进行极大量的32位浮点数乘法运算，因此本实施例方法在提高运算性能方面具有很大潜力。
图2所示为本发明实施例2的基于卷积神经网络模型的数据处理方法流程图，如图2所示，初始参数均为FP32格式的参数数据，每次训练前，都将其中根据转化比例(p1，p2)以及所要存储的低比特位的位数n，将当前卷积层或者全连接层中M个绝对值较大的参数转换为2的整次幂的格式，其中M的计算公式为：
M＝(p2-p1)×N，0≤p1＜p2≤100％，N为参数数据总个数，其中，所述M个参数数据均大于或等于预设目标值。
进一步地，所述预设格式离散数据为：2的整次幂数据，或者0数据。
进一步地，将所述参数数据转换为2的整次幂的离散数据过程为：
；
其中，W为参数数据值，E为离散数据值，floor()函数表示对数值向下取整，sgn()函数的定义如下：
。
进一步地，根据比特位的位数，确定2的幂指数的范围。
详细步骤如下：
步骤201：开始；
步骤202：输入数据：卷积神经网络模型参数数据、离散数据比例(p1、p2)；比特位位数n；
步骤203：将卷积神经网络模型中的卷积层与全连接层中的参数数据根据离散数据比例转换为2的整次幂；
步骤204：标记卷积层与全连接层中的已转换的参数数据，已转换的参数数据在之后的所有训练过程中均不再更新；
步骤205：训练并更新未转换的参数数据，以消除数据转换所导致的精度损失；
步骤206：判断模型参数数据是否全部离散化，若是，则执行步骤208；若否，则执行步骤207；
步骤207：输出中间模型后，执行步骤202；
步骤208：输出所有参数均被量化的神经网络模型。
图3所示为本发明实施例3的卷积神经网络模型训练过程中参数数据离散化的示意图，如图3所示，根据转换比例逐步将参数数据全部转换为离散数据。
图4所示为本发明实施例4的基于卷积神经网络模型的数据处理方法流程图，包括以下步骤：
步骤401：通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；
进一步地，所述参数数据的格式为：FP32格式即浮点数32位存储格式。
进一步地，所述预设格式离散数据为：2的整次幂数据，或者0数据。
进一步地，将所述参数数据转换为2的整次幂的离散数据过程为：
；
其中，W为参数数据值，E为离散数据值，floor()函数表示对数值向下取整，sgn()函数的定义如下：
。
进一步地，根据比特位的位数，确定2的幂指数的范围。
进一步地，所述通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据之前，还包括：
对所述卷积神经网络模型中卷积层和/或全连接层的参数数据的转换比例进行设定，获取设定结果。
进一步地，所述设定结果包括所述卷积神经网络模型中离散数据的初始比例；每一次训练完成后，所述卷积神经网络模型中离散数据的目标比例。
进一步地，若所述初始比例为p1、所述目标比例p2，则将M个参数数据转换为所述预设格式离散数据；其中，M＝(p2-p1)×N，0≤p1＜p2≤100％，N为参数数据总个数。
进一步地，所述M个参数数据均大于或等于预设目标值。
具体而言，
将M个参数数据转换为所述预设格式离散数据(FP32格式存储的2的整次幂形式数值或0数值)的过程为：
根据比特位的位数n的值(例如，n＝4)，确定2的幂数的范围；
对于无法离散化到相应的2的整次幂形式的过小数据，将其离散化为O。
步骤402：采用预设位数比特位对所述离散数据进行存储。
进一步地，所述比特位的位数为4。
本发明实施例中，将参数数据转换为预设格式离散化数据，即FP32格式存储的2的整次幂数据与0数据，采用比32位更少的n(n为正整数，且n＜32)个比特位存储，从而达到模型压缩效果。
图5所示为本发明实施例5的基于卷积神经网络模型的数据处理装置结构图，包括处理器，适于实现各指令；存储设备，适于存储多条指令，所述指令适于由所述处理器加载并执行；
通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；
采用预设位数比特位对所述离散数据进行存储。
进一步地，所述参数数据的格式为：FP32格式即浮点数32位存储格式。
进一步地，所述预设格式离散数据为：2的整次幂数据，或者0数据。
进一步地，将所述参数数据转换为2的整次幂的离散数据过程为：
；
其中，W为参数数据值，E为离散数据值，floor()函数表示对数值向下取整，sgn()函数的定义如下：
。
进一步地，根据比特位的位数，确定2的幂指数的范围。
优选地，所述比特位的位数为4。
进一步地，所述通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据之前，还包括：
对所述卷积神经网络模型中卷积层和/或全连接层的参数数据的转换比例进行设定，获取设定结果。
进一步地，所述设定结果包括所述卷积神经网络模型中离散数据的初始比例；每一次训练完成后，所述卷积神经网络模型中离散数据的目标比例。
进一步地，若所述初始比例为p1、所述目标比例p2，则将M个参数数据转换为离散数据；其中，M＝(p2-p1)×N，0≤p1＜p2≤100％，N为参数数据总个数。
进一步地，所述M个参数数据均大于或等于预设目标值。
本发明实施例提供的技术方案：通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；采用预设位数比特位对所述预设格式离散数据进行存储。
上述技术方案中，通过将参数数据转换为离散数据，并根据预设位数比特位进行存储，实现了模型压缩存储，同时且转换后的模型没有精度损失；由于采用了预设格式离散数据，使得运算效率大大提升。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (20)
1.一种基于卷积神经网络模型的数据处理方法，其特征在于，包括以下步骤：
通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；
采用预设位数比特位对所述预设格式离散数据进行存储。
2.根据权利要求1所述的数据处理方法，其特征在于，所述参数数据的格式为：FP32格式即浮点数32位存储格式。
3.根据权利要求1所述的数据处理方法，其特征在于，所述预设格式离散数据为：2的整次幂数据，或者0数据。
4.根据权利要求3所述的数据处理方法，其特征在于，将所述参数数据转换为2的整次幂的离散数据过程为：
<mrow>
<mi>E</mi>
<mo>=</mo>
<mi>sgn</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<msup>
<mn>2</mn>
<mrow>
<mi>f</mi>
<mi>l</mi>
<mi>o</mi>
<mi>o</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>log</mi>
<mn>2</mn>
</msub>
<mo>|</mo>
<mn>4</mn>
<mi>W</mi>
<mo>/</mo>
<mn>3</mn>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mrow>
</msup>
<mo>;</mo>
</mrow>
；
其中，W为参数数据值，E为离散数据值，floor()函数表示对数值向下取整，sgn()函数的定义如下：
<mrow>
<mi>s</mi>
<mi>n</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>x</mi>
<mo>&GreaterEqual;</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>x</mi>
<mo><</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
。
5.根据权利要求3所述的数据处理方法，其特征在于，根据比特位的位数，确定2的幂指数的范围。
6.根据权利要求5所述的数据处理方法，其特征在于，所述比特位的位数为4。
7.根据权利要求1所述的数据处理方法，其特征在于，所述通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据之前，还包括：
对所述卷积神经网络模型中卷积层和/或全连接层的参数数据的转换比例进行设定，获取设定结果。
8.根据权利要求7述的数据处理方法，其特征在于，所述设定结果包括所述卷积神经网络模型中离散数据的初始比例；每一次训练完成后，所述卷积神经网络模型中离散数据的目标比例。
9.根据权利要求8所述的数据处理方法，其特征在于，若所述初始比例为p1、所述目标比例p2，则将M个参数数据转换为所述预设格式离散数据；其中，M＝(p2-p1)×N，0≤p1＜p2≤100％，N为参数数据总个数。
10.根据权利要求9所述的数据处理方法，其特征在于，所述M个参数数据均大于或等于预设目标值。
11.一种基于卷积神经网络模型的数据处理装置，其特征在于，包括处理器，适于实现各指令；存储设备，适于存储多条指令，所述指令适于由所述处理器加载并执行；
通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；
采用预设位数比特位对所述预设格式离散数据进行存储。
12.根据权利要求11所述的数据处理装置，其特征在于，所述参数数据的格式为：FP32格式即浮点数32位存储格式。
13.根据权利要求11所述的数据处理装置，其特征在于，所述预设格式离散数据为：2的整次幂数据，或者0数据。
14.根据权利要求13所述的数据处理装置，其特征在于，将所述参数数据转换为2的整次幂的离散数据过程为：
<mrow>
<mi>E</mi>
<mo>=</mo>
<mi>sgn</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<msup>
<mn>2</mn>
<mrow>
<mi>f</mi>
<mi>l</mi>
<mi>o</mi>
<mi>o</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>log</mi>
<mn>2</mn>
</msub>
<mo>|</mo>
<mn>4</mn>
<mi>W</mi>
<mo>/</mo>
<mn>3</mn>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mrow>
</msup>
<mo>;</mo>
</mrow>
；
其中，W为参数数据值，E为离散数据值，floor()函数表示对数值向下取整，sgn()函数的定义如下：
<mrow>
<mi>s</mi>
<mi>n</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>x</mi>
<mo>&GreaterEqual;</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>x</mi>
<mo><</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
。
15.根据权利要求13所述的数据处理装置，其特征在于，根据比特位的位数，确定2的幂指数的范围。
16.根据权利要求15所述的数据处理装置，其特征在于，所述比特位的位数为4。
17.根据权利要求11所述的数据处理装置，其特征在于，所述通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据之前，还包括：
对所述卷积神经网络模型中卷积层和/或全连接层的参数数据的转换比例进行设定，获取设定结果。
18.根据权利要求17述的数据处理装置，其特征在于，所述设定结果包括所述卷积神经网络模型中离散数据的初始比例；每一次训练完成后，所述卷积神经网络模型中离散数据的目标比例。
19.根据权利要求18所述的数据处理装置，其特征在于，若所述初始比例为p1、所述目标比例p2，则将M个参数数据转换为所述预设格式离散化数据；其中，M＝(p2-p1)×N，0≤p1＜p2≤100％，N为参数数据总个数。
20.根据权利要求19所述的数据处理装置，其特征在于，所述M个参数数据均大于或等于预设目标值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710816734.0A CN107395211B (zh) | 2017-09-12 | 2017-09-12 | 一种基于卷积神经网络模型的数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710816734.0A CN107395211B (zh) | 2017-09-12 | 2017-09-12 | 一种基于卷积神经网络模型的数据处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107395211A true CN107395211A (zh) | 2017-11-24 |
| CN107395211B CN107395211B (zh) | 2020-12-01 |
Family
ID=60351486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710816734.0A Active CN107395211B (zh) | 2017-09-12 | 2017-09-12 | 一种基于卷积神经网络模型的数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107395211B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858372A (zh) * | 2018-12-29 | 2019-06-07 | 浙江零跑科技有限公司 | 一种车道级精度自动驾驶结构化数据分析方法 |
| CN109978144A (zh) * | 2019-03-29 | 2019-07-05 | 联想(北京)有限公司 | 一种模型压缩方法和系统 |
| CN110097191A (zh) * | 2018-01-29 | 2019-08-06 | 松下电器（美国）知识产权公司 | 信息处理方法以及信息处理系统 |
| WO2019184823A1 (zh) * | 2018-03-26 | 2019-10-03 | 华为技术有限公司 | 基于卷积神经网络模型的图像处理方法和装置 |
| WO2019232965A1 (zh) * | 2018-06-07 | 2019-12-12 | 清华大学 | 一种模拟神经网络处理器的误差校准方法及装置 |
| CN111045728A (zh) * | 2018-10-12 | 2020-04-21 | 上海寒武纪信息科技有限公司 | 一种计算装置及相关产品 |
| WO2020172829A1 (zh) * | 2019-02-27 | 2020-09-03 | 华为技术有限公司 | 一种神经网络模型处理方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05183445A (ja) * | 1991-12-27 | 1993-07-23 | Matsushita Electric Ind Co Ltd | ランレングス１／ｎ圧縮フローティング符号装置 |
| JPH07199996A (ja) * | 1993-11-29 | 1995-08-04 | Casio Comput Co Ltd | 波形データ符号化装置、波形データ符号化方法、波形データ復号装置、及び波形データ符号化／復号装置 |
| CN101873138A (zh) * | 2010-06-11 | 2010-10-27 | 江南大学 | 浮点量化数字信号的降位转换方法及转换器 |
| CN105264779A (zh) * | 2013-01-22 | 2016-01-20 | 阿尔特拉公司 | 使用simd指令的数据压缩和解压 |
-
2017
- 2017-09-12 CN CN201710816734.0A patent/CN107395211B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05183445A (ja) * | 1991-12-27 | 1993-07-23 | Matsushita Electric Ind Co Ltd | ランレングス１／ｎ圧縮フローティング符号装置 |
| JPH07199996A (ja) * | 1993-11-29 | 1995-08-04 | Casio Comput Co Ltd | 波形データ符号化装置、波形データ符号化方法、波形データ復号装置、及び波形データ符号化／復号装置 |
| CN101873138A (zh) * | 2010-06-11 | 2010-10-27 | 江南大学 | 浮点量化数字信号的降位转换方法及转换器 |
| CN105264779A (zh) * | 2013-01-22 | 2016-01-20 | 阿尔特拉公司 | 使用simd指令的数据压缩和解压 |
Non-Patent Citations (2)
| Title |
|---|
| YUNCHAO GONG 等: "Compressing Deep Convolutional Networks using Vector Quantization", 《UNDER REVIEW AS A CONFERENCE PAPER AT ICLR 2015》 * |
| 仇杰 等: "基于改进科学计算浮点数压缩算法的工业远程监控数据无损压缩方法", 《计算机应用》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097191A (zh) * | 2018-01-29 | 2019-08-06 | 松下电器（美国）知识产权公司 | 信息处理方法以及信息处理系统 |
| CN110097191B (zh) * | 2018-01-29 | 2024-02-27 | 松下电器（美国）知识产权公司 | 信息处理方法以及信息处理系统 |
| WO2019184823A1 (zh) * | 2018-03-26 | 2019-10-03 | 华为技术有限公司 | 基于卷积神经网络模型的图像处理方法和装置 |
| WO2019232965A1 (zh) * | 2018-06-07 | 2019-12-12 | 清华大学 | 一种模拟神经网络处理器的误差校准方法及装置 |
| CN110580523A (zh) * | 2018-06-07 | 2019-12-17 | 清华大学 | 一种模拟神经网络处理器的误差校准方法及装置 |
| CN111045728A (zh) * | 2018-10-12 | 2020-04-21 | 上海寒武纪信息科技有限公司 | 一种计算装置及相关产品 |
| CN111045728B (zh) * | 2018-10-12 | 2022-04-12 | 上海寒武纪信息科技有限公司 | 一种计算装置及相关产品 |
| CN109858372A (zh) * | 2018-12-29 | 2019-06-07 | 浙江零跑科技有限公司 | 一种车道级精度自动驾驶结构化数据分析方法 |
| CN109858372B (zh) * | 2018-12-29 | 2021-04-27 | 浙江零跑科技有限公司 | 一种车道级精度自动驾驶结构化数据分析方法 |
| WO2020172829A1 (zh) * | 2019-02-27 | 2020-09-03 | 华为技术有限公司 | 一种神经网络模型处理方法及装置 |
| CN109978144A (zh) * | 2019-03-29 | 2019-07-05 | 联想(北京)有限公司 | 一种模型压缩方法和系统 |
| CN109978144B (zh) * | 2019-03-29 | 2021-04-13 | 联想(北京)有限公司 | 一种模型压缩方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107395211B (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107395211A (zh) | 一种基于卷积神经网络模型的数据处理方法及装置 | |
| CN108229681A (zh) | 一种神经网络模型压缩方法、系统、装置及可读存储介质 | |
| CN108764471B (zh) | 基于特征冗余分析的神经网络跨层剪枝方法 | |
| CN110378468B (zh) | 一种基于结构化剪枝和低比特量化的神经网络加速器 | |
| CN107977704B (zh) | 权重数据存储方法和基于该方法的神经网络处理器 | |
| WO2020233130A1 (zh) | 一种深度神经网络压缩方法及相关设备 | |
| CN108304928A (zh) | 基于改进聚类的深度神经网络的压缩方法 | |
| CN106570559A (zh) | 一种基于神经网络的数据处理方法和装置 | |
| CN107944545A (zh) | 应用于神经网络的计算方法及计算装置 | |
| CN110751265A (zh) | 一种轻量型神经网络构建方法、系统及电子设备 | |
| CN107256424A (zh) | 三值权重卷积网络处理系统及方法 | |
| CN112508190A (zh) | 结构化稀疏参数的处理方法、装置、设备及存储介质 | |
| CN106796533A (zh) | 自适应地选择执行模式的系统和方法 | |
| CN110442721A (zh) | 神经网络语言模型、训练方法、装置及存储介质 | |
| CN116644804B (zh) | 分布式训练系统、神经网络模型训练方法、设备和介质 | |
| CN108985453A (zh) | 基于非对称三元权重量化的深度神经网络模型压缩方法 | |
| CN109145107A (zh) | 基于卷积神经网络的主题提取方法、装置、介质和设备 | |
| CN107563496A (zh) | 一种向量核卷积神经网络的深度学习模式识别方法 | |
| CN108470208A (zh) | 一种基于原始生成对抗网络模型的分组卷积方法 | |
| CN115953651A (zh) | 一种基于跨域设备的模型训练方法、装置、设备及介质 | |
| CN111260049A (zh) | 一种基于国产嵌入式系统的神经网络实现方法 | |
| CN114372565A (zh) | 一种用于边缘设备的目标检测网络压缩方法 | |
| CN114065923A (zh) | 一种卷积神经网络的压缩方法、系统及加速装置 | |
| CN113985196A (zh) | 一种电网分布式故障定位方法、装置、记录媒体及系统 | |
| CN117057255B (zh) | 一种用于数字孪生模型在线同步的预训练模型获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201105 Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province Applicant after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 450018 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601 Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |