CN113361707A - 一种模型压缩方法、系统及计算机可读介质 - Google Patents
一种模型压缩方法、系统及计算机可读介质 Download PDFInfo
- Publication number
- CN113361707A CN113361707A CN202110570265.5A CN202110570265A CN113361707A CN 113361707 A CN113361707 A CN 113361707A CN 202110570265 A CN202110570265 A CN 202110570265A CN 113361707 A CN113361707 A CN 113361707A
- Authority
- CN
- China
- Prior art keywords
- model
- compression
- original
- pruning
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007906 compression Methods 0.000 title claims abstract description 59
- 230000006835 compression Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013138 pruning Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 21
- 238000012546 transfer Methods 0.000 claims abstract description 15
- 230000001537 neural effect Effects 0.000 claims description 13
- 238000013139 quantization Methods 0.000 claims description 11
- 238000011002 quantification Methods 0.000 claims description 10
- 230000002787 reinforcement Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000013508 migration Methods 0.000 claims description 8
- 230000005012 migration Effects 0.000 claims description 8
- 238000007667 floating Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 abstract 1
- 230000011218 segmentation Effects 0.000 description 17
- 230000009471 action Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及一种模型压缩方法、系统及计算机可读介质，其中模型压缩方法包括：步骤1：获得训练完成的原始模型；步骤2：搜索原始模型中每一层的最佳剪枝率，然后对模型进行滤波器级别的剪枝；步骤3：对剪枝后的模型进行量化；步骤4：采用知识蒸馏的方式进行知识迁移，然后将知识迁移后的模型在训练数据集上进行fine‑tune微调，获得压缩模型。与现有技术相比，本发明具有实现自动压缩、适应硬件环境、模型体积小性能好、方便快捷的等优点。
Description
技术领域
本发明涉及模型压缩技术领域，尤其是涉及一种基于神经架构搜索的模型压缩方法、系统及计算机可读介质。
背景技术
随着近些年来深度学习技术的快速发展，深度神经网络在许多的任务上都表现出了十分优秀的性能，例如计算机视觉，语音识别，自然语言处理等等，深度学习模型凭借着其强大的学习能力在许多主流的数据集上都取得了最优的表现。尽管如此，深度学习模型往往具有着海量的参数，在训练和推断阶段会占用大量的计算资源，因此在一些资源受限的设备上无法对其进行相应的部署，例如手机，嵌入式设备等等。
模型压缩的目的是要实现一种从原始模型简化而来又没有明显降低精度的模型。简化模型是一种在尺寸或者推理阶段所消耗的时间方面都比原始模型减少的模型。具体而言，减小大小意味着压缩的模型具有越来越少的参数，因此在运行时使用更少的RAM，这是理想的，因为它释放了内存供应用程序的其他部分使用。等待时间的减少是指基于训练后的模型的输入，模型做出预测或推理所需的时间减少，通常可在运行时转化为更低的能耗。模型大小和延迟通常是并行的，因为较大的模型需要更多的内存访问。
模型压缩技术主要有以下几种方法：轻量化网络结构设计，剪枝，量化，以及知识蒸馏。轻量化网络设计是指在模型的设计之初就用一些手段来减少体积，例如深度可分离卷积，通道shuffle等等。剪枝技术的主要思想是寻找出模型中包含信息较少的滤波器，然后将其剔除，因为训练完成后的模型在许多情况下是包含了许多冗余信息的，也就是说很多滤波器的权值是十分接近于0的，通过找出这些对于模型学习没有任何帮助的滤波器可以在很大程度上减少模型的体积。在模型的参数存储过程中为了保证精度，往往是使用浮点数来对权重进行存储的，而浮点数所占用的空间也更多，量化的目的就是使用低位的整数来代替浮点数，从而降低存储权重时占用的空间。
现有技术中的模型压缩方法需要人工设定每一层的剪枝率，在模型压缩过程中需要人工干预，自动化程度不高。另外，模型压缩时需要考虑具体的环境以确定需要将模型压缩到何种程度，然而现有的模型压缩方法均未考虑模型压缩是否适合硬件环境，虽然压缩效果较好，但是并未考虑压缩后是否适合当前的硬件环境，或者是否进行了过度压缩。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种实现自动压缩、适应硬件环境、模型体积小性能好、方便快捷的模型压缩方法、系统及计算机可读介质。
本发明的目的可以通过以下技术方案来实现：
一种模型压缩方法，所述的模型压缩方法包括：
步骤1：获得训练完成的原始模型；
步骤2：搜索原始模型中每一层的最佳剪枝率，然后对模型进行滤波器级别的剪枝；
步骤3：对剪枝后的模型进行量化；
步骤4：采用知识蒸馏的方式进行知识迁移，然后将知识迁移后的模型在训练数据集上进行fine-tune微调，获得压缩模型。
优选地，所述的步骤1具体为：
使用原始训练数据集对模型进行训练，使用模型预测标签图与真实标签图之间的交叉熵来对原始模型进行优化，获得训练完成的原始模型。
优选地，所述的步骤2具体为：获得模型的每一层相应的剪枝率，在获得剪枝率后，对模型中每一层的滤波器按照权值的大小由高到低进行排序，然后根据每一层相应的剪枝率获得需要保留的滤波器以及需要删除的滤波器。
更加优选地，所述的模型每一层的剪枝率基于强化学习的神经架构搜索子方法获得。
更加优选地，所述的基于强化学习的神经架构搜索子方法具体为：
节点从环境中接收当前的状态，该状态代表了当前层的特征表示，节点输出当前层的剪枝率，根据该剪枝率对模型的当前层进行压缩；
随后节点移动到下一层，按照上述方法对模型的当前层进行压缩；
在完成最后一层的压缩之后，在验证集上对模型的性能进行评估，并将其作为reward反馈返回给节点，返回的内容包括：
Rerr＝-loss
Rflops＝-loss*log(flops)
Rparam＝-loss*log(params)
其中，Rerr为模型损失reward，Rflops为计算量reward；Rparam为参数量reward；loss为损失函数；flops为计算量；params为参数量；
节点根据reward反馈调整节点参数。
优选地，所述的步骤3具体为：使用低比特位取代原始模型中的浮点数，实现模型的量化。
优选地，所述的步骤4具体为：
步骤4-1：将原始模型作为教师网络，经过剪枝以及量化后的模型作为学生网络，采用知识蒸馏的方式进行知识迁移；
步骤4-2：将进行知识迁移后的模型在原始的训练数据集上进行fine-tune微调。
更加优选地，所述的教师网络与学生网络采用联合训练方式，损失函数为：
其中，x为模型输入；WT为教师网络参数；WA为学生网络参数；α，β，γ为损失函数权重；
为教师网络softmax输出的交叉熵loss；
为学生网络softmax输出的交叉熵loss；
为学生-教师网络蒸馏loss。
一种用于上述任一项所述模型压缩方法的模型压缩系统，所述的模型压缩系统包括依次相连的模型预训练模块、剪枝模块、量化模块和知识蒸馏模块；
模型预训练模块，用于对模型进行训练和优化，获得训练好的模型；
剪枝模块，用于通过基于强化学习的神经架构搜索子方法对模型进行滤波器级别的剪枝；
量化模块，用于对剪枝后的模型进行量化处理；
知识蒸馏模块，用于将原始模型作为教师网络，经过剪枝以及量化后的模型作为学生网络，采用知识蒸馏的方式进行知识迁移，并对完成知识迁移的模型进行fine-tune微调，获得完成压缩的模型。
一种计算机可读介质，所述的计算机可读介质存储有上述任一项所述的模型压缩方法。
与现有技术相比，本发明具有以下有益效果：
一、实现自动压缩：本发明中的模型压缩方法改进了传统的模型剪枝方法，摆脱了对人工设定每一层的剪枝率的依赖，一方面这在一定的程度上也减少了网络的超参数，另一方面通过引入了神经架构搜索技术，从而整套优化流程更为简洁，模型能够自动地学习到有用的信息而不需要过度的人工干预；同时本发明中的模型压缩方法也更加适用于语义分割场景中，因为语义分割模型对裁剪率更加敏感。
二、适应硬件环境：本发明中的模型压缩方法既是对网络结构的路径搜索，也是采用强化学习中的DDPG(深度确定性策略梯度法)来产生连续空间上的具体压缩比率，通过约束FLOPs和准确率设定奖励值，因此得到的压缩策略是适应当前硬件环境的，因为在优化的过程中将计算成本纳入了目标函数当中，压缩效果更好。
三、体积小：本发明中的模型压缩方法引入了协同剪枝以及量化的思想，在模型进行滤波器剪枝完毕之后，会采用量化的手段进一步地降低模型的体积；同时引入了知识蒸馏的思想，在原始模型经过了剪枝以及量化之后，模型的体积会大幅度缩小，学习能力也会有所下降，而知识蒸馏可以赋予小模型和大模型一样的学习能力，在将体积压缩到更小的同时，还能够保证模型的学习能力，有效实现了模型的压缩。
四、方便快捷：本发明中的模型压缩方法可以通过端到端的方式对网络进行训练以及优化，整个流程十分简洁，无需进行复杂的后期调优，使用起来方便快捷。
附图说明
图1为本发明中模型压缩方法的流程示意图；
图2为本发明实施例中语义分割训练示意图；
图3为本发明基于强化学习的神经架构搜索子方法的示意图；
图4为本发明实施例中知识蒸馏的示意图；
图5为本发明中模型压缩系统的结构示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
一种模型压缩方法，其流程如图1所示，包括：
步骤1：在训练数据集上对模型进行优化与训练，获得训练完成的原始模型，具体为：
使用训练数据集对模型进行训练，使用模型预测标签图与真实标签图之间的交叉熵来对原始模型进行优化，获得训练完成的原始模型；
步骤2：基于神经架构搜索子方法自动搜索原始模型中每一层的最佳剪枝率，然后对模型进行滤波器级别的剪枝，具体为：
基于神经架构搜索子方法来为模型的每一层决定相应的剪枝率，在获得剪枝率后，对模型中每一层的滤波器按照权值的大小由高到低进行排序，然后根据每一层相应的剪枝率获得需要保留的滤波器以及需要删除的滤波器；
步骤3：对剪枝后的模型进行量化，具体为：
使用低比特位取代原始模型中的浮点数，实现模型的量化；
步骤4：采用知识蒸馏的方式进行知识迁移，然后将知识迁移后的模型在训练数据集上进行fine-tune微调，获得压缩模型，具体为：
步骤4-1：将原始模型作为教师网络，经过剪枝以及量化后的模型作为学生网络，采用知识蒸馏的方式进行知识迁移；
步骤4-2：将进行知识迁移后的模型在原始的训练数据集上进行fine-tune微调。
下面本实施例以语义分割任务为例，语义分割任务的示例如图2所示，使用上述方法实现对语义分割模型的压缩：
步骤1：在训练数据集上对模型进行优化与训练，得到训练完成的原始模型；
用G表示的语义分割网络由提取特征的backbone和多尺度空间金字塔池化(ASPP)模块组成，该模块是为语义分割任务所定制的像素级分类器。G的输出是具有与输入图像相同的宽度和高度的全分辨率C类标签图。本实施例将DeepLab-v2框架与在ImageNet上进行预训练好的ResNet-101作为基础模型，事实证明，该框架在语义分割任务中表现良好。由于深层特征表示对于语义分割任务来说至关重要，因此在conv4和conv5层中引入了空洞卷积来扩大感受野的范围。
在源域数据集上通过优化网络预测输出与真实标签图之间的标准交叉熵损失来训练语义分割网络。在训练阶段仅将源域图像送入到语义分割网络，而目标域图像与语义分割网络参数的优化无关。将带标签的源域数据集记为
其中每一个样本x∈RH×W×3是一张大小为H×W×3的图像，该图像对应的标签图y∈RH×W×C提供了图像中每一个像素的真实标签。语义分割主干网络G以源域图像x作为输入，然后输出一张预测分割图p＝G(x)∈RH ×W×C。该分割图的通道维度可以看作是某一个像素在各个类别上的置信度分布。如果特定类别的预测概率非常高，那么结果将是低熵的。相反，如果每个类别的预测概率均匀分布，则结果具有较高的熵，并且可能不确定。我们使用源域图像通过最小化以下交叉熵损失来优化分割模型：
步骤2：基于神经架构搜索技术自动搜索原始模型中每一层的最佳剪枝率，然后对模型进行滤波器级别的剪枝；
本实施例利用强化学习来有效的搜索动作空间，由于模型压缩对系数率非常敏感，并且需要细粒度的动作空间，从而导致离散动作数量激增，如此大的动作空间很难有效地探索，因此使用连续动作空间α∈(0,1]，这样可以实现更细粒度和更精确的压缩。如图3所示，所设计的代理从环境中接收当前的状态，该状态代表了当前层的特征表示，然后会输出一个特定的剪枝率，接下来根据该剪枝率和特定的剪枝算法来对模型进行压缩。然后代理会移动到下一层，按照和之前一样的方法对该层进行压缩。在完成了最后一层的压缩之后，会在验证集上对模型的性能进行评估，然后作为reward返回给代理，其中包含的三部分损失如下所示：
Rerr＝-loss
Rflops＝-loss*log(flops)
Rparam＝-loss*log(params)
其中，Rerr为模型损失reward，Rflops为计算量reward；Rparam为参数量reward；loss为损失函数；flops为计算量；params为参数量；
步骤3：对剪枝后的模型进一步地进行量化操作，使用低比特位来取代原始模型中的浮点数，减少内存占用；
训练后的模型权重或激活值往往在一个有限的范围内分布，如激活值范围为[-2.0,6.0]，然后使用int8进行模型量化，则定点量化值范围为[-128,127]，那么S和Z的求值过程如下所示：
Z＝127-6.031372549≈127-191.25≈-64.25≈-64
如果此时我们有一个真实的激活值为0.28即R＝0.28，那么对应Q的求解过程如下所示：
Q＝0.28÷0.031372549+(-64)≈8.925-64≈-55.075≈-55
其中，S为顶点量化后可表示的最小刻度；Z为0浮点值对应的量化定点值；Q为量化后的定点值。
步骤4：将原始模型作为教师网络，经过剪枝以及量化后的模型作为学生网络，采用知识蒸馏的方式进行知识迁移，然后再将模型在原始数据集上进行fine-tune微调；
包括以下步骤：
步骤4-1：将原始模型作为教师网络，经过剪枝以及量化后的模型作为学生网络，采用知识蒸馏的方式进行知识迁移，让经过压缩后的模型也能够学习到原始模型的知识；
如图4所示，教师网络与学生网络采用联合训练的方式，此时教师网络的知识及学习方式都会影响学生网络的学习，具体如下(式中三项分别为教师网络softmax输出的交叉熵loss、学生网络softmax输出的交叉熵loss、以及教师网络数值输出与学生网络softmax输出的交叉熵loss)：
步骤4-2：在进行完第一步的知识迁移之后，然后再将模型在原始数据集上进行fine-tune，fine-tune的目的是使得压缩后的模型能够更加适应最初训练所用的数据集，进一步地进行参数的优化。
另外，本实施例还涉及一种模型压缩系统，其结构如图5所示，包括依次相连的模型预训练模块、剪枝模块、量化模块和知识蒸馏模块；
模型预训练模块，用于对模型进行训练和优化，获得训练好的模型；
剪枝模块，用于通过基于强化学习的神经架构搜索子方法对模型进行滤波器级别的剪枝；
量化模块，用于对剪枝后的模型进行量化处理；
知识蒸馏模块，用于将原始模型作为教师网络，经过剪枝以及量化后的模型作为学生网络，采用知识蒸馏的方式进行知识迁移，并对完成知识迁移的模型进行fine-tune微调，获得完成压缩的模型。
本实施例还涉及一种计算机可读介质，该介质内存储有上述任一项模型压缩方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种模型压缩方法，其特征在于，所述的模型压缩方法包括：
步骤1：获得训练完成的原始模型；
步骤2：搜索原始模型中每一层的最佳剪枝率，然后对模型进行滤波器级别的剪枝；
步骤3：对剪枝后的模型进行量化；
步骤4：采用知识蒸馏的方式进行知识迁移，然后将知识迁移后的模型在训练数据集上进行fine-tune微调，获得压缩模型。
2.根据权利要求1所述的一种模型压缩方法，其特征在于，所述的步骤1具体为：
使用原始训练数据集对模型进行训练，使用模型预测标签图与真实标签图之间的交叉熵来对原始模型进行优化，获得训练完成的原始模型。
3.根据权利要求1所述的一种模型压缩方法，其特征在于，所述的步骤2具体为：获得模型的每一层相应的剪枝率，在获得剪枝率后，对模型中每一层的滤波器按照权值的大小由高到低进行排序，然后根据每一层相应的剪枝率获得需要保留的滤波器以及需要删除的滤波器。
4.根据权利要求3所述的一种模型压缩方法，其特征在于，所述的模型每一层的剪枝率基于强化学习的神经架构搜索子方法获得。
5.根据权利要求4所述的一种模型压缩方法，其特征在于，所述的基于强化学习的神经架构搜索子方法具体为：
节点从环境中接收当前的状态，该状态代表了当前层的特征表示，节点输出当前层的剪枝率，根据该剪枝率对模型的当前层进行压缩；
随后节点移动到下一层，按照上述方法对模型的当前层进行压缩；
在完成最后一层的压缩之后，在验证集上对模型的性能进行评估，并将其作为reward反馈返回给节点，返回的内容包括：
Rerr＝-loss
Rflops＝-loss*log(flops)
Rparam＝-loss*log(params)
其中，Rerr为模型损失reward，Rflops为计算量reward；Rparam为参数量reward；loss为损失函数；flops为计算量；params为参数量；
节点根据reward反馈调整节点参数。
6.根据权利要求1所述的一种模型压缩方法，其特征在于，所述的步骤3具体为：使用低比特位取代原始模型中的浮点数，实现模型的量化。
7.根据权利要求1所述的一种模型压缩方法，其特征在于，所述的步骤4具体为：
步骤4-1：将原始模型作为教师网络，经过剪枝以及量化后的模型作为学生网络，采用知识蒸馏的方式进行知识迁移；
步骤4-2：将进行知识迁移后的模型在原始的训练数据集上进行fine-tune微调。
8.根据权利要求7所述的一种模型压缩方法，其特征在于，所述的教师网络与学生网络采用联合训练方式，损失函数为：
其中，x为模型输入；WT为教师网络参数；WA为学生网络参数；α，β，γ为损失函数权重；
为教师网络softmax输出的交叉熵loss；
为学生网络softmax输出的交叉熵loss；
为学生-教师网络蒸馏loss。
9.一种用于如权利要求1-8中任一项所述模型压缩方法的模型压缩系统，其特征在于，所述的模型压缩系统包括依次相连的模型预训练模块、剪枝模块、量化模块和知识蒸馏模块；
模型预训练模块，用于对模型进行训练和优化，获得训练好的模型；
剪枝模块，用于通过基于强化学习的神经架构搜索子方法对模型进行滤波器级别的剪枝；
量化模块，用于对剪枝后的模型进行量化处理；
知识蒸馏模块，用于将原始模型作为教师网络，经过剪枝以及量化后的模型作为学生网络，采用知识蒸馏的方式进行知识迁移，并对完成知识迁移的模型进行fine-tune微调，获得完成压缩的模型。
10.一种计算机可读介质，其特征在于，所述的计算机可读介质存储有如权利要求1-8中任一项所述的模型压缩方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110570265.5A CN113361707A (zh) | 2021-05-25 | 2021-05-25 | 一种模型压缩方法、系统及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110570265.5A CN113361707A (zh) | 2021-05-25 | 2021-05-25 | 一种模型压缩方法、系统及计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113361707A true CN113361707A (zh) | 2021-09-07 |
Family
ID=77527431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110570265.5A Pending CN113361707A (zh) | 2021-05-25 | 2021-05-25 | 一种模型压缩方法、系统及计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113361707A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115080737A (zh) * | 2022-06-15 | 2022-09-20 | 上海易康源医疗健康科技有限公司 | 神经网络训练方法、文本分类方法及文本分类系统 |
| TWI817591B (zh) * | 2022-06-30 | 2023-10-01 | 創鑫智慧股份有限公司 | 神經網路模型的簡化裝置與簡化方法 |
| CN118655788A (zh) * | 2024-08-21 | 2024-09-17 | 中国航空工业集团公司金城南京机电液压工程研究中心 | 基于智能体模型的涡轮冷却器控制模型压缩方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087303A (zh) * | 2018-08-15 | 2018-12-25 | 中山大学 | 基于迁移学习提升语义分割模型效果的框架 |
| CN110175628A (zh) * | 2019-04-25 | 2019-08-27 | 北京大学 | 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法 |
| US20190294929A1 (en) * | 2018-03-20 | 2019-09-26 | The Regents Of The University Of Michigan | Automatic Filter Pruning Technique For Convolutional Neural Networks |
| CN111444760A (zh) * | 2020-02-19 | 2020-07-24 | 天津大学 | 一种基于剪枝与知识蒸馏的交通标志检测与识别方法 |
| CN111667054A (zh) * | 2020-06-05 | 2020-09-15 | 北京百度网讯科技有限公司 | 生成神经网络模型的方法、装置、电子设备以及存储介质 |
| CN112396181A (zh) * | 2020-12-31 | 2021-02-23 | 之江实验室 | 一种卷积神经网络通用压缩架构的自动剪枝方法及平台 |
-
2021
- 2021-05-25 CN CN202110570265.5A patent/CN113361707A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190294929A1 (en) * | 2018-03-20 | 2019-09-26 | The Regents Of The University Of Michigan | Automatic Filter Pruning Technique For Convolutional Neural Networks |
| CN109087303A (zh) * | 2018-08-15 | 2018-12-25 | 中山大学 | 基于迁移学习提升语义分割模型效果的框架 |
| CN110175628A (zh) * | 2019-04-25 | 2019-08-27 | 北京大学 | 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法 |
| CN111444760A (zh) * | 2020-02-19 | 2020-07-24 | 天津大学 | 一种基于剪枝与知识蒸馏的交通标志检测与识别方法 |
| CN111667054A (zh) * | 2020-06-05 | 2020-09-15 | 北京百度网讯科技有限公司 | 生成神经网络模型的方法、装置、电子设备以及存储介质 |
| CN112396181A (zh) * | 2020-12-31 | 2021-02-23 | 之江实验室 | 一种卷积神经网络通用压缩架构的自动剪枝方法及平台 |
Non-Patent Citations (1)
| Title |
|---|
| YIHUI HE ET AL.: ""AMC: AutoML for Model Compression and Acceleration on Mobile Devices"" * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115080737A (zh) * | 2022-06-15 | 2022-09-20 | 上海易康源医疗健康科技有限公司 | 神经网络训练方法、文本分类方法及文本分类系统 |
| TWI817591B (zh) * | 2022-06-30 | 2023-10-01 | 創鑫智慧股份有限公司 | 神經網路模型的簡化裝置與簡化方法 |
| CN118655788A (zh) * | 2024-08-21 | 2024-09-17 | 中国航空工业集团公司金城南京机电液压工程研究中心 | 基于智能体模型的涡轮冷却器控制模型压缩方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113361707A (zh) | 一种模型压缩方法、系统及计算机可读介质 | |
| CN110175628A (zh) | 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法 | |
| CN110609899A (zh) | 一种基于改进bert模型的特定目标情感分类方法 | |
| CN110969251A (zh) | 基于无标签数据的神经网络模型量化方法及装置 | |
| CN107292382A (zh) | 一种神经网络声学模型激活函数定点量化方法 | |
| CN107665248A (zh) | 基于深度学习混合模型的文本分类方法和装置 | |
| CN117475038B (zh) | 一种图像生成方法、装置、设备及计算机可读存储介质 | |
| Pietron et al. | Retrain or not retrain?-efficient pruning methods of deep cnn networks | |
| CN116822593A (zh) | 一种基于硬件感知的大规模预训练语言模型压缩方法 | |
| CN114677548A (zh) | 基于阻变存储器的神经网络图像分类系统及方法 | |
| CN114091668B (zh) | 基于可微决策器和知识蒸馏的神经网络剪枝方法及系统 | |
| CN110705279A (zh) | 一种词汇表的选择方法、装置及计算机可读存储介质 | |
| Yang et al. | Structured pruning via feature channels similarity and mutual learning for convolutional neural network compression | |
| Zheng et al. | A novel and efficient model pruning method for deep convolutional neural networks by evaluating the direct and indirect effects of filters | |
| CN113850373A (zh) | 一种基于类别的滤波器剪枝方法 | |
| EP4078458A1 (en) | Searching for normalization-activation layer architectures | |
| CN117391497A (zh) | 一种新闻稿件质量主客观评分一致性评价方法及系统 | |
| CN113688989B (zh) | 深度学习网络加速方法、装置、设备及存储介质 | |
| CN110888944A (zh) | 基于多卷积窗尺寸注意力卷积神经网络实体关系抽取方法 | |
| CN115905546A (zh) | 基于阻变存储器的图卷积网络文献识别装置与方法 | |
| CN116187416A (zh) | 一种基于层剪枝灵敏度的迭代式重训练方法及一种图像处理器 | |
| CN115599918A (zh) | 一种基于图增强的互学习文本分类方法及系统 | |
| CN113157453B (zh) | 一种基于任务复杂度的高能效目标检测任务动态调度方法 | |
| CN115062777A (zh) | 卷积神经网络的量化方法、神经网络、设备及存储介质 | |
| CN114372618A (zh) | 一种学生成绩的预测方法、系统、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210907 |