CN113159173B - 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 - Google Patents
一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 Download PDFInfo
- Publication number
- CN113159173B CN113159173B CN202110427314.XA CN202110427314A CN113159173B CN 113159173 B CN113159173 B CN 113159173B CN 202110427314 A CN202110427314 A CN 202110427314A CN 113159173 B CN113159173 B CN 113159173B
- Authority
- CN
- China
- Prior art keywords
- network
- model
- student
- network model
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000006835 compression Effects 0.000 title claims abstract description 22
- 238000007906 compression Methods 0.000 title claims abstract description 22
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 title claims description 14
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 15
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法。该方法包括：获取图像训练集A；获取目标网络模型，对其包含的每个通道引入缩放因子γ；对目标网络模型进行训练，将训练后的模型作为教师网络；按照缩放因子γ的绝对值大小对教师网络的通道数剪枝，将剪枝后的模型视为学生网络；获取图像训练集A中少量图像，同时输入教师、学生网络，分别计算教师、学生网络各卷积层通道输出的特征图之间的分布差异；将分布差异作为损失函数，对学生网络进行训练，使其模型精度快速恢复至教师网络的水平；输出训练后的学生网络。本发明具有压缩率高、快速恢复压缩模型精度的优势，从而便于网络模型在终端设备上的部署。
Description
技术领域
本发明属于人工智能及神经网络技术领域，尤其是一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法背景技术。
背景技术
近年来，卷积神经网络在各种计算机视觉任务中取得了最先进的性能，如图像识别、目标检测。在具备充足数据集的情况下，一个典型的计算机视觉任务可以训练一个性能较为理想的模型。然而，卷积神经网络模型在带来优异性能的同时，也带来了巨大的计算复杂度和存储成本。在资源有限的情况下，直接应用这种网络存在巨大障碍。
目前，用于压缩模型、加速计算的方法有四种:网络剪枝、网络量化、轻量化模型设计和知识蒸馏。其中网络剪枝以其优异的性能和便捷性，使用最为广泛。剪枝是通过去除大网络中不太重要的神经元，达到压缩模型的目的。被修剪的通道数量越多，准确率下降得越快，之后往往需要使用微调恢复模型性能。然而，目前微调方法不仅需要大规模的标注数据集训练模型，而且十分耗时。在现实场景中，对模型微调时，数据特权和隐私问题可能会限制对原始数据集的访问，例如医疗数据。当压缩率比较高时，现有方法可能无法使用很少的训练样本恢复模型下降的精度。
因此，需要一种既能对网络模型进行压缩以降低对计算空间和时间的消耗，又能避免数据方面的限制导致难以恢复模型精度的问题。
发明内容
针对上述中现有技术存在的不足，本发明提供了一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法。
为了达到上述发明的目的，本发明采用的技术方案为：
一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法，包括以下步骤：
S1、获取图像训练集A；
S2、将图像训练集A输入到目标网络模型中，对目标网络模型进行训练；
S3、获取训练后的网络模型，将其视为教师网络；
S4、根据设定的剪枝阈值对教师网络进行剪枝，将剪枝后的网络模型视为学生网络；
S5、从图像训练集A中抽取出少量的图像数据，作为训练集B；
S6、将训练集B分别输入到教师网络、学生网络中，计算教师、学生网络通道特征图分布差异。将特征图分布差异值作为学生网络的损失函数，用训练集B对学生网络进行训练至其收敛；
S7、输出蒸馏后的学生网络。
本发明的有益效果为：采用剪枝与知识蒸馏结合的方法，降低传统网络模型剪枝后再微调的方法对数据集大小的要求。将剪枝前与剪枝后的模型在训练时输出的特征图分布差异作为知识，使得剪枝后的模型通过学习特征分布的知识，在仅使用少量的数据样本下就能恢复模型损失的准确度。此方法不仅实现了压缩模型，使其便于部署的目标，加快了恢复压缩网络模型的训练速度，解决了数据隐私等问题对微调压缩后网络模型的影响。
优选地，步骤S2包括以下分步骤：
S21、将图像训练集A输入到目标网络模型；
S22、在训练过程中，对网络中每一层的通道引入一个缩放因子γ，将其与通道输出相乘；
S23、设定训练目标网络的损失函数：
其中，(x,y)是训练输入和目标，W即网络权重，上式中第一项l(·)表示卷积神经网络的训练损失函数，g(·)是在缩放因子上的惩罚项，是前面两项的平衡系数。
S24、根据设定的损失函数，联合训练网络权重和缩放因子。
S25、输出训练后的目标网络模型及参数。
该优选方案的有益效果为：通过给每个通道设置缩放因子，并在损失函数设计上考虑了缩放因子的影响。联合训练网络模型和缩放因子，获得后续用于知识蒸馏的教师网络。缩放因子的加入也为后面对模型剪枝奠定基础。
优选地，步骤S4包括以下分步骤：
S41、根据设定的模型压缩比例θ％，对S22中的缩放因子按绝对值大小进行升序排序；
S42、取排序后的θ％位置上的缩放因子作为剪枝的阈值δ；
S43、去除绝对值小于阈值δ的缩放因子对应的通道数，剪掉该通道相关的输入和输出的连接关系；
S44、获取剪枝后的网络模型，将其视为学生网络。
该优选方案的有益效果为：根据压缩比例对缩放因子进行绝对值排序，从而筛选出影响更大的缩放因子对应的通道。实现压缩模型，获取后续知识蒸馏的学生网络的目的。
优选地，步骤S6包括以下分步骤：
S61、在将训练集B分别输入到教师、学生网络中，获取在它们在各个卷积层通道中形成的特征分布图；
S62、将教师、学生网络中三处不同深度的卷积层通道设定为C1、C2、C3，深度依次递增。
S63、输出教师、学生网络中C1层通道处的特征图，使用最大均值差异(MaximumMean Discrepancy,MMD)计算特征图分布差异值，并作为损失更新C1层之前的网络参数；
公式如下：
具体地，针对神经网络特征图分布的MMD计算可扩展为如下所示：
其中，f表示特征图，k表示MMD的核函数，C表示当前卷积层的通道数。
S64、分别计算C1、C2层处的MMD值，并对其求和作为损失，更新C2层之前的网络参数；
S65、分别计算C1、C2、C3层处的MMD值，并对其求和作为损失.更新C3层之前的网络参数。
S66、重复S72～S74步骤，至学生网络模型收敛，且模型精度接近教师网络水平。
该优选方案的有益效果为：将少量数据分别输入到压缩前、后的网络模型中，将模型在卷积层通道中形成的特征分布定义为知识，并利用最大均值差异值减少压缩前后模型特征分布之间的差异。
附图说明
图1是本发明的总流程图示意图。
图2是本发明中知识蒸馏部分的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
本发明的基本思想是使用知识蒸馏方法对压缩后的模型进行训练，将网络中间层输出的特征分布定义为知识，再使用MMD去度量特征分布的差异。通过拟合原网络与压缩后的网络的中间层特征分布，在小样本场景下便能完成训练，进而快速恢复压缩后的网络的精度。
请参照图1，本发明提供了一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法，包括以下步骤：
S1、获取图像训练集A；
S2、将图像训练集A输入到目标网络模型中，对目标网络模型进行训练；
本发明实施例中，步骤S2包括以下分步骤：
S21、将图像训练集A输入到目标网络模型；
S22、在训练过程中，对网络中每一层的通道引入一个缩放因子γ，将其与通道输出相乘；
S23、设定目标网络的损失函数：
其中，(x,y)是训练输入和目标，W即网络权重，上式中第一项l(·)表示卷积神经网络的训练损失函数，g(·)是在缩放因子上的惩罚项，是前面两项的平衡系数。
S24、根据设定的损失函数，联合训练网络权重和缩放因子。
S25、输出训练后的目标网络模型及参数。
S3、获取训练后的网络模型，将其视为教师网络；
S4、根据设定的剪枝阈值对教师网络进行剪枝，将剪枝后的网络模型视为学生网络；
S41、根据设定的模型压缩比例θ％，对S22中的缩放因子按绝对值大小进行升序排序；该压缩比例是一个取值范围在0％～100％的超参数。
S42、取排序后的θ％位置上的缩放因子作为剪枝的阈值δ；
S43、去除绝对值小于阈值δ的缩放因子对应的通道数，剪掉该通道相关的输入和输出的连接关系；
本发明主要对三种经典的卷积神经网络模型进行压缩，分别是代表串联结构的VGGNet，代表残差结构的ResNet，以及代表紧密连接结构的DenseNet。在对上述网络进行剪枝时，需保证每层输出至少剩下一个通道，避免破坏网络正常的前向推理过程，同时对于有直联通道的ResNet和DenseNet，在残差连接前后的通道不进行裁剪。
S44、获取剪枝后的网络模型，将其视为学生网络。
S5、从图像训练集A中抽取出少量的图像数据，作为训练集B；
S6、将训练集B分别输入到教师网络、学生网络中，计算教师、学生网络通道特征图分布差异。将特征图分布差异值作为学生网络的损失函数，用训练集B对学生网络进行训练至其收敛；
S61、在将训练集B分别输入到教师、学生网络中，获取在它们在各个卷积层通道中形成的特征分布图；
S62、将教师、学生网络中三处不同深度的卷积层通道设定为C1、C2、C3，深度依次递增。
S63、输出教师、学生网络中C1层通道处的特征图，使用MMD计算特征图分布差异值，并作为损失函数更新C1层之前的网络参数；
公式如下：
具体地，针对神经网络特征图分布的MMD计算可扩展为如下所示：
其中，f表示特征图，k表示MMD的核函数，C表示当前卷积层的通道数。
为了简化计算，本方法在计算MMD时采用二阶poly核函数：k(x,y)＝(xTy)2，从而将MMD损失函数简化为：
其中G是相应网络特征图的gram矩阵：G＝f·fT。最终的蒸馏损失函数可化简为对齐两特征图的gram矩阵。
S64、分别计算C1、C2层处的MMD值，并对其求和作为损失，更新C2层之前的网络参数；
S65、分别计算C1、C2、C3层处的MMD值，并对其求和作为损失.更新C3层之前的网络参数。
为了能使整个网络的卷积层参数都能接受训练并更新，C3处应为最后一层卷积层。
S66、重复S72～S74步骤，至学生网络模型收敛，且模型精度接近教师网络水平。
S7、输出蒸馏后的学生网络。
综上所述，本发明提供了一种模型剪枝与知识蒸馏相结合的卷积神经网络模型压缩方法，本发明解决了卷积神经网络模型参数冗余导致的对运行平台的算力、内存、存储等资源要求高以及运行速度慢，同时以往模型剪枝方法对模型精度损失大，需要大量时间和样本去微调训练以求恢复精度等问题，相较于现有的模型压缩方法，本发明具有压缩程度高，模型精度恢复快等明显进步，因此具有实用性。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
Claims (3)
1.一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法其特征包括以下步骤：
S1、获取图像训练集A；
S2、将图像训练集A输入到目标网络模型中，对目标网络模型进行训练；
S3、获取训练后的网络模型,将其视为教师网络；
S4、根据设定的剪枝阈值对教师网络进行剪枝，将剪枝后的网络模型视为学生网络；
S5、从图像训练集A中抽取出少量的图像数据，作为训练集B；
S6、将训练集B分别输入到教师网络、学生网络中，用训练集B对学生网络进行训练至其收敛，具体实现方法包括以下步骤：
S61、在将训练集B分别输入到教师、学生网络中，获取在它们在各个卷积层通道中形成的特征分布图；
S62、将教师、学生网络中三处不同深度的卷积层通道设定为C1、C2、C3，深度依次递增；
S63、输出教师、学生网络中C1层通道处的特征图，使用最大均值差异(MMD)计算特征图分布差异值，并作为损失更新C1层之前的网络参数；
公式如下：
具体地，针对神经网络特征图分布的MMD计算可扩展为如下所示：
其中，f表示特征图，k表示MMD的核函数，C表示当前卷积层的通道数；
S64、分别计算C1、C2层处的MMD值，并对其求和作为损失，更新C2层之前的网络参数；
S65、分别计算C1、C2、C3层处的MMD值，并对其求和作为损失，更新C3层之前的网络参数；
S66、重复S63～S65步骤，至学生网络模型收敛,且模型精度接近教师网络水平；
S7、输出蒸馏后的学生网络。
2.根据权利要求1所述的一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法，其特征在于，所述步骤S2的具体实现方法包括以下分步骤：
S21、将图像训练集A输入到目标网络模型；
S22、在训练过程中，对网络中每一层的通道引入一个缩放因子γ，将其与通道输出相乘；
S23、设定训练目标网络的损失函数：
其中，(x,y)是训练输入和目标，W即网络权重，上式中第一项l(·)表示卷积神经网络的训练损失函数，g(·)是在缩放因子上的惩罚项，是前面两项的平衡系数；
S24、根据设定的损失函数，联合训练网络权重和缩放因子；
S25、输出训练后的目标网络模型及参数。
3.根据权利要求1所述的一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法，其特征在于，所述步骤S4的具体实现方法包括以下步骤：
S41、根据设定的模型压缩比例θ％，对S22中的缩放因子按绝对值大小进行升序排序；
S42、取排序后的θ％位置上的缩放因子作为剪枝的阈值δ；
S43、去除绝对值小于阈值δ的缩放因子对应的通道数，剪掉该通道相关的输入和输出的连接关系；
S44、获取剪枝后的网络模型,将其视为学生网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110427314.XA CN113159173B (zh) | 2021-04-20 | 2021-04-20 | 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110427314.XA CN113159173B (zh) | 2021-04-20 | 2021-04-20 | 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113159173A CN113159173A (zh) | 2021-07-23 |
| CN113159173B true CN113159173B (zh) | 2024-04-26 |
Family
ID=76867854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110427314.XA Active CN113159173B (zh) | 2021-04-20 | 2021-04-20 | 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113159173B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537245B (zh) * | 2021-08-09 | 2024-03-01 | 浙江大学 | 一种基于特征图的神经网络剪枝方法 |
| CN113780534B (zh) * | 2021-09-24 | 2023-08-22 | 北京字跳网络技术有限公司 | 网络模型的压缩方法、图像生成方法、装置、设备及介质 |
| CN113837308B (zh) * | 2021-09-29 | 2022-08-05 | 北京百度网讯科技有限公司 | 基于知识蒸馏的模型训练方法、装置、电子设备 |
| CN115577765A (zh) * | 2022-09-09 | 2023-01-06 | 美的集团(上海)有限公司 | 网络模型剪枝方法、电子设备及存储介质 |
| CN115223049B (zh) * | 2022-09-20 | 2022-12-13 | 山东大学 | 面向电力场景边缘计算大模型压缩的知识蒸馏与量化方法 |
| CN115511059B (zh) * | 2022-10-12 | 2024-02-09 | 北华航天工业学院 | 一种基于卷积神经网络通道解耦的网络轻量化方法 |
| CN115564030A (zh) * | 2022-11-24 | 2023-01-03 | 中国平安财产保险股份有限公司 | 目标检测模型的压缩方法、检测方法、装置及相关设备 |
| CN115880486B (zh) * | 2023-02-27 | 2023-06-02 | 广东电网有限责任公司肇庆供电局 | 一种目标检测网络蒸馏方法、装置、电子设备及存储介质 |
| CN116206188B (zh) * | 2023-05-04 | 2023-07-21 | 浪潮电子信息产业股份有限公司 | 一种图像识别方法、系统、设备及存储介质 |
| CN117114053A (zh) * | 2023-08-24 | 2023-11-24 | 之江实验室 | 基于结构搜索和知识蒸馏的卷积神经网络模型压缩方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175628A (zh) * | 2019-04-25 | 2019-08-27 | 北京大学 | 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法 |
| CN111626330A (zh) * | 2020-04-23 | 2020-09-04 | 南京邮电大学 | 基于多尺度特征图重构和知识蒸馏的目标检测方法与系统 |
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
| WO2021168014A1 (en) * | 2020-02-20 | 2021-08-26 | Illumina, Inc. | Knowledge distillation and gradient pruning-based compression of artificial intelligence-based base caller |
-
2021
- 2021-04-20 CN CN202110427314.XA patent/CN113159173B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175628A (zh) * | 2019-04-25 | 2019-08-27 | 北京大学 | 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法 |
| WO2021023202A1 (zh) * | 2019-08-07 | 2021-02-11 | 交叉信息核心技术研究院(西安)有限公司 | 一种卷积神经网络的自蒸馏训练方法、设备和可伸缩动态预测方法 |
| WO2021168014A1 (en) * | 2020-02-20 | 2021-08-26 | Illumina, Inc. | Knowledge distillation and gradient pruning-based compression of artificial intelligence-based base caller |
| CN111626330A (zh) * | 2020-04-23 | 2020-09-04 | 南京邮电大学 | 基于多尺度特征图重构和知识蒸馏的目标检测方法与系统 |
Non-Patent Citations (1)
| Title |
|---|
| 一种用于卷积神经网络压缩的混合剪枝方法;靳丽蕾;杨文柱;王思乐;崔振超;陈向阳;陈丽萍;;小型微型计算机系统;20181211(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113159173A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113159173B (zh) | 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 | |
| CN108765296B (zh) | 一种基于递归残差注意力网络的图像超分辨率重建方法 | |
| CN108764471B (zh) | 基于特征冗余分析的神经网络跨层剪枝方法 | |
| CN106991646B (zh) | 一种基于密集连接网络的图像超分辨率方法 | |
| CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
| CN111079781B (zh) | 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法 | |
| CN110517329B (zh) | 一种基于语义分析的深度学习图像压缩方法 | |
| CN109543838B (zh) | 一种基于变分自编码器的图像增量学习方法 | |
| CN108304928A (zh) | 基于改进聚类的深度神经网络的压缩方法 | |
| CN109495744B (zh) | 基于联合生成对抗网络的大倍率遥感影像压缩方法 | |
| CN113222138A (zh) | 一种联合层剪枝和通道剪枝的卷积神经网络压缩方法 | |
| CN112183742B (zh) | 基于渐进式量化和Hessian信息的神经网络混合量化方法 | |
| CN113011570A (zh) | 一种卷积神经网络模型的自适应高精度压缩方法及系统 | |
| CN111126599A (zh) | 一种基于迁移学习的神经网络权重初始化方法 | |
| CN111008924A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN112734867A (zh) | 一种基于空谱特征分离提取的多光谱图像压缩方法及系统 | |
| CN111126595A (zh) | 一种神经网络的模型压缩的方法和设备 | |
| CN112488313A (zh) | 一种基于显式权重的卷积神经网络模型压缩方法 | |
| CN115829027A (zh) | 一种基于对比学习的联邦学习稀疏训练方法及系统 | |
| CN115239564A (zh) | 一种结合语义信息的矿井图像超分辨率重建方法 | |
| CN115984747A (zh) | 一种基于动态滤波器的视频显著性目标检测方法 | |
| Verma et al. | A" Network Pruning Network''Approach to Deep Model Compression | |
| CN113192084A (zh) | 一种基于机器视觉的公路边坡微小位移形变监测方法 | |
| CN113177580A (zh) | 基于通道重要性剪枝与二值量化的图像分类系统 | |
| CN116229154A (zh) | 一种基于动态混合模型的类增量图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |