CN113052211B - 一种基于特征的秩和通道重要性的剪枝方法 - Google Patents
一种基于特征的秩和通道重要性的剪枝方法 Download PDFInfo
- Publication number
- CN113052211B CN113052211B CN202110265571.8A CN202110265571A CN113052211B CN 113052211 B CN113052211 B CN 113052211B CN 202110265571 A CN202110265571 A CN 202110265571A CN 113052211 B CN113052211 B CN 113052211B
- Authority
- CN
- China
- Prior art keywords
- pruning
- network
- model
- layer
- rank
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于特征的秩和通道重要性的剪枝方法，包括下列步骤：准备数据集，选定原始网络模型，划分为训练集和测试集；通过数据集训练出收敛的未剪枝的原始网络模型，用数据集中的部分图片输入训练好的模型；通过数据集训练加入通道注意力机制的未剪枝网络模型，用训练集输入训练好的模型，固定模型参数，得到网络层中通道注意力机制对于不同层不同卷积核的权重向量；剪枝；得到全局的不同层的剪枝结果，然后计算每一层剪枝之后剩余的通道数，改变原始网络每一层通道数为剪枝后的通道数，得到裁剪后的网络模型，再使用数据集重新训练，恢复精度，经过不断的梯度反向传播优化最终得到轻量化的最优模型。
Description
技术领域
本发明涉及图像处理中模型轻量化领域，特别适用于计算资源较少的平台。
背景技术
当前由于神经网络具有自动学习提取合适视觉特征的优点，可以避免人工设计提取特征的麻烦，且分类准确度高，训练难度较低，对特征中的噪声有着较强的鲁棒性和容错能力，能够充分拟合分类任务中需要的复杂非线性关系，所以将其用于分类任务是当前的一个热点研究问题。神经网络的分类问题是指针对特定的分类任务，运用相关的算法来设计并训练模型对任务中的图片进行分类。其应用领域极其广泛，包括日常生活中的人脸识别、车牌识别和垃圾分类等等。
但是随着深度学习领域的发展，用于分类任务的网络在层次上越来越深，在结构上越来越复杂，在参数量上越来越多。比如从最开始的几层网络发展到上百层乃至千层，使得模型在训练和实际应用中消耗计算资源过大，训练和推理时间也相应增加，不实用且无法部署在小算力资源的移动平台上。所以如何完成分类任务中神经网络的落地工作是当前亟须解决的问题。落地工作中要解决的是如何平衡模型总体参数大小和精度的问题，一般来说，模型参数量越大，精度越高，参数量越小，精度越低，这两个因素是相互影响，相互制约的。如果通过一定的手段或者方法可以在降低模型参数量的情况下还能够保持一定的精度，就可很好的将当前的模型应用在实际场景中。
降低模型参数量即模型轻量化的方法主要包括知识蒸馏、矩阵分解和剪枝等手段。其中知识蒸馏[1]是将训练好的复杂模型作为教师网络，将教师网络学习出来的知识作为先验知识，让简单网络作为学生网络去模仿教师网络提取出的知识，而不是直接去学习真实标签，因为教师网络提取出的知识包括预测结果中数据结构间的相似性以及更精确的特征，可以让学生网络更好的学习真实标签所不具有的信息。矩阵分解[2]主要是利用神经网络中的冗余对权重矩阵进行降维，即将模型中的卷积和全连接层参数矩阵分解为多个小矩阵乘积的形式，这样可以大大降低模型的体积。剪枝[5]是对网络结构中不重要的一部分剪枝或者稀疏化，而不是对个别权重，其本质是要借助一些方法来得到通道的重要性如缩放因子，剪掉所有与重要程度较低通道的相关输入和输出连接关系，将其剔除而不会对模型的精度造成太大的影响，在剔除不重要的参数之后，通过一个微调的过程来恢复模型的性能。
当前剪枝方法主要是通过设计不同的算法来得到通道的重要性，然后从不重要的通道中移除所有输入和输出连接，从而得到一个参数量较小的模型。但是，当前大部分剪枝方法具有一定的局限性，忽略了网络中不同深度时参数的重要性判断条件应当有所不同，
参考文献：
[1]Hinton G,Vinyals O,Dean J.Distilling the knowledge in a neuralnetwork[J].arXiv preprint arXiv:1503.02531,2015.
[2]Zhang X,Zou J,He K,et al.Accelerating Very Deep ConvolutionalNetworks for Classification and Detection[J].IEEE Transactions on PatternAnalysis&Machine Intelligence,2016,38(10):1943.
[3]Lin M,Ji R,Wang Y,et al.Hrank:Filter pruning using high-rankfeature map[C]//Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition.2020:1529-1538.
[4]Hu J,Shen L,Sun G.Squeeze-and-excitation networks[C]//Proceedingsof the IEEE conference on computer vision and pattern recognition.2018:7132-7141.
[5]Hua W,Zhou Y,De Sa C,et al.Channel gating neural networks[J].arXivpreprint arXiv:1805.12549,2018.
[6]Krizhevsky A,Hinton G.Learning multiple layers of features fromtiny images[J].2009.
[7]Qilong W,Banggu W,Pengfei Z,et al.ECA-Net:Efficient ChannelAttention for Deep Convolutional Neural Networks[J].2020.
发明内容
本发明提出一种适用于图片分类的剪枝方法，首先利用网络浅层提取低级特征冗余度较高的原理来去除产生有用信息较少的卷积核，其次利用网络深层提取特征通道的重要程度对输入特征的不同反应去除对输入特征不敏感的卷积核来达到降低模型参数量的目的，针对分类网络中浅层和深层作用不同的原理，对原有的剪枝方法进行改进。技术方案如下：
一种基于特征的秩和通道重要性的剪枝方法，包括下列步骤：
第一步：准备数据集，选定原始网络模型，划分为训练集和测试集；
第二步：通过数据集训练出收敛的未剪枝的原始网络模型，用数据集中的部分图片输入训练好的模型，
固定模型参数使用奇异值分解卷积核提取的特征图：
A＝UΛVT (1)
其中A为卷积核输出的特征图，U和V分别为左奇异矩阵和右奇异矩阵，Λ仅在主对角线上有值，值由特征值构成；根据奇异值分解结果得到的浅层网络卷积核提取出图片特征的平均秩oij，代表第i层第j个卷积核对网络输入图片所有特征的平均秩，对当前层求出的秩进行进一步分析，对特征值计算信息率比重保留包含主要信息的秩数目，得到精确的秩数目，式(2)中Rank代表对第i层所有的卷积核提取出图片特征的平均秩oij从大到小进行排序，S(oi,:)代表排序后的结果；对排序结果按照预设的剪枝比率乘以当前层卷积核总数来得到索引，排序结果中索引对应位置的秩即第一类阈值，大于第一类阈值的卷积核被保存下来，小于第一类阈值的卷积核被去除，即得到网络浅层的剪枝结果：
S(oi,:)＝Rank(oij) (2)
第三步：通过数据集训练加入通道注意力机制的未剪枝网络模型，用训练集输入训练好的模型，固定模型参数通过式(2)得到网络层中通道注意力机制对于不同层不同卷积核的权重向量wi，其中i代表第i层，Sigmoid代表归一化函数，H和W为输入特征的空间分辨率，f1×1为1维卷积，Ii为输入特征，然后计算网络得到的所有训练集图片对于卷积核的权重方差，将所有网络层卷积核的权重方差进行全局排序，按照预设定的剪枝比率乘以整个网络的卷积核总数得到索引，排序结果索引对应位置的方差即第二类阈值，将大于第二类阈值的数保留然后返回对应层的保留的数量即得到深层网络的剪枝结果：
第四步：综合第二步和第三步得到的剪枝结果即可得到全局的不同层的剪枝结果，然后计算每一层剪枝之后剩余的通道数，改变原始网络每一层通道数为剪枝后的通道数，得到裁剪后的网络模型，再使用数据集重新训练，恢复精度，经过不断的梯度反向传播优化最终得到轻量化的最优模型；
第五步：效果检测：输入待分类图像，加载训练好的轻量化的最优模型，输出输入图像的分类结果。
第四步进行模型训练的方法可以如下：
(1)学习率设为0.1；衰减间隔为80,120,160,180；
(2)采用交叉熵函数作为损失函数；
(3)采用SGD优化方法，权重衰减率为0.1，动量值为0.9。
本发明的有益效果如下：
1、在分类网络中根据浅层提取的特征都是如颜色、纹理和边缘等低级特征，具有高度的冗余性。根据预先设定的剪枝比率利用网络浅层卷积核输出特征保留主要信息平均秩的大小来确定网络浅层对应层的剪枝数目，输出特征平均秩较高的卷积核被保留，输出特征秩较低的卷积核被移除。该方法可以针对性的剪去网络浅层产生冗余信息的卷积核以获得一个满足网络提取特征最低要求的卷积核数目。
2、在分类网络中根据深层提取的特征都是语义级别的高级特征，根据不同的卷积核和对输入特征的敏感性程度不同，本发明使用通道注意力机制来学习深层网络中对应层不同卷积核的权重，网络计算得到的所有训练集图片的对于卷积核的权重方差，将所有网络层卷积核的权重方差进行全局排序，根据预先设定的剪枝比率确定深层的剪枝数目，该方法可以针对性的剪去网络深层对输入特征不敏感的卷积核来获得分类所需的最小卷积核数目。
3、将以上两种方法结合起来对网络整体进行剪枝，既得到一个满足网络提取低级特征最低要求的卷积核数目，又可得到网络深层所需的最小卷积核数目，最大程度上缩减网络参数且尽可能的保留分类性能。
附图说明
图1为所提出的适用于分类网络剪枝算法的网络整体结构图。
具体实施方式
一种适用于图片分类的剪枝算法，下面将结合附图中VGG16网络对实施方式进一步的详细描述：
(1)数据准备：
(a)划分数据集，本方法采用的是分类通用数据集Cifar10,数据集总共有60000张彩色图像，每个图像的像素为32*32，类别总共有10类，每个类别有6000张图片。依据常用的数据集分割办法，我们把数据集分割为训练集和测试集。
(2)网络的搭建：本发明的网络结构主要待剪枝主干部分、秩剪枝模块和通道重要性剪枝模块，下面将结合附图1，对本发明搭建的网络结构进行详细的介绍说明。
(a)通过数据集训练出收敛的未剪枝的原始网络模型，用数据集中的部分图片输入训练好的模型，固定模型参数使用奇异值分解卷积核提取的特征图：
A＝UΛVT (1)
其中A为卷积核输出的特征图，U和V分别为左奇异矩阵和右奇异矩阵，Λ仅在主对角线上有值，值由特征值构成。根据奇异值分解结果得到浅层网络卷积核提取出图片特征的平均秩oij，代表第i层第j个卷积核对网络输入图片所有特征的平均秩，对当前层求出的秩进行进一步分解，按照包含信息率比重保留包含主要信息的秩数目，得到精确的秩数目，式(2)中Rank代表对第i层所有的卷积核提取出图片特征的平均秩oij从大到小进行排序，S(oi,:)代表排序后的结果。对排序结果按照预设的剪枝比率乘以当前层卷积核总数来得到索引，排序结果中索引对应位置的秩即阈值，大于阈值的卷积核被保存下来，小于阈值的卷积核被去除，即得到网络浅层的剪枝结果。
S(oi,:)＝Rank(oi,:) (2)
(b)通过数据集训练加入通道注意力机制的未剪枝网络模型，用训练集输入训练好的模型，固定模型参数通过式(2)得到网络层中通道注意力机制对于不同层不同通道分别针对卷积核的权重向量wi，其中i代表第i层，Sigmoid代表规一化函数，H和W为输入特征的空间分辨率，f1×1为1维卷积，Ii为输入特征，然后对于网络计算得到的所有训练集图片的对于卷积核的权重方差，将所有网络层卷积核的权重方差进行全局排序，按照预设定的剪枝比率乘以整个网络的卷积核总数得到索引，排序结果索引对应位置的方差即阈值，将大于阈值的数保留然后返回对应层的保留的数量即得到深层网络的剪枝结果。
(c)综合第一步第二步得到的剪枝结果即可得到全局的不同层的剪枝结果然后计算每一层剪枝之后剩余的通道数，改变原始网络每一层通道数为剪枝后的通道数，将裁剪后的原始网络使用数据集重新训练，恢复精度。经过不断的梯度反向传播优化最终得到轻量化的最优模型。
(3)模型训练：学习率设为0.1；衰减间隔为80,120,160,180，总共训练200次。采用交叉熵函数作为损失函数；采用SGD优化方法，权重衰减率为0.1，动量值为0.9。
(4)评价指标：本发明实验采用分类准确率衡量算法效果。
(5)实验使用所提出的适用于图片分类的剪枝算法，在剪枝并微调后，网络参数量从原网络14.98M降为剪枝后1.15M，只有原网络参数量的7.67％；每秒所执行的浮点运算次数(floating-point operations per second，FLOPS)从原网络313.73M降为剪枝完后14.98M，只有原网络计算量的4.77％，剪枝后的分类准确率为92.41％，相比未剪枝的网络分类准确率为93.96％，在大大降低计算量和参数量的基础上几乎实现了原网络的分类性能。
本发明的实质性特点有：
(1)基于网络浅层提取的特征是输入图片的低级特征，并且具有高度相似性和冗余性，本发明基于浅层网络提取特征的包含主要信息的平均秩的大小顺序来确定浅层通道的剪枝结果，从而极大的保留提取出有用特征的卷积核，剪除生成相似特征的卷积核从而避免计算资源浪费。
(2)基于网络深层提取出的特征是输入图片的语义级别特征，并且其具有高度特异性，提出利用通道注意力机制产生不同通道的重要性，并统计单个卷积核重要性的方差，然后对方差进行全局排序，确定深层通道的剪枝结果，可以保留对输入特征敏感的卷积核，剪除对输入特征不敏感的卷积核使得网络参数进一步降低。
为了更好地减少网络的参数量，本发明综合上述两点对网络进行全局的修剪，得到最优网络层级剪枝结果，实验证明本发明提出的剪枝方法能够在极大减少网络参数量的情况下几乎实现原网络的性能。
Claims (2)
1.一种基于特征的秩和通道重要性的剪枝方法，包括下列步骤：
第一步：准备数据集，选定原始网络模型，划分为训练集和测试集；
第二步：通过数据集训练出收敛的未剪枝的原始网络模型，用数据集中的部分图片输入训练好的模型，
固定模型参数使用奇异值分解卷积核提取的特征图：
A＝UΛVT (1)
其中A为卷积核输出的特征图，U和V分别为左奇异矩阵和右奇异矩阵，Λ仅在主对角线上有值，值由特征值构成；根据奇异值分解结果得到的浅层网络卷积核提取出图片特征的平均秩oij，代表第i层第j个卷积核对网络输入图片所有特征的平均秩，对当前层求出的秩进行进一步分析，对特征值计算信息率比重保留包含主要信息的秩数目，得到精确的秩数目，式(2)中Rank代表对第i层所有的卷积核提取出图片特征的平均秩oij从大到小进行排序，S(oi,:)代表排序后的结果；对排序结果按照预设的剪枝比率乘以当前层卷积核总数来得到索引，排序结果中索引对应位置的秩即第一类阈值，大于第一类阈值的卷积核被保存下来，小于第一类阈值的卷积核被去除，即得到网络浅层的剪枝结果：
S(oi,:)＝Rank(oij) (2)
第三步：通过数据集训练加入通道注意力机制的未剪枝网络模型，用训练集输入训练好的模型，固定模型参数通过式(3)得到网络层中通道注意力机制对于不同层不同卷积核的权重向量wi，其中i代表第i层，Sigmoid代表归一化函数，H和W为输入特征的空间分辨率，f1×1为1维卷积，Ii为输入特征，然后计算网络得到的所有训练集图片对于卷积核的权重方差，将所有网络层卷积核的权重方差进行全局排序，按照预设定的剪枝比率乘以整个网络的卷积核总数得到索引，排序结果索引对应位置的方差即第二类阈值，将大于第二类阈值的数保留然后返回对应层的保留的数量即得到深层网络的剪枝结果：
第四步：综合第二步和第三步得到的剪枝结果即可得到全局的不同层的剪枝结果，然后计算每一层剪枝之后剩余的通道数，改变原始网络每一层通道数为剪枝后的通道数，得到裁剪后的网络模型，再使用数据集重新训练，恢复精度，经过不断的梯度反向传播优化最终得到轻量化的最优模型；
第五步：效果检测：输入待分类图像，加载训练好的轻量化的最优模型，输出输入图像的分类结果。
2.根据权利要求1所述的方法，其特征在于，第四步进行模型训练的方法如下：
(1)学习率设为0.1；衰减间隔为80,120,160,180；
(2)采用交叉熵函数作为损失函数；
(3)采用SGD优化方法，权重衰减率为0.1，动量值为0.9。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110265571.8A CN113052211B9 (zh) | 2021-03-11 | 2021-03-11 | 一种基于特征的秩和通道重要性的剪枝方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110265571.8A CN113052211B9 (zh) | 2021-03-11 | 2021-03-11 | 一种基于特征的秩和通道重要性的剪枝方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| CN113052211A CN113052211A (zh) | 2021-06-29 |
| CN113052211B true CN113052211B (zh) | 2022-04-15 |
| CN113052211B9 CN113052211B9 (zh) | 2022-05-27 |
Family
ID=76511413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110265571.8A Active CN113052211B9 (zh) | 2021-03-11 | 2021-03-11 | 一种基于特征的秩和通道重要性的剪枝方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052211B9 (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592085A (zh) * | 2021-07-06 | 2021-11-02 | 厦门路桥信息股份有限公司 | 一种基于高秩卷积图的核剪枝方法、装置、设备及介质 |
| CN113516230B (zh) * | 2021-07-20 | 2023-06-02 | 华侨大学 | 基于平均秩重要性排序的自动化卷积神经网络剪枝方法 |
| CN113554104B (zh) * | 2021-07-28 | 2022-09-30 | 哈尔滨工程大学 | 一种基于深度学习模型的图像分类方法 |
| CN113850373B (zh) * | 2021-09-18 | 2024-03-15 | 天津大学 | 一种基于类别的滤波器剪枝方法 |
| CN113837284B (zh) * | 2021-09-26 | 2023-09-15 | 天津大学 | 基于深度学习的双支路滤波器剪枝方法 |
| CN114241230A (zh) * | 2021-11-19 | 2022-03-25 | 南方电网数字电网研究院有限公司 | 目标检测模型剪枝方法和目标检测方法 |
| CN114677545B (zh) * | 2022-03-29 | 2023-05-23 | 电子科技大学 | 一种基于相似性剪枝和高效模块的轻量化图像分类方法 |
| CN115049054B (zh) * | 2022-06-12 | 2024-07-02 | 中国科学院重庆绿色智能技术研究院 | 基于特征图响应的通道自适应分段动态网络剪枝方法 |
| CN115452376A (zh) * | 2022-08-05 | 2022-12-09 | 燕山大学 | 基于改进轻量级深度卷积神经网络的轴承故障诊断方法 |
| CN115797752B (zh) * | 2023-02-13 | 2023-05-23 | 济南博观智能科技有限公司 | 一种模型训练方法、装置、设备及存储介质 |
| CN117333758B (zh) * | 2023-12-01 | 2024-02-13 | 博创联动科技股份有限公司 | 基于大数据分析的田地路线识别系统 |
| CN117974672B (zh) * | 2024-04-02 | 2024-06-18 | 华侨大学 | 基于全局信息的乳腺超声肿瘤病变区域检测方法及装置 |
| CN118334323B (zh) * | 2024-06-14 | 2024-08-20 | 南昌工程学院 | 一种基于紫外图像的绝缘子检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782019A (zh) * | 2019-10-28 | 2020-02-11 | 中国科学院自动化研究所 | 基于分解和剪枝的卷积神经网络压缩方法、系统、装置 |
| CN111444760A (zh) * | 2020-02-19 | 2020-07-24 | 天津大学 | 一种基于剪枝与知识蒸馏的交通标志检测与识别方法 |
| CN112149829A (zh) * | 2020-10-23 | 2020-12-29 | 北京百度网讯科技有限公司 | 确定网络模型剪枝策略的方法、装置、设备以及存储介质 |
-
2021
- 2021-03-11 CN CN202110265571.8A patent/CN113052211B9/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782019A (zh) * | 2019-10-28 | 2020-02-11 | 中国科学院自动化研究所 | 基于分解和剪枝的卷积神经网络压缩方法、系统、装置 |
| CN111444760A (zh) * | 2020-02-19 | 2020-07-24 | 天津大学 | 一种基于剪枝与知识蒸馏的交通标志检测与识别方法 |
| CN112149829A (zh) * | 2020-10-23 | 2020-12-29 | 北京百度网讯科技有限公司 | 确定网络模型剪枝策略的方法、装置、设备以及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| "Deep Neural Network Acceleration Based on Low-Rank Approximated Channel Pruning";Zhen Chen etc.;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEM-I:REGULAR PAPERS》;20200430;第67卷(第4期);第1232-1242段 * |
| "ECA-Net:Efficient Channel Attention for Deep Convolutional Neural Networks";Qilong Wang etc.;《arXiv:1910.03151v4[cs.CV]》;20200407;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113052211B9 (zh) | 2022-05-27 |
| CN113052211A (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113052211B (zh) | 一种基于特征的秩和通道重要性的剪枝方法 | |
| CN107609601B (zh) | 一种基于多层卷积神经网络的舰船目标识别方法 | |
| CN109359559B (zh) | 一种基于动态遮挡样本的行人再识别方法 | |
| CN112308158A (zh) | 一种基于部分特征对齐的多源领域自适应模型及方法 | |
| CN114743020B (zh) | 一种结合标签语义嵌入和注意力融合的食物识别方法 | |
| CN111340123A (zh) | 一种基于深度卷积神经网络的图像分数标签预测方法 | |
| CN114926469B (zh) | 语义分割模型训练方法、语义分割方法、存储介质及终端 | |
| CN114266977B (zh) | 基于超分辨可选择网络的多auv的水下目标识别方法 | |
| CN113011357A (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
| CN112364719A (zh) | 一种遥感图像目标快速检测方法 | |
| CN111145145B (zh) | 一种基于MobileNets的图像表面缺陷检测方法 | |
| CN112396587A (zh) | 一种基于协同训练和密度图的公交车厢内拥挤度检测方法 | |
| CN115909078A (zh) | 一种基于hrrp与sar数据特征级融合的舰船分类方法 | |
| CN112597919A (zh) | 基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法 | |
| CN114170657A (zh) | 融合注意力机制与高阶特征表示的面部情感识别方法 | |
| CN114492634B (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN117808072B (zh) | 模型剪枝方法、图像处理方法及装置、设备和介质 | |
| CN113850373B (zh) | 一种基于类别的滤波器剪枝方法 | |
| CN117333669A (zh) | 基于有用信息引导的遥感影像语义分割方法、系统及设备 | |
| CN111414951A (zh) | 用于图像的细分类方法及装置 | |
| CN114627424A (zh) | 一种基于视角转化的步态识别方法和系统 | |
| CN112560668B (zh) | 一种基于场景先验知识的人体行为识别方法 | |
| CN112132839B (zh) | 一种基于深度卷积级联网络的多尺度快速人脸分割方法 | |
| CN110458120B (zh) | 一种复杂环境下不同车型识别方法及系统 | |
| CN116071591A (zh) | 基于类别层次的动态高效网络训练方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CI03 | Correction of invention patent | ||
| CI03 | Correction of invention patent |
Correction item: Description Correct: Correct False: error Number: 15-02 Page: full text Volume: 38 |