CN108764471B - 基于特征冗余分析的神经网络跨层剪枝方法 - Google Patents

基于特征冗余分析的神经网络跨层剪枝方法 Download PDF

Info

Publication number
CN108764471B
CN108764471B CN201810474089.3A CN201810474089A CN108764471B CN 108764471 B CN108764471 B CN 108764471B CN 201810474089 A CN201810474089 A CN 201810474089A CN 108764471 B CN108764471 B CN 108764471B
Authority
CN
China
Prior art keywords
layer
convolution
point
setting
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810474089.3A
Other languages
English (en)
Other versions
CN108764471A (zh
Inventor
董伟生
杨文慧
毋芳芳
石光明
谢雪梅
吴金建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810474089.3A priority Critical patent/CN108764471B/zh
Publication of CN108764471A publication Critical patent/CN108764471A/zh
Application granted granted Critical
Publication of CN108764471B publication Critical patent/CN108764471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit

Abstract

本发明公开了一种基于特征冗余分析的神经网络跨层剪枝方法，主要解决现有技术对扩张残差单元进行逐层剪枝会造成深度卷积层信息丢失的问题。其实现方案是：1)获取训练样本集；2)构建44层卷积神经网络；3)更新44层卷积神经网络参数；4)判断初始训练的更新次数是否达到100次：若是，则得到训练好的44层卷积神经网络，对训练好的44层卷积神经网络进行跨层剪枝，执行5)；否则，返回3)；5)对剪枝后的稀疏网络进行微调训练；6)判断微调训练的更新次数是否达到40次：若是，则得到微调后的稀疏网络，否则，返回5)。本发明减少神经网络中神经元或特征的退化，降低了神经网络的参数和存储尺寸，可用于移动端和嵌入式设备中。

Description

基于特征冗余分析的神经网络跨层剪枝方法
技术领域
本发明属于图像处理技术领域，更进一步涉及一种神经网络跨层剪枝方法，可用于将深度卷积神经网络模型部署到移动端和嵌入式设备中。
背景技术
近年来，由于深度学习在语音识别、图像识别、目标检测等诸多计算机视觉任务中取得了突破性的成果而被广泛应用，成为了机器学习领域最具有代表性的技术。卷积神经网络模型普遍存在的现象是：第一，模型参数多、体积庞大、计算复杂度高且容易出现过拟合；第二，需要依靠非常多的训练数据和高性能并行计算设备进行长时间的训练，对硬件资源要求高，且功耗惊人。以上这些问题的存在都非常不利于深度卷积神经网络模型在移动端和嵌入式设备上的部署和应用。有研究指出，大规模的卷积神经网络中有相当一部分的神经元和连接权重对模型的性能没有实质性的影响，如果可以将这部分从网络中删减掉，不仅可以节省75％的参数，还可以缩减掉约50％的计算时间，说明神经网络模型的压缩具有潜在的可能性。以上背景表明，对深度卷积神经网络中的冗余参数和冗余特征进行剪枝在移动端和嵌入式设备的应用场景中具有重要的现实意义。
Howard等人在其发表的论文“Mobilenets:Efficient convolutional neuralnetworks for mobile vision applications”(Computer Vision and PatternRecognition,2017)中基于空间信息和深度信息分离的思想，将标准卷积操作拆分成一个深度卷积层接一个逐点卷积层，这种方法虽能有效地减少模型参数量和计算量，但由于仅使用深度可分离卷积构建了一个非常简单的直筒结构，对特征的复用性不强；另一方面，在深度卷积层部分，由于输入特征维度过小，再加上非线性的作用容易造成神经元或特征的退化。
Liu Zhuang等人在其发表的论文“Learning efficient convolutionalnetworks through network slimming”(IEEE International Conference on ComputerVision，2017)中对神经网络进行逐层剪枝，首先通过稀疏约束的优化方法将神经网络模型正则化，然后通过恢复和重新训练被剪枝的连接权重来提高预测精度，可以减小模型大小，降低运行内存和计算量，没有精度损失，而且不会给网络带来任何额外的开销。该方法的不足之处是，仅对常规卷积层堆叠而成的神经网络结构剪枝效果较好，但不适用于对具有扩张残差单元结构的神经网络进行剪枝，具有较大的局限性。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于特征冗余分析的神经网络跨层剪枝方法，旨在减少神经网络中神经元或特征的退化，降低神经网络的参数和存储尺寸，克服现有逐通道剪枝方法不适用于对具有扩张残差单元结构的神经网络进行剪枝的局限性。
为实现上述目的，本发明的技术方案是：通过对构建的神经网络中逐点卷积层特征的重要性进行分析，实现对逐点卷积层中冗余特征的剪枝，其实现步骤包括如下：
(1)获取训练样本集：
选用CIFAR10数据集中的60000幅32×32的彩色图像作为输出样本集，共分为10个类，从每一类中随机选取5000幅图，共50000幅图构成输入训练样本集；
(2)构建44层卷积神经网络：
(2a)基于现有的基本扩张残差单元结构，加入降采样层后置策略，将深度卷积层卷积步长为2的扩张残差单元放置在具有相同参数设置的扩张残差单元的后部，得到一个44层卷积神经网络；
(2b)并设置各层参数；
(3)更新44层卷积神经网络参数：
(3a)按照如下损失计算公式，计算44层卷积神经网络的损失值：
Figure BDA0001664005930000021
其中，L表示44层卷积神经网络的损失值，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；γ表示44层卷积神经网络中逐点卷积层归一化后的权重，λ表示正则项的权重，||·||1表示L1范数操作；
(3b)设初始训练的最大更新次数T1＝100，用损失值L更新44层卷积神经网络的每一层参数；
(4)判断初始训练的更新次数是否达到100次，若是，则得到训练好的44层卷积神经网络及各层参数，执行步骤(5)，否则，返回步骤(3)；
(5)对训练好的44层卷积神经网络进行跨层剪枝：
(5a)取出训练好的44层卷积神经网络中每一个逐点卷积层归一化后的权重，构成权重向量γ，将所有权重向量γ合成一个向量，并将该向量的值按照升序排列，得到排序后的权重向量W；
(5b)按照下式得到全局剪枝阈值在排序后的权重向量W中对应的索引It：
It＝N×P
其中，N表示权重向量W的个数，P表示当前设定的剪枝率；
(5c)从排序后的权重向量W中取出索引It对应的权重值，作为全局剪枝阈值T；
(5d)对训练好的44层卷积神经网络中每一个逐点卷积层设置一个与该层权重向量γ维度相同的模板向量M，将每层的权重向量γ中的值与全局剪枝阈值T进行比较：若权重向量γ中的值大于等于全局剪枝阈值T，则将模板向量M中对应位置的值设为1，反之，设为0；
(5e)统计每一个模板向量M中值为1的个数，得到每一个逐点卷积层需要保留的特征通道的数目C，根据所有特征数目C构成的集合构建一个初始的稀疏网络；
(5f)根据每一个模板向量M中值为1的位置，得到每一个逐点卷积层中需要保留的特征通道的索引，构成特征索引向量If；将训练好的44层卷积神经网络中每一个逐点卷积层的特征索引向量If对应的每一个特征通道的权重值，依次复制到构建好的初始稀疏网络中对应的位置，得到剪枝后的稀疏网络。
(6)对剪枝后的稀疏网络进行微调训练，更新剪枝后的稀疏网络参数：
(6a)按照如下损失计算公式，计算剪枝后的稀疏网络的损失值：
Figure BDA0001664005930000031
其中，Ls表示剪枝后的稀疏网络的损失值，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；
(6b)设微调训练的最大更新次数T2＝40，用损失值Ls更新剪枝后的稀疏网络的每一层参数；
(7)判断微调训练的更新次数是否达到40次，若是，则得到微调后的稀疏网络及各层参数，否则，返回步骤(6)。
本发明与现有技术相比具有以下优点：
第一，由于本发明不仅采用基本扩张残差单元结构来减少卷积神经网络中神经元或特征的退化，而且结合降采样层后置策略，将深度卷积层卷积步长为2的扩张残差单元放置在具有相同参数的扩张残差单元的后部，使得卷积层具有更大的激活图，从而提供更多的信息，有利用提高模型性能。
第二，由于本发明针对基本扩张残差单元中深度卷积层参数极少的特点，仅对每一个逐点卷积层中的冗余特征进行剪枝，更好地保留了深度卷积层的有效信息，能够克服现有逐通道剪枝方法不适用于对具有扩张残差单元结构的神经网络进行剪枝的局限性。
附图说明
图1为本发明的实现流程图；
图2为本发明中的44层卷积神经网络的结构示意图；
图3为本发明中的扩张因子为2的基本扩张残差单元结构示意图。
具体实施方式
下面结合附图，对本发明作进一步的详细描述。
参照图1，对本发明实现的步骤作进一步的详细描述。
步骤1，获取训练样本集。
选用CIFAR10数据集中的60000幅32×32的彩色图像作为输出样本集，共分为10个类，从每一类中随机选取5000幅图，共50000幅图构成输入训练样本集。
步骤2，构建44层卷积神经网络。
参照图2，本步骤的具体实现如下：
(2a)基于现有的基本扩张残差单元结构，加入降采样层后置策略，将深度卷积层卷积步长为2的扩张残差单元放置在具有相同参数设置的扩张残差单元的后部，得到一个44层卷积神经网络，结构依次为：
输入层→第一个常规卷积层→第一个扩张残差单元→第二个扩张残差单元→第三个扩张残差单元→第四个扩张残差单元→第五个扩张残差单元→第六个扩张残差单元→第七个扩张残差单元→第八个扩张残差单元→第九个扩张残差单元→第十个扩张残差单元→第十一个扩张残差单元→第十二个扩张残差单元→第十三个扩张残差单元→第二个常规卷积层→全局平均池化层→Softmax分类层；每一个扩张残差单元包括：第1个逐点卷积层→深度卷积层→第2个逐点卷积层，共形成44层卷积神经网络；并在第一个常规卷积层和第二个常规卷积层后使用批量归一化和非线性映射操作；图2中的省略号表示第三至第十一个扩张残差单元；
参照图3，每一个扩张残差单元中的第1个逐点卷积层和深度卷积层后使用批量归一化和非线性映射操作，第2个逐点卷积层后仅使用批量归一化操作；
参照图3(a)，将第一个扩张残差单元的输出和第一个常规卷积层的输出进行逐点相加；将第二至第四、第六至第八、第十至第十二个扩张残差单元的输出分别与其前一个扩张残差单元的输出进行逐点相加；
参照图3(b)，将第五、第九和第十三个扩张残差单元的输出分别与其前一个扩张残差单元经过步长为2的平均池化操作后得到的输出进行特征拼接；
(2b)设置各层参数：
将输入层的输入通道总数设置为3；
将第一个常规卷积层的卷积核总数设置为32个，卷积核的尺寸设置为3×3，卷积步长设置为1；
将第一个扩张残差单元中第1个逐点卷积层的卷积核总数设置为64个，卷积步长设置为1，深度卷积层的卷积核总数设置为64个，卷积步长设置为2，第2个逐点卷积层的卷积核总数设置为32个，卷积步长设置为1；
将第二至第五个扩张残差单元中第1个逐点卷积层和深度卷积层的卷积核总数均设置为128个，第2个逐点卷积层的卷积核总数设置为64个，其中，将第五个扩张残差单元中深度卷积层的卷积步长设置为2，其余卷积层卷积步长均设置为1；
将第六至第九个扩张残差单元中第1个逐点卷积层和深度卷积层的卷积核总数均设置为256个，第2个逐点卷积层的卷积核总数设置为128个，其中，将第九个扩张残差单元中深度卷积层的卷积步长设置为2，其余卷积层卷积步长均设置为1；
将第十至第十三个扩张残差单元中第1个逐点卷积层和深度卷积层的卷积核总数均设置为512个，第2个逐点卷积层的卷积核总数设置为256个，其中，将第十三个扩张残差单元中深度卷积层的卷积步长设置为2，其余卷积层卷积步长均设置为1；
其中，将所有逐点卷积层的卷积核尺寸均设置为1×1；将所有深度卷积层的卷积核尺寸均设置为3×3；
将第二个常规卷积层的卷积核总数设置为1024个，卷积核的尺寸设置为1×1，卷积步长设置为1；
将全局平均池化层的卷积核尺寸设置为2×2；
将Softmax分类层的输出通道总数设置为10；
将初始学习率设置为0.0001。
步骤3，更新44层卷积神经网络参数。
(3a)利用损失计算公式，计算44层卷积神经网络的损失值L：
Figure BDA0001664005930000061
其中，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；γ表示44层卷积神经网络中逐点卷积层归一化后的权重，λ表示正则项的权重，||·||1表示L1范数操作；
(3b)设初始训练的最大更新次数T1＝100，用损失值L更新44层卷积神经网络中的每一层参数；
步骤4，对44层卷积神经网络的初始训练更新次数进行判断。
判断初始训练的更新次数是否达到100次：若是，则得到训练好的44层卷积神经网络及各层参数，执行步骤5，否则，返回步骤3。
步骤5，对训练好的44层卷积神经网络进行跨层剪枝。
(5a)取出训练好的44层卷积神经网络中每一个逐点卷积层归一化后的权重，构成权重向量γ，将所有权重向量γ合成一个向量，并将该向量的值按照升序排列，得到排序后的权重向量W；
(5b)按照下式得到全局剪枝阈值在排序后的权重向量W中对应的索引It：
It＝N×P
其中，N表示权重向量W的个数，P表示当前设定的剪枝率；
(5c)从排序后的权重向量W中取出索引It对应的权重值，作为全局剪枝阈值T；
(5d)对训练好的44层卷积神经网络中每一个逐点卷积层设置一个与该层权重向量γ维度相同的模板向量M，将每层的权重向量γ中的值与全局剪枝阈值T进行比较：
若权重向量γ中的值大于等于全局剪枝阈值T，则将模板向量M中对应位置的值设
为1，反之，设为0；
(5e)统计每一个模板向量M中值为1的个数，得到每一个逐点卷积层需要保留的特征通道的数目C，根据所有特征数目C构成的集合构建一个初始的稀疏网络；
(5f)根据每一个模板向量M中值为1的位置，得到每一个逐点卷积层中需要保留的特征通道的索引，构成特征索引向量If；
(5g)将训练好的44层卷积神经网络中每一个逐点卷积层的特征索引向量If对应的每一个特征通道的权重值，依次复制到构建好的初始稀疏网络中对应的位置，得到剪枝后的稀疏网络。
步骤6，对剪枝后的稀疏网络进行微调训练，更新剪枝后的稀疏网络参数。
(6a)按照如下损失计算公式，计算剪枝后的稀疏网络的损失值Ls：
Figure BDA0001664005930000071
其中，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；
(6b)设微调训练的最大更新次数T2＝40，用损失值Ls更新剪枝后的稀疏网络的每一层参数。
步骤7，对剪枝后稀疏网络的微调训练的更新次数进行判断。
判断微调训练的更新次数是否达到40次：若是，则得到微调后的稀疏网络及各层参数，否则，返回步骤6。
下面结合仿真实验对本发明的效果做进一步说明。
1.仿真条件：
本发明的仿真实验是在单块NVIDIA GTX 1080Ti型号的GPU、运行内存为128GB的硬件环境和PyTorch 0.3.1的软件环境下进行的；选取CIFAR10数据集中除去训练样本集后剩余的10000幅彩色图像作为测试样本集。
2.仿真内容：
采用本发明方法对CIFAR10测试样本集图像进行分类，给出了剪枝前后的分类精度、模型参数和模型尺寸的对比结果，如表1所示。
表1 CIFAR10分类结果
Figure BDA0001664005930000081
从表1可以看出，本发明方法剪枝前的分类精度为91.53％，剪枝后的分类精度降低到23.96％，经过微调训练后分类精度恢复到91.28％，仅比剪枝前降低了0.25％；将剪枝前的神经网络模型参数从1.96M减少到32K，模型尺寸从15.1M压缩到162K。由此可见本发明方法在分类精度损失极小的情况下，能够极大地减少模型参数、压缩模型尺寸。

Claims (5)

1.一种基于特征冗余分析的神经网络跨层剪枝方法，其特征在于，包括如下：
(1)获取训练样本集：
选用CIFAR10数据集中的60000幅32×32的彩色图像作为输出样本集，共分为10个类，从每一类中随机选取5000幅图，共50000幅图构成输入训练样本集；
(2)构建44层卷积神经网络：
(2a)基于现有的基本扩张残差单元结构，加入降采样层后置策略，将深度卷积层卷积步长为2的扩张残差单元放置在具有相同参数设置的扩张残差单元的后部，得到一个44层卷积神经网络；
(2b)并设置各层参数；
(3)更新44层卷积神经网络参数：
(3a)按照如下损失计算公式，计算44层卷积神经网络的损失值：
Figure FDA0002241379850000011
其中，L表示44层卷积神经网络的损失值，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；γ表示44层卷积神经网络中逐点卷积层归一化后的权重，λ表示正则项的权重，||·||1表示L1范数操作；
(3b)设初始训练的最大更新次数T1＝100，用损失值L更新44层卷积神经网络的每一层参数；
(4)判断初始训练的更新次数是否达到100次，若是，则得到训练好的44层卷积神经网络及各层参数，执行步骤(5)，否则，返回步骤(3)；
(5)对训练好的44层卷积神经网络进行跨层剪枝：
(5a)取出训练好的44层卷积神经网络中每一个逐点卷积层归一化后的权重，构成权重向量γ，将所有权重向量γ合成一个向量，并将该向量的值按照升序排列，得到排序后的权重向量W；
(5b)按照下式得到全局剪枝阈值在排序后的权重向量W中对应的索引It：
It＝N×P
其中，N表示权重向量W的个数，P表示当前设定的剪枝率；
(5c)从排序后的权重向量W中取出索引It对应的权重值，作为全局剪枝阈值T；
(5d)对训练好的44层卷积神经网络中每一个逐点卷积层设置一个与该层权重向量γ维度相同的模板向量M，将每层的权重向量γ中的值与全局剪枝阈值T进行比较：若权重向量γ中的值大于等于全局剪枝阈值T，则将模板向量M中对应位置的值设为1，反之，设为0；
(5e)统计每一个模板向量M中值为1的个数，得到每一个逐点卷积层需要保留的特征通道的数目C，根据所有特征通道的数目C构成的集合构建一个初始的稀疏网络；
(5f)根据每一个模板向量M中值为1的位置，得到每一个逐点卷积层中需要保留的特征通道的索引，构成特征索引向量If；将训练好的44层卷积神经网络中每一个逐点卷积层的特征索引向量If对应的每一个特征通道的权重值，依次复制到构建好的初始稀疏网络中对应的位置，得到剪枝后的稀疏网络；
(6)对剪枝后的稀疏网络进行微调训练，更新剪枝后的稀疏网络参数：
(6a)按照如下损失计算公式，计算剪枝后的稀疏网络的损失值：
Figure FDA0002241379850000021
其中，Ls表示剪枝后的稀疏网络的损失值，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；
(6b)设微调训练的最大更新次数T2＝40，用损失值Ls更新剪枝后的稀疏网络的每一层参数；
(7)判断微调训练的更新次数是否达到40次，若是，则得到微调后的稀疏网络及各层参数，否则，返回步骤(6)。
2.根据权利要求1所述的方法，步骤(2a)中的44层卷积神经网络，依次为一个输入层、一个第一常规卷积层、十三个扩张残差单元、一个第二常规卷积层、一个全局平均池化层和一个Softmax分类层，其中，每一个扩张残差单元均包括两个逐点卷积层和一个深度卷积层。
3.根据权利要求1或2所述的方法，步骤(2b)中设置网络各层参数，是将输入层的输入通道总数设置为3；将第一个常规卷积层的卷积核总数设置为32个，卷积核的尺寸设置为3×3，卷积步长设置为1；将第二个常规卷积层的卷积核总数设置为1024个，卷积核的尺寸设置为1×1，卷积步长设置为1；将全局平均池化层的卷积核尺寸设置为2×2；将Softmax分类层的输出通道总数设置为10；将初始学习率设置为0.0001。
4.根据权利要求1或2所述的方法，步骤(2b)中的参数设置，其对十三个扩张残差单元的参数设置如下：
将第一个扩张残差单元中第1个逐点卷积层的卷积核总数设置为64个，卷积步长设置为1，深度卷积层的卷积核总数设置为64个，卷积步长设置为2，第2个逐点卷积层的卷积核总数设置为32个，卷积步长设置为1；
将第二至第五个扩张残差单元中第1个逐点卷积层和深度卷积层的卷积核总数均设置为128个，第2个逐点卷积层的卷积核总数设置为64个，其中，将第五个扩张残差单元中深度卷积层的卷积步长设置为2，其余卷积层卷积步长均设置为1；
将第六至第九个扩张残差单元中第1个逐点卷积层和深度卷积层的卷积核总数均设置为256个，第2个逐点卷积层的卷积核总数设置为128个，其中，将第九个扩张残差单元中深度卷积层的卷积步长设置为2，其余卷积层卷积步长均设置为1；
将第十至第十三个扩张残差单元中第1个逐点卷积层和深度卷积层的卷积核总数均设置为512个，第2个逐点卷积层的卷积核总数设置为256个，其中，将第十三个扩张残差单元中深度卷积层的卷积步长设置为2，其余卷积层卷积步长均设置为1。
5.根据权利要求4所述的方法，其中十三个扩张残差单元中每个扩张残差单元的两个逐点卷积层的卷积核尺寸均设置为1×1，深度卷积层的卷积核尺寸均设置为3×3。
CN201810474089.3A 2018-05-17 2018-05-17 基于特征冗余分析的神经网络跨层剪枝方法 Active CN108764471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810474089.3A CN108764471B (zh) 2018-05-17 2018-05-17 基于特征冗余分析的神经网络跨层剪枝方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810474089.3A CN108764471B (zh) 2018-05-17 2018-05-17 基于特征冗余分析的神经网络跨层剪枝方法

Publications (2)

Publication Number Publication Date
CN108764471A CN108764471A (zh) 2018-11-06
CN108764471B true CN108764471B (zh) 2020-04-14

Family

ID=64006856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810474089.3A Active CN108764471B (zh) 2018-05-17 2018-05-17 基于特征冗余分析的神经网络跨层剪枝方法

Country Status (1)

Country Link
CN (1) CN108764471B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020125806A1 (en) 2018-12-17 2020-06-25 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image segmentation
CN109583576B (zh) * 2018-12-17 2020-11-06 上海联影智能医疗科技有限公司 一种医学图像处理装置及方法
CN109671020B (zh) * 2018-12-17 2023-10-24 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN109615858A (zh) * 2018-12-21 2019-04-12 深圳信路通智能技术有限公司 一种基于深度学习的智能停车行为判断方法
CN109754080A (zh) * 2018-12-21 2019-05-14 西北工业大学 面向嵌入式网络模型的剪枝方法
CN109685205A (zh) * 2018-12-26 2019-04-26 上海大学 一种基于稀疏矩阵的深度网络模型加速方法
CN109754070B (zh) * 2018-12-28 2022-10-21 东莞钜威软件科技有限公司 基于神经网络的绝缘阻值计算方法及电子设备
KR102214837B1 (ko) * 2019-01-29 2021-02-10 주식회사 디퍼아이 컨벌루션 신경망 파라미터 최적화 방법, 컨벌루션 신경망 연산방법 및 그 장치
CN109948717B (zh) * 2019-03-26 2023-08-18 江南大学 一种生成对抗网络的自生长训练方法
CN110059823A (zh) * 2019-04-28 2019-07-26 中国科学技术大学 深度神经网络模型压缩方法及装置
CN110119811B (zh) * 2019-05-15 2021-07-27 电科瑞达(成都)科技有限公司 一种基于熵重要性准则模型的卷积核裁剪方法
CN111950723A (zh) * 2019-05-16 2020-11-17 武汉Tcl集团工业研究院有限公司 神经网络模型训练方法、图像处理方法、装置及终端设备
CN110276452A (zh) * 2019-06-28 2019-09-24 北京中星微电子有限公司 神经网络模型的剪枝方法、装置、设备和人工智能芯片
CN110414673B (zh) * 2019-07-31 2022-10-28 北京达佳互联信息技术有限公司 多媒体识别方法、装置、设备及存储介质
CN111008640B (zh) * 2019-10-17 2024-03-19 平安科技（深圳）有限公司 图像识别模型训练及图像识别方法、装置、终端及介质
CN112734025B (zh) * 2019-10-28 2023-07-21 复旦大学 基于固定基正则化的神经网络参数稀疏化方法
CN110969240B (zh) * 2019-11-14 2022-12-09 北京达佳互联信息技术有限公司 一种深度卷积神经网络的剪枝方法、装置、设备及介质
CN111160540A (zh) * 2019-12-03 2020-05-15 中国电力科学研究院有限公司 一种神经网络参数的存储方法及装置
CN110929805B (zh) * 2019-12-05 2023-11-10 上海肇观电子科技有限公司 神经网络的训练方法、目标检测方法及设备、电路和介质
CN111310783B (zh) * 2020-01-05 2022-08-30 天津大学 基于脑电微状态特征与神经网络模型的言语状态检测方法
US20210209462A1 (en) * 2020-01-07 2021-07-08 Alibaba Group Holding Limited Method and system for processing a neural network
CN113516237B (zh) * 2020-04-09 2024-01-09 黑芝麻智能科技(重庆)有限公司 修剪卷积神经网络的方法
CN111832705B (zh) * 2020-06-30 2024-04-02 南京航空航天大学 一种卷积神经网络的压缩方法及其实现电路
CN112200295B (zh) * 2020-07-31 2023-07-18 星宸科技股份有限公司 稀疏化卷积神经网络的排序方法、运算方法、装置及设备
CN111898591B (zh) * 2020-08-28 2022-06-24 电子科技大学 一种基于剪枝残差网络的调制信号识别方法
CN112052951A (zh) * 2020-08-31 2020-12-08 北京中科慧眼科技有限公司 一种剪枝神经网络方法、系统、设备及可读存储介质
US11068786B1 (en) * 2020-12-17 2021-07-20 Moffett Technologies Co., Limited System and method for domain specific neural network pruning
CN112734036B (zh) * 2021-01-14 2023-06-02 西安电子科技大学 基于剪枝卷积神经网络的目标检测方法
CN112802141B (zh) * 2021-03-22 2021-08-24 深圳金三立视频科技股份有限公司 一种应用于图像目标检测的模型压缩方法及终端
CN113256592B (zh) * 2021-06-07 2021-10-08 中国人民解放军总医院 图像特征提取模型的训练方法、系统及装置
CN113408709B (zh) * 2021-07-12 2023-04-07 浙江大学 基于单元重要度的条件计算方法
CN113627595B (zh) * 2021-08-06 2023-07-25 温州大学 一种基于概率的MobileNetV1网络通道剪枝方法
CN116778027B (zh) * 2023-08-22 2023-11-07 中国空气动力研究与发展中心计算空气动力研究所 基于神经网络的曲面参数化方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015089148A2 (en) * 2013-12-13 2015-06-18 Amazon Technologies, Inc. Reducing dynamic range of low-rank decomposition matrices
CN106548234A (zh) * 2016-11-17 2017-03-29 北京图森互联科技有限责任公司 一种神经网络剪枝方法及装置
CN107239802A (zh) * 2017-06-28 2017-10-10 广东工业大学 一种图像分类方法及装置
WO2018022821A1 (en) * 2016-07-29 2018-02-01 Arizona Board Of Regents On Behalf Of Arizona State University Memory compression in a deep neural network
CN107944555A (zh) * 2017-12-07 2018-04-20 广州华多网络科技有限公司 神经网络压缩和加速的方法、存储设备和终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456991B1 (en) * 1999-09-01 2002-09-24 Hrl Laboratories, Llc Classification method and apparatus based on boosting and pruning of multiple classifiers
US10810482B2 (en) * 2016-08-30 2020-10-20 Samsung Electronics Co., Ltd System and method for residual long short term memories (LSTM) network
CN107609525B (zh) * 2017-09-19 2020-05-22 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015089148A2 (en) * 2013-12-13 2015-06-18 Amazon Technologies, Inc. Reducing dynamic range of low-rank decomposition matrices
WO2018022821A1 (en) * 2016-07-29 2018-02-01 Arizona Board Of Regents On Behalf Of Arizona State University Memory compression in a deep neural network
CN106548234A (zh) * 2016-11-17 2017-03-29 北京图森互联科技有限责任公司 一种神经网络剪枝方法及装置
CN107239802A (zh) * 2017-06-28 2017-10-10 广东工业大学 一种图像分类方法及装置
CN107944555A (zh) * 2017-12-07 2018-04-20 广州华多网络科技有限公司 神经网络压缩和加速的方法、存储设备和终端

Also Published As

Publication number Publication date
CN108764471A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108764471B (zh) 基于特征冗余分析的神经网络跨层剪枝方法
CN113128355A (zh) 一种基于通道剪枝的无人机图像实时目标检测方法
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
CN112668630B (zh) 一种基于模型剪枝的轻量化图像分类方法、系统及设备
CN112183742B (zh) 基于渐进式量化和Hessian信息的神经网络混合量化方法
CN113344188A (zh) 基于通道注意力模块的轻量级神经网络模型
CN113705775A (zh) 一种神经网络的剪枝方法、装置、设备及存储介质
CN111126602A (zh) 一种基于卷积核相似性剪枝的循环神经网络模型压缩方法
CN111667068A (zh) 一种基于掩码的深度图卷积神经网络模型剪枝方法与系统
CN111178312B (zh) 基于多任务特征学习网络的人脸表情识别方法
CN112052951A (zh) 一种剪枝神经网络方法、系统、设备及可读存储介质
CN113283473B (zh) 一种基于cnn特征映射剪枝的快速水下目标识别方法
CN109344893A (zh) 一种基于移动终端的图像分类方法及系统
Yue et al. Face recognition based on histogram equalization and convolution neural network
CN111694977A (zh) 一种基于数据增强的车辆图像检索方法
CN113919484A (zh) 基于深度卷积神经网络模型的结构化剪枝方法和装置
CN110807497A (zh) 基于深度动态网络的手写体数据分类方法及系统
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
CN111310918A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN114170657A (zh) 融合注意力机制与高阶特征表示的面部情感识别方法
CN110728186A (zh) 一种基于多网融合的火灾检测方法
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN112308213A (zh) 一种基于全局特征关系的卷积神经网络压缩方法
CN110288002B (zh) 一种基于稀疏正交神经网络的图像分类方法
CN112263224A (zh) 一种基于fpga边缘计算的医学信息处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant