CN108764471A - 基于特征冗余分析的神经网络跨层剪枝方法 - Google Patents
基于特征冗余分析的神经网络跨层剪枝方法 Download PDFInfo
- Publication number
- CN108764471A CN108764471A CN201810474089.3A CN201810474089A CN108764471A CN 108764471 A CN108764471 A CN 108764471A CN 201810474089 A CN201810474089 A CN 201810474089A CN 108764471 A CN108764471 A CN 108764471A
- Authority
- CN
- China
- Prior art keywords
- point
- layer
- layers
- convolutional layer
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征冗余分析的神经网络跨层剪枝方法，主要解决现有技术对扩张残差单元进行逐层剪枝会造成深度卷积层信息丢失的问题。其实现方案是：1)获取训练样本集；2)构建44层卷积神经网络；3)更新44层卷积神经网络参数；4)判断初始训练的更新次数是否达到100次：若是，则得到训练好的44层卷积神经网络，对训练好的44层卷积神经网络进行跨层剪枝，执行5)；否则，返回3)；5)对剪枝后的稀疏网络进行微调训练；6)判断微调训练的更新次数是否达到40次：若是，则得到微调后的稀疏网络，否则，返回5)。本发明减少神经网络中神经元或特征的退化，降低了神经网络的参数和存储尺寸，可用于移动端和嵌入式设备中。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及一种神经网络跨层剪枝方法，可用于将深度卷积神经网络模型部署到移动端和嵌入式设备中。
背景技术
近年来，由于深度学习在语音识别、图像识别、目标检测等诸多计算机视觉任务中取得了突破性的成果而被广泛应用，成为了机器学习领域最具有代表性的技术。卷积神经网络模型普遍存在的现象是：第一，模型参数多、体积庞大、计算复杂度高且容易出现过拟合；第二，需要依靠非常多的训练数据和高性能并行计算设备进行长时间的训练，对硬件资源要求高，且功耗惊人。以上这些问题的存在都非常不利于深度卷积神经网络模型在移动端和嵌入式设备上的部署和应用。有研究指出，大规模的卷积神经网络中有相当一部分的神经元和连接权重对模型的性能没有实质性的影响，如果可以将这部分从网络中删减掉，不仅可以节省75％的参数，还可以缩减掉约50％的计算时间，说明神经网络模型的压缩具有潜在的可能性。以上背景表明，对深度卷积神经网络中的冗余参数和冗余特征进行剪枝在移动端和嵌入式设备的应用场景中具有重要的现实意义。
Howard等人在其发表的论文“Mobilenets:Efficient convolutional neuralnetworks for mobile vision applications”(Computer Vision and PatternRecognition,2017)中基于空间信息和深度信息分离的思想，将标准卷积操作拆分成一个深度卷积层接一个逐点卷积层，这种方法虽能有效地减少模型参数量和计算量，但由于仅使用深度可分离卷积构建了一个非常简单的直筒结构，对特征的复用性不强；另一方面，在深度卷积层部分，由于输入特征维度过小，再加上非线性的作用容易造成神经元或特征的退化。
Liu Zhuang等人在其发表的论文“Learning efficient convolutionalnetworks through network slimming”(IEEE International Conference on ComputerVision，2017)中对神经网络进行逐层剪枝，首先通过稀疏约束的优化方法将神经网络模型正则化，然后通过恢复和重新训练被剪枝的连接权重来提高预测精度，可以减小模型大小，降低运行内存和计算量，没有精度损失，而且不会给网络带来任何额外的开销。该方法的不足之处是，仅对常规卷积层堆叠而成的神经网络结构剪枝效果较好，但不适用于对具有扩张残差单元结构的神经网络进行剪枝，具有较大的局限性。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于特征冗余分析的神经网络跨层剪枝方法，旨在减少神经网络中神经元或特征的退化，降低神经网络的参数和存储尺寸，克服现有逐通道剪枝方法不适用于对具有扩张残差单元结构的神经网络进行剪枝的局限性。
为实现上述目的，本发明的技术方案是：通过对构建的神经网络中逐点卷积层特征的重要性进行分析，实现对逐点卷积层中冗余特征的剪枝，其实现步骤包括如下：
(1)获取训练样本集：
选用CIFAR10数据集中的60000幅32×32的彩色图像作为输出样本集，共分为10个类，从每一类中随机选取5000幅图，共50000幅图构成输入训练样本集；
(2)构建44层卷积神经网络：
(2a)基于现有的基本扩张残差单元结构，加入降采样层后置策略，将深度卷积层卷积步长为2的扩张残差单元放置在具有相同参数设置的扩张残差单元的后部，得到一个44层卷积神经网络；
(2b)并设置各层参数；
(3)更新44层卷积神经网络参数：
(3a)按照如下损失计算公式，计算44层卷积神经网络的损失值：
其中，L表示44层卷积神经网络的损失值，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；γ表示44层卷积神经网络中逐点卷积层归一化后的权重，λ表示正则项的权重，||·||1表示L1范数操作；
(3b)设初始训练的最大更新次数T1＝100，用损失值L更新44层卷积神经网络的每一层参数；
(4)判断初始训练的更新次数是否达到100次，若是，则得到训练好的44层卷积神经网络及各层参数，执行步骤(5)，否则，返回步骤(3)；
(5)对训练好的44层卷积神经网络进行跨层剪枝：
(5a)取出训练好的44层卷积神经网络中每一个逐点卷积层归一化后的权重，构成权重向量γ，将所有权重向量γ合成一个向量，并将该向量的值按照升序排列，得到排序后的权重向量W；
(5b)按照下式得到全局剪枝阈值在排序后的权重向量W中对应的索引It：
It＝N×P
其中，N表示权重向量W的个数，P表示当前设定的剪枝率；
(5c)从排序后的权重向量W中取出索引It对应的权重值，作为全局剪枝阈值T；
(5d)对训练好的44层卷积神经网络中每一个逐点卷积层设置一个与该层权重向量γ维度相同的模板向量M，将每层的权重向量γ中的值与全局剪枝阈值T进行比较：若权重向量γ中的值大于等于全局剪枝阈值T，则将模板向量M中对应位置的值设为1，反之，设为0；
(5e)统计每一个模板向量M中值为1的个数，得到每一个逐点卷积层需要保留的特征通道的数目C，根据所有特征数目C构成的集合构建一个初始的稀疏网络；
(5f)根据每一个模板向量M中值为1的位置，得到每一个逐点卷积层中需要保留的特征通道的索引，构成特征索引向量If；将训练好的44层卷积神经网络中每一个逐点卷积层的特征索引向量If对应的每一个特征通道的权重值，依次复制到构建好的初始稀疏网络中对应的位置，得到剪枝后的稀疏网络。
(6)对剪枝后的稀疏网络进行微调训练，更新剪枝后的稀疏网络参数：
(6a)按照如下损失计算公式，计算剪枝后的稀疏网络的损失值：
其中，Ls表示剪枝后的稀疏网络的损失值，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；
(6b)设微调训练的最大更新次数T2＝40，用损失值Ls更新剪枝后的稀疏网络的每一层参数；
(7)判断微调训练的更新次数是否达到40次，若是，则得到微调后的稀疏网络及各层参数，否则，返回步骤(6)。
本发明与现有技术相比具有以下优点：
第一，由于本发明不仅采用基本扩张残差单元结构来减少卷积神经网络中神经元或特征的退化，而且结合降采样层后置策略，将深度卷积层卷积步长为2的扩张残差单元放置在具有相同参数的扩张残差单元的后部，使得卷积层具有更大的激活图，从而提供更多的信息，有利用提高模型性能。
第二，由于本发明针对基本扩张残差单元中深度卷积层参数极少的特点，仅对每一个逐点卷积层中的冗余特征进行剪枝，更好地保留了深度卷积层的有效信息，能够克服现有逐通道剪枝方法不适用于对具有扩张残差单元结构的神经网络进行剪枝的局限性。
附图说明
图1为本发明的实现流程图；
图2为本发明中的44层卷积神经网络的结构示意图；
图3为本发明中的扩张因子为2的基本扩张残差单元结构示意图。
具体实施方式
下面结合附图，对本发明作进一步的详细描述。
参照图1，对本发明实现的步骤作进一步的详细描述。
步骤1，获取训练样本集。
选用CIFAR10数据集中的60000幅32×32的彩色图像作为输出样本集，共分为10个类，从每一类中随机选取5000幅图，共50000幅图构成输入训练样本集。
步骤2，构建44层卷积神经网络。
参照图2，本步骤的具体实现如下：
(2a)基于现有的基本扩张残差单元结构，加入降采样层后置策略，将深度卷积层卷积步长为2的扩张残差单元放置在具有相同参数设置的扩张残差单元的后部，得到一个44层卷积神经网络，结构依次为：
输入层→第一个常规卷积层→第一个扩张残差单元→第二个扩张残差单元→第三个扩张残差单元→第四个扩张残差单元→第五个扩张残差单元→第六个扩张残差单元→第七个扩张残差单元→第八个扩张残差单元→第九个扩张残差单元→第十个扩张残差单元→第十一个扩张残差单元→第十二个扩张残差单元→第十三个扩张残差单元→第二个常规卷积层→全局平均池化层→Softmax分类层；每一个扩张残差单元包括：第1个逐点卷积层→深度卷积层→第2个逐点卷积层，共形成44层卷积神经网络；并在第一个常规卷积层和第二个常规卷积层后使用批量归一化和非线性映射操作；图2中的省略号表示第三至第十一个扩张残差单元；
参照图3，每一个扩张残差单元中的第1个逐点卷积层和深度卷积层后使用批量归一化和非线性映射操作，第2个逐点卷积层后仅使用批量归一化操作；
参照图3(a)，将第一个扩张残差单元的输出和第一个常规卷积层的输出进行逐点相加；将第二至第四、第六至第八、第十至第十二个扩张残差单元的输出分别与其前一个扩张残差单元的输出进行逐点相加；
参照图3(b)，将第五、第九和第十三个扩张残差单元的输出分别与其前一个扩张残差单元经过步长为2的平均池化操作后得到的输出进行特征拼接；
(2b)设置各层参数：
将输入层的输入通道总数设置为3；
将第一个常规卷积层的卷积核总数设置为32个，卷积核的尺寸设置为3×3，卷积步长设置为1；
将第一个扩张残差单元中第1个逐点卷积层的卷积核总数设置为64个，卷积步长设置为1，深度卷积层的卷积核总数设置为64个，卷积步长设置为2，第2个逐点卷积层的卷积核总数设置为32个，卷积步长设置为1；
将第二至第五个扩张残差单元中第1个逐点卷积层和深度卷积层的卷积核总数均设置为128个，第2个逐点卷积层的卷积核总数设置为64个，其中，将第五个扩张残差单元中深度卷积层的卷积步长设置为2，其余卷积层卷积步长均设置为1；
将第六至第九个扩张残差单元中第1个逐点卷积层和深度卷积层的卷积核总数均设置为256个，第2个逐点卷积层的卷积核总数设置为128个，其中，将第九个扩张残差单元中深度卷积层的卷积步长设置为2，其余卷积层卷积步长均设置为1；
将第十至第十三个扩张残差单元中第1个逐点卷积层和深度卷积层的卷积核总数均设置为512个，第2个逐点卷积层的卷积核总数设置为256个，其中，将第十三个扩张残差单元中深度卷积层的卷积步长设置为2，其余卷积层卷积步长均设置为1；
其中，将所有逐点卷积层的卷积核尺寸均设置为1×1；将所有深度卷积层的卷积核尺寸均设置为3×3；
将第二个常规卷积层的卷积核总数设置为1024个，卷积核的尺寸设置为1×1，卷积步长设置为1；
将全局平均池化层的卷积核尺寸设置为2×2；
将Softmax分类层的输出通道总数设置为10；
将初始学习率设置为0.0001。
步骤3，更新44层卷积神经网络参数。
(3a)利用损失计算公式，计算44层卷积神经网络的损失值L：
其中，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；γ表示44层卷积神经网络中逐点卷积层归一化后的权重，λ表示正则项的权重，||·||1表示L1范数操作；
(3b)设初始训练的最大更新次数T1＝100，用损失值L更新44层卷积神经网络中的每一层参数；
步骤4，对44层卷积神经网络的初始训练更新次数进行判断。
判断初始训练的更新次数是否达到100次：若是，则得到训练好的44层卷积神经网络及各层参数，执行步骤5，否则，返回步骤3。
步骤5，对训练好的44层卷积神经网络进行跨层剪枝。
(5a)取出训练好的44层卷积神经网络中每一个逐点卷积层归一化后的权重，构成权重向量γ，将所有权重向量γ合成一个向量，并将该向量的值按照升序排列，得到排序后的权重向量W；
(5b)按照下式得到全局剪枝阈值在排序后的权重向量W中对应的索引It：
It＝N×P
其中，N表示权重向量W的个数，P表示当前设定的剪枝率；
(5c)从排序后的权重向量W中取出索引It对应的权重值，作为全局剪枝阈值T；
(5d)对训练好的44层卷积神经网络中每一个逐点卷积层设置一个与该层权重向量γ维度相同的模板向量M，将每层的权重向量γ中的值与全局剪枝阈值T进行比较：
若权重向量γ中的值大于等于全局剪枝阈值T，则将模板向量M中对应位置的值设
为1，反之，设为0；
(5e)统计每一个模板向量M中值为1的个数，得到每一个逐点卷积层需要保留的特征通道的数目C，根据所有特征数目C构成的集合构建一个初始的稀疏网络；
(5f)根据每一个模板向量M中值为1的位置，得到每一个逐点卷积层中需要保留的特征通道的索引，构成特征索引向量If；
(5g)将训练好的44层卷积神经网络中每一个逐点卷积层的特征索引向量If对应的每一个特征通道的权重值，依次复制到构建好的初始稀疏网络中对应的位置，得到剪枝后的稀疏网络。
步骤6，对剪枝后的稀疏网络进行微调训练，更新剪枝后的稀疏网络参数。
(6a)按照如下损失计算公式，计算剪枝后的稀疏网络的损失值Ls：
其中，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；
(6b)设微调训练的最大更新次数T2＝40，用损失值Ls更新剪枝后的稀疏网络的每一层参数。
步骤7，对剪枝后稀疏网络的微调训练的更新次数进行判断。
判断微调训练的更新次数是否达到40次：若是，则得到微调后的稀疏网络及各层参数，否则，返回步骤6。
下面结合仿真实验对本发明的效果做进一步说明。
1.仿真条件：
本发明的仿真实验是在单块NVIDIA GTX 1080Ti型号的GPU、运行内存为128GB的硬件环境和PyTorch 0.3.1的软件环境下进行的；选取CIFAR10数据集中除去训练样本集后剩余的10000幅彩色图像作为测试样本集。
2.仿真内容：
采用本发明方法对CIFAR10测试样本集图像进行分类，给出了剪枝前后的分类精度、模型参数和模型尺寸的对比结果，如表1所示。
表1 CIFAR10分类结果
从表1可以看出，本发明方法剪枝前的分类精度为91.53％，剪枝后的分类精度降低到23.96％，经过微调训练后分类精度恢复到91.28％，仅比剪枝前降低了0.25％；将剪枝前的神经网络模型参数从1.96M减少到32K，模型尺寸从15.1M压缩到162K。由此可见本发明方法在分类精度损失极小的情况下，能够极大地减少模型参数、压缩模型尺寸。
Claims (5)
1.一种基于特征冗余分析的神经网络跨层剪枝方法，其特征在于，包括如下：
(1)获取训练样本集：
选用CIFAR10数据集中的60000幅32×32的彩色图像作为输出样本集，共分为10个类，从每一类中随机选取5000幅图，共50000幅图构成输入训练样本集；
(2)构建44层卷积神经网络：
(2a)基于现有的基本扩张残差单元结构，加入降采样层后置策略，将深度卷积层卷积步长为2的扩张残差单元放置在具有相同参数设置的扩张残差单元的后部，得到一个44层卷积神经网络；
(2b)并设置各层参数；
(3)更新44层卷积神经网络参数：
(3a)按照如下损失计算公式，计算44层卷积神经网络的损失值：
其中，L表示44层卷积神经网络的损失值，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；γ表示44层卷积神经网络中逐点卷积层归一化后的权重，λ表示正则项的权重，||·||1表示L1范数操作；
(3b)设初始训练的最大更新次数T1＝100，用损失值L更新44层卷积神经网络的每一层参数；
(4)判断初始训练的更新次数是否达到100次，若是，则得到训练好的44层卷积神经网络及各层参数，执行步骤(5)，否则，返回步骤(3)；
(5)对训练好的44层卷积神经网络进行跨层剪枝：
(5a)取出训练好的44层卷积神经网络中每一个逐点卷积层归一化后的权重，构成权重向量γ，将所有权重向量γ合成一个向量，并将该向量的值按照升序排列，得到排序后的权重向量W；
(5b)按照下式得到全局剪枝阈值在排序后的权重向量W中对应的索引It：
It＝N×P
其中，N表示权重向量W的个数，P表示当前设定的剪枝率；
(5c)从排序后的权重向量W中取出索引It对应的权重值，作为全局剪枝阈值T；
(5d)对训练好的44层卷积神经网络中每一个逐点卷积层设置一个与该层权重向量γ维度相同的模板向量M，将每层的权重向量γ中的值与全局剪枝阈值T进行比较：若权重向量γ中的值大于等于全局剪枝阈值T，则将模板向量M中对应位置的值设为1，反之，设为0；
(5e)统计每一个模板向量M中值为1的个数，得到每一个逐点卷积层需要保留的特征通道的数目C，根据所有特征数目C构成的集合构建一个初始的稀疏网络；
(5f)根据每一个模板向量M中值为1的位置，得到每一个逐点卷积层中需要保留的特征通道的索引，构成特征索引向量If；将训练好的44层卷积神经网络中每一个逐点卷积层的特征索引向量If对应的每一个特征通道的权重值，依次复制到构建好的初始稀疏网络中对应的位置，得到剪枝后的稀疏网络。
(6)对剪枝后的稀疏网络进行微调训练，更新剪枝后的稀疏网络参数：
(6a)按照如下损失计算公式，计算剪枝后的稀疏网络的损失值：
其中，Ls表示剪枝后的稀疏网络的损失值，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；
(6b)设微调训练的最大更新次数T2＝40，用损失值Ls更新剪枝后的稀疏网络的每一层参数；
(7)判断微调训练的更新次数是否达到40次，若是，则得到微调后的稀疏网络及各层参数，否则，返回步骤(6)。
2.根据权利要求1所述的方法，步骤(2a)中的44层卷积神经网络，依次为一个输入层、一个第一常规卷积层、十三个扩张残差单元、一个第二常规卷积层、一个全局平均池化层和一个Softmax分类层，其中，每一个扩张残差单元均包括两个逐点卷积层和一个深度卷积层。
3.根据权利要求1或2所述的方法，步骤(2b)中设置网络各层参数，是将输入层的输入通道总数设置为3；将第一个常规卷积层的卷积核总数设置为32个，卷积核的尺寸设置为3×3，卷积步长设置为1；将第二个常规卷积层的卷积核总数设置为1024个，卷积核的尺寸设置为1×1，卷积步长设置为1；将全局平均池化层的卷积核尺寸设置为2×2；将Softmax分类层的输出通道总数设置为10；将初始学习率设置为0.0001。
4.根据权利要求1或2所述的方法，步骤(2b)中的参数设置，其对十三个扩张残差单元的参数设置如下：
将第一个扩张残差单元中第1个逐点卷积层的卷积核总数设置为64个，卷积步长设置为1，深度卷积层的卷积核总数设置为64个，卷积步长设置为2，第2个逐点卷积层的卷积核总数设置为32个，卷积步长设置为1；
将第二至第五个扩张残差单元中第1个逐点卷积层和深度卷积层的卷积核总数均设置为128个，第2个逐点卷积层的卷积核总数设置为64个，其中，将第五个扩张残差单元中深度卷积层的卷积步长设置为2，其余卷积层卷积步长均设置为1；
将第六至第九个扩张残差单元中第1个逐点卷积层和深度卷积层的卷积核总数均设置为256个，第2个逐点卷积层的卷积核总数设置为128个，其中，将第九个扩张残差单元中深度卷积层的卷积步长设置为2，其余卷积层卷积步长均设置为1；
将第十至第十三个扩张残差单元中第1个逐点卷积层和深度卷积层的卷积核总数均设置为512个，第2个逐点卷积层的卷积核总数设置为256个，其中，将第十三个扩张残差单元中深度卷积层的卷积步长设置为2，其余卷积层卷积步长均设置为1。
5.根据权利要求4所述的方法，其中十三个扩张残差单元中每个扩张残差单元的两个逐点卷积层的卷积核尺寸均设置为1×1，深度卷积层的卷积核尺寸均设置为3×3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810474089.3A CN108764471B (zh) | 2018-05-17 | 2018-05-17 | 基于特征冗余分析的神经网络跨层剪枝方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810474089.3A CN108764471B (zh) | 2018-05-17 | 2018-05-17 | 基于特征冗余分析的神经网络跨层剪枝方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108764471A true CN108764471A (zh) | 2018-11-06 |
| CN108764471B CN108764471B (zh) | 2020-04-14 |
Family
ID=64006856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810474089.3A Active CN108764471B (zh) | 2018-05-17 | 2018-05-17 | 基于特征冗余分析的神经网络跨层剪枝方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108764471B (zh) |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583576A (zh) * | 2018-12-17 | 2019-04-05 | 上海联影智能医疗科技有限公司 | 一种医学图像处理装置及方法 |
| CN109615858A (zh) * | 2018-12-21 | 2019-04-12 | 深圳信路通智能技术有限公司 | 一种基于深度学习的智能停车行为判断方法 |
| CN109671020A (zh) * | 2018-12-17 | 2019-04-23 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
| CN109685205A (zh) * | 2018-12-26 | 2019-04-26 | 上海大学 | 一种基于稀疏矩阵的深度网络模型加速方法 |
| CN109754080A (zh) * | 2018-12-21 | 2019-05-14 | 西北工业大学 | 面向嵌入式网络模型的剪枝方法 |
| CN109754070A (zh) * | 2018-12-28 | 2019-05-14 | 东莞钜威动力技术有限公司 | 基于神经网络的绝缘阻值计算方法及电子设备 |
| CN109948717A (zh) * | 2019-03-26 | 2019-06-28 | 江南大学 | 一种生成对抗网络的自生长训练方法 |
| CN110059823A (zh) * | 2019-04-28 | 2019-07-26 | 中国科学技术大学 | 深度神经网络模型压缩方法及装置 |
| CN110119811A (zh) * | 2019-05-15 | 2019-08-13 | 电科瑞达(成都)科技有限公司 | 一种基于熵重要性准则模型的卷积核裁剪方法 |
| CN110276452A (zh) * | 2019-06-28 | 2019-09-24 | 北京中星微电子有限公司 | 神经网络模型的剪枝方法、装置、设备和人工智能芯片 |
| CN110414673A (zh) * | 2019-07-31 | 2019-11-05 | 北京达佳互联信息技术有限公司 | 多媒体识别方法、装置、设备及存储介质 |
| CN110929805A (zh) * | 2019-12-05 | 2020-03-27 | 上海肇观电子科技有限公司 | 神经网络的训练方法、目标检测方法及设备、电路和介质 |
| CN110969240A (zh) * | 2019-11-14 | 2020-04-07 | 北京达佳互联信息技术有限公司 | 一种深度卷积神经网络的剪枝方法、装置、设备及介质 |
| CN111008640A (zh) * | 2019-10-17 | 2020-04-14 | 平安科技（深圳）有限公司 | 图像识别模型训练及图像识别方法、装置、终端及介质 |
| CN111160540A (zh) * | 2019-12-03 | 2020-05-15 | 中国电力科学研究院有限公司 | 一种神经网络参数的存储方法及装置 |
| CN111310783A (zh) * | 2020-01-05 | 2020-06-19 | 天津大学 | 基于脑电微状态特征与神经网络模型的言语状态检测方法 |
| CN111758104A (zh) * | 2019-01-29 | 2020-10-09 | 深爱智能科技有限公司 | 适合于硬件实现的神经网络参数优化方法、神经网络计算方法和装置 |
| CN111832705A (zh) * | 2020-06-30 | 2020-10-27 | 南京航空航天大学 | 一种卷积神经网络的压缩方法及其实现电路 |
| CN111898591A (zh) * | 2020-08-28 | 2020-11-06 | 电子科技大学 | 一种基于剪枝残差网络的调制信号识别方法 |
| CN111950723A (zh) * | 2019-05-16 | 2020-11-17 | 武汉Tcl集团工业研究院有限公司 | 神经网络模型训练方法、图像处理方法、装置及终端设备 |
| CN112052951A (zh) * | 2020-08-31 | 2020-12-08 | 北京中科慧眼科技有限公司 | 一种剪枝神经网络方法、系统、设备及可读存储介质 |
| CN112734025A (zh) * | 2019-10-28 | 2021-04-30 | 复旦大学 | 基于固定基正则化的神经网络参数稀疏化方法 |
| CN112734036A (zh) * | 2021-01-14 | 2021-04-30 | 西安电子科技大学 | 基于剪枝卷积神经网络的目标检测方法 |
| CN112802141A (zh) * | 2021-03-22 | 2021-05-14 | 深圳金三立视频科技股份有限公司 | 一种应用于图像目标检测的模型压缩方法及终端 |
| CN113159272A (zh) * | 2020-01-07 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 一种用于处理神经网络的方法和系统 |
| CN113168555A (zh) * | 2018-11-29 | 2021-07-23 | 谷歌有限责任公司 | 减少卷积神经网络的资源消耗的系统及相关方法 |
| CN113256592A (zh) * | 2021-06-07 | 2021-08-13 | 中国人民解放军总医院 | 图像特征提取模型的训练方法、系统及装置 |
| CN113408709A (zh) * | 2021-07-12 | 2021-09-17 | 浙江大学 | 基于单元重要度的条件计算方法 |
| TWI740726B (zh) * | 2020-07-31 | 2021-09-21 | 大陸商星宸科技股份有限公司 | 卷積神經網路的排序方法、運算方法及裝置 |
| CN113516237A (zh) * | 2020-04-09 | 2021-10-19 | 黑芝麻智能科技(重庆)有限公司 | 修剪卷积神经网络的方法 |
| CN113627595A (zh) * | 2021-08-06 | 2021-11-09 | 温州大学 | 一种基于概率的MobileNetV1网络通道剪枝方法 |
| US11341734B2 (en) | 2018-12-17 | 2022-05-24 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image segmentation |
| WO2022127907A1 (en) * | 2020-12-17 | 2022-06-23 | Moffett Technologies Co., Limited | System and method for domain specific neural network pruning |
| CN116778027A (zh) * | 2023-08-22 | 2023-09-19 | 中国空气动力研究与发展中心计算空气动力研究所 | 基于神经网络的曲面参数化方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6456991B1 (en) * | 1999-09-01 | 2002-09-24 | Hrl Laboratories, Llc | Classification method and apparatus based on boosting and pruning of multiple classifiers |
| WO2015089148A2 (en) * | 2013-12-13 | 2015-06-18 | Amazon Technologies, Inc. | Reducing dynamic range of low-rank decomposition matrices |
| CN106548234A (zh) * | 2016-11-17 | 2017-03-29 | 北京图森互联科技有限责任公司 | 一种神经网络剪枝方法及装置 |
| CN107239802A (zh) * | 2017-06-28 | 2017-10-10 | 广东工业大学 | 一种图像分类方法及装置 |
| CN107609525A (zh) * | 2017-09-19 | 2018-01-19 | 吉林大学 | 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法 |
| WO2018022821A1 (en) * | 2016-07-29 | 2018-02-01 | Arizona Board Of Regents On Behalf Of Arizona State University | Memory compression in a deep neural network |
| US20180060721A1 (en) * | 2016-08-30 | 2018-03-01 | Samsung Electronics Co., Ltd. | System and method for residual long short term memories (lstm) network |
| CN107944555A (zh) * | 2017-12-07 | 2018-04-20 | 广州华多网络科技有限公司 | 神经网络压缩和加速的方法、存储设备和终端 |
-
2018
- 2018-05-17 CN CN201810474089.3A patent/CN108764471B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6456991B1 (en) * | 1999-09-01 | 2002-09-24 | Hrl Laboratories, Llc | Classification method and apparatus based on boosting and pruning of multiple classifiers |
| WO2015089148A2 (en) * | 2013-12-13 | 2015-06-18 | Amazon Technologies, Inc. | Reducing dynamic range of low-rank decomposition matrices |
| WO2018022821A1 (en) * | 2016-07-29 | 2018-02-01 | Arizona Board Of Regents On Behalf Of Arizona State University | Memory compression in a deep neural network |
| US20180060721A1 (en) * | 2016-08-30 | 2018-03-01 | Samsung Electronics Co., Ltd. | System and method for residual long short term memories (lstm) network |
| CN106548234A (zh) * | 2016-11-17 | 2017-03-29 | 北京图森互联科技有限责任公司 | 一种神经网络剪枝方法及装置 |
| CN107239802A (zh) * | 2017-06-28 | 2017-10-10 | 广东工业大学 | 一种图像分类方法及装置 |
| CN107609525A (zh) * | 2017-09-19 | 2018-01-19 | 吉林大学 | 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法 |
| CN107944555A (zh) * | 2017-12-07 | 2018-04-20 | 广州华多网络科技有限公司 | 神经网络压缩和加速的方法、存储设备和终端 |
Non-Patent Citations (3)
| Title |
|---|
| SYED SHAKIB SARWAR ETAL.: "Energy Efficient Neural Computing: A Study of Cross-Layer Approximations", 《IEEE JOURNAL ON EMERGING AND SELECTED TOPICS IN CIRCUITS AND SYSTEMS》 * |
| 孙环龙 等: "前馈神经网络结构新型剪枝算法研究", 《广西师范学院学报(自然科学版)》 * |
| 费芸洁: "基于灵敏度分析的神经网络结构优化方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113168555A (zh) * | 2018-11-29 | 2021-07-23 | 谷歌有限责任公司 | 减少卷积神经网络的资源消耗的系统及相关方法 |
| CN109671020B (zh) * | 2018-12-17 | 2023-10-24 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
| US11341734B2 (en) | 2018-12-17 | 2022-05-24 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image segmentation |
| CN109671020A (zh) * | 2018-12-17 | 2019-04-23 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
| US11836925B2 (en) | 2018-12-17 | 2023-12-05 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image segmentation |
| CN109583576A (zh) * | 2018-12-17 | 2019-04-05 | 上海联影智能医疗科技有限公司 | 一种医学图像处理装置及方法 |
| CN109615858A (zh) * | 2018-12-21 | 2019-04-12 | 深圳信路通智能技术有限公司 | 一种基于深度学习的智能停车行为判断方法 |
| CN109754080A (zh) * | 2018-12-21 | 2019-05-14 | 西北工业大学 | 面向嵌入式网络模型的剪枝方法 |
| CN109685205A (zh) * | 2018-12-26 | 2019-04-26 | 上海大学 | 一种基于稀疏矩阵的深度网络模型加速方法 |
| CN109754070B (zh) * | 2018-12-28 | 2022-10-21 | 东莞钜威软件科技有限公司 | 基于神经网络的绝缘阻值计算方法及电子设备 |
| CN109754070A (zh) * | 2018-12-28 | 2019-05-14 | 东莞钜威动力技术有限公司 | 基于神经网络的绝缘阻值计算方法及电子设备 |
| CN111758104B (zh) * | 2019-01-29 | 2024-04-16 | 深爱智能科技有限公司 | 适合于硬件实现的神经网络参数优化方法、神经网络计算方法和装置 |
| CN111758104A (zh) * | 2019-01-29 | 2020-10-09 | 深爱智能科技有限公司 | 适合于硬件实现的神经网络参数优化方法、神经网络计算方法和装置 |
| CN109948717B (zh) * | 2019-03-26 | 2023-08-18 | 江南大学 | 一种生成对抗网络的自生长训练方法 |
| CN109948717A (zh) * | 2019-03-26 | 2019-06-28 | 江南大学 | 一种生成对抗网络的自生长训练方法 |
| CN110059823A (zh) * | 2019-04-28 | 2019-07-26 | 中国科学技术大学 | 深度神经网络模型压缩方法及装置 |
| CN110119811A (zh) * | 2019-05-15 | 2019-08-13 | 电科瑞达(成都)科技有限公司 | 一种基于熵重要性准则模型的卷积核裁剪方法 |
| CN110119811B (zh) * | 2019-05-15 | 2021-07-27 | 电科瑞达(成都)科技有限公司 | 一种基于熵重要性准则模型的卷积核裁剪方法 |
| CN111950723B (zh) * | 2019-05-16 | 2024-05-21 | 武汉Tcl集团工业研究院有限公司 | 神经网络模型训练方法、图像处理方法、装置及终端设备 |
| CN111950723A (zh) * | 2019-05-16 | 2020-11-17 | 武汉Tcl集团工业研究院有限公司 | 神经网络模型训练方法、图像处理方法、装置及终端设备 |
| CN110276452A (zh) * | 2019-06-28 | 2019-09-24 | 北京中星微电子有限公司 | 神经网络模型的剪枝方法、装置、设备和人工智能芯片 |
| CN110414673A (zh) * | 2019-07-31 | 2019-11-05 | 北京达佳互联信息技术有限公司 | 多媒体识别方法、装置、设备及存储介质 |
| CN111008640B (zh) * | 2019-10-17 | 2024-03-19 | 平安科技（深圳）有限公司 | 图像识别模型训练及图像识别方法、装置、终端及介质 |
| CN111008640A (zh) * | 2019-10-17 | 2020-04-14 | 平安科技（深圳）有限公司 | 图像识别模型训练及图像识别方法、装置、终端及介质 |
| CN112734025A (zh) * | 2019-10-28 | 2021-04-30 | 复旦大学 | 基于固定基正则化的神经网络参数稀疏化方法 |
| CN112734025B (zh) * | 2019-10-28 | 2023-07-21 | 复旦大学 | 基于固定基正则化的神经网络参数稀疏化方法 |
| CN110969240A (zh) * | 2019-11-14 | 2020-04-07 | 北京达佳互联信息技术有限公司 | 一种深度卷积神经网络的剪枝方法、装置、设备及介质 |
| CN110969240B (zh) * | 2019-11-14 | 2022-12-09 | 北京达佳互联信息技术有限公司 | 一种深度卷积神经网络的剪枝方法、装置、设备及介质 |
| CN111160540A (zh) * | 2019-12-03 | 2020-05-15 | 中国电力科学研究院有限公司 | 一种神经网络参数的存储方法及装置 |
| CN110929805A (zh) * | 2019-12-05 | 2020-03-27 | 上海肇观电子科技有限公司 | 神经网络的训练方法、目标检测方法及设备、电路和介质 |
| CN110929805B (zh) * | 2019-12-05 | 2023-11-10 | 上海肇观电子科技有限公司 | 神经网络的训练方法、目标检测方法及设备、电路和介质 |
| CN111310783A (zh) * | 2020-01-05 | 2020-06-19 | 天津大学 | 基于脑电微状态特征与神经网络模型的言语状态检测方法 |
| CN113159272A (zh) * | 2020-01-07 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 一种用于处理神经网络的方法和系统 |
| CN113159272B (zh) * | 2020-01-07 | 2024-07-26 | 阿里巴巴集团控股有限公司 | 一种用于处理神经网络的方法和系统 |
| US12073317B2 (en) | 2020-01-07 | 2024-08-27 | Alibaba Group Holding Limited | Method and system for processing a neural network |
| CN113516237A (zh) * | 2020-04-09 | 2021-10-19 | 黑芝麻智能科技(重庆)有限公司 | 修剪卷积神经网络的方法 |
| CN113516237B (zh) * | 2020-04-09 | 2024-01-09 | 黑芝麻智能科技(重庆)有限公司 | 修剪卷积神经网络的方法 |
| CN111832705B (zh) * | 2020-06-30 | 2024-04-02 | 南京航空航天大学 | 一种卷积神经网络的压缩方法及其实现电路 |
| CN111832705A (zh) * | 2020-06-30 | 2020-10-27 | 南京航空航天大学 | 一种卷积神经网络的压缩方法及其实现电路 |
| TWI740726B (zh) * | 2020-07-31 | 2021-09-21 | 大陸商星宸科技股份有限公司 | 卷積神經網路的排序方法、運算方法及裝置 |
| CN111898591A (zh) * | 2020-08-28 | 2020-11-06 | 电子科技大学 | 一种基于剪枝残差网络的调制信号识别方法 |
| CN111898591B (zh) * | 2020-08-28 | 2022-06-24 | 电子科技大学 | 一种基于剪枝残差网络的调制信号识别方法 |
| CN112052951A (zh) * | 2020-08-31 | 2020-12-08 | 北京中科慧眼科技有限公司 | 一种剪枝神经网络方法、系统、设备及可读存储介质 |
| CN116438544A (zh) * | 2020-12-17 | 2023-07-14 | 墨芯国际有限公司 | 用于特定领域神经网络修剪的系统和方法 |
| WO2022127907A1 (en) * | 2020-12-17 | 2022-06-23 | Moffett Technologies Co., Limited | System and method for domain specific neural network pruning |
| CN116438544B (zh) * | 2020-12-17 | 2024-04-30 | 墨芯国际有限公司 | 用于特定领域神经网络修剪的系统和方法 |
| CN112734036A (zh) * | 2021-01-14 | 2021-04-30 | 西安电子科技大学 | 基于剪枝卷积神经网络的目标检测方法 |
| CN112802141A (zh) * | 2021-03-22 | 2021-05-14 | 深圳金三立视频科技股份有限公司 | 一种应用于图像目标检测的模型压缩方法及终端 |
| CN113256592A (zh) * | 2021-06-07 | 2021-08-13 | 中国人民解放军总医院 | 图像特征提取模型的训练方法、系统及装置 |
| CN113256592B (zh) * | 2021-06-07 | 2021-10-08 | 中国人民解放军总医院 | 图像特征提取模型的训练方法、系统及装置 |
| CN113408709A (zh) * | 2021-07-12 | 2021-09-17 | 浙江大学 | 基于单元重要度的条件计算方法 |
| CN113627595B (zh) * | 2021-08-06 | 2023-07-25 | 温州大学 | 一种基于概率的MobileNetV1网络通道剪枝方法 |
| CN113627595A (zh) * | 2021-08-06 | 2021-11-09 | 温州大学 | 一种基于概率的MobileNetV1网络通道剪枝方法 |
| CN116778027A (zh) * | 2023-08-22 | 2023-09-19 | 中国空气动力研究与发展中心计算空气动力研究所 | 基于神经网络的曲面参数化方法及装置 |
| CN116778027B (zh) * | 2023-08-22 | 2023-11-07 | 中国空气动力研究与发展中心计算空气动力研究所 | 基于神经网络的曲面参数化方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108764471B (zh) | 2020-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764471A (zh) | 基于特征冗余分析的神经网络跨层剪枝方法 | |
| CN114937151B (zh) | 基于多感受野和注意力特征金字塔的轻量级目标检测方法 | |
| CN109461157A (zh) | 基于多级特征融合及高斯条件随机场的图像语义分割方法 | |
| CN112699958A (zh) | 一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法 | |
| CN110334765A (zh) | 基于注意力机制多尺度深度学习的遥感影像分类方法 | |
| US20190294928A1 (en) | Image processing method and apparatus, and computer-readable storage medium | |
| CN107292256A (zh) | 基于辅任务的深度卷积小波神经网络表情识别方法 | |
| CN113128355A (zh) | 一种基于通道剪枝的无人机图像实时目标检测方法 | |
| CN107766794A (zh) | 一种特征融合系数可学习的图像语义分割方法 | |
| CN112668630B (zh) | 一种基于模型剪枝的轻量化图像分类方法、系统及设备 | |
| CN106203363A (zh) | 人体骨架运动序列行为识别方法 | |
| CN110378208B (zh) | 一种基于深度残差网络的行为识别方法 | |
| CN111882040A (zh) | 基于通道数量搜索的卷积神经网络压缩方法 | |
| CN109583483A (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
| CN109492596B (zh) | 一种基于K-means聚类和区域推荐网络的行人检测方法及系统 | |
| CN112052754A (zh) | 基于自监督表征学习的极化sar影像地物分类方法 | |
| CN112365514A (zh) | 基于改进PSPNet的语义分割方法 | |
| CN109740451A (zh) | 基于重要性加权的道路场景图像语义分割方法 | |
| CN110135460A (zh) | 基于vlad卷积模块的图像信息强化方法 | |
| CN106022355A (zh) | 基于3dcnn的高光谱图像空谱联合分类方法 | |
| CN110781912A (zh) | 一种基于通道扩张倒置卷积神经网络的图像分类方法 | |
| CN109472352A (zh) | 一种基于特征图统计特征的深度神经网络模型裁剪方法 | |
| CN107563430A (zh) | 一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法 | |
| CN102915448A (zh) | 一种基于AdaBoost的三维模型自动分类方法 | |
| CN110096976A (zh) | 基于稀疏迁移网络的人体行为微多普勒分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |