CN111062382A - 用于目标检测网络的通道剪枝方法 - Google Patents
用于目标检测网络的通道剪枝方法 Download PDFInfo
- Publication number
- CN111062382A CN111062382A CN201911041201.5A CN201911041201A CN111062382A CN 111062382 A CN111062382 A CN 111062382A CN 201911041201 A CN201911041201 A CN 201911041201A CN 111062382 A CN111062382 A CN 111062382A
- Authority
- CN
- China
- Prior art keywords
- channel
- pruning
- network
- layer
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 94
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000010606 normalization Methods 0.000 claims abstract description 10
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种用于目标检测网络的通道剪枝方法，属于计算机视觉识别技术领域，对待剪枝的通道进行BN层归一化；获取归一化后的通道重要性因子；对通道重要性因子进行排序，确定剪枝阈值；根据剪枝阈值，结合剪枝率对BN层通道进行剪枝。本发明易于实现，可以评估每个通道在整个网络中的重要性，剪枝后的结果可以使精度损失降到最低，可以有效地压缩模型的大小，同时避免了精度的损失。
Description
技术领域
本发明涉及计算机视觉识别技术领域，具体涉及一种可压缩目标检测网络模型从而获得更轻量级网络模型的用于目标检测网络的通道剪枝方法。
背景技术
基于深度学习的目标检测技术近年来发展迅速。深度卷积神经网络在计算机视觉领域已经展现了良好的性能。由于识别目标的形状、外观、姿态各有不同，目标检测一直是计算机视觉领域最具挑战性的问题。
与图像分类相比，目标检测不仅需要识别图像中目标的类别，还需要估计其准确的位置。目前有两个主流的基于深度学习的目标检测框架。一种是两阶段检测器，如RCNN、FastRCNN和FasterRCNN。RCNN是经典的两阶段检测器，它可以通过选择搜索算法来生成候选区域，对于每个候选区域，该模型用卷积神经网络(CNNs)提取特征，然后对特征进行分类。FastRCNN和Faster RCNN进一步提高了目标检测的性能。然而由于选择搜索算法计算成本高，两阶段检测器的速度受到了很大的影响。另一种检测方案是一阶段的，它通过端到端的方式来训练网络。YOLO和SSD是典型的一阶段检测器。通常而言，一阶段检测器的精度略微逊色于两阶段检测器，但是他们的速度往往会更快。SSD中采用特征金字塔进行预测多尺度特征图，从而在不同大小的目标上都达到了良好的检测性能。为进一步提高检测精度，DSSD用ResNet-101代替VGG来增强网络的特征提取能力，然后用反卷积模块来实现添加大量上下文信息。RFBNet的灵感来自在人体视觉系统中的RFs结构，它可以在提高检测性能不增加检测时间。
然而，无论是一阶段检测器还是两阶段检测器，基于深度的目标检测模型有大量的参数，不适用于内存和计算资源受限的设备。为了解决内存消耗大且检测速度较慢的问题，很多深度神经网络模型的压缩和加速方法已经出现，包括参数修剪和共享，低秩分解和知识蒸馏。
参数剪枝和共享的方法可以通过删除网络模型中的冗余参数来减小模型的尺寸。权值剪枝主要用于减少模型的参数，对于包含全连接层的网络非常有效。例如，VGG-16中的全连接层只占整个浮点运算的不到1％，但是它们的参数量占据了模型总参数量的90％，对它进行参数剪枝就可以使模型的尺寸有效减小。然而，对于只包含卷积层的网络，对权值进行剪枝并不能压缩网络来获得更好的性能。针对仅包含卷积层的神经网络，现有的剪枝方法大多应用于图像分类网络。随着目标检测的广泛应用，目标检测网络的模型尺寸也需要减小，以适应内存较小的产品。
发明内容
本发明的目的在于提供一种可压缩目标检测网络模型从而获得更轻量级网络模型的通道参数剪枝方法，以解决上述背景技术中存在的技术问题。
为了实现上述目的，本发明采取了如下技术方案：
本发明提供的一种用于目标检测网络的通道剪枝方法，包括：
对通道进行BN层归一化；
获取归一化后的通道重要性因子；
对通道重要性因子进行排序，确定剪枝阈值；
根据剪枝阈值，结合剪枝率对BN层通道进行剪枝。
优选的，所述对待剪枝的通道进行BN层归一化包括：
其中，xin表示BN层的输入，xout表示BN层的输出，μB表示输入的迷你批次的均值，σB表示输入的迷你批次的方差，ε表示一个常数，γ表示BN层的缩放系数，β表示BN层的平移系数。
优选的，在对卷积网络的训练中，获取网络的缩放系数γ和平移系数β，缩放系数γ作为通道重要性因子。
优选的，在卷积网络的训练中，损失函数为：
其中，x表示卷积网络的输入，y表示卷积网络的目标，W表示卷积网络训练模型中的权值；f(*)表示输入x与权值W之间的运算；λ表示约束L1正则化的超参数，用来权衡损失和稀疏度；Γ表示BN层中所有的γ系数；
表示目标检测网络训练过程中输出与目标之间的损失；
在损失函数中引入L1正则化，使训练获取稀疏的通道重要性因子，正则化如下：
g(γ)＝|γ|。
优选的，对通道重要性因子进行排序确定剪枝阈值包括：
将所有BN层的缩放系数γ放入数组B中，将数组B按从小到大排序，则剪枝阈值Thre的计算公式为：
Thre＝B[len(B)×P]；
其中，len(B)表示数组B中的总项数，P表示剪枝率，B[*]表示数组B中第*项的数值。
优选的，将BN层中缩放系数γ小于Thre的通道进行剪枝。
优选的，将所述目标检测网络中的所有模块均作为待剪枝模块；或者，
将所述目标检测网络中的通用基准网络作为基准模块，将所述目标检测网络中的除基准模块以外的模块作为待剪枝模块。
优选的，所述通用基准网络包括VGG或ResNet。
本发明有益效果：易于实现，可以评估每个通道在整个网络中的重要性，剪枝后的结果可以使精度损失降到最低，可以有效地压缩模型的大小，同时避免了精度的损失。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1所述的用于目标检测网络的通道剪枝方法的流程图。
图2为本发明实施例2所述的用于目标检测网络的通道剪枝方法的流程图。
图3为本发明实施例3所述的用于目标检测网络的通道剪枝方法的流程图。
具体实施方式
下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或模块，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且实施例并不构成对本发明实施例的限定。
本领域普通技术人员应当理解的是，附图只是一个实施例的示意图，附图中的部件或装置并不一定是实施本发明所必须的。
实施例1
如图1所示，本发明实施例1提供一种用于目标检测网络的通道剪枝方法，该方法包括：将所述目标检测网络中的所有模块均作为待剪枝模块；对待剪枝的通道进行BN层归一化；通过引入BN层进行归一化，可以加速网络收敛，同时控制过拟合，可以少用或不用Dropout和正则化，还能降低网络对初始化权重不敏感，允许使用较大的学习率。获取归一化后的通道重要性因子；对通道重要性因子进行排序，确定剪枝阈值；根据剪枝阈值，结合剪枝率对BN层通道进行剪枝。
所述对待剪枝的通道进行BN层归一化包括：
其中，xin表示BN层的输入，xout表示BN层的输出，μB表示输入的迷你批次的均值，σB表示输入的迷你批次的方差，ε表示一个常数，γ表示BN层的缩放系数，β表示BN层的平移系数。
在对卷积网络的训练中，获取网络的缩放系数γ和平移系数β，将缩放系数γ作为通道重要性因子。
在卷积网络的训练中，损失函数为：
其中，x表示卷积网络的输入，y表示卷积网络的输出目标，W表示卷积网络训练模型中的权值；f(*)表示输入x与权值W之间的运算；λ表示约束L1正则化的超参数，用来权衡损失和稀疏度；Γ表示BN层中所有的γ系数；
表示目标检测网络训练过程中输出与目标之间的损失；
在损失函数中引入L1正则化，使训练获取稀疏的通道重要性因子，正则化如下：
g(γ)＝|γ|。
对通道重要性因子进行排序确定剪枝阈值包括：
将所有BN层的缩放系数γ放入数组B中，将数组B按从小到大排序，则剪枝阈值Thre的计算公式为：
Thre＝B[len(B)×P]；
其中，len(B)表示数组B中的总项数，P表示剪枝率，B[*]表示数组B中第*项的数值。
最后，将BN层中缩放系数γ小于Thre的通道进行剪枝。
实施例2
通道剪枝删除了卷积层中被认为不重要的通道，它可以大大降低网络的容量。通道剪枝可以避免目标检测网络中参数数量过多所造成的网络应用障碍。如图2所示，本发明实施例2提出一种有效的通道剪枝方案，可以压缩目标检测网络模型，从而获得一个更轻量级的网络模型。该剪枝方案中，选择BN层的所有参数γ作为通道因素重要性因子，在网络训练过程中，可以边训练边计算网络各层通道重要性因子。
具体的，该剪枝方案包括：
将选择目标检测网络中的所有层的缩放系数γ作为通道重要性因子。BN层可以对该层的输入数据进行归一化来避免简单的归一化方法使某一层所学习到得的特征受到影响。
BN层中采用的γ和β两个参数，可以通过训练被学习到，通过引入BN层进行归一化，可以加速网络收敛，同时控制过拟合，可以少用或不用Dropout和正则化，还能降低网络对初始化权重不敏感，允许使用较大的学习率。BN层的归一化过程可以用下面的公式进行表示：
式中，xin和xout分别表示BN层的输入和输出。μB是对一个迷你批次的输入计算它的均值，σB的是这个迷你批次的方差值。ε是一个常数。γ和β分别是BN层的缩放系数和平移系数，在对卷积网络的训练中，不仅可以获得卷积神经网络的参数，也可以获得BN层的缩放系数和平移系数。
BN层可以大大加快网络的收敛速度，特别是在深度网络中。它可以很容易地集成到一个已建立的网络中而不损失准确性。所以选择参数γ作为通道因素重要性因子，因为γ可以对归一化的值进行缩放，可以通过它来判断该通道的重要性程度。
通道剪枝需要对每一层中被认为不重要的通道进行剪枝，换句话说，就是修剪通道重要因子接近于零的通道。但实际上通道重要性因子并不总是接近于零。因此，在训练过程中，为使渠道重要性因子更稀疏，在loss函数中引入了L1正则化，从而使训练能产生更稀疏的通道重要性因子。
损失函数定义如下：
其中x为网络的输入，y为网络的目标。W是训练模型中的权值。f(*)表示输入x与权值W之间的运算。λ表示约束L1正则化的超参数，用来权衡损失和稀疏度；Γ表示BN层中所有的γ系数；公式(3)的前半部分
为目标检测网络训练过程中输出与目标之间的损失。
我们为γ增加了L1-norm约束。超参数λ来权衡损失和稀疏度。L1-norm定义如下：
g(γ)＝|γ| (4)
针对通道重要性因子低的通道，则该通道在网络中相对重要程度较低，这些通道就可以被修剪。
修剪之前需要先对它们进行排序，并按剪枝率计算相应的剪枝阈值，应用统一的剪枝率对网络进行剪枝。
其中剪枝率可以根据自己的需要进行确定，剪枝率越大，相应的模型尺寸会减小更多，但是精度也会有较大的损失。
在本发明实施例2中，将全局剪枝方案应用于RFBNet，分别采用了0.5和0.7两种剪枝率，对目标检测网络的所有模块进行了剪枝，也即全局剪枝。将BN层的系数γ作为通道重要的因素。在原来的RFBNet上增加了BN层进行训练。采用VOC2007数据集进行验证，采用了与原始RFBNet相同的学习策略，使用的Batch size为32。最初的学习率设为0.004，在150个epoch后每50个epoch学习率衰减0.1，为RFBNet增加了BN层，直接进行训练。得到剪枝模型后，可以修改原有的网络模型结构，对模型进行再训练，恢复剪枝模型的精度。全局剪枝在不同剪枝率下精度和模型尺寸比较如表1所示。
表1
全局剪枝方案易于实现。对于每个通道，全局剪枝方案可以评估其在整个网络中的重要性。剪枝后的结果可以使精度损失降到最低。然而，全局剪枝方案对所有的层都进行了剪枝操作，因此在网络的实际应用中缺乏一定的灵活性。
实施例3
如图3所示，本发明实施例3提供的一种用于目标检测网络的剪枝方法，该方法针对目标检测网络中的部分模块进行剪枝，也即局部剪枝。
在局部剪枝方案中，首先，将整个目标检测网络可以分为不同的模块：基础模块和特定模块(即待剪枝模块)。其中基础模块是不需要进行剪枝的模块。特定模块是需要修剪的模块。一般情况下将通用基准网络如VGG或ResNet等网络作为基准模块，网络的其余部分作为特定模块。然后，只计算特定模块的通道重要性因子。对网络进行剪枝后，对剪枝后的模型进行微调，精度会得到一定的恢复，模型尺寸也可以减小。
在本发明实施例3中，将局部剪枝方案应用于RFBNet，分别采用了0.5和0.7两种剪枝率，对目标检测网络的除基准模块以外的模块进行了剪枝，也即局部剪枝。将BN层的系数γ作为通道重要的因素。在原来的RFBNet上增加了BN层进行训练。采用VOC2007数据集进行验证，采用了与原始RFBNet相同的学习策略，使用的Batch size为32。最初的学习率设为0.004，在150个epoch后每50个epoch学习率衰减0.1，为RFBNet增加了BN层，直接进行训练。得到剪枝模型后，可以修改原有的网络模型结构，对模型进行再训练，恢复剪枝模型的精度。局部剪枝在不同剪枝率下精度和模型尺寸比较如表2所示。
表2
综上所述，本发明实施例所述的用于目标检测网络的通道剪枝方法，针对目标检测网络提出两种剪枝方案，即全局剪枝和局部剪枝。在全局剪枝方案中，目标检测网络的所有层都将被全部剪枝。局部剪枝方案将网络划分为不同的模块。对于需要修剪的特定模块进行修剪，而其他模块的所有通道都将被保留。与之前的方法进行了对比，易于实现，可以评估每个通道在整个网络中的重要性，剪枝后的结果可以使精度损失降到最低，可以有效地压缩模型的大小，同时避免了精度的损失，可以得到性能良好且尺寸较小的目标检测模型。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种用于目标检测网络的通道剪枝方法，其特征在于，包括：
对待剪枝的通道进行BN层归一化；
获取归一化后的通道重要性因子；
对通道重要性因子进行排序，确定剪枝阈值；
根据剪枝阈值，结合剪枝率对BN层通道进行剪枝。
2.根据权利要求1所述的用于目标检测网络的通道剪枝方法，其特征在于，所述对待剪枝的通道进行BN层归一化包括：
其中，xin表示BN层的输入，xout表示BN层的输出，μB表示输入的迷你批次的均值，σB表示输入的迷你批次的方差，ε表示一个常数，γ表示BN层的缩放系数，β表示BN层的平移系数。
3.根据权利要求1所述的用于目标检测网络的通道剪枝方法，其特征在于，在对卷积网络的训练中，获取网络的缩放系数γ和平移系数β，将缩放系数γ作为通道重要性因子。
4.根据权利要求3所述的用于目标检测网络的通道剪枝方法，其特征在于，在卷积网络的训练中，损失函数为：
其中，x表示卷积网络的输入，y表示卷积网络的目标，W表示卷积网络训练模型中的权值；f(*)表示输入x与权值W之间的运算；λ表示约束L1正则化的超参数，用来权衡损失和稀疏度；Γ表示BN层中所有的γ系数；
表示目标检测网络训练过程中输出与目标之间的损失；
在损失函数中引入L1正则化，使训练获取稀疏的通道重要性因子，正则化如下：
g(γ)＝|γ|。
5.根据权利要求3或4所述的用于目标检测网络的通道剪枝方法，其特征在于，对通道重要性因子进行排序确定剪枝阈值包括：
将所有BN层的缩放系数γ放入数组B中，将数组B按从小到大排序，则剪枝阈值Thre的计算公式为：
Thre＝B[len(B)×P]；
其中，len(B)表示数组B中的总项数，P表示剪枝率，B[*]表示数组B中第*项的数值。
6.根据权利要求5所述的用于目标检测网络的通道剪枝方法，其特征在于，将BN层中缩放系数γ小于Thre的通道进行剪枝。
7.根据权利要求1所述的用于目标检测网络的通道剪枝方法，其特征在于，将所述目标检测网络中的所有模块均作为待剪枝模块；或者，
将所述目标检测网络中的通用基准网络作为基准模块，将所述目标检测网络中的除基准模块以外的模块作为待剪枝模块。
8.根据权利要求7所述的用于目标检测网络的通道剪枝方法，其特征在于，所述通用基准网络包括VGG或ResNet。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911041201.5A CN111062382A (zh) | 2019-10-30 | 2019-10-30 | 用于目标检测网络的通道剪枝方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911041201.5A CN111062382A (zh) | 2019-10-30 | 2019-10-30 | 用于目标检测网络的通道剪枝方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111062382A true CN111062382A (zh) | 2020-04-24 |
Family
ID=70297609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911041201.5A Pending CN111062382A (zh) | 2019-10-30 | 2019-10-30 | 用于目标检测网络的通道剪枝方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062382A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111611906A (zh) * | 2020-05-18 | 2020-09-01 | 北京茵沃汽车科技有限公司 | 一种用于自动泊车的障碍物检测方法、系统及介质 |
| CN111652211A (zh) * | 2020-05-21 | 2020-09-11 | 哈尔滨市科佳通用机电股份有限公司 | 一种动车抗蛇行减振器安装座挂异物故障检测方法 |
| CN111753787A (zh) * | 2020-07-01 | 2020-10-09 | 江苏金海星导航科技有限公司 | 一种分离式的交通标志检测与识别方法 |
| CN112115837A (zh) * | 2020-09-11 | 2020-12-22 | 中国电子科技集团公司第五十四研究所 | 一种基于YoloV3和双阈值模型压缩的目标检测方法 |
| CN112149829A (zh) * | 2020-10-23 | 2020-12-29 | 北京百度网讯科技有限公司 | 确定网络模型剪枝策略的方法、装置、设备以及存储介质 |
| CN112308213A (zh) * | 2020-11-05 | 2021-02-02 | 湖南大学 | 一种基于全局特征关系的卷积神经网络压缩方法 |
| CN112329721A (zh) * | 2020-11-26 | 2021-02-05 | 上海电力大学 | 一种模型轻量化设计的遥感小目标检测方法 |
| CN112465114A (zh) * | 2020-11-25 | 2021-03-09 | 重庆大学 | 基于优化通道剪枝的快速目标检测方法及系统 |
| CN112668630A (zh) * | 2020-12-24 | 2021-04-16 | 华中师范大学 | 一种基于模型剪枝的轻量化图像分类方法、系统及设备 |
| CN112802141A (zh) * | 2021-03-22 | 2021-05-14 | 深圳金三立视频科技股份有限公司 | 一种应用于图像目标检测的模型压缩方法及终端 |
| CN112949662A (zh) * | 2021-05-13 | 2021-06-11 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、计算机设备以及存储介质 |
| CN113011570A (zh) * | 2021-04-30 | 2021-06-22 | 电子科技大学 | 一种卷积神经网络模型的自适应高精度压缩方法及系统 |
| CN113240090A (zh) * | 2021-05-27 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 图像处理模型生成方法、图像处理方法、装置及电子设备 |
| WO2021185121A1 (zh) * | 2020-03-17 | 2021-09-23 | 北京京东乾石科技有限公司 | 模型生成方法、目标检测方法、装置、设备及存储介质 |
| CN113780358A (zh) * | 2021-08-16 | 2021-12-10 | 华北电力大学（保定） | 一种基于无锚网络的实时金具检测方法 |
| CN113837381A (zh) * | 2021-09-18 | 2021-12-24 | 杭州海康威视数字技术股份有限公司 | 深度神经网络模型的网络剪枝方法、装置、设备及介质 |
| WO2022068451A1 (zh) * | 2020-09-30 | 2022-04-07 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
| CN115376022A (zh) * | 2022-06-30 | 2022-11-22 | 广东工业大学 | 基于神经网络的小目标检测算法在无人机航拍中的应用 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657780A (zh) * | 2018-06-15 | 2019-04-19 | 清华大学 | 一种基于剪枝顺序主动学习的模型压缩方法 |
| US20190180184A1 (en) * | 2017-12-12 | 2019-06-13 | Samsung Electronics Co., Ltd. | Self-pruning neural networks for weight parameter reduction |
| US20190251442A1 (en) * | 2018-02-14 | 2019-08-15 | Nvidia Corporation | Pruning convolutional neural networks |
| US20190251441A1 (en) * | 2018-02-13 | 2019-08-15 | Adobe Systems Incorporated | Reducing architectural complexity of convolutional neural networks via channel pruning |
| CN110147834A (zh) * | 2019-05-10 | 2019-08-20 | 上海理工大学 | 基于稀疏化双线性卷积神经网络的细粒度图像分类方法 |
| CN110197257A (zh) * | 2019-05-28 | 2019-09-03 | 浙江大学 | 一种基于增量正则化的神经网络结构化稀疏方法 |
-
2019
- 2019-10-30 CN CN201911041201.5A patent/CN111062382A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190180184A1 (en) * | 2017-12-12 | 2019-06-13 | Samsung Electronics Co., Ltd. | Self-pruning neural networks for weight parameter reduction |
| US20190251441A1 (en) * | 2018-02-13 | 2019-08-15 | Adobe Systems Incorporated | Reducing architectural complexity of convolutional neural networks via channel pruning |
| US20190251442A1 (en) * | 2018-02-14 | 2019-08-15 | Nvidia Corporation | Pruning convolutional neural networks |
| CN109657780A (zh) * | 2018-06-15 | 2019-04-19 | 清华大学 | 一种基于剪枝顺序主动学习的模型压缩方法 |
| CN110147834A (zh) * | 2019-05-10 | 2019-08-20 | 上海理工大学 | 基于稀疏化双线性卷积神经网络的细粒度图像分类方法 |
| CN110197257A (zh) * | 2019-05-28 | 2019-09-03 | 浙江大学 | 一种基于增量正则化的神经网络结构化稀疏方法 |
Non-Patent Citations (3)
| Title |
|---|
| HONGLI LIU等: "Channel pruning for object detection network", 《IET 8TH INTERNATIONAL CONFERENCE ON WIRELESS, MOBILE & MULTIMEDIA NETWORKS》, pages 1 - 7 * |
| 孔英会;朱成诚;车辚辚;: "复杂背景下基于MobileNets的花卉识别与模型剪枝", 科学技术与工程, no. 19 * |
| 马力;王永雄;: "基于稀疏化双线性卷积神经网络的细粒度图像分类", 模式识别与人工智能, no. 04 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021185121A1 (zh) * | 2020-03-17 | 2021-09-23 | 北京京东乾石科技有限公司 | 模型生成方法、目标检测方法、装置、设备及存储介质 |
| CN111611906A (zh) * | 2020-05-18 | 2020-09-01 | 北京茵沃汽车科技有限公司 | 一种用于自动泊车的障碍物检测方法、系统及介质 |
| CN111652211A (zh) * | 2020-05-21 | 2020-09-11 | 哈尔滨市科佳通用机电股份有限公司 | 一种动车抗蛇行减振器安装座挂异物故障检测方法 |
| CN111753787A (zh) * | 2020-07-01 | 2020-10-09 | 江苏金海星导航科技有限公司 | 一种分离式的交通标志检测与识别方法 |
| CN112115837A (zh) * | 2020-09-11 | 2020-12-22 | 中国电子科技集团公司第五十四研究所 | 一种基于YoloV3和双阈值模型压缩的目标检测方法 |
| WO2022068451A1 (zh) * | 2020-09-30 | 2022-04-07 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
| CN112149829A (zh) * | 2020-10-23 | 2020-12-29 | 北京百度网讯科技有限公司 | 确定网络模型剪枝策略的方法、装置、设备以及存储介质 |
| CN112149829B (zh) * | 2020-10-23 | 2024-05-14 | 北京百度网讯科技有限公司 | 确定网络模型剪枝策略的方法、装置、设备以及存储介质 |
| CN112308213A (zh) * | 2020-11-05 | 2021-02-02 | 湖南大学 | 一种基于全局特征关系的卷积神经网络压缩方法 |
| CN112465114A (zh) * | 2020-11-25 | 2021-03-09 | 重庆大学 | 基于优化通道剪枝的快速目标检测方法及系统 |
| CN112329721A (zh) * | 2020-11-26 | 2021-02-05 | 上海电力大学 | 一种模型轻量化设计的遥感小目标检测方法 |
| CN112668630A (zh) * | 2020-12-24 | 2021-04-16 | 华中师范大学 | 一种基于模型剪枝的轻量化图像分类方法、系统及设备 |
| CN112668630B (zh) * | 2020-12-24 | 2022-04-29 | 华中师范大学 | 一种基于模型剪枝的轻量化图像分类方法、系统及设备 |
| CN112802141A (zh) * | 2021-03-22 | 2021-05-14 | 深圳金三立视频科技股份有限公司 | 一种应用于图像目标检测的模型压缩方法及终端 |
| CN113011570A (zh) * | 2021-04-30 | 2021-06-22 | 电子科技大学 | 一种卷积神经网络模型的自适应高精度压缩方法及系统 |
| CN113011570B (zh) * | 2021-04-30 | 2023-04-07 | 电子科技大学 | 一种采用神经网络压缩系统的人脸表情识别方法 |
| CN112949662A (zh) * | 2021-05-13 | 2021-06-11 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、计算机设备以及存储介质 |
| CN113240090A (zh) * | 2021-05-27 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 图像处理模型生成方法、图像处理方法、装置及电子设备 |
| CN113240090B (zh) * | 2021-05-27 | 2024-05-14 | 北京达佳互联信息技术有限公司 | 图像处理模型生成方法、图像处理方法、装置及电子设备 |
| CN113780358A (zh) * | 2021-08-16 | 2021-12-10 | 华北电力大学（保定） | 一种基于无锚网络的实时金具检测方法 |
| CN113837381A (zh) * | 2021-09-18 | 2021-12-24 | 杭州海康威视数字技术股份有限公司 | 深度神经网络模型的网络剪枝方法、装置、设备及介质 |
| CN113837381B (zh) * | 2021-09-18 | 2024-01-05 | 杭州海康威视数字技术股份有限公司 | 深度神经网络模型的网络剪枝方法、装置、设备及介质 |
| CN115376022A (zh) * | 2022-06-30 | 2022-11-22 | 广东工业大学 | 基于神经网络的小目标检测算法在无人机航拍中的应用 |
| CN115376022B (zh) * | 2022-06-30 | 2024-04-05 | 广东工业大学 | 基于神经网络的小目标检测算法在无人机航拍中的应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062382A (zh) | 用于目标检测网络的通道剪枝方法 | |
| Wu et al. | Quantized convolutional neural networks for mobile devices | |
| CN111950656B (zh) | 图像识别模型生成方法、装置、计算机设备和存储介质 | |
| CN111723915B (zh) | 一种基于深度卷积神经网络的目标检测方法 | |
| CN112529146B (zh) | 神经网络模型训练的方法和装置 | |
| CN109214353B (zh) | 一种基于剪枝模型的人脸图像快速检测训练方法和装置 | |
| CN105488563A (zh) | 面向深度学习的稀疏自适应神经网络、算法及实现装置 | |
| CN111461322A (zh) | 一种深度神经网络模型压缩方法 | |
| Luo et al. | Orthogonally constrained matrix factorization for robust unsupervised feature selection with local preserving | |
| CN108875532A (zh) | 一种基于稀疏编码和长度后验概率的视频动作检测方法 | |
| CN113255910A (zh) | 卷积神经网络的剪枝方法、装置、电子设备和存储介质 | |
| CN112288084B (zh) | 基于特征图通道重要性的深度学习目标检测网络压缩方法 | |
| CN113657421A (zh) | 卷积神经网络压缩方法和装置、图像分类方法和装置 | |
| CN117501245A (zh) | 神经网络模型训练方法和装置、数据处理方法和装置 | |
| CN113157919A (zh) | 语句文本方面级情感分类方法及系统 | |
| CN117217282A (zh) | 一种面向深度行人搜索模型的结构化剪枝方法 | |
| Zeng et al. | Deep stereo matching with hysteresis attention and supervised cost volume construction | |
| CN116522143A (zh) | 模型训练方法、聚类方法、设备及介质 | |
| CN108805280A (zh) | 一种图像检索的方法和装置 | |
| CN111352926A (zh) | 数据处理的方法、装置、设备及可读存储介质 | |
| CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 | |
| Kulkarni et al. | A survey on filter pruning techniques for optimization of deep neural networks | |
| Yi et al. | Inner product regularized nonnegative self representation for image classification and clustering | |
| CN116384471A (zh) | 模型剪枝方法、装置、计算机设备、存储介质和程序产品 | |
| CN116415658A (zh) | 神经网络架构的搜索方法、装置和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200424 |
|
| RJ01 | Rejection of invention patent application after publication |