CN113505804A - 一种基于压缩深度神经网络的图像识别方法及系统 - Google Patents
一种基于压缩深度神经网络的图像识别方法及系统 Download PDFInfo
- Publication number
- CN113505804A CN113505804A CN202110547003.7A CN202110547003A CN113505804A CN 113505804 A CN113505804 A CN 113505804A CN 202110547003 A CN202110547003 A CN 202110547003A CN 113505804 A CN113505804 A CN 113505804A
- Authority
- CN
- China
- Prior art keywords
- neural network
- deep neural
- scaling factor
- compressed
- pruning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013138 pruning Methods 0.000 claims abstract description 52
- 238000010606 normalization Methods 0.000 claims abstract description 27
- 238000009826 distribution Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims 1
- 230000006835 compression Effects 0.000 abstract description 11
- 238000007906 compression Methods 0.000 abstract description 11
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000001994 activation Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 1
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本公开公开的一种基于压缩深度神经网络的图像识别方法及系统，包括：获取待识别图像；将待识别图像输入训练好的压缩深度神经网络中，获取图像识别结果；其中，通过获取初始深度神经网络中批量归一化层的缩放因子，对缩放因子进行处理，使缩放因子服从高斯分布，利用高阶统计量计算缩放因子的高阶累积量，根据高阶累积量对批量归一化层的通道进行剪枝，获取压缩深度神经网络。实现了对深度神经网络的有效压缩。通过对深度神经网络进行压缩，从而能够将压缩深度神经网络加载至边缘设备上，进行图像识别。
Description
技术领域
本发明涉及深度学习技术领域及图像处理领域，尤其涉及一种基于压缩深度神经网络的图像识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
深度学习(Deep Learning)是机器学习的一个分支，是一种以人工神经网络为架构，对资料进行表征学习的算法。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。至今已有数种深度学习框架，如深度神经网络、卷积神经网络、深度置信网络和循环神经网络等在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域获得了极好的效果。
近些年来，深度神经网络有着飞速的发展，其应用尤为广泛，许多实验已经证明深度神经网络能够为许多的方向应用提供有效的解决方案，例如计算机视觉、自然语言处理、语音识别、情感分析、文本特征提取等领域。但为了达到更好的效果，目前深度神经网络层数增长较快，并且具有计算量大、参数多的特点，因此对计算设备性能以及算力的要求比较高。
目前随着科技的稳步推进，边缘设备逐渐占据主导地位，例如智能手环、智能可穿戴设备等，边缘设备的一大优点是在于它的功耗非常低。目前在一些应用场景中，由于受网络带宽、实时性要求等限制，需要边缘设备本身能够快速的处理数据，而不是将数据传到云端处理，因此需要在边缘设备上部署深度神经网络。但由于深度神经网络计算量大、参数多、尺寸大等特点，使其无法部署在资源受限的边缘设备上，因此，如何对深度神经网络进行压缩，使压缩后的深度神经网络能够部署在资源受限的边缘设备上，是目前亟需解决的问题。
发明内容
本公开为了解决上述问题，提出了一种基于压缩深度神经网络的图像识别方法及系统，通过对深度神经网络进行压缩，从而能够将压缩后深度神经网络加载至边缘设备上，进行图像识别。
为实现上述目的，本公开采用如下技术方案：
第一方面，提出了一种基于压缩深度神经网络的图像识别方法，包括：
获取待识别图像；
将待识别图像输入训练好的压缩深度神经网络中，获取图像识别结果；
其中，通过获取初始深度神经网络中批量归一化层的缩放因子，对缩放因子进行处理，使缩放因子服从高斯分布，利用高阶统计量计算缩放因子的高阶累积量，根据高阶累积量对批量归一化层的通道进行剪枝，获取压缩深度神经网络。
第二方面，提出了一种基于压缩深度神经网络的图像识别系统，包括：
图像获取模块，用于获取待识别图像；
图像识别模块，用于将待识别图像输入训练好的压缩深度神经网络中，获取图像识别结果；
其中，通过获取初始深度神经网络中批量归一化层的缩放因子，对缩放因子进行处理，使缩放因子服从高斯分布，利用高阶统计量计算缩放因子的高阶累积量，根据高阶累积量对批量归一化层的通道进行剪枝，获取压缩深度神经网络。
第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于压缩深度神经网络的图像识别方法所述的步骤。
第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于压缩深度神经网络的图像识别方法所述的步骤。
与现有技术相比，本公开的有益效果为：
1、本公开通过对初始深度神经网络中BN层的缩放因子进行高阶统计量的计算，将获得的缩放因子的高阶累积量值作为通道选择标准，能够去除更多的参数量和计算量，且对精度的影响比较小，使通道剪枝后得到的压缩深度神经网络更加的紧凑，进而能够将通道剪枝后的压缩深度神经网络应用部署在资源受限的边缘设备上，进行图像识别。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本公开实施例1公开的获取压缩深度神经网络的流程图；
图2为本公开实施例1公开的通道修剪过程。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。
本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。
实施例1
为了对深度神经网络进行压缩，使压缩后的深度神经网络能够部署在资源受限的边缘设备上，进而对图像进行识别，在该实施例中公开了一种基于压缩深度神经网络的图像识别方法，包括：
获取待识别图像；
将待识别图像输入训练好的压缩深度神经网络中，获取图像识别结果；
其中，通过获取初始深度神经网络中批量归一化层的缩放因子，对缩放因子进行处理，使缩放因子服从高斯分布，利用高阶统计量计算缩放因子的高阶累积量，根据高阶累积量对批量归一化层的通道进行剪枝，获取压缩深度神经网络。
进一步的，采用L2正则化使得缩放因子服从高斯分布。
进一步的，获取初始深度神经网络中批量归一化层的缩放比例，将缩放比例作为缩放因子。
进一步的，根据高阶累积量对批量归一化层的通道进行剪枝的过程包括：
对高阶累积量进行排序，确定剪枝阈值；
根据剪枝阈值对批量归一化层的通道进行剪枝。
进一步的，对高阶累积量进行排序，根据剪枝率确定剪枝阈值。
进一步的，将批量归一化层中高阶累积量低于剪枝阈值的通道进行剪枝。
进一步的，初始深度神经网络包括ResNet或DenseNet。
对本实施例公开的获取压缩深度神经网络的过程进行详细说明。
目前深度学习网络压缩方面的研究具体可以分为如下几个方面：
(1)设计紧凑型网络结构。紧凑型网络就是通过较小的网络模块来取代大的运算模块来提取有效特征。例如ResNet、DenseNet等网络结构中通过使用跳跃连接的方式从而减少参数量和计算量，进而达到模型压缩效果。
(2)剪枝方法。其目的是从网络中去除冗余参数，以降低计算复杂度和参数量。剪枝方法一方面可以减少神经网络的存储空间，另一方面减少与这些剪枝参数有关的计算，从而减少神经网络的计算复杂性。目前按照剪枝的精细度，可以将剪枝分成细粒度剪枝和粗粒度剪枝。细粒度剪枝方法以非结构化方式移除参数，例如Guo等人提出了动态网络剪枝框架，目的是为了减去不重要的参数并且恢复剪枝连接。
(3)低秩近似方法。低秩近似是一种稀疏的表达形式。主要是利用奇异值分解等技术将深度神经网络的卷积矩阵分成更小的卷积矩阵，不但能保留原矩阵的主要特征，而且能降低数据的存储空间和计算复杂度，从而达到神经网络压缩的效果。
(4)知识蒸馏方法。知识蒸馏方法也称为教师-学生方法。将大的深度神经网络作为教师网络通过特定的目标函数来指导训练更加紧凑的网络，这个网络称为学生网络，并且学生网络的计算效率更高。
(5)权重量化方法。HashNet首先提出量化网络权重。通过将权重散列到不同的组，并且进行共享，这样仅需存储共享的权重和哈希索引，因此可以节省大量的存储空间，从而达到神经网络压缩的效果。
(6)底层平台优化。底层平台优化包括专用的硬件加速器以及编译优化等。通常硬件加速器由五部分组成：数据缓冲区、权重缓冲区、运算单元、全局控制器、片外传输管理器。编译优化是针对现阶段主流的一些深度学习网络编译器在不同平台上的部署进行优化，其核心思想是借助协处理硬件引擎(通常是PCIE加速卡、ASIC加速芯片或加速器IP)，完成深度神经网络早数据中心或边缘计算领域的实际部署，包括CPU、GPU或FPGA等。
因此，为了减少深度神经网络的参数量与计算量并同时提高它的存储和计算效率，使其能够部署在资源受限的边缘设备上，对深度神经网络进行压缩的研究是非常有必要的。另外，现有的深度神经网络压缩方法大都具有一定的精度损失。
本实施例通过对大型的初始深度神经网络进行通道级的剪枝，从而达到对初始神经网络的压缩效果。
本实施例对深度神经网络进行压缩时的压缩方法包含两部分，首先将高阶统计量计算出的批量归一化层(BN层)缩放因子的高阶累积量作为神经网络通道的选择标准，对初始深度神经网络的批量归一化层(BN层)进行通道级的剪枝，剪去不重要通道，从而减少深度神经网络模型的尺寸、参数量等，得到一个更加紧凑的深度神经网络，之后对剪枝后的深度神经网络模型进行微调，以提高网络的整体精度，补偿剪枝过程中的精度损失。
通常高阶统计量的使用要服从高斯分布，故要对BN层的缩放因子进行L2正则化预处理，使其服从高斯分布，从而能够使用高阶统计量计算BN层缩放因子的高阶累积量，进而去除高阶累积量较低的通道，达到深度神经网络模型压缩的效果。
通过本实施例公开的压缩方法对深度神经网络进行压缩，获取压缩深度神经网络的过程，如图1所示，包括：
S1：获取初始深度神经网络中批量归一化层的缩放因子。
在具体实施时，初始深度神经网络可以为ResNet或DenseNet网络结构。
BN层被用来实现深度神经网络的快速收敛和更好的泛化性能。 BN层使用小批量统计信息对内部激活进行标准化，假设Xi和Yi是BN 层的输入和输出，BN层执行以下转换：
其中，μΒ和σΒ是输入激活的平均值和标准偏差值，γ和β是缩放比例和位移。
直接利用BN层中的γ作为缩放因子。
S2：对缩放因子进行预处理，使预处理后的缩放因子服从高斯分布。
在具体实施时，对缩放因子γ进行L2正则化处理，使的处理后的缩放因子服从高斯分布，具体过程如公式(2)所示：
其中，x，y表示输入和输出，W表示权重，对于公式(2)中的 g(γ)：
被称为L2范数。
S4：利用高阶统计量计算缩放因子的高阶累积量。
在具体实施时，高阶统计量的定义为阶数大于二阶的统计量，主要有高阶矩、高阶累积量等内容。针对于累积量而言，对于零均值平稳随机过程z(t)，z(t)的q阶累积量可以定义为z(t)与g(t)之间的差， g(t)是具有与z(t)相同的二阶统计量的高斯随机过程。如公式(4)所示。
其中，(t1，t2，t3，…，tq-1)是q-1的时间延迟，
是z(t)的 q阶累积量，由此公式(4)可以得到随机过程与高斯分布的距离的度量。在该实施例中，使用K阶统计量来计算累积量，假设q的值为 3和4，则计算三阶和四阶的统计量如公式(5)和(6)所示。
其中，N为样本的大小。
S5：根据高阶累积量对批量归一化层的通道进行剪枝，包括：对高阶累积量进行排序，确定剪枝阈值；根据剪枝阈值对批量归一化层的通道进行剪枝，获得压缩后深度神经网络。
在具体实施时，使用全局阈值的方式对BN层的通道进行修剪。
具体的剪枝阈值根据剪枝率确定，剪枝率即为所有缩放因子的百分比，将BN层中高阶累积量低于剪枝阈值的通道进行剪枝。
当确定剪枝率即剪枝阈值为70％时，在对BN层的通道进行剪枝时，选择对缩放因子获得的高阶累积量低于剪枝阈值的通道进行剪枝。
修剪之后获得一个紧凑的网络模型，但对模型通道的修改会导致神经网络精度的损失，故对剪枝后的深度神经网络模型进行微调，以提高网络的整体精度，补偿剪枝过程中的精度损失。
故本实施例在对初始深度神经网络进行压缩时，首先对初始深度神经网络BN层中的缩放因子施加L2正则化，通过L2正则化使得缩放因子服从高斯分布，然后利用高阶统计量，计算缩放因子的高阶累积量，然后根据缩放因子与高斯分布的距离识别那些不重要的通道。高阶统计量是一种特殊类型的累积量度量，它提供了随机过程到高斯距离的可靠度量，而每一个缩放因子都对应于特定的通道，通过高阶统计量，可以识别那些累积量低的缩放因子，从而去除相对应的通道，如图2所示，实现了对深度神经网络的压缩。
本实施例公开的压缩方法，将高阶统计量应用到通道级上边，通过对BN层的缩放因子进行高阶统计量的计算，将缩放因子的累积量值作为通道选择标准，能够去除更多的参数量和计算量，且对精度的影响比较小，最后得到的神经网络更加的紧凑，为以后将其部署到边缘设备上奠定了基础。
本实施例在获取了压缩深度神经网络后，对压缩深度神经网络进行训练，获取训练好的压缩深度神经网络，将训练好的压缩深度神经网络加载至资源受限的边缘设备上，用于对边缘设备获取的待识别图像进行图像识别。
本实施例压缩的初始深度神经网络可以为ResNet和DenseNet中的任意一种，通过对ResNet和DenseNet两个深度神经网络进行压缩，在ImageNet，CIFAR-10以及CIFAR-100上对本实施例提出的对深度神经网络进行压缩的方法进行验证，可知，使用本实施例提出的对深度神经网络进行压缩的方法获取的压缩深度神经网络，输出的参数量以及FLOP数值明显减少，输出的Top-1精度与未压缩前的精度相比差别很小，表明本实施例对深度神经网络进行压缩的方法具备良好的对深度神经网络压缩的效果，并且精度损失降到最低，使得压缩深度神经网络能够加载至边缘设备上，进而对图像进行高精度识别。
CIFAR：CIFAR-10和CIFAR-100是8000万微型图像数据集的子集。它们由亚历克斯·克里日夫斯基、维诺德·奈尔和杰弗里·辛顿收集。两个CIFAR数据集都包含分辨率为32×32的自然图像。 CIFAR-10来自10个类别，每个类包含6000张图像。测试图片50000 张，测试图片10000张。CIFAR-100来自100个类别。每个类包含 600张图像，包含500张训练图片和100张测试图片。
ImageNet：ImageNet数据集是一个计算机视觉数据集，是由斯坦福大学的李飞飞教授带领创建。ImageNet数据集包含120万个训练图像和10,000个类别的50,000个验证图像。
本实施例对深度神经网络进行压缩，获得压缩深度神经网络，除可以用于图像识别外，还可以通过相应的训练，用于语音识别、自然语言处理、音频识别与生物信息学等领域并且精度损失很小。
实施例2
在该实施例中，公开了一种基于压缩深度神经网络的图像识别系统，包括：
图像获取模块，用于获取待识别图像；
图像识别模块，用于将待识别图像输入训练好的压缩深度神经网络中，获取图像识别结果；
其中，通过获取初始深度神经网络中批量归一化层的缩放因子，对缩放因子进行处理，使缩放因子服从高斯分布，利用高阶统计量计算缩放因子的高阶累积量，根据高阶累积量对批量归一化层的通道进行剪枝，获取压缩深度神经网络。
实施例3
在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1公开的一种基于压缩深度神经网络的图像识别方法所述的步骤。
实施例4
在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1公开的一种基于压缩深度神经网络的图像识别方法所述的步骤。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于压缩深度神经网络的图像识别方法，其特征在于，包括：
获取待识别图像；
将待识别图像输入训练好的压缩深度神经网络中，获取图像识别结果；
其中，通过获取初始深度神经网络中批量归一化层的缩放因子，对缩放因子进行处理，使缩放因子服从高斯分布，利用高阶统计量计算缩放因子的高阶累积量，根据高阶累积量对批量归一化层的通道进行剪枝，获取压缩深度神经网络。
2.如权利要求1所述的一种基于压缩深度神经网络的图像识别方法，其特征在于，采用L2正则化使得缩放因子服从高斯分布。
3.如权利要求1所述的一种基于压缩深度神经网络的图像识别方法，其特征在于，获取初始深度神经网络中批量归一化层的缩放比例，将缩放比例作为缩放因子。
4.如权利要求1所述的一种基于压缩深度神经网络的图像识别方法，其特征在于，根据高阶累积量对批量归一化层的通道进行剪枝的过程包括：
对高阶累积量进行排序，确定剪枝阈值；
根据剪枝阈值对批量归一化层的通道进行剪枝。
5.如权利要求4所述的一种基于压缩深度神经网络的图像识别方法，其特征在于，对高阶累积量进行排序，根据剪枝率确定剪枝阈值。
6.如权利要求4所述的一种基于压缩深度神经网络的图像识别方法，其特征在于，将批量归一化层中高阶累积量低于剪枝阈值的通道进行剪枝。
7.如权利要求1所述的一种基于压缩深度神经网络的图像识别方法，其特征在于，初始深度神经网络包括ResNet或DenseNet。
8.一种基于压缩深度神经网络的图像识别系统，其特征在于，包括：
图像获取模块，用于获取待识别图像；
图像识别模块，用于将待识别图像输入训练好的压缩深度神经网络中，获取图像识别结果；
其中，通过获取初始深度神经网络中批量归一化层的缩放因子，对缩放因子进行处理，使缩放因子服从高斯分布，利用高阶统计量计算缩放因子的高阶累积量，根据高阶累积量对批量归一化层的通道进行剪枝，获取压缩深度神经网络。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的一种基于压缩深度神经网络的图像识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的一种基于压缩深度神经网络的图像识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110547003.7A CN113505804A (zh) | 2021-05-19 | 2021-05-19 | 一种基于压缩深度神经网络的图像识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110547003.7A CN113505804A (zh) | 2021-05-19 | 2021-05-19 | 一种基于压缩深度神经网络的图像识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113505804A true CN113505804A (zh) | 2021-10-15 |
Family
ID=78009152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110547003.7A Pending CN113505804A (zh) | 2021-05-19 | 2021-05-19 | 一种基于压缩深度神经网络的图像识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113505804A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024055694A1 (en) * | 2022-09-15 | 2024-03-21 | Huawei Technologies Co., Ltd. | Method and device for compressing generative pre-trained language models via quantization |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344921A (zh) * | 2019-01-03 | 2019-02-15 | 湖南极点智能科技有限公司 | 一种基于深度神经网络模型的图像识别方法、装置及设备 |
| CN112101487A (zh) * | 2020-11-17 | 2020-12-18 | 深圳感臻科技有限公司 | 一种细粒度识别模型的压缩方法和设备 |
-
2021
- 2021-05-19 CN CN202110547003.7A patent/CN113505804A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344921A (zh) * | 2019-01-03 | 2019-02-15 | 湖南极点智能科技有限公司 | 一种基于深度神经网络模型的图像识别方法、装置及设备 |
| CN112101487A (zh) * | 2020-11-17 | 2020-12-18 | 深圳感臻科技有限公司 | 一种细粒度识别模型的压缩方法和设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024055694A1 (en) * | 2022-09-15 | 2024-03-21 | Huawei Technologies Co., Ltd. | Method and device for compressing generative pre-trained language models via quantization |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tan et al. | Mnasnet: Platform-aware neural architecture search for mobile | |
| CN113537138B (zh) | 一种基于轻量化神经网络的交通标志识别方法 | |
| CN110096968B (zh) | 一种基于深度模型优化的超高速静态手势识别方法 | |
| CN113159173A (zh) | 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 | |
| CN111723915B (zh) | 一种基于深度卷积神经网络的目标检测方法 | |
| CN112668630B (zh) | 一种基于模型剪枝的轻量化图像分类方法、系统及设备 | |
| CN113657421B (zh) | 卷积神经网络压缩方法和装置、图像分类方法和装置 | |
| CN110222718A (zh) | 图像处理的方法及装置 | |
| CN113837376B (zh) | 基于动态编码卷积核融合的神经网络剪枝方法 | |
| CN109376787A (zh) | 流形学习网络及基于其的计算机视觉图像集分类方法 | |
| CN112308825A (zh) | 一种基于SqueezeNet的农作物叶片病害识别方法 | |
| CN114492634B (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN113850373B (zh) | 一种基于类别的滤波器剪枝方法 | |
| CN117690451B (zh) | 一种基于集成学习的神经网络噪声源分类的方法及装置 | |
| CN114972753A (zh) | 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统 | |
| CN113505804A (zh) | 一种基于压缩深度神经网络的图像识别方法及系统 | |
| CN109558819B (zh) | 一种用于遥感图像目标检测的深度网络轻量化方法 | |
| CN111914993A (zh) | 基于非均匀分组的多尺度轻量型深度卷积神经网络模型 | |
| CN114065920A (zh) | 一种基于通道级剪枝神经网络的图像识别方法及系统 | |
| Shen et al. | Hardware-aware latency pruning for real-time 3d object detection | |
| CN113378866B (zh) | 图像分类方法、系统、存储介质及电子设备 | |
| CN114372565A (zh) | 一种用于边缘设备的目标检测网络压缩方法 | |
| CN113052189B (zh) | 一种基于改进的MobileNetV3特征提取网络 | |
| CN114492786A (zh) | 一种交替方向乘子的Visual Transformer剪枝方法 | |
| Xu et al. | Globally soft filter pruning for efficient convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |