CN112927173A - 模型压缩方法、装置、计算设备及存储介质 - Google Patents
模型压缩方法、装置、计算设备及存储介质 Download PDFInfo
- Publication number
- CN112927173A CN112927173A CN202110389763.XA CN202110389763A CN112927173A CN 112927173 A CN112927173 A CN 112927173A CN 202110389763 A CN202110389763 A CN 202110389763A CN 112927173 A CN112927173 A CN 112927173A
- Authority
- CN
- China
- Prior art keywords
- channel
- model
- feature
- target
- pruning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000006835 compression Effects 0.000 title claims abstract description 54
- 238000007906 compression Methods 0.000 title claims abstract description 54
- 238000013138 pruning Methods 0.000 claims abstract description 94
- 230000000007 visual effect Effects 0.000 claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 35
- 238000010586 diagram Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012935 Averaging Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 5
- 244000141353 Prunus domestica Species 0.000 description 3
- 235000019878 cocoa butter replacer Nutrition 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术领域，尤其涉及一种模型压缩方法、装置、设备及存储介质。该模型压缩方法包括获取测试图像以及待压缩模型；其中，待压缩模型中包括多个级联的特征提取层；将测试图像输入至每一特征提取层中，通过过滤器对测试图像进行特征提取，得到多通道特征图；多通道特征图中的每一特征通道对应一子特征图；将所述子特征图转换为视觉特征图，并基于所述视觉特征图中的多个特征值，确定所述子特征图对应的特征通道的重要度；根据所述特征通道的重要度，确定目标剪枝通道；对所述目标剪枝通道进行剪枝处理，以得到压缩后的目标模型。该方法可有效提高模型剪枝准确率，实现模型的准确压缩且可有效降低模型计算量，方便部署。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种模型压缩方法、装置、计算设备及存储介质。
背景技术
近年来基于卷积神经网络的模型在很多任务中有着很好的性能，但是这些模型都需要大量的计算开销，而这些模型中又常常含有大量的冗余信息，模型压缩就成了必不可少的一步。常用的模型压缩方法有模型剪枝、量化和蒸馏。
针对目前的模型剪枝操作来说最主要的问题是如何.选取出相对不重要的特征通道并去掉。而现有的针对怎样选取相对不重要的卷积核的方法一般有如下两种：一种是有的采用特征图中零值的占比，然后将占比最大的特征图所对应的特征通道去掉；另一种是采用特征图中的全部数值的大小来对特征通道进行评价；以上方法均仅仅从数值的角度进行模型的剪枝，并未考虑每一数值的物理意义，故上述方式并不能很好的将真正含有大量信息量的特征图找出，导致特征通道的重要性的评价不够准确。
发明内容
本发明实施例提供一种模型压缩方法、装置、计算设备及存储介质，以解决当前基于特征图中的数值评价特征通道的重要性，导致模型剪枝的准确率不高的问题。
一种模型压缩方法，包括：
获取测试图像以及待压缩模型；其中，所述待压缩模型中包括多个级联的特征提取层；每一所述特征提取层对应一过滤器；
将所述测试图像输入至每一所述特征提取层中，通过所述过滤器对所述测试图像进行特征提取，得到多通道特征图；所述多通道特征图中的每一特征通道对应一子特征图；
将所述子特征图转换为视觉特征图，并基于所述视觉特征图中的多个特征值，确定所述子特征图对应的特征通道的重要度；
根据所述特征通道的重要度，确定目标剪枝通道；
对所述目标剪枝通道进行剪枝处理，以得到压缩后的目标模型。
一种模型压缩装置，包括：
数据获取模块，用于获取测试图像以及待压缩模型；其中，所述待压缩模型中包括多个级联的特征提取层；每一所述特征提取层对应一过滤器；
特征提取模块，用于将所述测试图像输入至每一所述特征提取层中，通过所述过滤器对所述测试图像进行特征提取，得到多通道特征图；所述多通道特征图中的每一特征通道对应一子特征图；
重要度确定模块，用于将所述子特征图转换为视觉特征图，并基于所述视觉特征图中的多个特征值，确定所述子特征图对应的特征通道的重要度；
目标剪枝通道确定模块，用于根据所述特征通道的重要度，确定目标剪枝通道；
模型剪枝模块，用于对所述目标剪枝通道进行剪枝处理，以得到压缩后的目标模型。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述模型压缩方法的步骤。
一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型压缩方法的步骤。
上述模型压缩方法、装置、计算设备及存储介质中，通过获取测试图像以及待压缩模型，以将测试图像输入至每一特征提取层中，通过过滤器对所述测试图像进行特征提取，得到多通道特征图。然后，通过将子特征图转换为视觉特征图，并基于视觉特征图中的多个特征值，以从特征图像中视觉特征的角度，确定子特征图对应的特征通道的重要度，相比传统仅基于数值角度判断需要剪枝的特征通道来说，可从特征图所反映的信息量的多少确定通道的重要度，以有效提升剪枝的准确率，从而根据特征通道的重要度，确定目标剪枝通道。最后，对重要度较低的目标剪枝通道进行剪枝处理，以得到压缩后的目标模型，可有效降低模型计算量，缓解硬件的计算压力,以更有利于在移动端和嵌入式设备上部署模型。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中模型压缩方法的一应用环境示意图；
图2是本发明一实施例中模型压缩方法的一流程图；
图3是图2中步骤S203的一具体流程图；
图4是图2中步骤S204的一具体流程图；
图5是本发明一实施例中模型压缩方法的一流程图；
图6是本发明一实施例中模型压缩装置的一示意图；
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
该模型压缩方法可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器来实现。
在一实施例中，如图2所示，提供一种模型压缩方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S201：获取测试图像以及待压缩模型；其中，待压缩模型中包括多个级联的特征提取层；每一特征提取层对应一过滤器。
其中，本方法可应用在任意一种目前已训练好的模型中实现模型压缩，可在提升剪枝准确率的同时，可有效降低模型计算量，缓解硬件的计算压力,以更有利于在移动端和嵌入式设备上部署模型。测试图像可通过从目前公开的测试集(例如cifar10测试集)中选取一个或多个测试图像数据实现，此处不做限定。待压缩模型可为任意需要进行压缩的模型，例如OCR模型等等。该待压缩模型可获取PyTorch工具中的模型图即为待压缩模型。该模型图中所记录的网络结构(包括但不限于网络层数、每一卷积层对应的卷积核等等)，通过该网络结构可为后续针对该待压缩模型中的特征通道的剪枝提供技术支持。
具体地，以卷积模型为例进行举例说明，该待压缩模型中可包括多个级联的卷积层(即特征提取层)，每一卷积层需要通过对应的多个卷积核对图像进行卷积处理实现特征提取。其中，由于图像时多通道的，故每一卷积层都需要采用多个卷积核构成多个特征通道，以对多通道的图像进行特征提取，从而得到对应的多通道特征图。
需要说明的是，该多个卷积核即构成该特征提取层对应的过滤器，每一卷积核即为过滤器的一个特征通道。
S202：将测试图像输入至每一特征提取层中，通过过滤器对测试图像进行特征提取，得到多通道特征图；多通道特征图中的每一特征通道对应一子特征图。
具体地，通过将测试图像输入至每一特征提取层中，通过每一特征提取层中的过滤器对测试图像进行特征提取，以通过过滤器中的每一特征通道对应的通道矩阵对测试图像中对应通道的图像进行卷积处理，以得到每一特征通道对应的子特征图，从而得到多通道特征图。
需要说明的是，该过滤器中的特征通道数量与测试图像对应的特征通道数量一致。
S203：将子特征图转换为视觉特征图，并基于视觉特征图中的多个特征值，确定子特征图对应的特征通道的重要度。
具体地，该视觉特征图用于表征子特征图对应的视觉特征，该视觉特征包括但不限于边缘特征、色度特征以及纹理特征等等。本实施例中，通过将子特征图转换为视觉特征图，以通过视觉特征图中所包含视觉特征的多少，确定子特征图对应的特征通道的重要度。
可以理解地是，通过对视觉特征图中的多个特征值进行统计处理，并将统计结果作为子特征图对应的特征通道的重要度。该统计处理包括但不限于求和或取均值处理，此处不做限定。
示例性地，以视觉特征为边缘特征为例，即可通过对子特征图斤进行边缘检测，得到对应的视觉特征图。其中，边缘检测包括但不限于采用拉普拉斯算子、sobel算子等进行处理，以得到对应的边缘特征图即视觉特征图。
S204：根据特征通道的重要度，确定目标剪枝通道。
具体地，通过步骤S203确定每一特征通道对应的重要度，以将重要度较低的特征通道，即包含视觉特征信息较少的特征通道剪除，既可实现模型压缩，同时，由于后续会对压缩后的模型进行再训练恢复模型精度，故也不会对模型精度造成影响。
S205：对目标剪枝通道进行剪枝处理，以得到压缩后的目标模型。
其中，在神经网络中由于参数众多，其中有些参数对最终模型的输出结果贡献不大，而这些参数包含有很多的信息冗余，故可通过剪枝就是将这些冗余参数去除，以实现模型压缩。
具体地，通过对目标剪枝通道进行权重级或通道级的剪枝处理，得到压缩后的目标模型，以从特征图像的角度确定特征通道的重要度，进而实现模型剪枝，可有效降低模型计算量，缓解硬件的计算压力,以更有利于在移动端和嵌入式设备上部署模型。
本实施例中，通过获取测试图像以及待压缩模型，以将所述测试图像输入至每一所述特征提取层中，通过所述过滤器对所述测试图像进行特征提取，得到多通道特征图；然后，通过将子特征图转换为视觉特征图，并基于视觉特征图中的多个特征值，以从特征图像中视觉特征的角度，确定子特征图对应的特征通道的重要度，相比传统仅基于数值角度判断需要剪枝的通道来说，可从特征图所反映的信息量的多少确定通道的重要度，以有效提升剪枝的准确率；从而根据所述特征通道的重要度，确定目标剪枝通道；最后，对重要度较低的目标剪枝通道进行剪枝处理，以得到压缩后的目标模型，可有效降低模型计算量，缓解硬件的计算压力,以更有利于在移动端和嵌入式设备上部署模型。
在一实施例中，步骤S203，具体为：对视觉特征图中的多个特征值进行取均值处理，得到视觉特征图对应的第一目标值；其中，第一目标值用于指示子特征图对应的特征通道的重要度。
具体地，通过对对视觉特征图中的多个特征值进行取均值处理，以将均值处理后的结果作为视觉特征图对应的第一目标值，以通过该第一目标值表示子特征图对应的特征通道的重要度。
在一实施例中，如图3所示，视觉特征图为多个；每一视觉特征图用于表征子特征图中不同的视觉特征；步骤S203中，即基于视觉特征图中的多个特征值，确定子特征图对应的特征通道的重要度，具体包括如下步骤：
S301：对每一视觉特征图中的多个特征值进行取均值处理，得到视觉特征图对应的第一目标值。
S302：对多个第一目标值进行统计处理，得到第二目标值；其中，第二目标值用于指示子特征图对应的特征通道的重要度。
具体地，通过对每一视觉特征图中的多个特征值进行取均值处理，以得到每一视觉特征图对应的第一目标值，然后再进一步对多个第一目标值进行统计处理，得到第二目标值，以通过该第二目标值表示子特征图对应的特征通道的重要度。
其中，对多个第一目标值进行统计处理包括但不限于取均值处理或加权平均处理，此处不做限定。可以理解地是，针对多个第一目标值进行加权粗合理，即可对每一视觉特征图(例如边缘特征图、色度特征图以及纹理特征图)对应的第一目标值分别设置相应地权重，再将其与第一目标值进行加权平均计算即可从子特征图中所包含的多种不同视觉特征的多少综合判断特征通道的重要度。
在一实施例中，如图4所示，步骤S204中，即根据特征通道的重要度，确定目标剪枝通道，具体包括如下步骤：
S401：获取预设剪枝率，并根据预设剪枝率，确定剪枝数量。
其中，预设剪枝率剪枝率可设定为0.5或0.75，可以根据多次实验的效果来确定，此处不做限定。进一步地，由于剪枝之后模型可能会损失精度，故后续会通过对剪枝后的模型进行微调，以恢复丢失的精度。
示例性地，比如原卷积层有16个特征通道，剪枝率为0.75，则要剪除75％的特征通道，即剪除12个特征通道。
S402：对特征通道的重要度按照从小到大的顺序排序，将排在前N位的重要度对应的特征通道作为目标剪枝通道；其中，N为剪枝数量。
具体地，通过对特征通道的重要度按照从小到大的顺序排序，将排在前N位的重要度对应的特征通道作为目标剪枝通道。由于步骤S401中已确定需要剪除多少特着通道，故此处可根据确定的剪枝数量确定N值。
在一实施例中，步骤S205具体为：将目标剪枝通道对应的通道矩阵与对应的掩码矩阵相乘，以得到压缩后的目标模型；其中，掩码矩阵与通道矩阵的大小一致。
其中，每一目标剪枝通道可理解为一n*m大小的矩阵，即通道矩阵。本实施例中，可通过对模型进行权重级的剪枝，即通过将需要剪除的目标剪枝通道对应的通道矩阵与其大小一致的全0值的mask(掩码)矩阵相乘，即可实现权重级的剪枝，进而实现模型稀疏性，而稀疏模型更易于压缩，可在后续推理过程中跳过零以缩短模型的运行的延迟时间。
在一实施例中，步骤S205具体为：去除目标剪枝通道，以得到压缩后的目标模型。
具体地，由于权重级别的剪枝是将不重要的特征通道内的全部特征值置为0实现模型稀疏性，但在模型推理过程中仍会参与计算，占用运行内存，故本实施例中，还可将目标剪纸通道实现通道级别的剪枝，即直接将目标减枝通道去除，可有效减少模型计算量，缓解硬件的计算压力,以更有利于在移动端和嵌入式设备上部署模型。
在一实施例中，如图5所示，步骤S205之后，还包括：
S501：对目标模型进行微调，得到更新后的目标模型。
进一步地，由于剪枝之后模型可能会损失精度，故本实施例中，通过对目标模型进行微调进行微调(即基于训练集中的训练数据对压缩后的模型进行再训练)，故丢失的信息会逐步恢复，进而恢复模型精度。
可以理解地，微调是指将剪枝之后的目标模型再次进行训练，即重新学习图像特征，此时会引起未剪除的特征通道内的参数变化，而由于这些参数的变化，模型的精度会逐步恢复。
S502：采用TensorRT工具对目标模型进行加速优化处理，得到优化后的目标模型。
其中，TensorRT是NVIDIA公司推出的C++推理加速工具，它能减少模型推理的时间，它通过解析网络模型将网络中的无用输出消除从而减少了计算量，并对网络结构进行了垂直整合和水平组合。其中，垂直整合是指将目前主流神经网络的conv(卷积层)、Bias(线性层)、Relu(激活层)这三个层融合为一个层，即CBR层；水平组合是水平组合是指将输入为相同张量和执行相同操作的层融合一起，即将三个相连的1×1的CBR合并为一个大的1×1的CBR。对于concat(拼接)层，可直接将contact层的输入至后续的操作中，不用单独进行concat操作后再输入至后续的层中进行计算，相当于减少一次传输吞吐。
本实施例中，通过采用TensorRT工具对目标模型进行加速优化处理，得到优化后的目标模型，可大大缩短模型的推理时间，减少线上部署模型执行业务的运行时长，提高处理效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种模型压缩装置，该模型压缩装置与上述实施例中模型压缩方法一一对应。如图6所示，该模型压缩装置包括数据获取模块10、特征提取模块20、重要度确定模块30、目标剪枝通道确定模块40以及模型剪枝模块50。各功能模块详细说明如下：
数据获取模块10，用于获取测试图像以及待压缩模型；其中，所述待压缩模型中包括多个级联的特征提取层；每一所述特征提取层对应一过滤器。
特征提取模块20，用于将所述测试图像输入至每一所述特征提取层中，通过所述过滤器对所述测试图像进行特征提取，得到多通道特征图；所述多通道特征图中的每一特征通道对应一子特征图。
重要度确定模块30，用于将所述子特征图转换为视觉特征图，并基于所述视觉特征图中的多个特征值，确定所述子特征图对应的特征通道的重要度；
目标剪枝通道确定模块40，用于根据所述特征通道的重要度，确定目标剪枝通道。
模型剪枝模块50，用于对所述目标剪枝通道进行剪枝处理，以得到压缩后的目标模型。
具体地，重要度确定模块具体为：对所述视觉特征图中的多个特征值进行取均值处理，得到所述视觉特征图对应的第一目标值；其中，所述第一目标值用于指示所述子特征图对应的特征通道的重要度。
具体地，所述视觉特征图为多个；每一所述视觉特征图用于表征所述子特征图中不同的视觉特征；重要度确定模块包括第一目标值计算单元和第二目标值计算单元。
第一目标值计算单元，用于对每一所述视觉特征图中的多个特征值进行取均值处理，得到所述视觉特征图对应的第一目标值；
第二目标值计算单元，用于对多个所述第一目标值进行统计处理，得到第二目标值；其中，所述第二目标值用于指示所述子特征图对应的特征通道的重要度。
具体地，目标剪枝通道确定模块包括剪枝数量确定单元和目标剪枝通道确定单元。
剪枝数量确定单元，用于获取预设剪枝率，并根据所述预设剪枝率，确定剪枝数量。
目标剪枝通道确定单元，用于对所述特征通道的重要度按照从小到大的顺序排序，将排在前N位的所述重要度对应的特征通道作为所述目标剪枝通道；其中，N为所述剪枝数量。
模型剪枝模块具体地为：将所述目标剪枝通道对应的通道矩阵与对应的掩码矩阵相乘，以得到所述压缩后的目标模型；其中，所述掩码矩阵与所述通道矩阵的大小一致。
具体地，模型剪枝模块具体地为：去除所述目标剪枝通道，以得到所述压缩后的目标模型。
具体地，该模型压缩装置还包括模型微调模块和加速优化模块。
模型微调模块，用于对所述目标模型进行微调，得到更新后的目标模型。
加速优化模块，用于采用TensorRT工具对所述更新后的目标模型进行加速优化处理，得到优化后的目标模型。
关于模型压缩装置的具体限定可以参见上文中对于模型压缩方法的限定，在此不再赘述。上述模型压缩装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机存储介质、内存储器。该计算机存储介质存储有操作系统、计算机程序和数据库。该内存储器为计算机存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行模型压缩方法过程中生成或获取的数据，如待压缩模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型压缩方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的模型压缩方法的步骤，例如图2所示的步骤S201-S205，或者图3至图5中所示的步骤。或者，处理器执行计算机程序时实现模型压缩装置这一实施例中的各模块/单元的功能，例如图6所示的各模块/单元的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机存储介质，该计算机存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中模型压缩方法的步骤，例如图2所示的步骤S201-S205，或者图3至图5中所示的步骤，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述模型压缩装置这一实施例中的各模块/单元的功能，例如图6所示的各模块/单元的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种模型压缩方法，其特征在于，包括：
获取测试图像以及待压缩模型；其中，所述待压缩模型中包括多个级联的特征提取层；每一所述特征提取层对应一过滤器；
将所述测试图像输入至每一所述特征提取层中，通过所述过滤器对所述测试图像进行特征提取，得到多通道特征图；所述多通道特征图中的每一特征通道对应一子特征图；
将所述子特征图转换为视觉特征图，并基于所述视觉特征图中的多个特征值，确定所述子特征图对应的特征通道的重要度；
根据所述特征通道的重要度，确定目标剪枝通道；
对所述目标剪枝通道进行剪枝处理，以得到压缩后的目标模型。
2.如权利要求1所述模型压缩方法，其特征在于，所述基于所述视觉特征图中的多个特征值，确定所述子特征图对应的特征通道的重要度，包括：
对所述视觉特征图中的多个特征值进行取均值处理，得到所述视觉特征图对应的第一目标值；其中，所述第一目标值用于指示所述子特征图对应的特征通道的重要度。
3.如权利要求1所述模型压缩方法，其特征在于，所述视觉特征图为多个；每一所述视觉特征图用于表征所述子特征图中不同的视觉特征；所述基于所述视觉特征图中的多个特征值，确定所述子特征图对应的特征通道的重要度，包括：
对每一所述视觉特征图中的多个特征值进行取均值处理，得到所述视觉特征图对应的第一目标值；
对多个所述第一目标值进行统计处理，得到第二目标值；其中，所述第二目标值用于指示所述子特征图对应的特征通道的重要度。
4.如权利要求1所述模型压缩方法，其特征在于，所述根据所述特征通道的重要度，确定目标剪枝通道，包括：
获取预设剪枝率，并根据所述预设剪枝率，确定剪枝数量；
对所述特征通道的重要度按照从小到大的顺序排序，将排在前N位的所述重要度对应的特征通道作为所述目标剪枝通道；其中，N为所述剪枝数量。
5.如权利要求1所述模型压缩方法，其特征在于，所述对所述目标剪枝通道进行剪枝处理，以得到压缩后的目标模型，包括：
将所述目标剪枝通道对应的通道矩阵与对应的掩码矩阵相乘，以得到所述压缩后的目标模型；其中，所述掩码矩阵与所述通道矩阵的大小一致。
6.如权利要求1所述模型压缩方法，其特征在于，所述对所述目标剪枝通道进行剪枝处理，以得到压缩后的目标模型，包括：
去除所述目标剪枝通道，以得到所述压缩后的目标模型。
7.如权利要求1所述模型压缩方法，其特征在于，在所述对所述目标剪枝通道进行剪枝处理，以得到压缩后的目标模型后，所述模型压缩方法还包括：
对所述目标模型进行微调，得到更新后的目标模型；
采用TensorRT工具对所述更新后的目标模型进行加速优化处理，得到优化后的目标模型。
8.一种模型压缩装置，其特征在于，包括：
数据获取模块，用于获取测试图像以及待压缩模型；其中，所述待压缩模型中包括多个级联的特征提取层；每一所述特征提取层对应一过滤器；
特征提取模块，用于将所述测试图像输入至每一所述特征提取层中，通过所述过滤器对所述测试图像进行特征提取，得到多通道特征图；所述多通道特征图中的每一特征通道对应一子特征图；
重要度确定模块，用于将所述子特征图转换为视觉特征图，并基于所述视觉特征图中的多个特征值，确定所述子特征图对应的特征通道的重要度；
目标剪枝通道确定模块，用于根据所述特征通道的重要度，确定目标剪枝通道；
模型剪枝模块，用于对所述目标剪枝通道进行剪枝处理，以得到压缩后的目标模型。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述模型压缩方法的步骤。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述模型压缩方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110389763.XA CN112927173B (zh) | 2021-04-12 | 2021-04-12 | 模型压缩方法、装置、计算设备及存储介质 |
| PCT/CN2021/096602 WO2022217704A1 (zh) | 2021-04-12 | 2021-05-28 | 模型压缩方法、装置、计算设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110389763.XA CN112927173B (zh) | 2021-04-12 | 2021-04-12 | 模型压缩方法、装置、计算设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112927173A true CN112927173A (zh) | 2021-06-08 |
| CN112927173B CN112927173B (zh) | 2023-04-18 |
Family
ID=76174139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110389763.XA Active CN112927173B (zh) | 2021-04-12 | 2021-04-12 | 模型压缩方法、装置、计算设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112927173B (zh) |
| WO (1) | WO2022217704A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516638A (zh) * | 2021-06-25 | 2021-10-19 | 中南大学 | 一种神经网络内部特征重要性可视化分析及特征迁移方法 |
| CN113901904A (zh) * | 2021-09-29 | 2022-01-07 | 北京百度网讯科技有限公司 | 图像处理方法、人脸识别模型训练方法、装置及设备 |
| CN115170917A (zh) * | 2022-06-20 | 2022-10-11 | 美的集团(上海)有限公司 | 图像处理方法、电子设备及存储介质 |
| CN115564030A (zh) * | 2022-11-24 | 2023-01-03 | 中国平安财产保险股份有限公司 | 目标检测模型的压缩方法、检测方法、装置及相关设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875752A (zh) * | 2018-03-21 | 2018-11-23 | 北京迈格威科技有限公司 | 图像处理方法和装置、计算机可读存储介质 |
| CN110119686A (zh) * | 2019-04-17 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络的安全帽实时检测方法 |
| CN110619385A (zh) * | 2019-08-31 | 2019-12-27 | 电子科技大学 | 基于多级剪枝的结构化网络模型压缩加速方法 |
| CN110929805A (zh) * | 2019-12-05 | 2020-03-27 | 上海肇观电子科技有限公司 | 神经网络的训练方法、目标检测方法及设备、电路和介质 |
| WO2020215573A1 (zh) * | 2019-04-22 | 2020-10-29 | 平安科技（深圳）有限公司 | 验证码的识别方法、装置、计算机设备和存储介质 |
| WO2020221298A1 (zh) * | 2019-04-30 | 2020-11-05 | 北京金山云网络技术有限公司 | 文本检测模型训练方法、文本区域、内容确定方法和装置 |
| CN112232509A (zh) * | 2020-10-10 | 2021-01-15 | 苏州浪潮智能科技有限公司 | 一种边缘计算模型压缩优化方法、装置、设备及可读介质 |
| CN112287950A (zh) * | 2020-11-16 | 2021-01-29 | 北京沃东天骏信息技术有限公司 | 特征提取模块压缩方法、图像处理方法、装置、介质 |
| CN112488297A (zh) * | 2020-12-03 | 2021-03-12 | 深圳信息职业技术学院 | 一种神经网络剪枝方法、模型生成方法及装置 |
| CN112597919A (zh) * | 2020-12-28 | 2021-04-02 | 浙江工业大学 | 基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102215757B1 (ko) * | 2019-05-14 | 2021-02-15 | 경희대학교 산학협력단 | 이미지 세그멘테이션 방법, 장치 및 컴퓨터 프로그램 |
| CN112508187A (zh) * | 2020-10-22 | 2021-03-16 | 联想(北京)有限公司 | 一种机器学习模型压缩方法、装置及设备 |
-
2021
- 2021-04-12 CN CN202110389763.XA patent/CN112927173B/zh active Active
- 2021-05-28 WO PCT/CN2021/096602 patent/WO2022217704A1/zh active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875752A (zh) * | 2018-03-21 | 2018-11-23 | 北京迈格威科技有限公司 | 图像处理方法和装置、计算机可读存储介质 |
| CN110119686A (zh) * | 2019-04-17 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络的安全帽实时检测方法 |
| WO2020215573A1 (zh) * | 2019-04-22 | 2020-10-29 | 平安科技（深圳）有限公司 | 验证码的识别方法、装置、计算机设备和存储介质 |
| WO2020221298A1 (zh) * | 2019-04-30 | 2020-11-05 | 北京金山云网络技术有限公司 | 文本检测模型训练方法、文本区域、内容确定方法和装置 |
| CN110619385A (zh) * | 2019-08-31 | 2019-12-27 | 电子科技大学 | 基于多级剪枝的结构化网络模型压缩加速方法 |
| CN110929805A (zh) * | 2019-12-05 | 2020-03-27 | 上海肇观电子科技有限公司 | 神经网络的训练方法、目标检测方法及设备、电路和介质 |
| CN112232509A (zh) * | 2020-10-10 | 2021-01-15 | 苏州浪潮智能科技有限公司 | 一种边缘计算模型压缩优化方法、装置、设备及可读介质 |
| CN112287950A (zh) * | 2020-11-16 | 2021-01-29 | 北京沃东天骏信息技术有限公司 | 特征提取模块压缩方法、图像处理方法、装置、介质 |
| CN112488297A (zh) * | 2020-12-03 | 2021-03-12 | 深圳信息职业技术学院 | 一种神经网络剪枝方法、模型生成方法及装置 |
| CN112597919A (zh) * | 2020-12-28 | 2021-04-02 | 浙江工业大学 | 基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李晓振 等: "基于注意力神经网络的番茄叶部病害识别系统", 《江苏农业学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516638A (zh) * | 2021-06-25 | 2021-10-19 | 中南大学 | 一种神经网络内部特征重要性可视化分析及特征迁移方法 |
| CN113901904A (zh) * | 2021-09-29 | 2022-01-07 | 北京百度网讯科技有限公司 | 图像处理方法、人脸识别模型训练方法、装置及设备 |
| CN115170917A (zh) * | 2022-06-20 | 2022-10-11 | 美的集团(上海)有限公司 | 图像处理方法、电子设备及存储介质 |
| CN115170917B (zh) * | 2022-06-20 | 2023-11-07 | 美的集团(上海)有限公司 | 图像处理方法、电子设备及存储介质 |
| CN115564030A (zh) * | 2022-11-24 | 2023-01-03 | 中国平安财产保险股份有限公司 | 目标检测模型的压缩方法、检测方法、装置及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112927173B (zh) | 2023-04-18 |
| WO2022217704A1 (zh) | 2022-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112927173B (zh) | 模型压缩方法、装置、计算设备及存储介质 | |
| CN111144561A (zh) | 一种神经网络模型确定方法及装置 | |
| CN110825826A (zh) | 聚类簇计算方法、装置、终端及存储介质 | |
| CN111310784B (zh) | 资源数据的处理方法及装置 | |
| CN112183295A (zh) | 行人重识别方法、装置、计算机设备及存储介质 | |
| CN110503566B (zh) | 风控模型建立方法、装置、计算机设备及存储介质 | |
| CN112132278A (zh) | 模型压缩方法、装置、计算机设备及存储介质 | |
| CN111177217A (zh) | 数据预处理方法、装置、计算机设备及存储介质 | |
| US20210224565A1 (en) | Method for optical character recognition in document subject to shadows, and device employing method | |
| CN115687674A (zh) | 服务于智慧云服务平台的大数据需求分析方法及系统 | |
| CN110619391B (zh) | 一种检测模型压缩方法、装置和计算机可读存储介质 | |
| CN114071525B (zh) | 基站优化次序确定方法、装置及存储介质 | |
| CN111400597A (zh) | 基于k-means算法的信息归类方法及相关设备 | |
| CN116664335B (zh) | 基于智能监控的半导体生产系统运行分析方法及系统 | |
| CN112598110B (zh) | 神经网络构建方法、装置、设备及介质 | |
| CN113822414A (zh) | 口罩检测模型的训练方法、口罩检测方法及相关设备 | |
| CN116563293B (zh) | 一种基于机器视觉的光伏载具生产质量检测方法及系统 | |
| CN112150612A (zh) | 三维模型构建方法、装置、计算机设备及存储介质 | |
| CN112766397A (zh) | 一种分类网络及其实现方法和装置 | |
| CN111414993A (zh) | 卷积神经网络的裁剪、卷积计算方法及装置 | |
| CN112613521B (zh) | 基于数据转换的多层次数据分析系统及方法 | |
| CN115937079A (zh) | 一种基于YOLO v3的输电线路缺陷快速检测方法 | |
| CN113762505A (zh) | 一种卷积神经网络的按通道l2范数聚类剪枝方法 | |
| CN114677545A (zh) | 一种基于相似性剪枝和高效模块的轻量化图像分类方法 | |
| CN112396100A (zh) | 一种细粒度分类模型的优化方法、系统及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |