CN115564043A - 一种图像分类模型剪枝方法、装置、电子设备及存储介质 - Google Patents
一种图像分类模型剪枝方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115564043A CN115564043A CN202211269688.4A CN202211269688A CN115564043A CN 115564043 A CN115564043 A CN 115564043A CN 202211269688 A CN202211269688 A CN 202211269688A CN 115564043 A CN115564043 A CN 115564043A
- Authority
- CN
- China
- Prior art keywords
- image classification
- parameter
- network
- classification model
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013145 classification model Methods 0.000 title claims abstract description 99
- 238000013138 pruning Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000008859 change Effects 0.000 claims abstract description 99
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000003062 neural network model Methods 0.000 claims abstract description 40
- 230000008014 freezing Effects 0.000 claims abstract description 18
- 238000007710 freezing Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000001186 cumulative effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像分类模型剪枝方法、装置、电子设备及存储介质，涉及人工智能领域，该方法包括获取训练T个周期后的待剪枝的图像分类模型的参数序列；参数序列包括T个网络参数集合；网络参数集合由训练一个周期后的待剪枝的图像分类模型的网络参数组成；利用累计变化算子对参数序列中的网络参数变化进行统计，得到T个周期内网络参数的累计变化数组；根据累计变化数组和参数序列对图像分类模型进行参数剪枝或参数冻结，得到稀疏神经网络模型；将稀疏神经网络模型部署至图像分类便携式智能终端。本发明能够提高图像分类模型训练性能和训练效率。
Description
技术领域
本发明涉及人工智能领域，特别是涉及一种图像分类模型剪枝方法、装置、电子设备及存储介质。
背景技术
深度神经网络模型在诸多人工智能领域，例如计算机视觉、自然语言处理、强化学习等都有着极佳的表现效果。随着深度学习算法的不断改进，深度神经网络模型的深度也在不断上升。但随之带来的就是上千万甚至数亿的参数量，在实际训练过程中，对算力、存储、延迟等都提出了一个巨大的挑战，大模型主要部署在后端高算力服务器上，而目前边缘计算的需求越来越多，冗余的参数量及模型大小会造成发热、空间不足等问题。基于深度学习的图像分类模型可以应用在诸多下游任务上，但是目前图像分类模型常部署在智能终端上，这需要其具有低存储、高性能、低能耗等特点。
与此同时，针对深度神经网络模型属性的问题被大量研究，发现其精度与网络参数并不是严格的正相关关系，也意味着在一个庞大的深度神经网络结构中，存在诸多冗余参数量。因此对过参数化的深度神经网络进行深度压缩操作是有实际意义的，常见的方式有剪枝、量化、无损压缩霍夫曼编码等，且都有比较好的效果。剪枝技术是通过一定的策略来过滤掉一些对于当前数据集来说不重要的参数和连接，在很多情况下，参数减少而不损失精度。例如ImageNet数据集上ResNet50稀疏度达到85％，但性能并没有下降，其他VGG、AlexNet等神经网络模型也有类似的结果。剪枝技术不仅能够降低权重数量，还能提高计算速率，是一种有效的深度压缩方式。
目前常见的神经网络剪枝的操作方式都通过将最不需要的权值设置为零，并且在之后的训练过程将该参数位置进行冻结，即不进行训练。可以通过将权值和一个二元剪枝掩模M按对应元素相乘来做到，也有通过在损失函数中添加掩码的操作方式。但对于神经网络结构中，每个参数本身的累计变化情况并未考虑，并且上述的操作方式往往是边训练边剪枝，训练过程复杂缓慢，存在不足。
发明内容
本发明的目的是提供一种适用于图像分类便携式智能终端的图像分类模型剪枝方法、装置、电子设备及存储介质，能够提高图像分类模型训练性能和训练效率。
为实现上述目的，本发明提供了如下方案：
第一方面，本发明提供了一种图像分类模型剪枝方法，包括：
获取训练T个周期后的待剪枝的图像分类模型的参数序列；所述参数序列包括T个网络参数集合，且一个所述周期对应一个所述网络参数集合，不同的所述周期对应不同的所述网络参数集合；所述网络参数集合由训练一个周期后的待剪枝的图像分类模型的网络参数组成；
利用累计变化算子对所述参数序列中的网络参数变化进行统计，得到T个周期内网络参数的累计变化数组；
根据累计变化数组和参数序列对所述图像分类模型进行参数剪枝或参数冻结，得到稀疏神经网络模型；
将所述稀疏神经网络模型部署至图像分类便携式智能终端。
可选地，所述获取预训练T个周期后的待剪枝的图像分类模型的参数序列，具体包括：
构建深度神经网络模型；
采用图像分类公开数据集训练深度神经网络模型，得到当期周期待剪枝的图像分类模型的网络参数，并将当期周期待剪枝的图像分类模型的网络参数存储，得到当期周期对应的网络参数集合；
重复上述操作，直到得到T个网络参数集合；
将所述T个网络参数集合按照训练周期顺序进行组合，得到训练T个周期后的待剪枝的图像分类模型的参数序列。
可选地，所述利用累计变化算子对所述参数序列中的网络参数变化进行统计，得到T个周期内网络参数的累计变化数组，具体包括：
构建初始的累计变化数组；所述累计变化数组为与所述网络参数集合同维度的数组；初始的所述累计变化数组中的所有值均为0；
计算相邻周期内待剪枝的图像分类模型的网络参数集合的一阶差分结果，并根据一阶差分结果更新初始的累计变化数组，得到T个周期内网络参数的累计变化数组。
可选地，所述计算相邻周期内待剪枝的图像分类模型的网络参数集合的一阶差分结果，并根据一阶差分结果更新初始的累计变化数组，得到T个周期内网络参数的累计变化数组，具体包括：
将第一周期内待剪枝的图像分类模型的网络参数集合对应的累计变化数组中的值保持不变；
计算第二周期内待剪枝的图像分类模型的网络参数集合与第一周期内待剪枝的图像分类模型的网络参数集合的一阶差分结果，并当所述第二周期对应的一阶差分结果中的元素为正值时将对应的所述累计变化数组中的值加1，当所述第二周期对应的一阶差分结果中的元素为负值时将对应的所述累计变化数组中的值减1，当所述第二周期对应的一阶差分结果中的元素为0时将对应的所述累计变化数组中的值保持不变；
计算第三周期内待剪枝的图像分类模型的网络参数集合与第二周期内待剪枝的图像分类模型的网络参数集合的一阶差分结果，并当所述第三周期对应的一阶差分结果中的元素为正值时将对应的所述累计变化数组中的值加1，当所述第三周期对应的一阶差分结果中的元素为负值时将对应的所述累计变化数组中的值减1，当所述第三周期对应的一阶差分结果中的元素为0时将对应的所述累计变化数组中的值保持不变，依次类推，得到T个周期内网络参数的累计变化数组。
可选地，所述根据累计变化数组和网络参数本身特征对所述图像分类模型进行参数剪枝或参数冻结，得到稀疏神经网络模型，具体包括：
根据累计变化数组和T个网络参数集合，得到T个判断标准集合；所述判断标准集合中的元素和所述网络参数集合中的元素一一对应；
对每个网络参数集合均执行以下操作：
当所述判断标准集合中的元素大于0时，将对应位置处的网络参数进行冻结操作；
当所述判断标准集合中的元素小于0时，将对应位置处的网络参数进行剪枝操作；
根据冻结操作的网络参数，得到稀疏神经网络模型。
可选地，所述根据累计变化数组和T个网络参数集合，得到T个判断标准集合，具体包括：
根据累计变化数组和符号变化函数计算符号变化矩阵；
根据T个网络参数集合和参数特征符号函数，得到T个参数特征矩阵序列；
将T个所述参数特征矩阵序列分别与所述符号变化矩阵进行卷积操作，得到T个判断标准集合。
可选地，所述参数特征符号函数为f1＝sgn(x)；
所述符号变化函数为
其中，T为周期总次数，log为以10为底对数变换，函数[]为向上取整。
第二方面，本发明提供了一种图像分类模型剪枝装置，包括：
参数序列获取模块，用于获取训练T个周期后的待剪枝的图像分类模型的参数序列；所述参数序列包括T个网络参数集合，且一个所述周期对应一个所述网络参数集合，不同的所述周期对应不同的所述网络参数集合；所述网络参数集合由训练一个周期后的待剪枝的图像分类模型的网络参数组成；
累计变化数组计算模块，用于利用累计变化算子对所述参数序列中的网络参数变化进行统计，得到T个周期内网络参数的累计变化数组；
稀疏神经网络模型确定模块，用于根据累计变化数组和参数序列对所述图像分类模型进行参数剪枝或参数冻结，得到稀疏神经网络模型；
模型部署模块，用于将所述稀疏神经网络模型部署至图像分类便携式智能终端。
第三方面，本发明提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据第一方面所述的图像分类模型剪枝方法。
第四方面，本发明提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像分类模型剪枝方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明可以对图像分类便携式智能终端进行图像分类模型压缩，提升其训练性能，且考虑了每个网络参数本身的累计变化情况，无需在训练后重新对模型进行二次训练，提高训练效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明图像分类模型剪枝方法的流程示意图；
图2为本发明图像分类模型剪枝方法具体过程示意图；
图3为本发明图像分类模型剪枝系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示，本实施例提供了一种适用于图像分类便携式智能终端的图像分类模型剪枝方法，包括如下步骤：
步骤100：获取训练T个周期后的待剪枝的图像分类模型的参数序列；所述参数序列包括T个网络参数集合，且一个所述周期对应一个所述网络参数集合，不同的所述周期对应不同的所述网络参数集合；所述网络参数集合由训练一个周期后的待剪枝的图像分类模型的网络参数组成。
步骤200：利用累计变化算子对所述参数序列中的网络参数变化进行统计，得到T个周期内网络参数的累计变化数组。
步骤300：根据累计变化数组和参数序列对所述图像分类模型进行参数剪枝或参数冻结，得到稀疏神经网络模型。
步骤400：将所述稀疏神经网络模型部署至图像分类便携式智能终端。
作为一个优选的实施方式，本实施例步骤100具体包括：
步骤101：构建深度神经网络模型。
步骤102：采用图像分类公开数据集训练深度神经网络模型，得到当期周期待剪枝的图像分类模型的网络参数，并将当期周期待剪枝的图像分类模型的网络参数存储，得到当期周期对应的网络参数集合。
步骤103：将步骤102中的深度神经网络模型的网络参数更新为当期周期待剪枝的图像分类模型的网络参数，返回步骤102，直到得到T个网络参数集合。
步骤104：将所述T个网络参数集合按照训练周期顺序进行组合，得到训练T个周期后的待剪枝的图像分类模型的参数序列。
其中，对深度神经网络模型训练后，保存下来的每个待剪枝图像分类模型的网络参数集合记为Wt，其中，t为第t周期，共T个周期。
作为一个优选的实施方式，本实施例步骤200具体包括：
步骤201：构建初始的累计变化数组
所述累计变化数组S为与所述网络参数集合W同维度的数组；初始的所述累计变化数组中的所有值均为0。
步骤202：计算相邻周期内待剪枝的图像分类模型的网络参数集合的一阶差分结果ΔWt，即t周期和t-1周期的参数差值Wt-Wt-1，并根据一阶差分结果更新初始的累计变化数组，T个周期内网络参数的累计变化数组。
一个示例：对于每一个ΔWt(t∈[2,T])，若ΔWt中某个元素为正值，则S中对应位置元素的值加1，为负值减1，否则不变化，具体为：
将第一周期内待剪枝的图像分类模型的网络参数集合对应的累计变化数组中的值保持不变。
计算第二周期内待剪枝的图像分类模型的网络参数集合与第一周期内待剪枝的图像分类模型的网络参数集合的一阶差分结果，并当所述第二周期对应的一阶差分结果中的元素为正值时将对应的所述累计变化数组中的值加1，当所述第二周期对应的一阶差分结果中的元素为负值时将对应的所述累计变化数组中的值减1，当所述第二周期对应的一阶差分结果中的元素为0时将对应的所述累计变化数组中的值保持不变。
计算第三周期内待剪枝的图像分类模型的网络参数集合与第二周期内待剪枝的图像分类模型的网络参数集合的一阶差分结果，并当所述第三周期对应的一阶差分结果中的元素为正值时将对应的所述累计变化数组中的值加1，当所述第三周期对应的一阶差分结果中的元素为负值时将对应的所述累计变化数组中的值减1，当所述第三周期对应的一阶差分结果中的元素为0时将对应的所述累计变化数组中的值保持不变，依次类推，得到T个周期内网络参数的累计变化数组。
作为一个优选的实施方式，本实施例步骤300具体包括：
步骤301：根据累计变化数组和T个网络参数集合，得到T个判断标准集合；所述判断标准集合中的元素和所述网络参数集合中的元素一一对应。
一个示例：
首先构造参数特征符号函数f1＝sgn(x)；
构造符号变化函数
其中，T为预训练的训练周期总次数，log为以10为底对数变换，函数[]为向上取整。
其次，根据累计变化数组和符号变化函数计算符号变化矩阵F2＝f2(S)，根据T个网络参数集合和参数特征符号函数，得到T个参数特征矩阵序列；其中，第t周期对应的参数特征矩阵序列为
接着，将T个所述参数特征矩阵序列分别与所述符号变化矩阵进行卷积操作，得到T个判断标准集合；其中，第t周期对应的判断标准集合
步骤302：对每个网络参数集合均执行以下操作：
当所述判断标准集合中的元素大于0时，将对应位置处的网络参数进行冻结操作；
当所述判断标准集合中的元素小于0时，将对应位置处的网络参数进行剪枝操作。
一个示例：对于Qt中每个元素q，有规则为：若q<0，则将对应位置模型参数置为0，该部分为图像分类模型的无效参数；若q>0，则将对应位置模型参数冻结为最后一个周期T时的参数，该部分为图像分类模型的关键参数；否则待定。
步骤303：根据冻结操作的网络参数，得到稀疏神经网络模型。
实施例二
本实施例中，图像分类程序为Resnet50，其中最后分类层为二分类层。其参数量约为23.5183M。该模型通过训练ImageNet数据集得到，该数据集包括7981张训练图像，其最终分类准确率为93％，训练参数为10个Epoch，分别记为Wt，其中t∈(1,2,...,10)。
本实施例中，采用图2所示的方法进行参数剪枝，其主要步骤包括。
步骤一，获取待剪枝的图像分类模型的参数序列Wt，其中t∈(1,2,...,10)。即图像分类公开数据集对原神经网络模型预训练10个周期后，获取每个周期后的图像分类模型参数集合，形成由10个参数集合组成的参数序列。
步骤二，图像分类模型参数追踪，即结合图像分类模型Resnet50参数自身变化情况，利用累计变化算子对模型在10个周期内参数的累计变化情况进行统计。具体包括如下子步骤：
1)网络参数集合中所有参数的累计变化情况记为
其中S为和W同维度的数组，S中的所有值初始化为0。
2)统计单步变化结果。计算相邻周期内的参数集合的一阶差分结果ΔWt，在本实施例中差分结果共9个，分别为(W1-W0)，(W2-W1)，……，(W10-W9)。
3)更新累计参数变化情况。对于每一个ΔWt(t∈[2,T])，若ΔWt中某个元素为正值，则S中对应位置元素的值加1，为负值减1，否则不变化。
4)构造参数特征符号函数f1＝sgn(x)；
构建符号变化函数
5)计算参数特征矩阵序列
与符号变化矩阵F2＝f2(S)。
步骤三：完成剪枝操作，即根据步骤二获得的参数累计变化情况，结合参数本身特征进行参数剪枝或参数冻结。具体包括如下子步骤：
1)确定剪枝参数。在图像分类模型参数追踪过程中，计算
对于Qt中每个元素q，有规则为：若q<0，则将对应位置模型参数置为0，该部分为图像分类模型的无效参数；若q>0，则将对应位置模型参数冻结为最后一个周期，本例中为10的参数，该部分为图像分类模型的关键参数；否则待定。
2)对每个t重复(1)步，直到10步。
步骤四：得到最终的稀疏神经网络模型，本实施例中得到稀疏的图像分类模型Resnet50sparse，其内部结构与Resnet50相同，但是其中非零参数量约为2.4M，相比最初非零参数量23.5183M降为原来的0.1倍，同时图像分类判断准确率为92％，仅下降了1％。
步骤五：将稀疏神经网络模型部署至用于图像分类的终端设备中。例如部署在可压缩黑色素瘤筛查图像分类模型的终端设备中。
实施例三
一种图像分类模型剪枝装置，如图3所示，包括：
参数序列获取模块1，用于获取训练T个周期后的待剪枝的图像分类模型的参数序列；所述参数序列包括T个网络参数集合，且一个所述周期对应一个所述网络参数集合，不同的所述周期对应不同的所述网络参数集合；所述网络参数集合由训练一个周期后的待剪枝的图像分类模型的网络参数组成。
累计变化数组计算模块2，用于利用累计变化算子对所述参数序列中的网络参数变化进行统计，得到T个周期内网络参数的累计变化数组。
稀疏神经网络模型确定模块3，用于根据累计变化数组和参数序列对所述图像分类模型进行参数剪枝或参数冻结，得到稀疏神经网络模型。
模型部署模块4，用于将所述稀疏神经网络模型部署至图像分类便携式智能终端。
实施例四
本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一的图像分类模型剪枝方法。
可选地，上述电子设备可以是服务器。
另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的图像分类模型剪枝方法。
通过本发明提供的技术方案，对神经网络模型中参数累计变化情况实现有效追踪，在几乎不减少原来神经网络模型精度的情况下，压缩模型参数，提升模型运行效率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种图像分类模型剪枝方法，其特征在于，包括：
获取训练T个周期后的待剪枝的图像分类模型的参数序列；所述参数序列包括T个网络参数集合，且一个所述周期对应一个所述网络参数集合，不同的所述周期对应不同的所述网络参数集合；所述网络参数集合由训练一个周期后的待剪枝的图像分类模型的网络参数组成；
利用累计变化算子对所述参数序列中的网络参数变化进行统计，得到T个周期内网络参数的累计变化数组；
根据累计变化数组和参数序列对所述图像分类模型进行参数剪枝或参数冻结，得到稀疏神经网络模型；
将所述稀疏神经网络模型部署至图像分类便携式智能终端。
2.根据权利要求1所述的一种图像分类模型剪枝方法，其特征在于，所述获取预训练T个周期后的待剪枝的图像分类模型的参数序列，具体包括：
构建深度神经网络模型；
采用图像分类公开数据集训练深度神经网络模型，得到当期周期待剪枝的图像分类模型的网络参数，并将当期周期待剪枝的图像分类模型的网络参数存储，得到当期周期对应的网络参数集合；
重复上述操作，直到得到T个网络参数集合；
将所述T个网络参数集合按照训练周期顺序进行组合，得到训练T个周期后的待剪枝的图像分类模型的参数序列。
3.根据权利要求1所述的一种图像分类模型剪枝方法，其特征在于，所述利用累计变化算子对所述参数序列中的网络参数变化进行统计，得到T个周期内网络参数的累计变化数组，具体包括：
构建初始的累计变化数组；所述累计变化数组为与所述网络参数集合同维度的数组；初始的所述累计变化数组中的所有值均为0；
计算相邻周期内待剪枝的图像分类模型的网络参数集合的一阶差分结果，并根据一阶差分结果更新初始的累计变化数组，得到T个周期内网络参数的累计变化数组。
4.根据权利要求3所述的一种图像分类模型剪枝方法，其特征在于，所述计算相邻周期内待剪枝的图像分类模型的网络参数集合的一阶差分结果，并根据一阶差分结果更新初始的累计变化数组，得到T个周期内网络参数的累计变化数组，具体包括：
将第一周期内待剪枝的图像分类模型的网络参数集合对应的累计变化数组中的值保持不变；
计算第二周期内待剪枝的图像分类模型的网络参数集合与第一周期内待剪枝的图像分类模型的网络参数集合的一阶差分结果，并当所述第二周期对应的一阶差分结果中的元素为正值时将对应的所述累计变化数组中的值加1，当所述第二周期对应的一阶差分结果中的元素为负值时将对应的所述累计变化数组中的值减1，当所述第二周期对应的一阶差分结果中的元素为0时将对应的所述累计变化数组中的值保持不变；
计算第三周期内待剪枝的图像分类模型的网络参数集合与第二周期内待剪枝的图像分类模型的网络参数集合的一阶差分结果，并当所述第三周期对应的一阶差分结果中的元素为正值时将对应的所述累计变化数组中的值加1，当所述第三周期对应的一阶差分结果中的元素为负值时将对应的所述累计变化数组中的值减1，当所述第三周期对应的一阶差分结果中的元素为0时将对应的所述累计变化数组中的值保持不变，依次类推，得到T个周期内网络参数的累计变化数组。
5.根据权利要求1所述的一种图像分类模型剪枝方法，其特征在于，所述根据累计变化数组和网络参数本身特征对所述图像分类模型进行参数剪枝或参数冻结，得到稀疏神经网络模型，具体包括：
根据累计变化数组和T个网络参数集合，得到T个判断标准集合；所述判断标准集合中的元素和所述网络参数集合中的元素一一对应；
对每个网络参数集合均执行以下操作：
当所述判断标准集合中的元素大于0时，将对应位置处的网络参数进行冻结操作；
当所述判断标准集合中的元素小于0时，将对应位置处的网络参数进行剪枝操作；
根据冻结操作的网络参数，得到稀疏神经网络模型。
6.根据权利要求5所述的一种图像分类模型剪枝方法，其特征在于，所述根据累计变化数组和T个网络参数集合，得到T个判断标准集合，具体包括：
根据累计变化数组和符号变化函数计算符号变化矩阵；
根据T个网络参数集合和参数特征符号函数，得到T个参数特征矩阵序列；
将T个所述参数特征矩阵序列分别与所述符号变化矩阵进行卷积操作，得到T个判断标准集合。
7.根据权利要求5所述的一种图像分类模型剪枝方法，其特征在于，所述参数特征符号函数为f1＝sgn(x)；
所述符号变化函数为
其中，T为周期总次数，log为以10为底对数变换，函数[]为向上取整。
8.一种图像分类模型剪枝装置，其特征在于，包括：
参数序列获取模块，用于获取训练T个周期后的待剪枝的图像分类模型的参数序列；所述参数序列包括T个网络参数集合，且一个所述周期对应一个所述网络参数集合，不同的所述周期对应不同的所述网络参数集合；所述网络参数集合由训练一个周期后的待剪枝的图像分类模型的网络参数组成；
累计变化数组计算模块，用于利用累计变化算子对所述参数序列中的网络参数变化进行统计，得到T个周期内网络参数的累计变化数组；
稀疏神经网络模型确定模块，用于根据累计变化数组和参数序列对所述图像分类模型进行参数剪枝或参数冻结，得到稀疏神经网络模型；
模型部署模块，用于将所述稀疏神经网络模型部署至图像分类便携式智能终端。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至7中任一项所述的图像分类模型剪枝方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像分类模型剪枝方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211269688.4A CN115564043B (zh) | 2022-10-18 | 2022-10-18 | 一种图像分类模型剪枝方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211269688.4A CN115564043B (zh) | 2022-10-18 | 2022-10-18 | 一种图像分类模型剪枝方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115564043A true CN115564043A (zh) | 2023-01-03 |
| CN115564043B CN115564043B (zh) | 2023-10-27 |
Family
ID=84747129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211269688.4A Active CN115564043B (zh) | 2022-10-18 | 2022-10-18 | 一种图像分类模型剪枝方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115564043B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058525A (zh) * | 2023-10-08 | 2023-11-14 | 之江实验室 | 一种模型的训练方法、装置、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113126052A (zh) * | 2021-03-08 | 2021-07-16 | 西安电子科技大学 | 基于逐级分段训练的高分辨距离像目标识别在线建库方法 |
| WO2021155713A1 (zh) * | 2020-09-08 | 2021-08-12 | 平安科技（深圳）有限公司 | 基于权重嫁接的模型融合的人脸识别方法及相关设备 |
| CN115037315A (zh) * | 2022-05-17 | 2022-09-09 | 北京航空航天大学 | 一种基于Polar码的多级灵活自适应SCL剪枝方法 |
| CN115099400A (zh) * | 2022-03-14 | 2022-09-23 | 北京石油化工学院 | 基于泊松分布的神经网络混合差分剪枝方法和剪枝装置 |
-
2022
- 2022-10-18 CN CN202211269688.4A patent/CN115564043B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021155713A1 (zh) * | 2020-09-08 | 2021-08-12 | 平安科技（深圳）有限公司 | 基于权重嫁接的模型融合的人脸识别方法及相关设备 |
| CN113126052A (zh) * | 2021-03-08 | 2021-07-16 | 西安电子科技大学 | 基于逐级分段训练的高分辨距离像目标识别在线建库方法 |
| CN115099400A (zh) * | 2022-03-14 | 2022-09-23 | 北京石油化工学院 | 基于泊松分布的神经网络混合差分剪枝方法和剪枝装置 |
| CN115037315A (zh) * | 2022-05-17 | 2022-09-09 | 北京航空航天大学 | 一种基于Polar码的多级灵活自适应SCL剪枝方法 |
Non-Patent Citations (2)
| Title |
|---|
| VIVEK RAMANUJAN ET AL.: ""Soft ThresholdWeight Reparameterization for Learnable Sparsity"", 《PROCEEDINGS OF THE 37 TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 * |
| 刘峰等: ""增强区域全卷积网络下的炸点检测方法研究"", 《计算机辅助设计与图形学学报》, vol. 31, no. 3 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058525A (zh) * | 2023-10-08 | 2023-11-14 | 之江实验室 | 一种模型的训练方法、装置、存储介质及电子设备 |
| CN117058525B (zh) * | 2023-10-08 | 2024-02-06 | 之江实验室 | 一种模型的训练方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115564043B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dai et al. | Compressing neural networks using the variational information bottleneck | |
| CN110619385B (zh) | 基于多级剪枝的结构化网络模型压缩加速方法 | |
| CN108510067B (zh) | 基于工程化实现的卷积神经网络量化方法 | |
| CN107516129B (zh) | 基于维度自适应的Tucker分解的深度网络压缩方法 | |
| CN112418027A (zh) | 一种改进U-Net网络的遥感影像道路提取方法 | |
| CN108334945B (zh) | 深度神经网络的加速与压缩方法及装置 | |
| CN108764471A (zh) | 基于特征冗余分析的神经网络跨层剪枝方法 | |
| CN112052951B (zh) | 一种剪枝神经网络方法、系统、设备及可读存储介质 | |
| CN107395211B (zh) | 一种基于卷积神经网络模型的数据处理方法及装置 | |
| CN112508125A (zh) | 一种图像检测模型的高效全整数量化方法 | |
| CN112183742B (zh) | 基于渐进式量化和Hessian信息的神经网络混合量化方法 | |
| CN113657421B (zh) | 卷积神经网络压缩方法和装置、图像分类方法和装置 | |
| CN110751265A (zh) | 一种轻量型神经网络构建方法、系统及电子设备 | |
| CN116565863B (zh) | 一种基于时空相关性的短期光伏出力预测方法 | |
| CN110059823A (zh) | 深度神经网络模型压缩方法及装置 | |
| CN113595993A (zh) | 边缘计算下模型结构优化的车载感知设备联合学习方法 | |
| CN115564043A (zh) | 一种图像分类模型剪枝方法、装置、电子设备及存储介质 | |
| CN112949814B (zh) | 卷积神经网络的压缩和加速方法、装置及嵌入式设备 | |
| CN114154626B (zh) | 一种用于图像分类任务的滤波器剪枝方法 | |
| Tang et al. | Image denoising via graph regularized K-SVD | |
| CN112488291B (zh) | 一种神经网络8比特量化压缩方法 | |
| CN117523333A (zh) | 一种基于注意力机制的地表覆盖分类方法 | |
| CN116956997A (zh) | 用于时序数据处理的lstm模型量化重训练方法、系统及设备 | |
| CN114677545B (zh) | 一种基于相似性剪枝和高效模块的轻量化图像分类方法 | |
| Chen et al. | Explainable Global Wildfire Prediction Models using Graph Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |