CN113516230A - 基于平均秩重要性排序的自动化卷积神经网络剪枝方法 - Google Patents

基于平均秩重要性排序的自动化卷积神经网络剪枝方法 Download PDF

Info

Publication number
CN113516230A
CN113516230A CN202110818395.6A CN202110818395A CN113516230A CN 113516230 A CN113516230 A CN 113516230A CN 202110818395 A CN202110818395 A CN 202110818395A CN 113516230 A CN113516230 A CN 113516230A
Authority
CN
China
Prior art keywords
pruning
model
layer
neural network
average rank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110818395.6A
Other languages
English (en)
Other versions
CN113516230B (zh
Inventor
张维纬
余浩然
周密
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202110818395.6A priority Critical patent/CN113516230B/zh
Publication of CN113516230A publication Critical patent/CN113516230A/zh
Application granted granted Critical
Publication of CN113516230B publication Critical patent/CN113516230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法,所述方法包括:获取图像的数据集,并将数据集按比例分为训练数据集和验证数据集;获取需要剪枝操作的模型并执行初始化,利用初始化的模型对训练数据集的图像进行预训练,获取每个卷积核输出特征图的平均秩;对所述平均秩进行排序,将秩排序结果作为敏感层判别依据,通过强化学习实现自动化模型剪枝操作,获得其中模型精度最高的模型剪枝策略进行剪枝操作;对剪枝完成以后的模型执行微调操作,得到最终的神经网络模型。采用本发明方法实现神经网络剪枝能够在保证精度损失较小的情况下,降低模型参数量与浮点计算量,降低设备成本。

Description

基于平均秩重要性排序的自动化卷积神经网络剪枝方法
技术领域
本发明涉及图像处理领域和边缘智能领域,特别涉及一种基于平均秩重要性排序的自动化卷积神经网络剪枝方法。
背景技术
近年来,一方面深度更深的神经网络的研究所获得的模型效果越来越好,另一方面,随着无人驾驶与智能移动设备等相关领域的不断发展与创新,对适合应用于计算能力较弱的边缘设备上的深度神经网络模型的要求也在逐渐提高。而由于深度神经网络的特性,将其部署在移动设备上时,其所包含的参数量以及浮点计算量都是极其庞大的。例如,一个152层的ResNet有6000多万个参数,在推断分辨率为224×224的图像时,需要200多亿次浮点运算,这在移动设备、可穿戴设备或物联网设备等资源受限的平台上不太可能负担得起。此外,在GPU上运行该模型进行实时目标检测成本高昂。例如,在NVIDIA Tesla T4上运行ResNet每秒可实时检测40帧图像,但该模块市场售价近三万元,远超出普遍经济承受能力。现有的神经网络模型很难做到在低成本设备上对模型精确性与计算速度的兼顾。
随着移动边缘设备的发展,其对精度的高依赖正逐步转化为在保持精度不降低或者仅略微降低的情况下尽可能的保证低的存储空间占用以及更少的浮点计算量。但现有的神经网络的剪枝方法大都需要人工专家不断调节参数来达到最佳的剪枝效果,从实际效果来说十分耗时,同时达到的效果容易出现局部最佳或者次优的情况。而现有的模型剪枝方法则着眼于模型中的权重修剪,此方式需要特定的硬件支持,泛化性较差,同时绝大多数剪枝策略都是基于规则的启发式方法,此类方法着重于滤波器重要性的排序与修剪,这样的方式很可能导致次优修剪,使得最终剪枝效果不佳。
发明内容
本发明要解决的技术问题,在于提供一种基于平均秩重要性排序的自动化卷积神经网络剪枝方法,实现小范围精度损失的前提下,通过自动化剪枝的过程降低模型参数量与浮点计算量。
本发明是这样实现的:一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法,所述方法包括:
步骤10、获取图像的数据集,并将数据集按比例分为训练数据集和验证数据集;
步骤20、获取需要剪枝操作的模型并执行初始化,利用初始化的模型对训练数据集的图像进行预训练,获取每个卷积核输出特征图的平均秩;
步骤30、对所述平均秩进行排序,将秩排序结果作为敏感层判别依据,通过强化学习实现自动化模型剪枝操作,获得其中模型精度最高的模型剪枝策略进行剪枝操作;
步骤40、对剪枝完成以后的模型执行微调操作,得到最终的神经网络模型。
进一步的,所述步骤20进一步包括:
步骤21、基于Pytorch框架创建待剪枝的卷积神经网络模型;
步骤22、设置相应的预训练参数;
步骤23、对训练数据集中的图像进行50轮预训练过程,提取相应神经网络模型的相应层的信息,计算卷积层中每个卷积核输出特征图的平均秩,并建立对应的层结构索引,获取当前模型精度,所述模型精确度通过测试集中不同图片进行测试得到。
进一步的,所述步骤30进一步包括:
步骤31、对当前模型中每一层的平均秩按从低到高进行排序,确定平均秩较高的三层为敏感层,其他层为非敏感层;
步骤32、获取超参数中设置的目标剪枝率,并根据目标剪枝率确定需要剪枝的滤波器数量;
步骤33、根据强化学习的确定性策略,若当前层为非敏感层,则执行步骤34,否则,进一步判断是否需要对敏感层进行剪枝,若是,则执行步骤34,否则,跳转至步骤36;
步骤34、通过计算滤波器的平均秩大小计算滤波器的重要性程度,由低到高对当前层模型中滤波器进行排序,并获取模型当前层应当执行剪枝操作的滤波器数量,同时计算获得剩下待剪枝滤波器数量;
步骤35、根据上述获得的当前层所需剪枝的滤波器数量,选择当前层非敏感滤波器,将其权重设置为0,并进行剪枝;
步骤36、依次对模型中每一层重复执行步骤33-步骤35,以完成对模型所有层的剪枝操作,即完成一轮完整的模型剪枝操作,并在完成一轮剪枝操作时,通过验证数据集验证完成一轮剪枝操作的模型的精度,并将当前模型剪枝策略与精度保存到强化学习经验回放池中;
步骤37、重复执行步骤33-步骤36,直至完成所有预设轮次的模型剪枝操作,并获取其中精度最高的剪枝策略,根据其中精度最高的剪枝策略执行剪枝操作,得到剪枝后的模型。
进一步的,所述步骤30的强化学习使用的是DDPG深度确定性策略强化学习方法,其中演员网络与评论家网络的训练根据完整一轮剪枝所获得的精度与每一轮中剪枝状态作为输入执行训练操作,其中在状态空间中,对于每一层网络t,通过如下公式所示的10个属性来表示状态St的属性特征:
(t,n,c,h,w,stride,k,FLOPs[t],Reall,Rest,at-1)
其中,t表示每层网络的标签,n表示网络总层数,c表示卷积通道数,h、w分别表示卷积特征图的高和宽,stride为步长,k表示迭代次数,FLOPs[t]表示每一层网络t的浮点计算量,Reall为所有的状态响应,Rest为剩余状态,at-1为t-1层网络的动作状态;
代理从滤波器剪枝的环境中获得其所处的第t层的环境St,获得当前特征向量φ(st),然后输出St状态下的动作At=πθ(φ(st)+N作为当前层的剪枝率,指导当前层进行可替代滤波器剪枝;
在下一轮剪枝时,可以通过在DDPG经验回放池中采集m个样本如下公式计算当前目标Q值yt
Figure BDA0003171074690000041
其中Rt表示代理,b为基线奖励,γ为奖励平衡因子,Q′为目标函数,φ(s′t)为演员目标网络的特征向量,π′θ为压缩率函数,W′为演员网络权重参数。
进一步的,所述步骤33中“进一步判断是否需要对敏感层进行剪枝”具体为:通过DDPG的损失函数判断是否需要对敏感层执行剪枝,若计算出来的损失大于或等于预设值,则不对敏感层进行剪枝,否则对敏感层执行与非敏感层相同的剪枝过程;
所述DDPG的损失函数为下式所示的均方误差函数:
Figure BDA0003171074690000042
At=πθ(φ(st)+N
其中,L()为误差函数,n为网络总层数,m为样本总数,Q为代理网络目标函数,φ(st)为代理网络特征向量,w为代理网络权重参数。
进一步的,所述步骤33中还包括,在第一轮剪枝中,若当前层为敏感层,则将强化学习的确定性输出的当前层置为0.1,以确保第一轮剪枝中不对敏感层进行剪枝。
进一步的,所述强化学习中的奖励函数采用如下公式计算:
RFLOPs=-Error·log(FLOPs)
RFLOPs表示FLOPs的奖励函数,FLOPs表示浮点运算量,Error为错误率。
进一步的,所述步骤S31中通过将秩排序结果作为敏感层判别依据,将平均秩的大小作为信息的度量,并按照如下公式所示的方法优化:
Figure BDA0003171074690000051
Figure BDA0003171074690000052
其中,δij表示人为设定的指标,取值为1或0,L为重要性损失,
Figure BDA0003171074690000053
表示第j层的第i个滤波器,k为卷积层数,ni2为滤波器个数。
进一步的,所述步骤S40具体为:
通过执行剪枝操作后的模型使用原训练集执行150轮训练来执行微调操作,从而获得最终剪枝完成的模型,其所采用的损失函数具体为:
Figure BDA0003171074690000054
其中,xi表示预测值,yi表示真实值,m为正整数即为总样本数。
本发明实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1、采用强化学习的方式实现的剪枝方法,是自动化剪枝过程,同时在剪枝过程中,通过学习的方式,能够不断优化剪枝策略,最终可获得最佳的剪枝策略。
2、本方法聚焦于将卷积层中卷积核按照平均秩的大小进行排序,且通过研究发现秩的大小与滤波器重要性大小具有一致性,并利用该特性,与重要性排序剪枝的结合,同时对于深度神经网络模型中的敏感层滤波器实行较低压缩率剪枝甚至不剪枝处理,极大的保证剪枝以后神经网络模型的精度。
3、基于高性能的移动边缘设备的价格十分昂贵,本发明可做到精度降低在可接受范围内时,直接将剪枝操作以后的模型部署在计算与存储能力不那么高的边缘设备上,从而能极大降低相应的计算设备的智能化成本。
4、比传统重要性排序方法效果更好,对于边缘设备智能化的未来发展前景有很大的意义。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法的流程图;
图2为本发明方法一实施例中原理示意图。
具体实施方式
如图1和图2所示,本发明的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法,所述方法包括:
步骤10、获取图像的数据集,并将数据集按比例分为训练数据集和验证数据集;
步骤20、获取需要剪枝操作的模型并执行初始化,利用初始化的模型对训练数据集的图像进行预训练,获取每个卷积核输出特征图的平均秩;
步骤30、对所述平均秩进行排序,将秩排序结果作为敏感层判别依据,通过强化学习实现自动化模型剪枝操作,获得其中模型精度最高的模型剪枝策略进行剪枝操作;
步骤40、对剪枝完成以后的模型执行微调操作,得到最终的神经网络模型。
较佳的,所述步骤20进一步包括:
步骤21、基于Pytorch框架创建待剪枝的卷积神经网络模型;
步骤22、设置相应的预训练参数;
步骤23、对训练数据集中的图像进行50轮预训练过程,提取相应神经网络模型的相应层的信息,计算卷积层中每个卷积核输出特征图的平均秩,并建立对应的层结构索引,获取当前模型精度,所述模型精确度通过测试集中不同图片进行测试得到。
较佳的,所述步骤30进一步包括:
步骤31、对当前模型中每一层的平均秩按从低到高进行排序,确定平均秩较高的三层为敏感层,其他层为非敏感层;
步骤32、获取超参数中设置的目标剪枝率,并根据目标剪枝率确定需要剪枝的滤波器数量;
步骤33、根据强化学习的确定性策略,若当前层为非敏感层,则执行步骤34,否则,进一步判断是否需要对敏感层进行剪枝,若是,则执行步骤34,否则,跳转至步骤36;
步骤34、通过计算滤波器的平均秩大小计算滤波器的重要性程度,由低到高对当前层模型中滤波器进行排序,并获取模型当前层应当执行剪枝操作的滤波器数量,同时计算获得剩下待剪枝滤波器数量;
步骤35、根据上述获得的当前层所需剪枝的滤波器数量,选择当前层非敏感滤波器(即可替代滤波器),将其权重设置为0,并进行剪枝;
步骤36、依次对模型中每一层重复执行步骤33-步骤35,以完成对模型所有层的剪枝操作,即完成一轮完整的模型剪枝操作,并在完成一轮剪枝操作时,通过验证数据集验证完成一轮剪枝操作的模型的精度,并将当前模型剪枝策略与精度保存到强化学习经验回放池中;
步骤37、重复执行步骤33-步骤36,直至完成所有预设轮次的模型剪枝操作,并获取其中精度最高的剪枝策略,根据其中精度最高的剪枝策略执行剪枝操作,得到剪枝后的模型。
较佳的,所述步骤30的强化学习使用的是DDPG深度确定性策略强化学习方法,其中演员网络与评论家网络的训练根据完整一轮剪枝所获得的精度与每一轮中剪枝状态作为输入执行训练操作,其中在状态空间中,对于每一层网络t,通过如下公式所示的10个属性来表示状态St的属性特征:
(t,n,c,h,w,stride,k,FLOPs[t],Reall,Rest,at-1)
其中,t表示每层网络的标签,n表示网络总层数,c表示卷积通道数,h、w分别表示卷积特征图的高和宽,stride为步长,k表示迭代次数,FLOPs[t]表示每一层网络t的浮点计算量,Reall为所有的状态响应,Rest为剩余状态,at-1为t-1层网络的动作状态;
代理从滤波器剪枝的环境中获得其所处的第t层的环境St,获得当前特征向量φ(st),然后输出St状态下的动作At=πθ(φ(st)+N作为当前层的剪枝率,指导当前层进行可替代滤波器剪枝;
在下一轮剪枝时,可以通过在DDPG经验回放池中采集m个样本如下公式计算当前目标Q值yt
Figure BDA0003171074690000081
其中Rt表示代理,b为基线奖励,γ为奖励平衡因子,Q′为目标函数,φ(s′t)为演员目标网络的特征向量,π′θ为压缩率函数,W′为演员网络权重参数,πθ′(φ(s′t))是通过演员目标网络获得,而Q′(φ(s′t),π′θ(φ(s′t)),w′)则是通过评论家目标网络获得,其中γ的值设置为1以避免短期奖励的优先级过高,在代理更新期间通过减去基线奖励b来减少梯度估计的方差,其中梯度估计的值为此前奖励的指数移动平均值。
较佳的,所述步骤33中“进一步判断是否需要对敏感层进行剪枝”具体为:通过DDPG的损失函数判断是否需要对敏感层执行剪枝,若计算出来的损失大于或等于预设值,则不对敏感层进行剪枝,否则对敏感层执行与非敏感层相同的剪枝过程;
所述DDPG的损失函数为下式所示的均方误差函数:
Figure BDA0003171074690000082
At=πθ(φ(st)+N
其中,L()为误差函数,n为网络总层数,m为样本总数,Q为代理网络目标函数,φ(st)为代理网络特征向量,w为代理网络权重参数。其选择出来的动作A会增加一定的噪声N并且噪声会在每轮剪枝完以后呈指数衰减,最终产生和环境交互的At
较佳的,所述步骤33中还包括,在第一轮剪枝中,若当前层为敏感层,则将强化学习的确定性输出的当前层置为0.1,以确保第一轮剪枝中不对敏感层进行剪枝,只有在损失不大的情况才对敏感层进行剪枝,以提高精度。
较佳的,所述强化学习中的奖励函数采用如下公式计算:
RFLOPs=-Error·log(FLOPs)
RFLOPs表示FLOPs的奖励函数,FLOPs表示浮点运算量,Error为错误率。
较佳的,所述步骤S31中通过将秩排序结果作为敏感层判别依据,将平均秩的大小作为信息的度量,并按照如下公式所示的方法优化:
Figure BDA0003171074690000091
Figure BDA0003171074690000092
其中,δij表示人为设定的指标,取值为1或0,L为重要性损失,误差函数在这里表示重要性损失,
Figure BDA0003171074690000094
表示第j层的第i个滤波器,k为卷积层数,ni2为滤波器个数,s.t.表示上式满足的条件,该式表示以平均值为度量进行优化。
进一步的,所述步骤S40具体为:
通过执行剪枝操作后的模型使用原训练集执行150轮训练来执行微调操作,从而获得最终剪枝完成的模型,其所采用的损失函数具体为:
Figure BDA0003171074690000093
其中,xi表示预测值,yi表示真实值,m为正整数即为总样本数。
本发明通过预先的剪枝准备,获取数据集,选择网络模型并进行初始化训练,训练结束后获取含有复杂信息的敏感层的层索引进行编号,然后将敏感层第t层中卷积核的平均秩求出来,按照平均秩的大小排序滤波器,对滤波器进行剪枝,本文中采用的是降维转化(即减小滤波器权重矩阵的维度,降低复杂度),设置演员网络与评论家网络利用强化学习进行自动化剪枝,最后设置奖励函数,以演员网络为代理确定合适的压缩率(剪枝率),在压缩率条件下修剪平均秩较小的滤波器,然后用评论家网络评估奖励大小,随后继续对下一层执行上述操作,直至每一层网络全部修剪完成。本发明采用上述的剪枝方法将原本应用于高性能计算机上的神经网络压缩以后部署于移动边缘设备上,具有以下几个优势:1.自动化剪枝操作。通过强化学习的方式实现的剪枝方法,是自动化剪枝过程,同时在剪枝过程中,通过学习的方式,能够不断优化剪枝策略,最终获得最佳的剪枝策略。2.极大的保证剪枝以后神经网络模型的精度。本方法聚焦于将卷积层中卷积核按照平均秩的大小进行排序,经研究也发现秩的大小与滤波器重要性大小具有一致性,是与重要性排序剪枝的结合,同时对于深度神经网络模型中的敏感层滤波器实行较低压缩率剪枝甚至不剪枝处理,从而达到最大程度的精度保留。3.降低设备的智能化成本。高性能的移动边缘设备的价格是十分昂贵的,在做到保证的精度降低在可接受范围内时,直接将剪枝操作以后的模型部署在计算与存储能力不那么高的边缘设备上,能极大降低相应的计算设备的成本。所以在秩排序的基础上,基于强化学习的卷积神经网络剪枝方法,比传统重要性排序方法效果更好,对于边缘设备智能化的未来发展前景有很大的意义。
虽然以上描述了本发明的具体实施方式,但是熟悉本技术领域的技术人员应当理解,我们所描述的具体的实施例只是说明性的,而不是用于对本发明的范围的限定,熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化,都应当涵盖在本发明的权利要求所保护的范围内。

Claims (9)

1.基于平均秩重要性排序的自动化卷积神经网络的剪枝方法,其特征在于:所述方法包括:
步骤10、获取图像的数据集,并将数据集按比例分为训练数据集和验证数据集;
步骤20、获取需要剪枝操作的模型并执行初始化,利用初始化的模型对训练数据集的图像进行预训练,获取每个卷积核输出特征图的平均秩;
步骤30、对所述平均秩进行排序,将秩排序结果作为敏感层判别依据,通过强化学习实现自动化模型剪枝操作,获得其中模型精度最高的模型剪枝策略进行剪枝操作;
步骤40、对剪枝完成以后的模型执行微调操作,得到最终的神经网络模型。
2.根据权利要求1所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法,其特征在于:所述步骤20进一步包括:
步骤21、基于Pytorch框架创建待剪枝的卷积神经网络模型;
步骤22、设置相应的预训练参数;
步骤23、对训练数据集中的图像进行50轮预训练过程,提取相应神经网络模型的相应层的信息,计算卷积层中每个卷积核输出特征图的平均秩,并建立对应的层结构索引,获取当前模型精度,所述模型精确度通过测试集中不同图片进行测试得到。
3.根据权利要求1所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法,其特征在于:所述步骤30进一步包括:
步骤31、对当前模型中每一层的平均秩按从低到高进行排序,确定平均秩较高的三层为敏感层,其他层为非敏感层;
步骤32、获取超参数中设置的目标剪枝率,并根据目标剪枝率确定需要剪枝的滤波器数量;
步骤33、根据强化学习的确定性策略,若当前层为非敏感层,则执行步骤34,否则,进一步判断是否需要对敏感层进行剪枝,若是,则执行步骤34,否则,跳转至步骤36;
步骤34、通过计算滤波器的平均秩大小计算滤波器的重要性程度,由低到高对当前层模型中滤波器进行排序,并获取模型当前层应当执行剪枝操作的滤波器数量,同时计算获得剩下待剪枝滤波器数量;
步骤35、根据上述获得的当前层所需剪枝的滤波器数量,选择当前层非敏感滤波器,将其权重设置为0,并进行剪枝;
步骤36、依次对模型中每一层重复执行步骤33-步骤35,以完成对模型所有层的剪枝操作,即完成一轮完整的模型剪枝操作,并在完成一轮剪枝操作时,通过验证数据集验证完成一轮剪枝操作的模型的精度,并将当前模型剪枝策略与精度保存到强化学习经验回放池中;
步骤37、重复执行步骤33-步骤36,直至完成所有预设轮次的模型剪枝操作,并获取其中精度最高的剪枝策略,根据其中精度最高的剪枝策略执行剪枝操作,得到剪枝后的模型。
4.根据权利要求1所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法,其特征在于:所述步骤30的强化学习使用的是DDPG深度确定性策略强化学习方法,其中演员网络与评论家网络的训练根据完整一轮剪枝所获得的精度与每一轮中剪枝状态作为输入执行训练操作,其中在状态空间中,对于每一层网络t,通过如下公式所示的10个属性来表示状态St的属性特征:
(t,n,c,h,w,stride,k,FLOPs[t],Reall,Rest,at-1)
其中,t表示每层网络的标签,n表示网络总层数,c表示卷积通道数,h、w分别表示卷积特征图的高和宽,stride为步长,k表示迭代次数,FLOPs[t]表示每一层网络t的浮点计算量,Reall为所有的状态响应,Rest为剩余状态,at-1为t-1层网络的动作状态;
代理从滤波器剪枝的环境中获得其所处的第t层的环境St,获得当前特征向量φ(st),然后输出St状态下的动作At=πθ(φ(st)+N作为当前层的剪枝率,指导当前层进行可替代滤波器剪枝;
在下一轮剪枝时,可以通过在DDPG经验回放池中采集m个样本如下公式计算当前目标Q值yt
Figure FDA0003171074680000032
其中Rt表示代理,b为基线奖励,γ为奖励平衡因子,Q′为目标函数,φ(s′t)为演员目标网络的特征向量,π′θ为压缩率函数,W’为演员网络权重参数。
5.根据权利要求4所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法,其特征在于:所述步骤33中“进一步判断是否需要对敏感层进行剪枝”具体为:通过DDPG的损失函数判断是否需要对敏感层执行剪枝,若计算出来的损失大于或等于预设值,则不对敏感层进行剪枝,否则对敏感层执行与非敏感层相同的剪枝过程;
所述DDPG的损失函数为下式所示的均方误差函数:
Figure FDA0003171074680000031
At=πθ(φ(st)+N
其中,L()为误差函数,n为网络总层数,m为样本总数,Q为代理网络目标函数,φ(st)为代理网络特征向量,w为代理网络权重参数。
6.根据权利要求4所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法,其特征在于:所述步骤33中还包括,在第一轮剪枝中,若当前层为敏感层,则将强化学习的确定性输出的当前层置为0.1,以确保第一轮剪枝中不对敏感层进行剪枝。
7.根据权利要求4所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法,其特征在于:所述强化学习中的奖励函数采用如下公式计算:
RFLOPs=-Error·log(FLOPs)
RFLOPs表示FLOPs的奖励函数,FLOPs表示浮点运算量,Error为错误率。
8.根据权利要求1所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法,其特征在于:所述步骤S31中通过将秩排序结果作为敏感层判别依据,将平均秩的大小作为信息的度量,并按照如下公式所示的方法优化:
Figure FDA0003171074680000041
Figure FDA0003171074680000042
其中,δij表示人为设定的指标,取值为1或0,L为重要性损失,
Figure FDA0003171074680000043
表示第j层的第i个滤波器,k为卷积层数,ni2为滤波器个数。
9.根据权利要求1所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法,其特征在于:所述步骤S40具体为:
通过执行剪枝操作后的模型使用原训练集执行150轮训练来执行微调操作,从而获得最终剪枝完成的模型,其所采用的损失函数具体为:
Figure FDA0003171074680000044
其中,xi表示预测值,yi表示真实值,m为正整数即为总样本数。
CN202110818395.6A 2021-07-20 2021-07-20 基于平均秩重要性排序的自动化卷积神经网络剪枝方法 Active CN113516230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110818395.6A CN113516230B (zh) 2021-07-20 2021-07-20 基于平均秩重要性排序的自动化卷积神经网络剪枝方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110818395.6A CN113516230B (zh) 2021-07-20 2021-07-20 基于平均秩重要性排序的自动化卷积神经网络剪枝方法

Publications (2)

Publication Number Publication Date
CN113516230A true CN113516230A (zh) 2021-10-19
CN113516230B CN113516230B (zh) 2023-06-02

Family

ID=78067438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110818395.6A Active CN113516230B (zh) 2021-07-20 2021-07-20 基于平均秩重要性排序的自动化卷积神经网络剪枝方法

Country Status (1)

Country Link
CN (1) CN113516230B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241230A (zh) * 2021-11-19 2022-03-25 南方电网数字电网研究院有限公司 目标检测模型剪枝方法和目标检测方法
CN114626527A (zh) * 2022-03-25 2022-06-14 中国电子产业工程有限公司 基于稀疏约束再训练的神经网络剪枝方法及装置
CN114723050A (zh) * 2022-05-14 2022-07-08 北京百度网讯科技有限公司 预训练模型提示向量的确定方法、装置及电子设备
CN115984332A (zh) * 2023-02-14 2023-04-18 北京卓翼智能科技有限公司 一种无人机跟踪方法、装置、电子设备及存储介质
CN116304677A (zh) * 2023-01-30 2023-06-23 格兰菲智能科技有限公司 模型的通道剪枝方法、装置、计算机设备和存储介质
CN117217281A (zh) * 2023-09-18 2023-12-12 华中科技大学 基于多视角特征的卷积神经网络轻量化剪枝方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210049423A1 (en) * 2019-07-31 2021-02-18 Zhejiang University Efficient image classification method based on structured pruning
CN113052211A (zh) * 2021-03-11 2021-06-29 天津大学 一种基于特征的秩和通道重要性的剪枝方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210049423A1 (en) * 2019-07-31 2021-02-18 Zhejiang University Efficient image classification method based on structured pruning
CN113052211A (zh) * 2021-03-11 2021-06-29 天津大学 一种基于特征的秩和通道重要性的剪枝方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YIHUI HE 等: "Channel Pruning for Accelerating Very Deep Neural Networks" *
赖叶静;郝珊锋;黄定江;: "深度神经网络模型压缩方法与进展" *
陈磊;刘毅慧;: "基于CART算法的肺癌微阵列数据的分类" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241230A (zh) * 2021-11-19 2022-03-25 南方电网数字电网研究院有限公司 目标检测模型剪枝方法和目标检测方法
CN114626527A (zh) * 2022-03-25 2022-06-14 中国电子产业工程有限公司 基于稀疏约束再训练的神经网络剪枝方法及装置
CN114626527B (zh) * 2022-03-25 2024-02-09 中国电子产业工程有限公司 基于稀疏约束再训练的神经网络剪枝方法及装置
CN114723050A (zh) * 2022-05-14 2022-07-08 北京百度网讯科技有限公司 预训练模型提示向量的确定方法、装置及电子设备
CN114723050B (zh) * 2022-05-14 2022-08-23 北京百度网讯科技有限公司 预训练模型提示向量的确定方法、装置及电子设备
CN116304677A (zh) * 2023-01-30 2023-06-23 格兰菲智能科技有限公司 模型的通道剪枝方法、装置、计算机设备和存储介质
CN115984332A (zh) * 2023-02-14 2023-04-18 北京卓翼智能科技有限公司 一种无人机跟踪方法、装置、电子设备及存储介质
CN117217281A (zh) * 2023-09-18 2023-12-12 华中科技大学 基于多视角特征的卷积神经网络轻量化剪枝方法及系统

Also Published As

Publication number Publication date
CN113516230B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN113516230B (zh) 基于平均秩重要性排序的自动化卷积神经网络剪枝方法
CN113011588B (zh) 一种卷积神经网络的剪枝方法、装置、设备和介质
CN117892774A (zh) 用于卷积神经网络的神经架构搜索
CN111832627A (zh) 抑制标签噪声的图像分类模型训练方法、分类方法及系统
CN111950393B (zh) 一种基于边界搜索智能体的时序动作片段分割方法
CN108108814A (zh) 一种深度神经网络的训练方法
CN115600650A (zh) 基于强化学习的自动化卷积神经网络量化剪枝方法、设备和存储介质
CN112006654A (zh) 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法
CN112733964A (zh) 一种强化学习自动感知权重分布的卷积神经网络量化方法
CN111127490A (zh) 一种基于循环残差U-Net网络的医学图像分割方法
Pietron et al. Retrain or not retrain?-efficient pruning methods of deep cnn networks
CN110210380A (zh) 基于表情识别与心理学测试生成性格的分析方法
CN113128689A (zh) 一种调控知识图谱的实体关系路径推理方法及系统
CN113313250B (zh) 采用混合精度量化与知识蒸馏的神经网络训练方法及系统
CN115393633A (zh) 数据处理方法、电子设备、存储介质及程序产品
WO2022100607A1 (zh) 一种神经网络结构确定方法及其装置
CN114419372A (zh) 一种多尺度点云分类方法及系统
CN110287981A (zh) 基于生物启发性表征学习的显著性检测方法及系统
CN117217281A (zh) 基于多视角特征的卷积神经网络轻量化剪枝方法及系统
CN116579408A (zh) 一种基于模型结构冗余度的模型剪枝方法及系统
CN111445024A (zh) 一种医学影像识别训练方法
CN114998672A (zh) 基于元学习的小样本目标检测方法与装置
CN114444654A (zh) 一种面向nas的免训练神经网络性能评估方法、装置和设备
CN112464960A (zh) 一种基于快速神经架构搜索的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant