CN112561041B - 基于滤波器分布的神经网络模型加速方法及平台 - Google Patents

基于滤波器分布的神经网络模型加速方法及平台 Download PDF

Info

Publication number
CN112561041B
CN112561041B CN202110209931.2A CN202110209931A CN112561041B CN 112561041 B CN112561041 B CN 112561041B CN 202110209931 A CN202110209931 A CN 202110209931A CN 112561041 B CN112561041 B CN 112561041B
Authority
CN
China
Prior art keywords
filter
filters
neural network
clipping
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110209931.2A
Other languages
English (en)
Other versions
CN112561041A (zh
Inventor
王宏升
管淑祎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202110209931.2A priority Critical patent/CN112561041B/zh
Publication of CN112561041A publication Critical patent/CN112561041A/zh
Application granted granted Critical
Publication of CN112561041B publication Critical patent/CN112561041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于滤波器分布的神经网络模型加速方法及平台,引入滤波器彼此之间的距离来反映滤波器的分布,而且在此基础上设计了一种新颖的基于滤波器平均相似度分数的裁剪准则,即随着网络迭代训练的不断更新,根据当前通道滤波器的分布计算神经网络模型的裁剪准则。包括如下步骤:步骤一、定义问题,将神经网络卷积操作进行建模;步骤二、设计基于滤波器裁剪的神经网络优化目标;步骤三、计算基于Minkowski距离的滤波器相似度分数;步骤四、设计滤波器裁剪准则。

Description

基于滤波器分布的神经网络模型加速方法及平台
技术领域
本发明属于计算机技术应用领域,尤其涉及一种基于滤波器分布的神经网络模型加速方法及平台。
背景技术
大规模深度卷积神经网络模型在计算机图像应用领域取得了优异的性能,然而,由于实际应用场景中的计算任务必须在有限的资源供应,如计算时间、存储空间、电池功率等条件下完成,将具有海量参数的预训练模型部署到内存有限的设备中面临巨大挑战,例如,VGG-16模型有1.383亿个参数,占用超过500MB的存储空间,需要309.4亿的浮点运算来对单个图像进行分类。在模型压缩领域,已有的神经网络量化压缩方法将浮点型权重量化为低比特权重(例如,8位或1位)来减小模型大小。但是由于量化误差的引入,使得神经网络的训练非常困难。相比之下,滤波器裁剪方法通过直接移除冗余通道上的滤波器来减小模型大小,使得快速推理几乎不需要额外的工作。而且滤波器裁剪之后,量化起来也更加容易,模型会更加紧凑。
发明内容
为了解决现有技术中存在的上述技术问题,本发明通过裁剪滤波器来降低预训练神经网络模型的计算代价。考虑到滤波器的数量与网络训练速度直接相关,因此,通过裁剪滤波器的数量来减少矩阵乘法的数量,实现加速训练和推理网络。其具体技术方案如下:
一种基于滤波器分布的神经网络模型加速方法,包括如下步骤:
步骤一、定义问题,将神经网络卷积操作进行建模;
步骤二、设计基于滤波器裁剪的神经网络优化目标;
步骤三、计算基于Minkowski 距离的滤波器相似度分数;
步骤四、设计滤波器裁剪准则。
进一步的,所述步骤一包括如下步骤:
步骤1.1:定义滤波器表示:假设神经网络具有层卷积层,在第 层卷积层的输 入和输出通道数分别为 ,当前网络的滤波器大小为,采用 表示第 层卷 积层的第 个滤波器;
步骤1.2:定义卷积层表示:对于第 层卷积层,表示为由一组滤波器组成 ,且参数化表示为 ;其中为滤波 器的参数化表示,代表第 层卷积层的权重,表示实数;
步骤1.3:构建基于滤波器的神经网络模型:第 层的卷积操作表示为:,其中, 表示形状为 的输入张量,表示形状为 的输出张量,分别表示输入张量的高和宽,表示输出 张量的高和宽。
进一步的,所述步骤二具体为:
将当前卷积层的滤波器组成拆分为两个集合,分别为裁剪滤波器集合 和 保留滤波器,将目标定义为:给定数据集和压缩率参数e, 表示为数据集第m张图片的特征矩阵,n表示输入图片的总数,将卷积神经网络的滤波器裁 剪问题定义为带有稀疏参数约束的优化问题:
,其中, 是标准的损失函数,如交叉熵损 失,保留滤波器 是当前层保留滤波器的集合,N 是保留滤波器的总数。
进一步的,所述步骤三具体为:
步骤3.1:滤波器降维:首先利用 Minkowski 度量距离作为滤波器之间的相似度分数,将三维滤波器变换为一维向量;
步骤3.2:基于滤波器的卷积层表示:第 层的卷积层表示为 包 括全部的 个滤波器的一维向量,每个向量的长度是
步骤3.3:计算两个滤波器的相似度分数:假如度量两个滤波器 之间 的相似度分数,利用 Minkowski 距离度量滤波器之间的关联分数为:
进一步的,所述步骤四中具体如下:
定义当前滤波器的平均相似度分数,利用平均相似度分数来表示滤波器的分布特 征,选择具有较小平均相似度分数的滤波器进行裁剪的准则,具体的裁剪准则表示为:表示当前层滤波器,表示其他滤波器, 为计算当前滤波器与其它滤波器的距离,选择的与距离最近的滤波器。
一种基于滤波器分布的神经网络模型加速平台,包括以下组件:
数据加载组件:用于获取卷积神经网络的训练数据,所述训练数据是满足监督学习任务的有标签的样本;
压缩组件:用于将卷积神经网络模型压缩得到卷积神经网络的压缩模型,包括滤波器分布计算模块、滤波器裁剪模块、剪枝网络微调模块;
推理组件:登陆用户从所述平台获取卷积神经网络的压缩模型,用户利用所述压缩组件输出的压缩模型在实际场景的数据集上对登陆用户上传的特定任务的新数据进行推理;并在所述平台的压缩模型推理页面呈现压缩前后推理模型性能对比信息;
其中所述滤波器分布计算模块根据基于Minkowski 距离的滤波器相似度分数计算每层卷积网络中滤波器的分布情况,获取待裁剪滤波器的列表;首先,根据所述滤波器平均相似度分数的计算方法,统计卷积神经网络当前训练状态下所有滤波器的平均相似度分数;然后,将每层卷积网络的所有滤波器的分数由高到低进行排序;最后,根据用户需求给出的压缩率 e,计算得到待裁剪的平均相似度分数较小的滤波器列表。
所述滤波器裁剪模块是根据所述滤波器分布计算模块输出的待裁剪的滤波器列表,裁剪掉当前网络中对应位置的滤波器,首先,将待裁剪列表中具有较小平均相似度分数的滤波器和其相应的特征图进行裁剪;其次,将当前层的下一个卷积层中与待裁剪的特征图相对应的滤波器也相应地进行裁剪;
所述剪枝网络微调模块是端到端地训练网络,具体地,将训练数据输入剪枝网络;更新网络的权重。
本发明的有益效果是:本发明研究基于滤波器分布的神经网络模型加速方法有以下几方面有益效果:
一、基于滤波器分布裁剪所得的模型在网络结构上没有差异,因此可以被任何现成的深度学习库很好地支持。
二、显著减少内存占用。这种内存的减少不仅来自模型参数本身,也来自中间的激活层,这在以往的研究中很少被考虑。
三、由于裁剪后的网络结构没有被破坏,可以通过其他压缩方法对其进行进一步的压缩和加速,如参数量化方法。
四、裁剪后的模型可以大大加快更多的视觉任务的训练和推断过程,如目标检测或语义分割、细粒度识别等实际应用问题。
附图说明
图1是本发明的基于滤波器分布的神经网络模型加速平台的整体架构图;
图2是元学习的剪枝网络的训练流程图。
具体实施方式
下面结合附图对本发明作进一步说明。
本发明考虑到不同通道滤波器的幅值信息和彼此之间的关联特征,提出基于滤波器分布的神经网络模型加速方法,其整体架构如图1所示。引入滤波器彼此之间的距离来反映滤波器的分布,而且在此基础上设计了一种基于滤波器平均相似度分数的裁剪准则,即随着网络迭代训练的不断更新,根据当前通道滤波器的分布计算神经网络模型的裁剪准则。
本发明的基于滤波器分布的神经网络模型加速方法,整个过程如图2所示,分为四个步骤:第一步是定义问题,将神经网络卷积操作进行建模;第二步是设计基于滤波器裁剪的神经网络优化目标;第三步是计算基于Minkowski 距离的滤波器相似度分数;第四步是设计滤波器裁剪准则。具体为:
第一步:定义问题,将神经网络卷积操作进行建模。考虑到根据滤波器的分布设计神经网络模型的裁剪准则,本发明将神经网络当前通道的卷积操作定义为该通道上的滤波器与输入张量的卷积运算。
定义问题具体包括以下子步骤:
步骤一:定义滤波器表示:首先,假设神经网络具有层卷积层,在第 层卷积层 的输入和输出通道数分别为 ,假设当前网络的滤波器大小为,采用 表示 第 层卷积层的第 个滤波器;
步骤二:定义卷积层表示:对于第 层卷积层,表示为由一组滤波器组成 ,且参数化表示为 ;其中为滤波 器的参数化表示,代表第 层卷积层的权重,表示实数;
步骤三:构建基于滤波器的神经网络模型:第 层的卷积操作表示为:。其中,表示形状为的输入张量,表示形状为 的输出张量。分别表示输入张量的高和宽,表示输出 张量的高和宽;
第二步:设计基于滤波器裁剪的神经网络优化目标。卷积神经网络的滤波器裁剪目标是满足用户需求的压缩率,所以该步骤的目标是,在给定的数据集和压缩率的条件下,将卷积神经网络的滤波器裁剪问题定义为一个带有稀疏参数约束的优化问题。
基于滤波器裁剪的神经网络优化目标具体为:将当前卷积层的 拆分为两个集 合,分别为裁剪滤波器集合 和保留滤波器 。将我们的目标定义为:给定数 据集和压缩率参数e,表示为数据集第m张图片的特征矩阵,n表 示输入图片的总数。所以,将卷积神经网络的滤波器裁剪问题定义为一个带有稀疏参数约 束的优化问题:
,其中, 是标准的损失函数,如交叉熵损 失,保留滤波器 是当前层保留滤波器的集合,N 是保留滤波器的总数。
第三步:计算基于Minkowski 距离的滤波器相似度分数。已有的滤波器裁剪准则大多数是以下策略:如果滤波器的范数越小,则相对应的特征图越接近于零,该滤波器对网络贡献越小。因此裁剪掉该滤波器,而且不会严重影响网络的性能。已有方法利用滤波器的范数进行滤波器的重要性排序,并且删除范数较小的滤波器。由于滤波器范数只模拟了滤波器的幅值信息,没有反映滤波器彼此之间的关联特征。
本发明引入滤波器范数,模拟滤波器的幅值信息,而且提出利用滤波器分布来反映滤波器彼此之间关联特征的度量方法。计算当前层网络中滤波器两两之间的距离,得到滤波器彼此之间的相似度分数表示的分布矩阵。
所述基于Minkowski 距离的滤波器相似度分数具体包括以下子步骤:
步骤一:滤波器降维:首先利用 Minkowski 度量距离作为滤波器之间的相似度分数。为了避免维数灾难,将三维滤波器变换为一维向量;
步骤二:基于滤波器的卷积层表示:第 层的卷积层表示为 包括 全部的 个滤波器的一维向量,每个向量的长度是
步骤三:计算两个滤波器的相似度分数:假如度量两个滤波器 之间的 相似度分数,利用 Minkowski 距离度量滤波器之间的关联分数为:
第四步:设计滤波器裁剪准则。考虑到当前滤波器与其它所有滤波器的关系,本发 明定义了当前滤波器的平均相似度分数,利用平均相似度分数来表示滤波器的分布特征。 考虑到如果一个滤波器具有一个较大的值,则它与网络中其它滤波器的关联性可能很小, 说明它独立于其它滤波器,在网络中起着特殊的作用。因此该滤波器的贡献是很难被其它 滤波器替换掉。在保证相同精度损失的情况下,很难裁剪掉平均相似度分数很大的滤波器。 相反,如果一个滤波器的平均相似度分数很小,则说明它与其它滤波器起相似的作用。平均 相似度分数较小的滤波器与其它滤波器有相似甚至相同的贡献,裁剪掉该类滤波器是相对 较安全的,而且压缩模型最终精度的损失比较小。基于以上分析, 本发明提出选择具有较 小平均相似度分数的滤波器进行裁剪的准则,具体的裁剪准则表示为:表示当前层滤波器,表示其他滤波器, 为计算当前滤波器与其它滤波器的距离,选择的与距离最近的滤波器。
本发明的基于滤波器分布的神经网络模型加速平台,包括以下组件:
数据加载组件:用于获取卷积神经网络的训练数据,所述训练数据是满足监督学习任务的有标签的样本;
压缩组件:用于将卷积神经网络模型压缩,包括滤波器分布计算模块、滤波器裁剪模块、剪枝网络微调模块;
所述滤波器分布计算模块是根据以上所述的基于Minkowski 距离的滤波器相似度分数计算每层卷积网络中滤波器的分布情况,获取待裁剪滤波器的列表。首先,根据以上所述滤波器平均相似度分数的计算方法,统计网络当前训练状态下所有滤波器的平均相似度分数;然后,将每层卷积网络的所有滤波器的分数由高到低进行排序;最后,根据用户需求给出的压缩率e,计算得到待裁剪的平均相似度分数较小的滤波器列表。
所述滤波器裁剪模块是根据所述滤波器分布计算模块输出的待裁剪的滤波器列表,裁剪掉当前网络中对应位置的滤波器,值得注意的是,首先,将待裁剪列表中具有较小平均相似度分数的滤波器和其相应的特征图进行裁剪;其次,将当前层的下一个卷积层中与待裁剪的特征图相对应的滤波器也相应地进行裁剪。
所述剪枝网络微调模块是端到端地训练网络,具体地,将训练数据输入剪枝网络;更新网络的权重;
推理组件:登陆用户从所述平台获取卷积神经网络的压缩模型,用户利用所述压缩组件输出的压缩模型在实际场景的数据集上对登陆用户上传的特定任务的新数据进行推理;并在所述平台的压缩模型推理页面呈现压缩前后推理模型性能对比信息。
下面将在ImageNet2012分类数据集上进行卷积神经网络模型的压缩实验。根据该图像分类任务对本发明的技术方案做进一步的详细描述。
通过所述平台的数据加载组件获取登陆用户上传的ImageNet2012分类数据集和原网络模型;
通过用户需求设置的压缩率 e和所述平台压缩组件中的滤波器分布计算模块,生成待裁剪的平均相似度分数较小的滤波器列表;
通过所述平台压缩组件中的滤波器裁剪模块,将待裁剪列表中具有较小平均相似度分数的滤波器和其相应的特征图进行裁剪,与此同时,将当前层的下一个卷积层中与待裁剪的特征图相对应的滤波器也相应地进行裁剪;
通过所述平台压缩组件中的剪枝网络微调模块,将训练数据输入剪枝网络,训练剪枝网络。将所述压缩模型输出到指定的容器,可供所述登陆用户下载,并在所述平台的输出压缩模型的页面呈现压缩前后模型性能对比信息,表1比较了原ResNet50网络模型与基于滤波器分布的剪枝模型的精度。原ResNet50网络模型运行313M浮点数运算所得top-1和top-5的精度分别为76.15% 和92.87%,而基于滤波器分布的剪枝模型在几乎没有精度损失的情况下,减少了54M的浮点数计算量,加快模型的训练和推理过程;
表1 图像分类任务ResNet50模型压缩前后对比信息。
通过所述平台的推理组件,利用所述平台输出的压缩模型对登陆用户上传的ImageNet2012测试集数据进行推理,在8张Nvidia 1080Ti GPU显卡上推理压缩模型并在所述平台的压缩模型推理页面呈现压缩前后的性能信息。

Claims (3)

1.一种基于滤波器分布的神经网络模型加速方法,其特征在于包括如下步骤:
步骤一、定义问题,将神经网络卷积操作进行建模;
步骤二、设计基于滤波器裁剪的神经网络优化目标;
步骤三、计算基于Minkowski距离的滤波器相似度分数;
步骤四、设计滤波器裁剪准则;
所述步骤一包括如下步骤:
步骤1.1:定义滤波器表示:假设神经网络具有L层卷积层,在第i层卷积层的输入和输出通道数分别为Ni和Ni+1,当前网络的滤波器大小为K,采用Fi,j表示第i层卷积层的第j个滤波器;
步骤1.2:定义卷积层表示:对于第i层卷积层,表示为由一组滤波器组成{Fi,j,1≤j≤Ni+1},且参数化表示为其中W(i)为滤波器的参数化表示,代表第i层卷积层的权重,R表示实数;
步骤1.3:构建基于滤波器的神经网络模型:第i层的卷积操作表示为:
Oi,j=Fi,j*I,1≤j≤Ni+1,其中,I表示形状为Ni×Hi×Wi的输入张量,Oi,j表示形状为Ni+1×Hi+1×Wi+1的输出张量,Hi和Wi分别表示输入张量的高和宽,Hi+1和Wi+1表示输出张量的高和宽;
所述步骤二具体为:
将当前卷积层的滤波器组成Fi,j拆分为两个集合,分别为裁剪滤波器集合Fpruned和保留滤波器Fremain,将目标定义为:给定数据集和压缩率参数e,(xm,ym)表示为数据集第m张图片的特征矩阵,n表示输入图片的总数,将卷积神经网络的滤波器裁剪问题定义为带有稀疏参数约束的优化问题:
且s.t.N(Fremain)≤e,F∈RN×K×K,其中,l(·)是标准的损失函数,保留滤波器Fremain是当前层保留滤波器的集合,N是保留滤波器的总数。
2.如权利要求1所述的基于滤波器分布的神经网络模型加速方法,其特征在于:
所述步骤三具体为:
步骤3.1:滤波器降维:首先利用Minkowski度量距离作为滤波器之间的相似度分数,将三维滤波器变换为一维向量;
步骤3.2:基于滤波器的卷积层表示:第i层的卷积层表示为Z包括全部的Ni+1个滤波器的一维向量,每个向量的长度是Gi=Ni×K×K;
步骤3.3:计算两个滤波器的相似度分数:假如度量两个滤波器之间的相似度分数,利用Minkowski距离度量滤波器x和y之间的关联分数为:
3.如权利要求2所述的基于滤波器分布的神经网络模型加速方法,其特征在于:所述步骤四中具体如下:
定义当前滤波器的平均相似度分数,利用平均相似度分数来表示滤波器的分布特征,选择具有较小平均相似度分数的滤波器进行裁剪的准则,具体的裁剪准则表示为:x表示当前层滤波器,yj表示其他滤波器,j*为计算当前滤波器x与其它滤波器yj的距离,选择的与x距离最近的滤波器。
CN202110209931.2A 2021-02-25 2021-02-25 基于滤波器分布的神经网络模型加速方法及平台 Active CN112561041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110209931.2A CN112561041B (zh) 2021-02-25 2021-02-25 基于滤波器分布的神经网络模型加速方法及平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110209931.2A CN112561041B (zh) 2021-02-25 2021-02-25 基于滤波器分布的神经网络模型加速方法及平台

Publications (2)

Publication Number Publication Date
CN112561041A CN112561041A (zh) 2021-03-26
CN112561041B true CN112561041B (zh) 2023-10-27

Family

ID=75034744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110209931.2A Active CN112561041B (zh) 2021-02-25 2021-02-25 基于滤波器分布的神经网络模型加速方法及平台

Country Status (1)

Country Link
CN (1) CN112561041B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033804B (zh) * 2021-03-29 2022-07-01 北京理工大学重庆创新中心 一种面向遥感图像的卷积神经网络压缩方法
CN113255907B (zh) * 2021-05-20 2024-05-14 广州广电运通金融电子股份有限公司 一种网络模型经裁剪以进行图像识别的方法
CN114154589B (zh) * 2021-12-13 2023-09-29 成都索贝数码科技股份有限公司 一种基于相似性的模块减枝方法
CN114492799A (zh) * 2022-02-22 2022-05-13 平安科技(深圳)有限公司 卷积神经网络模型剪枝方法和装置、电子设备、存储介质
CN116820730B (zh) * 2023-08-28 2024-01-09 苏州浪潮智能科技有限公司 多引擎计算系统的任务调度方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846445A (zh) * 2018-06-26 2018-11-20 清华大学 一种基于相似性学习的卷积神经网络滤波器剪枝技术

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936913B2 (en) * 2018-03-20 2021-03-02 The Regents Of The University Of Michigan Automatic filter pruning technique for convolutional neural networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846445A (zh) * 2018-06-26 2018-11-20 清华大学 一种基于相似性学习的卷积神经网络滤波器剪枝技术

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于YOLOv3的神经网络模型压缩与实现;张亚平;吴绩伟;马占刚;曹喜信;郭文海;;微纳电子与智能制造(第01期);全文 *

Also Published As

Publication number Publication date
CN112561041A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112561041B (zh) 基于滤波器分布的神经网络模型加速方法及平台
CN108805185B (zh) 人脸识别方法、装置、存储介质及计算机设备
US20190138887A1 (en) Systems, methods, and media for gated recurrent neural networks with reduced parameter gating signals and/or memory-cell units
CN110069985B (zh) 基于图像的目标点位置检测方法、装置、电子设备
CN110766063A (zh) 基于压缩激励和紧密连接卷积神经网络的图像分类方法
CN111401436B (zh) 一种融合网络和双通道注意力机制的街景图像分割方法
CN113128355A (zh) 一种基于通道剪枝的无人机图像实时目标检测方法
KR100263808B1 (ko) 후보테이블을이용하여분류를행하는패턴인식장치및방법
JP2023523029A (ja) 画像認識モデル生成方法、装置、コンピュータ機器及び記憶媒体
CN113763385A (zh) 视频目标分割方法、装置、设备及介质
KR102128789B1 (ko) 심층 합성곱 뉴럴 네트워크를 위한 효율적인 팽창 합성곱 기법을 제공하는 방법 및 장치
Cao et al. Hyperspectral imagery classification based on compressed convolutional neural network
CN112989843B (zh) 意图识别方法、装置、计算设备及存储介质
Li et al. Using feature entropy to guide filter pruning for efficient convolutional networks
CN113538079A (zh) 一种推荐模型的训练方法及装置、一种推荐方法及装置
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN112418388A (zh) 一种实现深度卷积神经网络处理的方法及装置
CN115759291A (zh) 一种基于集成学习的空间非线性回归方法及系统
CN113033804B (zh) 一种面向遥感图像的卷积神经网络压缩方法
CN114549757A (zh) 一种基于注意力机制的三维点云上采样方法
US20220138554A1 (en) Systems and methods utilizing machine learning techniques for training neural networks to generate distributions
CN112200275B (zh) 人工神经网络的量化方法及装置
CN112561040A (zh) 面向神经网络模型的滤波器分布感知训练加速方法及平台
CN113569960A (zh) 基于域适应的小样本图像分类方法及系统
CN114819140A (zh) 模型剪枝方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant