CN114021699A - 一种基于梯度的卷积神经网络剪枝方法及装置 - Google Patents

一种基于梯度的卷积神经网络剪枝方法及装置 Download PDF

Info

Publication number
CN114021699A
CN114021699A CN202111280238.0A CN202111280238A CN114021699A CN 114021699 A CN114021699 A CN 114021699A CN 202111280238 A CN202111280238 A CN 202111280238A CN 114021699 A CN114021699 A CN 114021699A
Authority
CN
China
Prior art keywords
gradient
neural network
convolutional
convolution
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111280238.0A
Other languages
English (en)
Inventor
胡海根
郑侃
陈琦
余佩赢
周乾伟
管秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202111280238.0A priority Critical patent/CN114021699A/zh
Publication of CN114021699A publication Critical patent/CN114021699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于梯度的卷积神经网络剪枝方法及装置，采用卷积核的梯度来构建梯度欧式距离矩阵，统计挑选出的梯度欧式距离对应的卷积核出现的次数，根据出现的次数对卷积核进行排序，生成待删除卷积核索引序列，并逐层对待删除卷积核索引序列进行剪枝。相比于现有技术的其他方法，本发明的方法在压缩率不断提升的情况下，精度下降相对缓慢，具有较高的剪枝效率，能够达到较好的剪枝效果。实验证明了本发明的剪枝算法对压缩率的提升表现出了良好耐受力。

Description

一种基于梯度的卷积神经网络剪枝方法及装置
技术领域
本申请属于模型剪枝技术领域，尤其涉及一种基于梯度的卷积神经网络剪枝方法及装置。
背景技术
最近深度卷积网络的成功与计算资源的需求增加相得益彰。特别地，深度神经网络应用受限的主要资源包括模型大小、存储器占用空间、计算操作(FLOP)的次数和功率用量。这些大型模型无法存储，并且无法在嵌入式系统上实时运行。对于移动设备而言，模型的运行速度和文件大小都是极其重要的。为了解决这个问题，前人提出了众多的剪枝方法，从过程上说典型的修剪算法是三阶段流程，即训练，修剪和微调，并且三个阶段中的每一个被认为是必不可少的。从剪枝算法本身聚焦于卷积核的数学特征：中位数、秩、范数、稀疏度等。通过这些特征来判定卷积核的重要程度，并以此作为模型剪枝的依据。以上方法都基于一个前提：必须预训练模型至收敛，也就是模型中的参数收敛以后，这类剪枝方法的最大缺陷在于要耗费大量的时间对模型进行训练。
发明内容
本申请的目的是提供一种基于梯度的卷积神经网络剪枝方法，以提高卷积神经网络剪枝效率。
为了实现上述目的，本申请提出的技术方案如下：
一种基于梯度的卷积神经网络剪枝方法，包括：
输入预设数据样本进入待剪枝的卷积神经网络，执行反向传播算法，获得待剪枝的卷积神经网络中各个卷积核的梯度；
计算卷积层中卷积核之间的梯度欧式距离，挑选出小于预设阈值并且非零的梯度欧式距离，统计挑选出的梯度欧式距离对应的卷积核出现的次数，根据出现的次数对卷积核进行排序，生成待删除卷积核索引序列；
对待剪枝的卷积神经网络中每个卷积层，以卷积层序号为键值，以待删除卷积核索引序列为对应的真值，生成一个Map类型数据结构；
根据Map类型数据结构中记录的条数，逐层对待删除卷积核索引序列进行剪枝，保存剪枝后的卷积神经网络。
进一步的，所述根据出现的次数对卷积核进行排序，生成待删除卷积核索引序列，包括：
根于预设的压缩比，选择排序靠前的卷积核生成待删除卷积核索引序列。
进一步的，所述逐层对待删除卷积核索引序列进行剪枝，包括：
在待剪枝的卷积神经网络中移除待删除卷积核以及其对应的规范层，并从当前卷积层的下一个卷积层中移除所有已移除卷积核对应的通道。
进一步的，所述卷积核的梯度为所有通道的梯度张量的加和。
进一步的，所述获得待剪枝的卷积神经网络中各个卷积核的梯度之后，还包括：
对卷积核的梯度进行降维处理。
本申请还提出了一种基于梯度的卷积神经网络剪枝装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于梯度的卷积神经网络剪枝方法的步骤。
本申请提供的一种基于梯度的卷积神经网络剪枝方法及装置，采用卷积核的梯度来构建梯度欧式距离矩阵，统计挑选出的梯度欧式距离对应的卷积核出现的次数，根据出现的次数对卷积核进行排序，生成待删除卷积核索引序列，并逐层对待删除卷积核索引序列进行剪枝。相比于现有技术的其他方法，本申请的方法在压缩率不断提升的情况下，精度下降相对缓慢，具有较高的剪枝效率，能够达到较好的剪枝效果。相对于传统剪枝方法省去预训练的时间，极大提升了模型剪枝效率，而且与前人研究成果不同的是，这是唯一一种卷积核对网络性能影响来确定哪些卷积核(基于相似度)应该被剪枝的方法。根据不同卷积神经网络在压缩率上升时，精度下降的趋势图，通过实验证明了本申请的剪枝算法对压缩率的提升表现出了良好耐受力。
附图说明
图1为本申请基于梯度的卷积神经网络剪枝方法流程图；
图2为本申请实施例经过20个小批量学习后梯度相似频率示意图；
图3为本申请实施例经过30个小批量学习后梯度相似频率示意图；
图4为本申请实施例经过50个小批量学习后卷积核相似度示意图；
图5为本申请实施例经过100个小批量学习后卷积核相似度示意图；
图6为本申请实施例DenseNet-40在CIFAR-100数据集上实验结果示意图；
图7为本申请实施例ResNet56在CIFAR10数据集上实验结果示意图；
图8为本申请实施例ResNet16在CIFAR100数据集上实验结果示意图；
图9为本申请实施例VGG16在CIFAR10数据集上实验结果示意图；
图10为本申请实施例VGG16在CIFAR100数据集上实验结果示意图；
图11为本申请实施例DenseNet-40在CIFAR10数据集上实验结果示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请一种基于梯度的卷积神经网络剪枝方法，基于在研究过程中发现，同一个卷积层中的卷积核相异度矩阵随着训练的进行会不断的变化，而卷积核的“相似度频率”列表的顺序不断变化，无法在训练期间就获取待修剪卷积核清单。相反卷积核权重的梯度的“相似度频率”列表的排序在经过少量batch的训练以后就趋于稳定。
为了证明以上结论，从VGG模型训练中提取了经过20个(图2)、30个(图3)小批量学习(mini-batch)以后的第十个卷积层的梯度相似频率排名靠前20个卷积核的序号，与经过50个(图4)，100个(图5)mini-batch数量的卷积核相似度做比较，从结果可以看出梯度相似频率排名在经过30个mini-batch以后已经趋于稳定，而卷积核相似度排名在经过100个mini-batch仍处于变化之中。正是这个原因，使用少量的batch获取梯度相似度作为模型剪枝的参考可以减少预训练的时候，提高训练效率。
本申请一种基于梯度的卷积神经网络剪枝方法，从卷积神经网络反向传播产生的梯度获取梯度之间的相似度矩阵，通过这个相似度矩阵指导模型剪枝算法，由此获取精简的模型，提升模型训练和部署的效率。
在一个实施例中，如图1所示，提供了一种基于梯度的卷积神经网络剪枝方法，包括：
步骤S1、输入预设数据样本进入待剪枝的卷积神经网络，执行反向传播算法，获得待剪枝的卷积神经网络中各个卷积核的梯度。
在研究过程中发现，同一个卷积层中的卷积核欧式距离矩阵随着训练的进行会不断的变化，而卷积核的“相似度频率”列表的顺序不断变化，无法在训练期间就获取待修剪卷积核清单。相反卷积核权重的梯度的“相似度频率”列表的排序在经过少量batch的训练以后就趋于稳定。
在这个步骤中以CIFAR-100作为数据集，又分为训练集和测试集，将训练数据输入到VGG16网络中，以0.001为学习率，SGD(随机梯度下降)作为优化器，训练集和测试集的batch size都设为128，对待剪枝的卷积神经网络进行两个EPOCH的训练，经过反向传播，这个神经网络卷积层的每个卷积核都产生了相应的梯度。
步骤S2、计算卷积层中卷积核之间的梯度欧式距离，挑选出小于预设阈值并且非零的梯度欧式距离，统计挑选出的梯度欧式距离对应的卷积核出现的次数，根据出现的次数对卷积核进行排序，生成待删除卷积核索引序列。
记l卷积层中各个卷积核c通道梯度张量为Gl n*c*w*h，其中n表示卷积核的序号，c代表卷积核的通道号，w和h分表代表卷积核的长和宽。由于l-1层的输出Al-1与l层的卷积核进行卷积以后的结果会在通道维度进行加和，得到l层输出，即：
Figure BDA0003328077900000041
其中，f表示激活函数，b表示偏置，Wn*c*w*h表示卷积核权重。
所以在获取c通道梯度张量Gl n*c*w*h后，也会在通道级别就进行加和，得到卷积核的梯度。也就是说，卷积核的梯度为所有通道的梯度张量的加和，即：
Figure BDA0003328077900000051
对获取的梯度张量Gl n*w*h使用主成分分析算法进行降维处理得到
Figure BDA0003328077900000052
其中w′<w,h′<h。
然后计算卷积核梯度之间的欧式距离，
Figure BDA0003328077900000053
表示卷积核n1梯度，
Figure BDA0003328077900000054
表示卷积核n2梯度：
Figure BDA0003328077900000055
最终获得整个卷积层的卷积核梯度欧式距离矩阵：
Figure BDA0003328077900000056
众所周知，梯度代表了损失函数E对权重W变化的敏感程度，设l层有两个不同的卷积核
Figure BDA0003328077900000057
和
Figure BDA0003328077900000058
的梯度张量
Figure BDA0003328077900000059
和
Figure BDA00033280779000000510
接近，
Figure BDA00033280779000000511
和
Figure BDA00033280779000000512
给与损失函数E的影响也越接近，则认为卷积核
Figure BDA00033280779000000513
和
Figure BDA00033280779000000514
卷积核在整个网络体系中的作用也接近，即：
Figure BDA00033280779000000515
从而就可以用
Figure BDA00033280779000000516
去代替
Figure BDA00033280779000000517
反之亦可。为了方便介绍，本申请直接用卷积核梯度欧式距离矩阵替换卷积核的欧氏距离矩阵，而每一层的卷积核之间的欧式距离构成一个u*u的矩阵，其中u为该层中卷积核的个数。为了进一步降低修剪卷积核对网络性能的影响，优先修剪哪些在欧式距离矩阵中出现最频繁的卷积核，例如：有5个卷积核，W1-W5，欧式距离矩阵如下所示：
Figure BDA00033280779000000518
其中第u行、第v列的元素Tu,v代表Wu与Wv的梯度欧式距离，如果设定梯度欧式距离阈值为0.5，则矩阵小于该阈值的元素为：
(T1,2,T1,4,T2,3,T2,4,T3,4,T3,5,T4,1,T4,2) 【集合1】
以上集合去掉了对角线元素，因为对角线元素代表与自身的欧式距离。分别代表(W1,W2),(W1,W4)，(W2,W3)，(W2,W4)，(W3,W4)，(W3,W5)，(W4,W1)，(W4,W2)之间的欧式距离，欧式距离越小则代表相似度越高。这个梯度欧式距离阈值可以是矩阵中所有元素的中位数或四分位数，视实际剪枝需求而定。
可以看出集合1中角标4出现5次，角标2出现4次，角标1和3出现3次，角标5出现1次，则删除卷积核的优先级如下：
W4>W2>W1,W3>W5。
可以看出倾向删除那些可以被更多不同的其他卷积核替代的卷积核，也就是被“相似次数最频繁”的卷积核。
在一个优选的实施例中，本申请根据出现的次数对卷积核进行排序，生成待删除卷积核索引序列，包括：
根于预设的压缩比，选择排序靠前的卷积核生成待删除卷积核索引序列。
在每一层中以“相似次数”对卷积核进行从高到低排序，获得一个数组，根据压缩比获取数组的按照比例靠前的数组元素，就得到了该卷积层中的待删除卷积核索引序列。
例如，统计挑选出的梯度欧式距离对应的卷积核出现的次数，根据出现的次数对卷积核进行排序如下：
W4,W2,W1,W3,W5
设定的压缩比为60％，则取前三个，即待删除卷积核索引序列为：W4,W2,W1。
步骤S3、对待剪枝的卷积神经网络中每个卷积层，以卷积层序号为键值，以待删除卷积核索引序列为对应的真值，生成一个Map类型数据结构。
对每个卷积层都执行以上的操作，并以卷积层序号为键值key，该层待删除卷积核索引序列为真值value，将所有卷积层的待删除卷积核索引序列保存进一个Map类型数据结构中。
步骤S4、根据Map类型数据结构中记录的条数，逐层对待删除卷积核索引序列进行剪枝，保存剪枝后的卷积神经网络。
本步骤检查Map类型数据结构中记录的条数，条数的个数代表有多少卷积层需要应用剪枝。
遍历原卷积神经网络的每个卷积层，从Map中获取当前卷积层的删除卷积核索引序列。即所述逐层对待删除卷积核索引序列进行剪枝，包括：
在待剪枝的卷积神经网络中移除待删除卷积核以及其对应的规范层，并从当前卷积层的下一个卷积层中移除所有已移除卷积核对应的通道。
在原卷积神经网络中移除这些卷积核以及其对应的规范层(BatchNormalization层)，并从当前层的下一个卷积层中移除所有卷积核中对应的通道(因为当前层卷积核序号对应的下一层卷积核的通道序号)。
如果是ResNet及其衍生网络，情况比较特殊，因为RestNet家族拥有不同类型的卷积层，分为一般卷积层和残差结构的中起下采样作用的卷积层，则需要对下残差结构进行相应的剪枝的操作，基本思想是如果残差结构C连接的Layer A和Layer B，那么C的inchannels对应Layer A的out channels，C的out channels在剪枝过程中先处理一般卷积层，在所有一般卷积层都处理完毕以后再根据剪枝后的一般卷积层的输入，输入通道来重建残差结构。
类似DenseNet这种密集连接类型的网络结构比较特殊，除了第一个卷积层以外和最后的全连接层外，中间有若干个Dense Block构成，中间由Transition层连接。每个DenseBlock又分为若干个卷积层，与其他网络结构不同的是，这些卷积层先对前一个卷积层的feature map都是先做Batch Normaliztion，再应用Relu激活函数，再进行卷积，所以剪枝的顺序就成了先从中Map中获取当前卷积层的删除卷积核索引序列，将在索引序列对应的Batch Normalization层移除，再移除卷积层对应的卷积核。
最后保存剪枝后的卷积神经网络，完成剪枝处理。
之后，对于完成剪枝处理的卷积神经网络，可以进行训练至模型收敛并在测试集上测试。例如，读取剪枝后的模型，以CIFAR-100作为数据集，把训练集数据输入到剪枝后的VGG16网络中，以0.001为学习率，SGD(随机梯度下降)作为优化器，训练集和测试集的batchsize都设为128，对模型进行训练，并在测试集上测试其top-1及top-5精度。当精度出现瓶颈时，尝试调小学习率。对比剪枝前后模型的参数量，浮点运算次数，Top-1和Top-5精度。图6至图11展示了将不同算法应用在VGG、ResNet、DenseNet三个模型，采用CIFAR-100、CIFAR-10两个数据集实验结果显示的压缩率和TOP-1精度的变化趋势。通过做对比实验证明，相比于其他算法(NS、ThiNet、Hrank)来说，本申请的方法(Our Method)在压缩率不断提升的情况下，精度下降相对缓慢。
在另一个实施例中，本申请还提供了一种基于梯度的卷积神经网络剪枝装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于梯度的卷积神经网络剪枝方法的步骤。
关于基于梯度的卷积神经网络剪枝装置的具体限定可以参见上文中对于基于梯度的卷积神经网络剪枝方法的限定，在此不再赘述。上述基于梯度的卷积神经网络剪枝装置中的可全部或部分通过软件、硬件及其组合来实现。可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。
其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于梯度的卷积神经网络剪枝方法，其特征在于，所述基于梯度的卷积神经网络剪枝方法，包括：
输入预设数据样本进入待剪枝的卷积神经网络，执行反向传播算法，获得待剪枝的卷积神经网络中各个卷积核的梯度；
计算卷积层中卷积核之间的梯度欧式距离，挑选出小于预设阈值并且非零的梯度欧式距离，统计挑选出的梯度欧式距离对应的卷积核出现的次数，根据出现的次数对卷积核进行排序，生成待删除卷积核索引序列；
对待剪枝的卷积神经网络中每个卷积层，以卷积层序号为键值，以待删除卷积核索引序列为对应的真值，生成一个Map类型数据结构；
根据Map类型数据结构中记录的条数，逐层对待删除卷积核索引序列进行剪枝，保存剪枝后的卷积神经网络。
2.根据权利要求1所述的基于梯度的卷积神经网络剪枝方法，其特征在于，所述根据出现的次数对卷积核进行排序，生成待删除卷积核索引序列，包括：
根于预设的压缩比，选择排序靠前的卷积核生成待删除卷积核索引序列。
3.根据权利要求1所述的基于梯度的卷积神经网络剪枝方法，其特征在于，所述逐层对待删除卷积核索引序列进行剪枝，包括：
在待剪枝的卷积神经网络中移除待删除卷积核以及其对应的规范层，并从当前卷积层的下一个卷积层中移除所有已移除卷积核对应的通道。
4.根据权利要求1所述的基于梯度的卷积神经网络剪枝方法，其特征在于，所述卷积核的梯度为所有通道的梯度张量的加和。
5.根据权利要求1所述的基于梯度的卷积神经网络剪枝方法，其特征在于，所述获得待剪枝的卷积神经网络中各个卷积核的梯度之后，还包括：
对卷积核的梯度进行降维处理。
6.一种基于梯度的卷积神经网络剪枝装置，包括处理器以及存储有若干计算机指令的存储器，其特征在于，所述计算机指令被处理器执行时实现权利要求1至权利要求5中任意一项所述方法的步骤。
CN202111280238.0A 2021-10-29 2021-10-29 一种基于梯度的卷积神经网络剪枝方法及装置 Pending CN114021699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111280238.0A CN114021699A (zh) 2021-10-29 2021-10-29 一种基于梯度的卷积神经网络剪枝方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111280238.0A CN114021699A (zh) 2021-10-29 2021-10-29 一种基于梯度的卷积神经网络剪枝方法及装置

Publications (1)

Publication Number Publication Date
CN114021699A true CN114021699A (zh) 2022-02-08

Family

ID=80059189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111280238.0A Pending CN114021699A (zh) 2021-10-29 2021-10-29 一种基于梯度的卷积神经网络剪枝方法及装置

Country Status (1)

Country Link
CN (1) CN114021699A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677545A (zh) * 2022-03-29 2022-06-28 电子科技大学 一种基于相似性剪枝和高效模块的轻量化图像分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677545A (zh) * 2022-03-29 2022-06-28 电子科技大学 一种基于相似性剪枝和高效模块的轻量化图像分类方法

Similar Documents

Publication Publication Date Title
CN109189991B (zh) 重复视频识别方法、装置、终端及计算机可读存储介质
WO2019128526A1 (zh) 一种训练风控模型和风控的方法、装置及设备
US11645495B2 (en) Edge calculation-oriented reparametric neural network architecture search method
CN105956628B (zh) 数据分类方法和用于数据分类的装置
CN111079899A (zh) 神经网络模型压缩方法、系统、设备及介质
CN110347724A (zh) 异常行为识别方法、装置、电子设备及介质
CN106033425A (zh) 数据处理设备和数据处理方法
CN116306888A (zh) 神经网络剪枝方法、装置、设备及存储介质
CN110704424B (zh) 一种应用于数据库的排序方法、装置及相关设备
CN114021699A (zh) 一种基于梯度的卷积神经网络剪枝方法及装置
CN115329880A (zh) 气象特征提取方法、装置、计算机设备和存储介质
He et al. Blending pruning criteria for convolutional neural networks
CN106815209B (zh) 一种维吾尔文农业技术术语识别方法
CN112395273A (zh) 一种数据处理方法及装置、存储介质
CN116664335B (zh) 基于智能监控的半导体生产系统运行分析方法及系统
Śniegula et al. Study of machine learning methods for customer churn prediction in telecommunication company
CN112445914A (zh) 文本分类方法、装置、计算机设备和介质
CN117113174A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN110705889A (zh) 一种企业筛选方法、装置、设备及存储介质
CN112241820A (zh) 资金流动中关键节点的风险识别方法、装置及计算设备
CN114118411A (zh) 图像识别网络的训练方法、图像识别方法及装置
CN115374775A (zh) 一种确定文本相似度的方法、装置、设备及存储介质
CN107491417A (zh) 一种基于特定划分的主题模型下的文档生成方法
CN114281983A (zh) 分层结构的文本分类方法、系统、电子设备和存储介质
WO2020107836A1 (zh) 基于 word2vec 的用户缺失画像的补充方法和相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination