CN107316079A - 终端卷积神经网络的处理方法、装置、存储介质及处理器 - Google Patents

终端卷积神经网络的处理方法、装置、存储介质及处理器 Download PDF

Info

Publication number
CN107316079A
CN107316079A CN201710670072.0A CN201710670072A CN107316079A CN 107316079 A CN107316079 A CN 107316079A CN 201710670072 A CN201710670072 A CN 201710670072A CN 107316079 A CN107316079 A CN 107316079A
Authority
CN
China
Prior art keywords
neural networks
convolutional neural
convolutional
convolution kernel
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710670072.0A
Other languages
English (en)
Inventor
周文明
王志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Xi Yue Information Technology Co Ltd
Original Assignee
Zhuhai Xi Yue Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Xi Yue Information Technology Co Ltd filed Critical Zhuhai Xi Yue Information Technology Co Ltd
Priority to CN201710670072.0A priority Critical patent/CN107316079A/zh
Publication of CN107316079A publication Critical patent/CN107316079A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种终端卷积神经网络的处理方法、装置、存储介质及处理器。其中，该方法包括：对第一卷积神经网络进行拆分处理，得到第二卷积神经网络；向第二卷积神经网络中拆分的卷积层中添加残差分支，得到第三卷积神经网络；根据预设数据集对第三卷积神经网络进行训练，得到第四卷积神经网络；根据预设卷积通道稀疏度计算模型计算第四卷积神经网络中每层卷积核通道的稀疏度，进而根据稀疏度对第四卷积神经网络进行通道修剪，得到第五卷积神经网络；根据预设数据集对第五卷积神经网络进行训练，得到目标卷积神经网络；在终端上运行目标卷积神经网络。本发明解决了现有技术中的卷积神经网络在终端上运行时存在的运行效率较低的技术问题。

Description

终端卷积神经网络的处理方法、装置、存储介质及处理器
技术领域
本发明涉及卷积网络模型处理领域，具体而言，涉及一种终端卷积神经网络的处理方法、装置、存储介质及处理器。
背景技术
近年来，随着深度学习的高速迅猛发展，深层卷积神经网络凭借其独有的性能优势在计算机视觉、图像处理等领域获得了广泛应用。然而，深层卷积神经网络具有大容量、深层次、高维度等特点，网络参数众多，所需要的内存和计算资源十分庞大，目前其应用模式主要集中在高性能计算集群或云端平台，在终端应用中存在着存储空间有限、计算资源不足、运算时间长等问题。目前，针对卷积神经网络在终端应用中的压缩与加速仍然面临着一定的挑战。
针对卷积神经网络的模型压缩与计算加速，已有一些算法被提出。文献[HanSong,et al.Deep Compression:Compressing Deep Neural Networks with Pruning,Trained Quantization and Huffman Coding]针对卷积神经网络的参数冗余，设计了一种模型剪枝策略，经过连接剪枝、权值量化、Huffman编码之后模型尺寸大大减少。然而，其剪枝主要作用于参数量多而冗余的全连接层，卷积层的参数量少但是计算量大，因此剪枝法对于卷积神经网络的速度提升十分有限。在文献[Andrew G.Howard,et al.MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications]中，谷歌研究人员提出一种适用于手机的轻量卷积神经网络模型，通过将传统的三维全连接卷积拆分成二维部分连接卷积及1x1线性映射卷积，降低模型的参数及计算量，并引入了通道数因子与分辨率因子两个超参数，对网络模型的尺寸进行辅助控制。然而，卷积拆分后每个输入通道只与一个卷积核进行卷积，其提取特征的能力差，不仅会丢失很多信息，还使得网络的表达空间十分受限。此外，通道数因子为全局性的，即卷积神经网络的所有层的通道数稀疏度必须是统一的。然而，不同层的卷积核对于通道剪枝的敏感度与容忍度不同，采用统一的通道数因子可能在某些层无法达到本应有的稀疏度，而在其它层超出容忍度极限而带来不必要的性能损失。因此，现有的卷积神经网络在终端上运行时，其压缩与加速过程中表现出效率低、效果差的现状。综上，现有技术中的卷积神经网络在终端上运行时存在运行效率较低的技术问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种终端卷积神经网络的处理方法、装置、存储介质及处理器，以至少解决现有技术中的卷积神经网络在终端上运行时存在的运行效率较低的技术问题。
根据本发明实施例的一个方面，提供了一种终端卷积神经网络的处理方法，该方法包括：对第一卷积神经网络进行拆分处理，得到第二卷积神经网络；向上述第二卷积神经网络中拆分的卷积层中添加残差分支，得到第三卷积神经网络；根据预设数据集对上述第三卷积神经网络进行训练，得到第四卷积神经网络；根据预设卷积通道稀疏度计算模型计算上述第四卷积神经网络中每层卷积核通道的稀疏度，进而根据上述稀疏度对上述第四卷积神经网络进行通道修剪，得到第五卷积神经网络；根据上述预设数据集对上述第五卷积神经网络进行训练，得到目标卷积神经网络；在终端上运行上述目标卷积神经网络。
进一步地，在对第一卷积神经网络进行拆分处理之前，上述方法还包括：根据预设三维全连接卷积核创建上述第一卷积神经网络。
进一步地，上述对第一卷积神经网络进行拆分处理，得到第二卷积神经网络包括：对上述第一卷积神经网络中的至少部分卷积层进行拆分，并将上述预设三维全连接卷积核拆分为二维部分连接卷积核和1x1线性映射卷积核；根据上述第一卷积神经网络中被拆分后的上述卷积层、上述二维部分连接卷积核和上述1x1线性映射卷积核得到上述第二卷积神经网络。
进一步地，上述根据上述预设数据集对上述第五卷积神经网络进行训练，得到目标卷积神经网络包括：根据随机梯度法和上述预设数据集对上述第五卷积神经网络进行训练，直至上述第五卷积神经网络达到收敛状态，其中，达到上述收敛状态的上述第五卷积神经网络为上述目标卷积神经网络。
根据本发明实施例的另一个方面，还提供了一种终端卷积神经网络的处理装置，该装置包括：第一处理单元，用于对第一卷积神经网络进行拆分处理，得到第二卷积神经网络；第二处理单元，用于向上述第二卷积神经网络中拆分的卷积层中添加残差分支，得到第三卷积神经网络；第三处理单元，用于根据预设数据集对上述第三卷积神经网络进行训练，得到第四卷积神经网络；第四处理单元，用于根据预设卷积通道稀疏度计算模型计算上述第四卷积神经网络中每层卷积核通道的稀疏度，进而根据上述稀疏度对上述第四卷积神经网络进行通道修剪，得到第五卷积神经网络；第五处理单元，用于根据上述预设数据集对上述第五卷积神经网络进行训练，得到目标卷积神经网络；运行单元，用于在终端上运行上述目标卷积神经网络。
进一步地，上述装置还包括：创建单元，用于根据预设三维全连接卷积核创建上述第一卷积神经网络。
进一步地，上述第一处理单元包括：第一处理子单元，用于对上述第一卷积神经网络中的至少部分卷积层进行拆分，并将上述预设三维全连接卷积核拆分为二维部分连接卷积核和1x1线性映射卷积核；第一获取子单元，用于根据上述第一卷积神经网络中被拆分后的上述卷积层、上述二维部分连接卷积核和上述1x1线性映射卷积核得到上述第二卷积神经网络。
进一步地，上述第五处理单元包括：第二处理子单元，根据随机梯度法和上述预设数据集对上述第五卷积神经网络进行训练，直至上述第五卷积神经网络达到收敛状态，其中，达到上述收敛状态的上述第五卷积神经网络为上述目标卷积神经网络。
根据本发明实施例的又一个方面，还提供了一种存储介质，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行上述的终端卷积神经网络的处理方法。
根据本发明实施例的又一个方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述的终端卷积神经网络的处理方法。
在本发明实施例中，采用对第一卷积神经网络进行拆分处理，得到第二卷积神经网络的方式，通过向第二卷积神经网络中拆分的卷积层中添加残差分支，得到第三卷积神经网络；根据预设数据集对第三卷积神经网络进行训练，得到第四卷积神经网络；根据预设卷积通道稀疏度计算模型计算第四卷积神经网络中每层卷积核通道的稀疏度，进而根据稀疏度对第四卷积神经网络进行通道修剪，得到第五卷积神经网络；根据预设数据集对第五卷积神经网络进行训练，得到目标卷积神经网络；达到了在终端上运行目标卷积神经网络的目的，从而实现了提升卷积在终端运行时的压缩与加速过程中的运行效率、有效保障了卷积神经网络在终端上运行的性能、极大降低了卷积网络运行过程中的参数量及计算量的技术效果，进而解决了现有技术中的卷积神经网络在终端上运行时存在的运行效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1(a)是根据本发明实施例的一种可选的终端卷积神经网络的处理方法的流程示意图；
图1(b)是根据本发明实施例的一种可选的终端卷积神经网络的处理方法中的第一卷积神经网络的结构示意图；
图2是根据本发明实施例的另一种可选的终端卷积神经网络的处理方法的流程示意图；
图3是根据本发明实施例的一种可选的终端卷积神经网络的处理装置的结构示意图；
图4是根据本发明实施例的另一种可选的终端卷积神经网络的处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种终端卷积神经网络的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1(a)是根据本发明实施例的一种可选的终端卷积神经网络的处理方法的流程示意图，如图1(a)所示，该方法包括如下步骤：
步骤S102，对第一卷积神经网络进行拆分处理，得到第二卷积神经网络；
步骤S104，向第二卷积神经网络中拆分的卷积层中添加残差分支，得到第三卷积神经网络；
步骤S106，根据预设数据集对第三卷积神经网络进行训练，得到第四卷积神经网络；
步骤S108，根据预设卷积通道稀疏度计算模型计算第四卷积神经网络中每层卷积核通道的稀疏度，进而根据稀疏度对第四卷积神经网络进行通道修剪，得到第五卷积神经网络；
步骤S110，根据预设数据集对第五卷积神经网络进行训练，得到目标卷积神经网络；
步骤S112，在终端上运行目标卷积神经网络。
在本发明实施例中，采用对第一卷积神经网络进行拆分处理，得到第二卷积神经网络的方式，通过向第二卷积神经网络中拆分的卷积层中添加残差分支，得到第三卷积神经网络；根据预设数据集对第三卷积神经网络进行训练，得到第四卷积神经网络；根据预设卷积通道稀疏度计算模型计算第四卷积神经网络中每层卷积核通道的稀疏度，进而根据稀疏度对第四卷积神经网络进行通道修剪，得到第五卷积神经网络；根据预设数据集对第五卷积神经网络进行训练，得到目标卷积神经网络；达到了在终端上运行目标卷积神经网络的目的，从而实现了提升卷积在终端运行时的压缩与加速过程中的运行效率、有效保障了卷积神经网络在终端上运行的性能、极大降低了卷积网络运行过程中的参数量及计算量的技术效果，进而解决了现有技术中的卷积神经网络在终端上运行时存在的运行效率较低的技术问题。
可选地，卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(convolutional layer)、池化层(pooling layer)、全连接层(fullyconnected layer)等。
可选地，图1(b)是根据本发明实施例的一种可选的终端卷积神经网络的处理方法中的第一卷积神经网络的结构示意图，如图1(b)所示，第一预设卷积神经网络包括：输入层、12个卷积层、1个池化层、1个全连接层。其中，输入层的图像尺寸缩放为224x224。所有卷积层的卷积核大小为3x3，采用ReLU激活函数。第一卷积层卷积核个数为32，步长为1；第二卷积层卷积核个数为64，步长为2；第三卷积层卷积核个数为128，步长为2；第四卷积层卷积核个数为128，步长为2；第五卷积层卷积核个数为256，步长为1；第六卷积层卷积核个数为256，步长为2；第七卷积层卷积核个数为512，步长为1；第八卷积层卷积核个数为512，步长为1；第九卷积层卷积核个数为512，步长为1；第十卷积层卷积核个数为512，步长为2；第十一卷积层卷积核个数为1024，步长为1；第十二卷积层卷积核个数为1024，步长为2。池化层采用平均池化法，池化核个数为3x3，步长为1。全连接层神经元个数为1000。
可选地，步骤S104，向第二卷积神经网络中拆分的卷积层中添加残差分支可以包括：将二维部分连接卷积核的输入与1x1线性映射卷积核的输出相加。
可选地，步骤S106，根据预设数据集对第三卷积神经网络进行训练可以包括：对卷积神经网络中的所有参数进行随机初始化，之后采用随机梯度下降法进行训练直至收敛。具体地，预设数据集可以是ImageNet分类任务数据集。
可选地，步骤S108，根据预设卷积通道稀疏度计算模型计算第四卷积神经网络中每层卷积核通道的稀疏度可以包括：对于未拆分的卷积层，计算该层三维全连接卷积核不同通道所有数值的绝对值之和，得到该层多个通道的L1范式数值；对于拆分后的卷积层，先将二维部分连接卷积核与1x1线性映射卷积核进行相乘，得到重建卷积核，计算重建卷积核不同通道所有数值的绝对值之和，得到该层多个通道的L1范式数值。将每个卷积层所有通道的L1范式数值进行归一化，并与预设的阈值进行对比，计算每个卷积层的L1范式数值小于预设阈值的通道数的个数与该卷积层通道总数的比例，得到第四卷积神经网络中每层卷积核通道的稀疏度。
具体地，步骤S108中，对于未拆分的卷积层，可以通过计算该层三维全连接卷积核不同通道所有数值的绝对值之和，得到该层多个通道的L1范式数值；对于拆分后的卷积层，先将二维部分连接卷积核与1x1线性映射卷积核进行相乘，得到重建卷积核，计算重建卷积核不同通道所有数值的绝对值之和，得到该层多个通道的L1范式数值。将每个卷积层所有通道的L1范式数值进行归一化，并与预设的阈值进行对比，计算每个卷积层的L1范式数值小于预设阈值的通道数的个数与该卷积层通道总数的比例，得到第四预设卷积神经网络每层卷积层的稀疏度。第三预设卷积神经网络的第一卷积层未拆分，其卷积核F尺寸为3x3，通道数为32，记为F＝[f1,f2,…,f32]，fi(i＝1,2,...,32)维度为[3,3,3]。计算||f1||1,||f2||1,…,||f32||1，将其进行归一化，即对于其他拆分过的卷积层，如第二卷积层，A的卷积核尺寸为3x3，通道数为32，记为A＝[a1,a2,…,a32]，ai(i＝1,2,...,32)维度为[3,3,1]。B的卷积核尺寸为1x1，通道数为64，记为B＝[b1,b2,…,b64]，bi(i＝1,2,...,64)维度为[1,1,32]。计算Axb1，Axb2，…，Axb64，最后将其进行归一化。
可选地，本发明实施例中所涉及的终端卷积神经网络的处理方法，可以针对卷积神经网络中参数少但是计算量大的卷积层进行优化加速。通过对三维全连接卷积进行拆分，降低了卷积层的参数量及计算量；通过在拆分卷积层中引入残差旁路分支，在不增加参数量的前提下降低了拆分对卷积层的精度带来的影响，保证了卷积神经网络的性能；通过引入卷积通道稀疏度评估模型，获得不同卷积层的稀疏度比例，可以反映每层卷积层对通道修剪的敏感度与容忍度，为通道修剪提供辅助指导作用；通过逐层修剪卷积通道，有效利用卷积层中的参数冗余，在不影响卷积神经网络性能的前提下进一步降低参数量及计算量。因此，本发明实现了针对卷积神经网络的压缩与加速。
可选地，步骤S110，根据步骤S108中的稀疏度对第四卷积神经网络进行通道修剪，得到第五卷积神经网络可以包括：根据预设卷积通道稀疏度评估模型计算出来的稀疏度及通道L1范式，去掉每个卷积层中L1范式较小的通道，修剪掉的通道数不能大于该层的稀疏度与通道总数的乘积。对于未拆分的卷积层，修剪时直接去掉对应部分的卷积核；对于拆分后的卷积层，修剪时要同时去掉该通道对应的二维部分连接卷积核与1x1线性映射卷积核。
可选地，运行目标卷积神经网络的终端可以为计算机终端或者移动设备终端。
可选地，在执行步骤S102之前，即在对第一卷积神经网络进行拆分处理之前，该方法还可以包括：根据预设三维全连接卷积核创建第一卷积神经网络。
具体地，第一卷积神经网络可以包含输入层、三维全连接卷积层、池化层、非线性层、全连接层等。其中，三维全连接卷积层的卷积核的每个通道都与前一层的所有通道相连接。
可选地，图2是根据本发明实施例的另一种可选的终端卷积神经网络的处理方法的流程示意图，如图2所示，步骤S102，对第一卷积神经网络进行拆分处理，得到第二卷积神经网络包括：
步骤S202，对第一卷积神经网络中的至少部分卷积层进行拆分，并将预设三维全连接卷积核拆分为二维部分连接卷积核和1x1线性映射卷积核；
步骤S204，根据第一卷积神经网络中被拆分后的卷积层、二维部分连接卷积核和1x1线性映射卷积核得到第二卷积神经网络。
可选地，步骤S202中的二维部分连接卷积核的每个通道只与前一层的单个通道相连接，而1x1线性映射卷积核的每个通道与二维部分连接卷积核的所有输出通道相连接。
可选地，仍如图1(b)所示，对第一卷积神经网络的第二层至第十二层卷积层进行拆分。以第二层为例，原卷积核K大小为3x3，通道数为64，记为K＝[k1,k2,…,k64]。其中ki(i＝1,2,...,64)维度为[3,3,32]。经过拆分之后，得到二维部分连接卷积核A与1x1线性映射卷积核B。其中，A的卷积核尺寸为3x3，通道数为32，记为A＝[a1,a2,…,a32]，ai(i＝1,2,...,32)维度为[3,3,1]。B的卷积核尺寸为1x1，通道数为64，记为B＝[b1,b2,…,b64]，bi(i＝1,2,...,64)维度为[1,1,32]。二维部分连接卷积核的步长与原三维全连接卷积核步长一致，1x1线性映射卷积核步长为1。
可选地，步骤S104，向第二卷积神经网络中拆分的卷积层中添加残差分支，得到第三卷积神经网络可以包括：将二维部分连接卷积核的输入与1x1线性映射卷积核的输出相加。
可选地，步骤S110，根据预设数据集对第五卷积神经网络进行训练，得到目标卷积神经网络包括：根据随机梯度法和预设数据集对第五卷积神经网络进行训练，直至第五卷积神经网络达到收敛状态，其中，达到收敛状态的第五卷积神经网络为目标卷积神经网络。
可选地，本发明实施例中所涉及的终端卷积神经网络的处理方法可以采用将三维全连接卷积拆分为二维部分连接卷积与1x1线性映射卷积的方式，降低卷积神经网络模型的数据量与计算量。通过对拆分后的卷积层引入残差旁路分支，保证了网络的表达能力与精度，并通过卷积通道稀疏度评估模型对不同卷积层进行卷积通道缩减，达到了在保证网络精度前提下进一步降低网络参数与计算量的目的，从而实现了卷积神经网络压缩与加速的技术效果，进而解决了现有卷积压缩与加速技术效率低、效果差的技术问题。
在本发明实施例中，采用对第一卷积神经网络进行拆分处理，得到第二卷积神经网络的方式，通过向第二卷积神经网络中拆分的卷积层中添加残差分支，得到第三卷积神经网络；根据预设数据集对第三卷积神经网络进行训练，得到第四卷积神经网络；根据预设卷积通道稀疏度计算模型计算第四卷积神经网络中每层卷积核通道的稀疏度，进而根据稀疏度对第四卷积神经网络进行通道修剪，得到第五卷积神经网络；根据预设数据集对第五卷积神经网络进行训练，得到目标卷积神经网络；达到了在终端上运行目标卷积神经网络的目的，从而实现了提升卷积在终端运行时的压缩与加速过程中的运行效率、有效保障了卷积神经网络在终端上运行的性能、极大降低了卷积网络运行过程中的参数量及计算量的技术效果，进而解决了现有技术中的卷积神经网络在终端上运行时存在的运行效率较低的技术问题。
实施例2
根据本发明实施例的另一个方面，还提供了终端卷积神经网络的处理装置，如图3所示，该装置包括：第一处理单元301、第二处理单元303、第三处理单元305、第四处理单元307、第五处理单元309和运行单元311。
其中，第一处理单元301，用于对第一卷积神经网络进行拆分处理，得到第二卷积神经网络；第二处理单元303，用于向第二卷积神经网络中拆分的卷积层中添加残差分支，得到第三卷积神经网络；第三处理单元305，用于根据预设数据集对第三卷积神经网络进行训练，得到第四卷积神经网络；第四处理单元307，用于根据预设卷积通道稀疏度计算模型计算第四卷积神经网络中每层卷积核通道的稀疏度，进而根据稀疏度对第四卷积神经网络进行通道修剪，得到第五卷积神经网络；第五处理单元309，用于根据预设数据集对第五卷积神经网络进行训练，得到目标卷积神经网络；运行单元311，用于在终端上运行目标卷积神经网络。
可选地，如图4所示，该装置还可以包括：创建单元401，用于根据预设三维全连接卷积核创建第一卷积神经网络。
可选地，第一处理单元301可以包括：第一处理子单元，用于对第一卷积神经网络中的至少部分卷积层进行拆分，并将预设三维全连接卷积核拆分为二维部分连接卷积核和1x1线性映射卷积核；第一获取子单元，用于根据第一卷积神经网络中被拆分后的卷积层、二维部分连接卷积核和1x1线性映射卷积核得到第二卷积神经网络。
可选地，第五处理单元可以包括：第二处理子单元，根据随机梯度法和预设数据集对第五卷积神经网络进行训练，直至第五卷积神经网络达到收敛状态，其中，达到收敛状态的第五卷积神经网络为目标卷积神经网络。
根据本发明实施例的又一个方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述实施例1中的终端卷积神经网络的处理方法。
根据本发明实施例的又一个方面，还提供了一种处理器，该处理器用于运行程序，程序运行时执行上述实施例1中的终端卷积神经网络的处理方法。
在本发明实施例中，采用对第一卷积神经网络进行拆分处理，得到第二卷积神经网络的方式，通过向第二卷积神经网络中拆分的卷积层中添加残差分支，得到第三卷积神经网络；根据预设数据集对第三卷积神经网络进行训练，得到第四卷积神经网络；根据预设卷积通道稀疏度计算模型计算第四卷积神经网络中每层卷积核通道的稀疏度，进而根据稀疏度对第四卷积神经网络进行通道修剪，得到第五卷积神经网络；根据预设数据集对第五卷积神经网络进行训练，得到目标卷积神经网络；达到了在终端上运行目标卷积神经网络的目的，从而实现了提升卷积在终端运行时的压缩与加速过程中的运行效率、有效保障了卷积神经网络在终端上运行的性能、极大降低了卷积网络运行过程中的参数量及计算量的技术效果，进而解决了现有技术中的卷积神经网络在终端上运行时存在的运行效率较低的技术问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种终端卷积神经网络的处理方法，其特征在于，包括：
对第一卷积神经网络进行拆分处理，得到第二卷积神经网络；
向所述第二卷积神经网络中拆分的卷积层中添加残差分支，得到第三卷积神经网络；
根据预设数据集对所述第三卷积神经网络进行训练，得到第四卷积神经网络；
根据预设卷积通道稀疏度计算模型计算所述第四卷积神经网络中每层卷积核通道的稀疏度，进而根据所述稀疏度对所述第四卷积神经网络进行通道修剪，得到第五卷积神经网络；
根据所述预设数据集对所述第五卷积神经网络进行训练，得到目标卷积神经网络；
在终端上运行所述目标卷积神经网络。
2.根据权利要求1所述的方法，其特征在于，在对第一卷积神经网络进行拆分处理之前，所述方法还包括：根据预设三维全连接卷积核创建所述第一卷积神经网络。
3.根据权利要求2所述的方法，其特征在于，所述对第一卷积神经网络进行拆分处理，得到第二卷积神经网络包括：
对所述第一卷积神经网络中的至少部分卷积层进行拆分，并将所述预设三维全连接卷积核拆分为二维部分连接卷积核和1x1线性映射卷积核；
根据所述第一卷积神经网络中被拆分后的所述卷积层、所述二维部分连接卷积核和所述1x1线性映射卷积核得到所述第二卷积神经网络。
4.根据权利要求1所述的方法，其特征在于，所述根据所述预设数据集对所述第五卷积神经网络进行训练，得到目标卷积神经网络包括：
根据随机梯度法和所述预设数据集对所述第五卷积神经网络进行训练，直至所述第五卷积神经网络达到收敛状态，其中，达到所述收敛状态的所述第五卷积神经网络为所述目标卷积神经网络。
5.一种终端卷积神经网络的处理装置，其特征在于，包括：
第一处理单元，用于对第一卷积神经网络进行拆分处理，得到第二卷积神经网络；
第二处理单元，用于向所述第二卷积神经网络中拆分的卷积层中添加残差分支，得到第三卷积神经网络；
第三处理单元，用于根据预设数据集对所述第三卷积神经网络进行训练，得到第四卷积神经网络；
第四处理单元，用于根据预设卷积通道稀疏度计算模型计算所述第四卷积神经网络中每层卷积核通道的稀疏度，进而根据所述稀疏度对所述第四卷积神经网络进行通道修剪，得到第五卷积神经网络；
第五处理单元，用于根据所述预设数据集对所述第五卷积神经网络进行训练，得到目标卷积神经网络；
运行单元，用于在终端上运行所述目标卷积神经网络。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
创建单元，用于根据预设三维全连接卷积核创建所述第一卷积神经网络。
7.根据权利要求6所述的装置，其特征在于，所述第一处理单元包括：
第一处理子单元，用于对所述第一卷积神经网络中的至少部分卷积层进行拆分，并将所述预设三维全连接卷积核拆分为二维部分连接卷积核和1x1线性映射卷积核；
第一获取子单元，用于根据所述第一卷积神经网络中被拆分后的所述卷积层、所述二维部分连接卷积核和所述1x1线性映射卷积核得到所述第二卷积神经网络。
8.根据权利要求5所述的装置，其特征在于，所述第五处理单元包括：
第二处理子单元，根据随机梯度法和所述预设数据集对所述第五卷积神经网络进行训练，直至所述第五卷积神经网络达到收敛状态，其中，达到所述收敛状态的所述第五卷积神经网络为所述目标卷积神经网络。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求4中任意一项所述的终端卷积神经网络的处理方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求4中任意一项所述的终端卷积神经网络的处理方法。
CN201710670072.0A 2017-08-08 2017-08-08 终端卷积神经网络的处理方法、装置、存储介质及处理器 Pending CN107316079A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710670072.0A CN107316079A (zh) 2017-08-08 2017-08-08 终端卷积神经网络的处理方法、装置、存储介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710670072.0A CN107316079A (zh) 2017-08-08 2017-08-08 终端卷积神经网络的处理方法、装置、存储介质及处理器

Publications (1)

Publication Number Publication Date
CN107316079A true CN107316079A (zh) 2017-11-03

Family

ID=60175077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710670072.0A Pending CN107316079A (zh) 2017-08-08 2017-08-08 终端卷积神经网络的处理方法、装置、存储介质及处理器

Country Status (1)

Country Link
CN (1) CN107316079A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808150A (zh) * 2017-11-20 2018-03-16 珠海习悦信息技术有限公司 人体视频动作识别方法、装置、存储介质及处理器
CN107909147A (zh) * 2017-11-16 2018-04-13 深圳市华尊科技股份有限公司 一种数据处理方法及装置
CN108322685A (zh) * 2018-01-12 2018-07-24 广州华多网络科技有限公司 视频插帧方法、存储介质以及终端
CN108710906A (zh) * 2018-05-11 2018-10-26 北方民族大学 基于轻量级网络LightPointNet的实时点云模型分类方法
CN108875752A (zh) * 2018-03-21 2018-11-23 北京迈格威科技有限公司 图像处理方法和装置、计算机可读存储介质
CN108985386A (zh) * 2018-08-07 2018-12-11 北京旷视科技有限公司 获得图像处理模型的方法、图像处理方法及对应装置
CN109063834A (zh) * 2018-07-12 2018-12-21 浙江工业大学 一种基于卷积特征响应图的神经网络剪枝方法
CN109272500A (zh) * 2018-09-27 2019-01-25 西安电子科技大学 基于自适应卷积神经网络的织物分类方法
CN109685205A (zh) * 2018-12-26 2019-04-26 上海大学 一种基于稀疏矩阵的深度网络模型加速方法
CN109978142A (zh) * 2019-03-29 2019-07-05 腾讯科技（深圳）有限公司 神经网络模型的压缩方法和装置
CN110651273A (zh) * 2017-11-17 2020-01-03 华为技术有限公司 一种数据处理方法及设备
CN110826684A (zh) * 2018-08-08 2020-02-21 北京交通大学 卷积神经网络的压缩方法、装置、电子设备和介质
WO2020082663A1 (zh) * 2018-10-26 2020-04-30 北京图森未来科技有限公司 一种深度神经网络的结构搜索方法及装置
CN111213160A (zh) * 2017-11-14 2020-05-29 谷歌有限责任公司 高效卷积神经网络
CN111353944A (zh) * 2018-12-20 2020-06-30 深圳市中兴微电子技术有限公司 一种图像重建方法、装置及计算机可读存储介质
CN111738424A (zh) * 2020-06-29 2020-10-02 湖南国科微电子股份有限公司 神经网络处理方法、装置、电子设备及存储介质
CN111860796A (zh) * 2019-04-30 2020-10-30 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN112446227A (zh) * 2019-08-12 2021-03-05 阿里巴巴集团控股有限公司 物体检测方法、装置及设备
CN112733585A (zh) * 2019-10-29 2021-04-30 杭州海康威视数字技术股份有限公司 图像识别方法
CN113516224A (zh) * 2020-04-09 2021-10-19 深圳云天励飞技术有限公司 神经网络的优化方法及装置、电子设备及存储介质
CN109840584B (zh) * 2017-11-24 2023-04-18 腾讯科技（深圳）有限公司 基于卷积神经网络模型的图像数据分类方法及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7945523B2 (en) * 2003-09-30 2011-05-17 Siemens Aktiengesellschaft Method and computer program for analyzing variables using pruning, influencing a combustion process in a combustion chamber, using a trainable statistical model
CN105260776A (zh) * 2015-09-10 2016-01-20 华为技术有限公司 神经网络处理器和卷积神经网络处理器
CN106203376A (zh) * 2016-07-19 2016-12-07 北京旷视科技有限公司 人脸关键点定位方法及装置
US9524461B1 (en) * 2014-09-30 2016-12-20 Steven T. Huynh Conceptual computation system using a hierarchical network of modules
CN106447030A (zh) * 2016-08-30 2017-02-22 深圳市诺比邻科技有限公司 卷积神经网络的计算资源优化方法及系统
WO2017036370A1 (en) * 2015-09-03 2017-03-09 Mediatek Inc. Method and apparatus of neural network based processing in video coding
CN106557812A (zh) * 2016-11-21 2017-04-05 北京大学 基于dct变换的深度卷积神经网络压缩与加速方案
CN106778918A (zh) * 2017-01-22 2017-05-31 北京飞搜科技有限公司 一种应用于手机端的深度学习图像识别系统及实现方法
CN106845529A (zh) * 2016-12-30 2017-06-13 北京柏惠维康科技有限公司 基于多视野卷积神经网络的影像特征识别方法
CN106991651A (zh) * 2016-12-12 2017-07-28 南昌大学 基于合成分析反卷积网络的快速成像方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7945523B2 (en) * 2003-09-30 2011-05-17 Siemens Aktiengesellschaft Method and computer program for analyzing variables using pruning, influencing a combustion process in a combustion chamber, using a trainable statistical model
US9524461B1 (en) * 2014-09-30 2016-12-20 Steven T. Huynh Conceptual computation system using a hierarchical network of modules
WO2017036370A1 (en) * 2015-09-03 2017-03-09 Mediatek Inc. Method and apparatus of neural network based processing in video coding
CN105260776A (zh) * 2015-09-10 2016-01-20 华为技术有限公司 神经网络处理器和卷积神经网络处理器
CN106203376A (zh) * 2016-07-19 2016-12-07 北京旷视科技有限公司 人脸关键点定位方法及装置
CN106447030A (zh) * 2016-08-30 2017-02-22 深圳市诺比邻科技有限公司 卷积神经网络的计算资源优化方法及系统
CN106557812A (zh) * 2016-11-21 2017-04-05 北京大学 基于dct变换的深度卷积神经网络压缩与加速方案
CN106991651A (zh) * 2016-12-12 2017-07-28 南昌大学 基于合成分析反卷积网络的快速成像方法及系统
CN106845529A (zh) * 2016-12-30 2017-06-13 北京柏惠维康科技有限公司 基于多视野卷积神经网络的影像特征识别方法
CN106778918A (zh) * 2017-01-22 2017-05-31 北京飞搜科技有限公司 一种应用于手机端的深度学习图像识别系统及实现方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEXANDRE BOULCH: "ShaResNet: reducing residual network parameter number by sharing weights", 《HTTPS://ARXIV.ORG/ABS/1702.08782》 *
YIHUI HE 等: "Channel Pruning for Accelerating Very Deep Neural Networks", 《HTTPS://ARXIV.ORG/ABS/1707.06168V1》 *
李冬 等: "神经网络泛化性能的最优脑外科过程算法", 《计算机仿真》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111213160B (zh) * 2017-11-14 2024-05-14 谷歌有限责任公司 高效卷积神经网络
CN113657578A (zh) * 2017-11-14 2021-11-16 谷歌有限责任公司 高效卷积神经网络
CN111213160A (zh) * 2017-11-14 2020-05-29 谷歌有限责任公司 高效卷积神经网络
CN107909147A (zh) * 2017-11-16 2018-04-13 深圳市华尊科技股份有限公司 一种数据处理方法及装置
CN110651273B (zh) * 2017-11-17 2023-02-14 华为技术有限公司 一种数据处理方法及设备
CN110651273A (zh) * 2017-11-17 2020-01-03 华为技术有限公司 一种数据处理方法及设备
CN107808150A (zh) * 2017-11-20 2018-03-16 珠海习悦信息技术有限公司 人体视频动作识别方法、装置、存储介质及处理器
CN109840584B (zh) * 2017-11-24 2023-04-18 腾讯科技（深圳）有限公司 基于卷积神经网络模型的图像数据分类方法及设备
CN108322685A (zh) * 2018-01-12 2018-07-24 广州华多网络科技有限公司 视频插帧方法、存储介质以及终端
CN108322685B (zh) * 2018-01-12 2020-09-25 广州华多网络科技有限公司 视频插帧方法、存储介质以及终端
CN108875752A (zh) * 2018-03-21 2018-11-23 北京迈格威科技有限公司 图像处理方法和装置、计算机可读存储介质
CN108875752B (zh) * 2018-03-21 2022-06-07 北京迈格威科技有限公司 图像处理方法和装置、计算机可读存储介质
CN108710906A (zh) * 2018-05-11 2018-10-26 北方民族大学 基于轻量级网络LightPointNet的实时点云模型分类方法
CN108710906B (zh) * 2018-05-11 2022-02-11 北方民族大学 基于轻量级网络LightPointNet的实时点云模型分类方法
CN109063834A (zh) * 2018-07-12 2018-12-21 浙江工业大学 一种基于卷积特征响应图的神经网络剪枝方法
CN109063834B (zh) * 2018-07-12 2021-07-20 浙江工业大学 一种基于卷积特征响应图的神经网络剪枝方法
CN108985386A (zh) * 2018-08-07 2018-12-11 北京旷视科技有限公司 获得图像处理模型的方法、图像处理方法及对应装置
CN110826684A (zh) * 2018-08-08 2020-02-21 北京交通大学 卷积神经网络的压缩方法、装置、电子设备和介质
CN110826684B (zh) * 2018-08-08 2022-04-05 北京交通大学 卷积神经网络的压缩方法、装置、电子设备和介质
CN109272500A (zh) * 2018-09-27 2019-01-25 西安电子科技大学 基于自适应卷积神经网络的织物分类方法
CN109272500B (zh) * 2018-09-27 2021-11-09 西安电子科技大学 基于自适应卷积神经网络的织物分类方法
WO2020082663A1 (zh) * 2018-10-26 2020-04-30 北京图森未来科技有限公司 一种深度神经网络的结构搜索方法及装置
CN111353944A (zh) * 2018-12-20 2020-06-30 深圳市中兴微电子技术有限公司 一种图像重建方法、装置及计算机可读存储介质
CN111353944B (zh) * 2018-12-20 2024-05-28 深圳市中兴微电子技术有限公司 一种图像重建方法、装置及计算机可读存储介质
CN109685205A (zh) * 2018-12-26 2019-04-26 上海大学 一种基于稀疏矩阵的深度网络模型加速方法
CN109978142B (zh) * 2019-03-29 2022-11-29 腾讯科技（深圳）有限公司 神经网络模型的压缩方法和装置
CN109978142A (zh) * 2019-03-29 2019-07-05 腾讯科技（深圳）有限公司 神经网络模型的压缩方法和装置
CN111860796A (zh) * 2019-04-30 2020-10-30 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN111860796B (zh) * 2019-04-30 2023-10-03 上海寒武纪信息科技有限公司 运算方法、装置及相关产品
CN112446227A (zh) * 2019-08-12 2021-03-05 阿里巴巴集团控股有限公司 物体检测方法、装置及设备
CN112733585A (zh) * 2019-10-29 2021-04-30 杭州海康威视数字技术股份有限公司 图像识别方法
CN112733585B (zh) * 2019-10-29 2023-09-05 杭州海康威视数字技术股份有限公司 图像识别方法
CN113516224A (zh) * 2020-04-09 2021-10-19 深圳云天励飞技术有限公司 神经网络的优化方法及装置、电子设备及存储介质
CN111738424B (zh) * 2020-06-29 2023-12-26 湖南国科微电子股份有限公司 神经网络处理方法、装置、电子设备及存储介质
CN111738424A (zh) * 2020-06-29 2020-10-02 湖南国科微电子股份有限公司 神经网络处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN107316079A (zh) 终端卷积神经网络的处理方法、装置、存储介质及处理器
WO2020221200A1 (zh) 神经网络的构建方法、图像处理方法及装置
CN106355244B (zh) 卷积神经网络的构建方法及系统
CN110222760B (zh) 一种基于winograd算法的快速图像处理方法
CN106529670A (zh) 一种基于权重压缩的神经网络处理器、设计方法、芯片
CN108961253A (zh) 一种图像分割方法和装置
CN110163813A (zh) 一种图像去雨方法、装置、可读存储介质及终端设备
CN113627376B (zh) 基于多尺度密集连接深度可分离网络的人脸表情识别方法
CN109063824A (zh) 深层三维卷积神经网络的创建方法、装置、存储介质及处理器
CN112529165B (zh) 深度神经网络剪枝方法、装置、终端及存储介质
CN107808150A (zh) 人体视频动作识别方法、装置、存储介质及处理器
CN107292458A (zh) 一种应用于神经网络芯片的预测方法和预测装置
CN107944545A (zh) 应用于神经网络的计算方法及计算装置
CN110909874A (zh) 一种神经网络模型的卷积运算优化方法和装置
CN107491787A (zh) 局部二值化cnn的处理方法、装置、存储介质及处理器
CN107203808A (zh) 一种二值卷积装置及相应的二值卷积神经网络处理器
CN109117817A (zh) 人脸识别的方法及装置
CN107766934A (zh) 一种基于并列卷积单元的深度卷积神经网络方法
CN113435520A (zh) 神经网络的训练方法、装置、设备及计算机可读存储介质
CN113361698A (zh) 神经网络模型的处理方法和装置、数据处理方法和装置
WO2022134465A1 (zh) 加速可重构处理器运行的稀疏化数据处理方法和装置
CN106649782A (zh) 一种图片检索方法和系统
CN111931901A (zh) 一种神经网络构建方法以及装置
QingJie et al. Research on image retrieval using deep convolutional neural network combining L1 regularization and PRelu activation function
CN110059593A (zh) 一种基于反馈卷积神经网络的面部表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20210730

AD01 Patent right deemed abandoned