CN107895192B - 深度卷积网络压缩方法、存储介质和终端 - Google Patents
深度卷积网络压缩方法、存储介质和终端 Download PDFInfo
- Publication number
- CN107895192B CN107895192B CN201711276752.0A CN201711276752A CN107895192B CN 107895192 B CN107895192 B CN 107895192B CN 201711276752 A CN201711276752 A CN 201711276752A CN 107895192 B CN107895192 B CN 107895192B
- Authority
- CN
- China
- Prior art keywords
- network
- channels
- feature extraction
- convolutional
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006835 compression Effects 0.000 title claims abstract description 63
- 238000007906 compression Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 79
- 238000013528 artificial neural network Methods 0.000 claims abstract description 43
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 33
- 230000000694 effects Effects 0.000 claims abstract description 27
- 238000011176 pooling Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明提供一种深度卷积网络压缩方法、存储介质和终端，该方法包括步骤：将原始深度卷积网络划分为特征提取部分和特征利用部分，其中，所述特征提取部分用于对输入的原始数据进行特征的转化和提取，所述特征利用部分用于根据转化和提取的特征输出最终结果；对所述特征提取部分进行压缩，获得卷积子网络，由若干个所述卷积子网络构建与所述特征提取部分效果相比拟的循环卷积神经网络；将原始数据输入所述循环卷积神经网络，输出转化和提取的特征；将转化和提取的特征输入所述特征利用部分，输出所述原始数据对应的最终结果。该方法实施例能够在压缩深度卷积网络的同时保持深度卷积网络的效果。
Description
技术领域
本发明涉及计算机技术领域，具体而言，本发明涉及一种深度卷积网络压缩方法、存储介质和终端。
背景技术
近不到十年的时间里，人工智能取得了巨大的进步。而这样的进步主要是由深度学习来推动的。深度学习是一种堆叠多层神经网络的机器学习方法。由于神经网络的层数比传统的方法层数多得多，顾称为深度学习。随着近年来大量训练数据获得的可能，以及计算机计算性能(主要是显卡的计算性能)的提高，训练大型深度卷积网络成为可能。随着深度学习算法的发展，大型深度卷积网络在很多领域都达到了最先进的水平。例如图像识别、图像分割和自然语言处理等领域。
虽然大型深度卷积网络在各领域达到了较高水平，但是当需要部署在移动端运行时，由于移动端的计算能力，运行内存和存储空间相对于PC(personal computer，个人计算机)端来说都有限，因此需要在考虑资源限制的情况下应用深度学习技术，即需要对深度卷积网络进行压缩，才能满足同时保持较高的运算速度和较小的存储空间占用的要求。
现有技术中的深度卷积网络压缩方法主要有矩阵分解、通道数压缩和知识提取(knowledge distilling)等。虽然这些方法都可以在一程度上对深度卷积网络进行压缩，但是在压缩时无法保持原有深度卷积网络的效果，即原有深度卷积网络的表达能力和预测精度，因此在压缩完成之后还需要重新在原有的数据集上面微调(fine tune)，而有的甚至在微调之后也没办法恢复原有深度卷积网络的效果。
发明内容
本发明针对现有方式的缺点，提出一种深度卷积网络压缩方法、存储介质和终端，用以解决现有技术中存在的深度卷积网络压缩的同时无法保持效果的问题，以能够在压缩深度卷积网络的同时保持深度卷积网络的效果。
本发明的实施例根据第一个方面，提供了一种深度卷积网络压缩方法，包括步骤：
将原始深度卷积网络划分为特征提取部分和特征利用部分，其中，所述特征提取部分用于对输入的原始数据进行特征的转化和提取，所述特征利用部分用于根据转化和提取的特征输出最终结果；
对所述特征提取部分进行压缩，获得卷积子网络，由若干个所述卷积子网络构建与所述特征提取部分效果相比拟的循环卷积神经网络；
将原始数据输入所述循环卷积神经网络，输出转化和提取的特征；
将转化和提取的特征输入所述特征利用部分，输出所述原始数据对应的最终结果。
在一个实施例中，所述循环卷积神经网络中第一个卷积子网络的输入通道数为原始数据的通道数，之后的卷积子网络的输入通道数为原始数据的通道数和上一个卷积子网络输出数据的通道数的级联。
在一个实施例中，所述循环卷积神经网络还包括位于两个卷积子网络之间的设定卷积层，所述设定卷积层的输入通道数为原始数据的通道数和上一个卷积子网络输出数据的通道数的级联，输出通道数为第一个卷积子网络的输入通道数。
在一个实施例中，所述对所述特征提取部分进行压缩，所述对所述特征提取部分进行压缩，获得卷积子网络，包括：对所述特征提取部分进行通道数压缩，获得卷积子网络。
在一个实施例中，所述对所述特征提取部分进行通道数压缩，包括：统计所述特征提取部分的每层网络中各个通道的权值总和；分别将每层网络中权值总和小于预设阈值的通道移除。
在一个实施例中，所述循环卷积神经网络包含的卷积子网络的个数根据压缩后的通道数与压缩前的通道数的比值确定；所述循环卷积神经网络的体积为所述特征提取部分的体积的N/n2，其中，N为卷积子网络的个数，1/n为压缩后的通道数与压缩前的通道数的比值。
在一个实施例中，所述特征提取部分包括卷积层或者所述特征提取部分包括卷积层和池化层。
在一个实施例中，所述特征利用部分包括上采样层或者全连接层。
本发明的实施例根据第二个方面，还提供了一种计算机可读的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述任意一项所述的深度卷积网络压缩方法。
本发明的实施例根据第三个方面，还提供了一种终端，所述终端包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前述任意一项所述的深度卷积网络压缩方法。
上述的深度卷积网络压缩方法、存储介质和终端，对大型的原始深度卷积网络的特征提取部分进行压缩，获得小型的卷积子网络，然后由若干个卷积子网络构建与特征提取部分效果相比拟的循环卷积神经网络，特征提取部分的体积被压缩，减小了网络体积；由于每个卷积子网络都是一样的，从而达到权值共享，降低了计算量，提高了运算速度，另外，循环卷积神经网络可以达到与特征提取部分相比拟的效果，即保持与深度卷积网络相比拟的表达能力和预测精度，使深度卷积网络在各种客户端都可以在保持效果的情况下流畅运行，极大提高了用户体验。
进一步的，在通过压缩通道数进行压缩时，特征提取部分的体积被压缩为N/n2，其中，N为卷积子网络的个数，1/n为压缩后的通道数和压缩前的通道数的比值，从而减小了网络体积。另外，如果在各个卷积子网络中间插入设定卷积层，那么特征提取部分的压缩比例要稍微小于N/n2。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一个实施例提供的深度卷积网络压缩方法的流程示意图；
图2为本发明一实施例提供的原始深度卷积网络的结构示意图；
图3为本发明一实施例提供的循环卷积神经网络的结构示意图；
图4为本发明一实施例提供的终端的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
有必要先对本发明的应用背景和技术构思进行如下的先导性说明。
目前大型深度神经网络可以很好地处理语义分割，人物和背景分离，人脸跟踪定点和人体姿态估计等计算机视觉的问题。但是大型深度神经网络由于参数数量非常多(例如AlexNet参数数量为六千万左右)，在输入同等大小图片的情况下，导致浮点运算量非常巨大从而导致运算速度很低。由于深度神经网络处理上述问题的性能卓越，逐渐应用到直播场景中，对某些特效提供支持。但是对计算资源的要求极高，导致移植到移动端时需要对网络进行压缩。本发明即是对大型神经网络进行压缩，以便能够在移动端提供同等性能的神经网络。
很多实验表明，大型深度神经网络的神经元具有高度冗余。深度卷积网络相对于同等深度的全连接网络效果更好以及更容易训练直接说明了这个问题。而卷积网络相当于是全连接网络中神经元按规则进行权值共享。本发明的发明人经研究发现，卷积网络当中的神经元的参数可以进一步共享，基于该研究发现，本发明提供一种新的深度卷积网络压缩方案。
本发明的技术构思为利用一个较小的卷积网络架构重复进行计算，相当于权值共享，程展开来之后就是一个深度卷积网络。实验表明，这样的一个小网络与同等深度的网络具有同样的表达能力，因此可以用于神经网络压缩。通过这种方式，可以将大型网络压缩成小网络，在减小网络体积和提高运算速度的同时，网络的精确度可以保持跟大网络相比拟。
应当理解，虽然本发明针对的是大型的深度卷积网络，但是如果其它大型的神经网络也可以采用本发明所提供的方案，那么本发明的方案还可以应用于其它神经网络中。
下面结合附图对本发明所提供的深度卷积网络压缩方法、存储介质和终端的具体实施方式进行详细介绍。
如图1所示，在一个实施例中，一种深度卷积网络压缩方法，包括步骤：
S110、将原始深度卷积网络划分为特征提取部分和特征利用部分，其中，所述特征提取部分用于对输入的原始数据进行特征的转化和提取，所述特征利用部分用于根据转化和提取的特征输出最终结果。
原始深度卷积网络可以为现有技术中的任何网络，例如，原始深度卷积网络可以是YY相机中实景抠图用的深度卷积网络，也可以是YY伴侣中固定背景抠图所用的深度卷积网络，还可以是用户自行设计的其它深度卷积网络等。
如图2所示，为一实施例提供的原始深度卷积网络的结构示意图，将原始深度卷积网络分为特征提取部分F以及特征利用部分T，其中，特征提取部分F用于对输入的原始数据进行特征的转化和提取，原始数据可以是图像数据等，可选的，特征提取部分F对原始数据进行高层次特征的转化和提取，特征利用部分T为除特征提取部分F之外的剩余后面部分，用于根据转化和提取的特征输出最终结果。
在一个实施例中，所述特征提取部分包括卷积层或者所述特征提取部分包括卷积层和池化层。卷积层一般用于对输入数据进行特征转化和提取。池化层pooling一般对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度，一方面进行特征压缩，提取主要特征。可选的，池化层pooling可以为max pooling层。如果原始深度卷积网络不包含池化层仅包含卷积层，则特征提取部分仅包括原始深度卷积网络中所有的卷积层。如果原始深度卷积即包含卷积层又包含池化层，则特征提取部分包括原始深度卷积网络中所有的卷积层和池化层。
应当理解，如果原始深度卷积网络中还包括其它用于转化和提取输入数据特征的层，则特征提取部分也包括相应的层。
特征利用部分需要根据原始深度卷积网络所要执行的具体任务确定，例如，原始深度卷积网络执行的任务为语义分割任务，则可选的，所述特征利用部分选用上采样层(upsampling)，又例如，原始深度卷积网络执行的任务为分类任务，则可选的，所述特征利用部分选用全采样层。应当理解，如果原始深度卷积网络需要执行其它任务，则特征利用部分则包括执行相应任务的层。
另外，为了验证本发明实施例所能达到的技术效果，可以先计算出原始深度卷积网络的计算复杂度和参数总数量，作为压缩前的参考，后续与本发明所构建的循环卷积神经网络的计算复杂度和参数总数量进行比较。
S120、对所述特征提取部分进行压缩，获得卷积子网络，由若干个所述卷积子网络构建与所述特征提取部分效果相比拟的循环卷积神经网络。
对特征提取部分进行压缩为对特征提取部分的所有层进行压缩，压缩后得到小型的卷积子网络，该卷积子网络包括特征提取部分F压缩后的所有的层，即包括卷积层和pooling层(如果有的话)。
对特征提取部分进行压缩有多种实现方式，例如，在一个实施例中，所述对所述特征提取部分进行压缩，获得卷积子网络，包括：对所述特征提取部分进行通道数压缩，获得卷积子网络。对原始深度卷积网络的特征提取部分F进行通道数压缩后，通道数降为原来的1/n，1/n即为压缩后的通道数与压缩前的通道数的比值。
一般大型深度卷积网络随着特征图分辨率的下降(通过pooling)，通道数都会相应提高，例如，VGG网络的卷积通道数分别为64，64，128，128，256，256，256…，将这个网络特征提取部分的通道数压缩到原来的1/8，得到8，8，16，16，32，32，32…，就得到一个小型网络，也就是一个卷积子网络。
在一个实施例中，所述对所述特征提取部分进行通道数压缩，包括：统计所述特征提取部分的每层网络中各个通道的权值总和；分别将每层网络中权值总和小于预设阈值的通道移除。即针对每层神经网络，计算每个通道权值的总和大小，然后排序，接着移除权值总和小的通道，实现特征提取部分的通道数压缩。
应当理解，用户还可以采取其他方式对特征提取部分进行压缩，例如，对深度卷积网络模型的特征提取部分进行剪枝等，本发明并不对此做出限定。
获得卷积子网络后，就可以通过循环卷积子网络的方式构建与特征提取部分效果相比拟的循环卷积神经网络。效果相比拟指的是循环卷积子网络所能达到的效果与特征提取部分所能达到的效果相同或者近似。在一个实施例中，所述循环卷积神经网络包含的卷积子网络的个数根据压缩后的通道数与压缩前的通道数的比值确定。例如，压缩后的通道数与压缩前的通道数的比值为8分之一，则一般用4个卷积子网络就可以达到原来特征提取部分差不多的效果。
在一个实施例中，所述循环卷积神经网络的体积为所述特征提取部分的体积的N/n2，其中，N为卷积子网络的个数，1/n为压缩后的通道数与压缩前的通道数的比值。例如，通道数变为原来的1/8，用8个卷积子网络构建循环卷积神经网络，那么特征提取部分压缩到原来的1/8，实现了网络体积的压缩。另外，如果在各个卷积子网络中间插入设定卷积层(设定卷积层的插入会在后续部分详述)，那么特征提取部分的压缩比例(即循环卷积神经网络的体积与特征提取部分的体积的比值)要稍微小于N/n2。例如，通道数变为原来的1/8，用8个卷积子网络构建循环卷积神经网络，并在各个卷积子网络之间插入卷积层，那么特征提取部分的压缩比例稍微小于1/8。
在一个实施例中，所述循环卷积神经网络中第一个卷积子网络的输入通道数为原始数据的通道数，之后的卷积子网络的输入通道数为原始数据的通道数和上一个卷积子网络输出数据的通道数的级联。
循环卷积神经网络包括若干个卷积子网络，若干个卷积子网络依次排列，原始数据开始输入的卷积子网络为第一个卷积子网络，第一个卷积子网络后面第一个为第二个卷积子网络，后面第二个为第三个卷积子网络，依次类推。原始数据为待处理的任何数据。之后的卷积子网络指的是第一个卷积子网络后面的卷积子网络。原始数据的通道数和上一个卷积子网络输出数据的通道数级联(concatenation)指的是原始数据的通道数和上一个卷积子网络输出数据的通道数之和。
如图3所示，为一实施例提供的循环卷积神经网络的结构示意图。图中的Stage1、Stage2……StageN为一个个的卷积子网络，Fr表示压缩后的特征提取部分，Input表示输入的原始数据，T为划分的特征利用部分。从该图可以看出，第一个Stage输入为原始输入，第二个以及后面的Stage的输入都是上一个Stage的输出跟原始输入的级联。通过该循环卷积神经网络可以达到与特征提取部分相比拟的效果。
从图3可以看出，除了Stage1的第一层会少k个通道数，每个Stage的Fr都是一样的，其中，k是每个Stage输出通道数。因此，为了进一步保证每个Stage一模一样，实现所有权值共享，在一个实施例中，所述循环卷积神经网络还包括位于两个卷积子网络之间的设定卷积层，所述设定卷积层的输入通道数为原始数据的通道数和上一个卷积子网络输出数据的通道数的级联(k+Stage1的输入通道数)，输出通道数为第一个卷积子网络Stage1的输入通道数。
结合图3，在各个Stage之间还设置有设定卷积层，例如Stage1和Stage2之间设置有设定卷积层，该设定卷积层输入通道数为Input通道数和左侧第一个卷积子网络输出数据的通道数之和，输出通道数为Stage1的输入通道数(即Input通道数)，从而保证每个Stage一模一样，实现所有权值共享。
通过上述操作，实现了网络体积的压缩。每个stage的Fr都是一样的，从而达到权值共享，降低了计算量。另外，构建的循环卷积神经网络可以达到与特征提取部分相比拟的效果。
S130、将原始数据输入所述循环卷积神经网络，输出转化和提取的特征。
将原始数据输入图3所示的循环卷积神经网络(不包含特征利用部分T)中进行循环计算，得到最终的输出，即得到该循环卷积神经网络转化和提取的特征。
S140、将转化和提取的特征输入所述特征利用部分，输出所述原始数据对应的最终结果。
将循环卷积神经网络最终的输出输入到特征利用部分T得到最终的输出结果。例如，要对一张图片进行分类，那么将该图片输入本发明构建的循环卷积神经网络，循环卷积神经网络提取出该图片的特征并输入特征利用部分T，特征利用部分T经过计算就可以输出该图片对应的类别。
通过本发明实施例提供的方法，可以在保持效果的情况下，减小产品中应用到的深度学习模型(深度卷积网络)的体积，提高运算速度，让产品在各种客户端都可以流畅运行，极大提高用户体验。例如，将本发明实施例提供的方法应用到手机端YY相机的实景抠图用的深度卷积网络中，可以在保持效果的情况下，提高实景抠图运算速度，减少app(application，应用程序)的体积。又例如，将本发明实施例提供的方法应用到YY伴侣的固定背景抠图用的深度卷积网络中，同样可以在减少客户端资源消耗的情况下保持效果。
在一个实施例中，本发明还提供一种计算机可读的存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意一项所述的深度卷积网络压缩方法。其中，所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器，磁盘或光盘等。
在一个实施例中，本发明还提供一种终端，所述终端包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现前述任意一项所述的深度卷积网络压缩方法。
如图4所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以终端为手机为例：
图4示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图4，手机包括：射频(Radio Frequency，RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity，Wi-Fi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解，图4中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图4对手机的各个构成部件进行具体的介绍：
RF电路1510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1580处理；另外，将设计上行的数据发送给基站。通常，RF电路1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器1520可用于存储软件程序以及模块，处理器1580通过运行存储在存储器1520的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如深度卷积网络压缩功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如特征提取部分压缩后的数据等)等。此外，存储器1520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1530可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1580，并能接收处理器1580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531，输入单元1530还可以包括其他输入设备1532。具体地，其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1541。进一步的，触控面板1531可覆盖显示面板1541，当触控面板1531检测到在其上或附近的触摸操作后，传送给处理器1580以确定触摸事件的类型，随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图4中，触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1531与显示面板1541集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1560、扬声器1561，传声器1562可提供用户与手机之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号，传输到扬声器1561，由扬声器1561转换为声纹信号输出；另一方面，传声器1562将收集的声纹信号转换为电信号，由音频电路1560接收后转换为音频数据，再将音频数据输出处理器1580处理后，经RF电路1510以发送给比如另一手机，或者将音频数据输出至存储器1520以便进一步处理。
Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了Wi-Fi模块1570，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1580是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1520内的软件程序和/或模块，以及调用存储在存储器1520内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1580可包括一个或多个处理单元；优选的，处理器1580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1580中。
手机还包括给各个部件供电的电源1590(比如电池)，优选的，电源可以通过电源管理系统与处理器1580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
上述的深度卷积网络压缩方法、存储介质和终端，对大型的原始深度卷积网络的特征提取部分进行压缩，获得小型的卷积子网络，然后由若干个卷积子网络构建与特征提取部分效果相比拟的循环卷积神经网络，特征提取部分的体积被压缩，减小了网络体积；由于每个卷积子网络都是一样的，从而达到权值共享，降低了计算量，提高了运算速度，另外，循环卷积神经网络可以达到与特征提取部分相比拟的效果，即保持与深度卷积网络相比拟的表达能力和预测精度，使深度卷积网络在各种客户端都可以在保持效果的情况下流畅运行，极大提高了用户体验。
进一步的，在通过压缩通道数进行压缩时，特征提取部分的体积被压缩为N/n2，其中，N为卷积子网络的个数，1/n为压缩后的通道数和压缩前的通道数的比值，从而减小了网络体积。另外，如果在各个卷积子网络中间插入卷积层，那么特征提取部分的压缩比例要稍微小于N/n2。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种深度卷积网络压缩方法，其特征在于，包括步骤：
对图像的人物和背景进行分离时，将背景抠图所用的原始深度卷积网络划分为特征提取部分和特征利用部分，其中，所述特征提取部分用于对输入的原始数据的图像数据进行特征的转化和提取，所述特征利用部分用于根据转化和提取的图像特征输出最终结果；
对所述特征提取部分进行压缩，获得卷积子网络，由若干个所述卷积子网络构建与所述特征提取部分效果相比拟的循环卷积神经网络；
将原始数据的图像数据输入所述循环卷积神经网络进行循环计算，输出转化和提取的图像特征；
将转化和提取的图像特征输入所述特征利用部分，利用所述特征利用部分对该转化和提取的图像特征进行计算，输出所述原始数据的图像数据中的图像特征对应的最终结果；所述最终结果包括图像数据的图像特征对应的类别。
2.根据权利要求1所述的深度卷积网络压缩方法，其特征在于，所述循环卷积神经网络中第一个卷积子网络的输入通道数为原始数据的通道数，之后的卷积子网络的输入通道数为原始数据的通道数和上一个卷积子网络输出数据的通道数的级联。
3.根据权利要求2所述的深度卷积网络压缩方法，其特征在于，所述循环卷积神经网络还包括位于两个卷积子网络之间的设定卷积层，所述设定卷积层的输入通道数为原始数据的通道数和上一个卷积子网络输出数据的通道数的级联，输出通道数为第一个卷积子网络的输入通道数。
4.根据权利要求1所述的深度卷积网络压缩方法，其特征在于，所述对所述特征提取部分进行压缩，获得卷积子网络，包括：
对所述特征提取部分进行通道数压缩，获得卷积子网络。
5.根据权利要求4所述的深度卷积网络压缩方法，其特征在于，所述对所述特征提取部分进行通道数压缩，包括：
统计所述特征提取部分的每层网络中各个通道的权值总和；
分别将每层网络中权值总和小于预设阈值的通道移除。
6.根据权利要求4所述的深度卷积网络压缩方法，其特征在于，所述循环卷积神经网络包含的卷积子网络的个数根据压缩后的通道数与压缩前的通道数的比值确定；所述循环卷积神经网络的体积为所述特征提取部分的体积的N/n2，其中，N为卷积子网络的个数，1/n为压缩后的通道数与压缩前的通道数的比值。
7.根据权利要求1至6任意一项所述的深度卷积网络压缩方法，其特征在于，所述特征提取部分包括卷积层或者所述特征提取部分包括卷积层和池化层。
8.根据权利要求1至6任意一项所述的深度卷积网络压缩方法，其特征在于，所述特征利用部分包括上采样层或者全连接层。
9.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任意一项所述的深度卷积网络压缩方法。
10.一种终端，其特征在于，所述终端包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任意一项所述的深度卷积网络压缩方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711276752.0A CN107895192B (zh) | 2017-12-06 | 2017-12-06 | 深度卷积网络压缩方法、存储介质和终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711276752.0A CN107895192B (zh) | 2017-12-06 | 2017-12-06 | 深度卷积网络压缩方法、存储介质和终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107895192A CN107895192A (zh) | 2018-04-10 |
| CN107895192B true CN107895192B (zh) | 2021-10-08 |
Family
ID=61807396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711276752.0A Active CN107895192B (zh) | 2017-12-06 | 2017-12-06 | 深度卷积网络压缩方法、存储介质和终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107895192B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960340B (zh) * | 2018-07-23 | 2021-08-31 | 电子科技大学 | 卷积神经网络压缩方法及人脸检测方法 |
| CN109461177B (zh) * | 2018-09-29 | 2021-12-10 | 浙江科技学院 | 一种基于神经网络的单目图像深度预测方法 |
| CN109858495B (zh) * | 2019-01-16 | 2023-09-22 | 五邑大学 | 一种基于改进卷积块的特征提取方法、装置及其存储介质 |
| CN110211130A (zh) * | 2019-05-20 | 2019-09-06 | 上海联影智能医疗科技有限公司 | 图像分割方法、计算机设备和存储介质 |
| CN110210622A (zh) * | 2019-06-10 | 2019-09-06 | 北京达佳互联信息技术有限公司 | 基于剪枝的模型构建方法、装置、电子设备及存储介质 |
| CN110796027B (zh) * | 2019-10-10 | 2023-10-17 | 天津大学 | 一种基于紧密卷积的神经网络模型的声音场景识别方法 |
| CN112633140B (zh) * | 2020-12-21 | 2023-09-01 | 华南农业大学 | 多光谱遥感图像城中村多类别建筑物语义分割方法及系统 |
| CN112560748A (zh) * | 2020-12-23 | 2021-03-26 | 安徽高哲信息技术有限公司 | 一种农作物形状分析子系统和方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105306468A (zh) * | 2015-10-30 | 2016-02-03 | 广州华多网络科技有限公司 | 一种合成视频数据实时共享的方法及其主播客户端 |
| CN106250899A (zh) * | 2016-07-29 | 2016-12-21 | 华东交通大学 | 一种基于分布式压缩感知wsn的柑桔病虫害监测预警方法 |
| CN106599836A (zh) * | 2016-12-13 | 2017-04-26 | 北京智慧眼科技股份有限公司 | 多人脸跟踪方法及跟踪系统 |
| CN106685429A (zh) * | 2016-12-29 | 2017-05-17 | 广州华多网络科技有限公司 | 整数压缩方法及装置 |
| CN106778854A (zh) * | 2016-12-07 | 2017-05-31 | 西安电子科技大学 | 基于轨迹和卷积神经网络特征提取的行为识别方法 |
| CN106980830A (zh) * | 2017-03-17 | 2017-07-25 | 中国人民解放军国防科学技术大学 | 一种基于深度卷积网络自亲缘关系识别方法与装置 |
| CN107122375A (zh) * | 2016-12-12 | 2017-09-01 | 南京理工大学 | 基于图像特征的图像主体的识别方法 |
| CN107220706A (zh) * | 2016-12-29 | 2017-09-29 | 恩泊泰（天津）科技有限公司 | 基于参数压缩和结构压缩的车载深度神经网络优化方法 |
| CN107317583A (zh) * | 2017-05-18 | 2017-11-03 | 湖北工业大学 | 基于循环神经网络的可变步长分布式压缩感知重建方法 |
| CN107341518A (zh) * | 2017-07-07 | 2017-11-10 | 东华理工大学 | 一种基于卷积神经网络的图像分类方法 |
| CN107392868A (zh) * | 2017-07-21 | 2017-11-24 | 深圳大学 | 基于全卷积神经网络的压缩双目图像质量增强方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106471526B (zh) * | 2014-08-29 | 2019-03-08 | 谷歌有限责任公司 | 用于处理图像的方法和系统 |
-
2017
- 2017-12-06 CN CN201711276752.0A patent/CN107895192B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105306468A (zh) * | 2015-10-30 | 2016-02-03 | 广州华多网络科技有限公司 | 一种合成视频数据实时共享的方法及其主播客户端 |
| CN106250899A (zh) * | 2016-07-29 | 2016-12-21 | 华东交通大学 | 一种基于分布式压缩感知wsn的柑桔病虫害监测预警方法 |
| CN106778854A (zh) * | 2016-12-07 | 2017-05-31 | 西安电子科技大学 | 基于轨迹和卷积神经网络特征提取的行为识别方法 |
| CN107122375A (zh) * | 2016-12-12 | 2017-09-01 | 南京理工大学 | 基于图像特征的图像主体的识别方法 |
| CN106599836A (zh) * | 2016-12-13 | 2017-04-26 | 北京智慧眼科技股份有限公司 | 多人脸跟踪方法及跟踪系统 |
| CN106685429A (zh) * | 2016-12-29 | 2017-05-17 | 广州华多网络科技有限公司 | 整数压缩方法及装置 |
| CN107220706A (zh) * | 2016-12-29 | 2017-09-29 | 恩泊泰（天津）科技有限公司 | 基于参数压缩和结构压缩的车载深度神经网络优化方法 |
| CN106980830A (zh) * | 2017-03-17 | 2017-07-25 | 中国人民解放军国防科学技术大学 | 一种基于深度卷积网络自亲缘关系识别方法与装置 |
| CN107317583A (zh) * | 2017-05-18 | 2017-11-03 | 湖北工业大学 | 基于循环神经网络的可变步长分布式压缩感知重建方法 |
| CN107341518A (zh) * | 2017-07-07 | 2017-11-10 | 东华理工大学 | 一种基于卷积神经网络的图像分类方法 |
| CN107392868A (zh) * | 2017-07-21 | 2017-11-24 | 深圳大学 | 基于全卷积神经网络的压缩双目图像质量增强方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于目标特征提取的改进型压缩跟踪算法;庄哲民 等;《测试技术学报》;20170430;第93-99页 * |
| 目标信号特征提取中的特征压缩及其算法研究;胡伟文 等;《武汉理工大学学报》;20050831;第617-619、644页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107895192A (zh) | 2018-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107895192B (zh) | 深度卷积网络压缩方法、存储介质和终端 | |
| CN107944555B (zh) | 神经网络压缩和加速的方法、存储设备和终端 | |
| CN108322685B (zh) | 视频插帧方法、存储介质以及终端 | |
| CN106919918B (zh) | 一种人脸跟踪方法和装置 | |
| CN110544488B (zh) | 一种多人语音的分离方法和装置 | |
| CN108235058B (zh) | 视频质量处理方法、存储介质和终端 | |
| JP6311194B2 (ja) | 連絡先グルーピング方法および装置 | |
| CN108391154B (zh) | 弹幕显示控制方法、存储介质和终端 | |
| CN111209423B (zh) | 一种基于电子相册的图像管理方法、装置以及存储介质 | |
| CN110798718B (zh) | 一种视频推荐方法以及装置 | |
| CN107729889B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN109729384B (zh) | 视频转码的选择方法和装置 | |
| CN107729540B (zh) | 照片分类的方法、设备及计算机可存储介质 | |
| CN111046227A (zh) | 一种视频查重方法及装置 | |
| CN112184548A (zh) | 图像超分辨率方法、装置、设备及存储介质 | |
| CN110516113B (zh) | 一种视频分类的方法、视频分类模型训练的方法及装置 | |
| WO2017088434A1 (zh) | 人脸模型矩阵训练方法、装置及存储介质 | |
| CN112203115A (zh) | 一种视频识别方法和相关装置 | |
| CN111507094B (zh) | 基于深度学习的文本处理模型训练方法、装置及设备 | |
| CN110347858B (zh) | 一种图片的生成方法和相关装置 | |
| CN112270238A (zh) | 一种视频内容识别方法和相关装置 | |
| CN116486833B (zh) | 音频增益调整方法、装置、存储介质及电子设备 | |
| CN110490953B (zh) | 基于文本的图像生成方法、终端设备及介质 | |
| CN112748899A (zh) | 一种数据处理方法和相关设备 | |
| CN109508300B (zh) | 一种磁盘碎片整理方法、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201224 Address after: 29th floor, building B-1, Wanda Plaza, Wanbo business district, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Applicant after: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. Address before: 511442 29 floor, block B-1, Wanda Plaza, Huambo business district, Panyu District, Guangzhou, Guangdong. Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. Applicant before: GUANGZHOU HUYA INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180410 Assignee: GUANGZHOU HUYA INFORMATION TECHNOLOGY Co.,Ltd. Assignor: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. Contract record no.: X2020980010018 Denomination of invention: Deep convolution network compression method, storage medium and terminal License type: Common License Record date: 20201229 |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20210112 Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd. Address before: 29th floor, building B-1, Wanda Plaza, Wanbo business district, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180410 Assignee: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. Assignor: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd. Contract record no.: X2021440000054 Denomination of invention: Deep convolution network compression method, storage medium and terminal License type: Common License Record date: 20210208 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |