CN110443354A - 一种基于多组张列量分解的深度神经网络压缩方法、系统、装置及存储介质 - Google Patents

一种基于多组张列量分解的深度神经网络压缩方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN110443354A
CN110443354A CN201910686157.7A CN201910686157A CN110443354A CN 110443354 A CN110443354 A CN 110443354A CN 201910686157 A CN201910686157 A CN 201910686157A CN 110443354 A CN110443354 A CN 110443354A
Authority
CN
China
Prior art keywords
neural network
decomposed
network structure
tensor
weight matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910686157.7A
Other languages
English (en)
Inventor
孙维泽
杨欣
黄均浩
黄磊
张沛昌
包为民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910686157.7A priority Critical patent/CN110443354A/zh
Publication of CN110443354A publication Critical patent/CN110443354A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了一种基于多组张列量分解的深度神经网络压缩方法、系统、装置及存储介质，该方法包括：搭建一个神经网络结构；神经网络结构的第一层卷积层和最后一层全连接层不使用TT分解，通过TT格式表示剩余网络结构的权重矩阵；在全连接层上直接在核心张量上运算，卷积层需要最后回复为原来权重矩阵的大小进行卷积；在卷积层利用Multi‑TT分解；在TT分解的基础上加入稀疏值，形成新的压缩网络结构。本发明有益效果：本发明采用张量列模型将原权重矩阵重构为几个高维张量压缩模型，然后在分解的基础上建立新的网络结构，减少了参数，实验表明，该压缩模型的鲁棒性随深度模型中模式数目的增加而增加，并且该压缩方法可以达到不错的参数比。

Description

一种基于多组张列量分解的深度神经网络压缩方法、系统、装 置及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于多组张列量分解的深度神经网络压缩方法、系统、装置及存储介质。
背景技术
深度神经网络虽然在实际应用中取得了成功并广泛应用，但其结构复杂，参数多，造成了资源的浪费和训练时间的增长。当将深层神经网络应用于智能手机、可穿戴设备和嵌入式设备等特定设备时，这些设备在模型尺寸、功耗等方面都存在一定的局限性。这些设备的巨大局限性使得它们很难应用上深层神经网络，由此促使研究人员在深层模型中发现参数和特征映射的固有冗余。通过消除冗余，可以在不影响大多数深层模型的容量和性能的情况下节省资源。这也是研究人员致力于压缩的目的。
为了克服这个问题，研究人员提出了如下方法。通过设计精细的网络结构来压缩参数，精细结构包括SqueezeNet和MobileNets类似于Inception，以使得网络结构更加精细来实现参数减少目的。量化通过减少表示每个权重所需的比特数来降低内存，但是只对小网络有效。知识蒸馏是通过培养更紧凑的神经网络，从大型模型中提取重点知识并需要重新训练。基于稀疏约束的方法是使用修剪的思想，通过选择网络中的重要连接，并删除其他次要连接以减少参数冗余。而目前比较流行的压缩方法是基于低秩近似来表示权重矩阵，原矩阵采用低秩分解，可以减少参数的存储量。
在我们本发明里用到的压缩方法是低秩分解。网络结构的分解和重构通常基于张量低秩近似理论。它可以减少模型的训练时间和复杂度。但是它也有许多缺点，它涉及到计算昂贵的分解操作，且不能执行非常重要的全局参数压缩，需要再训练才能实现收敛。张量分解的方法有多种。如有研究者利用cp分解将一层网络分解成一个五层简单的网络，从而降低了参数的数量和计算复杂度。还有二维张量的奇异值(SVD)分解，而三维张量和三维以上的张量可以转化为二维张量，这是利用卷积参数的冗余得到一个近似的表达过程，这大大减少了计算量和存储量。而且用SVD分解可以求解参数矩阵的非线性问题。还有科研人员利用Tucker分解对网络模型的结构进行调整，从而达到压缩参数的目的。
综上，深层神经网络通常具有计算复杂度高、存储容量大等特点，因此在移动设备中的应用有一定的困难。
发明内容
本发明提供了一种基于多组张列量分解的深度神经网络压缩方法，包括如下步骤：
步骤1：搭建一个基本的神经网络结构；
步骤2：将TT分解应用到神经网络结构中，神经网络结构的第一层卷积层和最后一层全连接层不使用TT分解，通过TT格式表示剩余网络结构的权重矩阵，TT表示张列量；
步骤3：训练神经网络结构，在全连接层上直接在核心张量上运算，卷积层则需要最后回复为原来权重矩阵的大小在进行卷积；
步骤4：在卷积层利用多组张量列Multi-TT分解，在神经网络结构上进行操作；
步骤5：在TT分解的基础上加入稀疏值，然后进行训练，形成新的压缩网络结构。
作为本发明的进一步改进，在所述步骤1中，搭建一个神经网络来压缩CIFAR-10数据的神经网络结构，该数据集有50000张训练图片和10000张测试图像，基本的神经网络结构具有六个卷积层和三个完全连接层。
作为本发明的进一步改进，在所述步骤3中，对权重矩阵W进行分解，在全连接层需要进行的操作是把W分解为4个核心张量相乘，并通过每一个核心张量和输入图像线性运算来得到最后的输出；在卷积层，把权重矩阵进行分解，分解为4个核心张量相乘，在最后把核心张量乘回原来权重的矩阵的大小，然后再进行卷积。
作为本发明的进一步改进，在所述步骤5中，稀疏值为前百分之0.6。
本发明还提供了一种基于多组张列量分解的深度神经网络压缩系统，包括：
第一处理模块：用于搭建一个基本的神经网络结构；
第二处理模块：用于将TT分解应用到神经网络结构中，神经网络结构的第一层卷积层和最后一层全连接层不使用TT分解，通过TT格式表示剩余网络结构的权重矩阵，TT表示张列量；
第三处理模块：用于训练神经网络结构，在全连接层上直接在核心张量上运算，卷积层则需要最后回复为原来权重矩阵的大小在进行卷积；
第四处理模块：用于在卷积层利用多组张量列Multi-TT分解，在神经网络结构上进行操作；
第五处理模块：用于在TT分解的基础上加入稀疏值，然后进行训练，形成新的压缩网络结构。
作为本发明的进一步改进，在所述第一处理模块中，搭建一个神经网络来压缩CIFAR-10数据的神经网络结构，该数据集有50000张训练图片和10000张测试图像，基本的神经网络结构具有六个卷积层和三个完全连接层。
作为本发明的进一步改进，在所述第三处理模块中，对权重矩阵W进行分解，在全连接层需要进行的操作是把W分解为4个核心张量相乘，并通过每一个核心张量和输入图像线性运算来得到最后的输出；在卷积层，把权重矩阵进行分解，分解为4个核心张量相乘，在最后把核心张量乘回原来权重的矩阵的大小，然后再进行卷积。
作为本发明的进一步改进，在所述第五处理模块中，稀疏值为前百分之0.6。
本发明还提供了一种基于多组张列量分解的深度神经网络压缩装置，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的深度神经网络压缩方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-4中任一项所述的深度神经网络压缩方法的步骤。
本发明的有益效果是：本发明采用张量列模型将原权重矩阵重构为几个高维张量压缩模型，然后在分解的基础上建立新的网络结构，大大减少了参数，实验表明，该压缩模型的鲁棒性随深度模型中模式数目的增加而增加，并且该压缩方法可以达到不错的参数比。
附图说明
图1是本发明所应用的张量分解的方法的一个三维的TT分解的示意图；
图2是图1中“×”符号的定义，用简单的一个例子说明的示意图；
图3是本发明提出的Multi-TT分解方法的一个详细说明图；
图4是整个网络的训练的简要说明图；
图5是本发明搭建的神经网络结构，该结构六个卷积层和三个全连接层组成；
图6是本发明的方法流程图。
具体实施方式
本发明公开了一种基于多组张列量分解的深度神经网络压缩方法，具体是一套基于低秩和稀疏的压缩模型。低秩运算我们采用TT分解，稀疏结构我们保留的绝对值大的前百分之0.6。以这种方式加入稀疏对压缩率影响很小。此外，还构造了一个Multi-TT结构，可以很好地了解现有模型的特点，提高模型的精度。此外，在使用这种方法时，稀疏结构的使用并不重要，而且Multi-TT结构可以很好地探索模型的结构。
1、符号和定义
首先定义本发明的符号和准备工作。标量、向量、矩阵和张量分别用斜体、粗体小写、粗体大写和粗体书法符号表示。这意味着这个张量的维度是N1×N2…×NR。也会用表示R维张量
我们折叠R维的张量并且存在如下定义而又里面r＝1，2，…，R，l＝1，2，…，L，通过上述的定义和铺垫，我们的得到如下表达式来表达二者的关系的式子或者整个这个过程就是krl＝1，2，...，Krl，也就是把R维的张量变为RL维的
我们把RL维张量中的L维进行转变，把RL维的张量转换为LR维张量具体细节表示为变为也可以用下面的式子表示，我们后期引用的具体表示方法为整个过程是在转换张量的维度，在后面章节将会引用。
从LR维的折叠回L维表示为里面变量的关系为而值得注意的是对于任意我们有且
而对于以上定义，最后我们是把R维张量转变为L维的张量我们定义K为pattern，对于任意pattern我们有 之于以上我们定义和的关系为和
2、TT分解模型
2.1、TT分解
张量列(TT)分解是将高维的张量变为许多三维核心张量相乘(除去第一层和最后一层是二维的)，如，有一个L-D的张量TT分解的定义。表达式如下：
在rl中，l＝1，2，...L，rL＝1，r0＝1，它是张量的秩。而这些三维张量l＝1，2，...L，是的核心张量。当rl＜＜Nl，且L远大于原来张量的大小，核心张量里的参数数量将远远小于原来的张量，这意味着使用TT分解压缩网络结构可以大大减少元素的存储，从而达到减少训练时间和减少存储量的目的。具体的TT分解，在图1中有描述，是一个三维张量的TT分解的样例展示。在图1中我们给出了一个×号，对于这个符号表示的是两个张量的TT乘法。比如，K维张量和L维张量相乘就变为(K+L-2)维的张量在图2中详细描述了一个四维张量里面×的具体操作和意义。
2.2、TT分解在全连接层
下面分析张量分解在全连接层的应用。在全连接层M1，M2是权重输入和输出。我们定义M1＝k11×k12×……×k1L，M2＝k21×k22×……×k2L，就可以把权重矩阵W表示为k1 11×k12×……×k1L×k21×k22×……×k2L，对krl，l＝1，2，...L，r＝1，...，R，根据定义每个Single-TT分解里面的krl就是一个pattern。结合l相同的维数，我们能够得到张量是k11k21×k12k22×……×k1Lk2L的大小。对该张量进行张量分解，我们能够得到 所有的相乘最后等于如前面的介绍，我们定义W和的关系为
全连接层里权重矩阵和输入图像的计算关系如下式所示：
Y＝WX (2)
在用TT分解后，我们把权重矩阵W表示为TT格式，核心张量为方程如下(3)。
从公式可以看出，当计算完全连接层时，输入数据直接乘以核心张量，并直接在核心张量上操作。
2.3、TT分解在卷积层
在卷积层的情况下，我们定义fconv来表示卷积关系，则它的表达式类似于方程(4)。
Y＝fconv(W，X) (4)
W是权重矩阵，它的大小为X是输入图像。k11＝1，…，I1，k21＝1，…，I2，I1和I2是滤波器大小，又I1，I2的尺寸非常小不需要分解它。我们定义它为在分解时它的大小为[k11k21，r1]，其余的和全连接层非常相似。所以我们有C＝k12×k13×……×k1L，O＝k22×k23×……×k2L，同样我们得到权重矩阵W的大小为W∈(k12×k13×……×k1L×k22×k23×……×k2L)。所以我们得到l＝0，1，2，…，L，r0＝1，rL＝1。当在卷积层TT分解之后与输入数据的表达式是：
值得关注的是在卷积层中最后是恢复成原来权重矩阵的大小再进行卷积计算，这和全连接层是不一样的。
3、多组张量分解
本发明提出的方法是在卷积层中使用Multi-TT，通过累加Single-TT来达到这个目的。如(6)式子所示，也如图3。
在上面的部分中，我们得到了pattern的概念，我们用p来表示pattern的数量。对于每一个然后我们可以有如下定义，k1 11＝1，…，I1，k1 21＝1，…，I2，结合二者为G1，大小为[k1 11k1 21，r1]，C＝k1 12×k1 13×……×k1 1L，而O＝k1 22×k1 23×……×k1 2L。kp rl，l＝1，2，...L，r＝1，2，...，R，p是pattern的数量，kp rl是需要我们设置的pattern的值。至于具体值的设置在实验章节详细描述。基于以上，我们定义Wp和的关系具体的细节可以见图3。而当多组TT分解权重时，如下式所示，
当在卷积层中操作Multi-TT时，表达式如下(8)。
稀疏约束是一种常用的深度神经网络压缩方法。有研究者证明该冗余权重具有低秩和稀疏的特点。所以通过结合二者并搭建模型，该模型能提供较好的压缩效果，并保证了模型的准确率。Multi-TT分解与稀疏相结合的表达式如下(9).当p＝1时，它是Single-TT分解的情况。
公式描述了在Single-TT的累加之后添加稀疏值。因此，无论是Single-TT还是Multi-TT，所添加的稀疏值的量都是相同的。
将卷积层中的多TT分解和稀疏值相结合后，计算的表达式如(10)所示。
在图4描述了Multi-TT的训练过程。
网络结构权重矩阵在训练之前我们用TT格式表示，然后训练，更新的参数是分解之后的核心张量。
4.综上，如图6所示，本发明公开了一种基于多组张列量分解的深度神经网络压缩方法，包括如下步骤：
步骤1：搭建一个基本的神经网络结构；
步骤2：将TT分解应用到神经网络结构中，神经网络结构的第一层卷积层和最后一层全连接层不使用TT分解，通过TT格式表示剩余网络结构的权重矩阵，分解之后的权重矩阵参数大幅度的减少，TT表示张列量；
步骤3：训练神经网络结构，在全连接层上直接在核心张量上运算，卷积层则需要最后回复为原来权重矩阵的大小在进行卷积；
步骤4：在卷积层利用多组张量列Multi-TT分解，在神经网络结构上进行操作；
步骤5：在TT分解的基础上加入稀疏值，然后进行训练，形成新的压缩网络结构。
在所述步骤1中，搭建一个神经网络来压缩CIFAR-10数据的神经网络结构，该数据集有50000张训练图片和10000张测试图像。在所有实验中，我们采用随机梯度下降(SGD)方法进行更新，更新系数为0.9，学习率为0.1，滤波器大小为3×3。基本的神经网络结构具有六个卷积层和三个完全连接层，它是一个简单的卷积神经网络。我们的实验结果都是基于原网络结构的结果，比较了参数比和精度来检测模型的可行性。
TT分解是张量分解的一种，对比其余张量分解，它具有的优点是可以直接分解三维及三维以上的张量，并且压缩率高。
在所述步骤3中，对权重矩阵W进行分解，在全连接层需要进行的操作是把W分解为4个核心张量相乘，并通过每一个核心张量和输入图像线性运算来得到最后的输出；在卷积层，把权重矩阵进行分解，分解为4个核心张量相乘，在最后把核心张量乘回原来权重的矩阵的大小，然后再进行卷积。
在以上的基础上再加入稀疏值，稀疏值的加入我们采用的是加入一定比例的绝对值大的稀疏量。在所述步骤5中，稀疏值为前百分之0.6。
本发明还公开了一种基于多组张列量分解的深度神经网络压缩系统，包括：
第一处理模块：用于搭建一个基本的神经网络结构；
第二处理模块：用于将TT分解应用到神经网络结构中，神经网络结构的第一层卷积层和最后一层全连接层不使用TT分解，通过TT格式表示剩余网络结构的权重矩阵，TT表示张列量；
第三处理模块：用于训练神经网络结构，在全连接层上直接在核心张量上运算，卷积层则需要最后回复为原来权重矩阵的大小在进行卷积；
第四处理模块：用于在卷积层利用多组张量列Multi-TT分解，在神经网络结构上进行操作；
第五处理模块：用于在TT分解的基础上加入稀疏值，然后进行训练，形成新的压缩网络结构。
在所述第一处理模块中，搭建一个神经网络来压缩CIFAR-10数据的神经网络结构，该数据集有50000张训练图片和10000张测试图像，基本的神经网络结构具有六个卷积层和三个完全连接层。
在所述第三处理模块中，对权重矩阵W进行分解，在全连接层需要进行的操作是把W分解为4个核心张量相乘，并通过每一个核心张量和输入图像线性运算来得到最后的输出；在卷积层，把权重矩阵进行分解，分解为4个核心张量相乘，在最后把核心张量乘回原来权重的矩阵的大小，然后再进行卷积。
在所述第五处理模块中，稀疏值为前百分之0.6。
本发明还公开了一种基于多组张列量分解的深度神经网络压缩装置，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的深度神经网络压缩方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的深度神经网络压缩方法的步骤。
5、实验：
在这一部分中，搭建了一个神经网络来压缩CIFAR-10数据的网络结构，并对实验结果进行了评价。该数据集有50000张训练图片和10000张测试图像。在所有实验中，我们采用随机梯度下降(SGD)方法进行更新，更新系数为0.9，学习率为0.1，滤波器大小为3×3。基本实验是建立六个卷积层和三个完全连接的层，如图5所示。
基础实验是不压缩的，它是一个简单的卷积神经网络，具体的网络结构如图5所示。我们的实验结果都是基于原网络结构的结果，比较了参数比和精度来检测模型的可行性。在CIFAR-10数据集中运行时，基线模型的精度为91.35，将参数比率设置为1，以便与下一个实验进行比较。参数比率，我们定义压缩后的参数数量除以原始网络的参数数量。
压缩模型
在Single-TT分解中，先去除第一卷积层和最后完全连通层，再对剩余层进行TT分解，然后根据实际情况对输入和输出的大小进行分解，并通过改变分解的大小，比较实验结果。我们定义三种pattern的kp rl参数，如表1所示。
Pattern.1 Pattern.2 Pattern.3
64(4，4，4) 64(2，4，8) 64(4，2，8)
128(4，8，4) 128(8，4，4) 128(4，4，8)
表1 kp rl参数设置
这部分的实验比较是卷积层的权重矩阵分解，全连通层保持Single-TT分解。通过多次实验，将参数比设为0.026左右，然后对模型进行微调，选择合适的秩值。我们训练了三套不同的TT分解。在增加稀疏性的情况下，本文增加的稀疏方法是直接设置稀疏量，并将这两种结构结合起来对网络结构进行训练。如表2所示，对实验结果进行了比较。根据表1，在使用pattern1的值时，我们将其命名为TT-P1，加入稀疏之后命名为TT-P1-Sparse。以此类推，得到其余的命名。
Accuracy Parameter Ratio
TT-P1 89.90 0.0265
TT-P1-Sparse 90.10 0.0267
TT-P2 89.65 0.0258
TT-P2-Sparse 89.81 0.0260
TT-P3 88.79 0.0217
TT-P3-Sparse 89.16 0.0219
表2 Single-TT分解实验结果
从实验结果可以看出，当采用Single-TT分解时，整体结构不鲁棒，pattern不同，效果也不同，增加了稀疏性后，整体准确度也随之增加，我们能够得到网络结构更好地特征。
第三部分对卷积层实验中的Multi-TT分解进行了描述，它是基于两种或两种以上不同的Single-TT分解。根据前一节中设定的参数比，将秩值向下调整。当采用Multi-TT分解时，秩的值可以稍微降低。在二组TT的情况下，每次结合两种不同的Single-TT情况，最后的实验有三种形式，我们被命名为TT-P12，TT-P13，TT-P23。三组TT分解是三个Single-TT的组合，命名为TT-P123。实验结果见表3。
Accuracy Parameter Ratio
TT-P12 90.16 0.0287
TT-P12-Sparse 90.08 00289
TT-P23 90.07 0.0257
TT-P23-Sparse 90.01 0.0259
TT-P13 90.10 0.0261
TT-P13-Sparse 90.05 0.0263
TT-P123 90.49 0.0284
TT-P123-Sparse 90.40 0.0286
表3 Multi-TT分解在卷积层实验结果
由实验结果可知，使用这种方法，对比原来的网络结构准确率提升了，压缩率变化不大。在下一个实验中，在全连接和卷积层都使用了Multi-TT。实验结果示于表4中。
Accuracy Parameter Ratio
TT-P12 90.21 0.020
TT-P23 90.03 0.0171
TT-P13 90.18 0.0176
TT-P123 90.46 0.0231
表4 Multi-TT分解实验结果
当完全连通层和卷积层都采用Multi-TT分解时，结果表明准确率有所提高，且压缩效果变好。卷积层采用Multi-TT分解，全连接层采用的也是Multi-TT分解，采用该方法是压缩神经网络是有效的。我们的后续工作将寻找更多的压缩方法在完全连接的层。
基于以上实验的结果，Multi-TT分解可以提高网络的精度，且参数比比以前好。实验结果表明，在Single-TT分解的情况下，增加稀疏条件可以一定程度的提高准备率。然而，在Multi-TT的情况下，不必增加稀疏这说明Multi-TT是可以发现模型特点的良好方法。从实验的比较可以看出，当使用Single-TT时，不同的分解结构将是不稳定的。而Multi-TT分解网络结构更加稳定，在模型选择中没有困难。这是我们的方法的一大优点。
由于权重矩阵具有低秩和稀疏特性，通过降低深度模型中的参数冗余，使其能够适用于移动设备。本发明将稀疏约束和张量列分解用于卷积层和全连接层的压缩。并提出了多组张量列分解的思想。具体而言，本发明采用张量列模型将原权重矩阵重构为几个高维张量压缩模型。然后在分解的基础上建立新的网络结构，大大减少了参数。实验表明，该压缩模型的鲁棒性随深度模型中模式数目的增加而增加，并且该压缩方法可以达到不错的参数比。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于多组张列量分解的深度神经网络压缩方法，其特征在于，包括如下步骤：
步骤1：搭建一个基本的神经网络结构；
步骤2：将TT分解应用到神经网络结构中，神经网络结构的第一层卷积层和最后一层全连接层不使用TT分解，通过TT格式表示剩余网络结构的权重矩阵，TT表示张列量；
步骤3：训练神经网络结构，在全连接层上直接在核心张量上运算，卷积层则需要最后回复为原来权重矩阵的大小在进行卷积；
步骤4：在卷积层利用多组张量列Multi-TT分解，在神经网络结构上进行操作；
步骤5：在TT分解的基础上加入稀疏值，然后进行训练，形成新的压缩网络结构。
2.根据权利要求1所述的深度神经网络压缩方法，其特征在于，在所述步骤1中，搭建一个神经网络来压缩CIFAR-10数据的神经网络结构，该数据集有50000张训练图片和10000张测试图像，基本的神经网络结构具有六个卷积层和三个完全连接层。
3.根据权利要求1所述的深度神经网络压缩方法，其特征在于，在所述步骤3中，对权重矩阵W进行分解，在全连接层需要进行的操作是把W分解为4个核心张量相乘，并通过每一个核心张量和输入图像线性运算来得到最后的输出；在卷积层，把权重矩阵进行分解，分解为4个核心张量相乘，在最后把核心张量乘回原来权重的矩阵的大小，然后再进行卷积。
4.根据权利要求1所述的深度神经网络压缩方法，其特征在于，在所述步骤5中，稀疏值为前百分之0.6。
5.一种基于多组张列量分解的深度神经网络压缩系统，其特征在于，包括：
第一处理模块：用于搭建一个基本的神经网络结构；
第二处理模块：用于将TT分解应用到神经网络结构中，神经网络结构的第一层卷积层和最后一层全连接层不使用TT分解，通过TT格式表示剩余网络结构的权重矩阵，TT表示张列量；
第三处理模块：用于训练神经网络结构，在全连接层上直接在核心张量上运算，卷积层则需要最后回复为原来权重矩阵的大小在进行卷积；
第四处理模块：用于在卷积层利用多组张量列Multi-TT分解，在神经网络结构上进行操作；
第五处理模块：用于在TT分解的基础上加入稀疏值，然后进行训练，形成新的压缩网络结构。
6.根据权利要求5所述的深度神经网络压缩系统，其特征在于，在所述第一处理模块中，搭建一个神经网络来压缩CIFAR-10数据的神经网络结构，该数据集有50000张训练图片和10000张测试图像，基本的神经网络结构具有六个卷积层和三个完全连接层。
7.根据权利要求5所述的深度神经网络压缩系统，其特征在于，在所述第三处理模块中，对权重矩阵W进行分解，在全连接层需要进行的操作是把W分解为4个核心张量相乘，并通过每一个核心张量和输入图像线性运算来得到最后的输出；在卷积层，把权重矩阵进行分解，分解为4个核心张量相乘，在最后把核心张量乘回原来权重的矩阵的大小，然后再进行卷积。
8.根据权利要求5所述的深度神经网络压缩系统，其特征在于，在所述第五处理模块中，稀疏值为前百分之0.6。
9.一种基于多组张列量分解的深度神经网络压缩装置，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1-4中任一项所述的深度神经网络压缩方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-4中任一项所述的深度神经网络压缩方法的步骤。
CN201910686157.7A 2019-07-26 2019-07-26 一种基于多组张列量分解的深度神经网络压缩方法、系统、装置及存储介质 Pending CN110443354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910686157.7A CN110443354A (zh) 2019-07-26 2019-07-26 一种基于多组张列量分解的深度神经网络压缩方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910686157.7A CN110443354A (zh) 2019-07-26 2019-07-26 一种基于多组张列量分解的深度神经网络压缩方法、系统、装置及存储介质

Publications (1)

Publication Number Publication Date
CN110443354A true CN110443354A (zh) 2019-11-12

Family

ID=68431866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910686157.7A Pending CN110443354A (zh) 2019-07-26 2019-07-26 一种基于多组张列量分解的深度神经网络压缩方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110443354A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161366A (zh) * 2019-12-11 2020-05-15 中国科学院深圳先进技术研究院 一种图像重建方法、装置、终端设备及存储介质
CN111461293A (zh) * 2020-03-17 2020-07-28 湖南大学 基于gpu的深度神经网络模型训练方法、装置和计算机设备
CN111985634A (zh) * 2020-08-21 2020-11-24 北京灵汐科技有限公司 神经网络的运算方法、装置、计算机设备及存储介质
CN112116062A (zh) * 2020-08-06 2020-12-22 西安交通大学 一种基于张量串分解的多层感知机非线性压缩方法
CN113537485A (zh) * 2020-04-15 2021-10-22 北京金山数字娱乐科技有限公司 一种神经网络模型的压缩方法及装置
CN113723490A (zh) * 2021-08-24 2021-11-30 哈尔滨工业大学（深圳） 一种基于张量卷积网络的图像分类方法、系统及存储介质
CN114691627A (zh) * 2020-12-30 2022-07-01 财团法人工业技术研究院 深度学习加速芯片的数据压缩方法、数据压缩系统及运算方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161366A (zh) * 2019-12-11 2020-05-15 中国科学院深圳先进技术研究院 一种图像重建方法、装置、终端设备及存储介质
CN111461293A (zh) * 2020-03-17 2020-07-28 湖南大学 基于gpu的深度神经网络模型训练方法、装置和计算机设备
CN111461293B (zh) * 2020-03-17 2023-06-06 湖南大学 基于gpu的深度神经网络模型训练方法、装置和计算机设备
CN113537485A (zh) * 2020-04-15 2021-10-22 北京金山数字娱乐科技有限公司 一种神经网络模型的压缩方法及装置
CN112116062A (zh) * 2020-08-06 2020-12-22 西安交通大学 一种基于张量串分解的多层感知机非线性压缩方法
CN112116062B (zh) * 2020-08-06 2024-04-05 西安交通大学 一种基于张量串分解的多层感知机非线性压缩方法
CN111985634A (zh) * 2020-08-21 2020-11-24 北京灵汐科技有限公司 神经网络的运算方法、装置、计算机设备及存储介质
CN114691627A (zh) * 2020-12-30 2022-07-01 财团法人工业技术研究院 深度学习加速芯片的数据压缩方法、数据压缩系统及运算方法
CN113723490A (zh) * 2021-08-24 2021-11-30 哈尔滨工业大学（深圳） 一种基于张量卷积网络的图像分类方法、系统及存储介质
CN113723490B (zh) * 2021-08-24 2023-10-31 哈尔滨工业大学（深圳） 一种基于张量卷积网络的图像分类方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN110443354A (zh) 一种基于多组张列量分解的深度神经网络压缩方法、系统、装置及存储介质
CN106557812A (zh) 基于dct变换的深度卷积神经网络压缩与加速方案
Chen et al. An enhanced hybrid MobileNet
US11645529B2 (en) Sparsifying neural network models
CN110263913A (zh) 一种深度神经网络压缩方法及相关设备
CN109886397A (zh) 一种针对卷积层的神经网络结构化剪枝压缩优化方法
CN108304928A (zh) 基于改进聚类的深度神经网络的压缩方法
DE202017104127U1 (de) Superpixel für faltende neuronale Netze
CN107944556A (zh) 基于块项张量分解的深度神经网络压缩方法
DE202016107443U1 (de) Berechnen von Faltungen mithilfe eines neuronalen Netzwerkprozessors
CN103686177B (zh) 一种图像压缩、解压的方法、装置及图像系统
CN110428045A (zh) 基于Tucker算法的深度卷积神经网络压缩方法
CN109657781A (zh) 面向嵌入式应用的深度神经网络压缩方法、装置及终端
CN110751265A (zh) 一种轻量型神经网络构建方法、系统及电子设备
Avena et al. Random forests and networks analysis
CN102075749B (zh) 压缩感知框架下基于非凸模型的图像压缩重构方法
CN109344966A (zh) 一种高效张量化全连接神经网络的方法
CN107942377A (zh) 一种地震数据压缩与重构方法
CN106529435A (zh) 基于张量量化的动作识别方法
CN106713394A (zh) 一种数据传输方法和装置
CN115713109A (zh) 一种用于图像分类的多头注意力模型压缩方法
CN117036906A (zh) 一种基于生成对抗神经网络压缩的图像翻译方法和装置
CN103700074A (zh) 基于离散余弦变换系数分布的自适应压缩感知采样方法
Peyrot et al. HexaShrink, an exact scalable framework for hexahedral meshes with attributes and discontinuities: multiresolution rendering and storage of geoscience models
CN116258673A (zh) 能谱ct的图像重建方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191112