CN107944556B - 基于块项张量分解的深度神经网络压缩方法 - Google Patents
基于块项张量分解的深度神经网络压缩方法 Download PDFInfo
- Publication number
- CN107944556B CN107944556B CN201711319853.1A CN201711319853A CN107944556B CN 107944556 B CN107944556 B CN 107944556B CN 201711319853 A CN201711319853 A CN 201711319853A CN 107944556 B CN107944556 B CN 107944556B
- Authority
- CN
- China
- Prior art keywords
- tensor
- deep neural
- neural network
- block item
- decomposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于块项张量分解的深度神经网络压缩方法。其包括获取深度神经网络框架,将权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X,对高阶张量W进行块项张量分解处理,将深度神经网络的全连接层替换为块项张量层,采用后向传播算法对步骤D中替换后的深度神经网络进行训练。本发明采用块项张量分解方法来构造块项张量层,以替换原始深度神经网络中的全连接层,利用块项张量层具有的“对称”和“指数表达能力”的特性,不仅能够大幅压缩全连接层的参数量还能够保持原网络的分类精度。
Description
技术领域
本发明属于深度神经网络技术领域,尤其涉及一种基于块项张量分解的深度神经网络压缩方法。
背景技术
近年来,以深度神经网络为代表的深度学习在图像分类、语音识别、自然语言处理等人工智能领域取得了比传统方法显著提高的效果,进而吸引了学术界、工业界和政府的广泛关注。然而深度神经网络结构复杂、层数较多、参数量巨大,训练好的模型往往占用很大的存储空间,难以移植到小型终端上;并且时间复杂性也很高,即使在高性能图形处理器上训练也常常需要数天,这些都迫使我们需要压缩深度神经网络。
由于深度神经网络的权重实质上就是一些高维矩阵,因此很自然的一种压缩方法就是矩阵分解,但矩阵分解的压缩能力太低,最多只能压缩数十倍。所以最近兴起了利用张量分解压缩的办法,比如“张量火车”分解方法能够把VGG网络中单层全连接层压缩成千上万倍。然而由于张量火车分解方法本身具有“不对称”和“线性表达能力”的特性,导致了压缩后的深度神经网络难以获得更高分类精度。
发明内容
本发明的发明目的是:为了解决现有技术中存在的以上问题,本发明提出了一种基于块项张量分解的深度神经网络压缩方法,以期能够在保持精度的同时获得更高的参数量压缩比。
本发明的技术方案是:一种基于块项张量分解的深度神经网络压缩方法,包括以下步骤:
A、获取深度神经网络框架;
B、将深度神经网络的全连接层中的权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X;
C、对步骤B中的高阶张量W进行块项张量分解处理;
D、根据步骤B中的高阶张量X和步骤C中块项张量分解后的高阶张量W将深度神经网络的全连接层替换为块项张量层;
E、采用后向传播算法对步骤D中替换后的深度神经网络进行训练。
进一步地,所述步骤B中将深度神经网络的全连接层中的权重矩阵W转化为高阶张量W具体为:将权重矩阵W的行维度和列维度进行均匀分割,表示为层次分块矩阵形式,再将分割后的权重矩阵W转化为高阶张量W。
进一步地,所述步骤B中将深度神经网络的全连接层中的输入向量x转化为高阶张量X具体为:将输入向量x的维度表示为张量形式,再转化为高阶张量X。
进一步地,所述步骤C对步骤B中的高阶张量W进行块项张量分解处理具体为:对高阶张量W的维度进行重新排列,使得行维度和列维度对应的输入和输出以成对形式耦合排列,再将高阶张量W分解为若干个塔克分解的和。
进一步地,所述高阶张量W进行块项张量分解后的维度与高阶张量X的维度相等。
进一步地,所述步骤D根据步骤B中的高阶张量X和步骤C中块项张量分解后的高阶张量W将深度神经网络的全连接层替换为块项张量层具体为:将高阶张量X和块项张量分解后的高阶张量W相乘,替换深度神经网络的全连接层为块项张量层。
进一步地,所述块项张量层将节点作为权重,边作为数据及其维度大小。
本发明的有益效果是:本发明采用块项张量分解方法来构造块项张量层,以替换原始深度神经网络中的全连接层,利用块项张量层具有的“对称”和“指数表达能力”的特性,不仅能够大幅压缩全连接层的参数量还能够保持原网络的分类精度,训练好的用于图像分类的深度神经网络占用内存小,可移植于小型终端,且在高性能图形处理器上的训练时间相比现有技术大大减少。
附图说明
图1为本发明的基于块项张量分解的深度神经网络压缩方法的流程示意图。
图2为本发明实施例中权重矩阵转化示意图。
图3为本发明实施例中高阶张量进行块项张量分解处理示意图。
图4为本发明实施例中块项张量层示意图。
图5为本发明实施例中在Cifar10数据集上测试精度与块项张量分解的两个秩的关系示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,为本发明的基于块项张量分解的深度神经网络压缩方法的流程示意图。一种基于块项张量分解的深度神经网络压缩方法,包括以下步骤:
A、获取深度神经网络框架;
B、将深度神经网络的全连接层中的权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X;
C、对步骤B中的高阶张量W进行块项张量分解处理;
D、根据步骤B中的高阶张量X和步骤C中块项张量分解后的高阶张量W将深度神经网络的全连接层替换为块项张量层;
E、采用后向传播算法对步骤D中替换后的深度神经网络进行训练。
在步骤A中,本发明获取一个深度神经网络框架,这里的深度神经网络可以选取分别适用于mnist、Cifar10、ImageNet三个数据集的Le网络、Cifar网络,Alex网络。这些深度神经网络都具有类似的结构:前面是一些卷积层,中间跟着一些全连接层,最后是输出层。而参数一般都集中在全连接层,其数量占比为80%以上,所以本发明的重点就是压缩全连接层。
在步骤B中,本发明将深度神经网络的全连接层中的权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X。由于全连接层最主要的运算其实就是权重矩阵W和输入向量x的乘积运算,因此本发明首先将权重矩阵W的行维度和列维度进行尽量均匀的分割,将权重矩阵W的维度表示为层次分块矩阵形式,再将分割后的权重矩阵W转化为高阶张量W;再将输入向量x的维度直接重塑表示为张量形式,再转化为高阶张量X。
如图2所示,为本发明实施例中权重矩阵转化示意图。通过将原始的高维矩阵分割成“层次分块矩阵”的形式,再重塑成一个高阶张量,这里矩阵的行维度I=I1I2I3,列维度J=J1J2J3。对于Le网络:第一层全连接层的权重矩阵的维度为,输入向量维度为800。本发明把输入维度转化为5×5×8×4,输出维度转化为5×5×5×4,所以转化后的高阶张量维度为(5×5)×(5×5)×(8×5)×(4×4),下面的操作类似,本发明只描述维度的数值变化来简述。对于Cifar网络:输入2304转化为6×6×8×8,输出384转化为6×4×4×4;对于Alex网络:输入6400转化为10×10×8×8,输出4096转化为8×8×8×8。
在步骤C中,本发明对步骤B中的高阶张量W进行块项张量分解处理,具体为:对高阶张量W的维度进行重新排列,使得行维度和列维度对应的输入和输出以成对形式耦合排列,再对高阶张量W进行块项张量分解,即将高阶张量W分解为若干个塔克分解的和。特别的,高阶张量W进行块项张量分解后的维度需要与高阶张量X的维度匹配,即高阶张量X的一系列维度In要和高阶张量W分解出来的一系列维度In相等,n=1,2,3…N。
如图3所示,为本发明实施例中高阶张量进行块项张量分解处理示意图。通过高阶张量的维度进行重新排列,使得(I1,J1),(I2,J2)…(IN,JN)以成对形式耦合排列,再进行块项张量分解,即将一个4阶张量W(左边)分解为若干个塔克分解的和(右边),每一个塔克分解类似于矩阵的奇异值分解,其中,A(N)表示因子矩阵,表示核张量,RT表示塔克分解的秩,RC表示塔克分解的块的个数,表示单位张量。这里主要涉及块项张量分解的两个秩的选取:对于Le网络:RC=1,RT=2,3;对于Cifar网络:RC=1,2,4,6,RT=2,3,4;对于Alex网络:RC=1,4,RT=2,3。
在步骤D中,本发明根据步骤B中的高阶张量X和步骤C中块项张量分解后的高阶张量W将深度神经网络的全连接层替换为块项张量层,具体为:将高阶张量X和块项张量分解后的高阶张量W相乘,替换深度神经网络的全连接层为块项张量层。如图4所示,为本发明实施例中块项张量层示意图。
在步骤E中,本发明采用后向传播算法对步骤D中替换后的深度神经网络进行训练,特别地,本发明直接对分解后的一系列因子矩阵和核张量进行求导训练。
本发明较现有算法在分类精度和参数量压缩比方面有较大提升,具体表现如下:在mnist数据集上本发明(块项张量)和原始网络、张量火车方法的分类精度对比结果如表1所示,其中方法后面的括号表示该方法秩的取值。例如块项张量(1,3)表示RC=1,RT=3。由于张量火车方法只有一个秩,所以括号内只有一个数值。从结果可以看到本发明的方法比张量火车方法的参数量参数量压缩比有显著提升,并且本发明还能和它保持同样的分类精度,甚至精度还高于原始网络。
在Cifar10数据集和ImageNet数据集上,本发明得到的结果类似,具体见表2和3。
表1在mnist数据集上的分类精度的比较结果
网络框架 | 参数量 | 压缩比 | 分类精度(%) |
原始网络 | 800×500 | 1 | 99.17 |
张量火车(2) | 342 | 1169 | 99.14 |
块项张量(1,2) | 228 | 1754 | 99.14 |
块项张量(1,3) | 399 | 1002 | 99.18 |
表2在Cifar10数据集上的分类精度的比较结果
网络框架 | 参数量 | 压缩比 | 分类精度(%) |
原始网络 | 2304×384 | 1 | 85.99 |
张量火车(2) | 360 | 2457 | 84.90 |
张量火车(8) | 4128 | 214 | 85.70 |
块项张量(1,2) | 264 | 3351 | 84.95 |
块项张量(4,3) | 1812 | 488 | 85.83 |
表3在ImageNet数据集上的分类精度的比较结果
网络框架 | 压缩比 | 前1分类精度(%) | 前5分类精度(%) |
原始网络 | 1 | 56.17 | 79.62 |
张量火车(2) | 30340 | 52.14 | 76.40 |
张量火车(8) | 2528 | 55.11 | 78.61 |
块项张量(1,2) | 44281 | 53.20 | 77.38 |
块项张量(4,2) | 11070 | 56.48 | 79.69 |
如图5所示,为本发明实施例中在Cifar10数据集上测试精度与块项张量分解的两个秩的关系示意图。对于秩的灵敏性分析,本发明在Cifar10数据集上采用网格形式把块项张量分解的两个秩进行了遍历取值,总体趋势为秩的取值越大,分类精度越好,但如果秩取值太大的话,会导致参数量也急剧增加,因此一般要综合两者,取个合适的值即可。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (5)
1.一种基于块项张量分解的深度神经网络压缩方法,其特征在于,包括以下步骤:
A、获取用于图像分类的深度神经网络框架;
B、将深度神经网络的全连接层中的权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X;
C、对步骤B中的高阶张量W进行块项张量分解处理;具体为:对高阶张量W的维度进行重新排列,使得行维度和列维度对应的输入和输出以成对形式耦合排列,再将高阶张量W分解为若干个塔克分解的和;
D、根据步骤B中的高阶张量X和步骤C中块项张量分解后的高阶张量W将深度神经网络的全连接层替换为块项张量层;具体为:将高阶张量X和块项张量分解后的高阶张量W相乘,替换深度神经网络的全连接层为块项张量层;
E、采用后向传播算法对小型终端中替换后的深度神经网络在数据集上进行训练。
2.如权利要求1所述的基于块项张量分解的深度神经网络压缩方法,其特征在于,所述步骤B中将深度神经网络的全连接层中的权重矩阵W转化为高阶张量W具体为:将权重矩阵W的行维度和列维度进行均匀分割,表示为层次分块矩阵形式,再将分割后的权重矩阵W转化为高阶张量W。
3.如权利要求1或2所述的基于块项张量分解的深度神经网络压缩方法,其特征在于,所述步骤B中将深度神经网络的全连接层中的输入向量x转化为高阶张量X具体为:将输入向量x的维度表示为张量形式,再转化为高阶张量X。
4.如权利要求3所述的基于块项张量分解的深度神经网络压缩方法,其特征在于,所述高阶张量W进行块项张量分解后的维度与高阶张量X的维度相等。
5.如权利要求4所述的基于块项张量分解的深度神经网络压缩方法,其特征在于,所述块项张量层将节点作为权重,边作为数据及其维度大小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711319853.1A CN107944556B (zh) | 2017-12-12 | 2017-12-12 | 基于块项张量分解的深度神经网络压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711319853.1A CN107944556B (zh) | 2017-12-12 | 2017-12-12 | 基于块项张量分解的深度神经网络压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107944556A CN107944556A (zh) | 2018-04-20 |
CN107944556B true CN107944556B (zh) | 2020-09-08 |
Family
ID=61942863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711319853.1A Expired - Fee Related CN107944556B (zh) | 2017-12-12 | 2017-12-12 | 基于块项张量分解的深度神经网络压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107944556B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110647973A (zh) * | 2018-06-27 | 2020-01-03 | 北京中科寒武纪科技有限公司 | 运算方法及相关方法和产品 |
CN109302614B (zh) * | 2018-10-08 | 2022-01-18 | 南京信息工程大学 | 一种基于三阶张量自编码网络的视频压缩方法 |
US20200117981A1 (en) * | 2018-10-11 | 2020-04-16 | International Business Machines Corporation | Data representation for dynamic precision in neural network cores |
CN109857744B (zh) * | 2019-02-13 | 2020-03-20 | 上海燧原智能科技有限公司 | 稀疏张量计算方法、装置、设备及存储介质 |
CN109978142B (zh) * | 2019-03-29 | 2022-11-29 | 腾讯科技(深圳)有限公司 | 神经网络模型的压缩方法和装置 |
CN110033085B (zh) * | 2019-04-15 | 2021-08-31 | 广州异构智能科技有限公司 | 张量处理器 |
CN110059805B (zh) * | 2019-04-15 | 2021-08-31 | 广州异构智能科技有限公司 | 用于二值阵列张量处理器的方法 |
CN110046705B (zh) * | 2019-04-15 | 2022-03-22 | 广州异构智能科技有限公司 | 用于卷积神经网络的装置 |
CN110070583A (zh) * | 2019-04-17 | 2019-07-30 | 清华大学 | 基于张量分解和深度学习的信号压缩与恢复方法及系统 |
CN110263913A (zh) * | 2019-05-23 | 2019-09-20 | 深圳先进技术研究院 | 一种深度神经网络压缩方法及相关设备 |
US12008467B2 (en) | 2019-07-01 | 2024-06-11 | Baidu Usa Llc | Asymmetric quantization for compression and for acceleration of inference for neural networks |
WO2021102679A1 (en) * | 2019-11-26 | 2021-06-03 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Rank selection in tensor decomposition based on reinforcement learning for deep neural networks |
CN111047453A (zh) * | 2019-12-04 | 2020-04-21 | 兰州交通大学 | 基于高阶张量分解大规模社交网络社区的检测方法及装置 |
CN111276183B (zh) * | 2020-02-25 | 2023-03-21 | 云南大学 | 一种基于参数估计的张量分解处理海量基因序列的方法 |
CN111767377B (zh) * | 2020-06-22 | 2024-05-28 | 湖北马斯特谱科技有限公司 | 一种面向低资源环境的高效口语理解识别方法 |
CN112116062B (zh) * | 2020-08-06 | 2024-04-05 | 西安交通大学 | 一种基于张量串分解的多层感知机非线性压缩方法 |
CN112541159A (zh) * | 2020-09-30 | 2021-03-23 | 华为技术有限公司 | 一种模型训练方法及相关设备 |
CN112669861B (zh) * | 2020-12-09 | 2023-04-07 | 北京百度网讯科技有限公司 | 音频数据处理方法、装置、设备和存储介质 |
CN112668717B (zh) * | 2021-01-04 | 2023-06-02 | 哈尔滨工业大学 | 一种面向神经网络模型优化的数据处理方法和装置 |
CN116187401B (zh) * | 2023-04-26 | 2023-07-14 | 首都师范大学 | 神经网络的压缩方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104820419A (zh) * | 2015-03-02 | 2015-08-05 | 北京交通大学 | 一种基于高阶奇异值分解的性能基准估计的方法和系统 |
JP2015175859A (ja) * | 2014-03-12 | 2015-10-05 | 学校法人早稲田大学 | パターン認識装置、パターン認識方法及びパターン認識プログラム |
CN105825529A (zh) * | 2016-03-18 | 2016-08-03 | 武汉大学 | 一种基于非局部和低秩分解的高光谱图像压缩方法 |
JP2016173784A (ja) * | 2015-03-18 | 2016-09-29 | 日本電信電話株式会社 | テンソル因子分解処理装置、テンソル因子分解処理方法及びテンソル因子分解処理プログラム |
CN106127297A (zh) * | 2016-06-02 | 2016-11-16 | 中国科学院自动化研究所 | 基于张量分解的深度卷积神经网络的加速与压缩方法 |
CN106778682A (zh) * | 2017-01-11 | 2017-05-31 | 厦门中控生物识别信息技术有限公司 | 一种卷积神经网络模型的训练方法及其设备 |
-
2017
- 2017-12-12 CN CN201711319853.1A patent/CN107944556B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015175859A (ja) * | 2014-03-12 | 2015-10-05 | 学校法人早稲田大学 | パターン認識装置、パターン認識方法及びパターン認識プログラム |
CN104820419A (zh) * | 2015-03-02 | 2015-08-05 | 北京交通大学 | 一种基于高阶奇异值分解的性能基准估计的方法和系统 |
JP2016173784A (ja) * | 2015-03-18 | 2016-09-29 | 日本電信電話株式会社 | テンソル因子分解処理装置、テンソル因子分解処理方法及びテンソル因子分解処理プログラム |
CN105825529A (zh) * | 2016-03-18 | 2016-08-03 | 武汉大学 | 一种基于非局部和低秩分解的高光谱图像压缩方法 |
CN106127297A (zh) * | 2016-06-02 | 2016-11-16 | 中国科学院自动化研究所 | 基于张量分解的深度卷积神经网络的加速与压缩方法 |
CN106778682A (zh) * | 2017-01-11 | 2017-05-31 | 厦门中控生物识别信息技术有限公司 | 一种卷积神经网络模型的训练方法及其设备 |
Non-Patent Citations (2)
Title |
---|
Decompositions of a higher-order tensor in block terms—Part II: Definitions and uniqueness;L. De Lathauwer etal.;《SIAM Journal on Matrix Analysis and Applications》;20081231;第30卷(第3期);第1033-1066页 * |
线性混合盲信源分离的算法研究;张延良;《中国博士学位论文全文数据库 信息科技辑》;20111215;第11-36页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107944556A (zh) | 2018-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107944556B (zh) | 基于块项张量分解的深度神经网络压缩方法 | |
Chen et al. | Shallowing deep networks: Layer-wise pruning based on feature representations | |
CN111091045B (zh) | 一种基于时空注意力机制的手语识别方法 | |
He et al. | Asymptotic soft filter pruning for deep convolutional neural networks | |
CN106547735B (zh) | 基于深度学习的上下文感知的动态词或字向量的构建及使用方法 | |
CN110597979B (zh) | 一种基于自注意力的生成式文本摘要方法 | |
CN110428045A (zh) | 基于Tucker算法的深度卷积神经网络压缩方法 | |
CN114402596B (zh) | 神经网络模型解码方法、装置、系统和介质 | |
CN112307714A (zh) | 一种基于双阶段深度网络的文字风格迁移方法 | |
CN110909874A (zh) | 一种神经网络模型的卷积运算优化方法和装置 | |
CN113378938B (zh) | 一种基于边Transformer图神经网络的小样本图像分类方法及系统 | |
CN109739995A (zh) | 一种信息处理方法及装置 | |
Ding et al. | Slimyolov4: lightweight object detector based on yolov4 | |
CN111008517A (zh) | 一种基于张量分解技术的神经语言模型的压缩方法 | |
CN109344966A (zh) | 一种高效张量化全连接神经网络的方法 | |
Qi et al. | Learning low resource consumption cnn through pruning and quantization | |
CN117788629B (zh) | 一种具有风格个性化的图像生成方法、装置及存储介质 | |
CN115510739A (zh) | 基于eemd-cnn-lstm的短期风电功率预测方法 | |
Huai et al. | Latency-constrained DNN architecture learning for edge systems using zerorized batch normalization | |
Zhang et al. | Deep compression of probabilistic graphical networks | |
CN117725435A (zh) | 一种多模态大模型的适配方法及存储介质 | |
Sun et al. | A stable approach for model order selection in nonnegative matrix factorization | |
CN116992049A (zh) | 一种基于双曲空间的加入实体描述的知识图谱嵌入方法 | |
Chen et al. | Compressing fully connected layers using Kronecker tensor decomposition | |
CN109325585A (zh) | 基于张量环分解的长短期记忆网络稀疏连接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200908 Termination date: 20211212 |