CN112352249A - 基于压缩感知的神经网络模型压缩方法、设备及存储介质 - Google Patents
基于压缩感知的神经网络模型压缩方法、设备及存储介质 Download PDFInfo
- Publication number
- CN112352249A CN112352249A CN202080001140.4A CN202080001140A CN112352249A CN 112352249 A CN112352249 A CN 112352249A CN 202080001140 A CN202080001140 A CN 202080001140A CN 112352249 A CN112352249 A CN 112352249A
- Authority
- CN
- China
- Prior art keywords
- training
- original
- loss function
- weight parameters
- transform domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 238000003062 neural network model Methods 0.000 title claims abstract description 103
- 230000006835 compression Effects 0.000 title claims abstract description 71
- 238000007906 compression Methods 0.000 title claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 307
- 239000011159 matrix material Substances 0.000 claims abstract description 72
- 230000006870 function Effects 0.000 claims description 145
- 238000012360 testing method Methods 0.000 claims description 36
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 14
- 238000013461 design Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000009412 basement excavation Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请公开了一种基于压缩感知的神经网络模型压缩方法、设备及计算机可读存储介质，该方法通过将标准的压缩感知约束建模融入到常规的损失函数中，并基于此设计出第一损失函数，利用第一损失函数对原始权重参数进行训练，使得能够将压缩感知建模过程融入到网络训练过程中；通过基于变换域的基以及对原始权重参数训练所得的观测矩阵进行压缩感知重建，得到重建稀疏系数与固定稀疏系数，使得能够在一个变换域内充分挖掘训练权重参数的固有稀疏度；通过利用固有稀疏度对重建稀疏系数进行训练，使得将网络训练过程与网络压缩过程联合起来，尽可能地充分训练挖掘权重参数的稀疏性，最终实现对神经网络模型进行充分压缩的目的。
Description
技术领域
本申请涉及机器学习技术领域，尤其涉及一种基于压缩感知的神经网络模型压缩方法、设备及计算机可读存储介质。
背景技术
随着机器学习技术的快速发展，深度神经网络在计算机视觉、自然语言处理等众多领域取得重大突破，但是这些网络在应用过程中往往耗费需要巨大的计算开销和参数存储需求，导致其无法部署于一些资源有限的设备上。如何在保证网络性能的前提下，有效减少参数存储需求和计算复杂度成为目前急需研究的课题。目前已有的网络压缩模型方案主要通过是在权重参数的原始时域空域内进行一些处理，但是这种着眼于分析原始时空域的网络压缩方式，并未充分挖掘出权重参数的固有稀疏度，因此对网络的压缩程度也就不够彻底，从而导致了现有的网络压缩方式的压缩性能低下的问题。
发明内容
本申请的主要目的在于提供一种基于压缩感知的神经网络模型压缩方法，旨在解决现有的网络压缩方式的压缩性能低下的技术问题。
为实现上述目的，本申请提供一种基于压缩感知的神经网络模型压缩方法，所述基于压缩感知的神经网络模型压缩方法包括：
获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，以得到训练权重参数、以及与所述训练权重参数对应的观测矩阵，其中，所述第一损失函数根据神经网络建模思想与压缩感知建模思想联合设计所得；
根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度；
将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，并基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，以根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。
此外，为实现上述目的，本申请还提供一种基于压缩感知的神经网络模型压缩装置，所述基于压缩感知的神经网络模型压缩装置包括：
权重参数训练模块，用于获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，以得到训练权重参数、以及与所述训练权重参数对应的观测矩阵，其中，所述第一损失函数根据神经网络建模思想与压缩感知建模思想联合设计所得；
压缩感知重建模块，用于根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度；
稀疏系数训练模块，用于将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，并基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，以根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。
可选地，所述权重参数训练模块包括：
第一迭代训练单元，用于获取待压缩神经网络模型的原始权重参数，基于所述第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率；
第一结束判定单元，用于在检测到所述第一实时测试准确率大于或等于预设第一基准准确率时，结束当前迭代训练过程，得到所述训练权重参数、以及与所述训练权重参数对应的观测矩阵。
可选地，所述获取待压缩神经网络模型的原始权重参数，基于所述第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率的步骤包括：
获取所述原始权重参数，将标准正交基作为所述变换域的基，并创建初始化参数；
根据所述第一损失函数与所述标准正交基，在原始域内对所述原始权重参数进行随机梯度下降训练，在变换域内同步诱导训练所述初始化参数，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率；
所述在检测到所述第一实时测试准确率大于或等于预设第一基准准确率时，结束当前迭代训练过程，得到所述训练权重参数、以及与所述训练权重参数对应的观测矩阵的步骤包括：
在检测到所述第一实时测试准确率大于或等于预设第一基准准确率时，结束当前随机梯度下降训练过程，将所述初始化参数训练为所述原始权重参数在变换域内对应的原始稀疏系数，并得到所述训练权重参数与所述观测矩阵。
可选地，所述第一损失函数的表达式为：
∑l(f(x,W),y)+λ||W-ψs||2+μ||s||1，
其中，∑l(f(x,W),y)表示常规损失函数的表达式，λ和μ表示预设乘积因子，W表示所述原始权重参数，ψ表示所述变换域的基，s表示所述原始稀疏系数，下标2表示采用2-范数约束所述训练权重参数W与所述原始稀疏系数s之间的关系，下标1表示采用1-范数约束所述原始稀疏系数s。
可选地，所述压缩感知重建模块包括：
使用预设采样矩阵、所述变换域的基与所述观测矩阵，进行基于子空间追踪方式的压缩感知重建，得到所述重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度。
可选地，所述稀疏系数训练模块包括：
第二迭代训练单元，用于将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，基于所述第二损失函数，对所述重建稀疏系数与所述训练权重参数进行迭代训练，并获取对所述重建稀疏系数进行迭代训练过程中与当前网络性能所对应的第二实时准确率；
第二结束判定单元，用于在检测到所述第二实时测试准确率大于或等于预设第二基准准确率时，结束当前对所述重建稀疏系数的迭代训练过程，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，以根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。
可选地，所述基于所述第二损失函数，对所述重建稀疏系数与所述训练权重参数进行迭代训练，并获取对所述重建稀疏系数进行迭代训练过程中与当前网络性能所对应的第二实时准确率的步骤包括：
根据所述第二损失函数，在所述固定稀疏度下对所述重建稀疏系数与所述训练权重参数进行随机梯度下降训练，并获取对所述重建疏系数进行迭代训练过程中，与当前网络性能所对应的第二实时准确率。
可选地，所述第二损失函数的表达式为：
其中，
表示常规损失函数的表达式，λ和μ表示预设乘积因子，
表示所述训练权重参数，ψ表示所述变换域的基，
表示所述重建稀疏系数，下标2表示采用2-范数约束所述训练权重参数
与所述重建稀疏系数
之间的关系，下标1表示采用1-范数约束所述重建稀疏系数
此外，为实现上述目的，本申请还提供一种基于压缩感知的神经网络模型压缩设备，所述基于压缩感知的神经网络模型压缩设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于压缩感知的神经网络模型压缩程序，所述基于压缩感知的神经网络模型压缩程序被所述处理器执行时实现如上述的基于压缩感知的神经网络模型压缩方法的步骤。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于压缩感知的神经网络模型压缩程序，所述基于压缩感知的神经网络模型压缩程序被处理器执行时实现如上述的基于压缩感知的神经网络模型压缩方法的步骤。
本申请提供一种基于压缩感知的神经网络模型压缩方法、设备及计算机可读存储介质。所述基于压缩感知的神经网络模型压缩方法通过获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，以得到训练权重参数、以及与所述训练权重参数对应的观测矩阵，其中，所述第一损失函数根据神经网络建模思想与压缩感知建模思想联合设计所得；根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度；将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，并基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，以根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。通过上述方式，本申请通过将标准的压缩感知约束建模融入到常规的损失函数中，并基于此设计出第一损失函数，利用第一损失函数对原始权重参数进行训练，使得能够将压缩感知建模过程融入到网络训练过程中；通过基于变换域的基以及对原始权重参数训练所得的观测矩阵进行压缩感知重建，得到重建稀疏系数与固定稀疏系数，使得能够在一个变换域内充分挖掘训练权重参数的固有稀疏度；通过利用固有稀疏度对重建稀疏系数进行训练，使得将网络训练过程与网络压缩过程联合起来，尽可能地充分训练挖掘权重参数的稀疏性，最终实现对神经网络模型进行充分压缩的目的，从而解决了现有的网络压缩方式的压缩性能低下的技术问题。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的基于压缩感知的神经网络模型压缩设备结构示意图；
图2为本申请基于压缩感知的神经网络模型压缩方法第一实施例的流程示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的基于压缩感知的神经网络模型压缩设备结构示意图。
本申请实施例基于压缩感知的神经网络模型压缩设备可以是服务器、PC等终端设备。
如图1所示，该基于压缩感知的神经网络模型压缩设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于压缩感知的神经网络模型压缩程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于压缩感知的神经网络模型压缩程序，并执行以下操作：
获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，以得到训练权重参数、以及与所述训练权重参数对应的观测矩阵，其中，所述第一损失函数根据神经网络建模思想与压缩感知建模思想联合设计所得；
根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度；
将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，并基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，以根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。
基于上述硬件结构，提出本申请基于压缩感知的神经网络模型压缩方法的各个实施例。
随着机器学习技术的快速发展，深度神经网络在计算机视觉、自然语言处理等众多领域取得重大突破，但是这些网络在应用过程中往往耗费需要巨大的计算开销和参数存储需求，导致其无法部署于一些资源有限的设备上。如何在保证网络性能的前提下，有效减少参数存储需求和计算复杂度成为目前急需研究的课题。目前已有的网络压缩模型方案主要通过是在权重参数的原始时域空域内进行一些处理，但是这种着眼于分析原始时空域的网络压缩方式，并未充分挖掘出权重参数的固有稀疏度，因此对网络的压缩程度也就不够彻底，从而导致了现有的网络压缩方式的压缩性能低下的问题。
为解决上述问题，本申请提供一种基于压缩感知的神经网络模型压缩方法，即将标准的压缩感知约束建模融入到常规的损失函数中，并基于此设计出第一损失函数，利用第一损失函数对原始权重参数进行训练，使得能够将压缩感知建模过程融入到网络训练过程中；通过基于变换域的基以及对原始权重参数训练所得的观测矩阵进行压缩感知重建，得到重建稀疏系数与固定稀疏系数，使得能够在一个变换域内充分挖掘训练权重参数的固有稀疏性；通过利用固有稀疏性对重建稀疏系数进行训练，使得将网络训练过程与网络压缩过程联合起来，尽可能地充分训练挖掘权重参数的稀疏性，最终实现对神经网络模型进行充分压缩的目的，从而解决了现有的网络压缩方式的压缩性能低下的技术问题。
参照图2，图2为基于压缩感知的神经网络模型压缩方法第一实施例的流程示意图。本申请第一实施例提供一种基于压缩感知的神经网络模型压缩方法，所述基于压缩感知的神经网络模型压缩方法包括以下步骤：
步骤S10，获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，以得到训练权重参数、以及与所述训练权重参数对应的观测矩阵，其中，所述第一损失函数根据神经网络建模思想与压缩感知建模思想联合设计所得；
在本实施例中，原始权重参数为当前待压缩神经网络模型的还未经训练的权重参数。训练权重参数为原始的权重参数在原始域内进行训练后的权重参数。预设第一损失函数为用于训练待检测的神经网络模型所对应的原始权重参数的损失函数，是基于常规的神经网络建模思想与压缩感知建模思想联合设计的。其中，压缩感知，也被称为压缩采样，稀疏采样，压缩传感。它作为一个新的采样理论，通过开发信号的稀疏特性，在远小于奈奎斯特采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性重建算法完美的重建信号。
具体地，计算机在获取到当前待压缩的神经网络模型的原始权重参数时，将此原始权重参数作为压缩感知建模过程中的输入信号，同时还需输入训练样本的真实值、变换域空间的基、网络学习率以及乘积因子等。在对原始权重参数进行训练之前，还可对其进行随机初始化，并创建初始化参数，以在训练过程中将初始化参数诱导为原始权重参数在变换域内的稀疏系数表征。基于第一损失函数对原始权重参数与初始化参数同步进行迭代训练，并在训练过程中实时获取反映当前网络性能的测试准确率。计算机在检测到当前的测试准确率达到一定标准时，即可结束当前对于原始权重参数的迭代训练过程。其中，训练结束判定标准可为当前的测试准确率不小于某一预设标准值，或是当前的测试准确率与某一预设标准值之间的误差在某一阈值内等，本实施例不做具体限定。而原始权重参数在训练过程中进行参数更新后成为训练权重参数，且此时的初始化参数也与原始权重参数同步训练为表征原始权重参数在变换域内稀疏度的原始稀疏系数，并可得到与训练权重参数对应的观测矩阵。
步骤S20，根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度；
在本实施例中，本申请通过引入压缩感知原理，从而能够在变换域内充分挖掘训练权重参数的固有稀疏度。在对原始权重参数进行迭代训练后，就开始进行压缩感知处理。需要说明的是，在进行压缩感知重建过程所需要的参数包括：变换域的基、观测矩阵与采样矩阵。采样矩阵的作用是将高维信号投影到低维空间。
通过利用变换域的基、观测矩阵与采样矩阵进行压缩感知重建，并生成一个标志位来固定训练权重参数在变换域内的固定稀疏度。具体的压缩感知重建方式可选用子空间追踪(SP，subspace pursuit)方式。
步骤S30，将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，并基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，以根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。
在本实施例中，第二损失函数为用于训练压缩重建过程所得的重建稀疏系数的损失函数。将由压缩感知重建所深度挖掘的训练权重参数的固有稀疏度整合进第一损失函数，得到训练重建稀疏系数所需的第二损失函数。通过使用第二损失函数同步训练重建稀疏系数与训练权重参数，使得本申请能够在不改变变换域内重建稀疏系数的稀疏度的前提下，对重建稀疏系数进行训练，以尽可能充分挖掘网络权重参数的稀疏性。重训练权重参数为将训练权重参数与重建稀疏系数共同进行训练后所得到的权重参数。
具体地，计算机在通过第二损失函数对重建稀疏系数与训练权重参数同步进行迭代训练的过程中，还会实时获取反映当前网络性能的测试准确率。计算机在检测到当前的测试准确率达到一定标准时，即可结束当前对于重建稀疏系数的迭代训练过程。其中，训练结束判定标准可为当前的测试准确率不小于某一预设标准值，或是当前的测试准确率与某一预设标准值之间的误差在某一阈值内等，本实施例不做具体限定。计算机在结束对重建稀疏系数的迭代训练过程后，即可得到目标稀疏系数。通过这一目标稀疏系数，可在变换域内映射出压缩后的神经网络模型，也即是得到此目标稀疏系数相当于完成了对神经网络模型的压缩。
在本实施例中，通过获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，以得到训练权重参数、以及与所述训练权重参数对应的观测矩阵，其中，所述第一损失函数根据神经网络建模思想与压缩感知建模思想联合设计所得；根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度；将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，并基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，以根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。通过上述方式，本申请通过将标准的压缩感知约束建模融入到常规的损失函数中，并基于此设计出第一损失函数，利用第一损失函数对原始权重参数进行训练，使得能够将压缩感知建模过程融入到网络训练过程中；通过基于变换域的基以及对原始权重参数训练所得的观测矩阵进行压缩感知重建，得到重建稀疏系数与固定稀疏系数，使得能够在一个变换域内充分挖掘训练权重参数的固有稀疏度；通过利用固有稀疏度对重建稀疏系数进行训练，使得将网络训练过程与网络压缩过程联合起来，尽可能地充分训练挖掘权重参数的稀疏性，最终实现对神经网络模型进行充分压缩的目的，从而解决了现有的网络压缩方式的压缩性能低下的技术问题。
进一步地，图中未示的，基于上述图2所示的第一实施例，提出本申请基于压缩感知的神经网络模型压缩方法的第二实施例。在本实施例中，步骤S10包括：
获取待压缩神经网络模型的原始权重参数，基于所述第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率；
在检测到所述第一实时测试准确率大于或等于预设第一基准准确率时，结束当前迭代训练过程，得到所述训练权重参数、以及与所述训练权重参数对应的观测矩阵。
在本实施例中，第一实时准确率为在对原始权重参数进行迭代训练的过程中神经网络在测试数据集上的表现，是对当前网络实际性能的衡量。预设第一基准准确率为用于判断第一实时准确率是否符合迭代结束标准的临界值，可设定为未压缩的神经网络在训练结束后的测试准确率。观测矩阵的定义是高维信号在低维空间内的观测值。具体地，计算机获取当前待压缩的神经网络模型的原始权重参数，并在检测到反映初始的网络实际性能的测试准确率小于预设第一基准准确率时，开始对原始权重参数的迭代过程。计算机创建初始化参数，通过第一损失函数同步训练原始权重参数与初始化参数。设第一损失函数为L1，原始权重参数为W，初始化参数为s，网络学习率为η，则实际的迭代公式可表示为：
计算机在对原始权重参数与初始化参数进行迭代训练的过程中，还实时获取第一实时准确率，并将其与预设第一基准准确率进行比较，并在检测到第一实时准确率不小于预设第一基准准确率时，判定当前已完成对原始权重参数的训练，停止当前迭代训练过程，得到原始权重参数经训练后的训练权重参数，以及与训练权重参数对应的观测矩阵。
进一步地，在本实施例中，所述获取待压缩神经网络模型的原始权重参数，基于所述第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率的步骤包括：
获取所述原始权重参数，将标准正交基作为所述变换域的基，并创建初始化参数；
根据所述第一损失函数与所述标准正交基，在原始域内对所述原始权重参数进行随机梯度下降训练，在变换域内同步诱导训练所述初始化参数，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率；
所述在检测到所述第一实时测试准确率大于或等于预设第一基准准确率时，结束当前迭代训练过程，得到所述训练权重参数、以及与所述训练权重参数对应的观测矩阵的步骤包括：
在检测到所述第一实时测试准确率大于或等于预设第一基准准确率时，结束当前随机梯度下降训练过程，将所述初始化参数训练为所述原始权重参数在变换域内对应的原始稀疏系数，并得到所述训练权重参数与所述观测矩阵。
在本实施例中，为便于计算，将标准正交基作为上述变换域的基。限定了上述对于原始权重参数的迭代训练过程具体为随机梯度下降训练过程。具体地，计算机获取原始权重参数，并创建初始化参数，再根据第一损失函数与标准正交基，在原始域内对原始权重参数进行随机梯度下降训练，并在变换域内同步诱导训练初始化参数。计算机实时获取训练过程中反映当前网络实际性能的第一实时准确率，并在检测到其不小于第一基准准确率时，判定可结束对原始权重参数的训练过程，并得到训练权重参数与观测矩阵。此时初始化参数被同步训练为原始权重参数在变换域内所对应的原始稀疏系数。
进一步地，在本实施例中，所述第一损失函数的表达式为：
∑l(f(x,W),y)+λ||W-ψs||2+μ||s||1，
其中，∑l(f(x,W),y)表示常规损失函数的表达式，λ和μ表示预设乘积因子，W表示所述原始权重参数，ψ表示所述变换域的基，s表示所述原始稀疏系数，下标2表示采用2-范数约束所述训练权重参数W与所述原始稀疏系数s之间的关系，下标1表示采用1-范数约束所述原始稀疏系数s。
在本实施例中，对第一损失函数的推导过程进行说明。首先，假设
是原始输入信号，
是原始信号的K-稀疏度表征系数。而矩阵φ可以张成空间
φ中的每一行是对于x的一个测量函数，可以得到：z＝φΩx。其中，
是采样矩阵，其是从矩阵φ中随机抽取M行所得，而z为观测矩阵。一般情况下原始信号在原始域内部稀疏，假设其在
表征的空间内稀疏，则x可以表示为x＝ψs。当ψ是标准正交基时，可得s＝ψTx；z＝φΩψs。为了从观测矩阵z中恢复出未知的稀疏系数s，一般可以通过一定的范数约束实现，将表达式写为没有约束条件的形式如公式1：
而由本领域常识可知，常规的神经网络中，损失函数可定义为公式2：
L＝∑l(f(x,W),y)
其中，x，y分别为再训练过程中样本的输入和真实值，f(x,W)为网络预测输出，l是对每一个训练样本的损失函数。为了将公式1中的压缩感知建模与公式2中的常规神经网络损失函数直接建立联系，本申请将网络权重参数W作为压缩感知建模过程中的输入信号，由此即可得到观测矩阵
的表达式为：
标准的压缩建模可以变成公式3：
当{φΩψ}满足有限等距性质(RIP，Restricted Isometry Property)时，上述压缩感知问题才可解。将矩阵φ初始化为标准正太分布的矩阵时，φΩ也就固定，此时即可将公式3中的φΩ提出，得到公式4：
在本申请中将公式4融入常规的神经网络建模过程中，即可得到新的损失函数Lnew的表达式(公式5)：
Lnew＝∑l(f(x,W),y)+λ||W-ψs||p1+μ||s||p2
在实际优化过程中，对于公式5，本申请选取p1＝2,p2＝1，即可得到第一损失函数。意为用2-范数约束训练权重参数与原始稀疏系数之间的关系，以诱导训练权重参数在变换域内的原始稀疏系数以及使训练权重参数在原始域内的值的分布利于原始稀疏系数在变换域内进行稀疏表征，用1-范数约束原始稀疏系数，以使得原始稀疏系数在训练过程中更稀疏。
进一步地，在本实施例中，步骤S20包括：
使用预设采样矩阵、所述变换域的基与所述观测矩阵，进行基于子空间追踪方式的压缩感知重建，得到所述重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度。
在本实施例中，将压缩感知重建的方式具体限定为SP压缩重建方式。具体地，计算机使用预设采样矩阵、变换域的基以及观测矩阵，进行SP压缩感知重建，得到重建稀疏系数，并确定训练权重参数在变换域内的固定稀疏度。
进一步地，通过训练过程中的第一实时测试准确率与预设第一基准准确率的比较结果判定迭代结束时机，使得对于原始权重参数的迭代结束判断简单易行；通过将标准的压缩感知约束建模融入到常规的损失函数中，并基于此设计出第一损失函数，利用第一损失函数对原始权重参数进行训练，使得能够将压缩感知建模过程融入到网络训练过程中；通过用2-范数约束训练权重参数与原始稀疏系数之间的关系，以诱导训练权重参数在变换域内的原始稀疏系数以及使训练权重参数在原始域内的值的分布利于原始稀疏系数在变换域内进行稀疏表征，用1-范数约束原始稀疏系数，以使得原始稀疏系数在训练过程中更稀疏。
进一步地，图中未示的，基于上述图2所示的第一实施例，提出本申请基于压缩感知的神经网络模型压缩方法的第三实施例。在本实施例中，步骤S30包括：
将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，基于所述第二损失函数，对所述重建稀疏系数与所述训练权重参数进行迭代训练，并获取对所述重建稀疏系数进行迭代训练过程中与当前网络性能所对应的第二实时准确率；
在检测到所述第二实时测试准确率大于或等于预设第二基准准确率时，结束当前对所述重建稀疏系数的迭代训练过程，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，以根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。
在本实施例中，第二实时准确率为在对重建稀疏系数进行迭代训练的过程中神经网络在测试数据集上的表现，是对当前网络实际性能的衡量。预设第二基准准确率为用于判断第二实时准确率是否符合迭代结束标准的临界值，可设定为未压缩的神经网络在训练结束后的测试准确率。第二基准准确率可设置与第一基准准确率相同，也可设置为不同，本实施例不做具体限定。第二损失函数是在第一损失函数的基础上由固定稀疏度整合而来。
具体地，计算机获取重建稀疏系数与训练权重参数，并在检测到反映初始的网络实际性能的测试准确率小于预设第二基准准确率时，根据第二损失函数对重建稀疏系数与训练权重参数进行迭代训练。设第二损失函数为L2，训练权重参数为
重建稀疏系数为
网络学习率为η，则实际的迭代公式可表示为：
计算机在对训练权重参数与重建稀疏系数进行迭代训练的过程中，还实时获取第二实时准确率，并将其与预设第二基准准确率进行比较。在检测到第一实时准确率不小于预设第一基准准确率时，计算机可判定当前已完成对重建稀疏系数的训练，停止当前迭代训练过程，得到重建稀疏系数经训练后的目标稀疏系数。该目标稀疏系数可以在变换域内很好地表征训练后的权重参数，同时根据目标稀疏系数在变换域内映射出压缩后的神经网络模型。
进一步地，在本实施例中，所述基于所述第二损失函数与所述训练权重参数，对所述重建稀疏系数进行迭代训练，并获取对所述重建稀疏系数进行迭代训练过程中与当前网络性能所对应的第二实时准确率的步骤包括：
根据所述第二损失函数，在所述固定稀疏度下对所述重建稀疏系数与所述训练权重参数进行随机梯度下降训练，并获取对所述重建疏系数进行迭代训练过程中，与当前网络性能所对应的第二实时准确率。
在本实施例中，限定了上述对于重建稀疏系数与训练权重参数的迭代训练过程具体为随机梯度下降训练过程。计算机获取重建稀疏系数与训练权重参数，并在检测到反映初始的网络实际性能的测试准确率小于预设第二基准准确率时，根据第二损失函数对重建稀疏系数与训练权重参数进行迭代训练。计算机在对训练权重参数与重建稀疏系数进行迭代训练的过程中，还实时获取第二实时准确率，并将其与预设第二基准准确率进行比较。
进一步地，在本实施例中，所述第二损失函数的表达式为：
其中，
表示常规损失函数的表达式，λ和μ表示预设乘积因子，
表示所述训练权重参数，ψ表示所述变换域的基，
表示所述重建稀疏系数，下标2表示采用2-范数约束所述训练权重参数
与所述重建稀疏系数
之间的关系，下标1表示采用1-范数约束所述重建稀疏系数
在本实施例中，固定稀疏度
具体为：
需要说明的是，下标2表示采用2-范数约束所述训练权重参数与所述重建稀疏系数之间的关系，以使训练权重参数在原始域内的值的分布利于重建稀疏系数在变换域内进行稀疏表征。下标1表示采用1-范数约束所述重建稀疏系数
进一步地，通过训练过程中的第二实时测试准确率与预设第二基准准确率的比较结果判定迭代结束时机，使得对于重建稀疏系数的迭代结束判断简单易行；通过将固定稀疏度整合进第一损失函数一得到第二损失函数，并根据第二损失函数对重建稀疏系数进行训练，使得在不改变变换域内的重建稀疏系数的稀疏度前提下，对重建稀疏系数进行训练，进而实现尽可能充分挖掘网络权重参数的稀疏性；通过采用2-范数约束所述训练权重参数与所述重建稀疏系数之间的关系，以使训练权重参数在原始域内的值的分布利于重建稀疏系数在变换域内进行稀疏表征。
本申请还提供一种基于压缩感知的神经网络模型压缩设备。
所述基于压缩感知的神经网络模型压缩设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的基于压缩感知的神经网络模型压缩程序，其中所述基于压缩感知的神经网络模型压缩程序被所述处理器执行时，实现如上所述的基于压缩感知的神经网络模型压缩方法的步骤。
其中，所述基于压缩感知的神经网络模型压缩程序被执行时所实现的方法可参照本申请基于压缩感知的神经网络模型压缩方法的各个实施例，此处不再赘述。
本申请还提供一种计算机可读存储介质。
本申请计算机可读存储介质上存储有基于压缩感知的神经网络模型压缩程序，所述基于压缩感知的神经网络模型压缩程序被处理器执行时实现如上所述的基于压缩感知的神经网络模型压缩方法的步骤。
其中，所述基于压缩感知的神经网络模型压缩程序被执行时所实现的方法可参照本申请基于压缩感知的神经网络模型压缩方法各个实施例，此处不再赘述。
Claims (20)
1.一种基于压缩感知的神经网络模型压缩方法，其中，所述基于压缩感知的神经网络模型压缩方法包括：
获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，得到训练权重参数、以及与所述训练权重参数对应的观测矩阵，其中，所述第一损失函数根据神经网络建模思想与压缩感知建模思想联合设计所得；
根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度；以及，
将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，并根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。
2.如权利要求1所述的基于压缩感知的神经网络模型压缩方法，其中，所述获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，得到训练权重参数、以及与所述训练权重参数对应的观测矩阵的步骤包括：
获取待压缩神经网络模型的原始权重参数，基于所述第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率；以及，
确定所述第一实时测试准确率大于或等于预设第一基准准确率，结束当前迭代训练过程，得到所述训练权重参数、以及与所述训练权重参数对应的观测矩阵。
3.如权利要求2所述的基于压缩感知的神经网络模型压缩方法，其中，所述获取待压缩神经网络模型的原始权重参数，基于所述第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率的步骤包括：
获取所述原始权重参数，将标准正交基作为所述变换域的基，并创建初始化参数；以及，
根据所述第一损失函数与所述标准正交基，在原始域内对所述原始权重参数进行随机梯度下降训练，在变换域内同步诱导训练所述初始化参数，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率；
所述确定所述第一实时测试准确率大于或等于预设第一基准准确率，结束当前迭代训练过程，得到所述训练权重参数、以及与所述训练权重参数对应的观测矩阵的步骤包括：
确定所述第一实时测试准确率大于或等于预设第一基准准确率，结束当前随机梯度下降训练过程，将所述初始化参数训练为所述原始权重参数在变换域内对应的原始稀疏系数，并得到所述训练权重参数与所述观测矩阵。
4.如权利要求3所述的基于压缩感知的神经网络模型压缩方法，其中，所述第一损失函数的表达式为：
∑l(f(x,W),y)+λ||W-ψs||2+μ||s||1，
其中，∑l(f(x,W),y)表示常规损失函数的表达式，λ和μ表示预设乘积因子，W表示所述原始权重参数，ψ表示所述变换域的基，s表示所述原始稀疏系数，下标2表示采用2-范数约束所述训练权重参数W与所述原始稀疏系数s之间的关系，下标1表示采用1-范数约束所述原始稀疏系数s。
5.如权利要求1所述的基于压缩感知的神经网络模型压缩方法，其中，所述根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度的步骤包括：
使用预设采样矩阵、所述变换域的基与所述观测矩阵，进行基于子空间追踪方式的压缩感知重建，得到所述重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度。
6.如权利要求1所述的基于压缩感知的神经网络模型压缩方法，其中，所述将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，并根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型的步骤包括：
将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，基于所述第二损失函数，对所述重建稀疏系数与所述训练权重参数进行迭代训练，并获取对所述重建稀疏系数进行迭代训练过程中与当前网络性能所对应的第二实时准确率；以及，
在检测到所述第二实时测试准确率大于或等于预设第二基准准确率时，结束当前对所述重建稀疏系数的迭代训练过程，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，并根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。
7.如权利要求6所述的基于压缩感知的神经网络模型压缩方法，其中，所述基于所述第二损失函数，对所述重建稀疏系数与所述训练权重参数进行迭代训练，并获取对所述重建稀疏系数进行迭代训练过程中与当前网络性能所对应的第二实时准确率的步骤包括：
根据所述第二损失函数，在所述固定稀疏度下对所述重建稀疏系数与所述训练权重参数进行随机梯度下降训练，并获取对所述重建疏系数进行迭代训练过程中，与当前网络性能所对应的第二实时准确率。
8.如权利要求1所述的基于压缩感知的神经网络模型压缩方法，其中，所述第二损失函数的表达式为：
其中，
表示常规损失函数的表达式，λ和μ表示预设乘积因子，
表示所述训练权重参数，ψ表示所述变换域的基，
表示所述重建稀疏系数，下标2表示采用2-范数约束所述训练权重参数
与所述重建稀疏系数
之间的关系，下标1表示采用1-范数约束所述重建稀疏系数
9.一种基于压缩感知的神经网络模型压缩设备，其中，所述基于压缩感知的神经网络模型压缩设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述计算机可读指令被所述处理器执行时实现如下步骤：
获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，得到训练权重参数、以及与所述训练权重参数对应的观测矩阵，其中，所述第一损失函数根据神经网络建模思想与压缩感知建模思想联合设计所得；
根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度；以及，
将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，并根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。
10.如权利要求9所述的基于压缩感知的神经网络模型压缩设备，其中，所述获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，得到训练权重参数、以及与所述训练权重参数对应的观测矩阵的步骤包括：
获取待压缩神经网络模型的原始权重参数，基于所述第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率；以及，
确定所述第一实时测试准确率大于或等于预设第一基准准确率，结束当前迭代训练过程，得到所述训练权重参数、以及与所述训练权重参数对应的观测矩阵。
11.如权利要求10所述的基于压缩感知的神经网络模型压缩设备，其中，所述获取待压缩神经网络模型的原始权重参数，基于所述第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率的步骤包括：
获取所述原始权重参数，将标准正交基作为所述变换域的基，并创建初始化参数；以及，
根据所述第一损失函数与所述标准正交基，在原始域内对所述原始权重参数进行随机梯度下降训练，在变换域内同步诱导训练所述初始化参数，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率；
所述确定所述第一实时测试准确率大于或等于预设第一基准准确率，结束当前迭代训练过程，得到所述训练权重参数、以及与所述训练权重参数对应的观测矩阵的步骤包括：
确定所述第一实时测试准确率大于或等于预设第一基准准确率，结束当前随机梯度下降训练过程，将所述初始化参数训练为所述原始权重参数在变换域内对应的原始稀疏系数，并得到所述训练权重参数与所述观测矩阵。
12.如权利要求11所述的基于压缩感知的神经网络模型压缩设备，其中，所述第一损失函数的表达式为：
∑l(f(x,W),y)+λ||W-ψs||2+μ||s||1，
其中，∑l(f(x,W),y)表示常规损失函数的表达式，λ和μ表示预设乘积因子，W表示所述原始权重参数，ψ表示所述变换域的基，s表示所述原始稀疏系数，下标2表示采用2-范数约束所述训练权重参数W与所述原始稀疏系数s之间的关系，下标1表示采用1-范数约束所述原始稀疏系数s。
13.如权利要求9所述的基于压缩感知的神经网络模型压缩设备，其中，所述根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度的步骤包括：
使用预设采样矩阵、所述变换域的基与所述观测矩阵，进行基于子空间追踪方式的压缩感知重建，得到所述重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度。
14.如权利要求9所述的基于压缩感知的神经网络模型压缩设备，其中，所述将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，并根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型的步骤包括：
将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，基于所述第二损失函数，对所述重建稀疏系数与所述训练权重参数进行迭代训练，并获取对所述重建稀疏系数进行迭代训练过程中与当前网络性能所对应的第二实时准确率；以及，
在检测到所述第二实时测试准确率大于或等于预设第二基准准确率时，结束当前对所述重建稀疏系数的迭代训练过程，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，并根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。
15.一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：
获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，得到训练权重参数、以及与所述训练权重参数对应的观测矩阵，其中，所述第一损失函数根据神经网络建模思想与压缩感知建模思想联合设计所得；
根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度；以及，
将所述固定稀疏度整合至所述第一损失函数得到第二损失函数，基于所述第二损失函数对所述重建稀疏系数与所述训练权重参数进行迭代训练，得到重训练权重参数，与表征所述重训练权重参数在变换域内稀疏度的目标稀疏系数，并根据所述目标稀疏系数在变换域内映射出压缩后的神经网络模型。
16.如权利要求15所述的计算机可读存储介质，其中，所述获取待压缩神经网络模型的原始权重参数，并基于预设第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，得到训练权重参数、以及与所述训练权重参数对应的观测矩阵的步骤包括：
获取待压缩神经网络模型的原始权重参数，基于所述第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率；以及，
确定所述第一实时测试准确率大于或等于预设第一基准准确率，结束当前迭代训练过程，得到所述训练权重参数、以及与所述训练权重参数对应的观测矩阵。
17.如权利要求16所述的计算机可读存储介质，其中，所述获取待压缩神经网络模型的原始权重参数，基于所述第一损失函数与预设变换域的基，在原始域内对所述原始权重参数进行迭代训练，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率的步骤包括：
获取所述原始权重参数，将标准正交基作为所述变换域的基，并创建初始化参数；以及，
根据所述第一损失函数与所述标准正交基，在原始域内对所述原始权重参数进行随机梯度下降训练，在变换域内同步诱导训练所述初始化参数，并获取对所述原始权重参数进行迭代训练过程中，与当前网络性能所对应的第一实时准确率；
所述确定所述第一实时测试准确率大于或等于预设第一基准准确率，结束当前迭代训练过程，得到所述训练权重参数、以及与所述训练权重参数对应的观测矩阵的步骤包括：
确定所述第一实时测试准确率大于或等于预设第一基准准确率，结束当前随机梯度下降训练过程，将所述初始化参数训练为所述原始权重参数在变换域内对应的原始稀疏系数，并得到所述训练权重参数与所述观测矩阵。
18.如权利要求17所述的计算机可读存储介质，其中，所述第一损失函数的表达式为：
∑l(f(x,W),y)+λ||W-ψs||2+μ||s||1，
其中，∑l(f(x,W),y)表示常规损失函数的表达式，λ和μ表示预设乘积因子，W表示所述原始权重参数，ψ表示所述变换域的基，s表示所述原始稀疏系数，下标2表示采用2-范数约束所述训练权重参数W与所述原始稀疏系数s之间的关系，下标1表示采用1-范数约束所述原始稀疏系数s。
19.如权利要求15所述的计算机可读存储介质，其中，所述根据所述变换域的基与所述观测矩阵进行压缩感知重建，得到表征所述训练权重参数在变换域内稀疏度的重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度的步骤包括：
使用预设采样矩阵、所述变换域的基与所述观测矩阵，进行基于子空间追踪方式的压缩感知重建，得到所述重建稀疏系数，并确定所述训练权重参数在变换域内的固定稀疏度。
20.如权利要求15所述的计算机可读存储介质，其中，所述第二损失函数的表达式为：
其中，
表示常规损失函数的表达式，λ和μ表示预设乘积因子，
表示所述训练权重参数，ψ表示所述变换域的基，
表示所述重建稀疏系数，下标2表示采用2-范数约束所述训练权重参数
与所述重建稀疏系数
之间的关系，下标1表示采用1-范数约束所述重建稀疏系数
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/099752 WO2022000373A1 (zh) | 2020-07-01 | 2020-07-01 | 基于压缩感知的神经网络模型压缩方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112352249A true CN112352249A (zh) | 2021-02-09 |
Family
ID=74427531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080001140.4A Pending CN112352249A (zh) | 2020-07-01 | 2020-07-01 | 基于压缩感知的神经网络模型压缩方法、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112352249A (zh) |
| WO (1) | WO2022000373A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379867A (zh) * | 2021-07-05 | 2021-09-10 | 北京大学深圳研究生院 | 一种基于联合优化采样矩阵的核磁共振图像重建方法 |
| CN113746870A (zh) * | 2021-11-05 | 2021-12-03 | 山东万网智能科技有限公司 | 一种物联网设备数据智能传输方法及系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230225643A1 (en) | 2021-11-18 | 2023-07-20 | Rockley Photonics Limited | Architecture of a photonic integrated circuit (pic) and method for operating the same as well as an optical coupler |
| CN114970622B (zh) * | 2022-05-20 | 2024-08-06 | 哈尔滨工业大学 | 基于深度学习的分布式压缩感知信号重构方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190124346A1 (en) * | 2017-10-19 | 2019-04-25 | Arizona Board Of Regents On Behalf Of Arizona State University | Real time end-to-end learning system for a high frame rate video compressive sensing network |
| CN109978142A (zh) * | 2019-03-29 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 神经网络模型的压缩方法和装置 |
| CN111106836A (zh) * | 2019-10-30 | 2020-05-05 | 北京歌尔泰克科技有限公司 | 图像重构方法和装置 |
| CN111105007A (zh) * | 2018-10-26 | 2020-05-05 | 中国科学院半导体研究所 | 用于目标检测的深度卷积神经网络的压缩加速方法 |
-
2020
- 2020-07-01 WO PCT/CN2020/099752 patent/WO2022000373A1/zh active Application Filing
- 2020-07-01 CN CN202080001140.4A patent/CN112352249A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190124346A1 (en) * | 2017-10-19 | 2019-04-25 | Arizona Board Of Regents On Behalf Of Arizona State University | Real time end-to-end learning system for a high frame rate video compressive sensing network |
| CN111105007A (zh) * | 2018-10-26 | 2020-05-05 | 中国科学院半导体研究所 | 用于目标检测的深度卷积神经网络的压缩加速方法 |
| CN109978142A (zh) * | 2019-03-29 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 神经网络模型的压缩方法和装置 |
| CN111106836A (zh) * | 2019-10-30 | 2020-05-05 | 北京歌尔泰克科技有限公司 | 图像重构方法和装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379867A (zh) * | 2021-07-05 | 2021-09-10 | 北京大学深圳研究生院 | 一种基于联合优化采样矩阵的核磁共振图像重建方法 |
| CN113379867B (zh) * | 2021-07-05 | 2023-09-12 | 北京大学深圳研究生院 | 一种基于联合优化采样矩阵的核磁共振图像重建方法 |
| CN113746870A (zh) * | 2021-11-05 | 2021-12-03 | 山东万网智能科技有限公司 | 一种物联网设备数据智能传输方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022000373A1 (zh) | 2022-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112352249A (zh) | 基于压缩感知的神经网络模型压缩方法、设备及存储介质 | |
| CN105827250B (zh) | 一种基于自适应字典学习的电能质量数据压缩重构方法 | |
| CN110443293B (zh) | 基于双判别生成对抗网络文本重构的零样本图像分类方法 | |
| CN108959794B (zh) | 一种基于深度学习的结构频响动力学模型修正方法 | |
| CN103093431B (zh) | 基于pca字典和结构先验信息的压缩感知重构方法 | |
| CN102332153A (zh) | 基于核回归的图像压缩感知重构方法 | |
| Almasri et al. | Toward compressed sensing of structural monitoring data using discrete cosine transform | |
| Wan et al. | An improved complex multi-task Bayesian compressive sensing approach for compression and reconstruction of SHM data | |
| CN113674172A (zh) | 一种图像处理方法、系统、装置及存储介质 | |
| CN117495714B (zh) | 基于扩散生成先验的人脸图像复原方法、装置及可读介质 | |
| WO2023030381A1 (zh) | 三维人头重建方法、装置、设备及介质 | |
| CN111402922B (zh) | 基于小样本的音频信号分类方法、装置、设备及存储介质 | |
| CN114612671A (zh) | 一种多视图子空间聚类方法、装置、设备及存储介质 | |
| KR20220124273A (ko) | 동적 제스처 인식 방법, 장치, 기기 및 저장 매체 | |
| WO2021159772A1 (zh) | 语音增强方法及装置、电子设备和计算机可读存储介质 | |
| Yun et al. | A pseudoproxy assessment of why climate field reconstruction methods perform the way they do in time and space | |
| CN107895387A (zh) | Mri图像重建方法及装置 | |
| CN116719085A (zh) | 一种地震记录高分辨率处理方法、装置、设备及存储介质 | |
| CN109766260B (zh) | 配置测试动作的方法、装置、电子设备和存储介质 | |
| CN116228616A (zh) | 基于边界约束的可解释压缩感知图像重建方法 | |
| CN113239190B (zh) | 文档分类方法、装置、存储介质及电子设备 | |
| CN112346126A (zh) | 低级序断层的识别方法、装置、设备及可读存储介质 | |
| Roy et al. | An iterative framework for software architecture recovery: An experience report | |
| CN114365151A (zh) | 神经网络模型转化方法、装置、服务器及存储介质 | |
| CN116956857B (zh) | 一种试验任务数据采集方案的设计方法和设计系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |