CN115797477B - 用于轻量化部署的剪枝式图像压缩感知方法及系统 - Google Patents

Abstract

本发明涉及用于轻量化部署的剪枝式图像压缩感知方法及系统。其中的方法包括：获取预览图像和与预览图像关联的采样值，将预览图像输入到基于投影梯度算法和深度神经网络的图像压缩感知模型中以计算输出重建图像，其中，深度神经网络包括:用于特征提取的提取层组、用于图像重建的重建层组和设置有两者之间的第三卷积层，进行模型迭代训练时对图像压缩感知模型进行剪枝操作以获得理想压缩比例。本发明使用模型剪枝的方法对深度展开式网络进行模型规模的压缩，使其在计算复杂度和模型规模上达到轻量化部署需求同时保持良好的图像重建质量，并将其部署到移动端设备上，实现了图像的快速采样、信号传递以及节约存储。

Description

用于轻量化部署的剪枝式图像压缩感知方法及系统

技术领域

本发明涉及用于轻量化部署的剪枝式图像压缩感知方法及系统，属于图像处理与信号传输领域。

背景技术

图像压缩感知是一种信息处理领域的数学算法，其指出，当信号具有稀疏性质时，可以通过仅仅采样较少的数据来进行高效的原始信号重建。由于具有采集效率高，存储要求低等优点，图像压缩感知被广泛应用于图像压缩、医学影像成像等领域。具体来说，给定原始图像信号，其采样值可直接由一次随机线性采样得到。由于线性采样矩阵将信号采集与信号压缩集成在一起，使得采样过程变得简单，具有较高的采样效率，同时由于采样值的规模远小于原始信号，压缩感知也具有采样速度快与存储要求小的优点。但同时，受限的采样规模导致图像的重建是一个极度病态的问题。

由于从受限采样值恢复原始信号本质上是一个欠定方程组，现有的压缩感知算法往往会引入额外的先验信息来约束解空间。常见的先验有稀疏先验（Sparse prior），低秩先验（Low-rank prior）和深度先验（Deep prior）等。同时，伴有先验的压缩感知重建问题可以由许多非线性迭代算法来进行求解。比较流行的几种迭代算法有迭代阈值收缩算法（Iterativeshrinkage-thresholding algorithm， ISTA），交替方向乘子法（Alternatingdirection method of multipliers，ADMM）和近似消息传递算法（Approximate messagepassing，AMP）等。这些算法具有良好的可解释性，同时有可靠的数学收敛性证明。但由于其基于优化的迭代方式十分耗时，无法达到实际应用的需求。

伴随着深度学习的兴起，基于数据驱动的深度模型可以使用一次前向传播就将采样值重建为原始信号。因此，有研究将深度学习与传统的非线性迭代算法结合，提出深度展开式网络。这些模型基于不同的迭代算法，使用深度网络替换传统算法中人为设定的超参数，并将无限迭代的重建过程更改为截断式网络，使得信号在有限次的迭代中就可以达到令人满意的重建效果。但由于基于截断式迭代的方式，这些模型在设计中往往包含子模型的多次重复，导致模型规模的大幅上升，使其难以满足移动端轻量模型的需求。

这些重复的网络结构导致了许多问题：（1）对于迭代次数过多的深度展开式网络，其计算延迟会导致模型无法达到实际应用的标准，尤其是具有实时信号传递、图像重建要求的任务；（2）图像压缩感知大大缩小了采样时间与存储需求，但当将深度展开式网络部署到移动设备如手机，手表，无人机等终端设备上时，规模庞大的模型往往难以满足这些设备对于计算能力和存储空间的严格要求。

发明内容

本发明提供用于轻量化部署的剪枝式图像压缩感知方法及系统，旨在至少解决现有技术中存在的技术问题之一。

本发明的技术方案涉及一种图像压缩感知方法，根据本发明的方法包括以下步骤：

S100、获取预览图像和与所述预览图像关联的采样值；其中，所述采样值根据用户选择的压缩比例生成，所述预览图像根据所述压缩比例缩放原始图像生成；

S200、将所述预览图像输入到基于投影梯度算法和深度神经网络的图像压缩感知模型中，以计算输出重建图像；其中，所述深度神经网络包括:用于特征提取的提取层组，所述提取层组包括第一卷积层和下采样层；用于图像重建的重建层组，所述重建层组包括上采样层和第二卷积层；所述提取层组和所述重建层组之间设置有第三卷积层；

其中，进行模型迭代训练时对所述图像压缩感知模型进行剪枝操作以获得理想压缩比例，所述剪枝操作包括以下步骤：

S321、根据卷积通道参数及预设的重要性权重进行参数重要性估算；

S322、根据参数重要性的估算和预设的衡量阈值，对卷积通道参数进行保留或者抛弃；

S323、对剪枝后的模型进行微调以恢复性能；

S324、重复步骤S321到步骤S323直至获得所述理想压缩比例。

进一步，对于所述步骤S100，所述采样值由一次性随机采用得到，所述采样值计算如下：

式中，表示线性采样矩阵，；表示所述原始图像，。

进一步，所述图像压缩感知模型的目标函数计算如下：

 其中，

 式中，

表示所述投影梯度算法的输出值；

表示当前获得的重建图像；

表示第次迭代，；

表示参数的设置，其中表示通过所述深度神经网络自动学习获得的可变的步长，表示临近映射算子，式中，表示特定的函数，为已知量，表示需要求解的未知量。

进一步，所述模型迭代训练还包括以下步骤：

S210、通过损失函数计算所述深度神经网络的损失值，用于在模型迭代训练过程中更新所述图像压缩感知模型的模型参数，直至经过训练后的损失值小于设定的迭代阈值则停止训练。

进一步，所述损失函数计算如下：

 式中，表示所述重建图像，是对应的所述原始图像，表示训练集元素个数，表示所述重建图像和所述原始图像之间的差异。

进一步，所述提取层组和所述重建层组的数量均为两个。

进一步，所述采样值由一次随机线性采样获得。

本发明的技术方案还涉及计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施上述的方法。

本发明的技术方案还涉及一种图像压缩感知系统，所述系统包括计算机装置，该计算机装置包含上述计算机可读存储介质。

进一步，所述计算机装置包括移动设备，所述原始图像存放于所述移动设备中或者所述原始图像通过所述移动设备拍照获得。

本发明的有益效果如下：

本发明的用于轻量化部署的剪枝式图像压缩感知方法及系统，提出使用模型剪枝的方法对深度展开式网络进行模型规模的压缩，使其在计算复杂度和模型规模上达到轻量化部署需求同时保持良好的图像重建质量，并将其部署到移动端设备上，实现了图像的快速采样、信号传递以及节约存储。其采用的图像压缩感知方法具有采样快、存储少和重建质量好等优点，可以满足资源有限终端的需求，同时在本地即可完成高质量图像的重建，使其可以被推广至更多移动端设备。该模型根据输入的采样值、采样矩阵与采样率进行图像重建并输出重建的高质量图像，采用了压缩感知随机线性采样矩阵的设计，具有高效的采样速率和极低的采样率，可极大地节省存储空间。基于深度展开式网络的图像压缩感知模型可以在计算复杂度和模型规模上达到轻量化部署的需求。

附图说明

图1是根据本发明的图像压缩感知方法的总体流程图。

图2是根据本发明方法的图像压缩感知模型的结构示意图。

图3是根据本发明方法的模型剪枝操作的流程示意图。

图4是根据本发明方法的模型操作流程示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。本文所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言（“例如”、“如”等）的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

参照图1至图4，在一些实施例中，根据本发明的一种图像压缩感知方法，至少包括以下步骤：

S100、获取预览图像和与预览图像关联的采样值；其中，采样值根据用户选择的压缩比例生成，预览图像根据压缩比例缩放原始图像生成。

S200、将预览图像输入到基于投影梯度算法和深度神经网络的图像压缩感知模型中，以计算输出重建图像。

其中，深度神经网络包括:用于特征提取的提取层组，提取层组包括第一卷积层和下采样层；用于图像重建的重建层组，重建层组包括上采样层和第二卷积层；提取层组和重建层组之间设置有第三卷积层。进一步地，提取层组和重建层组的数据均为两个。

步骤S100的具体实施方式

参见图1和图4，本发明的图像压缩感知模型，通过训练数据集进行模型迭代训练后，获得一个用于端到端图像压缩感知重建的模型，然后对模型进行剪枝操作，使模型达到轻量化需求，可部署到移动设备如手机端中，进而释放大量高清图像的存储压力。而原始图像可通过用户拍照获取，也可从存储在移动设备的相册中获取，从而完成原始图像的收集。用户在获取原始图像并选择压缩比例后，根据压缩比例对原始图像进行缩放并生成预览图像，再将预览图像和压缩比例对应的采样值关联并存放于移动设备中，从而满足资源优先的终端需求。需要说明的是，压缩比例可设定为1%、4%、10%、50%等多个数值，用户可以根据实际需求选择不同体量的模型对原始信号进行采样并存储。

存储完成后，用户可通过浏览图像预览库选择需要重建的预览图像并进行重建。具体地，用户从图像预览库中选出预览图像，进而获得与预览图像关联的采样值。图像压缩感知模型根据采样值，获得预览图像的重建图像。

步骤S200的具体实施方式

参见图1和图2，本发明采用基于投影梯度算法和深度神经网络的图像压缩感知模型，可以在计算复杂度和模型规模上达到轻量化部署的需求，并被部署在移动设备如手机上。

具体地，获取原始图像的原始信号，其采样值可由一次线性随机采样得到，其中是线性采样矩阵。称为采样率，由于，图像压缩感知重建需要引入额外的先验信息帮助重建，其优化目标函数表达式为：

 其中，第一项为保真项，目的为重建图像与原图像尽可能相似。第二项为先验项，目的为使重建图像满足一定的先验约束。该上述目标函数中的二次项可以采用线性方式进行线性化求解，其目标函数表达式为：

 其中，可以通过在以下两个步骤中进行迭代来求解：

 式中，表示投影梯度算法的输出值，即近似梯度下降（Proximal gradient decent，PGD）并且是对于保真项的封闭解。表示当前获得的重建图像，即对于先验项的近似求解并且可以通过一个深度网络实现。表示第次迭代，。表示参数的设置，其中表示通过所述深度神经网络自动学习获得的可变的步长，表示临近映射算子，式中，表示特定的函数，为已知量，表示需要求解的未知量。

在一实施例中，参见图2，将采样值输入到图像压缩感知模型后，首先进行投影梯度算法（PGD）获得后，进入到深度神经网络获得，在经过次迭代后，最终输出重建图像。其中，深度神经网络包括两个用于特征提取的提取层组、两个用于图像重建的重建层组和一个第三卷积层，提取层组包括第一卷积层和下采样层，重建层组包括上采样层和第二卷积层，第三卷积层设置于两个提取层组和两个重建层组的中间。从PGD输出的数值依次经过第一个第一卷积层、第一个下采样层、第二个第一卷积层、第二个下采样层、第三卷积层、第一个上采样层、第一个第二卷积层、第二个上采样层和第二个第二卷积层。

在一实施例中，对图像压缩感知模型进行模型迭代训练，参见图2，该迭代过程可由深度展开式网络实现，其中每个迭代都包含上面两个公式的更新，其中PGD对应第一个公式，深度网络Prox对应于第二个公式。每个迭代中的Prox结构相同，为一个由卷积层和采样层构成的深度网络。其中，原始图像首先经过两次卷积层和两次下采样进行特征提取，再经过两次与特征提取对称的上采样和卷积层进行图像重建，该过程总共重复次。

该深度展开式网络可以进行端到端训练，给定原始图像训练集，模型可使用最小损失进行训练：

 式中，表示重建图像，表示迭代次数，参见图2，原始图像经过次迭代后输出重建图像；是对应的原始图像；表示训练集元素个数；为矩阵的欧几里得函数的平方，表示两个图像间的差异，即表示重建图像与原始图像之间的差异。

在一实施例中，进行模型迭代训练时对图像压缩感知模型进行剪枝操作以获得理想压缩比例，其中，剪枝操作包括以下步骤：

S221、根据卷积通道参数及预设的重要性权重进行参数重要性估算；

S222、根据参数重要性的估算和预设的衡量阈值，对卷积通道参数进行保留或者抛弃；

S223、对剪枝后的模型进行微调以恢复性能；

S324、重复步骤S321到步骤S323直至获得所述理想压缩比例。

在一实施例中，参见图3，图像压缩感知模型经过模型迭代训练后，由于深度展开式网络迭代式的网络结构，每个迭代过程中都包含着结构相同的子深度网络Prox。这些重复多次的子网络导致了整体模型的体量增加以及计算复杂度的上升，导致其无法满足移动端轻量化的要求。本发明通过增设模型剪枝的策略，减小每个子深度网络的规模，使其达到轻量化部署的需求。

具体地，模型剪枝操作包括三个步骤：1.参数重要性估计；2.模型剪枝；3.微调。其中，第一步骤参数重要性估计会为卷积层的每一个卷积通道参数weight设置重要性权重W，模型参数调整为，即每个参数乘上重要性权重。为了使模型不同权重的重要性得到区分，模型会在和的约束下再次进行训练，其中为第一步中的重建图像的损失值，为所有权重的（第一次迭代的损失值）约束，即希望模型保持原来重建性能的同时，每个参数的权重越小越好。经过这一步骤后，参数的重要性被成功衡量。在第二步骤为模型剪枝，将不同参数的重要性进行排序，并设置衡量阈值，参数重要性估算值小于衡量阈值的参数会被抛弃，大于该衡量阈值的参数被保留。最终，第三步骤对第二过程剪枝操作后的模型进行微调，使其性能恢复到与原模型一致甚至好于原模型。这三个过程会循环重复进行，直到达到理想的压缩比例。

需要说明的是，由于深度展开式网络迭代式的特点，该模型剪枝操作不仅可以发生在卷积通道和卷积层级别，还可以在迭代层面进行，达到更高的剪枝效率。

应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程（或变型和/或其组合）可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码（例如，可执行指令、一个或多个计算机程序或一个或多个应用）、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在并可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (5)

1.一种图像压缩感知方法，其特征在于，所述方法包括以下步骤：

S100、获取预览图像和与所述预览图像关联的采样值；其中，所述预览图像根据所述压缩比例缩放原始图像获得；所述采样值由一次性随机采样得到，所述采样值计算如下：

式中，表示线性采样矩阵，； 表示所述原始图像，；

S200、将所述预览图像输入到基于投影梯度算法和深度神经网络的图像压缩感知模型中，以计算输出重建图像；其中，所述深度神经网络包括:用于特征提取的提取层组，所述提取层组包括第一卷积层和下采样层；用于图像重建的重建层组，所述重建层组包括上采样层和第二卷积层；所述提取层组和所述重建层组之间设置有第三卷积层；

其中，所述图像压缩感知模型对原始图像的优化计算如下：

其中，

式中，

表示所述投影梯度算法的输出值；

表示当前获得的重建图像；

表示第次迭代，；

表示先验项，为使重建图像满足一定的先验约束；

表示临近映射算子，式中，表示特定的函数，为已知量，表示需要求解的未知量；

其中，进行模型迭代训练时对所述图像压缩感知模型进行剪枝操作以获得理想压缩比例，所述剪枝操作包括以下步骤：

S310、通过损失函数计算所述深度神经网络的损失值，用于在模型迭代训练过程中更新所述图像压缩感知模型的模型参数，直至经过训练后的损失值小于设定的迭代阈值则停止训练;

S321、根据卷积通道参数及预设的重要性权重进行参数重要性估算；

S322、根据参数重要性的估算和预设的衡量阈值，对卷积通道参数进行保留或者抛弃；

S323、对剪枝后的模型进行微调以恢复性能；

S324、重复步骤S321到步骤S323直至获得所述理想压缩比例;

其中，所述损失函数计算如下：

式中，

表示第次迭代后所获得的重建图像，

表示训练集元素个数，

表示所述第次迭代后所获得的重建图像和所述原始图像之间的差异。

2.根据权利要求1所述的方法，其特征在于，所述提取层组和所述重建层组的数量均为两个。

3.一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如权利要求1至2中任一项所述的方法。

4.一种图像压缩感知系统，其特征在于，包括：

计算机装置，所述计算机装置包括根据权利要求3所述的计算机可读存储介质。

5.根据权利要求4所述的图像压缩感知系统，其特征在于，所述计算机装置包括移动设备，所述原始图像存放于所述移动设备中或者所述原始图像通过所述移动设备拍照获得。

Images