CN112884851B

CN112884851B - 基于展开迭代优化算法的深度压缩感知网络的构建方法

Info

Publication number: CN112884851B
Application number: CN202110108699.3A
Authority: CN
Inventors: 石文轩; 辛李麒
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2021-01-27
Filing date: 2021-01-27
Publication date: 2022-06-14
Anticipated expiration: 2041-01-27
Also published as: CN112884851A

Abstract

本发明公开了一种展开迭代优化算法的深度压缩感知网络。该深度压缩感知网络应用于编码端图像自适应压缩采样，并在解码端利用优化算法引导深度神经网络结构设计，从而精确重建原始图像的方法。具体来说，本发明提出了一种新的图像压缩感知深度神经网络架构，并展开为两个模块：采样矩阵模块和重建网络模块，通过端到端学习训练，共同优化网络参数。采样矩阵模块利用数据驱动，从训练图像中学习图像纹理信息，自适应地获得采样矩阵数值，完成压缩感知编码。重构网络模块分为两部分：第一部分将快速迭代软阈值收缩优化算法(FISTA)展开为深度神经网络形式，第二部分使用一组卷积滤波器和非线性激活函数减少分块压缩感知带来的块伪影现象。

Description

基于展开迭代优化算法的深度压缩感知网络的构建方法

技术领域

本发明属于图像压缩和深度学习领域，尤其涉及传统压缩感知优化算法的深度神经网络映射方法。

背景技术

传统的图像采样系统遵循奈奎斯特-香农采样定理，采样比不小于信号最高频率的两倍。然而，在低功耗、低带宽的图像采集和传输系统中，需要降低传感器的功耗和减少数据的存储空间。例如，在无线传感器网络中，需要探索有效的图像压缩方法来消除图像中的冗余。由陶哲轩等人提出的压缩感知(Compressed Sensing:CS)理论指出，当图像在某些变换域中表现出稀疏性时，可用比奈奎斯特采样定理少得多的测量值恢复原始图像，这有利于低功率、低带宽的应用。这种新颖的采样策略掀起了一股研究热潮，为医学成像系统、高速视频、单像素相机、通信系统、磁共振成像等新的成像技术提供了强大的技术支撑。

研究者们提出了大量的方法来应对CS领域的三个挑战。第一个挑战，传统的测量矩阵，如随机高斯矩阵、部分傅里叶矩阵和沃尔什-阿达玛矩阵，是CS任务中常用的测量矩阵，但是，不同的测量矩阵具有不同的图像纹理特征提取效果，这些常用的测量矩阵都是信号无关的，忽略了图像的结构。第二个挑战，传统的稀疏正则化方法利用了图像梯度域、小波域或其它变换域，然而，由于这些正则化方法不能很好地捕捉到复杂的图像稀疏性，往往导致重建结果不佳。而将图像可解释稀疏先验的大量工作引入到CS重建中，则需要手动设置和调整稀疏性正则化参数，如非局部稀疏、组稀疏、基于字典的稀疏等。第三个挑战，已经提出的很多基于稀疏先验的方法，在大多数情况下具有较强的收敛性和理论分析能力，但其计算复杂度往往较高，包括凸优化算法、贪婪算法和迭代收缩阈值算法。因此，确定变换域的最优解、正则化参数以及优化算法所涉及的参数仍是一项具有挑战性的任务。

近年来，在深度学习方法强大学习效果的驱动下，人们提出了从已知信号到原始图像的逆映射方法，如：Reconnet、DR²-Net、BCSnet和TIP-CSNet等。虽然TIP-CSNet设计了一个采样网络来代替预定义的采样矩阵，但是未能直接基于深度神经网络和训练数据来学习采样矩阵。与具有重建可解释性的优化算法相比，这些非迭代的基于深度神经网络的方法大大降低了计算复杂度。然而，这些重建方法中的网络被训练成一个黑盒，虽然可以有效地提取图像信息，但它们不具备重建的可解释性，难以进一步提高CS的重建质量。

为了解决这一问题，一些新的方法将传统迭代优化重建算法映射到深度神经网络结构中，如ISTA-Net和ADMM-CSNet。在ISTA-Net中，利用深度神经网络和基于迭代收缩阈值法(ISTA)的优点对稀疏正则化压缩感知重建模型进行优化，使迭代收缩阈值法能够映射到深度网络中。这些方法通常将传统优化算法展开为特定的深度神经网络结构，通过反向传播训练图像重建的最优网络参数，从而达到更好的重建效果。然而，这些方法往往将图像分割成块，并采用固定的采样矩阵逐块进行图像压缩采样。逐块重建方法只使用块内信息来重建子图像块，这将导致块间信息的缺失，因此通常需要进行耗时的后处理。

本发明针对现有技术的不足提出了一种新的网络结构，称为快速迭代收缩阈值算法压缩感知网络(FISTA-CSNet)，来解决图像压缩感知问题。FISTA-CSNet解决的问题包括：如何设计网络来学习CS测量矩阵，采用什么样的网络结构来寻找图像的稀疏域，快速迭代收缩阈值优化算法(FISTA)如何展开为深度神经网络结构。实验结果表明，本发明提出的深度压缩感知网络，可以有效地重建压缩图像，采用自适应采样矩阵和展开快速迭代收缩阈值算法的深度神经网络结构具有良好的图像重建效果。

发明内容

本发明的目的在于解决图像快速压缩采样和高速高质量重建问题，提出一种将快速迭代收缩阈值算法展开为深度神经网络并用于图像压缩感知重建方法。

与传统压缩感知方法不同，对于压缩采样，本发明利用深度学习的优点从训练数据集学习一个采样矩阵。对于图像重建，本发明将快速迭代收缩阈值算法的迭代过程展开为深度神经网络的架构，完成子图像块快速重建。重建后的子图像块拼接为完整图像并通过深度重建网络恢复块间损失信息，完成整图重建。

为了解决上述技术问题，本发明提供的技术方案如下：

基于展开迭代优化算法的深度压缩感知网络的构建方法，包含采样矩阵、映射网络和非线性深度重建网络三个模块，后两个模块包含多个重复的子单元；采样矩阵的参数表示为Θ₁，映射模块的参数表示为Θ₂，非线性深度重建网络的参数表示为Θ₃；网络总体的学习参数表示为Θ，那么有Θ＝{Θ₁∪Θ₂∪Θ₃}；所有这些参数都将作为神经网络参数进行学习；

所述展开迭代优化算法包含以下步骤：

步骤1，将原始图像x分成一系列大小相同的非重叠子图像块x_i{i＝1,2,3...}，将子图像块x_i{i＝1,2,3...}作为训练数据；

步骤2，将所述训练数据输入到深度神经网络中，采用深度神经网络中包含的采样矩阵对输入数据分别进行压缩采样处理，得到压缩采样后的数据y_i{i＝1,2,3...}；

步骤3，将步骤2得到的压缩数据y_i{i＝1,2,3...}进行初始重建，使其长和宽恢复到压缩采样前子图像块的长和宽，初始重建结果记为

步骤4，将步骤3中多个初始重建结果子图像块输入到多个相同网络结构组成的深度神经网络中实现子图像块的中间转换过程，其中依次包含稀疏化模块、soft(·)函数和反稀疏模块，从而得到每个阶段的最优值

进一步得到最后一阶段最优值

步骤5，将步骤4得到的最后一阶段的最优值

按其对应的子图像块x_i{i＝1,2,3...}在原始图像x中的对应位置进行拼接，得到中间重建图像

步骤6，将步骤5得到的中间重建图像

输入到由级联残差模块组成的深度重建网络，对子图像块间信息进行恢复，输出最终重建图像x′；

步骤7，通过损失函数计算步骤5得到的中间重建图像与原始图像之间的误差以及步骤6得到的最终重建图像与原始图像之间的误差，对误差进行反向传播，更新神经网络参数；

步骤8，重复步骤2-7，直至损失函数计算的误差达到期望值，结束神经网络的训练。

进一步，所述用于深度重建网络训练的网络输入和输出标签都是原始图像x本身，训练数据集可以表示为

其中K为训练图像的总数。

进一步，所述步骤1中将图像分割成大小为w×w×l的非重叠块x_i{i＝1,2,3...}，其中i表示块索引，l表示信道数量，w×w为采样块的大小。

进一步，所述步骤2中，原始图像分块后的压缩采样处理方式为：

y_i＝Φx_i

其中，

是由原始图像x分成尺寸较小的块按列堆叠形成的向量数据；测量矩阵

是一种具有学习特性的自适应矩阵，n为原始子图像块数据大小，m为压缩后子图像块数据大小；

通过y_i＝Φx_i得到CS的测量值y_i{i＝1,2,3...}，其中Φ为大小为m×w²l的采样矩阵，采样矩阵的列大小为w²l；对于采样比T＝m/w²l，采样矩阵中的行

用于获取CS测量值。

进一步，所述步骤3中，利用深度神经网络的学习特性，建立重建矩阵

R_init初始值为全零矩阵，通过公式x⁰＝R_inity生成初始重建值x⁰，并以数据驱动的方式更新随机矩阵R_init。

进一步，所述步骤4中，子图像块的中间转换过程如下：设计与稀疏变换对应的反变换网络结构，将软阈值处理过后的数据进行反卷积变为自然图像信号，从而得到一个阶段的最优值x^k；根据FISTA优化算法的特性，依据x^k以及上一阶段计算出的最优值x^k-1，计算出下一阶段的初始值y^k+1＝x^k+t^k+1(x^k-x^k-1)，通过r^k＝y^k-Φ^T(Φy^k-y)进行下一阶段的计算；在多个阶段迭代计算后得到最终值；其中，y^k与y不同，y^k是由x^k计算而来，与x^k数据大小相同，y是由x得到的压缩感知测量值。

进一步，所述步骤4中，稀疏化模块依次包括变换域D(·)和稀疏域S(·)，其中稀疏域S(·)由两个线性卷积算子Conv和一个线性整流函数ReLU成的，每个算子由d个大小为B×B×d的滤波器组成，两个卷积算子之间由一个ReLU函数进行激活；变换域D(·)由一个线性卷积算子构成，用于从高频分量和噪声中提取可能的变换。

进一步，所述步骤4中，soft(·)对经过卷积结构处理后的稀疏化信号实施软阈值处理，进而可以用于反稀疏模块处理。

更进一步，假设稀疏化信号为z，软阈值为t，那么软阈值的计算方法为：

soft(z,t)＝sgn(z)max{0,|z|-t}

其中，sgn(·)为符号函数。

进一步，所述步骤4中，反稀疏化模块依次包括反稀疏域

和反变换域

其中，反稀疏域

由两个线性卷积算子Conv和一个线性整流函数ReLU组成的，每个算子由d个大小为B×B×d的滤波器组成，两个卷积算子之间由一个ReLU函数进行激活；反变换域

由一个线性卷积算子构成，用于从高频分量和噪声中提取可能的变换；该反变换网络结构，将软阈值处理过后的数据进行反卷积变为自然图像信号，从而得到每个阶段的最优值

进一步，所述步骤7中包括两个损失函数，计算中间重建图像与原始图像，以及最终重建结果与原始图像之间的差距，用于衡量网络重建质量；

对于中间重建图像，设计损失函数:

L_block(Θ₁,Θ₂)＝L_{reconstruction}+γL_constraint

其中，

对于最终重建图像，设计损失函数:

其中，p，N和γ分别是迭代优化算法映射网络的重复次数，原始图像x的大小以及正则化参数。

本发明的有益效果：

本发明在将快速迭代收缩阈值算法(FISTA)映射到神经网络结构的基础上，设计了一个自适应采样矩阵结构，可以从训练图像中学习采样矩阵。这允许CS测量保留更多关于图像结构的信息，以便更好地重建。该采样矩阵符合压缩感知采样模型，可应用于算法计算过程。同时设计了一种利用块间信息的深度重建网络结构，以提高图像CS重建质量，避免块伪像。端到端重建网络提高了图像重建过程的完整性，同时保持了传统映射网络的高性能。

附图说明

图1是本发明方法的流程图；

图2是本发明压缩采样和初始重建的结构示意图；

图3是本发明映射网络的总体结构示意图；

图4是本发明映射网络第k阶段的详细结构示意图；

图5是稀疏化模块的结构示意图；

图6是反稀疏模块的结构示意图。

图7是本发明深度重建网络的结构示意图。

具体实施方式

本发明主要基于深度学习与压缩感知优化算法，考虑深度学习的自适应能力，提出一种自适应迭代优化算法展开网络结构。本发明充分利用了深度学习与优化算法的特性，通过深度学习方法自适应学习算法参数的最优值，提高了图像重建质量。

FISTA-CSNet利用卷积神经网络(CNN)的学习特性完成了以下三个功能：构建分块采样矩阵、将FISTA算法映射到CNN网络以及通过非线性网络结构实现分块之间的信息恢复。本发明的图像压缩采样方法是学习一个采样矩阵，完成高维数据到低维数据的压缩功能。重建网络包括一个FISTA映射网络和一个非线性深度重建网络。映射网络充分利用了基于快速迭代收缩阈值算法和基于深度神经网络的CS方法，将FISTA算法的迭代步骤展开映射到深度网络架构中。非线性深度重建网络是一种卷积神经网络，通过提取图像特征和进行非线性运算来提高重建质量。虽然对原始图像进行分块采样，但通过非线性深度重建网络学习块内信息与块间结构的相关性，可以恢复块间信息。

下面将结合附图1-7及具体实施例对本发明进行详细描述，描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

实施例

本发明提供的方法能够用计算机代码实现网络结构。网络结构的具体描述如下：

步骤1，首先将图像分割成大小为为w×w×l的非重叠块x_i{i＝1,2,3...}，其中i表示块索引，l表示信道数量，w×w为采样块的大小。然后通过y_i＝Φx_i得到CS的测量值y_i{i＝1,2,3...}，其中Φ为大小为m×w²l的采样矩阵，采样矩阵的列大小为w²l。对于采样比T＝m/w²l，采样矩阵中的行

用于获取CS测量值。

步骤2，利用深度神经网络的学习特性，建立重建矩阵

步骤3，FISTA-CSNet使用一个通用的非线性稀疏变换，用S(·)表示图像稀疏结构，添加跳连到稀疏的模块中。通过设计两个线性卷积算子和一个线性整流函数的组合，构造了稀疏模块S(·)。此外，设计了一个卷积算子D(·)，用于从高频分量和噪声中提取变换域。如图5所示，D(·)有d个大小为B×B×l的滤波器，其中l表示通道的数量，S(·)有两个线性卷积算子，每个算子由d个大小为B×B×d的滤波器组成，两个卷积算子之间由一个ReLU函数进行激活。soft(·)对经过卷积结构处理后的稀疏化信号实施软阈值处理。假设稀疏化信号为z，软阈值为t，那么软阈值的计算方法为：

soft(z,t)＝sgn(z)max{0,|z|-t}

其中，sgn(·)为符号函数。

由于变换的可逆性，设计与稀疏变换对应的反变换网络结构，将软阈值处理过后的数据进行反卷积变为自然图像信号，从而得到一个阶段的最优值x^k。根据FISTA优化算法的特性，依据x^k以及上一阶段计算出的最优值x^k-1，计算出下一阶段的初始值y^k+1＝x^k+t^k+1(x^k-x^k-1)，通过r^k＝y^k-Φ^T(Φy^k-y)进行下一阶段的计算。在多个阶段迭代计算后得到最终值。值得注意的是这里的y^k与y不同，y^k是由x^k计算而来，与x^k数据大小相同，y是由x得到的压缩感知测量值。

步骤4，拼接步骤3输出的不重叠子图像块为一个整体图像

再利用由级联残差模块组成的深度重建网络来恢复块与块之间的信息，提高了重建图像质量。首先，第一个卷积层用于产生

的特征图，卷积层由d个大小为B×B×l的滤波器组成。其次，在得到高维特征图后，通过残差网络进一步恢复图像信息，残差网络由m个结构相同的残差块组成。每个残差块由一个卷积层和一个线性整流单元组成，在输入和输出之间有一个跳跃连接。每个卷积层由d个大小为B×B×d的滤波器组成。为了得到最终的输出图像，利用由l个大小为B×B×d的滤波器组成的卷积层对于图像进行降维。在中间重建图像

和输出之间加上一个长跳连来加快网络训练收敛速度。最终输出重建后的图像信号x′。

FISTA-CSNet包含采样矩阵、映射网络和非线性深度重建网络三个模块，后两个模块包含多个重复的子单元。采样矩阵的参数表示为Θ₁，映射模块的参数表示为Θ₂，非线性深度重建网络的参数表示为Θ₃。网络总体的学习参数表示为Θ，那么有Θ＝{Θ₁∪Θ₂∪Θ₃}。所有这些参数都将作为神经网络参数进行学习。

上述采样矩阵和重建网络构成了FISTA-CSNet。给定输入子图像块x_i{i＝1,2,3...}，通过采样矩阵得到压缩测量值y_i{i＝1,2,3...}，然后利用初始重建网络从y_i{i＝1,2,3...}中恢复输入子图像块x_i{i＝1,2,3...}。用于训练网络的输入和输出标签都是原始图像x本身。其特征在于，训练数据集可以表示为

其中K为训练图像的总数。我们设计了两个损失函数，计算中间重建图像与原始图像，以及最终重建结果与原始图像之间的差距，用于衡量网络重建质量。

对于中间重建图像，设计损失函数:

L_block(Θ₁,Θ₂)＝L_{reconstruction}+γL_constraint

其中，

对于最终重建图像，设计损失函数:

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

本发明的仿真实验是在Intel(R)Core(TM)i7-4790 CPU@3.60GHz，Windows 10操作系统的仿真条件下运行的，仿真软件采用PyCharm。在仿真实验中，实验对象分别为：

woman——图像大小344×228；

butterfly——图像大小256×256；

head——图像大小280×280；

bird——图像大小288×288；

baby——图像大小512×512。

将本发明提出的展开迭代优化算法的深度压缩感知网络方法(FISTA-CSNet:ADeep Compressed Sensing Network by Unrolling Iterative OptimizationAlgorithm)与基于组稀疏表示图像恢复算法(GSR：Group-Based Sparse Representationfor Image Restoration)、对压缩感知测量数据进行非迭代的图像重建方法(ReconNet:Non-Iterative Reconstruction of Images from Compressively SensedMeasurements)以及基于可解释优化的深度网络用于图像压缩感知方法(ISTA-Net:Interpretable Optimization-Inspired Deep Network for Image CompressiveSensing)进行比较。

图像重建质量的评价指标为峰值信噪比(Peak Signal to Noise Ratio，PSNR):

其中MSE(x,x′)为均方误差:

将采样率设为0.2，对于五幅图像的重建过程采用默认参数。表1为各种重建方法在0.2倍采样率下重建图像的PSNR，粗体表示同一幅图像最大的PSNR值。可以看到，本发明方法的重建质量全面领先于其它重建方法，证明了本发明所提出的FISTA-CSNet网络结构相比于其它重建方法具有更良好的重建性能。

表1各方法重建图像的PSNR对比结果(dB)

以上所述，仅为本发明较佳的具体实施方式，但本发明保护的范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内所做的任何修改，等同替换和改进等，均应包含在发明的保护范围之内。

Claims

1.基于展开迭代优化算法的深度压缩感知网络的构建方法，其特征在于，

所述深度压缩感知网络包含采样矩阵、映射网络和非线性深度重建网络三个模块，后两个模块包含多个重复的子单元；采样矩阵的参数表示为Θ₁，映射模块的参数表示为Θ₂，非线性深度重建网络的参数表示为Θ₃；网络总体的学习参数表示为Θ，那么有Θ＝{Θ₁∪Θ₂∪Θ₃}；所有这些参数都将作为神经网络参数进行学习；

所述展开迭代优化算法包含以下步骤：

步骤4，将步骤3中多个初始重建结果子图像块输入到多个相同网络结构组成的深度神经网络中实现子图像块的中间转换过程，其中依次包含稀疏化模块、soft(·)软阈值函数和反稀疏化模块，从而得到每个阶段的最优值

进一步得到最后一阶段最优值

步骤5，将步骤4得到的最后一阶段的最优值

步骤6，将步骤5得到的中间重建图像

2.根据权利要求1所述的方法，其特征在于，用于深度重建网络训练的网络输入和输出标签都是原始图像x本身，训练数据集可以表示为

其中K为训练图像的总数。

3.根据权利要求1所述的方法，其特征在于：所述步骤1中将图像分割成大小为w×w×l的非重叠块x_i{i＝1,2,3...}，其中i表示块索引，l表示信道数量，w×w为采样块的大小。

4.根据权利要求1所述的方法，其特征在于：所述步骤2中，原始图像分块后的压缩采样处理方式为：

y_i＝Φx_i

其中，

通过y_i＝Φx_i得到CS的测量值y_i{i＝1,2,3...}，其中Φ为大小为m×w²l的采样矩阵，采样矩阵的列大小为w²l，l表示信道数量，w×w为采样块的大小；对于采样比T＝m/w²l，采样矩阵中的行

用于获取CS测量值。

5.根据权利要求1所述的方法，其特征在于，所述步骤3中，利用深度神经网络的学习特性，建立重建矩阵

R_init初始值为全零矩阵，通过公式x⁰＝R_inity生成初始重建值x⁰，y是由x得到的压缩感知测量值，并以数据驱动的方式更新随机矩阵R_init。

6.根据权利要求1所述的方法，其特征在于，所述步骤4中，子图像块的中间转换过程如下：设计与稀疏变换对应的反变换网络结构，将软阈值处理过后的数据进行反卷积变为自然图像信号，从而得到一个阶段的最优值x^k；根据FISTA优化算法的特性，依据x^k以及上一阶段计算出的最优值x^k-1，计算出下一阶段的初始值y^k+1＝x^k+t^k+1(x^k-x^k-1)，通过r^k＝y^k-Φ^T(Φy^k-y)进行下一阶段的计算；在多个阶段迭代计算后得到最终值；其中，y^k与y不同，y^k是由x^k计算而来，与x^k数据大小相同，y是由x得到的压缩感知测量值。

7.根据权利要求1所述的方法，其特征在于，所述步骤4中，稀疏化模块依次包括变换域D(·)和稀疏域S(·)，其中稀疏域S(·)由两个线性卷积算子Conv和一个线性整流函数ReLU组成的，每个算子由d个大小为B×B×d的滤波器组成，两个卷积算子之间由一个ReLU函数进行激活；变换域D(·)由一个线性卷积算子构成，用于从高频分量和噪声中提取可能的变换。

8.根据权利要求1所述的方法，其特征在于，所述步骤4中，所述soft(·)对经过卷积结构处理后的稀疏化信号实施软阈值处理，进而可以用于反稀疏化模块处理。

9.根据权利要求1所述的方法，其特征在于，所述步骤4中，所述反稀疏化模块依次包括反稀疏域

和反变换域

其中，反稀疏域

由一个线性卷积算子构成，用于从高频分量和噪声中提取可能的变换；该反变换域，将软阈值处理过后的数据进行反卷积变为自然图像信号，从而得到每个阶段的最优值

10.根据权利要求9所述的方法，其特征在于，所述步骤7中包括两个损失函数，计算中间重建图像与原始图像，以及最终重建结果与原始图像之间的差距，用于衡量网络重建质量；

对于中间重建图像，设计损失函数:

L_block(Θ₁,Θ₂)＝L_{reconstruction}+γL_constraint

其中，

对于最终重建图像，设计损失函数:

其中，p，N和γ分别是迭代优化算法映射网络的重复次数，原始图像x的大小以及正则化参数，K为训练图像的总数。