CN112116601A - 一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统 - Google Patents

Abstract

本发明公开一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统，该方法包括：获取训练图像，并通过分割处理将训练图像分割为多个图像块；构建线性采样网络对图像块进行测量，获得各图像块对应的测量值；在生成对抗残差网络中，先通过全连接层对各图像块的测量值进行线性映射处理，获得初始重建结果；将初始重建结果输入残差网络中，训练获得残差信息；将初始重建结果与残差信息进行信号融合，从而得到生成器的生成结果；将生成器的生成结果与原始图像块共同输入鉴别器中进行判断；计算损失函数，对线性采样网络及生成对抗残差网络进行迭代训练，从而得到最终图像重建结果。本发明可有效提高低采样率下重建效果。

Description

一种基于线性采样网络及生成对抗残差网络的压缩感知采样 重建方法及系统

技术领域

本发明属于数字信号处理技术领域，尤其涉及一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统。

背景技术

压缩感知(Compressed sensing，CS)是一种新兴的获取和重建数字数据的技术，目前在图像和视频领域大量使用。它是以压缩感知测量的形式捕获数据，然后再从这些CS测量值中构建原始数据。由于其所需的测量次数远小于奈奎斯特理论的限制，所以在许多应用领域中，压缩感知是非常理想的采样方式，例如单像素照相机、医用扫描仪等。

传统的压缩感知重建方法采用结构化稀疏假设对图像信号进行建模，并运用迭代优化策略求解重建优化问题，然而这种迭代优化的计算方式已经成为图像压缩感知应用的瓶颈，并且在低采样率情况下重建效果较差。

深层神经网络在计算机视觉任务方面取得了一系列的突破，如图像分类、超分辨率和图像恢复等。近来，人们提出了几种用于压缩感知图像重建的深度神经网络。由于其强大的学习能力，现有的基于深度学习的方法有效地避免了在传统方法中计算量大的缺点，并在低采样率下取得了良好的重建性能。

2016年Kulkarni[K.Kulkarni,S.Lohit,P.Turaga,R.Kerviche,and A.Ashok,Reconnet:Non-iterative reconstruction of images from compressively sensedmeasurements,in IEEE Conf.Comp.Vision and Pattern Recog,June 2016.]等人第一次将卷积神经网络用于图像重建当中，其通过全连接层与卷积层的叠加使用，搭建ReconNet网络，使得图像重建速度相比于传统的压缩感知重建速度要快很多，并在低采样率下相较于传统的压缩感知方法取得了更高的重建质量，但其在较高采样率下相较于传统迭代方法重建效果较差。

2019年Dai[H.Yao,F.Dai and S.Zhang et al.,DR2-Net:Deep ResidualReconstruction Network for image compressive sensing,Neurocomputing,https://doi.org/10.1016/j.neucom.2019.05.006]等人将残差网络引入ReconNet网络中，提出使用残差层替代卷积层进行重建，提出了DR2-Net网络模型，在一定程度上提高了图像在高采样率情况下的图像质量，但其重建质量相较于迭代方法仍有一定的差距。

2018年Kulkarni[S.Lohit,K.Kulkarni,R.Kerviche,P.Turaga,and A.Ashok,Convolutional Neural Networks for Non-iterative Reconstruction ofCompressively Sensed Images,IEEE Transactions on Computational Imaging,DOI:10.1109/TCI.2018.2846413]等人在ReconNet的基础上增加生成对抗网络进行训练，构成ReconNet+网络，使得网络在生成器与鉴别器的对抗迭代中，不断优化重建图像，使得重建效果进一步的提高，但其在高采样率下生成效果较差的情况依然存在。

对于传统的压缩感知重建方法，其存在重建时间长，低采样率的情况下图像重建质量较差的缺点；而基于深度学习的ReconNet、DR2-Net和ReconNet+网络模型在较高采样率的情况下图像重建质量仍有待提高。

发明内容

本发明针对目前传统方法在低采样率下重建效果较差以及深度学习方法在高采样率下重建效果不太理想的问题，提出一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统。

为了实现上述目的，本发明采用以下技术方案：

一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法，包括：

步骤1：获取训练图像，并通过分割处理将训练图像分割为多个图像块；

步骤2：构建线性采样网络对图像块进行测量，获得各图像块对应的测量值；

步骤3：在生成对抗残差网络中，先通过全连接层对各图像块的测量值进行线性映射处理，获得初始重建结果；

步骤4：将初始重建结果输入残差网络中，训练获得残差信息；

步骤5：将初始重建结果与残差信息进行信号融合，从而得到生成器的生成结果；

步骤6：将生成器的生成结果与原始图像块共同输入鉴别器中进行判断；

步骤7：计算损失函数，对线性采样网络及生成对抗残差网络进行迭代训练，从而得到最终图像重建结果。

进一步地，所述步骤1包括：

根据预设步长及分块大小对原始图像进行分割，生成多个图像块，并打乱图像块顺序。

进一步地，所述步骤2中线性采样网络的测量过程包括：

y_i＝S(x_i)＝W_s×x_i

其中x_i表示第i个图像块；y_i表示第i个图像块对应的测量向量；S()表示线性采样网络的映射过程；W_s为该线性采样网络的权值参数矩阵，训练后可用作测量矩阵。

进一步地，所述步骤3包括：

采用一个带偏差的全连接层网络对测量值进行重构操作，通过初始重建可得到初始重建图像块：

其中

为第i个图像块对应的初始重建结果，y_i表示第i个图像块对应的测量向量，W_f为全连接层的权值参数矩阵，b_i为全连接层偏差向量。

进一步地，所述步骤4中的残差网络由特征提取层、两个残差块及特征映射层组成。

进一步地，所述步骤5包括：

按照如下方式将初始重建结果与获得的残差信息进行特征融合：

其中

为第i个图像块对应的生成器生成结果，G()为生成器网络的映射过程，Θ_g为生成器网络参数，

为第i个图像块对应的初始重建结果，

表示

对应的残差信息。

进一步地，所述步骤7包括：

对生成器的重建部分设置相应的损失函数：

其中G()为生成器网络的映射过程，Θ_g为生成器网络参数，N表示图像块数目；

通过重建损失结合生成器本身的损失，最终生成器网络损失为：

其中D()为鉴别器网络的映射过程，||.||₂表示凸优化的l2范数，λ_rec、λ_adv为设定的权重参数，Θ_d为鉴别器网络参数；

对鉴别器网络设置相应的损失函数，鉴别器网络损失函数为：

其中z_i为第i个图像块对应的生成器生成结果

与第i个图像块x_i之间的差值，α为一个与x_i维度相同的随机矩阵，λ_z为设定的权重参数，

表示梯度。

一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建系统，包括：

图像处理模块，用于获取训练图像，并通过分割处理将训练图像分割为多个图像块；

线性采样网络构建模块，用于构建线性采样网络对图像块进行测量，获得各图像块对应的测量值；

初始重建模块，用于在生成对抗残差网络中，先通过全连接层对各图像块的测量值进行线性映射处理，获得初始重建结果；

残差模块，用于将初始重建结果输入残差网络中，训练获得残差信息；

特征融合模块，用于将初始重建结果与残差信息进行信号融合，从而得到生成器的生成结果；

鉴别判断模块，用于将生成器的生成结果与原始图像块共同输入鉴别器中进行判断；

迭代训练模块，用于计算损失函数，对线性采样网络及生成对抗残差网络进行迭代训练，从而得到最终图像重建结果。

与现有技术相比，本发明具有的有益效果：

1、本发明采用采样网络自学习生成测量矩阵，用于压缩感知测量过程，可有效提高低采样率下重建效果，并改善现有深度学习在较高采样率下的重建质量；

2、本发明结合生成对抗网络增加残差网络，通过残差，将学习到的残差特征融合到基本重建图像中，进一步减少学习结果与目标之间的差异，并通过生成对抗网络，高效更新生成器网络参数，从而进一步提高图像重建效果。

附图说明

图1为本发明实施例一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法的基本流程图；

图2为本发明实施例一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法的网络结构示意图；

图3为本发明与几种传统重建方法及深度学习重建方法的重建效果对比图；

图4为本发明与ReconNet+方法、DR2-Net方法在不同采样率下鹦鹉图像重建视觉效果和峰值信噪比对比图；

图5为本发明与ReconNet+方法、DR2-Net方法在不同采样率下蝴蝶图像重建视觉效果和峰值信噪比对比图；

图6为本发明与ReconNet+方法、DR2-Net方法在不同采样率下摄影师图像重建视觉效果和峰值信噪比对比图；

图7为本发明与ReconNet+方法、DR2-Net方法在不同采样率下莉娜图像重建视觉效果和峰值信噪比对比图；

图8为本发明实施例一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建系统的结构示意图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的解释说明：

根据压缩感知理论模型，测量向量y＝Φx，其中y表示测量值，Φ表示测量矩阵，x表示原始图像。本发明的目的是为了从测量值数据y尽可能逼真的恢复到原始图像，减少其在恢复过程中的损失。

如图1所示，一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法，包括：

步骤S101：获取训练图像，并通过分割处理将训练图像分割为多个图像块。

进一步地，所述步骤S101包括：

根据预设步长及分块大小对原始图像进行分割，生成多个图像块，并打乱图像块顺序；具体地，对训练用数据按照步长14分割为33×33大小的图像块，并对数据集进行随机化打乱处理，构成训练数据集。其中步长及图像块大小可按实际需求进行调整，该训练数据集图片即为本发明的输入。

步骤S102：构建线性采样网络对图像块进行测量，获得各图像块对应的测量值。

进一步地，所述步骤S102包括：

根据压缩感知理论，建立一个无偏差的全连接层的线性采样网络，如图2所示，通过该采样网络对图像块进行测量，获得各图像块的测量值。由于该采样网络为线性网络，与压缩感知测量过程的线性映射一致，因此，该采样过程可表示为：

y_i＝S(x_i)＝W_s×x_i

其中x_i表示第i个图像块，y_i表示第i个图像块对应的测量向量，S()表示线性采样网络的映射过程，W_s为该全连接层网络的权值参数矩阵。具体地，该采样网络输入为1089个神经元，输出为1089×MR个神经元，其中MR为采样率，在本发明中使用采样率为0.01、0.04、0.10、0.25，对应的输出神经元的个数为10、43、109、272。采样网络通过网络映射方式进行信号测量，并在训练过程中不断更新权值参数矩阵，从而构建适合本发明的测量矩阵，训练完成后，权值参数矩阵即可作为最终的测量矩阵。

步骤S103：在生成对抗残差网络中，先通过全连接层对各图像块的测量值进行线性映射处理，获得初始重建结果。

进一步地，所述步骤S103包括：

在生成对抗残差网络中，先对测量值进行初始重建。初始重建使用一个带偏差的全连接层网络对测量值进行重构操作，通过初始重建可得到初始重建图像块，其过程可表示为：

其中

为第i个图像块对应的初始重建结果，W_f为全连接层的权值参数矩阵，b_i为全连接层偏差向量，该初始重建结果将用于步骤S105特征融合。具体地，该全连接层网络输入为1089×MR个神经元，输出为1089个神经元，在全连接层输出结果后将其转换为33×33大小的图像块。

步骤S104：将初始重建结果输入残差网络中，训练获得残差信息。

进一步地，所述步骤S104包括：

将初始重建结果输入残差网络中，由残差网络可得到图像的残差信息，其中包含初始重建中忽略的部分信息。将步骤S103得到的初始重建结果

通过残差网络获取残差值r_i，即：

其中Res()表示残差网络的映射过程，

表示

对应的残差信息。

进一步地，步骤S104中的残差网络包括特征提取层、两个残差块、特征映射层三部分，如图2所示，其中特征提取层的卷积核大小为11×11，得到64个特征图。每个残差块由连续两个3×3的卷积层构成，每个卷积层得到64个特征。特征映射层由一个1×1的卷积层和一个7×7的卷积层构成，最终得到一个特征图，即残差结果。

步骤S105：将初始重建结果与残差信息进行信号融合，从而得到生成器的生成结果。

进一步地，所述步骤S105包括：

将初始重建结果与获得的残差信息进行特征融合，其过程可表示为：

其中

为第i个图像块对应的生成器生成结果，G()为生成器网络的映射过程，Θ_g为生成器网络参数，

为第i个图像块对应的初始重建结果，

表示

对应的残差信息、即残差结果。

步骤S106：将生成器的生成结果与原始图像块共同输入鉴别器中进行判断。

具体地，由于生成器的初始生成参数为随机值，为了进一步的提高成像质量以及最终生成图像的真实性，我们通过使用鉴别器网络对整个生成的图像与真实图像进行判别。在生成对抗网络中，生成器网络的目标是使生成的数据与真实数据无限接近，而鉴别器的目标是尽可能的分辨出输入数据的真伪，生成器与鉴别器形成对抗关系，在此竞争对抗过程中，可进一步优化生成器的参数，从而提高生成器生成结果。

如图2所示，本实施例的鉴别器网络由多层卷积构成，由连续5个4×4的卷积核构成的卷积层，依次输出4个、8个、16个、32个、32个特征图，随后通过一个1×1的卷积层，输出32个特征图，并最终通过一个全连接层网络映射出1个特征结果，用于判断。

步骤S107：计算损失函数，对线性采样网络及生成对抗残差网络进行迭代训练，从而得到最终图像重建结果。

进一步地，所述步骤S107包括：

在鉴别器进行鉴别之后，根据各个部分的损失函数分别对线性采样网络和生成对抗残差网络重复进行训练，从而获得最好的网络参数。

其中，重建损失为：

其中G()为生成器网络的映射过程，Θ_g为生成器网络参数，N表示图像块数目。该损失是计算重建后信号与原始信号之间的欧几里得误差。

对生成器网络来说，需要结合重建损失及生成器损失作为最终的生成器损失，因此生成器网络损失为：

其中G()为生成器网络的映射过程，D()为鉴别器网络的映射过程，||·||₂表示凸优化的l2范数，λ_rec、θ_adv为设定的权重参数，Θ_g为生成器网络参数，Θ_d为鉴别器网络参数，可根据该生成器损失函数对生成器参数进行更新。

而对于鉴别器网络，其损失函数为：

其中z_i为第i个图像块对应的生成器生成结果

与第i个图像块x_i之间的差值，即重建图像与真实图像之间的差值；α为一个与x_i维度相同的随机矩阵，λ_z为设定的权重参数，

表示梯度。根据该鉴别网络损失函数对鉴别器参数进行更新。

在对生成器网络进行参数更新时，也会对采样网络的全连接层网络参数进行更新，因此本采样方案是一个自学习网络参数并作为测量矩阵的过程。该测量矩阵的学习过程，使得该测量矩阵更适合本发明的网络结构，从而在最终的压缩感知重建过程中获得更好的重建质量。

具体地，在步骤S107中，损失函数会不断计算出损失，用于指导步骤S102至步骤S106的训练过程，步骤S102至步骤S106的过程是一个迭代过程，直到损失降低满足训练要求时，才会结束训练。

在表1中给出了本发明在不同采样率下与ReconNet+、DR2-Net以及传统的TVAL3方法重建耗时的比较，可以看出，本发明在重建时间上相较于传统的TVAL3以及深度学习方法DR2-Net有较大提升，减少了重建时间，虽然本算法重建时间较ReconNet+长0.3s左右，但相对于DR2-Net与ReconNet+相差1.3s以及TVAL3与ReconNet+相差5.4s的差距时间来说，本算法与ReconNet+的重建速度差距不大。

表1重建耗时比较

在图3中，本发明对测试集中的11张图片进行了测试，并与ReconNet+、DR2-Net两种深度学习方法和TVAL3传统重建方法共三种方法进行定量比较分析。其中MR表示采样率，PSNR为峰值信噪比，其表示重建图像与原始图像之间的差距，PSNR数值越大表示重建图像与原始图像越接近。

通过图3可看出，在相同采样率下，本发明所使用方法在重建质量上明显优于TVAL3传统重建方法和ReconNet+、DR2-Net两种深度学习方法。在采样率为0.01时，本发明重建平均PSNR为18.765dB高于TVAL3方法的重建平均PSNR11.31dB，在采样率为0.04时，本发明重建平均PSNR为22.974dB高于TVAL3方法的重建平均PSNR18.39dB，在采样率为0.10时，本发明重建平均PSNR为26.519dB高于TVAL3方法的重建平均PSNR22.84dB，通过对比数据说明本发明解决了传统方法在低采样率下重建效果较差的问题。而在采样率为0.25时，ReconNet+方法在所有图像上重建PSNR结果均低于TVAL3的重建PSNR，而DR2-Net方法在摄影师、工人、房屋三幅图像上的重建PSNR均低于TVAL3的重建PSNR。而本发明重建结果在除芭芭拉图像外的所有重建图像的PSNR均高于TVAL3的重建图像的PSNR，且ReconNet+和DR2-Net在采样率为0.25时，重建平均PSNR分别为25.54dB、28.66dB，本发明重建平均PSNR为30.462dB，分别后比ReconNet+和DR2-Net高出4.92dB和1.80dB，通过对比数据可以看出，本发明也解决了深度学习方法在较高采样率下重建效果不太理想的问题。

在图4-图7中，通过与两种深度学习方法ReconNet+及DR2-Net在四幅图像、不同采样率下重建效果展示，进行定性及定量比较分析。可以明显看出，在采样率为0.25的情况下，本发明所生成图片相对于另外两种深度学习方法，在视觉表现上更具优势，有更好的重建质量，噪声更少，且重建图像的PSNR数值均高于ReconNet+和DR2-Net重建图像的PSNR。而在其余较低采样率下，本发明重建图像特征也更明显，相较于另两种方法包含的图像信息更多，在视觉效果上表现更好，此外，各个图像在重建PSNR也均高于ReconNet+和DR2-Net的重建PSNR。

在上述实施例的基础上，如图8所示，本发明还公开一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建系统，包括：

图像处理模块201，用于获取训练图像，并通过分割处理将训练图像分割为多个图像块；

线性采样网络构建模块202，用于构建线性采样网络对图像块进行测量，获得各图像块对应的测量值；

初始重建模块203，用于在生成对抗残差网络中，先通过全连接层对各图像块的测量值进行线性映射处理，获得初始重建结果；

残差模块204，用于将初始重建结果输入残差网络中，训练获得残差信息；

特征融合模块205，用于将初始重建结果与残差信息进行信号融合，从而得到生成器的生成结果；

鉴别判断模块206，用于将生成器的生成结果与原始图像块共同输入鉴别器中进行判断；

迭代训练模块207，用于计算损失函数，对线性采样网络及生成对抗残差网络进行迭代训练，从而得到最终图像重建结果。

值得说明的是，本发明所阐述的系统是基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法实现，具体实施步骤与前述方法所述过程相同。

综上可知，本发明解决了传统方法在低采样率下重建质量较差的问题，及深度学习方法在较高采样率下重建质量不太理想的问题。本发明采用构建线性采样网络及生成对抗残差网络的方法，通过线性采样网络对测量矩阵进行网络学习，结合残差网络，将学习到的残差特征融合到基本重建图像中，并借助生成对抗网络对于参数更新的优越性，使得重建图像在在较低采样率下也能恢复更多信息特征，在较高采样率下拥有更好的重建质量和视觉效果。

以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法，其特征在于，包括：

步骤1：获取训练图像，并通过分割处理将训练图像分割为多个图像块；

步骤2：构建线性采样网络对图像块进行测量，获得各图像块对应的测量值；

步骤3：在生成对抗残差网络中，先通过全连接层对各图像块的测量值进行线性映射处理，获得初始重建结果；

步骤4：将初始重建结果输入残差网络中，训练获得残差信息；

步骤5：将初始重建结果与残差信息进行信号融合，从而得到生成器的生成结果；

步骤6：将生成器的生成结果与原始图像块共同输入鉴别器中进行判断；

步骤7：计算损失函数，对线性采样网络及生成对抗残差网络进行迭代训练，从而得到最终图像重建结果。

2.根据权利要求1所述的一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法，其特征在于，所述步骤1包括：

根据预设步长及分块大小对原始图像进行分割，生成多个图像块，并打乱图像块顺序。

3.根据权利要求1所述的一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法，其特征在于，所述步骤2中线性采样网络的测量过程包括：

y_i＝S(x_i)＝W_s×x_i

其中x_i表示第i个图像块；y_i表示第i个图像块对应的测量向量；S()表示线性采样网络的映射过程；W_s为该线性采样网络的权值参数矩阵，训练后可用作测量矩阵。

4.根据权利要求1所述的一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法，其特征在于，所述步骤3包括：

采用一个带偏差的全连接层网络对测量值进行重构操作，通过初始重建可得到初始重建图像块：

其中

为第i个图像块对应的初始重建结果，y_i表示第i个图像块对应的测量向量，W_f为全连接层的权值参数矩阵，b_i为全连接层偏差向量。

5.根据权利要求1所述的一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法，其特征在于，所述步骤4中的残差网络由特征提取层、两个残差块及特征映射层组成。

6.根据权利要求1所述的一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法，其特征在于，所述步骤5包括：

按照如下方式将初始重建结果与获得的残差信息进行特征融合：

其中

为第i个图像块对应的生成器生成结果，G()为生成器网络的映射过程，Θ_g为生成器网络参数，

为第i个图像块对应的初始重建结果，

表示

对应的残差信息。

7.根据权利要求1所述的一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法，其特征在于，所述步骤7包括：

对生成器的重建部分设置相应的损失函数：

其中G()为生成器网络的映射过程，Θ_g为生成器网络参数,N表示图像块数目；

通过重建损失结合生成器本身的损失，最终生成器网络损失为：

其中D()为鉴别器网络的映射过程，||·||₂表示凸优化的l2范数，λ_rec、λ_adv为设定的权重参数，Θ_d为鉴别器网络参数；

对鉴别器网络设置相应的损失函数，鉴别器网络损失函数为：

其中z_i为第i个图像块对应的生成器生成结果

与第i个图像块x_i之间的差值，α为一个与x_i维度相同的随机矩阵，λ_z为设定的权重参数，

表示梯度。

8.一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建系统，其特征在于，包括：

图像处理模块，用于获取训练图像，并通过分割处理将训练图像分割为多个图像块；

线性采样网络构建模块，用于构建线性采样网络对图像块进行测量，获得各图像块对应的测量值；

初始重建模块，用于在生成对抗残差网络中，先通过全连接层对各图像块的测量值进行线性映射处理，获得初始重建结果；

残差模块，用于将初始重建结果输入残差网络中，训练获得残差信息；

特征融合模块，用于将初始重建结果与残差信息进行信号融合，从而得到生成器的生成结果；

鉴别判断模块，用于将生成器的生成结果与原始图像块共同输入鉴别器中进行判断；

迭代训练模块，用于计算损失函数，对线性采样网络及生成对抗残差网络进行迭代训练，从而得到最终图像重建结果。

Images