CN114821100B - 基于结构组稀疏网络的图像压缩感知重建方法 - Google Patents

Abstract

本发明公开了一种基于结构组稀疏网络的图像压缩感知重建方法，所述方法为：为图像块构造相似组，将图像块与其相似组输入卷积神经网络；将图像块相似组输入边缘轮廓重构分支，通过其中的局部残差递归网络和亚相素层，获得对图像边缘轮廓的重建；将图像块相似组输入局部细节重构分支，通过其中的密集连接网络和多尺度编解码网络模块，获得对图像细节纹理的重建；将两分支重建图像进行融合，输出得到对原始图像的重建图；训练中，设计并采用结构组稀疏约束损失函数进行训练约束。这种方法能节约计算资源、能提高图像的重建精度。

Description

基于结构组稀疏网络的图像压缩感知重建方法

技术领域

本发明涉及智能信息处理技术领域，具体是一种基于结构组稀疏网络的图像压缩感知重建方法。

背景技术

压缩感知作为一种新兴的对信息进行采样压缩的处理手段，能够在比奈奎斯特采样率更低的采样率下对信息进行有效恢复与重建，并且由于奈奎斯特采样定律需要对信息进行先采样再压缩来剔除冗余信息，而压缩感知将信息的采样与压缩同步完成，使得信息的提取更加高效，因此压缩感知技术常被应用于医学图像，遥感图像重建等问题中，以较低的采样率来恢复原始信息，可以更好的节约硬件设备资源。压缩感知图像重建作为一个不适定的逆问题，旨在解决从较低采样率下得到的观测值中恢复出原始图像信息。

近年来，由于深度学习技术的在计算机视觉任务中的广泛发展，使得压缩感知图像重建问题可以得到有效的解决，相对于传统的重建方法，基于深度学习的重建方法使得图像的重建精度得到了更大的提升，并且减小计算量和显存的消耗。基于深度学习的方法通过不断优化网络中的权重参数，对图像中所包含的特征进行有效提取与利用，完成对图像结构信息的有效重建。然而现有的基于深度学习的方法所重建出来的图像大多过于平滑，轮廓局部细节信息缺失导致图像整体结构特征不明显，并且针对不同结构特征采用同一尺度卷积核进行特征提取，造成计算量过大，计算资源的严重浪费。

发明内容

本发明的目的是针对现有图像重建技术的不足，通过有效利用图像中所存在的先验信息，提供一种基于结构组稀疏网络的图像压缩感知重建方法。这种方法能节约计算资源、能提高图像的重建精度。

实现本发明目的的技术方案是：

一种基于结构组稀疏网络的图像压缩感知重建方法，包括如下步骤：

1)获取观测数据：将91-images数据集和BSD200-train数据集作为训练集、再将训练集中的图像进行随机裁剪，获得大小为B×B的不重叠的图像块x_i，其中，i＝1,2,…,M,将图像块向量化为N×1维的列向量、并将列向量归一化到[0,1]区间、用随机高斯矩阵φ进行采样，获得对应的压缩观测值y_i＝φx_i，i＝1,2,…,M；

2)构建每个图像块的相似组Y_i：计算单个图像块的压缩观测值y_i与其它图像块的压缩观测值y_j的余弦相似性其中，y_i表示局部图像块x_i的压缩观测值，y_j表示图像块x_j的压缩观测值，并将相似度按照从大到小次序进行排列，取相似度最大的5项对应的压缩观测值构造相似组/>

3)采用局部细节重构分支获得细节信息重构图像块相似组将各压缩观测值相似组Y_i，i＝1,2,…,M输入到F₁分支，采用全连接网络进行线性映射得到初始重建图像相似组Z_i,1，并将初始重建图像相似组Z_i,1输入残差网络F₂进行特征增强得到增强重建图像相似组/>如公式(1)、(2)所示：

Z_i,1＝α(F_f(W₁,Y_i)) (1)，

其中，F_f表示全连接网络，W₁表示全连接参数，α为激活函数操作，F₂为残差网络,W₂为残差网络参数，F₁分支采用全连接网络层F_f对相似组Y_i内压缩观测值进行升维、转换尺寸，得到大小为B×B的初始重建图像块相似组Z_i,1；

4)采用边缘轮廓重构分支获得边缘轮廓重构图像块相似组将各压缩观测值相似组Y_i，i＝1,2,…,M输入到F₃分支采用全连接网络进行线性映射得到初始重建图像相似组Z_i,2，并将初始重建图像相似组Z_i,2输入局部残差递归网络F₄得到的增强重建图像相似组将增强重建图像相似组内增强重建图像采用亚像素上采样得到与原始分辨率大小相同B×B的增强重建图像，完成对图像整体轮廓的重建，如公式(3)、(4)所示：

Z_i,2＝α(F_f1(W₃,Y_i)) (3)，

其中,F_f1表示全连接网络，W₃表示全连接参数，α为激活函数操作，F₄为残差网络，W₄为残差网络参数，up_sub为亚像素上采样，F₃分支采用全连接网络层F_f1对相似组Y_i内压缩观测值进行升维、转换尺寸，得到大小为的初始重建图像相似组Z_i,2；

5)对两分支增强重建图像相似组进行特征融合：对步骤4)中两分支得到的增强重建相似组内的图像/>进行特征融合，如公式(5)所示：

输出重建图像相似组其中z_i为原始图像块估计值，/> 为其相似图像块估计值；

6)采用结构组稀疏约束损失进行网络训练：如公式(6)所示：

其中，Y_i为压缩观测值相似组，φ为观测矩阵，Z_i为重建图像相似组，x_i为原始图像块，为重构的相似图像，将步骤5)得到的最终输出的重建图像相似组Z_i内图像通压缩观测矩阵φ进行采样后与步骤2)中得到的原始图像块x_i的压缩观测相似组Y_i构建相似组内局部结构稀疏约束损失/>计算相似组内图像损失，对组内图像训练进行约束，同时通过计算局部图像块x_i与步骤5)中得到的输出相似组Z_i中的相似图像块估计值/>的加权构造块间非局部稀疏约束损失/>对局部图像块重建进行约束，并将两种损失进行组合构建结构组稀疏约束损失/>计算网络训练误差值,通过反向传播对网络参数进行优化。

步骤3)中所述残差网络F₂具体过程为：

3-1)对F₁分支得到的初始重建图像相似组Z_i,1内初始重建图像首先采用密集连接网络F_d做浅层特征提取得到特征图并将提取的特征图/>输入由两次下采样和两次上采样组成的多尺度编解码网络F_c-d提取图像多尺度语意特征，最后将编解码网络的输出图像与初始重建图像相似组Z_i,1内的初始重建图像块进行全局残差相加融合，得到局部细节重构分支的增强重建图像相似组/>如公式(7)、(8)、(9)、(10)、(11)、(12)、(13)所示：

其中，F_d表示密集连接网络，F_c1,F_c2,F_c3表示编码器中提取特征的卷积操作，F_d1,F_d2,F_d3表示解码器中提取特征的卷积操作，表示下采样/>up₂,up₄分别表示上采样2倍、4倍，W₅,W₆表示卷积参数。

步骤4)中所述局部残差递归网络F₄具体过程为：

4-1)对F₂得到的初始重建图像相似组Z_i,2中的初始重建图像采用3个局部残差模块F_r1,F_r2,F_r3进行特征提取与图像增强，每个局部残差模块通过堆叠两个3×3大小的卷积核做特征提取，并将每个局部残差模块的输出通过递归的形式输出后与初始重建图像相似组内初始重建图像进行通道拼接，采用亚像素卷积上采样后得到包含B×B大小的增强重建图像相似组如公式(14)、(15)、(16)、(17)所示：

其中，F_r1,F_r2,F_r3表示提取图像特征的卷积操作，up_sub表示亚像素上采样，concat表示通道拼接。

本技术方案的特点及有益效果是：

(1)本技术方案采用基于深度学习的方式进行压缩感知图像重建，采用端到端的映射方式完成从压缩观测值到图像估计值的重构过程，利用图像中的非局部自相似性这种先验信息构建网络损失，实现对单个图像块信息的有效估计，使网络能够充分学习图像内部固有属性，避免网络中因训练过程中使用不同图像进行训练造成网络训练不稳定的现象；

(2)本技术方案依据图像中所包含的结构特征，将图像分层结构特征采用不同的网络结构进重建，依据图像局部细节特征存在于较小的感受野中，采用多尺度的方式对局部细节特征进行提取重构，以往采用不同尺度的卷积核来提取不同尺度特征的方式造成参数量过大，计算资源的浪费，在对局部细节特征提取与重建过程中使用编解码的方式对图像多尺度特征进行提取，不仅能够减小网络参数量，同时将编码器特征与解码器特征进行有效的融合，使得网络特征得到有效利用，针对图像轮廓特征存在于较大的感受野中的特点，采用大的卷积核进行特征提取造成计算和显存的增加，将生成图像尺度缩小后进行特征提取再进行上采样可有效避免计算资源的浪费，并且采用局部残差以及递归形式，将局部残差信息进行有效融合，避免梯度消失的同时也使得网络浅层特征得到有效的利用；

(3)本技术方案采用结构组稀疏损失函数对网络训练进行约束，增加网络训练稳定性的同时可以提高局部图像重建精度。

这种方法能节约计算资源、能提高图像的重建精度。

附图说明

图1为实施例中方法的示意图；

图2为实施例中的多尺度编解码网络结构示意图；

图3为实施例中的残差递归神经网络结构示意图。

具体实施方式

下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。

实施例：

参照图1，一种基于结构组稀疏网络的图像压缩感知重建方法，包括如下步骤：

1)获取观测数据：将91-images数据集和BSD200-train数据集作为训练集、再将训练集中的图像进行随机裁剪，获得大小为B×B的不重叠的图像块x_i，其中，i＝1,2,…,M,将图像块向量化为N×1维的列向量、并将列向量归一化到[0,1]区间、用随机高斯矩阵φ进行采样，获得对应的压缩观测值y_i＝φx_i，i＝1,2,…,M；

2)构建每个图像块的相似组Y_i：计算单个图像块的压缩观测值y_i与其它图像块的压缩观测值y_j的余弦相似性其中，y_i表示局部图像块x_i的压缩观测值，y_j表示图像块x_j的压缩观测值，并将相似度按照从大到小次序进行排列，取相似度最大的5项对应的压缩观测值构造相似组/>

3)采用局部细节重构分支获得细节信息重构图像块相似组将各压缩观测值相似组Y_i，i＝1,2,…,M输入到F₁分支，采用全连接网络进行线性映射得到初始重建图像相似组Z_i,1，并将初始重建图像相似组Z_i,1输入残差网络F₂进行特征增强得到增强重建图像相似组/>如公式(1)、(2)所示：

Z_i,1＝α(F_f(W₁,Y_i)) (1)，

其中，F_f表示全连接网络，W₁表示全连接参数，α为激活函数操作，F₂为残差网络,W₂为残差网络参数，F₁分支采用全连接网络层F_f对相似组Y_i内压缩观测值进行升维、转换尺寸，得到大小为B×B的初始重建图像块相似组Z_i,1；

4)采用边缘轮廓重构分支获得边缘轮廓重构图像块相似组将各压缩观测值相似组Y_i，i＝1,2,…,M输入到F₃分支采用全连接网络进行线性映射得到初始重建图像相似组Z_i,2，并将初始重建图像相似组Z_i,2输入局部残差递归网络F₄得到的增强重建图像相似组将增强重建图像相似组内增强重建图像采用亚像素上采样得到与原始分辨率大小相同B×B的增强重建图像，完成对图像整体轮廓的重建，如公式(3)、(4)所示：

Z_i,2＝α(F_f1(W₃,Y_i)) (3)，

其中,F_f1表示全连接网络，W₃表示全连接参数，α为激活函数操作，F₄为残差网络，W₄为残差网络参数，up_sub为亚像素上采样，F₃分支采用全连接网络层F_f1对相似组Y_i内压缩观测值进行升维、转换尺寸，得到大小为的初始重建图像相似组Z_i,2；

5)对两分支增强重建图像相似组进行特征融合：对步骤4)中两分支得到的增强重建相似组内的图像/>进行特征融合，如公式(5)所示：

输出重建图像相似组其中z_i为原始图像块估计值，/> 为其相似图像块估计值；

6)采用结构组稀疏约束损失进行网络训练：如公式(6)所示：

其中，Y_i为压缩观测值相似组，φ为观测矩阵，Z_i为重建图像相似组，x_i为原始图像块，为重构的相似图像，将步骤5)得到的最终输出的重建图像相似组Z_i内图像通压缩观测矩阵φ进行采样后与步骤2)中得到的原始图像块x_i的压缩观测相似组Y_i构建相似组内局部结构稀疏约束损失/>计算相似组内图像损失，对组内图像训练进行约束，同时通过计算局部图像块x_i与步骤5)中得到的输出相似组Z_i中的相似图像块估计值/>的加权构造块间非局部稀疏约束损失/>对局部图像块重建进行约束，并将两种损失进行组合构建结构组稀疏约束损失/>计算网络训练误差值,通过反向传播对网络参数进行优化。

步骤3)中所述残差网络F₂具体过程为：

3-1)如图2所示，对F₁分支得到的初始重建图像相似组Z_i,1内初始重建图像首先采用密集连接网络F_d做浅层特征提取得到特征图并将提取的特征图/>输入由两次下采样和两次上采样组成的多尺度编解码网络F_c-d提取图像多尺度语意特征，最后将编解码网络的输出图像与初始重建图像相似组Z_i,1内的初始重建图像块进行全局残差相加融合，得到局部细节重构分支的增强重建图像相似组/>如公式(7)、(8)、(9)、(10)、(11)、(12)、(13)所示：

其中，F_d表示密集连接网络，F_c1,F_c2,F_c3表示编码器中提取特征的卷积操作，F_d1,F_d2,F_d3表示解码器中提取特征的卷积操作，表示下采样/>up₂,up₄分别表示上采样2倍、4倍，W₅,W₆表示卷积参数。

步骤4)中所述局部残差递归网络F₄具体过程为：

4-1)如图3所示，对F₂得到的初始重建图像相似组Z_i,2中的初始重建图像采用3个局部残差模块F_r1,F_r2,F_r3进行特征提取与图像增强，每个局部残差模块通过堆叠两个3×3大小的卷积核做特征提取，并将每个局部残差模块的输出通过递归的形式输出后与初始重建图像相似组内初始重建图像进行通道拼接，采用亚像素卷积上采样后得到包含B×B大小的增强重建图像相似组如公式(14)、(15)、(16)、(17)所示：

其中，F_r1,F_r2,F_r3表示提取图像特征的卷积操作，up_sub表示亚像素上采样，concat表示通道拼接。

本例中采用91-images数据集和BSD200-train数据集作为训练数据集，在进行网络训练之前，首先对训练数据集进行预处理，将RGB颜色域转换到YCrCb颜色域，提取亮度通道，对转换后的每张图片采用不重叠的方式滑动取块，将数据集中图片裁剪为16x16大小的图像块，将所得图像块转换成256x1维列向量，将向量中的每一维的值归一化到[0，1]区间内，以加快网络收敛速度，网络输入由每张图片所裁剪的图像块经过高斯随机矩阵进行采样后得到的观测值构成，并且提取图像块的亮度分量作为训练网络中的监督标签，本例中所采用的观测矩阵由满足有限等距约束的高斯随机矩阵构成，采样率分别设置为{0.01，0.04，0.05，0.10，0.15，0.20，0.25}，训练完成后，采用set6数据集和set11数据集进行测试。

本例中网络采用Adam方式进行训练，网络训练500次，网络初始学习率为0.001，采用自适应方式调整学习率，当损失值在经过10个epoch后趋于平缓不下降时，将学习率下降5倍，最低学习率设置为10^-6，本例中在Inter Core i5-8400@2.80GHz CPU Nvidia GeforceRTX 2080Ti GPU平台下进行。

对比实验将本例中方法、D-AMP、ReconNet、NL-MRN方法进行对比，分别对图像相应指标PSNR,SSIM进行比较，并将重建图像进行可视，结果是本例中的方法图像重建效果更好，各项指标都优于对比实验算法，具体见下表1：

表1各采样率下不同重建方法平均PSNR和SSIM比较

Claims (3)

1.一种基于结构组稀疏网络的图像压缩感知重建方法，其特征在于，包括如下步骤：

1)获取观测数据：将91-images数据集和BSD200-train数据集作为训练集、再将训练集中的图像进行随机裁剪，获得大小为B×B的不重叠的图像块x_i，其中，i＝1,2,…,M,将图像块向量化为N×1维的列向量、并将列向量归一化到[0,1]区间、用随机高斯矩阵φ进行采样，获得对应的压缩观测值y_i＝φx_i，i＝1,2,…,M；

2)构建每个图像块的相似组Y_i：计算单个图像块的压缩观测值y_i与其它图像块的压缩观测值y_j的余弦相似性其中，y_i表示局部图像块x_i的压缩观测值，y_j表示图像块x_j的压缩观测值，并将相似度按照从大到小次序进行排列，取相似度最大的5项对应的压缩观测值构造相似组/>

3)采用局部细节重构分支获得细节信息重构图像块相似组将各压缩观测值相似组Y_i，i＝1,2,…,M输入到F₁分支，采用全连接网络进行线性映射得到初始重建图像相似组Z_i,1，并将初始重建图像相似组Z_i,1输入残差网络F₂进行特征增强得到增强重建图像相似组如公式(1)、(2)所示：

Z_i,1＝α(F_f(W₁,Y_i)) (1)，

其中，F_f表示全连接网络，W₁表示全连接参数，α为激活函数操作，F₂为残差网络,W₂为残差网络参数，F₁分支采用全连接网络层F_f对相似组Y_i内压缩观测值进行升维、转换尺寸，得到大小为B×B的初始重建图像块相似组Z_i,1；

4)采用边缘轮廓重构分支获得边缘轮廓重构图像块相似组将各压缩观测值相似组Y_i，i＝1,2,…,M输入到F₃分支采用全连接网络进行线性映射得到初始重建图像相似组Z_i,2，并将初始重建图像相似组Z_i,2输入局部残差递归网络F₄得到的增强重建图像相似组将增强重建图像相似组内增强重建图像采用亚像素上采样得到与原始分辨率大小相同B×B的增强重建图像，完成对图像整体轮廓的重建，如公式(3)、(4)所示：

Z_i,2＝α(F_f1(W₃,Y_i)) (3)，

其中,F_f1表示全连接网络，W₃表示全连接参数，α为激活函数操作，F₄为残差网络，W₄为残差网络参数，up_sub为亚像素上采样，F₃分支采用全连接网络层F_f1对相似组Y_i内压缩观测值进行升维、转换尺寸，得到大小为的初始重建图像相似组Z_i,2；

5)对两分支增强重建图像相似组进行特征融合：对步骤4)中两分支得到的增强重建相似组内的图像/>进行特征融合，如公式(5)所示：

输出重建图像相似组其中z_i为原始图像块估计值，m＝1,2,…,5为其相似图像块估计值；

6)采用结构组稀疏约束损失进行网络训练：如公式(6)所示：

其中，Y_i为压缩观测值相似组，φ为观测矩阵，Z_i为重建图像相似组，x_i为原始图像块，为重构的相似图像，将步骤5)得到的最终输出的重建图像相似组Z_i内图像通压缩观测矩阵φ进行采样后与步骤2)中得到的原始图像块x_i的压缩观测相似组Y_i构建相似组内局部结构稀疏约束损失/>计算相似组内图像损失，对组内图像训练进行约束，同时通过计算局部图像块x_i与步骤5)中得到的输出相似组Z_i中的相似图像块估计值/>的加权构造块间非局部稀疏约束损失/>对局部图像块重建进行约束，并将两种损失进行组合构建结构组稀疏约束损失/>计算网络训练误差值,通过反向传播对网络参数进行优化。

2.根据权利要求1所述的基于结构组稀疏网络的图像压缩感知重建方法，其特征在于，步骤3)中所述残差网络F₂具体过程为：

3-1)对F₁分支得到的初始重建图像相似组Z_i,1内初始重建图像首先采用密集连接网络F_d做浅层特征提取得到特征图并将提取的特征图/>输入由两次下采样和两次上采样组成的多尺度编解码网络F_c-d提取图像多尺度语意特征，最后将编解码网络的输出图像与初始重建图像相似组Z_i,1内的初始重建图像块进行全局残差相加融合，得到局部细节重构分支的增强重建图像相似组/>如公式(7)、(8)、(9)、(10)、(11)、(12)、(13)所示：

其中，F_d表示密集连接网络，F_c1,F_c2,F_c3表示编码器中提取特征的卷积操作，F_d1,F_d2,F_d3表示解码器中提取特征的卷积操作，表示下采样/>up₂,up₄分别表示上采样2倍、4倍，W₅,W₆表示卷积参数。

3.根据权利要求1所述的基于结构组稀疏网络的图像压缩感知重建方法，其特征在于，步骤4)中所述局部残差递归网络F₄具体过程为：

4-1)对F₂得到的初始重建图像相似组Z_i,2中的初始重建图像采用3个局部残差模块F_r1,F_r2,F_r3进行特征提取与图像增强，每个局部残差模块通过堆叠两个3×3大小的卷积核做特征提取，并将每个局部残差模块的输出通过递归的形式输出后与初始重建图像相似组内初始重建图像进行通道拼接，采用亚像素卷积上采样后得到包含B×B大小的增强重建图像相似组如公式(14)、(15)、(16)、(17)所示：

其中，F_r1,F_r2,F_r3表示提取图像特征的卷积操作，up_sub表示亚像素上采样，concat表示通道拼接。