CN114708281B - 基于自适应非局部特征融合网络的图像压缩感知重建方法 - Google Patents

Abstract

本发明公开了一种基于自适应非局部特征融合网络的图像压缩感知重建方法，其特征在于，包括如下步骤：1)训练数据预处理；2)获取测数据y_i；3)构造图像块压缩观测值y_i协同重构组Y_i；4)采用线性映射网络F获得初始重建图像块协同重构组Z_i；5)将协同重构组Z_i进行特征交互得到协同联合重建特征Z_c；6)采用全局残差网络F_r对图像块z_i进行增强重建获得重建图像z′_i；7)采用图像块稀疏约束损失函数对网络训练进行约束。这种方法采用非局部特征为图像块重建提供互补信息，能有效恢复图像中的高频信息。

Description

基于自适应非局部特征融合网络的图像压缩感知重建方法

技术领域

本发明涉及智能信息处理技术领域，具体是一种基于自适应非局部特征融合网络的图像压缩感知重建方法。

背景技术

压缩感知技术作为一种新兴的信息处理手段，能够利用信号的稀疏性在较低采样率下对信号进行精确重建、实现对硬件资源的有效利用。因此将压缩感知技术应用于医学图像重建，遥感图像等领域。采用合适的重建方法精确有效对图像信号重建是压缩感知图像重建问题的重点。

随着深度学习技术在计算机视觉领域的成功应用，使得压缩感知图像重建问题有了更多可解决方法。SDA作为深度学习技术在压缩感知图像重建领域的首次应用，采用堆叠的自编码器对信号进行重建；ReconNet通过使用不同尺度卷积核对图像内部特征进行提取，提高图像重建精度；MS-DCNet采用小波变换对原始图像分解后，在不同尺度上对信号进行采样，因此采样信号中包含更多有用信息，从而提高图像重建质量；perceptual_CS通过一种生成对抗网络的形式有效对图像中高频信息进行重建。

现有的基于深度学习的压缩感知图像重建算法相较于传统重建方法计算复杂度降低，重构效果取得巨大突破。然而在采样信号中信息采集不充分时，很难对图像进行精确重建，在采样时大多采集的是低频信息，高频信息损失，造成重建图像平滑，纹理细节丢失。

发明内容

本发明主要针对对原始信号进行压缩观测时，信息提取不充分，造成重建图像平滑，缺少纹理细节信息问题，提供一种基于自适应非局部特征融合网络的图像压缩感知重建方法。这种方法采用非局部特征为图像块重建提供互补信息，能有效恢复图像中的高频信息。

实现本发明目的的技术方案是：

一种基于自适应非局部特征融合网络的图像压缩感知重建方法，包括如下步骤：

1)训练数据预处理：将T91数据集和BSD500数据集中的图像随机裁剪成大小为B×B的不重叠的图像块x_i,并将图像块x_i向量化为B²×1维列向量，列向量归一化到[0,1]区间得到转换归一化的列向量x′_i，其中，i＝1,2,…,N；

2)获取测数据y_i：采用随机高斯矩阵Φ对步骤1)得到的图像块转化后的列向量x′_i，进行压缩观测，得到相应观测值y_i＝Φx′_i，x′_i∈R^N×1,Φ∈R^M×N,y_i∈R^M×1，其中，i＝1,2,…,N；

3)构造图像块压缩观测值y_i协同重构组Y_i：采用余弦相似性度量步骤2)中得到的图像块压缩观测值y_i与其它分块图像压缩观测值y_j的相似性，构造其协同重构组Y_i＝[y_i,y_i,1,…,y_i,n],其中，j＝1,2,…,N，n＝1,2,…,m；

4)采用线性映射网络F获得初始重建图像块协同重构组Z_i：将步骤3)构造的协同重构组Y_i输入线性映射网络F，如公式(1)所示：

Z_i＝F(W₁,Y_i) (1)，

其中,F表示线性映射网络、采用全连接网络实现，W₁为全连接网络参数，线性映射网络F采用全连接网络层对协同重构组Y_i内压缩观测值升维、转换尺寸，得到大小为B×B的初始重建图像块协同重构组Z_i＝[z_i,z_i,1,…,z_i,n],n＝1,2,…,m；

5)将协同重构组Z_i进行特征交互得到协同联合重建特征Z_c：对步骤4)所获得的协同重构组Z_i中图像块初始估计值z_i及图像块z_i非局部相似特征初始估计值z_i,1,z_i,2,…,z_i,n进行通道拼接，得到协同联合重建特征Z_c，如公式(2)所示：

Z_c＝concat(z_i,z_i,1,…,z_i,n) (2)，

其中，concat表示通道拼接；

6)采用全局残差网络F_r对图像块z_i进行增强重建获得重建图像z′_i：将步骤5)得到的协同联合重建特征Z_c输入由非局部特征自适应交互模块F_lg堆叠组成的全局残差重构网络F_r，进行特征融合，得到最终输出图像z′_i，如公式(3)所示：

z′_i＝z_i+F_r(W₂,Z_c) (3)，

其中，F_r为全局残差网络，z_i为图像块初始重建图像，W₂为残差网络参数；

7)采用图像块稀疏约束损失函数对网络训练进行约束：如公式(4)所示：

其中，x_i为原始图像块，z′_i为重建图像块，y_i为图像块观测值。

步骤6)中所述的非局部特征自适应交互模块F_lg的具体过程为：

2-1)先对得到的初始重建图像块协同重构组Z_i＝[z_i,z_i,1,…,z_i,n],n＝1,2,…,m内图像进行通道拼接，得到通道数为m+1维协同联合重建特征Z_c；再对Z_c采用32个核大小为3×3的非局部特征融合卷积F_d进行自适应特征映射得到32张融合了非局部信息的特征图f₁；将得到的特征图f₁通过通道相关性判别模块F_c-a得到特征图f₂，采用m+1核大小为9×9的非局部特征融合卷积F_d1对特征图f₂特征提取，输出m+1张特征图f₃；最后对特征图f₃采用空间关联性判别模块F_s-a对重要空间结构进行关注，得到最后的输出特征图f_lg；然后采用1×1卷积F_1×1对输出特征图f_lg通道间信息融合后与初始重建图像z_i相加得到最终输出图像z′_i，如公式(5)、(6)、(7)、(8)、(9)所示：

f₁×F_d(W₃,Z_c) (5)，

f₂×F_c-a(W₄,f₁) (6)，

f₃×F_d1(W₅,f₂) (7)，

f_lg×F_s-a(W₆,f₃) (8)，

z′_i＝z_i+F_1×1(W₇,f_lg) (9)，

其中，F_d为核大小为3×3的非局部特征融合卷积，F_c-a为通道相关性判别模块，F_d1为核大小为9×9的非局部特征融合卷积，F_s-a为空间关联性判别模块，F_1×1为1×1卷积，W₃,W₄,W₅,W₆,W₇表示网络参数。

本技术方案的有益效果是：

本技术方案将深度学习技术与图像非局部均值理论相结合，采用端到端的训练方式对图像重建逐步优化，对图像压缩采样率时信息采样不充分问题，采用其非局部相似信息对图像块重建提供互补信息，设计了非局部特征自适应交互模块，自适应对图像非局部相似特征融合，有效重建图像中高频信息，提高重建图像精度。

这种方法采用非局部特征为图像块重建提供互补信息，能有效恢复图像中的高频信息。

附图说明

图1为实施例中方法的网络框架图；

图2非局部特征自适应交互模块框架图。

具体实施方式

下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。

实施例：

参照图1，一种基于自适应非局部特征融合网络的图像压缩感知重建方法，包括如下步骤：

1)训练数据预处理：将T91数据集和BSD500数据集中的图像随机裁剪成大小为B×B的不重叠的图像块x_i,并将图像块x_i向量化为B²×1维列向量，列向量归一化到[0,1]区间得到转换归一化的列向量x′_i，其中，i＝1,2,…,N；

2)获取测数据y_i：采用随机高斯矩阵Φ对步骤1)得到的图像块转化后的列向量x′_i，进行压缩观测，得到相应观测值y_i＝Φx′_i，x′_i∈R^N×1,Φ∈R^M×N,y_i∈R^M×1，其中，i＝1,2,…,N,；

3)构造图像块压缩观测值y_i协同重构组Y_i：采用余弦相似性度量步骤2)中得到的图像块压缩观测值y_i与其它分块图像压缩观测值y_j的相似性，构造其协同重构组Y_i＝[y_i,y_i,1,…,y_i,n],其中，j＝1,2,…,N，n＝1,2,…,m；

4)采用线性映射网络F获得初始重建图像块协同重构组Z_i：将步骤3)构造的协同重构组Y_i输入线性映射网络F，如公式(1)所示：

Z_i＝F(W₁,Y_i) (1)，

其中,F表示线性映射网络、采用全连接网络实现，W₁为全连接网络参数，线性映射网络F采用全连接网络层对协同重构组Y_i内压缩观测值升维、转换尺寸，得到大小为B×B的初始重建图像块协同重构组Z_i＝[z_i,z_i,1,…,z_i,n],n＝1,2,…,m；

5)将协同重构组Z_i进行特征交互得到协同联合重建特征Z_c：对步骤4)所获得的协同重构组Z_i中图像块初始估计值z_i及图像块z_i非局部相似特征初始估计值z_i,1,z_i,2,…,z_i,n进行通道拼接，得到协同联合重建特征Z_c，如公式(2)所示：

Z_c＝concat(z_i,z_i,1,…,z_i,n) (2)，

其中，concat表示通道拼接；

6)采用全局残差网络F_r对图像块z_i进行增强重建获得重建图像z′_i：将步骤5)得到的协同联合重建特征Z_c输入由非局部特征自适应交互模块F_lg堆叠组成的全局残差重构网络F_r，进行特征融合，得到最终输出图像z′_i，如公式(3)所示：

z′_i＝z_i+F_r(W₂,Z_c) (3)，

其中，F_r为全局残差网络，z_i为图像块初始重建图像，W₂为残差网络参数；

7)采用图像块稀疏约束损失函数对网络训练进行约束：如公式(4)所示：

其中，x_i为原始图像块，z′_i为重建图像块，y_i为图像块观测值。

步骤6)中所述的非局部特征自适应交互模块F_lg的具体过程为：

2-1)如图2所示，先对得到的初始重建图像块协同重构组Z_i＝[z_i,z_i,1,…,z_i,n],n＝1,2,…,m内图像进行通道拼接，得到通道数为m+1维协同联合重建特征Z_c；再对Z_c采用32个核大小为3×3的非局部特征融合卷积F_d进行自适应特征映射得到32张融合了非局部信息的特征图f₁；将得到的特征图f₁通过通道相关性判别模块F_c-a得到特征图f₂，采用m+1核大小为9×9的非局部特征融合卷积F_d1对特征图f₂特征提取，输出m+1张特征图f₃；最后对特征图f₃采用空间关联性判别模块F_s-a对重要空间结构进行关注，得到最后的输出特征图f_lg；然后采用1×1卷积F_1×1对输出特征图f_lg通道间信息融合后与初始重建图像z_i相加得到最终输出图像z′_i，如公式(5)、(6)、(7)、(8)、(9)所示：

f₁×F_d(W₃,Z_c) (5)，

f₂×F_c-a(W₄,f₁) (6)，

f₃×F_d1(W₅,f₂) (7)，

f_lg×F_s-a(W₆,f₃) (8)，

z′_i＝z_i+F_1×1(W₇,f_lg) (9)，

其中，F_d为核大小为3×3的非局部特征融合卷积，F_c-a为通道相关性判别模块，F_d1为核大小为9×9的非局部特征融合卷积，F_s-a为空间关联性判别模块，F_1×1为1×1卷积，W₃,W₄,W₅,W₆,W₇表示网络参数。

Claims (2)

1.一种基于自适应非局部特征融合网络的图像压缩感知重建方法，其特征在于，包括如下步骤：

1)训练数据预处理：将T91数据集和BSD500数据集中的图像随机裁剪成大小为B×B的不重叠的图像块x_i,并将图像块x_i向量化为B²×1维列向量，列向量归一化到[0,1]区间得到转换归一化的列向量x'_i，其中，i＝1,2,…,N；

2)获取测数据y_i：采用随机高斯矩阵Φ对步骤1)得到的图像块转化后的列向量x'_i，进行压缩观测，得到相应观测值y_i＝Φx'_i，x'_i∈R^N×1,Φ∈R^M×N,y_i∈R^M×1，其中，i＝1,2,…,N；

3)构造图像块压缩观测值y_i协同重构组Y_i：采用余弦相似性度量步骤2)中得到的图像块压缩观测值y_i与其它分块图像压缩观测值y_j的相似性，构造其协同重构组Y_i＝[y_i,y_i,1,…,y_i,n],其中，j＝1,2,…,N，n＝1,2,…,m；

4)采用线性映射网络F获得初始重建图像块协同重构组Z_i：将步骤3)构造的协同重构组Y_i输入线性映射网络F，如公式(1)所示：

Z_i＝F(W₁,Y_i) (1)，其中,F表示线性映射网络、采用全连接网络实现，W₁为全连接网络参数，线性映射网络F采用全连接网络层对协同重构组Y_i内压缩观测值升维、转换尺寸，得到大小为B×B的初始重建图像块协同重构组Z_i＝[z_i,z_i,1,…,z_i,n],n＝1,2,…,m；

5)将协同重构组Z_i进行特征交互得到协同联合重建特征Z_c：对步骤4)所获得的协同重构组Z_i中图像块初始估计值z_i及图像块z_i非局部相似特征初始估计值z_i,1,z_i,2,…,z_i,n进行通道拼接，得到协同联合重建特征Z_c，如公式(2)所示：

Z_c＝concat(z_i,z_i,1,…,z_i,n) (2)，

其中，concat表示通道拼接；

6)采用全局残差网络F_r对图像块z_i进行增强重建获得重建图像z'_i：将步骤5)得到的协同联合重建特征Z_c输入由非局部特征自适应交互模块F_lg堆叠组成的全局残差重构网络F_r，进行特征融合，得到最终输出图像z'_i，如公式(3)所示：

z'_i＝z_i+F_r(W₂,Z_c) (3)，

其中，F_r为全局残差网络，z_i为图像块初始重建图像，W₂为残差网络参数；

7)采用图像块稀疏约束损失函数对网络训练进行约束：如公式(4)所示：

其中，x_i为原始图像块，z'_i为重建图像块，y_i为图像块观测值。

2.根据权利要求1所述的基于自适应非局部特征融合网络的图像压缩感知重建方法，其特征在于，步骤6)中所述的非局部特征自适应交互模块F_lg的具体过程为：

2-1)先对得到的初始重建图像块协同重构组Z_i＝[z_i,z_i,1,…,z_i,n],n＝1,2,…,m内图像进行通道拼接，得到通道数为m+1维协同联合重建特征Z_c；再对Z_c采用32个核大小为3×3的非局部特征融合卷积F_d进行自适应特征映射得到32张融合了非局部信息的特征图f₁；将得到的特征图f₁通过通道相关性判别模块F_c-a得到特征图f₂，采用m+1核大小为9×9的非局部特征融合卷积F_d1对特征图f₂特征提取，输出m+1张特征图f₃；最后对特征图f₃采用空间关联性判别模块F_s-a对重要空间结构进行关注，得到最后的输出特征图f_lg；然后采用1×1卷积F_1×1对输出特征图f_lg通道间信息融合后与初始重建图像z_i相加得到最终输出图像z'_i，如公式(5)、(6)、(7)、(8)、(9)所示：

f₁＝F_d(W₃,Z_c) (5)，

f₂＝F_c-a(W₄,f₁) (6)，

f₃＝F_d1(W₅,f₂) (7)，

f_lg＝F_s-a(W₆,f₃) (8)，

z'_i＝z_i+F_1×1(W₇,f_lg) (9)，

其中，F_d为核大小为3×3的非局部特征融合卷积，F_c-a为通道相关性判别模块，F_d1为核大小为9×9的非局部特征融合卷积，F_s-a为空间关联性判别模块，F_1×1为1×1卷积，W₃,W₄,W₅,W₆,W₇表示网络参数。