CN109410114B - 基于深度学习的压缩感知图像重建算法 - Google Patents

Abstract

本发明涉及一种基于深度学习的压缩感知图像重建算法，方法步骤如下：S1：对图像数据进行预处理，包括提取数据的灰度值和对图像进行分块；S2：对已经切分好的图像块进行测量，获得测量矩阵；S3：构建一个10层的深度压缩感知重建网络；S4：在深度学习框架中对10层网络进行训练；S5：在经过深度神经网络后，得到重建图像块，按照索引，对图像块按照原始行列值进行重排；S6：图像块经过重排得到重建图像后，选择BM3D去噪器对图片进行降噪处理，最终得到重建图像。本发明提供的压缩感知图像重建算法，大部分所耗时间在网络训练阶段，待网络训练完成后图像重建速度非常之快。本发明通过深度学习网络取代了传统重建算法，但依然拥有良好的重建精度。

Description

基于深度学习的压缩感知图像重建算法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的压缩感知图像重建算法。

背景技术

压缩感知理论能够以远低于奈奎斯特采样定律的采样速率获取信号的测量结果，并且在特定的稀疏域中，可以高质量的恢复出原始信号。压缩感知理论主要包含有三个步骤：信号的稀疏表示、信号的观测和信号重建，其数学模型为

y＝Φx (1)

从y中恢复原始信号x的过程是压缩感知中最关键的部分——信号的重建，其实质是求解一个l₀范数最小的问题：

min||x||₀s.t.y＝Φx (2)

贪婪算法、凸优化算法和贝叶斯类算法已被用于在压缩感知理论中重建图像。然而几乎所有的这些方法在解决图像重建这个问题时，计算十分复杂且十分耗时。深度学习的方法出现，成功的降低了图像重建的计算复杂度和时间消耗。

近年来，深度学习在学术界和工业界发展迅猛，它在很多传统的信号表示和识别任务上取得了识别率的显著提升，显示了其处理复杂识别任务的能力，吸引了大批学者研究其理论和应用。许多领域开始尝试利用深度学习解决本领域的一些问题。

深度学习中卷积神经网络，堆叠去噪自编码器等网络具备优异的信号特征表征能力，可用于压缩感知领域，通过大量训练样本准确学习真实信号的结构特征，而不局限于信号的稀疏性，提高信号重建精度。另一方面，在并行GPU运算硬件条件的支持下，高维度下深度学习网络的运算时间得到保证，压缩感知重建过程可转换成深度神经网络的计算，实现重建的实时性。在深度学习领域，卷积神经网络因其强大的解决问题的能力，使得几乎所有与图像相关的研究都使用了大量的卷积层，作为解决不同类型问题的基本模块，而自动编码器在高维与低维数据处理上有着优异的性能。

发明内容

基于背景技术存在的技术问题，本发明提出一种基于深度学习的压缩感知图像重建算法，在压缩感知理论的基础上，使用自动编码器和卷积神经网络组合来完成图像测量和图像重建，能有效提高模型训练速度，并快速完成图像重建问题。

一种基于深度学习的压缩感知图像重建算法，方法步骤如下：

S1：对图像数据进行预处理，包括提取数据的灰度值和对图像进行分块；

S2：对已经切分好的图像块进行测量，获得测量矩阵；

S3：构建一个10层的深度压缩感知重建网络；

S4：在深度学习框架中对10层网络进行训练；

S5：在经过深度神经网络后，得到重建图像块，按照索引，对图像块按照原始行列值进行重排；

S6：图像块经过重排得到重建图像后，选择BM3D去噪器对图片进行降噪处理，最终得到重建图像。

优选的，所述S1中选取选取100张图像，其中90张作为训练集，10张作为测试集，每张图像不重叠的划分为33×33的小块。

优选的，所述S2中采用随机高斯矩阵Φ进行测量处理，按照不同的测量率MR，MR＝0.25、0.10、0.04或0.01。

优选的，所述S3中1-4层为堆叠自动编码器，5-10层为卷积层构成的网络。

优选的，所述S4中采用采用无监督的方式训练，损失函数如下：

T表示训练集中图像块的总数量，x_i为i^th个图像块，F(x_i,{W})表示第i^th个图像块的输出，{W}＝{W₁,b₁,W₂,b₃....W₁₀,b₁₀}。

优选的，所述S5中S1-S2有补零操作，需将补零部分去除。

本发明提出的一种基于深度学习的压缩感知图像重建算法应用于图像重建。

与现有技术相比，本发明具有的有益效果在于：

本发明提出一种基于深度学习的压缩感知图像重建算法，本发明提供的压缩感知图像重建算法，较之前传统的压缩感知重建算法，在时间复杂度方面，本发明大部分所耗时间在网络训练阶段，而待网络训练完成后，图像重建速度非常之快。在计算复杂度方面，本发明通过深度学习网络取代了传统重建算法繁琐的计算过程，但依然拥有良好的重建精度。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明提出的基于深度学习的压缩感知图像重建算法结构图。

具体实施方式

下面结合具体实施例对本发明作进一步解说。

一种基于深度学习的压缩感知图像重建算法，方法步骤入下：

S1：数据准备阶段，对数据进行预处理，包括提取数据的灰度值，以及对图像进行分块处理；

1-1)选取100张图像，其中90张作为训练集，10张作为测试集，且皆将训练图像转换成灰度图像，只提取图像的亮度信息，在测试时，如果是RGB彩色图像，可分为R、G、B3个通道，依次进行单独测试。

1-2)若图像过大，会使网络结构过于庞大，训练复杂，且易过拟合，所以将每张图像不重叠的划分为33×33的小块。因为数据集中图片大小不一，如有些图片大小为256×256，有些图片大小为500×500，这样在图像边缘，会有不足33×33的块出现，所以需要在图像边缘执行补零操作。例如一张a×b大小的图片，需要先在图像右边缘补齐p列个零，然后对右侧已经补零的图像下边缘补齐q行个零，其计算公式如下：

p＝33-mod(a/33) (3)

q＝33-mod(b/33) (4)

其中，mod取余计算，a×b的图像补零后大小为(a+p)×(b+q)。

1-3)如果图像不需要补零操作，一张a×b大小的图像可划分为(a/33)×(b/33)块；如果需要经过补零操作，一张a×b大小的图像可划分为((a+p)/33)×((b+q)/33)块，依次按照先行后列原则对每块图像进行编号建立索引。

S2：对已经切分好的图像块进行测量。按照压缩感知理论，需要对每一块图像进行测量操作，一般采用随机高斯矩阵Φ进行测量处理，按照不同的测量率MR，设置不同的测量测量矩阵，测量率越低，所得到的信息越少，图像重建复杂度越高，一般采用的测量率，MR＝0.25、0.10、0.04或0.01。即将33*33的图像块所有行排列成一列向量，排成1089维的列向量，若测量率为0.25，则测量矩阵大小为272*1089。经过测量后，得到272维的测量向量。具体公式如下：

y＝Φx (5)

其中，x表示向量化后的图像块，为n维；Φ大小为m*n的测量矩阵；y为n测量向量。n/m即为测量率。

在本发明中，将测量矩阵用堆叠自动编码器的一层(即网络第一层)取代，输入层为33*33的图像块，将所有行排列成一列1089*1的列向量，若第一层神经元个数为C，则该网络的测量率为C/1089，如第一层神经元个数若为272，则该网络的测量率为MR＝272/1089＝0.25。在本发明中，可按第一层神经元的个数设置不同的测量率。

S3：进一步的，构建一个10层的深度压缩感知重建网络，其中1-4层为堆叠自动编码器，5-10层为卷积层构成的网络

3-1)网络的第一层全连接层与输入图像块转化成的列向量x连接，如图所示，按照不同的测量率设置不同的神经元个数C，完成压缩感知中的测量操作。激活函数为ReLU函数，输出C维的列向量y，其计算过程可用如下过程表示：

y＝T(W₁x+b₁) (6)

其中，T表示ReLU激活函数，W₁表示第一层神经元权值参数向量，b₁表示第一层神经元偏置。

3-2)网络的第二层全连接层与第一层全连接，如图所示，设置1089个神经元，它将第一层的输出y作为输入，输出激活函数为ReLU函数，其计算过程可用如下公式表示：

其中，T表示ReLU激活函数，W₂表示第二层神经元权值参数向量，b₂表示第二层神经元偏置。

3-3)网络的第三层全连接层，与第二层全连接，如图所示，设置272个神经元，它将第二层的输出作为输入，输出/>激活函数为ReLU函数，其计算过程可用如下公式表示：

其中，T表示ReLU激活函数，W₃表示第三层神经元权值参数向量，b₃表示第三层神经元偏置。

3-4)网络的第四层全连接层，与第三层全连接，如图所示，设置1089个神经元，它将第三层的输出作为输入，输出初步重建图像块向量/>激活函数为ReLU函数，其计算过程可用如下公式表示：

其中，T表示ReLU激活函数，W₄表示第四层神经元权值参数向量，b₄表示第四层神经元偏置。

3-5)将初步重建图像块向量按原行列重新排列成33*33图像块，得到初步重建图像块。

进一步的，用卷积神经网络对图像块进行精确重建。将初步重建图像输入卷积神经网络处理，为了保证在图像过程中保持图像的大小不变，本发明放弃了传统卷积神经网络所采用的池化下采样操作，并且，在图像块每次输入一个卷积层后，得到新的特征图，需进行适当的补零操作，保持图像大小等于原图像块大小，下面依次对每一个卷积层进行详细描述。

3-6)将步骤3-5)中得到的初步重建图像输入网络的第五层卷积层，第五层卷积层采用64个大小为11×11的卷积核，生成64个大小为33×33的特征图，第五卷积层的补零数量为5(此时的补零与步骤1-2)中得补零相区别，卷积层中的补零为在图像周边补一圈零，如补零数为5，则在图像周边补5圈零，33×33图像大小变为43×43)，激活函数为ReLU。

3-7)网络的第六层卷积层与第五层卷积层相连接，采用32个大小为1*1的卷积核，生成32个大小为33×33的特征图，第六层卷积层的补零数量为0，激活函数为ReLU。

3-8)网络的第七层卷积层与第六层卷积层相连接，采用1个大小为7*7的卷积核，生成1个大小为33×33的特征图，第七层卷积层的补零数量为3，激活函数为ReLU。

3-9)网络的第八层卷积层与第七层卷积层相连接，采用64个大小为11*11的卷积核，生成64个大小为33×33的特征图，第八层卷积层的补零数量为5，激活函数为ReLU。

3-10)网络的第九层卷积层与第八层卷积层相连接，采用32个大小为1*1的卷积核，生成32个大小为33×33的特征图，第九层卷积层的补零数量为0，激活函数为ReLU。

3-11)网络的第十层卷积层与第九层卷积层相连接，采用1个大小为7*7的卷积核，第十层卷积层的补零数量为3，不使用激活函数输出，生成大小为33×33的重建图像块。

S4：在深度学习框架caffe中对10层网络进行训练，采用无监督的方式训练，损失函数如下：

其中，T表示训练集中图像块的总数量，x_i为i^th个图像块,F(x_i,{W})表示第i^th个图像块的输出，{W}＝{W₁,b₁,W₂,b₂,...,W₁₀,b₁₀,}。

进一步的，在设置参数初始值时，在网络的第1-4层，第i层权重初始化分布为：

其中，fan_i_in表示第i层的输入单元数，fan_i_out表示第i层的输出神经元个数，其中第一层输入神经元个数为0，第四层输出神经元为0。

在网络的第5-10层，初始化权重分布均服从于均值为0，方差为0.01的高斯分布。在网络的第1-10层，偏置初始值均设置为0。

S5：在经过深度神经网络后，得到重建图像块，按照索引，对图像块按照原始行列值进行重排，如果图像在步骤1-2)有补零补零操作，需将补零部分去除。

S6：图像块经过重排得到重建图像后，因为图像是按块处理，在分块处会产生伪影，即分块效应，选择BM3D去噪器对图片进行降噪处理，最终得到重建图像。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的压缩感知图像重建算法，其特征在于，方法步骤如下：

S1：对图像数据进行预处理，包括提取数据的灰度值和对图像进行分块；

S2：对已经切分好的图像块进行测量，获得测量矩阵；

S3：构建一个10层的深度压缩感知重建网络；

S4：在深度学习框架中对10层网络进行训练；

S5：在经过深度神经网络后，得到重建图像块，按照索引，对图像块按照原始行列值进行重排；

S6：图像块经过重排得到重建图像后，选择BM3D去噪器对图片进行降噪处理，最终得到重建图像；

所述S1中选取100张图像，其中90张作为训练集，10张作为测试集，每张图像不重叠的划分为33×33的小块；

所述S3中构建一个10层的深度压缩感知重建网络，其中1-4层为堆叠自动编 码器，5-10层为卷积层构成的网络：

3-1)网络的第一层全连接层与输入图像块转化成的列向量x连接，按照 不同的测量率设置不同的神经元个数C，完成压缩感知中的测量操作；激活函数为ReLU函数，输出C维的列向量y，其计算过程可用如下过程表示：

y＝T(W₁x+b₁)；

其中，T表示ReLU激活函数，W₁表示第一层神经元权值参数向量，b₁表示第一层神经 元偏置；

3-2)网络的第二层全连接层与第一层全连接，设置1089个神经元，它将第一层的输出y作为输入，输出激活函数为ReLU函数，其计算过程可用如下公式表示：

；

其中，T表示ReLU激活函数，W₂表示第二层神经元权值参数向量，b₂表示第二层神经 元偏置；

3-3)网络的第三层全连接层，与第二层全连接，设置272个神经元，它将第二层的输出作为输入，输出/>激活函数为ReLU函数，其计算过程可用如下公式表示：

；

其中，T表示ReLU激活函数，W₃表示第三层神经元权值参数向量，b₃表示第三层神经 元偏置；

3-4)网络的第四层全连接层，与第三层全连接，设置1089个神经元，它将第三层的输出作为输入，输出初步重建图像块向量/>激活函数为ReLU函数，其计算过 程可用如下公式表示：

；

其中，T表示ReLU激活函数，W₄表示第四层神经元权值参数向量，b₄表示第四层神经 元偏置；

3-5)将初步重建图像块向量按原行列重新排列成33*33图像块，得到初 步重建图像块；

进一步的，用卷积神经网络对图像块进行精确重建；将初步重建图像输入卷积神 经网络处理，为了保证在图像过程中保持图像的大小不变，本在图像块每次输入一个卷积层后，得到新的特征图，需 进行适当的补零操作，保持图像大小等于原图像块大小，下面依次对每一个卷积层进行详 细描述；

3-6)将步骤3-5)中得到的初步重建图像输入网络的第五层卷积层，第五层卷积层 采用64个大小为11×11的卷积核，生成64个大小为33×33的特征图，第五卷积层的补零数 量为5中得补零相区别，卷积层中的补零为在图像周边补一圈零，激活函数为ReLU；

3-7)网络的第六层卷积层与第五层卷积层相连接，采用32个大小为1*1的卷积核， 生成32个大小为33×33的特征图，第六层卷积层的补零数量为0，激活函数为ReLU；

3-8)网络的第七层卷积层与第六层卷积层相连接，采用1个大小为7*7的卷积核， 生成1个大小为33×33的特征图，第七层卷积层的补零数量为3，激活函数为ReLU；

3-9)网络的第八层卷积层与第七层卷积层相连接，采用64个大小为11*11的卷积 核，生成64个大小为33×33的特征图，第八层卷积层的补零数量为5，激活函数为ReLU；

3-10)网络的第九层卷积层与第八层卷积层相连接，采用32个大小为1*1的卷积 核，生成32个大小为33×33的特征图，第九层卷积层的补零数量为0，激活函数为ReLU；

3-11)网络的第十层卷积层与第九层卷积层相连接，采用1个大小为7*7的卷积核， 第十层卷积层的补零数量为3，不使用激活函数输出，生成大小为33×33的重建图像块。

2.根据权利要求1所述的一种基于深度学习的压缩感知图像重建算法，其特征在于，所述S2中采用随机高斯矩阵Φ进行测量处理，按照不同的测量率MR，MR＝0 .25、0 .10、0 .04或0 .01。

3.根据权利要求1所述的一种基于深度学习的压缩感知图像重建算法，其特征在于，所述S3中1-4层为堆叠自动编码器，5-10层为卷积层构成的网络。

4.根据权利要求1所述的一种基于深度学习的压缩感知图像重建算法，其特征在于，所述S4中采用采用无监督的方式训练，损失函数如下：

；

表示训练集中图像块的总数量，x_i为i^th个图像块，F(x_i ,{W})表示第i^th个图像块的输出，{W}＝{W₁ ,b₁ ,W₂ ,b₂ ....W₁₀ ,b₁₀}。

5.根据权利要求1所述的一种基于深度学习的压缩感知图像重建算法，其特征在于，所述S5中需将补零部分去除。