CN111243047B - 基于自适应非线性网络的图像压缩感知方法及相关产品 - Google Patents

Abstract

本发明主要涉及图像处理技术领域，提供了一种基于自适应非线性网络的图像压缩感知方法，包括：将原始图像分块得到至少一个原始图像块,基于卷积神经测量网络并通过预设采样率对所述原始图像块进行测量，得到所述卷积神经测量网络的测量值,通过全连接层对所述测量值进行重构，根据测量值计算得到所述原始图像块的近似解，通过SRCNN网络模型学习所述原始图像块与所述原始图像块的近似解之间的残差，根据所述残差得到重构图像，使图像重构的计算更简单且缩短图像重构的时间，同时利用测量网络提取的测量值还保留着图像空间信息这一特性,通过双线性插值和扩张卷积可进一步提高重构图像的质量。

Description

基于自适应非线性网络的图像压缩感知方法及相关产品

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于自适应非线性网络的图像压缩感知方法。

背景技术

压缩感知(Compressed sensing)，也被称为压缩采样(Compressive sampling)或稀疏采样(Sparse sampling)，是一种寻找欠定线性系统的稀疏解的技术。为了不失真地恢复模拟信号,传统的奈奎斯特采样频率应该不小于模拟信号频谱中最高频率的2倍,数据量大不利于存储和传输。2006年,由Candes、Tao和Donoho等提出的压缩感知理论，可以在远低于奈奎斯特采样频率条件下对信号采样,并高概率的完全重建原始信号。主要思想是利用随机测量矩阵Φ∈R^m×n(m＜＜n)对原始信号x∈R^n×1采样(y＝Φx,y∈R^m×1),将信号投射到低维空间,再通过稀疏基Ψ求解稀疏矩阵,使低维空间的测量值y重构出原始信号。

但是，现有技术中的压缩感知重构方法是基于稀疏先验知识,本质上是求解一个欠定方程组(y＝Φx),如何从这个欠定方程组中寻找到最优解是重构的关键。主要通过寻找稀疏基Ψ,使信号x在稀疏基Ψ上投影得到的稀疏矩阵有最少的非零元素个数。寻找与稀疏基Ψ不相关的测量矩阵Φ,使降维得到的测量值y能保留原始信号x足够多的信息。寻找重构方法,在保证重构质量的情况下有较低重构时间和良好鲁棒性。在重构方法上,通常使用凸松弛方法,贪婪匹配追踪方法和贝叶斯类方法等求解对应的稀疏编码问题,然而真实图像在变换域中并不能精确的满足稀疏性,通过稀疏性建模的重建方法重构出的图像质量不高，限制了图像压缩感知技术的发展，且通过少量测量值多次迭代优化来重构图像,计算复杂且重构时间长，难以实现实时性。

发明内容

基于上述现有技术中存在的技术问题，本发明提供一种基于自适应非线性网络的图像压缩感知方法，通过自适应的非线性测量网络替换传统线性的随机测量矩阵，提高重构图像的质量，同时缩短重构图像的时间。

第一方面，本发明实施例提供了一种基于自适应非线性网络的图像压缩感知方法，所述方法具体包括以下步骤：

将原始图像x进行分块，得到至少一个原始图像块x_i，i为正整数；

基于卷积神经测量网络F^s并通过预设采样率MR对所述原始图像块x_i进行测量，得到测量值y_i，y_i＝F^s(x_i，W^s)，W^s为卷积神经测量网络的权重；

通过全连接层F^f对所述测量值y_i进行重构，根据测量值y_i计算得到所述原始图像块x_i的近似解x_i`，x<sub>i</sub>`＝F^f(y_i，W^f)，其中W^f为全连接层权重；

通过SRCNN网络模型F^sr学习所述原始图像块x_i与所述原始图像块x_i的近似解x_i`之间的残差d_i；

根据所述残差d_i，得到重构图像x_i ^*，x_i ^*＝x_i`+d_i。

优选的，所述原始图像块x_i的大小为33×33。

优选的，所述预设采样率MR取值为0.25、0.1、0.04或0.01。

优选的，所述方法还包括：

在所述卷积神经测量网络F^s的卷积核中插入零值，进行卷积扩张，得到扩张卷积层网络F^mus。

优选的，所述基于卷积神经测量网络F^s并通过预设采样率MR对所述原始图像块x_i进行测量，得到测量值y_i，y_i＝F^s(x_i，W^s)，W^s为卷积神经测量网络的权重，之后还包括：

通过双线性插值和扩张卷积层F^mus对所述测量值y_i进行重构，根据所述测量值y_i计算得到所述原始图像块x_i的近似解x_i"，x_i″＝F^mus(y_i，W^mus)，其中W^mus为扩张卷积层权重。

优选的，所述通过全连接层F^f对所述测量值y_i进行重构，根据测量值y_i计算得到所述原始图像块x_i的近似解x_i`，x<sub>i</sub>`＝F^f(y_i，W^f)，其中W^f为全连接层权重，之前还包括：

利用损失函数训练得到卷积神经测量网络的权重W^s和全连接层权重W^f，所述损失函数为

其中，N为样本数。

优选的，所述方法还包括：

根据损失函数训练得到的卷积神经测量网络的权重W^s和全连接层权重W^f计算得到所述原始图像块x_i的近似解x_i`后，再通过损失函数训练得到SRCNN网络模型F^sr的权重W^sr，所述损失函数为

其中，N为样本数。

优选的，所述通过双线性插值和扩张卷积层F^mus对所述测量值y_i进行重构，根据所述测量值y_i计算得到所述原始图像块x_i的近似解x_i″，之前还包括：

利用损失函数训练得到卷积神经测量网络的权重W^s和扩张卷积层的权重W^mus，所述损失函数为

其中，N为样本数。

第二方面，本发明实施例提供了一种基于自适应非线性网络的图像压缩感知装置，所述装置包括：

图像分块单元，用于将原始图像x进行分块，得到至少一个原始图像块x_i，i为正整数；

图像测量单元，用于基于卷积神经测量网络F^s并通过预设采样率MR对所述原始图像块x_i进行测量，得到测量值y_i，y_i＝F^s(x_i，W^s)，W^s为卷积神经测量网络的权重；

第一图像重构单元，用于通过全连接层F^f对所述测量值y_i进行重构，根据测量值y_i计算得到所述原始图像块x_i的近似解x_i`，x<sub>i</sub>`＝F^f(y_i，W^f)，其中W^f为全连接层权重；

残差学习单元，用于通过SRCNN网络模型F^sr学习所述原始图像块x_i与所述原始图像块x_i的近似解x_i`之间的残差d_i；

第二图像重构单元，用于根据所述残差d_i，得到重构图像x_i ^*，x_i ^*＝x_i`+d_i。

优选的，所述装置还包括损失函数模型，用于训练得到卷积神经测量网络的权重W^s和全连接层权重W^f，所述损失函数为

其中，N为样本数。

优选的，所述损失函数模型还用于根据损失函数训练得到的卷积神经测量网络的权重W^s和全连接层权重W^f计算得到所述原始图像块x_i的近似解x_i`后，再通过训练得到SRCNN网络模型F^sr的权重W^sr，所述损失函数为

其中，N为样本数。

优选的，所述装置还包括第三图像重构单元，用于通过双线性插值和扩张卷积层F^mus对所述测量值y_i进行重构，根据所述测量值y_i计算得到所述原始图像块x_i的近似解x_i"，x_i″＝F^mus(y_i，W^mus)，其中W^mus为扩张卷积层权重，其中扩张卷积层F^mus是在所述卷积神经测量网络F^s的卷积核中插入零值，进行卷积扩张得到的。

优选的，所述损失函数模型还用于训练得到卷积神经测量网络的权重W^s和扩张卷积层的权重W^mus，所述损失函数为

其中，N为样本数。

第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例中记载的任何一种基于自适应非线性网络的图像压缩感知方法的部分或全部步骤。

有益效果：相较于现有技术，本发明实施例中通过将原始图像进行分块，得到至少一个图像块，针对图像块进行图像重构，可减少图像重构需要的网络层，再将重构后得到的重构图像块进行拼接，得到原始图像的重构图像，使图像重构的计算更简单且缩短图像重构的时间，实现实时性。同时，基于卷积神经测量网络能得到高质量的测量矩阵，提高重构图像的质量，同时，在重构网络上，利用测量网络提取的测量值还保留着图像空间信息这一特性,通过双线性插值和扩张卷积来重构图像,可进一步提高重构图像的质量，有利于图像压缩感知技术的发展。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于自适应非线性网络的图像压缩感知方法的流程示意图；

图2为本发明实施例提供的一种基于自适应非线性网络的图像压缩感知方法中卷积神经测量网络的卷积运算和矩阵运算的转化过程示意图；

图3为本发明实施例提供的一种基于自适应非线性网络的图像压缩感知方法中卷积神经测量网络与随机高斯测量矩阵的测量效果对比图；

图4为本发明实施例提供的一种基于自适应非线性网络的图像压缩感知方法中扩张卷积的示意图；

图5为本发明实施例提供的一种基于自适应非线性网络的图像压缩感知方法中测量在数据集BSD500上的平均PSNR和SSIM的对比图；

图6为本发明实施例提供的一种基于自适应非线性网络的图像压缩感知方法中针对测试图像测试对高斯噪声的鲁棒性的展示图；

图7为本发明实施例提供的一种基于自适应非线性网络的图像压缩感知方法中针对数据集BSD500测试对高斯噪声的鲁棒性的展示图；

图8为本发明实施例提供的一种基于自适应非线性网络的图像压缩感知方法中针对测试图像测试对椒盐噪声的鲁棒性的展示图；

图9为本发明实施例提供的一种基于自适应非线性网络的图像压缩感知方法中针对数据集BSD500测试对椒盐噪声的鲁棒性的展示图。

图10为本发明实施例提供的一种基于自适应非线性网络的图像压缩感知方法中采样率MR＝0.25时在不同噪声强度下图像效果对比图；

图11为本发明实施例提供的一种基于自适应非线性网络的图像压缩感知装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面将结合附图对本申请的实施例进行描述，但并非对本发明的限制。本发明实施例中将以IReconNet和USDCNN两种测量网络为例进行说明。

实施例一

需要说明的是，实施本发明实施例所用到的计算机硬件条件为CPU：Inter Corei7-7700,主频3.6GHz,内存16GB,显卡Quadro M2000，仅以此为本发明实施例的示例性说明，不作为对本发明的限定。

如图1所示，为本发明实施例提供的一种基于自适应非线性网络的图像压缩感知方法的流程示意图，所述方法具体包括：

S₁，将原始图像x进行分块，得到至少一个原始图像块x_i，i为正整数；

由于图像大，图像特征多且复杂,通过深度学习直接对整个图像重构需要的网络层较多,重构时间长且对图像大小有限制，因此需要将图像分块压缩,可用较少网络层重构出高质量的图像块,再拼接成一张大图,并对图像大小没有限制。具体的，可将原始图像x分成多个大小为33×33的原始图像块x_i。

S₂，基于卷积神经测量网络F^s并通过预设采样率MR对所述原始图像块x_i进行测量，得到测量值y_i，y_i＝F^s(x_i，W^s)；

具体的，以现有技术中利用测量矩阵为例说明，对于n＝w×h的图像,取m×n维(m＜＜n)测量矩阵Φ对已向量化为n×1维的图像x进行采样：y＝Φx。

由于m＜＜n，y＝Φx是一个欠定方程组，自变量x的个数远大于因变量y的个数，方程组有无穷多个解，很难重构图像，需要利用图像在某些变换域中有稀疏性的特性。

将x转化为x＝Ψs，则y＝ΦΨs，s∈R^n×1是k稀疏信号,是原始图像x在稀疏基Ψ∈R^n×n的变化下由稀疏系数组成的向量，k稀疏信号是指向量有k个非零值(k＜＜n)，则y＝ΦΨs可通过l₀范数的优化问题求解s,使s的非零元素个数最少：min||s||₀，Subject to y＝ΦΨs，这是一个NP问题,一般用l₁范数来近似逼近l₀范数求解：min||s||₁，Subject to y＝ΦΨs，但是需要进行多次迭代，计算量大、耗时长，不能实时重构。

因此，本发明实施例通过卷积神经测量网络按照预设的采样率对所述原始图像块x_i进行测量，得到图像特征，将所述原始图像块x_i作为所述卷积神经测量网络F^s的输入，通过Adam方法训练得到卷积层权重W^s和测量值y_i，y_i＝F^s(x_i，W^s)，Adam方法属于现有技术(KINGMA D P,BA J.Adam:a method for stochastic optimization[J].arXiv preprintarXiv:1412.6980.2014)，此处不再赘述。

通过所述测量值y_i与所述原始图像块x_i之间训练学习得到A，使得所述原始图像块x_i的近似解x_i`越接近所述原始图像块x<sub>i</sub>，如式Ay<sub>i</sub>＝x<sub>i</sub>`≈x_i所示。

可以看出,在所述卷积神经测量网络层数不变的情况下,测量值y_i的质量越高,重构出的所述原始图像块x_i的近似解x_i`越接近所述原始图像块x_i。

以采样率MR＝0.25为例，如图2所示，展示了矩阵运算和本发明实施例中所述卷积神经测量网络的卷积运算的转化过程。

具体的，所述卷积神经测量网络由四个卷积层组成，没有使用池化层。其中，X₁、X₂、X₃、X₄是按照卷积核对网络层分块再拼接出的二维矩阵,Φ₁、Φ₂、Φ₃、Φ₄由权重组成的二维矩阵。Y₁＝Φ₁X₁、Y₂＝Φ₂X₂、Y₃＝Φ₃X₃、Y₄＝Φ₄X₄，与网络层一一对应,可将网络层上的四维卷积运算转换为二维的矩阵运算，如下式所示：

Y＝reshape(Y₄)＝reshape(Φ₄X₄)＝reshape(Φ₄[Φ₃[Φ₂[Φ₁X₁]]])，其中reshape(·)表示将向量变维成四维矩阵，[·]表示按照卷积核的大小与步长对矩阵分块并重新排列。

基于卷积神经测量网络是将图像分块后得到的图像矩阵变维成向量后再测量，测量值具有加密效果。

为了能够直观的展现随机高斯测量矩阵对图像的测量效果,将随机高斯测量矩阵对测试图像的每列测量后再拼接,优选的，所述预设采样率MR取值为0.25、0.1、0.04或0.01，此处以MR＝0.25为例进行对比，效果如图3所示。

可以看出,所述卷积神经测量网络能得到高质量的矩阵,而随机高斯测量矩阵测量出的矩阵质量较差,很多细节丢失，从而导致降低了图像重构的质量。

如下表1所示，为不同方法在不同采样率下原始图像与重构图像的PSNR(PeakSignal to Noise Ratio的缩写，峰值信噪比)。

表1

如表1可知，TVAL3(基于全变分正则化的重建算法)、NLR-CS(CompressiveSensing viaNonlocal Low-Rank Regularization，通过非局部低秩正则化进行压缩感知)和D-AMP(PrincipledNeural Networkbased Compressive Image Recovery，基于去噪的近似消息传递算法)是基于迭代优化的方法，IReconNet和USDCNN是本发明实施例提供的两种基于自适应非线性网络的图像压缩感知方法。

表1中“w/oBM3D”表示未使用BM3D去除快效应,“w/BM3D”表示使用BM3D去除快效应,显示了6张测试图片在四个采样率下的峰值信噪比(Peak Signal to NoiseRatio,PSNR),“平均PSNR”是11张测试图片的PSNR平均值。在采样率MR＝0.25、0.10、0.04、0.01的时候,与MSRNet(重构图像未修正)相比,IReconNet在“平均PSNR”上(未使用BM3D)提升1.22dB、1.56dB、1.85dB、2.48dB,而USDCNN又比IReconNet高0.68dB、0.19dB、0.28dB、0.06dB。从数据上可以看出,测量网络对重构质量提升很大,特别是在低采样率上；重构网络在高采样率上使用Bilinear优于全连接层。IReconNet和USDCNN在低采样率MR＝0.04、0.01上使用BM3D方法重构的图像质量高于,在采样率MR＝0.25、0.10上使用BM3D方法重构的图像质量。

S₃，通过全连接层F^f对所述测量值y_i进行重构，根据测量值y_i计算得到所述原始图像块x_i的近似解x_i`，x<sub>i</sub>`＝F^f(y_i，W^f)，其中W_f为全连接层权重；

通过全连接层对测量值y_i进行初次重构，根据压缩感知公式y_i＝Φx_i，以及测量值y_i通过全连接层的线性映射，得到所述原始图像块x_i的近似解x_i`，

x_i`＝F^f(y_i，W^f)＝F^f(F^s(x_i，W^s)，W^f)

其中W^f为全连接层权重。

优选的，所述通过全连接层F^f对所述测量值y_i进行重构，根据测量值y_i计算得到所述原始图像块x_i的近似解x_i`，x<sub>i</sub>`＝F^f(y_i，W^f)，其中W^f为全连接层权重，之前还包括：

利用损失函数训练得到卷积神经测量网络的权重W^s和全连接层权重W^f，所述损失函数使用均方误差公式，如下式所示

其中N为样本数量。

S₄，通过SRCNN网络模型F^sr学习所述原始图像块x_i与所述原始图像块x_i的近似解x_i`之间的残差d_i；

S₅，根据所述残差d_i，得到重构图像x_i ^*，x_i ^*＝x_i`+d_i。

SRCNN(Super-ResolutionConvolutionalNeuralNetwork，超分辨率重建卷积神经网络)网络模型为F^sr(x_i`，W^sr)

则x_i ^*＝x_i`+F<sup>sr</sup>(x<sub>i</sub>`，W^sr)

由于x_i`＝F^f(y_i，W^f)，

则x_i ^*＝F^f(y_i，W^f)+F^sr(F^f(y_i，W^f)，W^sr)。

进一步的，根据y_i＝F^s(x_i，W^s)可知

x_i ^*＝F^f(F^s(x_i，W^s)，W^f)+F^sr(F^f(F^s(x_i，W^s)，W^f)，W^sr)

优选的，根据损失函数训练得到的卷积神经测量网络的权重W^s和全连接层权重W^f计算得到所述原始图像块x_i的近似解x_i`后，再通过损失函数训练得到SRCNN网络模型F^sr的权重W^sr，所述损失函数为

根据损失函数可知

x_i ^*＝F^f(F^s(x_i，W^s)，W^f)+F^sr(F^f(F^s(x_i，W^s)，W^f)，W^sr)

其中W^s和W^f的初始值，再使用Adam方法更新

x_i ^*＝F^f(F^s(x_i，W^s)，W^f)+F^sr(F^f(F^s(x_i，W^s)，W^f)，W^sr)中的W^s、W^f和W^sr。

综上所述，对每一个图像块x_i进行重构，得到重构图像块x_i ^*,再将多个大小为33×33的重构图像块进行拼接,得到所述原始图像的重构图像。

有益效果：相较于现有技术，本发明实施例中通过将原始图像进行分块，得到至少一个图像块，针对图像块进行图像重构，可减少图像重构需要的网络层，再将重构后得到的重构图像块进行拼接，得到原始图像的重构图像，使图像重构的计算更简单且缩短图像重构的时间，实现实时性。同时，基于卷积神经测量网络能得到高质量的测量矩阵，提高重构图像的质量，同时，在重构网络上，利用测量网络提取的测量值还保留着图像空间信息这一特性,通过双线性插值和扩张卷积来重构图像,可进一步提高重构图像的质量，有利于图像压缩感知技术的发展。

优选的，所述基于自适应非线性网络的图像压缩感知方法还包括：

在所述卷积神经测量网络F^s的卷积核中插入零值，进行卷积扩张，得到扩张卷积层网络F^mus。

在图像重构中感受野非常重要,感受野越大，可以获得更多的图像特征,重构质量也就会更高。卷积神经网络中,一般会使用大的卷积核和池化层来增大感受野,大的卷积核会增加计算复杂度,池化层虽没增加计算复杂度,但会丢失部分信息,影响重构质量。因此，本发明实施例采用通过在所述卷积神经测量网络F^s的卷积核中插入零值，从而使所述卷积神经测量网络F^s的卷积核膨胀,得到扩张卷积层网络F^mus，无需添加额外的成本就能有较大的感受野,同时可以保证输出的特征映射大小保持不变。例如图4所示，使用扩张因子d＝3对图4(1)的3×3的卷积核扩张,得到(2d+1)×(2d+1)即7×7的卷积核,卷积核中有9个位置不为零,其余都为零,卷积核如图4(2)所示。

进一步的，通过双线性插值和扩张卷积层F^mus对所述测量值y_i进行重构，根据所述测量值y_i计算得到所述原始图像块x_i的近似解x_i″，x_i″＝F^mus(y_i，W^mus)，其中W^mus为扩张卷积层权重。

采用双线性插值法(Bilinear Interpolation)作为上采样方法，根据所述扩张卷积层F^mus对所述测量值y_i进行重构，如下式所示

x_i″＝F^mus(y_i，W^mus)＝F^mus(F^s(x_i，W^s)，W^mus)。

优选的，所述通过双线性插值和扩张卷积层F^mus对所述测量值y_i进行重构，根据所述测量值y_i计算得到所述原始图像块x_i的近似解x_i″，之前还包括：

利用损失函数训练得到卷积神经测量网络的权重W^s和扩张卷积层的权重W^mus，所述损失函数为

其中，N为样本数。

需要说明的是，ReconNet、IReconNet和USDCNN重构网络的消耗时间以及IReconNet与USDCNN测量网络和重构网络消耗的总时间，如表2所示。

表2

IReconNet(Ff(·))与USDCNN(Fmus(·))表示本文方法的平均重构时间,IReconNet(Fs(·)+Ff(·))与USDCNN(Fs(·)+Fmus(·))表示本文方法运行测量与重构网络的平均时间。从表2可以看出,USDCNN在重构时间上是耗时最短的,而且加上测量网络的消耗时间在CPU上也比其他方法快。

再如图5所示，IReconNet与USDCNN在数据集BSD500(共500张图片)上的平均PSNR和SSIM，可知，IReconNet与USDCNN相比,USDCNN的平均PSNR在四个采样率上都高于IReconNet,USDCNN的平均SSIM在采样率MR＝0.04、0.10、0.25上也都高于IReconNet。实验表明,整体上USDCNN的泛化能力最好,IReconNet仅次于USDCNN。

在采样率MR＝0.25,0.10时,对测量值添加四种不同噪声强度(σ＝0.01、0.05、0.10、0.25)的高斯噪声。如图6和7所示,四种不同噪声强度下USDCNN的平均PSNR最高,IReconNet的平均PSNR低于USDCNN,但整体效果依然优于ReconNet、DR2-Net、MSRNet。实验表明,USDCNN对高斯噪声有更好的鲁棒性,IReconNet仅次于USDCNN。

在采样率MR＝0.25,0.10时,对测量值添加四种不同噪声强度(σ＝0.001、0.01、0.05、0.10)的椒盐噪声。如图8和9所示,四种不同噪声强度下USDCNN和IReconNet的平均PSNR都高于ReconNet、DR2-Net、MSRNet,且差距较大。实验表明,USDCNN对椒盐噪声的鲁棒性最好,IReconNet虽没USDCNN好,但也优于其他方法。

采样率MR＝0.25时添加四种噪声强度的重构图像如图10所示，可以看出,ReconNet、DR2-Net、MSRNet对椒盐噪声的鲁棒性很差,噪点会影响整个图像块,在噪声强度σ＝0.05的时候已经看不到图像轮廓,而IReconNet和USDCNN对椒盐噪声有很好的鲁棒性,在噪声强度σ＝0.10的时候依然可以看到图像轮廓。

由上可知，对11幅常用测试图像和数据集BSD500的实验结果表明,IReconNet将随机测量矩阵替换为测量网络,对重构质量提升很大,优于其他文献中的方法；由于测量网络得到的测量值还保留着图像空间信息,USDCNN在重构网络中引入双线性插值Bilinear和扩张卷积,在重构时间、重构质量和鲁棒性上都有更好的表现。

实施例二

如图11所示，本发明实施例还提供了一种基于自适应非线性网络的图像压缩感知装置100，包括：

图像分块单元101，用于将原始图像x进行分块，得到至少一个原始图像块x_i，i为正整数；

图像测量单元102，用于基于卷积神经测量网络F^s并通过预设采样率MR对所述原始图像块x_i进行测量，得到测量值y_i，y_i＝F^s(x_i，W^s)，W^s为卷积神经测量网络的权重；

第一图像重构单元103，用于通过全连接层F^f对所述测量值y_i进行重构，根据测量值y_i计算得到所述原始图像块x_i的近似解x_i`，x<sub>i</sub>`＝F^f(y_i，W^f)，其中W^f为全连接层权重；

残差学习单元104，用于通过SRCNN网络模型F^sr学习所述原始图像块x_i与所述原始图像块x_i的近似解x_i`之间的残差d_i；

第二图像重构单元105，用于根据所述残差d_i，得到重构图像x_i ^*，x_i ^*＝x_i`+d_i。

优选的，所述装置100还包括损失函数模型，用于训练得到卷积神经测量网络的权重W^s和全连接层权重W^f，所述损失函数为

其中，N为样本数。

优选的，所述损失函数模型还用于根据损失函数训练得到的卷积神经测量网络的权重W^s和全连接层权重W^f计算得到所述原始图像块x_i的近似解x_i`后，再通过训练得到SRCNN网络模型F^sr的权重W^sr，所述损失函数为

其中，N为样本数。

优选的，所述装置100还包括第三图像重构单元106，用于通过双线性插值和扩张卷积层F^mus对所述测量值y_i进行重构，根据所述测量值y_i计算得到所述原始图像块x_i的近似解x_i"，x_i″＝F^mus(y_i，W^mus)，其中W^mus为扩张卷积层权重，其中扩张卷积层F^mus是在所述卷积神经测量网络F^s的卷积核中插入零值，进行卷积扩张得到的。

优选的，所述损失函数模型还用于训练得到卷积神经测量网络的权重W^s和扩张卷积层的权重W^mus，所述损失函数为

其中，N为样本数。

本发明实施例一种基于自适应非线性网络的图像压缩感知装置100是对应上述实施例一种基于自适应非线性网络的图像压缩感知方法，在该装置100中还包括若干单元，用于对应上述一种基于自适应非线性网络的图像压缩感知方法的相应步骤，实现相应的功能。由于上述实施例中已经对一种基于自适应非线性网络的图像压缩感知方法的步骤进行了详细的说明，故在此装置100中不再赘述。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例中记载的任何一种基于自适应非线性网络的图像压缩感知方法的部分或全部步骤。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于自适应非线性网络的图像压缩感知方法，其特征在于，所述方法具体包括：

将原始图像x进行分块，得到至少一个原始图像块x_i，i为正整数；

基于卷积神经测量网络F^s并通过预设采样率MR对所述原始图像块x_i进行测量，得到测量值y_i，y_i＝F^s(x_i，W^s)，W^s为卷积神经测量网络的权重，所述预设采样率MR取值为0.25、0.1、0.04或0.01；

利用第一损失函数训练得到卷积神经测量网络的权重W^s和全连接层权重W^f，所述第一损失函数为：

其中，N为样本数；

通过全连接层F^f对所述测量值y_i进行重构，根据测量值y_i计算得到所述原始图像块x_i的近似解x_i`，x<sub>i</sub>`＝F^f(y_i，W^f)，其中W^f为全连接层权重；

通过SRCNN网络模型F^sr学习所述原始图像块x_i与所述原始图像块x_i的近似解x_i`之间的残差d_i；

根据所述残差d_i，得到重构图像x_i ^*，x_i ^*＝x_i`+d_i。

2.根据权利要求1所述的基于自适应非线性网络的图像压缩感知方法，其特征在于，所述原始图像块x_i的大小为33×33。

3.根据权利要求1所述的基于自适应非线性网络的图像压缩感知方法，其特征在于，所述方法还包括：

在所述卷积神经测量网络F^s的卷积核中插入零值，进行卷积扩张，得到扩张卷积层网络F^mus。

4.根据权利要求3所述的基于自适应非线性网络的图像压缩感知方法，其特征在于，所述基于卷积神经测量网络F^s并通过预设采样率MR对所述原始图像块x_i进行测量，得到测量值y_i，y_i＝F^s(x_i，W^s)，W^s为卷积神经测量网络的权重，之后还包括：

通过双线性插值和扩张卷积层F^mus对所述测量值y_i进行重构，根据所述测量值y_i计算得到所述原始图像块x_i的近似解x_i″，x_i″＝F^mus(y_i，W^mus)，其中W^mus为扩张卷积层权重。

5.根据权利要求1所述的基于自适应非线性网络的图像压缩感知方法，其特征在于，所述方法还包括：

根据第一损失函数训练得到的卷积神经测量网络的权重W^s和全连接层权重W^f计算得到所述原始图像块x_i的近似解x_i`后，再通过第二损失函数训练得到SRCNN网络模型F^sr的权重W^sr，所述第二损失函数为

其中，N为样本数。

6.根据权利要求4所述的基于自适应非线性网络的图像压缩感知方法，其特征在于，所述通过双线性插值和扩张卷积层F^mus对所述测量值y_i进行重构，根据所述测量值y_i计算得到所述原始图像块x_i的近似解x_i"，之前还包括：

利用第三损失函数训练得到卷积神经测量网络的权重W^s和扩张卷积层的权重W^mus，所述第三损失函数为

其中，N为样本数。

7.一种基于自适应非线性网络的图像压缩感知装置，其特征在于，所述装置包括：

图像分块单元，用于将原始图像x进行分块，得到至少一个原始图像块x_i，i为正整数；

图像测量单元，用于基于卷积神经测量网络F^s并通过预设采样率MR对所述原始图像块x_i进行测量，得到测量值y_i，y_i＝F^s(x_i，W^s)，W^s为卷积神经测量网络的权重；

第一损失函数模型，用于训练得到卷积神经测量网络的权重W^s和全连接层权重W^f，所述第一损失函数为

其中，N为样本数；

第一图像重构单元，用于通过全连接层F^f对所述测量值y_i进行重构，根据测量值y_i计算得到所述原始图像块x_i的近似解x_i`，x<sub>i</sub>`＝F^f(y_i，W^f)，其中W^f为全连接层权重；

残差学习单元，用于通过SRCNN网络模型F^sr学习所述原始图像块x_i与所述原始图像块x_i的近似解x_i`之间的残差d_i；

第二图像重构单元，用于根据所述残差d_i，得到重构图像x_i ^*，x_i ^*＝x_i`+d_i。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的一种基于自适应非线性网络的图像压缩感知方法的步骤。

Images