CN102332153B - 基于核回归的图像压缩感知重构方法 - Google Patents

Abstract

本发明公开了一种基于核回归的图像压缩感知重构方法，主要解决现有方法中因为各图像块相互独立重构，缺乏考虑图像块之间的联系而引起重建图像质量下降的问题。其步骤为：首先对输入的场景图像进行分块，利用正交匹配追踪OMP算法对这些图像块进行初步重构；然后对图像运用核回归方法得到图像小块的局部灰度矩阵，利用邻域图像块加权得到图像小块的非局部灰度矩阵；最后利用图像小块的局部灰度矩阵和非局部灰度矩阵通过最小二乘求解得到最终的重构图像小块，对所有图像小块重复此类操作，获得最终重构图像。本发明在不同采样率下，均能够提高各种自然图像和卡通图像的重构效果，可用于压缩观测下各类低分辨图像的高分辨恢复或重构。

Description

基于核回归的图像压缩感知重构方法

技术领域

本发明属于图像处理技术领域，涉及一种压缩感知理论框架下的图像重构方法，可用于压缩观测下各类低分辨图像的高分辨恢复或重构。

背景技术

压缩感知是近几年在信号处理领域中发展起来的一种关于信号传输与存储的新理论。它突破了解决传统奈奎斯特采样中关于采样速率的限制，可在低采样率下实现信息的精确感知。传统的图像压缩感知重构方法是对整体图像直接进行压缩观测，然后利用优化算法恢复图像，由于大场景图像含有的信息量较大，从而造成观测矩阵过大，导致运算复杂度过高。最近，分块图像压缩感知方法被提出，其主要思想是，首先对图像采用分块处理，其次对每个图像块分别进行压缩观测，在对各个图像块分别进行重构，最后由各图像块聚合为全图。但是，在这种分块图像压缩感知中，由于各图像块之间是独立重构的，忽略了图像块之间的相关性，往往会导致重构图像具有块效应，影响了图像的重构效果。

发明内容

本发明的目的在于克服上述已有技术的缺点，提出一种基于核回归的图像压缩感知重构方法，以利用图像块之间的相关性，有效地去除图像块之间的块效应，提高重构图像的质量。

为实现上述目的，本发明的技术方案是首先对图像进行分块压缩观测，对观测值利用正交匹配追踪OMP算法进行初步重构；然后对图像采用核回归方法得到图像块的局部灰度矩阵，再基于图像的自相似性将邻域图像块加权得到图像块的非局部灰度矩阵；最后利用图像块的局部信息和非局部信息通过最小二乘求解得到重构图像块。具体步骤包括：

(1)对场景X进行分块压缩成像，对X中局部区域对应的图像小块x进行观测，得到观测向量y＝As，其中A为观测矩阵，s为图像小块列向量；

(2)利用OMP算法求解式：

得到图像小块x对应的稀疏分解系数α，其中D为冗余DCT字典，λ为正则化参数；

(3)利用公式得到初始重构的图像小块列向量其中α为稀疏分解系数，D为冗余DCT字典，再将列向量

重排得到初始重构的图像小块

(4)重复步骤(2)到步骤(3)，对输入的图像小块依次处理，得到重构场景图像

(5)利用核回归方法对重构场景图像

进行回归处理，得到重构图像的局部灰度矩阵U；

(6)计算初始重构场景图像

中的任一小块

与其邻域中的其他K个图像小块x₁，x₂...x_K之间的欧氏距离，确定出K个邻域小块对当前小块的权值w₁，w₂...w_K，并对其归一化分别得到归一化的权值

其公式如下：

$w_k=e^{-\frac{{\left|\right|\hat{x}(:)-x_k(:)\left|\right|}_2^2}{h^2}}$

${\hat{w}}_k=w_k/\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k$ k＝1，2...，K

其中，h为控制参数用来控制权值随着图像块和x_k之间距离增加时的下降速度，h越大权值下降速度越慢，反之权值下降速度越快，

和x_k(：)分别表示图像小块

和x_k中所有的像素点的值，

为图像小块

和x_k之间的欧氏距离。

(7)利用归一化的权值

对所述的x₁，x₂...x_K进行加权求和，得到重构图像小块的非局部灰度矩阵v：

$v=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\hat{w}}_k{x}_k;$

(8)重复步骤(6)到步骤(7)，对初始重构场景图像

中的所有图像小块依次处理，得到重构图像的非局部灰度矩阵V；

(9)对一个图像小块求解优化公式

得到最终重构图像小块z，其中y为观测向量，A为随机观测矩阵，u为从U中取出的与初始重构小块

对应的重构图像小块的局部灰度矩阵，v为从V中取出的与初始重构小块

对应的重构图像小块的非局部灰度矩阵；

(10)重复步骤(9)对每个输入的图像小块依次处理，得到最终重构的场景图像Z。

本发明由于在进行图像重构时，在对单个图像块的重构过程中考虑了其局部邻域内和全局的相似图像块，分别使用核回归和非局部滤波技术建立了图像的局部灰度矩阵和非局部灰度矩阵，在重建中利用局部和全局图像块之间的相似性达到信息共享，也考虑了图像之间的相似性，从而提高了重构图像的质量；同时由于本发明充分利用图像块之间的相关性来恢复图像，有效的提高了图像块的重构质量。实验证明，本发明适用于各种自然图像和卡通图像的压缩感知重构。

附图说明

图1是本发明的总流程图；

图2是本发明求解重构图像小块的示意图；

图3是本发明仿真采用的Lena图像；

图4是本发明仿真采用的Peppers图像；

图5是本发明仿真采用的Flinstones图像；

图6是本发明仿真采用的Horse图像；

图7是用本发明对Lena图像重构的仿真效果图；

图8是用本发明对Peppers图像重构的仿真效果图；

图9是用本发明对Flinstones图像重构的仿真效果图；

图10是用本发明对Horse图像重构的仿真效果图。

具体实施方法

参照附图1，本发明的具体步骤如下：

步骤1.对场景图像分块并利用观测矩阵得到相应的观测向量

对如附图3、图4、图5、图6所示的场景X进行分块压缩成像，利用观测矩阵对X中局部区域的图像小块x进行观测，其中图像小块的大小为16×16，得到对应的观测向量为：y＝As；其中A为观测矩阵，这里取随机高斯矩阵，s为图像小块x转化为列向量的结果；

步骤2.利用OMP重构算法，得到初始重构场景图像

2a)对于步骤1中得到的观测矩阵y，利用OMP算法求解式：得到图像小块x对应的稀疏分解系数α，其中y为观测向量，D为冗余DCT字典，其大小为256×900，λ为稀疏度控制参数，||·||₀表示向量的L₀范数；

2b)利用公式求出初始重构的图像小块列向量

其中α为稀疏分解系数，D为冗余DCT字典，再将列向量转化得到初始重构的图像小块

2c)重复步骤(2a)到步骤(2b)，对输入的图像小块依次处理，得到初始重构场景图

步骤3.利用核回归方法得到重构图像的局部灰度矩阵

3a)对初始重构场景图

进行随机采样，得到图像采样点的像素值q_i和位置向量t_i，其关系式为：

q_i＝F(t_i)+ε_i，i＝1，2...，P

其中，F(·)表示回归函数，ε_i为估计误差项，P为采样点的个数；

3b)对回归函数利用泰勒公式展开，确定待估计像素点的回归模型：

$F\left(t_i\right)=F\left(t\right)+{\{\▿F\left(t\right)\}}^T(t_i-t)$

$+\frac{1}{2}{(t_i-t)}^T\left\{\mathrm{HF}\left(t\right)\right\}(t_i-t)+...$

$=F\left(t\right)+{\{\▿F\left(t\right)\}}^T(t_i-t)$

$+\frac{1}{2}{\mathrm{vec}}^T\left\{\mathrm{HF}\left(t\right)\right\}\mathrm{vec}\left\{(t_i-t){(t_i-t)}^T\right\}+...$

其中，F(·)表示回归函数，

表示求取向量的梯度，(·)^T表示矩阵的转置，t_i表示采样点的位置向量，t表示非采样点的位置向量，t_i与t均用大小为2×1的向量表示，H为Hessian矩阵，vec(·)表示将矩阵转化为列向量的操作；

3c)利用上述回归模型，确定出各项的系数，令β₀＝F(t)，

依次类推，并将回归模型简化为以下求解公式：

$\hat{b}=\arg \underset{b}{\min }{(q-E_{t}b)}^T{W}_t(q-E_{t}b),$

其中，q＝[q₁，q₂，...，q_P]^T， $b={[{\mathrm{\β}}_0,{\mathrm{\β}}_1^T,...,{\mathrm{\β}}_N^T]}^T,$

W_t＝diag[K_H(t₁-t)，K_H(t₂-t)...，K_H(t_P-t)]，

其中，

表示待求解的回归函数系数向量，q表示采样点像素值向量，P为采样点的个数即核函数的大小，K_H(·)表示核函数，β_i，i＝1，2...，N表示回归模型中各项的系数，N表示回归函数的最大阶数，diag(·)表示对角矩阵，W_t表示等价权值矩阵，E_t表示等效核矩阵，vech(·)表示将矩阵的下三角元素转化为列向量的操作；

3d)利用如下公式估计出非采样点的像素值：

$\hat{F}\left(t\right)={\widehat{\mathrm{\β}}}_0=e_1^T{\left({E_t}^T{W}_t{E}_t\right)}^{-1}{E_t}^T{W}_{t}q$

其中，

表示估计出的非采样点的像素值，

为第一个元素值为1，其它元素全为0的列向量；

3e)将采样点的像素值q_i和3d)中估计出的非采样点像素值

组合，得到重构图像的非局部灰度矩阵U；

步骤4.利用邻域图像块加权，得到重构图像的非局部灰度矩阵

4a)计算初始重构场景图

中的任一小块

与其邻域中的其他K个图像小块x₁，x₂...x_K之间的欧氏距离，分别得到K个邻域小块对当前小块的权值w₁，w₂...w_K，并对权值w₁，w₂...w_K归一化，分别得到归一化的权值其公式如下：

$w_k=e^{-\frac{{\left|\right|\hat{x}(:)-x_k(:)\left|\right|}_2^2}{h^2}}$

${\hat{w}}_k=w_k/\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k$ k＝1，2...，K

其中，h为控制参数用来控制权值随着图像块和x_k之间距离增加的下降速度，h越大权值下降速度越慢，反之权值下降速度越快，

和x_k(：)分别为图像小块

和x_k中所有的像素点的值，为图像小块

和x_k之间的欧氏距离；

4b)利用归一化权值

对所述的x₁，x₂...x_K进行加权求和，得到重构图像小块的非局部灰度矩阵v：

$v=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\hat{w}}_k{x}_k;$

4c)重复步骤4a)到步骤4b)，对初始重构场景图

中的所有图像小块依次处理，得到重构图像的非局部灰度矩阵V；

步骤5.利用图像的局部灰度矩阵和非局部灰度矩阵得到最终重构的图像

参照附图2，对场景图像中的一个图像小块x进行重构，即求解优化公式 $\underset{z}{\min }{\left|\right|y-\mathrm{Az}\left|\right|}_2^2+{\mathrm{\λ}}_1{\left|\right|z-u\left|\right|}_2^2+{\mathrm{\λ}}_2{\left|\right|z-v\left|\right|}_2^2,$ 其求解步骤如下：

5a)确定优化公式的初始值，令

其中，

为初始重构的图像小块，

表示当前的重构图像小块；

5b)分别通过核回归方法对

进行回归处理，估计非采样点的像素值，以及对

邻域的图像块进行加权来更新当前重构图像小块，求解优化公式中的第3项和第4项，分别得到当前重构小块的局部灰度矩阵u⁽ⁿ⁾和非局部灰度矩阵v⁽ⁿ⁾；

5c)再次利用最小二乘法求解优化公式中的第1项、第3项和第4项，更新重构图像小块： ${\hat{x}}^{(n+1)}={(({\mathrm{\λ}}_1+{\mathrm{\λ}}_2)I+A^{T}A)}^{-1}\×({\mathrm{\λ}}_1{u}^{\left(n\right)}+{\mathrm{\λ}}_2{v}^{\left(n\right)}+A^{T}y),$

其中，表示更新后的重构图像小块，λ为稀疏度控制参数，λ₁为局部正则化参数和λ₂为非局部正则化参数，y为观测向量，(·)^-1表示矩阵的逆，(·)^T表示矩阵的转置，I为单位矩阵；

5d)利用步骤5c)得到的

令对

重复步骤5b)，更新u⁽ⁿ⁾和v⁽ⁿ⁾；

5e)重复步骤5c)和步骤5d)，当重复次数为L次，且L＝3时，得到最终重构图像小块 $z={\hat{x}}^{\left(L\right)};$

5f)重复步骤5a)到步骤5e)，对所有的小块依次处理，得到最终重构图像Z。

本发明的效果可以通过以下实验近一步说明：

1)实验条件

本实验采用标准测试自然图像和卡通图像作为实验数据，采用软件MATLAB 7.0作为仿真工具，计算机配置为Intel Core2/2.33G/2G。

2)实验内容

分别利用OMP算法和本发明的算法，在不同的采样率下对各类输入测试图像进行重构：

分别利用现有的OMP方法和本发明方法对图3所示的Lena图像和图4所示的Peppers图像进行压缩感知重构，结果如图7和图8所示。其中图7(a)为用现有OMP算法在50％采样率下，对图3所示的Lena图像进行压缩感知重构的仿真效果图；图7(b)为用本发明方法在50％采样率下，对图3所示的Lena图像进行压缩感知重构的仿真效果图；图8(a)为用现有OMP算法在50％采样率下，对图4所示的Peppers图像进行压缩感知重构的仿真效果图；图8(b)为用本发明方法在50％采样率下，对图4所示的Peppers图像进行压缩感知重构的仿真效果图。

分别利用现有的OMP方法和本发明方法对图5所示的Flinstones图像和图6所示的Horse图像进行压缩感知重构，结果如图9和图10所示。其中图9(a)是用现有OMP算法在50％采样率下，对图5所示的Flinstones图像进行压缩感知重构的仿真效果图；图9(b)为用本发明方法在50％采样率下对图5所示的Flinstones图像进行压缩感知重构的仿真效果图；图10(a)为用现有OMP算法在50％采样率下对图6所示的Horse图像进行压缩感知重构的仿真效果图；图10(b)为用本发明方法在50％采样率下对图6所示的Horse图像进行压缩感知重构的仿真效果图。

3)实验结果分析

两种方法的数字指标比较统计见表1，

表1不同采样率下，各测试图像的压缩感知重构结果表

表1中的采样率γ＝m/n，其中m，n分别为随机高斯观测矩阵A的行数和列数，实验中γ分别取20％，30％，40％，50％；其数字对比指标如下定义：

MSE＝norm(X(：)-Z(：))^2/(norm(X(：)))/M

PSNR＝10×log(255²/MSE)(dB)

$\mathrm{SSIM}={\left[l(X,Z)\right]}^{\mathrm{\α}}{\left[c(X,Z)\right]}^{\mathrm{\β}}{\left[s(X,Z)\right]}^{\mathrm{\γ}}=\frac{4{\mathrm{\μ}}_X{\mathrm{\μ}}_Z{\mathrm{\σ}}_{\mathrm{XZ}}}{({\mathrm{\μ}}_X^2+{\mathrm{\μ}}_Z^2)({\mathrm{\σ}}_X^2+{\mathrm{\σ}}_Z^2)}$

$\mathrm{MSSIM}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{SSIM}(X_i,Z_i)$

式中，PSNR表示图像峰值信噪比，SSIM表示两幅图像的结构相似度测度，MSSIM表示两幅图像的平均相似度测度，其中X为原始图像，Z为重建图像，l(X，Z)为亮度比较函数，c(X，Z)为对比度比较函数，s(X，Z)为结构比较函数，Xi，Zi分别表示X，Z中的像素点，M为全部像素点的个数，μ_X，μ_Z分别表示X，Z的均值，σ_X，μ_Z分别表示X，Z的方差，μ_XZ表示X和Z的协方差。MSE越小，PSNR越大，说明重建结果比较好。结构相似度测度SSIM和平均结构相似度测度MSSIM是基于人类视觉特性的客观图像质量评价方法，取值在0-1之间，值越接近于1说明重建图像和原图在视觉效果上越接近。

从表1可以看出，本发明在自然图像和卡通图像的压缩感知重构上要优于其它方法，在不同的采样率下，对于输入的图像都可以得到较好的重构结果。

从图7、图8、图9、图10可以看出，本发明在重构图像的视觉效果上要优于其它方法，不但较好的保持了图像灰度信息，而且有效地去除了图中的块效应。

Claims (3)

1.一种基于核回归的图像压缩感知重构方法，包括如下步骤：

（1）对场景X进行分块压缩成像，对X中局部区域对应的图像小块x进行观测，得到观测向量y＝As，其中A为随机观测矩阵,s为图像小块列向量；

（2）利用OMP算法求解式：

得到图像小块x对应的稀疏分解系数α，其中D为冗余DCT字典，λ为正则化参数；

（3）利用公式

得到初始重构的图像小块列向量其中α为稀疏分解系数，D为冗余DCT字典，再将列向量

重排得到初始重构的图像小块

（4）重复步骤（2）到步骤（3），对输入的图像小块依次处理，得到重构场景图像

（5）利用核回归方法对重构场景图像

进行回归处理，得到重构图像的局部灰度矩阵U；

（6）计算初始重构场景图像

中的任一小块

与其邻域中的其他K个图像小块x₁,x₂...x_K之间的欧氏距离，确定出K个邻域小块对当前小块的权值w₁,w₂...w_K，并对其归一化分别得到归一化的权值

其公式如下：

$w_k=e^{-\frac{{\left|\right|\hat{x}(:)-x_k(:)\left|\right|}_2^2}{h^2}}$

${\hat{w}}_k=w_k/\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k,k=\mathrm{1,2},...,K$

其中，h为控制参数，用来控制权值随着图像块

和x_k之间距离增加时的下降速度，h越大权值下降速度越慢，反之权值下降速度越快，

和x_k(:)分别表示图像小块和x_k中所有的像素点的值，

为图像小块

和x_k之间的欧氏距离；

（7）利用归一化的权值

对所述的x₁,x₂...x_K进行加权求和，得到重构图像小块的非局部灰度矩阵v：

$v=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\widehat{w_k}{x}_k;$

（8）重复步骤（6）到步骤（7），对初始重构场景图像

中的所有图像小块依次处理，得到重构图像的非局部灰度矩阵V；

（9）对一个图像小块求解优化公式

得到最终重构图像小块z，其中y为观测向量，A为随机观测矩阵，u为从U中取出的与初始重构小块

对应的重构图像小块的局部灰度矩阵，v为从V中取出的与初始重构小块

对应的重构图像小块的非局部灰度矩阵，λ₁为局部正则化参数，λ₂为非局部正则化参数；

（10）重复步骤（9）对每个输入的图像小块依次处理，得到最终重构的场景图像Z。

2.根据权利要求1所述的基于核回归的图像压缩感知重构方法，其中步骤（5）所述的利用核回归方法对重构场景图像

进行回归处理，按如下步骤进行：

2a)对初始重构场景图

进行随机采样，得到图像采样点的像素值q_i和位置向量t_i，其关系式为：

q_i＝F(t_i)+ε_i，i＝1,2...,P

其中，F(.)表示回归函数，ε_i为估计误差项，P为采样点的个数；

2b)对回归函数利用泰勒公式展开，确定非采样像素点的回归模型：

F(t_i)＝F(t)+{▽F(t)}^T(t_i-t)

+12(t_i-t)^T{HF(t)}(t_i-t)+...

=F(t)+{▽F(t)}^T(t_i-t)

+12vec^T{HF(t)}vec{(t_i-t)(t_i-t)^T}+...

其中，F(.)表示回归函数，▽(.)表示求取向量的梯度，(.)^T表示矩阵的转置，t_i表示采样点的位置向量，t表示非采样点的位置向量，H为Hessian矩阵，vec(.)表示将矩阵转化为列向量的操作；

2c)利用上述回归模型，确定出各项的系数，令β₀=F(t)，β₁=▽F(t)，

依次类推，并将回归模型简化为以下求解公式：

$\hat{b}=\arg \underset{b}{\min }{(q-E_{t}b)}^T{W}_t(q-E_{t}b),$

其中， $q={[q_1,q_2,...q_P]}^T,b={[{\mathrm{\β}}_0,{\mathrm{\β}}_1^T,...,{\mathrm{\β}}_N^T]}^T,$

W_t＝diag[K_H(t₁-t),K_H(t₂-t)...,K_H(t_P-t)]，

$E_t=\left[\begin{array}{cc}1{(t_1-t)}^T{\mathrm{vech}}^T\left\{(t_1-t){(t_1-t)}^T\right\}& ...\\ 1{(t_2-t)}^T{\mathrm{vech}}^T\left\{(t_2-t){(t_2-t)}^T\right\}& ...\\ .& .\\ .& .\\ .& .\\ 1{(t_P-t)}^T{\mathrm{vech}}^T\left\{(t_P-t){(t_P-t)}^T\right\}& ...\end{array}\right],$

其中，表示待求解的回归函数系数向量，q表示采样点像素值向量，P为采样点的个数即核函数的大小，K_H(.)表示核函数，β_i,i＝0,1,2...,N表示回归模型中各项的系数，N表示回归函数的最大阶数，diag(.)表示对角矩阵，W_t表示等价权值矩阵，E_t表示等效核矩阵，vech(.)表示将矩阵的下三角元素转化为列向量的操作；

2d)利用如下公式估计出非采样点的像素值：

$\hat{F}\left(t\right)={\widehat{\mathrm{\β}}}_0=e_1^T{\left({E_t}^T{W}_t{E}_t\right)}^{-1}{E_t}^T{W}_{t}q$

其中，

表示估计出的非采样点的像素值，e₁为第一个元素值为1，其它元素全为0的列向量；

2e)将采样点的像素值q_i和估计出的非采样点像素值组合，得到重构图像的局部灰度矩阵U。

3.根据权利要求1所述的基于核回归的图像压缩感知重构方法，其中步骤（9）所述的对一个图像小块求解优化公式

按如下步骤进行：

3a)确定优化公式的初始值，令

其中，

为初始重构的图像小块，表示当前的重构图像小块；

3b)对于当前的重构图像小块

利用核回归方法和邻域图像块加权求解优化公式中的第2项和第3项，分别得到图像小块当前的局部灰度矩阵u⁽ⁿ⁾和非局部灰度矩阵v⁽ⁿ⁾；

3c)再次求解优化公式中的第1项、第2项和第3项，更新重构图像小块：

${\hat{x}}^{(n+1)}={(({\mathrm{\λ}}_1+{\mathrm{\λ}}_2)I+A^{T}A)}^{-1}\×({\mathrm{\λ}}_1{u}^{\left(n\right)}+{\mathrm{\λ}}_2{v}^{\left(n\right)}+A^{T}y),$

其中，

表示更新后的重构图像小块，λ₁为局部正则化参数，λ₂为非局部正则化参数,y为观测向量，(.)^-1表示矩阵的逆，(.)^T表示矩阵的转置，I为单位矩阵；

3d)利用步骤3c)得到的

令

对

重复步骤3b)，更新u⁽ⁿ⁾和v⁽ⁿ⁾；

3e)重复步骤3c)和步骤3d)，当重复次数为L次，且L=3时，得到最终重构图像小块 $z={\hat{x}}^{\left(L\right)}.$

Images