CN103247028A - 一种多假设预测的分块压缩感知图像处理方法 - Google Patents

Abstract

一种多假设预测的分块压缩感知图像处理方法，涉及数字图像和信号处理的技术领域，具体说是应用多假设分块压缩感知结合平滑滤波实现图像的高质量重构技术。为了提高图像重构的质量，提出一种基于多假设预测的分块压缩感知图像重构技术，实现了图像处理在实时性和重构质量之间好的折中。（1）根据图像结构及其在空间的相关性，对图像进行分块，并在小波域，应用3级双正交9/7DWT（离散小波变换）和RDWT(冗余DWT)对不同的图像分块信号进行变采样率压缩感知采样。（2）图像重构时，在测量域，应用多假设预测生成一种信号残差，并根据加权正则化Tikhonov矩阵计算假设的最佳线性组合，最后通过多尺度分块压缩感知MS-BCS-SPL技术重构图像。

Description

一种多假设预测的分块压缩感知图像处理方法

技术领域

本发明涉及数字图像和信号处理的技术领域，具体说是应用多假设分块压缩感知结合平滑滤波实现图像的高质量重构技术。 

背景技术

由于数据的稀疏性表示和高质量信号的恢复性能，压缩感知（Compressed Sensing,CS）理论目前成为图像采样和图像重构实现的研究热点。对于图像的多维信号处理，CS技术应用的最大挑战是计算的复杂性和图像重构质量之间的矛盾。目前，解决此问题的主要方法是： 

（1）分块CS采样及其在重构实现时的SCS-SPL（Block-based Compressed Sensing(BCS)with smoothed projected Landweber reconstruction,BCS-SPL）技术:SCS-SPL技术利用图像分块CS的先验知识和平滑投影重构技术。相对于图像特征的CS全采样技术，这种方法确实提高了计算开销，解决了计算实时性问题。但是，一定程度上，SCS-SPL技术降低了重构的图像质量。 

（2）在DWT域MS-SCS-SPL（multiscale variant BCS-SPL，MS-SCS-SPL)技术。MS-SCS-SPL技术对图像信号中包含不同信息量的分块采用不同的采样率，也就是分块自适应采样的方法。这种技术提高了图像的重构质量，但计算的复杂度高于SCS-SPL技术，从而影响了图像信号恢复的实时性。 

为了兼顾图像信号恢复的实时性和高质量的要求，在CS投影域，利用多假设（Multihypothesis Predictions）预测和高压缩率残差信号，本发明提出一种基于多假设预测的分块压缩感知图像处理技术。 

▲多假设预测的分块压缩感知图像处理技术的主要优点是： 

（1）图像采样处理时，利用图像空间相关性，把图像分成块和子块，对每个块和子块的不同子带，通过双正交9/7DWT变换应用变采样率进行测量。这种变采样率测量得到的数据反映了图像的结构和特征信息，为图像的高质量重构奠定了应用基础。 

（2）图像重构处理时，先对块数据建立一定大小的搜索窗口，然后把块数据内进一步划分为不同的子块，在搜索窗口建立多假设预测。最后，根据多假设预测，应用加权正则化Tikhonov矩阵产生图像重构的先验知识，并结合MS-BCS-SPL算法能够高质量恢复图像数据。 

（3）提出的方法，相对于BCS-SPL和MS-BCS-SPL技术，重构的图像峰值信噪比大约提高了1dB-3dB的。重构图像所用时间根据图像特征和采样子率不同而不同，相对于MS-BCS-SPL技术节约了33.05s。 

为描述方便，先引出附图： 

附图说明

图1是像的CS采样处理； 

图2是像的CS重构处理； 

图3是基于子块的多假设预测处理

表示当前块，

为假设块，

为搜索窗） 

图4是CS图像重构算法的实现比较（S=0.1） 

(a)原始图像,(b)本文算法重构的图像(PSNR=31.6dB),(c)BCS-SP算法重构的图像(PSNR=28dB),（d）TV算法重构的图像(PSNR=29.8dB)，(e)多尺度GPSR算法重构的图像(PSNR=30.2dB)。 

发明内容

本发明的目的是针对目前的压缩感知在图像处理应用中存在图像质量与计算时间之间难以折中的矛盾问题，提出一种分块压缩感知自适应变采样图像信号测量方法(MH-VS-BCS-SPL)，而在图像重构时利用多假设预测作为先验知识，并利用加权正则化Tikhonov矩阵计算假设的最佳线性组合，从而高质量地重构恢复了原始图像。 

1．系统的基本实现方法 

本发明根据图像处理的实现内容分为两个部分：（1）图像采样处理：自适应变采样分块CS处理技术。（2）图像重构处理：多假设预测多尺度分块CS重构处理技术。整个系统的实现原理，如图1和图2所示： 

▲图像采样处理： 

（1）把一个图像被分成B×B块。这里分块的大小B根据图像重构的速率和重构的质量要求折中决定，按照经验，一般地取B=16,32,64。 

（2）对每个图像块使用一个合适大小的测量矩阵进行采样。在每个图像的分块内，采样时使用9/7双正交3级DWT作为多尺度变换矩阵Ω。Ω进行l级（l=1,2,3）分解时，大小为B×B图像块采样使用随机DCT SRM观测矩阵进行实现。其中，每一级采样使用不同的采样权重进行处理。 

(3)对采样得到的CS数据观测值输出。 

实现特征：（1）选用分块采样方式最主要的优点是采样算子易于存储，且在重构阶段不需要等到整幅图像都传输完成就可以对已接收的观测数据进行重构。 

（2）根据图像块信息量的不同，对不同的图像块选用不同的采样权重进行处理，其优点是降低了计算速度和存储空间的要求。 

▲图像重构处理： 

（1）根据接收的观测数据y，在DWT域建立分块测量矩阵。并使用DDWT（双树DWT，Dual-tree DWT）作为稀疏基。 

（2）对每个图像子块的周围设置搜索窗，并进行多假设加权正则化Tikhonov预测处理，得到图像重构的先验知识。结合先验知识，解决图像重构时的迭代阈值最小二乘的病态欠定问题。 

（3）在DWT域,调用MS-BCS-SPL算法。 

（见http://www.ece.msstate.edu/～fowler/BCSSPL/） 

（4）重构恢复原始图像。 

实现特征：（1）把重构图像的每个B×B块再划分为b×b的子块，这样做的优点是有效地利用了子空间搜索窗口的Tikhonov预测处理。正则化Tikhonov 多假设预测的目的是在某些搜索空间中寻找所有假设的最优线性组合。 

（2）在DWT子带中，当子块大小等于块大小时（即对于l级DWT分解的块和子块当b_l＝B_l时），使用RDWT（冗余DWT,Redundant DWT）进行正交变换处理。这样做的优点是消除了DWT下采样的影响，提高了图像的重构质量。 

2图像采样处理的实现过程 

（1）把大小为N×N的一幅图像x，分成B×B块。根据9/7双正交DWT进行3级分解的变换原理，当l=1,2,3，我们分别选取每一级的块大小为B_l＝16,32,64。 

（2）对每个图像块选取大小为

的测量矩阵Ф_l。其中，是l级测量维数， $M_{B_l}=O\left(K_l\log B_l\right)$ ，且满足 $M_{B_1}+M_{B_2}+M_{B_3}=M,K_1+K_2+K_3=K.$ M为CS测量矩阵观测的数值总的维数；K为CS的稀疏度，即非0元素的个数。 

因此，整个图像测量矩阵Ф的大为M_B×B²,整个图像的采样子率为S＝M_B/B²。整个图像的测量矩阵Ф具有对角型结构性矩阵Φ＝diag(Φ_l)，其形式为： 

假设x_l,s,j是第l级子带s上的第j块图像的向量表示，且满足s∈{H,V,D},1≤l≤L（H表示水平方向子带，V为垂直方向子带，D为对角方向子带）。那么，CS的采样观测值为： 

y_l,s,j＝Φ_l·x_l,s,j                         （2）（3）DWT分解不同级采样子率的确定原则：由于不同级的DWT分解对图像重构有不同的重要性，因此，本发明在每一个l级都会调整采样过程以产生不同的采样子率S_l（其中，设置DWT基带子率为全采样子率，S₀＝1）。l级的采样子率S_l定义如下： 

S_l＝W_l·S^/                          （3）这里，W_l为l级的子率加权系数。整个图像的采样子率由公式（4）确定。 

$S=\frac{1}{4^L}{S}_0+\frac{3}{4^L}{S}_1+\underset{l=2}{\overset{L}{\mathrm{\Σ}}}\frac{3}{4^{L-l+1}}{W}_l{S}^{/}---\left(4\right)$

特别地说明，经过多次实验，子率加权系数W_l通过（5）式确定： 

W_l＝16^L-l+1                       （5） 

（4）经过3级采样，得到整个图像的测量观测数据为： 

y＝Φ·x＝{y_l,s,j＝Φ_l·x_l,s,j,l,s＝1,2,3;j＝1,2,...,B²/N²)         （6） 

3图像重构处理的实现过程 

（1）根据接收的观测数据y，在DWT域建立分块测量矩阵,使y=ФΩx。这里，当b_l＜B_l时，Ω为9/7双正交3级DWT多尺度变换矩阵；当b_l＝B_l时，Ω为RDWT矩阵。Ф为确定性测量矩阵，具体形式为： 

$\mathrm{\Φ}\·\sqrt{K}=\left[\begin{array}{c}n\≡0\mathrm{mod}2\\ n\≡1\mathrm{mod}2\\ n\≡0\mathrm{mod}3\\ n\≡1\mathrm{mod}3\\ n\≡2\mathrm{mod}3\\ .\\ .\\ .\\ n\≡1\mathrm{mod}5\\ .\\ .\\ .\end{array}\right]=\left[\begin{array}{cccccccc}1& 0& 1& 0& 1& 0& 1& ...\\ 0& 1& 0& 1& 0& 1& 0& ...\\ 1& 0& 0& 1& 0& 0& 1& ...\\ 0& 1& 0& 0& 1& 0& 0& ...\\ 0& 0& 1& 0& 0& 1& 0& ...\\ .& .& .& .& .& .& .& \\ .& .& .& .& .& .& .& ...\\ .& .& .& .& .& .& .& \\ 0& 1& 0& 0& 0& 0& 1& ...\\ .& .& .& .& .& .& .& \\ .& .& .& .& .& .& .& ...\\ .& .& .& .& .& .& .& \end{array}\right]---\left(7\right)$

(2)多假设预测和正则化Tikhonov矩阵处理。对每个图像子块的空间周围设置搜索窗，初始化窗大小为W＝1，并进行多假设加权正则化Tikhonov预测处理。图3说明了一个在搜索空间窗内，对第i个b×b子块进行多假设预测的处理过程。多假设预测的处理数据

作为多假设矩阵H_i的列。 

为此，对于第i个图像块重构的信号

为： 

$\stackrel{\‾}{x_i}=H_i{\hat{w}}_i---\left(8\right)$                    （8） 

${\hat{w}}_i=\arg \underset{w}{\min }\left|\right|y_i-\mathrm{\Φ}{H}_{i}w|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\Γw}\right|{|}_2^2$

其中，多假设矩阵H_i为B²×K维的矩阵，其多假设加权矩阵

的列代表了H_i的列的线性组合。Γ为Tikhonov矩阵，λ为加权因子。项的引入说明了先验知识对求解的约束条件，解决了CS重构技术中迭代阈值最小二乘的病态欠定问题。 

Γ的一种对角矩阵形式如下： 

${\mathrm{\Γ}}_{j,j}={\left|\right|y_i-{\mathrm{\Φh}}_j\left|\right|}_2^2,j=\mathrm{1,2},...,K---\left(9\right)$

其中，h_j是H_i的列元素。因此，对于每个块，

可以直接由（10）式求解： 

${\hat{w}}_i{({\left({\mathrm{\ΦH}}_i\right)}^T\left({\mathrm{\ΦH}}_i\right)+{\mathrm{\λ}}^2{\mathrm{\Γ}}^T\mathrm{\Γ})}^{-1}{\left({\mathrm{\ΦH}}_i\right)}^T{y}_i---\left(10\right)$

（3）参差信号r的预测：对原始图像数据x进行预测估计，预测估计数据 两个信号的参差为

则参差信号r的预测如下： 

$q=\mathrm{\Φr}=y-\mathrm{\Φ}\stackrel{\‾}{x}---\left(11\right)$

（4）图像重构数据的结果

通过y我们得到的预测估计数据

如下： 

$\hat{x}=\stackrel{\‾}{x}+\mathrm{MS}-\mathrm{BCS}-\mathrm{SPL}(q,\mathrm{\Φ})---\left(12\right)$

这里，公式(1)-(12)表示本发明提出的多假设预测分块压缩感知的图像处理算法,而MS-BCS-SPL为多尺度分块压缩感知平滑滤波算法。 

发明效果 

分别对512×512的几幅灰度图像应用本发明提出的多假设预测分块压缩感知的图像处理算法进行处理，同时与BCS-SPL算法、TV算法以及多尺度GPSR算法进行比较。其中，本发明算法和BCS-SPL算法均使用双树DWT(DDWT)作为稀疏基Ψ，采样时使用9/7双正交3级DWT作为多尺度变换矩阵Ω。Ω进行l级分解时，大小为B_l×B_l图像块采样使用随机DCT SRM观测矩阵进行实现。当l=1,2,3时，块的大小分别为B_l=16，32，64。图4说明了几种算法重构Lena图像的部分实验结果。由图可见，当采样子率S=0.1时，本算法提出的小波域分块采样和多尺度重构的图像质量优于BCS-SPL算法约3dB。同时，本算法也优于TV算法和多尺度GPSR算法约1-2dB。表1说明了几种算法对Lena图像、Barbara图像以及Pepper图像重构质量（以PSNR为衡量标准）的对比结果。某些情况下，当采样子率较高时，对于重构的Barbara图像，TV算法性能优于其它算法。但是，TV算法的实时性能最差。表2列出了几种方法在奔腾双核2.67GHz上运行重构Lenna图像的时间对比。可见，本发明的实时性较好。在数字图像处理中，目前具有最好的图像质量与实时性的折中。 

表1几种算法重构图像的PSNR(dB)对比结果 

表2几种方法重构Lenna图像的时间比较（S=0.3） 

Claims (3)

1.一种多假设预测的分块压缩感知图像处理方法，实现内容分为两个部分：（1）图像采样处理：自适应变采样分块CS处理技术；（2）图像重构处理：多假设预测多尺度分块CS重构处理技术，其特征是： 

一、图像采样处理： 

（1）把一个图像被分成B×B块，这里分块的大小B根据图像重构的速率和重构的质量要求折中决定，按照经验，一般地取B=16,32,64； 

（2）对每个图像块使用一个合适大小的测量矩阵进行采样，在每个图像的分块内，采样时使用9/7双正交3级DWT作为多尺度变换矩阵Ω，Ω进行l级（l=1,2,3）分解时，大小为B×B图像块采样使用随机DCT SRM观测矩阵进行实现，其中，每一级采样使用不同的采样权重进行处理； 

(3)对采样得到的CS数据观测值输出； 

二、图像重构处理： 

（1）根据接收的观测数据y，在DWT域建立分块测量矩阵，并使用DDWT（双树DWT，Dual-tree DWT）作为稀疏基； 

（2）对每个图像子块的周围设置搜索窗，并进行多假设加权正则化Tikhonov预测处理，得到图像重构的先验知识，结合先验知识，解决图像重构时的迭代阈值最小二乘的病态欠定问题； 

（3）在DWT域,调用MS-BCS-SPL算法； 

（4）重构恢复原始图像。 

2.根据权利要求1所述的方法，其特征是图像采样处理的实现过程： 

（1）把大小为N×N的一幅图像x，分成B×B块，根据9/7双正交DWT进行3级分解的变换原理，当l=1,2,3，我们分别选取每一级的块大小为B_l＝16,32,64； 

（2）对每个图像块选取大小为

的测量矩阵Ф_l，其中，

是l级测量维数，

且满足

M为CS测量矩阵观测的数值总的维数；K为CS的稀疏度，即非0元素的个数； 

因此，整个图像测量矩阵Ф的大为M_B×B²,整个图像的采样子率为S＝M_B/B²，整个图像的测量矩阵Ф具有对角型结构性矩阵Φ＝diag(Φ_l)，其形式为： 

假设x_l,s,j是第l级子带s上的第j块图像的向量表示，且满足s∈{H,V,D},1≤l≤L（H表示水平方向子带，V为垂直方向子带，D为对角方向子带），那么，CS的采样观测值为： 

y_l,s,j＝Φ_l·x_l,s,j   （2） 

（3）DWT分解不同级采样子率的确定原则：由于不同级的DWT分解对图像重构有不同的重要性，因此，本发明在每一个l级都会调整采样过程以产生不同的采样子率S_l（其中，设置DWT基带子率为全采样子率，S₀＝1），l级的采样子率S_l 定义如下： 

S_l＝W_l·S^/   （3） 

这里，W_l为l级的子率加权系数，整个图像的采样子率由公式（4）确定， 

特别地说明，经过多次实验，子率加权系数W_l通过（5）式确定： 

W_l＝16^L-l+1   （5） 

（4）经过3级采样，得到整个图像的测量观测数据为： 

y＝Φ·x＝{y_l,s,j＝Φ_l·x_l,s,j,l,s＝1,2,3;j＝1,2,...,B²/N²)   （6）。 

3.图像重构处理的实现过程 

（1）根据接收的观测数据y，在DWT域建立分块测量矩阵,使y=ФΩx，这里，当b_l＜B_l时，Ω为9/7双正交3级DWT多尺度变换矩阵；当b_l＝B_l时，Ω为RDWT矩阵，Ф为确定性测量矩阵，具体形式为： 

(2)多假设预测和正则化Tikhonov矩阵处理，对每个图像子块的空间周围设置搜索窗，初始化窗大小为W＝1，并进行多假设加权正则化Tikhonov预测处理，图3说明了一个在搜索空间窗内，对第i个b×b子块进行多假设预测的处理过程，多假设预测的处理数据

作为多假设矩阵H_i的列； 

为此，对于第i个图像块重构的信号

为： 

                                                 （8） 

其中，多假设矩阵H_i为B²×K维的矩阵，其多假设加权矩阵的列代表了H_i的列的线性组合，Γ为Tikhonov矩阵，λ为加权因子，

项的引入说明了先验知识对

求解的约束条件，解决了CS重构技术中迭代阈值最小二乘的病态欠定问题，Γ的一种对角矩阵形式如下： 

其中，h_j是H_i的列元素，因此，对于每个块，

可以直接由（10）式求解： 

（3）参差信号r的预测：对原始图像数据x进行预测估计，预测估计数据 

两个信号的参差为

则参差信号r的预测如下： 

（4）图像重构数据的结果

通过y我们得到的预测估计数据

如下： 

这里，公式(1)-(12)表示本发明提出的多假设预测分块压缩感知的图像处理算法,而MS-BCS-SPL为多尺度分块压缩感知平滑滤波算法。 

Images