CN102298768A - 基于稀疏样本的高分辨率图像重建方法 - Google Patents

Abstract

本发明公开了一种基于稀疏样本的高分辨图像重建方法，属于图像处理领域。该方法的实现过程为：首先以原始低分辨率图像为低频，以零矩阵为三个方向的高频，进行小波反变换完成图像初始化，然后利用轮廓波分解初始图像，在分解域优化系数，并在其周围建立邻域向量，最后利用训练阶段得到的高、低分辨率稀疏系数邻域向量的映射函数和邻域融合，得到高分辨率轮廓波系数，通过轮廓波反变换得到高分辨率重建图像。本发明利用轮廓波系数的方向性提高图像细小纹理的重建精度，利用轮廓波系数的稀疏性提高图像的重建速度，利用轮廓波系数优化处理抑制了可能存在的噪声干扰。通过对几种图像重建方法的比较，本发明的重建方法峰值信噪比最高，视觉效果最好。

Description

基于稀疏样本的高分辨率图像重建方法

技术领域

本发明属于图像处理技术领域，具体地说，属于一种基于稀疏样本的高分辨率图像重建方法。

背景技术

在图像采集过程中，由于成像传感器的性能以及图像传输过程中外界因素的影响，所采集的图像往往分辨率较低，直接影响了后续基于图像的处理分析工作。提高图像测量系统精度最直接的方法就是提高CCD相机分辨率，即增加像素点数，但这种依靠提高硬件分辨率来提高检测精度的代价相当昂贵，因此人们希望能借助数字图像处理技术来提高原始图像的分辨率，从而引出了高分辨率图像重建问题。目前解决该类问题的方法主要包括以下三类，一类是经典的图像插值方法，主要包括近邻插值法、双线性插值法和双三次插值法等，其中近邻插值简单且直观，但得到的图像质量不高；双线性插值得到的图像质量较高，但由于其具有低通滤波器的性质，使高频分量受损，所以可能会使图像轮廓在一定程度上变得模糊；双三次插值是双线性插值的改进，插值精度更高，但也具有更高的计算复杂度。而且，此类基于插值的高分辨率图像获取方法在提高分辨率的程度上具有很大的局限性，且无法处理图像中的运动模糊等问题。

第二类是基于多帧低分辨率图像的重建方法。该类方法采集一组具有像素位移的低分辨率图像，建立每一幅低分辨率图像与未知高分辨率图像之间的线性映射关系，当所采集的低分辨率图像足够多时，就能将方程组求解，获得高分辨率图像。但在实际应用中，该方法也无法在很大程度上提高图像分辨率，经分析，其提高因子小于2。

第三类是基于样本的高分辨率重建方法。该类方法是针对前两类方法的不足，最近几年才提出的。它通过建立高、低分辨率学习样本，并从样本中学到高、低分辨率局部图像之间的映射关系，将其应用于测试阶段的低分辨率图像，从而得到高分辨率图像，经典方法包括2002年提出的灰度/梯度近邻法和2008年提出的基于高频分量回归的方法。其中近邻法存在着过拟合的现象，即训练结果能很好地满足训练集但无法适应新的测试数据，从而在复杂的图像区域易产生错误重建；基于回归的方法通过支持向量回归或岭回归等方法从训练样本中获得从低分辨率图像到高分辨率图像的映射，能进一步提高重建性能，但仍然存在某些重建细节无法真实反映真实细节的情况，且由于训练和测试过程中需考虑高、低分辨率图像块中的每一个像素，使得算法具有很高的计算复杂度。因此，如何提取样本信息，以及如何利用样本信息提高重建精度和速度是基于样本的重建方法的关键问题。

图像轮廓的锐度和细节的丰富度取决于图像的高频成分，图像的分辨率越高，则细节越丰富，在空域表现为图像梯度较大，在频域则表现为高频分量较多。空域方法受噪声影响较大，传统的频域高通方法损失了原图像信号的时间(空间)信息，基于小波方法通过对时间(空间)频率的局部化分析，可聚焦到信号的任意细节，但由于二维可分离小波变换时经一维小波通过张量积形成的，基函数的各向同性性质导致方向选择差，不能有效地捕捉轮廓信息，从而制约了基于小波的图像重建方法的发展。

Contourlet变换是一种新的信号分析工具，该变换满足各向异性尺度关系，有很好的方向性，能准确地将图像中的边缘轮廓信息捕捉到不同尺度、不同方向的子带中，能很好地保留图像中的纹理细节特征。而且，图像经Contourlet变换分解后的系数相当稀疏，绝大部分系数幅值接近于零，幅值较大的系数往往聚集在轮廓边缘附近，且在尺度间有一定的相关性和延续性。因此，提取高、低分辨率图像的细节信息作为样本将有助于高分辨率图像细节信息的精确重建，并能极大地降低计算损耗。

发明内容

本发明的目的在于：针对现有高分辨率图像重建方法的不足，提出了一种基于Contourlet分解稀疏样本的高分辨率图像重建方法，在训练阶段，利用Contourlet变换对训练集中的高、低分辨率图像进行稀疏分解，在多尺度多方向高频稀疏系数周围建立对应的邻域向量集合，通过核岭回归方法获得各尺度各方向高低分辨率系数邻域向量之间的映射函数；在应用阶段，首先利用小波反变换获得初始图像，然后利用Contourlet变换对低分辨率初始图像进行稀疏分解，所得到的多尺度多方向低分辨率高频稀疏系数经优化处理后，在各优化系数周围建立邻域向量，将邻域向量送入所对应的映射函数，并通过邻域融合，得到对应尺度和方向的高分辨率高频稀疏系数，最后通过Contourlet反变换获得高分辨率图像。

本发明所解决的技术方案是：首先以低分辨率图像为小波变换中的低频分量，将各高频分量置0，进行小波反变换，得到稀疏重建的初始图像，然后利用轮廓波Contourlet变换对初始图像进行多尺度、多方向的稀疏分解，并在变换域利用Contourlet系数的稀疏特性优化系数分布，在各优化系数周围建立邻域向量，最后利用训练阶段得到的高、低分辨率稀疏系数邻域向量的映射关系和邻域融合，得到高分辨率Contourlet系数，并通过Contourlet反变换得到高分辨率重建图像。本发明技术方案的具体实现步骤如下：

1.获取原始低分辨率图像z_l的大小，并以此为标准建立小波变换中的垂直、水平和对角三个高频分量HH，LL和HL，各高频分量中的元素均为0；

2.以原始低分辨率图像为低频分量，以HH，LL和HL作为三个高频分量进行一级小波反变换，得到稀疏重建的初始图像I_l；

3.对初始图像I_l进行尺度为J的轮廓波Contourlet变换，得到一个低通图像和分布于多尺度、多方向上的多个高频分量y_j，k，其中j＝1，...，J为尺度下标，k＝1，...，2^J为方向下标，J的大小可预先指定；

4.在各高频分解层，根据分解系数的尺度和方向特性，优化图像I_l经轮廓波分解后各尺度和各方向的高频分量y_j，k的稀疏分布，得到优化后的低分辨率高频重要系数y′_j，k，并建立起对应的邻域向量

5.在学习阶段建立高、低分辨率轮廓波稀疏系数的映射关系，并在应用阶段根据此映射关系，将优化后的低分辨率高频系数邻域向量

映射到同尺度，同方向的高分辨率轮廓波Contourlet变换域，得到各尺度、各方向上的高分辨率轮廓波Contourlet系数邻域向量

6.对于可能存在的多邻域重叠像素点x_j，k(m，n)，对多个邻域进行融合，在各尺度各方向得到融合后的高分辨率轮廓波Contourlet稀疏系数

其中P为在该点重叠的邻域个数，为邻域标准差，可估计为

M_x为高分辨率系数邻域大小，可预先指定。

7.对高分辨率变换系数做轮廓波Contourlet逆变换，得到低分辨率图像I_l所对应的高分辨率图像I_h。

上述的基于稀疏样本的高分辨率图像重建方法中，步骤4中的具体实现过程如下：

(1)根据最精细尺度的各方向子带系数，估计图像中可能存在的噪声的标准偏差

其中 ${\widehat{\mathrm{\σ}}}_n=\mathrm{median}\left(\right|\{y_{J,k},k=1,...,2^J\}\left|\right)/0.6745;$

(2)计算参数

(3)对于每一个子带y_j，k，j＝1，...，J，k＝1，...，2^J，计算该子带稀疏系数的标准偏差

其中

n_j为尺度j下子带中像素的个数；

(4)对于每一个子带，估计其中重要稀疏系数的标准偏差

其中

(5)估计重要稀疏系数

其中

${y^{\′}}_{j,k}=\mathrm{sign}\left(y_{j,k}\right)\×\left(\max (0,\frac{2\left|y_{j,k}\right|{\widehat{\mathrm{\σ}}}_{y_{j,k}^{\′}}^2+{\mathrm{\α}}^2\left|y_{j,k}\right|-\sqrt{{\mathrm{\α}}^4{y}_{j,k}^2+4{\mathrm{\α}}^4{\widehat{\mathrm{\σ}}}_{y_{j,k}^{\′}}^2+4{\mathrm{\α}}^2{\widehat{\mathrm{\σ}}}_{y_{j,k}^4}^4}}{2({\mathrm{\α}}^2+{\widehat{\mathrm{\σ}}}_{y_{j,k}^2}^2)})\right);$

(6)建立稀疏系数y′_j，k的邻域向量

邻域大小M_y可预先指定。

上述的基于稀疏样本的高分辨率图像重建方法中，步骤5按如下进行：

(1)在训练阶段，建立高、低分辨率图像Contourlet稀疏分解数据库

其中为高分辨率图像稀疏系数，

为对应的低分辨率图像稀疏系数，N(·)为对应的邻域向量，l为训练集合中邻域数据对的个数，将此数据库作为建立二者映射关系的训练集合，其中低分辨率图像是高分辨率图像经过平滑和下采样得到；

(2)在训练阶段，采用基于高斯核的岭回归方法建立训练集合中高、低分辨率Contourlet稀疏分解系数的映射关系

(3)在应用阶段，将各尺度及各方向优化后的低分辨率高频重要系数

作为输入送入f函数，输出与之相对应的高分辨率系数

上述的基于稀疏样本的高分辨率图像重建方法中，步骤5中的分步骤(2)按如下进行：

(1)根据低分辨率图像Contourlet分解稀疏系数计算核函数矩阵K，其中

i＝1，2，...，l，j＝1，2，...，l，其中σ＝0.025；

(2)创建大小与矩阵K相同的单位矩阵I，其中I(i，j)＝1，i＝1，2，...，l，j＝1，2，...，l；

(3)创建高分辨率图像Contourlet分解稀疏系数矩阵X，其中

(4)计算核系数矩阵A，其中A＝(K+λI)^-1X，其中λ＝0.5×10^-7；

(5)取矩阵A的第t列作为第t个回归器的系数

(6)根据上述计算，得到回归核函数

t＝1，...，M_x；

(7)映射集合f＝{f^t(·)，t＝1，2，...，M_x}。

本发明方法与现有技术相比较，具有如下突出实质性特点和显著优点：

(1)针对当前几种高分辨率图像重建方法存在提高分辨率程度受限，计算损耗大和细节恢复性不高的缺点，采用Contourlet变换对图像进行分解，在多个尺度，多个方向上建立高、低分辨率图像经Contourlet分解后各稀疏系数邻域特征的映射关系，从而在实际应用中，可将原始低分辨稀疏系数映射至高分辨率稀疏系数，达到高分辨重建的目的；

(2)采用核岭回归方法获取低分辨率稀疏系数与高分辨率稀疏系数之间的映射函数，在回归精度和速度上达到了较好的平衡；

(3)利用小波变换的特性，将原始低分辨图像进行高分辨率初始化，提高了后续高分辨率图像的重建效果；

(4)为避免低分辨图像中可能存在的噪声干扰，根据最大后验估计对分解后的原Contourlet稀疏系数进行了优化；

本发明提供的高分辨率图像重建技术能极大地提高图像的分辨率，为图像的后续处理提供更加全面、准确的目标及背景信息，达到理想的重建效果。在工业产品检测，交通安全监测等民用领域和军事、外太空探索等领域均有广泛的应用前景。

附图说明

图1为本发明高分辨率图像重建方法的流程框图。

图2为低分辨率图像的高分辨率重建结果图。图中，(a)为原始低分辨率图像，(b)至(d)分别代表双三次插值法，基于梯度样本重建法和本方法的处理结果。

具体实施方式

下面结合图1中的具体图示，对本发明做进一步阐述。

参考图1中的流程图，实现本发明基于稀疏样本的高分辨率图像重建方法，首先以低分辨率图像为小波变换中的低频分量，将各高频分量置0，进行小波反变换，得到稀疏重建的初始图像，然后利用轮廓波Contourlet变换对初始图像进行多尺度、多方向的稀疏分解，并在变换域利用Contourlet系数的稀疏特性优化系数分布，在各优化系数周围建立邻域向量，最后利用训练阶段得到的高、低分辨率稀疏系数邻域向量的映射关系和邻域融合，得到高分辨率Contourlet系数，并通过Contourlet反变换得到高分辨率重建图像。现将各个步骤具体实施方式加以说明：

1.获取原始低分辨率图像z_l的大小，并以此为标准建立小波变换中的垂直、水平和对角三个高频分量HH，LL和HL，各高频分量中的元素均为0；

2.以原始低分辨率图像为低频分量，以HH，LL和HL作为三个高频分量进行一级小波反变换，得到稀疏重建的初始图像I_l；

3.对初始图像I_l进行尺度为J的轮廓波Contourlet变换，得到一个低通图像和分布于多尺度、多方向上的多个高频分量，其中j＝1，...，J为尺度下标，k＝1，...，2^J为方向下标，J的大小可预先指定；

4.在各高频分解层，根据分解系数的尺度和方向特性，优化图像I_l经轮廓波分解后各尺度和各方向的高频分量y_j，k的稀疏分布，得到优化后的低分辨率高频重要系数y′_j，k，并建立起对应的邻域向量

其中j＝1，...，J为尺度下标，k＝1，...，2^J为方向下标。该过程的具体步骤为：

(1)根据最精细尺度的各方向子带系数，估计图像中可能存在的噪声的标准偏差

其中 ${\widehat{\mathrm{\σ}}}_n=\mathrm{median}\left(\right|\{y_{j,k},k=1,...,2^J\}\left|\right)/0.6745;$

(2)计算参数

(3)对于每一个子带y_j，k，j＝1，...，J，k＝1，...，2^J，计算该子带稀疏系数的标准偏差

其中

n_j为尺度j下子带中像素的个数；

(4)对于每一个子带，估计其中重要稀疏系数的标准偏差

其中

(5)估计重要稀疏系数

其中

${y^{\′}}_{j,k}=\mathrm{sign}\left(y_{j,k}\right)\×\left(\max (0,\frac{2\left|y_{j,k}\right|{\widehat{\mathrm{\σ}}}_{y_{j,k}^{\′}}^2+{\mathrm{\α}}^2\left|y_{j,k}\right|-\sqrt{{\mathrm{\α}}^4{y}_{j,k}^2+4{\mathrm{\α}}^4{\widehat{\mathrm{\σ}}}_{y_{j,k}^{\′}}^2+4{\mathrm{\α}}^2{\widehat{\mathrm{\σ}}}_{y_{j,k}^4}^4}}{2({\mathrm{\α}}^2+{\widehat{\mathrm{\σ}}}_{y_{j,k}^2}^2)})\right);$

(6)建立稀疏系数y′_j，k的邻域向量邻域大小M_y可预先指定。

5.在学习阶段建立高、低分辨率轮廓波稀疏系数的映射关系，并在应用阶段根据此映射关系，将优化后的低分辨率高频系数邻域向量映射到同尺度，同方向的高分辨率轮廓波Contourlet变换域，得到各尺度、各方向上的高分辨率轮廓波Contourlet系数邻域向量

该过程的具体步骤为：

(1)在训练阶段，建立高、低分辨率图像Contourlet稀疏分解数据库

其中

为高分辨率图像稀疏系数，

为对应的低分辨率图像稀疏系数，N(·)为对应的邻域向量，l为训练集合中邻域数据对的个数，将此数据库作为建立二者映射关系的训练集合，其中低分辨率图像是高分辨率图像经过平滑和下采样得到；

(2)在训练阶段，采用基于高斯核的岭回归方法建立训练集合中高、低分辨率Contourlet稀疏分解系数的映射关系其实现过程为：

(a)根据低分辨率图像Contourlet分解稀疏系数

计算核函数矩阵K，其中

i＝1，2，...，l，j＝1，2，...，l，其中σ＝0.025；

(b)创建大小与矩阵K相同的单位矩阵I，其中I(i，j)＝1，i＝1，2，...，l，j＝1，2，...，l；

(c)创建高分辨率图像Contourlet分解稀疏系数矩阵X，其中

(d)计算核系数矩阵A，其中A＝(K+λI)^-1X，其中λ＝0.5×10^-7；

(e)取矩阵A的第t列作为第t个回归器的系数

(f)根据上述计算，得到回归核函数

t＝1，...，M_x；

(g)映射集合f＝{f^t()，t＝1，2，...，M_x}。

(3)在应用阶段，将各尺度及各方向优化后的低分辨率高频重要系数作为输入送入f函数，输出与之相对应的高分辨率系数

6.对于可能存在的多邻域重叠像素点x_j，k(m，n)，对多个邻域进行融合，在各尺度各方向得到融合后的高分辨率轮廓波Contourlet稀疏系数

其中P为在该点重叠的邻域个数，为邻域标准差，可估计为M_x为高分辨率系数邻域大小，可预先指定。

7.对高分辨率变换系数做轮廓波Contourlet逆变换，得到低分辨率图像I_l所对应的高分辨率图像I_h。

本发明用Kid和Butterfly作为测试图像，将本发明所提出的高分辨率图像重建方法与使用双三次插值的重建方法和基于梯度样本的图像重建方法进行了比较。

图2给出了低分辨率Kid图像的重建结果比较，其中(a)为原始低分辨率图像，(b)为双三次插值重建结果，(c)为基于梯度样本的高分辨率图像重建结果，(d)为本发明提出的基于Contourlet稀疏分解稀疏的高分辨率图像重建结果。从图中可以看出，与其它两种现有方法相比，本发明提出的方法所重建的图像更为清晰，细节更为丰富，具有更佳的视觉效果。

表1不同高分辨率图像重建方法的比较

为客观地对各种方法的重建性能进行评价，采用正则均方误差(NMSE)和峰值信噪比(PSNR)作为衡量性能的指标，表1给出了本发明方法与其它几种方法的客观评价指标比较结果。可以看出，本发明方法具有更高的峰值信噪比。

总之，无论是在主观判断还是客观评价上，本发明所提出的方法均有优于当前先进的两种方法。

Claims (4)

1.一种基于稀疏样本的高分辨率图像重建方法，其特征在于：首先以低分辨率图像为小波变换中的低频分量，将各高频分量置0，进行小波反变换，得到稀疏重建的初始图像，然后利用轮廓波Contourlet变换对初始图像进行多尺度、多方向的稀疏分解，并在变换域利用Contourlet系数的稀疏特性优化系数分布，在各优化系数周围建立邻域向量，最后利用训练阶段得到的高、低分辨率稀疏系数邻域向量的映射关系和邻域融合，得到高分辨率Contourlet系数，并通过Contourlet反变换得到高分辨率重建图像，其具体实现步骤如下：

(1)获取原始低分辨率图像z_l的大小，并以此为标准建立小波变换中的垂直、水平和对角三个高频分量HH，LL和HL，各高频分量中的元素均为0；

(2)以原始低分辨率图像为低频分量，以HH，LL和HL作为三个高频分量进行一级小波反变换，得到稀疏重建的初始图像I_l；

(3)对初始图像I_l进行尺度为J的轮廓波Contourlet变换，得到一个低通图像和分布于多尺度、多方向上的多个高频分量y_j，k，其中j＝1，...，J为尺度下标，k＝1，...，2^J为方向下标，J的大小可预先指定；

(4)在各高频分解层，根据分解系数的尺度和方向特性，优化图像I_l经轮廓波分解后各尺度和各方向的高频分量y_j，k的稀疏分布，得到优化后的低分辨率高频重要系数y′_j，k，并建立起对应的邻域向量

(5)在学习阶段建立高、低分辨率轮廓波稀疏系数的映射关系，并在应用阶段根据此映射关系，将优化后的低分辨率高频系数邻域向量映射到同尺度，同方向的高分辨率轮廓波Contourlet变换域，得到各尺度、各方向上的高分辨率轮廓波Contourlet系数邻域向量

；

(6)对于可能存在的多邻域重叠像素点x_j，k(m，n)，对多个邻域进行融合，在各尺度各方向得到融合后的高分辨率轮廓波Contourlet稀疏系数其中P为在该点重叠的邻域个数，

为邻域标准差，可估计为

M_x为高分辨率系数邻域大小，可预先指定；

(7)对高分辨率变换系数做轮廓波Contourlet逆变换，得到低分辨率图像I_l所对应的高分辨率图像I_h。

2.根据权利要求1所述的基于稀疏样本的高分辨率图像重建方法，其中步骤4按如下进行：

(1)根据最精细尺度的各方向子带系数，估计图像中可能存在的噪声的标准偏差其中 ${\widehat{\mathrm{\σ}}}_n=\mathrm{median}\left(\right|\{y_{J,k},k=1,...,2^J\}\left|\right)/0.6745;$

(2)计算参数

(3)对于每一个子带y_j，k，j＝1，...，J，k＝1，...，2^J，计算该子带稀疏系数的标准偏差

其中

n_j为尺度j下子带中像素的个数；

(4)对于每一个子带，估计其中重要稀疏系数的标准偏差其中

(5)估计重要稀疏系数

其中

${y^{\′}}_{j,k}=\mathrm{sign}\left(y_{j,k}\right)\×\left(\max (0,\frac{2\left|y_{j,k}\right|{\widehat{\mathrm{\σ}}}_{y_{j,k}^{\′}}^2+{\mathrm{\α}}^2\left|y_{j,k}\right|-\sqrt{{\mathrm{\α}}^4{y}_{j,k}^2+4{\mathrm{\α}}^4{\widehat{\mathrm{\σ}}}_{y_{j,k}^{\′}}^2+4{\mathrm{\α}}^2{\widehat{\mathrm{\σ}}}_{y_{j,k}^4}^4}}{2({\mathrm{\α}}^2+{\widehat{\mathrm{\σ}}}_{y_{j,k}^2}^2)})\right);$

(6)建立稀疏系数y′_j，k的邻域向量

，邻域大小M_y可预先指定。

3.根据权利要求1所述的基于稀疏样本的高分辨率图像重建方法，其中步骤5按如下进行：

(1)在训练阶段，建立高、低分辨率图像Contourlet稀疏分解数据库其中

为高分辨率图像稀疏系数，

为对应的低分辨率图像稀疏系数，N(·)为对应的邻域向量，l为训练集合中邻域数据对的个数，将此数据库作为建立二者映射关系的训练集合，其中低分辨率图像是高分辨率图像经过平滑和下采样得到；

(2)在训练阶段，采用基于高斯核的岭回归方法建立训练集合中高、低分辨率Contourlet稀疏分解系数的映射关系

(3)在应用阶段，将各尺度及各方向优化后的低分辨率高频重要系数

作为输入送入f函数，输出与之相对应的高分辨率系数

4.根据权利要求1所述的基于稀疏样本的高分辨率图像重建方法，其中步骤5中的子步骤(2)按如下进行：

(1)根据低分辨率图像Contourlet分解稀疏系数

计算核函数矩阵K，其中i＝1，2，...，l，j＝1，2，...，l，其中σ＝0.025；

(2)创建大小与矩阵K相同的单位矩阵I，其中I(i，j)＝1，i＝1，2，...，l，j＝1，2，...，l；

(3)创建高分辨率图像Contourlet分解稀疏系数矩阵X，其中

(4)计算核系数矩阵A，其中A＝(K+λI)^-1X，其中λ＝0.5×10^-7；

(5)取矩阵A的第t列作为第t个回归器的系数

(6)根据上述计算，得到回归核函数

t＝1，...，M_x；

(7)映射集合f＝{f^t()，t＝1，2，...，M_x}。

Images