CN103116880A - 一种基于稀疏表示和多残差的图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于稀疏表示和多残差的图像超分辨率重建方法。本发明的具体步骤是：首先，计算原高分辨率图像与低分辨率图像经插值放大后的图像之间的残差，并计算残差的高频部分与低频部分；其次，以低分辨率图像样本特征和对应图像残差高频部分、低频部分建立样本对，以低分辨率样本为基准采用纹理元结构对样本进行分类，并对每一类样本对采用KSVD方法进行训练获得低分辨率样本与图像残差高频部分、低频部分的字典对；最后，根据测试样本的纹理元结构类型选择字典对，将最终图像残差结合低分辨率图像的插值结果获得高分辨率图像。本发明只需重构图像残差，结合插值图像即可重建高分辨率图像，提高了高分辨率图像的重建结果。

Description

一种基于稀疏表示和多残差的图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，涉及一种对图像进行超分辨率重建的方法，具体是一种基于稀疏表示和多残差的图像超分辨率重建方法。 

背景技术

图像超分辨率重建在医学成像、卫星成像等各个领域有着广阔的应用，它是指由输入的一幅或多幅低分辨率图像重构得到一幅高分辨率图像的方法，与采用高性能硬件获取高分辨率图像的方法相比，具有更低的成本。 

图像超分辨率重建一般可分为基于插值的、基于多幅低分辨率图像的、基于学习的三类超分辨率重建方法。基于插值的超分辨率方法重建的图像易产生过平滑，因此这类方法产生的高分辨率图像质量很有限。基于多幅低分辨率的超分辨率重建方法通常需要对低分辨率图像进行亚像素精度的配准以获得各图像之间的位置变化，然而这种方法在提高图像质量的情况下对分辨率放大倍数的增加是非常有限的。而基于学习的超分辨率重建方法突破了上述两种方法的局限性，这种方法认为低分辨率图像中缺失的高频细节可以通过对指定数据集的训练来预测和推断。 

发明内容

本发明的目的是提供一种有效的图像超分辨率重建方法，以改善重建质量。 

为解决上述技术问题，本发明提供的技术方案如下： 

首先，计算原高分辨率图像与低分辨率图像经插值放大后的图像之间的残差，并将残差分成高频部分与低频部分；其次，以低分辨率图像样本特征和对应图像残差高频部分、图像残差低频部分建立样本对，以低分辨率样本为基准根据纹理元结构对样本对进行分类，并将每一类样本对采用KSVD方法进行训练获得低分辨率样本与图像残差高频部分、低频部分的字典对；最后，根据测试样本的纹理元结构选择字典对，将重建的图像残差高频部分、低频部分结合低分辨率图像的插值结果获得高分辨率图像。

下面详细给出该发明技术方案中的各个细节说明： 

步骤(1)计算残差，并获得残差的高频部分与低频部分，具体是：

将用于训练的低分辨率样本图像y插值放大得到图像Xb，图像Xb与原高分辨率图像具有相同尺寸，将图像Xb与原高分辨率图像X之间的差值即Xr=X-Xb作为图像残差；然后对差值Xr进一步分析，对差值Xr按其频率的相对高低再分成两部分，即通过高通滤波得到Xr的高频部分Xr₁，以及余下的低频部分Xr₂=Xr-Xr₁。

步骤(2)获得低分辨率训练样本图像、高分辨率图像残差高频部分与低频部分的字典对，具体是： 

计算低分辨率训练样本图像的一阶、二阶梯度图像，将梯度图像按3×3分块，以梯度值作为低分辨率图像子块的特征；将图像残差按9×9分块，对子块残差的高频部分、低频部分作为高分辨率图像子块的特征，训练字典对，它由低分辨率字典、高分辨率残差的高频字典和高分辨率残差的低频字典构成。

训练前先对低分辨率特征子块样本集合{y_i}进行分类。每个y_i是一个3x3大小的纹理元结构，设Z为纹理元的中心像素，其八邻域内的像素分别为Z₁-Z₈，当Zs≥Z，则给Zs标记ps＝1，否则标记ps＝0，s=1,…,8。将ps按s序号大小排成一行，根据ps的取值可得到256种可能的纹理元结构。以输入的低分辨率图像块样本为基准，对样本空间进行分类。分类的规则是：对于给定的256个纹理元 

，0≤p≤255，根据式(1)按照纹理元结构的旋转和互补规则将纹理元进行分组。式（1）中rot90、rot180、rot270分别表示纹理元结构旋转90^o、180^o和270^o，下标2表示二进制表示。经过式（1）方法，可合并得到K组纹理元结构。相应地，构成各类别的低分辨率样本所对应的高分辨率的残差高频样本也对应分到同一类高频残差中，对应的高分辨率的残差低频样本也对应分到同一类低频残差中，分类后得到K类纹理元结构。 

               (1) 

训练时，对输入的每个高、低分辨率图像特征子块向量化，得到各自向量化的特征子块样本集合，分别记为{x _r1i}、{x _r2i}和{y_i}，其中x _r1i表示图像残差的高频子块，x _r2i表示图像残差的低频子块，y_i表示低分辨率图像特征子块， i=1,…,N，N是子块数。

对K类样本对集合采用KSVD算法训练学习，为了保持字典间的同构性，第j类样本的学习表达式如式(2)所示，j=1，2，…，K。 

      (2) 

式(2)中

为低分辨率图像的第j类样本中的第k个训练样本，N _j 是第j类样本中的样本数目。

、

分别为第j类样本高分辨率图像第k个训练样本残差的高、低频部分，

、

为相对应的误差平衡参数，

为最大稀疏度约束, 

是样本的稀疏表示系数列向量，由第j类样本中所有的

排列构成该类的稀疏表示系数矩阵

，是第j类样本的低分辨率字典，

分别是高分辨率样本残差的高、低频部分的字典。为了使式（2）适用于KSVD方法求解，将式子（2）改写成：

                  (3)

其中

，

。

在字典训练时，误差平衡参数可选输入样本的均值之比，令

，

，

分别为对应样本向量的均值，则通过式（4）获得误差平衡参数

和

。 

                           (4) 

对K类样本通过KSVD算法得到用于超分辨率重建的K个字典对，第j类样本的字典对由3个字典构成，低分辨率字典

、高分辨率的高频字典、低频字典

，j＝1，2，…，K。

步骤(3)超分辨率重建高分辨率图像，具体是： 

对样本对进行分类学习后，可得K对高、低分辨率字典

，j＝1，2，…，K。对低分辨率测试图像y_C重建时，先对y_C分块，每个子块大小为3×3，作为纹理元结构在K类纹理元结构中寻找相应类别，由类别从K对字典中选用相应类别的字典进行稀疏分解与高分辨率图像重建，采用

，

是误差阈值，分解低分辨率测试图像子块y _Ci ，其中D _lt 是选择的低分辨率字典，

是样本的稀疏表示系数列向量。对应的高分辨率残差子块x _rCi 重建过程采用式（5）获得。

                                           (5) 

其中

是与D _lt 相对应的高分辨率残差字典。重建获得的是残差图像

，其中M是低分辨率测试图像的子块数，R _i 是子块的提取方式，T代表转置。残差图像X _rC 与低分辨率插值放大后的结果X _bC 相加可获得超分辨率图像X _C 。

本发明只需重构图像残差的高频部分与低频部分，结合插值图像即可重建高分辨率图像；将样本对根据纹理元结构分类,为每类样本对训练字典达到了字典数目的增加，增强了对样本特征差异性的表达能力，提高了高分辨率图像的重建质量。 

具体实施方式

以下结合实施实例对本发明加以详细说明。 

对于彩色的RGB图像，先转换成YUV图像，在Y分量上进行超分辨率重建，而UV分量采用插值放大，然后再将YUV图像转换成RGB图像；对于灰度图像，直接在灰度图上进行超分辨率重建。 

对输入的低分辨率图像进行3倍放大。将低分辨率图像分成若干个大小为3×3的图像子块，则相应的高分辨率图像子块大小为9×9，为了保持图像子块间的相容性，对低分辨率图像子块采用1个重叠像素，则相应的高分辨率图像子块重叠3个像素。 

步骤(1)计算残差，并获得残差的高频部分与低频部分，具体是： 

将用于训练的低分辨率样本图像y插值放大得到图像Xb，图像Xb与原高分辨率图像具有相同尺寸，将图像Xb与原高分辨率图像X之间的差值即Xr=X-Xb作为图像残差；然后对差值Xr进一步分析，对差值Xr按其频率的相对高低再分成两部分，即通过高通滤波得到Xr的高频部分Xr₁，以及余下的低频部分Xr₂=Xr-Xr₁。

步骤(2)获得低分辨率训练样本图像、高分辨率图像残差高频部分与低频部分的字典对，具体是： 

计算低分辨率训练样本图像的一阶、二阶梯度图像，将梯度图像按3×3分块，以梯度值作为低分辨率图像子块的特征；将图像残差按9×9分块，对子块残差的高频部分、低频部分作为高分辨率图像子块的特征，训练字典对，它由低分辨率字典、高分辨率残差的高频字典和高分辨率残差的低频字典构成。

训练前先对低分辨率特征子块样本集合{y_i}进行分类。每个y_i是一个3x3大小的纹理元结构，设Z为纹理元的中心像素，其八邻域内的像素分别为Z₁-Z₈，当Zs≥Z，则给Zs标记ps＝1，否则标记ps＝0，s=1,…,8。将ps按s序号大小排成一行，根据ps的取值可得到256种可能的纹理元结构。以输入的低分辨率图像块样本为基准，对样本空间进行分类。分类的规则是：对于给定的256个纹理元 ，0≤p≤255，根据式(1)按照纹理元结构的旋转和互补规则将纹理元进行分组。式（1）中rot90、rot180、rot270分别表示纹理元结构旋转90^o、180^o和270^o，下标2表示二进制表示。经过式（1）方法，可合并得到K＝38组纹理元结构。相应地，构成各类别的低分辨率样本所对应的高分辨率的残差高频样本也对应分到同一类高频残差中，对应的高分辨率的残差低频样本也对应分到同一类低频残差中，分类后得到38类纹理元结构。 

               (1) 

训练时，对输入的每个高、低分辨率图像特征子块向量化，得到各自向量化的特征子块样本集合，分别记为{x _r1i}、{x _r2i}和{y_i}，其中x _r1i表示图像残差的高频子块，x _r2i表示图像残差的低频子块，y_i表示低分辨率图像特征子块， i=1,…,N，N是子块数。

对38类样本对集合采用KSVD算法训练学习，为了保持字典间的同构性，第j类样本的学习表达式如式(2)所示，j=1，2，…，38。 

      (2) 

式(2)中

为低分辨率图像的第j类样本中的第k个训练样本，N _j 是第j类样本中的样本数目。

、

分别为第j类样本高分辨率图像第k个训练样本残差的高、低频部分，

、为相对应的误差平衡参数，

为最大稀疏度约束, 

是样本的稀疏表示系数列向量，由第j类样本中所有的

排列构成该类的稀疏表示系数矩阵

，是第j类样本的低分辨率字典，

分别是高分辨率样本残差的高、低频部分的字典。为了使式（2）适用于KSVD方法求解，将式子（2）改写成：

                  (3)

其中

，

。

在字典训练时，误差平衡参数可选输入样本的均值之比，令

，

，

分别为对应样本向量的均值，则通过式（4）获得误差平衡参数

和

。 

                           (4) 

对38类样本通过KSVD算法得到用于超分辨率重建的38个字典对，第j类样本的字典对由3个字典构成，低分辨率字典

、高分辨率的高频字典

、低频字典

，j＝1，2，…，38。

步骤(3)超分辨率重建高分辨率图像，具体是： 

对样本对进行分类学习后，可得38对高、低分辨率字典

，j＝1，2，…，38。对低分辨率测试图像y_C重建时，先对y_C分块，每个子块大小为3×3，作为纹理元结构在38类纹理元结构中寻找相应类别，由类别从38对字典中选用相应类别的字典进行稀疏分解与高分辨率图像重建，采用，是误差阈值，可取0.01，分解低分辨率测试图像子块y _Ci ，其中D _lt 是选择的低分辨率字典，

是样本的稀疏表示系数列向量。对应的高分辨率残差子块x _rCi 重建过程采用式（5）获得。

                                           (5) 

其中

是与D _lt 相对应的高分辨率残差字典。重建获得的是残差图像

，其中M是低分辨率测试图像的子块数，R _i 是子块的提取方式，T代表转置。残差图像X _rC 与低分辨率插值放大后的结果X _bC 相加可获得超分辨率图像X _C 。

Claims (1)

1. 一种基于稀疏表示和多残差的图像超分辨率重建方法，其特征在于该方法包括以下步骤：

步骤(1)计算残差，并获得残差的高频部分与低频部分，具体是：

将用于训练的低分辨率样本图像y插值放大得到图像Xb，图像Xb与原高分辨率图像具有相同尺寸，将图像Xb与原高分辨率图像X之间的差值即Xr=X-Xb作为图像残差；然后对差值Xr进一步分析，对差值Xr按其频率的相对高低再分成两部分，即通过高通滤波得到Xr的高频部分Xr₁，以及余下的低频部分Xr₂=Xr-Xr₁；

步骤(2)获得低分辨率训练样本图像、高分辨率图像残差高频部分与低频部分的字典对，具体是：

计算低分辨率训练样本图像的一阶、二阶梯度图像，将梯度图像按3×3分块，以梯度值作为低分辨率图像子块的特征；将图像残差按9×9分块，对子块残差的高频部分、低频部分作为高分辨率图像子块的特征，训练字典对，它由低分辨率字典、高分辨率残差的高频字典和高分辨率残差的低频字典构成；

训练前先对低分辨率特征子块样本集合{y_i}进行分类；每个y_i是一个3x3大小的纹理元结构，设Z为纹理元的中心像素，其八邻域内的像素分别为Z₁-Z₈，当Zs≥Z，则给Zs标记ps＝1，否则标记ps＝0，s=1,…,8；将ps按s序号大小排成一行，根据ps的取值可得到256种可能的纹理元结构；以输入的低分辨率图像块样本为基准，对样本空间进行分类；分类的规则是：对于给定的256个纹理元                                                

，0≤p≤255，根据式(1)按照纹理元结构的旋转和互补规则将纹理元进行分组；式（1）中rot90、rot180、rot270分别表示纹理元结构旋转90^o、180^o和270^o，下标2表示二进制表示；经过式（1）方法，可合并得到K组纹理元结构；相应地，构成各类别的低分辨率样本所对应的高分辨率的残差高频样本也对应分到同一类高频残差中，对应的高分辨率的残差低频样本也对应分到同一类低频残差中，分类后得到K类纹理元结构；

               (1)

训练时，对输入的每个高、低分辨率图像特征子块向量化，得到各自向量化的特征子块样本集合，分别记为{x _r1i}、{x _r2i}和{y_i}，其中x _r1i表示图像残差的高频子块，x _r2i表示图像残差的低频子块，y_i表示低分辨率图像特征子块， i=1,…,N，N是子块数；

对K类样本对集合采用KSVD算法训练学习，为了保持字典间的同构性，第j类样本的学习表达式如式(2)所示，j=1，2，…，K；

      (2)

式(2)中为低分辨率图像的第j类样本中的第k个训练样本，N _j 是第j类样本中的样本数目；

、

分别为第j类样本高分辨率图像第k个训练样本残差的高、低频部分，

、为相对应的误差平衡参数，

为最大稀疏度约束, 

是样本的稀疏表示系数列向量，由第j类样本中所有的

排列构成该类的稀疏表示系数矩阵

，

是第j类样本的低分辨率字典，

分别是高分辨率样本残差的高、低频部分的字典；为了使式（2）适用于KSVD方法求解，将式子（2）改写成：

                  (3)

其中

，

；

在字典训练时，误差平衡参数可选输入样本的均值之比，令

，

，

分别为对应样本向量的均值，则通过式（4）获得误差平衡参数

和

；

                           (4)

对K类样本通过KSVD算法得到用于超分辨率重建的K个字典对，第j类样本的字典对由3个字典构成，低分辨率字典、高分辨率的高频字典、低频字典，j＝1，2，…，K；

步骤(3)超分辨率重建高分辨率图像，具体是：

对样本对进行分类学习后，可得K对高、低分辨率字典

，j＝1，2，…，K；对低分辨率测试图像y_C重建时，先对y_C分块，每个子块大小为3×3，作为纹理元结构在K类纹理元结构中寻找相应类别，由类别从K对字典中选用相应类别的字典进行稀疏分解与高分辨率图像重建，采用

，

是误差阈值，分解低分辨率测试图像子块y _Ci ，其中D _lt 是选择的低分辨率字典，

是样本的稀疏表示系数列向量；对应的高分辨率残差子块x _rCi 重建过程采用式（5）获得；

                                           (5)

其中是与D _lt 相对应的高分辨率残差字典；重建获得的是残差图像

，其中M是低分辨率测试图像的子块数，R _i 是子块的提取方式，T代表转置；残差图像X _rC 与低分辨率插值放大后的结果X _bC 相加可获得超分辨率图像X _C 。