CN104574320B - 一种基于稀疏编码系数匹配的图像超分辨率复原方法 - Google Patents

Abstract

本发明公开了一种基于稀疏编码系数匹配的图像超分辨率复原算法，属于图像信息处理技术领域。通过分类建立高低分辨率图形稀疏系数样本对，采用一种分类匹配的方法，对低分辨率图像的稀疏编码系数wl所对应的高分辨率图像稀疏编码系数wh进行搜索，得到更接近真实的高分辨率图像稀疏编码系数，来对图像进行重建，获得更好的超分辨率复原效果。

Description

一种基于稀疏编码系数匹配的图像超分辨率复原方法

技术领域

本发明属于图像信息处理技术领域，涉及一种图像超分辨率算法，特别涉及一种基于稀疏编码系数匹配的图像超分辨率复原算法。

背景技术

随着计算机和多媒体技术的快速发展，图像作为人类获取信息的主要来源被应用于多媒体技术的各个方面，高质量的图像/视频能够提供更丰富的信息和更真实的视觉感受，是很多实际应用的基础。空间分辨率指图像中存储的信息量，是衡量图像细节表现力的重要指标。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。真实世界的场景本身具有丰富的信息，但是受到成像设备、成像环境、噪声等各种因素的影响，由成像设备获取的数字图像通常是低分辨率图像(LowResolution，LR)，难以满足不断提高的实际应用需求。尤其是来自于各种手持设备、车载视频采集设备、无线视频传感器网络以及恶劣自然条件下的视频监控设备等的图像/视频，在分辨率上通常难以令人满意。因此，图像超分辨率(Super-Resolution，SR)技术已成为近年来图像处理领域的一个研究热点。

图像的超分辨率是指采用信号处理的方式从低分辨率图像得到高分辨率图像的方法。超分辨率技术旨在克服成像系统的固有分辨率限制，具有成本低，无需改变成像设备系统的优点。图像超分辨率重建技术和算法总的来说可以分为三大类：基于插值、基于重构和基于学习的方法。其中，基于学习的方法不但能从单帧低分辨率图像重建高分辨率图像，而且打破了基于重构的超分辨率重建方法的放大倍数限制，是目前热门的研究的方向。基于学习的超分辨率重建技术的基本思想是通过训练数据集，寻找低分辨率图像与对应的高分辨率图像之间的映射关系，并指导图像的重建。这其中具有代表性的有基于小波变换、基于马尔科夫网络模型和基于近邻嵌入等超分辨率方法。最近，由于稀疏表示理论的发展，学者们将稀疏表示理论引入图像超分辨率复原，得到较好的图像超分辨率复原效果。

但是，目前这种基于稀疏表示的超分辨率复原方法假设用低分辨率稀疏字典(Dl)表示的LR图像得到的稀疏编码系数(wl)，与用高分辨率稀疏字典(Dh)表示的HR图像得到的稀疏编码系数(wh)相等，并以此假设为前提对图像进行重建。然而，经过的研究，在实际情况下这一假设并不可靠。即使该方法在训练Dh和Dl时约束了wl和wh为相等的，但事实证明真实情况下通过Dl和Dh获得的稀疏编码系数wl和wh存在很大差异，这直接影响了该种方法复原的图像效果。

发明内容

本发明的目的在于，通过采用一种分类匹配的方法，对低分辨率图像的稀疏编码系数wl所对应的高分辨率图像稀疏编码系数wh进行搜索，得到更接近真实的高分辨率图像稀疏编码系数，来对图像进行重建，获得更好的超分辨率复原效果。

本发明是采用以下技术手段实现的：

一种基于稀疏编码系数匹配的图像超分辨率复原算法，整体流程图如附图1所示；算法分为建立样本库和图像重建两部分；建立样本库部分包括进行稀疏字典的训练和稀疏系数样本库的建立；图像重建步骤包括图像分类，稀疏表示，稀疏系数搜索匹配，稀疏重建整合四个步骤；图像重建步骤首先将输入的LR图像分为纹理区域和非纹理区域，与此同时对LR图像进行插值放大备用，选择图像的非平坦区域进行稀疏表示获得稀疏系数wl，用获得的稀疏系数在稀疏表示低分辨率图像系数样本库中匹配搜索与其最接近的稀疏系数wl’，并用与wl’所对应的wh’作为高分辨率图像的稀疏系数，最后用wh’和Dh获得稀疏重建的图像细节，最终与LR插值的图像相加得到超分辨率复原结果图像；

所述样本库建立步骤内容如下：

(1)稀疏字典的训练

对一个信号x的稀疏表示，就是寻找x被过完备字典D所表示的过程。稀疏表示的目的就是寻找x被字典D最稀疏表示的过程，即得到的稀疏表示系数α中的非零项个数远小于字典中的原子个数。

这里字典训练采用Yang Jianchao等人2010年发表的文章“Image Super-Resolution via Sparse Representation”中提出的联合稀疏字典训练方法。通过迭代求解，可以得到稀疏字典Dh和Dl。训练字典需要高分辨率图像块组成的图像块样本集和低分辨率图像块组成的图像块样本集，这些样本集通过从不同的自然图像中提取得到。

(2)稀疏系数样本库的建立

如附图2所示，为一幅图像中稀疏系数的提取方法，由于每幅图像大小不同，因此每幅图像提取的稀疏系数个数也不相同。高分辨率图像和低分辨率图像提取的稀疏系数wh’和wl’组成一个稀疏系数样本对。对S幅彩色高分辨率自然图像，分别进行2倍下采样，下采样方法采用bicubic插值方法，生成宽和高分别只有原自然图像1/2大小的对应低分辨率图像。对于每一幅低分辨率图像：先对其进行色彩空间转换，从RGB转换到YCbCr空间，对得到的Y分量进行Bicubic插值放大2倍，得到Y分量插值图像。对这个插值图像进行梯度特征提取，提取图像的4个梯度特征，生成一个4通道的特征图像。按照从左到右从上到下的顺序进行分块，分成n×n大小的块，展开成列向量后用字典Dl对其进行稀疏表示得到wl’。对每个块进行稀疏表示得到对应的稀疏系数，这样所有的低分辨率稀疏系数组成稀疏系数样本库WL。与之对应地，高分辨率图像先进行空间转换到YCbCr空间，采取同样的特征提取方法对Y分量提取特征得到特征图像，也按照从左到右从上到下的顺序进行分块，分成n×n大小的块，展开成列向量后用字典Dh对其进行稀疏表示得到wh’。对每个块进行稀疏表示得到对应的稀疏系数，这样所有的高分辨率稀疏系数组成稀疏系数样本库WH。

(3)样本分类方法

由于样本数量较大，对样本进行聚类，将样本分为k个类，以降低重建过程中的样本搜索速度。聚类特征为wl’稀疏系数中非零项的个数，采用k均值聚类，得到k个聚类中心和对应的样本类，这样，每个样本类拥有一个聚类中心以及聚类得到的多个wl’系数和与之对应的wh’系数。

所述图像重建步骤内容如下：

(1)图像分类

由于实际应用中，大都对图像中具有纹理信息的部分感兴趣，因此在重建过程中将图像先分为纹理区和非纹理区域，对图像中的非纹理区域不进行稀疏重建，只对图像中的纹理区域进行稀疏重建。所述图像分类方法具体为：

首先，对图像进行纹理分类，具体方法为：

选择Sobel算子提取图像像素点的梯度信息，采用4个方向模板对整幅图像进行梯度值求取后，将图像分为纹理区域和非纹理区域。具体骤是：1、计算阈值，TH＝0.06×g_max，其中g_max是整幅图像中最大的梯度值。TH为门限阈值，作为判别像素点纹理分类的依据，0.06是经验值。2、将图像像素分为非纹理区域和纹理区域。当像素点(i,j)位置的梯度值小于TH时该像素点就被划分为非纹理区域；如果像素点(i,j)位置的梯度值不小于TH时该像素点就被划分为纹理区。需要指出的是，这里划分纹理区域是以单个点为单位进行划分的，而实际进行超分辨率复原时，是在图像中以单个块为单位进行逐个处理的，而每个图像块中有时既包含纹理像素点也包含非纹理像素点，因此，定义一个新的阈值TN作为判别图像块是纹理块或非纹理块的依据。对于一个n×n大小的图像块而言，定义：如果一个图像块中的非纹理像素点个数大于TN则判定该块为非纹理块，跳过此块，不对其进行稀疏重建；如果一个图像块中的非纹理像素点个数小于TN则判定该块为纹理块，对其进行稀疏重建。当以Lena图像为例时，纹理块和非纹理块的划分结果如附图3所示，图3中黑色像素区域为所有纹理块，其他区域为非纹理块区域。

(2)稀疏表示

对于一幅输入的LR图像，先对其进行Bicubic2倍上采样，生成2倍放大的图像BIm。根据以上所述图像分类方法对其进行分类，将纹理像素用1表示，非纹理像素用0表示，得到原图像的一个纹理模板图像TpIm。需要指出的是，此时并不涉及图像块，而是对整幅图像以像素点为单位进行纹理分类。与此同时，对BIm进行特征提取，得到特征图像FeaIm。接着按照从左到右从上到下的顺序对FeaIm取块，块大小为n×n。图像块用P_ii表示，ii代表图像块的序号，如P_ii，代表第ii个图像块。同时统计TpIm中与该块对应的区域中像素值为0的个数，若像素值为0的个数大于TN，根据前面所述该块为非纹理块，则不处理该块，跳过它，继续取下一个块；若该块对应的区域在TpIm中的像素值为0的个数小于TN则根据前面所述该块为纹理块，对该块进行稀疏表示，得到块P_ii的稀疏系数wl_ii。

(3)稀疏系数搜索匹配

为了得到理想的高分辨率图像块的稀疏系数wh_ii，利用上一步骤中得到的P_ii的稀疏系数wl_ii，以及准备好的稀疏系数样本库WL和WH进行搜索匹配寻找样本库中与wl_ii最接近的wl’，然后用wl’在样本库中所对应的wh’作为高分辨率图像块的稀疏系数进行稀疏重建。wl_ii的搜索匹配具体过程如下：

首先计算wl_ii中非零项的个数，用un0_Nwl_ii表示。计算un0_Nwl_ii与k个稀疏系数样本库的聚类中心值的欧式距离，选择与un0_Nwl_ii欧式距离最近的聚类中心所对应的样本库作为搜索样本库。

然后，获取wl_ii中正数项的最大值的位置，以及负数项最小值的位置。计算样本库WL中每个系数wl’的正数项的最大值的位置，以及负数项最小值的位置，寻找样本库中与wl_ii的两个最值位置都相等的系数，将WL中所有满足条件的wl’稀疏系数以及wl’所对应的wh’存为临时的新样本WLnew和WHnew。

计算wl_ii中正数项系数的所有位置，并计算wl_ii中负数项系数的所有位置，对临时的新样本WLnew中所有系数也计算正数项系数的所有位置和负数项系数的所有位置，设wl_ii中正数项系数的总个数为pos_Nwl_ii负数项系数的总个数为neg_Nwl_ii。若样本WLnew中的系数与wl_ii中正项系数的位置相同的个数大于或者等于pos_Nwl_ii×ζ，并且与wl_ii中负项系数的位置相同的个数大于或者等于neg_Nwl_ii×ζ，则保留满足这些条件的样本对为新的临时样本WLnewp和WHnewp。

接着，计算新样本WLnewp中的各个系数与wl_ii的差值的l1范数，选择WLnewp中求得的l1范数，值最小所对应的系数为与wl_ii最相似的目标系数wl’。并用wl’所对应的wh’作为当前图像块的高分辨率稀疏系数。并用wh’与高分辨率字典Dh重建得到重建结果。设Y_ii为图像块P_ii经过搜索匹配后稀疏重建得到的结果，由于此时Y_ii为列向量，需按照P_ii展开为列向量的逆过程将Y_ii恢复为块的形式，设重建之后恢复成的块用HP_ii表示。

(4)稀疏重建整合

最后将HP_ii直接加到BIm的对应位置上去，这样，求出所有块对应的高分辨率重建块HP_ii之后，全部加到BIm上就得到了最终的超分辨率重建结果。

方法得到的重建结果如附图4所示。

本发明的特点：

1.提出了一种匹配原则，利用了稀疏系数个数较少且有明显正负特性的特点，使稀疏系数的匹配达到了较高的精确度。

2.提出了一种匹配搜索的方法，使现有方法得到的稀疏系数更接近真实的高分辨率图像稀疏系数，提高了图像超分辨率复原质量。

3.对样本和重建过程均进行了分类处理，提高超分辨率复原质量的同时不会增加超分辨率复原的计算时间。

下面结合实例参照附图进行详细说明，以求对本发明的目的、特征和优点得到更深入的理解。

附图说明：

图1、发明方法总体流程图；

图2、稀疏系数样本提取过程；

图3、图像纹理划分结果；

图4、本方法的超分辨率重建结果；

(a)输入的LR图像；(b)原始高分辨率图像；

(c)Bicubic方法；(d)本方法；

具体实施方式：

以下结合说明书附图，对本发明的实施实例加以详细说明：

本发明算法分为样本库建立步骤和图像重建步骤；样本库建立步骤包括，进行稀疏字典的训练和稀疏系数样本库的建立；图像重建步骤包括图像分类，稀疏表示，稀疏系数搜索匹配，稀疏重建整合四个步骤；图像重建步骤首先将输入的LR图像分为平坦区域和非平坦区域，与此同时对LR图像进行插值放大备用，选择图像的非平坦区域进行稀疏表示获得稀疏系数wl，用获得的稀疏系数在稀疏表示低分辨率图像系数样本库中匹配搜索与其最接近的稀疏系数wl’，并用与wl’所对应的wh’作为高分辨率图像的稀疏系数，用wh’和Dh获得稀疏重建的图像细节，最终与LR插值的图像相加得到超分辨率复原结果图像；

所述样本库建立具体实施方法如下：

(1)稀疏字典的训练

对一个信号x的稀疏表示，就是寻找x被过完备字典D所表示的过程。如公式(1)所示：

x＝D*α 其中α∈R^K满足||α||₀＜＜K (1)

稀疏表示的目的就是寻找x被D最稀疏表示的过程，即α中的非零项个数远小于K。本发明中所指远小于的定义为：若一个数小于另一个数的10分之1，认为满足远小于的条件。本发明中所有“||||”符号，均表示对符号中变量进行求范数运算；“*”符号表示矩阵相乘。

这里字典训练采用Yang Jianchao等人2010年发表的文章“Image Super-Resolution via Sparse Representation”中提出的联合稀疏字典训练方法，如公式(2)所示：

其中：

通过迭代求解公式(2)可以得到稀疏字典Dh和Dl。其中X^h，Y^l分别为多个高低分辨率训练图像块展开成的列向量按从左到右顺序排列组成的向量组。Dh和Dl为待求字典。Z为稀疏系数，λ为控制参数，经验值取0.1。N为单个高分辨率训练图像块展开成列向量后的维数，M为单个低分辨率训练图像块展开成列向量后的维数。

(2)稀疏系数样本库的建立

如附图2所示，为一幅图像中稀疏系数的提取方法，由于每幅图像大小不同，因此每幅图像提取的稀疏系数个数也不相同。高分辨率图像和低分辨率图像提取的稀疏系数wh’和wl’组成一个稀疏系数样本对。对S幅彩色高分辨率自然图像，分别进行2倍下采样，下采样方法采用bicubic插值方法，生成宽和高分别只有原自然图像1/2大小的对应低分辨率图像。对于每一幅低分辨率图像：先对其进行色彩空间转换，从RGB转换到YCbCr空间，对得到的Y分量进行Bicubic插值放大2倍，得到Y分量插值图像。对这个插值图像进行梯度特征提取，提取图像的4个梯度特征，生成一个4通道的特征图像。按照从左到右从上到下的顺序进行分块，分成n×n大小的块，展开成列向量后用字典Dl对其进行稀疏表示得到wl’。这里所指展开成列向量的方法为：对一个n×n大小的块，通常n>2，按从左到右的顺序将第1列右边的列依次放到第1列下面，组成一个n^{^2}×1大小的列向量。对每个块进行稀疏表示得到对应的稀疏系数，这样所有的低分辨率稀疏系数组成稀疏系数样本库WL。与之对应地，高分辨率图像先进行空间转换到YCbCr空间，采取同样的特征提取方法对Y分量提取特征得到特征图像，也按照从左到右从上到下的顺序进行分块，分成n×n大小的块，展开成列向量后用字典Dh对其进行稀疏表示得到wh’。对每个块进行稀疏表示得到对应的稀疏系数，这样所有的高分辨率稀疏系数组成稀疏系数样本库WH。

(3)样本分类方法

由于样本数量较大，对样本进行聚类，将样本分为k个类，以降低重建过程中的样本搜索速度。聚类特征为wl’稀疏系数中非零项的个数，采用k均值聚类，得到k个聚类中心和对应的样本类，这样，每个样本类拥有一个聚类中心以及聚类得到的多个wl’系数和与之对应的wh’系数。

所述图像重建步骤内容如下：

(1)图像分类

由于实际应用中，大都对图像中具有纹理信息的部分感兴趣，因此在重建过程中将图像先分为纹理区和非纹理区域，对图像中的非纹理区域不进行稀疏重建，只对图像中的纹理区域进行稀疏重建。所述图像分类方法具体为：

首先，对图像进行纹理分类，具体方法为：

选择Sobel算子提取图像像素点的梯度信息，采用的方向模板如公式(4)。

在对整幅图像进行梯度值求取后，将图像分为纹理区域和非纹理区域。具体骤是：1、计算阈值，TH＝0.06×g_max，其中g_max是整幅图像中最大的梯度值。TH为门限阈值，作为判别像素点纹理分类的依据，0.06是经验值。2、采用公式(5)将图像像素分为非纹理区域和纹理区域。

其中，G(i,j)是原始图像中每个像素点的梯度值，i为图像中像素点的行位置，j为图像中像素点的列位置，例如像素点(i,j)，代表的是图像中第i行，第j列位置的像素点。当像素点(i,j)位置的梯度值小于TH时该像素点就被划分为非纹理区域；如果像素点(i,j)位置的梯度值不小于TH时该像素点就被划分为纹理区。需要指出的是，这里划分纹理区域是以单个点的为单位进行划分的，而实际进行超分辨率复原时，是在图像中以单个块为单位进行逐个处理的，而每个图像块中有时既包含纹理像素点也包含非纹理像素点，因此，定义一个新的阈值TN作为判别图像块是纹理块或非纹理块的依据。对于一个n×n大小的图像块而言，定义：

TN＝n×n-2 (6)

例如，对于一个5×5大小的图像块而言，则TN＝5×5-2＝23。如果一个图像块中的非纹理像素点个数大于TN则判定该块为非纹理块，跳过此块，不对其进行稀疏重建；如果一个图像块中的非纹理像素点个数小于于TN则判定该块为纹理块，对其进行稀疏重建。当以Lena图像为例时，纹理块和非纹理块的划分结果如附图3所示，图3中黑色像素区域为所有纹理块，其他区域为非纹理块区域。

(2)稀疏表示

对于一幅输入的LR图像，先对其进行Bicubic插值2倍放大，生成2倍放大的图像BIm。根据以上所述图像分类方法对其进行分类，将纹理像素用1表示，非纹理像素用0表示，得到原图像的一个纹理模板图像TpIm。需要指出的是，此时并不涉及图像块，而是对整幅图像以像素点为单位进行纹理分类。与此同时，对BIm进行特征提取，得到特征图像FeaIm。接着按照从左到右从上到下的顺序对FeaIm取块，块大小为n×n。图像块用P_ii表示，ii代表图像块的序号，如P_ii，代表第ii个图像块。同时统计TpIm中与该块对应的区域中像素值为0的个数，若像素值为0的个数大于TN，根据前面所述该块为非纹理块，则不处理该块，跳过它，继续取下一个块；若该块对应的区域在TpIm中的像素值为0的个数小于TN则根据前面所述该块为纹理块，对该块进行稀疏表示，得到块P_ii的稀疏系数wl_ii。

对块P_ii进行稀疏表示的过程如公式(7)：

其中，y_ii为图像块P_ii展成的列向量，Dl为低分辨率稀疏字典。求解公式(7)得到块P_ii的稀疏系数wl_ii。

(3)稀疏系数搜索匹配

为了得到理想的高分辨率图像块的稀疏系数wh_ii，利用上一步骤中得到的P_ii的稀疏系数wl_ii，以及准备好的稀疏系数样本库WL和WH进行搜索匹配寻找样本库中与wl_ii最接近的wl’，然后用wl’在样本库中所对应的wh’作为高分辨率图像块的稀疏系数进行稀疏重建。wl_ii的搜索匹配具体过程如下：

首先计算wl_ii中非零项的个数，用un0_Nwl_ii表示。计算un0_Nwl_ii与k个稀疏系数样本库的聚类中心值的欧式距离，选择与un0_Nwl_ii欧式距离最近的聚类中心所对应的样本库作为搜索样本库。

然后，获取wl_ii中正数项的最大值的位置，以及负数项最小值的位置。计算样本库WL中每个系数wl’的正数项的最大值的位置，以及负数项最小值的位置，寻找样本库中与wl_ii的两个最值位置都相等的系数，将WL中所有满足条件的wl’稀疏系数以及wl’所对应的wh’存为临时的新样本WLnew和WHnew。

计算wl_ii中正数项系数的所有位置，并计算wl_ii中负数项系数的所有位置，对临时的新样本WLnew中所有系数也计算正数项系数的所有位置和负数项系数的所有位置，设wl_ii中正数项系数的总个数为pos_Nwl_ii负数项系数的总个数为neg_Nwl_ii。若样本WLnew中的系数与wl_ii中正项系数的位置相同的个数大于或者等于pos_Nwl_ii×ζ，并且与wl_ii中负项系数的位置相同的个数大于或者等于neg_Nwl_ii×ζ，则保留满足这些条件的样本对为新的临时样本WLnewp和WHnewp。根据的经验，ζ取0.8时能得到最佳的重建结果，因此本方法中ζ取值为0.8。

接着，计算新样本WLnewp中的各个系数与wl_ii的差值的l1范数，选择WLnewp中求得的l1范数，值最小所对应的系数为与wl_ii最相似的目标系数wl’。并用wl’所对应的wh’作为当前图像块的高分辨率稀疏系数。并用wh’与高分辨率字典Dh重建得到重建结果。重建过程如公式(8)所示：

Y_ii＝Dh*wh′ (8)

设Y_ii为图像块P_ii经过搜索匹配后稀疏重建得到的结果，由于此时Y_ii为列向量，需按照P_ii展开为列向量的逆过程将Y_ii恢复为块的形式，重建之后恢复成的块用HP_ii表示。

(4)稀疏重建整合

最后将HP_ii直接加到BIm的对应位置上去，这样，求出所有块对应的高分辨率重建块HP_ii之后，全部加到BIm上就得到了最终的超分辨率重建结果。

方法得到的重建结果如附图4所示。

Claims (2)

1.一种基于稀疏编码系数匹配的图像超分辨率复原算法，其特征在于：算法分为建立样本库和图像重建两部分；建立样本库部分包括进行稀疏字典的训练，图像稀疏系数样本库的建立和样本分类；图像重建步骤包括图像分类，稀疏表示，稀疏系数搜索匹配，稀疏重建整合四个步骤；图像重建步骤首先将输入的LR图像分为纹理区域和非纹理区域，与此同时对LR图像进行插值放大备用，选择图像的非平坦区域进行稀疏表示获得稀疏系数wl，用获得的稀疏系数在稀疏表示低分辨率图像系数样本库中匹配搜索与其最接近的稀疏系数wl’，并用与wl’所对应的wh’作为高分辨率图像的稀疏系数，最后用wh’和Dh获得稀疏重建的图像细节，最终与LR插值的图像相加得到超分辨率复原结果图像；

所述的图像稀疏系数样本库的建立和样本分类方法，具体步骤如下：

高分辨率图像和低分辨率图像提取的稀疏系数wh’和wl’组成一个稀疏系数样本对；对S幅彩色高分辨率自然图像，分别进行2倍下采样，下采样方法采用bicubic插值方法，生成宽和高分别只有原自然图像1/2大小的对应低分辨率图像；对于每一幅低分辨率图像：先对其进行色彩空间转换，从RGB转换到YCbCr空间，对得到的Y分量进行Bicubic插值放大2倍，得到Y分量插值图像；对这个插值图像进行梯度特征提取，提取图像的4个梯度特征，生成一个4通道的特征图像；按照从左到右从上到下的顺序进行分块，分成n×n大小的块，展开成列向量后用字典Dl对其进行稀疏表示得到wl’；对每个块进行稀疏表示得到对应的稀疏系数，这样所有的低分辨率稀疏系数组成稀疏系数样本库WL；与之对应地，高分辨率图像先进行空间转换到YCbCr空间，采取同样的特征提取方法对Y分量提取特征得到特征图像，也按照从左到右从上到下的顺序进行分块，分成n×n大小的块，展开成列向量后用字典Dh对其进行稀疏表示得到wh’；对每个块进行稀疏表示得到对应的稀疏系数，这样所有的高分辨率稀疏系数组成稀疏系数样本库WH；

对样本进行聚类，将样本分为k个类，以降低重建过程中的样本搜索速度；聚类特征为wl’稀疏系数中非零项的个数，采用k均值聚类，得到k个聚类中心和对应的样本类，这样，每个样本类拥有一个聚类中心以及聚类得到的多个wl’系数和与之对应的wh’系数。

2.根据权利要求1所述的一种基于稀疏编码系数匹配的图像超分辨率复原算法，其特征在于，所述的图像分类，稀疏表示，稀疏系数搜索匹配和稀疏重建整合部分，具体步骤如下：

(1)图像分类

首先，对图像进行纹理分类，具体方法为：

选择Sobel算子提取图像像素点的梯度信息，采用4个方向模板对整幅图像进行梯度值求取后，将图像分为纹理区域和非纹理区域；

具体步骤是：计算阈值，TH＝0.06×g_max，其中g_max是整幅图像中最大的梯度值；TH为门限阈值，作为判别像素点纹理分类的依据，0.06是经验值；

将图像像素分为非纹理区域和纹理区域；当像素点(i,j)位置的梯度值小于TH时该像素点就被划分为非纹理区域；如果像素点(i,j)位置的梯度值不小于TH时该像素点就被划分为纹理区；需要指出的是，这里划分纹理区域是以单个点为单位进行划分的，而实际进行超分辨率复原时，是在图像中以单个块为单位进行逐个处理的，而每个图像块中有时既包含纹理像素点也包含非纹理像素点，因此，定义一个新的阈值TN作为判别图像块是纹理块或非纹理块的依据；对于一个n×n大小的图像块而言，定义：如果一个图像块中的非纹理像素点个数大于TN则判定该块为非纹理块，跳过此块，不对其进行稀疏重建；如果一个图像块中的非纹理像素点个数小于TN则判定该块为纹理块，对其进行稀疏重建；

(2)稀疏表示

对于一幅输入的LR图像，先对其进行Bicubic2倍上采样，生成2倍放大的图像BIm；根据以上所述图像分类方法对其进行分类，将纹理像素用1表示，非纹理像素用0表示，得到原图像的一个纹理模板图像TpIm；需要指出的是，此时并不涉及图像块，而是对整幅图像以像素点为单位进行纹理分类；与此同时，对BIm进行特征提取，得到特征图像FeaIm；接着按照从左到右从上到下的顺序对FeaIm取块，块大小为n×n；图像块用P_ii表示，ii代表图像块的序号，如P_ii，代表第ii个图像块；同时统计TpIm中与该块对应的区域中像素值为0的个数，若像素值为0的个数大于TN，根据前面所述该块为非纹理块，则不处理该块，跳过它，继续取下一个块；若该块对应的区域在TpIm中的像素值为0的个数小于TN则根据前面所述该块为纹理块，对该块进行稀疏表示，得到块P_ii的稀疏系数wl_ii；

(3)稀疏系数搜索匹配

利用上一步骤中得到的P_ii的稀疏系数wl_ii，以及准备好的稀疏系数样本库WL和WH进行搜索匹配寻找样本库中与wl_ii最接近的wl’，然后用wl’在样本库中所对应的wh’作为高分辨率图像块的稀疏系数进行稀疏重建；wl_ii的搜索匹配具体过程如下：

首先计算wl_ii中非零项的个数，用un0_Nwl_ii表示；计算un0_Nwl_ii与k个稀疏系数样本库的聚类中心值的欧氏距离，选择与un0_Nwl_ii欧氏距离最近的聚类中心所对应的样本库作为搜索样本库；

然后，获取wl_ii中正数项的最大值的位置，以及负数项最小值的位置；计算样本库WL中每个系数wl’的正数项的最大值的位置，以及负数项最小值的位置，寻找样本库中与wl_ii的两个最值位置都相等的系数，将WL中所有满足条件的wl’稀疏系数以及wl’所对应的wh’存为临时的新样本WLnew和WHnew；

计算wl_ii中正数项系数的所有位置，并计算wl_ii中负数项系数的所有位置，对临时的新样本WLnew中所有系数也计算正数项系数的所有位置和负数项系数的所有位置，设wl_ii中正数项系数的总个数为pos_Nwl_ii负数项系数的总个数为neg_Nwl_ii；若样本WLnew中的系数与wl_ii中正项系数的位置相同的个数大于或者等于pos_Nwl_ii×ζ，并且与wl_ii中负项系数的位置相同的个数大于或者等于neg_Nwl_ii×ζ，则保留满足这些条件的样本对为新的临时样本WLnewp和WHnewp；ζ取值为0.8；

接着，计算新样本WLnewp中的各个系数与wl_ii的差值的l1范数，选择WLnewp中求得的l1范数，值最小所对应的系数为与wl_ii最相似的目标系数wl’；并用wl’所对应的wh’作为当前图像块的高分辨率稀疏系数；并用wh’与高分辨率字典Dh重建得到重建结果；设Y_ii为图像块P_ii经过搜索匹配后稀疏重建得到的结果，由于此时Y_ii为列向量，需按照P_ii展开为列向量的逆过程将Y_ii恢复为块的形式，设重建之后恢复成的块用HP_ii表示；

(4)稀疏重建整合

最后将HP_ii直接加到BIm的对应位置上去，这样，求出所有块对应的高分辨率重建块HP_ii之后，全部加到BIm上就得到了最终的超分辨率重建结果。