CN102629373A - 基于稀疏表示理论的超分辨率图像获取方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域。提供一种节省时间等消耗，能得到高质量图象的图像超分辨率获取方法，本发明采取的技术方案是，基于稀疏理论的超分辨率方法，通过选择与输入图像SIFT特征点匹配最多的图像作为构建过完备字典的训练图像集，训练得到细节更为丰富的字典，依据稀疏表示理论将低分辨率图像进行稀疏表示，依据压缩感知理论从稀疏表示的低分辨率图像恢复得到更高分辨率的图像。本发明主要应用于高分辨率的图像的获取。

Description

基于稀疏表示理论的超分辨率图像获取方法

技术领域

本发明属于计算机视觉技术领域，涉及稀疏表示理论、压缩感知理论及单张图像实现图像超分辨率方法，具体讲涉及基于稀疏表示理论的超分辨率图像获取方法。

背景技术

长期以来，通过低分辨图像恢复到高分辨率图像已在关键技术上取得了重要突破，已经趋于成熟并在电子图像、互联网视频、数字电视等多个领域获得广泛应用。然而，传统的方法做超分辨率图像需要多张输入图像，或者通过单张图像恢复得到的高分辨率图像，分辨率也有待提高。基于稀疏表示理论的图像超分辨率方法则可达到更高的分辨率，并且只需要一张输入图像。相关研究在近年来开始成为研究热点。基于稀疏表示理论的图像超分辨率技术在高清图像、高清度电视、视频图像高分辨率、遥感、医学和安全监控等领域有着广泛应用。国际上多所著名大学与研究机构如伊利诺伊大学，牛津大学，香港理工大学，萨里大学，微软研究院人工智能与机器人研究所等都在该领域有着深度的研究。现阶段，基于稀疏理论的超分辨率技术由于非常依赖于构造的过完备字典而难以获得用户满意的超分辨率效果。其中，要得到细节更为丰富的字典，一种方法是采用更多的训练图像，但这样会使字典的构造时间耗费巨大；另一种方法是选择某个相关图像类作为构造字典的训练图像。伊利诺伊大学(Jianchao Yang，John Wright，Yi Ma，Thomas Huang，Wilburn B.Image Super-Resolution asSparse Representation of Raw Image Patches.Proceedings of IEEE Conference on ComputerVision and Pattern Recognition，Washington，DC，USA，2008.23-28.)通过该方法实现了单张图像基于稀疏理论的超分辨率放大。但是该方法得到的结果图像质量有待提高，该过程所需时间也有待缩短。

发明内容

本发明旨在解决克服现有技术的不足，提供一种节省时间等消耗，能得到高质量图象的图像超分辨率获取方法，本发明采取的技术方案是，基于稀疏表示理论的超分辨率图像获取方法，包括以下步骤：

1)对于输入图像，通过SIFT特征点提取和匹配的方法从图像库中选取特征点匹配最多的图像构造训练集；

2)对训练集中的图像和其下采样得到的低分辨率图像分别采样取一定数量的补丁，并对其稀疏编码构造训练字典D_h和采样训练字典D_l；

3)将训练得到的采样训练字典D_l作为稀疏化中的过完备字典，对输入的低分辨率图像进行稀疏表示；

4)依据压缩感知理论中图像恢复的理论，利用训练字典D_h和步骤3)中得到的稀疏解恢复得到高分辨率图像。

SIFT特征点提取与特征点匹配的方法具体包括以下步骤：

11)通过SIFT算法计算提取输入的低分辨率图像的特征点；

12)对图像库里的每一幅图像，分别计算提取其SIFT特征点；

13)用SIFT特征点匹配算法，将步骤11)中低分辨率图像的特征点和步骤12)中每一幅图像的特征点进行匹配，选取其中特征点匹配最多的几幅图像，以此构造训练图像集。

对训练图像采样，并稀疏编码，构造训练字典D_h和采样训练字典D_l，具体方法包括以下步骤：

21)对训练集中的图像进行采样一定数量的补丁，得到补丁集X_h＝{x₁，x₂，...x_n}；

22)对训练集中的图像下采样得到对应的低分辨率图像，对其采样一定数量的补丁，得到另一补丁集Y_l＝{y₁，y₂，...y_n}；

23)分别对补丁集X_h和另一补丁集Y_l稀疏编码，构造字典训练字典D_h和采样训练字典D_l，方法为：

$D_h=\underset{\{D_h,Z\}}{\arg \min }{\left|\right|X_h-D_{h}Z\left|\right|}_2^2+\mathrm{\λ}{\left|\right|Z\left|\right|}_1$

$D_l=\underset{\{D_l,Z\}}{\arg \min }{\left|\right|Y_l-D_{l}Z\left|\right|}_2^2+\mathrm{\λ}{\left|\right|Z\left|\right|}_1$

其中，Z是一个n×m的矩阵，用Z的一范数来保证稀疏性，m、n为正整数，参数λ用来平衡重建的精度和前一项的差距。

对输入的低分辨率图像y通过以下方法进行稀疏表示最终得到稀疏解α：

$\min {\left|\right|\mathrm{\α}\left|\right|}_{1}s.t.{\left|\right|F{D}_l\mathrm{\α}-\mathrm{Fy}\left|\right|}_2^2\≤\mathrm{\ϵ}$

其中，F为特征提取算子，用来提提供一个α与y的接近程度的约束，s.t.表示使得....；满足...，ε为一个极小的参数，表示可允许的差值范围。

对步骤4)中得到的稀疏解α，用以下方法恢复得到高分辨图像：x＝D_hα。

本发明的方法的特点及效果：

本发明方法提高了整个图像超分辨率过程所需要的时间以及提高了图像放大后的分辨率，通过选择最相关的少数图像做构造字典的图像训练集，实现了字典构造时间的缩短，从而缩短整个超分辨率过程所需的时间，实现了字典细节更为丰富，使图像放大后的分辨率更高。具有以下特点：

1、程序简单，易于实现。

2、针对输入图像，通过比较SIFT特征点的方法选择匹配点最多的少数图像作为训练图像集。

3、所需要的训练图像少，系统运行时间短，得到的图像分辨率高。

本发明可以采用单张图像实现图像超分辨率。所提出的方法具有很好的可扩展性：可以通过简单地加入更多的匹配图像来获得更高分辨率的放大图像。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于稀疏表示理论的图像超分辨率方法流程图；

图2为本发明实施例采用所提出的发明方法和其他两种方法对普通图像做超分辨率的结果；

图3为本发明实施例采用所提出的发明方法和其他两种方法对荧光图像做超分辨率的结果。

具体实施方式

本发明将单张图像做超分辨率转化为稀疏理论的图像稀疏表示与恢复问题求解，其中用于稀疏的过完备字典构造由于训练图像与输入图像的相关性更强，包含了更丰富的细节，实现了图像的超分辨率。所得结果具有用时少，分辨率更高的特点。

本发明的基于稀疏理论的图像超分辨率方法，其特征在于：通过选择与输入图像SIFT特征点匹配最多的图像作为构建过完备字典的训练图像集，训练得到细节更为丰富的字典，依据稀疏表示理论将低分辨率图像进行稀疏表示，依据压缩感知理论从稀疏表示的低分辨率图像恢复得到更高分辨率的图像。具体方法包括以下步骤：

1)对于输入图像，通过SIFT特征点提取和匹配的方法从图像库中选取特征点匹配最多的图像构造训练集。SIFT特征点匹配的方法具体包括以下步骤：

11)通过SIFT算法计算提取输入的低分辨率图像的特征点；

12)对图像库里的每一幅图像，分别计算提取其SIFT特征点；

13)用SIFT特征点匹配算法，将11)中低分辨率图像的特征点和12)中每一幅图像的特征点进行匹配，选取其中特征点匹配最多的几幅图像，以此构造训练图像集。

2)对训练集中的图像和其下采样得到的低分辨率图像分别采样取一定数量的补丁，并对其稀疏编码构造训练字典Dh和Dl。具体方法包括以下步骤：

21)对训练集中的图像进行采样一定数量的补丁，得到补丁集X_h＝{x₁，x₂，...x_n}；

22)对训练集中的图像下采样得到对应的低分辨率图像，对其采样一定数量的补丁，得到补丁集Y_l＝{y₁，y₂，...y_n}；

23)分别对补丁集Xh和Yl稀疏编码，构造字典Dh，Dl，方法为：

$D_h=\underset{\{D_h,Z\}}{\arg \min }{\left|\right|X_h-D_{h}Z\left|\right|}_2^2+\mathrm{\λ}{\left|\right|Z\left|\right|}_1$

$D_l=\underset{\{D_l,Z\}}{\arg \min }{\left|\right|Y_l-D_{l}Z\left|\right|}_2^2+\mathrm{\λ}{\left|\right|Z\left|\right|}_1$

其中，Z是一个n*m的矩阵，用他的一范数来保证稀疏性。

3)将训练得到的字典Dl作为稀疏化中的过完备字典，对输入的低分辨率图像进行稀疏表示。具体实现如下：

$\min {|\left|\mathrm{\α}\right||}_{1}s.t.{\left|\right|F{D}_l\mathrm{\α}-\mathrm{Fy}\left|\right|}_2^2\≤\mathrm{\ϵ}$

其中，F为特征提取算子，用来提提供一个α与y的接近程度的约束。

4)依据压缩感知理论中图像恢复的理论，利用Dh和3)中得到的稀疏解恢复得到高分辨率图像。具体方法如下：

x＝D_hα

本发明提出了一种基于稀疏理论的图像超分辨率方法，结合附图及实施例详细说明如下：

实现本发明方法的系统实施例为：一张普通人脸图像和一张荧光显微图像。通过选择与输入图像SIFT特征点匹配最多的图像作为构建过完备字典的训练图像集，训练得到细节更为丰富的字典，依据稀疏表示理论将低分辨率图像进行稀疏表示，依据压缩感知理论从稀疏表示的低分辨率图像恢复得到更高分辨率的图像。如图1所示，为本发明实施例的基于稀疏理论的图像超分辨率方法流程图，包括以下步骤：

1)对于输入图像，通过SIFT特征点提取和匹配的方法从图像库中选取特征点匹配最多的图像构造训练集。SIFT特征点匹配的方法具体包括以下步骤：

11)通过SIFT算法计算提取输入的低分辨率图像的特征点；

12)对图像库里的每一幅图像，分别计算提取其SIFT特征点；

13)用SIFT特征点匹配算法，将11)中低分辨率图像的特征点和12)中每一幅图像的特征点进行匹配，选取其中特征点匹配最多的几幅图像，以此构造训练图像集。

2)对训练集中的图像和其下采样得到的低分辨率图像分别采样取一定数量的补丁，并对其稀疏编码构造训练字典Dh和Dl。具体方法包括以下步骤：

21)对训练集中的图像进行采样一定数量的补丁，得到补丁集X_h＝{x₁，x₂，...x_n}；

22)对训练集中的图像下采样得到对应的低分辨率图像，对其采样一定数量的补丁，得到补丁集Y_l＝{y₁，y₂，...y_n}；

23)分别对补丁集Xh和Yl稀疏编码，构造字典Dh，Dl，方法为：

$D_h=\underset{\{D_h,Z\}}{\arg \min }{\left|\right|X_h-D_{h}Z\left|\right|}_2^2+\mathrm{\λ}{\left|\right|Z\left|\right|}_1$

$D_l=\underset{\{D_l,Z\}}{\arg \min }{\left|\right|Y_l-D_{l}Z\left|\right|}_2^2+\mathrm{\λ}{\left|\right|Z\left|\right|}_1$

其中，Z是一个n*m的矩阵，用他的一范数来保证稀疏性，m、n为正整数，参数λ用来平衡重建的精度和前一项的差距。

3)将训练得到的字典Dl作为稀疏化中的过完备字典，对输入的低分辨率图像y进行稀疏表示。具体实现如下：

$\min {|\left|\mathrm{\α}\right||}_{1}s.t.{\left|\right|F{D}_l\mathrm{\α}-\mathrm{Fy}\left|\right|}_2^2\≤\mathrm{\ϵ}$

其中，F为特征提取算子，用来提提供一个α与y的接近程度的约束，s.t.表示使得....；满足...。

4)依据压缩感知理论中图像恢复的理论，利用Dh和3)中得到的稀疏解恢复得到高分辨率图像。具体方法如下：

x＝D_hα

本实施例对人脸图像最终放大结果及与其他方法的比较如图2所示，其中，(a)图为输入图像，(b)图为采用双三次插值方法得到的放大结果；(c)图为采用本发明方法选择最佳匹配的前10张图像做训练集得到的放大结果；(d)图为采用本发明方法选择最佳匹配的前20张图像做训练集得到的放大结果。

如图3所示，为采用所提出的发明方法与其他方法对荧光显微图像的放大结果的比较。其中，(a)图为输入图像，(b)图为采用双三次插值方法得到的放大结果；(c)图为采用本发明方法选择最佳匹配的前10张图像做训练集得到的放大结果；(d)图为采用本发明方法选择最佳匹配的前20张图像做训练集得到的放大结果。

选取最佳匹配图像构造训练集是本发明的一个必要技术特征，没有这个步骤后面步骤无从谈起，本发明是包括选取最佳匹配图像构造训练集及后续步骤的一个完整的技术方案，这个方案是若干必要技术特征的组合，不会因其中一个或多个必要技术特征被公开而破坏本发明的专利性，除非公开了全部的必要技术特征，甚至其组合，并且使得本发明之组合变得显而易见，否则自当属于本说明书表述的范围之内。

Claims (5)

1.一种基于稀疏表示理论的超分辨率图像获取方法，其特征是，包括以下步骤：

1)对于输入图像，通过SIFT特征点提取和匹配的方法从图像库中选取特征点匹配最多的图像构造训练集；

2)对训练集中的图像和其下采样得到的低分辨率图像分别采样取一定数量的补丁，并对其稀疏编码构造训练字典D_h和采样训练字典D_l；

3)将训练得到的采样训练字典D_l作为稀疏化中的过完备字典，对输入的低分辨率图像进行稀疏表示；

4)依据压缩感知理论中图像恢复的理论，利用训练字典D_h和步骤3)中得到的稀疏解恢复得到高分辨率图像。

2.如权利要求1所述方法，其特征是，SIFT特征点提取与特征点匹配的方法具体包括以下步骤：

11)通过SIFT算法计算提取输入的低分辨率图像的特征点；

12)对图像库里的每一幅图像，分别计算提取其SIFT特征点；

13)用SIFT特征点匹配算法，将步骤11)中低分辨率图像的特征点和步骤12)中每一幅图像的特征点进行匹配，选取其中特征点匹配最多的几幅图像，以此构造训练图像集。

3.如权利要求1所述方法，其特征是，对训练图像采样，并稀疏编码，构造训练字典D_h和采样训练字典D_l，具体方法包括以下步骤：

21)对训练集中的图像进行采样一定数量的补丁，得到补丁集X_h＝{x₁，x₂，...x_n}；

22)对训练集中的图像下采样得到对应的低分辨率图像，对其采样一定数量的补丁，得到另一补丁集Y_l＝{y₁，y₂，...y_n}；

23)分别对补丁集X_h和另一补丁集Y_l稀疏编码，构造字典训练字典D_h和采样训练字典D_l，方法为：

$D_h=\underset{\{D_h,Z\}}{\arg \min }{\left|\right|X_h-D_{h}Z\left|\right|}_2^2+\mathrm{\λ}{\left|\right|Z\left|\right|}_1$

$D_l=\underset{\{D_l,Z\}}{\arg \min }{\left|\right|Y_l-D_{l}Z\left|\right|}_2^2+\mathrm{\λ}{\left|\right|Z\left|\right|}_1$

其中，Z是一个n×m的矩阵，用Z的一范数来保证稀疏性，m、n为正整数，参数λ用来平衡重建的精度和前一项的差距。

4.如权利要求1所述方法，其特征是，对输入的低分辨率图像y通过以下方法进行稀疏表示最终得到稀疏解α：

$\min {|\left|\mathrm{\α}\right||}_{1}s.t.{\left|\right|F{D}_l\mathrm{\α}-\mathrm{Fy}\left|\right|}_2^2\≤\mathrm{\ϵ}$

其中，F为特征提取算子，用来提提供一个α与y的接近程度的约束，s.t.表示使得....；满足...，ε为一个极小的参数，表示可允许的差值范围。

5.如权利要求1所述方法，其特征是，对步骤4)中得到的稀疏解α，用以下方法恢复得到高分辨图像：x＝D_hα。

Images