CN107680043A - 基于图模型的单幅图像超分辨率输出方法 - Google Patents

Abstract

本发明公开了一种基于图模型的单幅图像超分辨率输出方法。本发明步骤如下：1:先将输入的单幅图像利用双三次插值方法按照预设定的采样率进行插值，得到一张低分辨率图像，然后将得到的低分辨率图像分割成m×n的图像块，对每个图像块计算像素值的欧氏距离，根据欧氏距离确定一组相似块的集合；针对分割好的低分辨率图像中的每个图像块都有一组相似块的集合。2:对相似块的集合构建图模型；3:对得到的二维矩阵进行拉普拉斯变换，得到拉普拉斯矩阵，然后利用优化公式求解进行图像块的修复；4:对修复后的图像块集合进行平均并重建，最终得到超分辨率的图像。本发明能够克服机器学习方法需要大量的图像数据去训练模型的缺点，更加适合图像超分辨率。

Description

基于图模型的单幅图像超分辨率输出方法

技术领域

本发明涉及图像的超分辨率领域，尤其涉及到单帧图像的超分辨率研究，具体涉及一种基于图模型的单幅图像超分辨率输出方法。

技术背景

在大量的电子图像应用领域，人们经常期望得到高分辨率图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象。如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。自从上世纪七十年代以来，电荷耦合器件(CCD)、CMOS图像传感器已被广泛用来捕获数字图像。尽管对于大多数的图像应用来说这些传感器是合适的，但是当前的分辨率水平和消费价格不能满足今后的需求。例如，人们希望得到一个便宜的高分辨率数码相机/便携式摄像机，或者期望其价格逐渐下降。科学家通常需要一个非常高的接近35毫米模拟胶片的分辨率水平，这样在放大一个图像的时候就不会有可见的瑕疵。因此，寻找一种增强当前分辨率水平的方法是非常必须的。

目前，大多数的单幅图像的超分辨率采用了机器学习的方法。这些方法主要是通过学习高分辨率图像块和低分辨率图像块之间的关系，并利用学习到的关系作用于低分辨率图像上，从而得到高分辨率的图像。但传统的这些方法有着比较明显的缺点，例如训练集的大小和类型和训练效果之间的关系难以确定，采样率改变一次则模型需要重新训练一次。

发明内容：

本发明针对现有技术的不足，提出了一种基于图模型的单幅图像超分辨率输出方法。本发明能够将一张输入的低分辨率图像，按照预定的采样率输出它的高分辨率图像。

本发明解决其技术问题所采用的技术方案具体的处理步骤如下：

步骤1:首先将输入的单幅图像利用双三次插值方法按照预设定的采样率进行插值，得到一张低分辨率图像，然后将得到的低分辨率图像分割成m×n的图像块。然后对每个图像块计算像素值的欧氏距离，从而根据欧氏距离确定一组相似块的集合；针对分割好的低分辨率图像中的每个图像块都有一组相似块的集合。

步骤2:对相似块的集合构建图模型。

对每个图像块中所有的相似块的像素值之间建立联系，具体如下：

将相似块集合中所有相似块的像素值拉成一个列向量，然后根据这个列向量构建二维矩阵，用来存储像素值的联系。

步骤3:对得到的二维矩阵进行拉普拉斯变换，得到拉普拉斯矩阵，然后利用优化公式求解进行图像块的修复，具体如下：

其中，y是相似块所有像素所拉成的向量，x是要恢复的高分辨率图像所拉成的向量，x^T是x的转置，x^TLx是正则项，λ是正则化项的参数，L是相似块的拉普拉斯矩阵，上式对x求导，令导函数等于零，可以得到x的极值。所以我们使用的修复公式如下：

x^*＝(I+λL)^-1y

其中，I是单位矩阵。

步骤4:对修复后的图像块集合进行平均并重建，最终得到超分辨率的图像。

所述的对图像块集合进行平均的过程如下：

设置两个和输出图像同大小的二维矩阵T和W，T用来存储修复完后的相似块，把相似块一一映射到原来在图像中位置，然后相似块映射位置如果有重叠，则相应的像素值累加。T矩阵的相应位置像素值每增加一次，W矩阵的相应位置增加1。

所述的对图像块集合进行重建的过程如下：

用上述所得到的T矩阵去除W矩阵，就会得到输出图像中每一个相应像素值的平均值，这就是我们最终得到的输出图像。

本发明有益效果：

本发明通过使用图模型来实现图像的超分辨率，经试验对比，本发明的信噪比要比SRCNN等前沿方法平均有0.2dB左右的提高。另外，本发明所涉及到的图像超分辨率则采用传统的基于图像块优化的方法，这种方法可以克服机器学习方法需要大量的图像数据去训练模型的缺点，从而更加适合图像超分辨率。

附图说明

图1是本发明流程图；

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，基于图模型的单幅图像超分辨率输出方法，具体包括如下步骤：

步骤1:首先将输入的单幅图像利用双三次插值方法按照预设定的采样率进行插值，得到一张放大的低分辨率图像，然后将得到的低分辨率图像按照步长为s分割成m×n的图像块。对每个图像块计算像素值的欧氏距离，从而根据欧氏距离确定一组相似块的集合；针对分割好的低分辨率图像中的每个图像块都有一组相似块的集合。

步骤2:对相似块的集合构建图模型。

对每个图像块中所有的相似块的像素值之间建立联系，具体如下：

将相似块集合中所有相似块的像素值拉成一个向量，然后根据这个向量构建二维邻接矩阵A，用来存储像素值的联系。像素值之间联系的强弱由像素值之间的欧式距离决定，1表示像素值之间联系最强，0表示像素值之间联系最弱。

步骤3:对得到的二维邻接矩阵A进行拉普拉斯变换，得到拉普拉斯矩阵L，然后利用优化公式求解进行图像块的修复，具体如下：

x^*＝(I+λL)^-1y

其中，x^*是修复后得到的相似块的向量，I是单位矩阵，L是我们得到的拉普拉斯矩阵，λ是正则化项的参数。

步骤4:对修复后的图像块集合进行平均并重建，最终得到超分辨率的图像。

所述的对图像块集合进行平均的过程如下：

设置两个和输出图像同大小的二维矩阵T和W，T用来存储修复完后的相似块，把相似块一一映射到原来在图像中位置，然后相似块映射位置如果有重叠，则相应的像素值累加。T矩阵的相应位置像素值每增加一次，W矩阵的相应位置增加1。

所述的对图像块集合进行重建的过程如下：

用上述所得到的T矩阵去除W矩阵，就会得到输出图像中每一个相应像素值的平均值，这就是我们最终得到的输出图像。

实施例：

针对步骤1中分割的图像块，通过非局部平均方法搜索到若干个跟当前图像块最为相似的块，将相似块集合中所有相似块的像素值拉成一个向量，然后根据这个向量构建二维邻接矩阵A，用来存储像素值的联系。

设假如每个图像块大小为m×n，每个块找到k个和它最相似的块，则二维邻接矩阵A是(m×n×k)×(m×n×k)维的矩阵；对二维矩阵A进行拉普拉斯变换，得到(m×n×k)×(m×n×k)维的拉普拉斯矩阵，具体的拉直后的向量x、图像块对应的邻接矩阵A、图像块对应的度矩阵D以及图像块对应的拉普拉斯矩阵L分别如下：

其中，邻接矩阵A的对角线位置表示像素点自身的相似性，我们将其设置为0，度矩阵D是由邻接矩阵A所得，度矩阵D除对角线位置外，其他位置均为0，对角线位置的元素由邻接矩阵该行的和所决定。最终的拉普拉斯矩阵L是由度矩阵D减去邻接矩阵A所得。

紧接着，我们利用新的拉普拉斯矩阵对应的优化公式得到一个大的重构向量，然后将重构后的重构向量按照对应块所在的位置对应到图像中不同的位置。最终得到相应的超分辨率图像。

Claims (1)

1.基于图模型的单幅图像超分辨率输出方法，其特征在于包括如下步骤：

步骤1:首先将输入的单幅图像利用双三次插值方法按照预设定的采样率进行插值，得到一张低分辨率图像，然后将得到的低分辨率图像分割成m×n的图像块；然后对每个图像块计算像素值的欧氏距离，从而根据欧氏距离确定一组相似块的集合；针对分割好的低分辨率图像中的每个图像块都有一组相似块的集合；

步骤2:对相似块的集合构建图模型；

对每个图像块中所有的相似块的像素值之间建立联系，具体如下：

将相似块集合中所有相似块的像素值拉成一个列向量，然后根据这个列向量构建二维矩阵，用来存储像素值的联系；

步骤3:对得到的二维矩阵进行拉普拉斯变换，得到拉普拉斯矩阵，然后利用优化公式求解进行图像块的修复，具体如下：

<mrow> <msup> <mi>x</mi> <mo>*</mo> </msup> <mo>=</mo> <mi>arg</mi> <mi>min</mi> <mo>|</mo> <mo>|</mo> <mi>y</mi> <mo>-</mo> <mi>x</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <msup> <mi>&amp;lambda;x</mi> <mi>T</mi> </msup> <mi>L</mi> <mi>x</mi> </mrow>

其中，y是相似块所有像素所拉成的向量，x是要恢复的高分辨率图像所拉成的向量，x^T是x的转置，x^TLx是正则项，λ是正则化项的参数，L是相似块的拉普拉斯矩阵，上式对x求导，令导函数等于零，得到x的极值；修复公式如下：

x^*＝(I+λL)^-1y

其中，I是单位矩阵；

步骤4:对修复后的图像块集合进行平均并重建，最终得到超分辨率的图像；

所述的对图像块集合进行平均的过程如下：

设置两个和输出图像同大小的二维矩阵T和W，T用来存储修复完后的相似块，把相似块一一映射到原来在图像中位置，然后相似块映射位置如果有重叠，则相应的像素值累加；T矩阵的相应位置像素值每增加一次，W矩阵的相应位置增加1；

所述的对图像块集合进行重建的过程如下：

用上述所得到的T矩阵去除W矩阵，就会得到输出图像中每一个相应像素值的平均值，这就是我们最终得到的输出图像。