CN105405106A - 一种单图像超分辨率重建的方法 - Google Patents

Abstract

本发明公开了一种单图像超分辨率重建的方法，该方法包含两个部分：一是利用高斯混合模型计算高分辨率图像中每个最佳相似片；二是根据最佳相似片建立自相似性最大化优化模型实现超分辨率图像重建。通过该发明方法提出了一种优化的超分辨率模型，其挖掘自相似的图像内容以获取高质量的超分辨率输出，同时还提供了一种高斯逼近求解方案，该方法使得图像在保真度、细节恢复等方面有着更优越性能。

Description

一种单图像超分辨率重建的方法

技术领域

本发明涉及图像重建技术领域，尤其涉及一种单图像超分辨率重建的方法。

背景技术

自然图像存在一些自相似的属性，如强度、颜色及几何结构等。这些自相似信息在一些类似图像重构、去噪、修复等图像操作中可被看作是有价值的先验知识。缺失的、覆盖的信息可以通过自相似性从图像的其他位置获取，但如何有效地利用图像的自相似属性来获取高质量的图像重建是一个有意义的问题。

图像超分辨率重建技术是指利用低质量、低分辨率图像或图像序列来产生单幅高质量、高分辨率图像。它的目的是要使得输出的图像或视频的分辨率比任意一幅输入的图像或输入视频的任意一帧的分辨率都要高。其可以提高图像的识别能力和识别精度，在军事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。

单图像超分辨率重建是图像重建的一个特例，其中的关键是如何从低分辨率图像中获取有用信息以恢复其高分辨率版本。而自相似性可以看作一种有效的辅助方式。近年来，自相似的超分辨率模型成功出现，除了不需要借助额外数据，大量的实验说明其结果优于数据驱动模型。但是，如何获取最优的相似片仍是问题的关键。

发明内容

本发明的目的是为了克服现有技术的缺陷，提出了一种新的自相似性最大化的概念来构建高质量的超分辨率模型。其关键思想是高分辨率图像中任意选择的图像片，在输入的低分辨率图像中，都有一些图像片视觉上与其相似。利用这个先验知识，建立了一个优化模型以生成优化的超分辨率图像。为求解该成本函数，提出一种高斯逼近方案，其应用高斯混合模型以生成不同尺度输入图像的关联概率密度函数。

为实现上述目的，本发明提供了一种单图像超分辨率重建的方法，该方法包含两个部分：一是利用高斯混合模型计算高分辨率图像中每个最佳相似片；二是根据最佳相似片建立自相似性最大化优化模型实现超分辨率图像重建；具体为，对低分辨率原图像分别做上采样和高斯滤波以获取两个不同的版本，并将上采样版本作为初始的高分辨率版本；对高斯滤波版本和低分辨率图像抽取图像片建立片对以构建高斯混合模式，将初始的高分辨率版本中的每个图像片看作滤波版本输入高斯混合模型以获取细节更丰富的高分辨率图像片输出；然后将这些细节丰富的图像片输入所建立的自相似先验最大化模型以输出细节丰富的高分辨率图像。

优选地，在寻求相似图像片时，基于低分辨率模糊版本和清晰版本抽取的图像片对建立高斯混合模型，并将高分辨率图像的模糊图像片作为输入，采用期望最大化算法计算最佳图像片。在寻求最佳相似片时，从低分辨率图像及高斯滤波模糊版本中抽取图像片，以这些图像片作为训练数据集，建立基于高斯混合模型的关联概率密度函数。

优选地，在建立自相似先验最大化模型及求解时：利用自然图像自身的自相似性，将高分辨率图像与低分辨率图像之间一对多的映射附加自相似最大化约束转化为最优的一对一映射替代。在对模型求解时，引入对数运算将乘法关系转化为加法运算，并引入辅助变量为一个难以求解的问题寻求最优解。

本发明的有益效果：

(1)基于自相似性最大化提出了一种优化的超分辨率模型，其挖掘自相似的图像内容以获取高质量的超分辨率输出，提高图像的识别能力和识别精度。

(2)提供了一种高斯逼近求解方法，其采用高斯混合模型求解每个低分辨率图像片对应的最大相似度的高分辨率图像片。基于这些高分辨率图像片，利用全局优化加局部优化的方法直接求解高分辨率图像，使得图像在保真度、细节恢复等方面有着更优越性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明的基于自相似性最大化的单图像超分辨率重建方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种单图像超分辨率重建的方法，本方法主要包括两个部分，一是利用高斯混合模型计算高分辨率图像中每个最佳相似片；二是根据最佳相似片建立模型求解超分辨率图像。具体为，对低分辨率原图像分别做上采样和高斯滤波以获取两个不同的版本，并将上采样版本作为初始的高分辨率版本。对高斯滤波版本和低分辨率图像抽取图像片建立片对以构建高斯混合模式，将高分辨率版本中的每个图像片看作滤波版本输入代入高斯混合模型以获取细节更丰富的高分辨率图像片输出；然后将这些细节较为丰富的图像片代入所建立的自相似先验最大化模型以求解细节丰富的高分辨率图像。

其中，在寻求最佳相似片时：高分辨率图像的模糊版本比较容易获取，而无论高分辨率图像还是低分辨率图像，其模糊版本和清晰版本之间的对应关系都是一致的。对高分辨率清晰版本中的每个图像片，根据自相似性，其对应于低分辨率清晰版本中的一个或多个图像片。为寻求这样的相似图像片，基于低分辨率模糊版本和清晰版本抽取的图像片对建立高斯混合模型，并将高分辨率图像的模糊图像片作为输入，采用期望最大化算法计算最佳图像片。

在建立自相似先验最大化模型及求解时：利用自然图像自身的自相似性，将高分辨率图像与低分辨率图像之间一对多的映射附加自相似最大化约束转化为最优的一对一映射替代。在对模型求解时，引入对数运算将乘法关系转化为加法运算，并引入辅助变量为一个难以求解的问题寻求最优解。

具体实施如下：

1、模型建立

一般来说，对于一个单图像超分辨率问题，高分辨率图像X和对应的低分辨率图像Y之间满足

Y＝DHX+ω，(1)

其中观察的低分辨率图像Y∈Rⁿ，对应的待求高分辨率图像X∈Rⁿ及附加的高斯噪声ω∈Rⁿ均被转换成矢量形式。D是一个R^n×N的下采样操作矩阵，H是一个R^N×N用于模糊操作的卷积矩阵。

图像Y的超分辨率重建是方程(1)的逆问题。根据片重现观点，重建转化为寻找最相似片的过程。对于高分辨率图像X中任意图像片xⁱ，假定在输入的低分辨率图像Y中存在一个最相似的图像片y^p。该假设成立用Y的上采样图像X₀对应的图像片和Y的高斯滤波图像Y₀对应的图像片间的相似度来度量xⁱ和y^p间的相似度。然而，该逼近很难获得一个理想的精度因为低分辨率图像片和高分辨率图像片之间存在一对多的映射。最直接的影响是低分辨率图像片和对应的高分辨率图像片之间的对应关系与邻域图像片之间的对应关系不能很好地保持。

然而，考虑到自然图像自身的自相似性，可以将一对多的映射用最优的一对一映射替代。假设已经获取重建的高分辨率图像X，对X中的任意图像片xⁱ，其在低分辨率图像Y应该有一个最相似的图像片y^p，用ρ(P_iX)来测量xⁱ和y^p之间的相似度。P_i是一个a²×N的稀疏二值矩阵，其从X中抽取图像片xⁱ，矩阵P_i第K行非零位置对应于X的图像片xⁱ中第K个像素的位置。

ρ(P_iX)越大意味着xⁱ和y^p越相似，换句话说，其要求ρ(xⁱ)有最大值。形式化该要求作为统计先验并将其合并到优化过程中，即成本函数定义为

$\underset{X}{\arg \min }\left|\right|DHX-Y|{|}_2^2-\mathrm{\λ}\underset{i=1}{\overset{N}{\Π}}\mathrm{\ρ}\left(P_{i}X\right),---\left(2\right)$

其中λ是权重平衡保真度及自相似性。本质上，ρ(x)是一个概率密度函数，服从高斯分布ρ(x)～N(x|μ，∑)。需要特别指出的是，正则化先验是一负项，为了使方程具有最优解其应该最大化。因此上述模型被称为自相似先验最大化模型。

2、模型求解

2.1替换模型

方程(2)中，自相似先验由一系列乘法操作构成，这样很难直接求解。幸运的是，ρ(P_iX)都是正的实数值。该属性允许利用一个对数变换将乘法操作转换为加法操作方程(2)可以重新表述为：

$\underset{X}{\arg \min }\left|\right|DHX-Y|{|}_2^2-\mathrm{\λ}\underset{i=1}{\overset{N}{\Σ}}\log \mathrm{\ρ}\left(P_{i}X\right).---\left(3\right)$

为逼近优化解，一组辅助变量引入成本函数，即：

$\underset{X,{\left\{z_i\right\}}_{i=1}^N}{\arg \min }\left|\right|DHX-Y|{|}_2^2-\mathrm{\λ}\underset{i=1}{\overset{N}{\Σ}}\log \mathrm{\ρ}\left(z_i\right)+\mathrm{\β}\underset{i=1}{\overset{N}{\Σ}}||P_{i}X-z_i|{|}_2^2.---\left(4\right)$

当β→+∞，图像片P_iX趋近于辅助变量z_i。最优化过程通过一个循环迭代实现。在实验中最优解在300次迭代之内收敛。为求解X，z_i先固定。对方程(4)关于X求一阶导，并令其等于0，有X最优解为：

$\hat{X}={(H^T{D}^{T}DH+\mathrm{\β}\underset{i=1}{\overset{N}{\Σ}}{P}_i^T{P}_i)}^{-1}(H^T{D}^{T}Y+\mathrm{\β}\underset{i=1}{\overset{N}{\Σ}}{P}_i^T{z}_i)---\left(5\right)$

其中i表达X中所有重叠的图像片，相应地，根据给定的求解每次迭代后，β增加进入下一次迭代。接下来解释如何利用高斯混合模型求解

2.2基于高斯混合模型的关联概率密度函数

利用自相似先验最大化寻找每个高分辨率图像片最相似的估计值z_i。不幸的是，由于缺乏高分辨率图像X的信息，很难直接得到解决方案。替换地，挖掘观察图像Y和它高斯模糊版本Y₀之间的关系。设和分别是从图像Y和Y₀抽取的样本图像片。为表达图像片的纹理和细节而不是绝对强度值，每个片的均值被抽取。设D是训练数据集，以矢量形式连接y^p和以构建元素即

$d^p=\left[\begin{array}{c}{y}_0^p\\ y^p\end{array}\right],p=1,\mathrm{...},n---\left(6\right)$

由于高斯混合模型是参数模型，能够精确逼近任意概率密度函数。因此，对任意变量高斯混合模型基于这些连接矢量构建。基于高斯混合模型的关联概率密度函数表达为：

$\mathrm{\ρ}\left(d\right)=\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\α}}_{k}N\left(d\right|{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k),---\left(7\right)$

其中K是高斯混合分量的数量，α_k，μ_k及∑_k分别是第K个高斯混合分量的权重，均值和协方差矩阵。接下来介绍这些参数的估计。

2.3参数估计

利用期望最大化算法估计参数{α_k，μ_k，∑_k}。设

${\mathrm{\μ}}_k={\[{\mathrm{\μ}}_k^{y_0},{\mathrm{\μ}}_k^y\]}^T,---\left(8\right)$

其中和分别是图像片 ${\left\{y_0^p\right\}}_{p=1}^n$ 和 ${\left\{y^p\right\}}_{p=1}^n$ 的均值矢量。

另外，设模型分量密度的协方差矩阵为

$\underset{k}{\Σ}=\left[\begin{array}{cc}{\Σ}_k^{y_0}& {\Σ}_k^{y_{0}y}\\ {\Σ}_k^{{\mathrm{yy}}_0}& {\Σ}_k^y\end{array}\right],---\left(9\right)$

根据对应尺度的自相似关系，对重建的高分辨率图像中任意图像片zⁱ，在原输入图像中的事件概率可估计为

$\mathrm{\ρ}\left(z^i\right|x_0^i,{\{{\mathrm{\α}}_k,{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k\}}_{k=1}^K)~N\left(z^i\right|\widehat{\mathrm{\μ}},\widehat{\Σ}),---\left(10\right)$

其中和的计算为

属于第K个高斯分布N(k|μ_k，∑_k)的概率计算为

根据期望获得估计值为

${\hat{z}}^i=E\left(z^i\right|x_0^i,{\{{\mathrm{\α}}_k,{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k\}}_{k=1}^K)=\widehat{\mathrm{\μ}}.---\left(13\right)$

以上对本发明实施例所提供的一种基于自相似性最大化的单图像超分辨率重建的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种单图像超分辨率重建的方法，其特征在于，该方法包含两个部分：一是利用高斯混合模型计算高分辨率图像中每个最佳相似片；二是根据最佳相似片建立自相似性最大化优化模型实现超分辨率图像重建；具体为，对低分辨率原图像分别做上采样和高斯滤波以获取两个不同的版本，并将上采样版本作为初始的高分辨率版本；对高斯滤波版本和低分辨率图像抽取图像片建立片对以构建高斯混合模式，将初始的高分辨率版本中的每个图像片看作滤波版本输入高斯混合模型以获取细节更丰富的高分辨率图像片输出；然后将这些细节丰富的图像片输入所建立的自相似先验最大化模型以输出细节丰富的高分辨率图像。

2.根据权利要求1所述的方法，其特征在于，在寻求相似图像片时，基于低分辨率模糊版本和清晰版本抽取的图像片对建立高斯混合模型，并将高分辨率图像的模糊图像片作为输入，采用期望最大化算法计算最佳图像片。

3.根据权利要求1或2所述的方法，其特征在于，在寻求最佳相似片时，从低分辨率图像及高斯滤波模糊版本中抽取图像片，以这些图像片作为训练数据集，建立基于高斯混合模型的关联概率密度函数：

$\mathrm{\ρ}\left(d\right)=\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\α}}_{k}N\left(d\right|{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k),$

其中K是高斯混合分量的数量，α_k，μ_k及∑_k分别是第K个高斯混合分量的权重，均值和协方差矩阵。

4.根据权利要求1所述的方法，其特征在于，在建立自相似先验最大化模型及求解时：利用自然图像自身的自相似性，将高分辨率图像与低分辨率图像之间一对多的映射附加自相似最大化约束转化为最优的一对一映射替代；在对模型求解时，引入对数运算将乘法关系转化为加法运算，并引入辅助变量为一个难以求解的问题寻求最优解。

5.根据权利要求1或4所述的方法，其特征在于，在重建超分辨率图像时，借以自相似性最大化约束将低分辨率与超分辨率之间一对多的映射用最优的一对一映射替代，即将统计先验合并到优化过程中，构造的成本函数为

$\underset{X}{\mathrm{argmin}}\left|\right|DHX-Y|{|}_2^2-\mathrm{\λ}\underset{i=1}{\overset{N}{\Π}}\mathrm{\ρ}\left(P_{i}X\right),$

λ是权重平衡保真度及自相似性，ρ(x)是一个概率密度函数，服从高斯分布ρ(x)～N(x|μ，∑)。

6.根据权利要求5所述的方法，其特征在于，利用一个对数变换将乘法操作转换为加法操作成本函数重新表述为

$\underset{X}{\mathrm{argmin}}\left|\right|DHX-Y|{|}_2^2-\mathrm{\λ}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\log \mathrm{\ρ}\left(P_{i}X\right),$

为逼近优化解，一组辅助变量引入成本函数，即

$\underset{X,{\left\{z_i\right\}}_{i=1}^N}{\mathrm{argmin}}\left|\right|DHY-Y|{|}_2^2-\mathrm{\λ}\underset{i=1}{\overset{N}{\Σ}}log\mathrm{\ρ}\left(z_l\right)+\mathrm{\β}\underset{i=1}{\overset{N}{\Σ}}||P_{i}X-z_i|{|}_2^2$

当β→+∞，图像片P_iX趋近于辅助变量z_i，其具有最优X解为

$\hat{X}={(H^T{D}^{T}DH+\mathrm{\β}\underset{i=1}{\overset{N}{\Σ}}{P}_i^T{P}_i)}^{-1}(H^T{D}^{T}Y+\mathrm{\β}\underset{i=1}{\overset{N}{\Σ}}{P}_i^T{z}_t),$

其中i表达X中所有重叠的图像片，相应地，根据给定的求解每次迭代后，β增加进入下一次迭代。