CN102750678A - 基于自然图像统计稀疏模型的单帧图像超分辨重建方法 - Google Patents

Abstract

本发明公开了一种基于自然图像统计稀疏模型的单帧图像超分辨重建方法，用于解决现有基于稀疏表示的单帧图像超分辨重建算法重建图像质量差的技术问题。技术方案是利用自然图像的统计特性，采用贝叶斯方法对图像超分辨重建问题进行建模，并采用最小均方误差准则对高分辨率图像进行估计。重建得到的高分辨图像更加自然，伪结构数目减少，且具有更清晰的边缘结构，与背景技术的方法相比，能获得更高质量的超分辨重建图像，重建结果提高了1dB～2dB。

Description

基于自然图像统计稀疏模型的单帧图像超分辨重建方法

技术领域

本发明涉及一种单帧图像超分辨重建方法，特别涉及一种基于自然图像统计稀疏模型的单帧图像超分辨重建方法。

背景技术

文献“Image super resolution via sparse representation，IEEE Trans.Image Processing，Vol.19(11)，pp.2861-3873，2010”公开了一种基于稀疏表示的单帧图像超分辨重建算法。该方法的超分辨重建过程是逐个图像块进行估计。对每个低分辨率的图像块，该方法首先求解该图像块关于一个低分辨率字典的稀疏表示系数，然后使用该稀疏表示系数与和低分辨率字典对应的一个高分辨率图像进行高分辨率图像块的重建。该估计过程对低分辨率图像进行逐像素块的估计，最终的高分辨率图像通过估计得到的高分辨率图像块的加权拼接得到。该方法通过对低分辨率字典和高分辨率字典的联合学习，提高了重建质量。该方法的缺陷是，由于估计过程是逐像素块进行的，相邻图像块的估计过程互相独立，因而相邻图像块地估计结果不一定一致；其次，由于只使用了小的图像块作为估计算法的输入，该方法不能利用自然图像在大尺度上的统计特性，在估计结果中容易产生一些不自然的伪结构信息。

发明内容

为了克服现有基于稀疏表示的单帧图像超分辨重建算法重建图像质量差的不足，本发明提供一种基于自然图像统计稀疏模型的单帧图像超分辨重建方法，该方法利用自然图像的统计特性，采用贝叶斯方法对图像超分辨重建问题进行建模，并采用最小均方误差准则对高分辨率图像进行估计，能够得到高质量的超分辨率重建图像。

本发明解决其技术问题所采用的技术方案：一种基于自然图像统计稀疏模型的单帧图像超分辨重建方法，其特点是包括以下步骤：

（a）使用马尔科夫随机场对图像X的统计特性进行建模，

$p\left(X\right)=\frac{1}{Z}\underset{c\∈\mathrm{\Ω}}{\mathrm{\Π}}f\left(X_c\right)---\left(1\right)$

式中，Z表示归一化常数，Ω表示图像X的所有像素位置的集合，c∈Ω是图像坐标位置的索引，X_c表示图像在c位置处的图像邻域，称作团簇。f(·)是图像团簇的势函数，图像团簇的势函数定义如下：

$f\left(X_c\right)=\underset{k=1}{\overset{K}{\mathrm{\Π}}}\underset{i=1}{\overset{N}{\mathrm{\Π}}}p\left(Z_{\mathrm{ik}}\right)N(w_i^T{X}_c;0,\frac{{\mathrm{\σ}}^2}{s_{Z_{\mathrm{ik}}}})---\left(2\right)$

式中，是一组滤波器。N(X；μ，σ)表d示X服从均值为μ，方差为σ的正态分布。p(Z_ik)表示矩阵Z中第i行k列元素的概率，表示一个由Z_ik索引的尺度因子。其中，i＝1，2，…N是尺度索引，k=1，2，…K是势函数索引，N是尺度的总数，K是势函数的总数。

（b）依据图像的观测模型通过高斯分布模型构建似然函数模型，得到如下似然函数：

P(Y|X)=N(Y；DHX，σ²I)    (3)

式中，Y表示给定的低分辨率图像，H表示低通滤波算子，D表示下采样算子，I是单位矩阵，σ表示噪声的标准差。

（c）利用贝叶斯公式，将(1)式与(3)式相乘，得到图像的后验模型：

$P\left(X\right|Y)\∝N(Y;\mathrm{DHX},{\mathrm{\σ}}^{2}I)\·\underset{c\∈\mathrm{\Ω}}{\mathrm{\Π}}f\left(X_c\right)---\left(4\right)$

式中，∝表示符号左右的项之间成正比关系。

（d）对Z和超分辨率图像X进行交替采样估计：

①通过对每个元素的采样对Z进行采样估计，

$P\left(Z_{\mathrm{ik}}\right|X,Y,D,H,\mathrm{\Θ})\∝P\left(Z_{\mathrm{ik}}\right)N(w_i^c{X}_c;0,\frac{{\mathrm{\σ}}_i^2}{s_{Z_{\mathrm{ik}}}})---\left(5\right)$

②获得对Z的采样后，将其值代入下式，对X=X₁+X₂进行采样：

$P\left(X\right|Z,Y,D,H,\mathrm{\Θ})\∝N(X;Q_Z^{-1}{H}^T{D}^T\frac{y}{{\mathrm{\σ}}^2},Q_Z^{-1})---\left(6\right)$

式中， $Q_Z=\frac{1}{{\mathrm{\σ}}^2}{H}^T{D}^T\mathrm{DH}+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{W}_i{D}_i{W}_i^T,$ $D_i=\mathrm{diag}\left(\frac{s_{Z_{\mathrm{ik}}}}{{\mathrm{\σ}}_i^2}\right).$

X₁通过下式求解，

${\mathrm{WZW}}^T{X}_1=W\sqrt{Z}V---\left(7\right)$

式中，V是从0均值的高斯分布中抽取的一个样本，即V～N(0，I)，

W=[H^TD^TW₁W₂…W_N]，

X₂通过下式求解，

$Q_Z{X}_2=H^T{D}^T\frac{y}{{\mathrm{\σ}}^2}---\left(8\right)$

得到X₁和X₂的采样后，通过求和得到对X的采样值。

（e）通过对图像的后验模型进行采样，得到N个样本点：{X₁，X₂，…，X_M，X_M+1，…X_N}；丢弃采样初期的前M个样本点，通过剩余的N-M个样本点，得到对高分辨率图像的近似最小均方误差估计：

$\hat{X}=\frac{1}{N-M}\underset{i=M+1}{\overset{N}{\mathrm{\Σ}}}{X}_i---\left(9\right)$

式中，i是采样次数的索引。

本发明的有益效果是：由于利用了自然图像的统计特性，采用贝叶斯方法对图像超分辨重建问题进行建模，并采用最小均方误差准则对高分辨率图像进行估计，重建得到的高分辨图像更加自然，伪结构数目减少，且具有更清晰的边缘结构，与背景技术的方法相比，能获得更高质量的超分辨重建图像，重建结果提高了1dB～2dB。

下面结合实施例对本发明作详细说明。

具体实施方式

（a）对图像进行统计特性建模：本实施例使用马尔科夫随机场对图像X的统计特性进行建模：

$p\left(X\right)=\frac{1}{Z}\underset{c\∈\mathrm{\Ω}}{\mathrm{\Π}}f\left(X_c\right)---\left(1\right)$

其中，Z表示归一化常数，Ω表示图像X的所有像素位置的集合，c∈Ω是图像坐标位置的索引，X_c表示图像在c位置处的图像邻域，称作团簇。f(·)是图像团簇的势函数，在本方案中，该函数定义如下：

$f\left(X_c\right)=\underset{k=1}{\overset{K}{\mathrm{\Π}}}\underset{i=1}{\overset{N}{\mathrm{\Π}}}p\left(Z_{\mathrm{ik}}\right)N(w_i^T{X}_c;0,\frac{{\mathrm{\σ}}^2}{s_{Z_{\mathrm{ik}}}})---\left(2\right)$

式中，

是一组滤波器。N(X；μ，σ)表示X服从均值为μ，方差为σ的正态分布。p(Z_ik)表示矩阵Z中第i行k列元素的概率，表示一个由Z_ik索引的尺度因子。其中，i＝1，2，…N是尺度索引，k=1，2，…K是势函数索引，N是尺度的总数，K是势函数的总数。本实施例中，采用的滤波器组为w₁=[1 -1]，w₂=[1 -1]^T，因而K=2。本实施例中，N=15， $s_1^{-1}~s_{15}^{-1}=\{-9,-8,-7,-6,-5,-4,-3,-2,-\mathrm{1,0,1,2,3,4,5,7},9\},$ Z_ik∈{1，2，…，15}，Z_ik取值的概率如下，P(Z_ik=1)=0.0415，P(Z_ik=2)=0.0505，P(Z_ik=3)=0.1014，P(Z_ik=4)=0.2341，P(Z_ik=5)=0.2334，P(Z_ik=6)=0.0853，P(Z_ik=7)=0.0514，P(Z_ik=8)=0.0448，P(Z_ik=9)=0.0377，P(Z_ik=10)=0.0272，P(Z_ik=11)=0.0232，P(Z_ik=12)=0.0329，P(Z_ik=13)=0.0168，P(Z_ik=14)=0.0007，P(Z_ik=15)=0.0192。

（b）建立似然函数模型：依据图像的观测模型构建似然函数模型，由于通常低分辨率图像的观测过程建模为对高分辨率图像进行低通滤波后下采样，然后加入随机高斯噪声，因而似然函数可以通过高斯分布模型构建，那么可以得到如下的似然函数：

P(Y|X)=N(Y；DHX,σ²I)    (3)

其中，Y表示给定的低分辨率图像，H表示低通滤波算子，在本实施例中使用高斯分布函数近似，具体设置方式如下：高斯点扩散函数大小为7，当放大倍数为2时，其标准差为1，放大倍数为3时，标准差设为2。D表示下采样算子，将图像按照指定的放大倍数进行逐行逐列的下采样，如放大倍数为2时，进行隔行和隔列的采样。I是单位矩阵。，σ表示噪声的标准差。本实施例中使用σ=1。

（c）计算图像的后验模型：通过贝叶斯公式，将(1)式与(3)式相乘，可以得到如下的后验模型：

$P\left(X\right|Y)\∝N(Y;\mathrm{DHX},{\mathrm{\σ}}^{2}I)\·\underset{c\∈\mathrm{\Ω}}{\mathrm{\Π}}f\left(X_c\right)---\left(4\right)$

式中，∝表示符号左右的项之间成正比关系。

（d）对超分辨率图像X进行估计。具体的估计过程是通过如下方式对Z和X进行交替采样估计：

①通过如下公式对Z进行采样估计，由于Z中的每个元素都是独立的，因而对Z的采样可以通过对每个元素的采样进行：

$P\left(Z_{\mathrm{ik}}\right|X,Y,D,H,\mathrm{\Θ})\∝P\left(Z_{\mathrm{ik}}\right)N(w_i^c{X}_c;0,\frac{{\mathrm{\σ}}_i^2}{s_{Z_{\mathrm{ik}}}})---\left(5\right)$

②获得对Z的采样后，将其值代入下式，并进一步对X进行采样：

$P\left(X\right|Z,Y,D,H,\mathrm{\Θ})\∝N(X;Q_Z^{-1}{H}^T{D}^T\frac{y}{{\mathrm{\σ}}^2},Q_Z^{-1})---\left(6\right)$

其中， $Q_Z=\frac{1}{{\mathrm{\σ}}^2}{H}^T{D}^T\mathrm{DH}+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{W}_i{D}_i{W}_i^T,$ $D_i=\mathrm{diag}\left(\frac{s_{Z_{\mathrm{ik}}}}{{\mathrm{\σ}}_i^2}\right).$ 具体而言，对X的采样分两部分进行：X=X₁+X₂，其中X₁通过下式求解：

${\mathrm{WZW}}^T{X}_1=W\sqrt{Z}V---\left(7\right)$

其中，V是从0均值的高斯分布中抽取的一个样本，即V～N(0，I)，

W=[H^TD^TW₁W₂…W_N]，

X₂可以通过下式求解：

$Q_Z{X}_2=H^T{D}^T\frac{y}{{\mathrm{\σ}}^2}---\left(8\right)$

得到X₁和X₂的采样后，通过求和即可得到对X的采样值。

通过对如上所述方法对Z和X进行交替采样，得到N=100个关于X的样本点：{X₁，X₂，…X₁₀₀}。

（e）超分辨图像估计：使用采样得到的100个样本点，丢弃采样初期的前M=30个样本点，通过剩余的70个样本点，可以得到对高分辨率图像的近似最小均方误差估计如下：

$\hat{X}=\frac{1}{N-M}\underset{i=M+1}{\overset{N}{\mathrm{\Σ}}}{X}_i---\left(9\right)$

式中，i是采样次数的索引。

Claims (1)

1.一种基于自然图像统计稀疏模型的单帧图像超分辨重建方法，其特征在于包括以下步骤：

（a）使用马尔科夫随机场对图像X的统计特性进行建模，

$p\left(X\right)=\frac{1}{Z}\underset{c\∈\mathrm{\Ω}}{\mathrm{\Π}}f\left(X_c\right)---\left(1\right)$

式中，Z表示归一化常数，Ω表示图像X的所有像素位置的集合，c∈Ω是图像坐标位置的索引，X_c表示图像在c位置处的图像邻域，称作团簇；f(·)是图像团簇的势函数，图像团簇的势函数定义如下：

$f\left(X_c\right)=\underset{k=1}{\overset{K}{\mathrm{\Π}}}\underset{i=1}{\overset{N}{\mathrm{\Π}}}p\left(Z_{\mathrm{ik}}\right)N(w_i^T{X}_c;0,\frac{{\mathrm{\σ}}^2}{s_{Z_{\mathrm{ik}}}})---\left(2\right)$

式中，

是一组滤波器；N(X；μ，σ)表示X服从均值为μ，方差为σ的正态分布；p(Z_ik)表示矩阵Z中第i行k列元素的概率，

表示一个由Z_ik索引的尺度因子；其中，i＝1，2，…N是尺度索引，k=1，2，…K是势函数索引，N是尺度的总数，K是势函数的总数；

（b）依据图像的观测模型通过高斯分布模型构建似然函数模型，得到如下似然函数：

P(Y|X)=N(Y；DHX，σ²I)    (3)

式中，Y表示给定的低分辨率图像，H表示低通滤波算子，D表示下采样算子，I是单位矩阵，σ表示噪声的标准差；

（c）利用贝叶斯公式，将(1)式与(3)式相乘，得到图像的后验模型：

$P\left(X\right|Y)\∝N(Y;\mathrm{DHX},{\mathrm{\σ}}^{2}I)\·\underset{c\∈\mathrm{\Ω}}{\mathrm{\Π}}f\left(X_c\right)---\left(4\right)$

式中，∝表示符号左右的项之间成正比关系；

（d）对Z和超分辨率图像X进行交替采样估计：

①通过对每个元素的采样对Z进行采样估计，

$P\left(Z_{\mathrm{ik}}\right|X,Y,D,H,\mathrm{\Θ})\∝P\left(Z_{\mathrm{ik}}\right)N(w_i^c{X}_c;0,\frac{{\mathrm{\σ}}_i^2}{s_{Z_{\mathrm{ik}}}})---\left(5\right)$

②获得对Z的采样后，将其值代入下式，对X=X₁+X₂进行采样：

$P\left(X\right|Z,Y,D,H,\mathrm{\Θ})\∝N(X;Q_Z^{-1}{H}^T{D}^T\frac{y}{{\mathrm{\σ}}^2},Q_Z^{-1})---\left(6\right)$

式中， $Q_Z=\frac{1}{{\mathrm{\σ}}^2}{H}^T{D}^T\mathrm{DH}+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{W}_i{D}_i{W}_i^T,$ $D_i=\mathrm{diag}\left(\frac{s_{Z_{\mathrm{ik}}}}{{\mathrm{\σ}}_i^2}\right);$

X₁通过下式求解，

${\mathrm{WZW}}^T{X}_1=W\sqrt{Z}V---\left(7\right)$

式中，V是从0均值的高斯分布中抽取的一个样本，即V～N(0，I)，

W=[H^TD^TW₁W₂…W_N]，

X₂通过下式求解，

$Q_Z{X}_2=H^T{D}^T\frac{y}{{\mathrm{\σ}}^2}---\left(8\right)$

得到X₁和X₂的采样后，通过求和得到对X的采样值；

（e）通过对图像的后验模型进行采样，得到N个样本点：{X₁，X₂，…，X_M，X_M+1，…X_N}；丢弃采样初期的前M个样本点，通过剩余的N-M个样本点，得到对高分辨率图像的近似最小均方误差估计：

$\hat{X}=\frac{1}{N-M}\underset{i=M+1}{\overset{N}{\mathrm{\Σ}}}{X}_i---\left(9\right)$

式中，i是采样次数的索引。