CN104091364B - 单幅图像超分辨重建方法 - Google Patents

Abstract

本发明公开了一种单幅图像超分辨重建方法，用于解决现有图像超分辨重建方法图像重建精度低的技术问题。技术方案是首先利用大量高分辨图像提取高/低分辨率的图像块对作为字典，然后根据输入的图像块选取字典中的低分辨率图像块进行变形场的计算，进而对字典中对应的高分辨图像块进行变形。通过局部约束和全局约束得到最终的高分辨图像。本发明利用可变形的图像块，大大增强了字典的表述能力，进而提高了最终的重建效果。在选取30000个7×7个图像块对作为字典，图像块提取步长取为s＝1时，对256×256的标准测试图像Lena图像进行放大倍数为3的超分辨重建时，能够达到PSNR＝31.53的重建精度，高于文献中PSNR＝29.68的重建精度。

Description

单幅图像超分辨重建方法

技术领域

本发明涉及一种图像超分辨重建方法，特别涉及一种单幅图像超分辨重建方法。

背景技术

高分辨率的图像在刑事侦察、行为监视、目标识别、医学影像处理等方面都有重要的应用价值。在不改变已有图像传感器和成像设备的前提下，利用超分辨重建的方法提高图像的分辨率具有非常重要的意义。现有的单幅图像超分辨重建的方法主要有：基于插值的方法、基于流形学习的方法，基于稀疏编码的方法以及基于自相似图像块的方法。

文献“基于局部约束线性编码的单帧和多帧图像超分辨率重建，吉林大学学报(工学版)，2013，Vol.43，p365-371”公开了一种利用局部约束线性编码(LLC)进行单帧图像超分辨重建的方法。此方法对传统的稀疏编码进行了改进。首先依据一个高分辨率图像集提取大量图像块，训练出成对的高分辨率和低分辨率词典，然后根据低分辨率词典对输入的低分辨率图像用LLC方法进行编码，再依据高分辨率词典及编码系数初步重建高分辨率图像，最后添加全局约束重建高分辨率图像。由于图像降质造成的高低分辨率图像对应模式的不确定性，这种方法需要预先提取的大量图像块对中包含与需要超分辨的图像块极其相似的模式，如果不满足要求，仅仅利用LLC方法对低分辨率图像进行编码，必然造成重建的高分辨率图像产生模糊、块效应等影响图像质量的现象出现，因此文献提供的方法有很大的局限性。

发明内容

为了克服现有图像超分辨重建方法图像重建精度低的不足，本发明提供一种单幅图像超分辨重建方法。该方法首先利用大量高分辨图像提取高/低分辨率的图像块对作为字典，然后根据输入的图像块选取字典中的低分辨率图像块进行变形场的计算，进而对字典中对应的高分辨图像块进行变形。通过局部约束和全局约束得到最终的高分辨图像。本发明利用可变形的图像块，大大增强了字典的表述能力，进而提高了最终的重建效果。在选取30000个7×7个图像块对作为字典，图像块提取步长取为s＝1时，对256×256的标准测试图像Lena图像进行放大倍数为3的超分辨重建时，能够达到PSNR＝31.53的重建精度，高于文献中PSNR＝29.68的重建精度。

本发明解决其技术问题所采用的技术方案是：一种单幅图像超分辨重建方法，其特点是包括以下步骤：

步骤一、建立单幅图像超分辨重建降质模型为：

Y＝SHX+n (1)

其中，Y为观测到的低分辨率图像，X为需要估计的高分辨率图像，H为模糊矩阵，S为降采样矩阵，n为噪声矩阵。假设Ω＝{(i_k，j_k，t_k)}^N是从200幅图像中随机抽取的N个图像块的中心位置集合，k＝1，...，N是Ω中元素的索引，(i_k，j_k，t_k)代表第t_k幅图像第i_k行j_k列的位置，t_k∈{1，...，200}，那么得到高低分辨率图像块对作为字典：

其中，D_h为字典的高分辨率部分，D_l为字典的低分辨率部分。D_hk和D_lk表示其中的第k列。为高分辨图像集中的第t_k幅图像。代表提取图像中中心为(i_k，j_k)的固定大小为p×p的图像块并将其拉伸为列向量。SH为图像的降采样过程，为图像的上采样过程，这两个过程均使用三次插值方法实现，得到的字典D_h和D_l均为p²×N的矩阵，对应的相同列的列向量取自同一幅高分辨图像和相应的模糊低分辨图像的同一位置。Nor表示对所得到的向量进行归一化：

$\mathrm{Nor}\left(\hat{x}\right)=\frac{\hat{x}-{\mathrm{\μ}}_x}{{\mathrm{\σ}}_x^2}---\left(3\right)$

其中，为要归一化的向量，μ_x和分别为的均值和方差。

步骤二、对输入的低分辨率图像Y，首先将其利用图像三次插值方法对其进行上采样，然后将图像从左到右，从上到下以步长s提取p×p大小的图像块。得到低分辨率的图像块：

其中，R_i，j代表提取图像中中心为(i，j)的固定大小为p×p的图像块并将其拉伸为列向量。(i，j)属于以步长s的从左到右、从上到下的坐标位置集合。为简化起见，将P_l(i，j)记作P_l，表示提取到的一个图像块。

令φ为变形算子，对字典中的一个图像块对B_h和B_l，利用相同的变形场对其进行变形。假设u(x，y)和v(x，y)为变形场水平和数值方向上的分量，为了简化，用u和v表示它们。φ的泰勒展开式为：

$\mathrm{\φ}\left(B\right)=B(x+u,y+v)\≈B+\mathrm{diag}\left({\▿}_{x}B\right)u+\mathrm{diag}\left({\▿}_{y}B\right)v---\left(5\right)$

其中，B为需要变形的图像块，B_h和B_l的变形均使用此公式。和分别为x方向和y方向上的梯度算子。表示以为对角线的对角矩阵，表示与u进行逐元素的相乘，同样。使用B_l和P_l进行变形场的计算，用B_h结合变形场u和v进行变形得到P_l的高分辨估计。对B_l和输入的图像块P_l，建立误差函数如下：

$E={\left|\right|B_l+\mathrm{diag}\left({\▿}_x{B}_l\right)u+\mathrm{diag}\left({\▿}_y{B}_l\right)v-\mathrm{Nor}\left(P_l\right)\left|\right|}^2+\mathrm{\η}({\left|\right|{\▿}^{2}u\left|\right|}^2+{\left|\right|{\▿}^{2}v\left|\right|}^2)---\left(6\right)$

这里正则项对u和v的二阶导数进行了约束，使变形场的变化不致太剧烈。η为数据项和正则项的平衡因子，为拉普拉斯算子，本发明取 ${\▿}^2=\left[\begin{array}{ccc}0& -1/4& 0\\ -1/4& 1& -1/4\\ 0& -1/4& 0\end{array}\right],$ η＝0.1。Nor为公式(3)所述的归一化函数。令：

P_d＝B_l-Nor(P_l)，

$G=\left[\begin{array}{cc}\mathrm{diag}\left({\▿}_x{B}_l\right)& \mathrm{diag}\left({\▿}_y{B}_l\right)\end{array}\right],$

这时E写作下面的形式：

令得到公式(8)的解析解

此时，E有最小值依据这些公式进行以下操作：

1)衡量字典中每个低分辨率图像块与输入图像块的变形代价误差E，选取字典中最适合变形的低分辨率图像块，即：

2)对选定的字典中低分辨率图像块代入公式(7)和公式(9)，得到低分辨率的变形场 $M=\left[\begin{array}{c}u\\ v\end{array}\right].$

3)对在字典中与对应的高分辨率图像块利用公式(5)进行变形，得到与输入低分辨率图像块相合的高分辨率图像块估计：

$\mathrm{\φ}\left(B_h^{*}\right)=B_h^{*}+\mathrm{diag}\left({\▿}_x{B}_h^{*}\right)u+\mathrm{diag}\left({\▿}_y{B}_h^{*}\right)v---\left(11\right)$

4)以上步骤均在归一化图像块上进行，因此得到的变形后的高分辨率的图像块的灰度范围也在附近。故需要将其映射到P_l所在的灰度范围。设有α和β，使最终的高分辨图像块则构造代价函数使其最小化得：

α和β的最小二乘解如下：

其中，1表示元素全为1的列向量。在获得α和β后，得最终的高分辨图像块：

$B_d=\mathrm{\α\φ}\left(B_h^{*}\right)+\mathrm{\β}---\left(14\right)$

步骤三、在得到高分辨率的图像块后，将其映射到高分辨率的图像网格上，与其他图像块重叠的部分按照重叠的图像块个数求取平均，假设中心位置为(i，j)的图像块的高分辨估计为B_dij，那么通过图像块进行局部约束生成的高分辨图像为：

其中，表示R_i，j的拟过程，即通过图像块形成一幅图像，只有在中心位置为(i，j)，p×p大小的区域为此图像块，其余部分为零。显然为对角矩阵，对角线表示了每个像素所得到的图像块覆盖的个数。

步骤四、通过以上过程形成的高分辨图像仅仅在每个重建的图像块上符合超分辨的降质模型。对降质模型施加全局约束，在得到局部约束下的高分辨图像的基础上，最终的超分辨的结果为：

$\begin{array}{ccc}{X}^{*}=\underset{X}{\arg \min }\left|\right|X-X_0\left|\right|& s.t.& \mathrm{SHX}=Y\end{array}---\left(16\right)$

利用后向投影的方法得到求解以上公式：

其中，X₀为迭代初始值，即迭代次数l＝0时X的值。h为后向投影算子，利用三次插值实现图像的上采样与降采样。迭代收敛的结果即为最终的超分辨结果。

本发明的有益效果是：该方法首先利用大量高分辨图像提取高/低分辨率的图像块对作为字典，然后根据输入的图像块选取字典中的低分辨率图像块进行变形场的计算，进而对字典中对应的高分辨图像块进行变形。通过局部约束和全局约束得到最终的高分辨图像。本发明利用可变形的图像块，大大增强了字典的表述能力，进而提高了最终的重建效果。在选取30000个7×7个图像块对作为字典，图像块提取步长取为s＝1时，对256×256的标准测试图像Lena图像进行放大倍数为3的超分辨重建时，能够达到PSNR＝31.53的重建精度，高于文献中PSNR＝29.68的重建精度。

以下结合具体实施方式详细说明本发明。

具体实施方式

本发明单幅图像超分辨重建方法具体步骤如下：

1、字典的选取。

本实施例选取加州大学伯克利分校国际标准图像库BSDS300中的训练集中的图像(200幅)作为高分辨图像集。单幅图像超分辨重建降质模型为：

Y＝SHX+n (1)

其中，Y为观测到的低分辨率图像，X为需要估计的高分辨率图像，H为模糊矩阵，S为降采样矩阵，n为噪声矩阵。假设Ω＝{(i_k，j_k，t_k)}^N是从200幅图像中随机抽取的N个图像块的中心位置集合，k＝1，...，N是Ω中元素的索引，(i_k，j_k，t_k)代表第t_k幅图像第i_k行j_k列的位置(t_k∈{1，...，200})，那么得到高低分辨率图像块对作为字典：

其中，D_h为字典的高分辨率部分，D_l为字典的低分辨率部分。D_hk和D_lk表示其中的第k列。为高分辨图像集中的第t_k幅图像。代表提取图像中中心为(i_k，j_k)的固定大小为p×p的图像块并将其拉伸为列向量。SH为图像的降采样过程，为图像的上采样过程，在本实施例中，这两个过程均使用三次插值方法实现，因此不需要给出S和H的显式形式。得到的字典D_h和D_l均为p²×N的矩阵，对应的相同列的列向量取自同一幅高分辨图像和相应的模糊低分辨图像的同一位置。Nor表示对所得到的向量进行归一化：

$\mathrm{Nor}\left(\hat{x}\right)=\frac{\hat{x}-{\mathrm{\μ}}_x}{{\mathrm{\σ}}_x^2}---\left(3\right)$

其中，为要归一化的向量，μ_x和分别为的均值和方差。

本实施例中取p＝7，N＝30000。

2、图像块的匹配和变形。

对输入的低分辨率图像Y，本实施例首先将其利用图像三次插值方法对其进行上采样，然后将图像从左到右，从上到下以步长s提取p×p大小的图像块。得到低分辨率的图像块：

同样，为利用三次插值图像的上采样过程，R_i，j代表提取图像中中心为(i，j)的固定大小为p×p的图像块并将其拉伸为列向量。(i，j)属于以步长s的从左到右、从上到下的坐标位置集合。为简化起见，本实施例将P_l(i，j)记作P_l，表示提取到的一个图像块。

令φ为变形算子，对字典中的一个图像块对B_h和B_l，本实施例利用相同的变形场对其进行变形。假设u(x，y)和v(x，y)为变形场水平和数值方向上的分量，为了简化，本实施例用u和v表示它们。φ的泰勒展开式为：

$\mathrm{\φ}\left(B\right)=B(x+u,y+v)\≈B+\mathrm{diag}\left({\▿}_{x}B\right)u+\mathrm{diag}\left({\▿}_{y}B\right)v---\left(5\right)$

其中B为需要变形的图像块，在本实施例中B_h和B_l的变形均使用此公式。和分别为x方向和y方向上的梯度算子。表示以为对角线的对角矩阵，表示与u进行逐元素的相乘，同样。本实施例使用B_l和P_l进行变形场的计算，用B_h结合变形场u和v进行变形得到P_l的高分辨估计。对B_l和输入的图像块P_l，建立误差函数如下：

$E={\left|\right|B_l+\mathrm{diag}\left({\▿}_x{B}_l\right)u+\mathrm{diag}\left({\▿}_y{B}_l\right)v-\mathrm{Nor}\left(P_l\right)\left|\right|}^2+\mathrm{\η}({\left|\right|{\▿}^{2}u\left|\right|}^2+{\left|\right|{\▿}^{2}v\left|\right|}^2)---\left(6\right)$

这里正则项对u和v的二阶导数进行了约束，使变形场的变化不致太剧烈。η为数据项和正则项的平衡因子，为拉普拉斯算子，本实施例取 ${\▿}^2=\left[\begin{array}{ccc}0& -1/4& 0\\ -1/4& 1& -1/4\\ 0& -1/4& 0\end{array}\right],$ η＝0.1。Nor为公式(3)所述的归一化函数。令：

P_d＝B_l-Nor(P_l)， $M=\left[\begin{array}{c}u\\ v\end{array}\right],$

$\mathrm{\Γ}=\mathrm{\η}\left[\begin{array}{cc}{\left({\▿}^2\right)}^2& 0\\ 0& {\left({\▿}^2\right)}^2\end{array}\right]---\left(7\right)$

这时E可以写作下面的形式：

令得到公式(8)的解析解

此时，E有最小值依据这些公式，本实施例进行以下操作：

1)衡量字典中每个低分辨率图像块与输入图像块的变形代价误差E，选取字典中最适合变形的低分辨率图像块，即：

2)对选定的字典中低分辨率图像块代入公式(7)和公式(9)，得到低分辨率的变形场 $M=\left[\begin{array}{c}u\\ v\end{array}\right].$

3)对在字典中与对应的高分辨率图像块利用公式(5)进行变形，得到与输入低分辨率图像块相合的高分辨率图像块估计：

$\mathrm{\φ}\left(B_h^{*}\right)=B_h^{*}+\mathrm{diag}\left({\▿}_x{B}_h^{*}\right)u+\mathrm{diag}\left({\▿}_y{B}_h^{*}\right)v---\left(11\right)$

4)以上步骤均在归一化图像块上进行，因此得到的变形后的高分辨率的图像块的灰度范围也在附近。故需要将其映射到P_l所在的灰度范围。设有α和β，使最终的高分辨图像块则构造代价函数使其最小化可得：

α和β的最小二乘解如下：

其中，1表示元素全为1的列向量。在获得α和β后，可得最终的高分辨图像块：

$B_d=\mathrm{\α\φ}\left(B_h^{*}\right)+\mathrm{\β}---\left(14\right)$

本实施例中取图像块提取步长为s＝1。

3、生成局部约束下的高分辨图像。

在得到高分辨率的图像块后，本实施例将其映射到高分辨率的图像网格上，与其他图像块重叠的部分按照重叠的图像块个数求取平均，假设中心位置为(i，j)的图像块的高分辨估计为B_dij，那么通过图像块进行局部约束生成的高分辨图像为：

其中表示R_i，j的拟过程，即通过图像块形成一幅图像，只有在中心位置为(i，j)，p×p大小的区域为此图像块，其余部分为零。显然为对角矩阵，对角线表示了每个像素所得到的图像块覆盖的个数。

4、生成全局约束下的高分辨图像。

通过以上过程形成的高分辨图像仅仅在每个重建的图像块上符合超分辨的降质模型(公式(1))。而在整幅图像上未必符合此模型。因此需要对其施加全局约束，以进一步提高其重建精度。在得到局部约束下的高分辨图像的基础上，最终的超分辨的结果为：

$\begin{array}{ccc}{X}^{*}=\underset{X}{\arg \min }\left|\right|X-X_0\left|\right|& s.t.& \mathrm{SHX}=Y\end{array}---\left(16\right)$

本实施例利用后向投影的方法得到求解以上公式：

其中X₀为迭代初始值，即迭代次数l＝0时X的值。h为后向投影算子，本实施例取h为大小5×5，方差为1的高斯滤波模板。同样的利用三次插值实现图像的上采样与降采样。迭代收敛的结果即为最终的超分辨结果。

Claims (1)

1.一种单幅图像超分辨重建方法，其特征在于包括以下步骤：

步骤一、建立单幅图像超分辨重建降质模型为：

Y＝SHX+n (1)

其中，Y为观测到的低分辨率图像，X为需要估计的高分辨率图像，H为模糊矩阵，S为降采样矩阵，n为噪声矩阵；假设Ω＝{(i_k，j_k，t_k)}^N是从200幅图像中随机抽取的N个图像块的中心位置集合，k＝1，...，N是Ω中元素的索引，(i_k，j_k，t_k)代表第t_k幅图像第i_k行j_k列的位置，t_k∈{1，...，200}，那么得到高低分辨率图像块对作为字典：

其中，D_h为字典的高分辨率部分，D_l为字典的低分辨率部分；D_hk和D_lk表示其中的第k列；为高分辨图像集中的第t_k幅图像；代表提取图像中中心为(i_k，j_k)的固定大小为p×p的图像块并将其拉伸为列向量；SH为图像的降采样过程，为图像的上采样过程，这两个过程均使用三次插值方法实现，得到的字典D_h和D_l均为p²×N的矩阵，对应的相同列的列向量取自同一幅高分辨图像和相应的模糊低分辨图像的同一位置；Nor表示对所得到的向量进行归一化：

$Nor\left(\hat{x}\right)=\frac{\hat{x}-{\mathrm{\μ}}_x}{{\mathrm{\σ}}_x^2}---\left(3\right)$

其中，为要归一化的向量，μ_x和分别为的均值和方差；

步骤二、对输入的低分辨率图像Y，首先将其利用图像三次插值方法对其进行上采样，然后将图像从左到右，从上到下以步长s提取p×p大小的图像块；得到低分辨率的图像块：

其中，R_i，j代表提取图像中中心为(i，j)的固定大小为p×p的图像块并将其拉伸为列向量；(i，j)属于以步长s的从左到右、从上到下的坐标位置集合；为简化起见，将P_l(i，j)记作P_l，表示提取到的一个图像块；

令φ为变形算子，对字典中的一个图像块对B_h和B_l，利用相同的变形场对其进行变形；假设u(x，y)和v(x，y)为变形场水平和竖直方向上的分量，为了简化，用u和v表示它们；φ的泰勒展开式为：

$\mathrm{\φ}\left(B\right)=B(x+u,y+v)\≈B+diag\left({\▿}_{x}B\right)u+diag\left({\▿}_{y}B\right)v---\left(5\right)$

其中，B为需要变形的图像块，B_h和B_l的变形均使用此公式；和分别为x方向和y方向上的梯度算子；表示以为对角线的对角矩阵，表示与u进行逐元素的相乘，同样；使用B_l和P_l进行变形场的计算，用B_h结合变形场u和v进行变形得到P_l的高分辨估计；对B_l和输入的图像块P_l，建立误差函数如下：

$E=\left|\right|B_l+diag\left({\▿}_x{B}_l\right)u+diag\left({\▿}_y{B}_l\right)v-Nor\left(P_l\right)|{|}^2+\mathrm{\η}\left(\right|\left|{\▿}^{2}u\right|{|}^2+\left|\right|{\▿}^{2}v\left|{|}^2\right)---\left(6\right)$

这里正则项对u和v的二阶导数进行了约束，使变形场的变化不致太剧烈；η为数据项和正则项的平衡因子，为拉普拉斯算子，取η＝0.1；Nor为公式(3)所述的归一化函数；令：

$P_d=B_l-Nor\left(P_l\right),M=\left[\begin{array}{c}u\\ v\end{array}\right],$

$G=\[\begin{array}{cc}diag\left({\▿}_x{B}_l\right)& diag\left({\▿}_y{B}_l\right)\end{array}\],\mathrm{\Γ}=\mathrm{\η}\left[\begin{array}{cc}{\left({\▿}^2\right)}^2& 0\\ 0& {\left({\▿}^2\right)}^2\end{array}\right]---\left(7\right)$

这时E写作下面的形式：

令得到公式(8)的解析解

此时，E有最小值依据这些公式进行以下操作：

1)衡量字典中每个低分辨率图像块与输入图像块的变形代价误差E，选取字典中最适合变形的低分辨率图像块，即:

2)对选定的字典中低分辨率图像块代入公式(7)和公式(9)，得到低分辨率的变形场

3)对在字典中与对应的高分辨率图像块利用公式(5)进行变形，得到与输入低分辨率图像块相合的高分辨率图像块估计：

$\mathrm{\φ}\left(B_h^{*}\right)=B_h^{*}+diag\left({\▿}_x{B}_h^{*}\right)u+diag\left({\▿}_y{B}_h^{*}\right)v---\left(11\right)$

4)以上步骤均在归一化图像块上进行，因此得到的变形后的高分辨率的图像块的灰度范围也在[-1，1]附近；故需要将其映射到P_l所在的灰度范围；设有α和β，使最终的高分辨图像块则构造代价函数使其最小化得：

α和β的最小二乘解如下：

其中，1表示元素全为1的列向量；在获得α和β后，得最终的高分辨图像块：

$B_d=\mathrm{\α}\mathrm{\φ}\left(B_h^{*}\right)+\mathrm{\β}---\left(14\right)$

步骤三、在得到高分辨率的图像块后，将其映射到高分辨率的图像网格上，与其他图像块重叠的部分按照重叠的图像块个数求取平均，假设中心位置为(i，j)的图像块的高分辨估计为B_dij，那么通过图像块进行局部约束生成的高分辨图像为：

其中，表示R_i，j的逆过程，即通过图像块形成一幅图像，只有在中心位置为(i，j)，p×p大小的区域为此图像块，其余部分为零；显然为对角矩阵，对角线表示了每个像素所得到的图像块覆盖的个数；

步骤四、通过以上过程形成的高分辨图像仅仅在每个重建的图像块上符合超分辨的降质模型；对降质模型施加全局约束，在得到局部约束下的高分辨图像的基础上，最终的超分辨的结果为：

$\begin{array}{ccc}{X}^{*}=\underset{X}{\arg \min }\left|\right|X-X_0\left|\right|& s.t.& SHX=Y\end{array}---\left(16\right)$

利用后向投影的方法得到求解以上公式：

其中，X₀为迭代初始值，即迭代次数l＝0时X的值；h为后向投影算子，利用三次插值实现图像的上采样与降采样；迭代收敛的结果即为最终的超分辨结果。