CN104299193A - 一种基于高频和中频信息的图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于高频和中频信息的图像超分辨率重建方法。本发明的步骤是：首先，计算图像的高频信息和中频信息。图像高频为原高分辨率图像与低分辨率插值放大后图像之间的差值，图像中频为插值放大后的图像与插值放大后且经低通滤波器输出图像之间的差值。其次，将图像高频信息和中频信息作为训练样本对，采用广义迭代收缩方法进行稀疏分解，获得高、中频分量字典对。最后，根据测试图像对应的中频信息和字典对获得图像高频信息，结合测试图像插值放大结果，经非局部相似性和反向迭代方法处理后获得高分辨率图像。本发明只需根据测试图像的中频信息重构出高频信息，并结合插值放大图像即可重建出高分辨率图像，重建图像具有锐化的边缘结构。

Description

一种基于高频和中频信息的图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，涉及一种对图像超分辨率重建的方法，具体是一种基于高频和中频信息的图像超分辨率重建方法。

背景技术

图像超分辨率重建是指由输入的一幅或者多幅同一场景的低分辨率图像重建得到一幅高分辨率图像的方法，它充分利用已获取的资源，与采用高性能硬件获取高分辨率图像方法相比，具有更低的成本，在视频监控、医学成像、高清视频等各个领域有着广泛的应用前景。

超分辨率重建是一个典型的病态反问题，对于只有单帧低分辨率图像时，就转变成求解欠定方程的问题。传统插值方法用于重建高分辨率图像，图像的边缘有锯齿效应，为了改善插值性能，出现带方向的插值方法，沿着边缘方向进行插值。为了重建视觉上令人满意的高分辨率图像，许多先验知识被应用到超分辨率重建中，正则化超分辨率重建具有较好的视觉效果，经典方法是全变分,该方法对于分段平滑的边缘结构能取得较好的重建结果，但是在一些细节上会出现过平滑现象，产生一定的模糊。近年来，受到压缩感知的启示，信号的稀疏特性可以减少信号处理的复杂度。图像可以被字典的原子展开成一个稀疏表达式，其中典型的方法是通过学习获得高低分辨率字典，对于测试的低分辨率图像，求解其在低分辨率字典上的稀疏表示系数，再利用高分辨率字典和该系数重构高分辨率图像，但是该方法的重建图像边缘细节不够丰富。

发明内容

本发明的目的是提供一种有效的超分辨率重建方法，以改善重建图像质量，尤其是图像的边缘结构。

为解决上述问题，本发明提供的技术方案如下：

首先，计算图像的高频信息和中频信息。图像高频为原高分辨率图像与低分辨率插值放大后的图像之间的差值，图像中频为插值放大后的图像与插值放大后且经低通滤波器输出图像之间的差值。其次，分别将图像高频信息和中频信息作为训练样本对，然后采用广义迭代收缩方法进行稀疏分解，获得高、中频分量字典对。最后，根据测试图像对应的中频信息和字典对获得图像高频信息,结合测试图像插值放大结果,经非局部相似性方法处理后获得高分辨率图像。

下面给出该发明技术方案中的各个细节：

步骤(1)计算图像高频和中频信息，具体是：

将用于训练的低分辨率图像Y经bicubic插值放大后得到图像X_b，插值图像X_b与原始高分辨率图像X具有相同尺寸，图像的高频信息为原始高分辨率图像X与插值放大图像X_b之间的差值，即X_h＝X-X_b。插值放大图像X_b经低通滤波器处理后得到低频图像低频图像与插值放大后图像具有相同尺寸，图像的中频信息为插值放大图像X_b与低频图像之间的差值，即

步骤(2)获得高、中频字典对，具体如下：

训练字典时，采用多样的自然场景图像作为训练样本图像，提取训练样本图像的高频信息X_h、中频信息X_m并进行分块，相邻块间重叠像素为w，并将获得的高频子块和中频子块作为训练样本对，训练得到高频、中频字典。

训练字典时，对输入的高频子块和中频子块进行向量化，得到各自向量化的子块样本集合，分别记为{x_hi}和{x_mi}，其中x_hi表示高频子块，x_mi表示中频子块，i＝1,2…N，N为子块总数。

对中频子块样本集合{x_mi}进行筛选，将其中方差小于阈值Δ的子块去除，然后从高频子块样本集中删除对应子块，获得高、中频子块训练样本矩阵 $x_h=[x_{h1},x_{h2},...x_{{\mathrm{hN}}_1}]\∈R^{q\×N_1}$ 和 $x_m=[x_{m1},x_{m2},...x_{{\mathrm{mN}}_1}]\∈R^{q\×N_1},$ q是样本子块大小，N₁为新的子块总数。

高频、中频字典D_h、D_m训练过程如下：

$\underset{\{D_h{D}_m{a}_i,i=\mathrm{1,2}...N_1\}}{\arg \min }\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\frac{1}{2}{\left|\right|X_{\mathrm{ci}}-{\mathrm{D\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_p---\left(1\right)$

式(1)中， $X_{\mathrm{ci}}=\left[\begin{array}{c}{x}_{\mathrm{hi}}\\ x_{\mathrm{mi}}\end{array}\right],$ X_ci∈R^2q×1； $D=\left[\begin{array}{c}{D}_h\\ D_m\end{array}\right],$ D∈R^2q×K，D_m∈R^q×K，D_h∈R^q×K；α_i∈R^K×1,||α_i||_p表示α_i的l_p范数，0≤p≤1，i＝1,2…N₁；λ为约束系数。

迭代过程中，避免新生成的字典对D与前次生成的字典对D_o有大的偏移，加入新的约束项进行优化，μ为约束系数。新的字典对训练可表示为：

$\underset{\{D_h{D}_m{a}_i,i=\mathrm{1,2}...N_1\}}{\arg \min }\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\frac{1}{2}{\left|\right|X_{\mathrm{ci}}-{\mathrm{D\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_p+\mathrm{\μ}{\left|\right|D-D_0\left|\right|}_2^2---\left(2\right)$

采用广义迭代收缩法(Generalized Iterated Shrinkage Algorithm， GISA)进行稀疏分解。并采用分步迭代法分别求解D和α，算法步骤如下：

1)初始化。初始化D，循环次数k＝0，最大循环次数max，λ，μ，p。

2)当k＜max时：

固定D，采用广义迭代阈值法求解稀疏表示系数

$\underset{{\mathrm{\α}}_i}{\arg \min }\frac{1}{2}{\left|\right|X_{\mathrm{ci}}-{\mathrm{D\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_p,i=\mathrm{1,2}...N_1---\left(3\right)$

固定α，求解字典对D。

$\underset{\left\{D_h{D}_m\right\}}{\arg \min }\frac{1}{2}{\left|\right|X_c-\mathrm{D\α}\left|\right|}_2^2+\mathrm{\μ}{\left|\right|D-D_o\left|\right|}_2^2---\left(4\right)$

即D^T＝(αα^T+μI)^-1(X_cα^T+μD_o)^T。

k＝k+1，结束循环。

3)输出D_h、D_m。

步骤(3)重建高分辨率图像，具体是：

高分辨率图像重建算法如下：

输入：低分辨率图像L，训练得到的字典对D_h、D_m，约束系数η。

1)根据低分辨率图像获得bicubic插值放大后图像H_b并提取中频H_m，采用与训练阶段相同的分块方式将H_b和H_m分块，相邻子块间重叠像素为w，获得的子块记为{h_mih_bi},i＝1,2…M。

2)求解稀疏表示系数α，用广义迭代收缩法进行稀疏分解。

$\underset{{\mathrm{\α}}_i}{\arg \min }\frac{1}{2}{\left|\right|h_{\mathrm{mi}}-D_m{\mathrm{\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_p,i=\mathrm{1,2}...M---\left(5\right)$

3)重建高频子块。

h_hi＝D_hα_i           (6)

4)将高频子块结合插值放大后图像H_b的子块h_bi，获得对应的高分辨率图像块，即为

$h_{\mathrm{hi}}^{*}=h_{\mathrm{hi}}+h_{\mathrm{bi}}---\left(7\right)$

5)根据高分辨率图像块线性组合重建出高分辨图像H^*，用非局部相似性对H^*进行约束。

${\hat{H}}_1=\underset{H^{*}}{\arg \min }{\left|\right|L-{\mathrm{SH}}^{*}\left|\right|}_2^2+\mathrm{\η}{\left|\right|(I-N)H^{*}\left|\right|}_2^2---\left(8\right)$

上式中，S为下采样矩阵，I为单位矩阵，N为非局部相似性矩阵，η为约束系数，采用梯度下降法求解

6)对采用反向投影算法，重建出高分辨率图像

输出：高分辨率图像

本发明只需提取输入测试图像的中频信息，根据中频信息重构出丢失的高频信息，再结合插值放大图像即可重建高分辨率图像；训练字典时，加入新的约束项进行优化，并采用广义迭代阈值法求解l_p范数，训练出最佳字典对；图像重建时，利用自然图像的冗余信息对初步重建的图像进行优化，最后重建出的高分辨率图像具有锐化的边缘结构。

附图说明

图1为图像高、中频提取过程；

图2为超分辨率图像重建示意图。

具体实施方式

以下结合附图和实施实例对本发明加以详细说明。

由于人眼对于亮度分量Y更为敏感，对于彩色的RGB图像，先转换成YUV图像，在Y分量上进行超分辨率重建，而UV分量采用bicubic插值放大，然后再将YUV图像转换成RGB图像；对于灰度图像，直接在灰度图上进行超分辨率重建，参见图2。

步骤(1)计算图像高、中频信息

参见图1，将用于训练的低分辨率图像Y进行2倍bicubic插值放大得到图像X_b，插值图像X_b与原始高分辨率图像X具有相同尺寸，图像的高频信息就为原始高分辨率图像X与插值放大图像X_b之间的差值，即X_h＝X-X_b。

插值放大图像X_b经低通滤波器处理后得到低频图像如7×7的高斯低通滤波器，标准差为1.6，低频图像与插值放大后图像具有相同尺寸，图像的中频信息为插值放大图像X_b与低频图像之间的差值，即

步骤(2)训练高、中频字典D_h、D_m

训练字典时，采用多样的自然场景图像作为训练样本图像，提取训练样本图像的高频信息X_h、中频信息X_m，并将它们分成N＝100 000个6×6的高频子块和中频子块，相邻子块间重叠w＝5×6个像素。然后对输入的高频子块和中频子块进行向量化，得到各自向量化的子块样本集合，分别记为{x_hi}和{x_mi}，其中x_hi表示高频子块，x_mi表示中频子块，i＝1,2…N，N为子块总数。对中频信息子块样本集合{x_mi}进行筛选，将其方差小于阈值Δ＝10的子块去除，然后从高频子块样本集中删除对应的子块，获得新的高、中频子块训练样本矩阵 $x_h=[x_{h1},x_{h2},...x_{{\mathrm{hN}}_1}]\∈R^{q\×N_1}$ 和 $x_m=[x_{m1},x_{m2},...x_{{\mathrm{mN}}_1}]\∈R^{q\×N_1}.$

高频、中频字典D_h、D_m训练过程如下：

$\underset{\{D_h{D}_m{a}_i,i=\mathrm{1,2}...N_1\}}{\arg \min }\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\frac{1}{2}{\left|\right|X_{\mathrm{ci}}-{\mathrm{D\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_p---\left(1\right)$

式(1)中， $X_{\mathrm{ci}}=\left[\begin{array}{c}{x}_{\mathrm{hi}}\\ x_{\mathrm{mi}}\end{array}\right],$ X_ci∈R^2q×1； $D=\left[\begin{array}{c}{D}_h\\ D_m\end{array}\right],$ D∈R^2q×K，D_m∈R^q×K，D_h∈R^q×K；α_i∈R^K×1，||α_i||_p表示α_i的l_p范数，0≤p≤1，i＝1,2…N₁；λ为约束系数。

迭代过程中，避免新生成的字典对D与前次生成的字典对D_o有大的偏移，加入新的约束项进行优化，μ为约束系数。新的字典对训练可表示为：

$\underset{\{D_h{D}_m{a}_i,i=\mathrm{1,2}...N_1\}}{\arg \min }\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\frac{1}{2}{\left|\right|X_{\mathrm{ci}}-{\mathrm{D\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_p+\mathrm{\μ}{\left|\right|D-D_0\left|\right|}_2^2---\left(2\right)$

采用分步迭代法分别求解D和α，算法步骤如下：

1)初始化。D初始化为高斯随机矩阵，循环次数k＝0，最大循环次数max＝40，λ＝0.08，μ＝1.0，p＝0.7。

2)当k＜max时：

固定D，采用广义迭代阈值法求解稀疏表示系数

$\underset{{\mathrm{\α}}_i}{\arg \min }\frac{1}{2}{\left|\right|X_{\mathrm{ci}}-{\mathrm{D\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_p,i=\mathrm{1,2}...N_1---\left(3\right)$

固定α，求解字典对D。

$\underset{\left\{D_h{D}_m\right\}}{\arg \min }\frac{1}{2}{\left|\right|X_c-\mathrm{D\α}\left|\right|}_2^2+\mathrm{\μ}{\left|\right|D-D_o\left|\right|}_2^2---\left(4\right)$

即D^T＝(αα^T+μI)^-1(X_cα^T+μD_o)^T。

k＝k+1，结束循环。

3)输出D_h、D_m。

步骤(3)超分辨率图像重建

高分辨率图像重建算法如下：

输入：低分辨率图像L，训练得到的字典对D_h、D_m，η＝0.05。

1)根据低分辨率图像获得bicubic插值放大后图像H_b并提取中频H_m,采用与训练阶段相同的分块方式将H_b和H_m分块，相邻子块间重叠像素为w，获得的子块记为{h_mih_bi},i＝1,2…M。

2)求解稀疏表示系数α，用广义迭代阈值法进行稀疏分解。

$\underset{{\mathrm{\α}}_i}{\arg \min }\frac{1}{2}{\left|\right|h_{\mathrm{mi}}-D_m{\mathrm{\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_p,i=\mathrm{1,2}...M---\left(5\right)$

3)重建高频子块。

h_hi＝D_hα_i      (6)

4)将高频子块结合插值放大后图像H_b的块h_bi，获得对应的高分辨率图像块，即为

$h_{\mathrm{hi}}^{*}=h_{\mathrm{hi}}+h_{\mathrm{bi}}---\left(7\right)$

5)根据高分辨率图像块线性组合重建出高分辨图像H^*，用非局部相似性对H^*进行约束。

${\hat{H}}_1=\underset{H^{*}}{\arg \min }{\left|\right|L-{\mathrm{SH}}^{*}\left|\right|}_2^2+\mathrm{\η}{\left|\right|(I-N)H^{*}\left|\right|}_2^2---\left(8\right)$

上式中，S为下采样矩阵，I为单位矩阵，N为非局部相似性矩阵，η为约束系数，采用梯度下降法求解

6)对采用反向投影算法，重建出高分辨率图像

输出：高分辨率图像

Claims (1)

1.一种基于高频和中频信息的图像超分辨率方法，其特征在于其包括以下步骤：

步骤(1)计算图像高频和中频信息，具体是：

将用于训练的低分辨率图像Y经bicubic插值放大后得到图像X_b，插值图像X_b与原始高分辨率图像X具有相同尺寸，图像的高频信息为原始高分辨率图像X与插值放大图像X_b之间的差值，即X_h＝X-X_b；插值放大图像X_b经低通滤波器处理后得到低频图像低频图像与插值放大后图像具有相同尺寸，图像的中频信息为插值放大图像X_b与低频图像之间的差值，即

步骤(2)获得高、中频字典对，具体如下：

训练字典时，采用多样的自然场景图像作为训练样本图像，提取训练样本图像的高频信息X_h、中频信息X_m并进行分块，相邻块间重叠像素为w，并将获得的高频子块和中频子块作为训练样本对，训练得到高频、中频字典；

训练字典时，对输入的高频子块和中频子块进行向量化，得到各自向量化的子块样本集合，分别记为{x_hi}和{x_mi}，其中x_hi表示高频子块，x_mi表示中频子块，i＝1,2…N，N为子块总数；

对中频子块样本集合{x_mi}进行筛选，将其中方差小于阈值Δ的子块去除，然后从高频子块样本集中删除对应子块，获得高、中频子块训练样本矩阵 $x_h=[x_{h1},x_{h2},\·\·\·\·x_{{\mathrm{hN}}_1}]\∈R^{{q\×N}_1}$ 和 $x_m=[x_{m1},x_{m2},\·\·\·\·x_{{\mathrm{mN}}_1}]\∈R^{{q\×N}_1},$ q是样本子块大小，N₁为新的子块总数；

高频、中频字典D_h、D_m训练过程如下：

$\underset{\{D_h{D}_m{\mathrm{\α}}_i,i=\mathrm{1,2}\·\·\·N_1\}}{\arg \min }\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\frac{1}{2}{\left|\right|X_{\mathrm{ci}}-D{\mathrm{\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_p---\left(1\right)$

式(1)中， $X_{\mathrm{ci}}=\left[\begin{array}{c}{x}_{\mathrm{hi}}\\ x_{\mathrm{mi}}\end{array}\right],$ X_ci∈R^2q×1； $D=\left[\begin{array}{c}{D}_h\\ D_m\end{array}\right],$ D∈R^2q×K，D_m∈R^q×K，D_h∈R^q×K；α_i∈R^K×1,||α_i||_p表示α_i的l_p范数，0≤p≤1，i＝1,2…N₁；λ为约束系数；

迭代过程中，避免新生成的字典对D与前次生成的字典对D_o有大的偏移，加入新的约束项进行优化，μ为约束系数；新的字典对训练可表示为：

$\underset{\{D_h{D}_m{\mathrm{\α}}_i,i=\mathrm{1,2}\·\·\·N_1\}}{\arg \min }\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\frac{1}{2}{\left|\right|X_{\mathrm{ci}}-D{\mathrm{\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_p+\mathrm{\μ}{\left|\right||D-D_0|}_2^2---\left(2\right)$

采用广义迭代收缩法进行稀疏分解；并采用分步迭代法分别求解D和α，具体是：

1)初始化；初始化D，循环次数k＝0，最大循环次数max，λ，μ，p；

2)当k＜max时：

固定D，采用广义迭代阈值法求解稀疏表示系数

$\underset{{\mathrm{\α}}_i}{\arg \min }\frac{1}{2}{\left|\right|X_{\mathrm{ci}}-D{\mathrm{\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_{p}i=\mathrm{1,2}\·\·\·N_1---\left(3\right)$

固定α，求解字典对D；

$\underset{\left\{D_h{D}_m\right\}}{\arg \min }\frac{1}{2}{\left|\right|X_c-\mathrm{D\α}\left|\right|}_2^2+\mathrm{\μ}{\left|\right|D-D_o\left|\right|}_2^2---\left(4\right)$

即D^T＝(αα^T+μI)^-1(X_cα^T+μD_o)^T；

k＝k+1，结束循环；

3)输出D_h、D_m；

步骤(3)重建高分辨率图像，具体是：

高分辨率图像重建算法如下：

输入：低分辨率图像L，训练得到的字典对D_h、D_m，约束系数η；

1)根据低分辨率图像获得bicubic插值放大后图像H_b并提取中频H_m，采用与训练阶段相同的分块方式将H_b和H_m分块，相邻子块间重叠像素为w，获得的子块记为{h_mih_bi},i＝1,2…M；

2)求解稀疏表示系数α，用广义迭代收缩法进行稀疏分解；

$\underset{{\mathrm{\α}}_i}{\arg \min }\frac{1}{2}{\left|\right|h_{\mathrm{mi}}-D_m{\mathrm{\α}}_i\left|\right|}_2^2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_i\left|\right|}_{p}i=\mathrm{1,2}\·\·\·M---\left(5\right)$

3)重建高频子块；

h_hi＝D_hα_i                 (6)

4)将高频子块结合插值放大后图像H_b的子块h_bi，获得对应的高分辨率图像块，即为

$h_{\mathrm{hi}}^{*}=h_{\mathrm{hi}}+h_{\mathrm{bi}}---\left(7\right)$

5)根据高分辨率图像块线性组合重建出高分辨图像H^*，用非局部相似性对H^*进行约束；

${\hat{H}}_1=\underset{H^{*}}{\arg \min }{\left|\right|L-{\mathrm{SH}}^{*}\left|\right|}_2^2+\mathrm{\η}{\left|\right|(I-N)H^{*}\left|\right|}_2^2---\left(8\right)$

上式中，S为下采样矩阵，I为单位矩阵，N为非局部相似性矩阵，η为约束系数，采用梯度下降法求解

6)对采用反向投影算法，重建出高分辨率图像

输出：高分辨率图像