CN103530863A - 一种多级重构的图像超分辨率方法 - Google Patents

Abstract

本发明涉及图像处理领域，公开了一种多级重构的图像超分辨率方法，包括字典训练与超分辨率重构两个阶段；其中字典训练阶段使用Lanczos3-IBP算法对低分辨率图像进行第一级重构，获得高分辨率的初始估计；并在此基础上训练多级的特征字典与误差字典；超分辨率重构阶段，使用Lanczos3-IBP算法对低分辨率图像进行第一次重构，然后利用训练得到的多级特征字典与误差字典，进行多级稀疏编码重构，得到各级重构图像的误差，并添加到上一级的图像中，从而逐级提高超分辨率图像质量，得到高分辨率图像。

Description

一种多级重构的图像超分辨率方法

技术领域

本发明涉及图像处理领域，更具体地，涉及一种多级重构的图像超分辨率方法。

背景技术

在大多数数字图像应用中，往往需要能提供较多细节信息的高分辨率图像或视频，然而在成像过程中，往往伴随着失真（图像变形、模糊、下采样与噪声等），最后获得的是低分辨的失真图像。要获取高分辨率的图像或视频，可通过提高硬件设备的途径。例如减少感光传感器单元的尺寸，从而增加成像的分辨率，但这会导致进光量的减少并且会引入噪声。或者增大成像芯片的大小，但这会导致电荷转换速度减慢，还可能引入图像模糊。而且，高分辨率成像设备的价格都比较高昂。提高图像/视频的分辨率的另一种途径就是对低分辨率失真图像通过图像处理技术复原到原来的高分辨率图像/视频，这种技术称为图像超分辨率技术。

目前，主流的图像超分辨率技术包括基于重建的方法与基于样本训练的方法，其中基于样本训练的方法是近十年来的热门研究方向。基于重建的超分辨率方法计算复杂度低，但图像超分辨率效果较差。基于样本训练的方法采用机器学习的方法，从本地的图像库中训练学习到从低分辨率与高分辨率图像之间的规律与数学关系，从而预测输入的低分辨率图像的高分辨率信息。目前基于样本训练的超分辨率方法主要采用冗余字典的稀疏表示模型，从本地图像样本库中学习得到一个字典对（高分辨率字典与低分辨率字典），在超分辨率重构阶段，利用低分辨率字典求解输入的低分辨率图像块的稀疏表示系数，再利用该系数与高分辨率字典重构得到高分辨率图像块，并将所有图像块通过重叠与平均得到高分辨率图像。

基于样本训练的超分辨率方法的重构图像质量要好于基于重建的方法，但现有的一些基于样本训练的超分辨率方法仍然存在一些缺点，例如对低分辨率图像使用较差的Bicubic（双三次样条插值）方法进行插值，来获得高分辨率图像的初始估计，然后在此基础上进行超分辨率重构，导致重构质量的提高受到了质量较差的插值图像的限制，因此重构图像质量仍然不高，存在改进的空间。

发明内容

为了克服现有重构图像质量不高的不足，本发明提出一种多级重构的图像超分辨率方法，首先获得高分辨率的初始估计，然后在此基础上进行多级的稀疏编码重构，获得每级的图像高频细节信息，并添加到上一级重构图像中，从而逐级提高超分辨率图像质量。

为了实现上述目的，本发明的技术方案为：

一种多级重构的图像超分辨率方法，包括字典训练与超分辨率重构两个阶段；其中所述字典训练阶段使用Lanczos3-IBP算法对低分辨率图像进行第一级重构，并在此基础上训练多级的特征字典与误差字典；所述超分辨率重构阶段，使用Lanczos3-IBP算法对低分辨率图像进行第一次重构，然后利用训练得到的多级特征字典与误差字典，进行多级稀疏编码重构，得到各级重构图像的误差，并添加到上一级的图像中，得到高分辨率图像。

与现有技术相比，本发明的有益效果为：本发明在字典训练阶段使用Lanczos3-IBP算法对低分辨率图像进行第一级重构，获得高分辨率的初始估计；继而在此基础上进行多级的稀疏编码重构，获得每级的图像高频细节信息，并添加到上一级重构图像中，从而逐级提高超分辨率图像质量。

附图说明

图1为本发明的字典训练阶段流程图。

图2为本发明的超分辨率重构阶段流程图。

图3为采用不同方法重构图像局部图比较示意图，图中从上到下分别为Foreman，Lenna，Flowers，Zebra示意图。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

参见图1和图2所示，是本发明的基于多级重构的图像超分辨率方法的流程示意图，其中图1为字典训练阶段，图2为超分辨率重构阶段，其包括步骤：

步骤S101：字典训练阶段开始，对本地的高分辨率样本图像，使用Bicubic双三次样条插值法，进行s倍下采样，其中s=2,3,4,…；然后使用Lanczos3插值算法进行s倍插值，并使用迭代逆投影算法IBP（Iterative Back-Projection）进行超分辨率重构，得到第1级的重构样本图像，令i=1，进入步骤S102；

步骤S102：对原高分辨率样本图像与第i级重构样本图像求差值（即原高分辨率样本图像减去第i级重构样本图像），得到第i级重构样本图像误差，并组成误差块向量矩阵；对第i级重构样本图像进行特征提取与PCA（PrincipalComponent Analysis，主成分分析）降维，得到第i级重构样本图像的特征块向量矩阵，进入步骤S103；

步骤S103：使用K-SVD字典训练算法对第i级的重构样本图像的误差块向量矩阵与特征块向量矩阵进行字典训练，得到第i级误差字典与特征字典，以及稀疏系数。若i等于N-1（N为重构级数），即表示已得到N-1级误差字典与特征字典，则字典训练阶段结束，进入步骤S104；否则，使用第i级误差字典与稀疏系数进行超分辨率重构，得到重构样本图像误差，并与第i级重构样本图像相加，得到第i+1级重构样本图像，并令i=i+1，进入步骤S102；

步骤S104：超分辨率重构阶段开始，对输入的低分辨率图像，使用Lanczos3算法进行s（s=2,3,4,…）倍插值，并使用迭代逆投影算法IBP进行超分辨率重构，得到第1级的重构图像，令i=1，进入步骤S105；

步骤S105：若i等于N-1（N为重构级数），则表示已获得第N级的重构图像，超分辨率重构阶段结束；否则，对第i级重构图像进行特征提取与PCA降维，得到第i级重构图像的特征块向量矩阵，进入步骤S106；

步骤S106：使用OMP（Orthogonal Matching Pursuit）算法求解第i级重构图像的特征块向量矩阵对应于第i级特征字典的稀疏系数，并利用该稀疏系数与第i级误差字典计算得到重构图像的误差矩阵，将该误差矩阵与第i级重构图像相加，得到第i+1级重构图像，并令i=i+1，进入步骤S105；

实施例

具体本发明包括两个阶段：（1）字典训练阶段；（2）超分辨率重构阶段。

（1）字典训练阶段

输入：高分辨率图像训练样本S₀，由原图像训练样本及其旋转样本所得。

11）第1级重构：

111）使用Bicubic对S₀进行s倍下采样，得到低分辨率图像样本；

112）使用Lanczos3插值方法对低分辨率图像样本进行s倍插值，得到插值放大图像样本；

113）对插值放大图像样本使用IBP迭代逆投影算法进行10次迭代，得到第一级重构样本图像S₁。

12）第i+1级重构，i=1,2,3,…,N-1，如下：

121）计算第i级重构后的图像样本误差

即

122）计算

的块向量矩阵

即对

抽取块并组成向量矩阵

123）计算S_i的特征块向量矩阵

即对S_i进行特征提取，然后抽取块并组成向量矩阵，再进行PCA降维得到的向量矩阵；

124）使用K-SVD字典训练方法对

和进行字典训练，得到第i级的误差字典

特征字典和稀疏系数矩阵若i等于N-1，则输出N-1个字典对

字典训练阶段结束；否则，进入步骤125）；

125）计算第i+1级的重构图像样本S_i+1，如下式所示，下式中R_k表示从区域Ω中的位置k中抽取块的操作。当前级重构结束，令i=i+1，进入步骤121）。

$S_{i+1}=S_i+{\left[\underset{k\∈\mathrm{\Ω}}{\mathrm{\Σ}}{R}_k^T{R}_k\right]}^{-1}\left[\underset{k\∈\mathrm{\Ω}}{\mathrm{\Σ}}{R}_k^T{D}_e^{\left(i\right)}\stackrel{~k}{z}\right]$

输出：N-1个字典对

i=1,2,3,…,N-1。

（2）超分辨率重构阶段

输入：低分辨率图像X₀，N-1个字典对

i=1,2,3,…,N-1。

21）第1级重构：

211）使用Lanczos3插值方法对X₀进行s倍插值，得到插值放大图像；

212）使用IBP迭代逆投影算法进行10次迭代，得到第1级重构图像X₁。

22）第i+1级重构，i=1,2,3,…,N-1，如下：

221）若i等于N-1，则表示已获得N级重构图像，超分辨率重构阶段结束；否则，计算X_i的特征块向量矩阵

即对X_i进行特征提取，然后抽取块并组成向量矩阵，再进行PCA降维，得到

222）使用特征字典

和OMP方法对

进行稀疏编码，得到稀疏系数矩阵Z={z^k}；

223）使用误差字典

与稀疏系数矩阵Z计算重构图像误差E，即

$E={\left[\underset{k\∈\mathrm{\Ω}}{\mathrm{\Σ}}{R}_k^T{R}_k\right]}^{-1}\left[\underset{k\∈\mathrm{\Ω}}{\mathrm{\Σ}}{R}_k^T{D}_e^{\left(i\right)}{z}^k\right]$

224）计算第i+1级重构图像X_i+1，如下式所示，当前级重构结束，并令i=i+1，进入步骤221），X_i+1=X_i+E。

输出：超分辨率重构图像X_N。

对多幅图像进行测试表明，本发明可获得比现有的基于样本训练的超分辨率方法更好的重构图像质量。表1为测试中本发明设置的参数，表2为Bicubic和SCSR，SISR和本发明共4种方法对于14幅图像的测试结果，测试中首先对测试图像进行3倍下采样得到低分辨率图像，再使用4种方法分别对低分辨率图像做3倍超分辨率放大，并计算超分辨率图像对于原图像的PSNR值（峰值信噪比），PSNR越高说明超分辨率效果越好。从表2可以看到，各图像的PSNR值比较中，本发明的PSNR都高于SCSR及SISR（除了Barbara图中本发明与SISR具有相同的PSNR）。对于Foreman和Monarch图像，本发明比SISR高出1dB。本发明的平均PSRN比Bicubic高出1.6dB，分别比SCSR和SISR高出0.8dB和0.4dB，从而证明本发明具有较好的图像超分辨率重构效果。

图3为Foreman，Lenna，Flowers，Zebra四幅重构图像的局部图比较，可以看到，Bicubic的插值放大图像较模糊，而SISR和本发明的重构效果都好于Bicubic。仔细比较SISR与本发明的图像质量，在Foreman的局部图像中，Bicubic和SISR在建筑物的斜条纹处产生了重构失真，而本发明的重构效果较好；在本发明的Lenna图中，可以明显地看到人物眼睛的瞳孔，而Bicubic与SISR的稍显模糊，瞳孔无法清晰显示。而且在人物的帽子边缘处Bicubic与SISR都发生了失真，而本发明的则较清晰。本发明的Flowers图中，花瓣上的斑点及背景中的叶子都比SISR的清晰；最后比较Zebra图像，本发明中斑马的黑白条纹的交界处明显比SISR的清晰。

以上分析表明，从客观图像质量与主观图像质量两方面，本发明的超分辨率图像质量都好于现有的方法。

表1本发明设置的参数

表2本发明与其他先进的超分辨率方法的PSNR（单位：dB）比较

测试图像	Bicubic	SCSR	SISR	本发明	本发明与SISR的差值
						Baboon	23.2	23.5	23.5	23.6	0.1
Barbara	26.2	26.4	26.8	26.8	0.0
						Bridge	24.4	24.8	25.0	25.2	0.2
Coastguard	26.6	27.0	27.1	27.2	0.1
						Comic	23.1	23.9	24.0	24.4	0.4
Face	32.8	33.1	33.5	33.8	0.3
						Flowers	27.2	28.2	28.4	29.0	0.6
Foreman	31.2	32.0	33.2	34.2	1.0
						Lenna	31.7	32.6	33.0	33.5	0.5
Man	27.0	27.8	27.9	28.3	0.4
						Monarch	29.4	30.7	31.1	32.1	1.0
Pepper	32.4	33.3	34.1	34.6	0.5
						Ppt3	23.7	25.0	25.2	26.0	0.8
Zebra	26.6	28.0	28.5	29.1	0.6
						平均	27.5	28.3	28.7	29.1	0.4

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (3)

1.一种多级重构的图像超分辨率方法，其特征在于，包括字典训练与超分辨率重构两个阶段；其中所述字典训练阶段使用Lanczos3-IBP算法对低分辨率图像进行第一级重构，并在此基础上训练多级的特征字典与误差字典；所述超分辨率重构阶段，使用Lanczos3-IBP算法对低分辨率图像进行第一次重构，然后利用训练得到的多级特征字典与误差字典，进行多级稀疏编码重构，得到各级重构图像的误差，并添加到上一级的图像中，得到高分辨率图像。

2.根据权利要求1所述的多级重构的图像超分辨率方法，其特征在于，所述字典训练阶段具体为：

S11：字典训练阶段开始，对本地的高分辨率样本图像，使用Bicubic插值法进行s倍下采样，其中s=2,3,4,…；使用Lanczos3插值算法进行s倍插值，并使用迭代逆投影算法IBP进行超分辨率重构，得到第1级的重构样本图像，令i=1，进入步骤S12；

S12：对原高分辨率样本图像与第i级重构样本图像求差值，其差值是将原高分辨率样本图像减去第i级重构样本图像，得到第i级重构样本图像误差，并组成误差块向量矩阵；对第i级重构样本图像进行特征提取与主成分分析PCA降维，得到第i级重构样本图像的特征块向量矩阵，进入步骤S13；

S13：使用K-SVD字典训练算法对第i级的重构样本图像的误差块向量矩阵与特征块向量矩阵进行字典训练，得到第i级误差字典、特征字典以及稀疏系数；若i等于N-1，其中N为重构级数，即表示已得到N-1级误差字典与特征字典，则字典训练阶段结束，进入超分辨率重构阶段；否则，使用第i级误差字典与第i级是稀疏系数进行超分辨率重构，得到重构样本图像误差，并与第i级重构样本图像相加，得到第i+1级重构样本图像，并令i=i+1，进入步骤S12。

3.根据权利要求1或2所述的多级重构的图像超分辨率方法，其特征在于，所述超分辨率重构阶段具体为：

S21：超分辨率重构阶段开始，对输入的低分辨率图像，使用Lanczos3算法进行s倍插值，其中s=2,3,4,…；并使用迭代逆投影算法IBP进行超分辨率重构，得到第1级的重构图像，令i=1，进入步骤S22；

S22：若i等于N-1，其中N为重构级数，则表示已获得第N级的重构图像，超分辨率重构阶段结束；否则，对第i级重构图像进行特征提取与主成分分析PCA降维，得到第i级重构图像的特征块向量矩阵，进入步骤23；

S23：使用OMP算法求解第i级重构图像的特征块向量矩阵对应于第i级特征字典的稀疏系数，并利用该稀疏系数与第i级误差字典计算得到重构图像的误差矩阵，将该误差矩阵与第i级重构图像相加，得到第i+1级重构图像，并令i=i+1，进入步骤S22。

Images