CN107993194A - 一种基于平稳小波变换的超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于平稳小波变换的超分辨率重建方法，包括：构造训练集；(2)生成特征块，方法如下：对中分辨率图，采用平稳小波变换提取一阶二阶小波特征，记为低分辨率图像特征矩阵FL；对高分辨率图像，使用高频滤波器提取其全部高频信息，记为高分辨率图像特征矩阵FH；对高低分辨率特征矩阵，均采用的滑动窗口，做重叠取块操作，记为高分辨率特征块PH、低分辨率特征块PL；按照特征块的中心像素位置将低分辨率特征块和高分辨率特征块匹配，得到高低分辨率特征块配对。训练字典对；重建。

Description

一种基于平稳小波变换的超分辨率重建方法

技术领域

本发明属于图像处理技术领域，特别涉及一种单帧图像超分辨率重建方法。

背景技术

超分辨率技术是近些年提出的一种提高图像清晰度的方法，在不改变图像采集的硬件条 件下，早期研究利用一组存在空间位移模糊程度不同的低分辨率图像序列重建高分辨率图 像，之后研究方向偏向于用单张低分辨率图像附加先验知识指导重建，称为单帧图像超分辨 率重建技术。超分辨率重建后的图像包含更加丰富的细节，更高的细节分辨力，更符合人眼 视觉需求，渐渐被应用于人脸识别、车牌识别、医学图像处理等领域。

单帧超分辨率算法可以大致分为三类：基于插值、基于重建、基于学习的方法。基于插 值的方法速度快，但因只利用了待重建的低分辨率图像像素点之间的关系，重建出来的图像 细节缺失模糊，效果不尽如人意，经典的图像插值方法有最近邻插法、双线性插值以及双立 方插值等。基于重建的超分方法其主要思想是首先建立图像降质的退化模型，然后对高分辨 率图像的先验信息建模，利用正则化方法将先验信息作为超分辨率重建的约束，主要分为频 域方法和空域方法两大类。而基于学习的方法认为在给定低分辨率图像输入的情况下，求解 高分辨率输出是一个病态问题，基于重建的方法人为地加入正则化模型，在放大倍数较大时 重建模型提供的信息会随分辨率提高倍数增加而减少。因而通过学习的算法获得高低分辨率 图像之间的映射关系，可以使一组特征间的查找表、学习到的插值核或对应表示系数等。专 利“一种基于交叉验证的平稳小波变换去噪方法”(CN105187341A)公开了一种基于交叉验 证的平稳小波变换去噪方法，首先利用交叉验证和平稳小波变换相结合确定最优阈值，再利 用该最优阈值基于平稳小波变换对谱去噪。该方法能够得到比较准确的阈值，有效滤除噪声， 避免Gibbs现象并保持谱峰特征不受影响。专利“基于稀疏表示理论的超分辨率图像获取方 法”(CN 102629373B)公开了一种基于稀疏理论的超分辨率方法，通过选择与输入图像SIFT 特征点匹配最多的图像作为构建过完备字典的训练图像集，训练得到细节更为丰富的字典， 依据稀疏表示理论将低分辨率图像进行稀疏表示，依据压缩感知理论从稀疏表示的低分辨率 图像恢复得到更高分辨率的图像。

发明内容

本发明的目的是提供一种单帧图像超分辨率方法，通过获得更良好的过完备的稀疏表示 字典来得到更高分辨率的图像。包括下列步骤：

一种基于平稳小波变换的超分辨率重建方法，包括下列方法：

(1)构造训练集，方法如下：

第一步：已知输入的高分辨率图像X_H，经下采样、模糊为低分辨率图像X_L；

第二步：将低分辨率图像X_L用双立方插值的方法简单放大到与高分辨率图像X_H相同 尺寸，记为中分辨率图像X_M；

(2)生成特征块，方法如下：

第一步：对中分辨率图，采用平稳小波变换提取一阶二阶小波特征，记为低分辨率图像 特征矩阵F_L；

第二步：对高分辨率图像，使用高频滤波器提取其全部高频信息，记为高分辨率图像特 征矩阵F_H；

第三步：对高低分辨率特征矩阵，均采用3×3的滑动窗口，做重叠取块操作，记为高 分辨率特征块P_H、低分辨率特征块P_L；

第四步：按照特征块的中心像素位置将低分辨率特征块和高分辨率特征块匹配，得到高 低分辨率特征块配对。

(3)训练字典对，方法如下：

第一步：采用K奇异值分解法训练低分辨率特征块P_L的低分辨率字典，同时在训练过 程中得到低分辨率图像块在该低分辨率字典下的稀疏分解系数，将训练的低分辨率字典记为 B_L，稀疏分解系数记为A；

第二步：利用上步得到的稀疏分解系数A和对应的高分辨率特征块P_H，采用伪逆矩阵的 方法，使用下式求解高分辨率字典，得到的高分辨率字典记为B_H：

B_H＝P_HA^T(AA^T)^-1

(4)重建，方法如下：

第一步：对输入的待重建低分辨率图像X‘_L，采用与训练阶段中完全相同的处理方法， 获得低分辨率特征块P‘_L；

第二步：使用正交匹配追踪的方法，计算P‘_L在已训练好的低分辨率字典B_L下的稀疏 表示系数A'；

第三步：将已训练好的高分辨率字典B_H与A'相乘，得到重建的高分辨率特征块P’_H；

第四步：执行重叠取块的逆过程，将P'_H重叠拼合成重建的高分辨率图像X‘_H，为最终 输出结果。

本发明结合一阶小波共生特征和二维小波统计特征，优化了现有基于稀疏表示的超分辨 率重建方法，在小样本集情况下表现良好。且本思想思路清晰、简单易于理解，易于与其他 方法结合，如与深度学习方法做特征融合，与频域重建方法结合等。

附图说明

图1为本发明的模型训练阶段流程；

图2位使用已训练模型进行指导重建流程。

具体实施方式

下面将结合附图对具体实施方式做进一步描述：

本发明提出一种基于平稳小波变换的单帧图像超分辨率方法，其流程基于稀疏表示和字 典学习结构，包括训练阶段和重建阶段。其中：

(1)稀疏表示和字典学习的基础架构：压缩感知理论表明在适当条件下欠采样图片可 利用稀疏表示的方法正确复原。在稀疏表示模型中，图像X∈Rⁿ可被表示为

X≈Bα，||α||₀＜＜m， (1)

其中，B∈R^n×m为m(m＜n)个原子数的冗余字典，α∈R^m表示稀疏向 量，满足大多数系数等于0。在字典学习中，寻找X的最稀疏表示的问题可以表示为

其中σ为重建结果的偏差阈值。尽管式(2)在通常情况下是NP-hard问题，已知结果表 明在期望系数α足够稀疏的情况下，L0范数等价于求解L1范数的凸优化问题。将稀疏先验应用到超分辨率重建问题中，对于每个低分辨率块xi，稀疏表示可由求解下式获得

其中第一项约束重建的准确性，第二项控制系数的稀疏程度，正数λ用于平衡两项约束 之间权重。

受传统套索算法(Least absolute shrinkage and selection operator，LASSO)启发，式(3) 常采用交替优化变量的方法求解。第一步固定字典B展开式(3)，由于不存在形式的交叉项，式(4)可以引用LASSO算法求解以获得每个x_i对应的最佳α_i

第二步固定稀疏系数α_i更新字典B，式(3)可改写为

其中X＝(x₁,x₂,...,x_m)，A＝(α₁,α₂,...,α_m)，||·||_F代表矩阵F范数。求解式(5)常采用K奇异值分 解算法(K-Singular Value Decomposition，K-SVD)。

如上所述，给定初始矩阵B₀，两步骤交替迭代可以解出式(3)中B，α_i。此过程中设置字典尺寸d可以控制字典规模并影响稀疏度。经典联合字典学习超分辨率算法中的核心思 想是在可控误差e下，高低分辨率块可通过各自字典共享稀疏系数。已有方法在获得低分辨 率字典后直接采用伪逆矩阵重建高分辨率字典，提高了训练速度和重建质量。

(2)平稳小波变换提取特征：图像超分辨率重建的目的是为了获得丰富细节的高质量 图片辅助专家或计算机诊断，因而如何恢复高频信息是研究的核心问题。小波变换拥有优异 的时域和频域局部化能力、方向选择能力和与人眼视觉特性相符的多分辨率分析能力。因此 我们选择了较传统方法中的高斯特征和拉普拉斯特征更加适合的小波特征，以提取图像除水 平和竖直方向信息之外的多尺度非邻域信息。小波分析的多分辨率表达能力来自于小波的多 阶分解。对于图像两阶分解最为合适，更深层级的分解中子带能量分量已趋近于0。本发明 中结合了小波共生特征和小波统计特征。两特征矩阵分别由一阶和二阶平稳小波变换提取相 连形成训练所需特征矩阵。平稳小波变换方法提出于1995年，后被作为有效的边缘信息检 测工具应用于图像去噪领域。相比于离散小波变换，平稳小波变换在信号滤波后不进行下采 样，保留了冗余及旋转不变性从而避免了采样失真。在小波变换工程中存在了多种小波基可 供选择，然而没有明确的技术或参数指导这种选择。学者研究指出通过小波的紧致性、对称 性和正交性可以减少基选择范围，在图像去噪领域推荐尝试Haar，Daubechies和Symlet小 波簇。各小波基下的重建对比结果如表1所示：

表1不同小波基效果比较(3倍放大、块尺寸3×3、字典原子数1000)

如前文所述小波簇的选择没有统一的标准，需要具体问题具体分析。而表1结果证实了 ‘haar’、‘dbN’、‘symN’三类小波簇重建效果较好，其中‘haar’表现最优。考虑到实验的泛化 性能，我们也选择了综合性能次优的‘db2’和‘sym4’特征作为补充。提取特征之后对特征图重 叠分块，不同块尺寸的重建效果对比如表2所示：

表2不同特征块大小效果比较(3倍放大、字典原子数500、聚类数量3、小波基‘db2’)

Table 2 Comparison over patch sizes(3×upscaling,dictionary size＝500,clustering number＝3,features＝’db2’)

综合考虑块尺寸对重建结果、算法速度与内存消耗的影响，本发明选择3 x 3作为最优 块尺寸。

(3)字典模型训练：依据2.1节所述，本文对高低分辨率字典采用不同的训练方法。对于低分辨率字典，假设b_i是字典矩阵B的第i列，α_i是稀疏矩阵A的第i行，式(5)可 以如下式推导

当更新字典第i列时其他全部列固定，因此E_i＝X-∑_j≠ib_jα^j为定值。于是最小化式(6) 原则上只需对E_i进行奇异值分解，以求得最大奇异值所对应的正交向量。然而直接对E_i进 行奇异值分解会同时修改b_i和α_i，从而可能破坏A的稀疏性。故KSVD对E_i和α_i进行特 殊处理：α_i仅保留其非零元素，E_i仅保留b_i和α_i的非零元素的乘积项，之后再奇异值分解 以保证稀疏性。

对于高分辨率字典，如式(1)所示，高分辨率特征块可以由高分辨率字典和稀疏向 量q^l相乘所重建。稀疏矩阵A行满秩时，式(1)进一步如下式推导。因此已知HR特征块 和共享稀疏矩阵，高分辨率字典可由伪逆矩阵方法法得到。

(4)重建：第一步，待重建的低分辨率图像进行与训练阶段相同的预处理阶段，即下 采样-插值放大-小波特征提取-重叠分块。第二步，使用已训练好的低分辨率字典，用正交匹 配跟踪的方法计算稀疏向量。与高分辨率字典相乘可得高分辨率块。第三步，将每张图像全 体高分辨率块聚合，重叠的部分取均值，得到重建的高分辨率图像。

(5)评价指标：本发明实验采用标峰值信噪比(Peak Signal to Noise Ratio，PSNR)考 量算法效果，PSNR定义为

其中f(x,y)和f'(x,y)分别代表原图和重建图，M×N代表空间分辨率。越高的PSNR值代表越好的重建效果。在上文所述数据集上PSNR值有约0.2dB的提高，可见本发明所提的改进算法较改进前性能更为良好。

Claims (1)

1.一种基于平稳小波变换的超分辨率重建方法，包括下列方法：

(1)构造训练集，方法如下：

第一步：已知输入的高分辨率图像X_H，经下采样、模糊为低分辨率图像X_L；

第二步：将低分辨率图像X_L用双立方插值的方法简单放大到与高分辨率图像X_H相同尺寸，记为中分辨率图像X_M；

(2)生成特征块，方法如下：

第一步：对中分辨率图，采用平稳小波变换提取一阶二阶小波特征，记为低分辨率图像特征矩阵F_L；

第二步：对高分辨率图像，使用高频滤波器提取其全部高频信息，记为高分辨率图像特征矩阵F_H；

第三步：对高低分辨率特征矩阵，均采用3×3的滑动窗口，做重叠取块操作，记为高分辨率特征块P_H、低分辨率特征块P_L；

第四步：按照特征块的中心像素位置将低分辨率特征块和高分辨率特征块匹配，得到高低分辨率特征块配对。

(3)训练字典对，方法如下：

第一步：采用K奇异值分解法训练低分辨率特征块P_L的低分辨率字典，同时在训练过程中得到低分辨率图像块在该低分辨率字典下的稀疏分解系数，将训练的低分辨率字典记为B_L，稀疏分解系数记为A；

第二步：利用上步得到的稀疏分解系数A和对应的高分辨率特征块P_H，采用伪逆矩阵的方法，使用下式求解高分辨率字典，得到的高分辨率字典记为B_H：

B_H＝P_HA^T(AA^T)^-1

(4)重建，方法如下：

第一步：对输入的待重建低分辨率图像X‘_L，采用与训练阶段中完全相同的处理方法，获得低分辨率特征块P’_L；

第二步：使用正交匹配追踪的方法，计算P’_L在已训练好的低分辨率字典B_L下的稀疏表示系数A'；

第三步：将已训练好的高分辨率字典B_H与A'相乘，得到重建的高分辨率特征块P’_H；

第四步：执行重叠取块的逆过程，将P’_H重叠拼合成重建的高分辨率图像X‘_H，为最终输出结果。