CN104574336A - 基于自适应亚模字典选择的超分辨率图像重建系统 - Google Patents

Abstract

本发明提供了一种基于自适应亚模字典选择的超分辨率图像重建系统，包括：输入模块、高低频训练集构建模块、候选基向量集合组建模块、亚模字典选择模块、测试图像预处理模块、超分辨率图像重建模块和输出模块，其中：高低频训练集构建模块包括：频带划分子模块和基元块提取子模块；候选基向量集合组建模块包括：在线字典学习子模块和DCT字典构建子模块；测试图像预处理模块包括：低频滤波子模块和基元块提取子模块。本发明适用于不同的字典尺寸及采样因子，能够显著提高重构图像的主客观质量，并保证高效的字典设计过程，同时也为现存的图像压缩标准提供了一个新颖的视角。

Description

基于自适应亚模字典选择的超分辨率图像重建系统

技术领域

本发明涉及一种图像重建技术领域的方案，具体为一种基于自适应亚模字典选择的超分辨率图像重建系统。

背景技术

在大量的数字图像应用领域里，人们往往期望得到更高分辨率的图像。图像分辨率表示了图像信息的详细程度，而高分辨率图像意味着更高的像素密度，更细腻的画质，更多的细节信息。由于超分辨率图像重建技术不用受限于传感器制造技术的约束，而通过图像处理算法获得更高分辨率的图像，因而在卫星气象、医疗成像、图像压缩等众多领域里得到了广泛应用。但是，该技术领域里仍存在着许多需要解决的问题，如传统的基于内插的方法会对图像中不连续的部分造成模糊效应，基于重建的方法的图像重构质量会随着放大系数的增加而迅速下降。近些年热门的基于学习的方法利用学习算法从训练集中学习低分辨率图像和高分辨率图像之间的对应关系，构造最优权值约束对输入的低分辨率图像进行信息补充，能够获得比基于内插和基于重建的算法更好的效果。

经过对现有技术的文献检索发现，Jianchao Yang,John Wright,Thomas S.Huang,和Yi Ma在2010年的《IEEE Transactions on Image Processing》(TIP2010)期刊上发表的“Image Super-Resolution via Sparse Representation”一文中开创性地提出利用稀疏表示实现一种基于学习的超分辨率重建方法，首先从对应的高、低分辨率训练图像中学习出一对联合字典，使得训练集中的每个图像块都能由该字典对稀疏表示。在重建过程中，对输入的低分辨率图像块在低分辨率字典上进行稀疏编码，并利用该稀疏表示系数将高分辨率字典基线性组合得到重建的高分辨率块。但是，其交替迭代优化学习的联合字典对的重建效果并不是十分良好，且字典训练复杂度高。而Ron Rubinstein,Michael Zibulevsky和Michael Elad在2010年的《IEEE Transactions on SignalProcessing》(TSP2010)期刊上发表的“Double Sparsity:Learning SparseDictionaries for Sparse Signal Approximation”一文中提出了一种基于字典原子在已知固定基本字典上稀疏表示的双稀疏度模型，其学习得到的非参数化的稀疏字典结构能够将隐式字典与显示字典的优点相结合，具有结构简洁和实现高效的特点。然而，由于近似K-SVD方法并不能确保渐进收敛到最优解，对于从不同统计特性的图像序列中训练出的字典，其重建出的图像质量较低。

发明内容

本发明的目的在于克服上述现有技术的不足，提供了一种基于自适应亚模字典选择的超分辨率图像重建系统，可以有效提高重建图像的主客观质量并且能够保证高效的字典设计过程，同时也为现存的图像压缩标准提供了一个新颖的视角。

本发明是通过以下技术方案实现的：

本发明包括：输入模块、高低频训练集构建模块、候选基向量集合组建模块、亚模字典选择模块、测试图像预处理模块、超分辨率图像重建模块和输出模块，其中：

所述输入模块用于获取原始高分辨率训练图像序列和待重建的低分辨率图像，并将将原始高分辨率训练图像序列传输给高低频训练集构建模块、将待重建的低分辨率图像传输给测试图像预处理模块；

所述高低频训练集构建模块对原始高分辨率训练图像序列进行处理得到高低频图像基元块组成的训练集，并将得到的训练集传输给候选基向量集合组建模块；

所述候选基向量集合组建模块对所述训练集进行处理，得到候选字典原子集合，并将候选字典原子集合传输给亚模字典选择模块；

所述亚模字典选择模块对候选字典原子集合进行处理，构造出高低频联合字典对，并将高低频联合字典对传输给超分辨率图像重建模块；

所述测试图像预处理模块对将待重建的低分辨率图像处理，得到低频图像；

所述超分辨率图像重建模块对所述亚模字典选择模块得到的高低频联合字典对、所述测试图像预处理模块得到的低频图像进行处理，得到重建后的高分辨率图像；

所述输出模块将所述超分辨率图像重建模块重建后的高分辨率图像进行输出。

优选的，所述的高低频训练集构建模块包括：频带划分子模块和基元块提取子模块，其中：输入模块将原始高分辨率训练图像序列输出给频带划分子模块，频带划分子模块利用低频滤波与高频抽取将原始高分辨率图像频带分层，并将划分后的高低频图像分层结构输出到基元块提取子模块；基元块提取子模块利用一组高斯差分滤波器对低频图像滤波提取出方向能量从而获取图像基元区域，并截取对应的高低频图像基元块进而构造出字典训练集，并将字典训练集输出到与候选基向量集合组建模块。

进一步的，所述的频带划分子模块通过下采样-上采样对原始高分辨率图像进行低频滤波获得低频子带，高频子带由高分辨率图像与低频图像的差值部分抽取。

进一步的，所述的基元块提取子模块利用高斯差分滤波器组对低频子带滤波提取方向能量从而获取图像基元区域，截取对应的高低频图像基元块构造出字典训练集。

优选的，所述的候选基向量集合组建模块包括：在线字典学习子模块和DCT字典构建子模块，其中：在线字典学习子模块采用基于随机近似的在线学习算法进行字典原子的快速更新，在节省计算时间与内存消耗的保证下自适应地学习出最优字典，该最优字典与DCT字典构建子模块所生成的解析的可分离DCT(离散余弦变换)字典相级联，共同组成候选字典基向量集合并传输至下一级的亚模字典选择模块。

进一步的，所述的在线字典学习子模块在字典学习的优化设计中利用稀疏编码的特定结构，采用基于随机近似的在线学习算法实现字典原子的快速更新，在显著降低计算复杂度及节省内存消耗的保证下自适应地学习出最优字典。

进一步的，所述的DCT字典构建子模块从不同频率的余弦波中采样构造出一个可分离的DCT字典，截取正交DCT字典矩阵获得一维过完备DCT字典，对于二维图像信号，利用两个一维过完备DCT字典的Kronecker内积构成二维过完备DCT字典。

优选的，所述的亚模字典选择模块将字典原子的选择和样本信号的稀疏表示联合优化，在字典尺寸和信号表示稀疏度的约束条件下最大化具有单调亚模特性的近似目标函数，将解析字典的高效率与学习字典的高性能相结合，利用贪心算法从候选基向量集合中迭代选择出结构简洁的近似最优低频字典，而对应的高频字典则通过最小化训练信号与字典表示的估计误差获得，该模块将得到的高低频联合字典对传输给超分辨率图像重建模块。

优选的，所述的测试图像预处理模块包括：低频滤波子模块和基元块提取子模块，其中：输入模块输待重建的低分辨率图像输出到低频滤波子模块，低频滤波子模块通过下采样-上采样内插的低频滤波操作获取低分辨率图像的低频子带，该子模块将低分辨率图像的低频子带输出给基元块提取子模块；基元块提取子模块将截取的低频基元块及低频图像子带输出给超分辨率图像重建模块。该处的基元块提取子模块与高低频训练集构建模块中的基元块提取子模块功能相同。

优选的，所述的超分辨率图像重建模块利用稀疏编码技术及追踪算法近似求解低频基元块在低频字典上的稀疏表示系数，相应的高频基元块则通过相同的系数线性组合高频字典基向量得到，图像的低频子带与重构出的高频子带相叠加并对重叠像素区域均值滤波进而得到最终的重建图像，该模块通过输出模块将重建后的高分辨率图像输出。

与现有技术相比，本发明具有如下的有益效果：

本发明有效地提高了重建图像的主客观质量，并能够保证高效的字典设计过程，同时也为现存的图像压缩标准提供了一个新颖的视角。由于本发明采用将解析的DCT字典基与在线学习字典基相结合并利用亚模优化算法进行字典选择，与基于解析字典基的超分辨率重建技术相比，本发明对于训练信号具有数据自适应性，因此可以大幅提高图像的重建质量；与基于学习字典基的超分辨率重建方法相比，本发明能够在保证重构性能的基础上有效降低计算复杂度，因此可以快速的实现图像重建；而与基于稀疏表示的超分辨率重建算法相比，本发明在重建图像的主客观质量及字典更新的收敛速度两方面均得到显著提升。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一较优实施例结构框图；

图2为本发明一实施例的高低频训练集构建模块、候选基向量集合组建模块及亚模字典选择模块的结构框图；

图3为本发明一实施例的测试图像预处理模块和超分辨率图像重建模块的结构框图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本发明基于自适应亚模字典选择的超分辨率图像重建系统的一实施例结构框图，包括：输入模块、高低频训练集构建模块、候选基向量集合组建模块、亚模字典选择模块、测试图像预处理模块、超分辨率图像重建模块和输出模块，其中：输入模块与高低频训练集构建模块相连传输原始高分辨率训练图像序列，输入模块与测试图像预处理模块相连传输待重建的低分辨率图像，高低频训练集构建模块与候选基向量集合组建模块相连传输高低频图像基元块组成的训练集，候选基向量集合组建模块与亚模字典选择模块相连传输候选字典原子集合，亚模字典选择模块与超分辨率图像重建模块相连传输构造出的高低频联合字典对，测试图像预处理模块与超分辨率图像重建模块相连传输处理过的低分辨率图像，超分辨率图像重建模块与输出模块相连传输重建后的高分辨率图像。

所述的高低频训练集构建模块如图2所示，包括：频带划分子模块和基元块提取子模块，其中：输入模块与频带划分子模块相连传输原始高分辨率训练图像序列，频带划分子模块与基元块提取子模块相连传输划分后的高低频图像分层结构，基元块提取子模块与候选基向量集合组建模块相连传输高低频图像基元块组成的训练集。

所述的频带划分子模块通过下采样及Bicubic上采样内插对原始高分辨率图像进行低频滤波获得图像的低频子带，不失一般性的，采样因子选取为2、3，相应的高频子带则由高分辨率图像与低频图像的差值部分获取。

所述的基元块提取子模块使用一组高斯差分滤波器组对低频子带滤波提取方向能量以获取图像中的基元区域：其中和分别为方向θ和尺度σ对应的一阶、二阶滤波器，所提取的基元区域由图像中的边、角、拐点以及轮廓部分组成，能够反应图像中的亮度变化信息。截取高低频图像在相同位置的尺寸为8×8像素的基元块构造字典训练集，由于基元块的内在几何维度很低，因而可以很好地用少量的训练样例来稀疏表达。

所述的候选基向量集合组建模块如图2所示，包括：在线字典学习子模块和DCT字典构建子模块，其中：在线字典学习子模块与DCT字典构建子模块相级联，与亚模字典选择模块相连传输候选字典原子集合。

所述的在线字典学习子模块采用基于随机近似的在线学习算法，对于n个信号构成的训练集X＝[x₁，...，x_n]，每次迭代从中提取一个训练块x_t并对所有已经提取出的t个训练块最小化期望代价函数：其中D为字典，为约束字典列向量范式值不大于1的矩阵凸集,α_i为训练块x_i关于字典D的稀疏表示系数，λ为正则化参数。利用基于Cholesky实现的LARS-Lasso算法进行稀疏编码及热重启分块坐标梯度下降算法(block-coordinate gradient descent with warm restarts)实现字典原子更新，在字典学习的优化设计中利用稀疏编码的特定结构，显著降低了计算复杂度并且无需显示的学习速率调谐，同时适用于大尺寸数据集及动态变化数据。

所述的DCT字典构建子模块通过从不同频率的余弦波形中下采样构造出一个过完备、可分离的DCT(离散余弦变换)字典，其中，对正交DCT字典矩阵进行截取获得一维过完备DCT字典，对于二维图像信号，利用两个一维过完备DCT字典的Kronecker内积构成二维过完备DCT字典。

所述的亚模字典选择模块如图2所示，对于给定的m个低频原始信号构成的训练集Y_l＝{y₁，..，y_m}，将字典原子的选择和样本信号的稀疏表示联合优化，在字典尺寸n和信号表示稀疏度k的约束条件下最大化具有单调亚模特性的近似目标函数：其中，V＝{φ₁，..，φ_N}为N个候选基向量所组成的基本集合；D_l为低频稀疏表示字典矩阵，其每一列原子均为从基本集合v中选择出的基向量；字典原子的子集由该低频字典中用于线性表示低频信号y_s∈Y_l的对应列向量组成，其基数需满足稀疏性条件对于任意一个低频信号y_s和其所对应的每一个稀疏表示基向量(s，v为y_s和φ_v的下标)，分别计算内积的平方w_s，v＝(y_s，φ_s)²。由于训练低频字典需要依据完整低频训练集Y_l而不是某个单一信号y_s，最终目标函数形式应当设置成所有单一信号目标函数值F_s(D_l)对于信号个数m的平均值，即利用贪心算法求解上述近似目标函数，初始化字典为空集，之后每次迭代均从候选基向量基本集合v中选择出一个新原子φ_i： ${\mathrm{\φ}}_i=\arg {\max }_{{\mathrm{\φ}}_i\∈v\backslash D_l^{i-1}}F(D_l^{i-1}\∪\{{\mathrm{\φ}}_i\left\}\right),$ 其中为第i-1次迭代所生成字典，由前i-1次迭代所选出的基向量φ₁，...，φ_i-1组成。经过n次迭代之后，将获得一个尺寸为n的低频字典，该字典将解析字典的高效率与学习字典的高性能相结合，结构简洁并且可保证近似最优解。对应的高频字典D_h则通过最小化以Frobenius范式来衡量的训练信号Y_h与字典表示的估计误差获得：其中X为表示系数矩阵。

所述的测试图像预处理模块如图3所示，包括：低频滤波子模块和基元块提取子模块，其中：输入模块与低频滤波子模块相连传输待重建的低分辨率图像，低频滤波子模块与基元块提取子模块相连传输滤波后的图像，基元块提取子模块与超分辨率图像重建模块相连传输截取的低频基元块及低频图像子带。

所述的低频滤波子模块通过下采样-上采样的低频滤波操作提取低分辨率图像的低频子带，与训练过程保持一致性，采样因子取值2、3。

所述的基元块提取子块与高低频训练集构建模块中的基元块提取子块相同。

所述的超分辨率图像重建模块如图3所示，利用稀疏编码模型及正交匹配算法(OMP)在可控误差下近似求解低频基元块在低频字典上的稀疏表示系数，相应的高频基元块则以相同的系数为权值将高频字典基向量进行线性组合而得到。当所有的高频基元块合成好之后，通过块拼接得到重构的高频子带，与图像的低频子带相叠加并对重叠像素区域进行均值滤波进而得到最终重建出的高分辨率图像。

本发明以上实施例中没有特别说明的部分，可以采用现有技术来实现。

实施效果

本实施例中关键参数的设置为：实验所用训练集由从91幅自然图像中随机采样的图像块组成，采样因子为2、3，块尺寸为8，图像块之间的重叠像素数为6。由于人眼对图像的亮度信息变化更为敏感，训练及测试实验均在亮度分量上进行。为了保证为训练过程提供充足的信息，实验分别从训练图像中随机提取出10000,30000,50000和100000对高低频基元块，利用在线字典学习算法训练出尺寸为100,256,512和1024的字典，分别与于同等尺寸的二维DCT字典相级联，共同构成候选基向量集合。亚模字典选择的信号稀疏度约束设置为6，字典尺寸约束与在线字典尺寸取值相同。实验中所有稀疏编码误差均设置为0.05。

当分别对应于不同的字典尺寸和采样因子采用本实施例系统时，计算重构图像的峰值信噪比(PSNR)和结构相似度(SSIM)：

与Rubinstein(TSP2010)所提出的方法相比，当采样因子为3，字典尺寸为100时，本实施例系统得到的峰值信噪比为32.95dB，结构相似度为0.964，Rubinstein(TSP2010)所提出的方法得到的峰值信噪比为31.96dB，结构相似度为0.951，即本实施例系统获得了平均0.99dB的重构质量增益；当采样因子为3，字典尺寸为256时，本实施例系统得到的峰值信噪比为33.03dB，结构相似度为0.965，Rubinstein(TSP2010)所提出的方法得到的峰值信噪比为32.24dB，结构相似度为0.956，即本实施例系统获得了平均0.79dB的重构质量增益；当采样因子为3，字典尺寸为512时，本实施例系统得到的峰值信噪比为33.07dB，结构相似度为0.965，Rubinstein(TSP2010)所提出的方法得到的峰值信噪比为32.61dB，结构相似度为0.960，即本实施例系统获得了平均0.46dB的重构质量增益。当采样因子为2，字典尺寸为1024时，本实施例系统得到的峰值信噪比为29.57dB，结构相似度为0.902，Yang(TIP2010)所提出的方法得到的峰值信噪比为29.00dB，结构相似度为0.894，即本实施例系统获得了平均0.57dB的重构质量增益。

实验表明，本实施例系统适用于不同的字典尺寸及采样因子，重构图像的主客观质量均优于Rubinstein及Yang所提出的方法。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于自适应亚模字典选择的超分辨率图像重建系统，其特征在于所述系统包括：输入模块、高低频训练集构建模块、候选基向量集合组建模块、亚模字典选择模块、测试图像预处理模块、超分辨率图像重建模块和输出模块，其中：

所述输入模块用于获取原始高分辨率训练图像序列和待重建的低分辨率图像，并将将原始高分辨率训练图像序列传输给高低频训练集构建模块、将待重建的低分辨率图像传输给测试图像预处理模块；

所述高低频训练集构建模块对原始高分辨率训练图像序列进行处理得到高低频图像基元块组成的训练集，并将得到的训练集传输给候选基向量集合组建模块；

所述候选基向量集合组建模块对所述训练集进行处理，得到候选字典原子集合，并将候选字典原子集合传输给亚模字典选择模块；

所述亚模字典选择模块对候选字典原子集合进行处理，构造出高低频联合字典对，并将高低频联合字典对传输给超分辨率图像重建模块；

所述测试图像预处理模块对将待重建的低分辨率图像处理，得到低频图像；

所述超分辨率图像重建模块对所述亚模字典选择模块得到的高低频联合字典对、所述测试图像预处理模块得到的低频图像进行处理，得到重建后的高分辨率图像；

所述输出模块将所述超分辨率图像重建模块重建后的高分辨率图像进行输出。

2.根据权利要求1所述的一种基于自适应亚模字典选择的超分辨率图像重建系统，其特征在于，所述的高低频训练集构建模块包括：频带划分子模块和基元块提取子模块，其中：输入模块将原始高分辨率训练图像序列输出给频带划分子模块，频带划分子模块利用低频滤波与高频抽取将原始高分辨率图像频带分层，并将划分后的高低频图像分层结构输出到基元块提取子模块；基元块提取子模块利用一组高斯差分滤波器对低频图像滤波提取出方向能量从而获取图像基元区域，并截取对应的高低频图像基元块进而构造出字典训练集，并将字典训练集输出到与候选基向量集合组建模块。

3.根据权利要求2所述的一种基于自适应亚模字典选择的超分辨率图像重建系统，其特征在于，所述的频带划分子模块通过下采样-上采样对原始高分辨率图像进行低频滤波获得低频子带，高频子带由高分辨率图像与低频图像的差值部分抽取。

4.根据权利要求2所述的一种基于自适应亚模字典选择的超分辨率图像重建系统，其特征在于，所述的基元块提取子模块利用高斯差分滤波器组对低频子带滤波提取方向能量从而获取图像基元区域，截取对应的高低频图像基元块构造出字典训练集。

5.根据权利要求1所述的一种基于自适应亚模字典选择的超分辨率图像重建系统，其特征在于，所述的候选基向量集合组建模块包括：在线字典学习子模块和DCT字典构建子模块，其中：在线字典学习子模块采用基于随机近似的在线学习算法进行字典原子的快速更新，自适应地学习出最优字典，该最优字典与DCT字典构建子模块所生成的解析的可分离DCT字典相级联，共同组成候选字典基向量集合并传输至下一级的亚模字典选择模块。

6.根据权利要求5所述的一种基于自适应亚模字典选择的超分辨率图像重建系统，其特征在于，所述的在线字典学习子模块在字典学习的优化设计中利用稀疏编码的特定结构，采用基于随机近似的在线学习算法实现字典原子的快速更新，在显著降低计算复杂度及节省内存消耗的保证下自适应地学习出最优字典。

7.根据权利要求6所述的一种基于自适应亚模字典选择的超分辨率图像重建系统，其特征在于，所述的DCT字典构建子模块从不同频率的余弦波中采样构造出一个可分离的DCT字典，截取正交DCT字典矩阵获得一维过完备DCT字典，对于二维图像信号，利用两个一维过完备DCT字典的Kronecker内积构成二维过完备DCT字典。

8.根据权利要求1所述的一种基于自适应亚模字典选择的超分辨率图像重建系统，其特征在于，所述的亚模字典选择模块将字典原子的选择和样本信号的稀疏表示联合优化，在字典尺寸和信号表示稀疏度的约束条件下最大化具有单调亚模特性的近似目标函数，将解析字典的高效率与学习字典的高性能相结合，利用贪心算法从候选基向量集合中迭代选择出结构简洁的近似最优低频字典，而对应的高频字典则通过最小化训练信号与字典表示的估计误差获得，该模块将得到的高低频联合字典对传输给超分辨率图像重建模块。

9.根据权利要求1-8任一项所述的一种基于自适应亚模字典选择的超分辨率图像重建系统，其特征在于，所述的测试图像预处理模块包括：低频滤波子模块和基元块提取子模块，其中：输入模块输待重建的低分辨率图像输出到低频滤波子模块，低频滤波子模块通过下采样-上采样内插的低频滤波操作获取低分辨率图像的低频子带，该子模块将低分辨率图像的低频子带输出给基元块提取子模块；基元块提取子模块将截取的低频基元块及低频图像子带输出给超分辨率图像重建模块。

10.根据权利要求9所述的一种基于自适应亚模字典选择的超分辨率图像重建系统，其特征在于，所述的超分辨率图像重建模块利用稀疏编码技术及追踪算法近似求解低频基元块在低频字典上的稀疏表示系数，相应的高频基元块则通过相同的系数线性组合高频字典基向量得到，图像的低频子带与重构出的高频子带相叠加并对重叠像素区域均值滤波进而得到最终的重建图像。