CN104103052B - 一种基于稀疏表示的图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于稀疏表示的图像超分辨率重建方法，其步骤包括：1）从输入图像序列选出一部分为显著区域，剩余部分为非显著区域；2）根据显著区域训练一对显著字典D'_l，D'_h，并将该显著区域通过上下文稀疏分解在低分辨率显著字典D'_l上得到显著稀疏系数；3）根据非显著区域训练一对通用字典D_l，D_h，并通过低分辨率通用字典D_l进行稀疏分解得到非显著稀疏系数；4）将稀疏系数与高分辨率显著字典D'_h或高分辨率通用字典D_h相乘进行率重建，获得高分辨率图像序列。本发明在传统稀疏表示超分辨率框架基础上，重点关注图像内在结构信息，并将此作为先验模型约束L₀‑范数问题求解，在保持与传统稀疏表示方法复杂度相当同时，在主观和客观效果上性能都优于其他方法。

Description

一种基于稀疏表示的图像超分辨率重建方法

技术领域

本发明涉及一种图像超分辨率方法，具体涉及一种基于视觉显著的上下文稀疏分解图像超分辨率方法。本发明可以灵活应用于高端多媒体系统的视频信号格式转换、视频监控感兴趣区域放大以及卫星、遥感等领域，属于图像超分辨率重建领域。

背景技术

图像的超分辨率重建就是克服成像设备或技术的限制，从单帧低分辨率图像或低分辨率图像序列重建一个高分辨率图像。其中最常见的方法就是插值。传统的插值算法如最近邻插值、双线性插值、双三次插值、Lanczos插值都是假设图像具有连续性，从而预测高分辨率点的像素值，导致相邻像素过于相似而产生锯齿或者模糊，并不能解决超分辨率重建中高频细节的问题。

过完备字典上的信号的稀疏表示是近来比较热门的领域，它的基本模型是认为自然信号(包括图像)可以用一组事先定义的基信号(即字典)的线性组合紧致表达，其中线性系数是稀疏的，即系数中大多数元素为0。稀疏系数在满约束条件的同时还需要非零元素的个数尽可能少，也就是需要尽可能稀疏，这是对图像信号的先验约束。

利用稀疏表示的理论来求解图像超分辨率问题，Yang等人提出可以事先分别训练对应的高低分辨率的字典，将输入的低分辨率图像用低分辨率字典稀疏表示，然后将该稀疏系数与对应的高分辨率字典相乘即可得到高分辨率的图像。这样通过外部的字典库可以弥补图像超分辨率高频细节不够的缺陷，突破了传统的基于插值或正则项约束类方法放大倍数有限细节信息有限的限制。然而该方法利用通用训练集学习字典，无法对图像局部特征进行自适应重建。此外，这类方法的先验模型中事先假定相邻图像块之间是独立的，忽视了图像局部区域的相互依赖关系。

发明内容

通过分析基于稀疏表示的图像超分辨率方法中存在的字典学习和先验模型的问题，本发明对于低分辨率的图像，提出了一个全新的基于视觉显著的上下文稀疏分解图像超分辨率方法。在字典学习部分，除了学习通用字典外，视觉显著区域提取出的图像样本用来训练显著字典。在先验模型的部分，由于视觉显著区域通常趋于高度结构化，基于上下文的稀疏分解被用来进一步探索相邻图像块之间的联系。

为了到达上述目的，本发明的技术方案如下：

首先，对输入低分辨率的图像训练字典，分别训练显著区域的字典和通用字典。训练显著区域的字典前先要检测和划分出图像的显著区域，人眼观测时认为图像上较为显著的区域，因为从生理学角度，人眼认为显著的地方一般是边缘等结构化的信息，所以考虑视觉显著区域的高度结构化特性，认为从显著区域提取的图像样本应该也是高度相关的。因此学习出的字典应该也是高度适应与图像的显著区域的。对于其他的非显著区域，通用字典即可满足需求。然后我们利用最大后验概率理论，通过考虑当前局部图像块和当前块与邻域块的联系来约束公式求解最优稀疏系数，同时，考虑上下文感知的在显著区域的稀疏分解，我们可以用总能量表示先验概率，而与传统稀疏性约束相比，本发明提出的先验模型对空域上下文之间的联系给予了更多的权重。

本发明具体技术方案如下，一种基于稀疏表示的图像超分辨率重建方法，其步骤包括：

1）从输入图像序列选出一部分为显著区域，剩余部分为非显著区域；

2）根据所述显著区域训练一对显著字典D'_l，D'_h，并将该显著区域通过上下文稀疏分解在低分辨率显著字典D'_l上得到显著稀疏系数；

3）根据所述非显著区域训练一对通用字典D_l，D_h，并通过低分辨率通用字典D_l进行稀疏分解得到非显著稀疏系数；

4）将所述非显著稀疏系数与高分辨率通用字典D_h相乘进行重建，将所述显著稀疏系数与高分辨率显著字典D'_h相乘进行重建，重建后获得高分辨率图像序列。

更进一步，所述非显著或显著稀疏系数

其中，L₀-范数项是稀疏性约束，是数据保真项，X为训练样本，D={D₁,D₂,…D_i}为训练得到的字典，λ为拉格朗日乘子，D_i为字典的第i列。

更进一步，训练所述显著字典D'_l或D'_h需要满足目标函数：

D'=argmin_D'f(D')，

其中，λ||Γ||₀L₀-范数项是稀疏性约束，是数据保真项，X为训练样本，D'为训练得到的显著字典，λ为拉格朗日乘子，D_i'为显著字典的第i列。

更进一步，训练显著和通用字典时，先初始化稀疏系数Γ，然后更新字典，再迭代更新稀疏系数Γ。

更进一步，按照如下方法训练显著字典D'：

1）采用对比度滤波器在不同的尺度进行滤波操作产生显著性分布图，得到图像各个像素位置的显著度，检测出显著区域；

2）将显著度超过一定阈值的图像像素划分到同一个区域，设定该区域为图像的显著区域，划分出图像的显著区域；

3）从图像的显著区域选取图像块作为显著字典的训练集，从训练集中提取图像块样本，建立显著字典D'。

更进一步，所述显著字典D'需要满足目标函数：

D'=argmin_D'f(D')，

其中，X_Ω为在显著区域提取的图像块样本，X为训练样本，λ为拉格朗日乘子，D_i'为显著字典的第i列。

更进一步，所述显著区域通过上下文稀疏分解的总能量：

其中，W_◇t矩阵表示当前块和方向t上邻域块用到的字典基的联系，S^T表示S的转置矩阵，E_C(S)表示上下文依赖关系的能量，S_◇t为当前块在t方向的邻域块的稀疏模式，b=[b₁,b₂,...,b_m]^T是模型参数。

更进一步，所述稀疏模式S满足最大后验概率：

其中，γ是低分辨率图像块x的稀疏系数，γ_S是一个均值为0方差为Σ_S的多变量高斯分布，Σ_S是对角矩阵，稀疏性模式S作为正则项约束重建出高分辨率的图像块。

更进一步，所述低分辨率图像块x的稀疏系数γ的稀疏性模式为S∈{-1,1}^m，S_i=1表示γ_S≠0，S_i=-1表示γ_S=0，S_i是第i个图像块的稀疏性模式。

更进一步，所述输入图像序列为X={x₁,x₂,...,x_t}的低分辨率图像序列，所述通用字典D_l或D_h训练过程满足如下目标函数：

D=argmin_Df(D)

本发明的有益效果

本发明在传统稀疏表示超分辨率框架的基础上，重点关注图像内在的结构信息，并将此作为先验模型约束L₀-范数问题的求解。从算法复杂度角度来看，显著字典学习只是通过一个显著区域的掩膜（划分）将图像分成显著区域和非显著区域对样本分别训练，与传统通用字典的训练相比复杂度相当；在先验模型部分，图像块邻域依赖关系的建立时间与稀疏系数的求解线性相关，依赖关系建立后作为正则项迭代求解时与传统稀疏分解方法的求解复杂度相同。因此，本发明方法在保持与传统稀疏表示方法的复杂度相当的同时，在主观和客观效果上性能都优于其他方法。

附图说明

图1为本发明一实施例中训练字典及其应用的方法的示意图；

图2为本发明一实施例中当前块在邻域位置的邻域块的稀疏模式的示意图，图2（1）—图2（8）为各个位置的示意图；

图3为本发明一实施例中的总流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合说明书附图来说明本发明高效的超分辨率方法的一个优选实施例：

步骤(1)记输入的低分辨率图像序列为X={x₁,x₂,...,x_t}。传统的字典训练过程旨在最小化下面的目标函数：

D=argmin_Df(D)

稀疏系数的求解过程与此类似：

其中L₀-范数项是稀疏性约束，是数据保真项，X为训练样本，D={D₁,D₂,…D_i}为训练得到的字典，λ为拉格朗日乘子，D_i为字典的第i列，s.t.表示且满足。

L₀-范数问题是NP-难的，我们可以用L₁-范数来逼近求解。公式(1)和(2)中D和Γ均为待求项，两项均未知时该问题非凸。如果固定其中一项求另一项，问题就是凸优的。训练字典时，可以先初始化稀疏系数Γ，然后更新D，再反过来更新Γ不断迭代策略。求解稀疏系数时同理，已知字典D，优化公式(2)中的目标函数即可得到稀疏系数Γ，即正则项迭代求解。

步骤(2)在字典训练时如图1所示是本发明一实施例中训练字典及其应用的方法的示意图，分别在显著训练集和通用训练集上学习字典，对于输入图像，其非显著区域利用通用低分辨率字典D_l进行稀疏分解得到稀疏系数Γ_ψ，将Γ_ψ与通用高分辨率字典D_h相乘即可得到对应的高分辨率图像；其显著区域由于其高度结构化特性利用上下文稀疏分解在显著字典上得到稀疏系数Γ_Ω再与显著高分辨率字典D'_h相乘进行重建。以下着重对上述流程中的显著字典学习和上下文稀疏分解详细介绍。训练集在建立显著或者通用字典时，建立一对字典，包括低分辨字典和高分辨率字典。

步骤(3)显著区域字典学习时首先检测和划分出图像的显著区域。为了确定图像的显著区域是相对于邻域在视觉上更显著的区域，使用对比度滤波器，在不同的尺度工作产生显著性分布图，即包含每个像素的“显著度”。将显著度超过一定阈值的像素划分到同一个区域即可定义出图像的显著区域。

划分出显著区域后，在图像的显著区域选取图像块作为显著字典的训练集，这也是通用字典与显著区域的字典学习的区别所在，如公式(3)所示，X_Ω为在显著区域提取的图像块样本。

D'=argmin_D'f(D')，

步骤(4)公式(2)中仅仅利用稀疏性作为正则项约束，考虑建模当前图像块与邻域块的依赖关系进一步约束公式(2)求解。定义低分辨率图像块x的稀疏系数γ的稀疏性模式为S∈{-1,1}^m，S_i=1表示γ_S≠0，S_i=-1表示γ_S=0。给定稀疏性模式s，γ中的非零 系数的位置就确定了，用γ_S表示，那么γ_S就是一个均值为0方差为Σ_S的多变量高斯分布：

其中Σ_S是对角矩阵。由最大后验概率框架推导，将稀疏性模式作为正则项约束可以重建出高分辨率的图像块y。

步骤(5)定义S_◇t为当前块在t方向，t=1,2,…,8，表示8邻域位置，如图2所示是本发明一实施例中当前块在邻域位置的邻域块的稀疏模式的示意图，图2（1）—图2（8）为各个位置的示意图；

图2中邻域块的稀疏模式，建立先验模型，给定所有块的稀疏模式定义上下文依赖关系的能量E_C(S)为

W_◇t矩阵描述了当前块和t方向邻域块用到的字典基（字典矩阵的每一列叫做一个字典基）之间的联系。例如，W_◇t(m,n)=0表示S_i(m)和S_i◇t(n)趋向于独立；W_◇t(m,n)>0表示S_i(m)和S_i◇t(n)趋向于同时出现；W_◇t(m,n)<0表示S_i(m)和S_i◇t(n)趋向于互斥，S^T表示S的转置矩阵。

同时考虑稀疏性约束：

E_S(S)=-S^Tb (6)

其中b=[b₁,b₂,...,b_m]^T是模型参数，b_i与字典基相关，b_i<1表示S_i=-1。那么先验约束的总能量E_total即可表示为：

将该项作为正则项约束公式(2)的正则项求解，使得在最小化数据保真项的同时最小化先验约束的总能量，即保持图像的稀疏性和图像局部邻域内的依赖关系。

因此，与传统稀疏性约束相比，本发明提出的先验模型对空域上下文之间的依赖关系给予了更多的权重，从而使得方法适应图像局部特征，提高重建效果。

图3是一实施例中的总流程示意图，步骤为：

1）从输入图像序列X={x₁,x₂,...,x_t}的低分辨率图像序列，所述通用字典训练过程满足如下目标函数：选出显著区域，剩余部分为非显著区域；

2）基于所述显著区域训练一对显著字典，并将该显著区域通过上下文稀疏分解在该低分辨率显著字典上得到显著稀疏系数

训练所述显著字典D'需要满足目标函数：按照如下方法训练显著字典D'：

2-1）采用对比度滤波器，在不同的尺度进行滤波操作产生显著性分布图，得到图像各个像素位置的显著度，检测出显著区域；

2-2）将显著度超过一定阈值的图像像素划分到同一个区域，设定该区域为图像的显著区域，划分出图像的显著区域；

2-3）从图像的显著区域选取图像块作为显著字典的训练集，从训练集中提取图像块样本，建立显著字典D'。

3）根据所述非显著区域训练一对通用字典，并通过低分辨率通用字典进行稀疏分解得到非显著稀疏系数；在训练上述显著或者通用字典时先初始化稀疏系数Γ，然后更新字典，再迭代更新稀疏系数Γ；其中稀疏系数分为Γ_Ψ和Γ_Ω；

4）将所述非显著稀疏系数和显著稀疏系数分别与对应的高分辨率字典相乘进行率重建，获得高分辨率图像序列。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于稀疏表示的图像超分辨率重建方法，其步骤包括：

1)从输入图像序列选出一部分为显著区域，包括：采用对比度滤波器在不同的尺度进行滤波操作产生显著性分布图，得到图像各个像素位置的显著度，检测出显著区域；将显著度超过一定阈值的图像像素划分到同一个区域，设定该区域为图像的显著区域，划分出图像的显著区域；剩余部分为非显著区域；

2)从图像的显著区域选取图像块作为显著字典的训练集，从训练集中提取图像块样本，建立显著字典；根据所述显著区域训练一对显著字典D'_l，D'_h，并将该显著区域通过上下文稀疏分解在低分辨率显著字典D'_l上得到显著稀疏系数Γ_Ω；训练所述显著字典D'_l或D'_h需要满足目标函数：

D'＝argmin_D'f(D')，

其中，L₀-范数项λ||Γ||₀是稀疏性约束，是数据保真项，X为训练样本，D'为训练得到的显著字典，λ为拉格朗日乘子，D_i'为显著字典的第i列，Γ表示显著稀疏系数Γ_Ω；

3)根据所述非显著区域训练一对通用字典D_l，D_h，并通过低分辨率通用字典D_l进行稀疏分解得到非显著稀疏系数Γ_ψ；

4)将所述非显著稀疏系数Γ_ψ与高分辨率通用字典D_h相乘进行重建，将所述显著稀疏系数Γ_Ω与高分辨率显著字典D'_h相乘进行重建，重建后获得高分辨率图像序列。

2.如权利要求1所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述非显著或显著稀疏系数其中，L₀-范数项λ||Γ||₀是稀疏性约束，是数据保真项，X为训练样本，D＝{D₁,D₂,...D_i}为训练得到的字典，λ为拉格朗日乘子，D_i为字典的第i列，即D_i为第i个字典基。

3.如权利要求1所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，训练显著和通用字典时，先初始化稀疏系数Γ，然后更新字典，再迭代更新稀疏系数Γ。

4.如权利要求1所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述显著字典D'需要满足目标函数：

D'＝argmin_D'f(D')，

其中，X_Ω为在显著区域提取的图像块样本，X为训练样本，λ为拉格朗日乘子，D_i'为显著字典的第i列，即D_i'为第i个字典基，Γ表示显著稀疏系数Γ_Ω。

5.如权利要求2或4所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述显著区域通过上下文稀疏分解的总能量：

其中，E_S(S)＝-S^Tb，W_◇t矩阵表示当前块和方向t上邻域块用到的字典基的联系，S^T表示稀疏性模式S的转置矩阵，E_C(S)表示上下文依赖关系的能量，S_◇t为当前块在t方向的邻域块的稀疏模式，b＝[b₁,b₂,...,b_m]^T是模型参数。

6.如权利要求5所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述稀疏模式S满足最大后验概率：

其中，γ是低分辨率图像块x的稀疏系数，γ_S是一个均值为0方差为Σ_S的多变量高斯分布，Σ_S是对角矩阵，稀疏性模式S作为正则项约束重建出高分辨率的图像块。

7.如权利要求6所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述低分辨率图像块x的稀疏系数γ的稀疏性模式为S∈{-1,1}^m，S_i＝1表示γ_S≠0，S_i＝-1表示γ_S＝0，S_i是第i个图像块的稀疏性模式。

8.如权利要求1所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述输入图像序列为X＝{x₁,x₂,...,x_t}的低分辨率图像序列，所述通用字典D_l或D_h训练过程满足如下目标函数：

D＝argmin_Df(D)，

其中，L_0-范数项λ||Γ||₀是稀疏性约束，是数据保真项，D＝{D₁,D₂,...D_i}为训练得到的字典，D_i为显著字典的第i列，即D_i为第i个字典基，Γ为对应的稀疏系数。