CN108280804A - 一种多帧图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种多帧图像超分辨率重建方法，将导控核回归方法分别引入到自适应稀疏学习模型的聚类阶段和正则化重建过程中，使两种方法优劣互补，形成性能更好的重建算法。本发明不需要运动配准，因而不存在配准误差引起的重建误差，能明显改善重建图像质量，同时能应用于包含任意运动模式的情况。相比现有的基于学习的多帧超分辨率重建方法，提供了一种融合导控核回归和稀疏学习两种方法的简洁高效一体化重建模型，能同时利用全局的结构自相似性先验约束、以及稀疏性约束进行回归估计，因而能更好地保持图像边缘细节、减小图像高频失真，同时运动幅度不受限制，应用场景不受限制，从而能适应于复杂的应用环境。

Description

一种多帧图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，涉及一种多帧图像超分辨率重建方法，特别涉及一种基于结构聚类和导控核回归正则化稀疏学习的多帧图像超分辨率重建方法。

背景技术

分辨率是评价图像质量的重要指标之一，较高分辨率的图像，意味着能提供更丰富的细节信息，具有更好的视觉效果和图像质量。但在现实中，由于成像系统硬件条件的限制、再加上噪声、聚焦偏离等因素的影响，我们获得的图像往往分辨率低下、不能满足实际应用需求，且存在噪声、模糊等现象。图像超分辨率重建，能利用现有的设备，采用信号处理技术，通过软件手段突破成像系统固有的分辨率限制，由低分辨率图像，重建出具有较高分辨率的图像，达到改善图像质量和视觉效果的目的，在遥感、消费电子、生物医学、视频监控、机器视觉、军事等领域具有广阔的应用前景。

与单幅图像超分辨率重建不同的是，多帧超分辨率重建的处理对象是具有相似背景的多幅低分辨率图像或视频帧，所以各帧间冗余信息的利用和融合是多帧超分辨率重建的关键，其重建效果也因此能超越单幅图像超分辨率重建。

现有的多帧超分辨率重建方法多数属于传统的方法，一般包括图像配准(或运动估计)与融合重建两个主要步骤，通过图像配准(或运动估计)实现对不同帧之间相关信息的挖掘，以便后续的融合重建。因此，运动配准是传统多帧超分辨率方法的必经步骤。但运动配准往往计算量庞大，而且必然带来误差，配准误差会转化为重建误差，制约重建图像质量，特别当图像质量较低时，配准误差大，重建效果很差。另一方面，现有的配准方法假定帧间变换为某一类运动模式，即假定一定的空间变换模型，而实际的视频序列图像可能包含任意运动模式。

中国发明专利《一种多帧超分辨图像重建方法及系统》(201610491560.0)包括使用SIFT特征进行图像配准，属于传统的多帧超分辨率方法，其不足之处是：SIFT特征配准只能处理目标在不同帧间为仿射变换(平移+旋转+缩放)的情况，不能应用于包含平移、旋转、缩放三种变换关系以外的情况，应用场景受到限制；且配准必然存在误差，会给后续重建带来误差，引起重建图像失真。中国发明专利《一种多帧图像超分辨率重建方法及其重建系统》(201610049469.3)包括使用根据几何变换获得的临时结果和根据模糊核获得的滤波器传递函数构造用于超分辨率重建的能量函数，采用图割算法进行极小化求解，即可得到最终的高分辨率图像，使重建效果和重建速度均得到改善，其不足之处是：该方法假定了不同帧间存在几何变换关系，需要通过配准获知变换关系，配准误差会限制重建图像质量，而且应用场景受限。中国发明专利《一种视频图像超分辨率重建方法》(201310433123.X)属于传统的多帧超分辨率方法，其缺点同样是需要运动估计(即配准)。中国发明专利《一种基于联合正则化的视频超分辨率重建方法》(201610567213.1)以基于空间信息滤波与分类的加权系数减少了配准误差带来的消极影响，但本质上仍没有改变重建对配准的依赖。

现有的一些基于学习的多帧超分辨率重建算法，利用自然图像的自相似冗余信息、或者稀疏性约束，通过寻求有效的样本或字典、及基于该样本或字典的表示，实现对未知图像的重建。该类方法不需要图像配准(或运动估计)，克服了传统方法对运动配准的依赖，运动模式不受限制，能应用于包含任意运动模式的场景。

中国发明专利《一种视频超分辨率重建方法和装置》(201610561901.7)，提供了一种基于半耦合字典学习和时空非局部相似性的视频超分辨率重建方法。该方法不需要运动配准，运动模式不受限，且具有较好的旋转不变性以及噪声鲁棒性。其不足之处是：仅考虑了一定范围内的相似性冗余信息用于估计重建，不是基于全局信息的估计，当帧间运动幅度较大、超出搜索范围时，会引起重建图像质量明显下降；并且先验约束单一，重建效果受到一定限制。中国发明专利《一种基于深度学习和自相似性的视频超分辨率重建方法》(201610581026.9)包含了一种两步的基于稀疏字典的多帧超分辨率重建方法，分别利用内部自相似性先验约束和外部训练集建立的稀疏约束进行两次重建，使两种约束对重建信息相互补充，提升了视频超分辨率重建的效果。其不足之处是：两种约束的两次重建过程简单相叠加，没有整合为更有效的一体化重建模型；并且进行第一次重建时，同样仅考虑了一定范围内的相似性冗余信息，不是基于全局信息的估计，因而运动幅度受限。

发明内容

为了解决上述技术问题，本发明提供了一种基于结构聚类和导控核回归正则化稀疏学习的多帧图像超分辨率重建方法。

本发明所采用的技术方案是：一种多帧图像超分辨率重建方法，其特征在于，包括以下步骤：

步骤1：对每一帧低分辨率观测图像Y_l(l＝1,2,...,L)执行插值算法，获得其初始高分辨率估计图像Z_l，其中，L为低分辨率观测帧数目；

步骤2：对所有高分辨率估计图像进行分块操作；

步骤3：对所有图像分块进行结构聚类；

步骤4：由聚类后的图像分块构建子字典；

步骤5：构建结构相似图像分块子集；

步骤6：建立全局导控核回归估计；

步骤7：建立基于导控核回归正则化的稀疏重建目标函数；

步骤8：通过交替迭代方法求解步骤7中的重建目标函数，获得新的高分辨率估计帧；

步骤9：更新图像分块，重复步骤3至步骤8，直至达到迭代次数，获得最终的任意帧高分辨率重建图像。

本发明可以解决现有的传统多帧超分辨率重建方法依赖于运动配准而导致运动模式受限、重建效果差的问题，本发明不需要运动配准，因而不存在配准误差引起的重建误差，能明显提升重建图像质量；同时能应用于包含任意运动模式的情况。针对现有的基于学习的多帧超分辨率重建方法中存在的先验约束单一、方法步骤繁琐、依赖于外部训练集、没有充分挖掘视频帧间冗余信息等问题，本发明提供了一种简洁高效的一体化重建模型，充分挖掘视频帧的全局结构自相似先验约束，运动幅度不受限制；并且整合稀疏性约束，同时利用两种约束进行回归估计，因而能更好地保持图像边缘细节、减小图像高频损失；同时，本发明不依赖于外部训练集，对应用场景也没有限制，因而能更好的适应复杂的应用环境。

附图说明

图1为本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种多帧图像超分辨率重建方法，包括以下步骤：

步骤1：对每一帧低分辨率观测图像Y_l(l＝1,...,L)执行插值算法，获得其初始高分辨率估计图像Z_l，其中，L为低分辨率观测帧数目；

步骤2：对所有高分辨率估计图像进行分块操作；

本实施例对所有高分辨率估计图像进行分块操作，划分为互有重叠的图像块；所有图像分块均为具有边长(2*s+1)的正方形，相邻图像块间距均为s个像素，其中，s为水平和垂直方向的上采样因子。

步骤3：对所有图像分块进行结构聚类；

具体实现包括以下子步骤：

步骤3.1：计算任意高分辨率估计图像分块z_i的导控核列向量w_i，作为该图像分块的局部结构特征，其中i是该图像分块的序号，1≤i≤N，N为图像分块数；

步骤3.2：在所有导控核特征向量{w_i}构成的特征空间中，执行无监督聚类算法，将所有导控核分为K类，其对应的高分辨率估计图像分块相应地也分为K类，其中，核特征距离定义为：

其中，表示第k类导控核的类中心向量，1≤k≤K；类Ω_k由第k类图像块的序号构成。

步骤4：由聚类后的图像分块构建子字典；

本实施例由聚类后的图像分块，通过最小化下面的目标函数，采用PCA方法构建子字典

其中，是第k类图像块的均值向量，α_i为字典系数

步骤5：构建结构相似图像分块子集；

本实施例对图像分块z_i，构建结构相似的图像分块子集其中，是类中与z_i结构相似度系数最大的第m个分块(包括分块z_i自身，此时m＝0)，是图像分块z_i所属的类，M是设定的相似图像分块数目；

定义结构相似度系数ω_i,m计算公式为：

其中，w^i,m是图像分块z^i,m的导控核；w_i是分块z_i(即分块z^i,0)的导控核，σ_g和σ_h为调节参数。

步骤6：建立全局导控核回归估计；

本实施例对任意图像分块z_i的中心像素，定义其基于全部高分辨率估计帧图像分块的全局邻域，记作0≤m≤M；其中，是子集S⁽ⁱ⁾中图像分块z^i,m的邻域像素值按从左至右、从上至下的顺序构成的列向量；

在此基础上，建立融合局部邻域和非局部邻域信息的全局导控核回归目标函数：

其中，是导控核回归系数，是分块z_i的中心像素，x_i＝[x_i1,x_i2]^T是z(x_i)的二维坐标，是其P邻域坐标；是ω_i,m的归一化值；W_im是对角线元素为w^i,m的对角矩阵；vech(·)为半角矢量化算子，完成将对称矩阵的下三角元素按从上到下、从左到右的顺序取出得到一个列矢量的操作，例如：

求解上面的目标函数，建立基于全部估计图像的全局核回归估计：

其中，是对角线元素为的对角矩阵， e₁＝[1,0,0,0,0,0]^T。

步骤7：建立基于导控核回归正则化的稀疏重建目标函数；

基于导控核回归正则化的一体化重建模型，同时利用全局的结构特征自相似性先验约束、以及稀疏性约束进行回归估计，重建目标函数；

目标函数为：

其中，定义

其中，I_l是由第l帧高分辨率估计帧Z_l的所有分块的序号构成的集合；P_i表示从Z_l中提取图像分块z_i的操作，即z_i＝P_iZ_l；是图像分块z_i所属的类对应的字典；R_i表示从Z_l中提取分块z_i的中心像素z(x_i)的操作，即z(x_i)＝R_iZ_l；B_i表示获取分块z_i的中心像素z(x_i)的全局邻域Γ_i的操作，即D是下采样矩阵，H是模糊矩阵，λ是稀疏约束调节常数，γ是核回归正则化常数。

步骤8：通过交替迭代方法求解步骤7中的重建目标函数，获得新的高分辨率估计帧；

本实施例交替迭代求解的具体步骤为：

1)

2)

3)对执行阈值为τ的软阈值操作，得到即：

4)

其中，0≤t≤T，1≤l≤L。

步骤9：更新图像分块，重复步骤3至步骤8，直至达到迭代次数，获得最终的任意帧高分辨率重建图像。

本发明所涉及的多帧图像超分辨率重建算法中，聚类算法可以被替代为其它非监督聚类算法或监督聚类算法；求取子字典及其系数的PCA方法可以被匹配追踪算法、或其他稀疏求解算法代替；步骤其中求解重建目标函数的交替迭代算法可以被非迭代算法代替；聚类对象也可以在输入视频帧基础上，加入外部训练图片分块。

通过以上论述可见，本发明提供了一种融合核回归方法和稀疏学习的一体化重建方法框架，能同时并充分利用视频帧的结构特征自相似先验约束和稀疏性约束，实现基于全局结构相似性的核回归估计，因而运动幅度不受限制，相比单一约束的方法能更好地保持图像边缘细节、减小图像高频失真，从而获得更高质量的重建图像。同时，本发明方法不依赖于运动配准，也不依赖于外部训练集，还可在输入视频帧不足等情况下，适当补充外部训练样本，因而能够适应于复杂的应用环境。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种多帧图像超分辨率重建方法，其特征在于，包括以下步骤：

步骤1：对每一帧低分辨率观测图像Y_l(l＝0,1,...,L)执行插值算法，获得其初始高分辨率估计图像Z_l，其中，L为低分辨率观测帧数目；

步骤2：对所有高分辨率估计图像进行分块操作；

步骤3：对所有图像分块进行结构聚类；

步骤4：由聚类后的图像分块构建子字典；

步骤5：构建结构相似图像分块子集；

步骤6：建立全局导控核回归估计；

步骤7：建立基于导控核回归正则化的稀疏重建目标函数；

步骤8：通过交替迭代方法求解步骤7中的重建目标函数，获得新的高分辨率估计帧；

步骤9：更新图像分块，重复步骤3至步骤8，直至达到迭代次数，获得最终的任意帧高分辨率重建图像。

2.根据权利要求1所述的多帧图像超分辨率重建方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：计算所有高分辨率估计图像分块z_i的导控核向量w_i，作为该图像分块的局部结构特征，其中，i是该图像分块的序号，1≤i≤N，N为图像分块数；

步骤3.2：在所有导控核特征向量{w_i}构成的特征空间中，执行无监督聚类算法，将所有导控核分为K类，其对应的高分辨率估计图像分块相应地也分为K类，其中，核特征距离定义为：

其中，表示第k类导控核的类中心向量，1≤k≤K；类Ω_k由第k类图像块的序号构成。

3.根据权利要求2所述的多帧图像超分辨率重建方法，其特征在于：步骤4中，由聚类后的图像分块，通过最小化下面的目标函数，采用PCA方法构建子字典

其中，是第k类图像块的均值向量，α_i为字典系数。

4.根据权利要求2所述的多帧图像超分辨率重建方法，其特征在于：步骤5中，对图像分块z_i，构建结构相似的图像分块子集其中，z^i,m是类中与z_i结构相似度系数最大的第m个分块(包括分块z_i自身，此时m＝0)，是图像分块z_i所属的类，M是设定的相似图像分块数目；

定义结构相似度系数ω_i,m计算公式为：

其中，w^i,m是图像分块z^i,m的导控核；w_i是分块z_i(即分块z^i,0)的导控核，σ_g和σ_h为调节参数。

5.根据权利要求4所述的多帧图像超分辨率重建方法，其特征在于：步骤6中，对任意图像分块z_i的中心像素，定义其基于全部高分辨率估计帧图像分块的全局邻域，记作0≤m≤M，其中，是子集S⁽ⁱ⁾中图像分块z^i,m的邻域像素值按从左至右、从上至下的顺序构成的列向量；

在此基础上，建立融合局部邻域和非局部邻域信息的全局导控核回归目标函数：

其中，是导控核回归系数，是分块z_i的中心像素，

x_i＝[x_i1,x_i2]^T是z(x_i)的二维坐标，是其P邻域坐标；是ω_i,m的归一化值；W_im是对角线元素为w^i,m的对角矩阵；vech(·)为半角矢量化算子，完成将对称矩阵的下三角元素按从上到下、从左到右的顺序取出得到一个列矢量的操作；

求解上面的目标函数，建立基于全部估计图像的全局核回归估计：

其中，是对角线元素为的对角矩阵， e₁＝[1,0,0,0,0,0]^T。

6.根据权利要求5所述的多帧图像超分辨率重建方法，其特征在于：步骤7中建立基于导控核回归正则化的一体化重建模型，同时利用全局的结构特征自相似性先验约束、以及稀疏性约束进行回归估计，重建目标函数；

目标函数为：

其中，定义

其中，I_l是由第l帧高分辨率估计帧Z_l的所有分块的序号构成的集合；P_i表示从Z_l中提取图像分块z_i的操作，即z_i＝P_iZ_l；是图像分块z_i所属的类对应的字典；R_i表示从Z_l中提取分块z_i的中心像素z(x_i)的操作，即z(x_i)＝R_iZ_l；B_i表示获取分块z_i的中心像素z(x_i)的全局邻域Γ_i的操作，即D是下采样矩阵，H是模糊矩阵，λ是稀疏约束调节常数，γ是核回归正则化常数。