CN105513014B - 一种多帧图像超分辨率重建方法及其重建系统 - Google Patents

Abstract

本发明公开了一种多帧图像超分辨率重建方法及其重建系统，涉及图像处理技术领域。该方法包括使用根据几何变换获得的临时结果和根据模糊核获得的滤波器传递函数构造用于超分辨率重建的传递函数，采用图割算法进行极小化求解，即可得到最终的高分辨率图像，使重建效果和重建速度均得到改善。

Description

一种多帧图像超分辨率重建方法及其重建系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种多帧图像超分辨率重建方法及其重建系统。

背景技术

图像的分辨率是指成像系统对图像细节的分辨能力，它是衡量图像质量的重要指标之一。高分辨率图像能够提供丰富的细节信息，随着经济、科技、文明的不断进步，高分辨率图像的需求在医学、安全、娱乐等各个领域越来越大。如，医生希望通过高分辨率CT或B超图像辨识病灶；公安部门希望通过高分辨率监控图像辨识嫌疑人身份或车辆信息；娱乐商家希望通过高分辨率视频，让观众获得更加逼真、细腻的视觉效果。

提高分辨率最直接的方法是增加数字图像采集系统的硬件分辨率，主要从提升图像传感器分辨率和镜头分辨率两个方面着手考虑。但是，硬件方法存在技术上的瓶颈，而且成本昂贵，难以普及应用。用软件方法提升图像分辨率的方法称为超分辨率重建技术，其利用低分辨图像之间可能存在的互补信息，重建一副或多幅高分辨率图像。超分辨率重建技术初期发展较为缓慢，研究方向主要集中在将一些经典方法(如插值、正则化、最小二乘法等)用于该技术的尝试和探索，这些重建效果往往不是很理想。近期随着图割算法、稀疏表示、深度学习等理论、方法的提出和发展，超分辨率重建技术在这些新理论和新方法的影响下，取得了极大的进步，这些新方法和新理论与超分辨率重建技术的结合显著地提升了重建效果和重建速度。

分析现有重建方法，大多数方法只在重建倍数较小时才能取得良好的效果，当重建倍数提升到4×4(所重建的高分辨率图像的高度和宽度均是低分辨率图像的4倍)或更高的时候，重建效果和重建速度明显降低。

发明内容

本发明实施例提供了一种多帧图像超分辨率重建方法及其重建系统，用以解决现有技术中重建倍数提高到4×4或更高时重建效果和重建速度明显降低的问题。

一种多帧图像超分辨率重建方法，该方法包括：

根据几何变换计算临时结果；

根据模糊核计算用于构建能量函数的滤波器的传递函数；

使用所述滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数并采用图割算法进行极小化求解，即可得到最终的高分辨率图像。

本发明实施例还提供了一种多帧图像超分辨率重建系统，包括：

临时结果计算模块，用于根据几何变换计算临时结果；

传递函数计算模块，用于根据模糊核计算用于构建能量函数的滤波器的传递函数；

高分辨率图像获取模块，用于使用所述滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数，并采用图割算法进行极小化求解，即可得到最终的高分辨率图像。

本发明实施例中，使用根据几何变换获得的临时结果和根据模糊核获得的滤波器传递函数构造用于超分辨率重建的传递函数，采用图割算法进行极小化求解，即可得到最终的高分辨率图像，使重建效果和重建速度均得到改善。

附图说明

为了更清楚地说明本发明发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多帧图像超分辨率重建方法的步骤流程图

图2为图1中步骤100的子步骤流程图；

图3为图1中步骤200的子步骤流程图；

图4-5为图3中子步骤使用的邻域关系和模糊核示意图；

图6为图1中步骤300的子步骤流程图；

图7为实施例一使用的高分辨率源图的示意图；

图8为幂指数对重建结果的影响图；

图9为高斯模糊核的错误估计对重建结果的影响图；

图10为实施例三使用的高分辨率源图、多帧低分辨率图像、参考帧插值图以及重建后的高分辨率图像；

图11为实施例四使用的高分辨率源图、参考帧插值图以及重建后的高分辨率图像；

图12为本发明实施例提供的一种多帧图像超分辨率重建系统的组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，示例性的给出了本发明实施例提供的一种多帧图像超分辨率重建方法流程示意图，该方法包括以下步骤：

步骤100，根据几何变换计算临时结果

步骤200，根据模糊核h计算用于构建能量函数的滤波器的传递函数

步骤300，使用所得滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数，并采用图割算法进行极小化求解，即可得到最终的高分辨率图像。

在步骤100之前，将某帧低分辨率图像设定为参考帧，通常将第一帧设为参考帧。如果几何变换T_k未知，利用配准算法确定T_k。配准算法为本领域技术人员的常用技术，故在此不做介绍。

如图2所示，步骤100具体包括：

子步骤101，根据以下公式(1)计算每个高分辨率像素p在每帧低分辨率图像(例如第k帧低分辨率图像g_k)中的投影：

p″_k＝DT_kp (1)，

式(1)中，D为降采样算子，由重建倍数决定。

子步骤102，选择距离p″_k最近的低分辨率像素p′_k，并按照如下公式(2)计算低分辨率像素p′_k在重建中的权重：

式(2)中，m为幂指数，d为投影p″_k与低分辨率像素p′_k之间的距离。

子步骤103，按照公式(3)确定的权重，将挑选出来的低分辨率像素的灰度值加权求和，获得如下临时结果

式(3)中，g_k(p′_k)为低分辨率像素p′_k的灰度值。

如图3、图4和图5所示，步骤200具体包括：

子步骤201，如图4a所示的3×3邻域系统，获取成像系统的模糊核h，如图4b所示。获取模糊核h的方法为本领域技术人员的常用技术，在此不做赘述。

子步骤202，根据模糊核h计算h^rot、h^exp和h^zp，其中，h^rot为将模糊核h旋转180°得到的结果，如图4c所示；h^exp为将模糊核h进行扩展后得到的扩展模糊核，如图5a所示；h^zp为将模糊核h进行零填充得到的结果，如图4d所示。

子步骤203，利用h^exp和h^zp，按照公式(4)计算如图5b所示：

式(4)中，ω₀为模糊核h的中心权重；

子步骤204，利用h^rot和按照公式(5)计算滤波器的传递函数如图5c所示：

如图6所示，步骤300具体包括：

子步骤301，根据公式(6)构造用于超分辨率重建的能量函数：

式(6)中，S为空域系统，是高分辨率像素的集合，N为邻域系统，p和q均为邻域系统中的高分辨率像素，f_p和f_q分别为高分辨率像素p和q的灰度值，A为二次项系数，计算公式为其中ω_i为模糊核h的边缘权重，为滤波器的传递函数和临时结果卷积得到的结果，即λ为调节前后两项比例的因子，Θ为阈值。

子步骤302，根据式(6)获得的能量函数满足图割算法要求的正则性条件，可以直接使用图割算法对其极小化，得到最终的高分辨率图像f。

实施例一

如图7所示，其中图7a、7b和7c分别为湖、桥和Lena的高分辨率源图，将以上三个高分辨率源图分别按照公式(7)所示的图像退化模型进行退化：

g_k＝DHT_kf+η_k (7)，

式(7)中，g_k为第k帧的低分辨率图像，D为降采样算子，H为图像退化模型的系统传递函数，T_k为几何变换，f为如图7所示的高分辨率图像，η_k为加在第k帧低分辨率图像上的噪声。

退化获得的低分辨率图像宽、高都为源图的1/4，随机产生32个几何变换T_k，从而随机产生32帧低分辨率图像，在灰度值归一到0～1的情况下，加入标准差为0.001的高斯白噪声。退化过程中选用高斯函数模拟成像设备的模糊核，其标准差为0.4。分别将每组低分辨率图像(每组32帧)作为输入，最后得到相应的高分辨率图像，重建过程中的模糊核为标准差为0.4的高斯模糊核。

为了考察公式(2)中幂指数m对该技术的影响，在重建时将m取为1，2，...，25，然后对重建结果进行评价。目前，得到广泛认可的两种图像质量评价方法为SSIM(StructuralSimilarity Index Measurement，结构相似性指标测量)指数和PSNR(Peak Signal toNoise Ratio，峰值信噪比)指标，这两个指标越大说明重建效果越好。这里同时使用这两种方法进行评价。

这两种指标的结果图如图8所示。从结果来看，对于这三种图像来说，不管是SSIM指数还是PSNR指标，它们几乎都在m取10的时候达到最大(Lena图的结果稍有偏差，但是m为10的结果与最大值差别不大)，也就是说，公式(2)中幂指数m取为10的时候重建效果最理想。

实施例二

所选高分辨率源图以及退化过程和重建过程与实施例一相同。为了考察对模糊核错误估计的鲁棒性，在重建时将高斯模糊核的标准差设置为0.05，0.1，...，0.95，1。

重建结果的SSIM评价指标如图9所示。从结果来看，对于这三种图像来说，它们都在标准差是0.4的时候达到最大，也就是说，重建过程中的高斯模糊核与退化时的模糊核完全一致时，重建效果最好，这一点反映出本重建方法的可靠性。此外，从图9中每幅子图都较平缓可以看出，本技术对高斯模糊核的标准差的错误估计具有较好的鲁棒性。

实施例三

如图10所示，其中，图101a、101b、101c、和101d分别为数字图的高分辨率源图、多帧低分辨率图像、参考帧插值图和重建后的高分辨率图像。图102a、102b、102c、和102d分别为轮船图的高分辨率源图、多帧低分辨率图像、参考帧插值图和重建后的高分辨率图像。图103a、103b、103c、和103d分别为飞机图的高分辨率源图、多帧低分辨率图像、参考帧插值图和重建后的高分辨率图像。

将图101a、102a和103a所示的高分辨率源图分别按照实施例一的方式进行退化，得到三组低分辨率图像。每组含有32帧低分辨率图像，部分帧分别如图101b、102b和103b所示。分别将每组低分辨率图像(每组32帧)作为输入，得到的高分辨率图像分别如图101d、102d和103d所示。为了说明本重建方法确实可以重建出低分辨率图像中原本丢失的细节信息，将低分辨率图像序列的第一帧(即参考帧)进行插值，放大到与重建结果相同的尺寸，结果分别如图101c、102c和103c所示。

从参考帧插值图来看，低分辨率图像基本无法分辨细节信息，比如飞机中的编号和标志完全看不清楚，另外两幅图中的数字和字母也无法辨认。从重建后的高分辨率图像来看，该技术可以重建出很多低分辨率图像中原本丢失的细节信息，而且与高分辨率源图比较，也会发现重建结果基本与源图接近。

使用图像质量评价指标PSNR和SSIM对本技术的重建结果进行评价，如表1所示。从表1可以看出SSIM指标均大于0.9，轮船图和飞机图的PSNR指标均大于31，这说明重建效果比较理想。此外，在数字图的PSNR指标方面，出现了异常，这主要是有PSNR评价指标的局限性导致。

表1 图10中重建结果的评价指标

图像	轮船图	飞机图	数字图
				PSNR	31.25	32.35	22.28
SSIM	0.9114	0.9615	0.9060

实施例四

如图11所示，其中图111a、111b和111c分别为辣椒的高分辨率源图、参考帧插值图和重建后的高分辨率图像，图112a、112b和112c分别为山魈的高分辨率源图、参考帧插值图和重建后的高分辨率图像。分别对图111a和112a所示的高分辨率彩色源图的RGB三通道分别进行退化和重建，其过程与实施例三相同。参考帧的插值结果如图111b和112b所示，彩椒和山魈的视觉效果都很差，说明低分辨率图像丢失了很多细节信息。

使用本重建方法的结果分别如图111c和112c所示，辣椒和山魈的视觉效果都非常好，基本接近如图111a和112a所示的源图。如位于最前面的辣椒上的白色颗粒和山魈的胡须等细节信息都可清楚地分辨出来。

基于同一发明构思，本发明实施例提供一种多帧图像超分辨率重建系统，如图12所示。由于该系统解决技术问题的原理和一种多帧图像超分辨率重建方法相似，因此该系统的实施可以参照方法的实施，重复之处不再赘述。

临时结果计算模块400，用于根据几何变换计算临时结果

传递函数计算模块500，用于根据模糊核h计算用于构建能量函数的滤波器的传递函数

高分辨率图像获取模块600，用于使用所得滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数，并采用图割算法进行极小化求解，即可得到最终的高分辨率图像。

较佳地，所述临时结果计算模块400包括：

投影计算子模块401，用于计算每个高分辨率像素p在每帧低分辨率图像(例如第k帧低分辨率图像g_k)中的投影p″_k；

权重计算子模块402，用于选择距离p″_k最近的低分辨率像素p′_k，并计算低分辨率像素p′_k在重建中的权重；

临时结果计算子模块403，用于按照确定的权重，将挑选出来的低分辨率像素的灰度值加权求和，获得所述临时结果

较佳地，所述传递函数计算模块500包括：

模糊核获取子模块501，用于根据3×3邻域系统，获取成像系统的模糊核h；

中间模糊核计算子模块502，用于根据模糊核h计算h^rot、h^exp和h^zp，其中，h^rot为将模糊核h旋转180°得到的结果；h^exp为将模糊核h进行扩展后得到的扩展模糊核；h^zp为将模糊核h进行零填充得到的结果；

计算子模块503，用于利用h^exp和h^zp计算

传递函数计算子模块504，用于利用h^rot和计算滤波器的传递函数

较佳地，所述高分辨率图像获取模块600包括：

能量函数构造子模块601，用于使用所得滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数；

图像获取子模块602，用于使用图割算法对所述能量函数极小化，得到最终的高分辨率图像f。

应当理解，以上一种多帧图像超分辨率重建系统包括的模块仅为根据该系统实现的功能进行的逻辑划分，实际应用中，可以进行上述模块的叠加或拆分。并且该实施例提供的一种多帧图像超分辨率重建系统所实现的功能与上述实施例提供的一种多帧图像超分辨率重建方法一一对应，对于该系统所实现的更为详细的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种多帧图像超分辨率重建方法，其特征在于，该方法包括：

根据几何变换计算临时结果，该步骤包括：

根据公式(1)计算每个高分辨率像素p在每帧低分辨率图像中的投影：

p″_k＝DT_kp (1)，

式(1)中，p″_k为高分辨率像素p在第k帧低分辨率图像中的投影，D为降采样算子，T_k为几何变换；

选择距离所述投影p″_k最近的低分辨率像素p′_k，并按照公式(2)计算所述低分辨率像素p′_k在重建中的权重：

式(2)中，m为幂指数，d为所述投影p″_k与低分辨率像素p′_k之间的距离；

按照公式(2)确定的权重，将挑选出来的低分辨率像素的灰度值加权求和，获得所述临时结果

式(3)中，g_k(p′_k)为所述低分辨率像素p′_k的灰度值；

根据模糊核计算用于构建能量函数的滤波器的传递函数，该步骤包括：

根据3×3邻域系统，获取成像系统的模糊核h；

根据所述模糊核h计算h^rot、h^exp和h^zp，其中，所述h^rot为将所述模糊核h旋转180°得到的结果，所述h^exp为将所述模糊核h进行扩展后得到的扩展模糊核，所述h^zp为将所述模糊核h进行零填充得到的结果；

利用所述h^exp和h^zp，按照公式(4)计算

式(4)中，ω₀为模糊核h的中心权重；

利用所述h^rot和按照公式(5)计算所述滤波器的传递函数

使用所述滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数并采用图割算法进行极小化求解，即可得到最终的高分辨率图像，该步骤包括：

根据公式(6)构造所述能量函数：

式(6)中，S为空域系统，是高分辨率像素的集合，N为邻域系统，p和q均为邻域系统中的高分辨率像素，f_p和f_q分别为高分辨率像素p和q的灰度值，A为二次项系数，计算公式为其中，ω_i为模糊核h的边缘权重，为所述滤波器的传递函数和临时结果卷积得到的结果，即λ为调节前后两项比例的因子，Θ为阈值；

使用图割算法对所述能量函数极小化，得到最终的高分辨率图像f。

2.如权利要求1所述的方法，其特征在于，所述幂指数m为10。

3.一种多帧图像超分辨率重建系统，其特征在于，包括：

临时结果计算模块，用于根据几何变换计算临时结果，所述临时结果计算模块包括：

投影计算子模块，用于根据公式(1)计算每个高分辨率像素p在每帧低分辨率图像中的投影：

p″_k＝DT_kp (1)，

式(1)中，p″_k为高分辨率像素p在第k帧低分辨率图像中的投影，D为降采样算子，T_k为几何变换；

权重计算子模块，用于选择距离所述投影p″_k最近的低分辨率像素p′k，并按照公式(2)计算所述低分辨率像素p′_k在重建中的权重：

式(2)中，m为幂指数，d为所述投影p″_k与低分辨率像素p′_k之间的距离；

临时结果计算子模块，用于按照公式(2)确定的权重，将挑选出来的低分辨率像素的灰度值加权求和，获得所述临时结果

式(3)中，g_k(p′_k)为所述低分辨率像素p′k的灰度值；

传递函数计算模块，用于根据模糊核计算用于构建能量函数的滤波器的传递函数，所述传递函数计算模块包括：

模糊核获取子模块，用于根据3×3邻域系统，获取成像系统的模糊核h；

中间模糊核计算子模块，用于根据所述模糊核h计算h^rot、h^exp和h^zp，其中，所述h^rot为将所述模糊核h旋转180°得到的结果，所述h^exp为将所述模糊核h进行扩展后得到的扩展模糊核，所述h^zp为将所述模糊核h进行零填充得到的结果；

计算子模块，用于利用所述h^exp和h^zp，按照公式(4)计算

式(4)中，ω₀为模糊核h的中心权重；

传递函数计算子模块，用于利用所述h^rot和按照公式(5)计算所述滤波器的传递函数

高分辨率图像获取模块，用于使用所述滤波器的传递函数和临时结果构建用于超分辨率重建的能量函数，并采用图割算法进行极小化求解，即可得到最终的高分辨率图像，所述高分辨率图像获取模块包括：

能量函数构造子模块，用于根据公式(6)构造所述能量函数：

式(6)中，S为空域系统，是高分辨率像素的集合，N为邻域系统，p和q均为邻域系统中的高分辨率像素，f_p和f_q分别为高分辨率像素p和q的灰度值，A为二次项系数，计算公式为其中，ω_i为模糊核h的边缘权重，为所述滤波器的传递函数和临时结果卷积得到的结果，即λ为调节前后两项比例的因子，Θ为阈值；

图像获取子模块，用于使用图割算法对所述能量函数极小化，得到最终的高分辨率图像f。

4.如权利要求3所述的系统，其特征在于，所述幂指数m为10。