CN108257108A - 一种超分辨率图像重建方法及系统 - Google Patents

Abstract

本发明公开一种超分辨率图像重建方法。该重建方法包括：获取多幅低分辨率图像；将低分辨率图像用RTV模型分解为结构部分和纹理部分，获得低分辨率结构图像和低分辨率纹理图像，结构部分表示低分辨率图像的整体框架，纹理部分表示低分辨率图像的细节部分；根据低分辨率结构图像，获得高分辨率结构图像；将低分辨率纹理图像采用联合训练方法，获得高分辨率纹理图像；根据高分辨率结构图像和所述高分辨率纹理图像，采用图像融合的方法获得融合高分辨率图像；采用迭代反投影法对所述融合高分辨率图像进行多次修正，获得高分辨率图像。本发明通过采用图像融合的方法和迭代反投影法，获得高分辨率图像，提高了图像超分辨率重建效果。

Description

一种超分辨率图像重建方法及系统

技术领域

本发明涉及图像重建领域，特别是涉及一种超分辨率图像重建方法及系统。

背景技术

超分辨率图像重建是指用一幅或多幅低分辨率图像通过算法转化成高分辨率图像的技术。

目前，超分辨率图像恢复重建主要分为基于插值、基于重建和基于学习的方法。基于插值的方法主要只有双线性插值法和双三次插值法，插值算法的重建效果有限，细节部分不丰富，图像比较模糊。基于重建的方法有迭代反投影法、凸集投影法和最大后验概率估计法，需要多幅高低分辨率图像样本进行训练获得先验知识，虽然能够有效引入先验信息而获得超过单帧插值法的超分辨率效果，但是配准误差的敏感性，可用图像的有限性等限制了重建算法的性能。基于学习的超分辨率方法主要是对大量的高低分辨率图像样本进行训练最终获得图像的先验知识，再对图像进行超分辨率重建。

上述方法对图像的超分辨率重建的效果都比较差，获得图像不清晰。

发明内容

本发明的目的是提供一种能够提高图像超分辨率重建效果的超分辨率图像重建方法及系统。

为实现上述目的，本发明提供了如下方案：

一种超分辨率图像重建方法，所述重建方法包括：

获取多幅低分辨率图像。

将所述低分辨率图像用RTV模型分解为结构部分和纹理部分，获得低分辨率结构图像和低分辨率纹理图像，所述结构部分表示所述低分辨率图像的整体框架，所述纹理部分表示所述低分辨率图像的细节部分。

根据所述低分辨率结构图像，获得高分辨率结构图像。

将所述低分辨率纹理图像采用联合训练方法，获得高分辨率纹理图像。

根据所述高分辨率结构图像和所述高分辨率纹理图像，采用图像融合的方法获得融合高分辨率图像。

采用迭代反投影法对所述融合高分辨率图像进行多次修正，获得高分辨率图像。

可选的，所述根据所述低分辨率结构图像，获得高分辨率结构图像具体包括：

将所述低分辨率结构图像采用插值滤波的方法计算所述结构部分，获得高分辨率结构图像。

可选的，所述将所述低分辨率纹理图像采用联合训练方法，获得高分辨率纹理图像具体包括：

将所述低分辨率的图像采用K-SVD字典学习方法计算所述纹理部分，获得高分辨率字典和低分辨率字典。

将所述高分辨率字典和所述低分辨率字典采用基于1范数的同伦法算法恢复，获得高分辨率纹理图像。

为了实现上述目的，本发明还提供了如下方案：

一种超分辨率图像重建系统，所述重建系统包括：

低分辨率图像获取模块，用于获取多幅低分辨率图像。

分解模块与所述低分辨率图像获取模块连接，所述分解模块用于将所述低分辨率图像用RTV模型分解为结构部分和纹理部分，获得低分辨率结构图像和低分辨率纹理图像。

高分辨率结构图像获取模块与所述分解模块连接，所述高分辨率结构图像获取模块用于根据所述低分辨率结构图像，获得高分辨率结构图像。

高分辨率纹理图像获取模块与所述分解模块连接，所述高分辨率纹理图像获取模块用于将所述低分辨率纹理图像采用联合训练方法，获得高分辨率纹理图像。

融合模块分别与所述高分辨率纹理图像获取模块和所述高分辨率结构图像获取模块连接，所述融合模块用于根据所述高分辨率结构图像和所述高分辨率纹理图像，采用图像融合的方法获得融合高分辨率图像。

修正模块与所述融合模块连接，所述修正模块用于采用迭代反投影法对所述融合高分辨率图像进行多次修正，获得高分辨率图像。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明公开了一种超分辨率图像重建方法及系统，根据所述高分辨率结构图像和所述高分辨率纹理图像，采用图像融合的方法获得融合高分辨率图像；采用迭代反投影法对所述融合高分辨率图像进行多次修正，获得高分辨率图像，提高了图像超分辨率的重建效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的超分辨率图像重建方法的流程图；

图2为本发明提供的超分辨率图像重建系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种能够提高图像超分辨率重建效果的超分辨率图像重建方法及系统。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示的一种超分辨率图像重建方法的流程图，所述重建方法包括：

步骤100：获取多幅低分辨率图像，由于人眼对图像的亮度分量很敏感，首先将所述低分辨率图像分为YCbCr三个通道，然后选取Y通道分量的所述低分辨率图像。

步骤200：将所述低分辨率图像用RTV模型分解为结构部分和纹理部分，获得低分辨率结构图像和低分辨率纹理图像，所述结构部分表示所述低分辨率图像的整体框架，所述纹理部分表示所述低分辨率图像的细节部分，使用迭代的方法对所述低分辨率图像进行分解，减少所述低分辨率结构图像中的全变分，直到得到稳定的结构部分和纹理部分。

迭代的具体方法包括：

其中，j表示迭代的次数，f_m,n表示输入所述低分辨率图像在位置(m，n)处的像素值，w_m,n是窗函数的系数，I_m,n(j)表示第j次迭代的输出的所述低分辨率结构图像，ε(j)表示随着j增大逐渐变小的一个小数，λ₁表示平衡系数；随着迭代次数的增加，I_m,n(j)逐步趋于稳定，即ε₁为极小数，此时，迭代终止，输出所述低分辨率结构图像I_m,n(j+1)和所述低分辨率纹理图像f_m,n-I_m,n(j+1)，符号表示卷积运算，表示求矢量的散度。

步骤300：根据所述低分辨率结构图像，获得高分辨率结构图像，采用插值滤波的方法处理所述低分辨率结构图像，获得所述高分辨率结构图像。

滤波插值函数为

其中函数sinc(x)＝sin(x)/x，β₁＝3，σ₁是一个和窗口大小相关的参数，插值的运算公式：

其中，s(i,j)表示输入的所述低分辨率的结构图像，S(x,y)表示输出的高分辨率的结构图像。

步骤400：将所述低分辨率纹理图像采用联合训练方法，获得高分辨率纹理图像。

步骤500：根据所述高分辨率结构图像和所述高分辨率纹理图像，采用图像融合的方法获得融合高分辨率图像。

所述融合高分辨率图像I_h＝C₁*I_hc+C₂*I_ht+C₃*▽²I_ht；

其中，I_hc表示所述高分辨率结构图像，I_ht表示所述高分辨率纹理图像，C₁＝0.4,C₂＝0.6,C₃＝0.1。

步骤600：采用迭代反投影法对所述融合高分辨率图像进行多次修正，获得高分辨率图像。

将所述融合高分辨率图像I_h进行下采样和滤波后得到融合低分辨率图像I′，滤波器函数为B(x,y)＝exp((-x²-y²)/(2σ))；

x和y为-5到5的整数，σ表示滤波程度，σ＝1；

将融合低分辨率图像I′和所述低分辨率图像进行差值运算得到误差图像ΔI；

将所述误差图像ΔI放大处理得到高分辨率的差值图像ΔI_h；

对所述融合高分辨率图像I_h进行修正，f_H(i+1)＝f_H(i)+μ*ΔI_h；

其中，i表示迭代次数，μ＝0.2，f_H(0)＝I_h，能够降低高分辨率放大的误差。

所述步骤300：根据所述低分辨率结构图像，获得高分辨率结构图像具体包括：将所述低分辨率结构图像采用插值滤波的方法计算所述结构部分，获得高分辨率结构图像。

所述步骤400：将所述低分辨率纹理图像采用联合训练方法，获得高分辨率纹理图像具体包括：

步骤401：将所述低分辨率的图像采用K-SVD字典学习方法计算所述纹理部分，获得高分辨率字典和低分辨率字典。

步骤402：将所述高分辨率字典和所述低分辨率字典采用基于1范数的同伦法算法恢复，获得高分辨率纹理图像。

为了实现上述目的，本发明还提供了如下方案：

如图2所示的一种超分辨率图像重建系统的结构图，所述重建系统包括：

低分辨率图像获取模块1，用于获取多幅低分辨率图像。

分解模块2与所述低分辨率图像获取模块1连接，所述分解模块2用于将所述低分辨率图像用RTV模型分解为结构部分和纹理部分，获得低分辨率结构图像和低分辨率纹理图像。

高分辨率结构图像获取模块3与所述分解模块2连接，所述高分辨率结构图像获取模块3用于根据所述低分辨率结构图像，获得高分辨率结构图像。

高分辨率纹理图像获取模块4与所述分解模块2连接，所述高分辨率纹理图像获取模块4用于将所述低分辨率纹理图像采用联合训练方法，获得高分辨率纹理图像。

融合模块5分别与所述高分辨率纹理图像获取模块4和所述高分辨率结构图像获取模块3连接，所述融合模块5用于根据所述高分辨率结构图像和所述高分辨率纹理图像，采用图像融合的方法获得融合高分辨率图像。

修正模块6与所述融合模块5连接，所述修正模块6用于采用迭代反投影法对所述融合高分辨率图像进行多次修正，获得高分辨率图像。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种超分辨率图像重建方法，其特征在于，所述重建方法包括：

获取多幅低分辨率图像；

将所述低分辨率图像用RTV模型分解为结构部分和纹理部分，获得低分辨率结构图像和低分辨率纹理图像，所述结构部分表示所述低分辨率图像的整体框架，所述纹理部分表示所述低分辨率图像的细节部分；

根据所述低分辨率结构图像，获得高分辨率结构图像；

将所述低分辨率纹理图像采用联合训练方法，获得高分辨率纹理图像；

根据所述高分辨率结构图像和所述高分辨率纹理图像，采用图像融合的方法获得融合高分辨率图像；

采用迭代反投影法对所述融合高分辨率图像进行多次修正，获得高分辨率图像。

2.根据权利要求1所述的一种超分辨率图像重建方法，其特征在于，所述根据所述低分辨率结构图像，获得高分辨率结构图像具体包括：

将所述低分辨率结构图像采用插值滤波的方法计算所述结构部分，获得高分辨率结构图像。

3.根据权利要求1所述的一种超分辨率图像重建方法，其特征在于，所述将所述低分辨率纹理图像采用联合训练方法，获得高分辨率纹理图像具体包括：

将所述低分辨率的图像采用K-SVD字典学习方法计算所述纹理部分，获得高分辨率字典和低分辨率字典；

将所述高分辨率字典和所述低分辨率字典采用基于1范数的同伦法算法恢复，获得高分辨率纹理图像。

4.一种超分辨率图像重建系统，其特征在于，所述重建系统包括：

低分辨率图像获取模块，用于获取多幅低分辨率图像；

分解模块与所述低分辨率图像获取模块连接，所述分解模块用于将所述低分辨率图像用RTV模型分解为结构部分和纹理部分，获得低分辨率结构图像和低分辨率纹理图像；

高分辨率结构图像获取模块与所述分解模块连接，所述高分辨率结构图像获取模块用于根据所述低分辨率结构图像，获得高分辨率结构图像；

高分辨率纹理图像获取模块与所述分解模块连接，所述高分辨率纹理图像获取模块用于将所述低分辨率纹理图像采用联合训练方法，获得高分辨率纹理图像；

融合模块分别与所述高分辨率纹理图像获取模块和所述高分辨率结构图像获取模块连接，所述融合模块用于根据所述高分辨率结构图像和所述高分辨率纹理图像，采用图像融合的方法获得融合高分辨率图像；

修正模块与所述融合模块连接，所述修正模块用于采用迭代反投影法对所述融合高分辨率图像进行多次修正，获得高分辨率图像。