CN109727195A - 一种图像超分辨率重构方法 - Google Patents

Abstract

一种图像超分辨率重构方法，包括如下步骤:制作学习样本集;学习训练:采用卷积神经网络的单帧模型作为循环网络模块,构造包括N+1个循环网络模块的循环神经网络方式的超分辨率映射模型,训练中,将单幅最低分辨率图片输入超分辨率映射模型中的每一个循环网络模块进行单次训练；更换低分辨率图片反复进行上述单次训练;多次进行单次训练中;重构:将需要重构的低分辨率图片输入完成训练的超分辨率映射模型,得到高分辨率图片。本发明通过在性能指标中增加有关模糊图像的输出误差项，来引导模型同时学习图像的低频与高频信息，可以使图像超分辨率重建结果兼顾可靠性与细节;同时循环网络形式的超分辨率映射模型，也可以极大地节省存储空间。

Description

一种图像超分辨率重构方法

技术领域

本发明属于软件技术领域，涉及图像处理技术，具体涉及一种图像超分辨率重构方法。

背景技术

图像超分辨率重构技术是利用低分辨率图像生成高分辨率图像的手段，在医疗图像、卫星拍照、安全监控等领域拥有重大应用价值。超分辨率重建技术可分为三类：基于插值的方法、基于模型的方法、基于学习的方法。其中，基于学习的方法是目前的主流方向，特别上随着深度学习技术和卷积神经网络的不断发展，超分辨率重建的图像质量也在不断提升。它通过大量成对的低分辨率与高分辨考虑的图像样本，学习出图像特征以及低分辨率到高分辨率的映射模型，相当于为增加像素提供了当前图像的特征参考，以及基于特征的像素增加方案的历史参考，所以能获得更好的超分辨率图像。

当前的图像超分辨率重建技术中，效果最好的为基于深度卷积神经网络的一系列方法。这类方法通过卷积核形成的感受野来获取图像特征的表达形式，并利用大量样本数据来优化特征表达形式，使其能更好的描绘图像，同时利用历史这些样本学习出基于图像特征的像素扩充映射模型。所以该类方法是在对图像进行理解后再基于历史经验进行像素扩充，这也是其效果提升的根源。

现有卷积神经网络超分辨率技术的基本流程是：用高分辨率图像及其对应的低分辨率图像组成训练样本对，并以低分辨率图像作为卷积神经网络的输入，输出为与高分辨率图像同尺寸的图片，输出结果与真实高分辨率照片的误差作为调节网络模型的性能指标。通过大量样本训练出超分辨率图像重建所需的映射，就可以用来放大新的图像。目前使用卷积神经网络进行图像超分辨率重建的技术，包括卷积神经网络超分辨率(SRCNN)、加速卷积神经网络超分辨率(FSRCNN)、亚像素卷积神经网络超分辨率(ESPCN)、稠密连接神经网络超分辨率(SRDenseNet)、生成对抗网络超分辨率(SRGAN)、改进的深度残差神经网络超分辨率(EDSR)、深度反向投影神经网络超分辨率(DBPN)等方法。

现有的卷积神经网络框架超分辨率技术虽然已取得较大进步，但仍有缺点。特别是在分辨率放大较多的时候，容易出现新增像素错误的情况，这其实是过于追求图像边缘锐利而付出的代价，因为训练模型的输出图像每个像素都被期望与原图一致，而不是原图的模糊近似,导致最终图像边缘像素误差放大。目前图像超分辨率重建中所使用的深度学习技术，完全依赖于样本库，卷积神经网络只是用来在大量样本中学习特征和映射。这种方式过于依赖样本库，而没有引入人类对图像认知的一些基本原则，但是由于图像的复杂多样性，样本库难以保证在各种图像细节情况都有足够的分布量，在这种情况下训练出来的模型，还要着重强调图像的锐度，即与原图完全一致，就容易造成补充像素明显错误的情况。

发明内容

为克服现有技术对低分辨率图像重构过程中存在的技术缺陷，本发明公开了一种图像超分辨率重构方法。

本发明所述图像超分辨率重构方法，包括如下步骤:

制作学习样本集:将大量像素大小相同的高分辨率原图A₁, A₂,…A_M分别经N次平滑，生成不同模糊程度的原尺寸图像{( A₁₀ A₁₁ A₁₂ … A_1N), (A₂₀ A₂₁ A₂₂ … A_2N)…(A_M0 A_M1 A_M2… A_MN)}，下标0,1,2…N表示平滑操作的次数，数值越大，图像越模糊，下标为0的对应为原图;下标1,2,…M表示不同的高分辨率原图，M为样本集的图片数量;

每张原图生成的不同模糊度图像( A₁₀ A₁₁ A₁₂ … A_1N), (A₂₀ A₂₁ A₂₂ … A_2N)…(A_M0A_M1 A_M2 … A_MN)组成各个原始图像的标签图像组，同时,将原图缩小像素尺寸后形成的低分辨率图B_i(i=1,2,…M)与对应标签图像组构成一个训练样本；

学习训练: 采用卷积神经网络的单帧模型作为循环网络模块,构造包括N+1个循环网络模块的循环神经网络方式的超分辨率映射模型, 顺序连接的各个循环网络模块输出与原图分辨率相同但模糊程度不同的图像;

以低分辨率图片B₁, B₂…B_M分别进行单次训练;

训练中,将单幅最低分辨率图片输入超分辨率映射模型中的每一个循环网络模块进行单次训练, 训练过程中每一循环网络模块输出与原图尺寸相同,模糊程度从高到低的图像，并依次与对应标签图像组A_iN, A_iN-1…A_i1比较计算误差；

调整循环网络模块的参数使误差最小;

更换低分辨率图片B₁, B₂…B_M反复进行上述单次训练;

多次进行单次训练中,对循环网络模块的参数调整原则为:使已经进行的所有单次训练的误差和最小;

重构:将需要重构的低分辨率图片输入完成训练的超分辨率映射模型,得到高分辨率图片。

具体的，所述制作学习样本集的过程中, 采用不同次数的高斯平滑来获得不同模糊程度的原尺寸图像。

本发明在训练超分辨率映射模型时，通过在性能指标中增加有关模糊图像的输出误差项，来引导模型同时学习图像的低频与高频信息，可以使图像超分辨率重建结果兼顾可靠性与细节;同时循环网络形式的超分辨率映射模型，也可以极大地节省存储空间。

附图说明

图1为本发明所述超分辨率映射模型的一种具体实施方式示意图;

图2为本发明所述循环网络模块的一个具体工作方式示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步的详细说明。

本发明所述图像超分辨率重构方法，包括如下步骤:

制作学习样本集:将大量像素大小相同的高分辨率原图A₁, A₂,…A_M分别经N次平滑，生成不同模糊程度的原尺寸图像{( A₁₀ A₁₁ A₁₂ … A_1N), (A₂₀ A₂₁ A₂₂ … A_2N)…(A_M0 A_M1 A_M2… A_MN)}，下标0,1,2…N表示平滑操作的次数，数值越大，图像越模糊，0对应的为原图。1,2,…M表示不同的高分辨率原图，M为样本集的图片数量，每张图像生成的不同模糊度图像一起组成标签图像，而原图缩小后形成的低分辨率图B_i(i=1,2,…M)与标签图像构成一个训练样本；

学习训练: 采用卷积神经网络的单帧模型作为循环网络模块,构造包括N个循环网络模块的循环神经网络方式的超分辨率映射模型, 顺序连接的各个循环网络模块输出图像的分辨率与样本集的分辨率1,2…N分别对应;

在样本集中选择低分辨率图片B₁, B₂…B_M分别进行单次训练;

单次训练中,将单幅最低分辨率图片输入超分辨率映射模型中的每一个循环网络模块进行单次训练, 训练过程中每一循环网络模块输出与原图同尺寸的图像，并依次与标签图像组A_iN, A_iN-1…A_i1比较来计算误差；

调整循环网络模块的参数使误差最小;

更换低分辨率图片B₁, B₂…B_M反复进行上述单次训练;

多次进行单次训练中,对循环网络模块的参数调整原则为:使已经进行的所有单次训练的误差和最小;

重构:将需要重构的低分辨率图片输入完成训练的超分辨率映射模型,得到高分辨率图片。

为更好的说明上述技术方案,以3幅图片作为样本集,即M=3;需要说明的是,实际训练过程中,为保证训练效果,样本集的数量至少是十万张以上,通常不低于百万级别。

每幅高分辨率图片的原始分辨率为16乘16,在N=4的情况下,即通过1到4次高斯平滑，分别得到越来越模糊的16乘16图像A_i1, A_i2, A_i3, A_i4，原图则记为A_i0，这里i=1,2,3，4这些图像用作训练样本的标签图像；

所谓模糊,是指图像的尺寸不变,但将原图的像素进行高斯平滑处理,例如对于一个像素16乘16的图像, 采用3乘3的高斯核模板，对图像的各个像素进行3乘3领域内的加权求和，即图像平滑，从而形成尺寸不变，但相邻像素梯度变小的新图像。对新图像再进行上述操作，可以使相邻像素间的梯度进一步减小，所以平滑次数越多，图像越模糊。

B₁, B₂…B_M的分辨率根据训练目的设定,例如如果要使超分辨率图像重建模型能实现将图像清晰放大2倍的效果，则可以将原图缩小2倍来获得低分辨率图像B_i(i=1,2,…M)作为训练样本的输入；

构建一个由N+1=5个单帧模型顺序连接组成的循环网络模块,如图1所示,每个循环网络模块的具体工作方式如图2所示,作为模块核心的卷积神经网络接收输入的低分辨率图像,输出的循环网络模块输出特征输入到下一循环网络模块; 5个循环网络模块的输出分辨率均为16乘16。

对于第一幅图像,将其降低尺寸至原来一半,例如原图为16乘16的分辨率,降低后变为8乘8分辨率,降低后的图像B1同时输入五个循环网络模块进行训练,各循环网络模块的输出依次为模糊程度由高到低的高分辨率图像,分别与之前得到的标签图像组A₁₄，A₁₃，A₁₂，A₁₁，A₁₀进行误差比较，通过降低各模块的输出与相应标签图像间的误差之和，来获得超分辨率重建模型的权值参数。

第一幅图片完成后,更换图片,重复进行上述训练。

将样本集中的全部图片进行上述训练过程,完成对超分辨率映射模型的训练；最终性能指标是针对样本集全部图片,使各模块输出的高分辨率图和样本中相应的不同程度模糊处理的样本图间的综合误差最小。

对于采用卷积神经网络的单个循环网络模块,主要是为了利用卷积神经网络对图像的特征提取能力。

综合误差是指考虑全部对象的误差,可以是输出图像与样本集对应标签图像的误差之和,或采用其他误差判断和统计方式进行。

重构时,将需要重构的低分辨率图片输入完成训练的超分辨率映射模型,在最后一个循环网络模块,可以得到最清晰的高分辨率图片。

本发明在训练超分辨率映射模型时，通过在性能指标中增加有关模糊图像的输出误差项，来引导模型同时学习图像的低频与高频信息，低频信息是像素空间变化相对缓慢的区域信息,例如同一天空的不同区域,高频信息是像素空间变化剧烈的区域信息,例如天空与大地的分界线附近,其中图像的低频信息变化较缓，更易学到;但在本发明中,各个模糊程度图片从高到低均进行覆盖,高频信息一样被综合考虑,这样可以使图像超分辨率重建结果兼顾可靠性与细节,避免高频图像信息处理时容易出现的大幅失真问题;同时采用循环网络形式的超分辨率映射模型，同时只输入单一低分辨率图片也可以极大地节省存储空间。

前文所述的为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (2)

1.一种图像超分辨率重构方法，其特征在于,包括如下步骤:

制作学习样本集:将大量像素大小相同的高分辨率原图A₁, A₂,…A_M分别经N次平滑，生成不同模糊程度的原尺寸图像{( A₁₀ A₁₁ A₁₂ … A_1N), (A₂₀ A₂₁ A₂₂ … A_2N)…(A_M0 A_M1 A_M2… A_MN)}，下标0,1,2…N表示平滑操作的次数，数值越大，图像越模糊，下标为0的对应为原图;下标1,2,…M表示不同的高分辨率原图，M为样本集的图片数量;

每张原图生成的不同模糊度图像( A₁₀ A₁₁ A₁₂ … A_1N), (A₂₀ A₂₁ A₂₂ … A_2N)…(A_M0A_M1 A_M2 … A_MN)组成各个原始图像的标签图像组，同时,将原图缩小像素尺寸后形成的低分辨率图B_i(i=1,2,…M)与对应标签图像组构成一个训练样本；

学习训练: 采用卷积神经网络的单帧模型作为循环网络模块,构造包括N+1个循环网络模块的循环神经网络方式的超分辨率映射模型, 顺序连接的各个循环网络模块输出与原图分辨率相同但模糊程度不同的图像;

以低分辨率图片B₁, B₂…B_M分别进行单次训练;

训练中,将单幅最低分辨率图片输入超分辨率映射模型中的每一个循环网络模块进行单次训练, 训练过程中每一循环网络模块输出与原图尺寸相同,模糊程度从高到低的图像，并依次与对应标签图像组A_iN, A_iN-1…A_i1比较计算误差；

调整循环网络模块的参数使误差最小;

更换低分辨率图片B₁, B₂…B_M反复进行上述单次训练;

多次进行单次训练中,对循环网络模块的参数调整原则为:使已经进行的所有单次训练的误差和最小;

重构:将需要重构的低分辨率图片输入完成训练的超分辨率映射模型,得到高分辨率图片。

2.如权利要求1所述的图像超分辨率重构方法，其特征在于，所述制作学习样本集的过程中, 采用不同次数的高斯平滑来获得不同模糊程度的原尺寸图像。