CN111260558A - 一种可变倍率的图像超分辨率网络模型 - Google Patents

Abstract

本发明公开了一种可变倍率的图像超分辨率网络模型，模型包括参数化残差学习网络PRNet、残差精化学习网络RRNet和叠加网络；参数化残差学习网络PRNet，用于学习低分辨率LR图像到高分辨率HR图像间的映射；残差精化学习网络RRNet，用于学习重建高分辨率图像到残差图像间的映射；叠加网络，用于将高分辨率HR图像与残差图像进行叠加，形成最终的超分辨率SR图像输出。本发明通过对放大倍率参数进行显式表达，建立参数化残差学习网络模型，从而使得模型能接受任意尺度的输入，满足可变倍率超分辨率任务要求；本发明提出残差精化学习网络，进一步学习重建的高分辨率图像与重建残差间的映射关系，从而对重建图像进行残差补偿，提高超分辨率重建质量。

Description

一种可变倍率的图像超分辨率网络模型

技术领域

本发明属于数字图像处理技术领域，涉及一种图像超分辨率网络模型，具体涉及一种可变倍率的图像超分辨率网络模型。

技术背景

深度学习技术促进了图像超分辨率(super-resolution，SR)重建性能的巨大跃升，但面向超分辨率重建的深度学习模型每次只能针对一种固定的放大倍数，如果要同时执行不同倍数的超分辨率任务，则需要训练多个对应不同放大倍数的深度学习网络模型。对于需要执行任意不确定放大倍率的应用而言，超分辨率网络的这种局限性制约了其实际应用范围。

不确定放大倍率的超分辨率应用场景在现实中普遍存在，一种常见的场景是监控视频的人脸超分辨率识别，即通过超分辨率技术提升人脸的分辨率进而提高人脸识别系统的精度。由于监控目标距离摄像头远近不一，导致采集到人脸的分辨率也各不相同。将输入尺寸各异的低分辨率人脸图像提升到人脸识别器需要的统一高分辨率尺寸，就是一种典型的变倍率超分辨率处理任务。

为不同放大倍数训练各自模型的方式繁琐而不切实际，一种替代方案是，先利用传统的图像插值方法，将不定尺寸的输入图像上采样到统一的最终尺寸，再进行恒等倍率的超分辨率重建。这种方式下，深度学习超分辨率模型不再是扩大空间分辨率，而是补充图像的细节信息。由于统一尺寸后的输入图像的原有细节丰富程度各不相同，需要超分辨率模型补充的细节增量故而也不固定，从而要求超分辨率网络具有强大的不等增量细节的学习能力，这对训练样本的多样性和网络的特征模式表达能力均提出了挑战。

可见，对于可变放大倍率的超分辨率任务，当前的两种处理方式存在严重缺陷，为每种倍数训练对应网络模型的方式繁琐而不切实际；先插值到统一的分辨率再超分重建的方式忽略了不同分辨率输入图像在内容成份上的差异性，难以获得理想的重建效果。为一种放大倍数训练的网络(如X2)不能适用于另外一种倍数的图像放大(如X3)的根源在于，现有的超分辨率重建网络没有对放大倍率这一变量进行显式表达，因此，有必要提出可变放大倍率的超分辨率网络模型，满足任意尺度输入的要求。

发明内容

为了解决上述技术问题，本发明提出了一种可变倍率的图像超分辨率网络模型。

本发明所采用的技术方案是：一种可变倍率的图像超分辨率网络模型，其特征在于：所述模型包括参数化残差学习网络PRNet、残差精化学习网络RRNet和叠加网络；

所述参数化残差学习网络PRNet，用于学习低分辨率LR图像到高分辨率HR图像间的映射；

所述残差精化学习网络RRNet，用于学习重建高分辨率图像到残差图像间的映射；

所述叠加网络，用于将高分辨率HR图像与残差图像进行叠加，形成最终的超分辨率SR图像输出。

作为优选，所述参数化残差学习网络PRNet，其基本计算单元为参数化残差学习单元；

所述参数化残差学习单元，对残差图像学习网络学习得到的残差进行调控，调节残差对超分辨率重建的贡献比重，高放大倍数时贡献大，低放大倍数时贡献小，放大倍数为1时，残差不参与重建，直接输出原始图像，使得参与超分重建的残差信息量正相关于放大倍数；

所述参数化残差学习单元的形式化表达为：

y＝f·r(x)+x；

其中，x为输入的低分辨率图像，r(x)为学习得到的残差信息，f为残差调控因子，y为输出图像，即为重建的高分辨率图像。

作为优选，所述参数化残差学习单元中，输入图像x通过图像插值方法，上采样到目标放大分辨率，以便将不定尺寸的输入统一起来；输入图像x通过长程跳过Long Skip连接叠加到残差信息上，残差信息r(x)由若干级联的卷积层Conv.学习得到。

作为优选，所述参数化残差学习单元中，残差调控因子f根据放大倍数计算，与放大倍数成正比关系，计算公式如下：

其中St、Si分别为目标放大尺寸和输入的原始低分辨率图像尺寸。

作为优选，所述残差精化学习网络RRNet，其基本计算单元为现有的残差学习单元。

作为优选，最优参数化残差学习网络PRNet、残差精化学习网络RRNet均通过训练获得；

所述参数化残差学习网络PRNet的训练样本集由原始低分辨率LR图像和原始高分辨率HR图像样本对构成，通过现有普遍采用的高斯下采样方式构造；

所述残差精化学习网络RRNet的训练样本集由重建高分辨率HR图像和残差图像样本对构成；为产生训练需要的残差图像样本，从原始高分辨率HR图像中，减去参数化残差学习网络PRNet重建的高分辨率HR图像，得到残差图像样本；为训练样本集中的每幅图像都产生一个残差图像样本，合计形成残差图像样本集。

与现有的基于深度学习的超分辨率重建网络相比，本发明具有以下优点与积极效果：

1)通过对放大倍率参数进行显式表达，建立参数化残差学习网络模型，从而使得模型能接受任意尺度的输入，满足可变倍率超分辨率任务要求。

2)提出残差精化学习网络，进一步学习重建的高分辨率图像与重建残差间的映射关系，从而对重建图像进行残差补偿，提高超分辨率重建质量。

附图说明

图1为本发明实施例的可变倍率图像超分辨率网络模型的结构图；

图2为本发明实施例的参数化残差单元结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

现有的超分辨率网络一次只能针对一种放大倍数进行训练，为一种放大倍数训练的网络(如X2)不能适用于另外一种倍数的图像放大(如X3)。如果要实现任意倍数的可变倍率放大，必须为每种放大倍数训练一种网络模型，这在现实应用中不切实际。问题的根源在于现有的超分辨率重建网络没有对放大倍率这一变量进行显式表达，为此，应设计一种参数化残差学习网络模型，满足任意尺度输入的要求。

此外，超分辨率重建的图像与真实的高分辨率图像不会完全一样，往往存在偏差，如果将偏差补偿到重建结果中，将能提高超分图像的细腻度、逼真度和自然度。为此，需要进一步设计一种残差精化网络来实现预测残差的补偿。

基于上述原理，请见图1，本发明提供的一种可变倍率的图像超分辨率网络模型，结构如下：包括参数化残差学习网络(PRNet)、残差精化学习网络(RRNet)和叠加网络。前者学习低分辨率(LR)图像到高分辨率(HR)图像间的映射，后者学习重建高分辨率图像到残差间的映射。叠加网络将二者的学习结果进行叠加，形成最终的超分辨率(SR)图像输出。

图1中的参数化残差学习网络，其基本计算单元为参数化残差学习单元。图1中的残差精化学习网络，其基本计算单元为现有的残差学习单元。

下面进一步说明关键模块参数化残差学习单元的设计实例。

1)参数化残差学习单元

输入图像的分辨率与重建的目标分辨率越接近，需要超分辨率重建算法补偿的细节信息越少，当输入分辨率与目标分辨率相同时，超分辨率算法甚至不用对图像作任何改变。因此，需要超分辨率算法补充的图像信息与放大倍数成正相关关系。待补充的高频内容信息可以用低分辨率图像与真实高分辨率图像间的残差(对应为高频细节成份)来衡量，从而将问题转化为寻求残差与放大倍数的关系。

为实现上述思想，本发明在现有的超分辨率网络中引入参数化残差学习，修正传统的残差学习单元结构，对残差网络学习得到的残差进行调控，调节残差对超分辨率重建的贡献比重，高放大倍数时贡献大，低放大倍数时贡献小，放大倍数为1时，残差不参与重建，直接输出原始图像，使得参与超分重建的残差信息量正相关于放大倍数。基于这一思路，本发明设计的具有残差调控能力的参数化残差单元结构如图2所示。

由图2可见，参数化残差学习单元的形式化表达为：

y＝f·r(x)+x；

其中，x为输入的低分辨率图像，r(x)为学习得到的残差信息，f为残差调控因子，y为输出图像，即为重建的高分辨率图像。从公式可以看出，重建图像补充残差的比例，取决于残差调控因子f。

此外，构建的参数化残差学习单元还具有如下设计要点：

(1)输入图像x通过传统的图像插值方法(如Bicubic、Lanczos等)，上采样到目标放大分辨率，以便将不定尺寸的输入统一起来。

(2)输入图像x通过长程跳过(Long Skip)连接叠加到残差信息上，残差信息r(x)由多个级联的卷积层Conv.学习得到。

(3)残差调控因子f根据放大倍数计算，与放大倍数成正比关系，计算公式如下：

其中St、Si分别为目标放大尺寸和输入的原始低分辨率图像尺寸。计算f时将放大倍数减去1是为了在恒等分辨率时直接输出原始图像。

(4)由于f是根据放大倍数计算得到，因此最终取决于放大倍数。高倍率放大时需要补充的残差成份多，反之，低倍率放大时补充的残差少，当输入、输出的分辨率不改变时，此时f＝0,不需要补充任何残差信息。

2)网络训练

可变倍率图像超分辨率网络的训练，包含参数化残差学习网络的训练和残差精化学习网络的训练。

参数化残差学习网络的训练样本集由原始LR图像和HR图像样本对构成，可通过现有普遍采用的高斯下采样方式构造。

残差精化学习网络的训练样本集由重建HR图像和残差图像样本对构成。为产生训练需要的残差样本，从原始HR图像中，减去参数化残差学习网络重建的HR图像，得到残差图像样本。为训练样本集中的每幅图像都产生一个残差样本图，合计形成残差样本集。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种可变倍率的图像超分辨率网络模型，其特征在于：所述模型包括参数化残差学习网络PRNet、残差精化学习网络RRNet和叠加网络；

所述参数化残差学习网络PRNet，用于学习低分辨率LR图像到高分辨率HR图像间的映射；

所述残差精化学习网络RRNet，用于学习重建高分辨率图像到残差图像间的映射；

所述叠加网络，用于将高分辨率HR图像与残差图像进行叠加，形成最终的超分辨率SR图像输出。

2.根据权利要1所述的可变倍率的图像超分辨率网络模型，其特征在于：所述参数化残差学习网络PRNet，其基本计算单元为参数化残差学习单元；

所述参数化残差学习单元，对残差图像学习网络学习得到的残差进行调控，调节残差对超分辨率重建的贡献比重，高放大倍数时贡献大，低放大倍数时贡献小，放大倍数为1时，残差不参与重建，直接输出原始图像，使得参与超分重建的残差信息量正相关于放大倍数；

所述参数化残差学习单元的形式化表达为：

y＝f·r(x)+x；

其中，x为输入的低分辨率图像，r(x)为学习得到的残差信息，f为残差调控因子，y为输出图像，即为重建的高分辨率图像。

3.根据权利要2所述的可变倍率的图像超分辨率网络模型，其特征在于：所述参数化残差学习单元中，输入图像x通过图像插值方法，上采样到目标放大分辨率，以便将不定尺寸的输入统一起来；输入图像x通过长程跳过Long Skip连接叠加到残差信息上，残差信息r(x)由若干级联的卷积层Conv.学习得到。

4.根据权利要2所述的可变倍率的图像超分辨率网络模型，其特征在于：所述参数化残差学习单元中，残差调控因子f根据放大倍数计算，与放大倍数成正比关系，计算公式如下：

其中St、Si分别为目标放大尺寸和输入的原始低分辨率图像尺寸。

5.根据权利要1所述的可变倍率的图像超分辨率网络模型，其特征在于：所述残差精化学习网络RRNet，其基本计算单元为残差学习单元。

6.根据权利要1-5任意一项所述的可变倍率的图像超分辨率网络模型，其特征在于：最优参数化残差学习网络PRNet、残差精化学习网络RRNet均通过训练获得；

所述参数化残差学习网络PRNet的训练样本集由原始低分辨率LR图像和原始高分辨率HR图像样本对构成，通过现有普遍采用的高斯下采样方式构造；

所述残差精化学习网络RRNet的训练样本集由重建高分辨率HR图像和残差图像样本对构成；为产生训练需要的残差图像样本，从原始高分辨率HR图像中，减去参数化残差学习网络PRNet重建的高分辨率HR图像，得到残差图像样本；为训练样本集中的每幅图像都产生一个残差图像样本，合计形成残差图像样本集。

Images