CN107103585A - 一种图像超分辨率系统 - Google Patents

Abstract

本发明公开了一种图像超分辨率系统，该系统包括特征提取模块、细节预测模块和重构模块，其中：特征提取模块，用于对输入的待进行分辨率提升的目标图像进行特征提取，生成目标图像对应的特征图；细节预测模块，用于对输入的目标图像对应的特征图进行细节预测，获得目标图像丢失的细节图像；重构模块，用于将目标图像和细节图像进行叠加操作，重构目标图像对应的高分辨率图。应用本发明实施例所提供的技术方案，可以实现对多种不同情况的低分辨率图像进行超分辨率操作的目的，具有较好的恢复效果。

Description

一种图像超分辨率系统

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种图像超分辨率系统。

背景技术

随着计算机技术的快速发展，图像超分辨率技术也得到了快速发展。图像超分辨率就是将低分辨率(Low Resolution，LR)的图像通过一定的算法提升为高分辨率(HighResolution，HR)图像。高分辨率图像具有更高的像素密度，更多的细节信息，更细腻的画质。在实际应用过程中，基于制作工艺和工程成本的考虑，很多场合不适合采用高分辨率相机进行图像信号的采集。多数时候需要利用超分辨率技术将低分辨率图像提升为高分辨率图像。

现阶段使用的卷积神经网络均由单一卷积核构成，实现图像超分辨率多为单一方式，仅能恢复一种情况的低分辨率图像，对于不同分辨率情况的图像则无法修复或者修复效果不佳。

发明内容

本发明的目的是提供一种图像超分辨率系统，以实现对多种不同情况的低分辨图像进行超分辨率操作，具有较好的恢复效果。

为解决上述技术问题，本发明提供如下技术方案：

一种图像超分辨率系统，包括特征提取模块、细节预测模块和重构模块，其中：

所述特征提取模块，用于对输入的待进行分辨率提升的目标图像进行特征提取，生成所述目标图像对应的特征图；

所述细节预测模块，用于对输入的所述目标图像对应的特征图进行细节预测，获得所述目标图像丢失的细节图像；

所述重构模块，用于将所述目标图像和所述细节图像进行叠加操作，重构所述目标图像对应的高分辨率图像。

在本发明的一种具体实施方式中，所述特征提取模块包括多个预先训练得到的网络分支，每个网络分支分别由多个多尺度特征图映射结构级联构成，每个多尺度特征图映射结构分别由多个卷积核并联构成。

在本发明的一种具体实施方式中，所述特征提取模块包括并联的第一网络分支和第二网络分支。

在本发明的一种具体实施方式中，所述第一网络分支包括的每个第一多尺度特征图映射结构为3×3卷积核与1×1卷积核并联构成。

在本发明的一种具体实施方式中，所述第二网络分支包括的每个第二多尺度特征图映射结构为5×5卷积核与1×1卷积核并联构成。

在本发明的一种具体实施方式中，所述细节预测模块包括第三多尺度特征图映射结构、第一卷积操作和第二卷积操作。

在本发明的一种具体实施方式中，所述第三多尺度特征图映射结构为3×3卷积核与5×5卷积核并联构成。

在本发明的一种具体实施方式中，所述第一卷积操作的卷积核为9×9卷积核。

在本发明的一种具体实施方式中，所述第二卷积操作的卷积核为5×5卷积核。

应用本发明实施例所提供的技术方案，特征提取模块对输入的待进行分辨率提升的目标图像进行特征提取，生成目标图像对应的特征图，细节预测模块对输入的目标图像对应的特征图进行细节预测，获得目标图像丢失的细节图像，重构模块将目标图像和细节图像进行叠加操作，重构目标图像对应的高分辨率图像，输入到细节预测模块的是特征提取模块生成的多个尺度的特征图，可以实现对多种不同情况的低分辨率图像进行超分辨率操作的目的，具有较好的恢复效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中图像超分辨率系统的一种结构示意图；

图2为传统的卷积层结构示意图；

图3为本发明实施例中的卷积层结构示意图；

图4为本发明实施例中图像超分辨率系统的另一种结构示意图；

图5为本发明实施例中特征提取训练模型示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明实施例所提供的一种图像超分辨率系统的结构示意图，该系统可以包括特征提取模块110、细节预测模块120和重构模块130。

其中，特征提取模块110，用于对输入的待进行分辨率提升的目标图像进行特征提取，生成目标图像对应的特征图；

细节预测模块120，用于对输入的目标图像对应的特征图进行细节预测，获得目标图像丢失的细节图像；

重构模块130，用于将目标图像和细节图像进行叠加操作，重构目标图像对应的高分辨率图像。

在本发明实施例中，图像超分辨率系统用于对低分辨率图像的分辨率进行提升，获得高分辨率图像。该图像超分辨率系统包括特征提取(Feature Extraction)模块、细节预测(Detail Prediction)模块和重构(Reconstruction)模块，细节预测模块120分别与特征提取模块110和重构模块130连接。

确定待进行分辨率提升的目标图像后，可以将目标图像输入到特征提取模块110中，特征提取模块110对目标图像进行特征提取操作，生成目标图像对应的特征图。

在本发明的一种具体实施方式中，特征提取模块110可以包括多个预先训练得到的网络分支，每个网络分支分别由多个多尺度特征图映射结构级联构成，每个多尺度特征图映射结构分别由多个卷积核并联构成。

本发明实施例利用深度卷积神经网络原理实现图像超分辨率。卷积神经网络具有自主的学习能力，具有局部感知能力。一般认为人对外界的认知是从局部到全局的，图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性较弱。所以，在卷积神经网络中，每个神经元没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就可以得到全局的信息。深度卷积神经网络的反向传播能够通过自身不断地调节每层的权值，从而使得网络自身去适应一类问题。

在本发明实施例中，为了提高单层卷积层的学习能力，将图2所示的卷积核(weight)大小固定的传统的卷积层结构转换为图3所示的卷积层结构，图3所示的卷积层结构即为多尺度特征图映射结构，由n个卷积核并联构成。图2的卷积操作结果为：Y＝F(X)；图3的卷积操作结果为：F为激活函数Relu，图2和图3输出的特征图Y的数量和尺寸大小是相同的。

如图4所示，在本发明的一种具体实施方式中，特征提取模块110包括并联的第一网络分支和第二网络分支。输入的待进行分辨率提升的目标图像分别通过第一网络分支和第二网络分支，可以获得目标图像对应的特征图。第一网络分支和第二网络分支的网络结构相同，网络的卷积核不同。

其中，如图4所示，第一网络分支包括的每个第一多尺度特征图映射结构为3×3卷积核与1×1卷积核并联构成，第二网络分支包括的每个第二多尺度特征图映射结构为5×5卷积核与1×1卷积核并联构成。本发明实施例所提供的卷积核大小为较佳设置，在实际应用中，还可以设置为其他大小的卷积核，本发明实施例对此不做限制。

目标图像通过图4所示特征提取，每个网络分支可以产生64张特征图，在特征提取阶段最后产生128张特征图。

通过特征提取模块110生成目标图像对应的特征图后，可以将生成的特征图输入到细节预测模块120中，细节预测模块120对输入的目标图像对应的特征图进行细节预测，可以获得目标图像丢失的细节图像。

低分辨率图像往往是因为丢失了大量的细节而造成图像的不清晰，修复一张低分辨率的图像需要预测该图像丢失的细节。

在本发明实施例中，细节预测模块120包括第三多尺度特征图映射结构、第一卷积操作和第二卷积操作。第三多尺度特征图映射结构、第一卷积操作和第二卷积操作顺序连接构成。如图4所示，第三多尺度特征图映射结构为3×3卷积核与5×5卷积核并联构成，第一卷积操作的卷积核为9×9卷积核，第二卷积操作的卷积核为5×5卷积核。

在细节预测阶段，将特征提取阶段的128张特征图作为输入，最后产生一张细节图，其中，第一层采用3×3卷积核与5×5卷积核并联构成的第三多尺度特征图映射结构，产生64张特征图，第二层采用9×9的卷积核，产生64张特征图，第三层采用5×5的卷积核，预测得到一张细节图像。

本发明实施例所提供的卷积核大小为较佳设置，在实际应用中，还可以设置为其他大小的卷积核，本发明实施例对此不做限制。

通过重构模块130将目标图像和细节图像进行叠加操作，重构目标图像对应的高分辨图像，达到超分辨率目的。

在本发明实施例中，特征提取模块110包含的网络分支为预先训练得到，每个网络分支的训练过程分为两个阶段。

其中，第一阶段为特征提取。该阶段作为细节预测的输入，极大的决定了网络模型的表现。随着特征提取阶段网络深度的增加，整个网络的表现也会越好。这里的网络深度是指特征提取阶段中网络分支的网络层数(即为图4中的d，具体可以设置d＝5，即为5层)。为了更好的将网络特征提取阶段训练好，可以通过图5所示模型训练特征提取阶段。

在训练时，可以在特征提取阶段增加2层卷积层用于预测一张细节图，在其网络结构中，前面的m层为图4方案中特征提取阶段的网络分支结构(m等于图4中的d)，第m+1层和m+2层为增加的层数，增加层数的卷积核依照相应网络分支中卷积核的大小。例如，一个网络分支中采用3×3的卷积核，则添加层的卷积核为3×3。

不同的网络分支需要各自训练。在训练好各个网络分支之后，仅取出前m层作为特征提取阶段。之后，训练整个网络模型，将预训练好的模型参数调用到整个模型当中进行训练。

应用本发明实施例所提供的技术方案，特征提取模块对输入的待进行分辨率提升的目标图像进行特征提取，生成目标图像对应的特征图，细节预测模块对输入的目标图像对应的特征图进行细节预测，获得目标图像丢失的细节图像，重构模块将目标图像和细节图像进行叠加操作，重构目标图像对应的高分辨率图像，输入到细节预测模块的是特征提取模块生成的特征图，可以实现对多种不同情况的低分辨率图像进行超分辨率操作的目的，具有较好的恢复效果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种图像超分辨率系统，其特征在于，包括特征提取模块、细节预测模块和重构模块，其中：

所述特征提取模块，用于对输入的待进行分辨率提升的目标图像进行特征提取，生成所述目标图像对应的特征图；

所述细节预测模块，用于对输入的所述目标图像对应的特征图进行细节预测，获得所述目标图像丢失的细节图像；

所述重构模块，用于将所述目标图像和所述细节图像进行叠加操作，重构所述目标图像对应的高分辨率图像。

2.根据权利要求1所述的图像超分辨率系统，其特征在于，所述特征提取模块包括多个预先训练得到的网络分支，每个网络分支分别由多个多尺度特征图映射结构级联构成，每个多尺度特征图映射结构分别由多个卷积核并联构成。

3.根据权利要求2所述的图像超分辨系统，其特征在于，所述特征提取模块包括并联的第一网络分支和第二网络分支。

4.根据权利要求3所述的图像超分辨率系统，其特征在于，所述第一网络分支包括的每个第一多尺度特征图映射结构为3×3卷积核与1×1卷积核并联构成。

5.根据权利要求3所述的图像超分辨率系统，其特征在于，所述第二网络分支包括的每个第二多尺度特征图映射结构为5×5卷积核与1×1卷积核并联构成。

6.根据权利要求1至5任一项所述的图像超分辨率系统，其特征在于，所述细节预测模块包括第三多尺度特征图映射结构、第一卷积操作和第二卷积操作。

7.根据权利要求6所述的图像超分辨率系统，其特征在于，所述第三多尺度特征图映射结构为3×3卷积核与5×5卷积核并联构成。

8.根据权利要求6所述的图像超分辨率系统，其特征在于，所述第一卷积操作的卷积核为9×9卷积核。

9.根据权利要求6所述的图像超分辨率系统，其特征在于，所述第二卷积操作的卷积核为5×5卷积核。