CN113191955A - 图像超分辨率重建的方法及装置 - Google Patents

Abstract

本申请涉及一种图像超分辨率重建的方法及装置，图像超分辨率重建的方法包括：获取低分辨率图像；对低分辨率图像进行预处理，得到低分辨率放大图像；将低分辨率放大图像输入到预先构建的网络结构中进行图像重建处理；网络结构为添加了激活函数的卷积神经网络；输出处理结果，处理结果为低分辨率图像的高分辨率重建图像。如此，将激活函数引入到卷积神经网络中，可以构建一种可以权衡重建质量和结构复杂度的网络结构，进而有效提高图像重建效率和图像重建质量。

Description

图像超分辨率重建的方法及装置

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像超分辨率重建的方法及装置。

背景技术

图像超分辨率(super-resolution，SR)重建技术是采用软件的技术手段，以高质量低成本的完成，从一幅或多幅低分辨率(low resolution，LR)图像恢复相同场景高分辨率(high resolution，HR)图像的过程，旨在增加LR图像中的高频成分，是计算机视觉领域中的经典热门问题。图像超分辨率重建技术能够突破硬件设备的限制，获得更高更清晰的图像，是经济可行的提高图像分辨率的途径，在卫星遥感、医学图像诊疗、视频监控、公共安全、模式识别等应用场景发挥了重大作用，为图像分析提供了更加清晰的图像源。

现有图像超分辨率算法大致可分为插值法、基于重构的方法和基于学习的方法3类。插值法根据图像先验信息和统计模型进行差值计算；基于重构的方法从同一场景下的多帧LR图像中提取高频信息，融合生成HR图像；基于学习的方法通过LR-HR样本库训练获得LR图像块/特征与HR图像块/特征的映射关系，预测输入LR图像的HR重建结果。然而，上述方法的重建效率都比较低，且重建质量也存在很多不足。

发明内容

有鉴于此，本申请的目的在于克服现有的图像超分辨率重建算法重建效率较低、重建质量不足的技术问题，提供一种图像超分辨率重建的方法及装置。

为实现以上目的，本申请采用如下技术方案：

本申请的一方面提供一种图像超分辨率重建的方法，包括：

获取低分辨率图像；

对所述低分辨率图像进行预处理，得到低分辨率放大图像；

将所述低分辨率放大图像输入到预先构建的网络结构中进行图像重建处理；所述网络结构为添加了激活函数的卷积神经网络；

输出处理结果，所述处理结果为所述低分辨率图像的高分辨率重建图像。

可选的，所述获取低分辨率图像之前，所述方法还包括：

基于CNN网络结构，构建三层卷积网络模型；

将所述激活函数添加到所述三层卷积网络模型中，得到初始网络结构；

对所述初始网络结构进行优化训练，得到所述网络结构。

可选的，所述将所述激活函数添加到所述三层卷积网络模型中，包括：

将所述激活函数添加到所述三层卷积网络模型的第二层卷积层之后；所述第二层卷积层为非线性映射层。

可选的，所述对所述初始网络结构进行优化训练，得到所述网络结构，包括：

利用前向运算和反向传播的网络训练方法，对所述初始网络结构进行训练，得到各层最优化参数；

根据所述初始网络结构和各层最优化参数，得到所述网络结构。

可选的，所述对所述低分辨率图像进行预处理，得到低分辨率放大图像，包括：

利用双三次插值方法对所述低分辨率图像进行放大处理；得到所述低分辨率放大图像。

可选的，所述激活函数的表达式为：

f(x)＝max(lg_e(1+e^x)-lg_e 2,x)

f(x)表示输出的特征图的对应点的权重值，x表示输入的特征图的对应点的权重值。

本申请的另一方面提供一种图像超分辨率重建的装置，包括：

获取模块，用于获取低分辨率图像；

预处理模块，用于对所述低分辨率图像进行预处理，得到低分辨率放大图像；

图像重建模块，用于将所述低分辨率放大图像输入到预先构建的网络结构中进行图像重建处理；所述网络结构为添加了激活函数的卷积神经网络；

输出模块，用于输出处理结果，所述处理结果为所述低分辨率图像的高分辨率重建图像。

可选的，还包括构建模块；所述构建模块用于：

基于CNN网络结构，构建三层卷积网络模型；

将所述激活函数添加到所述三层卷积网络模型中，得到初始网络结构；

对所述初始网络结构进行优化训练，得到所述网络结构。

可选的，所述预处理模块，用于：

利用双三次插值方法对所述低分辨率图像进行放大处理；得到所述低分辨率放大图像。

本申请提供的技术方案可以包括以下有益效果：

本申请的方案中，预先构建了网络结构，基于此，在获取到低分辨率图像后，可以首先对低分辨率图像进行预处理，以得到低分辨率放大图像，继而将低分辨率放大图像输入到预先构建的网络结构中进行图像重建处理，该网络结构为添加了激活函数的卷积神经网络，最终输出高分辨率重建图像。如此，通过将激活函数引入到卷积神经网络中，可以构建一种可以权衡重建质量和结构复杂度的网络结构，利用该网络结构，能够有效提高图像重建效率和重建质量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的一种图像超分辨率重建的方法的流程图。

图2是本申请另一个实施例提供的一种图像超分辨率重建的装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

随着信息技术的不断进步，数字时代早已来临，图像作为其中主要的信息传播媒介之一，已经在各个场景广泛应用。在众多领域中，人们对于图像的画质有一定的需求。图像超分辨率重建技术解决了成像过程中遇到的难题，通过技术手段恢复图像的高频信息，在遥感成像、军事侦察、医学成像、视频监控和公共安全等领域得到了广泛的应用。

近几年来，图像超分辨率重建研究领域涌现出了大量优秀的重建方法。其中，基于学习的超分辨率研究方法是当前最主流的研究方向，它主要是通过训练学习图像库中高分辨率图像和低分辨率图像之间的关系预测待重建图像的高频信息。而随着深度学习研究领域的兴起，又将基于学习的图像超分辨率重建方法分为基于传统学习的方法和基于深度学习的方法。为了进一步提高图像超分辨率重建技术的效率和质量，本实施例提供了一种图像超分辨率重建的方法，如图1所示，该方法至少可以包括如下实施步骤：

步骤11、获取低分辨率图像。

步骤12、对低分辨率图像进行预处理，得到低分辨率放大图像。

实施时，通过对低分辨率图像进行简单预处理，可以使低分辨率图像放大，使得得到的低分辨率放大图像的图像大小与原始高分辨率图像的图像大小一致。

步骤13、将低分辨率放大图像输入到预先构建的网络结构中进行图像重建处理；网络结构为添加了激活函数的卷积神经网络。

步骤14、输出处理结果，处理结果为低分辨率图像的高分辨率重建图像。

本实施例中，预先构建了网络结构，基于此，在获取到低分辨率图像后，可以首先对低分辨率图像进行预处理，以得到低分辨率放大图像，继而将低分辨率放大图像输入到预先构建的网络结构中进行图像重建处理，该网络结构为添加了激活函数的卷积神经网络，最终输出高分辨率重建图像。如此，通过将激活函数引入到卷积神经网络中，可以构建一种可以权衡重建质量和结构复杂度的网络结构，利用该网络结构，能够有效提高图像重建效率和重建质量。

上述步骤12中，在对低分辨率图像进行预处理时，可以使用的预处理方法有很多，一些实施例中，可以采用双三次插值方法将低分辨率图像放大到至原始高分辨率图像的大小，从而得到低分辨率放大图像，其中插值函数为三次多项式曲线函数。

在插值过程中，待插值点通过图像网格中最近的16个临近像素点计算得到，与邻近插值和双线性插值相比，双三次插值算法复杂度较高，但插值后得到的图像视觉效果最好，可以有效提高图像重建质量。

一些实施例中，考虑到图像特征提取卷积核对图像重建的作用，以及不同非线性映射网络层参数对图像重建效果的影响，在权衡重建质量和网络结构复杂度的基础上，图像超分辨率重建的方法还可以包括：基于CNN网络结构，构建三层卷积网络模型；将激活函数添加到三层卷积网络模型中，得到初始网络结构；对初始网络结构进行优化训练，得到网络结构。如此，在简化了网络结构的同时，兼顾了图像重建质量，保证了图像重建的效率和效果。

实施时，在将激活函数添加到三层卷积网络模型中时，可以将激活函数添加到三层卷积网络模型的第二层卷积层之后。其中，第二层卷积层为非线性映射层。

实际应用中，构建网络结构可以分为两个阶段，一个是训练阶段，另一个是测试阶段。首先，在训练阶段构建一个具有卷积特征提取层、非线性映射层和超分辨率重建层的三层网络模型，并在非线性映射层的后面添加激活函数，得到初始网络结构，在通过网络训练方法对初始网络结构进行训练，得到各层最优参数，在确定了各层最优参数后，就可以得到训练好的网络结构。然后将训练好的网络结构应用到超分辨率重建的测试阶段，最后通过实验分析模型的参数性能以及网络结构特点，就可以得到重建质量较好的网络结构。

其中，在对初始网络结构进行优化训练，得到网络结构时，可以利用前向运算和反向传播的网络训练方法，对初始网络结构进行训练，得到各层最优化参数；继而根据初始网络结构和各层最优化参数，得到网络结构。

实施时，前向运算和反向传播的网络训练方法的具体实现方式可以参考现有相关技术，此处不再赘述。

在卷积神经网络中，激活函数在优化网络性能方面起到了核心关键作用。它们非线性的将输入信号转换成输出信号，将非线性特性引入到卷积神经网络中，增加网络的非线性表达能力，在输入信号和输出信号之间建立非线性映射。为了提高卷积神经网络识别图像的准确率，可以结合ReLU函数和Softplus函数构造一种既具有稀疏性有接近生物学激活特性的激活函数。该激活函数的表达式如下：

f(x)＝max(lg_e(1+e^x)-lg_e 2,x)

其中，f(x)表示输出的特征图的对应点的权重值，x表示输入的特征图的对应点的权重值。

实际应用中，在将低分辨率图像输入到预先构建的网络结构中后，网络结构的第一层卷积层可以使用64(n1)个9*9(f1*f1)大小的卷积核对输入的图像进行卷积运算，得到各种特征的图像；第二层卷积使用32(n2)个1*1(f2*f2)大小的卷积核对上一层输出的64张特征图进行卷积，并输出32正特征图，并在第二层结束后，添加激活函数，通过激活函数的计算可以提高卷积神经网络识别图像的准确率；第三层实现高分辨率图像重建，使用1(n3)个5*5(f3*f3)大小的卷积核对上一层输出的32张特征图进行卷积，最终输出1张总体结构图，即低分辨率图像的高分辨率重建图像。

值得注意的是，本实施例中建立的网络结构，可以对彩色图像的三个颜色通道同时进行卷积运算从而实现彩色图像的超分辨率重建，也可以单独的针对某一个颜色通道进行超分辨率重建。

本实施例提供一种图像超分辨率重建的装置，如图2所示，该装置具体可以包括：获取模块201，用于获取低分辨率图像；预处理模块202，用于对低分辨率图像进行预处理，得到低分辨率放大图像；图像重建模块203，用于将低分辨率放大图像输入到预先构建的网络结构中进行图像重建处理；网络结构为添加了激活函数的卷积神经网络；输出模块204，用于输出处理结果，处理结果为低分辨率图像的高分辨率重建图像。

可选的，图像超分辨率重建的装置还可以包括构建模块，构建模块可以用于：基于CNN网络结构，构建三层卷积网络模型；将激活函数添加到三层卷积网络模型中，得到初始网络结构；对初始网络结构进行优化训练，得到网络结构。

可选的，在将激活函数添加到三层卷积网络模型中时，构建模块，具体可以用于：将激活函数添加到三层卷积网络模型的第二层卷积层之后；第二层卷积层为非线性映射层。

其中，激活函数的表达式为：

f(x)＝max(lg_e(1+e^x)-lg_e 2,x)

f(x)表示输出的特征图的对应点的权重值，x表示输入的特征图的对应点的权重值。

可选的，在对初始网络结构进行优化训练，得到网络结构时，构建模块，具体可以用于：利用前向运算和反向传播的网络训练方法，对初始网络结构进行训练，得到各层最优化参数；根据初始网络结构和各层最优化参数，得到网络结构。

可选的，预处理模块202，具体可以用于：利用双三次插值方法对低分辨率图像进行放大处理；得到低分辨率放大图像。

本申请实施例提出的图像超分辨率重建的装置的具体实施方案可以参考以上任意实施例所述的图像超分辨率重建的方法的实施方案，此处不再赘述。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种图像超分辨率重建的方法，其特征在于，包括：

获取低分辨率图像；

对所述低分辨率图像进行预处理，得到低分辨率放大图像；

将所述低分辨率放大图像输入到预先构建的网络结构中进行图像重建处理；所述网络结构为添加了激活函数的卷积神经网络；

输出处理结果，所述处理结果为所述低分辨率图像的高分辨率重建图像。

2.根据权利要求1所述的图像超分辨率重建的方法，其特征在于，所述获取低分辨率图像之前，所述方法还包括：

基于CNN网络结构，构建三层卷积网络模型；

将所述激活函数添加到所述三层卷积网络模型中，得到初始网络结构；

对所述初始网络结构进行优化训练，得到所述网络结构。

3.根据权利要求2所述的图像超分辨率重建的方法，其特征在于，所述将所述激活函数添加到所述三层卷积网络模型中，包括：

将所述激活函数添加到所述三层卷积网络模型的第二层卷积层之后；所述第二层卷积层为非线性映射层。

4.根据权利要求2所述的图像超分辨率重建的方法，其特征在于，所述对所述初始网络结构进行优化训练，得到所述网络结构，包括：

利用前向运算和反向传播的网络训练方法，对所述初始网络结构进行训练，得到各层最优化参数；

根据所述初始网络结构和各层最优化参数，得到所述网络结构。

5.根据权利要求1所述的图像超分辨率重建的方法，其特征在于，所述对所述低分辨率图像进行预处理，得到低分辨率放大图像，包括：

利用双三次插值方法对所述低分辨率图像进行放大处理；得到所述低分辨率放大图像。

6.根据权利要求1-3任一项所述的图像超分辨率重建的方法，其特征在于，所述激活函数的表达式为：

f(x)＝max(lg_e(1+e^x)-lg_e2,x)

f(x)表示输出的特征图的对应点的权重值，x表示输入的特征图的对应点的权重值。

7.一种图像超分辨率重建的装置，其特征在于，包括：

获取模块，用于获取低分辨率图像；

预处理模块，用于对所述低分辨率图像进行预处理，得到低分辨率放大图像；

图像重建模块，用于将所述低分辨率放大图像输入到预先构建的网络结构中进行图像重建处理；所述网络结构为添加了激活函数的卷积神经网络；

输出模块，用于输出处理结果，所述处理结果为所述低分辨率图像的高分辨率重建图像。

8.根据权利要求7所述的图像超分辨率重建的装置，其特征在于，还包括构建模块；所述构建模块用于：

基于CNN网络结构，构建三层卷积网络模型；

将所述激活函数添加到所述三层卷积网络模型中，得到初始网络结构；

对所述初始网络结构进行优化训练，得到所述网络结构。

9.根据权利要求7所述的图像超分辨率重建的装置，其特征在于，所述预处理模块，用于：

利用双三次插值方法对所述低分辨率图像进行放大处理；得到所述低分辨率放大图像。

Images