CN111429352B - 一种基于神经网络的图像超分辨率重建方法及设备 - Google Patents

一种基于神经网络的图像超分辨率重建方法及设备 Download PDF

Info

Publication number
CN111429352B
CN111429352B CN202010221409.1A CN202010221409A CN111429352B CN 111429352 B CN111429352 B CN 111429352B CN 202010221409 A CN202010221409 A CN 202010221409A CN 111429352 B CN111429352 B CN 111429352B
Authority
CN
China
Prior art keywords
fusion
receptive field
feature map
output
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010221409.1A
Other languages
English (en)
Other versions
CN111429352A (zh
Inventor
张勇
钟浩轩
赵东宁
梁长垠
曾庆好
何钦煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010221409.1A priority Critical patent/CN111429352B/zh
Publication of CN111429352A publication Critical patent/CN111429352A/zh
Application granted granted Critical
Publication of CN111429352B publication Critical patent/CN111429352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于神经网络的图像超分辨率重建方法及设备，通过在超分网络中构建感受野与通道融合模块，所述感受野与通道融合模块包含多个含有感受野融合单元和通道信息融合单元的信息融合组。通过各个信息融合组中的感受野融合单元和通道信息融合单元对输入的特征图进行迭代信息融合，最后得到重建出的超分辨率图像。其中，利用感受野融合单元提升网络感受野，提高了网络对输入图像信息中不同区域信息密度差别的适应性，以及通过通道信息融合单元提供更多特征信息，缓解空间特征提取的压力，加快网络训练速度，提高网络效率，因此提升网络的自适应能力和鲁棒性。

Description

一种基于神经网络的图像超分辨率重建方法及设备
技术领域
本发明涉及图像处理技术领域，尤其涉及的是一种基于神经网络的图像超分辨率重建方法及设备。
背景技术
基于深度学习的图像超分辨率重建算法自2016年SRCNN提出以来，产生了许多性能优秀的网络结构，如VDSR、EDSR等，VDSR在SRCNN的基础上加深了网络深度，同时引入了残差结构(ResNet)，缓解网络加深带来的梯度消失问题；EDSR进一步加深网络，同时将不同放大倍数的反卷积模块放进同一个网络中进行训练，解决了以往不同放大倍数的网络需要各自单独训练的问题，使超分网络更为一体化。
但现有超分网络采用单一尺度的小卷积核堆叠而形成的卷积核进行特征提取和特征映射，网络感受野固定，对输入图像信息分布的适应性较差，因此上述网络结构的性能并不能满足取得较佳图像处理效果的需求。
因此，现有技术有待于进一步的改进。
发明内容
鉴于上述现有技术中的不足之处，本发明的目的在于为用户提供一种基于神经网络的图像超分辨重建方法及设备，克服现有技术的网络结构感受野固定、通道信息利用率低的缺陷。
本发明解决技术问题所采用的技术方案如下：
第一方面，本实施例公开了一种基于神经网络的图像超分辨率重建方法，其中，所述神经网络包括：特征提取模块、感受野与通道融合模块和图像重建模块；其中，所述感受野与通道融合模块包括：多个包括感受野融合单元和通道信息融合单元的信息融合组；
所述图像超分辨率重建方法包括：
将目标图像输入至所述特征提取模块，通过所述特征提取模块输出与所述目标图像对应的第一输出特征图；
将所述第一输出特征图输入所述感受野与通道融合模块，通过所述感受野与通道融合模块中各个信息融合组依次进行特征映射后，得到所述感受野与通道融合模块输出与所述第一输出特征图对应的第二输出特征图；
将所述第二输出特征图输入所述图像重建模块，通过所述图像重建模块输出与所述目标图像对应的超分辨率重建图像。
可选的，所述感受野融合单元包括：多个对应不同尺度卷积核的第一卷积层和感受野融合层；
所述将所述第一输出特征图输入所述感受野与通道融合模块，通过所述感受野与通道融合模块中各个信息融合组依次进行特征映射后，得到所述感受野与通道融合模块输出与所述第一输出特征图对应的第二输出特征图的步骤包括：
输入至所述感受野与通道融合模块的第一输出特征图，依次输入至各个信息融合组内的所述第一卷积层、各个第一卷积层输出的多个三维特征图及其像素值的相加和依次输入至通道信息融合单元和感受野融合层，得到由所述感受融合层输出的与所述第一输出特征图对应的第二输出特征图。
可选的，输入至所述感受野与通道融合模块的第一输出特征图，依次输入至各个信息融合组内的所述第一卷积层、各个第一卷积层输出的多个三维特征图及其像素值的相加和依次输入至通道信息融合单元和感受野融合层，得到由所述感受融合层输出的与所述第一输出特征图对应的第二输出特征图的步骤包括：
将所述第一输出特征图输入第一信息融合组的感受野融合单元，通过所述第一信息融合组的感受野融合单元的多个第一卷积层输出与所述第一输出特征图相对应的多个不同感受野的三维特征图；
将多个不同感受野的三维特征图的像素值相加后输入第一信息融合组的通道信息融合单元，通过所述第一信息融合组的通道信息融合单元输出多个携带有与各个三维特征图对应的通道信息权值的标定特征图；
将各个三维特征图、与各个三维特征图对应的通道信息权值输入至所述感受野融合层，通过所述感受野融合层得到与所述第一输出特征图对应的第一感受野融合特征图；
将所述第二信息融合组中的感受野融合单元和通道信息融合单元依次作为目标输入单元，将所述第一感受野融合特征图作为目标输入特征图；
将所述目标输入特征图依次输入到所述目标输入单元，通过所述目标输入单元中的通道信息融合单元输出所述第二感受野融合特征图；
将所述第二感受野融合特征图作为目标输入特征图，并将位于所述目标输入单元后一组的信息融合组中的感受野融合单元和通道信息融合单元依次作为目标输入单元；
继续执行将目标输入特征图输入到所述目标输入单元，通过所述目标输入单元得到感受野融合特征图的步骤，直至通过第k层目标输入组输出第k感受野融合特征图，得到所述感受野与通道融合模块输出的第二输出特征图，其中，k为正整数。
可选的，所述通道信息融合单元包括：压缩层、第一全连接层和第二全连接层；
所述将多个不同感受野的三维特征图的像素值相加后输入第一信息融合组的通道信息融合单元，通过所述第一信息融合组的通道信息融合单元输出多个携带有与各个三维特征图对应的通道信息权值的标定特征图的步骤包括：
所述将多个不同感受野的三维特征图输入压缩层，通过所述压缩层输出对所述第一感受野融合特征图进行平均池化后的压缩特征图；
将所述压缩特征图输入至第一全连接层，通过所述第一全连接层输出对所述压缩特征图进行降维处理后的低维特征图；
将所述低维特征图进行非线性映射得到的非线性特征图分别输入至多个所述第二全连接层，通过各个所述第二全连接层输出多个携带有与各个三维特征图对应的通道信息权值的标定特征图。
可选的，所述将各个三维特征图、与各个三维特征图对应的通道信息权值输入至所述感受野融合层，通过所述感受野融合层得到与所述第一输出特征图对应的第一感受野融合特征图的步骤包括：
所述感受野融合层将输入的各个三维特征图与各自对应的通道信息权值分别相乘，并将相乘得到的特征图相加，得到所述第一感受野融合特征图。
可选的，所述图像重建模块对输入的所述第二输出特征图采用缩放卷积法进行上采样处理，得到与所述目标图像对应的超分辨率重建图像。
可选的，所述图像重建模块包括插值单元和卷积单元；
所述将所述第二输出特征图输入所述图像重建模块，通过所述图像重建模块输出与所述目标图像对应的超分辨率重建图像的步骤包括：
将所述第二输出特征图输入插值单元，通过所述插值单元对所述第二输出特征图进行插值处理，得到插值处理后的特征图；
将插值处理后的特征图输入至卷积单元，通过所述卷积单元输出与所述目标图像对应的超分辨率重建图像。
可选的，所述特征提取模块包括：第二卷积层；
所述将目标图像输入至所述特征提取模块，通过所述特征提取模块输出与所述目标图像对应的第一输出特征图的步骤包括：
将目标图像输入至所述第二卷积层，通过所述卷积层将三通道图像转换成多通道的第一输出特征图。
第二方面，本实施例公开了一种图像处理终端，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现所述方法的步骤。
第三方面，本实施例公开了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述的方法的步骤。
有益效果，本发明提供了一种基于神经网络的图像超分辨率重建方法及设备，通过在超分网络中构建感受野与通道融合模块，所述感受野与通道融合模块包含多个包含感受野融合单元和通道信息融合单元的信息融合组。通过感受野融合单元提升网络感受野，提高了网络对不同的输入图像信息中不同区域信息密度差别的适应性，以及通过通道信息融合单元提供更多特征信息，缓解空间特征提取的压力，加快网络训练速度，提高网络效率，因此提升网络的自适应能力和鲁棒性。
附图说明
图1是本发明所述神经网络的原理结构框图；
图2是本发明所述的基于感受野与通道信息的图像超分辨重建方法的步骤流程图；
图3是本发明所述神经网络的网络结构示意图；
图4是本发明所述网络结构中感受野融合单元的结构示意图；
图5是本发明所述通道信息融合单元的结构示意图；
图6是本发明所述神经网络的整体结构示意图；
图7是本发明实施例中反卷积法和缩放卷积法对比图；
图8是本发明所述图像处理终端的原理结构框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
经过发明人研究发现，现有技术中的超分网络存在以下缺陷:1)虽然在SRCNN的基础上加深了网络深度加深容易造成梯度消失问题，影响网络学习效率，导致网络函数收敛较慢甚至不收敛.2)大多数现有超分网络采用单一尺度的小卷积核堆叠而形成的卷积核进行特征提取和特征映射，网络感受野固定，对输入图像信息分布的适应性较差。(3)网络通道信息利用率低，导致对输入图像信息利用不充分，加重空间信息提取压力，以至于大幅度增加空间提取的计算量只能换取网络性能的小幅提升，甚至下降。(4)上采样方法欠佳，常用的插值方法对信息的提取过于浅层，反卷积法又会导致重建图像产生棋盘效应。
为了解决上述问题，本发明构建了一种基于神经网络的图像超分辨率重建方法及系统，通过将现有技术中SRCNN的非线性映射部分设计成多个依次连接的信息融合组，所述信息融合组由感受野融合单元和通道信息融合单元组成，解决现有技术中超分网络中感受野固定、通道信息利用率低、上采样方法欠佳等问题。
为了对发明内容作进一步说明，下面结合附图，通过对实施例进行具体描述。
第一方面，本实施例公开了一种基于神经网络的图像超分辨率重建方法，如图1和图2所示，所述神经网络包括：特征提取模块101、感受野与通道融合模块102和图像重建模块103；其中，所述感受野与通道融合模块包括：多个包括感受野融合单元10211和通道信息融合单元10212的信息融合组1021。所述感受野融合单元包括10211：多个对应不同尺度卷积核的第一卷积层和感受野融合层。
所述图像超分辨率重建方法包括：
步骤S1、将目标图像输入至所述特征提取模块，通过所述特征提取模块输出与所述目标图像对应的第一输出特征图。
将目标图像输入至特征提取模块101，通过所述特征提取模块得到提取出的第一输出特征图，具体的，所述特征提取模块包括：第二卷积层；将目标图像输入至所述第二卷积层，通过所述卷积层将三通道图像转换成多通道的第一输出特征图。在一种实施方式中，所述特征提取模块是由一个3×3卷积层组成，用于将输入的三通道图像变为多通道特征图。
步骤S2、将所述第一输出特征图输入所述感受野与通道融合模块，通过所述感受野与通道融合模块中各个信息融合组依次进行特征映射后，得到所述感受野与通道融合模块输出与所述第一输出特征图对应的第二输出特征图。
具体的，所述感受野与通道融合模块中包含多个信息融合组，每个信息融合组均含有一个感受野融合单元和一个通道信息融合单元，所述感受野融合单元包括：多个不同尺度的第一卷积层和感受野融合层；
本步骤中，输入至各个信息融合组内的第一输出特征图，分别输入至各个所述第一卷积层、各个第一卷积层输出的多个三维特征图及其像素值的相加和依次输入至通道信息融合单元和感受野融合层，得到由所述感受融合层输出的与所述第一输出特征图对应的第二输出特征图。
具体的，结合图3所示，所述本步骤包括：
将所述第一输出特征图输入第一信息融合组的感受野融合单元，通过所述第一信息融合组的感受野融合单元的多个第一卷积层输出与所述第一输出特征图相对应的多个不同感受野的三维特征图；
将多个不同感受野的三维特征图的像素值相加后输入第一信息融合组的通道信息融合单元，通过所述第一信息融合组的通道信息融合单元输出多个携带有与各个三维特征图对应的通道信息权值的标定特征图；
将各个三维特征图、与各个三维特征图对应的通道信息权值输入至所述感受野融合层，通过所述感受野融合层得到与所述第一输出特征图对应的第一感受野融合特征图；
将所述第二信息融合组中的感受野融合单元和通道信息融合单元依次作为目标输入单元，将所述第一感受野融合特征图作为目标输入特征图；
将所述目标输入特征图依次输入到所述目标输入单元，通过所述目标输入单元中的通道信息融合单元输出所述第二感受野融合特征图；
将所述第二感受野融合特征图作为目标输入特征图，并将位于所述目标输入单元后一组的信息融合组中的感受野融合单元和通道信息融合单元依次作为目标输入单元；
继续执行将目标输入特征图输入到所述目标输入单元，通过所述目标输入单元得到感受野融合特征图的步骤，直至通过第k层目标输入组输出第k融合特征图，所述感受野与通道融合模块输出的第二输出特征图。
具体的，结合图4所示，所述特征提取模块输出的第一输出特征图分别和3×3、5×5以及7×7三个卷积核进行卷积操作，得到三个感受野不同的三维特征图，分别命名为Feature1、Feature2和Feature3。一方面将这三个特征图的像素值相加并输入通道信息融合单元(包含降维、升维及非线性映射)以得到各自的通道信息权值，分别命名为权值a、权值b和权值c。另一方面将Feature1、Feature2和Feature3与权值a、权值b和权值c分别相乘，得到经过通道权重进行重新标定的特征图Feature1′、Feature2′和Feature3′，然后相加输入到下一个模块。
最终实现感受野融合的步骤是图4的右半部分，经过权重指导后的特征图Feature1′、Feature2′和Feature3′各自保留着自己的感受野，随后通过像素值相加的方式将三种不同的感受野进行融合，使经过不同尺度卷积操作的特征图之间的信息得以相互补充，已达到更全面的特征提取和特征映射效果。这种方法能够使网络对不同大小的卷积核，即不同的感受野进行自适应的选择，从而提升网络的自适应能力和鲁棒性。
具体的，结合图5所示，所述通道信息融合单元包括：压缩层、第一全连接层和第二全连接层；
所述将多个不同感受野的三维特征图的像素值相加后输入第一信息融合组的通道信息融合单元，通过所述第一信息融合组的通道信息融合单元输出多个携带有与各个三维特征图对应的通道信息权值的标定特征图的步骤包括：
所述将多个不同感受野的三维特征图输入压缩层，通过所述压缩层输出对所述第一感受野融合特征图进行平均池化后的压缩特征图；
将所述压缩特征图输入至第一全连接层，通过所述第一全连接层输出对所述压缩特征图进行降维处理后的低维特征图；
将所述低维特征图进行非线性映射得到的非线性特征图分别输入至多个所述第二全连接层，通过各个所述第二全连接层输出多个携带有与各个三维特征图对应的通道信息权值的标定特征图。
所述将各个三维特征图、与各个三维特征图对应的通道信息权值输入至所述感受野融合层，通过所述感受野融合层得到与所述第一输出特征图对应的第一感受野融合特征图的步骤包括：
所述感受野融合层将输入的各个三维特征图与各自对应的通道信息权值分别相乘，并将相乘得到的特征图相加，得到所述第一感受野融合特征图。
具体的，基于通道信息融合单元中对特征图进行处理的步骤主要包含以下5个步骤：
1.多卷积层输出d的特征图U经过平均池化操作，每个通道的空间信息被压缩为一个特征值，生成大小为1×1×C的通道信息特征图s，s携带着三维特征图的U原始通道信息；
2.s经过全连接层fc0进行降维生成大小为
Figure BDA0002426213690000101
的特征图z，降维的作用主要有两个，第一是减少全连接层的参数，降低计算量；第二是降低函数复杂度，减少过拟合，提升网络泛化能力。
3.使用激活函数对z进行非线性映射，生成大小为
Figure BDA0002426213690000102
的特征图z′，使通道信息融合模块具备非线性表达能力。
4.构建三个全连接层对z′进行升维操作，生成三个大小为1×1×C的特征图a、b和c，分别携带特征图Feature1、Feature2和Feature3的通道信息重标定权重。随后将a、b、c和Feature1、Feature2和Feature3两两相乘，分别输出Feature1′、Feature2′和Feature3′，实现通道信息融合。
5.最后将Feature1′、Feature2′和Feature3′相加并输入到下一个模块，实现感受野融合。
步骤S3、将所述第二输出特征图输入所述图像重建模块，通过所述图像重建模块输出与所述目标图像对应的超分辨率重建图像。
将所述感受野与通道融合模块输出的第二输出特征图输入到图像重建模块，通过所述图像重建模块最终输出重建出的超分辨率图像。
具体的，所述图像重建模块对输入的所述第二输出特征图采用卷积法进行上采样处理，得到与所述目标图像对应的超分辨率重建图像。
为了有效缓解棋盘效应，且不增加算法设计的成本，本发明采用缩放卷积策略代替常用的反卷积法对图像进行上采样处理。图7为反卷积法和缩放卷积法的对比图，实际上是将上采样层中的反卷积模块全部替换为“插值+普通卷积”结构。缩放卷积是一种简单有效的上采样策略，是传统插值法和卷积神经网络的有效结合，结构主要包含传统插值处理和普通卷积层两部分，因此所述图像重建模块包括插值单元和卷积单元。
具体的，所述将所述第二输出特征图输入所述图像重建模块，通过所述图像重建模块输出与所述目标图像对应的超分辨率重建图像的步骤包括：
步骤S31、所述第二输出特征图输入插值单元，通过所述插值单元对所述第二输出特征图进行插值处理，得到插值处理后的特征图。
插值处理：本章的插值方法选用双线性插值法，其表达式如下：
Figure BDA0002426213690000111
Figure BDA0002426213690000112
其中，(x0,y0)和(x1,y1)为已知像素点，(x,y)为待求像素点，且x∈[x0,x1]，y∈[y0,y1]。由表达式可见，双线性插值实际上是根据x0、x和x1之间的距离计算出权重，然后对y0、y和y1之间的插值进行加权计算求出y值。插值方法计算量小，操作简单，便于实现，但是单一的插值处理只对特征的提取过于浅层，因此需要在插值后面添加卷积处理。
步骤S32、将插值处理后的特征图输入至卷积单元，通过所述卷积单元输出与所述目标图像对应的超分辨率重建图像。
卷积单元中的卷积操作：使用大小为3×3的卷积核对经过插值处理的特征图进行修复，弥补插值操作浅层特征提取的不足。反卷积是普通卷积的逆过程，是一对多的不确定性问题，而普通卷积计算则是多对一的确定性问题，因为不存在“不均匀重叠”的问题，有效缓解棋盘效应。
缩放卷积法的两个步骤为插值和普通卷积，插值用来放大图像，普通卷积用来修复图像、提取深层特征。虽然缺乏反卷积法的端对端整体性，但缩放卷积法将两个极为简单的结构相连，整体计算量小、复杂度低，在不损害重建图像质量的同时，解决棋盘效应问题。因此整体而言，缩放卷积性能优于反卷积。
本发明所述方法通过将上述三个模块：特征提取模块、感受野与通道融合模块、图像重建模块结合，构建如图6所示的神经网络，使用数据对网络进行训练，最终得到超分辨率重建网络模型，对输入的三通道彩色低分辨率图像进行超分辨率重建处理，输出相应的高分辨率图像。
本实施例公开了一种图像处理终端，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现所述方法的步骤。
具体的，如图8所示，所述图像处理终端包括至少一个处理器(processor)20以及存储器(memory)22，还可以包括显示屏21、通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，本实施例公开了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述的方法的步骤。
本发明所述方法采样多尺度卷积层实现感受野融合：在不加深网络深度的同时提升网络感受野，缓解梯度消失问题；也提高了网络对不同的输入图像信息以及同一张图像中不同区域信息密度差别的适应性，使网络构建的LR→HR预测函数更为准确，从而提升重建图像质量。
进一步的，本发明实施例引入压缩激励机制实现通道信息融合：充分利用图像通道信息，一方面可以为网络构建LR→HR预测函数的过程提供更多特征信息，另一方面能够缓解空间特征提取的压力，一定程度上能够召回空间上的计算量，加快网络训练，提高网络效率。
此外，感受野融合+通道信息融合的优势包括：特征图s实际上由多尺度卷积层输出的三个三维特征图相加后再经过平均池化处理获得，因此携带着不同分支融合到一起的通道信息，最终用于重标定的通道信息特征图a、b、c都统一受到特征图s中所携带的全局信息的指导，这种全局融合、分支激励的结构不仅发挥了分支各自的自适应选择作用，也保留了分支对全局信息的表达，能够在复杂的网络映射中保持信息流的有效传递。
采用缩放卷积法在图像重建模块中进行上采样：缩放卷积法的两个步骤为插值和普通卷积，插值用来放大图像，普通卷积用来修复图像、提取深层特征。虽然缺乏反卷积法的端对端整体性，但缩放卷积法将两个极为简单的结构相连，整体计算量小、复杂度低，在不损害重建图像质量的同时，解决棋盘效应问题。
本发明提供了一种基于神经网络的图像超分辨率重建方法及设备，通过在超分网络中感受野与通道融合模块，所述感受野与通道融合模块包含多个含有感受野融合单元和通道信息融合单元的信息融合组。通过各个所信息融合组中的感受野融合单元和通道信息融合单元对输入的特征图进行迭代信息融合，最后得到重建出的超分辨率图像。其中，利用感受野融合单元提升网络感受野，提高了网络对不同的输入图像信息以及同一张图像中不同区域信息密度差别的适应性，以及通过通道信息融合单元提供更多特征信息，缓解空间特征提取的压力，加快网络训练速度，提高网络效率，因此提升网络的自适应能力和鲁棒性。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种基于神经网络的图像超分辨率重建方法，其特征在于，所述神经网络包括：特征提取模块、感受野与通道融合模块和图像重建模块；其中，所述感受野与通道融合模块包括：多个包括感受野融合单元和通道信息融合单元的信息融合组；
所述图像超分辨率重建方法包括：
将目标图像输入至所述特征提取模块，通过所述特征提取模块输出与所述目标图像对应的第一输出特征图；
将所述第一输出特征图输入所述感受野与通道融合模块，通过所述感受野与通道融合模块中各个信息融合组依次进行特征映射后，得到所述感受野与通道融合模块输出与所述第一输出特征图对应的第二输出特征图；
将所述第二输出特征图输入所述图像重建模块，通过所述图像重建模块输出与所述目标图像对应的超分辨率重建图像；
所述感受野融合单元包括：多个对应不同尺度卷积核的第一卷积层和感受野融合层；
所述将所述第一输出特征图输入所述感受野与通道融合模块，通过所述感受野与通道融合模块中各个信息融合组依次进行特征映射后，得到所述感受野与通道融合模块输出与所述第一输出特征图对应的第二输出特征图的步骤包括：
输入至所述感受野与通道融合模块的第一输出特征图，依次输入至各个信息融合组内的所述第一卷积层、各个第一卷积层输出的多个三维特征图及其像素值的相加和依次输入至通道信息融合单元和感受野融合层，得到由所述感受野融合层输出的与所述第一输出特征图对应的第二输出特征图。
2.根据权利要求1所述的基于神经网络的图像超分辨率重建方法，其特征在于，输入至所述感受野与通道融合模块的第一输出特征图，依次输入至各个信息融合组内的所述第一卷积层、各个第一卷积层输出的多个三维特征图及其像素值的相加和依次输入至通道信息融合单元和感受野融合层，得到由所述感受融合层输出的与所述第一输出特征图对应的第二输出特征图的步骤包括：
将所述第一输出特征图输入第一信息融合组的感受野融合单元，通过所述第一信息融合组的感受野融合单元的多个第一卷积层输出与所述第一输出特征图相对应的多个不同感受野的三维特征图；
将多个不同感受野的三维特征图的像素值相加后输入第一信息融合组的通道信息融合单元，通过所述第一信息融合组的通道信息融合单元输出多个携带有与各个三维特征图对应的通道信息权值的标定特征图；
将各个三维特征图、与各个三维特征图对应的通道信息权值输入至所述感受野融合层，通过所述感受野融合层得到与所述第一输出特征图对应的第一感受野融合特征图；
将第二信息融合组中的感受野融合单元和通道信息融合单元依次作为目标输入单元，将所述第一感受野融合特征图作为目标输入特征图；
将所述目标输入特征图依次输入到所述目标输入单元，通过所述目标输入单元中的通道信息融合单元输出第二感受野融合特征图；
将所述第二感受野融合特征图作为目标输入特征图，并将位于所述目标输入单元后一组的信息融合组中的感受野融合单元和通道信息融合单元依次作为目标输入单元；
继续执行将目标输入特征图输入到所述目标输入单元，通过所述目标输入单元得到感受野融合特征图的步骤，直至通过第k层目标输入组输出第k感受野融合特征图，得到所述感受野与通道融合模块输出的第二输出特征图，其中，k为正整数。
3.根据权利要求2所述的基于神经网络的图像超分辨率重建方法，其特征在于，所述通道信息融合单元包括：压缩层、第一全连接层和第二全连接层；
所述将多个不同感受野的三维特征图的像素值相加后输入第一信息融合组的通道信息融合单元，通过所述第一信息融合组的通道信息融合单元输出多个携带有与各个三维特征图对应的通道信息权值的标定特征图的步骤包括：
所述将多个不同感受野的三维特征图输入压缩层，通过所述压缩层输出对所述第一感受野融合特征图进行平均池化后的压缩特征图；
将所述压缩特征图输入至第一全连接层，通过所述第一全连接层输出对所述压缩特征图进行降维处理后的低维特征图；
将所述低维特征图进行非线性映射得到的非线性特征图分别输入至多个所述第二全连接层，通过各个所述第二全连接层输出多个携带有与各个三维特征图对应的通道信息权值的标定特征图。
4.根据权利要求3所述的基于神经网络的图像超分辨率重建方法，其特征在于，所述将各个三维特征图、与各个三维特征图对应的通道信息权值输入至所述感受野融合层，通过所述感受野融合层得到与所述第一输出特征图对应的第一感受野融合特征图的步骤包括：
所述感受野融合层将输入的各个三维特征图与各自对应的通道信息权值分别相乘，并将相乘得到的特征图相加，得到所述第一感受野融合特征图。
5.根据权利要求1所述的基于神经网络的图像超分辨率重建方法，其特征在于，所述图像重建模块对输入的所述第二输出特征图采用缩放卷积法进行上采样处理，得到与所述目标图像对应的超分辨率重建图像。
6.根据权利要求1或5所述的基于神经网络的图像超分辨率重建方法，其特征在于，所述图像重建模块包括插值单元和卷积单元；
所述将所述第二输出特征图输入所述图像重建模块，通过所述图像重建模块输出与所述目标图像对应的超分辨率重建图像的步骤包括：
将所述第二输出特征图输入插值单元，通过所述插值单元对所述第二输出特征图进行插值处理，得到插值处理后的特征图；
将插值处理后的特征图输入至卷积单元，通过所述卷积单元输出与所述目标图像对应的超分辨率重建图像。
7.根据权利要求1所述的基于神经网络的图像超分辨率重建方法，其特征在于，所述特征提取模块包括：第二卷积层；
所述将目标图像输入至所述特征提取模块，通过所述特征提取模块输出与所述目标图像对应的第一输出特征图的步骤包括：
将目标图像输入至所述第二卷积层，通过所述卷积层将三通道图像转换成多通道的第一输出特征图。
8.一种图像处理终端，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010221409.1A 2020-03-26 2020-03-26 一种基于神经网络的图像超分辨率重建方法及设备 Active CN111429352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010221409.1A CN111429352B (zh) 2020-03-26 2020-03-26 一种基于神经网络的图像超分辨率重建方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010221409.1A CN111429352B (zh) 2020-03-26 2020-03-26 一种基于神经网络的图像超分辨率重建方法及设备

Publications (2)

Publication Number Publication Date
CN111429352A CN111429352A (zh) 2020-07-17
CN111429352B true CN111429352B (zh) 2023-04-18

Family

ID=71548733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010221409.1A Active CN111429352B (zh) 2020-03-26 2020-03-26 一种基于神经网络的图像超分辨率重建方法及设备

Country Status (1)

Country Link
CN (1) CN111429352B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184548A (zh) * 2020-09-07 2021-01-05 中国科学院深圳先进技术研究院 图像超分辨率方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522966A (zh) * 2018-11-28 2019-03-26 中山大学 一种基于密集连接卷积神经网络的目标检测方法
CN109829855A (zh) * 2019-01-23 2019-05-31 南京航空航天大学 一种基于融合多层次特征图的超分辨率重建方法
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN109522966A (zh) * 2018-11-28 2019-03-26 中山大学 一种基于密集连接卷积神经网络的目标检测方法
CN109829855A (zh) * 2019-01-23 2019-05-31 南京航空航天大学 一种基于融合多层次特征图的超分辨率重建方法

Also Published As

Publication number Publication date
CN111429352A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Tai et al. Image super-resolution via deep recursive residual network
CN111898701B (zh) 模型训练、帧图像生成、插帧方法、装置、设备及介质
CN110533594B (zh) 模型训练方法、图像重建方法、存储介质及相关设备
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN114429422A (zh) 基于残差通道注意力网络的图像超分辨率重建方法及系统
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN112767243B (zh) 一种高光谱图像超分辨率的实现方法及系统
CN112215755A (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN112270332A (zh) 一种基于子流稀疏卷积的三维目标检测方法及系统
CN113421187B (zh) 一种超分辨率重建方法、系统、存储介质、设备
CN112419150A (zh) 一种基于双边上采样网络的任意倍数图像超分辨率重建方法
CN111861886A (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN111429352B (zh) 一种基于神经网络的图像超分辨率重建方法及设备
CN111951165A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN109118428A (zh) 一种基于特征增强的图像超分辨率重建方法
Chen et al. A lightweight iterative error reconstruction network for infrared image super-resolution in smart grid
CN114154620B (zh) 人群计数网络的训练方法
CN114494003A (zh) 一种联合形状变换和纹理转换的古文字生成方法
CN114332625A (zh) 基于神经网络的遥感图像彩色化和超分辨率方法及系统
CN110782396B (zh) 一种轻量化的图像超分辨率重建网络和重建方法
CN112184552A (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
CN116681592A (zh) 基于多尺度自适应非局部注意力网络的图像超分辨率方法
CN116503251A (zh) 一种结合混合专家的生成对抗网络遥感图像超分辨重建方法
CN113191947B (zh) 一种图像超分辨率的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant