CN112862689A - 一种图像超分辨率重建方法及系统 - Google Patents

一种图像超分辨率重建方法及系统 Download PDF

Info

Publication number
CN112862689A
CN112862689A CN202110255617.8A CN202110255617A CN112862689A CN 112862689 A CN112862689 A CN 112862689A CN 202110255617 A CN202110255617 A CN 202110255617A CN 112862689 A CN112862689 A CN 112862689A
Authority
CN
China
Prior art keywords
output
low
layer
features
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110255617.8A
Other languages
English (en)
Other versions
CN112862689B (zh
Inventor
王海勇
张开心
管维正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110255617.8A priority Critical patent/CN112862689B/zh
Publication of CN112862689A publication Critical patent/CN112862689A/zh
Application granted granted Critical
Publication of CN112862689B publication Critical patent/CN112862689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像超分辨率重建方法及系统，获取低分辨率图像；利用预先构建的低层特征提取模块提取低分辨率图像的低层特征；利用预先构建的高层特征提取模块提取高层特征，其中，高层特征提取模块由若干个堆叠的融合了多尺度卷积、通道注意力机制和短残差连接的核心块组成；长残差连接融合低层特征和高层特征；将融合特征输入到预先训练好的特征重构模块，得到超分辨率图像。优点：融合了多尺度卷积和通道注意力机制，能够学习更丰富的全局特征和多尺度特征，特征提取模块全局采用长短残差连接相结合的方法，正向传播时，浅层特征可以在深层得到重用，反向传播时，深层梯度可以直接传回浅层，避免了网络深度增加后，出现的网络退化问题。

Description

一种图像超分辨率重建方法及系统
技术领域
本发明涉及一种图像超分辨率重建方法及系统，属于图像处理技术领域。
背景技术
先前的图像超分辨率重建方法都试图构建更深更宽的网络，来提升模型性能，但忽略了充分利用低分辨率图像特征，网络层数越深，特征在传递过程中会逐渐消失，如何充分利用这些低层信息至关重要；过于密集的跳过连接，会使特征过度重用，引入冗余，同时这种架构会使网络参数过多，难以训练，对实验设备的要求太高，以上模型均仅使用单一尺度结构构建模型，不仅会增加不必要的计算量，同时提取的图像特征过于单一，缺少多尺度特征；以上模型均等的对待每个通道的特征，在处理不同类型的信息时缺乏灵活性。
同时，大多模型的特征重建模块选用反卷积层将图像恢复到原始尺寸，与插值方法相比，减少了计算量，但是对于不同尺度的模型，需要设置不同数量和尺寸的反卷积层。以2×2反卷积层为基准，逐渐将图片恢复到原始尺寸大小。放大因子越大，需要堆叠的2×2反卷积层越多，会增加训练的不确定性。并且，该方法不适用于奇数放大因子。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种图像超分辨率重建方法及系统。
为解决上述技术问题，本发明提供一种图像超分辨率重建方法，包括：
获取低分辨率图像；
利用预先构建的低层特征提取模块提取低分辨率图像的低层特征，所述低层特征提取模块为一个卷积层；
利用预先构建的高层特征提取模块根据低层特征提取高层特征，所述高层特征提取模块为若干个堆叠的融合多尺度卷积和通道注意力机制的残差结构；
融合低层特征和高层特征，得到融合特征；
将融合特征输入到预先构建的特征重构模块，得到重建的超分辨率图像，所述特征重构模块从输入到输出依次包括卷积层、Pixel Shuffle层和特征重建层。
进一步的，所述利用预先构建的低层特征提取模块提取低分辨率图像的低层特征的过程包括：
利用下式对低分辨率图像进行低层特征提取，
H0＝ω3×3*ILR+b.0 (1)
其中，H0表示低层特征提取模块输出的低层特征，ω3×3和b.0分别表示3×3卷积层的权重和偏置，ILR表示低分辨率图像。
进一步的，所述利用预先构建的高层特征提取模块根据低层特征提取高层特征的过程包括：
采用短残差连接，将n个MCA相结合，组成一个用于提取图像特征的残差块RMCAB，总共堆叠m个RMCAB，其中MCA表示一个融合多尺度卷积和通道注意力机制的结构；
m个RMCAB进行堆叠的具体表达式为：
Figure BDA0002968231920000021
其中,
Figure BDA0002968231920000022
表示第i个RMCAB的输出，i＝1，……m，
Figure BDA0002968231920000023
表示第i个RMCAB的映射函数。
进一步的，所述融合低层特征和高层特征，得到融合特征的过程包括：
采用长残差连接融合低层特征提取模块的输出和高层特征提取模块的输出，其表达式为：
Figure BDA0002968231920000024
其中，HLRC表示长残差连接输出的融合特征，
Figure BDA0002968231920000025
表示低层特征与第m个RMCAB的输出的残差连接。
进一步的，所述采用短残差连接，将n个MCA相结合，组成一个用于提取图像特征的残差块RMCAB的原理表示为：
Figure BDA0002968231920000031
其中,
Figure BDA0002968231920000032
表示第j个MCA的输出,j＝1,…,n，
Figure BDA0002968231920000033
表示第i-1个RMCAB的输出与第n个MCA的输出的残差连接，
Figure BDA0002968231920000034
表示第j个MCA映射函数；
所述MCA的结构为3×3和5×5两种尺度的卷积核分两层交叉连接的残差结构，该结构的输入输出原理为：
Figure BDA0002968231920000035
Figure BDA0002968231920000036
Figure BDA0002968231920000037
Figure BDA0002968231920000038
Figure BDA0002968231920000039
Figure BDA00029682319200000310
其中，
Figure BDA00029682319200000311
和
Figure BDA00029682319200000312
表示每一个卷积层的输出，σ(·)表示激活函数PReLU，
Figure BDA00029682319200000313
和
Figure BDA00029682319200000314
表示对应卷积层的权重，
Figure BDA00029682319200000315
表示上一个MCA的输出，
Figure BDA00029682319200000316
表示两个卷积输出的串联操作，b1表示输出为
Figure BDA00029682319200000317
或
Figure BDA00029682319200000318
的卷积层的偏置，b2表示输出为
Figure BDA00029682319200000319
或
Figure BDA00029682319200000320
的卷积层的偏置，
Figure BDA00029682319200000321
表示第j个MCA的输出，H1×1表示1×1融合层的输出，
Figure BDA0002968231920000041
表示1×1融合层的权重，b3表示1×1融合层的偏置，
Figure BDA0002968231920000042
表示第j-1个MCA的输出与1×1融合层的输出的残差连接；其中，H和ω所有的下标代表卷积核的大小，上标代表层数，*表示卷积操作,FCA(·)表示通道注意力机制的映射函数。
进一步的，所述特征重构模块的表达式为：
HCN＝FCN(HLRC) (16)
HPX＝FPX(HCN) (17)
ISR＝FRC(HPX) (18)
其中，HCN表示卷积层的输出，FCN(·)表示卷积层的映射函数；HPX表示PixelShuffle层的输出，FPX(·)表示Pixel Shuffle层的映射函数；ISR为重建的超分辨率图像，FRC(·)表示重建层的映射函数。
一种图像超分辨率重建系统，包括：
获取模块，用于获取低分辨率图像；
第一特征提取模块，用于利用预先构建的低层特征提取模块提取低分辨率图像的低层特征，所述低层特征提取模块为一个卷积层；
第二特征提取模块，用于利用预先构建的高层特征提取模块根据低层特征提取高层特征，所述高层特征提取模块为若干个堆叠的融合多尺度卷积和通道注意力机制的残差结构；
融合模块，用于融合低层特征和高层特征，得到融合特征；
确定模块，用于将融合特征输入到预先构建的特征重构模块，确定重建的超分辨率图像，所述特征重构模块从输入到输出依次包括卷积层、Pixel Shuffle层和特征重建层。
进一步的，所述第二特征提取模块包括：
第一连接模块，用于采用短残差连接，将n个MCA相结合，组成一个用于提取图像特征的残差块RMCAB，总共堆叠m个RMCAB，其中MCA表示一个融合多尺度卷积和通道注意力机制的结构；
m个RMCAB进行堆叠的具体表达式为：
Figure BDA0002968231920000051
其中,H0表示低层特征提取模块输出的低层特征，
Figure BDA0002968231920000052
表示第i个RMCAB的输出，i＝1，……m，
Figure BDA0002968231920000053
表示第i个RMCAB的映射函数。
进一步的，所述融合模块包括：
第二连接模块，用于采用长残差连接融合低层特征提取模块的输出和高层特征提取模块的输出，其表达式为：
Figure BDA0002968231920000054
其中，HLRC表示长残差连接输出的融合特征，
Figure BDA0002968231920000055
表示低层特征与第m个RMCAB的输出的残差连接。
进一步的，所述第一连接模块，用于通过下式得到残差块RMCAB，
Figure BDA0002968231920000056
其中,
Figure BDA0002968231920000057
表示第j个MCA的输出,j＝1,…,n，
Figure BDA0002968231920000058
表示第i-1个RMCAB的输出与第n个MCA的输出的残差连接，
Figure BDA0002968231920000059
表示第j个MCA映射函数；
所述MCA的结构为3×3和5×5两种尺度的卷积核分两层交叉连接的残差结构，该结构的输入输出原理为：
Figure BDA0002968231920000061
Figure BDA0002968231920000062
Figure BDA0002968231920000063
Figure BDA0002968231920000064
Figure BDA0002968231920000065
Figure BDA0002968231920000066
其中，
Figure BDA0002968231920000067
和
Figure BDA0002968231920000068
表示每一个卷积层的输出，σ(·)表示激活函数PReLU，
Figure BDA0002968231920000069
和
Figure BDA00029682319200000610
表示对应卷积层的权重，
Figure BDA00029682319200000611
表示上一个MCA的输出，
Figure BDA00029682319200000612
表示两个卷积输出的串联操作，b1表示输出为
Figure BDA00029682319200000613
或
Figure BDA00029682319200000614
的卷积层的偏置，b2表示输出为
Figure BDA00029682319200000615
或
Figure BDA00029682319200000616
的卷积层的偏置，
Figure BDA00029682319200000617
表示第j个MCA的输出，H1×1表示1×1融合层的输出，
Figure BDA00029682319200000618
表示1×1融合层的权重，b3表示1×1融合层的偏置，
Figure BDA00029682319200000619
表示第j-1个MCA的输出与1×1融合层的输出的残差连接；其中，H和ω所有的下标代表卷积核的大小，上标代表层数，*表示卷积操作,FCA(·)表示通道注意力机制的映射函数。
本发明所达到的有益效果：
本发明的图像重建模型在主网络的核心模块融合了多尺度卷积和通道注意力机制，使该模型能够学习更丰富的全局特征和多尺度特征，同时，每堆叠多个核心模块都采用一个短残差连接，正向传播时，浅层特征可以在深层得到重用，反向传播时，深层梯度可以直接传回浅层，避免了网络深度增加后，出现的网络退化问题。全局采用长残差连接，与密集跳过连接相比，仅重用低层特征提取模块的输出，避免了分层特征过度重用引入冗余信息，便于在资源受限的设备上进行训练。
附图说明
图1为本发明的整体流程图；
图2为本发明的图像超分辨率重建模型整体结构图；
图3为本发明中RMCAB的结构图；
图4为本发明中MCA的结构图；
图5为本发明中通道注意力机制的结构图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种图像超分辨率重建方法,包括以下步骤：
A、图像超分辨率重建即通过图像重建模型将低分辨率图像重建为高分辨率图像；
B、图像重建模型由特征提取模块和特征重建模块组成；
C、特征提取模块由低层特征提取模块、高层特征提取模块组成；
D、低层特征提取模块由一个卷积层构成，高层特征提取模块由若干个堆叠的融合了多尺度卷积和通道注意力机制的残差结构组成；
E、整个特征提取模块采用长短残差连接的方法融合低层特征提取模块的输出和高层特征提取模块的输出，作为特征重建模块的输入；
F、激活函数采用PReLU；
G、特征重建模块由一个卷积层、一个PixelShuffle层和一个特征重建层组成，生成超分辨率图像；
如图2所示，本发明中，所述步骤B-H中模型整体结构如下：
b-a、特征提取模块由低层特征提取模块和高层特征提取模块组成。
b-b、低层特征提取模块仅由一个3x3的卷积层组成，输入输出原理表示为：
H0＝ω3×3*ILR+b.0 (1)
其中，H0表示低层特征提取模块的输出，ω3×3表示卷积操作，b.0表示偏置。
b-c、高层特征提取模块由若干个堆叠的融合了多尺度卷积和通道注意力机制(简称CA)的结构(简称MCA)组成。采用短残差连接，将n个MAC相结合，组成一个用于提取图像特征的残差块(简称RMCAB)，总共堆叠m个RMCAB。整个特征提取模块的外围构建一条长残差连接，融合低层特征提取模块的输出和高层特征提取模块的输出，作为特征重建模块的输入。输入输出原理表示为：
Figure BDA0002968231920000081
其中,
Figure BDA0002968231920000082
表示第i个RMCAB的输出,
Figure BDA0002968231920000083
表示残差连接，HLRC表示长残差连接的输出，
Figure BDA0002968231920000084
表示第i个RMCAB的映射函数。
b-d、特征重建模块由一个卷积层、一个Pixel Shuffle层和一个特征重建层组成，重建模块的输入是由特征融合层的输出得到，最终的输出表示为：
HCN＝FCN(HLRC) (6)
HPX＝FPX(HCN) (7)
ISR＝FRC(HPX) (8)
其中，HCN表示卷积层的输出，FCN(·)表示卷积层的映射函数。HPX表示PixelShuffle层的输出，FPX(·)表示Pixel Shuffle层的映射函数。ISR为重建的超分辨率图像，FRC(·)表示重建层的映射函数。
如图3所示，本发明中，所述步骤D中RMCAB的原理如下：
Figure BDA0002968231920000091
其中,
Figure BDA0002968231920000092
表示第j个MCA的输出,j＝1,…,n，
Figure BDA0002968231920000093
表示残差连接，
Figure BDA0002968231920000094
表示第j个MCA的映射函数。
如图4所示，本发明中，所述步骤D中MCA的原理如下：
d-a、MCA的主结构包含3×3和5×5两种尺度的卷积分两层交叉连接，可以提取多种尺度的特征，卷积操作后采用激活函数对特征进行非线性映射，随后引入通道注意力机制，加强各个通道特征的关联性。两层输出相串联作为特征融合层的输入，全局采用残差结构,MCA的输入输出原理可以表示为：
Figure BDA0002968231920000095
Figure BDA0002968231920000096
Figure BDA0002968231920000097
Figure BDA0002968231920000098
Figure BDA0002968231920000101
Figure BDA0002968231920000102
其中，
Figure BDA0002968231920000103
和
Figure BDA0002968231920000104
表示每一个卷积层的输出，σ(·)表示激活函数PReLU，
Figure BDA0002968231920000105
和
Figure BDA0002968231920000106
表示卷积操作，
Figure BDA0002968231920000107
表示上一个MCA的输出，
Figure BDA0002968231920000108
表示两个卷积输出的串联操作，b1和b2表示偏置。H3表示特征融合层的输出，
Figure BDA0002968231920000109
表示起融合作用的1×1卷积操作，b3表示偏置，
Figure BDA00029682319200001010
表示残差连接。其中，H和ω所有的下标代表卷积核的大小，上标代表层数。FCA(·)表示通道注意力机制的映射函数。
如图5所示，本发明中，所述步骤D中通道注意力机制的结构如下：
d-b、目前主流的基于卷积神经网络的注意力机制包括两种，一种是空间注意力机制，另一种是通道注意力机制，本发明选择通道注意力机制。假设输入为H×W×C的特征图，H×W表示高和宽，C表示通道数，主要分为两个阶段Squeeze和Excitation。
其中Squeeze可以表示为Fsq(·)，它将空间维度进行特征压缩，即每个二维的特征图变成一个实数，相当于具有全局感受野的池化操作，特征通道数不变。除了全局平均池外，还可以在此处引入更复杂的聚合技术。令X＝[x1,...，xc，...，xC],所有通道汇总表示为z∈RC,z的第c个特征图表示为：
Figure BDA00029682319200001011
其中，xc(i,j)表示第c个特征图在位置(i,j)的值，zc表示所有通道中的第c个通道。
Excitation可以表示为Fex(·)，使用了一个2层bottleneck结构(1×1卷积)的全连接层先降维再升维加Sigmoid函数来实现，得到了每一个特征通道的权重之后，就将该权重应用于原来的每个特征通道，就可以学习到不同通道的重要特征。实现原理可以表示为：
s＝Fex(z)＝f(WUσ(WDz)) (20)
其中，f(·)表示Sigmoid函数，σ(·)表示PReLU函数。WD表示卷积层的权重集，以比例r缩减通道个数，随后通过PReLU函数进行特征激活，被PReLU激活后，低维信号随后通过权重设置为WU的通道放大层以比率r增加，然后，获得处理后的通道统计信息s。最后，将输入的原始通道特征和处理后的特征相乘，得到最终的处理结果。实现原理表示为：
Figure BDA0002968231920000111
其中,sc和xc分别表示第c个通道的原始特征和处理后的特征。
本发明提出的图像超分辨率重建模型在主网络的核心模块融合了多尺度卷积和通道注意力机制，使该模型能够学习更丰富的全局特征和多尺度特征，同时，每堆叠多个核心模块都采用一个短残差连接，正向传播时，浅层特征可以在深层得到重用，反向传播时，深层梯度可以直接传回浅层，避免了网络深度增加后，出现的网络退化问题。全局采用长残差连接，与密集跳过连接相比，仅重用低层特征提取模块的输出，避免了分层特征过度重用引入冗余信息，便于在资源受限的设备上进行训练。
相应的本发明还提供一种图像超分辨率重建系统，包括：
获取模块，用于获取低分辨率图像；
第一特征提取模块，用于利用预先构建的低层特征提取模块提取低分辨率图像的低层特征，所述低层特征提取模块为一个卷积层；
第二特征提取模块，用于利用预先构建的高层特征提取模块根据低层特征提取高层特征，所述高层特征提取模块为若干个堆叠的融合多尺度卷积和通道注意力机制的残差结构；
融合模块，用于融合低层特征和高层特征，得到融合特征；
确定模块，用于将融合特征输入到预先构建的特征重构模块，确定重建的超分辨率图像，所述特征重构模块从输入到输出依次包括卷积层、Pixel Shuffle层和特征重建层。
所述第二特征提取模块包括：
第一连接模块，用于采用短残差连接，将n个MCA相结合，组成一个用于提取图像特征的残差块RMCAB，总共堆叠m个RMCAB，其中MCA表示一个融合多尺度卷积和通道注意力机制的结构；
m个RMCAB进行堆叠的具体表达式为：
Figure BDA0002968231920000121
其中,H0表示低层特征提取模块输出的低层特征，
Figure BDA0002968231920000122
表示第i个RMCAB的输出，i＝1，……m，
Figure BDA0002968231920000123
表示第i个RMCAB的映射函数。
所述融合模块包括：
第二连接模块，用于采用长残差连接融合低层特征提取模块的输出和高层特征提取模块的输出，其表达式为：
Figure BDA0002968231920000124
其中，HLRC表示长残差连接输出的融合特征，
Figure BDA0002968231920000125
表示低层特征与第m个RMCAB的输出的残差连接。
所述第一连接模块，用于通过下式得到残差块RMCAB，
Figure BDA0002968231920000126
Figure BDA0002968231920000131
其中,
Figure BDA0002968231920000132
表示第j个MCA的输出,j＝1,…,n，
Figure BDA0002968231920000133
表示第i-1个RMCAB的输出与第n个MCA的输出的残差连接，
Figure BDA0002968231920000134
表示第j个MCA映射函数；
所述MCA的结构为3×3和5×5两种尺度的卷积核分两层交叉连接的残差结构，该结构的输入输出原理为：
Figure BDA0002968231920000135
Figure BDA0002968231920000136
Figure BDA0002968231920000137
Figure BDA0002968231920000138
Figure BDA0002968231920000139
Figure BDA00029682319200001310
其中，
Figure BDA00029682319200001311
和
Figure BDA00029682319200001312
表示每一个卷积层的输出，σ(·)表示激活函数PReLU，
Figure BDA00029682319200001313
和
Figure BDA00029682319200001314
表示对应卷积层的权重，
Figure BDA00029682319200001315
表示上一个MCA的输出，
Figure BDA00029682319200001316
表示两个卷积输出的串联操作，b1表示输出为
Figure BDA00029682319200001317
或
Figure BDA00029682319200001318
的卷积层的偏置，b2表示输出为
Figure BDA00029682319200001319
或
Figure BDA00029682319200001320
的卷积层的偏置，
Figure BDA00029682319200001321
表示第j个MCA的输出，H1×1表示1×1融合层的输出，
Figure BDA00029682319200001322
表示1×1融合层的权重，b3表示1×1融合层的偏置，
Figure BDA00029682319200001323
表示第j-1个MCA的输出与1×1融合层的输出的残差连接；其中，H和ω所有的下标代表卷积核的大小，上标代表层数，*表示卷积操作,FCA(·)表示通道注意力机制的映射函数。
利用本发明的方法可以进一步的进行训练，得到优化后的最终模型，具体过程包括：
确定损失函数选择通用的L1_Loss。假设训练集表示为
Figure BDA0002968231920000141
包括N个低分辨率图像
Figure BDA0002968231920000142
和对应的高分辨率图像
Figure BDA0002968231920000143
以低分辨率图像作为输入，通过本发明的方法输出重建的超分辨率图像，训练的最终目标是最小化两者之间的差距。L1_Loss的原理表示为：
Figure BDA0002968231920000144
其中，
Figure BDA0002968231920000145
表示参数集，
Figure BDA0002968231920000146
表示模型的输出，使用随机梯度下降法来优化损失函数。
通过迭代训练，不断优化模型参数，最终得到优化后的模型。测试集表示为
Figure BDA0002968231920000147
包括M个低分辨率图像，通过测试集的低分辨率图像对模型进行测试，生成对应的超分辨率图像，然后通过MATLAB代码，得到超分辨率图像的峰值信噪比(PSNR)和结构相似性(SSIM)。
PSNR的计算公式为：
Figure BDA0002968231920000148
其中，MAX表示图像点颜色的最大数值,L1表示损失函数。两幅图像间的PSNR值(单位dB)越高,则重建图像相对于高分辨率图像失真越少。
SSIM公式基于样本x和y之间的三个比较衡量：亮度、对比度和结构：
Figure BDA0002968231920000149
Figure BDA00029682319200001410
Figure BDA00029682319200001411
其中c3＝c2/2，μx为x的均值，μy为y的均值，
Figure BDA00029682319200001412
为x的方差，
Figure BDA00029682319200001413
为y的方差，σxy为x和y的协方差，c1＝(k1L)2，c2＝(k2L)2为两个常数，L为像素值的范围2B-1，0≤B≤8，k1＝0.01，k2＝0.03为默认值，那么，SSIM表示为：
SSIM(x,y)＝[l(x,y)α·c(x,y)β·s(x,y)γ] (27)
每次计算的时候都从图片上取一个N×N的窗口，然后不断滑动窗口进行计算，最后取平均值作为全局的SSIM。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像超分辨率重建方法，其特征在于，包括：
获取低分辨率图像；
利用预先构建的低层特征提取模块提取低分辨率图像的低层特征，所述低层特征提取模块为一个卷积层；
利用预先构建的高层特征提取模块根据低层特征提取高层特征，所述高层特征提取模块为若干个堆叠的融合多尺度卷积和通道注意力机制的残差结构；
融合低层特征和高层特征，得到融合特征；
将融合特征输入到预先构建的特征重构模块，得到重建的超分辨率图像，所述特征重构模块从输入到输出依次包括卷积层、Pixel Shuffle层和特征重建层。
2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述利用预先构建的低层特征提取模块提取低分辨率图像的低层特征的过程包括：
利用下式对低分辨率图像进行低层特征提取，
H0＝ω3×3*ILR+b.0 (1)
其中，H0表示低层特征提取模块输出的低层特征，ω3×3和b.0分别表示3×3卷积层的权重和偏置，ILR表示低分辨率图像。
3.根据权利要求2所述的图像超分辨率重建方法，其特征在于，所述利用预先构建的高层特征提取模块根据低层特征提取高层特征的过程包括：
采用短残差连接，将n个MCA相结合，组成一个用于提取图像特征的残差块RMCAB，总共堆叠m个RMCAB，其中MCA表示一个融合多尺度卷积和通道注意力机制的结构；
m个RMCAB进行堆叠的具体表达式为：
Figure FDA0002968231910000011
Figure FDA0002968231910000021
其中,
Figure FDA0002968231910000022
表示第i个RMCAB的输出，i＝1，……m，
Figure FDA0002968231910000023
表示第i个RMCAB的映射函数。
4.根据权利要求3所述的图像超分辨率重建方法，其特征在于，所述融合低层特征和高层特征，得到融合特征的过程包括：
采用长残差连接融合低层特征提取模块的输出和高层特征提取模块的输出，其表达式为：
Figure FDA0002968231910000024
其中，HLRC表示长残差连接输出的融合特征，
Figure FDA0002968231910000025
表示低层特征与第m个RMCAB的输出的残差连接。
5.根据权利要求3所述的图像超分辨率重建方法，其特征在于，所述采用短残差连接，将n个MCA相结合，组成一个用于提取图像特征的残差块RMCAB的原理表示为：
Figure FDA0002968231910000026
其中,
Figure FDA0002968231910000027
表示第j个MCA的输出,j＝1,…,n，
Figure FDA0002968231910000028
表示第i-1个RMCAB的输出与第n个MCA的输出的残差连接，
Figure FDA0002968231910000029
表示第j个MCA映射函数；
所述MCA的结构为3×3和5×5两种尺度的卷积核分两层交叉连接的残差结构，该结构的输入输出原理为：
Figure FDA0002968231910000031
Figure FDA0002968231910000032
Figure FDA0002968231910000033
Figure FDA0002968231910000034
Figure FDA0002968231910000035
Figure FDA0002968231910000036
其中，
Figure FDA0002968231910000037
和
Figure FDA0002968231910000038
表示每一个卷积层的输出，σ(·)表示激活函数PReLU，
Figure FDA0002968231910000039
和
Figure FDA00029682319100000310
表示对应卷积层的权重，
Figure FDA00029682319100000311
表示上一个MCA的输出，
Figure FDA00029682319100000312
表示两个卷积输出的串联操作，b1表示输出为
Figure FDA00029682319100000313
或
Figure FDA00029682319100000314
的卷积层的偏置，b2表示输出为
Figure FDA00029682319100000315
或
Figure FDA00029682319100000316
的卷积层的偏置，
Figure FDA00029682319100000317
表示第j个MCA的输出，H1×1表示1×1融合层的输出，
Figure FDA00029682319100000318
表示1×1融合层的权重，b3表示1×1融合层的偏置，
Figure FDA00029682319100000319
表示第j-1个MCA的输出与1×1融合层的输出的残差连接；其中，H和ω所有的下标代表卷积核的大小，上标代表层数，*表示卷积操作,FCA(·)表示通道注意力机制的映射函数。
6.根据权利要求4所述的图像超分辨率重建方法，其特征在于，所述特征重构模块的表达式为：
HCN＝FCN(HLRC) (16)
HPX＝FPX(HCN) (17)
ISR＝FRC(HPX) (18)
其中，HCN表示卷积层的输出，FCN(·)表示卷积层的映射函数；HPX表示Pixel Shuffle层的输出，FPX(·)表示Pixel Shuffle层的映射函数；ISR为重建的超分辨率图像，FRC(·)表示重建层的映射函数。
7.一种图像超分辨率重建系统，其特征在于，包括：
获取模块，用于获取低分辨率图像；
第一特征提取模块，用于利用预先构建的低层特征提取模块提取低分辨率图像的低层特征，所述低层特征提取模块为一个卷积层；
第二特征提取模块，用于利用预先构建的高层特征提取模块根据低层特征提取高层特征，所述高层特征提取模块为若干个堆叠的融合多尺度卷积和通道注意力机制的残差结构；
融合模块，用于融合低层特征和高层特征，得到融合特征；
确定模块，用于将融合特征输入到预先构建的特征重构模块，确定重建的超分辨率图像，所述特征重构模块从输入到输出依次包括卷积层、PixelShuffle层和特征重建层。
8.根据权利要求7所述的图像超分辨率重建系统，其特征在于，所述第二特征提取模块包括：
第一连接模块，用于采用短残差连接，将n个MCA相结合，组成一个用于提取图像特征的残差块RMCAB，总共堆叠m个RMCAB，其中MCA表示一个融合多尺度卷积和通道注意力机制的结构；
m个RMCAB进行堆叠的具体表达式为：
Figure FDA0002968231910000041
其中,H0表示低层特征提取模块输出的低层特征，
Figure FDA0002968231910000042
表示第i个RMCAB的输出，i＝1，……m，
Figure FDA0002968231910000043
表示第i个RMCAB的映射函数。
9.根据权利要求4所述的图像超分辨率重建系统，其特征在于，所述融合模块包括：
第二连接模块，用于采用长残差连接融合低层特征提取模块的输出和高层特征提取模块的输出，其表达式为：
Figure FDA0002968231910000051
其中，HLRC表示长残差连接输出的融合特征，
Figure FDA0002968231910000052
表示低层特征与第m个RMCAB的输出的残差连接。
10.根据权利要求8所述的图像超分辨率重建系统，其特征在于，所述第一连接模块，用于通过下式得到残差块RMCAB，
Figure FDA0002968231910000053
其中,
Figure FDA0002968231910000054
表示第j个MCA的输出,j＝1,…,n，
Figure FDA0002968231910000055
表示第i-1个RMCAB的输出与第n个MCA的输出的残差连接，
Figure FDA0002968231910000056
表示第j个MCA映射函数；
所述MCA的结构为3×3和5×5两种尺度的卷积核分两层交叉连接的残差结构，该结构的输入输出原理为：
Figure FDA0002968231910000057
Figure FDA0002968231910000058
Figure FDA0002968231910000059
Figure FDA00029682319100000510
Figure FDA00029682319100000511
Figure FDA00029682319100000512
其中，
Figure FDA00029682319100000513
和
Figure FDA00029682319100000514
表示每一个卷积层的输出，σ(·)表示激活函数PReLU，
Figure FDA00029682319100000515
和
Figure FDA00029682319100000516
表示对应卷积层的权重，
Figure FDA00029682319100000517
表示上一个MCA的输出，
Figure FDA00029682319100000518
表示两个卷积输出的串联操作，b1表示输出为
Figure FDA0002968231910000061
或
Figure FDA0002968231910000062
的卷积层的偏置，b2表示输出为
Figure FDA0002968231910000063
或
Figure FDA0002968231910000064
的卷积层的偏置，
Figure FDA0002968231910000065
表示第j个MCA的输出，H1×1表示1×1融合层的输出，
Figure FDA0002968231910000066
表示1×1融合层的权重，b3表示1×1融合层的偏置，
Figure FDA0002968231910000067
表示第j-1个MCA的输出与1×1融合层的输出的残差连接；其中，H和ω所有的下标代表卷积核的大小，上标代表层数，*表示卷积操作,FCA(·)表示通道注意力机制的映射函数。
CN202110255617.8A 2021-03-09 2021-03-09 一种图像超分辨率重建方法及系统 Active CN112862689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110255617.8A CN112862689B (zh) 2021-03-09 2021-03-09 一种图像超分辨率重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110255617.8A CN112862689B (zh) 2021-03-09 2021-03-09 一种图像超分辨率重建方法及系统

Publications (2)

Publication Number Publication Date
CN112862689A true CN112862689A (zh) 2021-05-28
CN112862689B CN112862689B (zh) 2023-02-28

Family

ID=75994914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110255617.8A Active CN112862689B (zh) 2021-03-09 2021-03-09 一种图像超分辨率重建方法及系统

Country Status (1)

Country Link
CN (1) CN112862689B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421188A (zh) * 2021-06-18 2021-09-21 广东奥普特科技股份有限公司 一种图像均衡增强的方法、系统、装置及存储介质
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN113674156A (zh) * 2021-09-06 2021-11-19 苏州大学 一种图像超分辨率重建的方法及系统
CN114429424A (zh) * 2022-04-01 2022-05-03 中国石油大学(华东) 一种适用于退化方式不定的遥感图像超分重建方法
CN114612807A (zh) * 2022-03-17 2022-06-10 盐城工学院 微小目标的特征识别方法、装置、电子设备及存储介质
CN115358931A (zh) * 2022-10-20 2022-11-18 运易通科技有限公司 一种用于仓库物流系统的图像重建方法及设备
WO2023206343A1 (zh) * 2022-04-29 2023-11-02 中国科学院深圳先进技术研究院 一种基于图像预训练策略的图像超分辨率方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN112330542A (zh) * 2020-11-18 2021-02-05 重庆邮电大学 基于crcsan网络的图像重建系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN112330542A (zh) * 2020-11-18 2021-02-05 重庆邮电大学 基于crcsan网络的图像重建系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FEILONG CAO等: "Single image super-resolution via multi-scale residual channel attention network", 《HTTPS://DOI.ORG/10.1016/J.NEUCOM.2019.05.066》 *
JUNCHENG LI等: "Multi-scale Residual Network for Image Super-Resolution", 《HTTPS://LINK.SPRINGER.COM/CONFERENCE/ECCV》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421188A (zh) * 2021-06-18 2021-09-21 广东奥普特科技股份有限公司 一种图像均衡增强的方法、系统、装置及存储介质
CN113421188B (zh) * 2021-06-18 2024-01-05 广东奥普特科技股份有限公司 一种图像均衡增强的方法、系统、装置及存储介质
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN113674156A (zh) * 2021-09-06 2021-11-19 苏州大学 一种图像超分辨率重建的方法及系统
CN114612807A (zh) * 2022-03-17 2022-06-10 盐城工学院 微小目标的特征识别方法、装置、电子设备及存储介质
CN114429424A (zh) * 2022-04-01 2022-05-03 中国石油大学(华东) 一种适用于退化方式不定的遥感图像超分重建方法
WO2023206343A1 (zh) * 2022-04-29 2023-11-02 中国科学院深圳先进技术研究院 一种基于图像预训练策略的图像超分辨率方法
CN115358931A (zh) * 2022-10-20 2022-11-18 运易通科技有限公司 一种用于仓库物流系统的图像重建方法及设备
CN115358931B (zh) * 2022-10-20 2023-01-03 运易通科技有限公司 一种用于仓库物流系统的图像重建方法及设备

Also Published As

Publication number Publication date
CN112862689B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN112862689B (zh) 一种图像超分辨率重建方法及系统
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN111105352B (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110490082B (zh) 一种有效融合神经网络特征的道路场景语义分割方法
CN111598778B (zh) 一种绝缘子图像超分辨率重建方法
CN111681166B (zh) 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN107730451A (zh) 一种基于深度残差网络的压缩感知重建方法和系统
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN111835983B (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN111080531B (zh) 一种水下鱼类图像的超分辨率重建方法、系统及装置
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN112580473B (zh) 一种融合运动特征的视频超分辨率重构方法
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN114638836B (zh) 基于高度有效驱动与多层级特征融合的城市街景分割方法
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
CN113538243B (zh) 基于多视差注意力模块组合的超分辨图像重建方法
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN115880158A (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN115170392A (zh) 一种基于注意力机制的单图像超分辨率算法
CN114529793A (zh) 一种基于门控循环特征融合的深度图像修复系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No. 9 Wenyuan Road, Qixia District, Nanjing City, Jiangsu Province, 210000

Applicant after: NANJING University OF POSTS AND TELECOMMUNICATIONS

Address before: 210000 19 ningshuang Road, Yuhuatai District, Nanjing, Jiangsu Province

Applicant before: NANJING University OF POSTS AND TELECOMMUNICATIONS

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant