CN111179171A - 基于残差模块和注意力机制的图像超分辨率重建方法 - Google Patents

基于残差模块和注意力机制的图像超分辨率重建方法 Download PDF

Info

Publication number
CN111179171A
CN111179171A CN201911347271.3A CN201911347271A CN111179171A CN 111179171 A CN111179171 A CN 111179171A CN 201911347271 A CN201911347271 A CN 201911347271A CN 111179171 A CN111179171 A CN 111179171A
Authority
CN
China
Prior art keywords
image
resolution
residual
attention mechanism
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911347271.3A
Other languages
English (en)
Inventor
侯兴松
康越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Tianbiyou Technology Co ltd
Original Assignee
Suzhou Tianbiyou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Tianbiyou Technology Co ltd filed Critical Suzhou Tianbiyou Technology Co ltd
Priority to CN201911347271.3A priority Critical patent/CN111179171A/zh
Publication of CN111179171A publication Critical patent/CN111179171A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于残差模块和注意力机制的图像超分辨率重建方法，使用双三次插值将单幅低分辨率图像调整至预定大小，以这个内插值的图像为y，目的是从y中恢复图像F(y)，使F(y)经过变换之后得到与高分辨率图像x相似的
Figure DDA0002333725980000011
在学习映射函数F中，本发明引入了多级残差模块与多级注意力机制，多级残差模块的使用，可以实现将低频信息在不同维度直接传递，减少了训练难度；多级注意力机制的使用，可以使网络能够更好的建模出对最终输出的超分辨图像更重要的特征信息，并抑制无用或作用不大的特征。

Description

基于残差模块和注意力机制的图像超分辨率重建方法
技术领域
本发明涉及图像超分辨率重建领域，具体涉及一种基于残差模块和注意力机制的图像超分辨率重建方法。
背景技术
图像分辨率是衡量图像质量的一项重要指标。一幅高分辨率图像可以提供更加丰富的信息，相较于低分辨率图像更易进一步挖掘和利用其中信息。由于成像传感器及信号传输带宽等的限制,成像设备获取到的图像通常只具有较低的分辨率。
成像设备精度的提升、图像尺寸的缩小、单位面积内像素数量的增加可以提高图像分辨率，但都受到了当前制造水平的制约。也就是说，从硬件上提高图像分辨率较为困难，且耗时较长、成本极高；而且，成像系统会受到噪声、模糊等干扰，获取的图像存在质量下降、分辨率受损等问题。故软件和算法方面提升图像分辨率是一个非常重要的手段。
随着深度学习的热潮，基于卷积神经网络的图像超分辨重建技术获得了较快的发展。具体来说，图像超分辨率重建技术指的是利用数字图像处理、计算机视觉等领域的相关知识，借由特定的算法和处理流程，从给定的低分辨率图像中复原出高分辨率图像的过程。其旨在克服或补偿由于图像采集系统或采集环境本身的限制，而导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。
图像超分辨率重建技术在多个领域都有着广泛的应用范围和研究意义。其中在航空侦察中，高分辨率图像有利于提高侦察效果，广泛应用于地形测绘、地质灾害监测、道路工程建设与车辆监管、农业林业及军事信息的解译等各个领域。
而现在，实现超分辨图像重建的方法大致分为两类：传统方法和卷积神经网络方法。传统方法主要是插值的方法，由低分辨率图像中临近像素通过一次或者多次多项式计算得到高分辨率图像中对应像素之间的插值来实现分辨率的增大。近年提出卷积神经网络算法如SRCNN，EDVR等，依赖于数据驱动的卷积神经网络模型来精确重建高分辨率影像所需的细节，在图像超分辨重建领域效果较传统算法有了较大提升。
本发明欲将残差模块和注意力机制应用到图像超分辨率重建方法中，以使图像超分辨性能得到进一步提升。
发明内容
本发明的目的在于提供一种基于残差模块和注意力机制的图像超分辨率重建方法，利用多级残差模块提高网络学习效率，并引入通道注意力机制，使网络能够更好地建模出对最终输出的超分辨图像更重要的特征信息，并抑制无用或作用不大的特征。
为实现上述目的，本发明设计一种基于残差模块和注意力机制的图像超分辨率重建方法，使用双三次插值将单幅低分辨率图像调整至预定大小，以这个内插值的图像为y，目的是从y中恢复图像F(y)，使F(y)经过变换之后得到与高分辨率图像x相似的
Figure BDA0002333725960000022
包括以下步骤：
S1：将单幅低分辨率图像调整至预定大小，以这个内插值的图像为y，并且称y为低分辨率图像；
S2：学习映射函数F，该映射函数的表达式为：F(y)＝w*y+b，其中w为权重，b为偏置；函数的学习通过卷积神经网络实现，并运用多级残差模块和多级注意力机制；
S3：重建，该操作汇聚双三次插值、多级残差模块以及多级注意力机制所得的图像信息，得到能与高分辨率图像x相似的重建图像
Figure BDA0002333725960000021
进一步的，步骤S1中，使用了双三次插值的方式扩大图像的大小。
进一步的，步骤S2中，在学习低分辨率图像y得到其高分辨率图像F(y)的映射函数F中，采用了基于卷积操作的多级残差模块和通道注意力机制。
在图像超分辨领域，卷积神经网络的深度非常重要，但过深的网络难以训练，并且图像超分辨是为了尽可能多地恢复高频信息，而低分辨率的图片却包含着许多可以直接被传播到输出的低频信息，在过深的网络下这些信息需要传递的层数过长影响网络的学习效率，因此本发明引入多级残差模块。
为了使网络能够更好地建模对最终输出的超分辨图像更重要的特征信息，并抑制无用或作用不大的特征，本发明引入了通道注意力机制，具体来说，首先通过通道维度上的全局池化获取各通道的全局信息，然后使用全连接以及非线性激活操作自适应建模通道之间的相互依赖关系，最后使用新的相互依赖关系对原特征各通道进行加权处理，实现特征响应、重新校准的目的。
进一步的，步骤S3中，重建高分辨率图像的过程如下：
将残差总块的输出结果经过2层卷积层，得到低码率图像y的高分辨率图像
Figure BDA0002333725960000031
其中最后一层卷积层的输出通道数为1。
现有基于卷积神经网络的图像超分辨重建，存在如下缺陷：
1)在当前网络结构基础上进一步优化以提升每一帧图像清晰度，依旧是图像超分辨领域的主要问题，一味地加深加宽网络并不能带来效果的明显提升，反而大大增加了网络训练难度。
2)对于关键图像信息，如桥梁，码头，机场等，这些内容在图像中的比重很低，而保证低数据量关键内容的重建效果，在后续的识别算法中也很重要。
与现有技术相比，本发明具有如下优势和特点：
本发明采用双三次插值将单幅低分辨率图像变成预定大小，以这个内插值的图像为y，本发明的目标是从y中恢复图像F(y)，使其经过变换之后得到
Figure BDA0002333725960000041
使
Figure BDA0002333725960000042
尽可能与高分辨率图像x相似；为了便于区分，仍然把y称为低分辨率图像，尽管它与x大小相同，本发明希望学习到这个映射函数F；而在学习的过程中，本发明引用了三级残差模块和通道注意力机制，通过三级残差块结构，将低频信息在不同维度直接传递，减少了训练难度；本发明采用通道注意力机制使网络能够更好地建模出对最终输出的超分辨图像更重要的特征信息，并抑制无用或作用不大的特征。
附图说明
图1为本发明的流程图；
图2为残差总块图；
图3为组成残差总块的残差块图；
图4为组成残差块的通道注意力残差块图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
参见图1，本发明提供一种基于残差模块和注意力机制的图像超分辨率重建方法，首先使用双三次插值将单幅低分辨率图像变成想要的大小，以这个内插值的图像为y，其次就是从y中恢复图像F(y)，最后使F(y)经过变换之后得到
Figure BDA0002333725960000043
使
Figure BDA0002333725960000044
尽可能与高分辨率图像x相似。
实现低分辨率图像超分辨重建的方法如下：
S1：将单幅低分辨率图像转变成想要的大小，以这个内插值的图像为y，并且称y为低分辨率图像；
S2：学习映射函数F，该映射函数的表达式为：F(y)＝w*y+b，其中w为权重，b为偏置；函数的学习通过卷积神经网络实现，并运用多级残差模块和多级注意力机制；
S3：重建，该操作汇聚了双三次插值、多级残差模块以及多级注意力机制所得的图像信息，得到能与高分辨率图像x相似的重建图像
Figure BDA0002333725960000051
具体步骤如下：
1)采用双三次插值的方式将低分辨率图像lr扩大为与其高分辨率图像x相同大小的低分辨率图像y；
2)将低分辨率图像y输入到包含多级残差模块和通道注意力机制的超分辨率重建网络中，得到F(y)，即
Figure BDA0002333725960000052
具体步骤如下：
2.1)将低分辨率图片y进行一次卷积操作得到特征信息
Figure BDA0002333725960000053
其中卷积核大小为3x3，通道数为128，步长为1；
2.2)将
Figure BDA0002333725960000054
输入到包含3个残差块的残差总块中，得到
Figure BDA0002333725960000055
(参见图2)；
其中每个残差块由3个通道注意力残差块组成(参见图3)；
在通道注意力残差块中(参见图4)，将卷积层-Relu激活层-卷积层输出结果采用通道注意力机制重新对各通道进行加权，得到残差结果，并将残差结果与输入相加，实现较低维度输入的低频信息与经过网络得到的高频信息的结合；
3)重建，该操作汇聚了双三次插值、多级残差模块以及多级注意力机制所得的图像信息，得到能与高分辨率图像x相似的重建图像
Figure BDA0002333725960000056
具体步骤如下：
将
Figure BDA0002333725960000057
经过两层卷积操作之后，得到与x相同大小的高分辨率图像
Figure BDA0002333725960000058
其中，最后一层卷积操作中的通道数为1。
在图像超分辨领域，卷积神经网络的深度非常重要，但过深的网络难以训练，并且图像超分辨是为了尽可能多地恢复高频信息，而低分辨率的图片却包含着许多可以直接被传播到输出的低频信息，在过深的网络中，这些信息需要传递的层数过长，会影响网络的学习效率，因此本发明引入多级残差模块。
而且，为了使网络能够更好地建模出对最终输出的超分辨图像更重要的特征信息，并抑制无用或作用不大的特征，本发明引入了通道注意力机制。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.基于残差模块和注意力机制的图像超分辨率重建方法，其特征在于，使用双三次插值将单幅低分辨率图像调整至预定大小，以这个内插值的图像为y，目的是从y中恢复图像F(y)，使F(y)经过变换之后得到与高分辨率图像x相似的
Figure FDA0002333725950000011
包括以下步骤：
S1：将单幅低分辨率图像调整至预定大小，以这个内插值的图像为y，并且称y为低分辨率图像；
S2：学习映射函数F，该映射函数的表达式为：F(y)＝w*y+b，其中w为权重，b为偏置；函数的学习通过卷积神经网络实现，并运用多级残差模块和多级注意力机制；
S3：重建，该操作汇聚双三次插值、多级残差模块以及多级注意力机制所得的图像信息，得到能与高分辨率图像x相似的重建图像
Figure FDA0002333725950000012
2.根据权利要求1所述的基于残差模块和注意力机制的图像超分辨率重建方法，其特征在于，步骤S1中，使用双三次插值的方式扩大图像的大小。
3.根据权利要求1所述的基于残差模块和注意力机制的图像超分辨率重建方法，其特征在于，步骤S2中，学习映射函数F的过程如下：将采用双三次插值变换得到的低分辨率图片y，进行一次卷积操作，再将一次卷积操作的结果输入包含n个残差块的残差总块，其中每个残差块由m个通道注意力残差块组成；在通道注意力残差块中，将卷积层-Relu激活层-卷积层输出结果采用通道注意力机制重新对各通道进行加权，得到残差结果，并将残差结果与输入相加，实现较低维度输入的低频信息与经过网络得到的高频信息的结合。
4.根据权利要求3所述的基于残差模块和注意力机制的图像超分辨率重建方法，其特征在于，步骤S2中，n为3，m为3。
5.根据权利要求1所述的基于残差模块和注意力机制的图像超分辨率重建方法，其特征在于，步骤S3中，重建高分辨率图像的过程如下：将残差总块的输出结果经过l层卷积层，得到低码率图像y的高分辨率图像F(y)；其中最后一层卷积层的输出通道数为1。
6.根据权利要求5所述的基于残差模块和注意力机制的图像超分辨率重建方法，其特征在于，步骤S3中，l为2。
CN201911347271.3A 2019-12-24 2019-12-24 基于残差模块和注意力机制的图像超分辨率重建方法 Withdrawn CN111179171A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911347271.3A CN111179171A (zh) 2019-12-24 2019-12-24 基于残差模块和注意力机制的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911347271.3A CN111179171A (zh) 2019-12-24 2019-12-24 基于残差模块和注意力机制的图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN111179171A true CN111179171A (zh) 2020-05-19

Family

ID=70652089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911347271.3A Withdrawn CN111179171A (zh) 2019-12-24 2019-12-24 基于残差模块和注意力机制的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111179171A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767246A (zh) * 2021-01-07 2021-05-07 北京航空航天大学 光场图像多倍率空间超分辨方法及装置
CN115115628A (zh) * 2022-08-29 2022-09-27 山东第一医科大学附属省立医院(山东省立医院) 一种基于三维精细化残差网络的腔隙性脑梗死识别系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767246A (zh) * 2021-01-07 2021-05-07 北京航空航天大学 光场图像多倍率空间超分辨方法及装置
CN115115628A (zh) * 2022-08-29 2022-09-27 山东第一医科大学附属省立医院(山东省立医院) 一种基于三维精细化残差网络的腔隙性脑梗死识别系统
CN115115628B (zh) * 2022-08-29 2022-11-22 山东第一医科大学附属省立医院(山东省立医院) 一种基于三维精细化残差网络的腔隙性脑梗死识别系统

Similar Documents

Publication Publication Date Title
CN109389556B (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN108537746B (zh) 一种基于深度卷积网络的模糊可变图像盲复原方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN110717856A (zh) 一种用于医学成像的超分辨率重建算法
CN111242846B (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN113837938B (zh) 基于动态视觉传感器重建潜在图像的超分辨率方法
CN108921783B (zh) 一种基于混合损失函数约束的卫星影像超分辨率重建方法
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN112991173A (zh) 基于双通道特征迁移网络的单帧图像超分辨率重建方法
CN111179171A (zh) 基于残差模块和注意力机制的图像超分辨率重建方法
CN111242999B (zh) 基于上采样及精确重匹配的视差估计优化方法
CN112819697A (zh) 一种遥感影像时空融合方法及系统
Ding et al. An improved image mixed noise removal algorithm based on super-resolution algorithm and CNN
CN113724134A (zh) 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法
Zhang et al. Iterative multi‐scale residual network for deblurring
CN116385264A (zh) 一种超分辨率遥感数据重构方法
CN114862679A (zh) 基于残差生成对抗网络的单图超分辨率重建方法
CN111598781B (zh) 一种基于混合高阶注意网络的图像超分辨率方法
CN115131414A (zh) 基于深度学习的无人机图像对齐方法、电子设备和存储介质
CN114170087A (zh) 一种基于跨尺度低秩约束的图像盲超分辨率方法
Zhao et al. Single image super-resolution via blind blurring estimation and anchored space mapping
CN117853340B (zh) 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法
CN113902618B (zh) 一种基于多模态空间滤波的图像超分算法
CN117670674A (zh) 一种面向卫星遥感影像质量提升的目标超分辨率重建技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200519