CN111179171A - 基于残差模块和注意力机制的图像超分辨率重建方法 - Google Patents
基于残差模块和注意力机制的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN111179171A CN111179171A CN201911347271.3A CN201911347271A CN111179171A CN 111179171 A CN111179171 A CN 111179171A CN 201911347271 A CN201911347271 A CN 201911347271A CN 111179171 A CN111179171 A CN 111179171A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- residual
- attention mechanism
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000007246 mechanism Effects 0.000 title claims abstract description 32
- 230000006870 function Effects 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 3
- 230000009365 direct transmission Effects 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
Description
技术领域
本发明涉及图像超分辨率重建领域,具体涉及一种基于残差模块和注意力机制的图像超分辨率重建方法。
背景技术
图像分辨率是衡量图像质量的一项重要指标。一幅高分辨率图像可以提供更加丰富的信息,相较于低分辨率图像更易进一步挖掘和利用其中信息。由于成像传感器及信号传输带宽等的限制,成像设备获取到的图像通常只具有较低的分辨率。
成像设备精度的提升、图像尺寸的缩小、单位面积内像素数量的增加可以提高图像分辨率,但都受到了当前制造水平的制约。也就是说,从硬件上提高图像分辨率较为困难,且耗时较长、成本极高;而且,成像系统会受到噪声、模糊等干扰,获取的图像存在质量下降、分辨率受损等问题。故软件和算法方面提升图像分辨率是一个非常重要的手段。
随着深度学习的热潮,基于卷积神经网络的图像超分辨重建技术获得了较快的发展。具体来说,图像超分辨率重建技术指的是利用数字图像处理、计算机视觉等领域的相关知识,借由特定的算法和处理流程,从给定的低分辨率图像中复原出高分辨率图像的过程。其旨在克服或补偿由于图像采集系统或采集环境本身的限制,而导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。
图像超分辨率重建技术在多个领域都有着广泛的应用范围和研究意义。其中在航空侦察中,高分辨率图像有利于提高侦察效果,广泛应用于地形测绘、地质灾害监测、道路工程建设与车辆监管、农业林业及军事信息的解译等各个领域。
而现在,实现超分辨图像重建的方法大致分为两类:传统方法和卷积神经网络方法。传统方法主要是插值的方法,由低分辨率图像中临近像素通过一次或者多次多项式计算得到高分辨率图像中对应像素之间的插值来实现分辨率的增大。近年提出卷积神经网络算法如SRCNN,EDVR等,依赖于数据驱动的卷积神经网络模型来精确重建高分辨率影像所需的细节,在图像超分辨重建领域效果较传统算法有了较大提升。
本发明欲将残差模块和注意力机制应用到图像超分辨率重建方法中,以使图像超分辨性能得到进一步提升。
发明内容
本发明的目的在于提供一种基于残差模块和注意力机制的图像超分辨率重建方法,利用多级残差模块提高网络学习效率,并引入通道注意力机制,使网络能够更好地建模出对最终输出的超分辨图像更重要的特征信息,并抑制无用或作用不大的特征。
为实现上述目的,本发明设计一种基于残差模块和注意力机制的图像超分辨率重建方法,使用双三次插值将单幅低分辨率图像调整至预定大小,以这个内插值的图像为y,目的是从y中恢复图像F(y),使F(y)经过变换之后得到与高分辨率图像x相似的包括以下步骤:
S1:将单幅低分辨率图像调整至预定大小,以这个内插值的图像为y,并且称y为低分辨率图像;
S2:学习映射函数F,该映射函数的表达式为:F(y)=w*y+b,其中w为权重,b为偏置;函数的学习通过卷积神经网络实现,并运用多级残差模块和多级注意力机制;
进一步的,步骤S1中,使用了双三次插值的方式扩大图像的大小。
进一步的,步骤S2中,在学习低分辨率图像y得到其高分辨率图像F(y)的映射函数F中,采用了基于卷积操作的多级残差模块和通道注意力机制。
在图像超分辨领域,卷积神经网络的深度非常重要,但过深的网络难以训练,并且图像超分辨是为了尽可能多地恢复高频信息,而低分辨率的图片却包含着许多可以直接被传播到输出的低频信息,在过深的网络下这些信息需要传递的层数过长影响网络的学习效率,因此本发明引入多级残差模块。
为了使网络能够更好地建模对最终输出的超分辨图像更重要的特征信息,并抑制无用或作用不大的特征,本发明引入了通道注意力机制,具体来说,首先通过通道维度上的全局池化获取各通道的全局信息,然后使用全连接以及非线性激活操作自适应建模通道之间的相互依赖关系,最后使用新的相互依赖关系对原特征各通道进行加权处理,实现特征响应、重新校准的目的。
进一步的,步骤S3中,重建高分辨率图像的过程如下:
现有基于卷积神经网络的图像超分辨重建,存在如下缺陷:
1)在当前网络结构基础上进一步优化以提升每一帧图像清晰度,依旧是图像超分辨领域的主要问题,一味地加深加宽网络并不能带来效果的明显提升,反而大大增加了网络训练难度。
2)对于关键图像信息,如桥梁,码头,机场等,这些内容在图像中的比重很低,而保证低数据量关键内容的重建效果,在后续的识别算法中也很重要。
与现有技术相比,本发明具有如下优势和特点:
本发明采用双三次插值将单幅低分辨率图像变成预定大小,以这个内插值的图像为y,本发明的目标是从y中恢复图像F(y),使其经过变换之后得到使尽可能与高分辨率图像x相似;为了便于区分,仍然把y称为低分辨率图像,尽管它与x大小相同,本发明希望学习到这个映射函数F;而在学习的过程中,本发明引用了三级残差模块和通道注意力机制,通过三级残差块结构,将低频信息在不同维度直接传递,减少了训练难度;本发明采用通道注意力机制使网络能够更好地建模出对最终输出的超分辨图像更重要的特征信息,并抑制无用或作用不大的特征。
附图说明
图1为本发明的流程图;
图2为残差总块图;
图3为组成残差总块的残差块图;
图4为组成残差块的通道注意力残差块图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
参见图1,本发明提供一种基于残差模块和注意力机制的图像超分辨率重建方法,首先使用双三次插值将单幅低分辨率图像变成想要的大小,以这个内插值的图像为y,其次就是从y中恢复图像F(y),最后使F(y)经过变换之后得到使尽可能与高分辨率图像x相似。
实现低分辨率图像超分辨重建的方法如下:
S1:将单幅低分辨率图像转变成想要的大小,以这个内插值的图像为y,并且称y为低分辨率图像;
S2:学习映射函数F,该映射函数的表达式为:F(y)=w*y+b,其中w为权重,b为偏置;函数的学习通过卷积神经网络实现,并运用多级残差模块和多级注意力机制;
具体步骤如下:
1)采用双三次插值的方式将低分辨率图像lr扩大为与其高分辨率图像x相同大小的低分辨率图像y;
其中每个残差块由3个通道注意力残差块组成(参见图3);
在通道注意力残差块中(参见图4),将卷积层-Relu激活层-卷积层输出结果采用通道注意力机制重新对各通道进行加权,得到残差结果,并将残差结果与输入相加,实现较低维度输入的低频信息与经过网络得到的高频信息的结合;
在图像超分辨领域,卷积神经网络的深度非常重要,但过深的网络难以训练,并且图像超分辨是为了尽可能多地恢复高频信息,而低分辨率的图片却包含着许多可以直接被传播到输出的低频信息,在过深的网络中,这些信息需要传递的层数过长,会影响网络的学习效率,因此本发明引入多级残差模块。
而且,为了使网络能够更好地建模出对最终输出的超分辨图像更重要的特征信息,并抑制无用或作用不大的特征,本发明引入了通道注意力机制。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
2.根据权利要求1所述的基于残差模块和注意力机制的图像超分辨率重建方法,其特征在于,步骤S1中,使用双三次插值的方式扩大图像的大小。
3.根据权利要求1所述的基于残差模块和注意力机制的图像超分辨率重建方法,其特征在于,步骤S2中,学习映射函数F的过程如下:将采用双三次插值变换得到的低分辨率图片y,进行一次卷积操作,再将一次卷积操作的结果输入包含n个残差块的残差总块,其中每个残差块由m个通道注意力残差块组成;在通道注意力残差块中,将卷积层-Relu激活层-卷积层输出结果采用通道注意力机制重新对各通道进行加权,得到残差结果,并将残差结果与输入相加,实现较低维度输入的低频信息与经过网络得到的高频信息的结合。
4.根据权利要求3所述的基于残差模块和注意力机制的图像超分辨率重建方法,其特征在于,步骤S2中,n为3,m为3。
5.根据权利要求1所述的基于残差模块和注意力机制的图像超分辨率重建方法,其特征在于,步骤S3中,重建高分辨率图像的过程如下:将残差总块的输出结果经过l层卷积层,得到低码率图像y的高分辨率图像F(y);其中最后一层卷积层的输出通道数为1。
6.根据权利要求5所述的基于残差模块和注意力机制的图像超分辨率重建方法,其特征在于,步骤S3中,l为2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911347271.3A CN111179171A (zh) | 2019-12-24 | 2019-12-24 | 基于残差模块和注意力机制的图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911347271.3A CN111179171A (zh) | 2019-12-24 | 2019-12-24 | 基于残差模块和注意力机制的图像超分辨率重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111179171A true CN111179171A (zh) | 2020-05-19 |
Family
ID=70652089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911347271.3A Withdrawn CN111179171A (zh) | 2019-12-24 | 2019-12-24 | 基于残差模块和注意力机制的图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111179171A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767246A (zh) * | 2021-01-07 | 2021-05-07 | 北京航空航天大学 | 光场图像多倍率空间超分辨方法及装置 |
CN115115628A (zh) * | 2022-08-29 | 2022-09-27 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于三维精细化残差网络的腔隙性脑梗死识别系统 |
-
2019
- 2019-12-24 CN CN201911347271.3A patent/CN111179171A/zh not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767246A (zh) * | 2021-01-07 | 2021-05-07 | 北京航空航天大学 | 光场图像多倍率空间超分辨方法及装置 |
CN115115628A (zh) * | 2022-08-29 | 2022-09-27 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于三维精细化残差网络的腔隙性脑梗死识别系统 |
CN115115628B (zh) * | 2022-08-29 | 2022-11-22 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于三维精细化残差网络的腔隙性脑梗死识别系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109389556B (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
CN108537746B (zh) | 一种基于深度卷积网络的模糊可变图像盲复原方法 | |
CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
CN110717856A (zh) | 一种用于医学成像的超分辨率重建算法 | |
CN111242846B (zh) | 基于非局部增强网络的细粒度尺度图像超分辨率方法 | |
CN113837938B (zh) | 基于动态视觉传感器重建潜在图像的超分辨率方法 | |
CN108921783B (zh) | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 | |
CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
CN111242999B (zh) | 基于上采样及精确重匹配的视差估计优化方法 | |
CN111179171A (zh) | 基于残差模块和注意力机制的图像超分辨率重建方法 | |
Hui et al. | Two-stage convolutional network for image super-resolution | |
CN113724134A (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 | |
CN117788296B (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
Ding et al. | An improved image mixed noise removal algorithm based on super-resolution algorithm and CNN | |
CN112819697A (zh) | 一种遥感影像时空融合方法及系统 | |
Sun et al. | A rapid and accurate infrared image super-resolution method based on zoom mechanism | |
Zhang et al. | Iterative multi‐scale residual network for deblurring | |
CN116385264A (zh) | 一种超分辨率遥感数据重构方法 | |
Liu et al. | Gradient prior dilated convolution network for remote sensing image super-resolution | |
CN114862679A (zh) | 基于残差生成对抗网络的单图超分辨率重建方法 | |
CN111598781B (zh) | 一种基于混合高阶注意网络的图像超分辨率方法 | |
CN115131414A (zh) | 基于深度学习的无人机图像对齐方法、电子设备和存储介质 | |
Zhao et al. | Single image super-resolution via blind blurring estimation and anchored space mapping | |
CN117853340B (zh) | 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法 | |
CN113902618B (zh) | 一种基于多模态空间滤波的图像超分算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200519 |