CN111461978A - 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法 - Google Patents

一种基于注意力机制的逐分辨率提升图像超分辨率复原方法 Download PDF

Info

Publication number
CN111461978A
CN111461978A CN202010233685.XA CN202010233685A CN111461978A CN 111461978 A CN111461978 A CN 111461978A CN 202010233685 A CN202010233685 A CN 202010233685A CN 111461978 A CN111461978 A CN 111461978A
Authority
CN
China
Prior art keywords
resolution
super
network
image
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010233685.XA
Other languages
English (en)
Inventor
王素玉
张雨婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Langzhao Technology Beijing Co ltd
Beijing University of Technology
Original Assignee
Langzhao Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Langzhao Technology Beijing Co ltd filed Critical Langzhao Technology Beijing Co ltd
Priority to CN202010233685.XA priority Critical patent/CN111461978A/zh
Publication of CN111461978A publication Critical patent/CN111461978A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本发明公开了一种基于注意力机制的逐分辨率提升图像超分辨率复原方法,主要是基于双重注意力机制的逐分辨率提升超分辨率复原网络,通过引入特征维度与空间维度注意力机制的卷积模块,提升了模型的特征提取能力;进而借鉴对抗神经网络领域逐分辨率提升网络的相关思想,简化了网络学习难度,实现逐分辨率提升的超分辨率复原。最后通过DIV2K数据集对算法性能进行了测试,实验结果表明,本发明方法能够对输入低分辨率图像实现逐分辨率的提升,同一网络可同时实现2~4倍分辨率的提升,且重建图像的PSNR值显著优于当前主流算法。

Description

一种基于注意力机制的逐分辨率提升图像超分辨率复原方法
技术领域
本发明属于图像处理领域中的超分辨率复原研究热点,是一种利用双重注意力机制的逐分辨率提升超分辨率复原网络以获取更高分辨率的单帧图像的方法,不同于目前主流的基于SRCNN、VDSR和SRResNet的卷积神经网络,本方法提升了模型的特征提取能力;简化了网络学习难度,实现逐分辨率提升的超分辨率复原;在公开数据集上得到良好的验证。
背景技术
图像的超分辨率复原问题,特别是单帧图像的超分辨率复原问题,近年来得到了越来越多的关注与研究。其目标是从单一的低分辨率图像重建高分辨率图像。通常情况下,与原始高分辨率图像之间的关系会因情况而异。关于如何解决超分辨率的问题,最近主要使用的是基于深度卷积神经网络的方法。其中深度学习拥有强大的表征能力,这种方法通过学习高低分辨率之间的映射关系对低分辨率图片进行复原。因此,本发明也是以此为背景。
自dong等人首次使用卷积神经网络用于超分辨率复原,提出了一个新的网络模型SRCNN。这种网络模型相对于传统模型,不仅在复原速度上而且在复原质量上都取得了更优秀的结果。Kim等人在VGG-net的启发下对各种网络体系结构进行了研究。首次引入了残差网络来训练更深层次的网络结构,并取得了优异的性能。Yamanaka等人提出了DCSCN网络模型,作者把深度卷积神经网络和残差网络通过网络中嵌套网络的方法组合在一起,来增加网络的感受野提高网络的性能。残差网络的成功应用,证明了深层的网络能学习到更好的特征表示能力。Lim等人提出了EDSR网络模型,EDSR最有意义的模型性能提升是证明SRResNet多余的模块批处理规范化层不适用于超分领域并将此模块去除,从而可以扩大模型的尺寸来提升结果质量。
本发明沿用并改进了残差网络、同时也参照EDSR的网络设计去除掉了批规范化层,提出了双重注意力机制模型,使超分辨率得到了更好的重建。同时在许多基于深度学习的超分辨率算法中,输入图像在进入网络之前通过双三次插值进行上采样。通过这样做,可以在不损失模型容量的情况下减少许多计算,因为特征的大小会减小。然而,这类方法有一个缺点:它们不能在单个框架中处理多尺度问题。本发明利用每个尺度下学习特征之间的相互关系,提出了一种新的多尺度模型,可以有效地逐级重建不同尺度下的高分辨率图像。经实验表明,本发明在超分辨率复原中取得了不错的效果。
发明内容
本发明针对现有技术中存在的上述问题,本发明提供一种基于双重注意力机制和分辨率逐级提升的图像超分辨率复原方法,实现更准确的图像复原表示。
本发明中的超分辨率复原方法主要分为基干网络和超分辨率逐级提升两个部分。基干网络即低分辨率图像和高分辨率图像之间映射关系的建立过程,其中包括集中可变卷积及block模块组成,将训练集Set5、Set14和DIV2K作为网络的输入,然后进行训练,最终保存模型。超分辨率逐级提升是低分辨率图像作为输入,利用低倍分辨率的特征并接着用训练低倍数上采样模型得到的参数来初始化高倍数的上采样模型、以此进行训练。通过不同放缩倍数图像的级联关系输出高分辨率图像。
为实现上述目的,本发明采用如下技术手段:
1、使用双重特征注意力机制
本发明利用特征维度与空间维度结合的特征注意力机制的卷积模块,提升卷积神经网络超分辨率复原性能。在特征维度上增加了特征权重再分配模块,更加注重边缘特征的提取。并如图4所示,比较了来自Srresnet、Edsr 和本发明提出的网络的网络模型的构建块。Edsr在Srresnet的基础上移除了批处理规范化层,批量规范化层把特征规范化、不利于细节的复原,这种简单的修改不光提高了性能还能节省大量的内存使用。由此在空间维度上将可变性卷积与去除掉批处理规范化层与优化激活函数设计后的残差模块结合,设计出可变型残差卷积块。
本方法所采用的卷积模块区别于传统的卷积模型:
(a)特征维度的注意力机制可以提升对有用特征的学习。特征注意力机制是在特征维度上引入学习权重,超分辨率复原特征提取的有效性得到了提高。同时采用了一种特征重标定策略SElayer模块。
具体来说就是通过学习的方式来自动获取到每个特征通道的重要程度,然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。SElayer模块可以适用于任何映射,使模型直接学习到通道间的特征关系。首先进行全局平均池化的操作,从而使其具有全局的感受野,并且输出的维度和输入的特征通道数相匹配。使得网络低层也能利用全局信息。其次通过参数来为每个特征通道生成权重,其中参数被学习用来显式地建模特征通道间的相关性。最后通过特征通道的输出的权重完成在通道维度上的对原始特征的重标定。以卷积为例,卷积核为V=[v1,v2,…,vc],其中vc表示第c个卷积核。那么输出U=[u1,u2,…,uc]:
Figure BDA0002430240920000031
其中
Figure BDA0002430240920000032
代表一个3D卷积核,其输入一个特征通道上的空间特征,学习特征通道之间的空间关系。
(b)空间维度的注意力机制有助于更适用几何变化的形状。可变性卷积提取特征可以利用空间维度注意力、优化物体边缘特征的提取,这种操作有利于超分辨率细节的提升。
可变性卷积具有特征注意力,可变性卷积V1仅仅在进行卷积操作时给普通卷积的每个采样点增加了一个偏移。可变性卷积V2在V1的基础上还允许调节每个采样位置或者特征偏移。使卷积能控制更广泛层级特征的采样点,从而使网络整体上具备更精细地学习空间支持区域的能力。二是在可变性卷积层引入了幅度调制机制,其让网络学习到每一个采样点偏移量的同时也学习到这一采样点的幅度,从而使得网络在具备学习空间形变能力的同时也具备了区分采样点重要性的能力。
普通卷积定义如下:
Figure BDA0002430240920000041
可变性卷积定义如下:
Figure BDA0002430240920000042
Figure BDA0002430240920000043
上式分别是可变性卷积操作V1和V2的公式,其中△pk和△mk分别是采样点 k的位置偏移和特征调节系数。其中△pk和△mk分别是由不同卷积核得到的,这些卷积层都以特征x作为输入。
2、逐级提升结构
逐级提升即为在一个网络内2~4倍分辨率,逐级特征利用,并逐级训练。
利用多分辨率信息融合来进行超分辨率复原。在训练时先训练低倍数的上采样模型,用训练低倍数上采样模型得到的参数得到高倍数的上采样模型。本发明的模型进行上采样因子3倍分辨率训练时,利用2倍分辨率的特征并使用预先训练的2倍分辨率网络初始化模型参数来初始化3倍分辨率的上采样模型、以此进行训练。进行4倍分辨率训练时,利用3倍分辨率的特征并使用3倍分辨率网络初始化模型参数来初始化4倍分辨率的上采样模型、以此进行训练。这种训练策略加速了训练并提高了最终性能。
与现有技术相比,本方法设计的结构具有如下优势:
(a)采用由低倍复原网络逐级提升到高倍复原的设计,在训练过程高倍网络是在低倍基础之上而来,减少了训练难度,即加快训练速度。
(b)相互特征融合,增强复原的稳定性。利用低倍分辨率的特征并接着用训练低倍数上采样模型得到的参数来初始化高倍数的上采样模型、以此进行训练。这样能减少高倍数上采样模型的训练时间,同时训练结果也更好。
附图说明
图1为本发明算法总体结构图;
图2为基础ResBlock单元设计;
图3srresnet、edsr和本发明网络中残差块的比较图;
图4为实验效果图,图中排列顺序依次为原始图像;bicubic、srcnn、vdsr、 edsr算法复原后的图像;算法测试的结果图。
具体实施方式
以下结合说明书附图,对本发明的实施例加以详细说明。
本发明的总体结构如图1所示。使用双三次线性插值进行下采样之后得到 480×480的低分辨率图像。将低分辨率图像输入到设计的由卷积层和残差块组成的网络中进行映射关系的学习。首先该网络模型使用3×3的可变形卷积进行信息的特征提取。激活单元为RELU,用来减少参数的相互依存关系、解决过拟合问题的发生。接着设计了四个迭代的基础block单元,特征维度分别是64, 128,512。block单元主要由两次可变形卷积和SElayer操作组成,以此可以更利于提取目标的边缘特征。最后通过shuffle对特征图谱进行通道顺序的混洗及压缩,分别形成2倍、3倍、4倍上采样,得到高分辨率图像的输出。
对于实验,使用低分辨率图像480×480大小的rgb输入块和相应的高分辨率图像块。同时用随机水平翻转和90次旋转来增加训练数据。我通过减去div2k 数据集的平均rgb值来预处理所有图像;并在DIV2K数据集上对设计的网络进行测试。通过逐渐改变各种参数来进行试验。在这个实验中,忽略掉边界的像素,使用完整的RGB通道进行计算。之后利用PSNR的评价准则对DIV2K验证集的几幅图像进行评价。
选取smooth l1作为实验的损失函数。通常在超分辨率复原问题中l2是首选的损失函数,原因是它最大化了psnr值。然而,基于一系列的实验,发现了smooth l1损失函数相较于l2更容易控制梯度的量级,具有更好的收敛性。本发明使用 pytorch框架实现了所提出的网络,并使用Nvidia gtx 1080ti对其进行了训练。
本实验卷积神经网络的优化算法使用Adam优化器模型。将minibatch的大小设置为1,初始学习率为10-4,使用20epoch学习率衰减,β1设置为0.9,β2 设置为0.99,ε设置为10-8。在每次训练多尺度模型的更新时,本网络会先对×2 的尺度来构建小批量生产。通过×2的尺度来启用和更新×3的残差块和上采样模块。通过×3的尺度来启用和更新×4的模块。这样逐级训练输出结果图。如图4 所示,本实验达到了不错的结果。
为验证方法的有效性,本发明选取公共数据集Set5、Set14和DIV2K上进行实验分析。DIV2K数据集是一种用于图像恢复任务的高质量图像数据集。 DIV2K数据集由800张训练图像、100张验证图像和100张测试图像组成。同时还比较了两个标准基准数据集:set5、set14的性能,其中set5数据集包含5 张图像、set14数据集包含14张图像。这三个数据集被广泛应用于评价算法的性能。
在这个实验中,对超分辨率复原结果与SRCNN等多个算法的结果进行对比,表1给出了定量结果。从表中可以看出,算法的超分辨率复原效果显著优于 SRCNN等近几年的经典算法,图像处理的更加清晰、更接近原始图像。同时于图中列出了重建图的PSNR值对比数据,结果更客观的表达了本发明算法的先进性。
Figure BDA0002430240920000071
表1计算PSNR结果对比

Claims (4)

1.一种基于注意力机制的逐分辨率提升图像超分辨率复原方法,其特征在于,该方法包括如下步骤,
步骤一:根据卷积神经网络对图像特征提取的特点,使用基于特征维度与空间维度注意力机制的卷积模块,提取图像细节和不同维度的图像特征信息;
步骤二:根据图像超分辨率复原上采样过程特点,借鉴对抗神经网络领域逐分辨率提升网络的相关思想,实现逐分辨率提升的超分辨率复原。
2.根据权利要求1所述的一种基于注意力机制的逐分辨率提升图像超分辨率复原方法,其特征在于,所述步骤一中在卷积神经网络里使用特征通道维度注意力模块的方式进行通道维度权重分配;在超分辨率复原领域中引用了一种特征重标定策略SElayer模块,SElayer模块适用于任何映射,使模型直接学习到通道间的特征关系。
3.根据权利要求1所述的一种基于注意力机制的逐分辨率提升图像超分辨率复原方法,其特征在于,所述步骤一中引用可变性卷积模块,引入图像空间维度注意力机制,提高神经网络图像细节特征提取能力;可变性卷积V1仅在进行卷积操作时给普通卷积的每个采样点增加了一个偏移,可变性卷积V2在V1的基础上还允许调节每个采样位置或者特征偏移;本发明用到的可变性卷积V2,在具备学习空间形变能力的同时也具备了区分采样点重要性的能力。
4.根据权利要求1所述的一种基于注意力机制的逐分辨率提升图像超分辨率复原方法,其特征在于,所述步骤二中在一个网络内采用逐层提升的结构设计,利用多分辨率信息融合来进行超分辨率复原;在训练时先训练低倍数的上采样模型,用训练低倍数上采样模型得到的参数,来得到高倍数的上采样模型;通过此上采样模型,进行下一步训练。
CN202010233685.XA 2020-03-30 2020-03-30 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法 Pending CN111461978A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010233685.XA CN111461978A (zh) 2020-03-30 2020-03-30 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010233685.XA CN111461978A (zh) 2020-03-30 2020-03-30 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法

Publications (1)

Publication Number Publication Date
CN111461978A true CN111461978A (zh) 2020-07-28

Family

ID=71679784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010233685.XA Pending CN111461978A (zh) 2020-03-30 2020-03-30 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法

Country Status (1)

Country Link
CN (1) CN111461978A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101248A (zh) * 2020-09-18 2020-12-18 中国海洋大学 一种用于视频时空表征学习的多分组多注意力建模方法
CN112967185A (zh) * 2021-02-18 2021-06-15 复旦大学 基于频率域损失函数的图像超分辨率算法
CN113963117A (zh) * 2021-10-29 2022-01-21 温州大学 一种基于可变卷积深度网络的多视图三维重建方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765296A (zh) * 2018-06-12 2018-11-06 桂林电子科技大学 一种基于递归残差注意力网络的图像超分辨率重建方法
CN109064748A (zh) * 2018-09-18 2018-12-21 浙江工业大学 基于时间聚类分析和可变卷积神经网络的交通平均速度预测方法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN110084285A (zh) * 2019-04-08 2019-08-02 安徽艾睿思智能科技有限公司 基于深度学习的鱼类细粒度分类方法
CN110363769A (zh) * 2019-06-19 2019-10-22 西南交通大学 一种高铁接触网支撑装置腕臂系统图像分割方法
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN110852948A (zh) * 2019-11-01 2020-02-28 鹏城实验室 基于特征相关性的图像超分辨方法、存储介质及终端设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765296A (zh) * 2018-06-12 2018-11-06 桂林电子科技大学 一种基于递归残差注意力网络的图像超分辨率重建方法
CN109064748A (zh) * 2018-09-18 2018-12-21 浙江工业大学 基于时间聚类分析和可变卷积神经网络的交通平均速度预测方法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN110084285A (zh) * 2019-04-08 2019-08-02 安徽艾睿思智能科技有限公司 基于深度学习的鱼类细粒度分类方法
CN110363769A (zh) * 2019-06-19 2019-10-22 西南交通大学 一种高铁接触网支撑装置腕臂系统图像分割方法
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN110852948A (zh) * 2019-11-01 2020-02-28 鹏城实验室 基于特征相关性的图像超分辨方法、存储介质及终端设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘可文;马圆;熊红霞;严泽军;周志军;刘朝阳;房攀攀;李小军;陈亚雷;: "基于残差通道注意力网络的医学图像超分辨率重建方法" *
王一宁;秦品乐;李传朋;崔雨豪;: "基于残差神经网络的图像超分辨率改进算法" *
董猛;吴戈;曹洪玉;景文博;于洪洋;: "基于注意力残差卷积网络的视频超分辨率重构" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101248A (zh) * 2020-09-18 2020-12-18 中国海洋大学 一种用于视频时空表征学习的多分组多注意力建模方法
CN112101248B (zh) * 2020-09-18 2022-04-22 中国海洋大学 一种用于视频时空表征学习的多分组多注意力建模方法
CN112967185A (zh) * 2021-02-18 2021-06-15 复旦大学 基于频率域损失函数的图像超分辨率算法
CN113963117A (zh) * 2021-10-29 2022-01-21 温州大学 一种基于可变卷积深度网络的多视图三维重建方法及装置
CN113963117B (zh) * 2021-10-29 2024-03-29 温州大学 一种基于可变卷积深度网络的多视图三维重建方法及装置

Similar Documents

Publication Publication Date Title
CN111461978A (zh) 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法
CN112102177B (zh) 基于压缩与激励机制神经网络的图像去模糊方法
CN107563965A (zh) 基于卷积神经网络的jpeg压缩图像超分辨率重建方法
CN110009565A (zh) 一种基于轻量化网络的超分辨率图像重建方法
CN104199627B (zh) 基于多尺度在线字典学习的可分级视频编码系统
CN102156875A (zh) 基于多任务ksvd字典学习的图像超分辨率重构方法
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN115546032B (zh) 一种基于特征融合与注意力机制的单帧图像超分辨率方法
Luo et al. Lattice network for lightweight image restoration
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN109993702B (zh) 基于生成对抗网络的满文图像超分辨率重建方法
CN114331830B (zh) 一种基于多尺度残差注意力的超分辨率重建方法
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
CN115100039B (zh) 一种基于深度学习的轻量级图像超分辨率重建方法
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
CN112288630A (zh) 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及系统
CN110930308A (zh) 一种图像超分辨生成网络的结构搜索方法
CN114331911A (zh) 一种基于卷积神经网络的傅里叶叠层显微图像去噪方法
Li et al. Real-world image super-resolution by exclusionary dual-learning
CN111414988A (zh) 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
Yang et al. An image super-resolution network based on multi-scale convolution fusion
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN116168197A (zh) 一种基于Transformer分割网络和正则化训练的图像分割方法
CN116797456A (zh) 图像超分辨率重建方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination