CN111047515A - 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 - Google Patents

一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 Download PDF

Info

Publication number
CN111047515A
CN111047515A CN201911387641.6A CN201911387641A CN111047515A CN 111047515 A CN111047515 A CN 111047515A CN 201911387641 A CN201911387641 A CN 201911387641A CN 111047515 A CN111047515 A CN 111047515A
Authority
CN
China
Prior art keywords
convolution
attention
image
neural network
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911387641.6A
Other languages
English (en)
Other versions
CN111047515B (zh
Inventor
宋昭漾
赵小强
徐铸业
惠永永
常启慧
牟淼
姚红娟
刘舒宁
张和慧
魏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN201911387641.6A priority Critical patent/CN111047515B/zh
Publication of CN111047515A publication Critical patent/CN111047515A/zh
Application granted granted Critical
Publication of CN111047515B publication Critical patent/CN111047515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，该方法设计了基于注意力机制的空洞卷积模块、多通道基于注意力机制的空洞卷积模块、注意力残差块、多通道特征提取模块，在此基础上设计了基于注意力机制的空洞卷积神经网络。本发明方法提出使用空洞卷积实现多种不同尺寸的感受野去提取低分辨率图像特征信息，并利用注意力块提取图像高频信息。同时为了充分利用低分辨率图像特征信息之间的相关性并提取更多的特征信息，该方法设计了多通道基于注意力机制的空洞卷积模块，该模块采用多通道的方式使用不同的感受野对低分辨率图像进行特征提取，然后使用注意力残差块对各个通道提取到的特征进行深度的特征提取，有效提高了图像超分辨率重建效果。

Description

一种基于注意力机制的空洞卷积神经网络图像超分辨率重建 方法
技术领域
本发明属于计算机视觉技术领域，涉及一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法。
背景技术
视觉是人类观察世界、认知世界的重要手段，人类从外界获取的信息约有75％来自视觉系统，因此计算机视觉这门学科应运而生。计算机视觉是指用计算机来实现人类的视觉功能，也就是用计算机来实现对客观世界的识别，即实现人类视觉系统的某些功能。而在计算机视觉中，图像超分辨率重建技术是一项应用广泛且十分重要的技术。
图像超分辨率重建是指由一幅低分辨率图像或图像序列恢复出高分辨率图像，其被广泛应用于卫星图像、城市监控、医疗等领域。由于在许多应用领域中需求的增长，图像超分辨率重建已经成为研究的热点。由于低分辨率图像细节信息的丢失，所以超分辨率重建从本质上来说是一个病态问题。尽管在过去十年中已经取得了很多重要的进展，但是如何重建出更好的高分辨率图像仍然是一项基本且具有挑战性的任务。
近年来，基于深度学习的图像超分辨率重建算法被广泛提出并取得不错的效果。Dong等人首次将深度学习应用到超分辨率重建，提出了基于卷积神经网络的超分辨率重建算法(Super-Resolution Convolutional Neural Network,SRCNN)，SRCNN算法使用了一个3层卷积网络实现从低分辨率图像到高分辨率图像端到端的学习，使得图像重建效果相比传统算法得到了较大提高。Kim等人提出了基于深度卷积网络的图像超分辨率重建算法(Very Deep Convolution Network Super-Resolution,VDSR)，该算法将残差结构应用到超分辨率重建中，使得卷积神经网络层数加深到20层，能够提取到图像更多的特征信息，图像重建效果大大提高。Lai等人提出基于拉普拉斯金字塔结构的超分辨率重建算法(Laplacian Pyramid Super-Resolution Network,LapSRN)，该算法通过逐步上采样的方式进行重建。Ledig等人提出了基于生成对抗网络的超分辨率重建算法(Super-ResolutionGenerative Adversarial Network,SRGAN)，该算法将生成对抗网络结构应用到超分辨率重建中，并利用感知损失和对抗损失作为损失函数，使得重建的效果更逼真。Lim等人提出基于增强的深度残差网络图像超分辨率重建算法(Enhanced Deep Residual Network forSingle Image Super-Resolution,EDSR),该算法删除了原始残差块中的多余模块，使用了更多的卷积层提取到更丰富的特征信息，从而获得了更好的图像重建性能。
虽然，上述的基于深度学习的图像超分辨率重建算法都取得不错的重建效果，但是他们都是使用固定的感受野去提取低分辨率图像特征信息，不能充分利用低分辨率图像特征信息之间的相关性提取到更多的特征信息，从而使得图像超分辨率重建效果受到限制。
发明内容
本发明的目的在于针对现有技术存在的问题，提出一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法。
为此，本发明采用如下技术方案：
一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，包括如下步骤：
步骤1：选择训练数据集和测试数据集，并对训练数据集图像进行增强处理，扩充训练数据集图像；
步骤2：将步骤1得到的训练数据集图像进行1/N比例下采样处理，得到对应的低分辨率图像，其中N为缩放因子；
步骤3：将步骤1得到的训练数据集图像裁剪成H×W的图像块，将步骤2得到的低分辨率图像裁剪成H/N×W/N的图像块；
步骤4：将步骤3得到的两种图像块作为高分辨率图像和低分辨率图像样本对，生成HDF5的训练数据集文件；
步骤5：设计基于注意力机制的空洞卷积神经网络
5.1：设计基于注意力机制的空洞卷积模块
基于注意力机制的空洞卷积模块是由一个空洞卷积层和一个注意力块端对端的连接组成，空洞卷积层的输出端连接注意力块的输入端，同时空洞卷积层的输出端与注意力块的输出端相乘构成基于注意力机制的空洞卷积模块的输出；
5.2：设计多通道基于注意力机制的空洞卷积模块
多通道基于注意力机制的空洞卷积模块由m个不同空洞卷积系数d1、d2、…dm的基于注意力机制的空洞卷积模块和特征融合模块组成，m个不同空洞卷积系数的基于注意力机制的空洞卷积模块以并联的方式连接并将它们的输出端都连接在特征融合模块；
5.3：设计注意力残差块
注意力残差块由一个残差块和一个注意力块端对端的连接组成，残差块的输出端连接注意力块的输入端，同时残差块的输出端与注意力块的输出端相乘构成注意力残差块的输出；
5.4：构建多通道特征提取模块
多通道特征提取模块由多通道基于注意力机制的空洞卷积模块和注意力残差块端对端的连接组成；
5.5：设计基于注意力机制的空洞卷积神经网络
基于注意力机制的空洞卷积神经网络由四部分组成，分别是输入模块、深层特征提取模块、上采样模块、输出模块，其中：
输入模块和输出模块都是由卷积核尺寸大小为3×3的卷积层组成，深层特征提取模块是由n个步骤5.4多通道特征提取模块和一个卷积层串联组成，并以残差的方式连接而成；
上采样模块是由亚像素卷积层组成；
步骤6：训练基于注意力机制的空洞卷积神经网络
6.1：设置损失函数，以此最小化重建的图像与对应真实的高分辨率图像的损失值来估计网络参数；
6.2：选择优化算法，对网络进行迭代训练；
6.3：选择图像超分辨率重建评价指标来客观评价基于注意力机制的空洞卷积神经网络模型的重建性能；
6.4：设置步骤5.2中多通道基于注意力机制的空洞卷积模块的m和d1、d2、…dm的值；
6.5：设置训练参数，包括训练的学习率、迭代次数和批训练样本值；
6.6：用步骤4生成的HDF5训练数据集文件按照步骤6.5设置的参数，训练基于注意力机制的空洞卷积神经网络，生成网络模型；
6.7：使用测试数据集对步骤6.6得到的网络模型进行测试，记录图像重建性能指标值；然后返回步骤6.4，设置不同的m和d1、d2、…dm值，继续训练并测试，最后，保存最高的图像重建性能指标值对应的一组m和d1、d2、…dm值，并以此得到最终的基于注意力机制的空洞卷积神经网络模型；
步骤7：将低分辨率图像输入到上述基于注意力机制的空洞卷积神经网络模型中，输出得到重建后的高分辨率图像。
本发明方法提出使用空洞卷积实现多种不同尺寸的感受野去提取低分辨率图像特征信息，并利用注意力块提取图像高频信息。同时为了充分利用低分辨率图像特征信息之间的相关性并提取更多的特征信息，该方法设计了多通道基于注意力机制的空洞卷积模块，该模块采用多通道的方式使用不同的感受野对低分辨率图像进行特征提取，然后使用注意力残差块对各个通道提取到的特征进行深度的特征提取，有效提高了图像超分辨率重建效果。
本发明的有益效果具体在于：
(1)设计了基于注意力机制的空洞卷积模块。与传统卷积层相比，基于注意力机制的空洞卷积模块在没有增加过多参数和计算量的情况下拥有更大的感受野，能够提取更多的低分辨率图像特征信息，并利用注意力块充分提取图像的高频信息；
(2)设计了多通道基于注意力机制的空洞卷积模块。多通道基于注意力机制的空洞卷积模块有m个不同空洞卷积系数的基于注意力机制的空洞卷积模块来对低分辨率图像进行特征提取，能够充分利用低分辨率图像特征信息之间的相关性提取到更多的特征信息。同时多通道基于注意力机制的空洞卷积模块能对不同通道的特征信息进行融合；
(3)设计了注意力残差块。注意力残差块可以对多通道基于注意力机制的空洞卷积模块获得的特征进行再次深度提取，获得更多的图像高频信息，使得重建的图像拥有更丰富的纹理和细节。
附图说明
图1为本发明设计的基于注意力机制的空洞卷积模块的结构示意图；
图2为本发明设计的多通道基于注意力机制的空洞卷积模块的结构示意图；
图3为本发明设计的注意力残差块的结构示意图；
图4为本发明设计的多通道特征提取模块的结构示意图；
图5为本发明设计的基于注意力机制的空洞卷积神经网络的结构图；
图6为本发明方法与各种其他方法对鸟、小孩、蝴蝶分别重建得到的效果图片对比。
具体实施方式
下面通过具体实施例对本发明技术方案进行进一步的说明。
一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，该方法设计了基于注意力机制的空洞卷积模块、多通道基于注意力机制的空洞卷积模块、注意力残差块、多通道特征提取模块，在此基础上设计了基于注意力机制的空洞卷积神经网络。其具体包括以下步骤：
步骤1：选用DIV2K图像数据集作为训练本发明基于注意力机制的空洞卷积神经网络的数据集，选用Set5图像数据集、Set14图像数据集和Urban100图像数据集作为测试本发明基于注意力机制的空洞卷积神经网络的数据集。对DIV2K图像数据集进行90°、180°、270°旋转和按0.9、0.8、0.7、0.6的比例缩放，以此扩充训练数据集图像；
步骤2：使用双三次插值算法(Bicubic算法)，将步骤1得到的训练数据集图像进行1/N比例下采样处理，获得对应的低分辨率图像。其中N为缩放因子，N的取值根据需要重建的倍数选定；
步骤3：将步骤1得到的训练数据集图像裁剪成尺寸为H×W的图像块，将步骤2得到的低分辨率图像裁剪成尺寸为H/N×W/N的图像块；
步骤4：将步骤3得到的两种图像块作为高分辨率图像和低分辨率图像样本对(IHR，ILR)，生成HDF5的训练数据集文件；
步骤5：设计基于注意力机制的空洞卷积神经网络
5.1：设计基于注意力机制的空洞卷积模块
如图1所示，本发明设计的基于注意力机制的空洞卷积模块是由一个空洞卷积层和一个注意力块端对端的连接组成，空洞卷积层的输出端连接注意力块的输入端，同时空洞卷积层的输出端与注意力块的输出端相乘构成基于注意力机制的空洞卷积模块的输出。其中注意力块由平均池化层、卷积层、激活函数ReLU、卷积层和Sigmoid函数依次串联组成。注意力块中的两个卷积层的卷积核尺寸为k1×k1(k1＝1)，移动步长为1，填充为0。空洞卷积层的卷积核尺寸为k2×k2(k2＝3)，移动步长为1，填充为p，空洞系数为d。
5.2：设计多通道基于注意力机制的空洞卷积模块
如图2所示，本发明设计的多通道基于注意力机制的空洞卷积模块由m(m＝3)个不同空洞卷积系数(d1,d2,d3)的基于注意力机制的空洞卷积模块和特征融合模块组成，其中m(m＝3)个不同空洞卷积系数(d1,d2,d3)的基于注意力机制的空洞卷积模块的空洞卷积层的卷积核尺寸都是k2×k2(k2＝3)，移动步长都为s＝1，每个空洞卷积层的输入通道(In_channel)＝输出通道(Out_channel)＝64，在由公式(1)可得
Figure BDA0002343796900000081
由公式(1)计算可得，当空洞卷积系数d1＝1，对应的填充为p1＝1，当空洞卷积系数d2＝4，对应的填充为p2＝4，当空洞卷积系数d3＝8，对应的填充为p3＝8。m(m＝3)个不同空洞卷积系数的基于注意力机制的空洞卷积模块以并联的方式连接并将它们的输出端都连接在特征融合模块。特征融合模块的卷积核尺寸为k1×k1(k1＝1)，移动步长s＝1，填充为0。
5.3：设计注意力残差块
如图3所示，本发明设计的注意力残差块由一个残差块和一个注意力块端对端的连接组成，残差块的输出端连接注意力块的输入端，同时残差块的输出端与注意力块的输出端相乘构成注意力残差块的输出。残差块是由卷积层、激活函数、卷积层串联组成一个整体，以残差的方式连接而成，其中残差块的两个卷积层的卷积核为k2×k2(k2＝3)，移动步长为1，填充为1，激活函数为ReLU。注意力块由平均池化层、卷积层、激活函数ReLU、卷积层和Sigmoid函数串联组成，其中注意力块中的两个卷积层的卷积核尺寸为k1×k1(k1＝1)，移动步长为1，填充为0。
5.4：构建多通道特征提取模块
如图4所示，本发明设计的多通道特征提取模块由一个上述多通道基于注意力机制的空洞卷积模块和一个上述注意力残差块端对端的连接组成。
5.5：设计基于注意力机制的空洞卷积神经网络
如图5所示，本发明设计的基于注意力机制的空洞卷积神经网络由四部分组成，具体是由输入模块、深层特征提取模块、上采样模块、输出模块依次组成。输入模块是由一个卷积层组成，该卷积层的卷积核尺寸为k2×k2(k2＝3)，移动步长为1，填充为1，输入通道(In_channel)为3，输出通道(Out_channel)为64。深层特征提取模块是由n(n＝12)个多通道特征提取模块和一个卷积层串联组成一个整体，以残差的方式连接而成，其中卷积层的卷积核尺寸为k2×k2(k2＝3)，移动步长为1，填充为1，多通道特征提取模块结构在步骤5.4中做了详细介绍，深度特征提取模块中所有的卷积层的输入通道(In_channel)为64，输出通道(Out_channel)为64。上采样模块是由亚像素卷积层组成，其中亚像素卷积层的卷积核尺寸为k2×k2(k2＝3)，移动步长为1，填充为1，输入通道(In_channel)为64，输出通道(Out_channel)为256，亚像素卷积将尺寸大小为H×W×c×r2的特征图像重新排列成尺寸为rH×rW×c的特征图像。输出模块是由一个卷积层构成，该卷积层的卷积核尺寸为k2×k2(k2＝3)，移动步长为1，填充为1，输入通道(In_channel)为64，输出通道(Out_channel)为3。
步骤6：训练基于注意力机制的空洞卷积神经网络
6.1：构建均方误差函数作为损失函数，以此最小化重建的图像与对应的真实高分辨率图像的损失来估计网络参数θ，均方误差函数的表达形式为：
Figure BDA0002343796900000101
式中，n代表训练样本的数量，L表示均方误差函数，Xi表示真实高分辨率图像，Yi表示重建的图像。
6.2：使用Adam优化算法，对网络进行迭代训练。
6.3：使用峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似度(Structural SIMilarity,SSIM)作为评价指标来客观评价基于注意力机制的空洞卷积神经网络模型的重建性能；
峰值信噪比PSNR和结构相似度SSIM指标的计算公式如式(3)和式(4)所示：
Figure BDA0002343796900000111
Figure BDA0002343796900000112
式中，M、N表示为图像的尺寸，f表示为真实的高分辨率图像，
Figure BDA0002343796900000113
表示为重建的高分辨率图像，μf和
Figure BDA0002343796900000114
分别表示为真实高分辨率图像和重建图像的平均灰度值，σf和
Figure BDA0002343796900000115
分别表示为真实高分辨率图像和重建图像的方差，
Figure BDA0002343796900000116
表示为真实高分辨率图像和重建图像的协方差，C1和C2为常数，且C1＝(k1L)2，C2＝(k2L)2，k1＝0.01，k2＝0.03，L是像素值的动态范围；
6.4：设置步骤5.2中多通道基于注意力机制的空洞卷积模块的m和d1、d2、…dm的值；m和dm为整数，且取值范围如下：m＝1、2、…5，dm＝1、2、…9。
6.5：设置训练参数，本实施例中，学习率初始设置为0.0001，迭代次数初始设置为200，批训练样本值batchsize初始设置为16。
6.6：用步骤4生成的HDF5训练数据集文件按照步骤6.5设置的参数，训练基于注意力机制的空洞卷积神经网络，生成网络模型。
6.7：使用Set5测试数据集、Set14测试数据集和Urban100测试数据集对步骤6.6得到的网络模型进行测试，记录得到的PSNR和SSIM值。然后返回步骤6.4，设置不同的m和(d1,d2,…,dm)值，继续训练并测试。最后，对比不同的m和(d1,d2,…,dm)值得到PSNR和SSIM值，在综合考虑计算量的情况下，选取最高的PSNR和SSIM值对应的m和(d1,d2,…,dm)值作为基于注意力机制的空洞卷积神经网络的参数值，并以此得到最终的基于注意力机制的空洞卷积神经网络模型。
步骤7：将低分辨率图像输入到基于注意力机制的空洞卷积神经网络模型中，输出得到重建后的高分辨率图像。

Claims (10)

1.一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，其特征在于，包括如下步骤：
步骤1：选择训练数据集和测试数据集，并对训练数据集图像进行增强处理，扩充训练数据集图像；
步骤2：将步骤1得到的训练数据集图像进行1/N比例下采样处理，得到对应的低分辨率图像，其中N为缩放因子；
步骤3：将步骤1得到的训练数据集图像裁剪成H×W的图像块，将步骤2得到的低分辨率图像裁剪成H/N×W/N的图像块；
步骤4：将步骤3得到的两种图像块作为高分辨率图像和低分辨率图像样本对，生成HDF5的训练数据集文件；
步骤5：设计基于注意力机制的空洞卷积神经网络
5.1：设计基于注意力机制的空洞卷积模块
基于注意力机制的空洞卷积模块是由一个空洞卷积层和一个注意力块端对端的连接组成，空洞卷积层的输出端连接注意力块的输入端，同时空洞卷积层的输出端与注意力块的输出端相乘构成基于注意力机制的空洞卷积模块的输出；
5.2：设计多通道基于注意力机制的空洞卷积模块
多通道基于注意力机制的空洞卷积模块由m个不同空洞卷积系数d1、d2、…dm的基于注意力机制的空洞卷积模块和特征融合模块组成，m个不同空洞卷积系数的基于注意力机制的空洞卷积模块以并联的方式连接并将它们的输出端都连接在特征融合模块；
5.3：设计注意力残差块
注意力残差块由一个残差块和一个注意力块端对端的连接组成，残差块的输出端连接注意力块的输入端，同时残差块的输出端与注意力块的输出端相乘构成注意力残差块的输出；
5.4：构建多通道特征提取模块
多通道特征提取模块由多通道基于注意力机制的空洞卷积模块和注意力残差块端对端的连接组成；
5.5：设计基于注意力机制的空洞卷积神经网络
基于注意力机制的空洞卷积神经网络由四部分组成，分别是输入模块、深层特征提取模块、上采样模块、输出模块，其中：
输入模块和输出模块都是由卷积核尺寸大小为3×3的卷积层组成，深层特征提取模块是由n个步骤5.4多通道特征提取模块和一个卷积层串联组成，并以残差的方式连接而成；
上采样模块是由亚像素卷积层组成；
步骤6：训练基于注意力机制的空洞卷积神经网络
6.1：设置损失函数，以此最小化重建的图像与对应真实的高分辨率图像的损失值来估计网络参数；
6.2：选择优化算法，对网络进行迭代训练；
6.3：选择图像超分辨率重建评价指标来客观评价基于注意力机制的空洞卷积神经网络模型的重建性能；
6.4：设置步骤5.2中多通道基于注意力机制的空洞卷积模块的m和d1、d2、…dm的值；
6.5：设置训练参数，包括训练的学习率、迭代次数和批训练样本值；
6.6：用步骤4生成的HDF5训练数据集文件按照步骤6.5设置的参数，训练基于注意力机制的空洞卷积神经网络，生成网络模型；
6.7：使用测试数据集对步骤6.6得到的网络模型进行测试，记录图像重建性能指标值；然后返回步骤6.4，设置不同的m和d1、d2、…dm值，继续训练并测试，最后，保存最高的图像重建性能指标值对应的一组m和d1、d2、…dm值，并以此得到最终的基于注意力机制的空洞卷积神经网络模型；
步骤7：将低分辨率图像输入到上述基于注意力机制的空洞卷积神经网络模型中，输出得到重建后的高分辨率图像。
2.根据权利要求1所述的一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，其特征在于，步骤1中，对训练数据集图像进行旋转和比例缩放的增强处理，以此扩充训练数据集图像。
3.根据权利要求1所述的一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，其特征在于，步骤5.1中：
所述注意力块依次由平均池化层、卷积层、激活函数ReLU、卷积层和Sigmoid函数串联组成，注意力块中的卷积层的卷积核尺寸为1×1，所述空洞卷积层的卷积核尺寸为3×3。
4.根据权利要求1所述的一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，其特征在于，步骤5.2中：特征融合模块由一个卷积核尺寸为1×1的卷积层组成。
5.根据权利要求1所述的一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，其特征在于，步骤5.3中：
残差块是由卷积层、激活函数ReLU、卷积层依次串联组成，并以残差的方式连接而成，其中卷积层的卷积核尺寸为3×3。
6.根据权利要求1所述的一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，其特征在于，步骤6.1中：设置均方误差函数作为损失函数。
7.根据权利要求1所述的一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，其特征在于，步骤6.2中，使用Adam优化算法，对网络进行迭代训练。
8.根据权利要求1所述的一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，其特征在于，步骤6.3中，使用峰值信噪比PSNR和结构相似度SSIM作为评价指标来客观评价基于注意力机制的空洞卷积神经网络模型的重建性能。
9.根据权利要求1所述的一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，其特征在于，步骤6.5中，学习率初始设置为0.0001，迭代次数初始设置为200，批训练样本值batchsize初始设置为16。
10.根据权利要求1所述的一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法，其特征在于，步骤6.4中，m和dm为整数，且取值范围如下：m＝1、2、…5，dm＝1、2、…9。
CN201911387641.6A 2019-12-29 2019-12-29 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 Active CN111047515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911387641.6A CN111047515B (zh) 2019-12-29 2019-12-29 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911387641.6A CN111047515B (zh) 2019-12-29 2019-12-29 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN111047515A true CN111047515A (zh) 2020-04-21
CN111047515B CN111047515B (zh) 2024-01-09

Family

ID=70241258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911387641.6A Active CN111047515B (zh) 2019-12-29 2019-12-29 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111047515B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111554305A (zh) * 2020-04-26 2020-08-18 兰州理工大学 一种基于语谱图和注意力机制的声纹识别方法
CN111610517A (zh) * 2020-06-09 2020-09-01 电子科技大学 基于深度四通道网络的二次雷达信号处理方法
CN111626159A (zh) * 2020-05-15 2020-09-04 南京邮电大学 一种基于注意力残差模块和支路融合的人体关键点检测方法
CN111667444A (zh) * 2020-05-29 2020-09-15 湖北工业大学 一种基于多通道残差网络的图像压缩感知重建方法
CN111681166A (zh) * 2020-06-02 2020-09-18 重庆理工大学 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN111696036A (zh) * 2020-05-25 2020-09-22 电子科技大学 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法
CN111951164A (zh) * 2020-08-11 2020-11-17 哈尔滨理工大学 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN112435174A (zh) * 2020-08-20 2021-03-02 辽宁师范大学 基于双重注意机制的水下图像处理方法
CN112669216A (zh) * 2021-01-05 2021-04-16 华南理工大学 一种基于联邦学习的并行空洞新结构的超分辨率重构网络
CN112767258A (zh) * 2020-12-18 2021-05-07 闽江学院 一种端到端的图像去沙尘暴方法
CN113066023A (zh) * 2021-03-19 2021-07-02 哈尔滨工程大学 一种基于自校准卷积神经网络的sar图像去斑方法
CN113096017A (zh) * 2021-04-14 2021-07-09 南京林业大学 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN113284051A (zh) * 2021-07-23 2021-08-20 之江实验室 一种基于频率分解多注意力机制的人脸超分辨方法
CN113409195A (zh) * 2021-07-06 2021-09-17 中国标准化研究院 基于改进的深度卷积神经网络的图像超分辨率重建方法
CN113724182A (zh) * 2020-05-21 2021-11-30 无锡科美达医疗科技有限公司 基于扩张卷积与注意力机制的无参考视频质量评价方法
CN113793263A (zh) * 2021-08-23 2021-12-14 电子科技大学 多尺度空洞卷积的并行残差网络高分辨率图像重建方法
CN113837946A (zh) * 2021-10-13 2021-12-24 中国电子技术标准化研究院 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN113888412A (zh) * 2021-11-23 2022-01-04 钟家兴 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN113962878A (zh) * 2021-07-29 2022-01-21 北京工商大学 一种低能见度图像去雾模型方法
CN114238546A (zh) * 2022-02-24 2022-03-25 四川科星引擎教育科技有限责任公司 一种基于空洞卷积的自适应认知诊断测试设备及方法
CN115018705A (zh) * 2022-05-27 2022-09-06 南京航空航天大学 一种基于增强型生成对抗网络的图像超分辨率方法
CN115082317A (zh) * 2022-07-11 2022-09-20 四川轻化工大学 一种注意力机制增强的图像超分辨率重建方法
CN115100042A (zh) * 2022-07-20 2022-09-23 北京工商大学 一种基于通道注意力滞留网络的病理图像超分辨率方法
TWI788172B (zh) * 2021-09-01 2022-12-21 鴻海精密工業股份有限公司 影像處理裝置以及方法
CN115546032A (zh) * 2022-12-01 2022-12-30 泉州市蓝领物联科技有限公司 一种基于特征融合与注意力机制的单帧图像超分辨率方法
CN116152120A (zh) * 2023-04-20 2023-05-23 南京大学 一种融合高低频特征信息的低光图像增强方法及装置
WO2023217270A1 (zh) * 2022-05-13 2023-11-16 北京字跳网络技术有限公司 图像超分方法、超分网络参数调整方法、相关装置及介质
CN117132472A (zh) * 2023-10-08 2023-11-28 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109389556A (zh) * 2018-09-21 2019-02-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
WO2019233244A1 (zh) * 2018-06-08 2019-12-12 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
WO2019233244A1 (zh) * 2018-06-08 2019-12-12 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109389556A (zh) * 2018-09-21 2019-02-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FEILONG CAO, HUAN LIU: "Single image super-resolution via multi-scale residual channel attention network", NEUROCOMPUTING, vol. 358, pages 424 - 436, XP055792305, DOI: 10.1016/j.neucom.2019.05.066 *
OUYANG NING等: "Self-attention network based image super-resolution", COMPUTER APPLICATIONS, vol. 39, no. 8, pages 2391 - 2395 *
YULUN ZHANG等: "Image Super-Resolution Using Very Deep Residual Channel Attention Networks", PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV), pages 286 - 301 *
ZHAOYANG SONG等: "Fusing Attention Network Based on Dilated Convolution for Superresolution", IEEE TRANSACTIONS ON COGNITIVE AND DEVELOPMENTAL SYSTEMS, vol. 15, no. 1, pages 234 - 241 *
汪家明: "基于多尺度残差网络的卫星图像超分辨率算法研究与应用", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑, no. 8, pages 028 - 49 *
王东飞: "基于通道注意力的卷积神经网络在图像超分辨率重建中的应用", 广播与电视技术, vol. 45, no. 6, pages 63 - 66 *

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111554305A (zh) * 2020-04-26 2020-08-18 兰州理工大学 一种基于语谱图和注意力机制的声纹识别方法
CN111554305B (zh) * 2020-04-26 2023-06-09 兰州理工大学 一种基于语谱图和注意力机制的声纹识别方法
CN111626159A (zh) * 2020-05-15 2020-09-04 南京邮电大学 一种基于注意力残差模块和支路融合的人体关键点检测方法
CN111626159B (zh) * 2020-05-15 2022-07-26 南京邮电大学 一种基于注意力残差模块和支路融合的人体关键点检测方法
CN113724182A (zh) * 2020-05-21 2021-11-30 无锡科美达医疗科技有限公司 基于扩张卷积与注意力机制的无参考视频质量评价方法
CN111696036B (zh) * 2020-05-25 2023-03-28 电子科技大学 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法
CN111696036A (zh) * 2020-05-25 2020-09-22 电子科技大学 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法
CN111667444A (zh) * 2020-05-29 2020-09-15 湖北工业大学 一种基于多通道残差网络的图像压缩感知重建方法
CN111667444B (zh) * 2020-05-29 2021-12-03 湖北工业大学 一种基于多通道残差网络的图像压缩感知重建方法
CN111681166A (zh) * 2020-06-02 2020-09-18 重庆理工大学 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN111610517B (zh) * 2020-06-09 2022-06-07 电子科技大学 基于深度四通道网络的二次雷达信号处理方法
CN111610517A (zh) * 2020-06-09 2020-09-01 电子科技大学 基于深度四通道网络的二次雷达信号处理方法
CN111951164A (zh) * 2020-08-11 2020-11-17 哈尔滨理工大学 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN112435174A (zh) * 2020-08-20 2021-03-02 辽宁师范大学 基于双重注意机制的水下图像处理方法
CN112435174B (zh) * 2020-08-20 2023-07-11 辽宁师范大学 基于双重注意机制的水下图像处理方法
CN112767258B (zh) * 2020-12-18 2023-10-31 闽江学院 一种端到端的图像去沙尘暴方法
CN112767258A (zh) * 2020-12-18 2021-05-07 闽江学院 一种端到端的图像去沙尘暴方法
CN112669216A (zh) * 2021-01-05 2021-04-16 华南理工大学 一种基于联邦学习的并行空洞新结构的超分辨率重构网络
CN112669216B (zh) * 2021-01-05 2022-04-22 华南理工大学 一种基于联邦学习的并行空洞新结构的超分辨率重构网络
CN113066023B (zh) * 2021-03-19 2022-12-13 哈尔滨工程大学 一种基于自校准卷积神经网络的sar图像去斑方法
CN113066023A (zh) * 2021-03-19 2021-07-02 哈尔滨工程大学 一种基于自校准卷积神经网络的sar图像去斑方法
CN113096017A (zh) * 2021-04-14 2021-07-09 南京林业大学 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN113096017B (zh) * 2021-04-14 2022-01-25 南京林业大学 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN113409195A (zh) * 2021-07-06 2021-09-17 中国标准化研究院 基于改进的深度卷积神经网络的图像超分辨率重建方法
CN113284051A (zh) * 2021-07-23 2021-08-20 之江实验室 一种基于频率分解多注意力机制的人脸超分辨方法
CN113962878A (zh) * 2021-07-29 2022-01-21 北京工商大学 一种低能见度图像去雾模型方法
CN113962878B (zh) * 2021-07-29 2024-05-28 北京工商大学 一种低能见度图像去雾模型方法
CN113793263A (zh) * 2021-08-23 2021-12-14 电子科技大学 多尺度空洞卷积的并行残差网络高分辨率图像重建方法
CN113793263B (zh) * 2021-08-23 2023-04-07 电子科技大学 多尺度空洞卷积的并行残差网络高分辨率图像重建方法
TWI788172B (zh) * 2021-09-01 2022-12-21 鴻海精密工業股份有限公司 影像處理裝置以及方法
CN113837946A (zh) * 2021-10-13 2021-12-24 中国电子技术标准化研究院 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN113888412B (zh) * 2021-11-23 2022-04-05 南京云上数融技术有限公司 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN113888412A (zh) * 2021-11-23 2022-01-04 钟家兴 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN114238546A (zh) * 2022-02-24 2022-03-25 四川科星引擎教育科技有限责任公司 一种基于空洞卷积的自适应认知诊断测试设备及方法
WO2023217270A1 (zh) * 2022-05-13 2023-11-16 北京字跳网络技术有限公司 图像超分方法、超分网络参数调整方法、相关装置及介质
CN115018705A (zh) * 2022-05-27 2022-09-06 南京航空航天大学 一种基于增强型生成对抗网络的图像超分辨率方法
CN115082317B (zh) * 2022-07-11 2023-04-07 四川轻化工大学 一种注意力机制增强的图像超分辨率重建方法
CN115082317A (zh) * 2022-07-11 2022-09-20 四川轻化工大学 一种注意力机制增强的图像超分辨率重建方法
CN115100042A (zh) * 2022-07-20 2022-09-23 北京工商大学 一种基于通道注意力滞留网络的病理图像超分辨率方法
CN115100042B (zh) * 2022-07-20 2024-05-03 北京工商大学 一种基于通道注意力滞留网络的病理图像超分辨率方法
CN115546032B (zh) * 2022-12-01 2023-04-21 泉州市蓝领物联科技有限公司 一种基于特征融合与注意力机制的单帧图像超分辨率方法
CN115546032A (zh) * 2022-12-01 2022-12-30 泉州市蓝领物联科技有限公司 一种基于特征融合与注意力机制的单帧图像超分辨率方法
CN116152120A (zh) * 2023-04-20 2023-05-23 南京大学 一种融合高低频特征信息的低光图像增强方法及装置
CN117132472A (zh) * 2023-10-08 2023-11-28 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN117132472B (zh) * 2023-10-08 2024-05-31 兰州理工大学 基于前向-反向可分离自注意力的图像超分辨率重建方法

Also Published As

Publication number Publication date
CN111047515B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN111047515B (zh) 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN109886871B (zh) 基于通道注意力机制和多层特征融合的图像超分辨率方法
CN110415170B (zh) 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN113362223B (zh) 基于注意力机制和双通道网络的图像超分辨率重建方法
CN108090871B (zh) 一种基于卷积神经网络的多对比度磁共振图像重建方法
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN107633486A (zh) 基于三维全卷积神经网络的结构磁共振图像去噪方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN107993194B (zh) 一种基于平稳小波变换的超分辨率重建方法
CN113222823B (zh) 基于混合注意力网络融合的高光谱图像超分辨率方法
CN106204449A (zh) 一种基于对称深度网络的单幅图像超分辨率重建方法
CN111932461B (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN113379867B (zh) 一种基于联合优化采样矩阵的核磁共振图像重建方法
CN109003229B (zh) 基于三维增强深度残差网络的磁共振超分辨率重建方法
CN109410114B (zh) 基于深度学习的压缩感知图像重建算法
CN113362250B (zh) 一种基于双树四元小波与深度学习的图像去噪方法及系统
Luo et al. Lattice network for lightweight image restoration
CN111487573B (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
CN113269818B (zh) 一种基于深度学习的地震数据纹理特征重建方法
CN108734675A (zh) 基于混合稀疏先验模型的图像复原方法
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN104408697B (zh) 基于遗传算法和正则先验模型的图像超分辨重建方法
CN112699844A (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN104899835A (zh) 基于盲模糊估计与锚定空间映射的图像超分辨处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant