CN113706386A - 一种基于注意力机制的超分辨率重建方法 - Google Patents
一种基于注意力机制的超分辨率重建方法 Download PDFInfo
- Publication number
- CN113706386A CN113706386A CN202111034797.3A CN202111034797A CN113706386A CN 113706386 A CN113706386 A CN 113706386A CN 202111034797 A CN202111034797 A CN 202111034797A CN 113706386 A CN113706386 A CN 113706386A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- layer
- super
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000007246 mechanism Effects 0.000 title claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 230000001902 propagating effect Effects 0.000 claims abstract description 5
- 230000015556 catabolic process Effects 0.000 claims abstract description 4
- 238000006731 degradation reaction Methods 0.000 claims abstract description 4
- 238000000638 solvent extraction Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 54
- 230000006870 function Effects 0.000 claims description 44
- 238000000605 extraction Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 4
- 230000002829 reductive effect Effects 0.000 claims description 4
- 230000002441 reversible effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 230000009125 negative feedback regulation Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000009123 feedback regulation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于注意力机制的图像超分辨率重建方法，属于图像恢复与超分辨率重建领域，通过双三次线性插值法退化算法获取训练高‑低分辨率图像对数据集；对低分辨率图像进行分块，根据超分辨率任务获取对应的高分辨率图像块；预定义训练参数和用于优化的模型损失函数；初始化模型参数，将低分辨率图像块作为超分辨率模型的输入，获得超分辨率图像块，合并得到重建的图像；计算原始高分辨率图像和重建的图像的差异，将损失函数沿着网络反向传播，通过梯度计算进行网络模型权重参数的计算，使得重建的图像与原始图像差值最小化，获得训练好的模型。提高图像重建能力，学习特征跨层级之间的相关性，缓解反向投影过程特征的衰减性。
Description
技术领域
本发明涉及计算机视觉图像恢复和超分辨率重建领域，涉及一种基于注意力机制的超分辨率重建方法，用于对低分辨率图像进行增强。
背景技术
随着网络信息技术和互联网以及硬件的飞速发展，人们生活水平逐渐提高，社交逐渐丰富，人们不断与他人、与外界交换数据，尤其是在互联网上，堪称海量的数据与日俱增，在这些爆炸性增长的数据之中，图像数据尤为显著，由于手机的智能化和普及以及图像信息自身较为直观的特性，它成为人们进行交流最重要的信息源之一，但是这些图像往往无法被直接应用，从中获取特定的信息也不是一件容易的事情。图像处理能够突出图像数据自身的独特信息，满足人们对图像越来越多的需求。图像超分辨率重建就是一种计算机视觉任务，它处理的是低分辨率图像，通过对图像画质进行增强，得到蕴含更多信息的高分辨率图像。
图像超分辨率重建自提出以来，因其直观的作用吸引了众多学者，并且在医疗，监控以及遥感监测等领域能够得到广泛应用。图像超分辨率重建已有几十年的发展，取得了很大的成果。在过去传统的研究中，众多研究几乎都是基于单一图像的邻域数据或者引入一些先验知识，这些方法受制于计算机、硬件技术以及数据量，导致重建图像的质量不理想。近些年，随着深度神经网络的引入与发展，其强大的学习和拟合能力吸引了众多目光，另外庞大的数据量也使得深度学习在各个领域的使用成为可能。随着深度卷积网络的引入，图像超分辨率重建技术取得了极大的发展，重建的结果在客观评价指标和图像细节上均优于传统方法，一方面研究者们不断地探索新的网络结构，从最开始的前上采样结构，到更为节省计算资源的后上采样结构，以及性能更佳的渐进式上采样结构和迭代式采样结构，多数深度网络采用拓宽和加深的方式优化超分辨率模型，这缺乏对图像进行更细致的处理和探索，导致图像细节和结构的重建能力不足；另一方面，随着注意力机制的引入，超分辨率模型可以根据不同对象的重要程度重新分配资源，提升了重建效果，但是却忽略了不同层次特征的相关性。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种基于注意力机制的超分辨率重建方法。该方法首先通过浅层提取层将原始图像数据进行特征空间转换，映射到多维空间提供更丰富的语义信息，在主体映射部分堆叠反向投影注意力模块，使用迭代式网络结构引入负反馈调节训练超分辨率网络模型，同时设计一种层级间非局部注意力机制对参与反馈调节的原始特征和残差进行优化，学习特征跨层级之间的相关性，缓解反馈过程中残差特征的衰减，然后在重建层中将所有高维度空间的特征通过级联方式进行融合，最后通过浅层卷积的反变换还原回原始图像数据空间，得到重建的超分辨率图像。
为了达到上述目的，本发明所采用的具体技术方案如下：
一种基于注意力机制的超分辨率重建方法，具体包括以下步骤：
步骤一、通过双三次线性插值法退化算法获取训练高-低分辨率图像对数据集；
步骤二、对低分辨率图像进行分块，根据超分辨率任务获取对应的高分辨率图像块；
步骤三、预定义训练参数和用于优化的模型损失函数；
步骤四、初始化模型参数，将上述训练数据对中的低分辨率图像块作为超分辨率模型的输入，通过网络获得超分辨率图像块，通过合并得到重建的图像；
步骤五、计算原始高分辨率图像和重建的图像的差异，将损失函数沿着网络反向传播，通过梯度计算进行网络模型权重参数的计算，使得重建的图像与原始图像差值最小化，获得训练好的模型；
步骤六、将新的低分辨率图像输入网络中得到重建的生成图像。
优选的，步骤一具体指的是
初始化和学习率，通过双三次线性插值法对高分辨率图像下采样获得低分辨率图像，通过裁剪获得高-低分辨率图像对，重复下采样和裁剪获得高-低分辨率图像对数据集。
优选的，步骤四中的网络是一种基于注意力机制的超分辨率卷积网络，包括：
浅层特征提取层，将图像从原始的色彩空间转换到特征空间，学习深度语义信息；
反向投影注意力层，在反向投影过程中嵌入层级注意力模块，所述层级注意力模块将参与负反馈调节的残差特征和相关特征通过注意力模块进行联合优化，将优化后的特征作为调节特征；
映射层，通过上采样模块接受浅层特征提取层的输出特征，交替地叠放下上采样模块来学习不同维度特征，叠放的每个模块的首端均设有融合层，所述融合层接受之前所有同一维度的输出特征的，通过级联操作融合后使用卷积层进行降维操作，得到特征，然后通过反向投影注意力层进行特征提取；
重建层，用于重建图像，在图像重建过程中所有高维空间特征都被用于重建，并通过卷积进行降低维度。
优选的，所述浅层特征提取层的操作在低维度空间进行，包含两个卷积层，第一个卷积层后放置激活函数加强非线性的映射，设定x表示低分辨率图像输入，f表示浅层特征提取层的输出，具体的计算过程如下:
f＝W2h+b2
其中，Gray(*)函数将图像转换成灰度图，＜W1，b1＞，＜W2，b2＞分别是两个卷积层的权重和偏移量，g表示第一个卷积层后的激活函数，激活层采用PRelu函数。
优选的，所述注意力模块的计算公式如下：
z＝Conv([S(θ(x)φ(y1))g1(y1)；S(θ(x)ψ(y2))g2(y2)])+x
x，y1，y2分别表示三个特征输入，θ，φ，ψ分别表示对三种输入特征的变换，变换后的分量通道数为原特征的一半，S函数代表函数，Softmax对注意力关系图进行归一化，g1，g2均代表特征内部属性的函数，通过训练模拟多数函数，属性函数使用卷积层替代，通过训练提取特征的属性。
优选的，注意力模块被嵌入到反向投影过程中，以上采样为例，整体模块计算方式如下：
1)首先复用所有前层低纬度特征Li，通过通道维度上的级联方式进行融合：
Lt＝conv1*1([L0，L1，…，Lt-1])
2)将融合后的特征Lt通过一个反卷积层上采样到高维空间，得到特征
deconv表示反卷积层：
3)通过一个卷积层将得到的特征
反向投影回低维度空间：
4)计算原始的低维特征Lt和高维特征
投影d额低维度特征
之间的残差
5)通过跨层级注意力机制对特征进行联合优化：
6)将特征Lmid进行上采样得到新的高维特征
7)将步骤2)和步骤6)中的两个高维特征进行叠加，输出特征Ht：
下采样反向投影注意力模块计算方式与之相似，区别为卷积层和反卷积层个数和位置，计算方式如下：
Hr＝conv1*1([H1，H2，…，Hr-1])
优选的，映射层第t个上采样模块的输出由以下过程生成：
fup-BPAM表示上采样模块，Fcas([：])表示通道维度上的级联操作，
表示第i个下采样模块的输出，当t＝1时模块接受特征提取层的输出f0作为输入；
第t个下采样模块的输出如下：
Fdown-BPAM表示下采样模块，
表示第i个上采样反向投影注意力模块的输出，第t个下采样模块接收从1到t的所有上采样模块的输出进行融合
优选的，重建层的计算公式如下：
优选的，步骤五计算原始高分辨率图像和重建的图像的差异，将损失函数沿着网络反向传播具体公式如下：
ISR＝F(ILR；θ)
通过梯度计算进行网络模型权重参数的计算，将多个卷积层的加权权重和偏置重新按层数编号为Wl和bl，则权重更新梯度计算如下：
其中
表示加权权重元素，
表示激活值，
表示激活函数导函数值，
是后一层传来的反向传播损失；
偏置更新梯度的形式如下：
本发明的有益效果在于：本发明针对图像超分辨率重建设计了一种基于注意力机制的深度卷积网络，考虑前上采样的复杂度和后上采样特征学习能力的欠缺，使用迭代式结构作为网络模型骨架引入负反馈调节优化超分辨率网络模型，并为此设计一种层级间注意力机制，在模型的训练过程中动态适应残差信息，通过对参与负反馈过程的特征的联合优化捕获反向投影过程中残差和特征之间的远程依赖，缓解反向投影过程特征的衰减性。实验表明，本发明在超分辨率常用的评价指标PSNR和SSIM上，以及在图像的细节生成上，有效提高了性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种基于注意力机制的超分辨率重建方法的流程图；
图2是基于注意力机制的超分辨率卷积网络框架图；
图3是反向投影注意力模块示意图；
图4是不同方法的图像重建结果对比图；
图5是中间特征可视化示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
如图1-图5所示，本发明提出了一种基于注意力机制的超分辨率重建方法，本发明遵循大多数超分辨率网络的原则，首先在浅层特征提取层将原始图像数据映射到特征空间，生成语义信息丰富的多维特征。然后，在主体映射层部分，设计一种反向投影注意力模块，然后堆叠该模块，通过特征映射到高维度空间并反向投影回低维空间的过程提升网络的学习能力，最后在图像重建层将所有的中间模块输出特征进行融合，得到重建的图像，并通过重建图像和原始高分辨率图像的损失函数对网络进行优化，直至收敛，得到具有映射能力的网络，能够将低分辨率图像分布映射到高分辨率图像上。
具体包括以下步骤：
步骤一、通过双三次线性插值法退化算法获取训练高-低分辨率图像对数据集；
步骤二、对低分辨率图像进行分块，根据超分辨率任务获取对应的高分辨率图像块；
步骤三、预定义训练参数和用于优化的模型损失函数；
步骤四、初始化模型参数，将上述训练数据对中的低分辨率图像块作为超分辨率模型的输入，通过网络获得超分辨率图像块，通过合并得到重建的图像；
步骤五、计算原始高分辨率图像和重建的图像的差异，将损失函数沿着网络反向传播，通过梯度计算进行网络模型权重参数的计算，使得重建的图像与原始图像差值最小化，获得训练好的模型；
步骤六、将新的低分辨率图像输入网络中得到重建的生成图像。
具体的，步骤四中的网络是一种基于注意力机制的超分辨率卷积网络，包括：
浅层特征提取层，将图像从原始的色彩空间转换到特征空间，学习深度语义信息；在网络的首端，本发明设置浅层特征提取层将图像从原始的色彩空间转换到特征空间，学习深度语义信息，该层整个操作是在低维度空间进行，浅层特征提取层包含两个卷积层，第一个卷积层后放置激活函数加强非线性的映射。设定x表示低分辨率图像输入，f表示浅层特征提取层的输出，具体的计算过程如下:
f＝W2h+b2(3)
其中，Gray(*)函数将图像转换成灰度图，＜W1，b1＞，＜W2，b2＞分别是两个卷积层的权重和偏移量，g表示第一个卷积层后的激活函数。第一个卷积层卷积核大小为3，将图像映射成256维特征，用于更大范围的提取特征，激活层采用PRelu函数，第二个卷积层卷积核大小为1，用于特征的维度降低以节约计算资源。
反向投影注意力层，在反向投影过程中嵌入层级注意力模块，所述层级注意力模块将参与负反馈调节的残差特征和相关特征通过注意力模块进行联合优化，将优化后的特征作为调节特征；
反向投影过程中，低维度特征首先被映射到高维空间中，之后被转换回原维度空间，两种特征之间的差异反应出上采样过程的重建能力，差异越大表示映射到高维空间的能力越差，而这种差异又可以通过网络连接进行负反馈调节。但是在原始的反向投影中，随着网络的训练，这种负反馈能力是进行衰减的，因为用于负反馈的残差特征会随着网络的训练而逐渐减弱，为了在网络训练的任何阶段都保持这种负反馈能力，本发明设计了一种层级注意力模块，如附图2所示，将参与负反馈调节的残差特征和相关特征通过注意力模块进行联合优化，将优化后的特征作为调节特征。
注意力机制计算一个特征的位置和另一个特征所有位置的相关性，计算后的结果作为一个权重施加到原特征上，如式4所示：
Zi指输出特征相应位置的值，x，y表示不同层级的相关特征，f表示相似度计算函数，g表示属性函数，C(x)表示归一化函数。
本发明设计的注意力模块计算方式如下：
z＝Conv([S(θ(x)φ(y1))g1(y1)；S(θ(x)ψ(y2))g2(y2)])+x (5)
x，y1，y2分别表示三个特征输入，θ，φ，ψ分别表示对三种输入特征的变换，变换后的分量通道数为原特征的一半，S函数代表函数，Softmax对注意力关系图进行归一化，g1，g2均代表特征内部属性的函数，由于深度网络具有强大的拟合能力，可以通过训练模拟多数函数，因此属性函数使用卷积层替代，通过训练提取特征的属性。
注意力模块被嵌入到反向投影过程中，以上采样为例，整体模块计算方式如下：
1)首先复用所有前层低纬度特征Li，通过通道维度上的级联方式进行融合：
Lt＝conv1*1([L0，L1，…，Lt-1]) (6)
2)将融合后的特征Lt通过一个反卷积层上采样到高维空间，得到特征
deconv表示反卷积层：
3)通过一个卷积层将得到的特征
反向投影回低维度空间：
4)计算原始的低维特征Lt和高维特征
投影d额低维度特征
之间的残差
5)通过跨层级注意力机制对特征进行联合优化：
注意力模块含有两个注意力图，其作用是互补的。对特征进行上采样得到高维特征之后，倘若再通过反向投影进行下采样，原特征中的信息会丢失，网络初始化之后，两者之间的差异较大，
中包含有较多的难以恢复的信息，此时通过原特征和残差之间的相关性计算得到一组权重，作用到残差上对特征进行增强，随着网络模型的训练，残差
包含的信息将越来越少，直接进行上采样操作得到的高维特征信息量也不足，相应的重新映射回低维空间的特征信息量增多，另一个注意力关系图会起到越来越多的作用，维持注意力模块输出特征的信息量，两个注意力图此消彼长，能够在网络训练的任何阶段维持反向投影过程的修正作用。
6)将特征Lmid进行上采样得到新的高维特征
7)将步骤2)和步骤6)中的两个高维特征进行叠加，输出特征Ht：
下采样反向投影注意力模块计算方式与之相似，区别为卷积层和反卷积层个数和位置，计算方式如下：
Hr＝conv1*1([H1，H2，…，Hr-1]) (13)
映射层，通过上采样模块接受浅层特征提取层的输出特征，交替地叠放下上采样模块来学习不同维度特征，叠放的每个模块的首端均设有融合层，所述融合层接受之前所有同一维度的输出特征的，通过级联操作融合后使用卷积层进行降维操作，得到特征，然后通过反向投影注意力层进行特征提取；
映射层是超分辨重建网络的主体部分，通过交替堆叠上下采样注意力模块构成，由于浅层特征提取层是在低维度空间进行的，因此首先设置一个上采样模块接受输出特征，然后交替地叠放下上采样模块来学习不同维度特征。除了第一个模块外，每个模块的首端均设置一个融合层，融合层同时接受之前所有同一维度的输出特征，通过级联操作融合后使用核大小为1的卷积层进行降维操作，得到通道数为64的特征，然后通过反向投影注意力模块进行特征提取。第t个上采样模块的输出由以下过程生成：
Fup-BPAN表示上采样模块，Fcas([：])表示通道维度上的级联操作，
表示第i个下采样模块的输出，当t＝1时模块接受特征提取层的输出f0作为输入；
第t个下采样模块的输出如下：
Fdown-BPAM表示下采样模块，
表示第i个上采样反向投影注意力模块的输出，第t个下采样模块接收从1到t的所有上采样模块的输出进行融合
重建层，用于重建图像，在图像重建过程中所有高维空间特征都被用于重建，并通过卷积进行降低维度。
重建层同样采用密集连接对特征进行复用，直接将最后一个模块的输出进行图像重建会使信息不足，模型的表征能力受限，因此所有高维空间特征都被用于重建，并通过1*1卷积进行降低维度，参与融合的特征是在不同的深度得到的，对于重建图像有不同程度的提升。
步骤五计算原始高分辨率图像和重建的图像的差异，将损失函数沿着网络反向传播具体公式如下：
ISR＝F(ILR；θ) (23)
通过梯度计算进行网络模型权重参数的计算，将多个卷积层的加权权重和偏置重新按层数编号为Wl和bl，则权重更新梯度计算如下：
其中
表示加权权重元素，
表示激活值，
表示激活函数导函数值，
是后一层传来的反向传播损失；同样的，偏置更新梯度的形式如下：
本发明的整体流程如表1所示，首先通过双三次线性插值法获得低分辨率，通过随机裁剪获得48*48的图像块，然后根据不同的超分辨率任务因子对高分辨率图像进行裁剪，最后得到低-高分辨率图像对，低分辨率图像块用于输入网络进行训练，高分辨率图像块作为对比，用于计算和重建图像块之间的差异，对图像进行裁剪不仅能摆脱内存的限制，还可以弱化数据噪声，增加模型稳定性。当这种差异达到预设的阈值或者迭代次数后停止，得到训练后的网络模型。
表1本发明的整体流程
验证结果：
在本发明的实验中，选择超分辨率重建领域使用的四个经典图像数据集Set5、Set14、B100和Urban100来验证本发明的效果，数据集的详细信息如表2所示。
表2数据集的基本信息
本发明的评价指标为峰值信噪比(Peak signal-to-noise ratio，PSNR)和结构相似性(Structural similarity index，SSIM)。
为了验证本发明的性能，选择多个SOTA超分辨率方法进行对比，包括：首次引入深度学习的超分辨率方法SRCNN；深度残差网络VDSR；递归网络DRCN；引入注意力机制的网络NLRN；迭代式采样网络D-DBPN；以递归结构和迭代式采样结构为基础的网络SRFBN。所有方法在四个数据集上的PSNR和SSIM指标的对比结果表3所示，倍率因子表示不同放大程度的超分辨率任务，红色数据表示最优结果，蓝色表示次优结果。从表中可以看出本发明设计的网络EABPN在不同的数据集和评价指标上具有有竞争力甚至更优异的结果，随着超分辨率任务因子的增大，本发明的效果更佳明显；另外，相比于基础网络D-DBPN，从表中可以看出本发明的改进对重建效果的提升较为明显，这证明了本发明的有效性。与EDSR相比，本发明在减少了80％的参数量的情况下维持了重建效果。
表3不同方法的结果比较
除了客观指标的对比，本发明与其他方法重建的图像进行对比，附图3展示了一些图像的重建结果，左图表示原始的高分辨率图像，红色椭圆圈出对比区域，右图分别表示不同方法重建图像的对应部分，对于最难恢复的Urban建筑物数据集，本发明具有更好的重建效果，对于建筑物图像中的窗户，可以看出仅本发明可以很好地恢复出原始纹理，由于低分辨率图像中这些纹理完全是模糊的，VDSR和DRCN推断出了错误的细节，在图像上方形成完全相反的竖纹，在下方形成了错误的蜂窝式纹理；其他网络D-DBPN，EDSR和SRFBN仅仅在某种程度上恢复了一些横向结构，重建出的图像中的大部分区域仍然是扭曲的结构；本发明除了在在部分区域重建出了斜纹，大部分区域恢复出了正确的结构。附图4展示了层级注意力机制中的特征变化，可以看出使用了注意力机制后用于反向投影优化的残差特征中平滑区域蓝色更深，表示像素值较小，轮廓相对清晰，同时也符合直观感受：深度网络在深层提取高阶语义信息，相比于前几张子图，它可以为图像的重建带来更好的效果。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，本领域技术人员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。本发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求书范围来确定其技术性范围。
Claims (9)
1.一种基于注意力机制的超分辨率重建方法，其特征在于，具体包括以下步骤：
步骤一、通过双三次线性插值法退化算法获取训练高-低分辨率图像对数据集；
步骤二、对低分辨率图像进行分块，根据超分辨率任务获取对应的高分辨率图像块；
步骤三、预定义训练参数和用于优化的模型损失函数；
步骤四、初始化模型参数，将上述训练数据对中的低分辨率图像块作为超分辨率模型的输入，通过网络获得超分辨率图像块，通过合并得到重建的图像；
步骤五、计算原始高分辨率图像和重建的图像的差异，将损失函数沿着网络反向传播，通过梯度计算进行网络模型权重参数的计算，使得重建的图像与原始图像差值最小化，获得训练好的模型；
步骤六、将新的低分辨率图像输入网络中得到重建的生成图像。
2.根据权利要求1所述的一种基于注意力机制的超分辨率重建方法，其特征在于，步骤一具体指的是
初始化和学习率，通过双三次线性插值法对高分辨率图像下采样获得低分辨率图像，通过裁剪获得高-低分辨率图像对，重复下采样和裁剪获得高-低分辨率图像对数据集。
3.根据权利要求1所述的一种基于注意力机制的超分辨率重建方法，其特征在于，步骤四中的网络是一种基于注意力机制的超分辨率卷积网络，包括：
浅层特征提取层，将图像从原始的色彩空间转换到特征空间，学习深度语义信息；
反向投影注意力层，在反向投影过程中嵌入层级注意力模块，所述层级注意力模块将参与负反馈调节的残差特征和相关特征通过注意力模块进行联合优化，将优化后的特征作为调节特征；
映射层，通过上采样模块接受浅层特征提取层的输出特征，交替地叠放下上采样模块来学习不同维度特征，叠放的每个模块的首端均设有融合层，所述融合层接受之前所有同一维度的输出特征的，通过级联操作融合后使用卷积层进行降维操作，得到特征，然后通过反向投影注意力层进行特征提取；
重建层，用于重建图像，在图像重建过程中所有高维空间特征都被用于重建，并通过卷积进行降低维度。
4.根据权利要求3所述的一种基于注意力机制的超分辨率重建方法，其特征在于，所述浅层特征提取层的操作在低维度空间进行，包含两个卷积层，第一个卷积层后放置激活函数加强非线性的映射，设定x表示低分辨率图像输入，f表示浅层特征提取层的输出，具体的计算过程如下：
f＝W2h+b2
其中，Gray(*)函数将图像转换成灰度图，<W1，b1>，<W2，b2>分别是两个卷积层的权重和偏移量，g表示第一个卷积层后的激活函数，激活层采用PRelu函数。
5.根据权利要求3所述的一种基于注意力机制的超分辨率重建方法，其特征在于，所述注意力模块的计算公式如下：
z＝Conv([S(θ(x)φ(y1))g1(y1)；S(θ(x)ψ(y2))g2(y2)])+x
x，y1，y2分别表示三个特征输入，θ，φ，ψ分别表示对三种输入特征的变换，变换后的分量通道数为原特征的一半，S函数代表函数，Softmax对注意力关系图进行归一化，g1，g2均代表特征内部属性的函数，通过训练模拟多数函数，属性函数使用卷积层替代，通过训练提取特征的属性。
6.根据权利要求3所述的一种基于注意力机制的超分辨率重建方法，其特征在于，注意力模块被嵌入到反向投影过程中，以上采样为例，整体模块计算方式如下：
1)首先复用所有前层低纬度特征Li，通过通道维度上的级联方式进行融合：
Lt＝conv1*1([L0，L1，…，Lt-1])
2)将融合后的特征Lt通过一个反卷积层上采样到高维空间，得到特征
deconv表示反卷积层：
3)通过一个卷积层将得到的特征
反向投影回低维度空间：
4)计算原始的低维特征Lt和高维特征
投影d额低维度特征
之间的残差
5)通过跨层级注意力机制对特征进行联合优化：
6)将特征Lmid进行上采样得到新的高维特征
7)将步骤2)和步骤6)中的两个高维特征进行叠加，输出特征Ht：
下采样反向投影注意力模块计算方式与之相似，区别为卷积层和反卷积层个数和位置，计算方式如下：
Ht＝conv1*1([H1，H2，…，Ht-1])
7.根据权利要求3所述的一种基于注意力机制的超分辨率重建方法，其特征在于，映射层第t个上采样模块的输出由以下过程生成：
Fup-BPAM表示上采样模块，Fcas([：])表示通道维度上的级联操作，
表示第i个下采样模块的输出，当t＝1时模块接受特征提取层的输出fo作为输入；
第t个下采样模块的输出如下：
Fdown-BPAM表示下采样模块，
表示第i个上采样反向投影注意力模块的输出，第t个下采样模块接收从1到t的所有上采样模块的输出进行融合
8.根据权利要求3所述的一种基于注意力机制的超分辨率重建方法，其特征在于，重建层的计算公式如下：
9.根据权利要求1所述的一种基于注意力机制的超分辨率重建方法，其特征在于，步骤五计算原始高分辨率图像和重建的图像的差异，将损失函数沿着网络反向传播具体公式如下：
ISR＝F(ILR；θ)
通过梯度计算进行网络模型权重参数的计算，将多个卷积层的加权权重和偏置重新按层数编号为Wl和bl，则权重更新梯度计算如下：
其中
表示加权权重元素，
表示激活值，
表示激活函数导函数值，
是后一层传来的反向传播损失；
偏置更新梯度的形式如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111034797.3A CN113706386A (zh) | 2021-09-04 | 2021-09-04 | 一种基于注意力机制的超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111034797.3A CN113706386A (zh) | 2021-09-04 | 2021-09-04 | 一种基于注意力机制的超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113706386A true CN113706386A (zh) | 2021-11-26 |
Family
ID=78659650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111034797.3A Pending CN113706386A (zh) | 2021-09-04 | 2021-09-04 | 一种基于注意力机制的超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706386A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114429424A (zh) * | 2022-04-01 | 2022-05-03 | 中国石油大学(华东) | 一种适用于退化方式不定的遥感图像超分重建方法 |
| CN114693547A (zh) * | 2022-03-03 | 2022-07-01 | 大连海事大学 | 基于图像超分辨的射频图像增强方法及射频图像识别方法 |
| CN115546274A (zh) * | 2022-11-29 | 2022-12-30 | 城云科技（中国）有限公司 | 一种画面深度判断模型及其构建方法、装置及应用 |
| CN117037221A (zh) * | 2023-10-08 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 活体检测方法、装置、计算机设备及存储介质 |
| CN117196947A (zh) * | 2023-09-06 | 2023-12-08 | 南通大学 | 一种面向高分辨率图像的高效压缩重建模型构建方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110081046A1 (en) * | 2008-01-18 | 2011-04-07 | Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno | Method of improving the resolution of a moving object in a digital image sequence |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111583115A (zh) * | 2020-04-30 | 2020-08-25 | 西安交通大学 | 基于深度注意力网络的单幅图像超分辨率重建方法及系统 |
| WO2021164731A1 (zh) * | 2020-02-19 | 2021-08-26 | 华为技术有限公司 | 图像增强方法以及图像增强装置 |
-
2021
- 2021-09-04 CN CN202111034797.3A patent/CN113706386A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110081046A1 (en) * | 2008-01-18 | 2011-04-07 | Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno | Method of improving the resolution of a moving object in a digital image sequence |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| WO2021164731A1 (zh) * | 2020-02-19 | 2021-08-26 | 华为技术有限公司 | 图像增强方法以及图像增强装置 |
| CN111583115A (zh) * | 2020-04-30 | 2020-08-25 | 西安交通大学 | 基于深度注意力网络的单幅图像超分辨率重建方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| ZHIKUI CHEN等: "Enhanced Attention-Based Back Projection Network for Image Super-Resolution in Sensor Network", 《IEEE》, vol. 21, no. 15, pages 2 - 4 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114693547A (zh) * | 2022-03-03 | 2022-07-01 | 大连海事大学 | 基于图像超分辨的射频图像增强方法及射频图像识别方法 |
| CN114429424A (zh) * | 2022-04-01 | 2022-05-03 | 中国石油大学(华东) | 一种适用于退化方式不定的遥感图像超分重建方法 |
| CN115546274A (zh) * | 2022-11-29 | 2022-12-30 | 城云科技（中国）有限公司 | 一种画面深度判断模型及其构建方法、装置及应用 |
| CN115546274B (zh) * | 2022-11-29 | 2023-02-17 | 城云科技（中国）有限公司 | 一种画面深度判断模型及其构建方法、装置及应用 |
| CN117196947A (zh) * | 2023-09-06 | 2023-12-08 | 南通大学 | 一种面向高分辨率图像的高效压缩重建模型构建方法 |
| CN117196947B (zh) * | 2023-09-06 | 2024-03-22 | 南通大学 | 一种面向高分辨率图像的高效压缩重建模型构建方法 |
| CN117037221A (zh) * | 2023-10-08 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 活体检测方法、装置、计算机设备及存储介质 |
| CN117037221B (zh) * | 2023-10-08 | 2023-12-29 | 腾讯科技（深圳）有限公司 | 活体检测方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113706386A (zh) | 一种基于注意力机制的超分辨率重建方法 | |
| Gai et al. | New image denoising algorithm via improved deep convolutional neural network with perceptive loss | |
| CN111681166B (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
| CN106204449A (zh) | 一种基于对称深度网络的单幅图像超分辨率重建方法 | |
| CN111784602A (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN110517329A (zh) | 一种基于语义分析的深度学习图像压缩方法 | |
| CN113222834B (zh) | 一种基于平滑约束和矩阵分解的视觉数据张量补全方法 | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN116596764B (zh) | 一种基于Transformer与卷积交互的轻量级图像超分辨率方法 | |
| CN115829876A (zh) | 一种基于交叉注意力机制的真实退化图像盲修复方法 | |
| CN115393186A (zh) | 一种人脸图像超分辨率重建方法、系统、设备及介质 | |
| CN116797461A (zh) | 基于多级强化注意力机制的双目图像超分辨率重建方法 | |
| CN115546060A (zh) | 一种可逆的水下图像增强方法 | |
| CN114897694A (zh) | 基于混合注意力和双层监督的图像超分辨率重建方法 | |
| CN115619645A (zh) | 一种基于多级残差跳跃连接网络的图像超分辨率重建方法 | |
| CN111461978A (zh) | 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法 | |
| Yi et al. | Canonical factors for hybrid neural fields | |
| CN110569763B (zh) | 一种用于细粒度人脸识别的眼镜去除方法 | |
| CN116681592A (zh) | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 | |
| CN113298719B (zh) | 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法 | |
| CN116091319A (zh) | 基于长距离上下文依赖的图像超分辨率重建方法及系统 | |
| CN113191947B (zh) | 一种图像超分辨率的方法及系统 | |
| CN112488936B (zh) | 一种基于生成对抗网络的手指静脉模糊图像去模糊的方法 | |
| CN115375537A (zh) | 非线性感知多尺度的超分辨率图像生成系统及方法 | |
| CN112907456B (zh) | 基于全局平滑约束先验模型的深度神经网络图像去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |