CN116777745A - 一种基于稀疏自适应聚类的图像超分辨率重建方法 - Google Patents
一种基于稀疏自适应聚类的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN116777745A CN116777745A CN202310722660.XA CN202310722660A CN116777745A CN 116777745 A CN116777745 A CN 116777745A CN 202310722660 A CN202310722660 A CN 202310722660A CN 116777745 A CN116777745 A CN 116777745A
- Authority
- CN
- China
- Prior art keywords
- feature extraction
- attention
- residual
- resolution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 73
- 230000008569 process Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000556720 Manga Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机图像处理技术领域，涉及一种基于稀疏自适应聚类的图像超分辨率重建方法，构建超分辨率图像数据训练集；构建稀疏自适应聚类神经网络，包括依次串联的浅层特征提取模块、嵌套残差深度特征提取模块和上采样重建模块，嵌套残差深度特征提取模块包括m个残差组，残差组包含n个残差通道注意力模块、稀疏自适应聚类注意力特征提取层；训练神经网络；将低分辨率图像输入训练后的神经网络得到高分辨率图像。本发明通过非对称局部敏感哈希算法，对非局部自相似性机制施加稀疏性约束，得到一个兼顾效率和性能的图像超分辨率重建模型；在降低参数量和计算时间的同时进一步提升了非局部注意力机制的准确性，从而更好地恢复重建超分辨率图像。
Description
技术领域：
本发明属于计算机图像处理技术领域，具体涉及一种基于稀疏自适应聚类的图像超分辨率重建方法。与传统的非局部注意力图像超分辨率方法相比，本发明降低了模型参数量和计算复杂度，并且进一步提升图像超分辨率重建质量。
背景技术：
图像超分辨率重建是一种图像处理技术，旨在将低分辨率图像提升到高分辨率。该技术在许多领域都有广泛的应用，例如医学图像处理、视频压缩和增强、远程监视和安全监控、卫星和无人机图像处理等。
图像超分辨率重建技术可以在成本花费不大的情况下，有效地缓解由于硬件限制和传输过程中带来的图像退化的问题。因此，该技术吸引了众多国内外学者深入研究，已经成为当今图像研究的热门领域，并将该技术应用于当下的众多行业领域中。在过去的几十年里，研究人员提出了许多不同的超分辨率重建算法，包括插值方法、基于样本的方法、稀疏表示方法、深度学习方法等。随着深度学习技术的快速发展，基于深度学习的超分辨率重建算法已经成为当前最为流行和有效的方法之一。这些算法利用深度神经网络来学习从低分辨率图像到高分辨率图像的映射，已经在许多实际应用项目中得到了广泛的应用。
图像超分辨率重建任务的目标是在给定低分辨率图像的情况下重建高分辨率图像，对于图像超分辨率重建任务，由于小的图形结构倾向于在同一张图像中重复出现，所以利用图像自相似性的非局部注意方法正成为一种更普遍的方式。具体的非局部操作是指在全局范围内搜索那些相似的模式，并选择性地对这些相关特征求和以增强表示。然而，传统的基于密集注意力机制的非局部模块融合了过多的无关信息，引入了噪声影响了深层特征之间相互计算的准确性，并且该模块需计算所有像素位置之间的特征相互性，这会导致图像大小相关的二次计算成本。
发明内容：
针对基于传统密集注意力机制出现的计算所有像素位置之间深层特征信息不准确，特征互相似性计算量大的缺点，本发明提出的基于稀疏自适应聚类的非局部自相似性超分辨率重建方法，在降低参数量和计算时间的同时进一步提升了非局部注意力机制的准确性，从而更好地恢复重建超分辨率图像。
为实现上述目的，本发明提供一种基于稀疏自适应聚类的图像超分辨率重建方法，具体步骤包括：
S1、构建超分辨率图像数据集：使用来自图像超分辨率领域经典的图像集DIV2K中的800张图像作为训练数据集，然后，选择五个标准单图像超分辨率测试集:Set5，Set14，B100，Urban100和Manga109作为测试集，
S2、构建稀疏自适应聚类神经网络：稀疏自适应聚类神经网络包括依次串联的浅层特征提取模块、嵌套残差深度特征提取模块和上采样重建模块及卷积层；浅层特征提取模块为一个卷积层，用于从给定的低分辨率图像中提取图像的浅层特征；嵌套残差深度特征提取模块用于获取到能够反映大范围视野域的深层特征；嵌套残差深度特征提取模块包括深度特征提取模块和长程残差连接，深度特征提取模块由m(m>＝5)个残差组、一个末端卷积层组连接组成，m个残差组串联，前一个的输出作为后一个残差组的输入；末端卷积层连接在m个残差组后面；长程残差连接与深度特征提取模块并联；嵌套残差深度特征提取模块将输入特征分成两路，一路用于提取深度特征，一路用于提取浅层特征，之后，将提取到的深层特征与长程残差连接提取的浅层特征进行元素求和得到输出特征；最后通过一个上采样重建模块和一个卷积层完成输出，实现高分辨率图像重建任务；
其中每个残差组包含注意力加权深度特征提取模块和短程残差连接，注意力加权深度特征提取模块由n(n>＝2)个残差通道注意力模块、一层稀疏自适应聚类注意力特征提取层、一个末端卷积层依次串联组成，其中n个残差通道注意力模块串联，用于提取深层特征；稀疏自适应聚类注意力特征提取层是用来提取注意力加权的深度特征，得到注意力加权的深度特征，输入末端卷积层。短程残差连接与注意力加权深度特征提取模块并联；残差组将输入特征分层两路，一路用于提取注意力加权深度特征，一路用于提取浅层特征，之后，将提取到的注意力加权深度特征与短程残差连接提取的浅层特征进行元素求和得到输出特征；
所述稀疏自适应聚类注意力特征提取层是基于非对称局部敏感哈希算法实现注意力矩阵的自适应聚类，具体算法如下：
S21、将输入特征向量通过三个不同的线性映射获取查询向量、键向量和值向量；
S22、采用新型的非对称变换F,G:Rd→Rd′，将查询向量数据由d维转为d′维，从而做到将最大内积搜索问题巧妙地变换为最近邻搜索问题；
S23、然后使用p稳定分布局部敏感哈希函数h:Rd′→R，将转化后的向量映射成实数，并使得欧式距离接近的向量对应于实数上接近的数字；
S24、根据向量的局部敏感哈希值对向量进行排序，并通过调整哈希桶大小来对它们进行分组，以确保L个哈希桶；16<＝L<＝256；
S25、在每个桶中采用标准的密集注意力算法；得到经过注意力机制处理后的加权深层特征；每个桶(簇)中的结果与值向量V加权求和后，经过向量变换转为一个输出结果，输出到该层后面的卷积层；
S3、训练构建的稀疏自适应聚类神经网络，得到最优神经网络；
在训练过程中，一个训练批次由16张图像组成，训练块大小为48×48，从训练数据集中随机裁剪，并通过随机旋转90度、180度和270度以及水平翻转进行数据增广；对于得到的N个低分辨率图像I及其对应的高分辨率图像利用损失函数L(Θ)对SACN进行优化；使用ADAM优化器，并设置超参数β1＝0.9，β2＝0.999，和∈＝10-8来优化模型，其中β1系数为指数衰减率，用于控制动量与当前梯度的权重分配，β2系数为指数衰减率，用于控制梯度平方的影响情况，∈系数是为了避免在具体计算时候出现除以零；设定初始学习率为10-4，每200个训练轮次进行减半，直到第1000个训练轮次停止；
S4、将需重建的低分辨率图像输入训练后的稀疏自适应聚类神经网络，得到高超分辨率图像。
本发明与现有技术相比，提出通过非对称局部敏感哈希算法，对非局部自相似性机制施加稀疏性约束，从而得到一个兼顾效率和性能的图像超分辨率重建模型；在降低参数量和计算时间的同时进一步提升了非局部注意力机制的准确性，从而更好地恢复重建超分辨率图像。
附图说明：
图1为本发明涉及的基于稀疏自相似性聚类图像超分辨率重建方法的工艺流程示意图。
图2为本发明涉及的稀疏自适应聚类神经网络整体框架结构原理示意图。
图3为本发明涉及的主框架中的残差组结构具体内部组成要素构成示意图。
图4为本发明涉及的非对称局部敏感哈希方法自适应聚类实现过程示意图。
图5为本发明涉及的SACN模型与其他经典超分模型在Urban100数据集中的重建效果对比图。
具体实施方式：
下面通过实施例并结合附图对本发明的技术方案进行详细描述。
实施例1：
本发明涉及一种基于稀疏自适应聚类的图像超分辨率重建方法，具体步骤包括：
S1、构建图像超分辨率重建任务数据集：使用公开的DIV2K图像集中的800张图像作为训练数据集，将其中的原始高分辨率图像通过双三次插值法进行下采样操作，生成与之对应的2倍、3倍、4倍的低分辨率图像，并将每个高分辨率图像与其对应的低分辨率图像组成一对，做为训练集；将五个标准图像超分辨率测试集(Set5、Set14、B100、Urban100和Manga109)作为测试集；
S2、设计并构建稀疏自适应聚类神经网络：首先输入低分辨率图像I，通过一层卷积提取出浅层特征F0；之后通过嵌套残差深度特征提取模块，获取到能够反映大范围视野域的深层特征；然后通过一个上采样重建模块和一个卷积层完成输出，实现高分辨率图像重建任务；嵌套残差通道超分辨重建神经网络的具体结构如图2所示；
嵌套残差深度特征提取模块由深度特征提取模块和长程残差连接，深度特征提取模块由m(m＝10)个残差组、一个末端卷积层组连接组成，m个残差组串联，前一个的输出作为后一个残差组的输入；末端卷积层连接在m个残差组后面；长程残差连接与深度特征提取模块并联；嵌套残差深度特征提取模块将输入特征分成两路，一路用于提取深度特征，一路用于提取浅层特征，之后，将提取到的深层特征与长程残差连接提取的浅层特征进行元素求和得到输出特征；
其中每个残差组又包含注意力加权深度特征提取模块和短程残差连接，注意力加权深度特征提取模块由n(n＝4)个残差通道注意力模块、一层稀疏自适应聚类注意力特征提取层、一个末端卷积层组成，其中n个残差通道注意力模块串联，用于提取深层特征；稀疏自适应聚类注意力特征提取层是用来提取注意力加权的深度特征，得到注意力加权的深度特征，输入末端卷积层。短程残差连接与注意力加权深度特征提取模块并联；残差组将输入特征分层两路，一路用于提取注意力加权深度特征，一路用于提取浅层特征，之后，将提取到的注意力加权深度特征与短程残差连接提取的浅层特征进行元素求和得到输出特征；得益于嵌套残差深度特征提取模块中的长程残差结构，该网络结构能更高效地通过恒等映射将低分辨率图像中的大量低频信息传递到输出端，并且在网络结构非常深的情况下，依旧能做到有效学习；
所述构建的稀疏自适应聚类神经网络的工作流程为：
(1)采用一个具有可训练参数α的卷积层用于从给定的低分辨率图像I中提取图像的浅层特征，该过程通过下式来定义：
F0＝Φ(I；α) 式(1)
其中Φ(I；α)是低分辨率特征提取部分的卷积运算，α表示卷积过程中产生的所有参数；F0用于嵌套残差块的深度特征提取；
(2)将F0经过m个残差组和一个末端卷积层，输出得到深度特征FD。
FD＝Ψ(F0；β)
其中Ψ(F0；β)表示为深度特征提取过程，β表示为其中可训练参数；
(3)通过上采样亚像素卷积↑来提升所获得的深度特征FD，最后通过卷积层生成高分辨率图像
其中Ω(FD↑；γ)表示高分辨图像重建部分，由含三个滤波器的卷积层实现，可训练参数γ用于最终的高分辨率图像重建；总的来说，可将上述三部分组合为公式：
其中的SACN(·)表示稀疏自适应聚类神经网络(Sparse Adaptive ClusteringNetwork,SACN)；与此同时，为避免梯度消失，在嵌套残差深度特征提取模块和残差组中分别添加的长程残差连接和短程残差连接用于保存浅层特征，和深度特征进行元素相加，从而更好地让网络结构专注学习高频特征和防止梯度爆炸。
所述稀疏自适应聚类注意力特征提取层是为了高效获取注意力加权处理后的深度特征，是基于非对称局部敏感哈希算法实现注意力矩阵的自适应聚类；由于在图像超分辨率重建任务中，一副图中的较小的图形结构倾向于在同一张图像的其他位置中重复出现，图像的这种自相似性特点给图像超分辨率重建提供了额外的信息，并在数字图像任务中得到了广泛的应用；但是，传统的应用于超分辨率重建任务的非局部自相似性方法，通常存在限制像素点搜索范围和计算复杂度高等缺点；为了缓解这个问题，本实施例提出通过非对称局部敏感哈希算法，对非局部自相似性机制施加稀疏性约束，从而得到一个兼顾效率和性能的图像超分辨率重建模型；
所述稀疏自适应聚类注意力提取层的实现流程为：将输入特征向量通过线性变换来获取查询向量、键向量和值向量；基于这些向量特征的相似度，采用稀疏自适应聚类算法实现分桶；然后在每个桶中采用标准的密集注意力算法来计算特征之间的相似度，得到每个桶中的注意力矩阵；使用注意力矩阵与对应的值向量部分进行加权求和，并将结果通过向量变换得到注意力加权后的深度特征，作为输出特征向量输出。具体计算过程如下：
(a)、将输入特征向量通过三个不同的线性映射获取查询向量qi、键向量ki和值向量；
(b)、采用新型的非对称变换F,G:Rd→Rd′，将查询向量和键向量由d维转为d′维，从而做到将最大内积搜索问题巧妙地变换为最近邻搜索问题，具体为：
针对注意力计算过程，对于任何给定的查询向量qi∈Q(Q表示整个神经网络训练过程中全部qi构成的集合)，都需要一种有效的方法来找到它具有大内积的键的集合；这类问题被称为最大内乘积搜索问题，可以通过转换查询向量qi和键向量ki将其转换为最近邻搜索来有效解决；针对具体图像超分辨率任务的实际考虑，本实施例采用了一种新颖的向量非对称变换方法：
公式中的为常量，Max(·)表示求向量最大值函数，MQ和Mk分别表示全部查询向量和键向量在二范数约束下的最大值；通过这种转换，可将所有的查询向量和键向量投影到半径为/>的d+2维的球上，其中d表示输入数据的特征通道数；并且变换后的向量之间的距离随着原始向量的内积线性减小，其中变换后向量的欧几里得距离只依赖于原始向量的内积
(c)、然后使用p稳定分布局部敏感哈希函数h:Rd′→R，将转化后的向量映射成实数，并使得欧式距离接近的向量对应于实数上接近的数字：
在对查询向量qi和键向量ki进行非对称变换后，得到查询F(qi)和键G(ki)，倘若‖F(qi)-G(ki)‖2很小，则相应的映射结果|h(F(qi))-h(G(ki))|也会很小，其中h:Rd′→R为哈希映射函数，本实施例采用映射hE2LSH(·)来创建平衡的聚类，如下式所示：
其中u为d维的原始输入向量；a＝(a1,…,a′d)∈Rd′，表示为由正态分布产生的一组随机变量，每一维随机向量从p稳定分布中独立产生；b为从(0,r)范围内产生的随机数；r是控制局部敏感哈希灵敏度的标量参数；由于具体执行过程中是通过对向量的局部敏感哈希索引进行排序从而对向量进行重新分组，因此不需要向下取整运算符和对r进行除运算，简化后的哈希映射记为h(u)：
h(u)＝(u·a)+b
(d)、根据向量的局部敏感哈希值对向量进行排序，并通过调整哈希桶大小来对它们进行分组，以确保L(L＝128)个平衡簇；
(e)、在每个哈希桶中采用标准的密集注意力算法来计算特征之间的相似度，得到每个桶中的注意力矩阵；所述标准的密级注意力算法指的是经典论文
《Attention Is All You Need》提到的计算注意力的方法，公式为：
给定查询向量qi的映射向量X∈Rh×w×c(h和w表示输入图像的长和宽，c为输入图像的通道数)，为了更好地说明表示，这里将该向量重新映射为一维特征X′∈Rn×c，因而查询向量特征xi的自注意力过程可以表示为下式，即该注意力机制需要计算每个像素(查询特征向量xi)两两之间的相互关系：
其中n＝hw，xi、xj和xk分别表示X′上的第i个、第j个和第k个特征向量；是一个特征变换函数，用于生成值向量，s(xi,xk)和s(xi,xj)函数用于度量特征之间的相似性；
与传统的注意力机制不同，稀疏注意力仅仅需要计算划分到每一个哈希桶内像素点之间的相似性，从而将计算注意的时间复杂度从二次降至渐进线性；形式上，使用非对称局部敏感哈希的稀疏自注意过程可以表示为下式：
其中exp表示以自然常数e为底的指数函数，λi表示与查询向量特征xi分配到同一个哈希桶内的特征集合，即将稀疏性约束引入了传统的注意力机制，将一部分关联较弱的点权重设置为0，从而更多地关注与查询向量强相关的像素点，实现降低冗余噪声信息的同时加快自注意过程的计算速度；
计算复杂度和速度：非对称稀疏注意力的时间复杂度和内存复杂度为 其中H表示哈希的轮次数，N代表查询向量qi的长度，即键向量ki的长度，logN表示以2为底的对数，L表示聚类后哈希桶的个数。对于具体实验而言，一般设置L＝O(N),H＝
O(1)，因而在实际执行过程中，本算法的时间复杂度为O(NlogN)；
(f)、使用注意力矩阵与对应的值向量部分进行加权求和，并将结果通过向量变换得到注意力加权后的深度特征，作为输出特征向量输出；
S3、训练构建的稀疏自适应聚类神经网络，得到最优神经网络；
在训练过程中，一个训练批次由16张图像组成，训练块大小为48×48，从训练数据集中随机裁剪，并通过随机旋转90度、180度和270度以及水平翻转进行数据增广；对于得到的N个低分辨率图像I及其对应的高分辨率图像利用损失函数L(Θ)对SACN进行优化；使用ADAM优化器，并设置超参数β1＝0.9，β2＝0.999，和∈＝10-8来优化模型，其中β1系数为指数衰减率，用于控制动量与当前梯度的权重分配，β2系数为指数衰减率，用于控制梯度平方的影响情况，∈系数是为了避免在具体计算时候出现除以零；设定初始学习率为10-4，每200个训练轮次进行减半，直到第1000个训练轮次停止；
所述损失函数L(Θ)公式如下：
其中Θ表示为SACN网络的参数集合；
S4、将需重建的低分辨率图像输入训练后的稀疏自适应聚类神经网络，得到高超分辨率图像。
为了证明本发明提出的稀疏自适应聚类神经网络模型的有效性，选取图像超分辨率重建领域经典测试数据集：包含五张图像的Set5数据集、覆盖更多细节的Set14数据集、高质量自然图像B100数据集、专门用于城市场景的Urban100数据集，以及日本漫画相关的Manga109数据集。其中选取进行比较的图像超分辨率重建任务经典模型有：Dong等人的FSRCNN模型“C.Dong,C.C.Loy,and X.Tang,“Accelerating the super-resolutionconvolutional neural network,”in European conference on computervision.Springer,2016,pp.391–407”；Kim等人的VDSR模型“J.Kim,J.K.Lee,and K.M.Lee,“Accurate image super-resolution using very deep convolutional networks,”inProceedings of the IEEE conference on computer vision and patternrecognition,2016,pp.1646–1654”；Lim等人的EDSR模型“Lim B,Son S,Kim H,etal.Enhanced deep residual networks for single image super-resolution[C]//Proceedings of the IEEE conference on computer vision and pattern recognitionworkshops.2017:136-144”；Zhang等人的RCAN模型“Zhang Y,Li K,Li K,et al.Imagesuper-resolution using very deep residual channel attention networks[C]//Proceedings of the European conference on computer vision(ECCV).2018:286-301”；Dai等人的SAN模型“Dai T,Cai J,Zhang Y,et al.Second-order attentionnetwork for single image super-resolution[C]//Proceedings of the IEEE/CVFconference on computer vision and pattern recognition.2019:11065-11074”；Mei等人的CSNLN模型“Mei Y,Fan Y,Zhou Y,et al.Image super-resolution with cross-scale non-local attention and exhaustive self-exemplars mining[C]//Proceedings of the IEEE/CVF conference on computer vision and patternrecognition.2020:5690-5699”；以及Mei等人的NLSN模型“Mei Y,Fan Y,Zhou Y.Imagesuper-resolution with non-local sparse attention[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021:3517-3526”。
其中主观评价对比分析结果，如图5所示。图片取材于Urban100城市数据集的编号92号图片，左边为图片整体图片展示，右边为不同模型超分辨率恢复重建后的局部裁切图，依次是高清原图HR，基于双三次插值方法模糊处理后Bicubic图片，经典图像超分模型EDSR、VDSR、SAN、RCAN和NLSN，以及本发明提出的基于稀疏自适应聚类的图像超分辨率算法SACN。通过观察比较可知，本发明方法能够准确地恢复出城市高楼图像中的条形纹理等细节，而其他经典的超分重建的结果普遍出现纹理恢复不准确的问题，未能有效地还原图像中的真实内容。这说明本发明方法在恢复真实纹理方面有较为明显的优势，能够更好地保留图像的纹理细节信息，使重建后的图像更接近于原始图像。因此，本发明实例提供的图像超分辨率重建方法能够在实际应用中具有更好的效果。
表1：不同图像超分辨重建模型实验对比结果
为避免主观评价对于模型性能分析的偏差，本实施例基于两种常用的客观评价图像质量的指标峰值信噪比PSNR和结构相似度SSIM，对模型之间的具体性能进行定量对比。PSNR和SSIM的数值越高，意味着重建结果越接近于真实的图像，即图像质量越好。将其中的原始高分辨率图像通过双三次插值法进行下采样操作，生成与之对应的2倍、3倍、4倍的低分辨率图像，并将每个高分辨率图像与其对应的低分辨率图像组成一对，分别针对不同放大因子进行PSNR和SSIM的对比；针对不同放大因子的测试集结果如表1所示，展示了本发明提出的基于稀疏自相似性聚类方法与另外7种经典图像超分辨率处理算法的比较结果。通过量化比较可知，在其他经典方法的对比中，本发明实例提出的模型呈现出了明显的优势。尤其在图像更为模糊，处理难度更大的4倍数据集中，本发明的方法性能表现更为突出，其中在富含不同条纹细节的城市景色数据集Urban100中相较于次优模型，实现了0.2dB的性能改善。这些性能提升的结果表明，SACN模型探索了更准确的自相似性特征，从而使得重建后的图像视觉效果得到了一个明显地提升。
Claims (4)
1.一种基于稀疏自适应聚类的图像超分辨率重建方法，其特征在于，具体步骤包括：
S1、构建超分辨率图像数据集：使用来自图像超分辨率领域经典的图像集DIV2K中的800张图像作为训练数据集；
S2、构建稀疏自适应聚类神经网络：稀疏自适应聚类神经网络包括依次串联的浅层特征提取模块、嵌套残差深度特征提取模块和上采样重建模块及卷积层；浅层特征提取模块为一个卷积层，用于从给定的低分辨率图像中提取图像的浅层特征；嵌套残差深度特征提取模块用于获取到能够反映大范围视野域的深层特征；嵌套残差深度特征提取模块包括深度特征提取模块和长程残差连接，深度特征提取模块由m个残差组、一个末端卷积层组连接组成，m个残差组串联，前一个的输出作为后一个残差组的输入；末端卷积层连接在m个残差组后面；长程残差连接与深度特征提取模块并联；嵌套残差深度特征提取模块将输入特征分成两路，一路用于提取深度特征，一路用于提取浅层特征，之后，将提取到的深层特征与长程残差连接提取的浅层特征进行元素求和得到输出特征；所述m>＝5；
其中，每个残差组包含注意力加权深度特征提取模块和短程残差连接，注意力加权深度特征提取模块由n个残差通道注意力模块、一层稀疏自适应聚类注意力特征提取层、一个末端卷积层依次串联组成；所述n>＝2；所述稀疏自适应聚类注意力特征提取层是用来提取注意力加权的深度特征，得到注意力加权的深度特征；短程残差连接与注意力加权深度特征提取模块并联；
S3、训练构建的稀疏自适应聚类神经网络，得到最优神经网络；
S4、将需重建的低分辨率图像输入训练后的稀疏自适应聚类神经网络，得到高超分辨率图像。
2.根据权利要求1所述的基于稀疏自适应聚类的图像超分辨率重建方法，其特征在于，所述稀疏自适应聚类注意力特征提取层是基于非对称局部敏感哈希算法实现注意力矩阵的自适应聚类，具体算法如下：
S21、将输入特征向量通过三个不同的线性映射获取查询向量、键向量和值向量；
S22、采用新型的非对称变换F,G:Rd→Rd′，将查询向量数据由d维转为d′维，从而做到将最大内积搜索问题巧妙地变换为最近邻搜索问题；
S23、然后使用p稳定分布局部敏感哈希函数h:Rd′→R，将转化后的向量映射成实数，并使得欧式距离接近的向量对应于实数上接近的数字；
S24、根据向量的局部敏感哈希值对向量进行排序，并通过调整哈希桶大小来对它们进行分组，以确保L个哈希桶；16<＝L<＝256；
S25、在每个桶中采用标准的密集注意力算法，得到经过注意力机制处理后的加权深层特征；每个桶中的结果与值向量V加权求和后，经过向量变换转为一个输出结果，输出到该层后面的卷积层。
3.根据权利要求1所述的基于稀疏自适应聚类的图像超分辨率重建方法，其特征在于，残差组将输入特征分层两路，一路用于提取注意力加权深度特征，一路用于提取浅层特征，之后，将提取到的注意力加权深度特征与短程残差连接提取的浅层特征进行元素求和得到输出特征。
4.根据权利要求1所述的基于稀疏自适应聚类的图像超分辨率重建方法，其特征在于，步骤S3具体训练过程如下：在训练过程中，一个训练批次由16张图像组成，训练块大小为48×48，从训练数据集中随机裁剪，并通过随机旋转90度、180度和270度以及水平翻转进行数据增广；对于得到的N个低分辨率图像I及其对应的高分辨率图像利用损失函数L(Θ)对SACN进行优化；使用ADAM优化器，并设置超参数β1＝0.9，β2＝0.999，和∈＝10-8来优化模型，其中β1系数为指数衰减率，用于控制动量与当前梯度的权重分配，β2系数为指数衰减率，用于控制梯度平方的影响情况，∈系数是为了避免在具体计算时候出现除以零；设定初始学习率为10-4，每200个训练轮次进行减半，直到第1000个训练轮次停止。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310722660.XA CN116777745A (zh) | 2023-06-19 | 2023-06-19 | 一种基于稀疏自适应聚类的图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310722660.XA CN116777745A (zh) | 2023-06-19 | 2023-06-19 | 一种基于稀疏自适应聚类的图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116777745A true CN116777745A (zh) | 2023-09-19 |
Family
ID=87985346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310722660.XA Pending CN116777745A (zh) | 2023-06-19 | 2023-06-19 | 一种基于稀疏自适应聚类的图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116777745A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495679A (zh) * | 2023-11-03 | 2024-02-02 | 北京科技大学 | 基于非局部稀疏注意力的图像超分辨率方法和装置 |
| CN117575915A (zh) * | 2024-01-16 | 2024-02-20 | 闽南师范大学 | 一种图像超分辨率重建方法、终端设备及存储介质 |
-
2023
- 2023-06-19 CN CN202310722660.XA patent/CN116777745A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495679A (zh) * | 2023-11-03 | 2024-02-02 | 北京科技大学 | 基于非局部稀疏注意力的图像超分辨率方法和装置 |
| CN117575915A (zh) * | 2024-01-16 | 2024-02-20 | 闽南师范大学 | 一种图像超分辨率重建方法、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN116777745A (zh) | 一种基于稀疏自适应聚类的图像超分辨率重建方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| Luo et al. | Lattice network for lightweight image restoration | |
| Gendy et al. | Lightweight image super-resolution based on deep learning: State-of-the-art and future directions | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN110363068A (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| CN114881861B (zh) | 基于双采样纹理感知蒸馏学习的不均衡图像超分方法 | |
| CN114841856A (zh) | 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法 | |
| CN111626927A (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
| CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和系统 | |
| CN115331104A (zh) | 一种基于卷积神经网络的农作物种植信息提取方法 | |
| CN112288626B (zh) | 一种基于双路径深度融合的人脸幻构方法及系统 | |
| CN116797461A (zh) | 基于多级强化注意力机制的双目图像超分辨率重建方法 | |
| CN115660955A (zh) | 高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质 | |
| Shi et al. | Multi-scale deep networks for image compressed sensing | |
| CN109615576A (zh) | 基于级联回归基学习的单帧图像超分辨重建方法 | |
| CN116168197A (zh) | 一种基于Transformer分割网络和正则化训练的图像分割方法 | |
| CN115170392A (zh) | 一种基于注意力机制的单图像超分辨率算法 | |
| CN113723472B (zh) | 一种基于动态滤波等变卷积网络模型的图像分类方法 | |
| CN118096922A (zh) | 一种基于风格迁移和遥感影像生成地图的方法 | |
| CN113139899A (zh) | 高质量轻量级超分辨率重建网络模型设计方法 | |
| CN108596831B (zh) | 一种基于AdaBoost实例回归的超分辨率重建方法 | |
| CN115861062A (zh) | 多尺度学习小波注意力机制网络及图像超分辨率重建方法 | |
| CN115035377A (zh) | 基于双流编码和交互解码的显著性检测网络系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |