CN114418853B - 基于相似图像检索的图像超分辨率优化方法、介质及设备 - Google Patents

基于相似图像检索的图像超分辨率优化方法、介质及设备 Download PDF

Info

Publication number
CN114418853B
CN114418853B CN202210068759.8A CN202210068759A CN114418853B CN 114418853 B CN114418853 B CN 114418853B CN 202210068759 A CN202210068759 A CN 202210068759A CN 114418853 B CN114418853 B CN 114418853B
Authority
CN
China
Prior art keywords
resolution
image
similar
feature map
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210068759.8A
Other languages
English (en)
Other versions
CN114418853A (zh
Inventor
刘颖
杨蕾婧
卢路
杨菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Biyou Information Technology Co ltd
Original Assignee
Hangzhou Biyou Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Biyou Information Technology Co ltd filed Critical Hangzhou Biyou Information Technology Co ltd
Priority to CN202210068759.8A priority Critical patent/CN114418853B/zh
Publication of CN114418853A publication Critical patent/CN114418853A/zh
Application granted granted Critical
Publication of CN114418853B publication Critical patent/CN114418853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Abstract

本发明公开了一种基于相似图像检索的图像超分辨率优化方法、介质及设备，属于图像数据处理领域。该方法首先从高分辨率图像素材库中检索相似高分辨率图像；然后提取相似高分辨率图像的特征，并引入注意力机制，以双三次插值算法得到的高分辨率中间图像作为查询，抽取相似高分辨率图像中与低分辨率图像相关的特征，与低分辨率图像上采样后的特征融合，生成高分辨率图像；最后将生成的高分辨率图像作为注意力机制新的查询，通过迭代得到最终的高分辨率图像生成结果。本发明结合与输入图像相似的高分辨率图像的相关细节特征，通过注意力机制来增强低分辨率图像的特征表达，更好地生成低分辨率图像的高分辨率版本。

Description

基于相似图像检索的图像超分辨率优化方法、介质及设备
技术领域
本发明属于图像数据处理领域，尤其涉及计算机视觉中的图像检索和图像超分辨率的方法。
背景技术
图像超分辨率(Image super-resolution,SR)，旨在从低分辨率的对应图像中重建出高分辨率的图像。该任务可以从低分辨率的图像中还原出高分辨率的图像，能够大大降低人工绘制高分辨率图像素材的成本，快速提供高分辨率图像素材。
与传统的基于模型的图像超分辨率，当前的主流图像超分辨率方案是基于深度学习的，尤其是一些基于卷积神经网络(CNN)的方案。这类模型通常通过大规模的高低分辨率图像对的数据集，去学习低分辨率图像和高分辨率图像之间的映射。现在主流的超分辨率方向是通过增加模型的复杂度来获得提升，包括使用注意力机制、残差连接和紧密连接设计。近些年，又由于Transformer类模型在计算机视觉和自然语言处理领域的流行，现在最先进的图像超分辨率模型是基于Transformer的模块设计的。所以本文所提出的超分辨率模型是基于最新的Transformer结构来设计的，其较之CNN的传统深度学习模型，有所提升。
但这些在模型结构上优化的图像超分辨率方案，都只考虑了本身输入的低分辨率图像的浅层和深层特征。由于输入的数据仅仅为低分辨率图像，低分辨率图像在上采样生成高分辨率图像的过程，模型并没有直观地接收到高分辨率图像的细节，最终难以产生和真实高分辨率图像细节相当的结果。
发明内容
本发明的目的是为了实现低分辨率的图像素材转化为高分辨率的图像素材，提出了一种基于相似图像检索的图像超分辨率优化方法，预期在给定低分辨率图像和已有一定高分辨率图像的基础下，将低分辨率图像更好地转化为高分辨率地图像。本发明的发明构思是利用相似的高分辨率图像中的相似的细节特征，来增强原低分辨率图像上采样之后的特征表达，以此产生更好的高分辨率图像。
为了实现上述发明目的，本发明具体采用如下的技术方案：
第一方面，本发明提供了一种基于相似图像检索的图像超分辨率优化方法，其包括如下步骤：
S1：获取满足目标分辨率要求的高分辨率图像素材库，针对待进行图像超分辨率优化的低分辨率图像，利用图像检索模型从高分辨率图像素材库中寻找与其相似高分辨率图像，得到至少一个相似高分辨率图像；
S2：将所述低分辨率图像的浅层特征和深层特征相加后进行上采样，得到第一高分辨率特征图；对每张相似高分辨率图像进行特征提取，得到第二高分辨率特征图；将所述低分辨率图像通过双三次插值算法进行插值，得到满足目标分辨率要求的高分辨率中间图像；
S3：通过基于窗口的交叉注意力机制，以所述高分辨率中间图像作为查询，抽取所述第二高分辨率特征图中与所述低分辨率图像相关的特征，将抽取到的特征与所述第一高分辨率特征图融合，融合特征经过卷积后生成的图像作为新的高分辨率中间图像；
S4：迭代执行S3，每一轮迭代均将上一轮生成的高分辨率中间图像作为交叉注意力机制新的查询，重新生成新的高分辨率中间图像；迭代完毕后，以最后一轮生成的高分辨率中间图像作为所述低分辨率图像完成图像超分辨率优化后的最终高分辨率图像。
作为上述第一方面的优选，所述S1中，高分辨率图像素材库内的高分辨率图像的分辨率与图像超分辨率优化的目标分辨率一致，且与所述低分辨率图像属于相同的主题。
作为上述第一方面的优选，所述的图像检索模型中，先由在图像分类数据集上预训练的Swin Transformer对所述低分辨率图像和高分辨率图像素材库中的每一张图像进行特征提取，再通过计算图像特征之间的余弦相似度，作为相似图像检索排序的依据。
作为上述第一方面的优选，所述图像检索模型需从高分辨率图像素材库中寻找出K张与所述低分辨率图像相似的图像，其中K＝1或2或5。
作为上述第一方面的优选，所述S2的具体步骤如下：
S21：将低分辨率图像Il通过一个浅层特征提取网络，得到浅层特征图F0，浅层特征图F0再通过一个深层特征提取网络，得到深层特征图FD；将浅层特征图F0和深层特征图FD相加后，再通过子像素卷积(sub-pixel convolution)进行上采样，得到第一高分辨率特征图FH；
S22：将每个相似高分辨图像Is均通过高分辨率特征提取网络，提取出第二高分辨率特征图
Figure BDA0003481225120000031
其中H、W、C分别为第二高分辨率特征图的高度、宽度和通道数；
S23：将待进行图像超分辨率优化的低分辨率图像Il通过双三次插值算法(bicubic)插值至目标分辨率，得到高分辨率中间图像Ibic。
作为上述第一方面的优选，所述S3的具体步骤如下：
S31：将经过双三次插值算法插值得到的高分辨率中间图像Ibic通过高分辨率特征提取网络，提取得到特征
Figure BDA0003481225120000032
S32：针对每一个第二高分辨率特征图Fsi，将Fbic和Fsi分别划分为M×M大小的窗口，分别得到窗口化的特征图
Figure BDA0003481225120000033
和特征图
Figure BDA0003481225120000034
将F′bic和F′si的每个窗口均做最大池化，得到窗口最大池化后的特征图
Figure BDA0003481225120000035
和特征图
Figure BDA0003481225120000036
针对特征图Fbic,mp中的
Figure BDA0003481225120000037
个窗口和特征图Fsi,mp中的
Figure BDA0003481225120000038
个窗口计算两两窗口之间C个通道值的相似度，形成矩阵
Figure BDA0003481225120000039
其中矩阵Sbsi中第m行第n列的元素为特征图Fbic,mp中的第m个窗口和特征图Fsi,mp中的第n个窗口之间的相似度；对矩阵Sbsi的每一行进行最大值搜索，对矩阵Sbsi中任意第m行仅保留该行的最大值，并将该最大值在特征图Fsi中对应映射的窗口作为特征图Fbic中的第m个窗口的最相似窗口，矩阵Sbsi的所有行均仅保留最大值后，得到向量
Figure BDA00034812251200000310
S33：将S1中得到的所有K张相似高分辨图像的矩阵Sbsi,max拼接，得到窗口相似度矩阵
Figure BDA00034812251200000311
S34：通过交叉注意力机制(cross attention)，为特征Fbic中的每个窗口
Figure BDA00034812251200000312
都从Fsi里对应的最相似窗口
Figure BDA00034812251200000313
中抽取到窗口相似特征Fai,j：
Figure BDA0003481225120000041
其中，i＝1,2,…,K，
Figure BDA0003481225120000042
S35：对窗口相似度矩阵Sbs,max中第j行的相似度向量
Figure BDA0003481225120000043
对其做softmax归一化，得到归一化向量S′bs,max,j；将K张相似高分辨图像的窗口相似特征Fai,j拼接，得到拼接特征
Figure BDA0003481225120000044
以归一化向量S′bs,max,j对得到的拼接特征Faj加权求和，得到特征图Fbic中第j个窗口的相似高分辨率特征
Figure BDA0003481225120000045
将特征图Fbic中所有窗口的相似高分辨率特征
Figure BDA0003481225120000046
拼接，得到最终的第三高分辨率特征图
Figure BDA0003481225120000047
S36：将第一高分辨率特征图FH与第三高分辨率特征图
Figure BDA0003481225120000048
在通道维度上拼接后，再通过3×3的卷积得到高分辨率图像Io1，作为新的高分辨率中间图像。
作为上述第一方面的优选，所述浅层特征提取网络优选为3×3的卷积层；所述深层特征提取网络优选为残差连接的多层Swin Transformer Block网络；所述高分辨率特征提取网络优选为3×3的卷积层。
作为上述第一方面的优选，所述S4中，迭代执行S3的次数为2或3或5次。
第二方面，本发明提供了一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如第一方面任一方案所述的基于相似图像检索的图像超分辨率优化方法。
第三方面，本发明提供了一种电子设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如第一方面任一方案所述的基于相似图像检索的图像超分辨率优化方法。
本发明从相似高分辨率图像构建和检索、基于窗口的图像交叉注意力机制和迭代优化思想出发，提出了一种基于相似高分辨率图像检索的图像超分辨率迭代优化的方法。与现有技术相比，本发明充分利用了相似高分辨率图像中的细节特征，来补充低分辨率图像上采样生成高分辨率图像过程中的细节的缺失，来产生一个细节特征丰富的高分辨率图像，较好的实现图像超分辨率迭代优化任务。
附图说明
图1为一种基于相似图像检索的图像超分辨率优化方法的整体流程图。
图2为一种基于相似图像检索的图像超分辨率优化装置的模块示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于区分描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
本发明用于计算机视觉中的一个基本图像处理任务，即图像超分辨率优化，该任务需要由低分辨率的图像产生高分辨率的图像。为了便于后续描述，本发明中定义待进行图像超分辨率优化的图像为低分辨率图像，图像超分辨率优化后的图像为高分辨率图像。但是需要说明的是，本发明中图像的“低分辨率”和“高分辨率”仅仅是一个相对概念，即图像超分辨率优化之前分辨率相对较低的图像称为低分辨率图像，而图像超分辨率优化之后分辨率得到提升的图像称为高分辨率图像。因此，本发明中图像的“低分辨率”和“高分辨率”并非对分辨率取值的具体限定，仅仅是为了区分图像超分辨率优化前后的图像名称。另外，为了便于后续描述，本发明中还定义图像超分辨率优化后所要达到的图像分辨率称为目标分辨率。
本发明的核心是利用相似的高分辨率图像中的细节特征，来增强低分辨率图像相似区域的细节表达，由此更好地从低分辨率图像生成高分辨率图像。下面对本发明的具体实现过程进行详细阐述。
参见图1所示，在本发明的一个较佳实施例中，提供了一种基于相似图像检索的图像超分辨率优化方法，其包括如下步骤：
S1：获取满足目标分辨率要求的高分辨率图像素材库，针对待进行图像超分辨率优化的低分辨率图像，利用图像检索模型从高分辨率图像素材库中寻找与其相似高分辨率图像，得到至少一个相似高分辨率图像。
需要说明的是，本发明中的高分辨率图像素材库是一个预先构建的由一系列高分辨率图像组成的图像素材库，且该图像素材库的主题应当与低分辨率图像尽量一致，以便于为低分辨率图像的图像超分辨率优化提供参考。
作为本发明实施例的一种具体实现形式，上述S1中，高分辨率图像素材库内的高分辨率图像的分辨率与图像超分辨率优化的目标分辨率一致，且与待进行图像超分辨率优化的低分辨率图像属于相同的主题。例如，低分辨率图像进行图像超分辨率优化的目标分辨率为X，则高分辨率图像素材库中所含有的图像分辨率也均为X。图像的主题可以根据实际情况进行分类，作为一种示例，对于游戏图像的图像超分辨率优化任务而言，可以针对不同的游戏场景构建高分辨率图像素材库，每一种场景均可以单独设置一个高分辨率图像素材库，用于对这一场景的低分辨率图像进行图像超分辨率优化。
作为一种示例性的做法，本发明中的高分辨率图像素材库可通过网络检索、人工绘制等手段来构建。
需要说明的是，本发明中所谓的图像检索模型是指能够针对目标图片在图像集中检索相似图像的模型，可以采用任意能够实现该功能的模型来实现。
作为本发明实施例的一种具体实现形式，图像检索模型可以基于SwinTransformer来实现，在该图像检索模型中，先由在图像分类数据集上预训练的SwinTransformer对所述低分辨率图像和高分辨率图像素材库中的每一张待检索图像进行特征提取，再通过计算所述低分辨率图像和每一张待检索图像的图像特征之间的余弦相似度，作为相似图像检索排序的依据。在实际实现时，可取相似度最大的K张图片为检索的结果，即余弦相似度最高前K张待检索图像可以作为相似高分辨率图像。因此，上述图像检索模型需从高分辨率图像素材库中寻找出K张与所述低分辨率图像相似的图像，记为相似高分辨率图像集合Is＝{Is1,Is2,…,IsK}。具体的K取值可以根据实际需要进行调整，其最小值为1，优选的K可取1或2或5。
S2：将所述低分辨率图像的浅层特征和深层特征相加后进行上采样，得到第一高分辨率特征图；对每张相似高分辨率图像进行特征提取，得到第二高分辨率特征图；将所述低分辨率图像通过双三次插值算法进行插值，得到满足目标分辨率要求的高分辨率中间图像。
需要说明的是，本发明中所谓的双三次插值(Bicubic interpolation)是一种图像或者视频的缩放中常用的插值算法。双三次插值相对于双线性插值是一种更加复杂的插值方式，它能创造出比双线性插值更平滑的图像边缘。因此本发明利用双三次插值方法对低分辨率图像进行插值，对原图像进行放大。但是，这种插值方法在将低分辨率图像生成高分辨率图像的过程中，图像虽然分辨率得到了提升，但是生成的高分辨率图像的细节存在不足，最终难以产生和真实高分辨率图像细节相当的结果，因此本发明中将低分辨率图像(记为Il)通过双三次插值算法进行插值后的图像称为高分辨率中间图像，它是一种模糊高分辨率图像，需要通过后续步骤对细节进行补充强化。
作为本发明实施例的一种具体实现形式，上述S2的具体步骤可采用如下子步骤S21～S23来实现：
S21：将低分辨率图像Il通过一个浅层特征提取网络，得到浅层特征图F0，浅层特征图F0再通过一个深层特征提取网络，得到深层特征图FD；将浅层特征图F0和深层特征图FD相加后，再通过子像素卷积进行上采样，得到第一高分辨率特征图FH。
需要说明的是，本发明中所谓的子像素卷积(sub-pixel convolution)是一种巧妙的图像及特征图上采样的方法，又叫做像素洗牌(pixel shuffle)，其具体的原理和实现方法属于现有技术，对此不再赘述。
需要说明的是，本发明中所谓的浅层特征提取网络和深层特征提取网络可以是任意能够从图像中提取浅层特征和深层特征的网络，对此可不作限制。
作为本发明实施例的一种具体实现形式，所采用的浅层特征提取网络优选为3×3的卷积层；所采用的深层特征提取网络优选为残差连接的多层Swin Transformer Block网络。具体来说深层提取网络，可由3个模块构成，每个模块后接一个3×3卷积层，整个网络的输入残差连接到网络的输出；并且每个模块由3个串联的Swin Transformer Block构成，接上一个模块的3×3卷积层，模块的输入残差连接到模块的输出。
S22：将每个相似高分辨图像Is均通过高分辨率特征提取网络，提取出第二高分辨率特征图
Figure BDA0003481225120000081
其中H、W、C分别为第二高分辨率特征图的高度、宽度和通道数。所有第二高分辨率特征图Fsi可拼接为Fs＝{Fs1,Fs2,…,FsK}，其中
Figure BDA0003481225120000082
K为S1中得到的相似高分辨图像总数。
需要说明的是，本发明中所谓的高分辨率特征提取网络可以是任意能够从高分辨率图像中提取特征的网络，对此可不作限制。
作为本发明实施例的一种具体实现形式，所采用的高分辨率特征提取网络为3×3的卷积层，以保证尽量少的高分辨率图像特征处理中的损失。
S23：将待进行图像超分辨率优化的低分辨率图像Il通过双三次插值算法(Bicubic interpolation)插值至目标分辨率，得到高分辨率中间图像Ibic。
通过上述S21～S23步骤，即可完成图像超分辨率迭代优化之前的准备工作，进而开始进行后续的迭代优化流程。
S3：通过基于窗口的交叉注意力机制，以所述高分辨率中间图像作为查询，抽取所述第二高分辨率特征图中与所述低分辨率图像相关的特征，将抽取到的特征与所述第一高分辨率特征图融合，融合特征经过卷积后生成的图像作为新的高分辨率中间图像。
需要说明的是，本发明中所谓的基于窗口的交叉注意力机制是指以图像中的窗口为对象采用的交叉注意力机制(cross attention)，其在实现时需要先对图像进行窗口划分。
作为本发明实施例的一种具体实现形式，上述S3的具体步骤可采用如下子步骤S31～S36来实现：
S31：将当前的高分辨率中间图像Ibic通过高分辨率特征提取网络，提取得到特征
Figure BDA0003481225120000083
同样的，此处所采用的高分辨率特征提取网络亦可为3×3的卷积层，以保证尽量少的高分辨率图像特征处理中的损失。
需要说明的是，在该步骤中，当前的高分辨率中间图像Ibic在不同的迭代轮次中是会发生变化的。第一次执行S31时，当前的高分辨率中间图像Ibic是经过双三次插值算法插值得到的高分辨率中间图像Ibic，而后续执行时则是上一次迭代更新的高分辨率中间图像。
S32：针对每一个第二高分辨率特征图Fsi，均需要按照下述流程获取矩阵Sbsi,max：
首先，将Fbic和Fsi分别进行窗口化划分，窗口大小设置为M×M，由此Fbic和Fsi被划分为一系列M×M大小的窗口，Fbic和Fsi完成窗口化划分后分别得到窗口化的特征图
Figure BDA0003481225120000091
和特征图
Figure BDA0003481225120000092
然后，将F′bic和F′si的每个窗口均做最大池化，即每一个M×M大小的窗口中的所有通道仅保留每个通道的最大值，由此F′bic和F′si完成最大池化后分泵得到窗口最大池化后的特征图
Figure BDA0003481225120000093
和特征图
Figure BDA0003481225120000094
再后，针对特征图Fbic,mp中的
Figure BDA0003481225120000095
个窗口和特征图Fsi,mp中的
Figure BDA0003481225120000096
个窗口，计算两个特征图的两两窗口之间C个通道值的相似度，即将特征图Fbic,mp中每个窗口的C个通道值与特征图Fsi,mp中的每个窗口的C个通道值进行相似度计算，一共得到
Figure BDA0003481225120000097
个相似度值，进而构成矩阵
Figure BDA0003481225120000098
其中矩阵Sbsi中第m行第n列的元素为特征图Fbic,mp中的第m个窗口和特征图Fsi,mp中的第n个窗口之间的相似度。也就是说，矩阵Sbsi中的每一行记录了特征图Fbic,mp中的一个窗口与特征图Fsi,mp中的
Figure BDA0003481225120000099
个窗口的相似度。由于特征图Fbic,mp中的窗口对应了特征图Fbic中的窗口，特征图Fsi,mp中的窗口对应了特征图Fsi中的窗口，因此对应的，矩阵Sbsi中的每一行也就是记录了特征图Fbic中的一个窗口与特征图Fsi中的
Figure BDA00034812251200000910
个窗口的相似度。在该步骤中，相似度可以采用余弦相似度或者点积等方式计算。
最后，对矩阵Sbsi的每一行进行最大值搜索，然后对矩阵Sbsi中任意第m行仅保留该行的最大值而去除其他的非最大值，并将该最大值在特征图Fsi中对应映射的窗口作为特征图Fbic中的第m个窗口的最相似窗口，
Figure BDA00034812251200000911
矩阵Sbsi的所有
Figure BDA00034812251200000912
行均仅保留最大值后，得到列向量
Figure BDA00034812251200000913
S33：将S1中得到的所有K张相似高分辨图像均按照S32得到列向量Sbsi,max后，将这K个列向量Sbsi,max拼接，得到窗口相似度矩阵
Figure BDA00034812251200000914
S34：通过基于窗口的交叉注意力机制(cross attention)，为特征Fbic中的每个窗口
Figure BDA0003481225120000101
都从Fsi里对应的最相似窗口
Figure BDA0003481225120000102
中抽取到细节特征即窗口相似特征
Figure BDA0003481225120000103
在交叉注意力机制中，Fbic,j作为查询Q，因此由交叉注意力机制得到的窗口相似特征的公式为：
Figure BDA0003481225120000104
其中，i＝1,2,…,K，
Figure BDA0003481225120000105
S35：对窗口相似度矩阵Sbs,max中第j行的相似度向量
Figure BDA0003481225120000106
对其做softmax归一化，得到归一化向量S′bs,max,j；将K张相似高分辨图像的窗口相似特征Fai,j拼接，得到拼接特征
Figure BDA0003481225120000107
以归一化向量S′bs,max,j对得到的拼接特征Faj加权求和，得到特征图Fbic中第j个窗口的相似高分辨率特征
Figure BDA0003481225120000108
将特征图Fbic中所有
Figure BDA0003481225120000109
个窗口的相似高分辨率特征
Figure BDA00034812251200001010
拼接，得到最终的第三高分辨率特征图
Figure BDA00034812251200001011
即
Figure BDA00034812251200001012
Figure BDA00034812251200001013
S36：将前述S21中通过子像素卷积上采样得到的第一高分辨率特征图FH与S35中得到的第三高分辨率特征图
Figure BDA00034812251200001014
在通道维度上拼接后，再将拼接特征图通过3×3的卷积，由此得到高分辨率图像Io1，将高分辨率图像Io1作为新的高分辨率中间图像，即将Ibic更新为Io1。
上述S31～S36步骤，是每一轮迭代的基本流程，每一轮迭代均可利用相似高分辨率图像的相关细节特征，通过注意力机制来对高分辨率中间图像进行细节补充，从而提高双三次插值算法插值得到的高分辨率中间图像中的细节特征。仅执行一轮S31～S36步骤往往无法使得图像的细节得到充分优化，因此需要迭代执行S31～S36步骤。
S4：迭代执行S3，每一轮迭代均将上一轮生成的高分辨率中间图像作为交叉注意力机制新的查询，重新生成新的高分辨率中间图像；迭代完毕后，以最后一轮生成的高分辨率中间图像作为所述低分辨率图像完成图像超分辨率优化后的最终高分辨率图像。
需要注意的是，上述执行S3的具体迭代次数T需要根据图像优化的效果以及计算资源消耗进行综合确定。在迭代过程中，随着T的增加生成高分辨率图像的质量有所提升，但对于图像细节增强的边际效益会越来越低，因此可事先测试不同迭代次数下得到的最终优化图像，进而选择最佳的迭代次数T。
作为本发明实施例的一种具体实现形式，上述S4中从图像质量和迭代造成的耗时综合考虑，迭代执行S3的次数T优选为2或3或5次。常见的图像类型中T＝2或3往往已经能够达到较好的优化效果。
由此可见，本发明基于上述S1～S4步骤，可充分利用相似高分辨率图像中的细节特征，来补充低分辨率图像上采样生成高分辨率图像过程中的细节的缺失，来产生一个细节特征丰富的高分辨率图像，较好的实现图像超分辨率迭代优化任务。
同样的，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于相似图像检索的图像超分辨率优化方法对应的一种电子设备，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如前所述的基于相似图像检索的图像超分辨率优化方法。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
由此，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于相似图像检索的图像超分辨率优化方法对应的一种计算机可读存储介质，该所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如前所述的基于相似图像检索的图像超分辨率优化方法。
具体而言，在上述两个实施例的计算机可读存储介质中，存储的计算机程序被处理器执行，可执行前述的S1～S4的步骤。上述的S1～S4的步骤在存储介质中实际上相当于功能模块。
作为本发明的一种示例，存储介质中与上述S1～S4步骤对应的功能模块，相当于构成了基于相似图像检索的图像超分辨率优化装置，其模块示意图如图2所示，具体包括：
相似图像检索模块：用于获取满足目标分辨率要求的高分辨率图像素材库，针对待进行图像超分辨率优化的低分辨率图像，利用图像检索模型从高分辨率图像素材库中寻找与其相似高分辨率图像，得到至少一个相似高分辨率图像；
特征提取和插值模块：用于将所述低分辨率图像的浅层特征和深层特征相加后进行上采样，得到第一高分辨率特征图；对每张相似高分辨率图像进行特征提取，得到第二高分辨率特征图；将所述低分辨率图像通过双三次插值算法进行插值，得到满足目标分辨率要求的高分辨率中间图像；
注意力模块：用于通过基于窗口的交叉注意力机制，以所述高分辨率中间图像作为查询，抽取所述第二高分辨率特征图中与所述低分辨率图像相关的特征，将抽取到的特征与所述第一高分辨率特征图融合，融合特征经过卷积后生成的图像作为新的高分辨率中间图像；
迭代模块：用于迭代执行注意力模块，每一轮迭代均将上一轮生成的高分辨率中间图像作为交叉注意力机制新的查询，重新生成新的高分辨率中间图像；迭代完毕后，以最后一轮生成的高分辨率中间图像作为所述低分辨率图像完成图像超分辨率优化后的最终高分辨率图像。
由于本发明实施例中的基于相似图像检索的图像超分辨率优化装置解决问题的原理与本发明上述实施例的基于相似图像检索的图像超分辨率优化方法相似，因此该实施例中装置的各模块具体实现形式未尽之处亦可可以参见上述方法的具体实现形式，重复之处不再赘述。
可以理解的是，上述存储介质可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。同时存储介质还可以是U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可以理解的是，上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的各实施例中，所述的装置和方法中对于步骤或者模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或步骤可以结合或者可以集成到一起，一个模块或者步骤亦可进行拆分。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (8)

1.一种基于相似图像检索的图像超分辨率优化方法，其特征在于，包括如下步骤：
S1：获取满足目标分辨率要求的高分辨率图像素材库，针对待进行图像超分辨率优化的低分辨率图像，利用图像检索模型从高分辨率图像素材库中寻找与其相似高分辨率图像，得到至少一个相似高分辨率图像；
S2：将所述低分辨率图像的浅层特征和深层特征相加后进行上采样，得到第一高分辨率特征图；对每张相似高分辨率图像进行特征提取，得到第二高分辨率特征图；将所述低分辨率图像通过双三次插值算法进行插值，得到满足目标分辨率要求的高分辨率中间图像；
S3：通过基于窗口的交叉注意力机制，以所述高分辨率中间图像作为查询，抽取所述第二高分辨率特征图中与所述低分辨率图像相关的特征，将抽取到的特征与所述第一高分辨率特征图融合，融合特征经过卷积后生成的图像作为新的高分辨率中间图像；
S4：迭代执行S3，每一轮迭代均将上一轮生成的高分辨率中间图像作为交叉注意力机制新的查询，重新生成新的高分辨率中间图像；迭代完毕后，以最后一轮生成的高分辨率中间图像作为所述低分辨率图像完成图像超分辨率优化后的最终高分辨率图像；
所述S2的具体步骤如下：
S21：将低分辨率图像Il通过一个浅层特征提取网络，得到浅层特征图F0，浅层特征图F0再通过一个深层特征提取网络，得到深层特征图FD；将浅层特征图F0和深层特征图FD相加后，再通过子像素卷积进行上采样，得到第一高分辨率特征图FH；
S22：将每个相似高分辨图像Is均通过高分辨率特征提取网络，提取出第二高分辨率特征图
Figure FDA0003760286090000011
其中H、W、C分别为第二高分辨率特征图的高度、宽度和通道数；
S23：将待进行图像超分辨率优化的低分辨率图像Il通过双三次插值算法插值至目标分辨率，得到高分辨率中间图像Ibic；
所述S3的具体步骤如下：
S31：将经过双三次插值算法插值得到的高分辨率中间图像Ibic通过高分辨率特征提取网络，提取得到特征图
Figure FDA0003760286090000021
S32：针对每一个第二高分辨率特征图Fsi，将Fbic和Fsi分别划分为M×M大小的窗口，分别得到窗口化的特征图
Figure FDA0003760286090000022
和特征图
Figure FDA0003760286090000023
将F′bic和F′si的每个窗口均做最大池化，得到窗口最大池化后的特征图
Figure FDA0003760286090000024
和特征图
Figure FDA0003760286090000025
针对特征图Fbic,mp中的
Figure FDA0003760286090000026
个窗口和特征图Fsi,mp中的
Figure FDA0003760286090000027
个窗口计算两两窗口之间C个通道值的相似度，形成矩阵
Figure FDA0003760286090000028
其中矩阵Sbsi中第m行第n列的元素为特征图Fbic,mp中的第m个窗口和特征图Fsi,mp中的第n个窗口之间的相似度；对矩阵Sbsi的每一行进行最大值搜索，对矩阵Sbsi中任意第m行仅保留该行的最大值，并将该最大值在特征图Fsi中对应映射的窗口作为特征图Fbic中的第m个窗口的最相似窗口，矩阵Sbsi的所有行均仅保留最大值后，得到向量
Figure FDA0003760286090000029
S33：将S1中得到的所有K张相似高分辨图像的矩阵Sbsi,max拼接，得到窗口相似度矩阵
Figure FDA00037602860900000210
S34：通过交叉注意力机制，为特征Fbic中的每个窗口
Figure FDA00037602860900000211
都从Fsi里对应的最相似窗口
Figure FDA00037602860900000212
中抽取到窗口相似特征Fai,j：
Figure FDA00037602860900000213
其中，i＝1,2,…,K，j＝1,2,…,
Figure FDA00037602860900000214
S35：对窗口相似度矩阵Sbs,max中第j行的相似度向量
Figure FDA00037602860900000215
对其做softmax归一化，得到归一化向量S′bs,max,j；将K张相似高分辨图像的窗口相似特征Fai,j拼接，得到拼接特征
Figure FDA00037602860900000216
以归一化向量S′bs,max,j对得到的拼接特征Faj加权求和，得到特征图Fbic中第j个窗口的相似高分辨率特征
Figure FDA00037602860900000217
将特征图Fbic中所有窗口的相似高分辨率特征
Figure FDA00037602860900000218
拼接，得到最终的第三高分辨率特征图
Figure FDA0003760286090000031
S36：将第一高分辨率特征图FH与第三高分辨率特征图
Figure FDA0003760286090000032
在通道维度上拼接后，再通过3×3的卷积得到高分辨率图像Io1，作为新的高分辨率中间图像。
2.根据权利要求1所述的基于相似图像检索的图像超分辨率优化方法，其特征在于，所述S1中，高分辨率图像素材库内的高分辨率图像的分辨率与图像超分辨率优化的目标分辨率一致，且与所述低分辨率图像属于相同的主题。
3.根据权利要求1所述的基于相似图像检索的图像超分辨率优化方法，其特征在于，所述的图像检索模型中，先由在图像分类数据集上预训练的Swin Transformer对所述低分辨率图像和高分辨率图像素材库中的每一张图像进行特征提取，再通过计算图像特征之间的余弦相似度，作为相似图像检索排序的依据。
4.根据权利要求1所述的基于相似图像检索的图像超分辨率优化方法，其特征在于，所述图像检索模型需从高分辨率图像素材库中寻找出K张与所述低分辨率图像相似的图像，其中K＝1或2或5。
5.根据权利要求1所述的基于相似图像检索的图像超分辨率优化方法，其特征在于：所述浅层特征提取网络优选为3×3的卷积层；所述深层特征提取网络优选为残差连接的多层Swin Transformer Block网络；所述高分辨率特征提取网络优选为3×3的卷积层。
6.根据权利要求1所述的基于相似图像检索的图像超分辨率优化方法，其特征在于：所述S4中，迭代执行S3的次数为2或3或5次。
7.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如权利要求1～6任一所述的基于相似图像检索的图像超分辨率优化方法。
8.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1～6任一所述的基于相似图像检索的图像超分辨率优化方法。
CN202210068759.8A 2022-01-21 2022-01-21 基于相似图像检索的图像超分辨率优化方法、介质及设备 Active CN114418853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210068759.8A CN114418853B (zh) 2022-01-21 2022-01-21 基于相似图像检索的图像超分辨率优化方法、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210068759.8A CN114418853B (zh) 2022-01-21 2022-01-21 基于相似图像检索的图像超分辨率优化方法、介质及设备

Publications (2)

Publication Number Publication Date
CN114418853A CN114418853A (zh) 2022-04-29
CN114418853B true CN114418853B (zh) 2022-09-20

Family

ID=81276151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210068759.8A Active CN114418853B (zh) 2022-01-21 2022-01-21 基于相似图像检索的图像超分辨率优化方法、介质及设备

Country Status (1)

Country Link
CN (1) CN114418853B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL285320B2 (en) * 2021-08-02 2023-02-01 Rafael Advanced Defense Systems Ltd Methods and systems for simulating image capture of an imaging device
WO2023226951A1 (en) * 2022-05-23 2023-11-30 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
CN116402692B (zh) * 2023-06-07 2023-08-18 江西财经大学 基于非对称交叉注意力的深度图超分辨率重建方法与系统
CN117788842A (zh) * 2024-02-23 2024-03-29 腾讯科技（深圳）有限公司 图像检索方法及相关装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750082A (zh) * 2021-01-21 2021-05-04 武汉工程大学 基于融合注意力机制的人脸超分辨率方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014174087A1 (en) * 2013-04-25 2014-10-30 Thomson Licensing Method and device for performing super-resolution on an input image
US9734559B1 (en) * 2014-11-25 2017-08-15 Pixelworks, Inc. Match error compensation for super-resolution images
US10339633B2 (en) * 2015-11-04 2019-07-02 Peking University Shenzhen Graduate School Method and device for super-resolution image reconstruction based on dictionary matching
CN111915484B (zh) * 2020-07-06 2023-07-07 天津大学 基于密集匹配与自适应融合的参考图引导超分辨率方法
CN112598575B (zh) * 2020-12-22 2022-05-03 电子科技大学 一种基于特征处理的图像信息融合及超分辨率重建方法
CN112801875B (zh) * 2021-02-05 2022-04-22 深圳技术大学 超分辨率重建方法、装置、计算机设备和存储介质
CN113096017B (zh) * 2021-04-14 2022-01-25 南京林业大学 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN113379624A (zh) * 2021-05-31 2021-09-10 北京达佳互联信息技术有限公司 图像生成方法、图像生成模型的训练方法、装置及设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750082A (zh) * 2021-01-21 2021-05-04 武汉工程大学 基于融合注意力机制的人脸超分辨率方法及系统

Also Published As

Publication number Publication date
CN114418853A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN114418853B (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
CN108122197B (zh) 一种基于深度学习的图像超分辨率重建方法
Deng et al. Deep coupled ISTA network for multi-modal image super-resolution
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN109523470B (zh) 一种深度图像超分辨率重建方法及系统
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
CN112132741A (zh) 一种人脸照片图像和素描图像的转换方法及系统
CN111369466A (zh) 一种基于可变形卷积的卷积神经网络的图像畸变矫正增强方法
Qin et al. Single-image super-resolution with multilevel residual attention network
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
Zhang et al. EDGAN: motion deblurring algorithm based on enhanced generative adversarial networks
Wang et al. Residual deep attention mechanism and adaptive reconstruction network for single image super-resolution
WO2017010514A1 (ja) 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム
CN116740069B (zh) 基于多尺度显著信息和双向特征融合的表面缺陷检测方法
Li et al. Single image deblurring with cross-layer feature fusion and consecutive attention
Chen et al. Robust face super-resolution via position relation model based on global face context
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN112150363A (zh) 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
CN109087247B (zh) 一种对立体图像进行超分的方法
CN113205005B (zh) 一种面向低光照低分辨率的人脸图像幻构方法
Tang et al. Context module based multi-patch hierarchical network for motion deblurring
Yang et al. Relation-consistency graph convolutional network for image super-resolution
CN112508082A (zh) 一种非监督学习的遥感影像空谱融合方法及系统
Ying et al. Accurate stereo image super-resolution using spatial-attention-enhance residual network
Xie et al. Enhanced adaptive dense connection single image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant