CN115358927A - 一种结合空间自适应和纹理转换的图像超分辨重建方法 - Google Patents
一种结合空间自适应和纹理转换的图像超分辨重建方法 Download PDFInfo
- Publication number
- CN115358927A CN115358927A CN202211008042.0A CN202211008042A CN115358927A CN 115358927 A CN115358927 A CN 115358927A CN 202211008042 A CN202211008042 A CN 202211008042A CN 115358927 A CN115358927 A CN 115358927A
- Authority
- CN
- China
- Prior art keywords
- texture
- image
- resolution
- texture feature
- ref
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 53
- 230000000007 visual effect Effects 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims abstract description 18
- 230000008447 perception Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000005070 sampling Methods 0.000 claims description 72
- 230000003044 adaptive effect Effects 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 14
- 230000006978 adaptation Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000005315 distribution function Methods 0.000 claims description 6
- 238000010845 search algorithm Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims description 2
- 230000002349 favourable effect Effects 0.000 abstract description 3
- 238000012546 transfer Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合空间自适应和纹理转换的图像超分辨重建方法，针对性的利用图像超分辨重建模型中的纹理转换处理模块和空间自适应融合模块进行纹理特征转换和图像空间自适应处理及融合，更充分地考虑了低分辨率输入图像与其高分辨率参考图像之间的纹理匹配准确性以及颜色和亮度分布的差异，能够从高分辨率参考图像中提取对重建更有利的纹理特征，使得所得到的超分辨重建结果图具备更好的视觉质量；此外，对图像超分辨重建模型进行训练优化的过程中，使用感知损失、对抗损失、重建损失和纹理损失构建新的损失函数对图像超分辨重建模型进行训练优化，能够更进一步的帮助提高图像超分辨重建模型的图像超分辨重构视觉质量。
Description
技术领域
本发明计算机视觉图像处理技术及图像大数据技术领域，尤其涉及一种结合空间自适应和纹理转换的图像超分辨重建方法。
背景技术
图像超分辨率旨在从低分辨率图像或图像序列中恢复出逼真的高分辨率图像。由于图像超分辨率技术的实用性与便利性，使得其在智能监控系统、医学图像增强以及高清数字电视等方面都有着广泛的应用前景，但环境和噪声等因素的干扰，导致图像出现质量低或者细节纹理信息缺乏等问题。图像超分辨率的研究主要分为单图像超分辨率和参考图像超分辨率技术两个方面，但是由于单图像超分辨率技术是一个不适定性问题，其在由低分辨率图像恢复成高分辨率图像的过程中存在缺乏高频细节特征等，以至于得到模糊的视觉效果。基于参考的超分辨率技术利用额外的与低分辨率图像相似的高分辨率参考图像(HR)来辅助整个超分辨率重建的复原过程。由于参考图像与低分辨率输入图像具有相似的结构和纹理等特征，因此基于参考的超分辨率技术比单图像超分辨率技术具有更好的性能和视觉效果。
为了获得逼真自然的高分辨率图像，最近的研究对高分辨率图像和重建图像进行了特征相似性处理。为了提高重建后的超分辨率图像(SR)的输出视觉质量，文献“JustinJohnson,Alexandre Alahi,and Li Fei-Fei.Perceptual losses for real-time styletransfer and super-resolution.In Proc.of European Conf.on Computer Vision(ECCV)”和文献“Christian Ledig,Lucas Theis,Ferenc Huszár,Jose Caballero,AndrewCunningham,Alejandro Acosta,Andrew Aitken,Alykhan Tejani,Johannes Totz,ZehanWang,et al.Photo-realistic single image super-resolution using a generativeadversarial network.In Proc.of Computer Vision and Pattern Recognition(CVPR)”分别引入了感知损失和生成对抗网络算法，感知损失和对抗性学习能帮助网络合成更真实的图像，减少模糊效果的产生。虽然这些算法提供了视觉上令人满意的效果，但是不能保证准确地重建出原始高分辨率图像，并且使得峰值信噪比退化，给重建SR图像带来了巨大的挑战。
以前基于参考的图像超分辨率旨在设计各种方法来处理两个关键问题：1)将参考图像中的特征与原始输入图像进行对齐2)将参考图像中的特征进行转移，以便于高分辨率图像重建。针对第一个问题，文献“Zheng,H.,Ji,M.,Wang,H.,Liu,Y.,Fang,L.(2018).CrossNet:An End-to-End Reference-Based Super Resolution Network Using Cross-Scale Warping.In:Ferrari,V.,Hebert,M.,Sminchisescu,C.,Weiss,Y.(eds)ComputerVision–ECCV 2018.ECCV 2018.Lecture Notes in Computer Science(),vol11210.Springer,Cham”利用光流场进行特征空间对齐；文献“G.Shim,J.Park andI.S.Kweon,"Robust Reference-Based Super-Resolution With Similarity-AwareDeformable Convolution,"2020 IEEE/CVF Conference on Computer Vision andPattern Recognition(CVPR)”利用可变形卷积进行图像对齐，这些基于图像对齐的方法都未考虑远距离通信的弊端。此外，现有的大多数算法没有考虑低分辨率输入图像(LR)与其高分辨率参考图像(Ref)在颜色以及亮度分布有很大的差异，以至于所得到的高分辨率重建结果不能得到很好的视觉质量。
发明内容
针对现有及技术存在的不足，本发明提供了一种结合空间自适应和纹理转换的图像超分辨重建方法，以解决现有技术对于低分辨率输入图像与其高分辨率参考图像之间的纹理匹配差异以及颜色和亮度分布差异性等因素考虑不足，造成重建结果图视觉质量不佳的问题。
为了解决上述技术问题，本发明采用如下技术方案：
一种结合空间自适应和纹理转换的图像超分辨重建方法，获取待处理图像LR及对应的高分辨率参考图像Ref，输入至经过预先训练的图像超分辨重建模型，得到待处理图像LR的超分辨重建结果；
所述图像超分辨重建模型包括：
纹理特征提取模块，用于采用纹理特征提取器分别提取待处理图像LR的纹理特征图FLR和高分辨率参考图像Ref的纹理特征图V；且将所述待处理图像LR和高分辨率参考图像Ref采样处理至目标分辨率尺寸后，采用纹理特征提取器分别提取待处理图像LR的采样纹理特征图Q和高分辨率参考图像Ref的采样纹理特征图K；
纹理转换处理模块，用于利用近似最近邻搜索算法搜索匹配采样纹理特征图K与采样纹理特征图Q的纹理相似区域，并基于匹配到的纹理相似区域对高分辨率参考图像Ref的纹理特征图V进行纹理特征转换，构建待处理图像LR的相似高分辨率纹理特征图FRef；
空间自适应融合模块，用于利用待处理图像LR的纹理特征图FLR对所述相似高分辨率纹理特征图FRef进行图像空间自适应处理，并利用残差网络将图像空间自适应处理结果与待处理图像LR的纹理特征图FLR进行融合，将得到的融合图像作为待处理图像LR的超分辨重建结果。
作为优选方案，所述纹理特征提取模块中，将所述待处理图像LR和高分辨率参考图像Ref采样处理至目标分辨率尺寸后采用纹理特征提取器分别提取待处理图像LR的采样纹理特征图Q和高分辨率参考图像Ref的采样纹理特征图K的具体方式包括：
S201：对所述待处理图像LR进行上采样处理，对所述高分辨率参考图像Ref进行下采样和上采样处理，分别得到目标分辨率尺寸的待处理上采样图像LR↑和下上采样参考图像Ref↓↑；
S202：利用纹理特征提取器对待处理上采样图像LR↑进行纹理特征提取，得到待处理图像LR对应的采样纹理特征图Q；利用纹理特征提取器对下上采样参考图像Ref↓↑进行纹理特征提取，得到高分辨率参考图像Ref对应的采样纹理特征图K。
作为优选方案，所述纹理特征提取器为经过预训练的VGG19模型。
作为优选方案，所述纹理转换处理模块中，基于匹配到的纹理相似区域对高分辨率参考图像Ref的纹理特征图V进行纹理特征转换构建待处理图像LR的相似高分辨率纹理特征图FRef的具体方式包括：
S301：分别计算匹配到的采样纹理特征图K与采样纹理特征图Q的各纹理相似区域之间的相似度：
qi表示采样纹理特征图Q中的第i个纹理相似区域，kj表示采样纹理特征图K中的第j个纹理相似区域，所述第i个纹理相似区域qi和第j个纹理相似区域kj是互为匹配的纹理相似区域，i＝j∈{1,2,…,n}，n表示匹配到的采样纹理特征图K与采样纹理特征图Q的纹理相似区域的总匹配组数；r(i,j)表示采样纹理特征图Q中的第i个纹理相似区域与采样纹理特征图K中的第j个纹理相似区域的相似度；＜·＞为归一化内积计算符；
S302：基于采样纹理特征图K与采样纹理特征图Q的各纹理相似区域之间的相似度构建硬注意力映射图H＝{h1,h2,…,hi,…,hn}和软注意力映射图S＝{s1,s2,…,si,…,sn}；
其中，硬注意力映射图H中的第i个元素
软注意力映射图S中的第i个元素
S303：以硬注意力映射图H中的元素为索引，对高分辨率参考图像Ref的纹理特征图V进行纹理相似区域索引选择操作，得到硬注意力索引高分辨率特征图T＝{t1,t2,…,ti,…,tn}；
其中，硬注意力索引高分辨率特征图T中的第i个元素ti＝Vhi，Vhi表示硬注意力映射图H中的第i个元素hi索引选择纹理特征图V中的纹理相似区域；
S304：基于待处理图像LR的纹理特征图FLR以及所述硬注意力索引高分辨率特征图T和软注意力映射图S进行纹理转换处理，构建待处理图像LR的相似高分辨率纹理特征图FRef：
其中，FLR表示待处理图像LR的纹理特征图，Concat(·)表示concat级联连接，Conv(·)表示卷积运算，
表示乘积运算。
作为优选方案，所述近似最近邻搜索算法采用Patch Match算法。
作为优选方案，所述空间自适应融合模块中，利用待处理图像LR的纹理特征图FLR对相似高分辨率纹理特征图FRef进行图像空间自适应处理的具体包括：
S401：将待处理图像LR的纹理特征图FLR和相似高分辨率纹理特征图FRef进行concat级联连接，然后输入可学习卷积层，并得到两个与纹理特征图FLR空间尺寸大小相同的空间自适应参数β和γ的初始值：
β＝γ＝Conv(Concat(FLR,FRef))；
其中，Concat(·)表示concat级联连接，Conv(·)表示卷积运算；
S402：对相似高分辨率纹理特征图FRef进行空间自适应归一化更新：
其中，
和
分别表示相似高分辨率纹理特征图FRef中第c个特征通道的均值和标准差，且：
其中，
表示相似高分辨率纹理特征图FRef中第c个特征通道
的第y行第x列像素位置的特征值，H和W分别表示高分辨率纹理图FRef的像素行高尺寸和像素列宽尺寸；
S403：利用待处理图像LR的纹理特征图FLR对空间自适应参数β和γ进行更新：
β←β+μLR，γ←γ+σLR；
其中，μLR和σLR分别表示纹理特征图FLR的均值和标准差，且：
其中，
表示纹理特征图FLR中第y行第x列像素位置的特征值，H和W分别纹理特征图FLR的像素行高尺寸和像素列宽尺寸；
S404：利用空间自适应归一化更新后的相似高分辨率纹理特征图FRef及更新后的空间自适应参数β和γ进行图像空间自适应处理：
作为优选方案，所述空间自适应融合模块中，利用残差网络将图像空间自适应处理结果与待处理图像LR的纹理特征图FLR进行融合具体方式为：
其中，F′LR表示融合得到的待处理图像LR的超分辨重建结果图；Conv(·)表示卷积运算，Deconv[·]表示反卷积运算。
作为优选方案，对图像超分辨重建模型进行训练优化的过程中所采用的损失函数L为：
L＝λrecLrec+λperLper+λadvLadv+λtexLtex；
Lrec和λrec分别为重建损失及其对应的权重值；Lper和λper分别为感知损失及其对应的权重值；Ladv和λadv分别为对抗损失及其对应的权重值；Ltex和λtex分别为纹理损失及其对应的权重值。
作为优选方案，损失函数L中：
重建损失Lrec＝||IHR-ISR||1，表示重建输出图像ISR与真实图像IHR之间的差异；||·||1表示L1范数运算；
感知损失
表示重建输出图像ISR与真实图像IHR之间的语意感知差异；VI和C表示输出图像ISR和真实图像IHR通过纹理特征提取器提取纹理特征的特征体积和特征通道总数，Φc(ISR)和Φc(IHR)分别表示输出图像ISR和真实图像IHR通过纹理特征提取器提取的第c个特征通道值，c∈{1,2,…,C}；||·||F表示Frobenius范数运算；
对抗损失
表示重建输出图像ISR与真实图像IHR之间的视觉和清晰度差异；其中
其中，D′表示1-Lipschitz函数集，D(x)表示将数据x喂入生成对抗网络的判别器D返回的值，Pr和Pg分别表示真实分布和模型分布；
和
分别表示真实数据分布函数期望值和模型数据分布函数期望值；G表示生成对抗网络的生成器；
纹理损失
表示重建输出图像ISR与真实图像IHR之间的纹理差异；其中，Gr表示Gram矩阵，λc表示第c个特征通道的纹理特征大小的归一化因子，Sc表示纹理转换网络中第c个特征通道软注意力的权重图；Vc表示高分辨率参考图像Ref的纹理特征图V中第c个特征通道的纹理特征值。
作为优选方案，损失函数L中，重建损失Lrec、感知损失Lper、对抗损失Ladv和纹理损失Ltex各自对应的权重值的取值分别优选为λrec＝1，λper＝10-4，λadv＝10-6，λtex＝10-4。
相比现有技术，本发明具有如下有益效果：
1、本发明结合空间自适应和纹理转换的图像超分辨重建方法，针对性的利用图像超分辨重建模型中的纹理转换处理模块和空间自适应融合模块进行纹理特征转换和图像空间自适应处理及融合，更充分地考虑了低分辨率输入图像与其高分辨率参考图像之间的纹理匹配准确性以及颜色和亮度分布的差异，使其对与低分辨率输入有不同颜色分布和光照分布的高分辨率参考图像具有更好的鲁棒性，进而能够从高分辨率参考图像中提取对重建更有利的纹理特征，使得所得到的超分辨重建结果图具备更好的视觉质量。
2、本发明方法中，对图像超分辨重建模型进行训练优化的过程中，使用纹理特征提取器提取的纹理特征差异得到感知损失，通过重建后的结果图像与真实图像计算对抗损失、重建损失，并借鉴图像风格迁移中的纹理损失，构建新的损失函数对图像超分辨重建模型进行训练优化，能够更进一步的帮助提高图像超分辨重建模型的图像超分辨重构视觉质量。
附图说明
图1为本发明方法的处理流程实例图。
图2为本发明方法中利用待处理图像LR的纹理特征图FLR对相似高分辨率纹理特征图FRef进行图像空间自适应处理的流程示意图。
图3为本发明方法中利用残差网络将图像空间自适应处理结果与待处理图像LR的纹理特征图FLR进行融合的流程示意图。
图4为实施例中本发明方法与现有技术方法的图像重构结果对比图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
本发明提供一种结合空间自适应和纹理转换的图像超分辨重建方法，该方法将待处理图像LR及对应的高分辨率参考图像Ref输入至经过预先训练的图像超分辨重建模型，以得到待处理图像LR的超分辨重建结果。其中，待处理图像LR为输入模型的低分辨率图像，高分辨率参考图像Ref是与待处理图像LR具有内容相关性的一副高分辨率图像。
本发明方法中采用的图像超分辨重建模型包括：
纹理特征提取模块，用于采用纹理特征提取器分别提取待处理图像LR的纹理特征图FLR和高分辨率参考图像Ref的纹理特征图V；且将所述待处理图像LR和高分辨率参考图像Ref采样处理至目标分辨率尺寸后，采用纹理特征提取器分别提取待处理图像LR的采样纹理特征图Q和高分辨率参考图像Ref的采样纹理特征图K；
纹理转换处理模块，用于利用近似最近邻搜索算法搜索匹配采样纹理特征图K与采样纹理特征图Q的纹理相似区域，并基于匹配到的纹理相似区域对高分辨率参考图像Ref的纹理特征图V进行纹理特征转换，构建待处理图像LR的相似高分辨率纹理特征图FRef；
空间自适应融合模块，用于利用待处理图像LR的纹理特征图FLR对所述相似高分辨率纹理特征图FRef进行图像空间自适应处理，并利用残差网络将图像空间自适应处理结果与待处理图像LR的纹理特征图FLR进行融合，将得到的融合图像作为待处理图像LR的超分辨重建结果。
本发明结合空间自适应和纹理转换的图像超分辨重建方法，针对现有的超分辨率图像重建技术中对于低分辨率输入图像(LR)与其高分辨率参考图像(Ref)在颜色以及亮度分布之前的差异性等因素考虑不足的问题，针对性的利用图像超分辨重建模型中的纹理转换处理模块和空间自适应融合模块进行纹理特征转换和图像空间自适应处理及融合，更充分地考虑了低分辨率输入图像与其高分辨率参考图像之间的纹理匹配准确性以及颜色和亮度分布的差异，使其对与低分辨率输入有不同颜色分布和光照分布的高分辨率参考图像具有更好的鲁棒性，进而能够从高分辨率参考图像中提取对重建更有利的纹理特征，使得所得到的超分辨重建结果图具备更好的视觉质量。
本发明方法中的图像超分辨重建模型进行图像超分辨重建的处理流程如图1所示，包括如下步骤：
S1：纹理特征提取模块采用纹理特征提取器分别提取待处理图像LR的纹理特征图FLR和高分辨率参考图像Ref的纹理特征图V；
S2：纹理特征提取模块将所述待处理图像LR和高分辨率参考图像Ref采样处理至目标分辨率尺寸后，采用纹理特征提取器分别提取待处理图像LR的采样纹理特征图Q和高分辨率参考图像Ref的采样纹理特征图K；
S3：纹理转换处理模块利用近似最近邻搜索算法搜索匹配采样纹理特征图K与采样纹理特征图Q的纹理相似区域，并基于匹配到的纹理相似区域对高分辨率参考图像Ref的纹理特征图V进行纹理特征转换，构建待处理图像LR的相似高分辨率纹理特征图FRef；
S4：空间自适应融合模块利用待处理图像LR的纹理特征图FLR对所述相似高分辨率纹理特征图FRef进行图像空间自适应处理；
S5：空间自适应融合模块利用残差网络将图像空间自适应处理结果与待处理图像LR的纹理特征图FLR进行融合，将得到的融合图像作为待处理图像LR的超分辨重建结果。
优选的，纹理特征提取模块中，将所述待处理图像LR和高分辨率参考图像Ref采样处理至目标分辨率尺寸后采用纹理特征提取器分别提取待处理图像LR的采样纹理特征图Q和高分辨率参考图像Ref的采样纹理特征图K的具体方式包括：
S201：对所述待处理图像LR进行上采样处理，对所述高分辨率参考图像Ref进行下采样和上采样处理，分别得到目标分辨率尺寸的待处理上采样图像LR↑和下上采样参考图像Ref↓↑；
S202：利用纹理特征提取器对待处理上采样图像LR↑进行纹理特征提取，得到待处理图像LR对应的采样纹理特征图Q；利用纹理特征提取器对下上采样参考图像Ref↓↑进行纹理特征提取，得到高分辨率参考图像Ref对应的采样纹理特征图K。
提取得到的这些纹理特征图，都将用于后续的特征映射和迁移转换过程。具体实施中，优选采用预训练的VGG19模型作为特征提取器。
接下来在纹理转换处理模块中，可视为包含三个组成部分：相关性嵌入模块、用于特征转移的硬注意力以及特征合成的软注意力。相关性嵌入用于计算高分辨率参考图像Ref中与待处理图像LR中特征最相似的纹理相似区域(记为patch块)，以得到硬注意力图(表示LR中与高分辨率参考图像Ref中最相似的patch块的位置)和软注意力图(表示LR与高分辨率参考图像Ref中最相似的patch块的置信度)。硬注意力模块依靠由相关性嵌入模块得到的硬注意力图，将高分辨率参考图像Ref中最相似的特征映射到待处理图像LR上。软注意力模块用于进行纹理特征的合成。
具体而言，纹理转换处理模块中，提取图像纹理特征使用的近似最近邻搜索算法优选采用Patch Match算法。在具体实施时，搜索匹配采样纹理特征图K与采样纹理特征图Q的纹理相似区域的匹配逻辑是，将采样纹理特征图Q中的每个特征像素点分别与采样纹理特征图K中的所有特征像素点进行相似度计算，将相似度最大且超过预设定匹配阈值的两个特征像素位置判定为一组匹配的纹理相似区域，由此遍历采样纹理特征图Q中的各个特征像素点，搜索匹配出采样纹理特征图K与采样纹理特征图Q之前的全部纹理相似区域。
基于匹配到的纹理相似区域对高分辨率参考图像Ref的纹理特征图V进行纹理特征转换构建待处理图像LR的相似高分辨率纹理特征图FRef的具体方式包括：
S301：分别计算匹配到的采样纹理特征图K与采样纹理特征图Q的各纹理相似区域之间的相似度：
qi表示采样纹理特征图Q中的第i个纹理相似区域，kj表示采样纹理特征图K中的第j个纹理相似区域，所述第i个纹理相似区域qi和第j个纹理相似区域kj是互为匹配的纹理相似区域，i＝j∈{1,2,…,n}，n表示匹配到的采样纹理特征图K与采样纹理特征图Q的纹理相似区域的总匹配组数；r(i,j)表示采样纹理特征图Q中的第i个纹理相似区域与采样纹理特征图K中的第j个纹理相似区域的相似度；＜·＞为归一化内积计算符；
计算出的相似度用于得到硬注意力图映射和软注意力图映射。
S302：基于采样纹理特征图K与采样纹理特征图Q的各纹理相似区域之间的相似度构建硬注意力映射图H＝{h1,h2,…,hi,…,hn}和软注意力映射图S＝{s1,s2,…,si,…,sn}；
其中，硬注意力映射图H中的第i个元素
软注意力映射图S中的第i个元素
硬注意力主要用于转移高分辨率参考图像Ref特征V中与待处理图像LR最相似的特征。计算硬注意力映射图H(类似于数组或者矩阵，用于存储高分辨率参考图像Ref中与待处理图像LR最相似的patch块的位置)，其中第i个元素hi(可以看做索引值，代表高分辨率参考图像Ref特征中与待处理图像LR特征最相关的位置)。而软注意力用以表示待处理图像LR与高分辨率参考图像Ref中最相似的patch块的置信度，主要用于增强高分辨率参考图像Ref与待处理图像LR之间相似特征的转移，抵制不相似特征转移。
S303：以硬注意力映射图H中的元素为索引，对高分辨率参考图像Ref的纹理特征图V进行纹理相似区域索引选择操作，得到硬注意力索引高分辨率特征图T＝{t1,t2,…,ti,…,tn}；
其中，硬注意力索引高分辨率特征图T中的第i个元素ti＝Vhi，Vhi表示硬注意力映射图H中的第i个元素hi索引选择纹理特征图V中的纹理相似区域。
硬注意力索引高分辨率特征图T表征了从高分辨率参考图像Ref中转移后的高分辨率(HR)图像特征。
S304：基于待处理图像LR的纹理特征图FLR以及所述硬注意力索引高分辨率特征图T和软注意力映射图S进行纹理转换处理，构建待处理图像LR的相似高分辨率纹理特征图FRef：
其中，FLR表示待处理图像LR的纹理特征图，Concat(·)表示concat级联连接，Conv(·)表示卷积运算，
表示乘积运算。
该步骤是为了利用待处理图像LR中的更多信息，将从待处理图像LR中提取到的纹理特征图FLR与通过硬注意力模块中得到的高分辨特征T进行concat级联连接，然后进行卷积操作，最终与软注意力模块得到的置信度进行乘积，得到与待处理图像LR纹理特征中最相似的高分辨率纹理图FRef。
在以前关于超分辨率图像重建的研究中，大多数算法并未考虑原始输入图像与参考图像之间颜色与亮度的分布存在差异，因此简单的将待处理图像LR特征与Ref高分辨率图像特征连接起来并不是最优的。为了解决此问题，本发明方法中采用空间自适应融合模块将高分辨率参考图像Ref中包含的纹理及颜色和亮度的分布特征转移映射到待处理图像LR的重构图中，以得到更好的视觉效果。
空间自适应融合模块中，利用待处理图像LR的纹理特征图FLR对相似高分辨率纹理特征图FRef进行图像空间自适应处理的具体包括：
S401：将待处理图像LR的纹理特征图FLR和相似高分辨率纹理特征图FRef进行concat级联连接，然后输入可学习卷积层，并得到两个与纹理特征图FLR空间尺寸大小相同的空间自适应参数β和γ的初始值：
β＝γ＝Conv(Concat(FLR,FRef))；
其中，Concat(·)表示concat级联连接，Conv(·)表示卷积运算。
这里，首先将LR特征FLR与Ref特征FRef进行级联连接操作，然后再利用可学习卷积运算得到两个与纹理特征图FLR空间尺寸大小相同的空间自适应参数β和γ。
S402：对相似高分辨率纹理特征图FRef进行空间自适应归一化更新：
其中，
和
分别表示相似高分辨率纹理特征图FRef中第c个特征通道的均值和标准差，且：
其中，
表示相似高分辨率纹理特征图FRef中第c个特征通道
的第y行第x列像素位置的特征值，H和W分别表示高分辨率纹理图FRef的像素行高尺寸和像素列宽尺寸。
这里利用待处理图像LR的纹理特征图FLR对相似高分辨率纹理特征图FRef进行图像空间自适应处理的流程示意图如图2所示。
S403：利用待处理图像LR的纹理特征图FLR对空间自适应参数β和γ进行更新：
β←β+μLR，γ←γ+σLR；
其中，μLR和σLR分别表示纹理特征图FLR的均值和标准差，且：
其中，
表示纹理特征图FLR中第y行第x列像素位置的特征值，H和W分别纹理特征图FLR的像素行高尺寸和像素列宽尺寸；
S404：利用空间自适应归一化更新后的相似高分辨率纹理特征图FRef及更新后的空间自适应参数β和γ进行图像空间自适应处理：
经过空间自适应之后，利用残差网络将待处理图像LR特征与经过空间自适应操作之后的高分辨率参考图像Ref特征进行合成。
空间自适应融合模块中，利用残差网络将图像空间自适应处理结果与待处理图像LR的纹理特征图FLR进行融合具体方式为：
其中，F′LR表示融合得到的待处理图像LR的超分辨重建结果图；Conv(·)表示卷积运算，Deconv[·]表示反卷积运算。
利用残差网络将图像空间自适应处理结果与待处理图像LR的纹理特征图FLR进行融合的流程示意图如图3所示。
本发明方法使用经过预先训练的图像超分辨重建模型对低分辨率的待处理图像LR进行超分辨重建，图像超分辨重建模型重新构建图像的效果，很大程度上取决于在对模型新型训练优化过程中损失函数的选择。
一般超分辨率模型选择平均绝对误差(mean absolute error,MAE)或者均方误差(mean-square error,MSE)作为优化的目标，原因是在测试时可以获得较高的评价指标，但是在进行8倍等大尺度的超分辨率重建任务中，重新构建的图像缺失大量高频信息，导致构建的图像不能达到视觉要求。
本发明方法在对图像超分辨重建模型进行训练优化的过程中，采用了使用纹理特征提取器提取的纹理特征差异得到的感知损失Lper，通过重建后的结果图像与真实图像计算对抗损失Ladv、重建损失Lrec，并借鉴图像风格迁移中的纹理损失Ltex，构建新的损失函数L对图像超分辨重建模型进行训练优化，以进一步的帮助提高图像超分辨重建模型的图像超分辨重构视觉质量。本发明所采用的损失函数L为：
L＝λrecLrec+λperLper+λadvLadv+λtexLtex；
Lrec和λrec分别为重建损失及其对应的权重值；Lper和λper分别为感知损失及其对应的权重值；Ladv和λadv分别为对抗损失及其对应的权重值；Ltex和λtex分别为纹理损失及其对应的权重值。
其中，重建损失(Reconstruction loss)Lrec＝||IHR-ISR||1，表示重建输出图像ISR与真实图像IHR之间的差异；||·||1表示L1范数运算。
感知损失(Perceptual loss)本发明中采用了VGG19模型中的relu5_1层来表示，即：
表示重建输出图像ISR与真实图像IHR之间的语意感知差异；VI和C表示输出图像ISR和真实图像IHR通过纹理特征提取器提取纹理特征的特征体积和特征通道总数，其中，纹理特征的特征体积VI是指真实图像IHR的图像尺寸与特征通道总数C的乘积；Φc(ISR)和Φc(IHR)分别表示输出图像ISR和真实图像IHR通过纹理特征提取器提取的第c个特征通道值，c∈{1,2,…,C}；||·||F表示Frobenius范数运算。
对抗损失(Adversarial loss)
表示重建输出图像ISR与真实图像IHR之间的视觉和清晰度差异；其中
其中，D′表示1-Lipschitz函数集，D(x)表示将数据x喂入生成对抗网络的判别器D返回的值，Pr和Pg分别表示真实分布和模型分布；
和
分别表示真实数据分布函数期望值和模型数据分布函数期望值；G表示生成对抗网络的生成器。对抗损失被证明可以提高合成图像的视觉质量。本文采用WGAN-GP方法生成对抗损失，能够使得生成结果更稳定。
纹理损失(Texture loss)
表示重建输出图像ISR与真实图像IHR之间的纹理差异；其中，Gr表示Gram矩阵，λc表示第c个特征通道的纹理特征大小的归一化因子，Sc表示纹理转换网络中第c个特征通道软注意力的权重图；Vc表示高分辨率参考图像Ref的纹理特征图V中第c个特征通道的纹理特征值。纹理损失是借鉴风格迁移中的一种损失函数，能够提高SR输出图像的视觉质量。传统图像纹理损失函数只减少了SR输出图像与HR图像之间的差异。在本发明中，进一步考虑了重构输出图像与高分辨率参考图像Ref之间的差异。通过纹理损失的考量，可以更好的实现纹理特征从高分辨率参考图像Ref到低分辨率待处理图像LR重构结果的转移。
至于损失函数L中，重建损失Lrec、感知损失Lper、对抗损失Ladv和纹理损失Ltex各自对应的权重值，则可根据实际应用情况下经过寻优算法来确定；作为一种优选方案，可以设置重建损失Lrec、感知损失Lper、对抗损失Ladv和纹理损失Ltex各自对应的权重值的取值分别优选为λrec＝1，λper＝10-4，λadv＝10-6，λtex＝10-4。
对比验证实验
为了更好的呈现本发明方法相比于现有技术在重建结果图视觉质量上的提升效果，下面通过对比验证实验来加以验证。
数据集和评价指标
在本实验中，我们使用CUFED5数据集来训练和测试模型。CUFED5中的训练集包含11871对，每对由一个输入图像和一个参考图像组成；测试集包含126对，其中除了一张原始输入图像，还包含4幅参考图像且具有不同的相似性。此外，我们在Sun80、Urban100公开数据集上也进行了测试。我们通过峰值信噪比(PSNR)和结构相似度(SSIM)对SR结果进行评价。
实验结果与分析
本实验从客观评价结果和主观评价结果两方面来表现改进模型的超分辨率能力。
客观评价结果
本实验在三个公开数据集上对本模型进行了测试。为了评估模型的有效性，我们将本模型与其他现有技术的超分辨率凸图像重构方法TTSR(参见文献“F.Yang,H.Yang,J.Fu,H.Lu and B.Guo,"Learning Texture Transformer Network for Image Super-Resolution,"2020 IEEE/CVF Conference on Computer Vision and PatternRecognition(CVPR)”)、SSEN(“Shim,G.,J.Park,and I.S.Kweon."Robust Reference-Based Super-Resolution With Similarity-Aware Deformable Convolution."2020IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)IEEE,2020.”)以及SRNTT(参见文献“Z.Zhang,Z.Wang,Z.Lin and H.Qi,"Image Super-Resolution by Neural Texture Transfer,"2019IEEE/CVF Conference on ComputerVision and Pattern Recognition(CVPR)”)方法进行了比较，分别计算在不同数据集上采用不同算法进行上采样4倍时的PSNR和SSIM，对比结果如表1所示。
从实验结果不难发现，在3种公开数据集上，本发明提出的方法在重建任务中，能够取得较好的PSNR和SSIM值，相较于其他模型，在客观指标上有所提升。
表1不同RefSR方法在三种公开数据集上PSNR/SSIM比较(粗体表示最好结果)
实验结果表明，本发明方法在CUFED5、Sun80以及Urban100测试集上相比其他方法具有更高的峰值信噪比、结构相似度以及更好的视觉效果。
4.2.2主观评价结果
本实验选取了CUFED5中的一张超分辨率图像进行重构，所得到的图像重构结果对比图如图4所示，“input image”为待重构的低分辨率图像为，“reference image”为高分辨率参考图像，“HR”为待重构区域的真实高分辨率图像，其余四张为TTSR、SSEN、SRNTT三种方法以及本发明方法(Ours)处理得到的超分辨率重建图像。从视觉对比结果可以看出，TTSR、SSEN、SRNTT三种模型方法在重建任务中都可以完成重建高分辨率图像，但本发明方法(Ours)能够重建出更好的纹理细节，达到更好的视觉效果，说明本发明方法重新构建出的图像更接近真实高分辨率图像。
综上所述，发明结合空间自适应和纹理转换的图像超分辨重建方法，针对性的利用图像超分辨重建模型中的纹理转换处理模块和空间自适应融合模块进行纹理特征转换和图像空间自适应处理及融合，更充分地考虑了低分辨率输入图像与其高分辨率参考图像之间的纹理匹配准确性以及颜色和亮度分布的差异，使其对与低分辨率输入有不同颜色分布和光照分布的高分辨率参考图像具有更好的鲁棒性，进而能够从高分辨率参考图像中提取对重建更有利的纹理特征，使得所得到的超分辨重建结果图具备更好的视觉质量；此外，对图像超分辨重建模型进行训练优化的过程中，使用纹理特征提取器提取的纹理特征差异得到感知损失，通过重建后的结果图像与真实图像计算对抗损失、重建损失，并借鉴图像风格迁移中的纹理损失，构建新的损失函数对图像超分辨重建模型进行训练优化，能够更进一步的帮助提高图像超分辨重建模型的图像超分辨重构视觉质量。从实验结果可以看出，本发明方法在不同数据集上能够取得比SRNTT、SSEN以及TTSR更好的评价指标，在主观视觉效果也有所提高。
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种结合空间自适应和纹理转换的图像超分辨重建方法，其特征在于，获取待处理图像LR及对应的高分辨率参考图像Ref，输入至经过预先训练的图像超分辨重建模型，得到待处理图像LR的超分辨重建结果；
所述图像超分辨重建模型包括：
纹理特征提取模块，用于采用纹理特征提取器分别提取待处理图像LR的纹理特征图FLR和高分辨率参考图像Ref的纹理特征图V；且将所述待处理图像LR和高分辨率参考图像Ref采样处理至目标分辨率尺寸后，采用纹理特征提取器分别提取待处理图像LR的采样纹理特征图Q和高分辨率参考图像Ref的采样纹理特征图K；
纹理转换处理模块，用于利用近似最近邻搜索算法搜索匹配采样纹理特征图K与采样纹理特征图Q的纹理相似区域，并基于匹配到的纹理相似区域对高分辨率参考图像Ref的纹理特征图V进行纹理特征转换，构建待处理图像LR的相似高分辨率纹理特征图FRef；
空间自适应融合模块，用于利用待处理图像LR的纹理特征图FLR对所述相似高分辨率纹理特征图FRef进行图像空间自适应处理，并利用残差网络将图像空间自适应处理结果与待处理图像LR的纹理特征图FLR进行融合，将得到的融合图像作为待处理图像LR的超分辨重建结果。
2.根据权利要求1所述结合空间自适应和纹理转换的图像超分辨重建方法，其特征在于，所述纹理特征提取模块中，将所述待处理图像LR和高分辨率参考图像Ref采样处理至目标分辨率尺寸后采用纹理特征提取器分别提取待处理图像LR的采样纹理特征图Q和高分辨率参考图像Ref的采样纹理特征图K的具体方式包括：
S201：对所述待处理图像LR进行上采样处理，对所述高分辨率参考图像Ref进行下采样和上采样处理，分别得到目标分辨率尺寸的待处理上采样图像LR↑和下上采样参考图像Ref↓↑；
S202：利用纹理特征提取器对待处理上采样图像LR↑进行纹理特征提取，得到待处理图像LR对应的采样纹理特征图Q；利用纹理特征提取器对下上采样参考图像Ref↓↑进行纹理特征提取，得到高分辨率参考图像Ref对应的采样纹理特征图K。
3.根据权利要求1所述结合空间自适应和纹理转换的图像超分辨重建方法，其特征在于，所述纹理特征提取器为经过预训练的VGG19模型。
4.根据权利要求1所述结合空间自适应和纹理转换的图像超分辨重建方法，其特征在于，所述纹理转换处理模块中，基于匹配到的纹理相似区域对高分辨率参考图像Ref的纹理特征图V进行纹理特征转换构建待处理图像LR的相似高分辨率纹理特征图FRef的具体方式包括：
S301：分别计算匹配到的采样纹理特征图K与采样纹理特征图Q的各纹理相似区域之间的相似度：
qi表示采样纹理特征图Q中的第i个纹理相似区域，kj表示采样纹理特征图K中的第j个纹理相似区域，所述第i个纹理相似区域qi和第j个纹理相似区域kj是互为匹配的纹理相似区域，i＝j∈{1,2,…,n}，n表示匹配到的采样纹理特征图K与采样纹理特征图Q的纹理相似区域的总匹配组数；r(i,j)表示采样纹理特征图Q中的第i个纹理相似区域与采样纹理特征图K中的第j个纹理相似区域的相似度；＜·＞为归一化内积计算符；
S302：基于采样纹理特征图K与采样纹理特征图Q的各纹理相似区域之间的相似度构建硬注意力映射图H＝{h1,h2,…,hi,…,hn}和软注意力映射图S＝{s1,s2,…,si,…,sn}；
其中，硬注意力映射图H中的第i个元素
软注意力映射图S中的第i个元素
S303：以硬注意力映射图H中的元素为索引，对高分辨率参考图像Ref的纹理特征图V进行纹理相似区域索引选择操作，得到硬注意力索引高分辨率特征图T＝{t1,t2,…,ti,…,tn}；
其中，硬注意力索引高分辨率特征图T中的第i个元素ti＝Vhi，Vhi表示硬注意力映射图H中的第i个元素hi索引选择纹理特征图V中的纹理相似区域；
S304：基于待处理图像LR的纹理特征图FLR以及所述硬注意力索引高分辨率特征图T和软注意力映射图S进行纹理转换处理，构建待处理图像LR的相似高分辨率纹理特征图FRef：
其中，FLR表示待处理图像LR的纹理特征图，Concat(·)表示concat级联连接，Conv(·)表示卷积运算，
表示乘积运算。
5.根据权利要求1所述结合空间自适应和纹理转换的图像超分辨重建方法，其特征在于，所述近似最近邻搜索算法采用Patch Match算法。
6.根据权利要求1所述结合空间自适应和纹理转换的图像超分辨重建方法，其特征在于，所述空间自适应融合模块中，利用待处理图像LR的纹理特征图FLR对相似高分辨率纹理特征图FRef进行图像空间自适应处理的具体包括：
S401：将待处理图像LR的纹理特征图FLR和相似高分辨率纹理特征图FRef进行concat级联连接，然后输入可学习卷积层，并得到两个与纹理特征图FLR空间尺寸大小相同的空间自适应参数β和γ的初始值：
β＝γ＝Conv(Concat(FLR,FRef))；
其中，Concat(·)表示concat级联连接，Conv(·)表示卷积运算；
S402：对相似高分辨率纹理特征图FRef进行空间自适应归一化更新：
其中，
和
分别表示相似高分辨率纹理特征图FRef中第c个特征通道的均值和标准差，且：
其中，
表示相似高分辨率纹理特征图FRef中第c个特征通道
的第y行第x列像素位置的特征值，H和W分别表示高分辨率纹理图FRef的像素行高尺寸和像素列宽尺寸；
S403：利用待处理图像LR的纹理特征图FLR对空间自适应参数β和γ进行更新：
β←β+μLR，γ←γ+σLR；
其中，μLR和σLR分别表示纹理特征图FLR的均值和标准差，且：
其中，
表示纹理特征图FLR中第y行第x列像素位置的特征值，H和W分别纹理特征图FLR的像素行高尺寸和像素列宽尺寸；
S404：利用空间自适应归一化更新后的相似高分辨率纹理特征图FRef及更新后的空间自适应参数β和γ进行图像空间自适应处理：
7.根据权利要求1所述结合空间自适应和纹理转换的图像超分辨重建方法，其特征在于，所述空间自适应融合模块中，利用残差网络将图像空间自适应处理结果与待处理图像LR的纹理特征图FLR进行融合具体方式为：
其中，F′LR表示融合得到的待处理图像LR的超分辨重建结果图；Conv(·)表示卷积运算，Deconv[·]表示反卷积运算。
8.根据权利要求1所述结合空间自适应和纹理转换的图像超分辨重建方法，其特征在于，对图像超分辨重建模型进行训练优化的过程中所采用的损失函数L为：
L＝λrecLrec+λperLper+λadvLadv+λtexLtex；
Lrec和λrec分别为重建损失及其对应的权重值；Lper和λper分别为感知损失及其对应的权重值；Ladv和λadv分别为对抗损失及其对应的权重值；Ltex和λtex分别为纹理损失及其对应的权重值。
9.根据权利要求8所述结合空间自适应和纹理转换的图像超分辨重建方法，其特征在于，损失函数L中：
重建损失Lrec＝||IHR-ISR||1，表示重建输出图像ISR与真实图像IHR之间的差异；||·||1表示L1范数运算；
感知损失
表示重建输出图像ISR与真实图像IHR之间的语意感知差异；VI和C表示输出图像ISR和真实图像IHR通过纹理特征提取器提取纹理特征的特征体积和特征通道总数，Φc(ISR)和Φc(IHR)分别表示输出图像ISR和真实图像IHR通过纹理特征提取器提取的第c个特征通道值，c∈{1,2,…,C}；||·||F表示Frobenius范数运算；
对抗损失
表示重建输出图像ISR与真实图像IHR之间的视觉和清晰度差异；其中
其中，D′表示1-Lipschitz函数集，D(x)表示将数据x喂入生成对抗网络的判别器D返回的值，Pr和Pg分别表示真实分布和模型分布；
和
分别表示真实数据分布函数期望值和模型数据分布函数期望值；G表示生成对抗网络的生成器；
纹理损失
表示重建输出图像ISR与真实图像IHR之间的纹理差异；其中，Gr表示Gram矩阵，λc表示第c个特征通道的纹理特征大小的归一化因子，Sc表示纹理转换网络中第c个特征通道软注意力的权重图；Vc表示高分辨率参考图像Ref的纹理特征图V中第c个特征通道的纹理特征值。
10.根据权利要求8所述结合空间自适应和纹理转换的图像超分辨重建方法，其特征在于，损失函数L中，重建损失Lrec、感知损失Lper、对抗损失Ladv和纹理损失Ltex各自对应的权重值的取值分别优选为λrec＝1，λper＝10-4，λadv＝10-6，λtex＝10-4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211008042.0A CN115358927B (zh) | 2022-08-22 | 2022-08-22 | 一种结合空间自适应和纹理转换的图像超分辨重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211008042.0A CN115358927B (zh) | 2022-08-22 | 2022-08-22 | 一种结合空间自适应和纹理转换的图像超分辨重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115358927A true CN115358927A (zh) | 2022-11-18 |
| CN115358927B CN115358927B (zh) | 2023-12-26 |
Family
ID=84002947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211008042.0A Active CN115358927B (zh) | 2022-08-22 | 2022-08-22 | 一种结合空间自适应和纹理转换的图像超分辨重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115358927B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116782041A (zh) * | 2023-05-29 | 2023-09-19 | 武汉工程大学 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009141770A1 (en) * | 2008-05-21 | 2009-11-26 | Koninklijke Philips Electronics N.V. | Image resolution enhancement |
| CN111179177A (zh) * | 2019-12-31 | 2020-05-19 | 深圳市联合视觉创新科技有限公司 | 图像重建模型训练方法、图像重建方法、设备及介质 |
| CN112801875A (zh) * | 2021-02-05 | 2021-05-14 | 深圳技术大学 | 超分辨率重建方法、装置、计算机设备和存储介质 |
| CN112967188A (zh) * | 2021-03-04 | 2021-06-15 | 中国科学技术大学 | 结合结构化语义码流的空间自适应图像超分辨重建方法 |
| WO2021185225A1 (zh) * | 2020-03-16 | 2021-09-23 | 徐州工程学院 | 基于自适应调整的图像超分辨率重建方法 |
| CN114792287A (zh) * | 2022-03-25 | 2022-07-26 | 南京航空航天大学 | 一种基于多图像融合的医学超声图像超分辨率重建方法 |
| CN114897694A (zh) * | 2022-05-10 | 2022-08-12 | 南京航空航天大学 | 基于混合注意力和双层监督的图像超分辨率重建方法 |
-
2022
- 2022-08-22 CN CN202211008042.0A patent/CN115358927B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009141770A1 (en) * | 2008-05-21 | 2009-11-26 | Koninklijke Philips Electronics N.V. | Image resolution enhancement |
| CN111179177A (zh) * | 2019-12-31 | 2020-05-19 | 深圳市联合视觉创新科技有限公司 | 图像重建模型训练方法、图像重建方法、设备及介质 |
| WO2021185225A1 (zh) * | 2020-03-16 | 2021-09-23 | 徐州工程学院 | 基于自适应调整的图像超分辨率重建方法 |
| CN112801875A (zh) * | 2021-02-05 | 2021-05-14 | 深圳技术大学 | 超分辨率重建方法、装置、计算机设备和存储介质 |
| CN112967188A (zh) * | 2021-03-04 | 2021-06-15 | 中国科学技术大学 | 结合结构化语义码流的空间自适应图像超分辨重建方法 |
| CN114792287A (zh) * | 2022-03-25 | 2022-07-26 | 南京航空航天大学 | 一种基于多图像融合的医学超声图像超分辨率重建方法 |
| CN114897694A (zh) * | 2022-05-10 | 2022-08-12 | 南京航空航天大学 | 基于混合注意力和双层监督的图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 付利华;卢中山;孙晓威;赵宇;张博;: "融合参考图像的人脸超分辨率重构方法", 模式识别与人工智能, no. 04 * |
| 杨宏业;赵银娣;董霁红;: "基于纹理转移的露天矿区遥感图像超分辨率重建", 煤炭学报, no. 12 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116782041A (zh) * | 2023-05-29 | 2023-09-19 | 武汉工程大学 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
| CN116782041B (zh) * | 2023-05-29 | 2024-01-30 | 武汉工程大学 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115358927B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Learning texture transformer network for image super-resolution | |
| CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN111325165B (zh) | 考虑空间关系信息的城市遥感影像场景分类方法 | |
| CN110111256B (zh) | 基于残差蒸馏网络的图像超分辨重建方法 | |
| CN109872305B (zh) | 一种基于质量图生成网络的无参考立体图像质量评价方法 | |
| CN112967178B (zh) | 一种图像转换方法、装置、设备及存储介质 | |
| CN113298815A (zh) | 一种半监督遥感图像语义分割方法、装置和计算机设备 | |
| Keshk et al. | Satellite super-resolution images depending on deep learning methods: a comparative study | |
| CN112288645A (zh) | 一种颅骨面貌复原模型构建方法及复原方法与系统 | |
| CN115358927A (zh) | 一种结合空间自适应和纹理转换的图像超分辨重建方法 | |
| CN111144239B (zh) | 一种利用词汇树引导的无人机倾斜影像特征匹配方法 | |
| CN114266957A (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| CN115393186A (zh) | 一种人脸图像超分辨率重建方法、系统、设备及介质 | |
| CN117474781A (zh) | 一种基于注意力机制的高光谱与多光谱图像融合方法 | |
| Zhou et al. | PAN-guided band-aware multi-spectral feature enhancement for pan-sharpening | |
| CN108090873B (zh) | 基于回归模型的金字塔人脸图像超分辨率重建方法 | |
| CN112598575B (zh) | 一种基于特征处理的图像信息融合及超分辨率重建方法 | |
| Liu et al. | Circle-net: An unsupervised lightweight-attention cyclic network for hyperspectral and multispectral image fusion | |
| CN113379597A (zh) | 人脸超分辨率重构方法 | |
| CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
| CN115170985B (zh) | 一种基于阈值注意力的遥感图像语义分割网络及分割方法 | |
| CN116777745A (zh) | 一种基于稀疏自适应聚类的图像超分辨率重建方法 | |
| Chen et al. | Incomplete multimodal learning for remote sensing data fusion | |
| CN115375537A (zh) | 非线性感知多尺度的超分辨率图像生成系统及方法 | |
| CN116091793A (zh) | 一种基于光流融合的光场显著性检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |