CN111080533B - 一种基于自监督残差感知网络的数码变焦方法 - Google Patents

一种基于自监督残差感知网络的数码变焦方法 Download PDF

Info

Publication number
CN111080533B
CN111080533B CN201910999119.7A CN201910999119A CN111080533B CN 111080533 B CN111080533 B CN 111080533B CN 201910999119 A CN201910999119 A CN 201910999119A CN 111080533 B CN111080533 B CN 111080533B
Authority
CN
China
Prior art keywords
network
residual
auxiliary
image
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910999119.7A
Other languages
English (en)
Other versions
CN111080533A (zh
Inventor
张道强
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910999119.7A priority Critical patent/CN111080533B/zh
Publication of CN111080533A publication Critical patent/CN111080533A/zh
Application granted granted Critical
Publication of CN111080533B publication Critical patent/CN111080533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自监督残差感知网络的数码变焦方法,首先,对SRRAW数据集进行预处理,获取残差图像;其次,使用边缘增强和细节增强操作作用在残差图像上,将残差图像的边缘和细节增强后作为残差感知辅助网络的标记;然后,通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中;最后,通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能。本发明提出的辅助任务模块和空间注意力改进模块对数码变焦任务都是有很大的提升,使变焦后的图像拥有更多的细节和边缘信息。

Description

一种基于自监督残差感知网络的数码变焦方法
技术领域
本发明涉及计算机视觉、数字图像分析、深度学习、机器学习等技术领,具体涉及一种基于自监督残差感知网络的数码变焦方法。
背景技术
近年来,由新网络结构和大数据进步驱动的深度学习算法在许多人工智能系统中表现出惊人的高性能,例如图像识别和语义分割。深度学习在图像超分领域的应用也十分令人兴奋。在图像超分领域,由于获取成对训练数据(低分辨率图像和对应的高分辨率图像)是比较困难的,所以研究人员在前期的实验中假设超分辨率中的图像退化模型为双三次下采样或者高斯下采样,然后将高分辨率图像通过下采样获得对应的低分率图像作为神经网络的输入,高分辨率图像作为标记来训练神经网络。基于上述基本假设,研究人员在图像处理领域提出了很多模型来尝试解决这个问题。
Chao等人首次提出将深度网络应用在图像超分领域。他们提出了一个简单的三层神经网络SRCNN,取得了很棒的表现,不管是在重建效果还是在推断耗时等指标上。在这之后,很多神经网络的改进结构被应用到超分领域。例如Kim等人设计了VDSR,Ledig等人提出将残差块引入到网络结构中。随后,Lim等人提出了一种非常深和宽的网络EDSR,该网络通过叠加修改后的剩余块来实现。显著的性能增益表明表示深度在图像超分中起着关键的作用。其他最近的工作,如RDN,都是基于密集块并利用所有卷积层的所有层次特征。NLRG和RCAN通过在空间和通道维度上考虑特征相关性来提高性能。
然而随着研究的进一步深入,研究人员发现基于双三次和高斯下采样训练出来的模型,并不能简单的迁移到真实的环境(光学变焦)中。也就是说在超分领域表现很好的模型在光学变焦中并比一定就能取得很好的表现。这个发现在最近引起了研究人员的广泛关注,Chen等人提出了一个真实成像下的光学变焦数据集,City100,然后从相机镜头的角度研究图像超分,旨在缓解合成退化模型与真实成像系统的差异。Zhang等人提供了一个数据集SR-RAW,它包含原始RAW数据和对应的真实高分辨率图像,用于真实世界的光学变焦,并采用带有上下文双边丢失(CoBi)的SRResNet来训练SR-RAW数据集。此外,CVPR2019的第三届NTIRE挑战也集中在光学变焦的任务上。这个挑战基于RealSR数据集。这个数据集是在不同的室内和室外环境中获得的图像。但是这些工作主要的贡献都集中在提出了一个数据集,然后基于他们提出的数据集研究了光学变焦与传统超分的不同之处:“真实环境中的图像退化模型比假设的双三次或者高斯退化要复杂很多,导致了真实环境下的低分图像中存在很多噪声,使得低分与高分图像相比,丢失了很多重要的信息”,但是这些研究都没有为光学变焦提出一个有效的解决方案。
因此本专利的目的是基于超分辨率和光学变焦任务的差异,开发一种适用于光学变焦任务的深度模型。
发明内容
发明目的:本发明提出一种基于自监督残差感知网络的数码变焦方法,使变焦后的图像拥有更多的细节和边缘信息。
技术方案:本发明所述的一种基于自监督残差感知网络的数码变焦方法,包括以下步骤:
(1)对SRRAW数据集进行预处理,获取残差图像;
(2)使用边缘增强和细节增强操作作用在残差图像上,将残差图像的边缘和细节增强后作为残差感知辅助网络的标记;
(3)通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中;
(4)通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能。
进一步地,所述步骤(2)包括以下步骤:
(21)定义边缘增强算子k1和细节增强算子k2为:
Figure BDA0002240719870000021
Figure BDA0002240719870000022
(22)对于边缘增强卷积,设定步长为1,边缘填充为0;对于细节增强卷积,我们设定补偿为6,边缘填充为0;
(23)将低分辨率图像Y定义为该模块的输入,增强后的残差图像R作为标记,用L1范数定义辅助任务的损失来优化辅助任务参数,损失函数定义如下:
Figure BDA0002240719870000031
其中Θ1表示辅助网络的参数,m表示训练集的样本数,yi∈Y表示第i个低分图像,ri∈R表示对应的增强后的残差图像;FRAT(·)表示辅助任务的网络结构。
进一步地,步骤(3)所述的融合主要包括双向Top-down连接融合特征以及通过多尺度池化旋转空间注意力机制调整融合后的特征。
进一步地,所述步骤(3)包括以下步骤:
(31)双向Top-down融合方式会将辅助网络中语义级别的特征
Figure BDA0002240719870000032
通过加和的方式融合到缩放网络的浅层(F0)中,而辅助网络中浅层的特征
Figure BDA0002240719870000033
融合到缩放网络的语义层(FN)中;
(32)多尺度池化操作会将所有的通道分成N组,把平均池化应用到在不同的组中,获得多尺度的空间感知区域:
Figure BDA0002240719870000034
其中,Favg(·)代表平均池化操作,ci表示通道池化的尺度;
(33)将所有特征映射旋转四次,然后将所有的特征映射在空间层面连接成一个新的特征:
Figure BDA0002240719870000035
其中FRot(·)表示旋转操作,Rij表示第i个特征映射旋转90×j的角度,
Figure BDA0002240719870000036
表示连接操作;
(34)应用卷积层,通过融合局部感受野中的空间和通道信息来构造信息丰富的特征:
Figure BDA0002240719870000037
其中,WD表示卷积层的参数,
Figure BDA0002240719870000041
表示矩阵加法;
(35)得到空间注意图α来重新缩放这些特征表示:
Figure BDA0002240719870000042
其中,αi和vi分别表示第i位置的缩放因子和特征映射。
进一步地,所述步骤(4)通过以下公式实现:
L(Θ1,Θ2)=LRAT1)+λ·LDFZN2)
Figure BDA0002240719870000043
其中,Θ2表示深度缩放网络的参数,λ是权衡参数。
有益效果:与现有技术相比,本发明的有益效果:1、与现有的超分辨率技术相比,本发明在不同的指标上都有提升,如PSNR(峰值信噪比),LPIPS(深度感知图像相似性);2、经过本发明生成的图片拥有更多的细节和边缘信息;3、本发明在性能和计算复杂性上有很好的权衡。
附图说明
图1为本发明流程图;
图2为基于自监督残差感知网络的数码变焦模型的框架图;
图3为多尺度池化旋转空间注意力模型的框架图;
图4为多尺度池化旋转空间注意力算法流程图。
具体实施方式
数字变焦的主要任务是从低分辨率空间y中恢复高分辨率空间x,这些数据是由不同级别的光学变焦设备采集的,即通过长焦距摄像头采集高分辨RGB图像X和短焦距摄像头采集低分辨率RGB图像Y。此任务的最大挑战是输入输出之间严重的信息丢失。设训练集为s={(x1,y1),(x2,y2),…,(xm,ym)},我们定义
Figure BDA0002240719870000044
其中yi表示第i个低分辨率图像,xi表示对应的低分辨率图像。我们将R=[r1,r2,…,rm]T表示为自监督任务的标签,μ表示为缩放比。通过对数码变焦任务和传统超分任务细致的研究,发现两个任务之间的差异主要体现在输入与输出之间丢失信息的程度。相比于传统超分任务中的合成图像退化模型,真实环境中的图像退化模型会导致输入输出之间非常严重的信息丢失。
本发明的网络主要包括两部分:深度缩放网络(DFZN)和残差感知的辅助网络(RAT)。在残差感知的辅助网络中基于输入与输出之间的残差信息定义一个自监督辅助任务,然后通过一个辅助神经网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中(主缩放任务),最后通过一个加和的Loss联合训练辅助任务和主缩放任务,以此提高主缩放网络的性能。此外为了更好将辅助网络中的特征表示融合到主网络中,我们也基于空间注意力模型提出了一个新的改进方案,称为多尺度池化旋转空间注意力模型。我们将该发明所提出模型在SR-RAW数据集上做了任意性实验,实验结果表明我们提出的辅助任务模块和空间注意力改进模块对数码变焦任务都是有很大的提升。而且,在数码变焦领域,我们的模型也取得了目前文献中所报告的最好的结果。
如图1所示,本发明具体包括以下步骤:
1、对SRRAW数据集进行预处理,获取残差图像。
使用Zhang等人提出的SRRAW数据集验证发明方法的有效性,它由500个序列数据组成。对于4x变焦模型,我们从每个序列中得到3个输入输出对进行训练。对于8x变焦模型,我们从每个序列得到1个图像对。每对图像都包含一个低分辨率图像及其相应的全分辨率光学缩放图像。请注意,我们将这些对图像分成训练、验证和测试集。从训练序列数据中选择最后15对作为验证集。由于摄影焦点位在图像中间,所以我们从图像中间裁剪出512*512大小的补丁进行测试。
2、使用边缘增强和细节增强操作作用在残差图像上,将残差图像的边缘和细节增强后作为残差感知辅助网络的标记。
丢失的信息主要集中在边缘和纹理部分,因此为了引导辅助网络更好的学习到丢失的信息特征,我们使用边缘增强和细节增强操作作用在残差图像上,将残差图像的边缘和细节增强后作为辅助网络的标记。具体的来说,我们通过边缘增强和细节增强算子与残差图像卷积产生边缘和细节增强的效果。其中边缘增强算子k1和细节增强算子k2分别定义为:
Figure BDA0002240719870000051
此外,对于边缘增强卷积,我们设定步长为1,边缘填充为0。对于细节增强卷积,我们设定补偿为6,边缘填充为0。增强操作使得差值图像中的高频部分变得很显著,更有利于辅助任务学习。
对于残差感知辅助任务模块,我们将低分辨率图像Y定义为该模块的输入,增强后的残差图像R作为标记。我们用L1定义辅助任务的损失来优化辅助任务参数。损失函数定义如下:
Figure BDA0002240719870000061
其中Θ1表示辅助任务RAT的参数,m表示训练集的样本数,yi∈Y表示第i个低分图像,ri∈R表示对应的增强后的残差图像;FRAT(·)表示辅助任务的网络结构。
3、通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中,如图2所示。
给定一个特征映射,大小为H×W×C。我们通过平展原始特征映射的宽度和高度来重塑V=[v1,…,vm],其中
Figure BDA0002240719870000062
m等于H×W。我们可以把vi视为第i位置的视觉特征。多尺度池化旋转空间注意力模型的框架图如图3所示,其详细算法如图4所示。首先,多尺度池化操作会将所有的通道分成N组,例如1、2、4。然后我们把平均池化应用到在不同的组中,获得多尺度的空间感知区域。
Figure BDA0002240719870000063
Favg(·)代表平均池化操作,ci表示通道池化的尺度,可取值分别为1、2、4。
为了更好的探索空间特征之间的全局上下文依赖关系,我们提出了旋转操作来重新整合特征表示。具体来说,我们将所有特征映射旋转四次,然后将所有的特征映射在空间层面连接成一个新的特征。
Figure BDA0002240719870000064
其中FRot(·)表示旋转操作,Rij表示第i个特征映射旋转90×j的角度。
Figure BDA0002240719870000065
表示连接操作。
然后,我们应用卷积层,通过融合局部感受野中的空间和通道信息来构造信息丰富的特征。
Figure BDA0002240719870000071
WD表示卷积层的参数,
Figure BDA0002240719870000072
表示矩阵加法。
最后,我们得到空间注意图α来重新缩放这些特征表示:
Figure BDA0002240719870000073
其中,αi和vi分别表示第i位置的缩放因子和特征映射。通过这样的空间注意,这些聚集特征和残差分量可以自适应地重新调整,以在空间表示上保持丰富的上下文关系。
4、通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能。
下定义DFZN的损失函数。与RAT相同,我们也使用L1范数作为损失函数。
Figure BDA0002240719870000074
其中Θ2表示DFZN的参数。我们使用两个任务的混合损失函数来联合的优化RAT和DFZN网络。混合损失函数如下所示:
L(Θ1,Θ2)=LRAT1)+λ·LDFZN2) (8)
其中λ是权衡参数,来平衡这两项任务重要性的。
我们对训练图像对执行数据增强,例如随机旋转90、180、270度并水平翻转。在每个训练批次中,随机抽取16个大小为64×64的(32×32用于8x变焦模型)低分辨率图像小块作为输入,然后将对应的的高分辨率图像和增强的残差图像上的对应位置分别作为DFZN和RAT的标记。ADAM优化被用来更新参数其中设定β1=0.9、β2=0.999和∈=10-8。初始学习率设置为10-4,然后每50个学习率降低到一半。我们使用等式(8)中定义的混合损失L(Θ1,Θ2)作为模型损失韩式,其中设置平衡参数λ=1,并对本文中的所有比较方法采用L1损失函数。
我们对两个baseline模型进行消融研究,以验证我们提出的模块:RAT和MPR-SA的有效性。这两个baseline模型分别是EDSR和RCAN。注意,对于RCAN baseline模型,我们在RIR结构中将RG个数设置为1。在每个RG中,我们将RCAB的个数设置为16。我们将提出的SRNet变体在SR-RAW验证集上的测试结果进行了比较。具体性能对比见表1和表2。
表1不同模块在EDSR模型上的性能
Figure BDA0002240719870000081
表2不同模块在RCAN模型上的性能
Figure BDA0002240719870000082
为了验证该发明中提出的SRNet的有效性,我们将SRNet与5种最先进的基于CNN的SR方法进行了比较,这些方法被迁移到zoom任务中:EDSR、SRResNet、RDN、SAN、RCAN。我们在表3中报告了所有的定量结果。根据不同的标准(即、SSIM、PSNR和LPIPS),我们的SRNet在不同的变焦率下都优于所有的比较方法。此外,SRNet、RCAN--和SAN获得了比其他方法更好的性能。主要原因是通道注意力机制(RCAN--,SAN)和残差感知辅助任务(SRNet)都会引导网络学习高频特征,从而使网络更加注重高频特征。然而,与其他两种方法相比,我们的SRNet在纹理信息丰富的情况下取得了更好的效果,这表明定义一个用于显式地将残差信息编码融合到缩放网络训练过程中的辅助任务是有益的。
表3在x4和x8缩放比例下不同方法的性能比较
Figure BDA0002240719870000091
表4中显示了在x4缩放比率设定下,这些比较模型的参数规模和性能。该发明提出的SRNet的参数只有EDSR的两倍左右,但是获得了更高的性能,这意味着我们的SRNet可以在性能和模型复杂性之间进行很好的权衡。结果表明,在变焦任务中,采用有效的训练策略设计轻量级的深度模型比设计深度或广度网络更容易获得更好的性能。
表4计算及参数比较(x4缩放比例)
Figure BDA0002240719870000092

Claims (4)

1.一种基于自监督残差感知网络的数码变焦方法,其特征在于,包括以下步骤:
(1)对SRRAW数据集进行预处理,获取残差图像;
(2)使用边缘增强和细节增强操作作用在残差图像上,将残差图像的边缘和细节增强后作为残差感知辅助网络的标记;
(3)通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中;
(4)通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能;
所述步骤(2)包括以下步骤:
(21)定义边缘增强算子k1和细节增强算子k2为:
Figure FDA0004116021970000011
Figure FDA0004116021970000012
(22)对于边缘增强卷积,设定步长为1,边缘填充为0;对于细节增强卷积,设定补偿为6,边缘填充为0;
(23)将低分辨率图像Y定义为增强卷积的输入,增强后的残差图像R作为标记,用L1范数定义辅助任务的损失来优化辅助任务参数,损失函数定义如下:
Figure FDA0004116021970000013
其中,Θ1表示辅助任务RAT的参数,m表示训练集的样本数,yi∈Y表示第i个低分图像,ri∈R表示对应的增强后的残差图像;FRAT(·)表示辅助任务的网络结构。
2.根据权利要求1所述的一种基于自监督残差感知网络的数码变焦方法,其特征在于,步骤(3)所述的融合主要包括双向Top-down连接融合特征以及通过多尺度池化旋转空间注意力机制调整融合后的特征。
3.根据权利要求1所述的一种基于自监督残差感知网络的数码变焦方法,其特征在于,所述步骤(3)包括以下步骤:
(31)双向Top-down融合方式会将辅助网络中语义级别的特征
Figure FDA0004116021970000021
通过加和的方式融合到缩放网络的浅层(F0)中,而辅助网络中浅层的特征
Figure FDA0004116021970000022
融合到缩放网络的语义层(FN)中;
(32)多尺度池化操作会将所有的通道分成N组,把平均池化应用到在不同的组中,获得多尺度的空间感知区域:
Figure FDA0004116021970000023
其中,Favg(·)代表平均池化操作,ci表示通道池化的尺度;
(33)将所有特征映射旋转四次,然后将所有的特征映射在空间层面连接成一个新的特征:
Figure FDA0004116021970000024
其中FRot(·)表示旋转操作,Rij表示第i个特征映射旋转90×j的角度,
Figure FDA0004116021970000029
表示连接操作;
(34)应用卷积层,通过融合局部感受野中的空间和通道信息来构造信息丰富的特征:
Figure FDA0004116021970000025
其中,WD表示卷积层的参数,
Figure FDA0004116021970000026
表示矩阵加法;
(35)得到空间注意图α来重新缩放这些特征表示:
Figure FDA0004116021970000027
其中,αi和Vi分别表示第i位置的缩放因子和特征映射。
4.根据权利要求1所述的一种基于自监督残差感知网络的数码变焦方法,其特征在于,所述步骤(4)通过以下公式实现:
L(Θ12)=LRAT1)+λ·LDFZN2)
Figure FDA0004116021970000028
其中,L(Θ12)为混合损失函数,Θ1表示辅助任务RAT的参数,Θ2表示深度缩放网络的参数,LRAT1)为辅助任务RAT的损失函数,LDFZN2)为深度缩放网络DFZN的损失函数,m为训练集的样本数,λ是权衡参数。
CN201910999119.7A 2019-10-21 2019-10-21 一种基于自监督残差感知网络的数码变焦方法 Active CN111080533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910999119.7A CN111080533B (zh) 2019-10-21 2019-10-21 一种基于自监督残差感知网络的数码变焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910999119.7A CN111080533B (zh) 2019-10-21 2019-10-21 一种基于自监督残差感知网络的数码变焦方法

Publications (2)

Publication Number Publication Date
CN111080533A CN111080533A (zh) 2020-04-28
CN111080533B true CN111080533B (zh) 2023-05-16

Family

ID=70310471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910999119.7A Active CN111080533B (zh) 2019-10-21 2019-10-21 一种基于自监督残差感知网络的数码变焦方法

Country Status (1)

Country Link
CN (1) CN111080533B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381722A (zh) * 2020-07-23 2021-02-19 杭州喔影网络科技有限公司 一种单图像的超分与感知图像增强的联合任务学习方法
CN113837223B (zh) * 2021-08-24 2023-06-09 中国地质大学(武汉) 一种基于rgb-d的显著目标检测方法及储存介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829855A (zh) * 2019-01-23 2019-05-31 南京航空航天大学 一种基于融合多层次特征图的超分辨率重建方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN110232653A (zh) * 2018-12-12 2019-09-13 天津大学青岛海洋技术研究院 快速轻型超分辨率重建密集残差网络

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232653A (zh) * 2018-12-12 2019-09-13 天津大学青岛海洋技术研究院 快速轻型超分辨率重建密集残差网络
CN109829855A (zh) * 2019-01-23 2019-05-31 南京航空航天大学 一种基于融合多层次特征图的超分辨率重建方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法

Also Published As

Publication number Publication date
CN111080533A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN113362223B (zh) 基于注意力机制和双通道网络的图像超分辨率重建方法
CN110020989B (zh) 一种基于深度学习的深度图像超分辨率重建方法
CN113191953B (zh) 一种基于Transformer的人脸图像超分辨的方法
CN111861961B (zh) 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
CN111275655B (zh) 一种多聚焦多源图像融合方法
CN116152120B (zh) 一种融合高低频特征信息的低光图像增强方法及装置
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN116343052B (zh) 一种基于注意力和多尺度的双时相遥感图像变化检测网络
CN111080533B (zh) 一种基于自监督残差感知网络的数码变焦方法
CN114820408A (zh) 基于自注意力和卷积神经网络的红外可见光图像融合方法
CN117710215B (zh) 一种基于极线分窗口注意力的双目图像超分辨率方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN115731138A (zh) 一种基于Transformer与卷积神经网络的图像修复方法
CN111105354A (zh) 基于多源深度残差网络的深度图像超分辨率方法及装置
CN112785502A (zh) 一种基于纹理迁移的混合相机的光场图像超分辨率方法
CN112991167A (zh) 一种基于分层特征融合网络的航拍图像超分辨率重建方法
Jiang et al. Lightweight dual-stream residual network for single image super-resolution
CN114926337A (zh) 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统
Zhao et al. Improved edge-guided network for single image super-resolution
CN107392986A (zh) 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法
Zang et al. Cascaded dense-UNet for image super-resolution
CN111325700B (zh) 基于彩色图像的多维度融合方法和系统
CN115965844B (zh) 基于视觉显著性先验知识的多聚焦图像融合方法
Chen et al. Guided dual networks for single image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant