CN111080533A - 一种基于自监督残差感知网络的数码变焦方法 - Google Patents
一种基于自监督残差感知网络的数码变焦方法 Download PDFInfo
- Publication number
- CN111080533A CN111080533A CN201910999119.7A CN201910999119A CN111080533A CN 111080533 A CN111080533 A CN 111080533A CN 201910999119 A CN201910999119 A CN 201910999119A CN 111080533 A CN111080533 A CN 111080533A
- Authority
- CN
- China
- Prior art keywords
- network
- residual
- image
- auxiliary
- residual error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000008447 perception Effects 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 10
- 230000015556 catabolic process Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 101100247599 Hordeum vulgare RCAB gene Proteins 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于自监督残差感知网络的数码变焦方法，首先，对SRRAW数据集进行预处理，获取残差图像；其次，使用边缘增强和细节增强操作作用在残差图像上，将残差图像的边缘和细节增强后作为残差感知辅助网络的标记；然后，通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中；最后，通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能。本发明提出的辅助任务模块和空间注意力改进模块对数码变焦任务都是有很大的提升，使变焦后的图像拥有更多的细节和边缘信息。
Description
技术领域
本发明涉及计算机视觉、数字图像分析、深度学习、机器学习等技术领，具体涉及一种基于自监督残差感知网络的数码变焦方法。
背景技术
近年来，由新网络结构和大数据进步驱动的深度学习算法在许多人工智能系统中表现出惊人的高性能，例如图像识别和语义分割。深度学习在图像超分领域的应用也十分令人兴奋。在图像超分领域，由于获取成对训练数据(低分辨率图像和对应的高分辨率图像)是比较困难的，所以研究人员在前期的实验中假设超分辨率中的图像退化模型为双三次下采样或者高斯下采样，然后将高分辨率图像通过下采样获得对应的低分率图像作为神经网络的输入，高分辨率图像作为标记来训练神经网络。基于上述基本假设，研究人员在图像处理领域提出了很多模型来尝试解决这个问题。
Chao等人首次提出将深度网络应用在图像超分领域。他们提出了一个简单的三层神经网络SRCNN，取得了很棒的表现，不管是在重建效果还是在推断耗时等指标上。在这之后，很多神经网络的改进结构被应用到超分领域。例如Kim等人设计了VDSR，Ledig等人提出将残差块引入到网络结构中。随后，Lim等人提出了一种非常深和宽的网络EDSR，该网络通过叠加修改后的剩余块来实现。显著的性能增益表明表示深度在图像超分中起着关键的作用。其他最近的工作，如RDN，都是基于密集块并利用所有卷积层的所有层次特征。NLRG和RCAN通过在空间和通道维度上考虑特征相关性来提高性能。
然而随着研究的进一步深入，研究人员发现基于双三次和高斯下采样训练出来的模型，并不能简单的迁移到真实的环境(光学变焦)中。也就是说在超分领域表现很好的模型在光学变焦中并比一定就能取得很好的表现。这个发现在最近引起了研究人员的广泛关注，Chen等人提出了一个真实成像下的光学变焦数据集，City100，然后从相机镜头的角度研究图像超分，旨在缓解合成退化模型与真实成像系统的差异。Zhang等人提供了一个数据集SR-RAW，它包含原始RAW数据和对应的真实高分辨率图像，用于真实世界的光学变焦，并采用带有上下文双边丢失(CoBi)的SRResNet来训练SR-RAW数据集。此外，CVPR2019的第三届NTIRE挑战也集中在光学变焦的任务上。这个挑战基于RealSR数据集。这个数据集是在不同的室内和室外环境中获得的图像。但是这些工作主要的贡献都集中在提出了一个数据集，然后基于他们提出的数据集研究了光学变焦与传统超分的不同之处：“真实环境中的图像退化模型比假设的双三次或者高斯退化要复杂很多，导致了真实环境下的低分图像中存在很多噪声，使得低分与高分图像相比，丢失了很多重要的信息”，但是这些研究都没有为光学变焦提出一个有效的解决方案。
因此本专利的目的是基于超分辨率和光学变焦任务的差异，开发一种适用于光学变焦任务的深度模型。
发明内容
发明目的：本发明提出一种基于自监督残差感知网络的数码变焦方法，使变焦后的图像拥有更多的细节和边缘信息。
技术方案：本发明所述的一种基于自监督残差感知网络的数码变焦方法，包括以下步骤：
(1)对SRRAW数据集进行预处理，获取残差图像；
(2)使用边缘增强和细节增强操作作用在残差图像上，将残差图像的边缘和细节增强后作为残差感知辅助网络的标记；
(3)通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中；
(4)通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能。
进一步地，所述步骤(2)包括以下步骤：
(21)定义边缘增强算子k1和细节增强算子k2为：
(22)对于边缘增强卷积，设定步长为1，边缘填充为0；对于细节增强卷积，我们设定补偿为6，边缘填充为0；
(23)将低分辨率图像Y定义为该模块的输入，增强后的残差图像R作为标记，用L1范数定义辅助任务的损失来优化辅助任务参数，损失函数定义如下：
其中Θ1表示辅助网络的参数，m表示训练集的样本数，yi∈Y表示第i个低分图像，ri∈R表示对应的增强后的残差图像；FRAT(·)表示辅助任务的网络结构。
进一步地，步骤(3)所述的融合主要包括双向Top-down连接融合特征以及通过多尺度池化旋转空间注意力机制调整融合后的特征。
进一步地，所述步骤(3)包括以下步骤：
(31)双向Top-down融合方式会将辅助网络中语义级别的特征
通过加和的方式融合到缩放网络的浅层(F0)中，而辅助网络中浅层的特征
融合到缩放网络的语义层(FN)中；
(32)多尺度池化操作会将所有的通道分成N组，把平均池化应用到在不同的组中，获得多尺度的空间感知区域：
其中，Favg(·)代表平均池化操作，ci表示通道池化的尺度；
(33)将所有特征映射旋转四次，然后将所有的特征映射在空间层面连接成一个新的特征：
其中FRot(·)表示旋转操作，Rij表示第i个特征映射旋转90×j的角度，
表示连接操作；
(34)应用卷积层，通过融合局部感受野中的空间和通道信息来构造信息丰富的特征：
其中，WD表示卷积层的参数，
表示矩阵加法；
(35)得到空间注意图α来重新缩放这些特征表示:
其中，αi和vi分别表示第i位置的缩放因子和特征映射。
进一步地，所述步骤(4)通过以下公式实现：
L(Θ1，Θ2)＝LRAT(Θ1)+λ·LDFZN(Θ2)
其中，Θ2表示深度缩放网络的参数，λ是权衡参数。
有益效果：与现有技术相比，本发明的有益效果：1、与现有的超分辨率技术相比，本发明在不同的指标上都有提升，如PSNR(峰值信噪比)，LPIPS(深度感知图像相似性)；2、经过本发明生成的图片拥有更多的细节和边缘信息；3、本发明在性能和计算复杂性上有很好的权衡。
附图说明
图1为本发明流程图；
图2为基于自监督残差感知网络的数码变焦模型的框架图；
图3为多尺度池化旋转空间注意力模型的框架图；
图4为多尺度池化旋转空间注意力算法流程图。
具体实施方式
数字变焦的主要任务是从低分辨率空间y中恢复高分辨率空间x，这些数据是由不同级别的光学变焦设备采集的，即通过长焦距摄像头采集高分辨RGB图像X和短焦距摄像头采集低分辨率RGB图像Y。此任务的最大挑战是输入输出之间严重的信息丢失。设训练集为s＝{(x1，y1)，(x2，y2)，…，(xm，ym)}，我们定义
其中yi表示第i个低分辨率图像,xi表示对应的低分辨率图像。我们将R＝[r1，r2，…，rm]T表示为自监督任务的标签，μ表示为缩放比。通过对数码变焦任务和传统超分任务细致的研究，发现两个任务之间的差异主要体现在输入与输出之间丢失信息的程度。相比于传统超分任务中的合成图像退化模型，真实环境中的图像退化模型会导致输入输出之间非常严重的信息丢失。
本发明的网络主要包括两部分：深度缩放网络(DFZN)和残差感知的辅助网络(RAT)。在残差感知的辅助网络中基于输入与输出之间的残差信息定义一个自监督辅助任务，然后通过一个辅助神经网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中(主缩放任务)，最后通过一个加和的Loss联合训练辅助任务和主缩放任务,以此提高主缩放网络的性能。此外为了更好将辅助网络中的特征表示融合到主网络中，我们也基于空间注意力模型提出了一个新的改进方案，称为多尺度池化旋转空间注意力模型。我们将该发明所提出模型在SR-RAW数据集上做了任意性实验，实验结果表明我们提出的辅助任务模块和空间注意力改进模块对数码变焦任务都是有很大的提升。而且，在数码变焦领域，我们的模型也取得了目前文献中所报告的最好的结果。
如图1所示，本发明具体包括以下步骤：
1、对SRRAW数据集进行预处理，获取残差图像。
使用Zhang等人提出的SRRAW数据集验证发明方法的有效性，它由500个序列数据组成。对于4x变焦模型，我们从每个序列中得到3个输入输出对进行训练。对于8x变焦模型，我们从每个序列得到1个图像对。每对图像都包含一个低分辨率图像及其相应的全分辨率光学缩放图像。请注意，我们将这些对图像分成训练、验证和测试集。从训练序列数据中选择最后15对作为验证集。由于摄影焦点位在图像中间，所以我们从图像中间裁剪出512*512大小的补丁进行测试。
2、使用边缘增强和细节增强操作作用在残差图像上，将残差图像的边缘和细节增强后作为残差感知辅助网络的标记。
丢失的信息主要集中在边缘和纹理部分，因此为了引导辅助网络更好的学习到丢失的信息特征，我们使用边缘增强和细节增强操作作用在残差图像上，将残差图像的边缘和细节增强后作为辅助网络的标记。具体的来说，我们通过边缘增强和细节增强算子与残差图像卷积产生边缘和细节增强的效果。其中边缘增强算子k1和细节增强算子k2分别定义为:
此外，对于边缘增强卷积，我们设定步长为1，边缘填充为0。对于细节增强卷积，我们设定补偿为6，边缘填充为0。增强操作使得差值图像中的高频部分变得很显著，更有利于辅助任务学习。
对于残差感知辅助任务模块，我们将低分辨率图像Y定义为该模块的输入，增强后的残差图像R作为标记。我们用L1定义辅助任务的损失来优化辅助任务参数。损失函数定义如下：
其中Θ1表示辅助任务RAT的参数，m表示训练集的样本数，yi∈Y表示第i个低分图像，ri∈R表示对应的增强后的残差图像；FRAT(·)表示辅助任务的网络结构。
3、通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中，如图2所示。
给定一个特征映射,大小为H×W×C。我们通过平展原始特征映射的宽度和高度来重塑V＝[v1，…，vm]，其中
m等于H×W。我们可以把vi视为第i位置的视觉特征。多尺度池化旋转空间注意力模型的框架图如图3所示，其详细算法如图4所示。首先，多尺度池化操作会将所有的通道分成N组，例如1、2、4。然后我们把平均池化应用到在不同的组中，获得多尺度的空间感知区域。
Favg(·)代表平均池化操作，ci表示通道池化的尺度，可取值分别为1、2、4。
为了更好的探索空间特征之间的全局上下文依赖关系，我们提出了旋转操作来重新整合特征表示。具体来说，我们将所有特征映射旋转四次，然后将所有的特征映射在空间层面连接成一个新的特征。
其中FRot(·)表示旋转操作，Rij表示第i个特征映射旋转90×j的角度。
表示连接操作。
然后，我们应用卷积层，通过融合局部感受野中的空间和通道信息来构造信息丰富的特征。
WD表示卷积层的参数，
表示矩阵加法。
最后，我们得到空间注意图α来重新缩放这些特征表示:
其中，αi和vi分别表示第i位置的缩放因子和特征映射。通过这样的空间注意，这些聚集特征和残差分量可以自适应地重新调整，以在空间表示上保持丰富的上下文关系。
4、通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能。
下定义DFZN的损失函数。与RAT相同，我们也使用L1范数作为损失函数。
其中Θ2表示DFZN的参数。我们使用两个任务的混合损失函数来联合的优化RAT和DFZN网络。混合损失函数如下所示：
L(Θ1，Θ2)＝LRAT(Θ1)+λ·LDFZN(Θ2) (8)
其中λ是权衡参数,来平衡这两项任务重要性的。
我们对训练图像对执行数据增强，例如随机旋转90、180、270度并水平翻转。在每个训练批次中，随机抽取16个大小为64×64的(32×32用于8x变焦模型)低分辨率图像小块作为输入，然后将对应的的高分辨率图像和增强的残差图像上的对应位置分别作为DFZN和RAT的标记。ADAM优化被用来更新参数其中设定β1＝0.9、β2＝0.999和∈＝10-8。初始学习率设置为10-4，然后每50个学习率降低到一半。我们使用等式(8)中定义的混合损失L(Θ1，Θ2)作为模型损失韩式，其中设置平衡参数λ＝1，并对本文中的所有比较方法采用L1损失函数。
我们对两个baseline模型进行消融研究，以验证我们提出的模块：RAT和MPR-SA的有效性。这两个baseline模型分别是EDSR和RCAN。注意，对于RCAN baseline模型，我们在RIR结构中将RG个数设置为1。在每个RG中，我们将RCAB的个数设置为16。我们将提出的SRNet变体在SR-RAW验证集上的测试结果进行了比较。具体性能对比见表1和表2。
表1不同模块在EDSR模型上的性能
表2不同模块在RCAN模型上的性能
为了验证该发明中提出的SRNet的有效性，我们将SRNet与5种最先进的基于CNN的SR方法进行了比较，这些方法被迁移到zoom任务中:EDSR、SRResNet、RDN、SAN、RCAN。我们在表3中报告了所有的定量结果。根据不同的标准(即、SSIM、PSNR和LPIPS)，我们的SRNet在不同的变焦率下都优于所有的比较方法。此外，SRNet、RCAN--和SAN获得了比其他方法更好的性能。主要原因是通道注意力机制(RCAN--,SAN)和残差感知辅助任务(SRNet)都会引导网络学习高频特征，从而使网络更加注重高频特征。然而，与其他两种方法相比，我们的SRNet在纹理信息丰富的情况下取得了更好的效果，这表明定义一个用于显式地将残差信息编码融合到缩放网络训练过程中的辅助任务是有益的。
表3在x4和x8缩放比例下不同方法的性能比较
表4中显示了在x4缩放比率设定下，这些比较模型的参数规模和性能。该发明提出的SRNet的参数只有EDSR的两倍左右，但是获得了更高的性能，这意味着我们的SRNet可以在性能和模型复杂性之间进行很好的权衡。结果表明，在变焦任务中，采用有效的训练策略设计轻量级的深度模型比设计深度或广度网络更容易获得更好的性能。
表4计算及参数比较(x4缩放比例)
Claims (5)
1.一种基于自监督残差感知网络的数码变焦方法，其特征在于，包括以下步骤：
(1)对SRRAW数据集进行预处理，获取残差图像；
(2)使用边缘增强和细节增强操作作用在残差图像上，将残差图像的边缘和细节增强后作为残差感知辅助网络的标记；
(3)通过辅助网络将丢失的残差信息转化为特征表示融合到数码变焦的深度缩放网络中；
(4)通过加和的Loss联合训练辅助网络和深度缩放网络,提高深度缩放网络的性能。
2.根据权利要求1所述的一种基于自监督残差感知网络的数码变焦方法，其特征在于，所述步骤(2)包括以下步骤：
(21)定义边缘增强算子k1和细节增强算子k2为：
(22)对于边缘增强卷积，设定步长为1，边缘填充为0；对于细节增强卷积，我们设定补偿为6，边缘填充为0；
(23)将低分辨率图像Y定义为该模块的输入，增强后的残差图像R作为标记，用L1范数定义辅助任务的损失来优化辅助任务参数，损失函数定义如下：
其中Θ1表示辅助网络的参数，m表示训练集的样本数，yi∈Y表示第i个低分图像，ri∈R表示对应的增强后的残差图像；FRAT(·)表示辅助任务的网络结构。
3.根据权利要求1所述的一种基于自监督残差感知网络的数码变焦方法，其特征在于，步骤(3)所述的融合主要包括双向Top-down连接融合特征以及通过多尺度池化旋转空间注意力机制调整融合后的特征。
4.根据权利要求1所述的一种基于自监督残差感知网络的数码变焦方法，其特征在于，所述步骤(3)包括以下步骤：
(31)双向Top-down融合方式会将辅助网络中语义级别的特征
通过加和的方式融合到缩放网络的浅层(F0)中，而辅助网络中浅层的特征
融合到缩放网络的语义层(FN)中；
(32)多尺度池化操作会将所有的通道分成N组，把平均池化应用到在不同的组中，获得多尺度的空间感知区域：
其中，Favg(·)代表平均池化操作，ci表示通道池化的尺度；
(33)将所有特征映射旋转四次，然后将所有的特征映射在空间层面连接成一个新的特征：
其中FRot(·)表示旋转操作，Rij表示第i个特征映射旋转90×j的角度，
表示连接操作；
(34)应用卷积层，通过融合局部感受野中的空间和通道信息来构造信息丰富的特征：
其中，WD表示卷积层的参数，⊕表示矩阵加法；
(35)得到空间注意图α来重新缩放这些特征表示:
其中，αi和vi分别表示第i位置的缩放因子和特征映射。
5.根据权利要求1所述的一种基于自监督残差感知网络的数码变焦方法，其特征在于，所述步骤(4)通过以下公式实现：
L(Θ1，Θ2)＝LRAT(Θ1)+λ·LDFZN(Θ2)
其中，Θ2表示深度缩放网络的参数，λ是权衡参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910999119.7A CN111080533B (zh) | 2019-10-21 | 2019-10-21 | 一种基于自监督残差感知网络的数码变焦方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910999119.7A CN111080533B (zh) | 2019-10-21 | 2019-10-21 | 一种基于自监督残差感知网络的数码变焦方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111080533A true CN111080533A (zh) | 2020-04-28 |
| CN111080533B CN111080533B (zh) | 2023-05-16 |
Family
ID=70310471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910999119.7A Active CN111080533B (zh) | 2019-10-21 | 2019-10-21 | 一种基于自监督残差感知网络的数码变焦方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111080533B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991231A (zh) * | 2020-07-23 | 2021-06-18 | 杭州喔影网络科技有限公司 | 单图像超分与感知图像增强联合任务学习系统 |
| CN113837223A (zh) * | 2021-08-24 | 2021-12-24 | 中国地质大学（武汉） | 一种基于rgb-d的显著目标检测方法及储存介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829855A (zh) * | 2019-01-23 | 2019-05-31 | 南京航空航天大学 | 一种基于融合多层次特征图的超分辨率重建方法 |
| CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN110232653A (zh) * | 2018-12-12 | 2019-09-13 | 天津大学青岛海洋技术研究院 | 快速轻型超分辨率重建密集残差网络 |
-
2019
- 2019-10-21 CN CN201910999119.7A patent/CN111080533B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232653A (zh) * | 2018-12-12 | 2019-09-13 | 天津大学青岛海洋技术研究院 | 快速轻型超分辨率重建密集残差网络 |
| CN109829855A (zh) * | 2019-01-23 | 2019-05-31 | 南京航空航天大学 | 一种基于融合多层次特征图的超分辨率重建方法 |
| CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991231A (zh) * | 2020-07-23 | 2021-06-18 | 杭州喔影网络科技有限公司 | 单图像超分与感知图像增强联合任务学习系统 |
| CN113837223A (zh) * | 2021-08-24 | 2021-12-24 | 中国地质大学（武汉） | 一种基于rgb-d的显著目标检测方法及储存介质 |
| CN113837223B (zh) * | 2021-08-24 | 2023-06-09 | 中国地质大学（武汉） | 一种基于rgb-d的显著目标检测方法及储存介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111080533B (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN110020989B (zh) | 一种基于深度学习的深度图像超分辨率重建方法 | |
| Bashir et al. | A comprehensive review of deep learning-based single image super-resolution | |
| CN113191953B (zh) | 一种基于Transformer的人脸图像超分辨的方法 | |
| CN110738697A (zh) | 基于深度学习的单目深度估计方法 | |
| CN109636721B (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
| CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN114972746B (zh) | 一种基于多分辨率重叠注意力机制的医学影像分割方法 | |
| CN116343052B (zh) | 一种基于注意力和多尺度的双时相遥感图像变化检测网络 | |
| CN116205962B (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
| CN111080533B (zh) | 一种基于自监督残差感知网络的数码变焦方法 | |
| Jiang et al. | Lightweight dual-stream residual network for single image super-resolution | |
| CN117635428A (zh) | 一种肺部ct图像超分辨重建方法 | |
| Zhao et al. | Improved edge-guided network for single image super-resolution | |
| CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| Li et al. | Image reflection removal using end‐to‐end convolutional neural network | |
| CN116385265B (zh) | 一种图像超分辨率网络的训练方法及装置 | |
| CN117456330A (zh) | 一种基于MSFAF-Net的低照度目标检测方法 | |
| CN116823908A (zh) | 一种基于多尺度特征相关性增强的单目图像深度估计方法 | |
| CN116957931A (zh) | 一种基于神经辐射场的相机图像画质提升方法 | |
| CN103226818A (zh) | 基于流形正则稀疏支撑回归的单帧图像超分辨率重建方法 | |
| CN113920317B (zh) | 基于可见光图像和低分辨率深度图像的语义分割方法 | |
| CN115345781A (zh) | 一种基于深度学习的多视点视频拼接方法 | |
| CN117095033B (zh) | 一种基于图像与几何信息引导的多模态点云配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |