CN112308781A - 一种基于深度学习的单幅图像三维超分辨率重构方法 - Google Patents

一种基于深度学习的单幅图像三维超分辨率重构方法 Download PDF

Info

Publication number
CN112308781A
CN112308781A CN202011332696.XA CN202011332696A CN112308781A CN 112308781 A CN112308781 A CN 112308781A CN 202011332696 A CN202011332696 A CN 202011332696A CN 112308781 A CN112308781 A CN 112308781A
Authority
CN
China
Prior art keywords
image
training
resolution
neural network
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011332696.XA
Other languages
English (en)
Inventor
何悦之
姚靖
郑炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011332696.XA priority Critical patent/CN112308781A/zh
Publication of CN112308781A publication Critical patent/CN112308781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及图像处理的技术领域，公开了一种基于深度学习的单幅图像三维超分辨率重构方法，包括以下步骤：S01：输入单幅原始图像；S02：初始化用于重构高分辨率图像的神经网络；S03：将原始图像简单变换后生成第一训练图像；S04：通过第一训练图像生成低分辨率的第二训练图像；S05：将第一训练图像和第二训练图像输入神经网络进行训练，估算训练的损失，优化神经网络；S06：若未满足训练终止条件，则重复步骤S03‑S05进行迭代训练；若满足训练终止条件，则输入原始图像至训练完成后的神经网络，输出重构后的高分辨率图像。本发明通过有针对性的为单幅原始图像通过神经网络进行迭代训练，重构出符合要求的高分辨率图像。

Description

一种基于深度学习的单幅图像三维超分辨率重构方法
技术领域
本发明专利涉及图像处理的技术领域，具体而言，涉及一种基于深度学习的单幅图像三维超分辨率重构方法。
背景技术
随着信息技术的不断发展，高分辨率的图像及视频在影视娱乐、医学成像、交通监控、安全监控、航空航天等领域有着很高的应用需求。但是受硬件成本、成像环境等多方面因素的制约，以及传输过程中受到的噪声干扰，获取的图像或视频的质量有时仍达不到实际的需求，如存在分辨率不足、噪声干扰、模糊等问题。在实际当中，图像分辨率和采集时间是图像采集过程中需要取舍的两个指标。通常分辨率越高的图像需要的采集时间越长，而在某些场景下(例如生物医学成像)，采集时间有限，因此也限制了获取的图像分辨率。通过软件技术来提升图像分辨率是较为有效的方式，其中图像超分辨率重构技术是较为突出的。
图像超分辨率重构(Super resolution,SR)是指利用计算机将一幅低分辨率图像(low resolution,LR)或图像序列进行处理，恢复出高分辨率图像(high resolution,HR)的一种图像处理技术。高分辨率意味着图像具有高像素密度，可以提供更多的细节。
常见的超分辨率重构算法利用图像模糊的过程的先验知识，通过逆运算的方法重构出高分辨率的图像。然而，这些假定的先验知识往往随着图像采集的场景变化而改变，因此当图像采集的过程不满足这些预设前提时，重构的图像质量往往不佳。此外，基于深度学习的超分辨率重构算法近年来发展迅速，基于深度学习的算法往往依赖于大量的数据，需要有多幅图像序列作为数据源，在数据量不足的情况下，重构效果不理想。
发明内容
本发明的目的在于提供一种基于深度学习的单幅图像三维超分辨率重构方法，旨在解决现有技术中，缺乏对单幅二维或三维图像进行超分辨率重构的方法的问题。
本发明是这样实现的，一种基于深度学习的单幅图像三维超分辨率重构方法，包括以下步骤：
S01：输入单幅需要进行重构的原始图像；
S02：初始化用于重构高分辨率图像的神经网络；
S03：将所述原始图像简单变换后生成第一训练图像；
S04：通过图像处理所述第一训练图像生成低分辨率的第二训练图像；
S05：将所述第一训练图像和所述第二训练图像输入所述神经网络进行训练，估算训练的损失，优化所述神经网络；
S06：判断是否满足预设的训练终止条件，若未满足训练终止条件，则重复步骤S03-S05进行迭代训练；若满足训练终止条件，则输入所述原始图像至训练完成后的所述神经网络，输出重构后的高分辨率图像。
进一步地，在步骤S05中，在训练过程中，对所述第一训练图像和所述第二训练图像计算所述神经网络的损失函数，利用所述损失函数进行反向传播迭代，优化所述神经网络的参数。
进一步地，所述损失函数为均方差、0-1损失函数、感知损失函数、对数损失函数、Hinge损失函数或平均绝对误差。
进一步地，在步骤S03中，将所述原始图像裁剪或旋转一定角度生成所述第一训练图像。
进一步地，在步骤S04中，获得成像系统的点扩散函数，利用所述点扩散函数对所述第一训练图像进行卷积后，再通过降采样生成所述第二训练图像。
进一步地，在步骤S04中，所述点扩散函数通过实际测量获得。
进一步地，由所述第一训练图像通过降采样产生所述第二训练图像。
进一步地，在步骤S06中，所述训练终止条件为训练的轮次达到预设的轮次。
进一步地，在步骤S02中，所述神经网络的参数包括但不限于网络层数、每层的参数数量、卷积核的大小以及初始化的方式。
进一步地，所述原始图像为二维图像或三维图像。
与现有技术相比，本发明提供的一种基于深度学习的单幅图像三维超分辨率重构方法，针对单幅原始图像，有针对性地对所采用的神经网络进行迭代训练，通过估算其训练损失来优化神经网络，获得训练完成后的神经网络，该神经网络与单幅原始图像相对应，每一辐原始图像都会单独训练出一个神经网络用于重构，这种重构的方式的优势在于不依赖于图像模糊过程的先验知识；在原始图像分辨率有限的情况下，不依赖额外的数据源进行训练，从而实现了图像从模糊到清晰的转化。
附图说明
图1是本发明提供的一种基于深度学习的单幅图像三维超分辨率重构方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的实现进行详细的描述。
本实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
参照图1所示，为本发明提供的较佳实施例。
一种基于深度学习的单幅图像三维超分辨率重构方法，其特征在于，包括以下步骤：
S01：输入单幅需要进行重构的原始图像；单幅原始图像可以为单幅二维图像或单幅三维图像，理论上也可以扩展至更高的维度；
S02：初始化用于重构高分辨率图像的神经网络；
S03：将所述原始图像简单变换后生成第一训练图像；
S04：通过图像处理所述第一训练图像生成低分辨率的第二训练图像；
S05：将所述第一训练图像和所述第二训练图像输入所述神经网络进行训练，估算训练的损失，优化所述神经网络；
S06：判断是否满足预设的训练终止条件，若未满足训练终止条件，则重复步骤S03-S05进行迭代训练；若满足训练终止条件，则输入所述原始图像至训练完成后的所述神经网络，输出重构后的高分辨率图像。
本实施例提供的一种基于深度学习的单幅图像三维超分辨率重构方法，针对单幅原始图像，有针对性地对所采用的神经网络进行迭代训练，通过估算其训练损失来优化神经网络，获得训练完成后的神经网络，该神经网络与单幅原始图像相对应，每一辐原始图像都会单独训练出一个神经网络用于重构，这种重构的方式的优势在于不依赖于图像模糊或采样过程的先验知识；在原始图像分辨率有限的情况下，不依赖额外的数据源进行训练，从而实现了图像从模糊到清晰的转化。
在步骤S02中，初始化用于重构高分辨率图像的神经网络，主要是初始化神经网络的参数，神经网络的参数包括但不限于网络层数、每层的参数数量、卷积核的大小以及初始化的方式。神经网络的初始参数可以随机产生，或者也可根据图像处理中常用的神经网络参数进行设定，以提升训练的效果。
深度学习算法(如卷积神经网络)的训练往往依赖于大量的数据，因此在数据量不足的情况下，深度学习算法的效果不够理想。
在本实施例中，利用了单张原始图像中的重复模式对小型的深度神经网络进行训练，这样避免了深度神经网络对海量数据的依赖，实现了仅利用单张图片作为训练数据源的超分辨率重构。所谓单张原始图像中重复模式，是指在同一幅图像中反复出现的特征，例如一副摩天大楼的照片中，存在大量相似的窗户。通过学习单幅图像中的重复模式，可以减少训练所需要的数据数量。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一，是一种深度学习模型或类似于人工神经网络的多层感知器。
卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，神经网络就具有输入输出对之间的映射能力。
卷积神经网络通常包括数据输入层(Input layer)、卷积计算层(CONV layer)、ReLU激励层(ReLU layer)、池化层(Pooling layer)、全连接层(FC layer)。数据输入层要做的处理主要是对原始图像数据进行预处理，例如去均值、归一化、用PCA(PrincipalComponent Analysis，译为：主成分分析)降维、白化(白化是对数据各个特征轴上的幅度归一化)等。
卷积计算层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量，类似于一个前馈神经网络的神经元。卷积计算层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，在文献中被称为“感受野(receptive field)”。卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量。卷积计算层的参数包括卷积核大小、步长和填充等，共同决定了卷积计算层输出特征图的尺寸。其中卷积核大小可以指定为小于输入图像尺寸的任意值，卷积核越大，可提取的输入特征越复杂。卷积步长定义了卷积核相邻两次扫过特征图时位置的距离，卷积步长为1时，卷积核会逐个扫过特征图的元素，步长为n时会在下一次扫描跳过n-1个像素。每个神经元只关注一个特性，对应图像处理中的滤波器，比如边缘检测专用的Sobel滤波器，即卷积层的每个滤波器都会有自己所关注一个图像特征，比如垂直边缘，水平边缘，颜色，纹理等等，这些所有神经元加起来就好比就是整张图像的特征提取器集合。
在ReLU激励层，激励函数操作通常在卷积核之后，一些使用预激活(preactivation)技术的算法将激励函数置于卷积核之前。
池化层夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合。简而言之，如果输入是图像的话，那么池化层的最主要作用就是压缩图像。在卷积计算层进行特征提取后，输出的特征图通常会被传递至池化层进行特征选择和信息过滤。
卷积神经网络中的全连接层相当于传统前馈神经网络中的隐含层。全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。
卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。
在步骤S03中，将所述原始图像简单变换后生成第一训练图像，例如，第一训练图像可由单幅原始图像经过裁剪或旋转一定角度生成。
如：将原始图像裁剪成1000份，每一份原始图像都作为迭代训练过程中的第一训练图像，参与对神经网络的训练。
如：将原始图像旋转每旋转1°形成一份第一训练图像，参与对神经网络的训练。
在步骤S03中，生成第一训练图像的方法并不局限于裁剪或旋转一定角度，别的对原始图像进行简单变换的方法也可以生成第一训练图像。
在步骤S04中，通过图像处理所述第一训练图像生成低分辨率的第二训练图像。例如，可通过对所述第一训练图像降采样生成低分辨率的第二训练图像。
(1)获得成像系统的点扩散函数(Point Spread Function)，利用所述点扩散函数对所述第一训练图像进行卷积后，再通过降采样生成所述第二训练图像。点扩散函数通常通过实际测量获得。
系统的点扩散函数(PSF)可以作为补充信息生成低分辨率的图像用于训练。首先，补充系统点扩散函数可以生成更接近真实的低分辨率图像的训练数据。其次，在图像采集系统的点扩散函数不均匀的情况下(例如大视场成像)，利用实测系统点扩散函数生成的训练数据可以更精准的反映不同区域的低分辨率图像。
当物体被分割成不同强度的离散点物体时，图像可被计算为每个点的PSF之和。由于PSF通常完全由成像系统决定，因此可以通过了解系统的光学特性来描述整个像，这个过程通常用卷积方程表示。
例如，点扩散函数(Point Spread Function)为h(t)，原始图像数据为f(t)，则利用点扩散函数(Point Spread Function)对原始图像卷积后数据为g(t)，
g(t)＝f(t)*h(t)，*表示卷积。
点扩散函数(Point Spread Function)，对光学系统来讲，一物面点光源通过光学系统所成的像的三维光强分布，称为点扩散函数(PSF)。由于光的波动性及其与它所通过光学系统的相互作用，入射光存在衍射或散射现象，产生了衍射极限，即物面上的理想点在像面上不再为理想点。在数学上点光源可用δ函数(脉冲)表示，输出像的光强分布叫做脉冲响应，所以点扩散函数就是光学系统的脉冲响应函数，是一种光学系统成像性能客观定量的评价指标。
在图像恢复技术中，点扩展函数(PSF)是影响图像恢复结果的关键因素，常常可利用先验知识和后验判断方法估计PSF函数来恢复图像。
点扩展函数(PSF)可以通过实际测量获得，通常可使用嵌入凝胶中的荧光微珠进行测量，该荧光珠近似于均匀介质中的无限小点物体。
降采样，又作减采集，是一种多速率数字信号处理的技术或是降低信号采样率的过程，通常用于降低数据传输速率或者数据大小。对图像进行降采样的主要目的一般有：使得图像符合显示区域的大小；生成对应图像的缩略图。
例如，M倍的降采样是从x(n)中每隔M个样点抽取一个样点，并丢弃其它样点，产生输出序列y(n)。
对降采样进行频域分析可知，为不致混叠失真，x(n)频谱需带限在±π/M内。很多应用中采样率变换时裁减一些高频分量是允许的，不会产生失真，但发生频谱混叠是不允许的，它会有明显失真，所以在降采样前应该对x(n)进行带宽为π/M的低通滤波，避免频谱混叠的现象发生。
(2)当系统点扩散函数未知时，低分辨率的第二训练图像也可以直接由第一训练图像降采样产生，并不受限于系统点扩散函数的获取。
在步骤S05中，将所述第一训练图像和所述第二训练图像输入所述神经网络进行训练，估算训练的损失，优化所述神经网络。
将在训练过程中，对第一训练图像和第二训练图像计算所述神经网络的损失函数(Loss function)，均方差(Mean squared error)可作为损失函数，但损失函数并不局限于采用均方差，利用所述损失函数进行反向传播迭代，优化所述神经网络的参数，使得神经网络与单幅原始图像的对应性更好。
在机器学习中，选择算法后，算法是如何工作的，如何确定算法模型对真实数据的拟合效果怎么样，这就是损失函数的作用。损失函数(loss function)或代价函数(costfunction)，是用来评估模型的预测值与真实值不一致的程度，也是神经网络中优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数越小，说明模型的预测值就越接近真是值，模型的健壮性也就越好。常用的损失函数有：0-1损失函数(0-1loss function)、感知损失函数(Perceptron Loss)、平方损失函数(quadratic lossfunction)、对数损失函数(Log Loss)、Hinge损失函数(hinge loss function)、平均绝对误差、L1损失(Mean Absolute Error,L1 Loss)等。在步骤S05中，采用了利用损失函数进行反向传播迭代的方式进行迭代训练。例如，可采用深度神经网络(DNN)反向传播算法进行迭代训练，在进行DNN反向传播算法前，需要选择一个损失函数，来度量训练样本计算出的输出和真实的训练样本输出之间的损失。DNN可选择的损失函数有不少，为了专注算法，这里我们使用最常见的均方差来度量损失。当然，针对不同的任务，可以选择不同的损失函数。对DNN的损失函数用梯度下降法进行迭代优化求极小值的过程为可采用的反向传播算法，对神经网络的参数进行调整优化，如增加或减少一定调整量。也可采用其他的迭代方法比如牛顿法与拟牛顿法。
在步骤S06中，判断是否满足预设的训练终止条件，若未满足训练终止条件，则重复步骤S03-S05进行迭代训练；若满足训练终止条件，则输入所述原始图像至训练完成后的所述神经网络，输出重构后的高分辨率图像。
预设的训练终止条件可以采用训练的轮次，训练的轮次为自定义的数值，通常训练的轮次为1000次以上。
预设的训练终止条件并不局限于训练的轮次，也可以是其他条件，例如，当均方差小于某一预设数值时，训练终止。
在训练的结果满足终止条件后，获得了经训练完成后的神经网络，该神经网络与初始的单幅原始图像相对应，则输入原始图像至训练完成后的所述神经网络，输出重构后的高分辨率图像，就完成了初始单幅原始图像向重构后的高分辨率图像的转变。
在训练过程中，也可将整幅原始图像作为第一训练图像，将整幅原始图像经降采样处理获得第二训练图像，将此第一训练图像和第二训练图像作为图像对参与到神经网络的训练当中。
对于图像序列，经过迭代训练优化后的神经网络，可跳过神经网络的初始化步骤，用于训练下一幅相关联的原始图像，相当于用上一幅图像的神经网络参数初始化下一幅图像对应神经网络的参数，提高下一幅原始图像的重构效率，输入原始的低分辨率图像，较快输出重构的高分辨率图像。
而对于单幅图像，本实施例有针对性的为单幅原始图像通过神经网络进行迭代训练，重构出符合要求的高分辨率图像；接收到的每一辐原始图像都会单独训练出一个神经网络用于重构，这种重构的方式的优势在于不依赖于图像模糊过程的先验知识；在原始图像分辨率有限的情况下，不依赖额外的数据源进行训练，从而实现了图像从模糊到清晰的转化。
本发明的有益效果如下：
1.可以利用低分辨率的原始图像重构出高分辨率的图像，从而节省原始图像的获取时间。
2.所采用的深度学习算法可以训练出针对目标图像的神经网络，无需先验知识即可有针对性的对被采集到的图像进行超分辨率重构。
3.所使用的算法无需依赖任何外源数据进行神经网络的训练，因此减少了数据的依赖。同时，单幅的图像作为训练的输入也降低了训练的时间成本。
4.支持二维图像及三维图像的超分辨率重构。
5.可以利用图像采集系统的点扩散函数生成第一训练图像，对于点扩散函数变化较大的系统，补充的点扩散函数可以模拟出更真实的训练图像，提升超分辨率重构的效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的单幅图像三维超分辨率重构方法，其特征在于，包括以下步骤：
S01：输入单幅需要进行重构的原始图像；
S02：初始化用于重构高分辨率图像的神经网络；
S03：将所述原始图像简单变换后生成第一训练图像；
S04：通过图像处理所述第一训练图像生成低分辨率的第二训练图像；
S05：将所述第一训练图像和所述第二训练图像输入所述神经网络进行训练，估算训练的损失，优化所述神经网络；
S06：判断是否满足预设的训练终止条件，若未满足训练终止条件，则重复步骤S03-S05进行迭代训练；若满足训练终止条件，则输入所述原始图像至训练完成后的所述神经网络，输出重构后的高分辨率图像。
2.如权利要求1所述的一种基于深度学习的单幅图像三维超分辨率重构方法，其特征在于，在步骤S05中，在训练过程中，对所述第一训练图像和所述第二训练图像计算所述神经网络的损失函数，利用所述损失函数进行反向传播迭代，优化所述神经网络的参数。
3.如权利要求2所述的一种基于深度学习的单幅图像三维超分辨率重构方法，其特征在于，所述损失函数为均方差、0-1损失函数、感知损失函数、对数损失函数、Hinge损失函数或平均绝对误差。
4.如权利要求2所述的一种基于深度学习的单幅图像三维超分辨率重构方法，其特征在于，在步骤S03中，将所述原始图像裁剪或旋转一定角度生成所述第一训练图像。
5.如权利要求2所述的一种基于深度学习的单幅图像三维超分辨率重构方法，其特征在于，在步骤S04中，获得成像系统的点扩散函数，利用所述点扩散函数对所述第一训练图像进行卷积后，再通过降采样生成所述第二训练图像。
6.如权利要求5所述的一种基于深度学习的单幅图像三维超分辨率重构方法，其特征在于，在步骤S04中，所述点扩散函数通过实际测量获得。
7.如权利要求2所述的一种基于深度学习的单幅图像三维超分辨率重构方法，其特征在于，由所述第一训练图像通过降采样产生所述第二训练图像。
8.如权利要求1-7任一项所述的一种基于深度学习的单幅图像三维超分辨率重构方法，其特征在于，在步骤S06中，所述训练终止条件为训练的轮次达到预设的轮次。
9.如权利要求1-7任一项所述的一种基于深度学习的单幅图像三维超分辨率重构方法，其特征在于，在步骤S02中，所述神经网络的参数包括但不限于网络层数、每层的参数数量、卷积核的大小以及初始化的方式。
10.如权利要求1-7任一项所述的一种基于深度学习的单幅图像三维超分辨率重构方法，其特征在于，所述原始图像为二维图像或三维图像。
CN202011332696.XA 2020-11-23 2020-11-23 一种基于深度学习的单幅图像三维超分辨率重构方法 Pending CN112308781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011332696.XA CN112308781A (zh) 2020-11-23 2020-11-23 一种基于深度学习的单幅图像三维超分辨率重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011332696.XA CN112308781A (zh) 2020-11-23 2020-11-23 一种基于深度学习的单幅图像三维超分辨率重构方法

Publications (1)

Publication Number Publication Date
CN112308781A true CN112308781A (zh) 2021-02-02

Family

ID=74335735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011332696.XA Pending CN112308781A (zh) 2020-11-23 2020-11-23 一种基于深度学习的单幅图像三维超分辨率重构方法

Country Status (1)

Country Link
CN (1) CN112308781A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563963A (zh) * 2017-08-11 2018-01-09 北京航空航天大学 一种基于单张深度图超分辨率重建的方法
CN109064396A (zh) * 2018-06-22 2018-12-21 东南大学 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110473142A (zh) * 2019-05-22 2019-11-19 南京理工大学 基于深度学习的单幅图像超分辨率重建方法
WO2020098449A1 (zh) * 2018-11-15 2020-05-22 华南理工大学 一种基于哈达玛变换的单幅图像超分辨率方法
CN111275691A (zh) * 2020-01-22 2020-06-12 北京邮电大学 一种基于深度学习的小样本肿瘤坏死率分类预测装置
CN111612066A (zh) * 2020-05-21 2020-09-01 成都理工大学 基于深度融合的卷积神经网络的遥感图像分类方法
CN111652803A (zh) * 2020-05-22 2020-09-11 中国科学技术大学 一种横向束流截面超分辨率重建方法
CN111797264A (zh) * 2019-04-09 2020-10-20 北京京东尚科信息技术有限公司 图像增广与神经网络训练方法、装置、设备及存储介质
CN111932461A (zh) * 2020-08-11 2020-11-13 西安邮电大学 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563963A (zh) * 2017-08-11 2018-01-09 北京航空航天大学 一种基于单张深度图超分辨率重建的方法
CN109064396A (zh) * 2018-06-22 2018-12-21 东南大学 一种基于深度成分学习网络的单幅图像超分辨率重建方法
WO2020098449A1 (zh) * 2018-11-15 2020-05-22 华南理工大学 一种基于哈达玛变换的单幅图像超分辨率方法
CN111797264A (zh) * 2019-04-09 2020-10-20 北京京东尚科信息技术有限公司 图像增广与神经网络训练方法、装置、设备及存储介质
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110473142A (zh) * 2019-05-22 2019-11-19 南京理工大学 基于深度学习的单幅图像超分辨率重建方法
CN111275691A (zh) * 2020-01-22 2020-06-12 北京邮电大学 一种基于深度学习的小样本肿瘤坏死率分类预测装置
CN111612066A (zh) * 2020-05-21 2020-09-01 成都理工大学 基于深度融合的卷积神经网络的遥感图像分类方法
CN111652803A (zh) * 2020-05-22 2020-09-11 中国科学技术大学 一种横向束流截面超分辨率重建方法
CN111932461A (zh) * 2020-08-11 2020-11-13 西安邮电大学 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统

Similar Documents

Publication Publication Date Title
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
Thakur et al. State‐of‐art analysis of image denoising methods using convolutional neural networks
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
Islam et al. Mixed Gaussian-impulse noise reduction from images using convolutional neural network
Hawe et al. Analysis operator learning and its application to image reconstruction
US5526446A (en) Noise reduction system
Huang et al. WINNet: Wavelet-inspired invertible network for image denoising
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
Ma et al. Efficient and fast real-world noisy image denoising by combining pyramid neural network and two-pathway unscented Kalman filter
CN111861894B (zh) 基于生成式对抗网络的图像去运动模糊方法
CN109146787B (zh) 一种基于插值的双相机光谱成像系统的实时重建方法
CN112529776B (zh) 图像处理模型的训练方法、图像处理方法及装置
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
CN114419392A (zh) 高光谱快照图像恢复方法、装置、设备及介质
Wu et al. Dcanet: Dual convolutional neural network with attention for image blind denoising
CN114862699B (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
Ahmadian et al. Single image super-resolution with self-organization neural networks and image laplace gradient operator
Galar et al. Learning super-resolution for Sentinel-2 images with real ground truth data from a reference satellite
Wang et al. Online convolutional sparse coding with sample-dependent dictionary
CN112308781A (zh) 一种基于深度学习的单幅图像三维超分辨率重构方法
CN115409713A (zh) 一种高效实时的单张图像超分变率重建系统及方法
CN114549361A (zh) 一种基于改进U-Net模型的去图像运动模糊方法
CN114612297A (zh) 高光谱图像超分辨率重建方法及装置
Yapici et al. A review of image denoising with deep learning
Del Campo et al. Influence of image pre-processing to improve the accuracy in a convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination