CN112686830A - 基于图像分解的单一深度图的超分辨率方法 - Google Patents

基于图像分解的单一深度图的超分辨率方法 Download PDF

Info

Publication number
CN112686830A
CN112686830A CN202011606394.7A CN202011606394A CN112686830A CN 112686830 A CN112686830 A CN 112686830A CN 202011606394 A CN202011606394 A CN 202011606394A CN 112686830 A CN112686830 A CN 112686830A
Authority
CN
China
Prior art keywords
depth map
depth
resolution
quality
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011606394.7A
Other languages
English (en)
Other versions
CN112686830B (zh
Inventor
赵利军
王可
高腾飞
史炳闲
王昊
任康
王安红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN202011606394.7A priority Critical patent/CN112686830B/zh
Publication of CN112686830A publication Critical patent/CN112686830A/zh
Application granted granted Critical
Publication of CN112686830B publication Critical patent/CN112686830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明一种基于图像分解的单一深度图的超分辨率方法属于图像质量增强领域，致力于解决在实际场景拍摄中由于相机硬件配置低和环境干扰而导致低分辨率深度图的几何结构信息不准确问题，首先，通过深度对偶分解模块将单一低分辨率深度图分解成两个高分辨率的图像：高质量的精细结构图和粗糙结构图，同时提出深度图初始化增强模块来生成高分辨率的初始化深度图并将其作为深度图重建模块的输入；其次，在深度图重建模块中提出加权融合单元来实现多种特征融合，接下来，将这些融合特征输入到基于残差学习的深度图重建模块中，用来得到高质量的深度残差图，最后，将该残差图和高分辨率的初始化深度图逐像素相加，即可得到最终的高质量深度图。

Description

基于图像分解的单一深度图的超分辨率方法
技术领域
本发明属于图像质量增强领域，具体涉及一种基于图像分解的单一深度图的超分辨率方法。
背景技术
在各种计算机视觉任务的实际应用中，三维场景的深度信息发挥着极其重要的作用。例如，工业物件和商品的识别和抓取、自动驾驶和智能机器人导航都需要使用三维场景的深度信息。现如今，通过消费级别的相机如Kinect和TOF就能够很容易地捕获场景的几何信息。然而，这些信息总是存储为深度图，同时，这些相机拍摄到的深度图分辨率是有限的。拍摄到的深度图质量也会受到复杂自然场景环境和相机传感器敏感度的影响。一般情况下，只有低分辨率的深度图是可以被使用的。然而，这些图像质量并不能满足实际应用的需求。因此，应该深入地研究深度图的超分辨率技术，从而实现深度图的质量增强和深度图的分辨率增强。当只有深度信息可用时，单一深度图超分辨率的目的是将低分辨率的深度图转化为高分辨率的深度图。不同于联合彩色图的深度图超分辨率方法，单一深度图的超分辨率问题是一个更加具有挑战性的病态问题。这是因为单一深度图的超分辨率方法的输入仅仅是能够提供场景几何结构信息的低质量深度图像来实现深度图质量增强，但是无法使用场景其他的模态信息。一般来说，深度图超分辨率方法可以粗略地分为两类：传统的深度图超分辨率方法和基于深度学习的深度图超分辨率方法。
基于图像滤波的深度图超分辨率方法是一种典型的深度图超分辨率方法，例如，引导图像滤波器是一种快速并且是非近似线性时间滤波方法，该方法使用彩色图像作为一种引导信息实现深度图质量增强。为了渐进地提高深度图的精度，双边滤波器被迭代地应用到深度图超分辨率的代价聚合中，这里考虑了大多数物体表面是分段线性平滑的，并且具有相似彩色信息的同一物体像素往往也具有相似的深度值。虽然通过图像滤波技术能够很好地提高图像的质量，然而这些基于图像滤波的方法总是使用局部信息却没有考虑到图像的全局相关性。
另一种方式是利用一定的先验信息来构建目标函数并通过优化来得到优化解。马尔可夫随机场方法使用深度数据内容项和深度平滑先验项来构建深度图重建的目标函数，然后，通过迭代优化算法获得高质量的深度图。为了进一步实现图像高质量上采样，除了潜在的深度数据内容项和深度平滑先验项，还将非局部均值正则化项加入到最小二乘优化中。此外，还可以使用一般的全变分来对全局能量优化进行正则化约束。考虑到现有的彩色图和深度图之间的相关性，可以引入一个双模态共稀疏模型来解决深度图上采样的问题。此外，还有一些方法首先对彩色图像进行分割，然后利用得的分割图像分别对分割的每个区域的深度信息进行重构，最后将这些重构的深度区域重新组合来得到高质量的深度图。与上述所有方法不同的是，基于块的合成方法需要搜索与给定的低分辨率深度块相匹配的高分辨率块。这种方法的缺点是高分辨率块和低分辨率块的匹配过程往往是非常耗费时间的。深度图的超分辨率问题可以被表示为一种边界补偿问题，这里通过多残差字典学习来解决这个问题。虽然这些典型的方法能够一定程度提高深度图的精度，但它们不能通过硬件如GPU和TPU等进行加速，这将极大地限制了这些方法在计算机视觉领域的广泛应用。
与传统的深度图超分辨率方法相比，在最近这些年，基于深度学习的超分辨率方法取得了长足的进步。这些方法通常使用深度神经网络来学习从低分辨率到高分辨率的非线性映射。例如，超分辨率卷积神经网络是早期最具有代表性的超分辨率方法，它仅仅使用三个卷积层，然而每层发挥不同的作用。之后，Z.Wang等人根据稀疏编码理论设计了基于稀疏编码的网络，其拓扑结构是可解释的。这两种方法能够很好地解决彩色图像的超分辨率问题，并且也能用它们来解决深度图的超分辨率问题。彩色图和深度图之间有很大的区别，即彩色图像用于显示，而深度图为我们提供了场景几何信息。深度图的超分辨率任务还可以被转换为一系列新视图合成子任务以生成多视点的深度图，最终通过上采样操作来生成高质量的深度图。B.Chen等人提出不直接学习端到端深度超分辨率映射，即首先使用CNN来预测高质量的边缘图像，然后根据高质量图像边缘信息作为一种引导信息，使用全变分合成来细化低质量深度图。深度图多尺度网络使用三个步骤：特征提取、多尺度上采样和深度图的超分辨率重建。上面所提到的网络的贡献点在于网络拓扑结构有所不同。此外，在感知的深度图超分辨率方法中，基于视觉外观的度量被用作图像超分辨率的损失函数，可以显著提高对3D感知质量。虽然这些方法能够提高深度图质量，但是人们往往期望能从低分辨率的深度图中估计更为准确的深度信息。因此，我们需要进一步研究单一深度图的超分辨问题。
发明内容
为解决上述技术问题，本发明提出了一种基于图像分解的单一深度图的超分辨率方法。该方法主要包括深度对偶分解模块、深度图初始强化模块和深度图重建模块三个模块，使用这些模块对输入的低分辨率图像进行了分解、融合和重建，并定义损失函数对所提网络给予更多的约束，使得训练后的网络可以实现低分辨率深度图的上采样。
本发明保护的技术方案为：基于图像分解的单一深度图的超分辨率方法，按照以下步骤进行：
步骤1)构建训练数据集和测试数据集；
步骤2)使用深度对偶分解模块学习从低分辨率到高分辨率的映射；
利用深度对偶分解模块完成从低分辨率深度图到一对高分辨率的高质量精细结构图和粗糙结构图Thigh和Shigh，深度对偶分解模块包括了两个对偶支路，分别是高质量精细结构图的预测支路和高质量粗糙结构图的预测支路；
在深度对偶分解模块的高质量粗糙结构图预测支路中，使用三个卷积层去提取低分辨率特征，然后在转置卷积层中对这些特征进行上采样以获得
Figure BDA0002871929010000031
接下来，将
Figure BDA0002871929010000032
和二倍上采样的超分辨率先验图像沿通道维度级联，其结果
Figure BDA0002871929010000033
作为第二阶段的输入，第二阶段依次使用三个卷积层、一个转置卷积层和一个卷积层，最后，将第二阶段的输出和四倍上采样的超分辨率先验图像逐像素相加，即可得到高质量粗糙结构图；
深度对偶分解模块的高质量精细结构图的预测支路的拓扑结构和高质量粗糙结构图的预测支路一样，它们的差异之处主要在于高质量精细结构图的预测支路没有使用残差学习，因此该支路不需要逐像素相加操作；
步骤3)利用深度图的初始化增强模块来生成高分辨率的初始化深度图D0；
深度图初始化增强模块的网络结构与高质量粗糙结构图的预测支路相同；
步骤4)将从深度对偶分解模块和深度图初始化增强模块获得的三个图像，输入到深度图重建模块中进行加权融合并重建残差图像，最终通过逐像素求和操作将该残差图像和高分辨率的初始化深度图组合起来，即可得到最终预测的深度图D1。
进一步的，所述步骤4)的具体操作如下：
先将从初始深度图D0、预测的深度粗糙结构图像Shigh和精细结构图像Thigh这三个图像中分别都使用三个操作即一个卷积层、一个批归一化层和激活层来提取浅层特征作为深度图重建模块的加权融合单元的输入，然后，使用加权融合单元对提取浅层特征进行融合；
融合的具体操作依次包括：对三个浅层特征取绝对值；使用三个3x3卷积层提取特征；使用Sigmoid函数对提取到的三组特征图进行激活；使用三个激活后的图像逐像素地进行归一化得到三个权值矩阵；使用归一化的权值矩阵对输入的浅层特征进行逐像素加权求和，为了充分地利用加权融合单元输出的融合特征，这里使用三个残差卷积提取更多丰富特征，并使用一个输出卷积层来重建残差图像，最终，将初始深度图D0和重建的残差图像以求和的方式得到最终预测的深度图D1。
进一步的，基于图像分解的单一深度图的超分辨率方法，还包括损失函数，网络训练总损失包括深度图对偶分解损失和深度图重建损失，深度图对偶分解损失包括深度图粗糙结构预测损失和深度图精细结构预测损失，而深度图重建损失包括初始深度图重建损失和最终深度图重建损失；
将低分辨率深度图所对应的标签图即原始的无失真深度图与初始化增强模块和重建模块所预测的深度图进行分别比较，得到所提网络的深度图重建损失，与此同时，将使用原始深度图来预测的细结构图和粗糙结构图和深度对偶分解模块所预测的精细结构图和粗糙结构图分别进行比较，得到所提网络的深度图对偶分解损失。
进一步的，所述步骤1)选择三个数据集来构建训练数据集，具体来说，使用的第一个数据集是MPI Sintel深度图数据集，包括58个单一深度图。第二个数据集是包含34个单一深度图的Middlebury深度图数据集，其中包括2001年数据集的6张深度图和2006年数据集的10张深度图，以及2014年数据集的18张深度图，第三个数据集使用的是合成训练数据，图像的总数量为62，采用两个已经填补空洞的Middlebury RGBD数据集A和数据集C来评估不同深度图超分辨率方法的性能。
本发明提出了基于图像分解的单一深度图的超分辨率方法，它是由三个部分组成：深度对偶分解模块、深度图初始强化模块和深度图重建模块。该网络能够很好地实现图像的分解、融合和重建，并且能够得到令人满意的高质量深度图。
附图说明
下面结合附图对本发明做进一步详细的说明。
图1为本发明的算法流程图。
具体实施方式
为使本发明的目的、特征和优点能够明显易懂，下面结合附图对本发明的具体实施方式做详细说明。
为了更好的理解本发明的单一深度图的超分辨率方法，下面先对本发明网络结构做详细介绍。如图1所示，本发明所提的单一深度图超分辨率方法总共包含三个模块：深度对偶分解模块、深度图初始化增强模块和深度图重建模块。本发明的单一深度图的超分辨率方法基于上述三个模块实现，具体的实现步骤如下所示：
步骤1)构建训练数据集和测试数据集
在所提的网络训练前，首先选择三个数据集即MPI Sintel深度数据集、Middlebury数据集以及合成训练数据来形成训练数据集，具体说来，首先将这些图像进行以64为步长进行裁切为大小为128x128的图像块，一共得到7502张图像块，在训练阶段将使用这些图像块对网络进行训练。此外，采用两个已经填补空洞的Middlebury RGBD数据集A和数据集C来评估不同深度图超分辨率方法的性能。
步骤2)使用深度对偶分解模块学习从低分辨率到高分辨率的映射；
在图1中深度对偶分解模块上半部分是高质量粗糙结构图的预测支路，深度对偶分解块中下半部分是高质量精细结构图的预测支路。在深度对偶分解模块中，首先使用一个卷积层从低分辨率深度图提取特征，然后同时将提取到的特征输入到深度对偶分解模块的高质量精细结构图的预测支路和高质量粗糙结构图的预测支路中。接下来，使用三个卷积层去提取低分辨率特征，然后在转置的卷积层中对这些特征进行上采样以获得
Figure BDA0002871929010000051
接下来，将
Figure BDA0002871929010000052
和二倍上采样的先验图像沿通道维度级联，其结果
Figure BDA0002871929010000053
作为下一阶段的输入。第二阶段的结构与第一阶段的结构基本相同。然而，在第二阶段的末端使用一个卷积层将
Figure BDA0002871929010000054
多通道特征影射为残差图，然后将该残差图与四倍上采样的先验图像相加，即可获得高质量粗糙结构图Shigh。
接下来将介绍高质量精细结构图的预测支路。正如在深度对偶分解模块的高质量粗糙结构图的预测支路中所做的那样，相似的网络结构被用于高质量精细结构图的预测，但是删除了用于高分辨率精细细节预测逐像素相加操作。由此可见，这个支路的结构与高质量粗糙结构图的预测基本上保持一致。
步骤3)利用深度图的初始化增强模块来生成高分辨率的初始化深度图D0
因为深度图重建模块的最终重建深度图质量依赖于该模块的三次输入：高质量的精细结构图和粗糙结构图以及初始化深度图，所以提出深度图初始化增强模块来提高输入的低分辨率深度图质量。正如在深度对偶分解模块的高质量粗糙结构图的预测支路中所描述的那样，深度图初始化增强模块具有相同的网络拓扑，并且具有与输入相同的特征图，但是具有不同地输出。换言之，虽然它们都是在学习一个端到端非线性映射，但是它们具有不同的功能。
步骤4)深度图重建模块
在深度图重建模块中将初始深度图D0、预测的深度粗糙结构图像Shigh和精细结构图像Thigh这三个图像中分别作为这个模块的输入。首先，使用三个卷积层提取浅层特征，然后，使用加权融合单元进行浅层特征融合，即先对三个浅层特征取绝对值，然后使用三个3x3卷积层提取特征，接下来使用Sigmoid函数对提取到的三组特征图进行激活，同时使用三个激活后的图像逐像素地进行归一化得到三个权值矩阵，最后使用归一化的权矩阵对输入的浅层特征进行逐像素加权求和。此外，我们还使用三个残差卷积和一个卷积输出层来从加权融合单元输出的一组特征图中提取更多丰富特征并重建残差图像。最终，将初始深度图和重建的残差图以求和的方式得到最终预测的深度图D1。
步骤5)损失函数定义
基于图像分解的单一深度图超分辨率方法的训练网络损失函数主要包括深度图对偶分解损失和深度图重建损失。其中，深度图对偶分解损失包括了深度粗略结构预测损失和深度图粗糙结构预测损失。与此同时，深度图重建损失包括了初始深度图重建损失和最终深度图重建损失。
下面是本发明的单一深度图超分辨率网络的训练和测试的具体过程。
a、网络训练参数配置
在训练网络时，选择Adam优化器来训练所提出的网络模型，并且将其学习率设为2e-4。
b、网络训练
本发明所提的单一深度图超分辨率方法训练网络所用损失函数可以表示为：
Figure BDA0002871929010000061
上式L1指的是1范数，深度粗糙结构图像Shigh和精细结构图像Thigh所对应的标签图Ghigh和Ghigh都是经过基于L0梯度最小化的平滑算法分解原始无失真的深度图LGT而得到的图像。从上式可以看到网络训练的损失函数由两个部分组成，第一部分是深度图对偶分解损失，而第二部分是深度图重建损失。在网络训练过程中，通过对深度对偶分解模块、深度图初始化增强模块和深度图重建模块输出的结果进行分析，可以发现所提网络的训练损失随着迭代次数的不断增加而趋于收敛。
c、网络测试结果定量比较
为了客观地描述超分辨网络对低分辨率深度图的增强效果，这里选用了均方根误差(Root Mean Squared Error,RSME)指标来对深度图的质量进行定量分析。RSME是用来衡量观测值与真实值之间的偏差，它常被用作深度模型预测结果衡量的指标，数值越小表示越接近真实值。采用两个已经填补空洞的Middlebury RGBD数据集A和数据集C来评估不同深度图超分辨率方法的性能。
如下表1和表2列出了不同的超分辨率方法所输出图像的RSME指标。经过对比可知，本发明所提出的方法无论是在数据集A或者是数据集C，均方根误差方面比一些最新的深度图超分变率方法性能更好。这充分地说明了本发明的方法在低分辨率深度图的增强上具有明显的优势。
表一
Figure BDA0002871929010000062
表2
Figure BDA0002871929010000071
上面结合附图对本发明方案的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.基于图像分解的单一深度图的超分辨率方法，其特征在于，按照以下步骤进行：
步骤1)构建训练数据集和测试数据集；
步骤2)使用深度对偶分解模块学习从低分辨率到高分辨率的映射；
利用深度对偶分解模块完成从低分辨率深度图到一对高分辨率的高质量精细结构图和粗糙结构图Thigh和Shigh，深度对偶分解模块包括了两个对偶支路，分别是高质量精细结构图的预测支路和高质量粗糙结构图的预测支路；
在深度对偶分解模块的高质量粗糙结构图预测支路中，使用三个卷积层去提取低分辨率特征，然后在转置卷积层中对这些特征进行上采样以获得
Figure FDA0002871929000000011
接下来，将
Figure FDA0002871929000000012
和二倍上采样的超分辨率先验图像沿通道维度级联，其结果
Figure FDA0002871929000000013
作为第二阶段的输入，第二阶段依次使用三个卷积层、一个转置卷积层和一个卷积层，最后，将第二阶段的输出和四倍上采样的超分辨率先验图像逐像素相加，即可得到高质量粗糙结构图；
深度对偶分解模块的高质量精细结构图的预测支路的拓扑结构和高质量粗糙结构图的预测支路一样，它们的差异之处主要在于高质量精细结构图的预测支路没有使用残差学习，因此该支路不需要逐像素相加操作；
步骤3)利用深度图的初始化增强模块来生成高分辨率的初始化深度图D0；
深度图初始化增强模块的网络结构与高质量粗糙结构图的预测支路相同；
步骤4)将从深度对偶分解模块和深度图初始化增强模块获得的三个图像，输入到深度图重建模块中进行加权融合并重建残差图像，最终通过逐像素求和操作将该残差图像和高分辨率的初始化深度图组合起来，即可得到最终预测的深度图D1。
2.根据权利要求1所述的基于图像分解的单一深度图的超分辨率方法，其特征在于：所述步骤4)的具体操作如下：
先将从初始深度图D0、预测的深度粗糙结构图像Shigh和精细结构图像Thigh这三个图像中分别都使用三个操作即一个卷积层、一个批归一化层和激活层来提取浅层特征作为深度图重建模块的加权融合单元的输入，然后，使用加权融合单元对提取浅层特征进行融合；
融合的具体操作依次包括：对三个浅层特征取绝对值；使用三个3x3卷积层提取特征；使用Sigmoid函数对提取到的三组特征图进行激活；使用三个激活后的图像逐像素地进行归一化得到三个权值矩阵；使用归一化的权值矩阵对输入的浅层特征进行逐像素加权求和，为了充分地利用加权融合单元输出的融合特征，这里使用三个残差卷积提取更多丰富特征，并使用一个输出卷积层来重建残差图像，最终，将初始深度图D0和重建的残差图像以求和的方式得到最终预测的深度图D1。
3.根据权利要求1所述的基于图像分解的单一深度图的超分辨率方法，其特征在于：还包括损失函数，网络训练总损失包括深度图对偶分解损失和深度图重建损失，深度图对偶分解损失包括深度图粗糙结构预测损失和深度图精细结构预测损失，而深度图重建损失包括初始深度图重建损失和最终深度图重建损失；
将低分辨率深度图所对应的标签图即原始的无失真深度图与初始化增强模块和重建模块所预测的深度图进行分别比较，得到所提网络的深度图重建损失，与此同时，将使用原始深度图来预测的细结构图和粗糙结构图和深度对偶分解模块所预测的精细结构图和粗糙结构图分别进行比较，得到所提网络的深度图对偶分解损失。
4.根据权利要求1所述的基于图像分解的单一深度图的超分辨率方法，其特征在于：所述步骤1)选择三个数据集来构建训练数据集，具体来说，使用的第一个数据集是MPISintel深度图数据集，包括58个单一深度图。第二个数据集是包含34个单一深度图的Middlebury深度图数据集，其中包括2001年数据集的6张深度图和2006年数据集的10张深度图，以及2014年数据集的18张深度图，第三个数据集使用的是合成训练数据，图像的总数量为62，采用两个已经填补空洞的Middlebury RGBD数据集A和数据集C来评估不同深度图超分辨率方法的性能。
CN202011606394.7A 2020-12-30 2020-12-30 基于图像分解的单一深度图的超分辨率方法 Active CN112686830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011606394.7A CN112686830B (zh) 2020-12-30 2020-12-30 基于图像分解的单一深度图的超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011606394.7A CN112686830B (zh) 2020-12-30 2020-12-30 基于图像分解的单一深度图的超分辨率方法

Publications (2)

Publication Number Publication Date
CN112686830A true CN112686830A (zh) 2021-04-20
CN112686830B CN112686830B (zh) 2023-07-25

Family

ID=75454766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011606394.7A Active CN112686830B (zh) 2020-12-30 2020-12-30 基于图像分解的单一深度图的超分辨率方法

Country Status (1)

Country Link
CN (1) CN112686830B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362241A (zh) * 2021-06-03 2021-09-07 太原科技大学 一种结合高低频分解和两级融合策略的深度图去噪方法
CN113658040A (zh) * 2021-07-14 2021-11-16 西安理工大学 一种基于先验信息和注意力融合机制的人脸超分辨方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969579A (zh) * 2019-12-06 2020-04-07 北京理工大学 一种基于树状聚合轻量化的单张图像超分辨率方法
CN111105354A (zh) * 2019-12-24 2020-05-05 武汉工程大学 基于多源深度残差网络的深度图像超分辨率方法及装置
CN111161146A (zh) * 2019-12-25 2020-05-15 大连理工大学 一种由粗糙到精细的单张图像超分辨率重建方法
US20200265597A1 (en) * 2018-03-14 2020-08-20 Dalian University Of Technology Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200265597A1 (en) * 2018-03-14 2020-08-20 Dalian University Of Technology Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks
CN110969579A (zh) * 2019-12-06 2020-04-07 北京理工大学 一种基于树状聚合轻量化的单张图像超分辨率方法
CN111105354A (zh) * 2019-12-24 2020-05-05 武汉工程大学 基于多源深度残差网络的深度图像超分辨率方法及装置
CN111161146A (zh) * 2019-12-25 2020-05-15 大连理工大学 一种由粗糙到精细的单张图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨勇;吴峥;张东阳;刘家祥;: "基于渐进式特征增强网络的超分辨率重建算法", 信号处理, no. 09 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362241A (zh) * 2021-06-03 2021-09-07 太原科技大学 一种结合高低频分解和两级融合策略的深度图去噪方法
CN113362241B (zh) * 2021-06-03 2022-04-05 太原科技大学 一种结合高低频分解和两级融合策略的深度图去噪方法
CN113658040A (zh) * 2021-07-14 2021-11-16 西安理工大学 一种基于先验信息和注意力融合机制的人脸超分辨方法

Also Published As

Publication number Publication date
CN112686830B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US10593021B1 (en) Motion deblurring using neural network architectures
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
CN111210435B (zh) 一种基于局部和全局特征增强模块的图像语义分割方法
CN110503680B (zh) 一种基于非监督的卷积神经网络单目场景深度估计方法
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
Chen et al. Convolutional neural network based dem super resolution
CN102915527A (zh) 基于形态学成分分析的人脸图像超分辨率重建方法
CN116205962B (zh) 基于完整上下文信息的单目深度估计方法及系统
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN103413351B (zh) 基于压缩感知理论的三维人脸快速重建方法
Zhou et al. A superior image inpainting scheme using Transformer-based self-supervised attention GAN model
Liu et al. WSDS-GAN: A weak-strong dual supervised learning method for underwater image enhancement
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network
Ren et al. A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms
Yu et al. Deep learning-based RGB-thermal image denoising: review and applications
Polasek et al. Vision UFormer: Long-range monocular absolute depth estimation
CN116452715A (zh) 动态人手渲染方法、装置及存储介质
Liu et al. Diverse Hyperspectral Remote Sensing Image Synthesis With Diffusion Models
Chen et al. Adaptive Visual Field Multi-scale Generative Adversarial Networks Image Inpainting Base on Coordinate-Attention
CN113205005B (zh) 一种面向低光照低分辨率的人脸图像幻构方法
Campana et al. Variable-hyperparameter visual transformer for efficient image inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant