CN111080688A - 一种基于深度卷积神经网络的深度图增强方法 - Google Patents
一种基于深度卷积神经网络的深度图增强方法 Download PDFInfo
- Publication number
- CN111080688A CN111080688A CN201911352792.8A CN201911352792A CN111080688A CN 111080688 A CN111080688 A CN 111080688A CN 201911352792 A CN201911352792 A CN 201911352792A CN 111080688 A CN111080688 A CN 111080688A
- Authority
- CN
- China
- Prior art keywords
- depth map
- neural network
- depth
- features
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 238000013461 design Methods 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 238000011084 recovery Methods 0.000 claims abstract description 6
- 238000007670 refining Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012804 iterative process Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 238000002360 preparation method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度卷积神经网络的深度图增强方法，其特征在于：在由粗到细的深度图增强框架下，通过保持高分辨率纹理图特征，基于卷积神经网络逐步提取纹理图多尺度指导特征，该设计有效提升多尺度指导特征提取的质量；利用稠密连接优化指导特征的使用效率，逐步细化深度图特征；此外，通过引入全局和局部残差学习，实现低质量深度图多频率成分逐步恢复。本发明能够获得高质量深度图，且易于使用，具有运行速度快的优点。
Description
技术领域
本发明涉及一种基于深度卷积神经网络的深度图增强方法，其为一种基于多尺度指导稠密连接神经网络的深度图增强方法，属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。
背景技术
围绕深度图增强，近年来，大量方法被提出，本发明基于深度卷积神经网络挖掘高分辨率纹理图多尺度指导特征，由粗到细重构深度图丢失的多频率成分。
深度图增强方法按照是否使用训练集，可以分为两类：基于模型定义的方法和基于数据驱动的方法。基于模型定义的方法不需要训练集，它可以分为基于滤波的方法和基于全局优化的方法。基于滤波的方法通过优化局部区域，独立计算每个像素的深度值。Kopf等人提出的联合双边滤波器（JBU）框架是首个基于滤波器的深度图增强方法。低分辨率深度图边界在配对的高分辨率纹理图边界的引导下，使用双边滤波器技术增强。Liu等人提出了一个JBU方法的变种，将颜色和图像坐标构成联合空间以替代这两者的独立空间，并在该联合空间上通过计算测地距获取自适应加权平均的权重。Yang等人在预设的深度值标签下计算代价集合，并迭代优化深度图。该代价集合中的每一个元素都是在特定深度值标签下使用联合双边滤波器计算得到。He等人提出一种用于深度图增强的图像引导滤波。它假设算法输出和匹配的引导图之间的边界出现的位置是一致的，并将这两张图像的关系建模成局部线性以仿真该假设。Min等人提出一种基于深度值标签的联合直方图加权模式滤波器（WMF）。该算法在一范数最优的条件下增强深度图，其获取的结果相比于二范数最优的方法展示出对异常值的鲁棒性。Lo等人提出一种联合三边滤波器用于深度图增强。该滤波器与联合双边滤波器不同的是其引入了低分辨率深度图的局部梯度信息。与Lo等人不同，Hua等人提出的深度图超分辨率重建算法采用层次递进滤波过程充分利用了深度图的局部梯度信息。基于滤波器的算法复杂度较低，但由于它仅仅考虑局部信息，所以其去噪能力有限。
与基于滤波器的算法比较，基于全局优化的方法对噪声更鲁棒。Diebel等人将深度图超分辨率重建建模成马尔可夫随机场中的多标签优化问题。Lu等人在Diebel等人的框架下设计了一个更符合深度图统计特性的数据项。Zhu等人通过在能量函数中引入空间和时域信息将静态马尔可夫随机场拓展为动态马尔可夫随机场。该模型提升了动态场景深度图超分辨率重建的准确性和稳定性。Park等人将非局部约束正则项引入能量函数，并提出一个该项的自适应权重计算方法。该权重的计算由高分辨率纹理图中的边界、梯度和分割信息联合决定。Ferstl等人设计了一个二阶变分平滑性约束作为能量函数正则项，并使用由高分辨率纹理图中提取的各向异性张量引导深度图超分辨率重建。Yang等人基于自回归模型（AR）实现了深度图超分辨率重建。每个像素的自回归预测器由初始上采样的深度图的局部信息和与其配对的高分辨率纹理图的非局部相似性决定。Liu等人使用基于鲁棒的M估计器设计了约束正则项。它对在深度图超分辨率重建任务中深度图与配对的纹理图边界不一致的问题给出了隐式的解决方案。尽管该类方法相比于基于滤波的方法更鲁棒，但是，其和基于滤波的方法一样，预设的模型并不能精细的描述深度图和纹理图之间的关系。
与基于模型的方法不同，基于数据驱动的方法通过使用训练数据，从数据中拟合低分辨率深度图和高分辨率深度图之间的映射关系。Li等人首次将稀疏编码用于引导性深度图超分辨重建中。它联合训练了低分辨率深度图像块、高分辨率深度图像块和高分辨率纹理图像块的三个字典。在重建阶段，深度图使用在已学习到的字典上的稀疏表示得到增强。Kwon等人使用多尺度训练机制联合训练了低分辨率深度图像块、高分辨率深度图像块和高分辨率纹理图像块的三个字典。此外，该方法在重建阶段的目标函数中显式对图像块之间的重叠区域附加了一致性约束。Kiechle等人将分析算子的共轭稀疏性用于纹理-深度图像对中，并使用数据项和基于纹理引导的稀疏限制重建高分辨率深度图。除了稀疏编码，最近发表的基于深度卷积神经网络的工作展现出比传统机器学习方法（支持向量机、稀疏编码）更强大的模型表征能力。Dong等人首次将深度卷积神经网络引入彩色图超分辨率重建任务中。不同于Dong等人提出的网络，本专利提出的网络不使用固定的上采样参数，这些参数均通过学习获取。Hui等人首次提出一个用于深度图超分辨率重建的多尺度引导性深度卷积神经网络。它通过多尺度融合机制使用高分辨率纹理图特征增强低分辨率深度图特征。然而，已有的深度卷积神经网络的指导特征利用率低，无法综合运用多尺度指导特种增强深度特征。
鉴于现有方法的缺点， 需要一种简洁而有效的纹理图指导特征提取和使用方法。本发明提出一种基于多尺度指导特征稠密连接的深度卷积残差网络用于增强深度图。
发明内容
本发明所要解决的技术问题在于提供一种基于深度卷积神经网络的深度图增强方法，在由粗到细的深度图增强框架下，通过保持高分辨率纹理图特征，基于卷积神经网络逐步提取纹理图多尺度指导特征，该设计有效提升多尺度指导特征提取的质量；利用稠密连接优化指导特征的使用效率，逐步细化深度图特征；此外，通过引入全局和局部残差学习，实现低质量深度图多频率成分逐步恢复，当前的工作为进一步探讨将深度卷积神经网络方法用于深度图增强提供了一种可选择的网络框架。该方法给进一步研究基于深度卷积神经网络的深度图增强提供了一种新的思路。
一种基于深度卷积神经网络的深度图增强方法，其特征在于：包括以下步骤：
步骤1 ：准备阶段，构建用于训练深度卷积神经网络的纹理图和深度图图像对；
步骤2 ：网络构建阶段，构建深度卷积神经网络由粗到细地增强深度图；
步骤3 ：训练阶段，设计损失函数，迭代优化损失函数，减少损失代价；
步骤4 ：测试阶段，输入测试高分辨率纹理图和低分辨率深度图，获取增强的深度图。
进一步地，将网络中收集的高分辨率纹理图和深度图裁剪成具有重叠区域的子图像对，并适当通过旋转和加噪增强训练集；然后，将训练集分为训练数据集和验证数据集两部分，在训练过程中，随机读取训练数据中的图像对作为神经网络的输入。
进一步地，利用稠密连接优化指导特征的使用效率，逐步细化深度图特征，保持高分辨率纹理图特征，基于卷积神经网络逐步提取纹理图多尺度指导特征，通过引入全局和局部残差学习，实现低质量深度图多频率成分逐步恢复。
进一步地，对于受到高斯噪声污染的测试深度图，选用加噪训练数据训练模型，并选择二范数设计损失函数；对于无噪测试深度图，选用无噪训练数据训练模型，并选择一范数设计损失函数。
进一步地，参数随机初始化，使用Adam优化器迭代优化损失函数，其中在迭代过程中步长逐步减小，当验证集上的性能连续5个训练集遍历都无法改善时，停止训练过程。
进一步地，读取测试的纹理图和低质量深度图，通过深度卷积神经网络前向传播，获取高质量深度图。
进一步地，其中，构造深度卷积神经网络：该网络包含两个支路，即指导特征提取支路和深度图增强支路，在指导特征提取支路中设立高分辨率纹理特征提取部分，多尺度指导特征直接从该部分通过Maxpooling获取；指导特征提取支路逐步2
下采样高分辨率纹理图指导特征，而深度图增强支路逐步2
上采样深度图特征；在每个尺度的深度图特征细化过程中，当前尺度纹理指导特征、深度图特征与所有粗尺度指导特征、深度图特征稠密连接；采用全局残差学习一方面使得仅仅需要通过网络恢复高质量深度图与初始增强的深度图之间的残差信息，另一方面大部分网络单元仅需要生成高频细节相关的特征；除全局残差学习外，每个深度图特征细化单元均引入局部残差学习，侧重当前尺度下高频率频率细节的恢复；其中，基本组成单元的计算公式如下所示；
其中，
和
分别是输出特征和输入特征，
和
是卷积层的滤波器权重和偏置，
代表Prelu激活函数，
是可学习的标量，
和
分别表示卷积和转置卷积操作。
下面将简述各步骤：
构建深度卷积神经网络训练集：
该部分是对网络收集的高分辨率纹理图
和深度图
裁剪成具有重叠区域的子图像对
，并适当通过旋转和加噪增强训练集；然后，将训练集分为训练数据集和验证数据集两部分。
构建深度卷积神经网络：
该网络包含两个支路，即指导特征提取支路和深度图增强支路。前者提取多尺度高分辨率纹理图指导特征，后者逐步重建高质量深度图特征；多尺度纹理指导特征与深度图特征稠密连接，全局残差学习和局部残差学习，逐步恢复深度图各高频率细节。
设计损失函数：
损失函数是对于受到高斯噪声污染的测试深度图，选用加噪训练数据训练模型，并选择二范数设计损失函数，对于无噪测试深度图，选用无噪训练数据训练模型，并选择一范数设计损失函数。
训练细节：
网络参数随机初始化，使用Adam优化器迭代优化损失函数，其中在迭代过程中步长逐步减小。当验证集上的性能连续5个训练集遍历都无法改善时，停止训练过程。
测试阶段：
读取测试的纹理图和低质量深度图，通过神经网络前向传播，获取高质量深度图。
本发明能够获得很好的深度图增强效果，具有使用简便，运行速度快的优点。
附图说明
图1为本发明的框架流程图；
图2为本发明的网络构造示意图；
图3为本发明的所提出的网络用于无噪深度图的增强效果图；
图4为本发明的所提出的网络用于有噪深度图的增强效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
其中，本文所涉及的技术特征、简写/缩写、符号等，以本领域技术人员的公知认识/通常理解为基础进行解释、定义/说明。
如图1所示，一种基于深度卷积神经网络的深度图增强方法，在给定高分辨率纹理图
和低分辨率深度图
，期望通过神经网络学习生成函数
获得高分辨率深度图
，其中，
是神经网络中可训练的参数集合。本算法特征包含以下步骤：
构建深度卷积神经网络训练集：
本发明所提及的深度卷积神经网络训练集构建方法，首先是网络上收集的RGB-D图像对，裁剪成子图像，并在需要的情况下做数据增强；具体做法首先是给定每一幅图像 ，通过旋转，平移或翻转增加原始图像总数，然后将它们裁剪成小分辨率的子图像，深度图和纹理图要配对裁剪。在训练过程中，应随机读取训练数据中的图像对；该部分的映射函数关系如式（1）所示；
其中，
表示变换矩阵，例如，裁剪，旋转等操作，
代表加性噪声。
构建深度卷积神经网络：
构造深度卷积神经网络，如图2所示，该网络包含两个支路，即指导特征提取支路和深度图增强支路，在指导特征提取支路中设立高分辨率纹理特征提取部分，多尺度指导特征直接从该部分通过Maxpooling获取。指导特征提取支路逐步2
下采样高分辨率纹理图指导特征，而深度图增强支路逐步2
上采样深度图特征。为了综合使用多尺度纹理图指导特征，在每个尺度的深度图特征细化过程中，当前尺度纹理指导特征、深度图特征与所有粗尺度指导特征、深度图特征稠密连接。 此外，全局残差学习的引入一方面使得仅仅需要通过网络恢复高质量深度图与初始增强的深度图之间的残差信息，另一方面大部分网络单元仅需要生成高频细节相关的特征；除全局残差学习，每个深度图特征细化单元均引入局部残差学习，侧重当前尺度下高频率频率细节的恢复；基本组成单元的计算公式如下所示；
其中，
和
分别是输出特征和输入特征，
和
是卷积层的滤波器权重和偏置，
代表Prelu激活函数，
是可学习的标量，
和
分别表示卷积和转置卷积操作。
设计损失函数：
训练阶段，设计损失函数，迭代优化损失函数，减少损失代价，对于受到高斯噪声污染的测试深度图，选用加噪训练数据训练模型，并选择二范数设计损失函数，对于无噪测试深度图，选用无噪训练数据训练模型，并选择一范数设计损失函数。损失函数设计如式（5）和式（6）所示，参数随机初始化，使用Adam优化器迭代优化损失函数，其中在迭代过程中步长逐步减小；当验证集上的性能连续5个训练集遍历都无法改善时，停止训练过程；
测试阶段:
步骤4 测试阶段，读取测试的纹理图和低质量深度图，通过神经网络前向传播，获取高质量深度图，如式（7）所示。
其中，
是深度卷积神经网络拟合的映射函数。
图3是使用本算法增强无噪低分辨率深度图效果图，其中，（a-c）是原始低分辨率深度图，（d-f）是增强的深度图；从图3(d)-(f)可以明显看出，本算法的效果较鲁棒（Robust）。
图4是使用本算法增强有噪低分辨率深度图效果图，在该应用中，本算法将联合执行去噪和超分辨率重建，（a-c）是原始低分辨率深度图，（d-f）是增强的深度图；从图3(d)-(f)可以明显看出，本算法具有一定的去噪能力，并能较好恢复高频细节。
上述实施方式是对本发明的说明，不是对本发明的限定，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的保护范围由所附权利要求及其等同物限定。
Claims (7)
1.一种基于深度卷积神经网络的深度图增强方法，其特征在于：包括以下步骤：
步骤1 ：准备阶段，构建用于训练深度卷积神经网络的纹理图和深度图图像对；
步骤2 ：网络构建阶段，构建深度卷积神经网络由粗到细地增强深度图；
步骤3 ：训练阶段，设计损失函数，迭代优化损失函数，减少损失代价；
步骤4 ：测试阶段，输入测试高分辨率纹理图和低分辨率深度图，获取增强的深度图。
2.根据权利要求1所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：将网络中收集的高分辨率纹理图和深度图裁剪成具有重叠区域的子图像对，并适当通过旋转和加噪增强训练集；然后，将训练集分为训练数据集和验证数据集两部分，在训练过程中，随机读取训练数据中的图像对作为神经网络的输入。
3.根据权利要求2所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：利用稠密连接优化指导特征的使用效率，逐步细化深度图特征，保持高分辨率纹理图特征，基于卷积神经网络逐步提取纹理图多尺度指导特征，通过引入全局和局部残差学习，实现低质量深度图多频率成分逐步恢复。
4.根据权利要求3所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：对于受到高斯噪声污染的测试深度图，选用加噪训练数据训练模型，并选择二范数设计损失函数；对于无噪测试深度图，选用无噪训练数据训练模型，并选择一范数设计损失函数。
5.根据权利要求4所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：参数随机初始化，使用Adam优化器迭代优化损失函数，其中在迭代过程中步长逐步减小，当验证集上的性能连续5个训练集遍历都无法改善时，停止训练过程。
6.根据权利要求4所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：读取测试的纹理图和低质量深度图，通过深度卷积神经网络前向传播，获取高质量深度图。
7.根据权利要求4所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：
其中，构造深度卷积神经网络：该网络包含两个支路，即指导特征提取支路和深度图增强支
路，在指导特征提取支路中设立高分辨率纹理特征提取部分，多尺度指导特征直接从该部
分通过Maxpooling获取；指导特征提取支路逐步2
下采样高分辨率纹理图指导特征，而深
度图增强支路逐步2
上采样深度图特征；在每个尺度的深度图特征细化过程中，当前尺度
纹理指导特征、深度图特征与所有粗尺度指导特征、深度图特征稠密连接；采用全局残差学
习一方面使得仅仅需要通过网络恢复高质量深度图与初始增强的深度图之间的残差信息，
另一方面大部分网络单元仅需要生成高频细节相关的特征；除全局残差学习外，每个深度
图特征细化单元均引入局部残差学习，侧重当前尺度下高频率频率细节的恢复；其中，基本
组成单元的计算公式如下所示；
其中，
和
分别是输出特征和输入特征，
和
是卷积层的滤波器权重和偏置，
代表Prelu激活函数，
是可学习的标量，
和
分别表示卷积和转置卷积操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911352792.8A CN111080688A (zh) | 2019-12-25 | 2019-12-25 | 一种基于深度卷积神经网络的深度图增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911352792.8A CN111080688A (zh) | 2019-12-25 | 2019-12-25 | 一种基于深度卷积神经网络的深度图增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111080688A true CN111080688A (zh) | 2020-04-28 |
Family
ID=70317522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911352792.8A Pending CN111080688A (zh) | 2019-12-25 | 2019-12-25 | 一种基于深度卷积神经网络的深度图增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111080688A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626968A (zh) * | 2020-04-29 | 2020-09-04 | 杭州火烧云科技有限公司 | 一种基于全局信息和局部信息的像素增强设计方法 |
| CN111914948A (zh) * | 2020-08-20 | 2020-11-10 | 上海海事大学 | 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法 |
| CN112102388A (zh) * | 2020-09-18 | 2020-12-18 | 中国矿业大学 | 基于巡检机器人单目图像获取深度图像的方法及装置 |
| CN112489103A (zh) * | 2020-11-19 | 2021-03-12 | 北京的卢深视科技有限公司 | 一种高分辨率深度图获取方法及系统 |
| CN113256528A (zh) * | 2021-06-03 | 2021-08-13 | 中国人民解放军国防科技大学 | 基于多尺度级联深度残差网络的低照度视频增强方法 |
| CN113496393A (zh) * | 2021-01-09 | 2021-10-12 | 武汉谦屹达管理咨询有限公司 | 一种基于区块链的离线支付金融系统及方法 |
| CN114820344A (zh) * | 2022-03-23 | 2022-07-29 | 清华大学 | 深度图增强方法及装置 |
| CN116523759A (zh) * | 2023-07-04 | 2023-08-01 | 江西财经大学 | 基于频率分解与重启机制的图像超分辨率重建方法与系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732492A (zh) * | 2015-03-09 | 2015-06-24 | 北京工业大学 | 一种深度图像的去噪方法 |
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
| CN109214989A (zh) * | 2018-09-04 | 2019-01-15 | 四川大学 | 基于多方向特征预测先验的单幅图像超分辨率重建方法 |
| CN110084745A (zh) * | 2019-03-12 | 2019-08-02 | 天津大学 | 基于并联的稠密卷积神经网络的图像超分辨率重建方法 |
| WO2019224823A1 (en) * | 2018-05-22 | 2019-11-28 | Ramot At Tel-Aviv University Ltd. | Method and system for imaging and image processing |
-
2019
- 2019-12-25 CN CN201911352792.8A patent/CN111080688A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732492A (zh) * | 2015-03-09 | 2015-06-24 | 北京工业大学 | 一种深度图像的去噪方法 |
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
| WO2019224823A1 (en) * | 2018-05-22 | 2019-11-28 | Ramot At Tel-Aviv University Ltd. | Method and system for imaging and image processing |
| CN109214989A (zh) * | 2018-09-04 | 2019-01-15 | 四川大学 | 基于多方向特征预测先验的单幅图像超分辨率重建方法 |
| CN110084745A (zh) * | 2019-03-12 | 2019-08-02 | 天津大学 | 基于并联的稠密卷积神经网络的图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| TAK-WAI HUI等: "Depth Map Super-Resolution by Deep Multi-Scale Guidance", 《COMPUTER VISION-ECCV2016》 * |
| 左一帆: "RGB-D数据的高质量深度信息获取研究", 《中国博士学位论文全文数据库：信息科技辑》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111626968A (zh) * | 2020-04-29 | 2020-09-04 | 杭州火烧云科技有限公司 | 一种基于全局信息和局部信息的像素增强设计方法 |
| CN111914948A (zh) * | 2020-08-20 | 2020-11-10 | 上海海事大学 | 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法 |
| CN112102388A (zh) * | 2020-09-18 | 2020-12-18 | 中国矿业大学 | 基于巡检机器人单目图像获取深度图像的方法及装置 |
| CN112102388B (zh) * | 2020-09-18 | 2024-03-26 | 中国矿业大学 | 基于巡检机器人单目图像获取深度图像的方法及装置 |
| CN112489103A (zh) * | 2020-11-19 | 2021-03-12 | 北京的卢深视科技有限公司 | 一种高分辨率深度图获取方法及系统 |
| CN113496393A (zh) * | 2021-01-09 | 2021-10-12 | 武汉谦屹达管理咨询有限公司 | 一种基于区块链的离线支付金融系统及方法 |
| CN113256528A (zh) * | 2021-06-03 | 2021-08-13 | 中国人民解放军国防科技大学 | 基于多尺度级联深度残差网络的低照度视频增强方法 |
| CN113256528B (zh) * | 2021-06-03 | 2022-05-27 | 中国人民解放军国防科技大学 | 基于多尺度级联深度残差网络的低照度视频增强方法 |
| CN114820344A (zh) * | 2022-03-23 | 2022-07-29 | 清华大学 | 深度图增强方法及装置 |
| CN116523759A (zh) * | 2023-07-04 | 2023-08-01 | 江西财经大学 | 基于频率分解与重启机制的图像超分辨率重建方法与系统 |
| CN116523759B (zh) * | 2023-07-04 | 2023-09-05 | 江西财经大学 | 基于频率分解与重启机制的图像超分辨率重建方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080688A (zh) | 一种基于深度卷积神经网络的深度图增强方法 | |
| Fan et al. | Balanced two-stage residual networks for image super-resolution | |
| CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN112258526B (zh) | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 | |
| Li et al. | Diffusion Models for Image Restoration and Enhancement--A Comprehensive Survey | |
| CN109035146B (zh) | 一种基于深度学习的低质量图像超分方法 | |
| Singh et al. | Survey on single image based super-resolution—implementation challenges and solutions | |
| CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN105488759B (zh) | 一种基于局部回归模型的图像超分辨率重建方法 | |
| CN116029902A (zh) | 一种基于知识蒸馏的无监督真实世界图像超分辨方法 | |
| Cheng et al. | Hybrid transformer and cnn attention network for stereo image super-resolution | |
| Yu et al. | Semantic-driven face hallucination based on residual network | |
| Deshpande et al. | SURVEY OF SUPER RESOLUTION TECHNIQUES. | |
| Quan et al. | Deep learning-based image and video inpainting: A survey | |
| Zhao et al. | SSIR: Spatial shuffle multi-head self-attention for single image super-resolution | |
| CN112862684A (zh) | 一种深度图超分辨率重建和去噪神经网络的数据处理方法 | |
| CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| CN116188273A (zh) | 一种基于不确定性导向的双模态可分离图像超分辨率方法 | |
| CN104123707A (zh) | 一种基于局部秩先验的单幅图像超分辨率重建方法 | |
| CN112907456B (zh) | 基于全局平滑约束先验模型的深度神经网络图像去噪方法 | |
| Li et al. | Local-Global Context-Aware Generative Dual-Region Adversarial Networks for Remote Sensing Scene Image Super-Resolution | |
| Wu et al. | Single depth map super-resolution via a deep feedback network | |
| Wang et al. | Information purification network for remote sensing image super-resolution | |
| Huang et al. | Dual-branche attention network for super-resolution of remote sensing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200428 |
|
| RJ01 | Rejection of invention patent application after publication |