CN112489103A - 一种高分辨率深度图获取方法及系统 - Google Patents

一种高分辨率深度图获取方法及系统 Download PDF

Info

Publication number
CN112489103A
CN112489103A CN202011303569.7A CN202011303569A CN112489103A CN 112489103 A CN112489103 A CN 112489103A CN 202011303569 A CN202011303569 A CN 202011303569A CN 112489103 A CN112489103 A CN 112489103A
Authority
CN
China
Prior art keywords
depth map
map
resolution depth
low
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011303569.7A
Other languages
English (en)
Other versions
CN112489103B (zh
Inventor
户磊
季栋
薛远
曹天宇
王亚运
李绪琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202011303569.7A priority Critical patent/CN112489103B/zh
Publication of CN112489103A publication Critical patent/CN112489103A/zh
Application granted granted Critical
Publication of CN112489103B publication Critical patent/CN112489103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种高分辨率深度图获取方法及系统，方法包括：将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；将高级特征图和浅层特征图同时输入到神经网络模型的图像重建模块中，获取高分辨率深度图；其中，神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。本发明的神经网络模型中的主干网络为基于稠密连接网络思想搭建的深层网络，可多次特征复用，提高了特征的利用率；由于深度图本身可利用的特征较少，支路优化网络提取图像的浅层特征，为后续的图像重建模块提供了有效的图像全局先验信息，使得神经网络模型输出的HR深度图的分辨率更高。

Description

一种高分辨率深度图获取方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种高分辨率深度图获取方法及系统。
背景技术
低分辨率图像一般具有边缘模糊、细节缺失等缺点，当一张低分辨率的图像被放大时，图像细节部分往往无法很好的重现，因此，超分辨率重建的研究方向便应运而生。超分辨率重建技术旨在对于一组低分辨率、低质量的图像(或视频序列)经过算法处理得到高质量、高分辨率的图像。图像超分辨率重建的应用领域非常广泛，在监控安防、计算机视觉、自动驾驶、医疗影像、卫星遥感等领域有着广阔的应用前景。
在三维视觉领域，深度图是二维图像到三维表示的桥梁，和常见的彩色图不同，深度图中保存的像素值为物体距离相机的距离。因此，在获取了深度图之后便可以计算出物体距相机的远近，从而可以进行三维重建或三维建模等工作，将二维图像中的物体在三维空间重新表示。
但是受到相机硬件设备等条件的限制，往往无法直接采集高分辨率的深度图，因此通过超分辨率重建将采集得到的低分辨率深度图放大得到高质量的高分辨率深度图很有必要。
由于受到硬件条件的制约，为了获取更高分辨率的深度图表示，在目前行业内若使用相机直接采集较高分辨率的深度图比较耗费硬件资源，对于相机系统的稳定性和实时性能要求较高。
因此，亟需一种对硬件条件要求不高的、且高质量的高分辨率深度图获取方法。
发明内容
本发明实施例提供一种高分辨率深度图获取方法及系统，用以解决现有技术中对于获取高分辨率深度图对硬件条件要求较高的缺陷。
本发明实施例提供一种高分辨率深度图获取方法，包括：
将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；
将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；
其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。
根据本发明实施例提供的一种高分辨率深度图获取方法，所述主干网络包括低级特征提取模块、高级特征提取模块和上采样模块，相应地，所述高级特征图具体通过如下方式获取：
将所述待处理低分辨率深度图输入所述低级特征提取模块，获取低级特征图；
将所述低级特征图输入所述高级特征提取模块，获取初始高级特征图；
将所述初始高级特征图输入所述上采样模块，进行高和宽的上采样处理，获取所述高级特征图。
根据本发明实施例提供的一种高分辨率深度图获取方法，所述支路优化网络包括双三次采样层和浅层网络，相应地，所述浅层特征图具体通过如下方式获得：
将所述低分辨率深度图输入到所述双三次采样层中，获取采样特征；
将所述采样特征输入到所述浅层网络中，获取所述浅层特征图。
根据本发明实施例提供的一种高分辨率深度图获取方法，所述图像重建模块包括特征图拼接层和输出层网络，相应地，所述将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图，具体包括：
将所述高级特征图和所述浅层特征图输入至所述特征图拼接层，获取通道拼接特征图；
将所述通道拼接特征图输入所述输出层网络中，获取所述高分辨率深度图。
根据本发明实施例提供的一种高分辨率深度图获取方法，所述低级特征提取模块为残差网络，所述残差网络包括三个3*3的卷积层，其中，后两个卷积层之间加入残差跳跃连接。
根据本发明实施例提供的一种高分辨率深度图获取方法，所述高级特征提取模块包括多个稠密连接层和数量相等的多个过渡层，所述稠密连接层和所述过渡层间隔级联连接；
所述多个稠密连接层的数学表达为：
使用xl-1代表第l-1层的输入，第l-1层的输出为yl-1＝h(xl-1)，则第l层的输入为xl＝xl-1+h(xl-1)，此时第l层的输出为yl＝h(xl)，其中h代表卷积层和激活函数处理；
若高级特征提取模块包括n个稠密连接层，则最后一层的输出为之前所有的稠密连接层卷积处理之后的特征图级联即yn＝h([xn-1,xn-2,...,x1])，其中[...]代表拼接操作。
根据本发明实施例提供的一种高分辨率深度图获取方法，所述将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中之前还包括：
获取双目相机参数；
根据双目相机拍摄彩色左图和彩色右图，获取视差图；
基于所述视差图和所述双目相机参数，获取初始高分辨率深度图；
对所述初始高分辨率深度图进行图像降质处理，得到所述低分辨率深度图。
根据本发明实施例提供的一种高分辨率深度图获取方法，所述基于所述视差图和所述双目相机参数，获取初始高分辨率深度图，具体包括：
depth＝b*f/disp；
其中，b为双目相机基线长度，f为双目相机焦距，disp为视差图，depth为所述初始高分辨率深度图。
根据本发明实施例提供的一种高分辨率深度图获取方法，所述对所述初始高分辨率深度图进行图像降质处理，得到所述低分辨率深度图，具体包括：
对所有的初始高分辨率深度图进行相同尺寸的图像裁剪处理；
对裁剪之后的初始高分辨率深度图进行4倍的降采样处理，得到所述低分辨率深度图。
本发明实施例还提供了一种高分辨率深度图获取系统，包括：
特征图提取模块，用于将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；
重建模块，用于将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；
其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种高分辨率深度图获取方法的步骤。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述高分辨率深度图获取方法的步骤。
本发明实施例提供的一种高分辨率深度图获取方法及系统，通过神经网络模型由低分辨率深度图转换为高分辨率深度图，由于不是直接获取高分辨率深度图，因此降低了对硬件条件的要求，另外神经网络模型中的主干网络可以进行多次特征复用，提高了特征的利用率；由于深度图本身可利用的特征较少，支路优化网络提取图像的浅层特征，为后续的图像重建模块提供了有效的图像全局先验信息，使得神经网络模型输出的高分辨率深度图的分辨率更高，增强深度图的成像质量，提高深度图的识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种高分辨率深度图获取方法的流程示意图；
图2是本发明实施例提供的神经网络模型结构示意图；
图3为神经网络模型中的主干网络结构示意图；
图4为本发明实施例提供的一种高分辨率深度图获取方法的整体流程示意图；
图5为本发明实施例提供的一种高分辨率深度图获取系统连接框图；
图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
可以理解的是，基于背景技术中的问题，为了解决相机采集得到的低分辨率深度图质量不高、细节缺失和相机直接采集高分辨率深度图较耗费资源的缺点，同时由于神经网络模型相较于传统的插值、马尔科夫随机场等方法在超分辨率重建的任务中恢复出的图像细节更加逼真。
目前业内主流的神经网络模型超分辨率重建的研究对象为彩色图，在构建端到端的神经网络模型后，将低分辨率彩色图送入神经网络模型进行特征提取和上采样处理得到高分辨率彩色图输出。当前针对深度图的神经网络超分辨率重建模型均以彩色图超分辨率模型改良而来，但彩色图本身相较于深度图的纹理、颜色等特征更为丰富，可以利用的图像特征信息更多，如何挖掘出更多的深度图自带的图像特征较为困难。
本发明实施例提供一种利用神经网络模型将低分辨率深度图转换为高分辨率深度图的方法，其中，低分辨率的深度图简称为LR(Low-Resolution，简称LR)深度图，高分辨率的深度图简称为HR(High-Resolution，简称HR)深度图。
参见图1，提供了本发明实施例的一种高分辨率深度图获取方法，包括：
S1，将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；
S2，将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；
其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。
本发明实施例中，神经网络模型包括主干网络、支路优化网络和图像重建模块；主干网络和所述支路优化网络分别提取LR深度图的高级特征图和浅层特征图；将高级特征图和所述浅层特征图输入图像重建模块进行通道拼接，输出LR深度图对应的HR深度图。神经网络模型中的主干网络为基于稠密连接网络思想搭建的深层网络模块，其可以进行多次特征复用，提高了特征的利用率；由于深度图本身可利用的特征较少，支路优化网络提取图像的浅层特征，为后续的图像重建模块提供了有效的图像全局先验信息，使得神经网络模型输出的HR深度图的分辨率更高。
本发明实施例提供的一种高分辨率深度图获取方法及系统，通过神经网络模型由低分辨率深度图转换为高分辨率深度图，由于不是直接获取高分辨率深度图，因此降低了对硬件条件的要求，另外神经网络模型中的主干网络可以进行多次特征复用，提高了特征的利用率；由于深度图本身可利用的特征较少，支路优化网络提取图像的浅层特征，为后续的图像重建模块提供了有效的图像全局先验信息，使得神经网络模型输出的高分辨率深度图的分辨率更高，增强深度图的成像质量，提高深度图的识别精度。
在一个可能的实施方式中，将待处理LR深度图输入神经网络模型中，输出待处理LR深度图对应的HR深度图之前还包括：
获取双目相机参数；
根据双目相机拍摄彩色左图和彩色右图，获取视差图；
基于所述视差图和所述双目相机参数，获取初始高分辨率深度图；
对所述初始高分辨率深度图进行图像降质处理，得到所述低分辨率深度图。
可以理解的是，本发明实施例利用的数据集为从双目相机拍摄的自动驾驶道路街景数据集中随机抽取部分原始数据组成图像数据库，其中包括双目相机拍摄的彩色左图和右图。根据立体匹配原理使用左图和右图计算得到视差图，它表示这两个相机之间的位姿关系。
接着根据双目相机参数，使用转换公式depth＝b*f/disp将视差图转化为深度图，其中b为相机基线长度，f为相机焦距，disp为视差图，depth为转换之后得到的深度图。
由于图像的超分辨率重建是一个无最优解的过程，使用的超分辨率算法不同得到的超分辨率结果便不同。同时，在真实场景中，仅仅拥有的是低分辨率图像，因此，针对深度图的超分辨率重建需要模拟图像降质流程构建实验数据集即：将视差图转换得到的深度图depth作为初始HR深度图。对初始HR深度图进行图像降质处理，得到初始HR深度图对应的LR深度图。
在一个可能的实施例方式中，对初始HR深度图进行图像降质处理，得到与初始HR深度图对应的LR深度图包括：
对所有的初始HR深度图进行相同尺寸的图像裁剪处理；
对裁剪之后的初始HR深度图进行4倍的降采样处理得到所述初始HR深度图对应的LR深度图。
可以理解的是，对初始HR深度图进行降质处理的具体过程为，对所有的初始HR深度图进行相同尺寸的图像块裁剪处理，确保裁剪之后保留的感兴趣区域覆盖图像的前景物，并对裁剪之后的初始HR深度图进行4倍的降采样处理得到低分辨率深度图即LR深度图，并随机抽取3/4的数据作为训练集，剩下的数据作为测试集。
在一个可能的实施方式中，所述主干网络包括低级特征提取模块、高级特征提取模块和上采样模块，相应地，所述高级特征图具体通过如下方式获取：
将所述待处理低分辨率深度图输入所述低级特征提取模块，获取低级特征图；
将所述低级特征图输入所述高级特征提取模块，获取初始高级特征图；
将所述初始高级特征图输入所述上采样模块，进行高和宽的上采样处理，获取所述高级特征图。
主干网络包括低级特征提取模块、高级特征提取模块和上采样模块；
通过所述低级特征提取模块提取所述LR深度图的低级特征图；
基于所述低级特征图，通过所述高级特征提取模块提取LR深度图的高级特征图；
通过所述上采样模块对所述高级特征图进行高和宽的上采样处理，得到上采样处理后的高级特征图。
可以理解的是，本发明实施例的神经网络模型为一种端到端的Depth Super-ResolutionNetworks，简称为DepthSRNet的神经网络模型用于训练和测试。该神经网络模型主要包括主干网络、支路优化网络和图像重建模块。
本发明提供DepthSRNet神经网络模型的整体结构图，如图2所示，LR深度图送入DepthSRNet分别经过主干网络和支路优化两条路之后在图像重建模块出进行特征融合并进行重建处理得到HR深度图。
其中，主干网络是神经网络模型的主要部分，由低级特征提取模块、高级特征提取模块和上采样模块组成。
其中，低级特征提取模块提取LR深度图的低级特征图，基于低级特征图，高级特征提取模块提取LR深度图的高级特征图，通过上采样模块对所述高级特征图进行高和宽的上采样处理，得到上采样处理后的高级特征图。
在一个可能的实施方式中，低级特征提取模块由一组残差网络结构组成：包括三个卷积核尺寸为3*3的卷积层和一条残差跳跃连接。该低级特征提取模块主要用于提取LR深度图的低级特征图。
高级特征提取模块由多组稠密连接(Denseblock)层和过渡(Transition)层组成，稠密连接层的示意图如图3所示。
稠密连接层的基本思想为基于特征图通道级别的拼接，进一步给出稠密连接层的数学表达：使用xl-1代表第l-1层的输入，那么第l-1层的输出为yl-1＝h(xl-1)，则第l层的输入为xl＝xl-1+h(xl-1)，此时第l层的输出为yl＝h(xl)，其中h代表卷积层和激活函数处理。假设一个稠密连接层模块总计由n层组成，此时最后一层的输出为之前所有的卷积处理之后的特征图级联即yn＝h([xn-1,xn-2,...,x1])，其中[...]代表拼接(concatenation)操作。本发明实施例中使用的高级特征提取模块含有的卷积层较深，因此使用其不断提取深度图的高级特征表示，稠密连接层可以进行多次特征复用，提高特征利用率。高级特征提取模块中，每两个稠密连接层之间以及最后一个稠密连接层之后均级联一个过渡模块，也就是稠密连接层和过渡间隔级联连接。该过渡层由卷积核大小为1*1的卷积层组成，其目的是为了减少稠密连接层子模块输出特征的通道数，从而减小计算量。
上采样模块由一组像素混洗(Pixel_Shuffle)层组成，该层的作用可以对特征图进行高和宽的上采样处理，并且可以有效保留图像细节。
在一个可能的实施方式中，所述支路优化网络包括双三次采样层和浅层网络，相应地，所述浅层特征图具体通过如下方式获得：
将所述低分辨率深度图输入到所述双三次采样层中，获取采样特征；
将所述采样特征输入到所述浅层网络中，获取所述浅层特征图。
支路优化网络包括两个级联的卷积层组成的浅层网络和一个双三次采样(BiCubic)层；
通过所述双三次采样层对LR深度图使用双三次插值方式进行上采样处理，且通过所述浅层网络提取采样后的LR深度图的浅层特征图。
可以理解的是，本发明实施例提出的支路优化网络包含一个双三次采样层和两个级联的卷积层组成的浅层网络。基本思想为对LR深度图先使用双三次插值方式进行上采样处理，接着对于上采样之后的深度图提取浅层特征，并向后传递。浅层网络的特点是更加关注于特征的全局化，因此本发明实施例构建的支路优化网络可以有效地为后续的图像重建模块提供深度图的全局先验信息。
在一个可能的实施方式中，图像重建模块包括特征图拼接层和由两个卷积层、一个像素混洗层和一个输出层组成的输出层网络。
可以理解的是，LR深度图在经过主干网络和支路优化网络后分别得到高级特征图δ与浅层特征图σ。图像重建模块接收来自主干网络和支路优化网络的两条输出特征图，首选使用一个特征图拼接层(Concat)将高级特征图δ与浅层特征图σ进行通道拼接，接着将通道拼接之后的特征图依次经过两个卷积层、一个像素混洗层和一个输出层，得到高分辨率HR深度图输出，此处最后的输出层也由一个卷积层构成。
以上介绍了神经网络模型的层结构以及不同层的连接关系和每一层的功能，下面对神经网络模型的训练过程进行描述。
将LR深度图送入DepthSRNet神经网络模型，同时使用原始HR深度图作为监督信号用于模型训练，即将训练数据集中的LR深度图输入神经网络模型中，由神经网络模型输出LR深度图对应的HR深度图，计算由神经网络模型输出的HR深度图与训练数据集中的HR深度图之间的损失。在本发明实施例中，训练使用的损失函数为MSELoss其公式表示为：
Figure BDA0002787661650000131
其中，m表示样本数目，yi表示原始HR深度图，
Figure BDA0002787661650000132
表示模型训练输出的HR深度图。模型训练时使用Adam梯度更新算法，指数衰减速率区间为(0.9,0.999)。
通过不断的迭代训练，不断调整神经网络模型的参数，直到计算出的损失小于设定的阈值。
神经网络模型训练完成后，使用测试集对训练后的神经网络模型进行测试，将测试集中待超分辨率重建的LR深度图送入训练好的模型DepthSRNet中，得到HR深度图输出，以评估训练后的神经网络模型的超分辨率重建效果。
如图4所示，本发明实施例的整个技术方案的具体流程图包括：
根据双目相机拍摄的原始HR彩色图的左图和右图，计算出原始HR的视差图，根据视差图和双目相机的参数，计算得到原始HR深度图，对原始HR深度图进行降质处理，具体的降质处理为，对HR深度图的图像块进行裁剪并进行下采样处理，得到HR深度图对应的LR深度图，将HR深度图和LR深度图作为训练集对神经网络模型进行训练，其中，神经网络模型主要包括主干网络、支路优化网络和图像重建模块，主干网络主要提取LR深度图的高级特征，支路优化网络主要提取LR深度图的浅层特征，图像重建模块将LR深度图的高级特征和浅层特征进行通道合并，得到LR深度图对应的HR深度图。利用训练好的神经网络模型对LR深度图进行超分辨率重建，也就是将LR深度图通过神经网络模型转换为HR深度图。
参见图5，提供了本发明实施例的一种高分辨率深度图获取系统，该深度图处理系统包括：
特征图提取模块501用于将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；
重建模块502用于将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；
其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。
可以理解的是，本发明实施例提供的深度图处理系统与前述提供的深度图处理方法相对应，深度图处理系统的相关技术特征可参见前述实施例提供的深度图处理方法的相关技术特征，在此不再赘述。
本发明实施例还提供一种电子设备，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行深度图处理方法，该方法包括：
将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；
将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；
其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的深度图处理方法，该方法包括：
将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；
将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；
其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的深度图处理方法，该方法包括：
将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；
将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；
其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。
本发明实施例提供的一种高分辨率深度图获取方法及系统，通过神经网络模型由LR深度图转换为HR深度图，神经网络模型中的主干网络为基于稠密连接网络思想搭建的深层网络模块，其可以进行多次特征复用，提高了特征的利用率；由于深度图本身可利用的特征较少，支路优化网络提取图像的浅层特征，为后续的图像重建模块提供了有效的图像全局先验信息，使得神经网络模型输出的HR深度图的分辨率更高，提高深度图的成像质量，进而提高深度图的识别精度；主干网络中的上采样模块使用像素混洗模块，其上采样处理恢复图像细节更逼真，且可以有效避免出现使用反卷积做上采样带来的棋盘格现象。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种高分辨率深度图获取方法，其特征在于，包括：
将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；
将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；
其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。
2.根据权利要求1所述的高分辨率深度图获取方法，其特征在于，所述主干网络包括低级特征提取模块、高级特征提取模块和上采样模块，相应地，所述高级特征图具体通过如下方式获取：
将所述待处理低分辨率深度图输入所述低级特征提取模块，获取低级特征图；
将所述低级特征图输入所述高级特征提取模块，获取初始高级特征图；
将所述初始高级特征图输入所述上采样模块，进行高和宽的上采样处理，获取所述高级特征图。
3.根据权利要求1所述的高分辨率深度图获取方法，其特征在于，所述支路优化网络包括双三次采样层和浅层网络，相应地，所述浅层特征图具体通过如下方式获得：
将所述低分辨率深度图输入到所述双三次采样层中，获取采样特征；
将所述采样特征输入到所述浅层网络中，获取所述浅层特征图。
4.根据权利要求1所述的高分辨率深度图获取方法，其特征在于，所述图像重建模块包括特征图拼接层和输出层网络，相应地，所述将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图，具体包括：
将所述高级特征图和所述浅层特征图输入至所述特征图拼接层，获取通道拼接特征图；
将所述通道拼接特征图输入所述输出层网络中，获取所述高分辨率深度图。
5.根据权利要求2所述的高分辨率深度图获取方法，其特征在于，所述低级特征提取模块为残差网络，所述残差网络包括三个3*3的卷积层，其中，后两个卷积层之间加入残差跳跃连接。
6.根据权利要求2所述的高分辨率深度图获取方法，其特征在于，所述高级特征提取模块包括多个稠密连接层和数量相等的多个过渡层，所述稠密连接层和所述过渡层间隔级联连接；
所述多个稠密连接层的数学表达为：
使用xl-1代表第l-1层的输入，第l-1层的输出为yl-1＝h(xl-1)，则第l层的输入为xl＝xl-1+h(xl-1)，此时第l层的输出为yl＝h(xl)，其中h代表卷积层和激活函数处理；
若高级特征提取模块包括n个稠密连接层，则最后一层的输出为之前所有的稠密连接层卷积处理之后的特征图级联即yn＝h([xn-1,xn-2,...,x1])，其中[...]代表拼接操作。
7.根据权利要求1至6任一所述的高分辨率深度图获取方法，其特征在于，所述将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中之前还包括：
获取双目相机参数；
根据双目相机拍摄彩色左图和彩色右图，获取视差图；
基于所述视差图和所述双目相机参数，获取初始高分辨率深度图；
对所述初始高分辨率深度图进行图像降质处理，得到所述低分辨率深度图。
8.根据权利要求7所述的高分辨率深度图获取方法，其特征在于，所述基于所述视差图和所述双目相机参数，获取初始高分辨率深度图，具体包括：
depth＝b*f/disp；
其中，b为双目相机基线长度，f为双目相机焦距，disp为视差图，depth为所述初始高分辨率深度图。
9.根据权利要求7所述的高分辨率深度图获取方法，其特征在于，所述对所述初始高分辨率深度图进行图像降质处理，得到所述低分辨率深度图，具体包括：
对所有的初始高分辨率深度图进行相同尺寸的图像裁剪处理；
对裁剪之后的初始高分辨率深度图进行4倍的降采样处理，得到所述低分辨率深度图。
10.一种高分辨率深度图获取系统，其特征在于，包括：
特征图提取模块，用于将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；
重建模块，用于将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；
其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。
CN202011303569.7A 2020-11-19 2020-11-19 一种高分辨率深度图获取方法及系统 Active CN112489103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011303569.7A CN112489103B (zh) 2020-11-19 2020-11-19 一种高分辨率深度图获取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011303569.7A CN112489103B (zh) 2020-11-19 2020-11-19 一种高分辨率深度图获取方法及系统

Publications (2)

Publication Number Publication Date
CN112489103A true CN112489103A (zh) 2021-03-12
CN112489103B CN112489103B (zh) 2022-03-08

Family

ID=74932079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011303569.7A Active CN112489103B (zh) 2020-11-19 2020-11-19 一种高分辨率深度图获取方法及系统

Country Status (1)

Country Link
CN (1) CN112489103B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126944A (zh) * 2021-05-17 2021-07-16 北京的卢深视科技有限公司 深度图的显示方法、显示装置、电子设备及存储介质
CN115908531A (zh) * 2023-03-09 2023-04-04 深圳市灵明光子科技有限公司 车载测距方法、装置、车载终端及可读存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867288A (zh) * 2011-07-07 2013-01-09 三星电子株式会社 深度图像转换设备和方法
CN103854257A (zh) * 2012-12-07 2014-06-11 山东财经大学 一种基于自适应三边滤波的深度图像增强方法
CN103957397A (zh) * 2014-04-02 2014-07-30 宁波大学 一种基于图像特征的低分辨率深度图像上采样方法
CN104463958A (zh) * 2014-11-25 2015-03-25 四川大学 基于视差图融合的三维超分辨率方法
CN105225482A (zh) * 2015-09-02 2016-01-06 上海大学 基于双目立体视觉的车辆检测系统和方法
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN108335322A (zh) * 2018-02-01 2018-07-27 深圳市商汤科技有限公司 深度估计方法和装置、电子设备、程序和介质
CN108492248A (zh) * 2018-01-30 2018-09-04 天津大学 基于深度学习的深度图超分辨率方法
US20190004534A1 (en) * 2017-07-03 2019-01-03 Baidu Usa Llc High resolution 3d point clouds generation from upsampled low resolution lidar 3d point clouds and camera images
US20190004533A1 (en) * 2017-07-03 2019-01-03 Baidu Usa Llc High resolution 3d point clouds generation from downsampled low resolution lidar 3d point clouds and camera images
CN110084745A (zh) * 2019-03-12 2019-08-02 天津大学 基于并联的稠密卷积神经网络的图像超分辨率重建方法
CN110458939A (zh) * 2019-07-24 2019-11-15 大连理工大学 基于视角生成的室内场景建模方法
CN111080688A (zh) * 2019-12-25 2020-04-28 左一帆 一种基于深度卷积神经网络的深度图增强方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867288A (zh) * 2011-07-07 2013-01-09 三星电子株式会社 深度图像转换设备和方法
CN103854257A (zh) * 2012-12-07 2014-06-11 山东财经大学 一种基于自适应三边滤波的深度图像增强方法
CN103957397A (zh) * 2014-04-02 2014-07-30 宁波大学 一种基于图像特征的低分辨率深度图像上采样方法
CN104463958A (zh) * 2014-11-25 2015-03-25 四川大学 基于视差图融合的三维超分辨率方法
CN105225482A (zh) * 2015-09-02 2016-01-06 上海大学 基于双目立体视觉的车辆检测系统和方法
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
US20190004534A1 (en) * 2017-07-03 2019-01-03 Baidu Usa Llc High resolution 3d point clouds generation from upsampled low resolution lidar 3d point clouds and camera images
US20190004533A1 (en) * 2017-07-03 2019-01-03 Baidu Usa Llc High resolution 3d point clouds generation from downsampled low resolution lidar 3d point clouds and camera images
CN108492248A (zh) * 2018-01-30 2018-09-04 天津大学 基于深度学习的深度图超分辨率方法
CN108335322A (zh) * 2018-02-01 2018-07-27 深圳市商汤科技有限公司 深度估计方法和装置、电子设备、程序和介质
CN110084745A (zh) * 2019-03-12 2019-08-02 天津大学 基于并联的稠密卷积神经网络的图像超分辨率重建方法
CN110458939A (zh) * 2019-07-24 2019-11-15 大连理工大学 基于视角生成的室内场景建模方法
CN111080688A (zh) * 2019-12-25 2020-04-28 左一帆 一种基于深度卷积神经网络的深度图增强方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126944A (zh) * 2021-05-17 2021-07-16 北京的卢深视科技有限公司 深度图的显示方法、显示装置、电子设备及存储介质
CN115908531A (zh) * 2023-03-09 2023-04-04 深圳市灵明光子科技有限公司 车载测距方法、装置、车载终端及可读存储介质

Also Published As

Publication number Publication date
CN112489103B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
CN111062892B (zh) 一种基于复合残差网络和深层监督的单幅图像去雨方法
CN111598778B (zh) 一种绝缘子图像超分辨率重建方法
CN112288632B (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN108921942B (zh) 对图像进行2d转制3d的方法及装置
CN112489103B (zh) 一种高分辨率深度图获取方法及系统
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN112862689A (zh) 一种图像超分辨率重建方法及系统
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN111985281A (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN113052764B (zh) 一种基于残差连接的视频序列超分重建方法
CN110852948A (zh) 基于特征相关性的图像超分辨方法、存储介质及终端设备
CN113239875A (zh) 人脸特征的获取方法、系统、装置及计算机可读存储介质
CN114627035A (zh) 一种多聚焦图像融合方法、系统、装置及存储介质
CN115546505A (zh) 一种基于深度学习的无监督单目图像深度估计方法
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN115700731A (zh) 一种基于双通道卷积神经网络的水下图像增强方法
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN114897711A (zh) 一种视频中图像处理方法、装置、设备及存储介质
CN115965844B (zh) 基于视觉显著性先验知识的多聚焦图像融合方法
CN114119428B (zh) 一种图像去模糊方法和装置
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质
CN114627293A (zh) 基于多任务学习的人像抠图方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230609

Address after: 230001 R&D Center Building, China (Hefei) International Intelligent Voice Industrial Park, No. 3333, Xiyou Road, High tech Zone, Hefei, Anhui Province

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Patentee before: Hefei lushenshi Technology Co.,Ltd.