CN111563923A - 获得稠密深度图的方法及相关装置 - Google Patents

Abstract

本申请公开了一种获得稠密深度图的方法及相关装置，该方法包括：获得同一时刻下位置相对固定的单目相机与激光雷达分别采集的对应于同一场景信息的二维图像和三维点云；将所述二维图像和所述三维点云映射至同一个坐标系中，所述三维点云映射为所述二维图像对应的稀疏深度图；将所述二维图像和对应的所述稀疏深度图输入至训练后的卷积神经网络模型中，以获得对应的稠密深度图。通过上述方式，本申请能够通过卷积神经网络模型有效提取单目相机捕获的二维图像的特征信息，并与激光雷达所采集的三维点云信息进行融合，从而获得高精度的稠密深度图。

Description

获得稠密深度图的方法及相关装置

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种获得稠密深度图的方法及相关装置。

背景技术

深度感知是场景理解的基础。常见的获取场景深度信息的方法包括双目立体视觉、结构光、激光雷达测距、单目深度估计等。其中，激光雷达提供了最可靠和最准确的深度感知，并已广泛集成到许多机器人和自动驾驶车辆。激光雷达是以激光为光源进行测距的传感器，它通过向周围发射激光，根据发射到接收的时间间隔确定物体的距离，并根据距离及激光束的角度，计算出物体的位置。

然而，目前的激光雷达只能获得稀疏的深度数据，这对于机器人导航等实际应用是不够的。因为密集的深度感知对于视觉任务来说至关重要，对被观测物体进行准确的稠密深度感知是解决障碍物躲避、目标检测或识别以及三维场景重建等任务的前提。

因此，目前研究的热点问题包括：如何将激光雷达与其他传感器采集的信息进行融合，以获得更好的场景感知能力。

发明内容

本申请主要解决的技术问题是提供一种获得稠密深度图的方法及相关装置，能够通过卷积神经网络模型有效提取单目相机捕获的二维图像的特征信息，并与激光雷达所采集的三维点云信息进行融合，从而获得高精度的稠密深度图。

为了解决上述问题，本申请第一方面提供了一种获得稠密深度图的方法，包括：获得同一时刻下位置相对固定的单目相机与激光雷达分别采集的对应于同一场景信息的二维图像和三维点云；将所述二维图像和所述三维点云映射至同一个坐标系中，所述三维点云映射为所述二维图像对应的稀疏深度图；将所述二维图像和对应的所述稀疏深度图输入至训练后的卷积神经网络模型中，以获得对应的稠密深度图。

为了解决上述问题，本申请第二方面提供了一种获得稠密深度图的系统，包括相互耦接的存储器和处理器、位置相对固定的单目相机和激光雷达，其中，所述单目相机和所述激光雷达用于分别采集对应于同一场景信息的同一时刻下的二维图像和三维点云，并将其发送至所述处理器；所述存储器内存储有程序指令，所述处理器用于接收所述二维图像和所述三维点云，并执行所述程序指令以实现上述任一实施例中所述的获得稠密深度图的方法。

为了解决上述问题，本申请第三方面提供了一种存储装置，存储有能够被处理器运行的程序指令，所述程序指令用于执行上述任一实施例所述的获得稠密深度图的方法。

区别于现有技术情况，激光雷达保证了深度感知的高精度性，单目相机保证了捕捉的场景信息的完整性和丰富性，而本申请所提供的获得稠密度深度图的方法中将单目相机和激光雷达采集的信息利用卷积神经网络模型进行融合，以获得高精度且稠密的场景深度信息，为后续的三维重建、自动驾驶、智能机器人等更高级的视觉任务提供更加可靠的支持。且由于本申请中的深度感知并不依赖于单目相机自身距地面的高度、俯仰角等信息，因此具有比较强的灵活性，只要单目相机和激光雷达有稳定的相对位置，则可以任意的将设备进行移动而不需要重新进行外参标定。

此外，本申请中单目相机对应的二维图像和激光雷达对应的稀疏深度图分别输入不同的卷积层模块，然后再利用CSPN模块进行融合，这种方式能够更有效的将两者进行关联，网络更加稳定且容易收敛。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1为本申请获得稠密深度图的方法一实施方式的流程示意图；

图2为图1中步骤S103对应的一实施方式的流程示意图；

图3为图2对应的一实施方式的结构示意图；

图4为本申请获得稠密深度图的装置一实施方式的框架示意图；

图5为本申请获得稠密深度图的装置一实施方式的结构示意图；

图6为本申请获得稠密深度图的系统一实施方式的结构示意图；

图7为本申请存储装置一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请获得稠密深度图的方法一实施方式的流程示意图，以下方法的执行主体可以是处理器，该方法包括：

S101：获得同一时刻下位置相对固定的单目相机与激光雷达分别采集的对应于同一场景信息的二维图像和三维点云。

具体地，激光雷达（例如，多线激光雷达等）用于测距时具有精度高、测距远、速度快以及受环境光干扰小的特点，由激光雷达采集获得三维点云数据是指在一个三维坐标系统中的一组向量的集合，这些向量通常以（x,y,z）三维坐标的形式表示，且一般主要用来代表一个物体的外表面形状。不仅如此，除（x,y,z）代表的几何位置信息之外，三维点云数据还可以表示一个点的RGB颜色、灰度值、深度值、分割结果等。而单目相机所采集的二维图像（例如，RGB图像）可以提供物体的颜色、纹理等关键特征。

上述步骤S101中为了保证激光雷达和单目相机捕捉的是当前场景相同时刻下的信息，可以通过激光雷达的激光束触发单目相机来实现，例如，在上述步骤S101之前还包括：判断激光雷达上的激光感应器是否接收到激光，该接收的激光可以是激光雷达发射出的激光或者是反射回的激光；若是，则发出触发指令至单目相机，以使得单目相机进行拍摄。当然，在其他实施例中，也可通过其他方式实现，例如，可以设定激光雷达和单目相机的采样周期相同。

S102：将二维图像和三维点云映射至同一个坐标系中，三维点云映射为二维图像对应的稀疏深度图。

具体地，在本实施例中，上述步骤S102的实现过程可以为：将三维点云映射至二维图像所在的坐标系中。该方式实现过程较为简单，且计算量较小。当然，在其他实施例中，也可将三维点云和二维图像映射至单目相机或激光雷达所在的坐标系中。

进一步，上述将三维点云映射至二维图像所在的坐标系中的具体过程包括：将三维点云通过旋转平移矩阵和相机的内参数矩阵映射至二维图像所在的坐标系中；其中，旋转平移矩阵为激光雷达相对单目相机的旋转平移矩阵。

在一个应用场景中，在上述步骤S101之前，由于激光雷达和单目相机的位置是相对固定且稳定的，在已知单目相机内参的条件下，可以利用激光雷达和单目相机的联合标定算法进行激光雷达的外参标定，得到激光雷达相对于相机的旋转平移矩阵，并将其保存在存储介质中，以方便后续调用。其中，可使用标定工具包括开源的Autoware、apollo、lidar_camera_calibration、but_velodyne等。

假设激光雷达捕获的三维点云坐标为（x,y,z），旋转矩阵为R，平移矩阵为t，则该点在单目相机下拍摄的二维图像下的坐标（u,v）可以由以下公式计算得到：

其中，上述公式中，f _u 和f _v 为单目相机的在水平方向和垂直方向上焦距，u₀和v₀分别为像平面中心点的水平方向和垂直方向坐标，它们共同构成了单目相机的内参。

S103：将二维图像和对应的稀疏深度图输入至训练后的卷积神经网络模型中，以获得对应的稠密深度图。

具体地，由于场景的深度分布与二维图像的特征分布有着很强的关联性，在同一目标上的像素点往往深度值是相似或者是相近的。依据这一特性，我们可以通过提取二维图像的特征来对激光雷达捕获的稀疏深度图进行深度的补全，即将单目相机所捕获的二维图像与激光雷达捕获的稀疏深度图进行融合，从而获得与二维图像像素点一一对应的稠密深度图。

在一个实施方式中，在上述步骤S103之前，本申请所提供的方法还包括训练卷积神经网络模型，具体为：利用二维图像及对应稀疏深度图作为样本，以稠密深度图作为标签，计算卷积神经网络模型的输出与标签的损失函数；利用反向传播算法来学习各个卷积层的权重参数；当训练后的卷积神经网络模型的精度达到要求后，将这些权重参数保存在存储介质中，作为固定参数。可选的损失函数是计算模型输出的稠密深度图与真实的稠密深度图的欧氏距离。而在进行步骤S103时，可以直接加载训练得到的权重参数来完二维图像与稀疏深度图的数据融合，并输出稠密的深度图。

在又一个实施方式中，上述卷积神经网络模型包括第一指导模块、第一卷积模块、第一卷积空间传播网络CSPN模块、第二指导模块、第二卷积模块，第二卷积空间传播网络CSPN模块，请参阅图2-图3，图2为图1中步骤S103对应的一实施方式的流程示意图，图3为图2对应的一实施方式的结构示意图。上述步骤S103具体包括：

S201：将二维图像和对应的稀疏深度图分别输入第一指导模块和第一卷积模块中，以分别获得第一亲和力矩阵和第一卷积图像。

其中，第一指导模块和第一卷积模块可以由若干卷积层构成，根据对速度和精度的权衡，本申请可以选择对它们采用不同层数和复杂度的网络结构。第一指导模块和第一卷积模块的输出尺寸相同，但第一指导模块输出的通道数是第一卷积模块输出的通道数的8倍，例如，第一指导模块输出8个通道数的结果，而第一卷积模块输出1个通道数的结果。第一指导模块可以提取二维图像的结构纹理特征，以获得一组第一亲和力矩阵，第一亲和力矩阵表示了相邻像素点之间的相似性。

S202：将第一亲和力矩阵和第一卷积图像共同输入至第一卷积空间传播网络CSPN模块中进行数据融合，以获得第一融合图像。

其中，CSPN是一种简单高效的线性传播模型，它采用循环卷积运算的方式进行信息的传播，利用第一亲和力矩阵，根据CSPN算法可以将第一卷积图像中稀疏的深度信息向四周扩散，以获得稠密度高于第一卷积图像的第一融合图像。

S203：将第一亲和力矩阵和第一融合图像分别输入至第二指导模块和第二卷积模块中，以分别获得第二亲和力矩阵和第二卷积图像。

其中，第二指导模块和第二卷积模块可以由若干卷积层构成，根据对速度和精度的权衡，本申请可以选择对它们采用不同层数和复杂度的网络结构。第二指导模块可以对第一指导模块的输出结果进行进一步的特征提取，并获得第二亲和力矩阵。

S204：将第二亲和力矩阵和第二卷积图像共同输入至第二卷积空间传播网络CSPN模块中进行数据融合，以获得第二融合图像，将第二融合图像作为稠密深度图。

在一个应用场景中，如图3所示，为了进一步提高所获得的稠密深度图的精确性，上述步骤S204之前还包括：将第二卷积图像和稀疏深度图进行比对，以获得位置相同的像素点合集；将第二卷积图像中的像素点合集中的像素点的深度值替换为其在稀疏深度图中的深度值。即利用所有已知深度的像素点的原始深度值替换其在第二卷积图像中的粗糙结果值。

当然，在其他应用场景中，上述替换的步骤也可在获得第二融合图像之后，具体地，可以将第二融合图像和稀疏深度图进行比对，以获得位置相同的像素点合集；将第二融合图像中的像素点合集中的像素点的深度值替换为其在稀疏深度图中的深度值。

此外，上述第一指导模块和第二指导模块可以共同组成VGG模型、ResNET模型，即第一指导模块和第二指导模块为VGG模型或者ResNET模型的一部分。

另外，在上述实施方式中，经历了两次CSPN模块的扩散传播作用，在其他实施例中，也可经历一次或更多次CSPN模块作用。

例如，卷积神经网络模型包括第一指导模块、第一卷积模块、第一卷积空间传播网络CSPN模块，上述步骤S103具体包括：将二维图像和对应的稀疏深度图分别输入第一指导模块和第一卷积模块中，以分别获得第一亲和力矩阵和第一卷积图像；将第一亲和力矩阵和第一卷积图像共同输入至第一卷积空间传播网络CSPN模块中进行数据融合，以获得第一融合图像，将第一融合图像作为稠密深度图。

同样地，为了进一步提高所获得的稠密深度图的精确性，也可利用所有已知深度的像素处的原始深度值替换其在第一卷积图像或在第一融合图像中的粗糙结果值。

具体地，在一个应用场景中，上述卷积神经网络模型中，第一指导模块之前包括输入卷积层，例如，输入卷积层中包括依次设置的第一输入子卷积层和第二输入子卷积层，且第一输入子卷积层和第二输入子卷积层的核大小为3*3，通道数为64，输出大小为1/2H*1/2W*32，其中，H代表高、W代表宽，32为通道数。

基于此，第一指导模块可以包括依次设置的第一卷积层、第二卷积层、第一转置卷积层、第二转置卷积层、第三卷积层；其中，

第一卷积层包括依次设置的第一子卷积层（核大小为3*3，通道数为64，步幅为2，输出大小为1/4H*1/4W*64）、第二子卷积层（核大小为3*3，通道数为64，步幅为1，输出大小为1/4H*1/4W*64）。

第二卷积层包括依次设置的第三子卷积层（核大小为3*3，通道数为128，步幅为2，输出大小为1/8H*1/8W*128）和第四子卷积层（核大小为3*3，通道数为128，步幅为1，输出大小为1/8H*1/8W*128）。

第一转置卷积层将第二卷积层的输出图像反卷积上采样至与第一卷积层输出尺寸（宽度和高度）相同，具体第一转置卷积的核大小为3*3，通道数为64，输出大小为1/4H*1/4W*64。

第二转置卷积层将第一转置卷积层的输出图像反卷积上采样至与输入卷积层的输出尺寸相同，具体第一转置卷积层的核大小为3*3，通道数为64，输出大小为1/2H*1/2W*64。

第三卷积层的核大小为3*3，通道数为64，输出大小为1/2H*1/2W*64。

进一步，第二指导模块包括依次设置的第四卷积层、第五卷积层、第三转置卷积层、第四转置卷积层、第六卷积层；其中，

第四卷积层包括依次设置的第五子卷积层（核大小为3*3，通道数为64，步幅为2，输出大小为1/4H*1/4W*64）、第六子卷积层（核大小为3*3，通道数为64，步幅为1，输出大小为1/4H*1/4W*64）。

第五卷积层包括依次设置的第七子卷积层（核大小为3*3，通道数为128，步幅为2，输出大小为1/8H*1/8W*128）和第八子卷积层（核大小为3*3，通道数为128，步幅为1，输出大小为1/8H*1/8W*128）。

第三转置卷积层将第五卷积层的输出图像反卷积上采样至与第四卷积层输出尺寸（宽度和高度）相同，具体第三转置卷积层的核大小为3*3，通道数为64，输出大小为1/4H*1/4W*64。

第四转置卷积层将第三转置卷积层的输出图像反卷积上采样至与输入卷积层的输出尺寸相同，具体第四转置卷积的核大小为3*3，通道数为32，输出大小为1/2H*1/2W*32。

第六卷积层将第四转置卷积层的输出图像上采样至H*W尺寸，具体第六转置卷积的核大小为3*3，通道数为8，输出大小为H*W*8。

更进一步，第一卷积模块包括依次设置的第八卷积层和第九卷积层；其中，

第八卷积层包括依次设置的第九子卷积层（核大小为3*3，通道数为16，输出大小为1/2H*1/2W*16）、第十子卷积层（核大小为3*3，通道数为16，输出大小为1/2H*1/2W*16）。

第九卷积层包括依次设置的第十一子卷积层（核大小为3*3，通道数为8，输出大小为1/2H*1/2W*8）、第十二子卷积层（核大小为3*3，通道数为8，输出大小为1/2H*1/2W*8）。

更进一步，第二卷积模块包括依次设置的第十卷积层和第十一卷积层；其中，

第十卷积层包括依次设置的第十三子卷积层（核大小为3*3，通道数为16，输出大小为1/2H*1/2W*16）、第十四子卷积层（核大小为3*3，通道数为16，输出大小为1/2H*1/2W*16）。

第十一卷积层将第十卷积层的输出图像上采样至H*W尺寸，具体第十一卷积层的核大小为3*3，通道数为1，输出大小为H*W*1。

即最终第二卷积模块输出的图像尺寸（高度和宽度）与第二指导模块输出的相同，且第二指导模块输出的通道数是第二卷积模块输出的8倍。总而言之，本申请所提供的获得稠密度深度图的方法中将单目相机和激光雷达采集的信息利用卷积神经网络模型进行融合，以获得高精度且稠密的场景深度信息；且由于本申请中的深度感知并不依赖于单目相机自身距地面的高度、俯仰角等信息，因此具有比较强的灵活性，只要单目相机和激光雷达有稳定的相对位置，则可以任意的将设备进行移动而不需要重新进行外参标定。此外，本申请中单目相机对应的二维图像和激光雷达对应的稀疏深度图分别输入不同的卷积层模块，然后再利用积空间传播网CSPN模块进行融合，这种方式能够更有效的将两者进行关联，网络更加稳定且容易收敛。

请参阅图4，图4为本申请获得稠密深度图的装置一实施方式的框架示意图。该装置包括获得模块10和处理模块12；其中，获得模块10用于获得同一时刻下位置相对固定的单目相机与激光雷达分别采集的对应于同一场景信息的二维图像和三维点云。处理模块12用于将二维图像和三维点云映射至同一个坐标系中，三维点云映射为二维图像对应的稀疏深度图；将二维图像和对应的稀疏深度图输入至训练后的卷积神经网络模型中，以获得对应的稠密深度图。

当然，在其他实施例中，该装置还可以包括存储模块，存储模块可以存储单目相机的内参信息、激光雷达相对单目相机的旋转平移矩阵信息、卷积神经网络模型的参数信息等，以便于处理模块12调用。

请参阅图5，图5为本申请获得稠密深度图的装置一实施方式的结构示意图，该装置可以是电脑等，包括相互耦接的存储器20和处理器22，存储器20内存储有程序指令，处理器22用于执行程序指令以实现上述任一实施例中的获得稠密深度图的方法。

其中，存储器20中还可存储有单目相机的内参信息、激光雷达相对单目相机的旋转平移矩阵信息、卷积神经网络模型的参数信息等。处理器22还可以称为CPU（CentralProcessing Unit，中央处理单元），处理器22可能是一种集成电路芯片，具有信号的处理能力。处理器22还可以是通用处理器、数字信号处理器（Digital Signal Processor, DSP）、专用集成电路（Application Specific Integrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable Gate Array, FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器22可以由多个集成电路芯片共同实现。

请参阅图6，图6为本申请获得稠密深度图的系统一实施方式的结构示意图。该系统包括单目相机30、激光雷达32、存储器34、处理器36。

其中，处理器36分别与单目相机30、激光雷达32和存储器34耦接。单目相机30和激光雷达32具有稳定的相对位置关系。存储器34用于保存单目相机30的内参信息、激光雷达32和单目相机30之间的旋转平移矩阵、卷积神经网络模型参数以及程序指令。上述旋转平移矩阵可以通过单目相机和激光雷达的联合标定得到，卷积神经网络模型参数通过利用训练集训练网络模型获得，它们都是采用离线的方式得到，数据一旦确定就不再变化。处理器36上集成有卷积神经网络模型，其可通过加载单目相机内参和激光雷达的旋转平移矩阵将输入的三维点云转换为与二维图像对应的二维稀疏深度图。随后，通过加载卷积神经网络模型参数，对输入的稀疏深度图与二维图像进行信息融合，并输出稠密深度图。

请参阅图7，图7为本申请存储装置一实施方式的结构示意图。存储装置40存储有能够被处理器运行的程序指令400，程序指令400用于实现上述任一获得稠密深度图的方法实施例中的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种获得稠密深度图的方法，其特征在于，包括：

获得同一时刻下位置相对固定的单目相机与激光雷达分别采集的对应于同一场景信息的二维图像和三维点云；

将所述二维图像和所述三维点云映射至同一个坐标系中，所述三维点云映射为所述二维图像对应的稀疏深度图；

将所述二维图像和对应的所述稀疏深度图输入至训练后的卷积神经网络模型中，以获得对应的稠密深度图。

2.根据权利要求1所述的方法，其特征在于，所述将所述二维图像和对应的所述稀疏深度图输入至训练后的卷积神经网络模型中，以获得对应的稠密深度图包括：

将所述二维图像和对应的所述稀疏深度图分别输入第一指导模块和第一卷积模块中，以分别获得第一亲和力矩阵和第一卷积图像；

将所述第一亲和力矩阵和所述第一卷积图像共同输入至第一卷积空间传播网络CSPN模块中进行数据融合，以获得第一融合图像；

将所述第一亲和力矩阵和所述第一融合图像分别输入至第二指导模块和第二卷积模块中，以分别获得第二亲和力矩阵和第二卷积图像；

将所述第二亲和力矩阵和所述第二卷积图像共同输入至第二卷积空间传播网络CSPN模块中进行数据融合，以获得第二融合图像，将所述第二融合图像作为所述稠密深度图。

3.根据权利要求2所述的方法，其特征在于，所述将所述第二亲和力矩阵和所述第二卷积图像共同输入至第二卷积空间传播网络CSPN模块中进行数据融合之前，还包括：

将所述第二卷积图像和所述稀疏深度图进行比对，以获得位置相同的像素点合集；

将所述第二卷积图像中的所述像素点合集中的各个像素点的深度值替换为其在所述稀疏深度图中的深度值。

4.根据权利要求2所述的方法，其特征在于，所述获得所述第二融合图像之后，还包括：

将所述第二融合图像和所述稀疏深度图进行比对，以获得位置相同的像素点合集；

将所述第二融合图像中的所述像素点合集中的各个像素点的深度值替换为其在所述稀疏深度图中的深度值。

5.根据权利要求1所述的方法，其特征在于，所述将所述二维图像和对应的所述稀疏深度图输入至训练后的卷积神经网络模型中，以获得对应的稠密深度图，包括：

将所述二维图像和对应的所述稀疏深度图分别输入第一指导模块和第一卷积模块中，以分别获得第一亲和力矩阵和第一卷积图像；

将所述第一亲和力矩阵和所述第一卷积图像共同输入至第一卷积空间传播网络CSPN模块中进行数据融合，以获得第一融合图像，将所述第一融合图像作为所述稠密深度图。

6.根据权利要求1所述的方法，其特征在于，所述将所述二维图像和所述三维点云映射至同一个坐标系中，包括：

将所述三维点云映射至所述二维图像所在的坐标系中。

7.根据权利要求6所述的方法，其特征在于，所述将所述三维点云映射至所述二维图像所在的坐标系中，包括：

将所述三维点云通过旋转平移矩阵和所述相机的内参数矩阵映射至所述二维图像所在的坐标系中；其中，所述旋转平移矩阵为所述激光雷达相对所述单目相机的旋转平移矩阵。

8.根据权利要求1所述的方法，其特征在于，所述获得同一时刻下位置相对固定的单目相机与激光雷达分别采集的对应于同一场景信息的二维图像和三维点云之前，还包括：

判断所述激光雷达上的激光感应器是否接收到激光；

若是，则发出触发指令至所述单目相机，以使得所述单目相机进行拍摄。

9.一种获得稠密深度图的系统，其特征在于，包括相互耦接的存储器和处理器、位置相对固定的单目相机和激光雷达；

其中，所述单目相机和所述激光雷达用于分别采集对应于同一场景信息的同一时刻下的二维图像和三维点云，并将其发送至所述处理器；所述存储器内存储有程序指令，所述处理器用于接收所述二维图像和所述三维点云，并执行所述程序指令以实现权利要求1至8任一项所述的获得稠密深度图的方法。

10.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至8任一项所述的获得稠密深度图的方法。

Images