CN113724311B - 深度图获取方法、设备及存储介质 - Google Patents

深度图获取方法、设备及存储介质 Download PDF

Info

Publication number
CN113724311B
CN113724311B CN202010450291.XA CN202010450291A CN113724311B CN 113724311 B CN113724311 B CN 113724311B CN 202010450291 A CN202010450291 A CN 202010450291A CN 113724311 B CN113724311 B CN 113724311B
Authority
CN
China
Prior art keywords
point cloud
image
training
depth map
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010450291.XA
Other languages
English (en)
Other versions
CN113724311A (zh
Inventor
陈鹭远
王珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navinfo Co Ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN202010450291.XA priority Critical patent/CN113724311B/zh
Publication of CN113724311A publication Critical patent/CN113724311A/zh
Application granted granted Critical
Publication of CN113724311B publication Critical patent/CN113724311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

本申请提供一种深度图获取方法、设备及存储介质。方法包括：利用双目图像样本和双目图像样本的深度图作为训练数据训练处理模型，再用训练后的处理模型对双目图像进行处理，生成双目图像的深度图。相较于现有技术中由双目图像获得视差图后，再由视差图获得深度图的方法，由于本申请中无需获得视差图，可避免视差图误差以深度值二次方传递至深度图，减少误差传递环节，提高所获得的深度图的准确度。

Description

深度图获取方法、设备及存储介质
技术领域
本申请涉及机器视觉技术领域，尤其涉及一种深度图获取方法、设备及存储介质。
背景技术
在高精地图的制作过程中，为了生成道路的矢量化数据，会在采集车上配置两台参数相同的摄像机，用于拍摄道路的双目图像。
道路的双目图像是指两台相对位置固定的摄像机同时触发，对同一个道路拍摄的图像，其中，左侧摄像机拍摄的图像称为左目图像，右侧摄像机拍摄的图像称为右目图像。在获得双目图像后，需要根据双目图像提取双目图像的深度图，双目图像的深度图进一步用于生成道路的矢量化数据。现有的提取道路元素的深度图方法一般为：对采集车采集的图像进行降分辨率处理，以降低运算量，再使用训练后的双目匹配模型对双目图像进行匹配处理获得视差图。再根据转换公式将视差图转化为深度图，以获得实物深度图。其中，Z为深度，f为焦距，d为基线长度，D为视差。
然而，上述基于视差图转深度图的方法，会将视差图误差传递至深度图。误差传递公式为上述误差传递公式可以简化为ΔZ∝Z2ΔD，深度图误差为Z2倍数的视差图误差，也就是视差图误差会以深度值的二次方倍数传递至深度图，对于深度信息较大的实物尤其明显，导致获得深度信息不准确。
发明内容
本申请提供一种深度图获取方法、设备及存储介质。以解决现有方法采用视差图转换深度图的方式导致获得的深度图存在误差的技术问题。
第一方面，本申请提供一种深度图获取方法，包括：
获取摄像机组同步拍摄的道路的双目图像；
对双目图像使用训练后的处理模型进行处理，生成双目图像的深度图，其中，训练后的处理模型是使用训练数据训练获得的，训练数据包括：用于作为处理模型输入数据的双目图像样本及用于作为处理模型输出数据的深度图样本。
可选地，在对双目图像使用训练后的处理模型进行处理，生成双目图像的深度图之前，还包括：
获取训练场景的点云和训练场景的拍摄图像，其中，拍摄图像包括双目图像样本中的左目图像样本和右目图像样本；
根据点云和拍摄图像，确定深度图样本。
可选地，根据点云和拍摄图像，确定深度图样本，具体包括：
对拍摄图像进行语义分割，获得至少一个训练对象的像素区域，其中，训练场景包括至少一个训练对象；
根据每个训练对象的类型和点云，确定每个训练对象的像素区域的深度值；
根据每个训练对象的像素区域的深度值，确定深度图样本。
可选地，根据每个训练对象的类型和点云，确定每个训练对象的像素区域的深度值，具体包括：
判断训练对象是否为天空；
若是，则将训练对象的像素区域的深度值设置为最大深度值；
若否，根据点云，确定训练对象的像素区域的深度值。
可选地，根据点云，确定训练对象的像素区域的深度值，具体包括：
从点云中，确定与训练对象的像素区域匹配的关联点云；
根据关联点云，确定训练对象的像素区域的深度值。
可选地，从点云中，确定与训练对象的像素区域匹配的关联点云，具体包括：
将点云投影至拍摄图像的平面，确定点云的投影区域的位置；
根据投影区域的位置和训练对象的像素区域的位置，确定关联点云。
可选地，根据关联点云，确定训练对象的像素区域的深度值，具体包括：
将关联点云至拍摄图像的平面的距离作为训练对象的像素区域的深度值。
可选地，处理模型的处理参数包括深度值范围，深度值范围根据道路中实物到摄像机组之间距离确定。
第二方面，本申请提供一种双目匹配装置，包括：
获取模块，用于获取摄像机组同步拍摄的道路的双目图像；
处理模块，用于对双目图像使用训练后的处理模型进行处理，生成双目图像的深度图，其中，训练后的处理模型是使用训练数据训练获得的，训练数据包括：用于作为处理模型输入数据的双目图像样本及用于作为处理模型输出数据的深度图样本。
第三方面，本申请提供一种获取设备，包括：
存储器，用于存储程序；
处理器，用于执行存储器存储的程序，当程序被执行时，处理器用于执行第一方面及可选方案涉及的深度图获取方法。
第四方面，本申请提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行第一方面及可选方案涉及的深度图获取方法。
本申请提供一种深度图获取方法、设备及存储介质，其中，深度图获取方法包括：利用双目图像样本和双目图像样本的深度图作为训练数据，训练处理模型，再用训练后的处理模型对双目图像进行处理，生成双目图像的深度图。相较于现有技术中由双目图像获得视差图后，再由视差图获得深度图的方法，由于本申请中无需获得视差图，可避免视差图误差以深度值的二次方传递至深度图，减少误差传递环节，提高所获得的深度图的准确度。
另外，本申请无需获取视差图，无需进行获取视差图之前对双目图像进行降分辨率处理的预处理环节，可直接对高分辨率的双目图像使用模型进行处理，以获得更准确的深度图。另外，生成深度图训练样本过程中，当训练对象为天空时，将天空对应的像素区域的深度值设置最大深度值，使用该深度图样本训练处理模型，使得处理模型生成的深度图边界更清楚，可以得到更加清晰的远景边缘，有利于制作高精度地图。另外，在获取训练数据时，可基于现有采集车采集的点云，获取双目图像样本的深度图，无需新增采集设备。
附图说明
图1为本申请提供的采集车的结构示意图；
图2为本申请提供的高精地图制作过程；
图3为本申请提供的双目摄像机组的拍摄原理示意图；
图4为本申请实施例一提供的深度图获取方法的流程示意图；
图5为本申请实施例一提供的获得深度图样本的原理示意图；
图6为本申请实施例一提供的训练处理模型的原理示意图；
图7为本申请实施例二提供的道路的左目图像样本；
图8为本申请实施例二提供的图7所示左目图像样本的深度图样本；
图9为本申请实施例二提供的图7所示左目图像样本的深度图样本；
图10为本申请实施例二提供的道路的左目图像；
图11为通过处理模型对图10所示双目图像进行处理生成的深度图；
图12为通过对比模型对图10所示双目图像进行处理生成的深度图；
图13为本申请实施例三提供的深度图获取装置的结构示意图；
图14为本申请实施例四提供的获取设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
高精地图的制作过程分为内业和外业，外业是采集车行驶在待采集道路上，对道路进行数据采集过程，内业则是对采集到数据进行处理，生成矢量化地图数据，再对矢量化地图数据进行格式转换、代码转换、编译等处理，生成地图产品。
图1为本申请提供的采集车的结构示意图，如图1所示，一般情况下，采集车的车顶配置有多个激光雷达和多个摄像机。激光雷达用于采集道路上各个要素的点云，摄像机用于采集各个要素的图像。采集车还配置有全球定位系统(Global Position System，简称：GPS)、惯性测量单元(Inertial Measurement Unit，简称：IMU)、里程计等传感器，用于实现组合导航。采集车上还配置有主机系统，主机系统接收用户输入指令，并根据指令控制各个传感器工作状态。在采集车的后备箱设置有硬盘，用于存储采集车采集的数据。图2为本申请提供的高精地图制作过程，如图2所示，采集车执行完外业后，采集得到点云、图像及轨迹点。再通过结合轨迹点，对图像和点云分别进行预处理，例如：针对图像进行语义分割、深度图提取等预处理，对点云进行聚合处理、分类处理、解算等。再对进行预处理后的图像和点云进行融合处理生成矢量化地图数据。该矢量化地图数据能够反映采集道路上各个道路元素的位置信息和各道路元素的属性信息。属性信息包括：道路元素类型、道路元素颜色等。
在采集车上，通常配置有两台参数相同且相对位置固定的摄像机，两台摄像机同时触发对相同的道路拍摄，生成道路的双目图像，其中，左侧摄像机拍摄的图像称为左目图像，右侧摄像机拍摄的图像称为右目图像。图3为本申请提供的双目摄像机组的拍摄原理图，如图3所示，P1为对象点P在左侧摄像机拍摄的左目图像上的成像点，P2为对象点P在右侧摄像机拍摄的右图像上的成像点。o1为成像点P1与对象P的连线与左侧摄像机的左光轴的交点。o2为成像点P2与对象P的连线与右侧摄像机的右光轴的交点。B为左侧摄像机的左光轴和右侧摄像机的右光轴之间距离。Xleft表示成像点P1在左目图像上的坐标值，Xright表示成像点P2在右目图像上的坐标值。视差值D表示为：D＝Xleft-Xright。
在获得双目图像之后，会根据双目图像提取双目图像的深度图。现有技术中，提取道路元素的深度图方法一般为：使用训练后的双目匹配模型对双目图像进行匹配处理获得视差图。再根据如下公式将视差图转化为深度图，以获得实物深度图。
其中，Z为深度，f为焦距，d为基线长度，D为视差。
根据上述公式可知，视差图转误差图的误差传递公式为：
其中，ΔZ表示深度误差，ΔD表示视差误差。
通过对上述误差传递公式进行简化，可知：
又上述误差传递公式可进步一简化为：
ΔZ∝Z2ΔD (4)
根据公式(4)可知，深度图误差正比于Z2倍数的视差图误差，也就是视差误差会以深度值的二次方倍数传递到深度图，对于距离摄像机较远的道路要素，误差传递系数越大，导致获得深度图不准确。
本申请实施例提供一种深度图获取方法、装置、设备及存储介质，旨在解决上述问题。本申请的发明构思为：上述视差转误差的转换公式引入误差传递，本申请使用模型对双目视图进行处理，直接获得深度图，减少误差传递过程。为了使模型能够直接获得深度图，需要获取用于训练模型的训练数据。通过让采集车同步采集训练场景的双目图像和点云，将点云与双目图像匹配，确定训练场景的深度图，进而获得训练数据。另外，生成深度图训练样本过程中，当训练对象为天空时，将天空对应的像素区域的深度值设置最大深度值，使用该深度图样本训练处理模型，使得处理模型生成的深度图边界更清楚，可以得到更加清晰的远景边缘，有利于制作高精度地图。
图4为本申请实施例一提供的深度图获取方法的流程示意图。本申请实施例提供的深度图获取方法用于获取设备，该获取设备为服务器、计算机等设备。如图4所示，本申请实施例提供的深度图获取方法包括如下步骤：
S101、获取训练场景的点云和训练场景的拍摄图像。
其中，训练场景可为任意道路，采集车在训练场景内行驶，由两个参数相同和位置相对固定的摄像机同步连续拍摄训练场景，获得训练场景的多帧双目图像样本。其中，将左侧摄像机拍摄的图像称为左目图像样本，将右侧摄像机拍摄的图像称为右目图像样本。训练场景的拍摄图像包括双目图像样本中的左目图像样本和右目图像样本。在摄像机拍摄训练场景时，位于采集车上激光雷达同步发射激光，对训练场景进行扫描，获得训练场景的多帧点云。
采集车在采集完训练场景的原始图像和原始点云后，将本次采集的多帧原始图像存储在同一个目录，并将本次采集的多帧原始点云存储在同一目录，将图像数据和点云数据从采集设备中导出。
针对每帧原始图像，可对原始图像进行预处理，例如：去噪处理等。对每帧原始点云进行聚合分类处理，得到多组点云。在对原始图像和原始点云分别进行完预处理后，再将点云和图像中像素区域进行匹配。也可直接将进行预处理后的图像和原始点云进行匹配。此处匹配的点云和图像是否进行预处理不做限制。
其中，通过将每帧图像的采集时刻与每帧点云的采集时刻进行比较，若二者差值在预设阈值内，则确定该帧图像和该帧点云是同步采集的数据。
S102、根据点云和拍摄图像，确定深度图样本。
其中，在确定同步采集的图像和点云后，通过将点云和图像进行匹配获得深度图样本。针对同步采集的点云和拍摄图像。对拍摄图像进行语义分割，获得至少一个训练对象的像素区域。根据每个训练对象的类型和点云，确定每个训练对象的像素区域的深度值。根据每个训练对象的像素区域的深度值，确定深度图样本。
在采集车拍摄训练场景的图像时，拍摄图像中容易出现天空，而天空的深度值无法通过激光雷达获取。在确定每个训练对象的像素区域的深度值时，先判断训练对象是否为天空，若是，则将训练对象的像素区域的深度值设置为最大深度值。若否，根据点云确定训练对象的像素区域的深度值。其中，根据点云确定训练对象的像素区域的深度值，具体包括：根据点云与拍摄图像中各个像素区域之间的匹配关系，从点云中确定与训练对象的像素区域匹配的关联点云。根据关联点云，确定训练对象的像素区域的深度值。
图5为本申请实施例一提供的获得深度图样本的原理图，通过对拍摄图像进行语义分割，获得拍摄图像中各个训练对象的像素区域，若该训练对象不是天空，将点云投影到拍摄图像所处平面，根据点云的投影位置和拍摄图像中各训练对象的像素区域的位置，确定与点云匹配的像素区域。
在确定与点云匹配的像素区域时，若点云的投影位置和训练对象的像素区域的位置满足预设条件，例如：二者之间距离在预设范围内，则确定该点云与该训练对象的像素区域匹配。通常情况，点云在拍摄图像所处平面上的投影为一片区域。则可选取点云的投影区域的中心与像素区域的中心进行比较，若二者之间距离在预设阈值范围内，则认为该点云与该训练对象的像素区域匹配。
在将点云与各个训练对象的像素区域进行匹配之后，可将点云至拍摄图像的平面的距离作为各像素区域的深度值。若训练对象是天空，则将训练对象的像素区域的深度值设置为最大深度值，也就是天空所对应的像素区域的深度值大于其他任何训练对象对应的像素区域的深度值。再根据各个像素区域的深度值获得训练场景的深度图样本，该深度图样本为拍摄图像的深度图。
S103、使用训练数据对处理模型进行训练。
其中，训练数据包括：训练场景的双目图像样本及训练场景的深度图样本。训练场景的双目图像样本用于作为处理模型输入数据，训练场景的深度图样本用于作为处理模型的输处数据。处理模型可以为神经网络模型、深度学习网络模型等，此处不做限定。
下面以深度学习网络模型为例详细说明训练处理模型的过程，如图6所示，处理模型包括五个环节，依次为：特征图提取、代价值计算、代价聚合、全卷积网络、以及Softmax函数处理过程。在训练时，对双目图像样本进行特征图提取，生成对应特征图。在对特征图进行代理值计算，生成矩阵C(w×h×z)，矩阵C表示位于w×h处的像素在深度值为z下的匹配代价。在获得每个像素的匹配代价后，再针对每个像素，用相邻像素的代价值优化该像素的代价值，生成S(w×h×z)。在进行完代价聚合后，对各个像素进行卷积处理和Softmax函数，生成各个像素的深度值。再将深度图样本和经过Softmax函数输出的各个像素的深度值代入Smooth L1函数中确定损失值，损失值反向传播至代价值计算，通过不断迭代，求解损失函数最小化的极值，实现处理模型的训练。
S104、获取摄像机组同步拍摄的道路的双目图像。
其中，采集车在执行外业时，由摄像机同步拍摄的道路的双目图像，将采集的双目图像导入获取设备，由获取设备对双目图像进行后续处理。
S105、对双目图像使用训练后的处理模型进行处理，生成双目图像的深度图。
其中，在打开运行模型之后，将道路的双目图像加载至处理模型中，运行处理模型，处理模型可输出双目图像的深度图。
在本申请实施例提供的深度图获取方法中，通过训练处理模型，使处理模型能够直接根据双目图像输出双目图像的深度图，相较于现有技术，减少误差传递，可提高所获得的深度图的精度。另外，生成深度图训练样本过程中，将天空对应的像素区域的深度值设置最大深度值，使用该深度图样本训练处理模型，使得处理模型生成的深度图边界更清楚，尤其是天空和位于天空周围物体之间边界，可以得到更加清晰的远景边缘。
下面结合具体实例重点描述本申请实施例二提供的深度图获取方法，本申请实施例二提供的深度图获取方法包括如下步骤：
S201、获取训练场景的点云和训练场景的拍摄图像。
其中，该步骤已经在实施例一S101中详细说明，重复不再赘述。训练场景的拍摄图像如图7所示，训练场景中包括至少一个训练对象，例如：路灯、路牙、公交车站、天空等。
S202、根据点云和拍摄图像，确定深度图样本。
其中，该步骤已经在S102中详细说明，重复部分不再赘述。
判断训练对象是否为天空，若确定训练对象为天空，则将训练对象的像素区域的深度值设置为最大深度值。也就是天空的像素区域对应的深度值大于剩余的像素区域对应的深度值。
若确定训练对象不为天空，根据点云在拍摄图像上的位置，确定与各个训练对象的像素区域匹配的关联点云。再根据关联点云到拍摄平面之间的距离，确定各个训练对象的像素区域的深度值。
图8为本申请实施例一提供的根据点云所获得双目图像样本的深度图。如图8所示，图像上方区域和右方区域由于没有采集到对应的点云，深度值统一设置为0，天空所在像素区域的深度值还为设置。在图8所示的深度图样本基础上，通过补充天空的天空深度值，所获得的深度图样本如图9所示。
S203、使用训练数据对处理模型进行训练。
其中，该步骤已经在S103中详细说明，重复部分此处不再赘述。在进行训练时，处理模型的处理参数中深度值范围参数根据道路中实物到摄像机组之间距离确定。通过根据道路中实物到摄像机组之间距离确定深度值范围，相较于以无穷大作为上限值的深度值范围，可以去除以无穷大作为上限值的深度值范围内的无效深度值，消除使用无效深度值进行计算的计算过程，可减少内存计算量，提高计算效率。当处理模型采用基于神经网络的模型结构时，根据实际路测数据中的实际应用范围，推荐深度值范围为[0，96]。
S204、获取摄像机组同步拍摄的道路的双目图像。
其中，该步骤已经在S104中详细说明，重复部分此处不再赘述。图10为本申请实施例二提供的道路的左目图像，如图10所示，左目图像中包含树木、路牙、车道、路灯、建筑物和天空等。
S205、对双目图像使用训练后的处理模型进行处理，生成双目图像的深度图。
其中，该步骤已经在S105中详细说明，重复部分此处不再赘述。图11为使用处理模型对图10所示双目图像进行处理得到的深度图，如图11所示，深灰色的代表距离相机较近的部分，浅灰色代表较远的部分，可以从图11得知，距离摄像装置比较远的天空部分和树木部分之间有明显边界，能够得到更加清晰的远景边缘。图12为使用对比模型对图10所示双目图像进行处理得到的深度图，使用将天空所对应的像素区域的深度值设置为零的深度图样本训练得到对比模型，如图12所示，通过该对比模型处理后得到的深度图，天空部分和树木部分之间有没有明显边界。
在本申请实施例中，在生成深度图训练样本过程中，将天空对应的像素区域的深度值设置为最大深度值，使用该深度图样本训练处理模型，所得到的处理模型生成的深度图边界更清楚，尤其是天空和位于天空周围物体之间边界，可以得到更加清晰的远景边缘。
图13为本申请实施例三提供的深度图获取装置的结构示意图。如图13所示，本申请实施例提供的深度图获取装置300，包括：
获取模块301，用于获取摄像机组同步拍摄的道路的双目图像；
处理模块302，用于对双目图像使用训练后的处理模型进行处理，生成双目图像的深度图，其中，训练后的处理模型是使用训练数据训练获得的，训练数据包括：用于作为处理模型输入数据的双目图像样本及用于作为处理模型输出数据的深度图样本。
可选地，装置还包括：
获取模块301还用于获取训练场景的点云和训练场景的拍摄图像，其中，拍摄图像包括双目图像样本中的左目图像样本和右目图像样本；
确定模块303还用于根据点云和拍摄图像，确定深度图样本。
可选地，确定模块303具体用于：
对拍摄图像进行语义分割，获得至少一个训练对象的像素区域，其中，训练场景包括至少一个训练对象；
根据每个训练对象的类型和点云，确定每个训练对象的像素区域的深度值；
根据每个训练对象的像素区域的深度值，确定深度图样本。
可选地，确定模块303具体用于：
判断训练对象是否为天空；
若是，则将训练对象的像素区域的深度值设置为最大深度值；
若否，根据点云，确定训练对象的像素区域的深度值。
可选地，确定模块303具体用于：
从点云中，确定与训练对象的像素区域匹配的关联点云；
根据关联点云，确定训练对象的像素区域的深度值。
可选地，确定模块303具体用于：
将点云投影至拍摄图像的平面，确定点云的投影区域的位置；
根据投影区域的位置和训练对象的像素区域的位置，确定关联点云。
可选地，确定模块303具体用于：
将关联点云至拍摄图像的平面的距离作为训练对象的像素区域的深度值。
可选地，处理模型的处理参数包括深度值范围，深度值范围根据道路中实物到摄像机组之间距离确定。
图14为本申请实施例四提供的获取设备的结构示意图。如图14所示，本实施例提供的获取设备400包括：发送器401、接收器402、存储器403、及处理器402。
发送器401，用于发送指令和数据；
接收器402，用于接收指令和数据；
存储器403，用于存储计算机执行指令；
处理器404，用于执行存储器存储的计算机执行指令，以实现上述实施例中深度图获取方法所执行的各个步骤。具体可以参见前述深度图获取方法实施例中的相关描述。
可选地，上述存储器403既可以是独立的，也可以跟处理器404集成在一起。
当存储器403独立设置时，该获取设备还包括总线，用于连接存储器403和处理器404。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上获取设备所执行的深度图获取方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (7)

1.一种深度图获取方法，其特征在于，包括：
获取摄像机组同步拍摄的道路的双目图像；
对所述双目图像使用训练后的处理模型进行处理，生成所述双目图像的深度图，其中，所述训练后的处理模型是使用训练数据训练获得的，所述训练数据包括：用于作为所述处理模型输入数据的双目图像样本及用于作为所述处理模型输出数据的深度图样本；
在对所述双目图像使用训练后的处理模型进行处理，生成所述双目图像的深度图之前，还包括：
获取训练场景的点云和拍摄图像，其中，所述拍摄图像包括所述双目图像样本中的左目图像样本和右目图像样本，所述双目图像样本为基于现有采集车采集的点云获取的；
根据所述点云和所述拍摄图像，确定所述深度图样本；
根据所述点云和所述拍摄图像，确定所述深度图样本，具体包括：
对所述拍摄图像进行语义分割，获得至少一个训练对象的像素区域，其中，所述训练场景包括至少一个训练对象；
根据每个训练对象的类型和所述点云，确定所述每个训练对象的像素区域的深度值；
根据所述每个训练对象的像素区域的深度值，确定所述深度图样本；
根据每个训练对象的类型和所述点云，确定所述每个训练对象的像素区域的深度值，具体包括：
判断所述训练对象是否为天空；
若是，则将所述训练对象的像素区域的深度值设置为最大深度值；
若否，所述根据所述点云，确定所述训练对象的像素区域的深度值。
2.根据权利要求1所述的方法，其特征在于，根据所述点云，确定所述训练对象的像素区域的深度值，具体包括：
从所述点云中，确定与所述训练对象的像素区域匹配的关联点云；
根据所述关联点云，确定所述训练对象的像素区域的深度值。
3.根据权利要求2所述的方法，其特征在于，从所述点云中，确定与所述训练对象的像素区域匹配的关联点云，具体包括：
将所述点云投影至所述拍摄图像的平面，确定所述点云的投影区域的位置；
根据所述投影区域的位置和所述训练对象的像素区域的位置，确定所述关联点云。
4.根据权利要求2所述的方法，其特征在于，根据所述关联点云，确定所述训练对象的像素区域的深度值，具体包括：
将所述关联点云至所述拍摄图像的平面的距离作为所述训练对象的像素区域的深度值。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述处理模型的处理参数包括深度值范围，所述深度值范围根据所述道路中实物到所述摄像机组之间距离确定。
6.一种获取设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如权利要求1至4中任一所述的深度图获取方法。
7.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至4中任一所述的深度图获取方法。
CN202010450291.XA 2020-05-25 2020-05-25 深度图获取方法、设备及存储介质 Active CN113724311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010450291.XA CN113724311B (zh) 2020-05-25 2020-05-25 深度图获取方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010450291.XA CN113724311B (zh) 2020-05-25 2020-05-25 深度图获取方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113724311A CN113724311A (zh) 2021-11-30
CN113724311B true CN113724311B (zh) 2024-04-02

Family

ID=78671681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010450291.XA Active CN113724311B (zh) 2020-05-25 2020-05-25 深度图获取方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113724311B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117201705B (zh) * 2023-11-07 2024-02-02 天津云圣智能科技有限责任公司 一种全景图像的获取方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2553782A (en) * 2016-09-12 2018-03-21 Ucl Business Plc Predicting depth from image data using a statistical model
CN107992848A (zh) * 2017-12-19 2018-05-04 北京小米移动软件有限公司 获取深度图像的方法、装置及计算机可读存储介质
CN109741388A (zh) * 2019-01-29 2019-05-10 北京字节跳动网络技术有限公司 用于生成双目深度估计模型的方法和装置
CN110160502A (zh) * 2018-10-12 2019-08-23 腾讯科技（深圳）有限公司 地图要素提取方法、装置及服务器
US10650278B1 (en) * 2017-07-21 2020-05-12 Apple Inc. Semantic labeling of point clouds using images

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375378B2 (en) * 2017-12-12 2019-08-06 Black Sesame International Holding Limited Dual camera system for real-time depth map generation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2553782A (en) * 2016-09-12 2018-03-21 Ucl Business Plc Predicting depth from image data using a statistical model
US10650278B1 (en) * 2017-07-21 2020-05-12 Apple Inc. Semantic labeling of point clouds using images
CN107992848A (zh) * 2017-12-19 2018-05-04 北京小米移动软件有限公司 获取深度图像的方法、装置及计算机可读存储介质
CN110160502A (zh) * 2018-10-12 2019-08-23 腾讯科技（深圳）有限公司 地图要素提取方法、装置及服务器
CN109741388A (zh) * 2019-01-29 2019-05-10 北京字节跳动网络技术有限公司 用于生成双目深度估计模型的方法和装置

Also Published As

Publication number Publication date
CN113724311A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN108961327B (zh) 一种单目深度估计方法及其装置、设备和存储介质
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN108764187B (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
CN112419494B (zh) 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
EP3940641A1 (en) Method, apparatus, and device for obtaining disparity map, control system, and storage medium
WO2020020160A1 (zh) 图像视差估计
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
JP5299513B2 (ja) 障害物検知装置及び方法並びに障害物検知システム
CN110988912A (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN115082924B (zh) 一种基于单目视觉和雷达伪图像融合的三维目标检测方法
CN111028285A (zh) 基于双目视觉和激光雷达融合的深度估计方法
WO2020104423A1 (en) Method and apparatus for data fusion of lidar data and image data
CN107886477A (zh) 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法
CN111209770A (zh) 一种车道线识别方法及装置
CN111950426A (zh) 目标检测方法、装置及运载工具
KR102206834B1 (ko) 도로정보 변화 감지 방법 및 시스템
CN111008660A (zh) 语义地图的生成方法、装置、系统、存储介质及电子设备
CN110231832B (zh) 用于无人机的避障方法和避障装置
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN113160327A (zh) 一种点云补全的实现方法和系统
CN116029996A (zh) 立体匹配的方法、装置和电子设备
WO2020221443A1 (en) Scale-aware monocular localization and mapping
CN110895821A (zh) 图像处理装置、存储有图像处理程序的存储介质及驾驶支援系统
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
CN114037762A (zh) 基于图像与高精度地图配准的实时高精度定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant