CN111695379A - 基于立体视觉的地面分割方法、装置、车载设备及存储介质 - Google Patents

基于立体视觉的地面分割方法、装置、车载设备及存储介质 Download PDF

Info

Publication number
CN111695379A
CN111695379A CN201910190018.5A CN201910190018A CN111695379A CN 111695379 A CN111695379 A CN 111695379A CN 201910190018 A CN201910190018 A CN 201910190018A CN 111695379 A CN111695379 A CN 111695379A
Authority
CN
China
Prior art keywords
ground
point cloud
data
target scene
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910190018.5A
Other languages
English (en)
Other versions
CN111695379B (zh
Inventor
胡荣东
彭清
谢林江
彭美华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN201910190018.5A priority Critical patent/CN111695379B/zh
Publication of CN111695379A publication Critical patent/CN111695379A/zh
Application granted granted Critical
Publication of CN111695379B publication Critical patent/CN111695379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种基于立体视觉的地面分割方法，包括：获取目标场景图像的三维点云数据；获取目标场景内车道线的三维点云数据；根据所述车道线的三维点云数据确定估计地面,根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定所述目标场景图像的地面点云；根据所述目标场景图像的地面点云确定所述目标场景图像的地面。本发明实施例还公开了一种基于立体视觉的地面分割装置、车载设备以及存储介质。

Description

基于立体视觉的地面分割方法、装置、车载设备及存储介质
技术领域
本发明涉及智能驾驶领域，具体地，涉及基于立体视觉的地面分割方法、装置、车载设备。
背景技术
在汽车驾驶场景中，由双目相机采集的目标场景图像的三维点云是非常密集的，例如，一幅1920*1080的图片，其对应的三维点云就有大约200多万个，远远超过了一个激光雷达生成的三维点云的数量。因此，如果能将目标场景图像所采集的地平面分割出来，就可以显著减少后续的三维点云的计算操作。
已知技术中，公开了通过摄像头与其视野内的任一直线确定一个平面，使用车身前后左右4个摄像头生成四个平面，然后分别计算各平面的交线，从而获取到车辆两侧的车道线。之后，通过重复上述过程获取多组车辆两侧的车道线，并判断所述多组车道线在水平方向上是否平行，在竖直方向上是否属于同一水平面，从而选择出平行且处于同一平面的多组车道线；最后在多组车道线上，选择不在同一直线上的三个点确定一个平面。然而，该方法需要使用多个摄像头拍摄多组车道线，无法实时地对地面进行拟合；同时，该方法只是使用了不在同一直线上的三个点用来确定一个平面，存在很大的误差；另外，该方法只是拟合一个地平面，无法得到真实的地面。
因此，如何对车辆驾驶过程中采集的目标场景图像进行有效性的地面分割是一个难题。
发明内容
有鉴于此，本发明实施例的主要目的在于提供一种基于立体视觉的地面分割方法、装置、车载设备、存储介质，可以实现有效且准确的对目标场景图像进行地面分割。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种基于立体视觉的地面分割方法，所述方法包括：
获取目标场景图像的三维点云数据；
获取目标场景内车道线的三维点云数据；
根据所述车道线的三维点云数据确定估计地面,根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定所述目标场景图像的地面点云；
根据所述目标场景图像的地面点云确定所述目标场景图像的地面。
其中，所述获取目标场景内车道线的三维点云数据包括：
根据目标场景图像获取车道线的像素信息；
根据所述车道线的像素信息与所述目标场景图像的三维点云数据的对应关系，确定目标场景内车道线的三维点云数据。
其中，所述根据所述车道线的三维点云数据确定估计地面,根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定目标场景图像的地面点云，包括：
基于所述车道线的三维点云数据创建初始地面估计模型，根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云；
基于所述初始候选地面点云对所述初始地面估计模型进行更新，并返回所述根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云的步骤，直至满足设置的迭代条件；
根据迭代后确定的候选地面点云确定估计地面,根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定目标场景图像的地面点云。
其中，所述基于所述车道线的三维点云数据创建初始地面估计模型，包括：
将所述三维点云数据作为待计算三维点云数据，获取所述待计算三维点云数据对应的协方差矩阵C；
根据所述协方差矩阵C进行奇异值分解，确定初始地面估计模型的系数。
其中，所述根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云，包括：
选择所述车道线的三维点云数据中的任一数据点作为初始的待计算数据点，确定所述待计算数据点到所述初始地面估计模型的距离值；
判断所述距离值是否小于预先设置的距离阈值；
若是，确认所述初始的待计算数据点为初始候选地面点；
若否，舍弃所述初始的待计算数据点；
选择所述车道线的三维点云数据中的下一数据点作为更新后的待计算数据点，并返回所述确定所述待计算数据点到所述初始地面估计模型的距离值的步骤，直至迭代完成，得到初始候选地面点云。
其中，所述直至满足设置的迭代条件包括：
直至迭代次数达到设置的最大迭代次数；或者
直至当前候选地面点的数量与上一次迭代所确定的候选地面点的数量差值小于阈值。
其中，所述根据迭代后确定的候选地面点云确定估计地面，根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定所述目标场景图像的地面点云，包括：
将所述迭代后确定的候选地面点云数据进行分段得到各分段对应的候选地面点云段数据，基于每一分段的所述候选地面点云段数据创建分段估计地面；
获取各分段估计地面对应的所述目标场景图像的点云段数据；
根据所述目标场景图像的每一分段的点云段数据与对应分段估计地面的距离满足设置条件时，确定对应的所述目标场景图像的分段地面点云；
根据所述目标场景图像的分段地面点云确定所述目标场景图像的地面点云。其中，所述将所述迭代后确定的候选地面点云进行分段得到各分段对应的候选地面点云段数据，包括：
将所述迭代后确定的候选地面点云分别沿车辆行进方向进行分段，得到各分段对应的候选地面点云段数据。
本发明实施例提供了一种基于立体视觉的地面分割装置，包括：
获取模块，用于获取目标场景图像的三维点云数据；还用于获取目标场景内车道线的三维点云数据；
确定模块，用于根据所述车道线的三维点云数据确定估计地面,根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定所述目标场景图像的地面点云；还用于根据所述目标场景图像的地面点云确定所述目标场景图像的地面。
本发明实施例提供了一种车载设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，实现本发明任一实施例所述的基于立体视觉的地面分割方法。
本发明实施例提供了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明任一实施例所述的基于立体视觉的地面分割方法。
本发明实施例提供的一种基于立体视觉的地面分割方法、装置、车载设备以及存储介质，获取目标场景图像的三维点云数据；获取目标场景内车道线的三维点云数据；根据所述车道线的三维点云数据确定估计地面,根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定目标场景图像的地面点云；根据所述目标场景图像的地面点云确定目标场景图像的地面，如此，通过基于车道线的三维点云数据确定的估计地面和整个目标场景图像的三维点云数据的距离判定，可以对采集的目标场景图像实现有效且准确的地面分割，由于车道线具有明显的边缘信息，比地面其它部分的纹理更丰富，因此基于车道线数据的立体匹配精度更高，基于车道线的三维点云数据确定估计地面的精度也会更高，且由于车道线的三维点云数据相对更少，因此通过车道线的三维点云数据确定估计地面可以有效减少计算量，提高计算速度。
附图说明
图1为本发明一实施例提供的一种基于立体视觉的地面分割方法的流程图；
图2为本发明一实施例提供的确定目标场景图像的地面点云的流程图；
图3为本发明一实施例提供的确定目标场景图像的分段地面点云的流程图；
图4为本发明一实施例提供的另一种基于立体视觉的地面分割方法的流程图；
图5为本发明一实施例提供的确定初始候选地面点云的流程图；
图6为本发明一实施例提供的一种基于立体视觉的地面分割装置的结构示意图；
图7为本发明实施例提供的一种车载设备的硬件结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明技术方案做进一步的详细阐述。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示公开了本发明实施例提供的一种基于立体视觉的地面分割方法的方法流程图，该方法可以应用于智能驾驶车辆的车载设备上，该车载设备可以为车辆前方安装的集拍摄分析等为一体的装置，对于具体的装置本发明实施例不加以限制。在车载设备的车头处可以预先设置图像采集装置，如摄像头、双目立体相机、激光扫描仪等，在车载设备行驶过程中可以实时拍摄车载设备前方和左右方向上的驾驶场景，同时，该车载设备还具备数据分析装置，以用来对目标场景内的三维点云数据进行实时分析。
本发明实施例提供的一种基于立体视觉的地面分割方法，包括：
步骤11：获取目标场景图像的三维点云数据。
这里，目标场景可以是指车辆当前行驶环境对应的所属场景。目标场景图像可以是指从车载设备中双目立体相机所拍摄的整体图像中选择的一个图像区域，这个图像区域可以是后续图像分析所关注的重点，圈定该图像区域以便进行进一步处理；也可以是指车载设备的双目立体相机所拍摄的当前行驶环境下的整体图像。本发明实施例中，目标场景图像是指拍摄的整体图像中圈定需要进行后续处理的图像区域，通过设定目标场景区域可以减少图像分析的处理时间，增加分析精度。
在本发明实施例中，可以预先在车辆的周边环境设定目标场景图像区域，例如，以车载设备为中心坐标，车载设备的前后方向为Y轴，左右方向为X轴，设定在车载设备前方距离X轴2m-20m，2m为确定的距离车载设备前方最近的检测距离，20m为确定的距离车载设备前方最远的检测距离，且在车载设备左右方距离Y轴-8m～8m的区域为目标场景图像对应的区域，采用如上四个距离参数可以确定出真实的检测范围。
双目立体相机具备双目立体视觉系统，双目立体视觉是基于视差原理并利用相机成像系统从不同的位置获取被测目标场景的两幅图像，并基于图像特征的立体匹配算法计算图像对应点间的深度信息，从而获取目标图像的三维几何信息，即目标场景图像的三维点云数据。
可以理解地，上述示例仅是为了更好地理解本发明的技术方案而列举的示例，不作为对本发明的唯一限制。目标场景图像区域可以是由系统设定的，对于具体的设定过程，在此不作具体限制。
步骤12：获取目标场景内车道线的三维点云数据。
车道线是车辆在驾驶过程中引导方向的车道标线，从而明确行车方向，各行其道。车道线具有明显的边缘信息，比地面其他部分的纹理更丰富，所以车道线的立体匹配精度要远远高于地面其他部分，故用车道线对地面进行分割的精度也会更高。
这里，车载设备中的双目立体相机基于视差原理并利用相机的成像系统从不同的位置获取被测目标场景内车道线的两幅图像，并基于图像特征的立体匹配算法计算图像对应点间的深度信息，从而获取车道线的三维几何信息，即目标场景内车道线的三维点云数据。
步骤13：根据车道线的三维点云数据确定估计地面,根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定所述目标场景图像的地面点云。
这里，根据车道线的三维点云数据确定估计地面可以是指根据车道线的三维点云数据进行拟合得到估计地面，例如，对车道线的三维点云数据采用最小二乘法的计算方式进行曲线拟合得到估计地面；或者是，根据车道线的三维点云数据计算对应的协方差矩阵，并对所述协方差矩阵进行奇异值分解从而得到估计地面，所述估计地面表示目标场景图像的地面的估计模型。
这里，如图2所示，所述根据目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定所述目标场景图像的地面点云可以包括以下步骤：
步骤21:选择所述目标场景图像的三维点云数据中的任一数据点作为初始的待计算数据点；
步骤22：计算所述待计算数据点到所述估计地面的距离值；
步骤23:判断所述距离值是否满足设置条件；
步骤24:若是，则确定所述待计算数据点为目标场景图像的地面点；执行步骤26；
步骤25:若否，则舍弃所述待计算数据点；执行步骤26；
步骤26:选择所述目标场景图像的三维点云数据中的下一数据点作为更新后的待计算数据点，并返回步骤22，直至迭代完成，执行步骤27；
步骤27:得到所述目标场景图像的地面点云。
其中，在步骤23中，所述判断所述距离值是否满足设置条件可以是指判断所述距离值是否小于预先设置的距离阈值，例如，预先在系统内默认设置有一个距离阈值DT，则所述判断所述距离值是否满足设置条件即是判断所述距离值是否小于距离阈值DT。
步骤14：根据所述目标场景图像的地面点云确定所述目标场景图像的地面。这里，将步骤13中得到的目标场景图像的地面点云进行连接，从而得到对应所述目标场景图像的一个平面或曲面，该平面或曲面即为目标场景图像的地面。
在本申请上述实施方式中，获取目标场景图像的三维点云数据；获取目标场景内车道线的三维点云数据；根据车道线的三维点云数据确定估计地面,根据目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定目标场景图像的地面点云；根据目标场景图像的地面点云确定目标场景图像的地面，如此，通过基于车道线的三维点云数据和整个目标场景图像的三维点云数据的距离判定，可以对采集的目标场景图像实现有效且准确的地面分割，由于车道线具有明显的边缘信息，比地面其它部分的纹理更丰富，因此基于车道线数据的立体匹配精度更高，基于车道线拟合地面的精度也会更高，且由于车道线的三维点云数据相对更少，因此通过车道线的三维点云数据确定估计地面可以有效减少计算量，提高计算速度。
在一实施方式中，所述获取目标场景内车道线的三维点云数据包括：
根据目标场景图像获取车道线的像素信息；
根据所述车道线的像素信息以及所述目标场景图像的三维点云数据的对应关系，确定所述目标场景内车道线的三维点云数据。
这里，车载设备内的双目立体相机拍摄目标场景内的二维图像数据，并通过车道线检测算法如基于霍夫变换检测直线的方法或深度学习的方法检测出属于车道线的像素信息。该双目立体相机还可以通过立体匹配的方法得到目标场景图像中每一个像素的视差，由视差通过三角关系从而计算出目标场景图像中每个像素在三维空间对应的位置，即目标场景的三维点云。然后根据车道线的像素与目标场景的三维点云的对应关系找到车道线图像的三维点云，从而得到车道线的三维点云。
通过本发明实施例上述实施方式，使用车道线上的三维点云来对目标场景图像进行地面估计，由于车道线具有明显的边缘信息，比地面上的其他部分纹理更丰富，所以车道线的立体匹配精度要远远高于地面其他部分。而且，车道线上的点也属于地面，其点云数量相对较少，所以通过车道线实现地面分割是非常快速且准确的。相比于传统方法中通过设置一个地面高度阈值，并取阈值内的点云进行地面方程的拟合，或者是，相比于传统方法中采用RANSAC方法，即将整幅图像里面的点进行拟合从而确定地面的方法，采用本发明实施例的上述实施方法能够更加快速和准确的实现地面分割。
在一实施方式中，所述根据所述车道线的三维点云数据确定估计地面，根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定所述目标场景图像的地面点云，包括：
基于所述车道线的三维点云数据创建初始地面估计模型，根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云；
基于所述初始候选地面点云对所述初始地面估计模型进行更新，并返回所述根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云的步骤，直至满足设置的迭代条件；
根据迭代后确定的候选地面点云确定估计地面，根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定目标场景图像的地面点云。
这里，车载设备基于所述车道线的三维点云数据创建初始地面估计模型，根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点，具体可以包括：
车载设备的数据分析装置基于所述车道线的三维点云数据进行平面拟合得到对应的地面估计模型，或者是，采用最小二乘法的方法得到对应的地面估计模型，且将该地面估计模型设置为初始地面估计模型。然后，计算所述车道线的三维点云数据中的各数据点到所述初始地面估计模型之间的距离，其可以是指依次计算车道线的三维点云数据中的各数据点到初始地面估计模型之间的距离。例如，数据点A为所述车道线的三维点云数据中的数据点，计算所述数据点A到所述初始地面估计模型之间的距离，并根据所述距离的大小，确定数据点A能否成为候选地面点。然后，继续选取车道线的三维点云数据中的下一个数据点B，计算所述数据点B到所述初始地面估计模型之间的距离，并根据所述距离的大小，确定数据点B能否成为候选地面点。如此，直到车道线的三维点云数据中的所有数据点全部完成计算。
其中，车载设备的数据分析装置基于所述初始候选地面点云对所述初始地面估计模型进行更新，并返回所述根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云的步骤，直至满足设置的迭代条件，具体可以包括：
车载设备的数据分析装置根据所述车道线三维点云数据中各数据点到所述初始地面估计模型的距离大小，得到第一候选地面点云，然后，将所述第一候选地面点云进行拟合计算，得到第一地面估计模型，将所述第一地面估计模型作为更新后的地面估计模型；然后，车载设备根据所述第一候选地面点云中各数据点到所述第一地面估计模型的距离，确定第二候选地面点云，从而得到第二地面估计模型，将第二地面估计模型作为更新后的地面估计模型，如此循环迭代，相继得到多个第三地面估计模型、第四地面估计模型、第五地面估计模型……，直至满足车载设备内预先设置的迭代条件方停止迭代。
其中，车载设备根据迭代后确定的候选地面点云确定估计地面可以为：假设满足车载设备内预先设置的迭代条件时得到的是第N候选地面点云，则第N-1地面估计模型为确定的估计地面。
通过本申请上述实施方式，通过对目标场景内的车道线三维点云数据中的数据点进行多次循环迭代，可以过滤掉干扰的车道线三维点云数据，从而进一步提高对目标场景图像进行地面分割的精度。
在一实施方式中，所述基于所述车道线的三维点云数据创建初始地面估计模型，包括：
将所述三维点云数据作为待计算三维点云数据，获取所述待计算三维点云数据对应的协方差矩阵C；
根据所述协方差矩阵C进行奇异值分解，确定初始地面估计模型的系数。
其中，车载设备将所述车道线的三维点云数据作为待计算三维点云数据，获取所述待计算三维点云数据对应的协方差矩阵C，具体可以包括：选择所述车道线的三维点云数据中的各数据点进行协方差矩阵C的计算，其计算公式为：
Figure BDA0001994106420000111
Si为所述车道线的三维点云数据中各数据点分别在x，y，z坐标轴上的坐标，S指的是所述车道线的三维点云分别在x，y，z坐标上的坐标平均值；如此，可以得到所述车道线的三维点云数据所对应的协方差矩阵C。
其中，车载设备根据所述协方差矩阵C进行奇异值分解，确定初始地面估计模型的系数，具体可以包括：车载设备对所述协方差矩阵C进行奇异值分解，得到一系列的奇异向量，这些奇异向量按照特征值的大小从大到小排列，由于垂直于地面的法向量代表了方差最小的方向，方差最小即代表了奇异值最小，所以最后选取奇异值最小的向量作为地面估计模型的系数a，b，c，d。
通过本申请上述实施方式，根据目标场景内的车道线三维点云数据进行地面估计模型系数的确定，为实现最终的地面分割奠定了基础。
在一实施方式中，所述根据所述车道线的三维点云数据与所述初始的地面估计模型之间的距离，确定初始候选地面点云，包括：
选择所述车道线的三维点云数据中的任一数据点作为初始的待计算数据点，确定所述待计算数据点到所述初始地面估计模型的距离值；
判断所述距离值是否小于预先设置的距离阈值；
若是，确认所述待计算数据点为候选地面点；
若否，舍弃所述待计算数据点；
选择所述车道线的三维点云数据中的下一数据点作为更新后的待计算数据点，并返回所述确定所述待计算数据点到所述地面估计模型的距离值的步骤，直至迭代完成，得到对应的初始候选地面点云。
其中，车载设备选择所述车道线的三维点云数据中的任一数据点作为初始的待计算数据点，确定所述待计算数据点到所述地面估计模型的距离值，例如，数据点A’为所述车道线的三维点云数据中的一数据点，该数据点A’的坐标值为(x’，y’，z’)，计算所述数据点A’(x’，y’，z’)到所述地面估计模型的距离D1，该距离D1的计算公式具体可以为：
Figure BDA0001994106420000121
所述a,b,c,d为地面估计模型系数。
其中，车载设备判断所述距离值是否小于预先设置的距离阈值，具体可以包括：车载设备预先在系统内默认设置有一个距离阈值DT’，判断数据点A’到地面估计模型的所述距离值D1是否小于距离阈值DT’，
若是，则确认所述数据点A’为候选地面点；
若否，则舍弃数据点A’。
其中，车载设备选择所述车道线的三维点云数据中的下一数据点作为更新后的待计算数据点，并返回所述确定所述待计算数据点到所述地面估计模型的距离值的步骤，直至迭代完成，具体可以包括：假设所述车道线的三维点云数据中还包括数据点B’、C’、D’……，计算所述数据点B’到所述地面估计模型的距离D2，并判断所述距离值D2是否小于距离阈值DT’，若所述距离值D2小于距离阈值DT’，则确认所述数据点B’为候选地面点；若所述距离值D2大于距离阈值DT’，则舍弃数据点B’。类似的，计算数据点C’到所述地面估计模型的距离D3，判断所述距离值D3是否小于距离阈值DT’，若所述距离值D3小于距离阈值DT’，则确认所述数据点C’为候选地面点；若所述距离值D3大于距离阈值DT’，则舍弃数据点C’；……依此循环，直至所述车道线三维点云数据中所有的数据点完成计算，继而挑选出符合条件的数据点，即初始的候选地面点云。
通过本申请上述实施方式，对所述车道线三维点云数据中的数据点进行过滤，能够提高所获取的初始候选地面点云的精度。
在一实施方式中，所述直至满足设置的迭代条件包括：
直至迭代次数达到设置的最大迭代次数；或者
直至当前候选地面点的数量与上一次迭代所确定的候选地面点的数量差值小于阈值。
这里，车载设备的数据分析装置预先设置有最大迭代次数MAX，该预先设置可以是系统默认设置的，也可以是通过提供用户输入接口获取用户输入的迭代次数而修改设置的。假设该最大迭代次数MAX设置为M，即当迭代次数达到M次时，停止迭代。或者是，车载设备的数据分析装置预先设置有相邻两次候选地面点的数量差值的阈值NT，该预先设置可以是系统默认设置的，也可以是通过提供用户输入接口获取用户输入的迭代次数而修改设置的。如果当前候选地面点的数量与上一次迭代所确定的候选地面点的数量差值小于阈值NT，则停止迭代。由于当前候选地面点的数量通常少于上一次迭代所确定的候选地面点的数量，因此，所述阈值NT可以为负数。
通过本申请上述实施方式，通过对目标场景内的车道线三维点云数据的迭代条件进行限定，既能够提高目标场景内地面分割的精度，又能够减少迭代所需的时间。
在一实施方式中，所述根据迭代后确定的候选地面点云确定估计地面，根据目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定所述目标场景图像的地面点云，包括：将所述迭代后的地面点云进行分段得到各分段对应的候选地面点云段数据，基于每一分段的所述候选地面点云段数据创建分段估计地面；获取各分段估计地面对应的所述目标场景图像的点云段数据；根据所述目标场景图像的每一分段的点云段数据与对应分段估计地面的距离满足设置条件时，确定对应的所述目标场景图像的分段地面点云；根据所述目标场景图像的分段地面点云确定所述目标场景图像的地面点云。
其中，所述将所述迭代后确定的候选地面点云数据进行分段得到各分段对应的候选地面点云段数据，可以是指车载设备将所述迭代后确定的候选地面点云数据按照相同数目的相邻数据点进行分段，例如，假设迭代后确定的候选地面点云数据的数据点数目为五万个，可以按每一万个相邻数据点进行分段；或者是，车载设备将所述迭代后确定的候选地面点云数据按照相同的分段距离值进行分段，从而得到各分段对应的候选地面点云段数据，例如，假设迭代后确定的候选地面点云数据的长度值为100，则可将所述迭代后确定的候选地面点云分成(0-30],(30-60],(60-100]三段，从而得到各分段对应的候选地面点云段数据。
其中，所述基于每一分段的所述候选地面点云段数据创建分段估计地面可以包括：
选择每一分段的候选地面点云数据中的各数据点进行协方差矩阵C的计算，其计算公式为：
Figure BDA0001994106420000141
Si为所述候选地面点云段数据中各数据点分别在x，y，z坐标轴上的坐标，S指的是所述候选地面点云分别在x，y，z坐标上的坐标平均值；通过上述计算公式从而得到所述候选地面点云段数据所对应的协方差矩阵C。之后，车载设备的数据分析装置对所述协方差矩阵C进行奇异值分解，得到一系列的奇异向量，这些奇异向量按照特征值的大小从大到小排列，由于垂直于地面的法向量代表了方差最小的方向，方差最小即代表了奇异值最小，所以最后选取奇异值最小的向量作为分段估计地面的系数a，b，c，d。
其中，获取各分段估计地面对应的所述目标场景图像的点云段数据可以包括：将目标场景图像的三维点云按相同数目的相邻数据点进行分段，或者是按照相同的分段距离值进行分段，从而得到各分段估计地面对应的所述目标场景图像的点云段数据。这里，目标场景图像的点云段数据和候选地面点云段数据存在一一对应的关系，因此，分段估计地面与目标场景图像的点云段数据也存在一一对应的关系。
其中，如图3所示，所述根据所述目标场景图像的每一分段的点云段数据与对应分段估计地面的距离满足设置条件时，确定对应的所述目标场景图像的分段地面点云，可以包括：步骤31:选择任一目标场景图像的点云段中的任一数据点作为初始的待计算数据点；
步骤32:计算所述待计算数据点到对应的分段估计地面的距离值；
步骤33:判断所述距离值是否满足设置条件；
步骤34:若是，则确定所述待计算数据点为所述目标场景图像的分段地面点，执行步骤36；
步骤35:若否，则舍弃所述待计算数据点，执行步骤36；
步骤36:选择所述目标场景图像的点云段数据中的下一数据点作为更新后的待计算数据点，并返回步骤32，直至迭代完成，执行步骤37；
步骤37:得到目标场景图像的分段地面点云。
在步骤32中，所述判断所述距离值是否满足设置条件可以是指判断所述距离值是否小于预先设置的距离阈值，例如，预先在系统内默认设置有一个距离阈值DT，则所述判断所述距离值是否满足设置条件即是判断所述距离值是否小于距离阈值DT。
其中，根据所述目标场景图像的分段地面点云确定所述目标场景图像的地面点云可以是指统计每一分段对应的目标场景图像的分段地面点云，从而得到整个目标场景图像的地面点云。
通过本申请上述实施方式，通过对目标场景内的车道线三维点云数据以及目标场景图像进行分段，可以考虑到地面出现的凹凸情况，因此，提高了对目标场景图像进行地面分割的实用性和有效性。
在一实施方式中，所述将所述迭代后确定的候选地面点云进行分段得到各分段对应的候选地面点云段数据，包括：
将所述迭代后确定的候选地面点云分别沿车辆行进方向进行分段，得到各分段对应的候选地面点云段数据。
这里，车载设备将所述迭代后确定的候选地面点云数据沿车辆行进方向进行分段，可以是指车载设备的数据分析装置将所述迭代后确定的候选地面点云沿车辆的行进方向按照相同的分段距离值进行分段，从而得到各分段对应的候选地面点云段数据。
通过本申请上述实施方式，通过将所述迭代后确定的候选地面点云沿车辆行进方向进行分段，提高了基于所述车道线的三维点云数据实现地面分割的实用性和有效性。
为了能够对本申请实施例所提供的基于立体视觉的地面分割方法进一步理解，下面以智能驾驶车辆为例，请参阅图4，结合一可选的具体实施方式来描述基于立体视觉的地面分割方法，包括如下步骤：
步骤41：获取目标场景图像的三维点云数据。
这里，车载设备获取目标场景图像的三维点云数据可以同步骤11，在此不再赘述。
步骤42：获取目标场景内车道线的三维点云数据。
这里，车载设备获取目标场景内车道线的三维点云数据具体可以为：车载设备内的双目立体相机拍摄目标场景内的二维图像数据，并通过深度学习的方法检测出属于车道线的像素。该双目立体相机还可以通过立体匹配的方法得到目标场景图像中每一个像素的视差，由视差通过三角关系从而计算出目标场景图像中每个像素在三维空间对应的位置，即目标场景的三维点云。然后根据车道线的像素与目标场景的三维点云的对应关系找到车道线图像的三维点云，从而得到车道线的初始三维点云。
根据所述车道线的三维点云数据确定估计地面；这里，车载设备根据所述车道线的三维点云数据确定估计地面可以包括：
步骤431：基于所述车道线的三维点云数据创建初始地面估计模型；
这里，车载设备基于所述车道线的三维点云数据创建初始的地面估计模型具体可以包括：
车载设备基于所述车道线的三维点云数据创建初始的地面估计模型可以是指车载设备将所述三维点云数据作为待计算三维点云数据，获取所述待计算三维点云数据对应的协方差矩阵C；并根据所述协方差矩阵C进行奇异值分解，确定初始地面估计模型的系数。例如：
车载设备选择所述车道线的三维点云数据中的各数据点进行协方差矩阵C的计算，其计算公式为：
Figure BDA0001994106420000171
其中，Si为所述车道线的三维点云数据中各数据点分别在x，y，z坐标轴上的坐标，S指的是所述车道线的三维点云分别在x，y，z坐标上的坐标平均值；通过上述计算公式从而得到所述车道线的三维点云数据所对应的协方差矩阵C。
然后，车载设备对所述协方差矩阵C进行奇异值分解，得到一系列的奇异向量，这些奇异向量按照特征值的大小从大到小排列，由于垂直于地面的法向量代表了方差最小的方向，方差最小即代表了奇异值最小，所以最后选取奇异值最小的向量作为初始地面估计模型的系数a，b，c，d。
步骤432：根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云；
这里，如图5所示，车载设备根据所述车道线的初始三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云具体可以包括：
步骤51：选择所述车道线的三维点云数据中的任一数据点作为初始的待计算数据点；
步骤52：确定所述待计算数据点到所述地面估计模型的距离值；
这里，假设数据点A’为所述车道线的三维点云数据中的一数据点，该数据点A’的坐标值为(x’，y’，z’)，计算所述数据点A’(x’，y’，z’)到所述地面估计模型的距离D1,该距离D1的计算公式具体可以为：
Figure BDA0001994106420000181
所述a,b,c,d为地面估计模型系数。
步骤53：：判断所述距离值是否小于预先设置的距离阈值；这里，假设车载设备预先在系统内默认设置有一个距离阈值DT’，判断数据点A’到地面估计模型的所述距离值D1是否小于距离阈值DT’。
步骤54：若是，则确认所述数据点A’为初始候选地面点。执行步骤56。
步骤55：若否，则舍弃数据点A’，执行步骤56。
步骤56：选择所述车道线的三维点云数据中的下一数据点作为更新后的待计算数据点，并返回步骤52，直至迭代完成，执行步骤57。
在步骤56中，假设所述车道线的三维点云数据中还包括数据点B’、C’、D’……，选择数据点B’，计算所述数据点B’到所述地面估计模型的距离D2，并判断所述距离值D2是否小于距离阈值DT’，
若所述距离值D2小于距离阈值DT’，则确认所述数据点B’为候选地面点；
若所述距离值D2大于距离阈值DT’，则舍弃数据点B’；
类似的，计算数据点C’到所述地面估计模型的距离D3，判断所述距离值D3是否小于距离阈值DT’，
若所述距离值D3小于距离阈值DT’，则确认所述数据点C’为候选地面点；
若所述距离值D3大于距离阈值DT’，则舍弃数据点C’；
……
直至所述车道线三维点云数据中所有的数据点完成计算。
步骤57：得到初始候选地面点云。
这里，车载设备统计所述车道线三维点云数据中所有满足迭代条件的数据点，得到初始候选地面点云，即步骤431中的初始候选地面点云。
步骤433：基于所述初始候选地面点云对所述初始地面估计模型进行更新，并返回步骤432，直至满足设置的迭代条件，执行步骤434；
这里，车载设备基于所述初始候选地面点云对所述初始地面估计模型进行更新，并返回所述根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云的步骤，直至满足设置的迭代条件，具体可以为：车载设备根据计算车道线三维点云中各数据点到初始地面估计模型的距离值的计算方法，计算得到所述初始候选地面点云中各数据点到所述初始地面估计模型的距离大小，得到第一候选地面点云，并将所述第一候选地面点云进行平面拟合，得到第一地面估计模型，作为对所述初始地面估计模型更新后的地面估计模型。然后，又根据所述第一候选地面点云中各数据点到所述第一地面估计模型的距离，确定第二候选地面点云，相继得到第二地面估计模型，作为对所述分段的第一分段地面估计模型更新后的分段地面估计模型，如此，循环迭代，相继得到多个第三地面估计模型、第四地面估计模型、第五地面估计模型……，直至满足车载设备内预先设置的迭代条件方停止迭代。
步骤434：得到迭代后确定的候选地面点云。这里，假设满足车载设备内预先设置的迭代条件是得到第N候选地面点云，则所述第N候选地面点云为迭代后确定的候选地面点云，同时，第N-1地面估计模型为确定的估计地面。
步骤44：将所述迭代后确定的候选地面点云数据进行分段，得到各分段对应的候选地面点云段数据。
这里，车载设备将所述迭代后确定的候选地面点云数据沿车辆行进方向进行分段。具体可以为：车载设备将所述迭代后的候选地面点云数据沿车辆的行进方向按照相同的分段距离值进行分段，例如，假设迭代后确定的候选地面点云数据的长度值为100，则可将所述迭代后确定的候选地面点云沿车辆行进方向分成(0-30],(30-60],(60-100]三段，从而得到各分段对应的候选地面点云段数据。
步骤45：基于每一分段的所述候选地面点云段数据创建分段估计地面；
其中，在步骤45中，车载设备基于每一分段的所述候选地面点云段数据创建分段估计地面具体可以为：
车载设备选择所述分段的候选地面点云中的各数据点进行协方差矩阵C的计算，其计算公式为：
Figure BDA0001994106420000201
Si为所述候选地面点云数据中各数据点分别在x，y，z坐标轴上的坐标，S指的是所述车道线的三维点云分别在x，y，z坐标上的坐标平均值；通过上述计算公式从而得到所述分段车道线的三维点云数据所对应的协方差矩阵C。
然后，车载设备对所述协方差矩阵C进行奇异值分解，得到一系列的奇异向量，这些奇异向量按照特征值的大小从大到小排列，由于垂直于地面的法向量代表了方差最小的方向，方差最小即代表了奇异值最小，所以最后选取奇异值最小的向量作为估计地面的系数a，b，c，d。
步骤46：获取各分段估计地面对应的所述目标场景图像的点云段数据。
这里，车载设备获取对应各分段估计地面的各目标场景图像的点云段数据可以包括：车载设备将目标场景图像的三维点云按照相同的分段距离值进行分段，从而得到各分段对应的目标场景图像的点云段数据。其中，目标场景图像的点云段数据和候选地面点云段数据存在一一对应的关系，因此，各分段估计地面与各目标场景图像的点云段数据也存在一一对应的关系。
步骤47：根据所述目标场景图像的每一分段的点云段数据与对应分段估计地面的距离满足设置条件时，确定对应的所述目标场景图像的分段地面点云；
这里，如图3所示，车载设备根据每一分段的所述目标场景图像的点云段数据与对应分段估计地面的距离满足设置条件时，确定对应的目标场景图像的分段地面点云，可以包括：
步骤31:选择任一目标场景图像的点云段中的任一数据点作为初始的待计算数据点，
步骤32:计算所述待计算数据点到对应的分段估计地面的距离值；
步骤33:判断所述距离值是否满足设置条件；
步骤34:若是，则确定所述待计算数据点为目标场景图像的分段地面点，执行步骤36；
步骤35:若否，则舍弃所述待计算数据点，执行步骤36；
步骤36:选择所述目标场景图像的点云段数据中的下一数据点作为更新后的待计算数据点，并返回步骤32，直至迭代完成，执行步骤37；
步骤37:得到目标场景图像的分段地面点云。
在步骤33中，所述判断所述距离值是否满足设置条件可以是指判断所述距离值是否小于预先设置的距离阈值，例如，预先在系统内默认设置有一个距离阈值DT，则所述判断所述距离值是否满足设置条件即是判断所述距离值是否小于距离阈值DT。其中，在步骤32中，车载设备计算所述待计算数据点到对应的分段估计地面的距离值可以包括：
假设数据点A”为所述待计算数据点，该数据点A”的坐标值为(x”，y”，z”)，计算所述数据点A”(x”，y”，z”)到对应的分段估计地面的距离值D1’,该距离值D1’的计算公式具体可以为：
Figure BDA0001994106420000211
所述a,b,c,d为地面估计模型系数。
步骤48：根据所述目标场景图像的分段地面点云确定所述目标场景图像的地面点云。
这里，车载设备根据所述目标场景图像的分段地面点云确定所述目标场景图像的地面点云可以是指统计每一分段对应的目标场景图像的分段地面点云，从而得到整个目标场景图像的地面点云。
步骤49：根据所述目标场景图像内的地面点云确定所述目标场景图像的地面。
这里，车载设备将步骤48中得到的目标场景图像的地面点云进行连接，从而得到对应所述目标场景图像的一个平面或曲面，该平面或曲面即为目标场景图像的地面。
在本申请上述实施方式中，使用车道线上的三维点云数据进行拟合得到估计地面，并通过判定目标场景图像内地面上的其他数据点到估计地面的距离实现目标场景图像的地面分割，能够快速且准确的对地面进行实时分割，提高地面分割的精度，而且，通过对目标场景内的车道线三维点云数据以及目标场景图像进行分段，可以考虑到地面出现的凹凸情况，提高了对目标场景图像进行地面分割的实用性和有效性，并且，本申请实施方式只需要在车载设备上安装一个双目立体相机便可采集到对目标场景图像内的地面进行有效且准确分割的数据，既节省了拍摄成本、又能有效且准确的获取到真实的地面。
在另一实施方式中，如图6所示，还提供了一种基于立体视觉的地面分割装置，包括：获取模块71、确定模块62；其中，
所述获取模块61，用于获取目标场景图像的三维点云数据；还用于获取目标场景内车道线的三维点云数据；
所述确定模块62，用于根据所述车道线的三维点云数据确定估计地面,根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定目标场景图像的地面点云；还用于根据所述目标场景图像的地面点云确定所述目标场景图像的地面。
在本申请上述实施方式中，获取目标场景图像的三维点云数据；获取目标场景内车道线的三维点云数据；根据所述车道线的三维点云数据确定估计地面,根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定目标场景图像的地面点云；根据所述目标场景图像的地面点云确定目标场景图像的地面将所述目标场景图像的三维点云数据和所述车道线的三维点云数据分别进行分段，得到各分段对应的目标场景图像的点云段数据和车道线的点云段数据；根据每一分段的所述车道线的点云段数据和所述分段对应的所述目标场景图像的点云段数据，确定所述目标场景图像的地面，如此，通过基于车道线的三维点云数据确定的估计地面和整个目标场景图像的三维点云数据的距离判定进行分段拟合，可以对采集的目标场景图像实现有效且准确的地面分割，由于车道线具有明显的边缘信息，比地面其它部分的纹理更丰富，因此基于车道线数据的立体匹配精度更高，基于车道线拟合的三维点云数据确定估计地面的精度也会更高，且由于车道线的三维点云数据相对更少，因此通过车道线的三维点云数据确定估计地面可以有效减少计算量，提高计算速度。
可选地，所述确定模块62，还用于根据目标场景图像获取车道线的像素信息；根据所述车道线的像素信息以及所述目标场景图像的三维点云数据的对应关系确定所述目标场景内车道线的三维点云数据。
可选地，所述获取模块61，还用于根据目标场景图像获取车道线的像素信息；根据所述车道线的像素信息与所述目标场景图像的三维点云数据的对应关系，确定目标场景内车道线的三维点云数据。
可选地，所述确定模块62，还用于基于所述车道线的三维点云数据创建初始地面估计模型，根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云；
基于所述初始候选地面点云对所述初始地面估计模型进行更新，并返回所述根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云的步骤，直至满足设置的迭代条件；
根据迭代后确定的候选地面点云确定估计地面。
可选地，所述确定模块62，还用于将所述车道线三维点云数据作为待计算三维点云数据，获取所述待计算三维点云数据对应的协方差矩阵C；根据所述协方差矩阵C进行奇异值分解，确定初始地面估计模型的系数。
可选地，所述确定模块62，还用于选择所述车道线的三维点云数据中的任一数据点作为初始的待计算数据点，确定所述待计算数据点到所述地面估计模型的距离值；
判断所述距离值是否小于预先设置的距离阈值；
若是，确认所述待计算数据点为初始的候选地面点；
若否，舍弃所述待计算数据点；
选择所述车道线的三维点云数据中的下一数据点作为更新后的待计算数据点，并返回所述确定所述待计算数据点到所述地面估计模型的距离值的步骤，直至迭代完成，得到初始的候选地面点云。
可选地，所述确定模块62，还用于将所述迭代后确定的候选地面点云进行分段得到各分段对应的候选地面点云段数据，基于每一分段的所述候选地面点云段数据创建分段估计地面；
获取各分段估计地面对应的所述目标场景图像的点云段数据；
根据所述目标场景图像的每一分段的点云段数据与对应分段估计地面的距离满足设置条件时，确定对应的所述目标场景图像的分段地面点云；
根据所述目标场景图像的分段地面点云确定所述目标场景图像的地面点云。
可选地，所述确定模块62，还用于将所述迭代后确定的候选地面点云分别沿车辆行进方向进行分段，得到各分段对应的候选地面点云段数据。
在另一实施方式中，还提供了一种车载设备，包括：至少一个处理器710和用于存储能够在处理器710上运行的计算机程序的存储器711；其中，图7中示意的处理器710并非用于指代处理器的个数为一个，而是仅用于指代处理器相对其他器件的位置关系，在实际应用中，处理器的个数可以为一个或多个；同样，图7中示意的存储器711也是同样的含义，即仅用于指代存储器相对其他器件的位置关系，在实际应用中，存储器的个数可以为一个或多个。
其中，所述处理器710用于运行所述计算机程序时，执行本申请上述任一实施方式所介绍的基于立体视觉的地面分割方法。
该车辆所在车道的定位装置还包括：至少一个网络接口712。发送端中的各个组件通过总线系统713耦合在一起。可理解，总线系统713用于实现这些组件之间的连接通信。总线系统713除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统713。
其中，存储器711可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器711旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的存储器711用于存储各种类型的数据以支持发送端的操作。这些数据的示例包括：用于在发送端上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序，用于实现各种应用业务。这里，实现本发明实施例方法的程序可以包含在应用程序中。
本实施例还提供了一种存储介质，例如包括存储有计算机程序的存储器711，上述计算机程序可由发送端中的处理器710执行，以完成前述方法所述步骤。计算机存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、FlashMemory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如智能手机、平板电脑、笔记本电脑等。一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程被处理器运行时，上述任一实施方式所介绍的基于立体视觉的地面分割方法。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (11)

1.一种基于立体视觉的地面分割方法，其特征在于，包括：
获取目标场景图像的三维点云数据；
获取目标场景内车道线的三维点云数据；
根据所述车道线的三维点云数据确定估计地面,根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定所述目标场景图像的地面点云；
根据所述目标场景图像的地面点云确定所述目标场景图像的地面。
2.根据权利要求1所述的基于立体视觉的地面分割方法，其特征在于，所述获取目标场景内车道线的三维点云数据包括：
根据目标场景图像获取车道线的像素信息；
根据所述车道线的像素信息与所述目标场景图像的三维点云数据的对应关系，确定目标场景内车道线的三维点云数据。
3.根据权利要求1所述的基于立体视觉的地面分割方法，其特征在于，所述根据所述车道线的三维点云数据确定估计地面,根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定目标场景图像的地面点云，包括：
基于所述车道线的三维点云数据创建初始地面估计模型，根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云；
基于所述初始候选地面点云对所述初始地面估计模型进行更新，并返回所述根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云的步骤，直至满足设置的迭代条件；
根据迭代后确定的候选地面点云确定估计地面，根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定目标场景图像的地面点云。
4.如权利要求3所述的方法，其特征在于，所述基于所述车道线的三维点云数据创建初始地面估计模型，包括：
将所述车道线的三维点云数据作为待计算三维点云数据，获取所述待计算三维点云数据对应的协方差矩阵C；
根据所述协方差矩阵C进行奇异值分解，确定初始地面估计模型的系数。
5.根据权利要求3所述的基于立体视觉的地面分割方法，其特征在于，所述根据所述车道线的三维点云数据与所述初始地面估计模型之间的距离，确定初始候选地面点云，包括：
选择所述车道线的三维点云数据中的任一数据点作为初始的待计算数据点，确定所述待计算数据点到所述初始地面估计模型的距离值；
判断所述距离值是否小于预先设置的距离阈值；
若是，确认所述初始的待计算数据点为初始候选地面点；
若否，舍弃所述初始的待计算数据点；
选择所述车道线的三维点云数据中的下一数据点作为更新后的待计算数据点，并返回所述确定所述待计算数据点到所述初始地面估计模型的距离值的步骤，直至迭代完成，得到初始候选地面点云。
6.如权利要求3所述的方法，其特征在于，所述直至满足设置的迭代条件包括：
直至迭代次数达到设置的最大迭代次数；或者
直至当前候选地面点的数量与上一次迭代所确定的候选地面点的数量差值小于阈值。
7.根据权利要求3所述的基于立体视觉的地面分割方法，其特征在于，所述根据迭代后确定的候选地面点云确定估计地面，根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定目标场景图像的地面点云，包括：
将所述迭代后确定的候选地面点云进行分段得到各分段对应的候选地面点云段数据，基于每一分段的所述候选地面点云段数据创建分段估计地面；
获取各分段估计地面对应的所述目标场景图像的点云段数据；
根据所述目标场景图像的每一分段的点云段数据与对应分段估计地面的距离满足设置条件时，确定对应的所述目标场景图像的分段地面点云；
根据所述目标场景图像的分段地面点云确定所述目标场景图像的地面点云。
8.根据权利要求7所述的基于立体视觉的地面分割方法，其特征在于，所述将所述迭代后确定的候选地面点云进行分段得到各分段对应的候选地面点云段数据，包括：
将所述迭代后确定的候选地面点云分别沿车辆行进方向进行分段，得到各分段对应的候选地面点云段数据。
9.一种基于立体视觉的地面分割装置，其特征在于，包括：
获取模块，用于获取目标场景图像的三维点云数据；还用于获取目标场景内车道线的三维点云数据；
确定模块，用于根据所述车道线的三维点云数据确定估计地面,根据所述目标场景图像的三维点云数据与所述估计地面之间的距离满足设置条件时，确定所述目标场景图像的地面点云；还用于根据所述目标场景图像的地面点云确定所述目标场景图像的地面。
10.一种车载设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，实现权利要求1至8任一项所述的基于立体视觉的地面分割方法。
11.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于立体视觉的地面分割方法。
CN201910190018.5A 2019-03-13 2019-03-13 基于立体视觉的地面分割方法、装置、车载设备及存储介质 Active CN111695379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910190018.5A CN111695379B (zh) 2019-03-13 2019-03-13 基于立体视觉的地面分割方法、装置、车载设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910190018.5A CN111695379B (zh) 2019-03-13 2019-03-13 基于立体视觉的地面分割方法、装置、车载设备及存储介质

Publications (2)

Publication Number Publication Date
CN111695379A true CN111695379A (zh) 2020-09-22
CN111695379B CN111695379B (zh) 2023-09-26

Family

ID=72475701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910190018.5A Active CN111695379B (zh) 2019-03-13 2019-03-13 基于立体视觉的地面分割方法、装置、车载设备及存储介质

Country Status (1)

Country Link
CN (1) CN111695379B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304142A (zh) * 2023-05-12 2023-06-23 智道网联科技(北京)有限公司 点云数据获取方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101268523B1 (ko) * 2012-03-19 2013-05-28 한국과학기술원 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법
CN103605135A (zh) * 2013-11-26 2014-02-26 中交第二公路勘察设计研究院有限公司 一种基于断面剖分的道路特征提取方法
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN105701478A (zh) * 2016-02-24 2016-06-22 腾讯科技（深圳）有限公司 杆状地物提取的方法和装置
CN106570446A (zh) * 2015-10-12 2017-04-19 腾讯科技（深圳）有限公司 车道线提取的方法和装置
CN107085219A (zh) * 2017-04-28 2017-08-22 上海华测导航技术股份有限公司 一种地面线数据的自动生成系统
CN107145825A (zh) * 2017-03-31 2017-09-08 纵目科技（上海）股份有限公司 地平面拟合、摄像头标定方法及系统、车载终端
US20180225515A1 (en) * 2015-08-04 2018-08-09 Baidu Online Network Technology (Beijing) Co. Ltd. Method and apparatus for urban road recognition based on laser point cloud, storage medium, and device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101268523B1 (ko) * 2012-03-19 2013-05-28 한국과학기술원 레이저 스캐너를 이용한 도시 환경에서의 빠른 주변 환경 인식 방법
CN103605135A (zh) * 2013-11-26 2014-02-26 中交第二公路勘察设计研究院有限公司 一种基于断面剖分的道路特征提取方法
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
US20180225515A1 (en) * 2015-08-04 2018-08-09 Baidu Online Network Technology (Beijing) Co. Ltd. Method and apparatus for urban road recognition based on laser point cloud, storage medium, and device
CN106570446A (zh) * 2015-10-12 2017-04-19 腾讯科技（深圳）有限公司 车道线提取的方法和装置
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN105701478A (zh) * 2016-02-24 2016-06-22 腾讯科技（深圳）有限公司 杆状地物提取的方法和装置
CN107145825A (zh) * 2017-03-31 2017-09-08 纵目科技（上海）股份有限公司 地平面拟合、摄像头标定方法及系统、车载终端
CN107085219A (zh) * 2017-04-28 2017-08-22 上海华测导航技术股份有限公司 一种地面线数据的自动生成系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马进全;李玉忠;穆文龙;: "基于空间相似聚类的点云数据分割方法研究与实验", 地理信息世界, no. 02, pages 134 - 138 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304142A (zh) * 2023-05-12 2023-06-23 智道网联科技(北京)有限公司 点云数据获取方法、装置、设备及存储介质
CN116304142B (zh) * 2023-05-12 2023-08-08 智道网联科技(北京)有限公司 点云数据获取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111695379B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN109671115B (zh) 使用深度值估计的图像处理方法和装置
CN108985171B (zh) 运动状态估计方法和运动状态估计装置
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP4912388B2 (ja) ２次元見え方およびマルチキュー奥行き推定を使用する実世界の物体の視覚的追跡方法
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
US20150206015A1 (en) Method for Estimating Free Space using a Camera System
EP2116975A2 (en) Method and apparatus for vision based motion determination
WO2018120040A1 (zh) 一种障碍物检测方法及装置
KR20210119417A (ko) 깊이 추정법
US20150036887A1 (en) Method of determining a ground plane on the basis of a depth image
CN111627001B (zh) 图像检测方法及装置
KR101076406B1 (ko) 장애물체 위치 및 속도 추정 장치 및 방법
CN110132242B (zh) 多摄像机即时定位与地图构建的三角化方法及其运动体
EP3293700B1 (en) 3d reconstruction for vehicle
WO2021195939A1 (zh) 一种双目拍摄装置的外参的标定方法、可移动平台及系统
CN108592919B (zh) 制图与定位方法、装置、存储介质和终端设备
CN111047634A (zh) 场景深度的确定方法、装置、设备及存储介质
CN111695379B (zh) 基于立体视觉的地面分割方法、装置、车载设备及存储介质
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
WO2022141262A1 (en) Object detection
CN115937002A (zh) 用于估算视频旋转的方法、装置、电子设备和存储介质
EP4345750A1 (en) Position estimation system, position estimation method, and program
CN114241441B (zh) 基于特征点的动态障碍物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant