CN108509820A - 障碍物分割方法及装置、计算机设备及可读介质 - Google Patents

障碍物分割方法及装置、计算机设备及可读介质 Download PDF

Info

Publication number
CN108509820A
CN108509820A CN201710098912.0A CN201710098912A CN108509820A CN 108509820 A CN108509820 A CN 108509820A CN 201710098912 A CN201710098912 A CN 201710098912A CN 108509820 A CN108509820 A CN 108509820A
Authority
CN
China
Prior art keywords
window
barrier
central point
characteristic information
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710098912.0A
Other languages
English (en)
Other versions
CN108509820B (zh
Inventor
孙迅
谢远帆
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710098912.0A priority Critical patent/CN108509820B/zh
Publication of CN108509820A publication Critical patent/CN108509820A/zh
Application granted granted Critical
Publication of CN108509820B publication Critical patent/CN108509820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种障碍物分割方法及装置、计算机设备及可读介质。其方法包括:根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各所述窗口的中心点的特征信息;根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测各所述窗口的中心点对应的语义特征信息;根据各所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割。采用本发明的技术方案,可以根据各窗口的中心点对应的语义特征信息,合理化地对障碍物点云中的各障碍物进行分割,从而能够有效地提高对障碍物分割的准确性,进而能够有效地提高对障碍物分割的精度。

Description

障碍物分割方法及装置、计算机设备及可读介质
【技术领域】
本发明涉及自动驾驶技术领域,尤其涉及一种障碍物分割方法及装置、计算机设备及可读介质。
【背景技术】
在现有的自动驾驶技术中,为了保证无人车在道路上行驶的安全,需要实时从当前车辆周围的三维点云中分割出障碍物,以从当前车辆周围环境中检测出每个障碍物的位置信息,并将其反馈给规划控制系统从而进行避章操作。因此,对三维点云中的障碍物的分割是一项非常关键的技术。
现有技术中,受限于“实时”的效率要求,无人车行驶中的障碍物分割算法基本都只依赖于空间距离信息。其基本假设是空间上距离接近的点来自于同一个障碍物,反之距离较远的物体分布在不同的障碍物上。基于这种假设,该类方法又可以大致分为基于局部区域生长方法和非局部图模型切割的方法。其中局部区域生长方法是根据局部距离利用一个或多个阈值通过“连接”操作进行生长。“连接”操作即为将欧式距离低于某阈值的点连接起来作为一个cluster。而基于图模型的方法则先将点云表示成一张图。其中,图的“顶点”是点或者一小块点集,而“边”连接了局部距离较近的顶点(可以是最近的K个顶点,或者距离小于一定阈值的顶点)。最后通过优化一个目标函数(例如normalized cut算法)来决定边集的切割,切割后连通的顶点集作为一个cluster。这样,通过上述两种方式中任一种对三维点云中的所有点进行处理,可以实现对三维点云中的障碍物的分割。
上述现有技术中仅仅依靠局部的空间距离信息对障碍物进行分割,而难以将障碍物高质量地从点云中分割出来;例如基于区域生长的方法,难以确定分割的阈值,阈值过大容易欠分割(多个障碍物被当作一个cluster),反之则容易过分割(一个障碍物被分成多个cluster)。而基于图模型的方法有一个自适应的动态的分割阈值,也不能很好的处理过分割和欠分割的问题。因此,现有技术的障碍物分割方法对障碍物分割的精度较低。
【发明内容】
本发明提供了一种障碍物分割方法及装置、计算机设备及可读介质,用于提高自动驾驶领域中对障碍物的分割精度。
本发明提供一种障碍物分割方法,所述方法包括:
根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各所述窗口的中心点的特征信息;
根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测各所述窗口的中心点对应的语义特征信息;
根据各所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割。
本发明还提供一种障碍物分割装置,所述装置包括:
获取模块,用于根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各所述窗口的中心点的特征信息;
预测模块,用于根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测各所述窗口的中心点对应的语义特征信息;
分割处理模块,用于根据各所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割。
本发明还提供一种计算机设备,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的障碍物分割方法。
本发明还提供一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的障碍物分割方法。
本发明的障碍物分割方法及装置、计算机设备及可读介质,通过根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各所述窗口的中心点的特征信息;根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测各所述窗口的中心点对应的语义特征信息;根据各所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割。本发明的技术方案,可以根据各窗口的中心点对应的语义特征信息,合理化地对障碍物点云中的各障碍物进行分割,可以克服现有技术中仅根据局部的空间距离信息对障碍物进行分割,所造成的分割和欠分割的技术问题,从而能够有效地提高对障碍物分割的准确性,进而能够有效地提高对障碍物分割的精度。
【附图说明】
图1为本发明的障碍物分割方法实施例一的流程图。
图2为本发明实施例提供过的一种障碍物点云的二维高度图。
图3为本发明的障碍物分割方法实施例二的流程图。
图4为本发明的障碍物分割方法实施例三的流程图。
图5为本发明的障碍物分割装置实施例一的结构图。
图6为本发明的障碍物分割装置实施例二的结构图。
图7为本发明的障碍物分割装置实施例三的结构图。
图8为本发明的计算机设备实施例的结构图。
图9为本发明提供的一种计算机设备的示例图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
图1为本发明的障碍物分割方法实施例一的流程图。如图1所示,本实施例的障碍分割方法,具体可以包括如下步骤:
100、根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各窗口的中心点的特征信息;
101、根据各窗口的特征信息、对应的各窗口的中心点的特征信息以及预先训练的语义特征模型,预测各窗口的中心点对应的语义特征信息;
102、根据各窗口的中心点对应的语义特征信息,对障碍物点云中的各障碍物进行分割。
本实施例的障碍物分割方法应用在自动驾驶技术领域中。在自动驾驶中,需要车辆能够实时地从激光雷达扫描得到的当前车辆周围的障碍物点云中分割出各个障碍物,以在车辆行驶中及时确定各个障碍物的位置,并及时做出决策与控制,避开各个障碍物,便于车辆的安全行驶。本实施例的障碍物分割方法的执行主体可以为障碍物分割装置,该障碍物分割装置可以采用多个模块集成而得,该障碍物分割装置具体可以设置在自动驾驶的车辆中,以对自动驾驶的车辆的安全行驶进行控制。
本实施例的障碍物点云可以采用激光雷达扫射得到的。激光雷达的规格可以采用16线、32线或者64线等等。其中线数越高表示激光雷达的单位能量密度越大,照射在障碍物表面上的单位面积的点数越多。本实施例中,装在当前车辆上的激光雷达通过扫描当前车辆周围一圈的障碍物的信息,可以得到障碍物的点云。其中激光雷达可以在每一秒中旋转360度,从而得到一帧障碍物的点云。当前车辆周围的障碍物的数量可以有一个,也可以有多个;若当前车辆周围包括的多个障碍物时,一帧障碍物点云中同时包括多个障碍物的点云,因此,本实施例需要对障碍物点云中的多个障碍物进行分割,划分出每一个障碍物,以便于在车辆行驶中对每一个障碍物进行规避。激光雷达扫描障碍物之后,可以以当前车辆的质心位置为坐标系的原点,并取平行于水平面的两个方向分别为x方向和y方向,作为长度方向和宽度方向,垂直于地面的方向为z方向,作为高度方向,并根据障碍物中的激光雷达的每一个扫描点与原点的相对位置和距离,在坐标系中标识障碍物中的每一个扫描点,从而得到障碍物点云。另外,激光雷达还可以检测出每一个障碍物中每一个扫描点的反射值等等障碍物信息。实际应用中,坐标系还可以以激光雷达的质心位置为原点,其它方向不变;或者还可以采用其他坐标系来标识障碍物点云,在此不再一一举例赘述。另外,本实施例的障碍物的点云也可以采用计算机视觉中基于图像的structure from motion,stereovision等技术获取到。
本实施例在对障碍物分割时,选择的处理对象为根据障碍物点云获取的对应的数个窗口。例如根据三维的障碍物点云直接获取对应的窗口,该窗口也为三维的,窗口的形状具体可以为立方体;或者还可以以根据三维的障碍物点云获取到二维的投影图作为研究对象,此时对应的窗口为二维的,窗口的形状具体可以为正方形。
例如当窗口为三维时,此时步骤100“根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各窗口的中心点的特征信息”具体可以包括如下步骤:
(a1)对三维的障碍物点云进行离散化的网格处理,使得障碍物点云划分成数个格子;
具体地,对三维的障碍物点云进行离散化的网格处理,从而将障碍物点云中的点离散化地分布在数个格子中,每个格子作为障碍物点云的一个体素点,本实施例的体素点的概念与二维情况中的像素点的概念类似。其中数个格子中相邻的格子与格子之间没有空隙、紧邻分布。每个格子中可以包括障碍物点云中的多个激光雷达的扫描点。离散化的网格处理过程中,格子的大小可以根据障碍物的尺寸来确定,避免过大或者过小,使得每个格子中包括适当数量的扫描点即可;格子过大的话,格子中包括的扫描点的数量太多,障碍物中包括的格子数量太少,选取没有意义;格子过小的话,每个格子中包括的扫描点的数量又太少,格子的选取同样没有意义。
(a2)以障碍物点云中的每个格子为中心点,获取对应的窗口,共得到数个窗口;
本实施例中,为了保证每个格子均可以作为研究对象被处理,实际应用中,可以以每个格子作为窗口的中心点即窗口的中心体素点,构造对应的窗口。这样,划分后的障碍物点云中有多少个格子,对应可以构造多少个窗口。本实施例中的窗口的大小以包括适当数量的格子为宜,窗口不能过大或者过小,窗口过大的话,每个障碍物中的窗口数量太少,每个窗口中包括的格子数量过多;窗口过小的话,窗口数量又太多,每个窗口中包括的格子数量又太少;均无法准确、有效地获取该窗口对应的语义特征信息,从而无法有效地对障碍物进行分割。例如障碍物点云分布在距离中心x和y方向正负70米、高度正负4米的范围,假设离散化网格处理时选择的格子长度是0.2米*0.2米*0.2米,那么障碍物点云可以分布在一个长度和宽度等于140,高度等于8米空间中,对应将障碍物点云分布在700*700*40的网格中。窗口的大小可以取0.6米*0.6米*0.6米、或者1米*1米*1米等等。需要注意的是,本实施例中的窗口的边长需要是格子的边长的奇数倍,这样可以保证窗口的正中心正好落在位于窗口的中心的格子的正中心,以便于每个窗口的中心点正好对应存在一个作为体素点的格子。
经上述步骤(a1),根据障碍物点云得到的格子中均包括有激光雷达的扫描点,没有空格子。但是,步骤(a2)中,当以障碍物点云中的位于边缘的格子为中心点,获取对应的窗口时,窗口的大小不变,由于边缘外部不再存在体素点,此时可以通过构造空格子来填补一个完整的窗口。本实施例中的空格子为内部没有激光雷达扫描点的格子。
(a3)获取各窗口的特征信息以及各窗口的中心点的特征信息;
本实施例中,在三维的窗口中,各窗口的特征信息可以包括窗口中各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个。其中各体素点的高度具体可以为该体素点中所包括的激光雷达扫描点的高度的平均值,或者该体素点中所包括的激光雷达扫描点的最大高度值。各体素点的密度具体可以为该体素点所包括的激光雷达扫描点的数量。平均反射值具体可以为该体素点所包括的各激光雷达扫描点的反射值的平均数。其中的中心点在三维窗口中即指的是窗口的中心体素点。
需要说明的是,由于窗口的特征信息在具体的处理中是以向量的形式存在的,若窗口中包括空格子存在的体素点,在获取窗口的特征信息中,空格子存在的体素点也要参与特征信息的获取。空格子存在的体素点对应的距离地面的高度、密度以及平均反射值均为0。
根据上述方式,可以获取到窗口中每一个体素点距离地面的高度、每一个体素点的密度以及每一个体素点的平均反射值;对应的根据窗口中每一个体素点距离地面的高度、每一个体素点的密度以及每一个体素点的平均反射值,可以获取到窗口中每一个体素点与中心点即中心体素点的距离地面的高度差、密度差以及平均反射值差。然后可以根据实际需求,根据窗口中各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个,构成该窗口的特征信息,具体可以将该窗口的特征信息采用向量的形式存在。当窗口的特征信息包括各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的一个时,此时对应的表示窗口的特征信息的向量的维数为该窗口中所包括的体素点的数量;当窗口的特征信息包括各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的两个时,此时对应的表示窗口的特征信息的向量的维数为该窗口中所包括的体素点的数量的二倍;同样,当窗口的特征信息包括各体素点与中心点的距离地面的高度差、密度差以及平均反射值差时,此时对应的表示窗口的特征信息的向量的维数为该窗口中所包括的体素点的数量的三倍。
本实施例中的各窗口的中心点的特征信息即为各窗口的中心体素点的特征信息,具体为该体素点距离地面的高度、密度以及平均反射值中的至少一个。窗口的中心点的特征信息与上述实施例中的窗口的特征的信息对应,窗口的特征信息中包括该窗口中的各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的哪个参数,对应的窗口的中心点的特征信息即包括哪个参数。由于窗口的中心点的特征信息仅包括一个体素点的特征信息,对应的当窗口的中心点的特征信息采用向量的形式表示时,该向量为一维形式。
由于每帧障碍物点云中的数量非常多,例如,当采用64线激光雷达时,每帧的点云个数可以达到13万左右,三维窗口的特征信息以及各窗口的中心点的特征信息包含的数据较多,在预测各窗口的中心点对应的语义特征信息时,计算量非常大,因此,本实施例中,为了减少预测各窗口的中心点对应的语义特征信息的计算量,优选地,本实施例中可以选取二维的窗口,以简化各窗口的特征信息以及各窗口的中心点的特征信息。
当窗口为二维时,此时步骤100“根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各窗口的中心点的特征信息”具体可以包括如下步骤:
(b1)将障碍物点云投射在垂直于高度的二维平面上,得到障碍物点云的二维映射图;
例如为了便于投射,具体可以向地面所在的二维平面投射障碍物点云,得到障碍物点云的二维映射图。
(b2)根据障碍物点云的二维映射图和障碍物点云中各点的高度,得到障碍物点云的二维高度图;
然后根据障碍物点云中的各点的高度,为二维映射图中各映射点设置高度。例如二维映射图中各映射点距地面的高度可以为该映射点对应的障碍物点云中的各点距地面的最高高度,或者也可以为该映射点对应的障碍物点云中的各点距地面的高度的平均值,即平均高度。然后根据确定的各映射点的高度,在二维映射图中各映射点标识高度,从而得到障碍物点云的二维高度图。
(b3)对二维高度图中的障碍物点云的映射点进行离散化的网格处理,使得二维高度图中的障碍物点云的映射点划分成数个格子;
将二维高度图中的障碍物点云的映射点进行离散化的网格处理,从而将障碍物点云中的映射点离散化地分布在二维空间的数个格子中,每个格子作为障碍物点云的一个像素点。例如,图2为本发明实施例提供过的一种障碍物点云的二维高度图。如图2所示,将障碍物点云的二维高度图中的障碍物点云的映射点分布在数个格子中。数个格子中相邻的格子与格子之间没有空隙、紧邻分布。每个格子中可以包括多个障碍物点云的映射点,而每个障碍物点云的映射点可以对应障碍物点云中的多个激光雷达的扫描点。因此,也可以得到每个格子对应的障碍物点云中的多个激光雷达的扫描点。
(b4)以每个格子为中心点,获取对应的窗口,共得到数个窗口;
同理,为了保证每个格子均可以作为研究对象被处理,实际应用中,可以以每个格子作为窗口的中心点即窗口的中心像素点,构造对应的窗口。这样,划分后的二维高度图有多少个格子,对应可以构造多少个窗口。同理,窗口的大小可以根据障碍物点云的二维高度图中x方向和y方向的尺寸来设置,使得每个格子中包括适当数量的映射点即可。例如障碍物点云分布在距离中心x和y方向正负70米的范围,假设离散化网格处理时选择的格子长度是0.2米*0.2米,那么障碍物点云可以分布在一个长度和宽度等于140的空间中,对应将障碍物点云分布在700*700的网格中。窗口的大小可以取0.6米*0.6米,或者1米*1米等等。需要注意的是,本实施例中的窗口的边长需要是格子的边长的奇数倍,这样可以保证窗口的正中心正好落在位于窗口的中心的格子的正中心,以便于每个窗口的中心点正好对应存在一个作为像素点的格子。
经上述步骤(b3),根据障碍物点云的二维高度图中的障碍物点云的映射点得到的格子中均包括有对应的激光雷达的扫描点,没有空格子。但是,步骤(b4)中,当以网格化处理后的二维高度图中位于边缘的格子为中心点,获取对应的窗口时,窗口的大小不变,由于边缘外部不再存在像素点,此时可以通过构造空格子来填补一个完整的窗口。本实施例中的空格子为内部没有包括对应的激光雷达扫描点的格子。
(b5)获取各窗口的特征信息以及各窗口的中心点的特征信息;
具体地,根据获取到的每个格子中包括的映射点对应的高度,可以获取该格子对应的像素点距地面的高度。具体地,取每个格子对应的像素点距地面的高度为该格子中所包括的所有映射点的最高高度或者所有映射点的平均高度。还可以获取到每个格子中所包括的映射点所对应的障碍物点云中的激光扫描点的数量,作为该格子的密度。另外,还可以获取到每个格子中所包括的映射点所对应的障碍物点云中的所有激光雷达扫描点的反射值,然后取该格子中所包括的映射点所对应的障碍物点云中的所有激光扫描点的反射值的平均数,作为该格子的平均反射值。
然后,取窗口中各像素点与中心点即中心像素点的距离地面的高度差、密度差以及平均反射值差中的至少一个作为对应的该窗口的特征信息,窗口的特征信息在处理时可以采用向量的形式标识。对应的窗口的中心点的特征信息,即窗口的中心像素点的特征信息可以为对应的中心像素点的距离地面的高度、密度以及平均反射值中的至少一个。
同理,需要说明的是,由于窗口的特征信息在具体的处理中是以向量的形式存在的,若窗口中包括空格子存在的像素点,在获取窗口的特征信息中,空格子存在的像素点也要参与特征信息的获取。空格子存在的像素点对应的距离地面的高度、密度以及平均反射值均为0。窗口的特征信息对应的向量维数的限定可以参考上述三维窗口中的相关限定,在此不再赘述。
进一步可选地,上述采用二维高度图来简化三维的障碍物点云,实际应用中,还可以将三维的障碍物点云在深度方向如垂直于y方向进行投射,得到二维深度图,并根据二维深度图采用类似的方式获取对应的各窗口,进而获取各窗口的特征信息以及各窗口的中心点的特征信息。其实现方式与二维高度图的实现方式相同,详细可以参考上述实施例的记载,在此不再赘述。
进一步地,根据上述实施例获取到各窗口的特征信息、对应的各窗口的中心点的特征信息之后,可以将获取到的窗口的特征信息、对应的窗口的中心点的特征信息代入预先训练的语义特征模型,该语义特征模型可以输出该窗口的中心点(即该窗口的中心体素点或者像素点)对应的语义特征信息。本实施例的语义特征模型可以预先采用多个窗口的特征信息、对应的各窗口的中心点的特征信息以及各窗口的中心点对应的语义特征信息进行训练得到的。
根据上述方式,可以预测到根据当前车辆周围的障碍物点云获取的数个窗口中每个窗口的中心点(即窗口的中心体素点或者中心像素点)对应的语义特征信息,然后可以根据各个窗口的中心点对应的语义特征信息,将障碍物点云中属于同一个障碍物的体素点或者像素点进行聚类,并根据聚类结果对障碍物点云中的各障碍物进行分割,使得各障碍物可以从障碍物点云中独立出来。
本实施例的障碍物分割方法,通过根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各窗口的中心点的特征信息;根据各窗口的特征信息、对应的各窗口的中心点的特征信息以及预先训练的语义特征模型,预测各窗口的中心点对应的语义特征信息;根据各窗口的中心点对应的语义特征信息,对障碍物点云中的各障碍物进行分割。采用本实施例的技术方案,可以根据各窗口的中心点对应的语义特征信息,合理化地对障碍物点云中的各障碍物进行分割,可以克服现有技术中仅根据局部的空间距离信息对障碍物进行分割,所造成的分割和欠分割的技术问题,从而能够有效地提高对障碍物分割的准确性,进而能够有效地提高对障碍物分割的精度。
进一步可选地,上述实施例中的语义特征信息为障碍物点云中距离之外的其它一些包含窗口的中心点的语义特征的信息,例如本实施例的语义特征信息可以包括如下几种情况:
第一种情况、各窗口的中心点对应的语义特征信息具体可以为该窗口的中心点对应的障碍物的类别;此时对应的语义特征模型具体可以为一种分类器模型,例如该分类器模型可以采用随机森林(Random Decision Forest;RDF)模型、决策树模型、逻辑回归模型、支持向量机(Support Vector Machine;SVM)模型、卷积神经网络(Convolution NeuralNetwork;CNN)模型以及其它类似的一些神经网络模型中的任意一种。可选地,该分类器模型为预先采用如下步骤训练得到的:
(c1)采集多个已标注障碍物类别的预设障碍物的点云,生成第一障碍物训练集;
(c2)根据第一障碍物训练集中的多个预设障碍物的点云,训练分类器模型。
本实施例中第一障碍物训练集中包括的预设障碍物的点云信息的条数可以很多,例如5000以上或者上万或者更多,第一障碍物训练集中包括的预设障碍物的点云信息的条数越多,训练的分类器模型时,确定的分类器模型的参数越准确,后续步骤102根据分类器模型预测各窗口的中心点对应的语义特征信息,即本实施例中预测的各窗口的中心点对应的障碍物的类别便越准确。本实施例中,预设障碍物的点云中已经标注了障碍物类别,以便于对分类器模型进行训练。
对于三维的窗口,在获取到各窗口的中心体素点对应的障碍物的类别时,然后可以根据每个窗口的中心体素点对应的障碍物的类别,将步骤(a1)得到的离散化的网格处理后的障碍物点云中的各个网格进行聚类处理,聚类时,可以采用距离参数区域生长的方式,将距离低于某阈值、且属于同一障碍物类别的体素点划分为同一簇(cluster),而且在设置阈值的时候,对于不同类别的障碍物可以设置不同的阈值,具体地,障碍物的尺寸越大,设置的该类别对应的阈值可以越大。例如障碍物类别为行人时,由于不同的行人与行人之间的间距可以很小,此时可以设置的该类别的障碍物对应的阈值可以较小。而对应的障碍物的类别为自行车、小车或者大车等等较大尺寸的障碍物时,随着该类别对应的障碍物的尺寸的增加,对应的该类别的障碍物对应的阈值可以设置的较大一些,以便于合理对不同的障碍物进行聚类,从而实现对各障碍物的有效分割。
聚类时,还可以采用基于图模型的分割算法来实现。基于图模型的分割算法中设置有顶点的集合V,其中的顶点可以为上述实施例中的体素点,边的集合,其中的边可以为连接周围相邻的顶点即体素点的边,比如连接相互距离1米以内顶点的边。对于每一条边设置一个连接的代价,比如连接的代价可以为欧氏距离。通过设置一个能量代价函数,去衡量某一条边断开的代价和收益,最后通过优化基于边的断开与否的能量函数,使得收益最大的情况下代价最低。本实施例中,在获取到各窗口的中心体素点对应的障碍物的类别后,可以把边分成几种情况:连接同一类别的障碍物的边,如车与车的连接,人与人连接等等;连接不同类别的障碍物以及连接障碍物与背景的边。每种连接的边,都可以根据预先采集的训练数据统计出一个不同的附加修正值,这样,边的代价就等于欧氏距离加上一个修正值。对于连接同类别的障碍物的边,比如车与车的连接的边,可以统计单独分割车最合适的修正值。对应不同种类的边,使用不同的参数,比如车与车连接更宽松,修正值较小(边的连接代价较小);人与人的连接代价就会更大,因为他们的尺寸(size)比车小,适合分成更小的块;另外就是连接不同物体的边,修正值就会很大,去阻止不同种类的顶点连接在一起。基于图模型的分割算法来实现的聚类是一种动态调整图模型中边连接代价的方法。上述方法中也可以直接断掉连接不同类别的障碍物点的边,以及连接物体和背景的边,以更加简化聚类处理,进而提高障碍物的分割效率。
对于二维的窗口,在获取到各窗口的中心像素点对应的障碍物的类别时,然后可以根据步骤102可以预测到每个窗口的中心像素点对应的障碍物的类别,对步骤(b3)得到的离散化的网格处理后的二维高度图中的像素点进行聚类处理。由于二维高度图相当于三维的俯视图,所以可以将二维聚类处理后的结果再反投射到三维空间中的某一高度区间范围中。这里的高度区间范围根据实际应用中路面上的障碍物的高度来取,例如可以取距离地面向上0-6m的高度;而对于超出该范围的障碍物,例如距离地面10m高度处飞的鸟,可以认为不是本实施例待分割的障碍物,可以忽略。然后将二维聚类处理后的结果再反投射到三维空间的过程中,可以将三维空间中该高度区间范围内的所有点,都根据二维聚类处理结果进行聚类处理,即得到三维空间的聚类处理结果,将归属于同一障碍物的点都聚集在同一cluster中,从而可以根据三维空间的聚类处理结果,将障碍物点云中的各障碍物进行分割,使得每一个障碍物能够独立出来。
第二种情况、各窗口的中心点对应的语义特征信息具体可以为该窗口的中心点对应的障碍物的中心点的方位信息,该方位信息具体可以为该窗口的中心点对应的障碍物的中心点偏移当前窗口的中心点的方位信息。此时对应的语义特征模型具体可以为一种回归器模型。该回归器模型可以采用随机森林(Random Decision Forest;RDF)模型或者梯度决策树(Gradient Decision Tree;GDT)模型以及其它类似的一些神经网络模型中的任意一种。可选地,该回归器模型为预先采用如下步骤训练得到的:
(d1)采集多个预设障碍物的点云,生成第二障碍物训练集;
(d2)根据第二障碍物训练集中的多个预设障碍物的点云,训练回归器模型。
本实施例中第二障碍物训练集与第一障碍物训练集相比,可以不再标注各预设障碍物的类别,其余与第一障碍物训练集相同,详细可以参考上述第一障碍物训练集的相关记载,在此不再赘述。
对于三维的窗口,获取到的各窗口的中心体素点对应的障碍物的中心点的方位信息可以采用x,y,z来表示。对于步骤(a1)得到的离散化的网格处理后的障碍物点云中的各个格子,分别作为窗口的中心体素点,根据步骤102可以预测到对应的障碍物的中心点的方位信息。然后在离散化的网格处理后的障碍物点云中根据各个体素点对应的障碍物的中心点的方位信息,对各个体素点进行聚类处理,从而实现各障碍物的有效分割。由于每个窗口的中心体素点对应的障碍物的中心点的方位信息都是相当于当前窗口的体素点来标识的,所以各个窗口的中心体素点对应的障碍物的中心点的方位信息是在不同的坐标系下。因此,在根据各个窗口的中心体素点对应的障碍物的中心点的方位信息,对离散化的网格处理后的障碍物点云中的各个体素点进行聚类处理时,需要先将所有窗口的中心体素点对应的障碍物的中心点的方位信息转换到同一个坐标系下,以便于对中心体素点进行聚类。具体地,在同一个障碍物点云的坐标系中,每个窗口的中心体素点对应的障碍物的中心点的坐标信息可以等于该窗口的中心体素点的在该坐标系下的坐标加上窗口的中心体素点对应的障碍物的中心点的方位信息。具体聚类处理的一种方式为:建立一个树,根据各窗口的中心体素点对应的障碍物的中心点的方位信息,将根据上述获取的障碍物的中心点的方位信息得到的中心点作为当前窗口的中心体素点的父节点,重复该过程直到某个体素点父节点是它本身,则这棵树上的所有体素点构成一个cluster,为同一个障碍物;根据该cluster,可以实现对该障碍物进行分割。
另外一种聚类方式是利用各窗口的中心体素点对应的障碍物的中心点的距离进行聚类,如果两个窗口的中心体素点对应的障碍物的中心点距离低于一定阈值,则可以认为这两个窗口的中心体素点对应的障碍物是同一个障碍物,此时可以把这两个窗口的中心体素点连起来,重复该过程得到一系列障碍物的cluster。同一cluster为同一个障碍物;根据不同的cluster,可以实现对不同障碍物进行分割。
同理,对于二维的窗口,获取到的各窗口的中心体素点对应的障碍物的中心点的方位信息可以采用x,y来表示。对步骤(b3)得到的离散化的网格处理后的二维高度图中的各个格子,分别作为各窗口的中心像素点。根据步骤102均可以预测到对应的障碍物的中心点的方位信息。然后在离散化的网格处理后的二维高度图中根据各个像素点对应的障碍物的中心点的方位信息,以及二维高度图各像素点的坐标信息,可以获取到各个像素点对应的障碍物的中心点的坐标信息,从而可以根据各像素点的坐标信息,对各个像素点进行聚类处理。同理,由于二维高度图相当于三维的俯视图,所以可以将二维聚类处理后的结果再反投射到三维空间中的某一高度区间范围中,从而确定三维空间的聚类处理结果。参考上述第一种情况的相关描述,在此不再赘述。最后可以根据三维空间的聚类处理结果,将障碍物点云中的各障碍物进行分割,使得每一个障碍物能够独立出来。
进一步可选地,在上述两种情况的任一种聚类处理后,还可以合并(merge)处理,以将一些体积或尺寸过小的块即过小的cluster合并至一些体积或尺寸较大的cluster中,例如可以根据障碍物都是凸边形的假设,merge一些被更大的cluster所包括的小cluster,如三维的情况下,若包含cluster A的最小体积bounding box被cluster B对应的boundingbox所包含,则可以将cluster A可以和cluster B合并;其中的bounding box可以是空间中的一个3维长方体;在二维情况下,若cluster A的二维凸包被cluster B的二维凸包所包含,则可以将cluster A和cluster B合并。后续的障碍物分割可以根据合并后的cluster进行分割,进一步有效地提高障碍物的分割效率。
可选地,本实施例中各窗口的中心点对应的语义特征信息还可以为该中心点对应的障碍物的一些其它参数,在此不再一一举例赘述。
图3为本发明的障碍物分割方法实施例二的流程图。如图3所示,本实施例的障碍分割方法,基于上述实施例中的第一种情况,以各窗口的中心点对应的语义特征信息为该窗口的中心点对应的障碍物的类别为例,来描述本发明的技术方案。如图3所示,本实施例的障碍物的分割方法,具体可以包括如下步骤:
200、采集多个已标注障碍物类别的预设障碍物的点云,生成第一障碍物训练集;
具体可以通过激光雷达对已经确定类别的预设障碍物进行扫描,得到对应的预设障碍物点云,然后根据已经确定的类别,对扫描得到的预设障碍物点云中的预设障碍物标注类别,采集这种已经标准障碍物类别的预设障碍物的点云,生成第一障碍物训练集。另外,也可以采集计算机视觉中基于图像的structure from motion,stereo vision等技术获取到已经标注障碍物类别的预设障碍物的点云,生成第一障碍物训练集。第一障碍物训练集中的一个预设障碍物的点云中可以包括一个预设障碍物,也可以包括多个预设障碍物,且多个预设障碍物已经分割清楚,且已经标注有类别。
201、根据第一障碍物训练集中的各预设障碍物的点云,获取对应的数个预设窗口中各预设窗口的特征信息以及各预设窗口的中心点的特征信息;
具体地,首先可以根据第一障碍物训练集中的每个预设障碍物的点云,获取该预设障碍物的点云对应的数个预设窗口,然后再根据该预设障碍物的点云获取对应的各个预设窗口的特征信息以及各预设窗口的中心点的特征信息。本实施例中,每个预设障碍物的点云均可以获取到数个预设窗口,可以通过获取第一障碍物训练集中的每个预设障碍物的点云对应的数个预设窗口,以丰富训练分类器模型所需要的预设窗口的特征信息以及预设窗口的中心点的特征信息的数量,从而能够使得训练的分类器模型更加精准。
本实施例中,第一障碍物训练集中的预设窗口与上述实施例中的窗口的获取方式相同,对应地,预设窗口的特征信息与上述实施例中的窗口的特征信息、预设窗口的中心点的特征信息与上述实施例中的窗口的中心点的特征信息的获取方式均相同,详细可以参考上述实施例的记载,例如,对于三维的窗口可以参考上述实施例中的步骤(a1)-(a3)的记载,此时窗口的中心点对应为三维窗口的中心体素点。对于二维的窗口可以参考上述实施例中的步骤(b1)-(b5)的记载,此时窗口的中心点对应为二维窗口的中心像素点。
而且,需要注意的是,由于窗口的特征信息在使用时以向量的形式存在,训练分类器模型时获取的预设窗口的向量的维数务必与后续障碍物分割时获取的窗口的向量的维数一致。,且训练分类器模型是采用的预设窗口的大小务必与后续障碍物分割时获取的窗口的大小一致,这样才能保证两者的向量的维数是一致的,从而保证在障碍物分割时,使用分类器模型预测的窗口的中心点对应的障碍物类别的准确性。
202、根据第一障碍物训练集中的各预设障碍物的点云,获取各预设窗口的中心点对应的障碍物的类别;
由于第一障碍物训练集中已经对各个预设障碍物的点云中的预设障碍物已经标注类别,在根据障碍物点云划分预设窗口时,可以标注一个每个预设窗口对应的障碍物类别,这样对于获取到的每一个预设窗口,均可以根据对应的已标注类别的预设障碍物点云,获取到该预设窗口对应的障碍物类别。
203、采用各预设窗口的特征信息、各预设窗口的中心点的特征信息、以及各预设窗口的中心点对应的预设障碍物的类别,训练分类器模型,从而确定分类器模型;
经过上述处理,对于每一个预设窗口,已经获取到该预设窗口的特征信息、该预设窗口的中心点的特征信息以及该预设窗口的中心点对应的预设障碍物的类别,该预设窗口的特征信息、该预设窗口的中心点的特征信息以及该预设窗口的中心点对应的预设障碍物的类别组成一条训练数据。多于多个预设窗口,可以获取到多条类似的训练数据。在训练时,取一条训练数据,将训练数据中的预设窗口的特征信息、该预设窗口的中心点的特征信息输入分类器模型中,调整分类器模型的参数,使得分类器模型输出该预设窗口的中心点对应的预设障碍物的类别;由于已经确定每一个预设障碍物的类别,此时可以检测分类器模型输出的该预设窗口的中心点对应的预设障碍物的类别是否与已经标注的该预设障碍物的类别一致,若不一致,可以调整该分类器模型的参数,使得该分类器模型输出的是该预设窗口的中心点对应的预设障碍物的类别与该预设障碍物标注的类别一致。采用多条训练数据按照上述方式依次对该分类器模型进行训练,可以确定该分类器模型的参数,从而确定该分类器模型。
步骤201到203为上述实施例中的步骤(c2)“根据第一障碍物训练集中的多个预设障碍物的点云,训练分类器模型”的一种具体实现方式。经上述步骤的处理,便可以训练出本实施例中所需要的分类器模型,后续步骤可以基于该分类器模型,进行障碍物的分割。
204、根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各窗口的中心点的特征信息;
具体可以参考上述实施例中步骤100的具体实现方式,在此不再赘述。
205、根据各窗口的特征信息、对应的各窗口的中心点的特征信息以及预先训练的分类器模型,预测各窗口的中心点对应的障碍物的类别;
206、根据各窗口的中心点对应的障碍物的类别,并结合每种类别的障碍物对应的距离参数阈值,对障碍物点云中的各障碍物进行聚类,从而实现对障碍物点云中的各障碍物进行分割。
具体地,对于每一个窗口,根据步骤204,可以获取到该窗口的特征信息以及该窗口的中心点的特征信息,然后将该窗口的特征信息以及该窗口的中心点的特征信息输入至步骤203训练好的分类器模型中,此时该分类器模型可以输出该窗口的中心点对应的障碍物的类别。对于当前车辆周围的障碍物点云对应的数个窗口,均可以获取到每一个窗口的中心点对应的障碍物的类别。然后还可以针对每种类别的障碍物设置距离阈值,以便于同种类别的障碍物进行聚类。从而可以基于每种类别的障碍物的距离阈值和每个窗口的中心点对应的障碍物的类别,对障碍物点云中的同种类别的障碍物进行聚类。
若窗口为三维窗口时,然后根据每一个窗口的中心体素点对应的障碍物的类别,并根据三维的障碍物点云中标识的各窗口的中心体素点的坐标(取中心体素点的中心位置),计算对应同类别的障碍物的、任意两个窗口的中心体素点之间的距离;将三维的障碍物点云中任意两个距离小于该类别的距离阈值的、同类别的体素点进行聚类,形成cluster。对所有窗口的中心体素点经上述处理之后,多个体素点可以形成多个cluster。可选地,还可以进一步对聚类之后的cluster进行merge处理,详细可以参考上述实施例的记载,在此不再赘述。聚类处理之后,每一块cluster代表一个障碍物,然后可以根据聚类之后的不同的cluster,对各个障碍物进行分割。
若窗口为二维窗口时,聚类原理相似,只是聚类的处理是在障碍物点云对一个的二维高度图中进行聚类处理;然后将二维聚类处理后的结果再反投射到三维空间的过程中,可以将三维空间中障碍物所在的一定高度区间范围内的所有点,都根据二维聚类处理结果进行聚类处理,即得到三维空间的聚类处理结果,将归属于同一障碍物的点都聚集在同一cluster中,从而可以根据三维空间的聚类处理结果,将障碍物点云中的各障碍物进行分割,使得每一个障碍物能够独立出来。
本实施例的障碍物分割方法,采用上述技术方案,可以根据各窗口的中心点对应的障碍物的类别,并结合每种类别的障碍物对应的距离参数阈值,合理化地对障碍物点云中的各障碍物进行分割,可以克服现有技术中仅根据局部的空间距离信息对障碍物进行分割,所造成的分割和欠分割的技术问题,从而能够有效地提高对障碍物分割的准确性,进而能够有效地提高对障碍物分割的精度。
图4为本发明的障碍物分割方法实施例三的流程图。如图4所示,本实施例的障碍分割方法,基于上述实施例中的第二种情况,以各窗口的中心点对应的语义特征信息为该窗口的中心点对应的障碍物的中心点的方位信息为例,来描述本发明的技术方案。如图4所示,本实施例的障碍物的分割方法,具体可以包括如下步骤:
300、采集多个预设障碍物的点云,生成第二障碍物训练集;
本实施例生成的第二障碍物训练集与上述图3中200所示的第一障碍物训练集的相比:第二障碍物训练集中的各预设障碍物的点云中可以不标注障碍物的类别。
301、根据第二障碍物训练集中的各预设障碍物的点云,获取对应的数个预设窗口中各预设窗口的特征信息以及各预设窗口的中心点的特征信息;
具体地,首先可以根据第二障碍物训练集中的每个预设障碍物的点云,获取该预设障碍物的点云对应的数个预设窗口,然后再根据该预设障碍物的点云获取对应的各个预设窗口的特征信息以及各预设窗口的中心点的特征信息。具体可以参考上述实施例中步骤201的具体实现方式,在此不再赘述。
302、根据第二障碍物训练集中的各预设障碍物的点云,获取各预设窗口的中心点对应的预设障碍物的中心点的方位信息;
由于第二障碍物训练集中的障碍物点云中的障碍物都是标识在一个坐标系中,且障碍物点云中的障碍物已经分割清楚,能够清晰分清楚每一个障碍物。根据第二障碍物训练集中的每个预设障碍物的点云,可以获取到每个预设窗口的中心点对应的预设障碍物,从而可以获取到该预设窗口的中心点对应的预设障碍物的中心点,进而可以获取到该预设窗口的中心点对应的预设障碍物中心点相对于该预设窗口的中心点的方位信息。即本实施例中的该预设窗口的中心点对应的预设障碍物的中心点的方位信息是相对于该预设窗口的中心点而言,将预测窗口的中心点作为坐标原点,来标识该预设窗口的中心点对应的预设障碍物的中心点的方位;例如,在同一个坐标系下,可以将该预设窗口的中心点对应的预设障碍物的中心点的坐标,减去该预测窗口的中心点的坐标,便得到该预设窗口的中心点对应的预设障碍物的中心点的方位信息。按照类似的方式,可以获取到每一个预设窗口的中心点对应的预设障碍物的中心点的方位信息。
303、采用各预设窗口的特征信息、各预设窗口的中心点的特征信息、以及各预设窗口的中心点对应的预设障碍物的中心点的方位信息,训练回归器模型,从而确定回归器模型;
经过上述处理,对于每一个预设窗口,已经获取到该预设窗口的特征信息、该预设窗口的中心点的特征信息以及该预设窗口的中心点对应的障碍物的中心点的方位信息。该预设窗口的特征信息、该预设窗口的中心点的特征信息以及该预设窗口的中心点对应的障碍物的中心点的方位信息组成一条训练数据。多于多个预设窗口,可以获取到多条类似的训练数据。在训练时,取一条训练数据,将训练数据中的预设窗口的特征信息、该预设窗口的中心点的特征信息输入回归器中,调整第一回归器的参数,使得第一回归器输出该预设窗口的中心点对应的障碍物的中心点的方位信息。由于前面步骤302已经获取到该预设窗口的中心点对应的障碍物的中心点的方位信息,此时可以检测回归器输出的该预设窗口的中心点对应的障碍物的中心点的方位信息,是否与步骤302获取到的该预设窗口的中心点对应的障碍物的中心点的方位信息一致;若不一致,可以调整回归器模型的参数,使得回归器输出的该预设窗口的中心点对应的障碍物的中心点的方位信息,与步骤302获取到该预设窗口的中心点对应的障碍物的中心点的方位信息一致。采用多条训练数据按照上述方式依次对该回归器模型进行训练,可以确定该回归器模型的参数,从而确定该回归器模型。
步骤301到303为上述实施例中的步骤(d2)“根据第二障碍物训练集中的多个预设障碍物的点云,训练回归器模型”的一种具体实现方式。经上述步骤的处理,便可以训练出本实施例中所需要的回归器模型,后续步骤可以基于该回归器模型,进行障碍物的分割。
304、根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各窗口的中心点的特征信息;
具体可以参考上述实施例中步骤100的具体实现方式,在此不再赘述。
305、根据各窗口的特征信息、对应的各窗口的中心点的特征信息以及预先训练的回归器模型,预测各窗口的中心点对应的障碍物的中心点的方位信息;
306、根据各窗口的中心点对应的障碍物的中心点的方位信息,对障碍物点云中的各障碍物进行聚类,从而实现对障碍物点云中的各障碍物进行分割。
具体地,对于每一个窗口,根据步骤304,可以获取到该窗口的特征信息以及该窗口的中心点的特征信息,然后将该窗口的特征信息以及该窗口的中心点的特征信息输入至步骤303训练好的回归器模型中,此时该回归器模型可以输出该窗口的中心点对应的障碍物的中心点的方位信息。对于当前车辆周围的障碍物点云对应的数个窗口,均可以获取到每一个窗口的中心点对应的障碍物的中心点的方位信息。由于障碍物点云中的每一个点都带有自身的坐标信息,可以将回归器模型输出的窗口的中心点对应的障碍物的中心点的方位信息,再加上窗口的中心点对应的坐标信息,便得到在当前的障碍物点云中,该窗口的中心点对应的障碍物的中心点的坐标信息。根据该窗口的中心点对应的障碍物的中心点的坐标信息,在同一个坐标系下,便很容易确定该窗口的中心点对应的障碍物的中心点的位置。进而可以根据所有窗口的中心点对应的障碍物的中心点的坐标信息确定的位置,对障碍物点云中的各障碍物进行聚类,从而实现对障碍物点云中的各障碍物进行分割。
若窗口为三维窗口时,根据每一个窗口的中心体素点对应的障碍物的中心点的方位信息,加上三维的障碍物点云中该窗口的中心体素点的坐标信息(取中心体素点的中心位置),得到该窗口的中心体素点对应的障碍物的中心点的坐标信息。并根据任意两个窗口的中心体素点对应的障碍物的中心点的坐标信息,计算该两个窗口的中心体素点对应的障碍物的中心点之间的距离;将三维的障碍物点云中,对应的两个障碍物的中心点之间距离小于距离阈值的两个窗口的中心体素点进行聚类,形成cluster。对所有窗口的中心体素点经上述处理之后,多个体素点可以形成多个cluster。可选地,还可以进一步对聚类之后的cluster进行merge处理,详细可以参考上述实施例的记载,在此不再赘述。聚类处理之后,每一块cluster代表一个障碍物,然后可以根据聚类之后的不同的cluster,对各个障碍物进行分割。
同理,若窗口为二维窗口时,聚类原理相似,只是聚类的处理是在障碍物点云对一个的二维高度图中进行聚类处理;然后将二维聚类处理后的结果再反投射到三维空间的过程中,可以将三维空间中障碍物所在的一定高度区间范围内的所有点,都根据二维聚类处理结果进行聚类处理,即得到三维空间的聚类处理结果,将归属于同一障碍物的点都聚集在同一cluster中,从而可以根据三维空间的聚类处理结果,将障碍物点云中的各障碍物进行分割,使得每一个障碍物能够独立出来。
本实施例的障碍物分割方法,采用上述技术方案,可以根据各窗口的中心点对应的障碍物的中心点的方位信息,并结合距离阈值,合理化地对障碍物点云中的各障碍物进行分割,可以克服现有技术中仅根据局部的空间距离信息对障碍物进行分割,所造成的分割和欠分割的技术问题,从而能够有效地提高对障碍物分割的准确性,进而能够有效地提高对障碍物分割的精度。
图5为本发明的障碍物分割装置实施例一的结构图。如图5所示,本实施例的障碍物分割装置,具体可以包括:获取模块10、预测模块11和分割处理模块12。
其中获取模块10用于根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各窗口的中心点的特征信息;预测模块11用于根据获取模块10获取的各窗口的特征信息、对应的各窗口的中心点的特征信息以及预先训练的语义特征模型,预测各窗口的中心点对应的语义特征信息;分割处理模块12用于根据预测模块11预测的各窗口的中心点对应的语义特征信息,对障碍物点云中的各障碍物进行分割。
本实施例的障碍物分割装置,通过采用上述模块实现障碍物分割的实现原理以及技术效果与上述相关方法实施例的实现相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。
进一步可选地,当本实施例的窗口为三维窗口时,获取模块10具体用于:
对三维的障碍物点云进行离散化的网格处理,使得障碍物点云划分成数个格子;
以障碍物点云中的每个格子为中心点,获取对应的窗口,共得到数个窗口;
获取各窗口的特征信息以及各窗口的中心点的特征信息;
其中各窗口的特征信息包括窗口中各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个;对应的窗口的中心点的特征信息为对应的中心点的距离地面的高度、密度以及平均反射值中的至少一个。
进一步可选地,当本实施例的窗口为二维窗口时,获取模块10具体用于:
将障碍物点云投射在垂直于高度的二维平面上,得到障碍物点云的二维映射图;
根据障碍物点云的二维映射图和障碍物点云中各点的高度,得到障碍物点云的二维高度图;
对二维高度图中的障碍物点云的映射点进行离散化的网格处理,使得二维高度图中的障碍物点云的映射点划分成数个格子;
以每个格子为中心点,获取对应的窗口,共得到数个窗口;
获取各窗口的特征信息以及各窗口的中心点的特征信息;
其中各窗口的特征信息包括窗口中各像素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个;对应的窗口的中心点的特征信息为对应的中心点的距离地面的高度、密度以及平均反射值中的至少一个。
图6为本发明的障碍物分割装置实施例二的结构图。如图6所示,本实施例的障碍物分割装置,在上述实施例的技术方案的基础上进一步更加详细地介绍本发明的技术方案。本实施例的障碍物分割装置具体用于处理各窗口的中心点对应的语义特征信息具体为该窗口的中心点对应的障碍物的类别。
如图6所示,本实施例的障碍物分割装置还包括:第一采集模块13和第一训练模块14。
其中第一采集模块13用于采集多个已标注障碍物类别的预设障碍物的点云,生成第一障碍物训练集;第一训练模块14用于根据第一采集模块13采集并生成的第一障碍物训练集中的多个预设障碍物的点云,训练分类器模型。
进一步地,本实施例的第一训练模块14具体用于:
根据第一障碍物训练集中的各预设障碍物的点云,获取对应的数个预设窗口中各预设窗口的特征信息以及各预设窗口的中心点的特征信息;
根据第一障碍物训练集中的各预设障碍物的点云,获取各预设窗口的中心点对应的预设障碍物的类别;
采用各预设窗口的特征信息、各预设窗口的中心点的特征信息、以及各预设窗口的中心点对应的预设障碍物的类别,训练分类器模型,从而确定分类器模型。
对应地,本实施例的障碍物分割装置中,预测模块11具体用于根据获取模块10获取的各窗口的特征信息、对应的各窗口的中心点的特征信息以及第一训练模块14预先训练的分类器模型,预测各窗口的中心点对应的障碍物的类别。
分割处理模块12具体用于根据预测模块11预测得知的各窗口的中心点对应的障碍物的类别,并结合每种类别的障碍物对应的距离参数阈值,对障碍物点云中的各障碍物进行聚类,从而实现对障碍物点云中的各障碍物进行分割。
本实施例的障碍物分割装置,通过采用上述模块实现障碍物分割的实现原理以及技术效果与上述相关方法实施例的实现相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。
图7为本发明的障碍物分割装置实施例三的结构图。如图7所示,本实施例的障碍物分割装置,在上述实施例的技术方案的基础上进一步更加详细地介绍本发明的技术方案。本实施例的障碍物分割装置具体用于处理各窗口的中心点对应的语义特征信息具体为该窗口的中心点对应的障碍物的中心点的方位信息。
如图7所示,本实施例的障碍物分割装置还包括:第二采集模块15和第二训练模块16。
第二采集模块15用于采集多个预设障碍物的点云,生成第二障碍物训练集;
第二训练模块16用于根据第二采集模块15采集并生成的第二障碍物训练集中的多个预设障碍物的点云,训练回归器模型;
进一步地,第二训练模块16具体用于:
根据第二障碍物训练集中的各预设障碍物的点云,获取对应的数个预设窗口中各预设窗口的特征信息以及各预设窗口的中心点的特征信息;
根据第二障碍物训练集中的各预设障碍物的点云,获取各预设窗口的中心点对应的预设障碍物的中心点的方位信息;
采用各预设窗口的特征信息、各预设窗口的中心点的特征信息、以及各预设窗口的中心点对应的预设障碍物的中心点的方位信息,训练回归器模型,从而确定回归器模型。
对应地,本实施例的障碍物分割装置中,预测模块11具体用于根据各窗口的特征信息、对应的各窗口的中心点的特征信息以及第二训练模块16预先训练的回归器模型,预测各窗口的中心点对应的障碍物的中心点的方位信息;
分割处理模块12具体用于根据预测模块11预测的各窗口的中心点对应的障碍物的中心点的方位信息,对障碍物点云中的各障碍物进行聚类,从而实现对障碍物点云中的各障碍物进行分割。
本实施例的障碍物分割装置,通过采用上述模块实现障碍物分割的实现原理以及技术效果与上述相关方法实施例的实现相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。
图8为本发明的计算机设备实施例的结构图。如图8所示,本实施例的计算机设备,包括:一个或多个处理器20,以及存储器30,存储器30用于存储一个或多个程序,当存储器30中存储的一个或多个程序被一个或多个处理器20执行,使得一个或多个处理器20实现如上图1-图4所示实施例的障碍物分割方法。图8所示实施例中以包括多个处理器20为例。
例如,图9为本发明提供的一种计算机设备的示例图。。图9示出了适于用来实现本发明实施方式的示例性计算机设备12a的框图。图9显示的计算机设备12a仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,计算机设备12a以通用计算设备的形式表现。计算机设备12a的组件可以包括但不限于:一个或者多个处理器16a,系统存储器28a,连接不同系统组件(包括系统存储器28a和处理器16a)的总线18a。
总线18a表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12a访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28a可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30a和/或高速缓存存储器32a。计算机设备12a可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34a可以用于读写不可移动的、非易失性磁介质(图9未显示,通常称为“硬盘驱动器”)。尽管图9中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18a相连。系统存储器28a可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明上述图1-图6各实施例的功能。
具有一组(至少一个)程序模块42a的程序/实用工具40a,可以存储在例如系统存储器28a中,这样的程序模块42a包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42a通常执行本发明所描述的上述图1-图6各实施例中的功能和/或方法。
计算机设备12a也可以与一个或多个外部设备14a(例如键盘、指向设备、显示器24a等)通信,还可与一个或者多个使得用户能与该计算机设备12a交互的设备通信,和/或与使得该计算机设备12a能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22a进行。并且,计算机设备12a还可以通过网络适配器20a与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20a通过总线18a与计算机设备12a的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12a使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16a通过运行存储在系统存储器28a中的程序,从而执行各种功能应用以及数据处理,例如实现上述实施例所示的障碍物识别方法。
本发明还提供一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例所示的障碍物分割方法。
本实施例的计算机可读介质可以包括上述图9所示实施例中的系统存储器28a中的RAM30a、和/或高速缓存存储器32a、和/或存储系统34a。
随着科技的发展,计算机程序的传播途径不再受限于有形介质,还可以直接从网络下载,或者采用其他方式获取。因此,本实施例中的计算机可读介质不仅可以包括有形的介质,还可以包括无形的介质。
本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言-诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (16)

1.一种障碍物分割方法,其特征在于,所述方法包括:
根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各所述窗口的中心点的特征信息;
根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测各所述窗口的中心点对应的语义特征信息;
根据各所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割。
2.根据权利要求1所述的方法,其特征在于,根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测各所述窗口的中心点对应的语义特征信息,具体包括:
根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的分类器模型,预测各所述窗口的中心点对应的障碍物的类别;
根据各所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割,具体包括:
根据各所述窗口的中心点对应的障碍物的类别,并结合每种类别的障碍物对应的距离参数阈值,对所述障碍物点云中的各所述障碍物进行聚类,从而实现对所述障碍物点云中的各所述障碍物进行分割。
3.根据权利要求2所述的方法,其特征在于,根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测各所述窗口的中心点对应的语义特征信息之前,所述方法还包括:
采集多个已标注障碍物类别的预设障碍物的点云,生成第一障碍物训练集;
根据所述第一障碍物训练集中的所述多个预设障碍物的点云,训练所述分类器模型;
进一步地,根据所述第一障碍物训练集中的所述多个预设障碍物的点云,训练所述语义特征模型,具体包括:
根据所述第一障碍物训练集中的各所述预设障碍物的点云,获取对应的数个预设窗口中各所述预设窗口的特征信息以及各所述预设窗口的中心点的特征信息;
根据所述第一障碍物训练集中的各所述预设障碍物的点云,获取各所述预设窗口的中心点对应的预设障碍物的类别;
采用各所述预设窗口的特征信息、各所述预设窗口的中心点的特征信息、以及各所述预设窗口的中心点对应的预设障碍物的类别,训练所述分类器模型,从而确定所述分类器模型。
4.根据权利要求1所述的方法,其特征在于,根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测各所述窗口的中心点对应的语义特征信息,具体包括:
根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的回归器模型,预测各所述窗口的中心点对应的障碍物的中心点的方位信息;
根据各所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割,具体包括:
根据各所述窗口的中心点对应的障碍物的中心点的方位信息,对所述障碍物点云中的各所述障碍物进行聚类,从而实现对所述障碍物点云中的各所述障碍物进行分割。
5.根据权利要求4所述的方法,其特征在于,根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测各所述窗口的中心点对应的语义特征信息之前,所述方法还包括:
采集多个预设障碍物的点云,生成第二障碍物训练集;
根据所述第二障碍物训练集中的所述多个预设障碍物的点云,训练所述回归器模型;
进一步地,根据所述第二障碍物训练集中的所述多个预设障碍物的点云,训练所述回归器模型,具体包括:
根据所述第二障碍物训练集中的各所述预设障碍物的点云,获取对应的数个预设窗口中各所述预设窗口的特征信息以及各所述预设窗口的中心点的特征信息;
根据所述第二障碍物训练集中的各所述预设障碍物的点云,获取各所述预设窗口的中心点对应的所述预设障碍物的中心点的方位信息;
采用各所述预设窗口的特征信息、各所述预设窗口的中心点的特征信息、以及各所述预设窗口的中心点对应的所述预设障碍物的中心点的方位信息,训练所述回归器模型,从而确定所述回归器模型。
6.根据权利要求1-5任一所述的方法,其特征在于,根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各所述窗口的中心点的特征信息,具体包括:
对三维的所述障碍物点云进行离散化的网格处理,使得所述障碍物点云划分成数个格子;
以所述障碍物点云中的每个所述格子为中心点,获取对应的所述窗口,共得到所述数个窗口;
获取各所述窗口的特征信息以及各所述窗口的中心点的特征信息;
其中各所述窗口的特征信息包括所述窗口中各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个;对应的所述窗口的中心点的特征信息为对应的所述中心点的距离地面的高度、密度以及平均反射值中的至少一个。
7.根据权利要求1-5任一所述的方法,其特征在于,根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各所述窗口的中心点的特征信息,具体包括:
将所述障碍物点云投射在垂直于高度的二维平面上,得到所述障碍物点云的二维映射图;
根据所述障碍物点云的二维映射图和所述障碍物点云中各点的高度,得到所述障碍物点云的二维高度图;
对所述二维高度图中的所述障碍物点云的映射点进行离散化的网格处理,使得所述二维高度图中的所述障碍物点云的映射点划分成数个格子;
以每个所述格子为中心点,获取对应的所述窗口,共得到所述数个窗口;
获取各所述窗口的特征信息以及各所述窗口的中心点的特征信息;
其中各所述窗口的特征信息包括所述窗口中各像素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个;对应的所述窗口的中心点的特征信息为对应的所述中心点的距离地面的高度、密度以及平均反射值中的至少一个。
8.一种障碍物分割装置,其特征在于,所述装置包括:
获取模块,用于根据当前车辆周围的障碍物点云,获取对应的数个窗口的特征信息以及各所述窗口的中心点的特征信息;
预测模块,用于根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测各所述窗口的中心点对应的语义特征信息;
分割处理模块,用于根据各所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割。
9.根据权利要求8所述的装置,其特征在于,所述预测模块,具体用于根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的分类器模型,预测各所述窗口的中心点对应的障碍物的类别;
所述分割处理模块,具体用于根据各所述窗口的中心点对应的障碍物的类别,并结合每种类别的障碍物对应的距离参数阈值,对所述障碍物点云中的各所述障碍物进行聚类,从而实现对所述障碍物点云中的各所述障碍物进行分割。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第一采集模块,用于采集多个已标注障碍物类别的预设障碍物的点云,生成第一障碍物训练集;
第一训练模块,用于根据所述第一障碍物训练集中的所述多个预设障碍物的点云,训练所述分类器模型;
进一步地,所述第一训练模块,具体用于:
根据所述第一障碍物训练集中的各所述预设障碍物的点云,获取对应的数个预设窗口中各所述预设窗口的特征信息以及各所述预设窗口的中心点的特征信息;
根据所述第一障碍物训练集中的各所述预设障碍物的点云,获取各所述预设窗口的中心点对应的预设障碍物的类别;
采用各所述预设窗口的特征信息、各所述预设窗口的中心点的特征信息、以及各所述预设窗口的中心点对应的预设障碍物的类别,训练所述分类器模型,从而确定所述分类器模型。
11.根据权利要求8所述的装置,其特征在于,所述预测模块,具体用于根据各所述窗口的特征信息、对应的各所述窗口的中心点的特征信息以及预先训练的回归器模型,预测各所述窗口的中心点对应的障碍物的中心点的方位信息;
所述分割处理模块,具体用于根据各所述窗口的中心点对应的障碍物的中心点的方位信息,对所述障碍物点云中的各所述障碍物进行聚类,从而实现对所述障碍物点云中的各所述障碍物进行分割。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
第二采集模块,用于采集多个预设障碍物的点云,生成第二障碍物训练集;
第二训练模块,用于根据所述第二障碍物训练集中的所述多个预设障碍物的点云,训练所述回归器模型;
进一步地,所述第二训练模块,具体用于:
根据所述第二障碍物训练集中的各所述预设障碍物的点云,获取对应的数个预设窗口中各所述预设窗口的特征信息以及各所述预设窗口的中心点的特征信息;
根据所述第二障碍物训练集中的各所述预设障碍物的点云,获取各所述预设窗口的中心点对应的所述预设障碍物的中心点的方位信息;
采用各所述预设窗口的特征信息、各所述预设窗口的中心点的特征信息、以及各所述预设窗口的中心点对应的所述预设障碍物的中心点的方位信息,训练所述回归器模型,从而确定所述回归器模型。
13.根据权利要求8-12任一所述的装置,其特征在于,所述获取模块,具体用于:
对三维的所述障碍物点云进行离散化的网格处理,使得所述障碍物点云划分成数个格子;
以所述障碍物点云中的每个所述格子为中心点,获取对应的所述窗口,共得到所述数个窗口;
获取各所述窗口的特征信息以及各所述窗口的中心点的特征信息;
其中各所述窗口的特征信息包括所述窗口中各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个;对应的所述窗口的中心点的特征信息为对应的所述中心点的距离地面的高度、密度以及平均反射值中的至少一个。
14.根据权利要求8-12任一所述的装置,其特征在于,所述获取模块,具体用于:
将所述障碍物点云投射在垂直于高度的二维平面上,得到所述障碍物点云的二维映射图;
根据所述障碍物点云的二维映射图和所述障碍物点云中各点的高度,得到所述障碍物点云的二维高度图;
对所述二维高度图中的所述障碍物点云的映射点进行离散化的网格处理,使得所述二维高度图中的所述障碍物点云的映射点划分成数个格子;
以每个所述格子为中心点,获取对应的所述窗口,共得到所述数个窗口;
获取各所述窗口的特征信息以及各所述窗口的中心点的特征信息;
其中各所述窗口的特征信息包括所述窗口中各像素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个;对应的所述窗口的中心点的特征信息为对应的所述中心点的距离地面的高度、密度以及平均反射值中的至少一个。
15.一种计算机设备,其特征在于,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201710098912.0A 2017-02-23 2017-02-23 障碍物分割方法及装置、计算机设备及可读介质 Active CN108509820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710098912.0A CN108509820B (zh) 2017-02-23 2017-02-23 障碍物分割方法及装置、计算机设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710098912.0A CN108509820B (zh) 2017-02-23 2017-02-23 障碍物分割方法及装置、计算机设备及可读介质

Publications (2)

Publication Number Publication Date
CN108509820A true CN108509820A (zh) 2018-09-07
CN108509820B CN108509820B (zh) 2021-12-24

Family

ID=63372775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710098912.0A Active CN108509820B (zh) 2017-02-23 2017-02-23 障碍物分割方法及装置、计算机设备及可读介质

Country Status (1)

Country Link
CN (1) CN108509820B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635685A (zh) * 2018-11-29 2019-04-16 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN109886272A (zh) * 2019-02-25 2019-06-14 腾讯科技(深圳)有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备
CN110148173A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 目标定位的方法和装置、电子设备、计算机可读介质
CN110216664A (zh) * 2019-04-30 2019-09-10 北京云迹科技有限公司 基于点云数据的障碍物识别方法及装置
CN110654422A (zh) * 2019-11-12 2020-01-07 中科(徐州)人工智能研究院有限公司 一种轨道列车驾驶辅助的方法、装置及系统
CN110703770A (zh) * 2019-11-12 2020-01-17 中科(徐州)人工智能研究院有限公司 一种轨道检测车自动行驶控制的方法及装置
WO2020114320A1 (zh) * 2018-12-03 2020-06-11 深圳市华讯方舟太赫兹科技有限公司 点云聚类方法、图像处理设备及具有存储功能的装置
CN111860321A (zh) * 2020-07-20 2020-10-30 浙江光珀智能科技有限公司 一种障碍物识别方法及系统
CN111860138A (zh) * 2020-06-09 2020-10-30 中南民族大学 基于全融合网络的三维点云语义分割方法及系统
CN111886597A (zh) * 2019-06-28 2020-11-03 深圳市大疆创新科技有限公司 可移动平台的障碍物检测方法、装置及可移动平台
CN112132888A (zh) * 2019-06-25 2020-12-25 黑芝麻智能科技(重庆)有限公司 大规模室内稀疏激光雷达点云内的单目相机定位
WO2022105622A1 (zh) * 2020-11-18 2022-05-27 北京有竹居网络技术有限公司 图像分割方法、装置、可读介质及电子设备
US11620835B2 (en) 2018-10-24 2023-04-04 Tencent Technology (Shenzhen) Company Limited Obstacle recognition method and apparatus, storage medium, and electronic device
CN116030022A (zh) * 2023-02-01 2023-04-28 天津风霖物联网科技有限公司 建筑预制构件的质量检测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105182358A (zh) * 2014-04-25 2015-12-23 谷歌公司 用于使用激光点云进行物体检测的方法和系统
CN105184852A (zh) * 2015-08-04 2015-12-23 百度在线网络技术(北京)有限公司 一种基于激光点云的城市道路识别方法及装置
US20160035124A1 (en) * 2013-02-18 2016-02-04 Tata Consultancy Services Limited Segmenting objects in multimedia data
CN106228162A (zh) * 2016-07-22 2016-12-14 王威 一种基于深度学习的移动机器人快速物体识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160035124A1 (en) * 2013-02-18 2016-02-04 Tata Consultancy Services Limited Segmenting objects in multimedia data
CN105182358A (zh) * 2014-04-25 2015-12-23 谷歌公司 用于使用激光点云进行物体检测的方法和系统
CN105184852A (zh) * 2015-08-04 2015-12-23 百度在线网络技术(北京)有限公司 一种基于激光点云的城市道路识别方法及装置
CN106228162A (zh) * 2016-07-22 2016-12-14 王威 一种基于深度学习的移动机器人快速物体识别方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620835B2 (en) 2018-10-24 2023-04-04 Tencent Technology (Shenzhen) Company Limited Obstacle recognition method and apparatus, storage medium, and electronic device
CN109635685B (zh) * 2018-11-29 2021-02-12 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN109635685A (zh) * 2018-11-29 2019-04-16 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
WO2020114320A1 (zh) * 2018-12-03 2020-06-11 深圳市华讯方舟太赫兹科技有限公司 点云聚类方法、图像处理设备及具有存储功能的装置
CN109886272A (zh) * 2019-02-25 2019-06-14 腾讯科技(深圳)有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备
US11810377B2 (en) 2019-02-25 2023-11-07 Tencent Technology (Shenzhen) Company Limited Point cloud segmentation method, computer-readable storage medium, and computer device
CN109886272B (zh) * 2019-02-25 2020-10-30 腾讯科技(深圳)有限公司 点云分割方法、装置、计算机可读存储介质和计算机设备
CN110216664A (zh) * 2019-04-30 2019-09-10 北京云迹科技有限公司 基于点云数据的障碍物识别方法及装置
CN110148173A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 目标定位的方法和装置、电子设备、计算机可读介质
CN112132888B (zh) * 2019-06-25 2024-04-26 黑芝麻智能科技(重庆)有限公司 大规模室内稀疏激光雷达点云内的单目相机定位
CN112132888A (zh) * 2019-06-25 2020-12-25 黑芝麻智能科技(重庆)有限公司 大规模室内稀疏激光雷达点云内的单目相机定位
CN111886597A (zh) * 2019-06-28 2020-11-03 深圳市大疆创新科技有限公司 可移动平台的障碍物检测方法、装置及可移动平台
CN110703770A (zh) * 2019-11-12 2020-01-17 中科(徐州)人工智能研究院有限公司 一种轨道检测车自动行驶控制的方法及装置
CN110654422A (zh) * 2019-11-12 2020-01-07 中科(徐州)人工智能研究院有限公司 一种轨道列车驾驶辅助的方法、装置及系统
CN111860138A (zh) * 2020-06-09 2020-10-30 中南民族大学 基于全融合网络的三维点云语义分割方法及系统
CN111860138B (zh) * 2020-06-09 2024-03-01 中南民族大学 基于全融合网络的三维点云语义分割方法及系统
CN111860321A (zh) * 2020-07-20 2020-10-30 浙江光珀智能科技有限公司 一种障碍物识别方法及系统
CN111860321B (zh) * 2020-07-20 2023-12-22 浙江光珀智能科技有限公司 一种障碍物识别方法及系统
WO2022105622A1 (zh) * 2020-11-18 2022-05-27 北京有竹居网络技术有限公司 图像分割方法、装置、可读介质及电子设备
CN116030022A (zh) * 2023-02-01 2023-04-28 天津风霖物联网科技有限公司 建筑预制构件的质量检测系统及方法

Also Published As

Publication number Publication date
CN108509820B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN108509820A (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN108470174A (zh) 障碍物分割方法及装置、计算机设备及可读介质
JP7179186B2 (ja) 物体検出方法、装置、電子機器、及びコンピュータプログラム
CN110264468B (zh) 点云数据标注、分割模型确定、目标检测方法及相关设备
EP3639241B1 (en) Voxel based ground plane estimation and object segmentation
US11276230B2 (en) Inferring locations of 3D objects in a spatial environment
US10650278B1 (en) Semantic labeling of point clouds using images
US11798173B1 (en) Moving point detection
CN105825173B (zh) 通用道路和车道检测系统与方法
US11556745B2 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
Dryanovski et al. Multi-volume occupancy grids: An efficient probabilistic 3D mapping model for micro aerial vehicles
CN110286387A (zh) 应用于自动驾驶系统的障碍物检测方法、装置及存储介质
Zhou et al. Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain
CN106951847A (zh) 障碍物检测方法、装置、设备及存储介质
CN109375636A (zh) 无人机航线的生成方法、装置、无人机和存储介质
CN112347999B (zh) 障碍物识别模型训练方法、障碍物识别方法、装置及系统
CN103258203B (zh) 遥感影像的道路中线自动提取方法
CN109145677A (zh) 障碍物检测方法、装置、设备及存储介质
WO2020072673A1 (en) Mesh validation
US11430341B2 (en) System and method for optimizing unmanned aerial vehicle based warehouse management
CN113031633A (zh) 一种无人机的降落方法、装置、无人机及介质
CN108919295A (zh) 机载LiDAR点云道路信息提取方法及装置
CN111257882B (zh) 数据融合方法、装置、无人驾驶设备和可读存储介质
US20220113403A1 (en) Method and device for controlling vehicle, electronic equipment, and storage medium
CN116563466A (zh) 一种基于深度学习的三维单木点云的补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant