CN108470174B - 障碍物分割方法及装置、计算机设备及可读介质 - Google Patents
障碍物分割方法及装置、计算机设备及可读介质 Download PDFInfo
- Publication number
- CN108470174B CN108470174B CN201710098541.6A CN201710098541A CN108470174B CN 108470174 B CN108470174 B CN 108470174B CN 201710098541 A CN201710098541 A CN 201710098541A CN 108470174 B CN108470174 B CN 108470174B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- windows
- window
- preset
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种障碍物分割方法及装置、计算机设备及可读介质。其方法包括:从根据当前车辆周围的障碍物点云获取的数个窗口中,获取属于同一预设的邻域区间的多组窗口对;根据当前车辆周围的障碍物点云,获取各组窗口对中的两个窗口的特征信息以及两个窗口的中心点的特征信息;根据各组窗口对中的两个窗口的特征信息、两个窗口的中心点的特征信息以及预先训练的语义特征模型,预测对应的窗口对中的两个窗口的中心点对应的语义特征信息;根据各组窗口对中的两个窗口的中心点对应的语义特征信息,对障碍物点云中各障碍物进行分割。采用本发明的技术方案,能够有效地提高障碍物分割的准确性,进而能够有效地提高对障碍物分割的精度。
Description
【技术领域】
本发明涉及自动驾驶技术领域,尤其涉及一种障碍物分割方法及装置、计算机设备及可读介质。
【背景技术】
在现有的自动驾驶技术中,为了保证无人车在道路上行驶的安全,需要实时从当前车辆周围的三维点云中分割出障碍物,以从当前车辆周围环境中检测出每个障碍物的位置信息,并将其反馈给规划控制系统从而进行避章操作。因此,对三维点云中的障碍物的分割是一项非常关键的技术。
现有技术中,受限于“实时”的效率要求,无人车行驶中的障碍物分割算法基本都只依赖于空间距离信息。其基本假设是空间上距离接近的点来自于同一个障碍物,反之距离较远的物体分布在不同的障碍物上。基于这种假设,该类方法又可以大致分为基于局部区域生长方法和非局部图模型切割的方法。其中局部区域生长方法是根据局部距离利用一个或多个阈值通过“连接”操作进行生长。“连接”操作即为将欧式距离低于某阈值的点连接起来作为一个cluster。而基于图模型的方法则先将点云表示成一张图。其中,图的“顶点”是点或者一小块点集,而“边”连接了局部距离较近的顶点(可以是最近的K个顶点,或者距离小于一定阈值的顶点)。最后通过优化一个目标函数(例如normalized cut算法)来决定边集的切割,切割后连通的顶点集作为一个cluster。这样,通过上述两种方式中任一种对三维点云中的所有点进行处理,可以实现对三维点云中的障碍物的分割。
上述现有技术中仅仅依靠局部的空间距离信息对障碍物进行分割,而难以将障碍物高质量地从点云中分割出来;例如基于区域生长的方法,难以确定分割的阈值,阈值过大容易欠分割(多个障碍物被当作一个cluster),反之则容易过分割(一个障碍物被分成多个cluster)。而基于图模型的方法有一个自适应的动态的分割阈值,也不能很好的处理过分割和欠分割的问题。因此,现有技术的障碍物分割方法对障碍物分割的精度较低。
【发明内容】
本发明提供了一种障碍物分割方法及装置、计算机设备及可读介质,用于提高自动驾驶领域中对障碍物的分割精度。
本发明提供一种障碍物分割方法,所述方法包括:
从根据当前车辆周围的障碍物点云获取的数个窗口中,获取属于同一预设的邻域区间的多组窗口对;各组所述窗口对中包括两个所述窗口;
根据所述当前车辆周围的所述障碍物点云,获取各组所述窗口对中的两个所述窗口的特征信息以及两个所述窗口的中心点的特征信息;
根据各组所述窗口对中的两个所述窗口的特征信息、对应的所述窗口对中的两个所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测对应的所述窗口对中的两个所述窗口的中心点对应的语义特征信息;
根据各组所述窗口对中的两个所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割。
本发明还提供一种障碍物分割装置,所述装置包括:
窗口对获取模块,用于从根据当前车辆周围的障碍物点云获取的数个窗口中,获取属于同一预设的邻域区间的多组窗口对;各组所述窗口对中包括两个所述窗口;
信息获取模块,用于根据所述当前车辆周围的所述障碍物点云,获取各组所述窗口对中的两个所述窗口的特征信息以及两个所述窗口的中心点的特征信息;
预测模块,用于根据各组所述窗口对中的两个所述窗口的特征信息、对应的所述窗口对中的两个所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测对应的所述窗口对中的两个所述窗口的中心点对应的语义特征信息;
分割处理模块,用于根据各组所述窗口对中的两个所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割。
本发明还提供一种计算机设备,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的障碍物分割方法。
本发明还提供一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的障碍物分割方法。
本发明的障碍物分割方法及装置、计算机设备及可读介质,通过从根据当前车辆周围的障碍物点云获取的数个窗口中,获取属于同一预设的邻域区间的多组窗口对;各组窗口对中包括两个窗口;根据当前车辆周围的障碍物点云,获取各组窗口对中的两个窗口的特征信息以及两个窗口的中心点的特征信息;根据各组窗口对中的两个窗口的特征信息、对应的窗口对中的两个窗口的中心点的特征信息以及预先训练的语义特征模型,预测对应的各组窗口对中的两个窗口的中心点对应的语义特征信息;根据各组窗口对中的两个窗口的中心点对应的语义特征信息,对障碍物点云中的各障碍物进行分割。采用本发明的技术方案,可以根据各组窗口对中的两个窗口的中心点对应的语义特征信息,合理化地对障碍物点云中的各障碍物进行分割,可以克服现有技术中仅根据局部的空间距离信息对障碍物进行分割,所造成的分割和欠分割的技术问题,从而能够有效地提高对障碍物分割的准确性,进而能够有效地提高对障碍物分割的精度。
【附图说明】
图1为本发明的障碍物分割方法实施例一的流程图。
图2为本发明实施例提供过的一种障碍物点云的二维高度图。
图3为本发明的障碍物分割方法实施例二的流程图。
图4为本发明的障碍物分割装置实施例一的结构图。
图5为本发明的障碍物分割装置实施例二的结构图。
图6为本发明的计算机设备实施例的结构图。
图7为本发明提供的一种计算机设备的示例图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
图1为本发明的障碍物分割方法实施例一的流程图。如图1所示,本实施例的障碍分割方法,具体可以包括如下步骤:
100、从根据当前车辆周围的障碍物点云获取的数个窗口中,获取属于同一预设的邻域区间的多组窗口对;各组窗口对中包括两个窗口;
101、根据当前车辆周围的障碍物点云,获取各组窗口对中的两个窗口的特征信息以及两个窗口的中心点的特征信息;
102、根据各组窗口对中的两个窗口的特征信息、对应的窗口对中的两个窗口的中心点的特征信息以及预先训练的语义特征模型,预测对应的窗口对中的两个窗口的中心点对应的语义特征信息;
103、根据各组窗口对中的两个窗口的中心点对应的语义特征信息,对障碍物点云中的各障碍物进行分割。
本实施例的障碍物分割方法应用在自动驾驶技术领域中。在自动驾驶中,需要车辆能够实时地从激光雷达扫描得到的当前车辆周围的障碍物点云中分割出各个障碍物,以在车辆行驶中及时确定各个障碍物的位置,并及时做出决策与控制,避开各个障碍物,便于车辆的安全行驶。本实施例的障碍物分割方法的执行主体可以为障碍物分割装置,该障碍物分割装置可以采用多个模块集成而得,该障碍物分割装置具体可以设置在自动驾驶的车辆中,以对自动驾驶的车辆的安全行驶进行控制。
本实施例的障碍物点云可以采用激光雷达扫射得到的。激光雷达的规格可以采用16线、32线或者64线等等。其中线数越高表示激光雷达的单位能量密度越大,照射在障碍物表面上的单位面积的点数越多。本实施例中,装在当前车辆上的激光雷达通过扫描当前车辆周围一圈的障碍物的信息,可以得到障碍物的点云。其中激光雷达可以在每一秒中旋转360度,从而得到一帧障碍物的点云。当前车辆周围的障碍物的数量可以有一个,也可以有多个;若当前车辆周围包括的多个障碍物时,一帧障碍物点云中同时包括多个障碍物的点云,因此,本实施例需要对障碍物点云中的多个障碍物进行分割,划分出每一个障碍物,以便于在车辆行驶中对每一个障碍物进行规避。激光雷达扫描障碍物之后,可以以当前车辆的质心位置为坐标系的原点,并取平行于水平面的两个方向分别为x方向和y方向,作为长度方向和宽度方向,垂直于地面的方向为z方向,作为高度方向,并根据障碍物中的激光雷达的每一个扫描点与原点的相对位置和距离,在坐标系中标识障碍物中的每一个扫描点,从而得到障碍物点云。另外,激光雷达还可以检测出每一个障碍物中每一个扫描点的反射值等等障碍物信息。实际应用中,坐标系还可以以激光雷达的质心位置为原点,其它方向不变;或者还可以采用其他坐标系来标识障碍物点云,在此不再一一举例赘述。另外,本实施例的障碍物的点云也可以采用计算机视觉中基于图像的structure from motion,stereovision等技术获取到。
可选地,本实施例在对障碍物进行分割之前,即步骤100“从根据当前车辆周围的障碍物点云获取的数个窗口中,获取属于同一预设的邻域区间的多组窗口对”之前,还可以包括:根据当前车辆周围的障碍物点云,获取该障碍物点云对应的数个窗口。紧接着,本实施例在对障碍物进行分割时,选择的处理对象可以为从该障碍物点云对应的数个窗口中获取的属于同一预设的邻域区间的窗口对,具体地,可以从数个窗口中可以获取所有满足条件的窗口对作为研究对象,每个窗口对中包括属于同一预设的领域区间的两个窗口。另外,本实施例中,可以直接根据三维的障碍物点云获取对应的窗口,此时该窗口也为三维的,窗口的形状具体可以为立方体;或者还可以以根据三维的障碍物点云获取到的二维的投影图为基础,获取对应的窗口,此时对应的窗口为二维的,窗口的形状具体可以为正方形。
例如当窗口为三维时,此时步骤“根据当前车辆周围的障碍物点云,获取对应的数个窗口”具体可以包括如下步骤:
(a1)对三维的障碍物点云进行离散化的网格处理,使得障碍物点云划分成数个格子;
具体地,对三维的障碍物点云进行离散化的网格处理,从而将障碍物点云中的点离散化地分布在数个格子中,每个格子作为障碍物点云的一个体素点,本实施例的体素点的概念与二维情况中的像素点的概念类似。其中数个格子中相邻的格子与格子之间没有空隙、紧邻分布。每个格子中可以包括障碍物点云中的多个激光雷达的扫描点。离散化的网格处理过程中,格子的大小可以根据障碍物的尺寸来确定,避免过大或者过小,使得每个格子中包括适当数量的扫描点即可;格子过大的话,格子中包括的扫描点的数量太多,障碍物中包括的格子数量太少,选取没有意义;格子过小的话,每个格子中包括的扫描点的数量又太少,格子的选取同样没有意义。
(a2)以障碍物点云中的每个格子为中心点,获取对应的窗口,共得到数个窗口;
本实施例中,为了保证每个格子均可以作为研究对象被处理,实际应用中,可以以每个格子作为窗口的中心点即窗口的中心体素点,构造对应的窗口。这样,划分后的障碍物点云中有多少个格子,对应可以构造多少个窗口。本实施例中的窗口的大小以包括适当数量的格子为宜,窗口不能过大或者过小,窗口过大的话,每个障碍物中的窗口数量太少,每个窗口中包括的格子数量过多;窗口过小的话,窗口数量又太多,每个窗口中包括的格子数量又太少;均无法准确、有效地获取该窗口对应的语义特征信息,从而无法有效地对障碍物进行分割。例如障碍物点云分布在距离中心x和y方向正负70米、高度正负4米的范围,假设离散化网格处理时选择的格子长度是0.2米*0.2米*0.2米,那么障碍物点云可以分布在一个长度和宽度等于140,高度等于8米空间中,对应将障碍物点云分布在700*700*40的网格中。窗口的大小可以取0.6米*0.6米*0.6米、或者1米*1米*1米等等。需要注意的是,本实施例中的窗口的边长需要是格子的边长的奇数倍,这样可以保证窗口的正中心正好落在位于窗口的中心的格子的正中心,以便于每个窗口的中心点正好对应存在一个作为体素点的格子。
经上述步骤(a1),根据障碍物点云得到的格子中均包括有激光雷达的扫描点,没有空格子。但是,步骤(a2)中,当以障碍物点云中的位于边缘的格子为中心点,获取对应的窗口时,窗口的大小不变,由于边缘外部不再存在体素点,此时可以通过构造空格子来填补一个完整的窗口。本实施例中的空格子为内部没有激光雷达扫描点的格子。
此时对应的步骤101“根据当前车辆周围的所述障碍物点云,获取各组窗口对中的两个窗口的特征信息以及两个窗口的中心点的特征信息”,可以有两种获取方式,第一种方式为:在步骤(a2)得到数个窗口之后,获取所有窗口中各窗口的特征信息以及各窗口的中心点的特征信息;然后根据各组窗口对中包括两个窗口的标识,从获取的所有窗口的特征信息以及所有窗口的中心点的特征信息中,获取各组窗口对中两个窗口中各窗口的特征信息以及各窗口的中心体素点的特征信息。第二种方式为:在步骤(a2)得到数个窗口之后,不获取所有窗口中各窗口的特征信息以及各窗口的中心点的特征信息;而当从数个窗口中获取各组窗口对之后,以各窗口对为处理单元,根据当前车辆周围的所述障碍物点云,获取各组窗口对中的两个窗口的特征信息以及两个窗口的中心点的特征信息。
本实施例中,无论采用哪种方式获取的各组窗口对中两个窗口中各窗口的特征信息以及各窗口的中心体素点的特征信息,在窗口为三维时,各窗口的特征信息可以包括窗口中各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个。其中各体素点的高度具体可以为该体素点中所包括的激光雷达扫描点的高度的平均值,或者该体素点中所包括的激光雷达扫描点的最大高度值。各体素点的密度具体可以为该体素点所包括的激光雷达扫描点的数量。平均反射值具体可以为该体素点所包括的各激光雷达扫描点的反射值的平均数。其中的中心点在三维窗口中即指的是窗口的中心体素点。
需要说明的是,由于窗口的特征信息在具体的处理中是以向量的形式存在的,若窗口中包括空格子存在的体素点,在获取窗口的特征信息中,空格子存在的体素点也要参与特征信息的获取。空格子存在的体素点对应的距离地面的高度、密度以及平均反射值均为0。
根据上述方式,可以获取到窗口中每一个体素点距离地面的高度、每一个体素点的密度以及每一个体素点的平均反射值;对应的根据窗口中每一个体素点距离地面的高度、每一个体素点的密度以及每一个体素点的平均反射值,可以获取到窗口中每一个体素点与中心点即中心体素点的距离地面的高度差、密度差以及平均反射值差。然后可以根据实际需求,根据窗口中各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个,构成该窗口的特征信息,具体可以将该窗口的特征信息采用向量的形式存在。当窗口的特征信息包括各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的一个时,此时对应的表示窗口的特征信息的向量的维数为该窗口中所包括的体素点的数量;当窗口的特征信息包括各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的两个时,此时对应的表示窗口的特征信息的向量的维数为该窗口中所包括的体素点的数量的二倍;同样,当窗口的特征信息包括各体素点与中心点的距离地面的高度差、密度差以及平均反射值差时,此时对应的表示窗口的特征信息的向量的维数为该窗口中所包括的体素点的数量的三倍。
本实施例中的各窗口的中心点的特征信息即为各窗口的中心体素点的特征信息,具体为该体素点距离地面的高度、密度以及平均反射值中的至少一个。窗口的中心点的特征信息与上述实施例中的窗口的特征的信息对应,窗口的特征信息中包括该窗口中的各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的哪个参数,对应的窗口的中心点的特征信息即包括哪个参数。由于窗口的中心点的特征信息仅包括一个体素点的特征信息,对应的当窗口的中心点的特征信息采用向量的形式表示时,该向量为一维形式。
由于每帧障碍物点云中的数量非常多,例如,当采用64线激光雷达时,每帧的点云个数可以达到13万左右,三维窗口的特征信息以及各窗口的中心点的特征信息包含的数据较多,在预测各窗口的中心点对应的语义特征信息时,计算量非常大,因此,本实施例中,为了减少预测各窗口的中心点对应的语义特征信息的计算量,优选地,本实施例中可以选取二维的窗口,以简化各窗口的特征信息以及各窗口的中心点的特征信息。
当窗口为二维时,此时步骤“根据当前车辆周围的障碍物点云,获取对应的数个窗口”具体可以包括如下步骤:
(b1)将障碍物点云投射在垂直于高度的二维平面上,得到障碍物点云的二维映射图;
例如为了便于投射,具体可以向地面所在的二维平面投射障碍物点云,得到障碍物点云的二维映射图。
(b2)根据障碍物点云的二维映射图和障碍物点云中各点的高度,得到障碍物点云的二维高度图;
然后根据障碍物点云中的各点的高度,为二维映射图中各映射点设置高度。例如二维映射图中各映射点距地面的高度可以为该映射点对应的障碍物点云中的各点距地面的最高高度,或者也可以为该映射点对应的障碍物点云中的各点距地面的高度的平均值,即平均高度。然后根据确定的各映射点的高度,在二维映射图中各映射点标识高度,从而得到障碍物点云的二维高度图。
(b3)对二维高度图中的障碍物点云的映射点进行离散化的网格处理,使得二维高度图中的障碍物点云的映射点划分成数个格子;
将二维高度图中的障碍物点云的映射点进行离散化的网格处理,从而将障碍物点云中的映射点离散化地分布在二维空间的数个格子中,每个格子作为障碍物点云的一个像素点。例如,图2为本发明实施例提供过的一种障碍物点云的二维高度图。如图2所示,将障碍物点云的二维高度图中的障碍物点云的映射点分布在数个格子中。数个格子中相邻的格子与格子之间没有空隙、紧邻分布。每个格子中可以包括多个障碍物点云的映射点,而每个障碍物点云的映射点可以对应障碍物点云中的多个激光雷达的扫描点。因此,也可以得到每个格子对应的障碍物点云中的多个激光雷达的扫描点。
(b4)以每个格子为中心点,获取对应的窗口,共得到数个窗口;
同理,为了保证每个格子均可以作为研究对象被处理,实际应用中,可以以每个格子作为窗口的中心点即窗口的中心像素点,构造对应的窗口。这样,划分后的二维高度图有多少个格子,对应可以构造多少个窗口。同理,窗口的大小可以根据障碍物点云的二维高度图中x方向和y方向的尺寸来设置,使得每个格子中包括适当数量的映射点即可。例如障碍物点云分布在距离中心x和y方向正负70米的范围,假设离散化网格处理时选择的格子长度是0.2米*0.2米,那么障碍物点云可以分布在一个长度和宽度等于140的空间中,对应将障碍物点云分布在700*700的网格中。窗口的大小可以取0.6米*0.6米,或者1米*1米等等。需要注意的是,本实施例中的窗口的边长需要是格子的边长的奇数倍,这样可以保证窗口的正中心正好落在位于窗口的中心的格子的正中心,以便于每个窗口的中心点正好对应存在一个作为像素点的格子。
经上述步骤(b3),根据障碍物点云的二维高度图中的障碍物点云的映射点得到的格子中均包括有对应的激光雷达的扫描点,没有空格子。但是,步骤(b4)中,当以网格化处理后的二维高度图中位于边缘的格子为中心点,获取对应的窗口时,窗口的大小不变,由于边缘外部不再存在像素点,此时可以通过构造空格子来填补一个完整的窗口。本实施例中的空格子为内部没有包括对应的激光雷达扫描点的格子。
此时对应的步骤101“根据当前车辆周围的所述障碍物点云,获取各组窗口对中的两个窗口的特征信息以及两个窗口的中心点的特征信息”,也可以包括上述窗口为三维时对应的两种获取方式,详细可以参考上述实施例的记载,在此不再赘述。
具体地,窗口为二维时,根据获取到的每个格子中包括的映射点对应的高度,可以获取该格子对应的像素点距地面的高度。具体地,取每个格子对应的像素点距地面的高度为该格子中所包括的所有映射点的最高高度或者该格子中所包括的所有映射点的平均高度。还可以获取到每个格子中所包括的映射点所对应的障碍物点云中的激光扫描点的数量,作为该格子的密度。另外,还可以获取到每个格子中所包括的映射点所对应的障碍物点云中的所有激光雷达扫描点的反射值,然后取该格子中所包括的映射点所对应的障碍物点云中的所有激光扫描点的反射值的平均数,作为该格子的平均反射值。
同理,取窗口中各像素点与中心点即中心像素点的距离地面的高度差、密度差以及平均反射值差中的至少一个作为对应的该窗口的特征信息,窗口的特征信息在处理时可以采用向量的形式标识。对应的窗口的中心点的特征信息,即窗口的中心像素点的特征信息可以为对应的中心像素点的距离地面的高度、密度以及平均反射值中的至少一个。
同理,需要说明的是,由于窗口的特征信息在具体的处理中是以向量的形式存在的,若窗口中包括空格子存在的像素点,在获取窗口的特征信息中,空格子存在的像素点也要参与特征信息的获取。空格子存在的像素点对应的距离地面的高度、密度以及平均反射值均为0。窗口的特征信息对应的向量维数的限定可以参考上述三维窗口中的相关限定,在此不再赘述。
进一步可选地,上述采用二维高度图来简化三维的障碍物点云,实际应用中,还可以将三维的障碍物点云在深度方向如垂直于y方向进行投射,得到二维深度图,并根据二维深度图采用类似的方式获取对应的各窗口,进而获取各窗口的特征信息以及各窗口的中心点的特征信息。其实现方式与二维高度图的实现方式相同,详细可以参考上述实施例的记载,在此不再赘述。
进一步地,根据上述实施例获取到当前车辆周围的障碍物点云对应的数个窗口之后,从数个窗口中获取属于同一预设的邻域区间的多组窗口对;其中各组窗口对中包括两个窗口;由于障碍物点云中两个距离较远的窗口的中心体素点可能不属于同一障碍物,因此本实施例中可以将邻域区间设置为一定的区域范围内,如1米内,或者1.5米内,或者0.8米内等等。或者也可以将邻域区间设置为最近邻的K个体素点范围内,例如,K可以取5个或者8个,或者其他正整数数值。具体地,为了对障碍物点云中的所有障碍物进行有效分割,本实施例中,可以从数个窗口中获取所有属于同一个邻域区间的窗口对。
然后若预先已经获取到数个窗口中每一个窗口的特征信息以及各窗口的中心点的特征信息,此时可以从中获取到每个窗口对中的两个窗口中的各窗口的特征信息以及各窗口的中心点的特征信息。若预先未获取到数个窗口中每一个窗口的特征信息以及各窗口的中心点的特征信息;则直接根据当前车辆周围的障碍物点云,获取各组窗口对中的两个窗口的特征信息以及两个窗口的中心点的特征信息。然后将每组窗口对的两个窗口的特征信息、该组窗口对的两个窗口的中心点的特征信息,代入预先训练的语义特征模型,该语义特征模型可以输出该组窗口对的两个窗口的中心点(即该窗口的中心体素点或者像素点)对应的语义特征信息。本实施例的语义特征模型可以预先训练得到。
根据上述方式,可以预测到根据当前车辆周围的障碍物点云获取的数个窗口中各组窗口对中的两个窗口的中心点(即窗口的中心体素点或者中心像素点)对应的语义特征信息,然后可以根据各组窗口对中的两个窗口的中心点对应的语义特征信息,将障碍物点云中属于同一个障碍物的体素点或者像素点进行聚类,并根据聚类结果对障碍物点云中的各障碍物进行分割,使得各障碍物可以从障碍物点云中独立出来。
本实施例的障碍物分割方法,通过从根据当前车辆周围的障碍物点云获取的数个窗口中,获取属于同一预设的邻域区间的多组窗口对;各组窗口对中包括两个窗口;根据当前车辆周围的障碍物点云,获取各组窗口对中的两个窗口的特征信息以及两个窗口的中心点的特征信息;根据各组窗口对中的两个窗口的特征信息、对应的窗口对中的两个窗口的中心点的特征信息以及预先训练的语义特征模型,预测对应的窗口对中的两个窗口的中心点对应的语义特征信息;根据各组窗口对中的两个窗口的中心点对应的语义特征信息,对障碍物点云中的各障碍物进行分割。采用本实施例的技术方案,可以根据各组窗口对中的两个窗口的中心点对应的语义特征信息,合理化地对障碍物点云中的各障碍物进行分割,可以克服现有技术中仅根据局部的空间距离信息对障碍物进行分割,所造成的分割和欠分割的技术问题,从而能够有效地提高对障碍物分割的准确性,进而能够有效地提高对障碍物分割的精度。
进一步可选地,上述实施例中的语义特征信息为障碍物点云中距离之外的其它一些包含窗口的中心点的语义特征的信息,例如本实施例的窗口对中的两个窗口的中心点对应的语义特征信息可以采用如下方式进行限定:
本实施例中,窗口对中的两个窗口的中心点对应的语义特征信息具体可以为邻域区间内、任意两个窗口的中心点属于同一障碍物的概率;例如,当该概率大于或者等于某一概率阈值时,可以认为邻域区间内、该两个窗口的中心点属于同一障碍物;否则当概率小于该概率阈值时,可以认为邻域区间内、该两个窗口的中心点不属于同一障碍物。本实施例的概率阈值可以根据实际经验来设置,例如可以设置为0.9或者0.85等数值。此时对应的语义特征模型具体也可以为一种回归器模型。该回归器模型也可以采用随机森林(RandomDecision Forest;RDF)模型或者梯度决策树(Gradient Decision Tree;GDT)模型以及其它类似的一些神经网络模型中的任意一种。可选地,该回归器模型为预先采用如下步骤训练得到的:
(c1)采集多个预设障碍物的点云,生成障碍物训练集;
(c2)根据障碍物训练集中的多个预设障碍物的点云,训练回归器模型。
本实施例中障碍物训练集中包括的预设障碍物的点云信息的条数可以很多,例如5000以上或者上万或者更多,障碍物训练集中包括的预设障碍物的点云信息的条数越多,训练的回归器模型时,确定的回归器模型的参数越准确,后续步骤102根据预先训练的语义特征模型,预测对应的窗口对中的两个窗口的中心点对应的语义特征信息,即本实施例中根据回归器模型,预测对应的窗口对中的两个窗口的中心点属于同一障碍物的概率便越准确。
对于三维的窗口,步骤(a1)得到的离散化的网格处理后的障碍物点云中的各个格子,分别作为窗口的中心体素点,然后可以在一定邻域区间内,根据两个窗口的中心体素点属于同一障碍物的概率,确定这两个窗口的中心体素点之间是否有一条边(edge)连接,当这两个窗口的中心体素点属于同一障碍物的概率大于或者等于概率阈值,这两个窗口的中心体素点之间存在该条edge;否则这两个窗口的中心体素点之间不存在该条edge。若邻域区间内的两个窗口的中心体素点之间存在edge,在这两个窗口的中心体素点之间连接该条edge,这两个窗口的中心体素点则属于同一个cluster,采用同样的方式,可以对所有的邻域区间内的任意两个窗口的中心体素点进行分析,最终,得到多个cluster。同一cluster为同一个障碍物;根据不同的cluster,可以实现对不同障碍物进行分割。
同理,对于二维的窗口,对步骤(b3)得到的离散化的网格处理后的二维高度图中的各个格子,分别作为各窗口的中心像素点。根据步骤102的方式,可以预测到各邻域区间内、任意两个窗口的中心像素点属于同一障碍物的概率。然后在离散化的网格处理后的二维高度图中,根据各邻域区间内,两个窗口的中心像素点属于同一障碍物的概率,然后可以根据该概率,确定这两个窗口的中心像素点之间是否有一条边(edge)连接,当该概率大于或者等于概率阈值,这两个窗口的中心像素点之间存在该条edge;否则这两个窗口的中心像素点之间不存在该条edge。若邻域区间内的两个窗口的中心像素点之间存在edge,在这两个窗口的中心像素点之间连接该条edge,这两个中心像素点则属于同一个cluster。从而对各个像素点进行聚类处理。
由于二维高度图相当于三维的俯视图,所以可以将二维聚类处理后的结果再反投射到三维空间中的某一高度区间范围中。这里的高度区间范围根据实际应用中路面上的障碍物的高度来取,例如可以取距离地面向上0-6m的高度;而对于超出该范围的障碍物,例如距离地面10m高度处飞的鸟,可以认为不是本实施例待分割的障碍物,可以忽略。然后将二维聚类处理后的结果再反投射到三维空间的过程中,可以将三维空间中该高度区间范围内的所有点,都根据二维聚类处理结果进行聚类处理,即得到三维空间的聚类处理结果,将归属于同一障碍物的点都聚集在同一cluster中,从而可以根据三维空间的聚类处理结果,将障碍物点云中的各障碍物进行分割,使得每一个障碍物能够独立出来。
进一步可选地,在上述聚类处理后,还可以合并(merge)处理,以将一些体积或尺寸过小的块即过小的cluster合并至一些体积或尺寸较大的cluster中,例如可以根据障碍物都是凸边形的假设,merge一些被更大的cluster所包括的小cluster。如三维的情况下,若包含cluster A的最小体积bounding box被cluster B对应的bounding box所包含,则可以将cluster A可以和cluster B合并;其中的bounding box可以是空间中的一个3维长方体;在二维情况下,若cluster A的二维凸包被cluster B的二维凸包所包含,则可以将cluster A和cluster B合并。后续的障碍物分割可以根据合并后的cluster进行分割,进一步有效地提高了对障碍物的分割精度。
另外,本实施例的窗口对中的两个窗口的中心点对应的语义特征信息还可以为一些其他的语义特征信息,例如可以为窗口对中的两个窗口的中心点对应的连接代价值,或者窗口对中的两个窗口的中心点对应的相似度等等,在此不再一一举例赘述。
图3为本发明的障碍物分割方法实施例二的流程图。如图3所示,本实施例的障碍分割方法,基于上述实施例中的以窗口对中的两个窗口的中心点对应的语义特征信息为邻域区间内的窗口对中的任意两个窗口的中心点属于同一障碍物的概率为例,来描述本发明的技术方案。如图3所示,本实施例的障碍物的分割方法,具体可以包括如下步骤:
200、采集多个预设障碍物的点云,生成障碍物训练集;
具体可以通过激光雷达对预设的障碍物进行扫描,得到对应的预设障碍物点云。采集多个预设障碍物的点云,生成障碍物训练集。另外,也可以采集计算机视觉中基于图像的structure from motion,stereo vision等技术获取到的预设障碍物的点云,生成障碍物训练集。障碍物训练集中的一个预设障碍物的点云中可以包括一个预设障碍物,也可以包括多个预设障碍物,且当预设障碍物的点云中包括多个预设障碍物时,多个预设障碍物已经分割清楚,能够明确分辨出障碍物点云中的每一个独立的预设障碍物。
201、根据障碍物训练集中的各预设障碍物的点云,获取对应的数个预设窗口;
202、从各预设障碍物的点云对应的数个预设窗口中,获取属于同一预设的邻域区间的多组预设窗口对;
203、根据当前车辆周围的障碍物点云,获取各组预设窗口对中的两个预设窗口的特征信息以及两个预设窗口的中心点的特征信息;
具体地,首先可以根据障碍物训练集中的每个预设障碍物的点云,获取该预设障碍物的点云对应的数个预设窗口,然后再从得到的数个预设窗口中,获取属于同一预设的邻域区间的多组预设窗口对。具体选取时,可以以每一个预设窗口为对象,将其它所有预设窗口和当前的预设窗口做比对,判断这两个窗口是否在同一预设的领域区间,若在将这两个预设窗口组成一组预设窗口内;最后对每一个预设障碍物的点云对应的所有预设窗口对进行去重,即预设窗口A与预设窗口B组成的预设窗口对、和预设窗口B与预设窗口A组成的预设窗口对仅保留一个即可。然后根据当前车辆周围的障碍物点云,获取各组预设窗口对中的两个预设窗口的特征信息以及两个预设窗口的中心点的特征信息。
本实施例中,可以通过获取障碍物训练集中的所有预设障碍物的点云对应的数个预设窗口,以丰富训练回归器模型所需要的预设窗口的特征信息以及预设窗口的中心点的特征信息的数量,从而能够使得训练的回归器模型更加精准。
本实施例中,障碍物训练集中的预设窗口与上述实施例中的窗口的获取方式相同,对应地,预设窗口的特征信息与上述实施例中的窗口的特征信息、预设窗口的中心点的特征信息与上述实施例中的窗口的中心点的特征信息的获取方式均相同,详细可以参考上述实施例的记载。对于三维的窗口,此时窗口的中心点对应为三维窗口的中心体素点。对于二维的窗口,此时窗口的中心点对应为二维窗口的中心像素点。
而且,需要注意的是,由于窗口的特征信息在使用时以向量的形式存在,后续障碍物分割时获取的窗口的向量的维数,务必与训练回归器模型时获取的预设窗口的向量的维数一致,且训练回归器模型是采用的预设窗口的大小务必与后续障碍物分割时获取的窗口的大小一致,这样才能保证两者的向量的维数是一致的,从而保证在障碍物分割时,使用回归器模型预测的窗口的中心点对应的障碍物类别的准确性。
204、根据障碍物训练集中的各预设障碍物的点云,获取各组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率;
由于障碍物训练集中的障碍物点云中的障碍物已经分割清楚,能够清晰分清楚每一个障碍物。根据障碍物训练集中的每个预设障碍物的点云,可以确定每组预设窗口对中的每个预设窗口的中心点所对应的障碍物;进而可以根据该组预设窗口对中的两个预设窗口的中心点所对应的障碍物,得知该组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率。若该组预设窗口对中的两个预设窗口的中心点属于同一障碍物,则该组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率为1,否则若该组预设窗口对中的两个预设窗口的中心点不属于同一障碍物,则该组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率为0。由于该组预设窗口对中的两个预设窗口的中心点对应的障碍物是已经确定的,所以,该组预设窗口对中的两个预设窗口的中心点只能是属于同一障碍物,或者不属于同一障碍物,即对应的概率值只能是为1或者0,而不可能有其它数值。
205、采用各组预设窗口对中的两个预设窗口的特征信息、对应的两个预设窗口的中心点的特征信息、以及各组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率,训练回归器模型,从而确定回归器模型;
由于步骤203中已经获取到各组预设窗口对中的两个预设窗口的特征信息以及两个预设窗口的中心点的特征信息;另外步骤204还获取了每组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率。该组预设窗口对中的两个预设窗口的特征信息、对应的两个预设窗口的中心点的特征信息以及该组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率组成一条训练数据。多于多组预设窗口对,可以获取到多条类似的训练数据。在训练时,取一条训练数据,将训练数据中的该组预设窗口对中的两个预设窗口的特征信息、两个预设窗口的中心点的特征信息输入回归器中,调整回归器的参数,使得回归器输出该组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率。由于前面步骤204已经获取到该组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率,此时可以检测回归器输出的该组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率,是否与步骤204获取到该组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率一致;若不一致,可以调整回归器模型的参数,使得回归器输出的该组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率,与步骤204获取到该组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率一致。采用多条训练数据按照上述方式依次对该回归器模型进行训练,可以确定该回归器模型的参数,从而确定该回归器模型。
步骤201到205为上述实施例中的步骤(c2)“根据障碍物训练集中的多个预设障碍物的点云,训练回归器模型”的一种具体实现方式。经上述步骤的处理,便可以训练出本实施例中所需要的回归器模型,后续步骤可以基于该回归器模型,进行障碍物的分割。
206、根据当前车辆周围的障碍物点云,获取对应的数个窗口;
207、从数个窗口中,获取属于同一预设的邻域区间的多组窗口对;各组窗口对中包括两个窗口;
208、根据当前车辆周围的障碍物点云,获取各组窗口对中的两个窗口的特征信息以及两个窗口的中心点的特征信息;
步骤206-208详细可以参考上述图1所示实施例的相关记载,在此不再赘述。
209、根据各组窗口对中的两个窗口的特征信息、对应的窗口对中的两个窗口的中心点的特征信息以及预先训练的回归器模型,预测对应的窗口对中的两个窗口的中心点属于同一障碍物的概率;
参考上述步骤201-205,回归器模型的训练,可以知道,若将某组窗口对中的两个窗口的特征信息、以及该窗口对中的两个窗口的中心点的特征信息输入值训练好的回归器模型中,该回归器模型可以输出该窗口对中的两个窗口的中心点属于同一障碍物的概率。
210、根据各组窗口对中两个窗口的中心点属于同一障碍物的概率,对障碍物点云中的各障碍物进行聚类,从而实现对障碍物点云中的各障碍物进行分割。
由于回归器模型输出的对应的两个窗口的中心点属于同一障碍物的概率是一个预测值,因此该回归器模型输出的概率可以为0到1之间的任何数。采用上述方式,可以获取到各邻域区间内、任意两个窗口的中心点属于同一障碍物的概率。进而可以根据各邻域区间内、任意两个窗口的中心点属于同一障碍物的概率,对障碍物点云中的各障碍物进行聚类,从而实现对障碍物点云中的各障碍物进行分割。
若窗口为三维窗口时,根据每个窗口的中心体素点与邻域区间内的其它窗口的中心体素点属于同一障碍物的概率,可以确定这两个窗口的中心体素点之间是否有一条edge连接,若两个窗口的中心体素点属于同一障碍物的概率大于或者等于概率阈值,这两个窗口的中心体素点之间存在该条edge;否则这两个窗口的中心体素点之间不存在该条edge。若邻域区间内的两个窗口的中心体素点之间存在edge,在这两个窗口的中心体素点之间连接该条edge,这两个窗口的中心体素点则属于同一个cluster,采用同样的方式,可以对所有的邻域区间内的任意两个窗口的中心体素点进行分析,最终,得到多个cluster。同理,可选地,还可以进一步对聚类之后的cluster进行merge处理,详细可以参考上述实施例的记载,在此不再赘述。聚类处理之后,每一块cluster代表一个障碍物,然后可以根据聚类之后的不同的cluster,对各个障碍物进行分割。
同理,若窗口为二维窗口时,聚类原理相似,只是聚类的处理是在障碍物点云对一个的二维高度图中进行聚类处理;然后将二维聚类处理后的结果再反投射到三维空间的过程中,可以将三维空间中障碍物所在的一定高度区间范围内的所有点,都根据二维聚类处理结果进行聚类处理,即得到三维空间的聚类处理结果,将归属于同一障碍物的点都聚集在同一cluster中,从而可以根据三维空间的聚类处理结果,将障碍物点云中的各障碍物进行分割,使得每一个障碍物能够独立出来。
本实施例的障碍物分割方法,采用上述技术方案,可以根据邻域区间内各窗口对中的两个窗口的中心点属于同一障碍物的概率,并结合概率阈值合理化地对障碍物点云中的各障碍物进行分割,可以克服现有技术中仅根据局部的空间距离信息对障碍物进行分割,所造成的分割和欠分割的技术问题,从而能够有效地提高对障碍物分割的准确性,进而能够有效地提高对障碍物分割的精度。
图4为本发明的障碍物分割装置实施例一的结构图。如图4所示,本实施例的障碍物分割装置,具体可以包括:窗口对获取模块10、信息获取模块11、预测模块12和分割处理模块13。
其中窗口对获取模块10用于从根据当前车辆周围的障碍物点云获取的数个窗口中,获取属于同一预设的邻域区间的多组窗口对;各组窗口对中包括两个窗口;
信息获取模块11用于根据当前车辆周围的所述障碍物点云,获取窗口对获取模块10获取的各组窗口对中的两个窗口的特征信息以及两个窗口的中心点的特征信息;
预测模块12用于根据信息获取模块11获取的各组窗口对中的两个窗口的特征信息、对应的窗口对中的两个窗口的中心点的特征信息以及预先训练的语义特征模型,预测对应的窗口对中的两个窗口的中心点对应的语义特征信息;
分割处理模块13用于根据预测模块12预测的各组窗口对中的两个窗口的中心点对应的语义特征信息,对障碍物点云中的各障碍物进行分割。
本实施例的障碍物分割装置,通过采用上述模块实现障碍物分割的实现原理以及技术效果与上述相关方法实施例的实现相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。
图5为本发明的障碍物分割装置实施例二的结构图。如图5所示,本实施例的障碍物分割装置,在上述实施例的技术方案的基础上,进一步更加详细地介绍本发明的技术方案。
本实施例的障碍物分割装置中,预测模块12具体用于根据各组窗口对中的两个窗口的特征信息、对应的窗口对中的两个窗口的中心点的特征信息以及预先训练的回归器模型,预测对应的窗口对中的两个窗口的中心点属于同一障碍物的概率;
对应地,分割处理模块13具体用于根据预测模块12预测的各组窗口对中的两个窗口的中心点属于同一障碍物的概率,并结合预设的概率阈值对障碍物点云中的各障碍物进行聚类,从而实现对障碍物点云中的各障碍物进行分割。
进一步可选地,如图5所示,本实施例的障碍物分割装置中,还包括:
采集模块14用于采集多个预设障碍物的点云,生成障碍物训练集;
训练模块15用于根据采集模块14采集的障碍物训练集中的多个预设障碍物的点云,训练回归器模型。
对应地,预测模块12具体用于根据各组窗口对中的两个窗口的特征信息、对应的窗口对中的两个窗口的中心点的特征信息以及训练模块15预先训练的回归器模型,预测对应的窗口对中的两个窗口的中心点属于同一障碍物的概率;
进一步可选地,训练模块15具体用于:
根据采集模块14采集的障碍物训练集中的各所述预设障碍物的点云,获取对应的数个预设窗口;
从数个预设窗口中获取属于同一预设的邻域区间的多组预设窗口对,其中每组预设窗口对包括两个预设窗口;
根据障碍物训练集中的各预设障碍物的点云,获取各组预设窗口对中的两个预设窗口的特征信息以及两个预设窗口的中心点的特征信息;
根据障碍物训练集中的各预设障碍物的点云,获取各组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率;
采用各组预设窗口对中的两个预设窗口的特征信息、对应的两个预设窗口的中心点的特征信息、以及各组预设窗口对中的两个预设窗口的中心点属于同一障碍物的概率,训练回归器模型,从而确定回归器模型。
进一步可选地,如图5所示,本实施例的障碍物分割装置中,还包括:
窗口获取模块16用于根据当前车辆周围的障碍物点云,获取对应的数个窗口。
对应地,窗口对获取模块10用于从窗口获取模块16获取的数个窗口中,获取属于同一预设的邻域区间的多组窗口对;各组窗口对中包括两个窗口;
进一步可选地,当本实施例的窗口为三维窗口时,窗口获取模块16具体用于:
对三维的障碍物点云进行离散化的网格处理,使得障碍物点云划分成数个格子;
以障碍物点云中的每个格子为中心点,获取对应的所述窗口,共得到数个窗口;
进一步地,此时各窗口的特征信息包括窗口中各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个;对应的窗口的中心点的特征信息为对应的中心点的距离地面的高度、密度以及平均反射值中的至少一个。
进一步可选地,当本实施例的窗口为二维窗口时,窗口获取模块16具体用于:
将障碍物点云投射在垂直于高度的二维平面上,得到障碍物点云的二维映射图;
根据障碍物点云的二维映射图和障碍物点云中各点的高度,得到障碍物点云的二维高度图;
对二维高度图中的障碍物点云的映射点进行离散化的网格处理,使得二维高度图中的障碍物点云的映射点划分成数个格子;
以每个格子为中心点,获取对应的窗口,共得到数个窗口;
此时对应地各窗口的特征信息包括窗口中各像素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个;对应的窗口的中心点的特征信息为对应的中心点的距离地面的高度、密度以及平均反射值中的至少一个。
本实施例的障碍物分割装置,通过采用上述模块实现障碍物分割的实现原理以及技术效果与上述相关方法实施例的实现相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。
图6为本发明的计算机设备实施例的结构图。如图6所示,本实施例的计算机设备,包括:一个或多个处理器20,以及存储器30,存储器30用于存储一个或多个程序,当存储器30中存储的一个或多个程序被一个或多个处理器20执行,使得一个或多个处理器20实现如上图1-图3所示实施例的障碍物分割方法。图6所示实施例中以包括多个处理器20为例。
例如,图7为本发明提供的一种计算机设备的示例图。图7示出了适于用来实现本发明实施方式的示例性计算机设备12a的框图。图7显示的计算机设备12a仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,计算机设备12a以通用计算设备的形式表现。计算机设备12a的组件可以包括但不限于:一个或者多个处理器16a,系统存储器28a,连接不同系统组件(包括系统存储器28a和处理器16a)的总线18a。
总线18a表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12a访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28a可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30a和/或高速缓存存储器32a。计算机设备12a可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34a可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18a相连。系统存储器28a可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明上述图1-图3各实施例的功能。
具有一组(至少一个)程序模块42a的程序/实用工具40a,可以存储在例如系统存储器28a中,这样的程序模块42a包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42a通常执行本发明所描述的上述图1-图5各实施例中的功能和/或方法。
计算机设备12a也可以与一个或多个外部设备14a(例如键盘、指向设备、显示器24a等)通信,还可与一个或者多个使得用户能与该计算机设备12a交互的设备通信,和/或与使得该计算机设备12a能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22a进行。并且,计算机设备12a还可以通过网络适配器20a与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20a通过总线18a与计算机设备12a的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12a使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16a通过运行存储在系统存储器28a中的程序,从而执行各种功能应用以及数据处理,例如实现上述实施例所示的障碍物识别方法。
本发明还提供一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例所示的障碍物分割方法。
本实施例的计算机可读介质可以包括上述图7所示实施例中的系统存储器28a中的RAM30a、和/或高速缓存存储器32a、和/或存储系统34a。
随着科技的发展,计算机程序的传播途径不再受限于有形介质,还可以直接从网络下载,或者采用其他方式获取。因此,本实施例中的计算机可读介质不仅可以包括有形的介质,还可以包括无形的介质。
本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (16)
1.一种障碍物分割方法,其特征在于,所述方法包括:
从根据当前车辆周围的障碍物点云获取的数个窗口中,获取属于同一预设的邻域区间的多组窗口对;各组所述窗口对中包括两个所述窗口;其中,所述窗口为基于所述障碍物点云所构造的进行障碍物分割的基本单元;
根据所述当前车辆周围的所述障碍物点云,获取各组所述窗口对中的两个所述窗口的特征信息以及两个所述窗口的中心点的特征信息;
根据各组所述窗口对中的两个所述窗口的特征信息、对应的所述窗口对中的两个所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测对应的所述窗口对中的两个所述窗口的中心点对应的语义特征信息;
根据各组所述窗口对中的两个所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割。
2.根据权利要求1所述的方法,其特征在于,根据各组所述窗口对中的两个所述窗口的特征信息、对应的所述窗口对中的两个所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测对应的所述窗口对中的两个所述窗口的中心点对应的语义特征信息,具体包括:
根据各组所述窗口对中的两个所述窗口的特征信息、对应的所述窗口对中的两个所述窗口的中心点的特征信息以及预先训练的回归器模型,预测对应的所述窗口对中的两个所述窗口的中心点属于同一障碍物的概率;
根据各组所述窗口对中的两个所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割,具体包括:
根据各组所述窗口对中的两个所述窗口的中心点属于同一障碍物的概率,并结合预设的概率阈值对所述障碍物点云中的各所述障碍物进行聚类,从而实现对所述障碍物点云中的各所述障碍物进行分割。
3.根据权利要求2所述的方法,其特征在于,根据各组所述窗口对中的两个所述窗口的特征信息、对应的所述窗口对中的两个所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测对应的所述窗口对中的两个所述窗口的中心点对应的语义特征信息之前,所述方法还包括:
采集多个预设障碍物的点云,生成障碍物训练集;
根据所述障碍物训练集中的所述多个预设障碍物的点云,训练所述回归器模型。
4.根据权利要求3所述的方法,其特征在于,根据所述障碍物训练集中的所述多个预设障碍物的点云,训练所述回归器模型,具体包括:
根据所述障碍物训练集中的各所述预设障碍物的点云,获取对应的数个预设窗口;
从所述数个预设窗口中获取属于同一所述预设的邻域区间的多组预设窗口对,其中每组所述预设窗口对包括两个所述预设窗口;
根据所述障碍物训练集中的各所述预设障碍物的点云,获取各组所述预设窗口对中的两个所述预设窗口的特征信息以及两个所述预设窗口的中心点的特征信息;
根据所述障碍物训练集中的各所述预设障碍物的点云,获取各组所述预设窗口对中的两个所述预设窗口的中心点属于同一障碍物的概率;
采用各组所述预设窗口对中的两个所述预设窗口的特征信息、对应的两个所述预设窗口的中心点的特征信息、以及各组所述预设窗口对中的两个所述预设窗口的中心点属于同一障碍物的概率,训练所述回归器模型,从而确定所述回归器模型。
5.根据权利要求1-4任一所述的方法,其特征在于,从根据当前车辆周围的障碍物点云获取的数个窗口中,获取属于同一预设的邻域区间的多组窗口对之前,所述方法还包括:
根据所述当前车辆周围的所述障碍物点云,获取对应的所述数个窗口。
6.根据权利要求5所述的方法,其特征在于,根据所述当前车辆周围的所述障碍物点云,获取对应的所述数个窗口,具体包括:
对三维的所述障碍物点云进行离散化的网格处理,使得所述障碍物点云划分成数个格子;
以所述障碍物点云中的每个所述格子为中心点,获取对应的所述窗口,共得到所述数个窗口;
进一步地,此时各所述窗口的特征信息包括所述窗口中各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个;对应的所述窗口的中心点的特征信息为对应的所述中心点的距离地面的高度、密度以及平均反射值中的至少一个。
7.根据权利要求5所述的方法,其特征在于,根据所述当前车辆周围的所述障碍物点云,获取对应的所述数个窗口,具体包括:
将所述障碍物点云投射在垂直于高度的二维平面上,得到所述障碍物点云的二维映射图;
根据所述障碍物点云的二维映射图和所述障碍物点云中各点的高度,得到所述障碍物点云的二维高度图;
对所述二维高度图中的所述障碍物点云的映射点进行离散化的网格处理,使得所述二维高度图中的所述障碍物点云的映射点划分成数个格子;
以每个所述格子为中心点,获取对应的所述窗口,共得到所述数个窗口;
进一步地,此时各所述窗口的特征信息包括所述窗口中各像素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个;对应的所述窗口的中心点的特征信息为对应的所述中心点的距离地面的高度、密度以及平均反射值中的至少一个。
8.一种障碍物分割装置,其特征在于,所述装置包括:
窗口对获取模块,用于从根据当前车辆周围的障碍物点云获取的数个窗口中,获取属于同一预设的邻域区间的多组窗口对;各组所述窗口对中包括两个所述窗口;其中,所述窗口为基于所述障碍物点云所构造的进行障碍物分割的基本单元;
信息获取模块,用于根据所述当前车辆周围的所述障碍物点云,获取各组所述窗口对中的两个所述窗口的特征信息以及两个所述窗口的中心点的特征信息;
预测模块,用于根据各组所述窗口对中的两个所述窗口的特征信息、对应的所述窗口对中的两个所述窗口的中心点的特征信息以及预先训练的语义特征模型,预测对应的所述窗口对中的两个所述窗口的中心点对应的语义特征信息;
分割处理模块,用于根据各组所述窗口对中的两个所述窗口的中心点对应的语义特征信息,对所述障碍物点云中的各障碍物进行分割。
9.根据权利要求8所述的装置,其特征在于,所述预测模块,具体用于根据各组所述窗口对中的两个所述窗口的特征信息、对应的所述窗口对中的两个所述窗口的中心点的特征信息以及预先训练的回归器模型,预测对应的所述窗口对中的两个所述窗口的中心点属于同一障碍物的概率;
所述分割处理模块,具体用于根据各组所述窗口对中的两个所述窗口的中心点属于同一障碍物的概率,并结合预设的概率阈值对所述障碍物点云中的各所述障碍物进行聚类,从而实现对所述障碍物点云中的各所述障碍物进行分割。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
采集模块,用于采集多个预设障碍物的点云,生成障碍物训练集;
训练模块,用于根据所述障碍物训练集中的所述多个预设障碍物的点云,训练所述回归器模型。
11.根据权利要求10所述的装置,其特征在于,所述训练模块,具体用于:
根据所述障碍物训练集中的各所述预设障碍物的点云,获取对应的数个预设窗口;
从所述数个预设窗口中获取属于同一所述预设的邻域区间的多组预设窗口对,其中每组所述预设窗口对包括两个所述预设窗口;
根据所述障碍物训练集中的各所述预设障碍物的点云,获取各组所述预设窗口对中的两个所述预设窗口的特征信息以及两个所述预设窗口的中心点的特征信息;
根据所述障碍物训练集中的各所述预设障碍物的点云,获取各组所述预设窗口对中的两个所述预设窗口的中心点属于同一障碍物的概率;
采用各组所述预设窗口对中的两个所述预设窗口的特征信息、对应的两个所述预设窗口的中心点的特征信息、以及各组所述预设窗口对中的两个所述预设窗口的中心点属于同一障碍物的概率,训练所述回归器模型,从而确定所述回归器模型。
12.根据权利要求8-10任一所述的装置,其特征在于,所述装置还包括:
窗口获取模块,用于根据所述当前车辆周围的所述障碍物点云,获取对应的所述数个窗口。
13.根据权利要求12所述的装置,其特征在于,所述窗口获取模块,具体用于:
对三维的所述障碍物点云进行离散化的网格处理,使得所述障碍物点云划分成数个格子;
以所述障碍物点云中的每个所述格子为中心点,获取对应的所述窗口,共得到所述数个窗口;
进一步地,此时各所述窗口的特征信息包括所述窗口中各体素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个;对应的所述窗口的中心点的特征信息为对应的所述中心点的距离地面的高度、密度以及平均反射值中的至少一个。
14.根据权利要求8-10任一所述的装置,其特征在于,所述窗口获取模块,具体用于:
将所述障碍物点云投射在垂直于高度的二维平面上,得到所述障碍物点云的二维映射图;
根据所述障碍物点云的二维映射图和所述障碍物点云中各点的高度,得到所述障碍物点云的二维高度图;
对所述二维高度图中的所述障碍物点云的映射点进行离散化的网格处理,使得所述二维高度图中的所述障碍物点云的映射点划分成数个格子;
以每个所述格子为中心点,获取对应的所述窗口,共得到所述数个窗口;
进一步地,此时各所述窗口的特征信息包括所述窗口中各像素点与中心点的距离地面的高度差、密度差以及平均反射值差中的至少一个;对应的所述窗口的中心点的特征信息为对应的所述中心点的距离地面的高度、密度以及平均反射值中的至少一个。
15.一种计算机设备,其特征在于,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710098541.6A CN108470174B (zh) | 2017-02-23 | 2017-02-23 | 障碍物分割方法及装置、计算机设备及可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710098541.6A CN108470174B (zh) | 2017-02-23 | 2017-02-23 | 障碍物分割方法及装置、计算机设备及可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108470174A CN108470174A (zh) | 2018-08-31 |
CN108470174B true CN108470174B (zh) | 2021-12-24 |
Family
ID=63266948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710098541.6A Active CN108470174B (zh) | 2017-02-23 | 2017-02-23 | 障碍物分割方法及装置、计算机设备及可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108470174B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109190704A (zh) * | 2018-09-06 | 2019-01-11 | 中国科学院深圳先进技术研究院 | 障碍物检测的方法及机器人 |
CN109188419B (zh) * | 2018-09-07 | 2021-06-15 | 百度在线网络技术(北京)有限公司 | 障碍物速度的检测方法、装置、计算机设备及存储介质 |
CN109145489B (zh) | 2018-09-07 | 2020-01-17 | 百度在线网络技术(北京)有限公司 | 一种基于概率图的障碍物分布仿真方法、装置以及终端 |
CN109635685B (zh) * | 2018-11-29 | 2021-02-12 | 北京市商汤科技开发有限公司 | 目标对象3d检测方法、装置、介质及设备 |
CN110216664B (zh) * | 2019-04-30 | 2020-12-22 | 北京云迹科技有限公司 | 基于点云数据的障碍物识别方法及装置 |
CN112070798A (zh) * | 2019-06-11 | 2020-12-11 | 中兴通讯股份有限公司 | 库位的检测方法及装置、存储介质和电子装置 |
CN111886597A (zh) * | 2019-06-28 | 2020-11-03 | 深圳市大疆创新科技有限公司 | 可移动平台的障碍物检测方法、装置及可移动平台 |
CN110654422B (zh) * | 2019-11-12 | 2022-02-01 | 银河水滴科技(北京)有限公司 | 一种轨道列车驾驶辅助的方法、装置及系统 |
CN111291697B (zh) * | 2020-02-19 | 2023-11-21 | 阿波罗智能技术(北京)有限公司 | 用于识别障碍物的方法和装置 |
CN114972470B (zh) * | 2022-07-22 | 2022-11-18 | 北京中科慧眼科技有限公司 | 基于双目视觉的路面环境获取方法和系统 |
CN115793652B (zh) * | 2022-11-30 | 2023-07-14 | 上海木蚁机器人科技有限公司 | 行驶控制方法、装置及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091321A (zh) * | 2014-04-14 | 2014-10-08 | 北京师范大学 | 适用于地面激光雷达点云分类的多层次点集特征的提取方法 |
CN104298971A (zh) * | 2014-09-28 | 2015-01-21 | 北京理工大学 | 一种3d点云数据中的目标识别方法 |
CN105701448A (zh) * | 2015-12-31 | 2016-06-22 | 湖南拓视觉信息技术有限公司 | 三维人脸点云鼻尖检测方法及应用其的数据处理装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9767572B2 (en) * | 2015-05-01 | 2017-09-19 | Raytheon Company | Systems and methods for 3D point cloud processing |
-
2017
- 2017-02-23 CN CN201710098541.6A patent/CN108470174B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091321A (zh) * | 2014-04-14 | 2014-10-08 | 北京师范大学 | 适用于地面激光雷达点云分类的多层次点集特征的提取方法 |
CN104298971A (zh) * | 2014-09-28 | 2015-01-21 | 北京理工大学 | 一种3d点云数据中的目标识别方法 |
CN105701448A (zh) * | 2015-12-31 | 2016-06-22 | 湖南拓视觉信息技术有限公司 | 三维人脸点云鼻尖检测方法及应用其的数据处理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108470174A (zh) | 2018-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108509820B (zh) | 障碍物分割方法及装置、计算机设备及可读介质 | |
CN108470174B (zh) | 障碍物分割方法及装置、计算机设备及可读介质 | |
EP3639241B1 (en) | Voxel based ground plane estimation and object segmentation | |
CN106951847B (zh) | 障碍物检测方法、装置、设备及存储介质 | |
CN111666921B (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
US10614324B2 (en) | Method and apparatus for identifying static obstacle | |
CN108629231B (zh) | 障碍物检测方法、装置、设备及存储介质 | |
CN112347999B (zh) | 障碍物识别模型训练方法、障碍物识别方法、装置及系统 | |
CN106709475B (zh) | 障碍物识别方法及装置、计算机设备及可读存储介质 | |
CN110853036A (zh) | 用于训练对象检测模型的方法及设备 | |
CN111832655A (zh) | 一种基于特征金字塔网络的多尺度三维目标检测方法 | |
WO2020072673A1 (en) | Mesh validation | |
CN111257882B (zh) | 数据融合方法、装置、无人驾驶设备和可读存储介质 | |
CN112154448A (zh) | 目标检测方法、设备及可移动平台 | |
CN115147798A (zh) | 可行驶区域预测方法、模型、装置及车辆 | |
CN114882198A (zh) | 一种目标确定方法、装置、设备及介质 | |
US20220262097A1 (en) | Label estimation device, label estimation method, and label estimation program | |
CN116740160A (zh) | 一种复杂交通场景中的毫秒级多平面实时提取方法及装置 | |
CN116299315A (zh) | 一种使用激光雷达实时检测路面障碍物的方法和装置 | |
CN116434181A (zh) | 地面点检测方法、装置、电子设备和介质 | |
CN113935946B (zh) | 实时检测地下障碍物的方法及装置 | |
CN115457496A (zh) | 自动驾驶的挡墙检测方法、装置及车辆 | |
CN116863325A (zh) | 一种用于多个目标检测的方法和相关产品 | |
CN113093798B (zh) | 基于电场分布的无人机巡检避险方法、装置及存储介质 | |
CN117830991B (zh) | 一种基于多模融合的四足机器人复杂场景感知方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |