CN112020722A - 基于三维传感器数据识别路肩 - Google Patents
基于三维传感器数据识别路肩 Download PDFInfo
- Publication number
- CN112020722A CN112020722A CN201880092776.7A CN201880092776A CN112020722A CN 112020722 A CN112020722 A CN 112020722A CN 201880092776 A CN201880092776 A CN 201880092776A CN 112020722 A CN112020722 A CN 112020722A
- Authority
- CN
- China
- Prior art keywords
- grid
- dimensional
- sensor data
- representation
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000004891 communication Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Abstract
本申请提供了一种基于三维传感器数据识别路肩的系统和方法。该系统包括通信接口(202),被配置用于当车辆(110)沿着轨道行进时,接收由装配在车辆(110)上的传感器捕获的场景的三维传感器数据。该系统还包括存储器(208),被配置用于存储三维传感器数据。该系统还包括至少一个处理器(204),至少一个处理器(204)被配置用于创建三维传感器数据的二维网格表示。至少一个处理器(204)还被配置用于将二维网格表示分割为至少两个曲面。所述至少一个处理器(204)还被配置为识别连接每对相邻曲面的边界处网格单元,其中相邻曲面对之间的高度差高于阈值,并选择与轨迹方向相匹配的网格单元用来表示路肩。
Description
技术领域
本申请涉及高清地图中的路肩识别,更具体地说,涉及基于三维传感器数据的高清地图中的路肩识别。
背景技术
无人驾驶和机器人导航技术严重依赖于高清地图中路肩的准确识别。例如,识别路肩可以帮助定义可行驶区域以及自动驾驶车辆的其他道路特征。另一方面,识别路肩也可用于精确定位自动驾驶车辆。
道路特征识别方法通常使用两种类型的传感器数据:摄像机捕获的数据或使用激光雷达捕获的三维传感器数据。例如,诸如车道标记、交通牌和交通灯之类的道路特征可以基于诸如纹理的图像特征从二维传感器数据(例如,由相机捕获的图像)识别。然而,由于对光的变化的敏感性,很难在二维传感器数据中识别出三维特征。因此,使用三维传感器数据的识别方法更适合于识别三维道路特征。
基于三维传感器数据的典型路肩识别方法,首先计算传感器数据的三维梯度,然后确定每个扫描光的梯度变化。然后,该方法使用高斯过程回归和迭代霍夫变换计算每个扫描光上的梯度变化点,并将梯度变化点拟合到表示路肩的曲线上。但是,这种方法对噪点很敏感。例如,当在包含大量车辆和人的区域中捕获三维传感器数据时,该方法是不合适的。另一种现有的路肩识别方法基于统计估计道路的中心和宽度,然后使用过滤器和区域增长来识别路肩。虽然这种方法对于噪点有更高鲁棒性,但在复杂的道路条件下却很容易失败。
本申请的实施例通过改进的用于识别路肩的系统和方法解决了上述问题。
发明内容
本申请实施例提供了一种基于三维传感器数据识别路肩的方法。该方法包括由至少一个处理器创建三维传感器数据的二维网格表示。该方法还包括由至少一个处理器将二维网格表示分割成至少两个曲面。该方法还包括由至少一个处理器识别连接每对相邻曲面的边界处网格单元,其中该对相邻曲面之间的高度差高于阈值。该方法还包括在边界处网格单元中选择与轨迹的方向相匹配网格单元,该网格单元用来表示路肩。
本申请的实施例还提供了一种基于三维传感器数据的识别路肩系统。该系统包括通信接口,被配置用于当车辆沿轨道行进时,接收由装配在车辆上的传感器捕获的场景的三维传感器数据。该系统还包括存储器,被配置用于存储三维传感器数据。该系统还包括至少一个处理器。该至少一个处理器被配置用于创建三维传感器数据的二维网格表示。至少一个处理器还被配置为将二维网格表示分割为至少两个曲面。所述至少一个处理器还被配置为识别连接每对相邻曲面的边界处网格单元,其中相邻曲面对之间的高度差高于阈值,并选择与轨迹方向相匹配的网格单元,用来表示路肩。
本申请的实施例还提供了一种非暂时性计算机可读介质,其上存储有指令,当由一个或以上处理器执行时,使得一个或以上处理器基于三维传感器数据执行识别路肩的方法。该方法包括当车辆沿着轨迹行进时,接收由装配在车辆上的传感器捕获的场景的三维传感器数据。该方法还包括创建三维传感器数据的二维网格表示。该方法还包括将二维网格表示分割成至少两个曲面。该方法还包括连接每对相邻曲面的识别边界处网格单元,其中,所述一对相邻曲面之间的高度差高于阈值,并且在边界处网格单元中选择与轨迹的方向相匹配的网格单元,其用来表示路肩。
应当理解,前面的一般性描述和下面的详细描述都只是示例性和说明性的,并不是对要求保护的本发明的限制。
附图说明
图1是根据本申请的一些实施例所示的具有传感器的示例性车辆的示意图。
图2是根据本申请的一些实施例所示的基于三维传感器数据识别路肩的示例性服务器的框图。
图3是根据本申请的一些实施例所示的基于三维传感器数据识别路肩的示例性方法的流程图。
图4是根据本申请的一些实施例所示的数字高程地图的示例性二维分割。
图5是根据本申请的一些实施例所示的数字高程地图的示例性二维精细分割。
具体实施方式
现在将详细参考示例性实施例,在附图中示出其示例。只要有可能,将在整个附图中使用相同的附图标记来表示相同或相似的部分。
图1是根据本申请的一些实施例所示的具有传感器的示例性车辆110的示意图。与一些实施例一致,车辆110可以被配置用于获取用于构建高清(HD)地图或三维(3-D)城市建模的数据的勘测车辆。获取的数据还可以用于在HD地图或三维城市建模中识别路肩。预期车辆110可以是电动车辆、燃料电池车辆、混合动力车辆或传统的内燃机车辆。车辆110可具有车身和至少一个车轮。车身可以是任何车身类型,例如运动车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或转换车。在一些实施例中,车辆110可包括一对前轮和一对后轮,如图1所示。然而,预期车辆110可具有较少的车轮或等效结构,使车辆110能够四处移动。车辆110可以被配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中,车辆110可以被配置为由占用车辆的操作员操作、远程控制和/或自主操作。
如图1所示,车辆110可以配备有经由安装结构130安装到车辆110的激光雷达140。安装结构130可以是安装或以其他方式附接到车辆110的车身的机电设备。在一些实施例中,安装结构130可以使用螺钉、粘合剂或其他安装机构。车辆110可以使用任何合适的安装机构在车辆110的车身内部或外部另外配备GPS/IMU。预期可以在车辆110上配备激光雷达140或GPS/IMU的方式不受图1中所示的示例的限制,并且可以被修改以实现期望的数据收集性能。
在一些实施例中,当车辆110沿着轨迹移动时,激光雷达140和GPS/IMU可以被配置用于捕获数据。与本申请一致,激光雷达140可以被配置为扫描周围并获取点云。激光雷达通过用脉冲激光照射目标并用传感器测量反射脉冲来测量到目标的距离。然后可以使用激光返回时间和波长的差异来制作目标的数字三维表示。用于激光雷达扫描的光可以是紫外线、可见光或近红外线。由于窄激光束可以以非常高的清晰度和分辨率映射物理特征,因此激光雷达扫描仪特别适用于三维传感器数据调查。在一些实施例中,激光雷达扫描仪可以捕获点云。当车辆110沿着轨迹移动时,激光雷达140可以在多个时间点获取一系列点云(在某个时间点获取的每一个被称为点云帧)。
与本申请一致,车辆110可以与服务器120通信。在一些实施例中,服务器120可以是本地物理服务器、云服务器(如图1所示)、虚拟服务器、分布式服务器或任何其他合适的计算设备。服务器120可以经由网络与激光雷达140、GPS/IMU和/或车辆110的其他组件通信,例如无线局部区域网络(WLAN)、广域网(WAN)、诸如无线电的无线网络、蜂窝网络、卫星通信网络和/或本地或短程无线网络(例如,BluetoothTM)。例如,服务器120可以从激光雷达140接收三维传感器数据(例如,来自激光雷达140和GPS/IMU的传感器测量值)。
与本申请一致,服务器120可以基于由激光雷达140捕获的三维传感器数据(例如,点云)和由GPS/IMU捕获的位姿数据来创建目标区域的二维网格表示。服务器120还可以将二维网格表示分割成至少两个曲面。连接每对相邻曲面的边界处网格单元,其中相邻曲面对之间的高度差高于预定阈值,也可以由服务器120识别。服务器120还可以在边界处网格单元之间进行选择,与轨迹的方向相匹配的边界处网格单元来表示路肩。所披露的系统和方法提供了适用于大多数道路类型(例如,常规道路、交叉路口和三路交叉路口)的解决方案,其具有对噪点更强的鲁棒性并且提高了识别路肩的可靠性。
例如,图2是根据本申请的一些实施例所示的用于识别基于三维传感器数据的路肩的示例性服务器120的框图。与本申请一致,服务器120可以基于三维传感器数据识别路肩。当车辆110沿着轨迹移动时,三维传感器数据可以由激光雷达140和装配在车辆110上的GPS/IMU相对于车辆110的周围场景捕获。该数据可以包括由激光雷达140捕获的点云201,其由在不同时间点的多个点云帧组成。
在一些实施例中,提供给服务器120用于识别路肩的数据还可以包括由GPS/IMU(未示出)捕获的车辆110的GPS数据和位姿数据。可以基于GPS数据和位姿数据将点云201从局部坐标系变换为全局坐标系(例如,经度/纬度坐标)。
在一些实施例中,如图2所示,服务器120可以包括通信接口202、处理器204、内存206和存储器208。在一些实施例中,服务器120可以在单个设备中具有不同的模块,例如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA)),或者具有专用功能的独立设备。在一些实施例中,服务器120的一个或以上组件可以位于车辆110内,或者可以替代地在移动设备中,在云中或另一个远程位置。服务器120的组件可以在集成设备中或分布在不同位置,但是通过网络(未示出)彼此通信。例如,处理器204可以是车载处理器110、移动设备内的处理器或云处理器,或其任何组合。
通信接口202可以经由例如通信电缆、无线局域网(WLAN)、广域网(WAN)、诸如无线电波网络的无线网络、蜂窝网络和/或本地无线网络(例如,BluetoothTM或WiFiTM)或其他通信方式,从诸如LiDAR140和GPS/IMU之类的组件接收数据。在一些实施例中,通信接口202可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器,以提供数据通信连接。又例如,通信接口202可以是局部区域网络(LAN)适配器,以提供与兼容LAN的数据通信连接。无线链路也可以通过通信接口202实现。在这种实现中,通信接口202可以发送和接收携带表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
与一些实施例一致,通信接口202可以接收由激光雷达140捕获的数据,包括点云201。接收的数据可以提供给内存206和/或存储器208以便存储或提供给处理器204以进行处理。通信接口202还可以接收由处理器204生成的识别路肩信息,并经由通信链路(未示出)将该信息提供给车辆110或任何远程设备中的任何本地组件。例如,可以将路肩信息提供给自动驾驶车辆。
处理器204可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器204可以被配置为专用于识别路肩的单独处理器模块。或者,处理器204可以被配置为共享处理器模块,其还可以执行与路肩识别无关的其他功能。
如图2所示,处理器204可以包括多个模块/单元,例如二维表示生成单元210、表示分割单元212、置信传播单元214、路肩判断单元216等。这些模块/单元(以及任何相应的子模块或子单元)可以是处理器204的硬件单元(例如,集成电路的部分),其被设计用于与其他组件一起使用或执行程序的至少一部分。程序可以存储在计算机可读介质上,并且当由处理器204执行时,它可以执行一个或以上的功能或操作。尽管图2示出了在一个处理器204内的所有单元210-216,但是可以预期这些单元可以分布在彼此靠近或远离的多个处理器之间。
在一些实施例中,二维表示生成单元210可以被配置用于创建点云201的二维表示。在一些实施例中,二维表示生成单元210可以将点云201投影到二维网格表示并且确定二维网格表示内的每个网格单元的一组参数,包括,例如中心单元、左下角单元、右上角单元的坐标和每个相应单元的高度。例如,二维表示生成单元210可以基于点云201生成数字评估图。在某些实施例中,网格单元的高度可以使用公式(1)以正态分布的形式表示:
在一些实施例中,二维表示分割单元212可以被配置为分割点云201的二维网格表示。例如,可以使用阈值方法来分割二维网格表示。例如,将高度高于某个阈值的网格单元与高度低于该阈值的网格单元分割为不同的曲面。也可以使用其他合适的分割方法,例如基于学习网络的分割方法。
图4是根据本申请的一些实施例所示的数字高程地图的示例性二维分割400。如图4所示,具有不同海拔高度(不同颜色)的网格单元被分割为不同的曲面。例如,可以以单元颜色越暗,单元高度越低或相反的方式对分割的曲面进行颜色编码。应当理解,可以使用任何其他合适的分割方法来分割二维表示,只要分割基于每个网格单元的高度即可。在一些实施例中,二维表示分割单元212可以被配置为使用期望最大化方法来估计每个网格单元的高度的最大可能估计。
返回参考图2,基于二维表示的分割,置信传播单元214可以被配置以细化分割。例如,置信传播单元214可以调整和/或更新每个网格单元的高度的统计值,并基于调整和/或更新的高度统计值来细化二维表示的分段。在一些实施例中,置信传播单元214可以使用置信传播算法基于两个相邻网格单元之间的约束来调整每个网格单元的高度的方差。在一些实施例中,当只有网格单元的子集与实际捕获的数据相关联(被称为“观察到的网格单元”)时,置信传播单元214可以基于观察到的网格单元估计未观察到的网格单元的数据。例如,置信传播单元214还可以使用多树结构基于这些观察到的网格单元来计算任何未观察到的网格单元的边际分布。与使用完全边缘化相比,这允许更有效地计算边际网格单元的数据,随着变量的数量变大,这可能很快难以计算。
图5示出了根据本申请的实施例的示例性二维精细分割500。如图5所示,由二维表示分割单元212生成的二维分割400可以进一步分割成颜色编码的曲面,其包括具有在一定范围内的高度的网格单元(例如,具有40厘米和42.5厘米之间的高度并且彼此连接的网格单元可以在同一曲面内被分割)。曲面(连接网格单元)的边缘在精细分割500中可以被识别(例如,左曲面和右曲面之间的线),并且可以被路肩判断单元216识别为边界处网格单元的候选者。
例如,如果轨迹是从精细二维表示的左侧到右侧,则可以仅选择水平对齐的边界处网格单元(例如,从左到右或从右到左)用来表示路肩。在一些实施例中,可以为路肩判断单元216预先设置轨迹的方向。例如,车辆110可以向通信接口202发送指示轨迹方向的信号,并且通信接口202可以将该方向传送到路肩判断单元216以用于网格单元选择。在一些其他实施例中,轨迹的方向可以由路肩判断单元216基于GPS/IMU捕获的GPS和IMU数据来确定。
在某些实施例中,路肩判断单元216可以使用曲线拟合来选择用来表示路肩的网格单元。例如,可以基于与轨迹方向的边界处网格单元的选择来选择表示路肩的网格单元。在一些实施例中,路肩判断单元216可以使用随机样本共识(RANSAC)方法对所选择的边界处网格单元(沿着每个不同拟合抛物线的网格单元)进行评分,并沿着最高得分抛物线选择网格单元来表示路肩。
由于根据轨迹的方向选择边界处网格单元,可以减少不必要的噪点。这可以提高路肩识别方法的鲁棒性和准确性,并且可以获得更可靠的路肩识别结果。
内存206和存储器208可以包括任何适当类型的存储设备,其被提供以存储处理器204可能需要处理的任何类型的信息。内存206和存储器208可以是易失性或非易失性、磁性、基于半导体、基于带、光学、可移动、不可移除或其他类型的存储设备或有形(即,非暂时性)计算机可读介质,包括但不限于ROM、闪存、动态RAM和静态RAM。内存206和/或存储器208可以被配置为存储一个或以上计算机程序,其可以由处理器204执行以执行本文披露的路肩识别。例如,内存206和/或存储器208可以被配置为存储程序,其可以由处理器204执行以处理由激光雷达140和/或GPS/IMU捕获的数据以识别点云201内的路肩。
内存206和/或存储器208可以进一步被配置为存储信息和处理器204使用的数据。例如,内存206和/或存储器208可以被配置用于存储由激光雷达140和GPS/IMU捕获的各种类型的数据以及点云201的二维表示的分段和精细分段。在处理每个数据帧之后,可以永久地存储,周期性地移除或忽略各种类型的数据。
图3是根据本申请的一些实施例所示的用于识别路肩的示例性方法300的流程图。例如,方法300可以由路肩识别系统实现,该系统包括服务器120和激光雷达140等。然而,方法300不限于该示例性实施例。
方法300可以包括如下所述的步骤S302-S316。应当理解,一些步骤可以是可选的,以执行本文提供的本申请。此外,一些步骤可以同时执行,或者以与图3中所示不同的顺序执行。
在步骤S302,可以在某个时间点相对于目标区域捕获点云数据(例如,点云201)。在一些实施例中,车辆110的GPS和/或位姿数据也可以在捕获点云数据的时间点由GPS/IMU捕获。GPS和/或位姿数据可以对应于点云数据,因为它们是在相同的时间点捕获的。在一些实施例中,捕获的点云数据,GPS数据和位姿数据可以被发送到服务器120并由服务器120接收。
在步骤S304,可以基于点云201生成点云数据201的二维表示。例如,服务器120可以将点云201投影到二维网格表示并且确定二维网格表示中的每个网格的一组参数,例如,中央单元的坐标、左下角单元、右上角单元和每个相应单元的高度。在一些实施例中,二维表示可以是基于点云201生成的数字高程地图。在一些实施例中,数字高程地图内的网格的高度可以使用公式(1)以正态分布的形式表示:
在步骤S306-S308,服务器120可以使用适合于对图形模型执行推断的消息传递算法(例如,置信传播算法),基于网格单元的高度来分割和细化二维表示的分段。在一些实施例中,在步骤S306,服务器120可以基于由激光雷达140捕获的点云201来分割二维表示。例如,可以使用阈值方法来分割二维表示。例如,具有高于某个阈值的高度的网格单元与高度低于该阈值的网格单元被分割为不同的曲面。也可以使用其他合适的分割方法,例如基于学习网络的分割方法。在一些实施例中,分段曲面可以以不同颜色表示具有不同高度的网格单元的方式进行颜色编码(例如,较暗颜色可以表示具有较低海拔的网格单元)。在一些实施例中,服务器120可以使用迭代方法来找到每个网格的高度的最大可能性。例如,服务器120可以使用期望最大化方法来估计每个网格的高度估计的最大似然。基于每个网格高度的估计,数字高程地图可以由服务器120分割。
在步骤S308,服务器120可以使用适合于对图形模型执行推断的消息传递算法(例如,置信传播算法)来细化二维表示的分割。例如,服务器120可以调整和/或更新每个网格的高度的统计值,并基于调整和/或更新的高度统计值来细化分割的二维表示。在一些实施例中,用于调整和/或更新的每个网格的高度的统计值可以是高度的方差。在一些实施例中,服务器120可以基于两个相邻网格单元之间的约束来调整每个网格的高度的方差,并且使用置信传播算法来细化在步骤S306中生成的分段。在一些实施例中,在步骤S306中生成的分割可以基于网格单元的高度进一步细化为不同的颜色编码曲面(例如,可以将具有小于预定值的高度差的连接网格单元划分为相同的曲面)。曲面的边缘可以在精细分割中被识别为边界处网格单元的候选者。
在步骤S310-S316中,服务器120可以基于精细分割选择用来表示路肩的网格单元。在步骤S310,服务器120可以确定两个相邻曲面的高度差。例如,服务器120可以计算边缘的差异,而不是在步骤S308。在步骤S312,服务器120可以确定高度差是否大于预定阈值(例如,预定阈值可以设置为25厘米)。在步骤S314中,如果差值大于预定阈值,则两个相邻曲面的边缘可以识别为边界处网格单元,并且可以被识别做为被选为表示路肩的网格单元的候选者。否则,方法300返回到步骤S310,其中服务器120可以确定另外两个相邻曲面的高度差。
在步骤S316,服务器120可以进一步选择与轨迹方向相匹配的边界处网格单元,用来表示路肩。例如,如果轨迹在二维表示的精细分割中从左到右,则可以选择水平对齐的边界处网格单元(例如,从左到右或从右到左)用来表示路肩。在一些实施例中,可以为服务器120预先设置轨迹的方向。例如,车辆110可以向服务器120发送指示轨迹方向的信号。在一些其他实施例中,轨迹的方向可以由服务器120基于GPS/IMU捕获的GPS和位姿数据来确定。
在一些实施例中,服务器120还可以使用曲线拟合来选择用来表示路肩的网格单元。例如,可以基于具有轨迹方向的边界处网格单元来选择路肩。在一些实施例中,服务器120可以使用随机样本共识(RANSAC)方法对所选择的边界处网格单元(沿着每个不同的拟合抛物线)进行评分,并使用具有最高分数的所选网格单元来表示路肩。
基于使用轨迹的方向来选择边界处网格单元,将较少的网格单元确定为路肩的潜在表示。该方法不仅可以通过预过滤边界处网格单元来减少整体计算,而且该方法还可以提高路肩识别的鲁棒性和准确性。因此,该方法可以产生更可靠的路肩识别结果,并且适用于在更复杂的道路条件下的识别路肩。
本申请的另一方面涉及一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使得一个或以上处理器执行如上所述的方法。计算机可读介质可以是易失性或非易失性、磁性、基于半导体、基于带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如,如本申请的计算机可读介质可以是存储设备或其上存储有计算机指令的存储模块。在一些实施例中,计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
显而易见,本领域普通技术人员可以对本申请的系统和相关方法进行各种修改和变化。考虑到本申请的系统和相关方法的说明书和实践,其他实施例对于本领域普通技术人员是显而易见的。
本申请中的说明书和示例的目的仅被认为是示例性的,真正的范围由以下权利要求及其等同物限定。
Claims (20)
1.一种基于三维传感器数据识别路肩的方法,包括:
当车辆沿着轨道行进时,接收由配备在车辆上的传感器捕获的场景的三维传感器数据;
通过至少一个处理器创建所述三维传感器数据的二维网格表示;
通过所述至少一个处理器,所述二维网格表示被分割成至少两个曲面;
通过所述至少一个处理器识别连接每对相邻曲面的边界处网格单元,其中所述相邻曲面对之间的高度差高于阈值;以及
在所述边界处网格单元中选择网格单元,其与轨迹的方向相匹配,用来表示路肩。
2.根据权利要求1所述的方法,其特征在于,所述二维网格表示是一种数字高程地图。
3.根据权利要求1所述的方法,还包括确定所述二维网格表示中每个网格的一组参数,包括中心坐标、左下角坐标、右上角坐标和所述网格的高度。
4.根据权利要求3所述的方法,其特征在于,海拔以正态分布的形式表示。
5.根据权利要求3所述的方法,其特征在于,基于与所述每个网格相关联的高度的统计值确定所述每个网格的参数集。
6.根据权利要求5所述的方法,还包括使用期望最大化算法计算所述统计值。
7.根据权利要求5所述的方法,进一步包括:
基于置信传播算法调整与每个所述网格相关联的所述高度的统计值;以及
基于调整后的所述统计值对所述二维网格表示进行分割。
8.根据权利要求1所述的方法,其特征在于,所述三维传感器数据是由激光雷达捕获的数据。
9.根据权利要求1所述的方法,其特征在于,基于抛物面拟合沿所述轨迹的所述方向的所述边界处网格单元来选择表示所述路肩的所述网格单元。
10.一种基于三维传感器数据识别路肩的系统,包括:
通信接口,被配置为当车辆沿着轨道行进时,接收由配备在所述车辆上的传感器捕获的场景的三维传感器数据;
存储器,被配置为存储所述三维传感器数据;以及
至少一个处理器被配置为:
创建所述三维传感器数据的二维网格表示;
将所述二维网格表示分割成至少两个曲面;
识别连接每对相邻曲面的边界处网格单元,其中所述相邻曲面对之间的高度差高于阈值;以及
选择与轨迹的方向相匹配的网格单元,来表示路肩。
11.根据权利要求10所述的系统,其特征在于,所述二维网格表示数字高程地图。
12.根据权利要求10所述的系统,所述至少一个处理器进一步被配置为确定所述二维网格表示里每个网格的一组参数,包括一个中心坐标、一个左下角坐标、右上角坐标和所述网格的高度。
13.根据权利要求12所述的系统,其特征在于,海拔以正态分布的形式表示。
14.根据权利要求12所述的系统,其特征在于,所述至少一个处理器被配置为基于与每个网格相关联的高度的统计值确定所述每个网格的所述参数集。
15.根据权利要求14所述的系统,所述至少一个处理器进一步被配置用于使用期望最大化算法计算所述统计值。
16.根据权利要求10所述的系统,其特征在于,所述至少一个处理器被进一步配置为:
基于置信传播算法调整所述与每个网格相关联的所述高度的统计值;以及
基于所述调整后的统计值对所述二维网格表示进行分割。
17.根据权利要求10所述的系统,其特征在于,所述三维传感器数据是由激光雷达捕获的数据。
18.根据权利要求10所述的系统,其特征在于,基于抛物面拟合沿所述轨迹的所述方向的所述边界处网格单元来选择表示所述路肩的所述网格单元。
19.一种非暂时性计算机可读介质,其上存储有指令,当由一个或以上处理器执行时,使得所述一个或以上处理器基于三维传感器数据执行用于识别路肩的方法,包括:
当车辆沿着轨道行进时,接收由配备在所述车辆上的传感器捕获的场景的所述三维传感器数据;
创建所述三维传感器数据的二维网格表示;
将所述二维网格表示分割成至少两个曲面;
识别连接每对相邻曲面的边界处网格单元,其中所述相邻曲面对之间的高度差高于阈值;以及
在所述边界处网格单元中选择网格单元,其与所述轨迹的方向相匹配,来表示所述路肩。
20.根据权利要求19所述的计算机可读介质,其特征在于,所述操作还包括在所述二维网格表示中确定每个网格的一组参数,包括中心坐标、左下角坐标、右上角坐标和所述网格的高度。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/125383 WO2020133369A1 (en) | 2018-12-29 | 2018-12-29 | Identifying a curb based on 3-d sensor data |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112020722A true CN112020722A (zh) | 2020-12-01 |
CN112020722B CN112020722B (zh) | 2024-01-09 |
Family
ID=71128882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880092776.7A Active CN112020722B (zh) | 2018-12-29 | 2018-12-29 | 基于三维传感器数据识别路肩 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11138448B2 (zh) |
CN (1) | CN112020722B (zh) |
WO (1) | WO2020133369A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11880203B2 (en) * | 2021-01-05 | 2024-01-23 | Argo AI, LLC | Methods and system for predicting trajectories of uncertain road users by semantic segmentation of drivable area boundaries |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150293216A1 (en) * | 2014-04-15 | 2015-10-15 | GM Global Technology Operations LLC | Method and system for detecting, tracking and estimating stationary roadside objects |
US9395192B1 (en) * | 2013-12-20 | 2016-07-19 | Google Inc. | Methods and systems for road and lane boundary tracing |
US20170139417A1 (en) * | 2015-11-17 | 2017-05-18 | Ford Global Technologies, Llc | Distinguishing Lane Markings for a Vehicle to Follow |
CN107742091A (zh) * | 2016-08-22 | 2018-02-27 | 腾讯科技(深圳)有限公司 | 一种路肩提取的方法及装置 |
CN107798305A (zh) * | 2012-03-23 | 2018-03-13 | 伟摩有限责任公司 | 检测车道标记 |
CN108021844A (zh) * | 2016-10-31 | 2018-05-11 | 高德软件有限公司 | 一种道路边沿识别方法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8565958B1 (en) * | 2011-06-02 | 2013-10-22 | Google Inc. | Removing extraneous objects from maps |
CN103226354A (zh) * | 2013-02-27 | 2013-07-31 | 广东工业大学 | 基于光电导航的无人驾驶道路识别系统 |
US9529087B2 (en) * | 2014-07-24 | 2016-12-27 | GM Global Technology Operations LLC | Curb detection using lidar with sparse measurements |
CN104850834A (zh) | 2015-05-11 | 2015-08-19 | 中国科学院合肥物质科学研究院 | 基于三维激光雷达的道路边界检测方法 |
CN105184852B (zh) | 2015-08-04 | 2018-01-30 | 百度在线网络技术(北京)有限公司 | 一种基于激光点云的城市道路识别方法及装置 |
CN111542860A (zh) * | 2016-12-30 | 2020-08-14 | 迪普迈普有限公司 | 用于自主车辆的高清地图的标志和车道创建 |
CN107272019B (zh) | 2017-05-09 | 2020-06-05 | 深圳市速腾聚创科技有限公司 | 基于激光雷达扫描的路沿检测方法 |
CN107341453B (zh) * | 2017-06-20 | 2019-12-20 | 北京建筑大学 | 一种车道线提取方法及装置 |
CN108090456B (zh) * | 2017-12-27 | 2020-06-19 | 北京初速度科技有限公司 | 识别车道线模型的训练方法、车道线识别方法及装置 |
-
2018
- 2018-12-29 WO PCT/CN2018/125383 patent/WO2020133369A1/en active Application Filing
- 2018-12-29 CN CN201880092776.7A patent/CN112020722B/zh active Active
-
2020
- 2020-12-22 US US17/131,722 patent/US11138448B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107798305A (zh) * | 2012-03-23 | 2018-03-13 | 伟摩有限责任公司 | 检测车道标记 |
US9395192B1 (en) * | 2013-12-20 | 2016-07-19 | Google Inc. | Methods and systems for road and lane boundary tracing |
US20150293216A1 (en) * | 2014-04-15 | 2015-10-15 | GM Global Technology Operations LLC | Method and system for detecting, tracking and estimating stationary roadside objects |
US20170139417A1 (en) * | 2015-11-17 | 2017-05-18 | Ford Global Technologies, Llc | Distinguishing Lane Markings for a Vehicle to Follow |
CN107742091A (zh) * | 2016-08-22 | 2018-02-27 | 腾讯科技(深圳)有限公司 | 一种路肩提取的方法及装置 |
CN108021844A (zh) * | 2016-10-31 | 2018-05-11 | 高德软件有限公司 | 一种道路边沿识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112020722B (zh) | 2024-01-09 |
US20210110172A1 (en) | 2021-04-15 |
US11138448B2 (en) | 2021-10-05 |
WO2020133369A1 (en) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111448478B (zh) | 用于基于障碍物检测校正高清地图的系统和方法 | |
EP3631494B1 (en) | Integrated sensor calibration in natural scenes | |
CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
CN111656136B (zh) | 使用激光雷达的车辆定位系统 | |
CN111436216B (zh) | 用于彩色点云生成的方法和系统 | |
CN109359409A (zh) | 一种基于视觉与激光雷达传感器的车辆可通过性检测系统 | |
JP2020525809A (ja) | 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法 | |
CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
CN112740225B (zh) | 一种路面要素确定方法及装置 | |
Perrollaz et al. | Using obstacles and road pixels in the disparity-space computation of stereo-vision based occupancy grids | |
US11138448B2 (en) | Identifying a curb based on 3-D sensor data | |
CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
Oniga et al. | A fast ransac based approach for computing the orientation of obstacles in traffic scenes | |
CN112424568A (zh) | 构建高清地图的系统和方法 | |
WO2022133986A1 (en) | Accuracy estimation method and system | |
WO2021056185A1 (en) | Systems and methods for partially updating high-definition map based on sensor data matching | |
CN111414848B (zh) | 一种全类别3d障碍物检测方法、系统和介质 | |
EP4345750A1 (en) | Position estimation system, position estimation method, and program | |
CN111414848A (zh) | 一种全类别3d障碍物检测方法、系统和介质 | |
KR20220151572A (ko) | IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템 | |
CN117953446A (zh) | 车道线标注方法、车载设备、存储介质及车辆 | |
KR20230172834A (ko) | 다중 교통 표지를 사용한 센서 캘리브레이션 장치 및 방법 | |
CN113874681A (zh) | 点云地图质量的评估方法和系统 | |
CN117168476A (zh) | 一种地图构建、车辆控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |