CN114829971A - 一种激光雷达的标定方法、装置及存储介质 - Google Patents

一种激光雷达的标定方法、装置及存储介质 Download PDF

Info

Publication number
CN114829971A
CN114829971A CN202180006105.6A CN202180006105A CN114829971A CN 114829971 A CN114829971 A CN 114829971A CN 202180006105 A CN202180006105 A CN 202180006105A CN 114829971 A CN114829971 A CN 114829971A
Authority
CN
China
Prior art keywords
point cloud
laser radar
marker
position information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180006105.6A
Other languages
English (en)
Inventor
冯超
李帅君
何启盛
文坤
张建军
霍梦晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN114829971A publication Critical patent/CN114829971A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Abstract

一种激光雷达的标定方法、装置及存储介质。该方法包括:获取车辆通过目标道路时激光雷达采集的点云,目标道路的至少一边设置有标志物(601);根据预设阈值,对所采集的点云进行初步筛选;所述预设阈值由所述激光雷达的安装高度确定(602);对所述初步筛选出的点云进行多次拟合处理,得到地面点云(603);提取所采集的点云中的标志物点云(604);根据所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定(605);该方法降低了对标定场地的要求,提高了标定效率及标定精度。

Description

一种激光雷达的标定方法、装置及存储介质
技术领域
本申请涉及智能驾驶技术领域,尤其涉及一种激光雷达的标定方法、装置及存储介质。
背景技术
在智能驾驶领域,激光雷达是实现高级别自动驾驶功能必不可少的组成部分。激光雷达的外参标定精度对于实现感知、定位或融合等功能,以及保障车辆安全性起着重要作用。
现有标定激光雷达的方式,标定精度较低,且对场地具有较高要求,标定成本高;标定过程中,依赖于人工操作或建图等,标定效率低。
发明内容
有鉴于此,提出了一种激光雷达的标定方法、装置及存储介质。
第一方面,本申请的实施例提供了一种激光雷达的标定方法,所述方法包括:获取车辆通过目标道路时激光雷达采集的点云,所述目标道路的至少一边设置有标志物;根据预设阈值,对所采集的点云进行初步筛选;所述预设阈值由所述激光雷达的安装高度确定;对所述初步筛选出的点云进行多次拟合处理,得到地面点云;提取所采集的点云中的标志物点云;根据所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定。
基于上述技术方案,标志物可以为道路的路沿、路栏等,对场地的要求无特殊要求,无需额外设置标定板,靶标,反光贴等,降低了标定成本,在开放道路(例如城市街道、高速公路等),利用道路的自然场景即可完成激光雷达的在线动态标定。同时,通过自动提取所采集的点云中的标志物点云;并根据标志物点云及地面点云,对激光雷达的外参进行标定,从而实现全自动在线动态标定,无需人工操作,提高了标定效率。此外,在提取地面点云时,根据预设阈值对所采集的点云进行初步筛选;对初步筛选出的点云进行多次拟合处理,从而基于阈值过滤与多次拟合处理,自适应地提取高精度的地面点云;还可以进一步通过点云切片,自动提取高精度的标志物点云,从而提高所标定的激光雷达的外参精度。
根据第一方面,在所述第一方面的第一种可能的实现方式中,所述方法还包括:根据多个激光雷达的标定后的外参,得到各激光雷达对应的标志物点云的位置信息及地面点云的位置信息;根据所述各激光雷达对应的标志物点云的位置信息及地面点云的位置信息,得到交叉特征点或交叉域,其中,所述交叉域表示平行于所述车辆行进的方向,以所述交叉特征点为中心的区域;根据所述交叉特征点或交叉域,对所述多个激光雷达中任一激光雷达的标定后外参进行优化。
基于上述技术方案,获取各激光雷达对应的标志物点云的位置信息及地面点云的位置信息,进而通过提取交叉特征点及交叉域特征优化任一激光雷达的外参,进一步提升激光雷达的外参精度。
根据第一方面的第一种可能的实现方式,在所述第一方面的第二种可能的实现方式中,所述多个激光雷达包括主激光雷达和从激光雷达,其中,所述主激光雷达用于扫描所述车辆的前方的环境,所述从激光雷达用于扫描所述车辆的侧方和/或后方环境;所述根据多个激光雷达的标定后的外参,得到各激光雷达对应的标志物点云的位置信息及地面点云的位置信息,包括:根据主激光雷达的标定后的外参,将主激光雷达对应的标志物点云及地面点云转换到车体坐标系中,得到所述主激光雷达对应的标志物点云的位置信息及地面点云的位置信息;根据从激光雷达的标定后的外参,将所述从激光雷达对应的标志物点云及地面点云转换到车体坐标系中,得到所述从激光雷达对应的标志物点云的位置信息及地面点云的位置信息;所述根据所述各激光雷达对应的标志物点云的位置信息及地面点云的位置信息,得到交叉特征点或交叉域,包括:根据所述主激光雷达对应的地面点云的位置信息及所述从激光雷达对应的地面点云的位置信息,得到第一交叉特征点或第一交叉域;根据所述主激光雷达对应的标志物点云的位置信息及所述从激光雷达对应的标志物点云的位置信息,得到第二交叉特征点或第二交叉域;所述根据所述交叉特征点或交叉域,对所述多个激光雷达中任一激光雷达的标定后外参进行优化,包括:根据所述第一交叉特征点或第一交叉域,对所述从激光雷达标定后的俯仰角和翻滚角进行优化;根据所述第二交叉特征点或第二交叉域,对所述从激光雷达标定后的偏航角进行优化。
基于上述技术方案,将主激光点云和侧激光点云均通过对应标定后的外参转换到车体坐标系,进而在标志物点云的基础上,提取交叉特征点和交叉域优化补偿侧激光雷达到车体坐标系的偏航角;在地面点的基础上,提取交叉特征点和交叉域优化补偿侧激光雷达到车体坐标系的俯仰角和翻滚角,从而完成多激光雷达外参的联合优化,使得激光雷达到车体坐标系的外参精度更高。
根据第一方面或上述第一方面的各种可能的实现方式,在所述第一方面的第三种可能的实现方式中,所述外参包括俯仰角、翻滚角、偏航角中的至少一项;所述根据所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定,包括:根据所述地面点云,标定所述激光雷达的俯仰角和翻滚角;根据所述标志物点云,标定所述激光雷达的偏航角。
基于上述技术方案,利用提取的高精度的地面点云,使得所标定的俯仰角和翻滚角精度更高;利用提取的高精度的标志物点云,使得所标定的偏航角的精度更高。
根据第一方面或上述第一方面的各种可能的实现方式,在所述第一方面的第四种可能的实现方式中,所述提取所采集的点云中的标志物点云,包括:在所采集的点云中过滤掉所述地面点云;沿垂直于车辆行进的方向,将过滤后的点云划分为多个切片;提取所述标志物点云,所述标志物点云包括满足预设条件的切片集合中的特征点,其中,所述切片集合包括相邻的一个或多个目标切片,所述目标切片中特征点数量超过阈值。
基于上述技术方案,通过划分点云切片,提取标志物点云,实现了自动提取高精度的标志物点云。
根据第一方面或上述第一方面的各种可能的实现方式,在所述第一方面的第五种可能的实现方式中,所述方法还包括:获取地面点云的第一线束信息,根据所述第一线束信息,对所述地面点云进行降采样处理;和/或,获取标志物点云的第二线束信息,根据所述第二线束信息,对所述标志物点云进行降采样处理;根据所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定,包括:根据降采样处理后的所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定。
基于上述技术方案,依据各地面点的线束信息,降采样处理提取精确的地面点,在提升处理效率的同时,充分保留地面的纹理结构,从而保证了地面点云的精度。或者,依据各特征点的线束信息,降采样提取精确的特征物点云;在提升处理效率的同时,充分保留标志物的纹理结构,从而保证了标志物点云的精度。
根据第一方面或上述第一方面的各种可能的实现方式,在所述第一方面的第六种可能的实现方式中,所获取的点云为车辆在沿直线行驶状态下,激光雷达采集的点云。
基于上述技术方案,车辆在沿直线行驶状态下,道路两边的标志物与车辆前进方向平行,利用该状态下激光雷达采集的点云进行标定,从而提升了激光雷达的偏航角等外参精度。
根据第一方面或上述第一方面的各种可能的实现方式,在所述第一方面的第七种可能的实现方式中,所述标志物包括路沿、护栏、建筑物中的至少一项。
基于上述技术方案,标志物可以为道路的路沿、护栏、建筑物等,对场地的要求无特殊要求,无需额外设置标定板,靶标,反光贴等,降低了标定成本,在开放道路(例如城市街道、高速公路等),即可完成在线标定。
第二方面,本申请的实施例提供了一种激光雷达的标定方法,所述方法包括:获取车辆通过目标区域时激光雷达采集的点云;所述目标区域的至少一边竖直设置有标志物;提取所采集的点云中的标志物点云;根据标志物点云,得到标志物的拟合线信息;所述拟合线信息包括拟合线的位置及方向信息;根据所述拟合线信息,得到所述激光雷达外参的数值。
基于上述技术方案,目标区域的至少一边竖直设置有标志物,标志物设置简单,降低了对场地的要求,施工成本低。根据标志物点云,得到标志物的拟合线信息,基于竖直标志物的拟合线需要符合竖直约束,得到激光雷达外参的数值,这样,根据标志物点云,即可计算激光雷达外参的数值。同时,由于标定过程中不依赖于地面点云,可以适用于地面信息不充分的场景(例如,小竖直视场角的激光雷达无法采集近处地面点云、由于场地尺寸受限侧激光雷达无法采集到有效的地面点云、安装俯仰角过大的激光雷达向上抬导致地面点云缺失或较少等等),实现了地面信息不充分的场景中单激光雷达的高精度标定。此外,相对于建图标定等方式,可以自动执行整个标定过程,提高了单激光雷达标定的效率。
根据第二方面,在所述第二方面的第一种可能的实现方式中,所述外参包括俯仰角,所述方法还包括:在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值大于第二大于预设阈值的情况下,根据标志物点云,对所述激光雷达的外参进行标定,其中,所述第二预设阈值由所述激光雷达的竖直视场角确定。
基于上述技术方案,在激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且俯仰角的数值大于第二大于预设阈值的情况下,表明激光雷达朝向偏上,地面点云可能不足,这样,根据标志物点云,即可完成对激光雷达外参的高精度标定;可以有效适用于地面信息不充分的场景。
根据第二方面的第一种可能的实现方式,在所述第二方面的第二种可能的实现方式中,所述外参包括偏航角;所述方法还包括:获取所述车辆的位置信息及所述激光雷达的位置信息;根据所述车辆的位置信息及所述激光雷达的位置信息,确定所述车辆的航向角;根据所述航向角,优化标定后的所述激光雷达的偏航角。
基于上述技术方案,考虑到车辆行驶过程中,较难实现直线行驶,可以不限制车辆的行驶偏角,结合车辆运动信息,优化标定的偏航角。
根据上述第二方面的各种可能的实现方式,在所述第二方面的第三种可能的实现方式中,所述车辆安装有主激光雷达和从激光雷达,其中,所述主激光雷达用于扫描所述车辆的前方环境,所述从激光雷达用于扫描所述车辆的侧方和/或后方环境;所述方法还包括:根据主激光雷达的标定后的外参及所述主激光雷达采集的多个标志物点云,确定所述多个标志物的位置信息;根据所述多个标志物的位置信息,得到第一标志物的预测位置;根据从激光雷达的标定后的外参及所述从激光雷达采集的所述第一标志物点云,得到所述第一标志物的测量位置;通过对所述预测位置与所述测量位置,优化所述从激光雷达的外参。
基于上述技术方案,基于单激光标定的结果,利用解算的标志物两两之间距离和/或朝向,预测其余标志物的位置,实现任意朝向多激光雷达间俯仰角、偏航角、翻滚角的联合优化。针对多激光雷达由于安装位置和角度偏差较大,点云投射到不同空间位置,不适合直接进行点云配准的场景,该方法可以有效提高标定的精度,从而实现了没有共视区域、或者共视区域较小的多激光雷达联合标定。此外,该方法不需要提前建图,显著提高了多激光雷达标定的效率。
根据上述第二方面的各种可能的实现方式,在所述第二方面的第四种可能的实现方式中,所述方法还包括:提取所采集的点云中的地面点云;所述根据标志物点云,对所述激光雷达的外参进行标定,还包括:根据标志物点云和所述地面点云,对所述激光雷达的外参进行标定。
基于上述技术方案,在存在有效地面点云的情况下,可以充分利用地面点云,从而进一步提高标定精度和稳定性。
根据第二方面或上述第二方面的各种可能的实现方式,在所述第二方面的第五种可能的实现方式中,所述根据标志物点云,得到标志物的拟合线信息,包括:根据标志物点云,确定旋转角初始值,所述旋转角初始值使标志物点云旋转后,在所述激光雷达坐标系中水平平面的投影区域最小;根据所述旋转角初始值,对标志物点云进行旋转处理;利用所述旋转后的标志物点云,得到标志物的拟合线信息。
根据上述第二方面的各种可能的实现方式,在所述第二方面的第六种可能的实现方式中,所述方法还包括:在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值不大于所述第二预设阈值的情况下,根据标志物点云及地面点云,对所述激光雷达的外参进行标定。
基于上述技术方案,在存在有效地面点云的情况下,可以充分利用地面点云,从而进一步提高标定精度和稳定性。
根据第二方面或上述第二方面的各种可能的实现方式,在所述第二方面的第七种可能的实现方式中,所述外参包括俯仰角、翻滚角、偏航角中的至少一项,所述方法还包括:在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值不大于所述第二预设阈值的情况下,根据所述地面点云,标定所述激光雷达的俯仰角和翻滚角;根据拟合线的位置信息,标定所述激光雷达的偏航角。
基于上述技术方案,可以利用地面点云,对激光雷达的俯仰角和翻滚角进行标定,提高了所标定的俯仰角和翻滚角精度和稳定性;利用拟合线的位置信息,对激光雷达的偏航角进行标定,提高了所标定的偏航角精度。
根据第二方面或上述第二方面的各种可能的实现方式,在所述第二方面的第八种可能的实现方式中,所述目标区域的至少一边竖直设置有多个标志物,且所述多个标志物与地面的交点在同一直线上。
第三方面,本申请的实施例提供了一种激光雷达的标定装置,所述装置包括:获取模块,用于获取车辆通过目标道路时激光雷达采集的点云,所述目标道路的至少一边设置有标志物;筛选模块,用于根据预设阈值,对所采集的点云进行初步筛选;所述预设阈值由所述激光雷达的安装高度确定;第一提取模块,用于对所述初步筛选出的点云进行多次拟合处理,得到地面点云;第二提取模块,用于提取所采集的点云中的标志物点云;标定模块,用于根据所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定。
根据第三方面,在所述第三方面的第一种可能的实现方式中,所述装置还包括:转换模块,用于根据多个激光雷达的标定后的外参,得到各激光雷达对应的标志物点云的位置信息及地面点云的位置信息;第三提取模块,用于根据所述各激光雷达对应的标志物点云的位置信息及地面点云的位置信息,得到交叉特征点或交叉域,其中,所述交叉域表示平行于所述车辆行进的方向,以所述交叉特征点为中心的区域;优化模块,用于根据所述交叉特征点或交叉域,对所述多个激光雷达中任一激光雷达的标定后外参进行优化。
根据第三方面的第一种可能的实现方式,在所述第三方面的第二种可能的实现方式中,所述多个激光雷达包括主激光雷达和从激光雷达,其中,所述主激光雷达用于扫描所述车辆的前方的环境,所述从激光雷达用于扫描所述车辆的侧方和/或后方环境;所述转换模块,还用于:根据主激光雷达的标定后的外参,将主激光雷达对应的标志物点云及地面点云转换到车体坐标系中,得到所述主激光雷达对应的标志物点云的位置信息及地面点云的位置信息;根据从激光雷达的标定后的外参,将所述从激光雷达对应的标志物点云及地面点云转换到车体坐标系中,得到所述从激光雷达对应的标志物点云的位置信息及地面点云的位置信息;所述第三提取模块,还用于:根据所述主激光雷达对应的地面点云的位置信息及所述从激光雷达对应的地面点云的位置信息,得到第一交叉特征点或第一交叉域;根据所述主激光雷达对应的标志物点云的位置信息及所述从激光雷达对应的标志物点云的位置信息,得到第二交叉特征点或第二交叉域。
所述优化模块,还用于:根据所述第一交叉特征点或第一交叉域,对所述从激光雷达标定后的俯仰角和翻滚角进行优化;根据所述第二交叉特征点或第二交叉域,对所述从激光雷达标定后的偏航角进行优化。
根据第三方面或上述第三方面的各种可能的实现方式,在所述第三方面的第三种可能的实现方式中,所述外参包括俯仰角、翻滚角、偏航角中的至少一项;所述标定模块,还用于:根据所述地面点云,标定所述激光雷达的俯仰角和翻滚角;根据所述标志物点云,标定所述激光雷达的偏航角。
根据第三方面或上述第三方面的各种可能的实现方式,在所述第三方面的第四种可能的实现方式中,所述第二提取模块,还用于:在所采集的点云中过滤掉所述地面点云;沿垂直于车辆行进的方向,将过滤后的点云划分为多个切片;提取所述标志物点云,所述标志物点云包括满足预设条件的切片集合中的特征点,其中,所述切片集合包括相邻的一个或多个目标切片,所述目标切片中特征点数量超过阈值。
根据第三方面或上述第三方面的各种可能的实现方式,在所述第三方面的第五种可能的实现方式中,所述装置还包括降采样模块,用于:获取地面点云的第一线束信息,根据所述第一线束信息,对所述地面点云进行降采样处理;和/或,获取标志物点云的第二线束信息,根据所述第二线束信息,对所述标志物点云进行降采样处理;所述标定模块,还用于:根据降采样处理后的所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定。
根据第三方面或上述第三方面的各种可能的实现方式,在所述第三方面的第六种可能的实现方式中,所获取的点云为车辆在沿直线行驶状态下,激光雷达采集的点云。
根据第三方面或上述第三方面的各种可能的实现方式,在所述第三方面的第七种可能的实现方式中,所述标志物包括路沿、护栏、建筑物中的至少一项。
第四方面,本申请的实施例提供了一种激光雷达的标定装置,所述装置包括:获取模块,用于获取车辆通过目标区域时激光雷达采集的点云;所述目标区域的至少一边竖直设置有标志物;提取模块,用于提取所采集的点云中的标志物点云;拟合模块,用于根据标志物点云,得到标志物的拟合线信息;所述拟合线信息包括拟合线的位置及方向信息;计算模块,用于根据所述拟合线信息,得到所述激光雷达外参的数值。
根据第四方面,在所述第四方面的第一种可能的实现方式中,所述外参包括俯仰角;所述装置还包括:标定模块,用于在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值大于第二预设阈值的情况下,根据标志物点云,对所述激光雷达的外参进行标定,其中,所述第二预设阈值由所述激光雷达的竖直视场角确定。
根据第四方面的第一种可能的实现方式,在所述第四方面的第二种可能的实现方式中,所述外参包括偏航角;所述装置还包括:优化模块,用于获取所述车辆的位置信息及所述激光雷达的位置信息;根据所述车辆的位置信息及所述激光雷达的位置信息,确定所述车辆的航向角;根据所述航向角,优化标定后的所述激光雷达的偏航角。
根据上述第四方面的各种可能的实现方式,在所述第四方面的第三种可能的实现方式中,所述车辆安装有主激光雷达和从激光雷达,其中,所述主激光雷达用于扫描所述车辆的前方环境,所述从激光雷达用于扫描所述车辆的侧方和/或后方环境;所述装置还包括:确定模块,用于根据主激光雷达的标定后的外参及所述主激光雷达采集的多个标志物点云,确定所述多个标志物的位置信息;预测模块,用于根据所述多个标志物的位置信息,得到第一标志物的预测位置;测量模块,用于根据从激光雷达的标定后的外参及所述从激光雷达采集的所述第一标志物点云,得到所述第一标志物的测量位置;匹配模块,用于通过对所述预测位置与所述测量位置,优化所述从激光雷达的外参。
根据上述第四方面的各种可能的实现方式,在所述第四方面的第四种可能的实现方式中,所述提取模块还用于:提取所采集的点云中的地面点云;所述标定模块,还用于:根据标志物点云和所述地面点云,对所述激光雷达的外参进行标定。
根据第四方面或上述第四方面的各种可能的实现方式,在所述第四方面的第五种可能的实现方式中,所述拟合模块,还用于:根据标志物点云,确定旋转角初始值,所述旋转角初始值使标志物点云旋转后,在所述激光雷达坐标系中水平平面的投影区域最小;根据所述旋转角初始值,对标志物点云进行旋转处理;利用所述旋转后的标志物点云,得到标志物的拟合线信息。
根据第四方面或上述第四方面的各种可能的实现方式,在所述第四方面的第六种可能的实现方式中,所述标定模块,还用于:在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值不大于所述第二预设阈值的情况下,根据标志物点云及地面点云,对所述激光雷达的外参进行标定。
根据第四方面或上述第四方面的各种可能的实现方式,在所述第四方面的第七种可能的实现方式中,所述外参包括俯仰角、翻滚角、偏航角中的至少一项;所述标定模块,还用于:在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值不大于所述第二预设阈值的情况下,根据所述地面点云,标定所述激光雷达的俯仰角和翻滚角;根据拟合线的位置信息,标定所述激光雷达的偏航角。
根据第四方面或上述第四方面的各种可能的实现方式,在所述第四方面的第八种可能的实现方式中,所述目标区域的至少一边竖直设置有多个标志物,且所述多个标志物与地面的交点在同一直线上。
第五方面,本申请的实施例提供了一种激光雷达的标定装置,包括:至少一个处理器;用于存储处理器可执行指令的存储器;其中,所述至少一个处理器被配置为执行所述指令时实现上述第一方面或者第一方面的一种或几种的激光雷达的标定方法,或者,实现上述第二方面或者第二方面的一种或几种的激光雷达的标定方法。
第六方面,本申请的实施例提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现第一方面或者第一方面的一种或几种的激光雷达的标定方法,或者,实现上述第二方面或者第二方面的一种或几种的激光雷达的标定方法。
第七方面,本申请的实施例提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备中运行时,所述电子设备中的处理器实现第一方面或者第一方面的一种或几种的激光雷达的标定方法,或者,实现上述第二方面或者第二方面的一种或几种的激光雷达的标定方法。
上述第三方面至第七方面的各方面,及各方面的各种可能的实现方式的技术效果,参见上述第一方面或第二方面。
附图说明
图1示出了根据本申请一实施例的激光雷达的标定方法的一种应用场景的示意图;
图2(a)-图2(b)示出了根据本申请一实施例的车辆所在道路的示意图;
图3示出了根据本申请一实施例的激光雷达的标定方法的一种应用场景的示意图;
图4(a)-图4(e)示出了根据本申请一实施例的车辆所在道路的示意图;
图5(a)-图5(d)示出了根据本申请一实施例中几种坐标系的示意图;
图6示出了根据本申请一实施例中一种激光雷达标定方法的流程图;
图7示出了根据本申请一实施例中一种点云切片的示意图;
图8示出了根据本申请一实施例中一种激光雷达标定方法的流程图;
图9示出了根据本申请一实施例中一种时间同步的示意图;
图10示出了根据本申请一实施例中一种交叉特征点的示意图;
图11示出了根据本申请一实施例中一种交叉域的示意图;
图12示出了根据本申请一实施例中另一种激光雷达标定方法的流程图;
图13示出了根据本申请一实施例中一种单激光雷达标定的示意图;
图14示出了根据本申请一实施例中一种激光雷达扫描场景的示意图;
图15(a)-图15(b)示出了根据本申请一实施例中一种产线环境的示意图;
图16示出了根据本申请一实施例中标定俯仰角的对比示意图;
图17示出了根据本申请一实施例中一种激光雷达标定方法的流程图;
图18(a)-18(b)示出了根据本申请一实施例中一种多激光雷达联合优化的示意图;
图19示出了根据本申请一实施例中一种激光雷达标定装置的结构图;
图20示出了根据本申请一实施例中一种激光雷达标定装置的结构图;
图21示出根据本申请一实施例的一种激光雷达标定装置的结构示意图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
下面首先对本申请实施例提供的激光雷达的标定方法的应用场景进行举例说明。
图1示出了根据本申请一实施例的激光雷达的标定方法的一种应用场景的示意图。如图1所示,该应用场景中可以包括:车辆101、道路102、激光雷达103、标志物104;其中,激光雷达103安装在车辆101上,标志物104可以为路沿、路栏、建筑物立面等。
示例性地,道路103可以为开放道路,举例来说,图2(a)-图2(b)示出了根据本申请一实施例的车辆所在道路的示意图,如图2(a)所示,道路103可以一条城市道路,该城市道路较为平整,且两边具有一定高度的路沿或护栏;如图2(b)所示,道路103可以为一条高速公路,该高速公路的路面较为平整、路沿较清晰。
在一些示例中,自车101可以在上述图2(a)或图2(b)所示的道路上行驶,自身车速可以大于40km/h,保持一段时间的直线行驶,在行驶过程中,激光雷达103扫描自车外部环境,完成点云采集工作。通过本申请实施例中激光雷达标定方法(具体描述参见下文)对激光雷达103采集的点云进行处理,从而实现激光雷达103的外参标定。
图3示出了根据本申请一实施例的激光雷达的标定方法的一种应用场景的示意图。如图3所示,该应用场景中可以包括:车辆301、道路302、激光雷达303、标志物304;其中,激光雷达303安装在车辆301上,标志物304可以竖直设置在道路303上,示例性地,道路303可以为长度为30-100m,宽度为3-8m的专用道路;示例性地,标志物304可以为金属材质,或者可以在标志物304表面贴有反光贴,从而提高激光反射率;标志物304的截面可以为圆形、方形、三角形等,且截面的几何特性已知。例如,可以为圆柱形竖直杆,竖直杆的截面类型可以为圆截面,且半径已知,竖直杆表面可以贴有反光贴;示例性地,标志物304的数量可以为多个,标志物304可以设置在道路302的一边或两边,在道路302的任一边设置有多个标志物304时,各标志物304与地面的交点在同一直线上,各标志物304之间的间距可以相同,也可以不同。
举例来说,图4(a)-图4(e)示出了根据本申请一实施例的车辆所在道路的示意图,如图4(a)所示,在道路的一边可以设置有一排标志物(图中以标志物设置在道路左边为例),如图4(b)所示,在道路的两边分别设置有一排标志物,且两排标志物沿道路中心线对称分布,且任一排标志物中相邻标志物的间距相同;如图4(c)所示,在道路的两边分别设置有一排标志物,两排标志物平行分布,且任一排标志物中相邻标志物的间距相同;如图4(d)所示,在道路的两边分别设置有一排标志物,两排标志物平行分布,且任一排标志物中相邻标志物的不完全相同;如图4(e)所示,道路的路面可以不平整,道路可以设置上述图4(a)-图4(d)任一所示的标志物。
在一些示例中,自车301可以在上述图4(a)-图4(e)中任一所示的道路的一端驶入,并从道路的另一端驶出,车速可以为5-40km/h,可以保持匀速,也可以保持直线行驶状态,在行驶过程中,激光雷达303扫描自车外部环境,完成点云采集工作。通过本申请实施例中激光雷达标定方法(具体描述参见下文)对激光雷达303采集的点云进行处理,从而实现激光雷达303的外参标定。
需要说明的是,本申请实施例对车辆安装的激光雷达的数量及类型不作限定。示例性地,激光雷达103或激光雷达303的数量可以为一个或多个,上述图1及图3均以两个激光雷达作为示例,可以根据实际需要在自车101上安装更多的激光雷达103,或者在自车301上安装更多的激光雷达303。示例性地,上述激光雷达103或激光雷达303可以包括主激光雷达,主激光雷达用于探测车辆前方环境,或者探测车辆后方环境,或者可以探测车辆四周环境;还可以包括从激光雷达,从激光雷达可以用于探测车辆侧方环境(又称侧激光雷达),或者用于探测车辆后方环境(又称后激光雷达);主激光雷达相比从激光雷达,可以探测到车辆最前方的障碍物。
示例性地,上述自车101或自车301中还可以包括定位装置(图中未示出),该定位装置可以包括轮速计、卫星导航系统(Global Navigation Satellite System,GNSS)、惯性导航系统(Inertial Navigation System,INS)等,用于获取车辆的位姿信息。
示例性地,图1或图3所示的应用场景中还可以包括激光雷达标定装置(图中未示出),本申请实施例提供的激光雷达标定方法可以由该激光雷达标定装置实现,用于对上述激光雷达103或激光雷达303采集的点云进行高效率的自动化数据处理,且所标定的激光雷达的外参精度较高。
本申请实施例不限定该激光雷达标定装置的类型。
示例性地,该激光雷达标定装置可以为上述自车101(或自车301),或者,自车101(或自车301)中的其他具有数据处理功能的部件,例如:车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载传感器,车辆可通过该车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载传感器等。
示例性地,该激光雷达标定装置集成在自车101或自车301的自动驾驶系统(Automated Driving System,ADS)或高级驾驶辅助系统(Advanced Driver AssistantSystems,ADAS)或车载计算平台等中。
示例性地,该激光雷达标定装置还可以为除了车辆之外的其他具有数据处理能力的智能终端,或设置在智能终端中的部件或者芯片。例如,该智能终端可以为智能运输设备、智能穿戴设备、智能家居设备、智能辅助飞机、机器人(robot)或无人机(unmannedaerial vehicle)等安装有激光雷达的设备。
示例性地,该激光雷达标定装置可以是一个通用设备或者是一个专用设备。在具体实现中,该装置还可以台式机、便携式电脑、网络服务器、掌上电脑(personal digitalassistant,PDA)、移动手机、平板电脑、无线终端设备、嵌入式设备或其他具有数据处理功能的设备,或者为这些设备内的部件或者芯片。
示例性地,该激光雷达标定装置还可以是具有处理功能的芯片或处理器,该激光雷达标定装置可以包括多个处理器。处理器可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。该具有处理功能的芯片或处理器可以设置在激光雷达中,也可以不设置在激光雷达中,而设置在激光雷达输出信号的接收端。
需要说明的是,本申请实施例描述的上述应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,针对其他相似的或新的应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
图5(a)-图5(d)示出了根据本申请一实施例中几种坐标系的示意图,图5(a)-图5(b)所示为车体坐标系,车体坐标系的原点可以与车辆质心重合,当车辆在水平路面上处于静止状态时,x轴平行于地面指向车辆前方,z轴通过汽车质心指向上方,y轴指向驾驶员的左侧。示例性地,激光雷达的外参可以包括:俯仰角(pitch)、翻滚角(roll)、偏航角(yaw)中的一项或多项,还可以包括激光雷达的安装高度等;其中,俯仰角表示围绕y轴旋转的角度,偏航角表示围绕z轴旋转的角度,翻滚角表示围绕x轴旋转的角度。图5(c)所示为激光雷达坐标系,激光雷达坐标系的原点可以与激光雷达质心重合,图5(d)所示为世界坐标系,在X’Y’平面可以看出激光雷达在车体坐标系的偏航角,车辆航向角及激光雷达航向角。
下面基于上述图1所述的应用场景,对本申请实施例提供的激光雷达标定方法进行详细说明。
图6示出了根据本申请一实施例中一种激光雷达标定方法的流程图;该方法可以由上述激光雷达标定装置执行;如图6所示,该方法可以包括以下步骤:
步骤601、获取车辆通过目标道路时激光雷达采集的点云,目标道路的至少一边设置有标志物。
其中,激光雷达可以为安装在车辆上的任一激光雷达,例如,可以为主激光雷达,也可以为侧激光雷达。
示例性地,目标道路可以为平整的开放道路,标志物可以为开放道路一边或两边的路沿、护栏或建筑物等;例如,车辆可以为上述自车101,目标道路可以为上述图2(a)或图2(b)中所示的道路。
示例性地,所获取的点云可以为车辆在沿直线行驶状态下激光雷达采集的点云。例如,可以为自车101在图2(a)或图2(b)所示的道路上沿直线行驶时,激光雷达103采集的点云。
示例性地,可以根据车辆通过目标道路时的位姿信息,确定车辆的行驶状态;例如,可以通过惯性导航系统,确定车辆通过目标道路处于直行状态时,提取车载激光雷达采集的点云。
步骤602、根据预设阈值,对所采集的点云进行初步筛选。
示例性地,预设阈值由激光雷达的安装高度确定,其中,激光雷达的安装高度可以预先确定;例如,预设阈值可以等于激光雷达的安装高度。
示例性地,所采集的点云中包括各扫描点在激光雷达坐标下的坐标信息(X值、Y值、Z值);扫描点为地面点时,对应的高度值(即Z值)通常较小,且不会超过激光雷达的安装高度;因此,可以通过判断所采集的点云中各扫描点的高度值是否超过预设阈值,筛选出高度值不超过预设阈值的扫描点,所筛选出的所有扫描点可看作粗粒度地面点云。
该步骤中,根据由激光雷达的安装高度确定的预设阈值,对上述步骤601中所获取的任一帧点云进行初步筛选,筛选出粗粒度地面点云,从而减少点云数量,提高数据处理效率。
步骤603、对初步筛选出的点云进行多次拟合处理,得到地面点云。
示例性地,针对上述步骤602中初步筛选出的点云,可以运用多步随机采样一致性拟合算法,从而自适应地提取出高精度的地面点。
在一种可能的实现方式中,对于粗粒度地面点云,运用随机采样一致性算法拟合平面;过滤掉粗粒度地面点云中距离上述拟合平面距离大于预设距离阈值的扫描点,得到中粒度地面点云,其中,预设距离阈值的初值可以取经验值;缩小上述距离阈值,继续执行上述运用随机采样一致性算法拟合平面步骤,并进一步过滤掉中粒度地面点云中距离上述拟合平面距离大于缩小后的距离阈值的扫描点,从而得到细粒度的地面点云。可以理解的,可以根据需要进一步通过多次迭代,执行缩小距离阈值和运用随机采样一致性算法拟合平面的操作,从而得到更加精确的地面点云。
在一种可能的实现方式中,还可以获取地面点云的第一线束信息,并根据第一线束信息,对地面点云进行降采样处理。其中,所采集的点云中可以包括各特征点的线束信息,或者,可以基于激光雷达的配置参数,确定所采集的点云中各特征点的线束信息。这样,对于上述得到的细粒度的地面点,依据各地面点的线束信息,采取间隔取点的方式降采样提取精确的地面点;在提升数据处理效率的同时,充分保留地面的纹理结构,从而保证了地面点云的精度。
通过上述步骤602及步骤603,无需人工操作,采用阈值过滤与多次拟合处理,自动提取精确的地面点云,还可以根据地面点的线束信息降采样得到最终的地面点云。
步骤604、提取所采集的点云中的标志物点云。
在一种可能的实现方式中,该步骤可以包括:在所采集的点云中过滤掉地面点云。过滤后的点云中扫描点可以包括标志物的特征点,或者道路中车辆、行人等非地面点;沿垂直于车辆行进的方向,将过滤后的点云划分为多个切片。提取标志物点云,标志物点云包括满足预设条件的切片集合中的特征点,其中,切片集合包括相邻的一个或多个目标切片,且目标切片中特征点数量超过预设阈值。这样,通过划分点云切片,提取标志物点云,实现了自动提取高精度的标志物点云。
示例性地,各切片的宽度、预设阈值可以根据需要进行设置;预设条件可以包括沿车辆行进的方向,切片集合中所有特征点的所在位置超过长度范围。
举例来说,图7示出了根据本申请一实施例中一种点云切片的示意图;如图7所示,以安装在车辆上的主激光雷达为例,图7中扫描点为:在主激光雷达所采集的一帧点云中过滤掉地面点云,过滤后的一帧点云中的扫描点。沿垂直于车辆行进的方向(如沿车体坐标系的y轴的方向),将过滤后的点云划分为多个切片,即图中S1、S2…SN,N为正整数,其中,每个切片的宽度可以为1m;从切片S1开始,对于任一切片Si,其中,i为不大于N的正整数,若Si中扫描点数量大于预设阈值,则将Si标记为目标切片;对于目标切片Si,继续判断下一切片是否为目标切片,以此类推,直到当前切片不是目标切片或者目标切片的数量超多5个,例如,对于目标切片Si,若Si+1仍为目标切片,Si+1不是目标切片,则切片Si与Si+1即组成一个切片集合。这样,可以根据S1-SN中的N个切片得到一个或多个切片集合;对于任一切片集合,判断切片集合中所有特征点的X值范围是否超过长度范围,即判断是否满足|Xmax-Xmin|>Lthreshold,其中,Xmax表示切片集合中所有特征点的X值中的最大值,Xmin表示切片集合中所有特征点的X值中的最小值,Lthreshold表示长度范围;进而将满足条件的切片集合中的特征点作为标志物点云,从而实现提取高精度的标志物点云;如图7所示,切片S1即为道路左侧的标志物点云,切片SN即为道路右侧的标志物点云。
在一种可能的实现方式中,还可以获取标志物点云的第二线束信息,根据第二线束信息,对标志物点云进行降采样处理。这样,对于上述得到的标志物点云,依据各特征点的线束信息,采取间隔取点的方式降采样提取精确的特征物点云;在提升数据处理效率的同时,充分保留标志物的纹理结构,从而保证了标志物点云的精度。
步骤605、根据标志物点云及地面点云,对激光雷达的外参进行标定。
利用上述步骤603及步骤604提取的高精度的地面点云和标志物点云,对激光雷达的外参进行标定。
示例性地,可以根据上述降采样处理后的标志物点云及地面点云,对激光雷达的外参进行标定,从而提高处理效率。
在一种可能的实现方式中,可以根据上述地面点云,标定激光雷达的俯仰角和翻滚角;从而利用上述提取的高精度的地面点云,使得所标定的俯仰角和翻滚角精度更高。
示例性地,可以将地面与车体水平面平行作为约束,建立L1损失函数,解算激光雷达的俯仰角和翻滚角。
Figure BDA0003613772020000131
在上述公式(1)中,Lg表示解算俯仰角和翻滚角对应的损失函数,
Figure BDA0003613772020000132
表示第i个地面点在车体坐标系中的z值,n表示地面点云中所包含的地面点的数量,
Figure BDA0003613772020000133
表示地面点云z值的均值。利用公式(1)解算出,使得Lg最小时对应的俯仰角和翻滚角,即为激光雷达的俯仰角和翻滚角。
进一步地,可以根据上述标志物点云,标定激光雷达的偏航角;从而利用上述提取的高精度的标志物点云,使得所标定的偏航角的精度更高。
示例性地,可以将标志物与车体前进方向平行作为约束,建立L1损失函数,解算激光雷达坐标系到车体坐标系的偏航角。
Figure BDA0003613772020000134
在上述公式(2)中,Lw表示解算偏航角对应的损失函数,
Figure BDA0003613772020000135
表示第i个特征点在车体坐标系中的y值,m表示标志物点云中所包含的特征点的数量,
Figure BDA0003613772020000136
表示标志物点云y值的均值。利用公式(1)解算出,使得Lw最小时对应的偏航角,即为激光雷达的偏航角。
进一步地,对于步骤601中提取的一帧点云进行上述处理后,可以对积累一段时间的多帧点云,进行上述处理,并将得到的标定结果进行统计分析,从而优化得到最终的激光雷达到车体坐标系的外参。
这样,通过上述步骤601-605,利用开放道路中的场景信息,提取单个激光雷达采集的点云的地面点云及标志物点云,求解激光雷达到车体坐标系的外参,在一些示例中,可以通过多步拟合与阈值过滤相结合,提取高精度的地面点云,进而解算激光雷达的俯仰角和翻滚角,可以通过点云切片得提取高精度标志物点云,进而解算激光雷达的偏航角;从而实现单激光雷达的高精度在线动态标定。
本申请实施例中,标志物可以为道路的路沿、路栏等,对场地的要求无特殊要求,无需额外设置标定板,靶标,反光贴等,降低了标定成本,在开放道路(例如城市街道、高速公路等),利用道路的自然场景即可完成激光雷达的在线动态标定。同时,通过自动提取所采集的点云中的标志物点云;并根据标志物点云及地面点云,对激光雷达的外参进行标定,从而实现全自动在线动态标定,无需人工操作,提高了标定效率。此外,在提取地面点云时,根据预设阈值对所采集的点云进行初步筛选;对初步筛选出的点云进行多次拟合处理,从而基于阈值过滤与多次拟合处理,自适应地提取高精度的地面点云;还可以进一步通过点云切片,自动提取高精度的标志物点云,从而提高所标定的激光雷达的外参精度。
进一步地,随着智能驾驶领域的发展,低总价,小视角,高线束等激光雷达应用更加广泛,车载多个激光雷达可以实现场景的覆盖与互补,在车辆安装有多个激光雷达时,还可以根据任意两个激光雷达到车体坐标系的标定结果,对任一激光雷达的标定结果进行进一步优化。例如,可以根据通过上述步骤601-步骤605标定的主激光雷达的外参和通过上述步骤601-步骤605标定的从激光雷达的外参,对该从激光雷达的外参进行优化。
图8示出了根据本申请一实施例中一种激光雷达标定方法的流程图;如图8所示,该方法可以包括:
步骤801、根据多个激光雷达的标定后的外参,得到各激光雷达对应的标志物点云的位置信息及地面点云的位置信息。
其中,多个激光雷达为安装在同一车辆上的激光雷达,示例性地,任一激光雷达的外参可以通过上述步骤601-步骤605进行标定。各激光雷达对应的标志物点云可以为上述步骤604中所提取的标志物点云,各激光雷达对应的地面点云可以为上述步骤603中得到的标志物点云。标志物点云的位置信息表示标志物点云在车体坐标系中的三维坐标(x值、y值、z值)。
示例性地,多个激光雷达可以包括主激光雷达和从激光雷达(例如,侧激光雷达)。
在一种可能的实现方式中,可以根据主激光雷达的标定后的外参,将主激光雷达对应的标志物点云及地面点云转换到车体坐标系中,得到主激光雷达对应的标志物点云的位置信息及地面点云的位置信息;根据侧激光雷达的标定后的外参,将侧激光雷达对应的标志物点云及地面点云转换到车体坐标系中,得到侧激光雷达对应的标志物点云的位置信息及地面点云的位置信息。
在一种可能的实现方式中,可以根据主激光雷达的标定后的外参,将主激光雷达采集的点云转换到车体坐标系中,得到主激光雷达所采集点云的位置信息,进而可以通过上述提取地面点云,得到主激光雷达对应的地面点云的位置信息;可以通过上述提取标志物点云的方式,得到主激光雷达对应的标志物点云的位置信息。相似地,可以根据侧激光雷达的标定后的外参,将侧激光雷达采集的点云转换到车体坐标系中,得到侧激光雷达所采集点云的位置信息,进而可以通过上述提取地面点云,得到侧激光雷达对应的地面点云的位置信息;可以通过上述提取标志物点云的方式,得到侧激光雷达对应的标志物点云的位置信息。
示例性地,在进行上述转换之前,可以对多个激光雷达之间进行时间同步,图9示出了根据本申请一实施例中一种时间同步的示意图,如图9所示,其中箭头指示时间轴的方向,时间轴上的点表示点云数据包,可以根据每一点云数据包的时间戳(即点云数据包在时间轴上对应的位置),将主激光雷达的时间轴上的数据包与侧激光雷达的时间轴上的数据包进行匹配,若两个时间轴上相邻最近的数据包的时间差值小于阈值,即位于图9中所示的椭圆形区域内,则时间同步成功。
步骤802、根据各激光雷达对应的标志物点云的位置信息及地面点云的位置信息,得到交叉特征点或交叉域。
其中,交叉特征点表示两类点云的交点。交叉域表示平行于车辆行进的方向,以交叉特征点为中心的区域。
在一种可能的实现方式中,可以根据主激光雷达对应的地面点云的位置信息及侧激光雷达对应的地面点云的位置信息,得到第一交叉特征点或第一交叉域。
其中,第一交叉特征点表示主激光雷达对应的地面点云与侧激光雷达对应的地面点云的交点,该交点可以为一个地面点对,该地面点对包括主激光雷达对应的地面点云中一个地面点,及侧激光雷达对应的地面点云中一个地面点;例如,图10示出了根据本申请一实施例中一种交叉特征点的示意图,图10中所示的交叉特征点即为主激光雷达对应的地面点云与侧激光雷达对应的地面点云的交点。第一交叉域表示以第一交叉特征点为中心的区域,第一交叉域中可以包括多个地面点对,其中,每一地面点对中包括主激光雷达对应的地面点云中一个地面点,及侧激光雷达对应的地面点云中一个地面点;例如,图11示出了根据本申请一实施例中一种交叉域的示意图,如图11所示,椭圆中区域即为第一交叉域,每一椭圆中均包括多个地面点对。
示例性地,将主激光雷达对应的地面点云的位置信息及侧激光雷达对应的地面点云的位置信息,在车体坐标系中的xy平面上,以5m×5m网格进行网格化处理;在任一网格内,基于侧激光雷达对应的地面点云中任一地面点,寻找与其之间的曼哈顿距离最小的主激光雷达对应的地面点云中的地面点,其中,曼哈顿距离表示两个地面点在坐标系上的绝对轴距总和,例如,侧激光雷达对应的地面点云中地面点a(x1,y1),与主激光雷达对应的地面点云中的地面点b(x2,y2)的曼哈顿距离为:|x1-x2|+|y1-y2|。进而根据预设距离阈值对得到的多对曼哈顿距离最小的地面点进行过滤,曼哈顿距离小于预设距离阈值的一对地面点,即为第一交叉特征点,如上述图10所示。进而,可以依据地面点的线束信息,以第一交叉特征点为中心,扩展一定数量的地面点对构成第一交叉域,如上述图11所示。
在一种可能的实现方式中,可以根据主激光雷达对应的标志物点云的位置信息及侧激光雷达对应的标志物点云的位置信息,得到第二交叉特征点或第二交叉域。
其中,第二交叉特征点表示主激光雷达对应的标志物点云与侧激光雷达对应的标志物点云的交点,该交点可以为一个特征点对,该特征点对包括主激光雷达对应的标志物点云中一个特征点,及侧激光雷达对应的标志物点云中一个特征点。第二交叉域表示以第二交叉特征点为中心的区域,第二交叉域中可以包括多个特征点对,其中,每一特征点对中包括主激光雷达对应的标志物点云中一个特征点,及侧激光雷达对应的标志物点云中一个特征点。
示例性地,将根据主激光雷达对应的标志物点云的位置信息及侧激光雷达对应的标志物点云的位置信息,在车体坐标系中的xz平面上,参照上述提取第一交叉特征点或第一交叉域的方式,得到第二交叉特征点或第二交叉域,此处不再赘述。
步骤803、根据交叉特征点或交叉域,对多个激光雷达中任一激光雷达的标定后外参进行优化。
在一种可能的实现方式中,可以根据第二交叉特征点或第二交叉域,对侧激光雷达标定后的偏航角进行优化。
示例性地,可以构建目标函数:min|y2-y1|,优化补偿侧激光雷达的偏航角;其中,在第二交叉特征点的数量不小于预设阈值的情况下,可以采用第二交叉特征点求解该目标函数,此时,y2与y1分别表示各第二交叉特征点对应的特征点对的y值,例如,y2可以表示一特征点对中,主激光雷达对应的标志物点云中特征点在车体坐标系中的y值,y1可以表示该特征点对中,侧激光雷达对应的标志物点云中特征点在车体坐标系中的y值;在第二交叉特征点的数量小于预设阈值的情况下,可以采用第二交叉域求解该目标函数,此时,y2表示第二交叉域中,主激光雷达对应的标志物点云中所有特征点在车体坐标系中的y值的均值,y1表示该第二交叉域中,侧激光雷达对应的标志物点云中任一特征点在车体坐标系中的y值。
在一种可能的实现方式中,可以根据第一交叉特征点或第一交叉域,对侧激光雷达标定后的俯仰角和翻滚角进行优化。
示例性地,可以构建目标函数:min|z2-z1|,优化补偿侧激光雷达的俯仰角和翻滚角,其中,在第一交叉特征点的数量不小于预设阈值的情况下,可以采用第一交叉特征点求解该目标函数,此时,z2与z1分别表示各第一交叉特征点对应的地面点对的z值,例如,z2可以表示一地面点对中,主激光雷达对应的地面点云中地面点在车体坐标系中的z值,z1可以表示该地面点对中,侧激光雷达对应的地面点云中地面点在车体坐标系中的z值;在第一交叉特征点的数量小于预设阈值的情况下,可以采用第一交叉域求解该目标函数,此时,z2表示第一交叉域中,主激光雷达对应的地面点云中所有地面点在车体坐标系中的z值的均值,z1表示该第一交叉域中,侧激光雷达对应的地面点云中任一地面点在车体坐标系中的z值。
为了便于理解,对优化侧激光雷达的俯仰角和翻滚角的原理进行说明:旋转矩阵R补偿量可以表示为:
Figure BDA0003613772020000161
在公式(3)中,α表示偏航角,β表示俯仰角,γ表示翻滚角;
Figure BDA0003613772020000162
假设平移矩阵不补偿,在第一交叉特征点对应的地面点对存在如下关系:
Figure BDA0003613772020000163
在公式(4)中,(x1,y1,z1)表示一地面点对中侧激光雷达对应的地面点云中地面点在车体坐标系中的坐标值,(x2,y2,z2)表示该地面点对中主激光雷达对应的地面点云中地面点在车体坐标系中的坐标值。
基于上述优化补偿的偏航角,上述公式(4)展开可得:
z2=-sinβx1+cosβsinγy1+cosβcosγz1………………………(5)
在公式(5)中,z2表示地面点对中主激光雷达对应的地面点云中地面点在车体坐标系中的z值,x1、y1、z1分别表示该地面点对中侧激光雷达对应的地面点云中地面点在车体坐标系中x值、y值和z值。
将上公式(5)三角函数泰勒展开,可得:
z2-z1≈-βx1+γy1…………………………………(6)
由公式(6)可得,可以构建目标函数min|z2-z1|,采用蚁群算法等在一定范围内搜索使得|z2-z1|最小时,俯仰角和翻滚角的补偿量,从而利用该补偿量优化补偿上述标定的侧激光雷达的俯仰角和翻滚角。
进一步地,对于主激光雷达及侧激光雷达采集的一帧点云进行上述处理后,可以对积累一段时间的多帧点云,进行上述处理,并将得到的多组优化标定结果进行统计分析,从而得到最终的优化后侧激光雷达到车体坐标系的外参。
进一步地,可以根据优化补偿后的侧激光偏航角,更新激光雷达的标定参数;从而可以开启或更新智能驾驶功能,基于激光雷达优化补偿后的高精度外参,智能驾驶的感知、定位或融合等功能的精度得到提升。
这样,通过上述步骤801-步骤803,将各激光雷达采集的点云转换到车体坐标系中,获取各激光雷达对应的标志物点云的位置信息及地面点云的位置信息,进而通过提取交叉特征点及交叉域特征优化激光雷达的外参;在一些示例中,可以将主激光点云和侧激光点云均通过对应标定后的外参转换到车体坐标系,并完成主激光雷达与侧激光雷达时间同步,进而在标志物点云的基础上,提取交叉特征点和交叉域优化补偿侧激光雷达到车体坐标系的偏航角;在地面点的基础上,提取交叉特征点和交叉域优化补偿侧激光雷达到车体坐标系的俯仰角和翻滚角,从而完成多激光雷达外参的联合优化,使得激光雷达到车体坐标系的外参精度更高。此外,对车辆行驶场地无特殊要求,可以在日常路段均可完成标定,路面也可以不平坦,凸凹、高低不平的路面或者标志物表面均可用于标定优化;同时,有效提高了标定外参的精度及标定效率。
上述图6或图8所示的激光雷达标定方法可以运用在城区或高架等通用场景标定、服务标定、用户自校准的标定等等场景;在一些示例中,在车辆日常使用过程中,随着时间推移,由于物体形变,温度,微小触碰等不确定性因素影响,会造成车载激光雷达外参变化;此时,车辆无需返厂,可以在开放城市道路上或高速路上保持直线行驶一小段距离,基于上述本申请实施例的基于开放道路的单激光雷达外参标定和/或多激光雷达联合优化的全自动在线标定方法,即可完成激光雷达外参的标定和优化,并且可以更新系统中外参,从而可以方便用户在日常实时在线调整和修正激光雷达的外参,保障智能驾驶功能的安全使用,提升智能驾驶性能。
下面基于上述图3所述的应用场景,对本申请实施例提供的激光雷达标定方法进行详细说明。
图12示出了根据本申请一实施例中另一种激光雷达标定方法的流程图;该方法可以由上述激光雷达标定装置执行;如图12所示,该方法可以包括以下步骤:
步骤1201、获取车辆通过目标区域时激光雷达采集的点云。
其中,激光雷达可以为安装在车辆上的任一激光雷达,例如,可以为主激光雷达,也可以为侧激光雷达。
目标区域的至少一边竖直设置有标志物。示例性地,目标区域的至少一边竖直设置有多个标志物,且多个标志物与地面的交点在同一直线上。例如,车辆可以为上述自车301,目标区域可以为上述图4(a)-图4(e)中任一所示的道路。
示例性地,所获取的点云可以为车辆沿直线匀速行驶状态下激光雷达采集的点云。例如,可以为自车301在图4(a)-图4(e)中任一所示的道路上匀速直线行驶时,激光雷达303采集的点云。
示例性地,可以根据车辆通过目标区域时的位姿信息,确定车辆的行驶状态;例如,可以通过惯性导航系统,确定车辆通过目标区域处于匀速直行状态时,提取车载激光雷达采集的点云。
举例来说,目标区域可以为如图4(a)所示道路,可以在道路左侧(或右侧)设置一排平行竖直标志物,标志物间等距,标志物可以为贴反光贴的圆柱形直杆;该目标区域易于施工,节约了成本。
目标区域可以为如图4(b)所示道路,目标区域的两侧对称地分布等距圆柱形直杆,两排圆柱形直杆具有平行关系,且左右两侧的圆柱形直杆对称分布;该目标区域的两侧均具有标志物,安装在车辆两侧的激光雷达均能够扫描到标志物,从而可以利用该目标区域标定安装在车辆两侧的从激光雷达;同时,对于前向主激光雷达,可以扫描到的标志物数量更多,从而提高外参标定的精度和稳定性。
目标区域可以为如图4(c)所示道路,目标区域的两侧交错地分布等距圆柱形直杆,两排圆柱形直杆具有平行关系,且左右两侧的圆柱形直杆交错分布,交错偏移的距离可以为同一侧相邻圆柱形直杆间距的一半。相对于左右两侧对称分布的方式,前向主激光雷达在该目标区域中扫描到的标志物数量在时域上变化减少,扫描最近标志物的距离会减少一半,因此,在最近标志物从扫描视野消失前后,不会出现扫描标志物前后帧距离跳动过大的问题,从而进一步提高外参标定的精度、稳定性及标定效率。
目标区域可以为如图4(d)所示道路,目标区域的两侧任意间距分布圆柱形直杆,两排圆柱形直杆具有平行关系。在该目标区域中,至少一排的圆柱形直杆可以不等间距,这样,对于目标区域的施工更加便捷,无需高精度测量和精准的施工,提高了使用灵活性和通用性。其中,相邻标志物的间距,可以根据需要,采用标志物点云拟合处理等方式估算得到。
步骤1202、提取所采集的点云中的标志物点云。
示例性地,可以根据标志物的材料特征,提取标志物点云。以标志物为圆柱形竖直杆为例,可以根据反射强度大小,在激光雷达所采集的点云中,筛选出圆柱形竖直杆点云。
示例性地,可以参照上述图6中所示的提取标志物点云的方式,提取步骤1201中所采集的点云中的标志物点云。
示例性地,还可以对所采集的点云进行运动去畸变处理后,提取精确的标志物点云。
步骤1203、根据标志物点云,得到标志物的拟合线信息。
其中,拟合线信息包括拟合线的位置及方向信息。示例性地,标志物的拟合线可以包括标志物的中心线、标志物的母线、标志物的边线等与地面垂直的直线,其中,标志物的中心线表示过标志物的上下截面中心的直线;本申请实施例以标志物的拟合线为标志物的中心线为例,对得到标志物的拟合线信息的方式进行示例性说明;示例性地,标志物的中心线可以用标志物矢量
Figure BDA0003613772020000191
表示,其中,a,b,c表示标志物矢量l在方向矢量的三个分量,即中心线的方向信息;
Figure BDA0003613772020000192
表示标志物矢量l与XY平面的交点的位置矢量,即中心线的位置信息。
在一种可能的实现方式中,该步骤可以包括:根据标志物点云,确定旋转角初始值,其中,旋转角初始值使标志物点云旋转后,在激光雷达坐标系中水平平面的投影区域最小;根据旋转角初始值,对标志物点云进行旋转处理;利用旋转后的标志物点云,得到标志物的拟合线信息。
示例性地,以标志物的拟合线为标志物的中心线为例,针对单组标志物点云,可以通过调整激光雷达旋转角R,使得标志物点云在激光雷达坐标系的Z=0平面上,投影区域最小,得到旋转角初始值Rinit;进而可以根据Rinit,对标志物点云进行旋转处理,并利用旋转后的标志物点云,进行优化处理,得到标志物矢量l的方向矢量[a,b,c]及l与XY平面的交点位置
Figure BDA0003613772020000193
从而得到标志物矢量l。
举例来说,图13示出了根据本申请一实施例中一种单激光雷达标定的示意图,如图13所示,旋转前的标志物矢量l(即标志物中心线),旋转R后,得到竖直的标志物矢量l′(即方向矢量为单位矢量[0,0,1]),l与l′存在以下关系:
[0,0,1]T=R[a,b,c]T.....................................(7)
公式(7)中,[0,0,1]T表示单位矢量[0,0,1]的转置矩阵,[a,b,c]T表示矢量[a,b,c]的转置矩阵。
图13中,pi表示旋转前的标志物上的激光点i的坐标,旋转R后,得到旋转后的标志物上的激光点坐标为Pi=Rpi
可以通过联立:=<a,b,c],[0,0,1]>、ω=[a,b,c]×[0,0,1]、
Figure BDA0003613772020000195
及罗德里格(Rodrigues)旋转公式计算旋转矩阵
Figure BDA0003613772020000196
解算出标志物矢量l的方向矢量,即l在单位矢量的三个分量a,b,c:其中,θ表示旋转角度,ω表示旋转轴信息,
Figure BDA0003613772020000197
表示归一化旋转轴信息,<[a,b,c],[0,0,1]>表示[a,b,c]与[0,0,1]的夹角。
进一步地,估算标志物矢量的位置矢量:
旋转前的标志物矢量l,旋转R后,在激光雷达坐标系中,得到的标志物矢量l′与XY平面的交点为
Figure BDA0003613772020000198
其中,xl,yl为该交点的坐标值。
构建下述优化函数:
argmin0.5∑(f(pi,l)-r)2........................................(8)
在公式(8)中,r为标志物截面的半径;
Figure BDA0003613772020000199
Figure BDA00036137720200001910
为激光点pi到标志物矢量l的距离;其中,
Figure BDA00036137720200001911
为标志物矢量l上一点;
Figure BDA00036137720200001912
表示
Figure BDA00036137720200001913
与R[a,b,c]T矢量夹角,其数值为:
Figure BDA00036137720200001914
Figure BDA0003613772020000201
线段和竖直方向的夹角。
待优化量为
Figure BDA0003613772020000202
优化初值为Rinit,基于标志物截面的已知半径,通过优化求解上述公式(8),即可得到标志物矢量l。
步骤1204、根据拟合线信息,得到激光雷达外参的数值。
其中,可以根据拟合线信息,得到激光雷达的俯仰角、翻滚角、偏航角中的至少一项的数值。
示例性地,可以根据上述得到的中心线的方向信息(如单根标志物矢量),得到激光雷达的俯仰角的数值。由于单根标志物矢量的每个方向分量代表了标志物矢量在每个方向轴的投影长度,因此,可以使用单根标志物矢量的分量估算出俯仰角。例如,可以根据
Figure BDA0003613772020000203
的方向矢量[a,b,c]中的a、c分量,通过atan(a/c)计算俯仰角的数值。
这样,可以根据激光雷达采集的一个标志物的点云,即可得到激光雷达外参的数值。
由于激光雷达的俯仰角对车辆的近处地面是否有足量激光点具有至关重要的作用;同时地面信息可以一定程度增加标定优化的精度和稳定性,因此,在激光雷达的朝向偏上时,还可以判断得到的激光雷达的俯仰角的数值是否大于第二预设阈值,即将俯仰角的数值作为是否使用地面信息进行标定优化的决策参考值;即可避免激光雷达安装偏差(例如,俯仰角)造成的地面信息不可用的问题,也可以充分利用有效的地面信息。
在一种可能的实现方式说,在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且激光雷达的俯仰角的数值大于第二预设阈值的情况下,根据标志物点云,对激光雷达的外参进行标定。
其中,第一预设阈值可以为90°,如果激光雷达朝向与竖直向上方向的夹角小于90°,则表明激光雷达的朝向偏上。第二预设阈值TH可以由激光雷达的竖直视场角(vertical-Field of View,V-FOV)确定;例如,TH=0.5*(V-FOV),即第二预设阈值可以为竖直视场角的一半。
示例性地,在激光雷达的朝向偏上,且激光雷达的俯仰角的数值大于第二预设阈值的情况下,可以根据标志物的中心线信息,对激光雷达的俯仰角、偏航角、翻滚角进行联合标定。由于标志物的中心线在世界坐标系中是竖直向上的,因此,可以利用中心线信息,同时标定激光雷达的俯仰角、偏航角、翻滚角。
示例性地,可以利用标志物矢量
Figure BDA0003613772020000204
约位置矢量
Figure BDA0003613772020000205
基于公式(9)所示的目标函数,联合标定激光雷达的俯仰角、偏航角、翻滚角。
argmin 0.5α∑∑(f(P′ij,lj(0,0,1,dj))-r)+0.5β∑[z]..........(9)
在公式(9)中,α和β是残差项比例系数,r为标志物截面的半径,z为激光雷达的高度,j为所扫描到的标志物的编号,P′ij为旋转后的第j个标志物的第i个激光点,lj(0,0,1,dj)表示第j个标志物矢量,dj为第j个标志物与XY平面的交点。其中,P′ij=RrollRpitchRyawPij+[0,0,z]T,Ryaw表示偏航角,Rpitch表示俯仰角,Rroll表示翻滚角;Pij为旋转前第j个标志物的第i个激光点。
该步骤中,不依赖于地面点云,在地面点云不足的情况下,利用标志物点云即可实现激光雷达外参的高精度标定。针对具有较小的竖直视场角、无法扫描近处地面点云的激光雷达;由于场地宽度受限,无法采集到有效的地面点云的侧激光雷达;安装俯仰角过大,导致无法扫描地面点云或扫描到的地面点云较少的激光雷达;安装高度较高,扫描到的地面点云距离较远的激光雷达等等,均可实现高精度的外参标定。
举例来说,在激光雷达的视场角较小的场景中,图14示出了根据本申请一实施例中一种激光雷达扫描场景的示意图,如图14所示,主激光雷达竖直视场角较小、主激光雷达无法扫描到距离车辆较近的地面,即无法获取近处地面点云。若采用相关技术中依赖于地面信息标定主激光雷达外参的方案标定精度通常较低。因此,可以参照如图4(a)-图4(e)等场景在道路两边设置标志物,通过执行上述步骤1201-1204,可以仅利用主激光雷达采集的标志物点云,在主激光雷达的视场角较小的情况下,完成主激光雷达外参的高精度标定。
举例来说,在产线环境中,流水线宽度有限,图15(a)-图15(b)示出了根据本申请一实施例中一种产线环境的示意图,如图15(a)-图15(b)所示,由于场地宽度受限,车辆的侧激光雷达无法扫描到地面,即无法获取地面点云;或者扫描到的地面区域较小,即所获取的地面点云数量较少。若采用相关技术中依赖于地面信息标定侧激光雷达外参的方案,通常无法正常运行。因此,可以参照如图4(a)-图4(e)等场景在产线场地设置标志物,通过执行上述步骤1201-步骤1204,可以仅利用侧激光雷达采集的标志物点云,在空间狭窄的产线场地中,完成侧激光雷达外参的高精度标定。
举例来说,针对上述图4(e)中路面不平整的场景,道路上设置有标志物,通过执行上述步骤1201-步骤1204,从而仅利用激光雷达采集的标志物点云,在局部区域有上下起伏的道路中,完成侧激光雷达外参的高精度标定。图16示出了根据本申请一实施例中标定俯仰角的对比示意图,如图16所示,在不平整道路上,采用相关技术中依赖于地面信息标定主激光雷达外参的方案,所标定的俯仰角偏差较大;在该不平整道路上设置标志物(如图4(e)所示),采用本申请实施例中方法,仅利用标志物点云标定俯仰角,能够减少或避免不平整的地面信息的影响,从而提升所标定的俯仰角的精度。
在一种可能的实现方式中,还可以提取所采集的点云中的地面点云,利用地面点云及标志物点云标定激光雷达外参,从而充分利用地面信息及标志物信息,提高外参标定精度;示例性地,在激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且俯仰角的数值大于第二预设阈值的情况下,根据标志物点云和地面点云,对激光雷达的外参进行标定。这样,在存在有效地面点云的情况下,可以充分利用地面点云,从而进一步提高标定精度和稳定性。
示例性地,可以利用标志物矢量
Figure BDA0003613772020000211
的位置矢量
Figure BDA0003613772020000212
交地面点云,基于公式(10)所示的目标函数,联合标定激光雷达的俯仰角、偏航角、翻滚角。
argmin 0.5α∑∑(f(P′ij,lj(0,0,1,dj))-r)2+0.5β∑P′G[z].............(10)
在公式(10)中,α和β是残差项比例系数,r为标志物截面的半径,z为激光雷达的高度,j为所扫描到的标志物的标号,P′ij为旋转后的第j个标志物的第i个激光点,lj(0,0,1,dj)表示第j个标志物矢量,dj为第j个标志物与XY平面的交点;P′G为旋转后的地面点云。
在一帧点云中包含多个标志物对应的激光点,且标志物的间距未知的情况下:基于公式(10)优化激光雷达的俯仰角、偏航角、翻滚角及激光雷达的高度。此时,公式(10)中P′ij=RrollRpitchRyawPij+[0,0,z]T,P′G=RrollRpitchRyawPG+[0,0,z]T,其中,z为激光雷达的高度,Ryaw表示偏航角,Rpitch表示俯仰角,Rroll表示翻滚角;Pij为旋转前第j个标志物的第i个激光点,PG表示旋转前的地面点云。
在一帧点云中包含多个标志物对应的激光点,且标志物的间距已知的情况下:基于公式(10),优化激光雷达的俯仰角、偏航角、翻滚角、激光雷达的高度及该帧点云中第一个标志物的位置d0=[x0,y0]T,其中,x0,y0为d0的坐标值,设Wj表示第j个标志物到第j+1个标志物的距离,则该帧点云中第二个标志物的位置为d1=[x1+W0,y0]T
进一步地,在激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且激光雷达的俯仰角的数值不大于第二预设阈值的情况下,根据标志物点云及地面点云,对激光雷达的外参进行标定。
在激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且激光雷达的俯仰角的数值不大于第二预设阈值的情况下,激光雷达的朝向偏上,同时可以扫描到地面,即存在地面点云,因此,可以利用地面点云及标志物点云,对激光雷达的外参进行标定,从而充分利用地面信息,提高激光雷达的外参标定精度。
在一种可能的实现方式中,在激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且激光雷达的俯仰角的数值不大于第二预设阈值的情况下,根据地面点云,标定激光雷达的俯仰角和翻滚角,还可以标定激光雷达的高度;根据拟合线的位置信息,标定激光雷达的偏航角。示例性地,可以利用标志物矢量
Figure BDA0003613772020000221
的位置矢量
Figure BDA0003613772020000222
标定激光雷达的偏航角。
这样,在激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且激光雷达俯仰角的数值不大于预设阈值的情况下,激光雷达可以扫描到地面,存在地面点云,因此,可以利用地面点云,对激光雷达的俯仰角和翻滚角进行标定,提高了标定精度和稳定性。
考虑到车辆行驶过程中,较难实现直线行驶,本申请实施例中,不限制车辆的行驶偏角,可以在完成上述标定之后,结合车辆运动信息,优化标定结果。在一种可能的实现方式中:可以获取车辆的位置信息及激光雷达的位置信息;根据车辆的位置信息及激光雷达的位置信息,确定车辆的航向角;根据航向角,优化标定后的激光雷达的偏航角。
示例性地,基于标志物,激光雷达可以定位激光雷达的位置信息;车辆可以通过自身底盘等信息估计出车辆的位置信息;利用车辆的位置信息及激光雷达的位置信息,滤波估计出车辆的航向角;利用车辆航向角的平行约束,补偿偏航角的动态变化。
进一步地,对于步骤1201中提取的一帧点云进行上述处理后,可以对积累一段时间的多帧点云,进行上述处理,并将得到的标定结果进行统计分析,从而优化得到最终的激光雷达的外参。
这样,通过上述步骤1201-1204,基于竖直设置于目标区域的标志物(例如,一排平行的竖直标志物),利用竖直标志物的拟合线需要符合竖直约束的原理,得到激光雷达外参的数值;在一些示例中,可以基于计算的俯仰角的数值,在激光雷达朝向与竖直向上方向的夹角小于第一预设阈值时,对俯仰角数值是否大于第二预设阈值进行判断,从而能够自动化判断地面点云的可用性,提高标定效率和自动化;并仅利用标志物点云,即可同时标定单激光雷达的俯仰角、偏航角及翻滚角,在一些示例中,可以结合车辆运动信息补偿偏航角的动态变化,从而实现了单激光雷达的高精度动态标定。
本申请实施例中,目标区域的至少一边竖直设置有标志物,标志物设置简单,降低了对场地的要求,施工成本低。根据标志物点云,得到标志物的拟合线信息,基于竖直标志物的拟合线需要符合竖直约束,得到激光雷达外参的数值,这样,根据标志物点云,即可计算激光雷达外参的数值;在一些示例中,可以在激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且激光雷达俯仰角的数值大于第二预设阈值的情况下,根据标志物点云,即可完成对激光雷达外参的高精度标定;同时,由于标定过程中不依赖于地面点云,可以适用于地面信息不充分的场景(例如,小竖直视场角的激光雷达无法采集近处地面点云、由于场地尺寸受限侧激光雷达无法采集到有效的地面点云、安装俯仰角过大的激光雷达向上抬导致地面点云缺失或较少等等),实现了地面信息不充分的场景中单激光雷达的高精度标定。此外,相对于建图标定等方式,可以自动执行整个标定过程,提高了单激光雷达标定的效率。
进一步地,在车辆安装有多个激光雷达时,还可以根据任意两个激光雷达到车体坐标系的标定结果,对任一激光雷达的标定结果进行进一步优化,实现多激光标定。例如,可以根据通过上述步骤1201-步骤1204标定的主激光雷达的外参和通过上述步骤1201-步骤1204标定的从激光雷达的外参,对该从激光雷达的外参进行优化。
示例性地,主激光雷达与从激光雷达可以没有共视区域,或者共视区域较小。在一帧点云中,主激光雷达可以扫描到至少两个标志物;通过预测及匹配标志物的位置,从而优化从激光雷达的外参。
图17示出了根据本申请一实施例中一种激光雷达标定方法的流程图;如图17所示,该方法可以包括以下步骤:
步骤1701、根据主激光雷达的标定后的外参及主激光雷达采集的多个标志物点云,确定多个标志物的位置信息。
其中,主激光雷达的外参可以为通过上述步骤1201-步骤1204所标定的外参。多个标志物的位置信息可以包括基于上述标定外参转换后的多个标志物的拟合线的位置信息。
示例性地,可以用主激光雷达采集的多个标志物点云,拟合得到多个标志物的位置矢量
Figure BDA0003613772020000231
进而利用主激光雷达的标定后的外参,将位置矢量
Figure BDA0003613772020000232
转换到竖直方向,此时得到的位置矢量即为多个标志物的位置信息。
在一段时间内,主激光雷达连续跟踪标志物,通过扫描先后顺序,判断并记录标志物的唯一编号j,同时,可以测量出任意两个标志物间的距离Wj;设Wj表示第j个标志物到第j+1个标志物的距离。
举例来说,图18(a)-18(b)示出了根据本申请一实施例中一种多激光雷达联合优化的示意图;如图18(a)所示,各标志物之间可以间距相等,主激光雷达对连续跟踪到的标志物进行编号,即W0、W1…Wj;如图18(b)所示,激光雷达当前可以跟踪到标志物W0、W1,同时可以基于确定的标志物W0、W1的位置信息,得到W0、W1之间的距离。
步骤1702、根据多个标志物的位置信息,得到第一标志物的预测位置。
其中,第一标志物为从激光雷达可以跟踪到的、在上述多个标志物之后的标志物。
示例性地,可以利用第一标志物的编号和标志物间的距离Wj,推算出第一标志物的预测位置。第一标志物的预测位置可以包括第一标志物的拟合线的位置信息(如,第一标志物的中心线的位置信息)。
在一种可能的实现方式中,可以先进行方向预测,再进行距离预测,从而得到第一标志物的预测位置;示例性地,由于同一侧的多个竖直标志物平行,基于两个标志物的位置信息,即可确定一条直线,可知其余标志物均在这条直线上,进而结合两个标志物的先后顺序,即可得到该直线上标志物的排布方向;然后基于该直线上标志物的排布方向,通过主激光雷达跟踪标志物估计出的距离Wj,如W2,W3,估计出第一标志物的预测位置。例如,如图18(a)所示,从激光雷达可以跟踪到W2,即第一标志物可以为W2,如图18(b)所示,可以利用W0、W1的位置信息,确定W0、W1所在直线上标志物排布方向,进而基于该方向,利用上述W0、W1之间的距离,及W1的位置信息,推算得到W2的预测位置。
步骤1703、根据从激光雷达的标定后的外参及从激光雷达采集的第一标志物点云,得到第一标志物的测量位置。
其中,从激光雷达的外参可以为通过上述步骤1201-步骤1204所标定的外参。示例性地,第一标志物的位置信息可以包括基于上述标定外参转换后的第一标志物的中心线的位置信息。
示例性地,可以利用从激光雷达采集的第一标志物点云,按照前文所述方式,得到第一标志物的位置矢量
Figure BDA0003613772020000241
进而利用从激光雷达的标定后的外参,将位置矢量
Figure BDA0003613772020000242
转换到竖直方向,此时得到的位置矢量即为第一标志物的测量位置。
步骤1704、通过预测位置与测量位置,优化从激光雷达的外参。
利用上述第一标志物的预测位置和从激光雷达实际的测量位置,优化侧激光雷达的外参,使得第一标志物的位置矢量重合度最佳。示例性地,可以利用从激光雷达相对于主激光雷达的外参,将测量位置进行变换,进而利用变换后的测量位置与预测位置进行匹配处理,完成外参的联合优化。可以理解的是,如果从激光雷达相对于主激光雷达的外参存在偏差,则从激光雷达得到的测量位置经过存在偏差的相对外参转换后,与预测位置不一致。
示例性地,可以采用最小二乘形式,基于优化目标函数:0.5[(Δa)2+(Δb)2+(Δc)2]优化求解,其中,Δa,Δb,Δc分别是主激光雷达-从激光雷达的方向矢量三个分量的差。
这样,通过上述步骤1701-步骤1704,基于单激光标定的结果,利用解算的标志物两两之间距离和/或朝向,预测其余标志物的位置,实现任意朝向多激光雷达间俯仰角、偏航角、翻滚角的联合优化。针对多激光雷达由于安装位置和角度偏差较大,点云投射到不同空间位置,不适合直接进行点云配准的场景,该方法可以有效提高标定的精度,从而实现了没有共视区域、或者共视区域较小的多激光雷达联合标定。此外,该方法不需要提前建图,显著提高了多激光雷达标定的效率。
上述图12或图17所示的激光雷达标定方法可以运用在产线末端标定、服务标定、存在高清地图的在线自校准等等场景中;在一些示例中,产线末端标定需要满足多车型、多传感器适配;快速标定;成本低,场地简单,能够在不同工厂中推广和建造;需要有较大角度标定容忍范围,安装存在较大偏差时,需要有异常报警;全天候工作,导航系统不可用时也要能正常工作等等需求;此时,车辆从本申请实施例提供的图4(a)-图4(e)中任一道路一端驶入从另一端驶出,车辆通过短距离的行驶,进而基于上述本申请实施例的单激光雷达外参标定和/或多激光雷达联合优化的方法,即可完成车载激光雷达标定,满足产线末端标定的需求;并且可以更新系统中外参,保障智能驾驶功能的安全使用,提升智能驾驶性能。
基于上述方法实施例的同一发明构思,本申请的实施例还提供了一种激光雷达的标定装置,该激光雷达的标定装置可以用于执行上述方法实施例所描述的技术方案。
图19示出了根据本申请一实施例中一种激光雷达标定装置的结构图,如图19所示,所述装置包括:获取模块1901,用于获取车辆通过目标道路时激光雷达采集的点云,所述目标道路的至少一边设置有标志物;筛选模块1902,用于根据预设阈值,对所采集的点云进行初步筛选;所述预设阈值由所述激光雷达的安装高度确定;第一提取模块1903,用于对所述初步筛选出的点云进行多次拟合处理,得到地面点云;第二提取模块1904,用于提取所采集的点云中的标志物点云;标定模块1905,用于根据所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定。
在一种可能的实现方式中,所述装置还包括:转换模块,用于根据多个激光雷达的标定后的外参,得到各激光雷达对应的标志物点云的位置信息及地面点云的位置信息;第三提取模块,用于根据所述各激光雷达对应的标志物点云的位置信息及地面点云的位置信息,得到交叉特征点或交叉域,其中,所述交叉域表示平行于所述车辆行进的方向,以所述交叉特征点为中心的区域;优化模块,用于根据所述交叉特征点或交叉域,对所述多个激光雷达中任一激光雷达的标定后外参进行优化。
在一种可能的实现方式中,所述多个激光雷达包括主激光雷达和从激光雷达,其中,所述主激光雷达用于扫描所述车辆的前方的环境,所述从激光雷达用于扫描所述车辆的侧方和/或后方环境;所述转换模块,还用于:根据主激光雷达的标定后的外参,将主激光雷达对应的标志物点云及地面点云转换到车体坐标系中,得到所述主激光雷达对应的标志物点云的位置信息及地面点云的位置信息;根据从激光雷达的标定后的外参,将所述从激光雷达对应的标志物点云及地面点云转换到车体坐标系中,得到所述从激光雷达对应的标志物点云的位置信息及地面点云的位置信息;所述第三提取模块,还用于:根据所述主激光雷达对应的地面点云的位置信息及所述从激光雷达对应的地面点云的位置信息,得到第一交叉特征点或第一交叉域;根据所述主激光雷达对应的标志物点云的位置信息及所述从激光雷达对应的标志物点云的位置信息,得到第二交叉特征点或第二交叉域;所述优化模块,还用于:根据所述第一交叉特征点或第一交叉域,对所述从激光雷达标定后的俯仰角和翻滚角进行优化;根据所述第二交叉特征点或第二交叉域,对所述从激光雷达标定后的偏航角进行优化。
在一种可能的实现方式中,所述外参包括俯仰角、翻滚角、偏航角中的至少一项;所述标定模块,还用于:根据所述地面点云,标定所述激光雷达的俯仰角和翻滚角;根据所述标志物点云,标定所述激光雷达的偏航角。
在一种可能的实现方式中,所述第二提取模块,还用于:在所采集的点云中过滤掉所述地面点云;沿垂直于车辆行进的方向,将过滤后的点云划分为多个切片;提取所述标志物点云,所述标志物点云包括满足预设条件的切片集合中的特征点,其中,所述切片集合包括相邻的一个或多个目标切片,所述目标切片中特征点数量超过阈值。
在一种可能的实现方式中,所述装置还包括降采样模块,用于:获取地面点云的第一线束信息,根据所述第一线束信息,对所述地面点云进行降采样处理;和/或,获取标志物点云的第二线束信息,根据所述第二线束信息,对所述标志物点云进行降采样处理;所述标定模块,还用于:根据降采样处理后的所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定。
在一种可能的实现方式中,所获取的点云为车辆在沿直线行驶状态下,激光雷达采集的点云。
在一种可能的实现方式中,所述标志物包括路沿、护栏、建筑物中的至少一项。
上述实施例中,激光雷达标定装置及其各种可能的实现方式的技术效果及具体描述可参见上述激光雷达标定方法,此处不再赘述。
图20示出了根据本申请一实施例中一种激光雷达标定装置的结构图,如图20所示,所述装置包括:获取模块2001,用于获取车辆通过目标区域时激光雷达采集的点云;所述目标区域的至少一边竖直设置有标志物;提取模块2002,用于提取所采集的点云中的标志物点云;拟合模块2003,用于根据标志物点云,得到标志物的拟合线信息;所述拟合线信息包括拟合线的位置及方向信息;计算模块2004,用于根据所述拟合线信息,得到所述激光雷达外参的数值;
在一种可能的实现方式中,所述外参包括俯仰角;所述装置还包括:标定模块,用于在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值大于第二预设阈值的情况下,根据标志物点云,对所述激光雷达的外参进行标定,其中,所述第二预设阈值由所述激光雷达的竖直视场角确定。
在一种可能的实现方式中,所述外参包括偏航角;所述装置还包括:优化模块,用于获取所述车辆的位置信息及所述激光雷达的位置信息;根据所述车辆的位置信息及所述激光雷达的位置信息,确定所述车辆的航向角;根据所述航向角,优化标定后的所述激光雷达的偏航角。
在一种可能的实现方式中,所述车辆安装有主激光雷达和从激光雷达,其中,所述主激光雷达用于扫描所述车辆的前方环境,所述从激光雷达用于扫描所述车辆的侧方和/或后方环境;所述装置还包括:确定模块,用于根据主激光雷达的标定后的外参及所述主激光雷达采集的多个标志物点云,确定所述多个标志物的位置信息;预测模块,用于根据所述多个标志物的位置信息,得到第一标志物的预测位置;测量模块,用于根据从激光雷达的标定后的外参及所述从激光雷达采集的所述第一标志物点云,得到所述第一标志物的测量位置;匹配模块,用于通过对所述预测位置与所述测量位置,优化所述从激光雷达的外参。
在一种可能的实现方式中,所述提取模块还用于:提取所采集的点云中的地面点云;所述标定模块,还用于:根据标志物点云和所述地面点云,对所述激光雷达的外参进行标定。
在一种可能的实现方式中,所述拟合模块,还用于:根据标志物点云,确定旋转角初始值,所述旋转角初始值使标志物点云旋转后,在所述激光雷达坐标系中水平平面的投影区域最小;根据所述旋转角初始值,对标志物点云进行旋转处理;利用所述旋转后的标志物点云,得到标志物的拟合线信息。
在一种可能的实现方式中,所述标定模块,还用于:在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值不大于所述第二预设阈值的情况下,根据标志物点云及地面点云,对所述激光雷达的外参进行标定。
在一种可能的实现方式中,所述外参包括俯仰角、翻滚角、偏航角中的至少一项;所述标定模块,还用于:在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值不大于所述第二预设阈值的情况下,根据所述地面点云,标定所述激光雷达的俯仰角和翻滚角;根据拟合线的位置信息,标定所述激光雷达的偏航角。
在一种可能的实现方式中,所述目标区域的至少一边竖直设置有多个标志物,且所述多个标志物与地面的交点在同一直线上。
上述实施例中,激光雷达标定装置及其各种可能的实现方式的技术效果及具体描述可参见上述激光雷达标定方法,此处不再赘述。
本申请的实施例提供了一种激光雷达标定装置,包括:处理器以及用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令时实现上述激光雷达标定方法。
图21示出根据本申请一实施例的一种激光雷达标定装置的结构示意图,如图21所示,该激光雷达的标定装置可以包括:至少一个处理器2101,通信线路2102,存储器2103以及至少一个通信接口2104。
处理器2101可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路2102可包括一通路,在上述组件之间传送信息。
通信接口2104,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,RAN,无线局域网(wireless local area networks,WLAN)等。
存储器2103可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路2102与处理器相连接。存储器也可以和处理器集成在一起。本申请实施例提供的存储器通常可以具有非易失性。其中,存储器2103用于存储执行本申请方案的计算机执行指令,并由处理器2101来控制执行。处理器2101用于执行存储器2103中存储的计算机执行指令,从而实现本申请上述实施例中提供的方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
示例性地,处理器2101可以包括一个或多个CPU,例如图21中的CPU0和CPU1。
示例性地,激光雷达的标定装置可以包括多个处理器,例如图21中的处理器2101和处理器2107。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,激光雷达标定装置还可以包括输出设备2105和输入设备2106。输出设备2105和处理器2101通信,可以以多种方式来显示信息。例如,输出设备2105可以是液晶显示器(liquid crystal display,LCD),发光二级管(lightemitting diode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备2106和处理器2101通信,可以以多种方式接收用户的输入。例如,输入设备2106可以是鼠标、键盘、触摸屏设备或传感设备等。
本申请实施例还提供一种激光雷达的标定系统,所述激光雷达的标定系统,包括至少一个本申请上述实施例提到的激光雷达的标定装置。
本申请实施例还提供一种车辆,所述车辆包括至少一个本申请上述实施例提到的激光雷达的标定装置,或激光雷达的标定系统。
本申请的实施例提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。
本申请的实施例提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备的处理器中运行时,所述电子设备中的处理器执行上述方法。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RandomAccess Memory,RAM)、只读存储器(Read Only Memory,ROM)、可擦式可编程只读存储器(Electrically Programmable Read-Only-Memory,EPROM或闪存)、静态随机存取存储器(Static Random-Access Memory,SRAM)、便携式压缩盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能盘(Digital Video Disc,DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
这里所描述的计算机可读程序指令或代码可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture,ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(Local Area Network,LAN)或广域网(WideArea Network,WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(Field-ProgrammableGate Array,FPGA)或可编程逻辑阵列(Programmable Logic Array,PLA),该电子电路可以执行计算机可读程序指令,从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的装置、系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。
也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行相应的功能或动作的硬件(例如电路或ASIC(Application SpecificIntegrated Circuit,专用集成电路))来实现,或者可以用硬件和软件的组合,如固件等来实现。
尽管在此结合各实施例对本发明进行了描述,然而,在实施所要求保护的本发明过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其它变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (26)

1.一种激光雷达的标定方法,其特征在于,所述方法包括:
获取车辆通过目标道路时激光雷达采集的点云,所述目标道路的至少一边设置有标志物;
根据预设阈值,对所采集的点云进行初步筛选;所述预设阈值由所述激光雷达的安装高度确定;
对所述初步筛选出的点云进行多次拟合处理,得到地面点云;
提取所采集的点云中的标志物点云;
根据所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据多个激光雷达的标定后的外参,得到各激光雷达对应的标志物点云的位置信息及地面点云的位置信息;
根据所述各激光雷达对应的标志物点云的位置信息及地面点云的位置信息,得到交叉特征点或交叉域,其中,所述交叉域表示平行于所述车辆行进的方向,以所述交叉特征点为中心的区域;
根据所述交叉特征点或交叉域,对所述多个激光雷达中任一激光雷达的标定后外参进行优化。
3.根据权利要求2所述的方法,其特征在于,所述多个激光雷达包括主激光雷达和从激光雷达,其中,所述主激光雷达用于扫描所述车辆的前方的环境,所述从激光雷达用于扫描所述车辆的侧方和/或后方环境;
所述根据多个激光雷达的标定后的外参,得到各激光雷达对应的标志物点云的位置信息及地面点云的位置信息,包括:
根据主激光雷达的标定后的外参,将主激光雷达对应的标志物点云及地面点云转换到车体坐标系中,得到所述主激光雷达对应的标志物点云的位置信息及地面点云的位置信息;
根据从激光雷达的标定后的外参,将所述从激光雷达对应的标志物点云及地面点云转换到车体坐标系中,得到所述从激光雷达对应的标志物点云的位置信息及地面点云的位置信息;
所述根据所述各激光雷达对应的标志物点云的位置信息及地面点云的位置信息,得到交叉特征点或交叉域,包括:
根据所述主激光雷达对应的地面点云的位置信息及所述从激光雷达对应的地面点云的位置信息,得到第一交叉特征点或第一交叉域;根据所述主激光雷达对应的标志物点云的位置信息及所述从激光雷达对应的标志物点云的位置信息,得到第二交叉特征点或第二交叉域;
所述根据所述交叉特征点或交叉域,对所述多个激光雷达中任一激光雷达的标定后外参进行优化,包括:
根据所述第一交叉特征点或第一交叉域,对所述从激光雷达标定后的俯仰角和翻滚角进行优化;根据所述第二交叉特征点或第二交叉域,对所述从激光雷达标定后的偏航角进行优化。
4.根据权利要求1-3中任意一项所述的方法,其特征在于,所述外参包括俯仰角、翻滚角、偏航角中的至少一项,
所述根据所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定,包括:
根据所述地面点云,标定所述激光雷达的俯仰角和翻滚角;
根据所述标志物点云,标定所述激光雷达的偏航角。
5.根据权利要求1-4中任意一项所述的方法,其特征在于,所述提取所采集的点云中的标志物点云,包括:
在所采集的点云中过滤掉所述地面点云;
沿垂直于车辆行进的方向,将过滤后的点云划分为多个切片;
提取所述标志物点云,所述标志物点云包括满足预设条件的切片集合中的特征点,其中,所述切片集合包括相邻的一个或多个目标切片,所述目标切片中特征点数量超过阈值。
6.根据权利要求1-5中任意一项所述的方法,其特征在于,所述方法还包括:
获取地面点云的第一线束信息,
根据所述第一线束信息,对所述地面点云进行降采样处理;
和/或,
获取标志物点云的第二线束信息,
根据所述第二线束信息,对所述标志物点云进行降采样处理;
根据所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定,包括:
根据降采样处理后的所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定。
7.根据权利要求1-6中任意一项所述的方法,其特征在于,所获取的点云为车辆在沿直线行驶状态下,激光雷达采集的点云。
8.根据权利要求1-7中任意一项所述的方法,其特征在于,所述标志物包括路沿、护栏、建筑物中的至少一项。
9.一种激光雷达的标定方法,其特征在于,所述方法包括:
获取车辆通过目标区域时激光雷达采集的点云;所述目标区域的至少一边竖直设置有标志物;
提取所采集的点云中的标志物点云;
根据标志物点云,得到标志物的拟合线信息;所述拟合线信息包括拟合线的位置及方向信息;
根据所述拟合线信息,得到所述激光雷达外参的数值。
10.根据权利要求9所述的方法,其特征在于,所述外参包括俯仰角;
所述方法还包括:
在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值大于第二预设阈值的情况下,根据标志物点云,对所述激光雷达的外参进行标定,其中,所述第二预设阈值由所述激光雷达的竖直视场角确定。
11.根据权利要求10所述的方法,其特征在于,所述外参包括偏航角;
所述方法还包括:
获取所述车辆的位置信息及所述激光雷达的位置信息;
根据所述车辆的位置信息及所述激光雷达的位置信息,确定所述车辆的航向角;
根据所述航向角,优化标定后的所述激光雷达的偏航角。
12.根据权利要求10或11所述的方法,其特征在于,所述车辆安装有主激光雷达和从激光雷达,其中,所述主激光雷达用于扫描所述车辆的前方环境,所述从激光雷达用于扫描所述车辆的侧方和/或后方环境;
所述方法还包括:
根据主激光雷达的标定后的外参及所述主激光雷达采集的多个标志物点云,确定所述多个标志物的位置信息;
根据所述多个标志物的位置信息,得到第一标志物的预测位置;
根据从激光雷达的标定后的外参及所述从激光雷达采集的所述第一标志物点云,得到所述第一标志物的测量位置;
通过所述预测位置与所述测量位置,优化所述从激光雷达的外参。
13.根据权利要求10-12中任意一项所述的方法,其特征在于,所述方法还包括:提取所采集的点云中的地面点云;
所述根据标志物点云,对所述激光雷达的外参进行标定,还包括:
根据标志物点云和所述地面点云,对所述激光雷达的外参进行标定。
14.根据权利要求9-13中任意一项所述的方法,其特征在于,所述根据标志物点云,得到标志物的拟合线信息,包括:
根据标志物点云,确定旋转角初始值,所述旋转角初始值使标志物点云旋转后,在所述激光雷达坐标系中水平平面的投影区域最小;
根据所述旋转角初始值,对标志物点云进行旋转处理;
利用所述旋转后的标志物点云,得到标志物的拟合线信息。
15.根据权利要求10-14中任意一项所述的方法,其特征在于,所述方法还包括:
在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值不大于所述第二预设阈值的情况下,根据标志物点云及地面点云,对所述激光雷达的外参进行标定。
16.根据权利要求9-15中任意一项所述的方法,其特征在于,所述外参包括俯仰角、翻滚角、偏航角中的至少一项,所述方法还包括:
在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值不大于所述第二预设阈值的情况下,根据所述地面点云,标定所述激光雷达的俯仰角和翻滚角;根据拟合线的位置信息,标定所述激光雷达的偏航角。
17.根据权利要求9-16中任意一项所述的方法,其特征在于,所述目标区域的至少一边竖直设置有多个标志物,且所述多个标志物与地面的交点在同一直线上。
18.一种激光雷达的标定装置,其特征在于,所述装置包括:
获取模块,用于获取车辆通过目标道路时激光雷达采集的点云,所述目标道路的至少一边设置有标志物;
筛选模块,用于根据预设阈值,对所采集的点云进行初步筛选;所述预设阈值由所述激光雷达的安装高度确定;
第一提取模块,用于对所述初步筛选出的点云进行多次拟合处理,得到地面点云;
第二提取模块,用于提取所采集的点云中的标志物点云;
标定模块,用于根据所述标志物点云及所述地面点云,对所述激光雷达的外参进行标定。
19.根据权利要求18所述的装置,其特征在于,所述装置还包括:
转换模块,用于根据多个激光雷达的标定后的外参,得到各激光雷达对应的标志物点云的位置信息及地面点云的位置信息;
第三提取模块,用于根据所述各激光雷达对应的标志物点云的位置信息及地面点云的位置信息,得到交叉特征点或交叉域,其中,所述交叉域表示平行于所述车辆行进的方向,以所述交叉特征点为中心的区域;
优化模块,用于根据所述交叉特征点或交叉域,对所述多个激光雷达中任一激光雷达的标定后外参进行优化。
20.一种激光雷达的标定装置,其特征在于,所述装置包括:
获取模块,用于获取车辆通过目标区域时激光雷达采集的点云;所述目标区域的至少一边竖直设置有标志物;
提取模块,用于提取所采集的点云中的标志物点云;
拟合模块,用于根据标志物点云,得到标志物的拟合线信息;所述拟合线信息包括拟合线的位置及方向信息;
计算模块,用于根据所述拟合线信息,得到所述激光雷达外参的数值。
21.根据权利要求20所述的装置,其特征在于,所述外参包括俯仰角;
所述装置还包括:标定模块,用于在所述激光雷达朝向与竖直向上方向的夹角小于第一预设阈值,且所述俯仰角的数值大于第二预设阈值的情况下,根据标志物点云,对所述激光雷达的外参进行标定,其中,所述第二预设阈值由所述激光雷达的竖直视场角确定。
22.根据权利要求21所述的装置,其特征在于,所述外参包括偏航角;所述装置还包括:优化模块,用于获取所述车辆的位置信息及所述激光雷达的位置信息;根据所述车辆的位置信息及所述激光雷达的位置信息,确定所述车辆的航向角;根据所述航向角,优化标定后的所述激光雷达的偏航角。
23.根据权利要求21或22所述的装置,其特征在于,所述车辆安装有主激光雷达和从激光雷达,其中,所述主激光雷达用于扫描所述车辆的前方环境,所述从激光雷达用于扫描所述车辆的侧方和/或后方环境;所述装置还包括:
确定模块,用于根据主激光雷达的标定后的外参及所述主激光雷达采集的多个标志物点云,确定所述多个标志物的位置信息;
预测模块,用于根据所述多个标志物的位置信息,得到第一标志物的预测位置;
测量模块,用于根据从激光雷达的标定后的外参及所述从激光雷达采集的所述第一标志物点云,得到所述第一标志物的测量位置;
匹配模块,用于通过所述预测位置与所述测量位置,优化所述从激光雷达的外参。
24.一种激光雷达的标定装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令时实现权利要求1-8中任意一项所述的方法,或者实现权利要求9-17中任意一项所述的方法。
25.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1-8中任意一项所述的方法,或者实现权利要求9-17中任意一项所述的方法。
26.一种包含指令的计算机程序产品,其特征在于,当其在计算机上运行时,使得所述计算机执行如权利要求1-8中任意一项所述的方法,或者实现权利要求9-17中任意一项所述的方法。
CN202180006105.6A 2021-08-30 2021-08-30 一种激光雷达的标定方法、装置及存储介质 Pending CN114829971A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/115418 WO2023028774A1 (zh) 2021-08-30 2021-08-30 一种激光雷达的标定方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114829971A true CN114829971A (zh) 2022-07-29

Family

ID=82527470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180006105.6A Pending CN114829971A (zh) 2021-08-30 2021-08-30 一种激光雷达的标定方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN114829971A (zh)
WO (1) WO2023028774A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116381632A (zh) * 2023-06-05 2023-07-04 南京隼眼电子科技有限公司 雷达横滚角的自标定方法、装置及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168176B (zh) * 2023-04-23 2023-07-18 深圳大学 联合InSAR与激光点云的建筑物几何与变形提取方法
CN116400334B (zh) * 2023-06-01 2023-09-12 未来机器人(深圳)有限公司 激光外参的标定验证方法、装置、电子设备及可存储介质
CN117590362B (zh) * 2024-01-19 2024-04-16 深圳海星智驾科技有限公司 一种多激光雷达外参标定方法、装置和设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106896353A (zh) * 2017-03-21 2017-06-27 同济大学 一种基于三维激光雷达的无人车路口检测方法
US10746858B2 (en) * 2017-08-17 2020-08-18 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
CN109100741B (zh) * 2018-06-11 2020-11-20 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN109696663B (zh) * 2019-02-21 2021-02-09 北京大学 一种车载三维激光雷达标定方法和系统
US11727272B2 (en) * 2019-06-19 2023-08-15 Nvidia Corporation LIDAR-based detection of traffic signs for navigation of autonomous vehicles
CN112241007A (zh) * 2020-07-01 2021-01-19 北京新能源汽车技术创新中心有限公司 自动驾驶环境感知传感器的标定方法、布置结构及车辆
CN112258590B (zh) * 2020-12-08 2021-04-27 杭州迦智科技有限公司 一种基于激光的深度相机外参标定方法、设备及其存储介质
CN112946591A (zh) * 2021-02-26 2021-06-11 商汤集团有限公司 外参标定方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116381632A (zh) * 2023-06-05 2023-07-04 南京隼眼电子科技有限公司 雷达横滚角的自标定方法、装置及存储介质
CN116381632B (zh) * 2023-06-05 2023-08-18 南京隼眼电子科技有限公司 雷达横滚角的自标定方法、装置及存储介质

Also Published As

Publication number Publication date
WO2023028774A1 (zh) 2023-03-09

Similar Documents

Publication Publication Date Title
CN109785667B (zh) 车道偏离识别方法、装置、设备和存储介质
EP3519770B1 (en) Methods and systems for generating and using localisation reference data
EP3620823B1 (en) Method and device for detecting precision of internal parameter of laser radar
EP3332217B1 (en) Methods and systems for generating and using localisation reference data
CN114829971A (zh) 一种激光雷达的标定方法、装置及存储介质
US11248925B2 (en) Augmented road line detection and display system
KR20210111180A (ko) 위치 추적 방법, 장치, 컴퓨팅 기기 및 컴퓨터 판독 가능한 저장 매체
CN111161353B (zh) 车辆定位方法、装置、可读存储介质和计算机设备
JP6806891B2 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
CN112740225B (zh) 一种路面要素确定方法及装置
CN113674287A (zh) 高精地图的绘制方法、装置、设备以及存储介质
JP2022176322A (ja) 自己位置推定装置、制御方法、プログラム及び記憶媒体
CN113093128A (zh) 用于标定毫米波雷达的方法、装置、电子设备及路侧设备
CN113706704A (zh) 基于高精地图规划路线的方法、设备以及自动驾驶车辆
EP3964863A1 (en) Method and device for motion state estimation
CN113587937A (zh) 车辆的定位方法、装置、电子设备和存储介质
CN114660589B (zh) 一种地下隧道的定位方法、系统及装置
CN113822932B (zh) 设备定位方法、装置、非易失性存储介质及处理器
CN113390422B (zh) 汽车的定位方法、装置及计算机存储介质
EP4336468A1 (en) Parameterization method for point cloud data
CN115512051A (zh) 一种点云地图构建方法及装置
Lee et al. Augmented Road Line Detection And Display System
JP2023118751A (ja) 自己位置推定装置
CN115096330A (zh) 地图变化检测方法及装置、计算机可读存储介质、终端
CN114565904A (zh) 确定可行驶区域的方法、装置、设备、介质和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination