CN115372987A - 基于激光雷达的车道线提取方法、装置、介质及设备 - Google Patents

基于激光雷达的车道线提取方法、装置、介质及设备 Download PDF

Info

Publication number
CN115372987A
CN115372987A CN202210935773.3A CN202210935773A CN115372987A CN 115372987 A CN115372987 A CN 115372987A CN 202210935773 A CN202210935773 A CN 202210935773A CN 115372987 A CN115372987 A CN 115372987A
Authority
CN
China
Prior art keywords
point cloud
laser
frame
image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210935773.3A
Other languages
English (en)
Inventor
李瀚文
柏林
刘彪
舒海燕
袁添厦
沈创芸
祝涛剑
方映峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Gosuncn Robot Co Ltd
Original Assignee
Guangzhou Gosuncn Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Gosuncn Robot Co Ltd filed Critical Guangzhou Gosuncn Robot Co Ltd
Priority to CN202210935773.3A priority Critical patent/CN115372987A/zh
Publication of CN115372987A publication Critical patent/CN115372987A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Abstract

本发明公开了一种基于激光雷达的车道线提取方法，包括：获取相机采集的图像数据和激光雷达采集的激光点云数据；对所述图像数据和激光点云数据进行时间同步；对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上；获取所述激光点云帧的位姿信息，根据所述位姿信息对所述激光点云帧进行拼接，得到彩色点云地图；根据所述彩色点云地图提取地面点信息；根据所述地面点信息和颜色阈值提取车道线。本发明实现了低成本的车道线提取，无需依赖深度学习模型，计算量小，可实现实时的车道线提取。

Description

基于激光雷达的车道线提取方法、装置、介质及设备
技术领域
本发明涉及机器人技术领域，尤其涉及一种基于激光雷达的车道线提取方法、装置、介质及设备。
背景技术
现有的车道线提取方法主要由两种。一种是纯视觉提取方法，通过为机器人搭载一个相机，所述相机可以是单目相机、双目相机或者是鱼眼相机，对相机采集的图像信息进行深度学习训练来提取车道线。另一种是激光反射强度提取方法，利用高线束激光雷达，比如128线束，对于不同材质的反射强度不同的原理，可以根据地面和车道线之间不同的反射强度来提取车道线。
然而，第一种提取方法依赖深度学习模型，在训练时需要手工标注，时间成本和人力成本高，计算量大，机器人无法实时提取车道线；第二种提取方法所采用的高线束激光雷达存在成本高的问题。
发明内容
本发明实施例提供了一种基于激光雷达的车道线提取方法、装置、介质及设备，以解决现有车道线提取方法存在的计算量大无法实时提取、成本高的问题。
一种基于激光雷达的车道线提取方法，所述方法包括：
获取相机采集的图像数据和激光雷达采集的激光点云数据；
对所述图像数据和激光点云数据进行时间同步；
对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上；
获取所述激光点云帧的位姿信息，根据所述位姿信息对所述激光点云帧进行拼接，得到彩色点云地图；
根据所述彩色点云地图提取地面点信息；
根据所述地面点信息和颜色阈值提取车道线。
可选地，所述对所述图像数据和激光点云数据进行时间同步包括：
对于激光点云数据中的第i个激光点云帧，获取所述第i个激光点云帧的采集时间；
从所述图像数据中获取与所述采集时间最近的前后两个图像帧及其采集时间，分别记为第k个图像帧和第k+1个图像帧；
若所述第k+1个图像帧的采集时间与所述第i个激光点云帧的采集时间之差大于所述第i个激光点云帧的采集时间与所述第k个图像帧的采集时间之差，则将所述第i个激光点云帧与所述第k个图像帧进行同步；
若所述第k+1个图像帧的采集时间与所述第i个激光点云帧的采集时间之差小于所述第i个激光点云帧的采集时间与所述第k个图像帧的采集时间之差，则将所述第i个激光点云帧与所述第k+1个图像帧进行同步。
可选地，所述对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上包括：
根据图像帧的宽度和相机的第一内参系数，计算图像高度视场角；
根据图像帧的高度和相机的第二内参系数，计算图像宽度视场角；
将雷达坐标系下每一个点的雷达坐标转换为相机坐标系下的相机坐标；
判断所述相机坐标是否落在所述图像高度视场角和图像宽度视场角构成的范围内；
若是，则从所述图像帧中获取该点对应的颜色值，并将所述颜色值赋值给所述激光点云帧对应的点云。
可选地，所述判断所述相机坐标是否落在所述图像高度视场角和图像宽度视场角构成的范围内包括：
根据雷达坐标系下每一个点转换后的所述相机坐标计算该点的第一正弦值和第二正弦值；
判断所述第一正弦值是否小于正的图像高度视场角、大于负的图像高度视场角，且所述第二正弦值是否小于正的图像宽度视场角、大于负的图像宽度视场角。
可选地，所述根据所述彩色点云地图提取地面点信息包括：
从所述彩色点云地图上获取由同一根激光线束扫描出来的点云；
将由同一根激光线束扫描出来的点云对应的测量距离，按时间顺序进行排列；
遍历所述激光雷达发射出来的每一根激光线束，得到一个M*N的方位矩阵，其中M表示激光雷达的线束个数，N表示点云个数；
根据方位矩阵中同一列上的两个点云的测量距离计算所述两个点云之间的第一夹角，所述第一夹角表示到后一点云的激光线束与两个点云连线之间的夹角；
根据所述第一夹角获取地面点，构建地面点信息。
可选地，所述根据所述第一夹角获取地面点，构建地面点信息包括：
将所述第一夹角与预设角度阈值进行比较；
当所述第一夹角小于所述预设角度阈值时，则认为所述两个点云为地面点，否则，所述两个点云不为地面点。
可选地，所述根据所述地面点信息和颜色阈值提取车道线包括：
获取所述地面点的颜色值，将所述地面点的颜色值与预设颜色范围进行比较；
若所述地面点的颜色值落在所述预设颜色范围内，则所述地面点为车道线，否则不为车道线；
遍历每一个地面点，获取落在所述预设颜色范围内的所有地面点，得到车道线。
一种基于激光雷达的车道线提取装置，所述装置包括：
获取模块，用于获取相机采集的图像数据和激光雷达采集的激光点云数据；
同步模块，用于对所述图像数据和激光点云数据进行时间同步；
映射模块，用于对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上；
拼接模块，用于获取所述激光点云帧的位姿信息，根据所述位姿信息对所述激光点云帧进行拼接，得到彩色点云地图；
地面提取模块，用于根据所述彩色点云地图提取地面点信息；
车道线提取模块，用于根据所述地面点信息和颜色阈值提取车道线。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于激光雷达的车道线提取方法。
一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于激光雷达的车道线提取方法。
本发明实施例采用低线束激光雷达，通过获取相机采集的图像数据和激光雷达采集的激光点云数据；对所述图像数据和激光点云数据进行时间同步；对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上；获取所述激光点云帧的位姿信息，根据所述位姿信息对所述激光点云帧进行拼接，得到彩色点云地图；根据所述彩色点云地图提取地面点信息；根据所述地面点信息和颜色阈值提取车道线；从而实现了低成本的车道线提取，无需依赖深度学习模型，计算量小，可实现实时的车道线提取。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的基于激光雷达的车道线提取方法的实现流程图；
图2为本发明一实施例提供的第一夹角示意图；
图3是本发明一实施例提供的基于激光雷达的车道线提取装置的示意图；
图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例采用低线束激光雷达，并结合相机采集的图像数据和激光雷达采集的激光点云数据，通过对所述图像数据和激光点云数据进行时间同步；对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上；获取所述激光点云帧的位姿信息，根据所述位姿信息对所述激光点云帧进行拼接，得到彩色点云地图；根据所述彩色点云地图提取地面点信息；根据所述地面点信息和颜色阈值提取车道线；从而实现了低成本的车道线提取，无需依赖深度学习模型，计算量小，可实现实时的车道线提取。
在本发明实施例中，所述基于激光雷达的车道线提取方法应用于可自主移动导航的机器人。所述机器人上搭载相机、3D激光雷达、惯性测量单元IMU、轮式里程计。所述相机可以为单目相机、双目相机或者鱼眼相机。
在实现本发明实施例提供的基于激光雷达的车道线提取之前，首先要对相机进行内参标定，得到相机内参和畸变系数。以单目相机为例，首先准备一个9×7的相机标定板，在当前单目相机的可视区域移动标定板，包括旋转与平移标定板。world坐标系在标定板的左上角，若已知标定板上的特征点的坐标
Figure BDA0003782761610000061
和像素坐标
Figure BDA0003782761610000062
代入以下公式：
Figure BDA0003782761610000063
其中R表示从世界坐标系到相机坐标系的旋转，t表示从世界坐标系到相机坐标系的平移信息。获取多个特征点坐标代入上述公式，根据多组数据求解参数fx、fy、cx、cy，其中fx表示图像坐标系下水平方向x的缩放因子，fy表示图像坐标系下竖直方向y的缩放因子，cx表示x方向上相对于图像坐标系中心的平移，cy表示y方向上相对于图像坐标系中心的平移。这四个参数组成了相机内参。
根据如下公式求解得到切向畸变参数：
Xcorrected＝X(1+k1r2+k2r4+k3r6)+2p1XY+p2(r2+2X2)
Ycorrected＝Y(1+k1r2+k2r4+k3r6)+2p2XY+p1(r2+2Y2)
其中，(X,Y)表示畸变校正前的像素坐标，Xcorrected和Ycorrected分别表示畸变校正后的像素坐标，r表示真实世界中的点与相机坐标系之间的距离，p1、p2分别表示切向畸变参数，k1、k2、k3表示公式中的常数系数。
以下对本发明实施例提供的基于激光雷达的车道线提取方法进行详细的描述。图1为本发明实施例提供的基于激光雷达的车道线提取方法。如图1所示，所述基于激光雷达的车道线提取方法包括：
在步骤S101中，获取相机采集的图像数据和激光雷达采集的激光点云数据。
在这里，本发明实施例分别从所述机器人上搭载相机获取图像数据，以及从3D激光雷达上获取激光点云数据。其中，所述图像数据存储在一个消息队列中，激光点云数据存储在另一个消息队列中。
在步骤S102中，对所述图像数据和激光点云数据进行时间同步。
在这里，若同时需要激光点云数据和相机数据，必须对两者进行同步，找到距离当前时刻的激光点云数据最近的相机数据即可。可选地，所述步骤S102包括：
在步骤S201中，对于激光点云数据中的第i个激光点云帧，获取所述第i个激光点云帧的采集时间。
遍历所述激光点云数据的消息队列，对于每一个激光点云帧都存在对应的一个采集时间
Figure BDA0003782761610000081
表示所述激光点云数据的消息队列中的第i个激光点云帧的采集时间。
在步骤S202中，从所述图像数据中获取与所述采集时间最近的前后两个图像帧及其采集时间，分别记为第k个图像帧和第k+1个图像帧。
从图像数据的消息队列中，找到离所述第i个激光点云帧的采集时间
Figure BDA0003782761610000082
最近的前一个图像帧和后一个图像帧，这里记为第k个图像帧和第k+1个图像帧，对应的采集时间分别为
Figure BDA0003782761610000083
和
Figure BDA0003782761610000084
在步骤S203中，若所述第k+1个图像帧的采集时间与所述第i个激光点云帧的采集时间之差大于所述第i个激光点云帧的采集时间与所述第k个图像帧的采集时间之差，则将所述第i个激光点云帧与所述第k个图像帧进行同步。
在步骤S204中，若所述第k+1个图像帧的采集时间与所述第i个激光点云帧的采集时间之差小于所述第i个激光点云帧的采集时间与所述第k个图像帧的采集时间之差，则将所述第i个激光点云帧与所述第k+1个图像帧进行同步。
在这里，本发明实施例通过以下公式进行时间对齐：
Figure BDA0003782761610000085
即分别计算出第i个激光点云帧的采集时间与前后两个图像帧的采集时间之差，将两个差值进行相互比较，判断所述第i个激光点云帧更靠近哪个图像帧，则以该图像帧与所述第i个激光点云帧进行时间同步。
遍历所述激光点云消息队列中的每一个激光点云帧，完成对每一个激光点云帧与图像帧的时间同步。
在完成时间同步之后，本发明实施例根据同步后的激光点云帧和图像帧进行外参标定。同样准备标定板，放在相机和激光雷达可以同时看到的地方，对标定板进行旋转和平移，获取多个数据帧。相机检测到标定板上的角点。并提取标定板的平面法向量。同时利用激光雷达进行平面提取，得到平面上的激光点坐标和法向量，构建误差函数：ncT(RclPl+tcl)+dc＝0。其中，ncT表示相机坐标系下的法向量，Rcl表示相机坐标系到激光雷达坐标系的旋转关系，pl表示激光雷达坐标系下打在标定板平面上的激光点，tcl表示从相机坐标系到激光雷达坐标系的平移关系，dc表示相机坐标系原点到标定板平面的距离。
通过最小化上述误差函数，从而求得最优的旋转关系Rcl和平移关系tcl，进而完成从相机到激光雷达的外参标定。
在步骤S103中，对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上。
可选地，作为本发明的一个优选示例，所述步骤103包括：
在步骤S301中，根据图像帧的宽度和相机的第一内参系数，计算图像高度视场角。
在这里，所述第一内参系数为图像坐标系下水平方向x的缩放因子fx，本发明实施例采用公式
Figure BDA0003782761610000091
计算所述图像高度视场角。其中，W表示图像帧的宽度。
在步骤S302中，根据图像帧的高度和相机的第二内参系数，计算图像宽度视场角。
所述第二内参系数为图像坐标系下竖直方向y的缩放因子fy，本发明实施例采用公式
Figure BDA0003782761610000101
计算所述图像宽度视场角。其中，H表示图像帧的高度。
在步骤S303中，将雷达坐标系下每一个点的雷达坐标转换为相机坐标系下的相机坐标。
对于雷达坐标系下的每一个点，获取其雷达坐标，并转换为相机坐标。其中，转换公式为：Pc＝RclPl+tcl，Rcl表示相机坐标系到激光雷达坐标系的旋转关系，pl表示激光雷达坐标系下打在标定板平面上的激光点，tcl表示从相机坐标系到激光雷达坐标系的平移关系，pc表示相机坐标系下的点的坐标，即相机坐标
Figure BDA0003782761610000102
在步骤S304中，判断所述相机坐标是否落在所述图像高度视场角和图像宽度视场角构成的范围内。
在这里，所述图像高度视场角和图像宽度视场角构成的范围FOV表示相机的视野范围。因为激光雷达是360°旋转，所以一定会存在一些点与相机共视，如果在共视范围，即在相机视野范围，则保留，如果不在共视范围，即相机视野范围外，则丢弃。可选地，作为本发明的一个优选示例，步骤S304还包括：
在步骤S3041中，根据雷达坐标系下每一个点转换后的所述相机坐标计算该点的第一正弦值和第二正弦值。
在这里，所述第一正弦值为
Figure BDA0003782761610000103
所述第二正弦值为
Figure BDA0003782761610000111
在步骤S3042中，判断所述第一正弦值是否小于正的图像高度视场角、大于负的图像高度视场角，且所述第二正弦值是否小于正的图像宽度视场角、大于负的图像宽度视场角。
所述图像高度视场角和图像宽度视场角构成的范围是指大于负的图像高度视场角且小于正的图像高度市场角、大于负的图像宽度视场角且小于正的图像宽度视场角。
判断所述第一正弦值Fx是否小于正的图像高度视场角FOVH、大于负的图像高度视场角-FOVH，且所述第二正弦值Fy是否小于正的图像宽度视场角FOVw、大于负的图像宽度视场角-FOVw。
在步骤S305中，若是，则从所述图像帧中获取该点对应的颜色值，并将所述颜色值赋值给所述激光点云帧对应的点云。
在这里，若所述第一正弦值Fx小于正的图像高度视场角FOVH、大于负的图像高度视场角-FOVH，且所述第二正弦值Fy小于正的图像宽度视场角FOVw、大于负的图像宽度视场角-FOVw，则认为所述相机坐标落在所述图像高度视场角和图像宽度视场角构成的范围内，根据所述相机坐标从所述图像帧中获取对应的像素颜色值，并将所述颜色值赋值给所述激光点云帧对应的点云。可选地，所述颜色值优选为RGB颜色，此时该点云可以反应真实世界的色彩。
若所述第一正弦值Fx小于负的图像高度视场角-FOVH或者所述第一正弦值大于正的图像高度视场角FOVH或者所述第二正弦值Fy小于负的图像宽度视场角-FOVw或者所述第二正弦值Fy大于正的图像宽度视场角FOVw，即Fx<-FOVH或者Fx>FOVH或者Fy<-FOVw或者Fy>FOVw，则认为相机坐标未落在所述图像高度视场角和图像宽度视场角构成的范围内，则抛弃该相机坐标。
遍历所有的相机坐标，将图像帧的像素对应的颜色映射到点云上，完成对激光点云帧的上色。
在步骤S104中，获取所述激光点云帧的位姿信息，根据所述位姿信息对所述激光点云帧进行拼接，得到彩色点云地图。
在这里，本发明实施例根据位姿信息对上色后的激光点云帧进行建图。可选地，本发明实施例根据惯性测量单元IMU提供的测量值旋转四元素以及轮式里程计提供的测量值位移来计算激光点云帧的位姿信息。具体地，假设当前时刻第i个激光点云帧的IMU的测量值为Ai，轮式里程计的测量值为Bi，上一时刻第i-1个激光点云帧的IMU的测量值为Ai-1，轮式里程计的测量值为Bi-1，则通过如下公式得到当前时刻第i个激光点云帧的位姿信息：
△B＝Bi-Bi-1
A＝A1 -1Ai
Figure BDA0003782761610000121
其中，Podom为当前时刻第i个激光点云帧的位姿信息。把所有的激光点云帧利用位姿信息拼接起来的，从而得到一张带真实世界色彩的点云地图，即彩色点云地图。
在步骤S105中，根据所述彩色点云地图提取地面点信息。
由于通过步骤S104建立的彩色点云地图可反映真实世界颜色，因此车道线的颜色也呈现在所述彩色点云地图上。本发明实施例首先从彩色点云地图上提取地面点信息，以缩减数据处理量，提高车道线提取的速度，实现实时车道线提取。可选地，步骤S105还包括：
在步骤S501中，从所述彩色点云地图上获取由同一根激光线束扫描出来的点云。
在步骤S502中，将由同一根激光线束扫描出来的点云对应的测量距离，按时间顺序进行排列。
在步骤S503中，遍历所述激光雷达发射出来的每一根激光线束，得到一个M*N的方位矩阵，其中M表示激光雷达的线束个数，N表示点云个数。
在这里，对于16线激光雷达，所述M＝16，点云个数N可根据具体情况设置，此处不做限制。示例性地，本发明实施例对激光雷达的每根线束扫描出来的点云进行排列，得到16*2000的方位矩阵，其中方位矩阵中的每个元素为激光线束扫描得到的测量距离，同一行上的所有元素为由同一根激光线束扫描出来的点云对应的测量距离。
在步骤S504中，根据方位矩阵中同一列上的两个点云的测量距离计算所述两个点云之间的第一夹角。
所述第一夹角为到后一点云的激光线束与两个点云连线之间的夹角，表示预设的障碍物的倾斜角度。为了便于理解，图2为本发明实施例提供的第一夹角示意图，其中
Figure BDA0003782761610000131
表示第一夹角，C1和C2表示同一列上的两个点云。本发明实施例根据方位矩阵中，在同一列上的两个点云的测量距离计算所述第一夹角。
在步骤S505中，根据所述第一夹角获取地面点，构建地面点信息。
在这里，本发明实施例预先给定角度阈值，根据所述第一夹角与角度阈值之间的比较结果来获取地面点。可选地，所述步骤S505还包括：
在步骤S5051中，将所述第一夹角与预设角度阈值进行比较。
所述预设角度阈值可经过实验设备测试获取，具体影响因素与激光安装角度相关。可选地，所述预设角度阈值优选为5度。将所述第一角度与5度比较。
在步骤S5052中，当所述第一夹角小于所述预设角度阈值时，则认为所述两个点云为地面点，否则，所述两个点云不为地面点。
在这里，若所述第一夹角小于5度，则认为两个点云是地面点，否则，两个点云不是地面点。遍历同一列上的两个点云，得到地面点信息。
在步骤S106中，根据所述地面点信息和颜色阈值提取车道线。
在得到地面点信息后，本发明实施例基于地面点信息和颜色阈值提取车道线，所述步骤S106还包括：
在步骤S601中，获取所述地面点的颜色值，将所述地面点的颜色值与预设颜色范围进行比较。
在这里，本发明实施例预先根据车道线的常规颜色设置颜色范围。然后将通过步骤S105提取到的地面点信息中每一个地面点的颜色值，与所述预设颜色范围进行比较。
在步骤S602中，若所述地面点的颜色值落在所述预设颜色范围内，则所述地面点为车道线，否则不为车道线。
在步骤S603中，遍历每一个地面点，获取落在所述预设颜色范围内的所有地面点，得到车道线。
如果地面点的颜色值落在给定的所述预设颜色范围内，则是车道线，否则不是车道线。遍历所有地面点，从中提取车道线。
综上所述，本发明实施例采用低线束激光雷达，通过获取相机采集的图像数据和激光雷达采集的激光点云数据；对所述图像数据和激光点云数据进行时间同步；对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上；获取所述激光点云帧的位姿信息，根据所述位姿信息对所述激光点云帧进行拼接，得到彩色点云地图；根据所述彩色点云地图提取地面点信息；根据所述地面点信息和颜色阈值提取车道线；从而实现了低成本的车道线提取，无需依赖深度学习模型，计算量小，可实现实时的车道线提取。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，本发明还提供一种基于激光雷达的车道线提取装置，该基于激光雷达的车道线提取装置与上述实施例中基于激光雷达的车道线提取方法一一对应。如图3所示，该基于激光雷达的车道线提取装置包括获取模块31、同步模块32、映射模块33、拼接模块34、地面提取模块35、车道线提取模块36。各功能模块详细说明如下：
获取模块31，用于获取相机采集的图像数据和激光雷达采集的激光点云数据；
同步模块32，用于对所述图像数据和激光点云数据进行时间同步；
映射模块33，用于对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上；
拼接模块34，用于获取所述激光点云帧的位姿信息，根据所述位姿信息对所述激光点云帧进行拼接，得到彩色点云地图；
地面提取模块35，用于根据所述彩色点云地图提取地面点信息；
车道线提取模块36，用于根据所述地面点信息和颜色阈值提取车道线。
可选地，所述同步模块32包括：
第一获取单元，用于对于激光点云数据中的第i个激光点云帧，获取所述第i个激光点云帧的采集时间；
第二获取单元，用于从所述图像数据中获取与所述采集时间最近的前后两个图像帧及其采集时间，分别记为第k个图像帧和第k+1个图像帧；
第一同步单元，用于若所述第k+1个图像帧的采集时间与所述第i个激光点云帧的采集时间之差大于所述第i个激光点云帧的采集时间与所述第k个图像帧的采集时间之差，则将所述第i个激光点云帧与所述第k个图像帧进行同步；
第二同步单元，用于若所述第k+1个图像帧的采集时间与所述第i个激光点云帧的采集时间之差小于所述第i个激光点云帧的采集时间与所述第k个图像帧的采集时间之差，则将所述第i个激光点云帧与所述第k+1个图像帧进行同步。
可选地，所述映射模块33包括：
第一计算单元，用于根据图像帧的宽度和相机的第一内参系数，计算图像高度视场角；
第二计算单元，用于根据图像帧的高度和相机的第二内参系数，计算图像宽度视场角；
转换单元，用于将雷达坐标系下每一个点的雷达坐标转换为相机坐标系下的相机坐标；
判断单元，用于判断所述相机坐标是否落在所述图像高度视场角和图像宽度视场角构成的范围内；
映射单元，用于若是，则从所述图像帧中获取该点对应的颜色值，并将所述颜色值赋值给所述激光点云帧对应的点云。
可选地，所述判断单元具体用于：
根据雷达坐标系下每一个点转换后的所述相机坐标计算该点的第一正弦值和第二正弦值；
判断所述第一正弦值是否小于正的图像高度视场角、大于负的图像高度视场角，且所述第二正弦值是否小于正的图像宽度视场角、大于负的图像宽度视场角。
可选地，所述地面提取模块35包括：
点云获取单元，用于从所述彩色点云地图上获取由同一根激光线束扫描出来的点云；
排列单元，用于将由同一根激光线束扫描出来的点云对应的测量距离，按时间顺序进行排列；
矩阵获取单元，用于遍历所述激光雷达发射出来的每一根激光线束，得到一个M*N的方位矩阵，其中M表示激光雷达的线束个数，N表示点云个数；
夹角计算单元，用于根据方位矩阵中同一列上的两个点云的测量距离计算所述两个点云之间的第一夹角，所述第一夹角表示到后一点云的激光线束与两个点云连线之间的夹角；
构建单元，用于根据所述第一夹角获取地面点，构建地面点信息。
可选地，所述构建单元具体用于：
将所述第一夹角与预设角度阈值进行比较；
当所述第一夹角小于所述预设角度阈值时，则认为所述两个点云为地面点，否则，所述两个点云不为地面点。
可选地，所述车道线提取模块36具体用于：
获取所述地面点的颜色值，将所述地面点的颜色值与预设颜色范围进行比较；
若所述地面点的颜色值落在所述预设颜色范围内，则所述地面点为车道线，否则不为车道线；
遍历每一个地面点，获取落在所述预设颜色范围内的所有地面点，得到车道线。
关于基于激光雷达的车道线提取装置的具体限定可以参见上文中对于基于激光雷达的车道线提取方法的限定，在此不再赘述。上述基于激光雷达的车道线提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于激光雷达的车道线提取方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取相机采集的图像数据和激光雷达采集的激光点云数据；
对所述图像数据和激光点云数据进行时间同步；
对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上；
获取所述激光点云帧的位姿信息，根据所述位姿信息对所述激光点云帧进行拼接，得到彩色点云地图；
根据所述彩色点云地图提取地面点信息；
根据所述地面点信息和颜色阈值提取车道线。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于激光雷达的车道线提取方法，其特征在于，所述方法包括：
获取相机采集的图像数据和激光雷达采集的激光点云数据；
对所述图像数据和激光点云数据进行时间同步；
对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上；
获取所述激光点云帧的位姿信息，根据所述位姿信息对所述激光点云帧进行拼接，得到彩色点云地图；
根据所述彩色点云地图提取地面点信息；
根据所述地面点信息和颜色阈值提取车道线。
2.如权利要求1所述的基于激光雷达的车道线提取方法，其特征在于，所述对所述图像数据和激光点云数据进行时间同步包括：
对于激光点云数据中的第i个激光点云帧，获取所述第i个激光点云帧的采集时间；
从所述图像数据中获取与所述采集时间最近的前后两个图像帧及其采集时间，分别记为第k个图像帧和第k+1个图像帧；
若所述第k+1个图像帧的采集时间与所述第i个激光点云帧的采集时间之差大于所述第i个激光点云帧的采集时间与所述第k个图像帧的采集时间之差，则将所述第i个激光点云帧与所述第k个图像帧进行同步；
若所述第k+1个图像帧的采集时间与所述第i个激光点云帧的采集时间之差小于所述第i个激光点云帧的采集时间与所述第k个图像帧的采集时间之差，则将所述第i个激光点云帧与所述第k+1个图像帧进行同步。
3.如权利要求1所述的基于激光雷达的车道线提取方法，其特征在于，所述对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上包括：
根据图像帧的宽度和相机的第一内参系数，计算图像高度视场角；
根据图像帧的高度和相机的第二内参系数，计算图像宽度视场角；
将雷达坐标系下每一个点的雷达坐标转换为相机坐标系下的相机坐标；
判断所述相机坐标是否落在所述图像高度视场角和图像宽度视场角构成的范围内；
若是，则从所述图像帧中获取该点对应的颜色值，并将所述颜色值赋值给所述激光点云帧对应的点云。
4.如权利要求3所述的基于雷达的车道线提取方法，其特征在于，所述判断所述相机坐标是否落在所述图像高度视场角和图像宽度视场角构成的范围内包括：
根据雷达坐标系下每一个点转换后的所述相机坐标计算该点的第一正弦值和第二正弦值；
判断所述第一正弦值是否小于正的图像高度视场角、大于负的图像高度视场角，且所述第二正弦值是否小于正的图像宽度视场角、大于负的图像宽度视场角。
5.如权利要求1所述的基于激光雷达的车道线提取方法，其特征在于，所述根据所述彩色点云地图提取地面点信息包括：
从所述彩色点云地图上获取由同一根激光线束扫描出来的点云；
将由同一根激光线束扫描出来的点云对应的测量距离，按时间顺序进行排列；
遍历所述激光雷达发射出来的每一根激光线束，得到一个M*N的方位矩阵，其中M表示激光雷达的线束个数，N表示点云个数；
根据方位矩阵中同一列上的两个点云的测量距离计算所述两个点云之间的第一夹角，所述第一夹角表示到后一点云的激光线束与两个点云连线之间的夹角；
根据所述第一夹角获取地面点，构建地面点信息。
6.如权利要求5所述的基于激光雷达的车道线提取方法，其特征在于，所述根据所述第一夹角获取地面点，构建地面点信息包括：
将所述第一夹角与预设角度阈值进行比较；
当所述第一夹角小于所述预设角度阈值时，则认为所述两个点云为地面点，否则，所述两个点云不为地面点。
7.如权利要求1所述的基于激光雷达的车道线提取方法，其特征在于，所述根据所述地面点信息和颜色阈值提取车道线包括：
获取所述地面点的颜色值，将所述地面点的颜色值与预设颜色范围进行比较；
若所述地面点的颜色值落在所述预设颜色范围内，则所述地面点为车道线，否则不为车道线；
遍历每一个地面点，获取落在所述预设颜色范围内的所有地面点，得到车道线。
8.一种基于激光雷达的车道线提取装置，其特征在于，所述装置包括：
获取模块，用于获取相机采集的图像数据和激光雷达采集的激光点云数据；
同步模块，用于对所述图像数据和激光点云数据进行时间同步；
映射模块，用于对于时间同步后的图像帧和激光点云帧，将图像帧上的像素颜色映射到激光点云帧的对应点云上；
拼接模块，用于获取所述激光点云帧的位姿信息，根据所述位姿信息对所述激光点云帧进行拼接，得到彩色点云地图；
地面提取模块，用于根据所述彩色点云地图提取地面点信息；
车道线提取模块，用于根据所述地面点信息和颜色阈值提取车道线。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于激光雷达的车道线提取方法。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于激光雷达的车道线提取方法。
CN202210935773.3A 2022-08-04 2022-08-04 基于激光雷达的车道线提取方法、装置、介质及设备 Pending CN115372987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210935773.3A CN115372987A (zh) 2022-08-04 2022-08-04 基于激光雷达的车道线提取方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210935773.3A CN115372987A (zh) 2022-08-04 2022-08-04 基于激光雷达的车道线提取方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN115372987A true CN115372987A (zh) 2022-11-22

Family

ID=84063433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210935773.3A Pending CN115372987A (zh) 2022-08-04 2022-08-04 基于激光雷达的车道线提取方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN115372987A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661394A (zh) * 2022-12-26 2023-01-31 安徽蔚来智驾科技有限公司 车道线地图的构建方法、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661394A (zh) * 2022-12-26 2023-01-31 安徽蔚来智驾科技有限公司 车道线地图的构建方法、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN111583663B (zh) 基于稀疏点云的单目感知修正方法、装置及存储介质
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN111353969B (zh) 道路可行驶区域的确定方法、装置及计算机设备
CN111207762B (zh) 地图生成方法、装置、计算机设备和存储介质
CN110827361B (zh) 基于全局标定架的相机组标定方法及装置
CN115797454B (zh) 一种鸟瞰图视角下多摄像机融合感知方法及装置
CN111815707A (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN110634138A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN113793270A (zh) 一种基于无人机姿态信息的航拍图像几何校正方法
CN109118533B (zh) 深度信息处理方法、装置和设备
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN113763569A (zh) 一种在三维仿真中使用的图像标注方法及装置、电子设备
CN113947638A (zh) 鱼眼相机影像正射纠正方法
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
CN115372987A (zh) 基于激光雷达的车道线提取方法、装置、介质及设备
CN107958489B (zh) 一种曲面重建方法及装置
CN111915681B (zh) 多组3d相机群的外参标定方法、装置、存储介质及设备
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN117190875A (zh) 一种基于计算机智能视觉的桥塔位移测量装置及方法
CN114092771A (zh) 多传感数据融合方法、目标检测方法、装置和计算机设备
CN115239822A (zh) 分体式飞行车辆多模块间实时视觉识别定位方法及系统
CN116704112A (zh) 一种用于对象重建的3d扫描系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination