CN114037968A - 基于深度雷达点云和图像数据融合的车道线检测方法 - Google Patents

基于深度雷达点云和图像数据融合的车道线检测方法 Download PDF

Info

Publication number
CN114037968A
CN114037968A CN202111307160.7A CN202111307160A CN114037968A CN 114037968 A CN114037968 A CN 114037968A CN 202111307160 A CN202111307160 A CN 202111307160A CN 114037968 A CN114037968 A CN 114037968A
Authority
CN
China
Prior art keywords
point cloud
data
lane line
image
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111307160.7A
Other languages
English (en)
Inventor
张昌杰
娄玉强
刘凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingzhou Zhida Electric Vehicle Co ltd
Original Assignee
Jingzhou Zhida Electric Vehicle Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingzhou Zhida Electric Vehicle Co ltd filed Critical Jingzhou Zhida Electric Vehicle Co ltd
Priority to CN202111307160.7A priority Critical patent/CN114037968A/zh
Publication of CN114037968A publication Critical patent/CN114037968A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Abstract

一种基于深度雷达点云和图像数据融合的车道线检测方法，采集的RGB图像、点云数据，利用Hourglass网络对RGB图像以及点云数据提取融合特征，利用残差模块进行融合特征整合，利用融合特征进行车道线检测，实现雷达点云和图像融合的车道线检测。该方法结合两种数据的优势，在特征层对两种数据进行多视角下的融合，利用不同传感器之间的差异数据进行互补，增加了车道线识别的鲁棒性和准确率。

Description

基于深度雷达点云和图像数据融合的车道线检测方法
技术领域
本发明涉及自动驾驶感知技术领域,特别涉及基于深度雷达点云和图像数据融合的车道线检测方法。
背景技术
传统的方法主要基于图像的方法来进行车道线检测，分为传统方法与深度学习方法。传统的车道线检测算法依靠图像领域知识，对图像提取特征，然后利用启发式算法识别车道线。基于深度学习的车道线识别算法，将车道线检测任务转换为图像分割任务，利用深度学习网络代替人工设计的图像特征检测器来预测图像中的车道线点。激光雷达传感器通过发送接收激光脉冲，形成雷达点云图像，相较于图像，雷达点云数据更为稳定不易受外界影响，并且视野范围更广，早期的基于雷达点云的车道线检测方法是通过设置点云反射率阈值来分离点云中车道线点和非车道线点。
基于图像的车道线检测算法正常运行依赖良好的光照条件，并且面对复杂的道路环境如车辆遮挡车道线缺失等情况，算法模型准确率降低明显，很难满足无人驾驶任务需求；基于雷达点云的车道线检测算法，由于雷达点云的不连续性，很容易导致误检和漏检，同时不同型号上采集的点云数据训练得到的模型很难匹配到其他雷达上。
发明内容
针对现有技术存在的不足，本发明的目的是提供一种基于深度雷达点云和图像数据融合的车道线检测方法。
本发明是通过如下技术方案实现的：一种基于深度雷达点云和图像数据融合的车道线检测方法,适合在计算设备中执行，其技术要点是，包括以下步骤:
获取经过标定的不同传感器采集的RGB图像、点云数据及车辆坐标与位姿信息；
将不同传感器采集到的RGB图像数据、点云数据及车辆坐标与位姿信息映射到同一坐标系后,对不同采样频率的传感器数据进行同步,获得对齐后的雷达点云数据、图像及坐标位姿数据；
对RGB图像进行高斯滤波，对点云数据进行点云噪点处理以及点云地面拟合，得到上采样后的点云数据；
分别利用Hourglass网络对RGB图像以及点云数据提取融合特征；利用残差模块进行融合特征整合，利用融合特征进行车道线检测，实现雷达点云和图像融合的车道线检测。
上述方案中，所述的传感器包含用于采集点云数据的激光雷达、用于获取三通道RGB图像的摄像头和用于获取车辆坐标与位姿信息的惯导。
上述方案中，所述的分别利用Hourglass网络对RGB图像以及点云数据提取融合特征，具体为：分别将三通道点云上采样的前视图投影、三通道RGB图像送入Hourglass网络训练，将二者融合之后的图像特征再次送入Hourglass网络进行训练，提取经过训练融合后的特征图。
本发明的有益效果是：该基于深度雷达点云和图像数据融合的车道线检测方法，采集的RGB图像、点云数据，利用Hourglass网络对RGB图像以及点云数据提取融合特征，利用残差模块进行融合特征整合，利用融合特征进行车道线检测，实现雷达点云和图像融合的车道线检测。该方法结合两种数据的优势，在特征层对两种数据进行多视角下的融合，利用不同传感器之间的差异数据进行互补，增加了车道线识别的鲁棒性和准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可根据这些附图获得其他的附图。
图1为本发明实施例中基于深度雷达点云和图像数据融合的车道线检测方法流程图；
图2为本发明实施例中传感器采集与标定流程图。
图3为本发明实施例中一种基于时间戳的数据同步方法流程图
图4为本发明实施例中车道线检测阶段具体流程图。
具体实施方式
使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图1～图4和具体实施方式对本发明作进一步详细的说明。
本实施例采用的基于深度雷达点云和图像数据融合的车道线检测方法，包括以下步骤：
步骤1，多传感器数据采集与标定。本实施例中使用的传感器包含激光雷达、摄像头和惯导。其中，利用激光雷达采集点云数据，利用摄像头采集图像数据，利用惯导采集车辆的坐标与位姿信息。
首先，由于各传感器初始位置不同，需要对各传感器进行标定，将各传感器采集到的数据映射到统一坐标系下。
(1)摄像头—雷达标定
摄像头内参标定。采用基于模板匹配检测棋盘格角点，计算相机成像中角点之间的位置关系和真实世界下角点之间的位置关系，得到相机内参的四个参数，分别为：图像在x方向上每个像素的物理尺寸dx,在y方向上每个像素的物理尺寸dy,即一个像素代表的实际物理值的大小；图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数u0；图像的中心像素坐标和图像原点像素坐标之间相差的纵向像素数v0。
摄像头外参标定。选用棋盘格的40个角点作为特征点，分别在图像和雷达上求出其坐标，然后利用迭代最近点方法计算外参的旋转平移参数，得到摄像头外参的六个参数，分别为：翻滚角roll、俯仰角pitch、航向角yaw，分别对应了物体绕坐标系x轴旋转、y轴旋转和z轴旋转所对应的值转角值；x、y、z分别表示物体沿三个坐标轴平移的距离。
(2)雷达—惯导标定
惯导采集到的数据为惯导位姿，通过设置目标杆臂输出点参数，将该点映射到激光雷达中心的正下方进行计算，使用手眼标定方法计算惯导坐标系到雷达坐标系的转移矩阵。将惯导的数据从全球导航卫星系统(GNSS)坐标系转换为地心坐标系(ECEF),采用LOAM算法计算激光雷达的位姿。
完成传感器标定后，需要进一步进行数据同步，本实施例采用一种基于时间戳的数据同步方法，对不同采样频率的传感器数据进行同步，方法流程图如图2。
系统收到相机数据和惯导数据的时候，会将它们存在对应的缓存中；算法选定采样频率的激光雷达传感器数据作为参考点进行同步软件触发，当系统收到雷达点云数据的时候，会触发同步程序，同步程序的作用是从相机数据缓存和惯导数据缓存中，寻找时间戳与当前时间戳的数据帧，并将搜寻到的图像数据、惯导数据和接收到的雷达数据组成一帧数据存储起来，同时清理已有的数据缓存，防止缓存数据过多导致系统出现异常。
步骤2，数据预处理。
(1)图像数据预处理。
首先对采集到的图像数据进行高斯滤波，去除噪声干扰，提高图像的清晰度；然后通过将图像进行RGB转换到HSL空间再转换为RGB空间的方法，调整图像的亮度和饱和度，得到质量更高的图像。
(2)雷达点云数据预处理。
首先采用基于半径滤波算法对点云数据噪点进行过滤，从原始数据中剔除被判断为噪点的点，得到过滤噪点后的点云数据。然后采用最小二乘拟合算法对平面点进行拟合，提取平面点云，从而得到进行车道线识别所需要的地面上的点云数据，减少了实际进行车道线检测的点云数据量。最后将雷达点云三维空间数据投影到图像平面，得到配准后的点云图像数据y,公式如下，其中Prect为相机的矫正矩阵，Rrect为相机的内参矩阵，R和T分别为雷达坐标系到相机坐标系的旋转矩阵和位移向量。
Figure BDA0003340222520000041
式中，rect表示矩阵，lidar表示雷达，cam表示相机。
步骤3，数据融合与检测。
(1)特征提取与融合。点云数据相较于图像更为稀疏，因此在融合前使用点云上采样算法稠密化点云数据，得到上采样点云数据，取其3通道前视图投影作为点云输入。对于点云和图像两种类型输入数据，使用两个堆叠的Hourglass模块进行特征提取。两个分支提取到的特征图在通道上进行叠加形成新的融合了点云和图像的特征图，如图所示，网络输入数据点云前视图投影和图像大小皆为512*256，两个主干网络对两种传感器数据分进行特征提取得到大小为128*64*32的特征图，特征图在通道上进行叠加得到大小为256*64*32的融合特征图。融合后的特征图利用两个残差模块进行更深层次的融合特征整合，然后将网络输出大小调整为输出分支的大小。
(2)车道线检测。特征图被同时送入输出分支，具体包含栅格预测分支、偏移预测分支和聚类分支以预测场景中的车道线点并对它们进行聚类以区分不同车道线。随后经过后处理模块，预测的车道线点被拟合生成车道线，算法将车道线参数进行缓存形成记忆，利用卡尔曼滤波算法对车道线参数进行修正，生成最终的车道线检测结果，从而实现雷达点云和图像融合的车道线检测，如图4所示。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (3)

1.一种基于深度雷达点云和图像数据融合的车道线检测方法, 适合在计算设备中执行，其特征在于，包括以下步骤:
获取经过标定的不同传感器采集的RGB图像、点云数据及车辆坐标与位姿信息;
将不同传感器采集到的RGB图像数据、点云数据及车辆坐标与位姿信息映射到同一坐标系后, 对不同采样频率的传感器数据进行同步,获得对齐后的雷达点云数据、图像及坐标位姿数据；
对RGB图像进行高斯滤波，对点云数据进行点云噪点处理以及点云地面拟合，得到上采样后的点云数据；
分别利用Hourglass网络对RGB图像以及点云数据提取融合特征；利用残差模块进行融合特征整合，利用融合特征进行车道线检测，实现雷达点云和图像融合的车道线检测。
2.如权利要求1所述的基于深度雷达点云和图像数据融合的车道线检测方法,其特征在于，所述的传感器包含用于采集点云数据的激光雷达、用于获取三通道RGB图像的摄像头和用于获取车辆坐标与位姿信息的惯导。
3.如权利要求1所述的基于深度雷达点云和图像数据融合的车道线检测方法,其特征在于，所述的分别利用Hourglass网络对RGB图像以及点云数据提取融合特征，具体为：分别将三通道点云上采样的前视图投影、三通道RGB图像送入Hourglass网络训练，将二者融合之后的图像特征再次送入Hourglass网络进行训练，提取经过训练融合后的特征图。
CN202111307160.7A 2021-11-05 2021-11-05 基于深度雷达点云和图像数据融合的车道线检测方法 Pending CN114037968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111307160.7A CN114037968A (zh) 2021-11-05 2021-11-05 基于深度雷达点云和图像数据融合的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111307160.7A CN114037968A (zh) 2021-11-05 2021-11-05 基于深度雷达点云和图像数据融合的车道线检测方法

Publications (1)

Publication Number Publication Date
CN114037968A true CN114037968A (zh) 2022-02-11

Family

ID=80143015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111307160.7A Pending CN114037968A (zh) 2021-11-05 2021-11-05 基于深度雷达点云和图像数据融合的车道线检测方法

Country Status (1)

Country Link
CN (1) CN114037968A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863380A (zh) * 2022-07-05 2022-08-05 高德软件有限公司 车道线识别方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863380A (zh) * 2022-07-05 2022-08-05 高德软件有限公司 车道线识别方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN110879401B (zh) 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
CN111951305B (zh) 一种基于视觉和激光雷达的目标检测和运动状态估计方法
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
CN110926474B (zh) 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
CN112149550B (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
JP2020525809A (ja) 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法
CN111830953B (zh) 车辆自定位方法、装置及系统
CN111260773B (zh) 小障碍物的三维重建方法、检测方法及检测系统
AU2013343222A1 (en) Cloud feature detection
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN111260715B (zh) 深度图的处理方法、小障碍物检测方法及系统
CN111060924A (zh) 一种slam与目标跟踪方法
CN112487912B (zh) 基于改进YOLOv3的任意方向舰船检测方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN112562093A (zh) 目标检测方法、电子介质和计算机存储介质
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
CN114485654A (zh) 一种基于高精地图的多传感器融合定位方法及装置
CN114544006B (zh) 一种基于环境光照条件的低空遥感影像校正系统及方法
CN117111085A (zh) 一种自动驾驶汽车车路云融合感知方法
CN114037968A (zh) 基于深度雷达点云和图像数据融合的车道线检测方法
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
WO2020113425A1 (en) Systems and methods for constructing high-definition map
CN115131360A (zh) 一种基于3d点云语义分割的道路坑洞检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination