CN117423089A - 基于图像分割与雷达点云的可行驶区域拟合方法及设备 - Google Patents

基于图像分割与雷达点云的可行驶区域拟合方法及设备 Download PDF

Info

Publication number
CN117423089A
CN117423089A CN202311351077.9A CN202311351077A CN117423089A CN 117423089 A CN117423089 A CN 117423089A CN 202311351077 A CN202311351077 A CN 202311351077A CN 117423089 A CN117423089 A CN 117423089A
Authority
CN
China
Prior art keywords
fitting
point cloud
cloud data
plane
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311351077.9A
Other languages
English (en)
Inventor
何弢
万思宇
廖文龙
彭湃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kuyi Robot Co ltd
Kuwa Technology Co ltd
Original Assignee
Shanghai Kuyi Robot Co ltd
Kuwa Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kuyi Robot Co ltd, Kuwa Technology Co ltd filed Critical Shanghai Kuyi Robot Co ltd
Priority to CN202311351077.9A priority Critical patent/CN117423089A/zh
Publication of CN117423089A publication Critical patent/CN117423089A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于图像分割与雷达点云的可行驶区域拟合方法及设备，包括：采集周围环境图像和雷达点云数据；对周围环境图像进行特征提取，对可行驶区域和路牙进行分割，得到图像分割结果；基于图像分割结果，对雷达点云数据进行分类；对可行驶区域点云数据进行处理，去除路牙噪点，通过拟合算法得到拟合平面，对拟合平面进行密集采样得到密集点云数据，将密集点云数据再次映射到周围环境图像上，并根据图像分割结果得到鸟瞰图下的可行驶区域图；对路牙点数据进行处理，去除平面噪点，通过拟合算法得到拟合曲线，并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。本发明基于图像分割与雷达点云来进行可行驶区域和路牙拟合，精度高，处理速度快。

Description

基于图像分割与雷达点云的可行驶区域拟合方法及设备
技术领域
本发明属于自动驾驶技术领域，具体涉及一种基于图像分割与雷达点云的可行驶区域拟合方法及设备。
背景技术
现有无人驾驶技术分为环境感知，规划决策与车辆控制三大部分，其中可行驶区域检测作为环境感知的一部分，通过从传感器数据中提取自车周围道路信息，划分车辆可通行区域与不可通行区域，从而让规划决策在设计路线时避开不可通行区域，为自动驾驶提供路径规划辅助。同时，路牙作为不可通行的硬隔离，在路径规划时有较高的避让的优先级，高精度的路牙信息对于车辆贴边行驶等有较大的帮助。
CN112578405B公开一种基于激光雷达点云数据去除地面的方法及系统，该方法首先将激光雷达点云通过雷达外参转换到车辆坐标系，之后通过对车辆周围空间划分网格将激光雷达点云分到各个网格中。对于每个网格中的点，通过相机的内外参数转换到相机图像中，进而通过相机图像的分割结果来找处网格中地面点，在每个网格中，通过找到的地面点拟合地面平面，去除距离拟合平面一定距离内的点。
但是，上述方案中由于图像分割算法对于边缘的检测精度不高，图像分割得到的地面结果很容易存在偏差，引入路牙点或其他噪点，从而导致拟合平面不准确，该算法在拟合平面时，未去除干扰噪点，影响了结果的精度。同时，拟合平面时，只使用了当前时刻的点云，远处点云密度较稀疏，得到的拟合结果不够精确。并且只考虑了拟合单一平面，当地面平面之间存在高度差(存在路牙)时，拟合平面存在问题。
CN110942024A公开一种基于深度学习的无人车路牙检测方法，该方法首先通过对图像进行分割找到图像中的路牙区域，针对识别的路牙区域，通过Canny算子提取路牙边缘，然后通过霍夫变换识别直线并精准定位路牙在图像中的位置，最后根据图像中路牙在相机坐标系Y轴方向上的坐标，通过校准的相机内参参数，换算出路牙在X和Z方向上的坐标，换算出路牙在X和Z方向上的坐标。
但是，上述方案由于图像分割算法对于边缘处的检测精度不高，图像分割得到的路牙结果很容易存在偏差，引入地面噪点，从而导致拟合路牙不准确。
发明内容
为了解决上述技术问题，本发明提出了一种基于图像分割与雷达点云的可行驶区域拟合方法及设备。
为了达到上述目的，本发明的技术方案如下：
一方面，本发明公开一种基于图像分割与雷达点云的可行驶区域拟合方法，包括：
步骤S1：采用设置在车辆上的相机和激光雷达分别采集周围环境图像和雷达点云数据；
步骤S2：对周围环境图像进行特征提取，对可行驶区域和路牙进行分割，得到图像分割结果；
步骤S3：基于图像分割结果，对雷达点云数据进行分类，具体分为：可行驶区域点云数据和路牙点云数据；
步骤S4：对可行驶区域点云数据进行处理，去除路牙噪点，通过拟合算法得到拟合平面，对拟合平面进行密集采样得到密集点云数据，将密集点云数据再次映射到周围环境图像上，并根据图像分割结果得到鸟瞰图下的可行驶区域图；
步骤S5：对路牙点数据进行处理，去除平面噪点，通过拟合算法得到拟合曲线，并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。
在上述技术方案的基础上，还可做如下改进：
作为优选的方案，步骤S3具体包括：
步骤S3.1：对于雷达点云数据，通过雷达外参信息将其转换至车辆坐标系下；
步骤S3.2：通过相机内外参数将上述点云数据转换至对应相机图像上；
步骤S3.3：根据图像分割结果对雷达点云数据分类，分为：可行驶区域点云数据和路牙点云数据。
作为优选的方案，步骤S4具体包括：
步骤S4.1：在车辆坐标系下，根据距车辆坐标系原点的半径和角度划分不同扇区，将所有的可行驶区域点云数据划分至对应扇区；
步骤S4.2：对于每个扇区内的可行驶区域点云数据，使用拟合算法拟合垂直平面，当该垂直平面符合要求，则认为其为路牙平面；
寻找距路牙平面的距离小于距离阈值的点，其点为路牙噪点；
去除路牙噪点；
步骤S4.3：将每个扇区内的去除路牙噪点后的该帧可行驶区域点云数据与若干帧历史点云数据叠加，得到第一叠帧点云数据；
步骤S4.4：对于每个扇区内的第一叠帧点云数据，使用拟合算法一次或多次拟合水平平面，找到若干可行驶区域拟合平面；
步骤S4.5：在车辆坐标系下，构建鸟瞰图网格，每个网格的中心点作为采样点，计算该采样点所在扇区，所在扇区内具有一个或多个可行驶区域拟合平面；
当所在扇区内具有一个可行驶区域拟合平面时，该可行驶区域拟合平面即为扇区拟合平面；
当所在扇区内具有多个可行驶区域拟合平面时，计算该采样点与各可行驶区域拟合平面内点的最小距离，找到最接近的可行驶区域拟合平面，即为扇区拟合平面；
根据每个扇区内扇区拟合平面的平面方程得到采样点高度，从而得到密集点云数据；
步骤S4.6：将密集点云数据再次映射到周围环境图像上，并根据图像分割结果进行修正，得到鸟瞰图下的可行驶区域图。
作为优选的方案，步骤S4.5具体包括：
步骤S4.5.1：对于历史点云数据，通过历史车辆姿态将其从历史车辆坐标系转换至世界坐标系下；
步骤S4.5.2：通过当前车辆姿态将历史点云数据从世界坐标系转换至当前车辆坐标系下；
步骤S4.5.3：在当前车辆坐标系下，将每个扇区内的去除路牙噪点后的该帧可行驶区域点云数据与若干帧历史点云数据叠加，得到第一叠帧点云数据。
作为优选的方案，步骤S5具体包括：
步骤S5.1：对路牙点数据的各点，找到其所在扇区；
步骤S5.2：对于每个扇区内的路牙点数据；
寻找距可行驶区域拟合平面距离小于距离阈值的点，其点为平面噪点；
去除平面噪点；
步骤S5.3：将每个扇区内的去除平面噪点后的该帧路牙点数据与若干帧历史点云数据叠加，得到第二叠帧点云数据；
步骤S5.4：利用聚类算法对第二叠帧点云数据进行处理，将相互之间距离小于阈值的路牙点分为一类；
步骤S5.5：对于聚类后的数据，使用拟合算法拟合曲线；
步骤S5.6：对于拟合曲线，以鸟瞰图网格精度采样并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。
此外，本发明还公开一种基于图像分割与雷达点云的可行驶区域拟合设备，包括：
采集模块，用于采用设置在车辆上的相机和激光雷达分别采集周围环境图像和雷达点云数据；
图像分割模块，用于对周围环境图像进行特征提取，对可行驶区域和路牙进行分割，得到图像分割结果；
点云分类模块，用于基于图像分割结果，对雷达点云数据进行分类，具体分为：可行驶区域点云数据和路牙点云数据；
可行驶区域点云处理模块，用于对可行驶区域点云数据进行处理，去除路牙噪点，通过拟合算法得到拟合平面，对拟合平面进行密集采样得到密集点云数据，将密集点云数据再次映射到周围环境图像上，并根据图像分割结果得到鸟瞰图下的可行驶区域图；
路牙点云处理模块，用于对路牙点数据进行处理，去除平面噪点，通过拟合算法得到拟合曲线，并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。
作为优选的方案，点云分类模块包括：
第一转换单元，用于对于雷达点云数据，通过雷达外参信息将其转换至车辆坐标系下；
第二转换单元，用于通过相机内外参数将上述点云数据转换至对应相机图像上；
点云分类单元，用于根据图像分割结果对雷达点云数据分类，分为：可行驶区域点云数据和路牙点云数据。
作为优选的方案，可行驶区域点云处理模块包括：
第一扇区划分单元，用于在车辆坐标系下，根据距车辆坐标系原点的半径和角度划分不同扇区，将所有的可行驶区域点云数据划分至对应扇区；
路牙噪点去除单元，用于对于每个扇区内的可行驶区域点云数据，使用拟合算法拟合垂直平面，当该垂直平面符合要求，则认为其为路牙平面；
寻找距路牙平面的距离小于距离阈值的点，其点为路牙噪点；
去除路牙噪点；
第一叠加单元，用于将每个扇区内的去除路牙噪点后的该帧可行驶区域点云数据与若干帧历史点云数据叠加，得到第一叠帧点云数据；
平面拟合单元，用于对于每个扇区内的第一叠帧点云数据，使用拟合算法一次或多次拟合水平平面，找到若干可行驶区域拟合平面；
采样单元，用于在车辆坐标系下，构建鸟瞰图网格，每个网格的中心点作为采样点，计算该采样点所在扇区，所在扇区内具有一个或多个可行驶区域拟合平面；
当所在扇区内具有一个可行驶区域拟合平面时，该可行驶区域拟合平面即为扇区拟合平面；
当所在扇区内具有多个可行驶区域拟合平面时，计算该采样点与各可行驶区域拟合平面内点的最小距离，找到最接近的可行驶区域拟合平面，即为扇区拟合平面；
根据每个扇区内扇区拟合平面的平面方程得到采样点高度，从而得到密集点云数据；
可行驶区域鸟瞰图获得单元，用于将密集点云数据再次映射到周围环境图像上，并根据图像分割结果进行修正，得到鸟瞰图下的可行驶区域图。
作为优选的方案，第一叠加单元包括：
第三转换单元，用于对于历史点云数据，通过历史车辆姿态将其从历史车辆坐标系转换至世界坐标系下；
第四转换单元，用于通过当前车辆姿态将历史点云数据从世界坐标系转换至当前车辆坐标系下；
第一叠帧点云数据获得单元，用于在当前车辆坐标系下，将每个扇区内的去除路牙噪点后的该帧可行驶区域点云数据与若干帧历史点云数据叠加，得到第一叠帧点云数据。
作为优选的方案，路牙点云处理模块包括：
第二扇区划分单元，用于对路牙点数据的各点，找到其所在扇区；
平面噪点去除单元，用于对于每个扇区内的路牙点数据；
寻找距可行驶区域拟合平面的距离小于距离阈值的点，其点为平面噪点；
去除平面噪点；
第二叠加单元，用于将每个扇区内的去除平面噪点后的该帧路牙点数据与若干帧历史点云数据叠加，得到第二叠帧点云数据；
聚类单元，用于利用聚类算法对第二叠帧点云数据进行处理，将相互之间距离小于阈值的路牙点分为一类；
曲线拟合单元，用于对于聚类后的数据，使用拟合算法拟合曲线；
路牙鸟瞰图获得单元，用于对于拟合曲线，以鸟瞰图网格精度采样并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。
本发明公开一种基于图像分割与雷达点云的可行驶区域拟合方法及设备，其通过采集周围环境图像和雷达点云数据，结合相机与雷达的内外参数以及车辆姿态信息从而拟合车辆周围一定范围内的可行驶区域信息。
本发明具有以下有益效果：
第一，本发明基于图像分割与雷达点云来进行可行驶区域和路牙拟合，精度高，处理速度快。
相比起单纯的点云分割拟合可行驶区域，本发明通过结合图像分割结果，对于一些稀疏无法判断的点云位置也能有较好的效果。第二，相比传统的直接拟合方法，本发明在拟合前首先去除噪点，拟合结果更精确。
第三，本发明通过与历史点云数据进行叠加，一方面能增加点云密度，得到更好的拟合结果，另一方面能够进行互相补充，增大可见区域。
第四，本发明针对同一扇区内地面可能存在高度差的情况，使用拟合算法一次或多次拟合水平平面，找到若干可行驶区域拟合平面，在采样时寻找最近可行驶区域拟合平面进行拟合，得到更加精确的拟合结果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的可行驶区域拟合方法的流程图。
图2为本发明实施例提供的扇区划分图。
图3为现有技术的拟合路牙图。
具体实施方式
下面结合附图详细说明本发明的优选实施方式。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
另外，“包括”元件的表述是“开放式”表述，该“开放式”表述仅仅是指存在对应的部件或步骤，不应当解释为排除附加的部件或步骤。
为了达到本发明的目的，基于图像分割与雷达点云的可行驶区域拟合方法及设备的其中一些实施例中，如图1所示，可行驶区域拟合方法包括：
步骤S1：采用设置在车辆上的相机和激光雷达分别采集周围环境图像和雷达点云数据；
步骤S2：对周围环境图像进行特征提取，对可行驶区域和路牙进行分割，得到图像分割结果；
步骤S3：基于图像分割结果，对雷达点云数据进行分类，具体分为：可行驶区域点云数据和路牙点云数据；
步骤S4：对可行驶区域点云数据进行处理，去除路牙噪点，通过拟合算法得到拟合平面，对拟合平面进行密集采样得到密集点云数据，将密集点云数据再次映射到周围环境图像上，并根据图像分割结果得到鸟瞰图下的可行驶区域图；
步骤S5：对路牙点数据进行处理，去除平面噪点，通过拟合算法得到拟合曲线，并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。
在本实施例中，可行驶区域指车道/人行道。
下面对每个步骤进行详细阐述。
对于步骤S1，上述周围环境图像和雷达点云数据分别为：环视图像与环视雷达点云数据。
对于步骤S2，可以但不限于利用二维卷积神经网络对周围环境图像进行特征提取，对可行驶区域和路牙进行分割，得到图像分割结果；
对于步骤S3，基于图像分割结果，对雷达点云数据进行分类，具体包括：
步骤S3.1：对于雷达点云数据，通过雷达外参信息将其转换至车辆坐标系下；
步骤S3.2：通过相机内外参数将上述点云数据转换至对应相机图像上；
步骤S3.3：根据图像分割结果对雷达点云数据分类，分为：可行驶区域点云数据和路牙点云数据。
对于步骤S4，具体包括：
步骤S4.1：在车辆坐标系下，根据距车辆坐标系原点的半径和角度划分不同扇区，将所有的可行驶区域点云数据划分至对应扇区，如图2所示；
步骤S4.2：对于每个扇区内的可行驶区域点云数据，使用随机抽样一致性算法拟合垂直平面，当该垂直平面符合要求，则认为其为路牙平面，
其中，要求如下：垂直平面的法向量与z轴垂直、角度误差小于角度阈值、且垂直平面内点(距平面距离小于距离阈值的点称为内点)的高度差最大值大于高度阈值；
寻找距路牙平面的距离小于距离阈值的点，其点为路牙噪点；
去除路牙噪点；
步骤S4.3：将每个扇区内的去除路牙噪点后的该帧可行驶区域点云数据与若干帧历史点云数据叠加，得到第一叠帧点云数据；
步骤S4.4：对于每个扇区内的第一叠帧点云数据，使用随机抽样一致性算法拟合水平平面，若该水平平面符合要求，则认为其为可行驶区域第一平面；
其中，要求如下：水平平面的法向量与z轴平行，角度误差小于角度阈值，且水平平面内点(距平面距离小于距离阈值的点称为内点)的数量大于数量阈值；
若距可行驶区域第一平面的距离大于距离阈值的外点数量大于数量阈值，则继续使用随机抽样一致性算法二次拟合水平平面；
若距上述水平平面的距离小于距离阈值的内点数量大于数量阈值，则认为其为可行驶区域第二平面；
步骤S4.5：在车辆坐标系下，构建鸟瞰图网格，每个网格的中心点作为采样点，计算该采样点所在扇区，所在扇区内具有一个或多个可行驶区域拟合平面，可行驶区域拟合平面为可行驶区域第一平面或可行驶区域第二平面；
当所在扇区内具有一个可行驶区域拟合平面时，该可行驶区域拟合平面即为扇区拟合平面；
当所在扇区内具有多个可行驶区域拟合平面时，计算该采样点与各可行驶区域拟合平面内点的最小距离，找到最接近的可行驶区域拟合平面，即为扇区拟合平面；
根据每个扇区内扇区拟合平面的平面方程得到采样点高度，从而得到密集点云数据；
步骤S4.6：将密集点云数据再次映射到周围环境图像上，并根据图像分割结果进行修正，得到鸟瞰图下的可行驶区域图。
下面对随机抽样一致性算法进行简述，其为：在拟合次数内，每次随机取三个点拟合，计算其他点到拟合结果距离，若距离小于距离阈值则为内点，否则为外点，最后将内点最多的拟合结果作为最终拟合结果。
进一步，步骤S4.5具体包括：
步骤S4.5.1：对于历史点云数据，通过历史车辆姿态将其从历史车辆坐标系转换至世界坐标系下，由于车道/人行道/路牙坐标在世界坐标系下静止；
步骤S4.5.2：通过当前车辆姿态将历史点云数据从世界坐标系转换至当前车辆坐标系下；
步骤S4.5.3：在当前车辆坐标系下，将每个扇区内的去除路牙噪点后的该帧可行驶区域点云数据与若干帧历史点云数据叠加，得到第一叠帧点云数据。
对于步骤S5，具体包括：
步骤S5.1：对路牙点数据的各点，找到其所在扇区；
步骤S5.2：对于每个扇区内的路牙点数据；
寻找距可行驶区域拟合平面距离小于距离阈值的点，其点为平面噪点；
去除平面噪点；
步骤S5.3：将每个扇区内的去除平面噪点后的该帧路牙点数据与若干帧历史点云数据叠加，得到第二叠帧点云数据，其叠加方式与步骤S4.5相似，在此不再赘述；
步骤S5.4：利用快速欧式聚类算法对第二叠帧点云数据进行处理，将相互之间距离小于阈值的路牙点分为一类；
步骤S5.5：对于聚类后的数据，使用随机抽样一致性算法拟合曲线；
步骤S5.6：对于拟合曲线，以鸟瞰图网格精度采样并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。
下面对快速欧式聚类算法进行简单阐述，其为：遍历点云中的点，若当前点尚未分类，则寻找其周围距离小与阈值的邻居点：若邻居点都未分类，则将该点与邻居点标记为同一类；若邻居点中已存在单一类，则将该点与邻居点都标记为该类；若邻居点中存在多类，则将该点与邻居点以及多类中已标记过的点都标为同一类。
相比起单纯的点云分割拟合可行驶区域，本发明通过结合图像分割结果，对于一些稀疏无法判断的点云位置也能有较好的效果。
相比起过去的点云与图像分割算法结合的方法，本发明通过拟合竖直面去除地面点中的路牙噪点，叠帧增加点云密度，拟合多平面来针对路牙上下地面高度差等方法，得到的可行驶区域平面拟合结果更加准确。
在得到拟合平面后，通过在车辆坐标系下构建鸟瞰图网格，对于每个网格点，通过对应的拟合平面方程得到3D坐标，最后将3D坐标映射到图像上得到网格点对应图像分割类别，从而得到鸟瞰图下的可行驶区域图。而在拟合路牙时，首先通过可行驶区域拟合平面过滤路牙点中的平面噪点，之后通过拟合曲线得到路牙曲线并映射到鸟瞰图上得到鸟瞰图下的路牙位置图。
在上述实施例中，拟合算法采用的随机抽样一致性算法，但是本发明的保护范围并不局限于该算法，拟合算法还可以为最小二乘法、PCA算法等。
本发明实施例还公开一种基于图像分割与雷达点云的可行驶区域拟合设备，包括：
采集模块，用于采用设置在车辆上的相机和激光雷达分别采集周围环境图像和雷达点云数据；
图像分割模块，用于对周围环境图像进行特征提取，对可行驶区域和路牙进行分割，得到图像分割结果；
点云分类模块，用于基于图像分割结果，对雷达点云数据进行分类，具体分为：可行驶区域点云数据和路牙点云数据；
可行驶区域点云处理模块，用于对可行驶区域点云数据进行处理，去除路牙噪点，通过拟合算法得到拟合平面，对拟合平面进行密集采样得到密集点云数据，将密集点云数据再次映射到周围环境图像上，并根据图像分割结果得到鸟瞰图下的可行驶区域图；
路牙点云处理模块，用于对路牙点数据进行处理，去除平面噪点，通过拟合算法得到拟合曲线，并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。
点云分类模块包括：
第一转换单元，用于对于雷达点云数据，通过雷达外参信息将其转换至车辆坐标系下；
第二转换单元，用于通过相机内外参数将上述点云数据转换至对应相机图像上；
点云分类单元，用于根据图像分割结果对雷达点云数据分类，分为：可行驶区域点云数据和路牙点云数据。
进一步，可行驶区域点云处理模块包括：
第一扇区划分单元，用于在车辆坐标系下，根据距车辆坐标系原点的半径和角度划分不同扇区，将所有的可行驶区域点云数据划分至对应扇区；
路牙噪点去除单元，用于对于每个扇区内的可行驶区域点云数据，使用拟合算法拟合垂直平面，当该垂直平面符合要求，则认为其为路牙平面；
寻找距路牙平面的距离小于距离阈值的点，其点为路牙噪点；
去除路牙噪点；
第一叠加单元，用于将每个扇区内的去除路牙噪点后的该帧可行驶区域点云数据与若干帧历史点云数据叠加，得到第一叠帧点云数据；
平面拟合单元，用于对于每个扇区内的第一叠帧点云数据，使用拟合算法一次或多次拟合水平平面，找到若干可行驶区域拟合平面；
采样单元，用于在车辆坐标系下，构建鸟瞰图网格，每个网格的中心点作为采样点，计算该采样点所在扇区，所在扇区内具有一个或多个可行驶区域拟合平面；
当所在扇区内具有一个可行驶区域拟合平面时，该可行驶区域拟合平面即为扇区拟合平面；
当所在扇区内具有多个可行驶区域拟合平面时，计算该采样点与各可行驶区域拟合平面内点的最小距离，找到最接近的可行驶区域拟合平面，即为扇区拟合平面；
根据每个扇区内扇区拟合平面的平面方程得到采样点高度，从而得到密集点云数据；
可行驶区域鸟瞰图获得单元，用于将密集点云数据再次映射到周围环境图像上，并根据图像分割结果进行修正，得到鸟瞰图下的可行驶区域图。
进一步，第一叠加单元包括：
第三转换单元，用于对于历史点云数据，通过历史车辆姿态将其从历史车辆坐标系转换至世界坐标系下；
第四转换单元，用于通过当前车辆姿态将历史点云数据从世界坐标系转换至当前车辆坐标系下；
第一叠帧点云数据获得单元，用于在当前车辆坐标系下，将每个扇区内的去除路牙噪点后的该帧可行驶区域点云数据与若干帧历史点云数据叠加，得到第一叠帧点云数据。
进一步，路牙点云处理模块包括：
第二扇区划分单元，用于对路牙点数据的各点，找到其所在扇区；
平面噪点去除单元，用于对于每个扇区内的路牙点数据；
寻找距可行驶区域拟合平面的距离小于距离阈值的点，其点为平面噪点；
去除平面噪点；
第二叠加单元，用于将每个扇区内的去除平面噪点后的该帧路牙点数据与若干帧历史点云数据叠加，得到第二叠帧点云数据；
聚类单元，用于利用聚类算法对第二叠帧点云数据进行处理，将相互之间距离小于阈值的路牙点分为一类；
曲线拟合单元，用于对于聚类后的数据，使用拟合算法拟合曲线；
路牙鸟瞰图获得单元，用于对于拟合曲线，以鸟瞰图网格精度采样并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。
可行使区域拟合设备的技术内容与上述可行使区域拟合方法相似，在此不再展开叙述。本发明公开一种基于图像分割与雷达点云的可行驶区域拟合方法及设备，其通过采集周围环境图像和雷达点云数据，结合相机与雷达的内外参数以及车辆姿态信息从而拟合车辆周围一定范围内的可行驶区域信息。
本发明具有以下有益效果：
第一，本发明基于图像分割与雷达点云来进行可行驶区域和路牙拟合，精度高，处理速度快。
相比起单纯的点云分割拟合可行驶区域，本发明通过结合图像分割结果，对于一些稀疏无法判断的点云位置也能有较好的效果。
第二，相比传统的直接拟合方法，本发明在拟合前首先去除噪点，拟合结果更精确。
由于图像分割结果边缘处精度不高，容易出现将路牙边缘误分割为可行使区域，或将可行使区域边缘误分割为路牙，导致拟合平面与实际平面不一致，如图3所示，拟合路牙时由于有地面噪点，导致拟合结果存在角度误差，本发明在进行拟合前，首先去除噪点，增加拟合精度。
对于可行使区域点云数据，首先拟合竖直平面，若存在满足条件的竖直平面，则说明分类结果中存在路牙噪点，将路牙噪点去除。
而对于路牙点点云数据，则直接利用已拟合得到的可行使区域拟合平面，去除距离可行使区域平面较近的地面噪点。
第三，本发明通过与历史点云数据进行叠加，一方面能增加点云密度，得到更好的拟合结果，另一方面对于动态障碍物，或遮挡位置，由于当前位置与历史位置不同，点云能够进行互相补充，增大可见区域。
第四，本发明针对同一扇区内地面可能存在高度差(存在路牙)的情况，使用拟合算法一次或多次拟合水平平面，找到若干可行驶区域拟合平面，在采样时寻找最近可行驶区域拟合平面进行拟合，得到更加精确的拟合结果。
应当理解，这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本发明的设备。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.基于图像分割与雷达点云的可行驶区域拟合方法，其特征在于，包括：
步骤S1：采用设置在车辆上的相机和激光雷达分别采集周围环境图像和雷达点云数据；
步骤S2：对周围环境图像进行特征提取，对可行驶区域和路牙进行分割，得到图像分割结果；
步骤S3：基于图像分割结果，对雷达点云数据进行分类，具体分为：可行驶区域点云数据和路牙点云数据；
步骤S4：对可行驶区域点云数据进行处理，去除路牙噪点，通过拟合算法得到拟合平面，对拟合平面进行密集采样得到密集点云数据，将密集点云数据再次映射到周围环境图像上，并根据图像分割结果得到鸟瞰图下的可行驶区域图；
步骤S5：对路牙点数据进行处理，去除平面噪点，通过拟合算法得到拟合曲线，并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。
2.根据权利要求1所述的可行驶区域拟合方法，其特征在于，所述步骤S3具体包括：
步骤S3.1：对于雷达点云数据，通过雷达外参信息将其转换至车辆坐标系下；
步骤S3.2：通过相机内外参数将上述点云数据转换至对应相机图像上；
步骤S3.3：根据图像分割结果对雷达点云数据分类，分为：可行驶区域点云数据和路牙点云数据。
3.根据权利要求1所述的可行驶区域拟合方法，其特征在于，所述步骤S4具体包括：
步骤S4.1：在车辆坐标系下，根据距车辆坐标系原点的半径和角度划分不同扇区，将所有的可行驶区域点云数据划分至对应扇区；
步骤S4.2：对于每个扇区内的可行驶区域点云数据，使用拟合算法拟合垂直平面，当该垂直平面符合要求，则认为其为路牙平面；
寻找距路牙平面的距离小于距离阈值的点，其点为路牙噪点；
去除路牙噪点；
步骤S4.3：将每个扇区内的去除路牙噪点后的该帧可行驶区域点云数据与若干帧历史点云数据叠加，得到第一叠帧点云数据；
步骤S4.4：对于每个扇区内的第一叠帧点云数据，使用拟合算法一次或多次拟合水平平面，找到若干可行驶区域拟合平面；
步骤S4.5：在车辆坐标系下，构建鸟瞰图网格，每个网格的中心点作为采样点，计算该采样点所在扇区，所在扇区内具有一个或多个可行驶区域拟合平面；
当所在扇区内具有一个可行驶区域拟合平面时，该可行驶区域拟合平面即为扇区拟合平面；
当所在扇区内具有多个可行驶区域拟合平面时，计算该采样点与各可行驶区域拟合平面内点的最小距离，找到最接近的可行驶区域拟合平面，即为扇区拟合平面；
根据每个扇区内扇区拟合平面的平面方程得到采样点高度，从而得到密集点云数据；
步骤S4.6：将密集点云数据再次映射到周围环境图像上，并根据图像分割结果进行修正，得到鸟瞰图下的可行驶区域图。
4.根据权利要求3所述的可行驶区域拟合方法，其特征在于，所述步骤S4.5具体包括：
步骤S4.5.1：对于历史点云数据，通过历史车辆姿态将其从历史车辆坐标系转换至世界坐标系下；
步骤S4.5.2：通过当前车辆姿态将历史点云数据从世界坐标系转换至当前车辆坐标系下；
步骤S4.5.3：在当前车辆坐标系下，将每个扇区内的去除路牙噪点后的该帧可行驶区域点云数据与若干帧历史点云数据叠加，得到第一叠帧点云数据。
5.根据权利要求3所述的可行驶区域拟合方法，其特征在于，所述步骤S5具体包括：
步骤S5.1：对路牙点数据的各点，找到其所在扇区；
步骤S5.2：对于每个扇区内的路牙点数据；
寻找距可行驶区域拟合平面的距离小于距离阈值的点，其点为平面噪点；
去除平面噪点；
步骤S5.3：将每个扇区内的去除平面噪点后的该帧路牙点数据与若干帧历史点云数据叠加，得到第二叠帧点云数据；
步骤S5.4：利用聚类算法对第二叠帧点云数据进行处理，将相互之间距离小于阈值的路牙点分为一类；
步骤S5.5：对于聚类后的数据，使用拟合算法拟合曲线；
步骤S5.6：对于拟合曲线，以鸟瞰图网格精度采样并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。
6.基于图像分割与雷达点云的可行驶区域拟合设备，其特征在于，包括：
采集模块，用于采用设置在车辆上的相机和激光雷达分别采集周围环境图像和雷达点云数据；
图像分割模块，用于对周围环境图像进行特征提取，对可行驶区域和路牙进行分割，得到图像分割结果；
点云分类模块，用于基于图像分割结果，对雷达点云数据进行分类，具体分为：可行驶区域点云数据和路牙点云数据；
可行驶区域点云处理模块，用于对可行驶区域点云数据进行处理，去除路牙噪点，通过拟合算法得到拟合平面，对拟合平面进行密集采样得到密集点云数据，将密集点云数据再次映射到周围环境图像上，并根据图像分割结果得到鸟瞰图下的可行驶区域图；
路牙点云处理模块，用于对路牙点数据进行处理，去除平面噪点，通过拟合算法得到拟合曲线，并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。
7.根据权利要求6所述的可行驶区域拟合设备，其特征在于，所述点云分类模块包括：
第一转换单元，用于对于雷达点云数据，通过雷达外参信息将其转换至车辆坐标系下；
第二转换单元，用于通过相机内外参数将上述点云数据转换至对应相机图像上；
点云分类单元，用于根据图像分割结果对雷达点云数据分类，分为：可行驶区域点云数据和路牙点云数据。
8.根据权利要求6所述的可行驶区域拟合设备，其特征在于，所述可行驶区域点云处理模块包括：
第一扇区划分单元，用于在车辆坐标系下，根据距车辆坐标系原点的半径和角度划分不同扇区，将所有的可行驶区域点云数据划分至对应扇区；
路牙噪点去除单元，用于对于每个扇区内的可行驶区域点云数据，使用拟合算法拟合垂直平面，当该垂直平面符合要求，则认为其为路牙平面；
寻找距路牙平面的距离小于距离阈值的点，其点为路牙噪点；
去除路牙噪点；
第一叠加单元，用于将每个扇区内的去除路牙噪点后的该帧可行驶区域点云数据与若干帧历史点云数据叠加，得到第一叠帧点云数据；
平面拟合单元，用于对于每个扇区内的第一叠帧点云数据，使用拟合算法一次或多次拟合水平平面，找到若干可行驶区域拟合平面；
采样单元，用于在车辆坐标系下，构建鸟瞰图网格，每个网格的中心点作为采样点，计算该采样点所在扇区，所在扇区内具有一个或多个可行驶区域拟合平面；
当所在扇区内具有一个可行驶区域拟合平面时，该可行驶区域拟合平面即为扇区拟合平面；
当所在扇区内具有多个可行驶区域拟合平面时，计算该采样点与各可行驶区域拟合平面内点的最小距离，找到最接近的可行驶区域拟合平面，即为扇区拟合平面；
根据每个扇区内扇区拟合平面的平面方程得到采样点高度，从而得到密集点云数据；
可行驶区域鸟瞰图获得单元，用于将密集点云数据再次映射到周围环境图像上，并根据图像分割结果进行修正，得到鸟瞰图下的可行驶区域图。
9.根据权利要求8所述的可行驶区域拟合设备，其特征在于，所述第一叠加单元包括：
第三转换单元，用于对于历史点云数据，通过历史车辆姿态将其从历史车辆坐标系转换至世界坐标系下；
第四转换单元，用于通过当前车辆姿态将历史点云数据从世界坐标系转换至当前车辆坐标系下；
第一叠帧点云数据获得单元，用于在当前车辆坐标系下，将每个扇区内的去除路牙噪点后的该帧可行驶区域点云数据与若干帧历史点云数据叠加，得到第一叠帧点云数据。
10.根据权利要求8所述的可行驶区域拟合设备，其特征在于，所述路牙点云处理模块包括：
第二扇区划分单元，用于对路牙点数据的各点，找到其所在扇区；
平面噪点去除单元，用于对于每个扇区内的路牙点数据；
寻找距可行驶区域拟合平面的距离小于距离阈值的点，其点为平面噪点；
去除平面噪点；
第二叠加单元，用于将每个扇区内的去除平面噪点后的该帧路牙点数据与若干帧历史点云数据叠加，得到第二叠帧点云数据；
聚类单元，用于利用聚类算法对第二叠帧点云数据进行处理，将相互之间距离小于阈值的路牙点分为一类；
曲线拟合单元，用于对于聚类后的数据，使用拟合算法拟合曲线；
路牙鸟瞰图获得单元，用于对于拟合曲线，以鸟瞰图网格精度采样并映射到鸟瞰图上，得到鸟瞰图下的路牙位置图。
CN202311351077.9A 2023-10-18 2023-10-18 基于图像分割与雷达点云的可行驶区域拟合方法及设备 Pending CN117423089A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311351077.9A CN117423089A (zh) 2023-10-18 2023-10-18 基于图像分割与雷达点云的可行驶区域拟合方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311351077.9A CN117423089A (zh) 2023-10-18 2023-10-18 基于图像分割与雷达点云的可行驶区域拟合方法及设备

Publications (1)

Publication Number Publication Date
CN117423089A true CN117423089A (zh) 2024-01-19

Family

ID=89525771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311351077.9A Pending CN117423089A (zh) 2023-10-18 2023-10-18 基于图像分割与雷达点云的可行驶区域拟合方法及设备

Country Status (1)

Country Link
CN (1) CN117423089A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421217A (zh) * 2020-03-02 2021-09-21 北京京东乾石科技有限公司 可行驶区域检测方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421217A (zh) * 2020-03-02 2021-09-21 北京京东乾石科技有限公司 可行驶区域检测方法和装置

Similar Documents

Publication Publication Date Title
CN114842438B (zh) 用于自动驾驶汽车的地形检测方法、系统及可读存储介质
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
KR102267562B1 (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
CN107808123B (zh) 图像可行域检测方法、电子设备、存储介质、检测系统
CN115049700A (zh) 一种目标检测方法及装置
CN112740225B (zh) 一种路面要素确定方法及装置
CN105718872A (zh) 两侧车道快速定位及检测车辆偏转角度的辅助方法及系统
EP3115933B1 (en) Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium
CN117423089A (zh) 基于图像分割与雷达点云的可行驶区域拟合方法及设备
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN115176288A (zh) 用于重建道路的环境场景中的特征的方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN114179788B (zh) 自动泊车方法、系统、计算机可读存储介质及车机端
CN114719873B (zh) 一种低成本精细地图自动生成方法、装置及可读介质
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
US20220171975A1 (en) Method for Determining a Semantic Free Space
CN111881752A (zh) 一种护栏检测分类方法、装置、电子设备及存储介质
Huang et al. A coarse-to-fine LiDar-based SLAM with dynamic object removal in dense urban areas
US20240161517A1 (en) Detection method and system for a mobile object
CN113591640B (zh) 一种道路护栏的检测方法、装置及车辆
KR102368262B1 (ko) 다중 관측정보를 이용한 신호등 배치정보 추정 방법
KR20220151572A (ko) IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination