CN112733812A - 三维车道线检测方法、装置及存储介质 - Google Patents

三维车道线检测方法、装置及存储介质 Download PDF

Info

Publication number
CN112733812A
CN112733812A CN202110223388.1A CN202110223388A CN112733812A CN 112733812 A CN112733812 A CN 112733812A CN 202110223388 A CN202110223388 A CN 202110223388A CN 112733812 A CN112733812 A CN 112733812A
Authority
CN
China
Prior art keywords
point cloud
lane line
dimensional
ground
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110223388.1A
Other languages
English (en)
Other versions
CN112733812B (zh
Inventor
陈伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imotion Automotive Technology Suzhou Co Ltd
Original Assignee
Imotion Automotive Technology Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imotion Automotive Technology Suzhou Co Ltd filed Critical Imotion Automotive Technology Suzhou Co Ltd
Priority to CN202110223388.1A priority Critical patent/CN112733812B/zh
Publication of CN112733812A publication Critical patent/CN112733812A/zh
Application granted granted Critical
Publication of CN112733812B publication Critical patent/CN112733812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种三维车道线检测方法、装置及存储介质，属于自动驾驶技术领域，该方法包括：获取地面图像数据以及地面点云数据；从地面点云数据中确定每条车道线对应的点云数据集；从每条车道线对应的点云数据集中选择感兴趣区域的目标点集；基于目标点集计算当前地面的坡度；将地面图像数据通过透视变换到鸟瞰图中，并按照鸟瞰图将点云数据集从图像坐标系转换至世界坐标系，得到转换后的三维点集；使用坡度对转换后的三维点集进行修正，得到修正后的三维点集；使用修正后的三维点集进行曲线拟合，得到三维车道线的曲线；可以解决自动驾驶在上下坡的情况下，车道线位置定位不准的问题；无需严格去除非地面点集，可以提高三维车道线检测的准确性。

Description

三维车道线检测方法、装置及存储介质
技术领域
本申请涉及一种三维车道线检测方法、装置及存储介质，属于自动驾驶技术领域。
背景技术
自动驾驶车辆是一种通过计算机系统实现无人驾驶的智能车辆。为了保证自动驾驶车辆行驶的安全性，自动驾驶车辆通常具有检测车道线的功能。
现有的三维车道线的检测方法包括：将激光雷达采集到的点云数据投影到图像中，将检测到的车道线点集和激光雷达投影点匹配，借助激光雷达的三维坐标的高度计算出3D车道点集。
然而，如果路面存在坡度，从激光雷达得到的点云中去除非地面点会比较困难，单一的高度差或者平面拟合的方式会使得到的地面点存在很多噪声，由于摄像机成像过程中的透视变换，噪声点会被当做地面点参与曲线拟合，导致平面拟合的准确性较低的问题。
另外，针对低线速的激光雷达将道路的点云投影到图像上，由于点云的稀疏性，在中远距离会有很多区域在图像中无映射点集，从而得不到真实的高度信息，导致转换的车道线坐标存在很大误差。
发明内容
本申请提供了一种三维车道线检测方法、装置及存储介质，可以解决在坡度较大的情况下，现有的三维车道线检测方法的检测结果不准确的问题。本申请提供如下技术方案：
第一方面，提供一种三维车道线检测方法，所述方法包括：
获取当前车辆上安装的图像传感器采集的地面图像数据、以及所述当前车辆上安装的激光雷达传感器采集的地面点云数据；
从所述地面点云数据中确定每条车道线对应的点云数据集；不同车道线对应的点云数据集不同；
对于每条车道线对应的点云数据集，从所述点云数据集中选择感兴趣区域的目标点集；
基于所述目标点集计算当前地面的坡度；
将所述地面图像数据通过透视变换到鸟瞰图中，并按照所述鸟瞰图将所述点云数据集从图像坐标系转换至世界坐标系，得到转换后的三维点集；在透视变换中设定当前地面水平；
使用所述坡度对所述转换后的三维点集进行修正，得到修正后的三维点集；
使用所述修正后的三维点集进行曲线拟合，得到三维车道线的曲线。
可选地，所述基于所述目标点集计算当前地面的坡度，包括：
采用所述目标点集的高度差，基于随机采样一致性算法过滤掉所述目标点集中的非地面点云，得到筛选后的点集；
使用所述筛选后的点集进行平面拟合，得到实际平面与水平面之间的夹角，所述夹角为所述坡度。
可选地，所述对于每条车道线对应的点云数据集，从所述点云数据集中选择感兴趣区域的目标点集，包括：
通过直通滤波从所述点云数据集中筛选出所述感兴趣区域的点集。
可选地，所述按照所述鸟瞰图将所述点云数据集从图像坐标系转换至世界坐标系，包括：
基于所述图像传感器的内参矩阵，将所述点云数据集从所述图像坐标系转换到相机坐标系；
基于外参矩阵做刚体变化将所述点云数据集从所述相机坐标系转换到世界坐标系。
可选地，所述从所述地面点云数据中确定每条车道线对应的点云数据集，包括：
生成所述地面图像数据的二值图，所述二值图的前景为车道线类别，背景为除车道线类别外的其它类别；
按照所述二值图从所述地面点云数据中确定每条车道线对应的点云数据集。
可选地，所述将所述地面图像数据通过透视变换到鸟瞰图中，包括：
计算所述地面图像数据中的消失点；
将低于消失点的图像通过透视变换到所述鸟瞰图中。
可选地，所述方法还包括：
确定所述当前车辆的目标检测功能是否开启；
在所述目标检测功能开启时，触发执行所述从所述地面点云数据中确定每条车道线对应的点云数据集的步骤。
第二方面，提供一种三维车道线检测装置，所述装置包括：
数据获取模块，用于获取当前车辆上安装的图像传感器采集的地面图像数据、以及所述当前车辆上安装的激光雷达传感器采集的地面点云数据；
点云分类模块，用于从所述地面点云数据中确定每条车道线对应的点云数据集；不同车道线对应的点云数据集不同；
点集筛选模块，用于对于每条车道线对应的点云数据集，从所述点云数据集中选择感兴趣区域的目标点集；
坡度计算模块，用于基于所述目标点集计算当前地面的坡度；
坐标转换模块，用于将所述地面图像数据通过透视变换到鸟瞰图中，并按照所述鸟瞰图将所述点云数据集从图像坐标系转换至世界坐标系，得到转换后的三维点集；在透视变换中设定当前地面水平；
点云修正模块，用于使用所述坡度对所述转换后的三维点集进行修正，得到修正后的三维点集；
曲线拟合模块，用于使用所述修正后的三维点集进行曲线拟合，得到三维车道线的曲线。
第三方面，提供一种三维车道线检测装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的三维车道线检测方法。
第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的所述的三维车道线检测方法。
本申请的有益效果在于：通过获取当前车辆上安装的图像传感器采集的地面图像数据、以及当前车辆上安装的激光雷达传感器采集的地面点云数据；从地面点云数据中确定每条车道线对应的点云数据集；对于每条车道线对应的点云数据集，从点云数据集中选择感兴趣区域的目标点集；基于目标点集计算当前地面的坡度；将地面图像数据通过透视变换到鸟瞰图中，并按照鸟瞰图将点云数据集从图像坐标系转换至世界坐标系，得到转换后的三维点集；使用坡度对转换后的三维点集进行修正，得到修正后的三维点集；使用修正后的三维点集进行曲线拟合，得到三维车道线的曲线；可以解决自动驾驶在上下坡的情况下，车道线位置定位不准的问题；通过计算当前坡度的方式，无需严格去除非地面点集，并且可以设置距离区间分段获得更精细的坡度信息；利用坡度修正车道点集的三维世界坐标，可以提高三维车道线检测的准确性。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
图1是本申请一个实施例提供的三维车道线检测方法的流程图；
图2是本申请一个实施例提供的二值图的示意图；
图3是本申请一个实施例提供的每条车道线对应的点云数据集的示意图；
图4是本申请一个实施例提供的坡度的示意图；
图5是本申请一个实施例提供的地面图像数据与对应的鸟瞰图的示意图；
图6是本申请一个实施例提供的点云修正的示意图；
图7是本申请一个实施例提供的三维车道线检测装置的框图；
图8是本申请一个实施例提供的三维车道线检测装置的框图。
具体实施方式
下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
首先，对本申请涉及的若干名词进行介绍。
自动驾驶（Self-driving）车辆：是一种通过计算机系统实现自动驾驶的智能车辆。
点云数据（Point Cloud）：是指在一个三维坐标系统中的一组向量的集合。
直通滤波（Through Filter）：基于点云空间坐标系设定一个通道，将点云在通道范围之外的点剔除滤掉从而保留通道里边的点云。
语义分割（Semantic Segmentation）：通过对每个像素进行密集的预测、推断标签来实现细粒度的推理，从而使每个像素都被标记为一种类别。
二值图（Binary Image）：是指将图像上的每一个像素只有两种可能的取值或灰度等级状态，通常用黑白、单色图像表示二值图像。
聚类（Clustering）：是把物理对象或抽象对象的集合分组为由彼此类似的对象组成的多个类的分析过程。
感兴趣区域（Area Of Interest）：从整个数据块中选择一个区域，这个区域就是数据分析所关注的焦点。
随机采样一致（Random Sample Consensus RANSAC）：是一种通过使用观测到的数据点来估计数学模型参数的迭代方法。
消失点（Vanishing Point）：是两条平行线的视觉相交点。
透视变换（Perspective Transformation）：是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面（透视面）绕迹线（透视轴）旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。
曲线拟合（Curve Fitting）：用连续曲线近似地刻画平面上一组离散点所表示的坐标之间的函数关系。
可选地，本申请以各个实施例的执行主体为具有计算能力的电子设备为例进行说明，该电子设备可以为终端或服务器，该终端可以为车载计算机、手机、计算机、笔记本电脑、平板电脑等，本实施例不对终端的类型和电子设备的类型作限定。
本实施例中，电子设备与当前车辆上的传感器组件通信相连，比如：与激光雷达传感器、图像传感器（如相机、摄像头等）分别通信相连。在实际实现时，当前车辆还可以安装有其它类型的传感器，本实施例不对当前车辆上安装的传感器类型作限定。电子设备可以为当前车辆上的车载计算机、或者是与当前车辆相独立的设备，本实施例不对电子设备与当前车辆之间的安装方式作限定。
图1是本申请一个实施例提供的三维车道线检测方法的流程图。该方法至少包括以下几个步骤：
步骤101，获取当前车辆上安装的图像传感器采集的地面图像数据、以及当前车辆上安装的激光雷达传感器采集的地面点云数据。
地面图像数据与地面点云数据预先进行时间同步和联合标定。换言之，同一时刻采集到一组地面图像数据和地面点云数据，每个地面点云数据均与该组中的地面图像数据中的像素点一一对应。
步骤102，从地面点云数据中确定每条车道线对应的点云数据集。
不同车道线对应的点云数据集不同。
在一个示例中，从地面点云数据中确定每条车道线对应的点云数据集，包括：生成地面图像数据的二值图，其中，二值图的前景为车道线类别，背景为除车道线类别外的其它类别；按照二值图从地面点云数据中确定每条车道线对应的点云数据集。
可选地，电子设备通过神经网络的语义分割模型生成图像数据的二值图，比如：参考图2所示的二值图。
可选地，电子设备通过聚类的方式按照二值图从地面点云数据中确定每条车道线对应的点云数据集，即，每条车道线对应的点云数据集对应一个类别，或者说对应一个聚类中心。比如：每条车道线对应的点云数据集参考图3中的点云数据集31、32、33和34。
步骤103，对于每条车道线对应的点云数据集，从点云数据集中选择感兴趣区域的目标点集。
在一个示例中，电子设备通过直通滤波从点云数据集中筛选出感兴趣区域的点集。
步骤104，基于目标点集计算当前地面的坡度。
电子设备采用目标点集的高度差，基于随机采样一致性算法过滤掉目标点集中的非地面点云，得到筛选后的点集；使用筛选后的点集进行平面拟合，得到实际平面与水平面之间的夹角，该夹角为坡度。参考图4中所示的坡度a。
步骤105，将地面图像数据通过透视变换到鸟瞰图中，并按照鸟瞰图将点云数据集从图像坐标系转换至世界坐标系，得到转换后的三维点集；在透视变换中设定当前地面水平。
可选地，步骤105可以在步骤103和104之后执行，或者也可以在步骤103和104之前执行，或者还可以与步骤103和104同时执行，本实施例不对步骤105与步骤103、104之间的执行顺序作限定。
电子设备计算地面图像数据中的消失点；将低于消失点的图像通过透视变换到鸟瞰图中。在其他实施例中，电子设备也可以将所有的图像数据均通过透视变换转换至鸟瞰图，本实施例不对图像数据转换为鸟瞰图的方式作限定。比如：参考图5，图5中的上半部分为地面图像数据，下半部分为将消失点之下的图像转换至鸟瞰图中后得到的图像。
在一个示例中，按照鸟瞰图将点云数据集从图像坐标系转换至世界坐标系，包括：基于图像传感器的内参矩阵，将点云数据集从图像坐标系转换到相机坐标系；基于外参矩阵做刚体变化将点云数据集从相机坐标系转换到世界坐标系。
其中，图像传感器的内参矩阵和相机坐标系与世界坐标系之间的外参矩阵预存在电子设备中。
步骤106，使用坡度对转换后的三维点集进行修正，得到修正后的三维点集。
由于车道线从2D图像转换到3D世界空间中，如图6所示：图像传感器安装在F处，OF是图像传感器的安装高度，OA是理想水平面，OB是真实的上坡路面，a是坡度。在成像平面中，由于透视投影的关系C点和D点在画面中是同一个坐标位置，所以鸟瞰图的透视投影假设路面是水平的，得到的车道线上某一点的世界坐标是在D点处，当实际道路存在坡度是，z轴方向上真实的位置应该在G点处，根据坡度信息，我们利用三角函数修正世界坐标系下车道线的3D点集，从而提高曲线拟合的准确性。
步骤107，使用修正后的三维点集进行曲线拟合，得到三维车道线的曲线。
在一个示例中，电子设备将每条车道线的三维点集采用三次曲线拟合的方式生成曲线方程。当然，在实际实现时，电子设备也可以使用五次曲线拟合方式生成曲线方程，本实施例不对曲线拟合方式作限定。
可选地，电子设备还可以确定当前车辆的目标检测功能是否开启；在目标检测功能开启时，触发执行从地面点云数据中确定每条车道线对应的点云数据集的步骤。即，在目标检测功能开启时，执行步骤102-107。
电子设备确定目标检测功能是否开启，包括：在检测到当前车辆启动时，确定目标检测功能开启。或者，在检测到目标检测功能的控制控件为启动状态时，确定目标检测功能开启，本实施例不对确定目标检测功能是否开启的方式作限定。
综上所述，由于无人驾驶的车道线检测需要将二维图像坐标系下的车道位置转换到三维世界坐标系中，在图像透视变换的过程中，坡度会影响车道线的定位问题，但从图像画面很难恢复出上下坡时车道线的真实坐标点集。本实施例提供的三维车道线检测方法，通过计算当前坡度的方式，无需严格去除非地面点集，并且可以设置距离区间分段获得更精细的坡度信息；利用坡度修正车道点集的三维世界坐标，从而解决无人驾驶在上下坡的情况下，车道线位置定位不准的问题；提高三维车道线检测的准确性。
图7是本申请一个实施例提供的三维车道线检测装置的框图。该装置至少包括以下几个模块：数据获取模块710、点云分类模块720、点集筛选模块730、坡度计算模块740、坐标转换模块750、点云修正模块760和曲线拟合模块770。
数据获取模块710，用于获取当前车辆上安装的图像传感器采集的地面图像数据、以及所述当前车辆上安装的激光雷达传感器采集的地面点云数据；
点云分类模块720，用于从所述地面点云数据中确定每条车道线对应的点云数据集；不同车道线对应的点云数据集不同；
点集筛选模块730，用于对于每条车道线对应的点云数据集，从所述点云数据集中选择感兴趣区域的目标点集；
坡度计算模块740，用于基于所述目标点集计算当前地面的坡度；
坐标转换模块750，用于将所述地面图像数据通过透视变换到鸟瞰图中，并按照所述鸟瞰图将所述点云数据集从图像坐标系转换至世界坐标系，得到转换后的三维点集；在透视变换中设定当前地面水平；
点云修正模块760，用于使用所述坡度对所述转换后的三维点集进行修正，得到修正后的三维点集；
曲线拟合模块770，用于使用所述修正后的三维点集进行曲线拟合，得到三维车道线的曲线。
相关细节参考上述方法实施例。
需要说明的是：上述实施例中提供的三维车道线检测装置在进行三维车道线检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将三维车道线检测装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的三维车道线检测装置与三维车道线检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8是本申请一个实施例提供的三维车道线检测装置的框图。该装置至少包括处理器801和存储器802。
处理器801可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器801可以采用DSP（Digital Signal Processing，数字信号处理）、FPGA（Field－Programmable Gate Array，现场可编程门阵列）、PLA（Programmable Logic Array，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（Central ProcessingUnit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以在集成有GPU（Graphics Processing Unit，图像处理器），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的三维车道线检测方法。
在一些实施例中，三维车道线检测装置还可选包括有：外围设备接口和至少一个外围设备。处理器801、存储器802和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。
当然，三维车道线检测装置还可以包括更少或更多的组件，本实施例对此不作限定。
可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的三维车道线检测方法。
可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的三维车道线检测方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
上述仅为本申请的一个具体实施方式，其它基于本申请构思的前提下做出的任何改进都视为本申请的保护范围。

Claims (10)

1.一种三维车道线检测方法，其特征在于，所述方法包括：
获取当前车辆上安装的图像传感器采集的地面图像数据、以及所述当前车辆上安装的激光雷达传感器采集的地面点云数据；
从所述地面点云数据中确定每条车道线对应的点云数据集；不同车道线对应的点云数据集不同；
对于每条车道线对应的点云数据集，从所述点云数据集中选择感兴趣区域的目标点集；
基于所述目标点集计算当前地面的坡度；
将所述地面图像数据通过透视变换到鸟瞰图中，并按照所述鸟瞰图将所述点云数据集从图像坐标系转换至世界坐标系，得到转换后的三维点集；在透视变换中设定当前地面水平；
使用所述坡度对所述转换后的三维点集进行修正，得到修正后的三维点集；
使用所述修正后的三维点集进行曲线拟合，得到三维车道线的曲线。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标点集计算当前地面的坡度，包括：
采用所述目标点集的高度差，基于随机采样一致性算法过滤掉所述目标点集中的非地面点云，得到筛选后的点集；
使用所述筛选后的点集进行平面拟合，得到实际平面与水平面之间的夹角，所述夹角为所述坡度。
3.根据权利要求1所述的方法，其特征在于，所述对于每条车道线对应的点云数据集，从所述点云数据集中选择感兴趣区域的目标点集，包括：
通过直通滤波从所述点云数据集中筛选出所述感兴趣区域的点集。
4.根据权利要求1所述的方法，其特征在于，所述按照所述鸟瞰图将所述点云数据集从图像坐标系转换至世界坐标系，包括：
基于所述图像传感器的内参矩阵，将所述点云数据集从所述图像坐标系转换到相机坐标系；
基于外参矩阵做刚体变化将所述点云数据集从所述相机坐标系转换到世界坐标系。
5.根据权利要求1所述的方法，其特征在于，所述从所述地面点云数据中确定每条车道线对应的点云数据集，包括：
生成所述地面图像数据的二值图，所述二值图的前景为车道线类别，背景为除车道线类别外的其它类别；
按照所述二值图从所述地面点云数据中确定每条车道线对应的点云数据集。
6.根据权利要求1所述的方法，其特征在于，所述将所述地面图像数据通过透视变换到鸟瞰图中，包括：
计算所述地面图像数据中的消失点；
将低于消失点的图像通过透视变换到所述鸟瞰图中。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述当前车辆的目标检测功能是否开启；
在所述目标检测功能开启时，触发执行所述从所述地面点云数据中确定每条车道线对应的点云数据集的步骤。
8.一种三维车道线检测装置，其特征在于，所述装置包括：
数据获取模块，用于获取当前车辆上安装的图像传感器采集的地面图像数据、以及所述当前车辆上安装的激光雷达传感器采集的地面点云数据；
点云分类模块，用于从所述地面点云数据中确定每条车道线对应的点云数据集；不同车道线对应的点云数据集不同；
点集筛选模块，用于对于每条车道线对应的点云数据集，从所述点云数据集中选择感兴趣区域的目标点集；
坡度计算模块，用于基于所述目标点集计算当前地面的坡度；
坐标转换模块，用于将所述地面图像数据通过透视变换到鸟瞰图中，并按照所述鸟瞰图将所述点云数据集从图像坐标系转换至世界坐标系，得到转换后的三维点集；在透视变换中设定当前地面水平；
点云修正模块，用于使用所述坡度对所述转换后的三维点集进行修正，得到修正后的三维点集；
曲线拟合模块，用于使用所述修正后的三维点集进行曲线拟合，得到三维车道线的曲线。
9.一种三维车道线检测装置，其特征在于，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的三维车道线检测方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如权利要求1至7任一项所述的三维车道线检测方法。
CN202110223388.1A 2021-03-01 2021-03-01 三维车道线检测方法、装置及存储介质 Active CN112733812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110223388.1A CN112733812B (zh) 2021-03-01 2021-03-01 三维车道线检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110223388.1A CN112733812B (zh) 2021-03-01 2021-03-01 三维车道线检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112733812A true CN112733812A (zh) 2021-04-30
CN112733812B CN112733812B (zh) 2023-08-29

Family

ID=75595544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110223388.1A Active CN112733812B (zh) 2021-03-01 2021-03-01 三维车道线检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112733812B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093218A (zh) * 2021-05-14 2021-07-09 汤恩智能科技(苏州)有限公司 斜坡检测方法及驱动设备、存储介质
CN113240734A (zh) * 2021-06-01 2021-08-10 深圳市捷顺科技实业股份有限公司 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN113762413A (zh) * 2021-09-30 2021-12-07 智道网联科技(北京)有限公司 点云数据与图像数据融合方法及存储介质
CN114120258A (zh) * 2022-01-26 2022-03-01 深圳佑驾创新科技有限公司 一种车道线识别方法、装置及存储介质
CN114332228A (zh) * 2021-12-30 2022-04-12 高德软件有限公司 数据处理方法、电子设备及计算机存储介质
CN114387583A (zh) * 2022-01-14 2022-04-22 广州小鹏自动驾驶科技有限公司 一种车道线处理的方法和装置
CN114863026A (zh) * 2022-05-18 2022-08-05 禾多科技（北京）有限公司 三维车道线信息生成方法、装置、设备和计算机可读介质
WO2023000337A1 (zh) * 2021-07-23 2023-01-26 华为技术有限公司 确定道路坡度、车道线投影、显示的方法及装置
CN116630923A (zh) * 2023-05-22 2023-08-22 小米汽车科技有限公司 道路消失点的标注方法、装置及电子设备
CN117437306A (zh) * 2023-12-21 2024-01-23 知行汽车科技(苏州)股份有限公司 一种摄像头的标定方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008851A (zh) * 2019-03-15 2019-07-12 深兰科技（上海）有限公司 一种车道线检测的方法及设备
CN111126182A (zh) * 2019-12-09 2020-05-08 苏州智加科技有限公司 车道线检测方法、装置、电子设备及存储介质
CN111291676A (zh) * 2020-02-05 2020-06-16 清华大学 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
WO2020215254A1 (zh) * 2019-04-24 2020-10-29 深圳市大疆创新科技有限公司 车道线地图的维护方法、电子设备与存储介质
CN112307953A (zh) * 2020-10-29 2021-02-02 无锡物联网创新中心有限公司 一种基于聚类的自适应逆透视变换车道线识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008851A (zh) * 2019-03-15 2019-07-12 深兰科技（上海）有限公司 一种车道线检测的方法及设备
WO2020215254A1 (zh) * 2019-04-24 2020-10-29 深圳市大疆创新科技有限公司 车道线地图的维护方法、电子设备与存储介质
CN111126182A (zh) * 2019-12-09 2020-05-08 苏州智加科技有限公司 车道线检测方法、装置、电子设备及存储介质
CN111291676A (zh) * 2020-02-05 2020-06-16 清华大学 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
CN112307953A (zh) * 2020-10-29 2021-02-02 无锡物联网创新中心有限公司 一种基于聚类的自适应逆透视变换车道线识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANG XING ET.AL: "Advances in Vision-Based Lane Detection: Algorithms, Integration, Assessment, and Perspectives on ACP-Based Parallel Vision", 《IEEE/CAA JOURNAL OF AUTOMATICA SINICA》, vol. 5, no. 3, pages 645 - 661, XP055906040, DOI: 10.1109/JAS.2018.7511063 *
杨望山 等: "提取城市道路边线的点云法向量聚类法", 《光子学报》, vol. 47, no. 6, pages 1 - 11 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093218A (zh) * 2021-05-14 2021-07-09 汤恩智能科技(苏州)有限公司 斜坡检测方法及驱动设备、存储介质
CN113240734A (zh) * 2021-06-01 2021-08-10 深圳市捷顺科技实业股份有限公司 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN113240734B (zh) * 2021-06-01 2024-05-17 深圳市捷顺科技实业股份有限公司 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
WO2023000337A1 (zh) * 2021-07-23 2023-01-26 华为技术有限公司 确定道路坡度、车道线投影、显示的方法及装置
CN113762413A (zh) * 2021-09-30 2021-12-07 智道网联科技(北京)有限公司 点云数据与图像数据融合方法及存储介质
CN113762413B (zh) * 2021-09-30 2023-12-26 智道网联科技(北京)有限公司 点云数据与图像数据融合方法及存储介质
CN114332228A (zh) * 2021-12-30 2022-04-12 高德软件有限公司 数据处理方法、电子设备及计算机存储介质
CN114387583A (zh) * 2022-01-14 2022-04-22 广州小鹏自动驾驶科技有限公司 一种车道线处理的方法和装置
CN114120258B (zh) * 2022-01-26 2022-05-03 深圳佑驾创新科技有限公司 一种车道线识别方法、装置及存储介质
CN114120258A (zh) * 2022-01-26 2022-03-01 深圳佑驾创新科技有限公司 一种车道线识别方法、装置及存储介质
CN114863026A (zh) * 2022-05-18 2022-08-05 禾多科技（北京）有限公司 三维车道线信息生成方法、装置、设备和计算机可读介质
CN116630923A (zh) * 2023-05-22 2023-08-22 小米汽车科技有限公司 道路消失点的标注方法、装置及电子设备
CN116630923B (zh) * 2023-05-22 2024-01-02 小米汽车科技有限公司 道路消失点的标注方法、装置及电子设备
CN117437306A (zh) * 2023-12-21 2024-01-23 知行汽车科技(苏州)股份有限公司 一种摄像头的标定方法、装置、设备及介质
CN117437306B (zh) * 2023-12-21 2024-02-20 知行汽车科技(苏州)股份有限公司 一种摄像头的标定方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112733812B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN112733812B (zh) 三维车道线检测方法、装置及存储介质
US10078790B2 (en) Systems for generating parking maps and methods thereof
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
CN112740225B (zh) 一种路面要素确定方法及装置
CN112258519B (zh) 一种高精度地图制作中道路的让行线自动化提取方法及装置
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN112434682B (zh) 基于多传感器的数据融合方法、装置及存储介质
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN112154448A (zh) 目标检测方法、设备及可移动平台
CN114217665A (zh) 一种相机和激光雷达时间同步方法、装置及存储介质
CN116597168B (zh) 车载激光点云与全景影像的匹配方法、装置、设备及介质
CN116778448A (zh) 车辆安全驾驶辅助方法、装置、系统、设备及存储介质
CN114219770A (zh) 地面检测方法、装置、电子设备及存储介质
CN112529011B (zh) 目标检测方法及相关装置
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN116309943B (zh) 一种停车场语义地图路网构建方法、装置及电子设备
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
CN114384486A (zh) 一种数据处理方法及装置
CN115236696B (zh) 确定障碍物的方法、装置、电子设备及存储介质
CN116299315A (zh) 一种使用激光雷达实时检测路面障碍物的方法和装置
CN116092035A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN116246033A (zh) 一种面向非结构化道路的快速语义地图构建方法
Roman-Rivera et al. 3D Point Cloud Outliers and Noise Reduction Using Neural Networks
CN112184901A (zh) 一种深度图确定方法及装置
CN117372988B (zh) 道路边界检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 215123 g2-1901 / 1902 / 2002, No. 88, Jinjihu Avenue, Suzhou Industrial Park, Suzhou City, Jiangsu Province

Applicant after: Zhixing Automotive Technology (Suzhou) Co.,Ltd.

Address before: 215123 g2-1901 / 1902 / 2002, No. 88, Jinjihu Avenue, Suzhou Industrial Park, Suzhou City, Jiangsu Province

Applicant before: IMOTION AUTOMOTIVE TECHNOLOGY (SUZHOU) Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant