CN116863432B - 基于深度学习的弱监督激光可行驶区域预测方法和系统 - Google Patents

基于深度学习的弱监督激光可行驶区域预测方法和系统 Download PDF

Info

Publication number
CN116863432B
CN116863432B CN202311126363.5A CN202311126363A CN116863432B CN 116863432 B CN116863432 B CN 116863432B CN 202311126363 A CN202311126363 A CN 202311126363A CN 116863432 B CN116863432 B CN 116863432B
Authority
CN
China
Prior art keywords
point
laser
point cloud
loss function
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311126363.5A
Other languages
English (en)
Other versions
CN116863432A (zh
Inventor
邱奇波
华炜
高海明
张骞
史进
张霄来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202311126363.5A priority Critical patent/CN116863432B/zh
Publication of CN116863432A publication Critical patent/CN116863432A/zh
Application granted granted Critical
Publication of CN116863432B publication Critical patent/CN116863432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于深度学习的弱监督激光可行驶区域预测方法和系统，本发明利用激光可行驶区域预测算法较为容易的获得下采样点云是否地面点的粗略标注，将该粗略标注作为标签，从而较为容易的获得了用于训练深度学习点云特征提取模型的标签，但由于该标签的准确性有待提高，因此，在第一次对深度学习点云特征提取模型进行训练之后，基于当前预测得到的初始地面点预测概率和上一次预测得到的初始地面点预测概率通过交叉熵损失函数构建新增损失函数以完成之后的训练，因此能够利用大量的数据量较小的标注标签训练获得能够较为准确预测地面点概率的地面点预测模型，从而能够准确的获得可行驶区域。

Description

基于深度学习的弱监督激光可行驶区域预测方法和系统
技术领域
本发明属于激光地面预测领域，具体涉及一种基于深度学习的弱监督激光可行驶区域预测方法和系统。
背景技术
自动驾驶技术受到世界汽车企业、互联网企业以及各高校研究机构的重视，各方积极推进自动驾驶的发展。奔驰、奥迪为代表的汽车企业通过应用超声波、雷达、夜视仪、立体摄影机、LED等先进技术，实现人车交互、车车交互及车路协同。然而国内在自动驾驶领域起步较晚，突破性成果较少，需要不断创新，结合新技术，在自动驾驶领域努力突破。
自主驾驶是指不需要驾驶人员提供导引和控制，在计算装置的控制下使车辆完成车道保持、超车并道、红灯停绿灯行、灯语笛语交互、避障、转弯等驾驶行为。
目前，自主驾驶的路径规划(例如轨迹规划)主要依靠地图和定位，例如高精度地图和高精度定位。但是由于地图不是实时更新的，即静态地图，如果地图与实际道路状况不符，即地图故障和/或定位不准确，则自主驾驶车辆将难以进行路径规划。因此，道路模型的实时预测对于自主驾驶车辆的安全性能至关重要。
在现有技术中，多项式拟合法是利用简单的线性外推法实时预测自主驾驶车辆前方的道路几何形状和可行驶区域。这种方法预测直行道路的结果相对准确，但对于自主驾驶车辆前方是非直行道路的情况，其预测的可行驶区域不够准确。
此外，还可以使用粒子滤波的方法来估计前方的可行驶区域。这种方法基于从激光雷达(LiDAR)传感器收集的点云数据来进行估计。这种方法假设在点云分布的地方存在障碍物。沿着自我车辆向周围发射一条直线，当遇到点云时该直线停止，否则继续搜索是否会碰撞点云。但是这种方法很容易受到动态车辆遮挡的影响，并且只能沿单个方向搜索可行驶区域，而无法预测整个可行驶区域和交叉路口的几何形状。基于激光预测可行驶区域，可以有效预防障碍物检测模块漏检带来的潜在危险。
传统的激光可行驶区域预测算法，按照点云划分及处理方法分为四类，分别是基于空间划分的算法、基于扫描线的算法、基于局部特征的算法和基于附加信息的算法。每一种传统算法都有自己擅长和不擅长的工况。无人驾驶的发展，推动了激光点云数据量的增加，传统算法并不具备学习能力，因此不能充分利用数据量的优势。
深度学习算法能够在海量数据中训练学习并具有更强大的泛化能力，但是针对点级的可行驶区域进行标注获得标签将极为耗费人力。
发明内容
本发明提供了一种基于深度学习的弱监督激光可行驶区域预测方法，利用该方法能够预测能够较为容易的获得深度学习算法所需要的标签，且能够较为准确的获得可行驶区域。
本发明具体实施例提供了一种基于深度学习的弱监督激光可行驶区域预测方法，其特征在于，包括：
S1、对获得的激光原始点云进行预处理得到下采样点云；
S2、通过激光可行驶区域预测算法将下采样点云是否为地面点进行初步标注得到标签；
S3、将下采样点云输入深度学习点云特征提取模型得到初始地面点预测概率集；
通过第一损失函数对深度学习点云特征提取模型进行第一次训练，然后通过第二损失函数对第一次训练后的深度学习点云特征提取模型进行多次迭代训练后得到地面点预测模型；
所述第一损失函数为基于标签和初始地面点预测概率集通过交叉熵损失函数构建得到；
所述第二损失函数为基于标签、当前训练和上一次训练得到的初始地面点预测概率集通过交叉熵损失函数构建得到；
S4、将下采样点云输入地面点预测模型得到最终地面点预测概率集，将高于地面点预测概率阈值的最终地面点预测概率对应的下采样点进行提取，将提取的下采样点的最外边界进行连接得到可行驶区域。
进一步的，所述第二损失函数由第三损失函数和第四损失函数构成；
其中，所述第三损失函数是基于标签和当前训练得到的初始地面点预测概率集通过交叉熵损失函数构建得到；
所述第四损失函数通过当前训练和上一次训练得到的初始地面点预测概率集通过交叉损失函数构建得到。
进一步的，通过激光可行驶区域预测算法将下采样点云是否为地面点进行初步标注，所述激光可行驶区域预测算法包括直接计算法、平面拟合法、滤除法和区域筛选法。
进一步的，通过区域筛选法判断方法将下采样点云是否为地面点进行初步标注，包括：
从下采样点云所在的三维空间内选择一水平面，从所述水平面上选择下采样点云均能够投影到的水平区域，将激光坐标系原点在所述水平区域的投影点作为中心点，基于中心点按照设定的划分角度将水平区域切分成多个扇形区域；
将每个扇形区域划分为多个柱型，通过已划分的多个柱型将下采样点云所在的三维空间切分为多个三维子空间，从每个三维子空间内的激光点中选择最低点；
如果当前最低点与沿着朝向中心点的方向的前一个三维子空间对应的最低点的斜率绝对值小于第一设定斜率，且当前最低点与激光坐标系原点在地面的投影点的斜率小于第二设定斜率，则将当前最低点所在的三维子空间内的激光点作为地面点；
所述下采样点云包括激光坐标系原点和下采样点。
进一步的，基于设定的分辨率或激光在每个扇形区域的线束分布将每个扇形区域划分为多个柱型。
进一步的，对激光原始点云进行预处理得到下采样点云，包括：
按照预先设定的高度和半径范围阈值对激光原始点云进行过滤，按照预先设定的空间分辨率将过滤的激光原始点云进行体素化；
将体素化后的激光原始点云在空间上进行均匀下采样得到下采样点云。
进一步的，所述深度学习点云特征提取模型包括多个卷积层、线性层和softmax层：
其中，将下采样点云输入多个卷积层进行特征提取得到特征张量，将特征张量输入线性层得到由每个激光点为地面点和不为地面点的概率组成的概率特征张量，将概率特征张量通过softmax层进行归一化得到初始地面点预测概率。
进一步的，每次训练深度学习点云特征提取模型时，将概率特征张量输入softmax层前，所述概率特征张量除以设定的温度系数，随着训练次数的增加，设定的温度系数的数值不断减小。
本发明具体实施例还提供了一种基于深度学习的弱监督激光可行驶区域预测系统，包括：
预处理模块，用于对获得的激光原始点云进行预处理得到下采样点云；
确定标签模块，用于通过激光可行驶区域预测算法将下采样点云是否为地面点进行初步标注得到标签；
深度学习点云分割模块，用于将下采样点云输入深度学习点云特征提取模型得到初始地面点预测概率集；通过第一损失函数对深度学习点云特征提取模型进行第一次训练，然后通过第二损失函数对第一次训练后的深度学习点云特征提取模型进行多次迭代训练后得到地面点预测模型；所述第一损失函数为基于标签和初始地面点预测概率集通过交叉熵损失函数构建得到；所述第二损失函数为基于标签、当前训练和上一次训练得到的初始地面点预测概率集通过交叉熵损失函数构建得到；
和推理模块，用于将下采样点云输入地面点预测模型得到最终地面点预测概率集，将高于地面点预测概率阈值的最终地面点预测概率对应的下采样点云进行提取，将提取的下采样点云的最外边界进行连接得到可行驶区域。
本发明具体实施例还提供了一种基于深度学习的弱监督激光可行驶区域预测系统，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于所述的基于深度学习的弱监督激光可行驶区域预测方法。
与现有技术相比，本发明的有益效果为：
本发明利用激光可行驶区域预测算法较为容易的对下采样点云是否地面点进行粗略标注得到标签，从而较为容易的获得了用于训练深度学习点云特征提取模型的标签；本发明利用标签深度学习点云特征提取模型的第一次训练之后，基于当前预测和上一次预测得到的初始地面点预测概率通过交叉熵损失函数构建新的损失函数以完成之后的训练，从而能够较为准确的预测地面点。
附图说明
图1为本发明具体实施例提供的基于深度学习的弱监督激光可行驶区域预测方法的流程图；
图2为本发明具体实施例提供的激光扫描俯视图；
图3为本发明具体实施例提供的对每个扇形区域划分得到多个bin示意图；
图4为本发明具体实施例提供的计算地面斜率示意图；
图5为本发明具体实施例提供的基于深度学习的弱监督激光可行驶区域预测系统框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。
为了达到旨在通过低成本的方式生成粗略地面标注，并基于粗略地面标注训练出推理能力更强的地面点预测模型，本发明通过激光可行驶区域预测算法对下采样点云进行粗略地面点标注标签，并基于标签和当前训练得到的初始地面点预测概率集，以及当前训练和上一次训练得到的初始地面点预测概率集构建的交叉熵损失函数对深度学习点云特征提取模型进行训练，从而降低粗略地面点标注标签的影响，进行不断增强预测地面点的准确性，本发明提供的基于深度学习的弱监督激光可行驶区域预测方法，如图1所示，包括：
S1、对获得的激光原始点云进行预处理得到下采样点云。
在一具体实施例中，将本发明具体实施例提供的激光原始点云按照预先设定的高度和半径范围阈值对激光原始点云进行过滤，按照预先设定的空间分辨率将过滤的激光原始点云进行体素化。
将体素化后的激光原始点云在空间上进行均匀下采样得到点数固定的下采样点云F，固定点数P由提前设定。
S2、通过激光可行驶区域预测算法将下采样点云是否为地面点进行初步标注得到标签。
在一具体实施例中，本发明具体实施例中采用的激光可行驶区域预测算法包括直接计算法、平面拟合法、滤除法和区域筛选法。
在一具体实施例中，本发明具体实施例中采用的激光可行驶区域预测算法为区域筛选法判断方法的具体步骤为：
如图2所示，从下采样点云所在的三维空间内选择一水平面，从所述水平面上选择下采样点云均能够投影到的水平区域，将激光坐标系原点在所述水平区域的投影点作为中心点，基于中心点按照设定的划分角度将水平区域切分成多个扇形区域S1-Sn，该下采样点云包括激光坐标系原点和其他激光点。
如图3所示，基于设定的分辨率或激光在每个扇形的不同距离的线束分布情况将每个扇形区域划分为多个柱型（bin），通过已划分的多个bin将下采样点云所在的三维空间切分为对应的多个三维子空间，从每个三维子空间内的激光点中选择最低点。
在一具体实施例中，本实施例提供的划分bin的方法，包括将每个扇形区域的两条半径边均等分，将等分点连接从而将每个扇形区域划分为多个bin区域。
如图4所示，如果当前最低点与沿着朝向中心点的方向的前一个三维子空间对应的最低点的斜率绝对值α小于第一设定斜率β，且当前最低点与激光坐标系原点在地面的投影点的斜率Ψ小于第二设定斜率γ，则将当前最低点所在的三维子空间内的激光点作为地面点，如果该最低点不满足条件,那么该最低点所在的三维子空间内所有激光点，以及沿着远离中心点的后面的三维子空间内的所有激光点，均视为非地面点，从而得到用于训练深度学习点云特征提取模型的标签。
S3、基于第一、二损失函数对构建的深度学习点云特征提取模型进行训练得到地面点预测模型。
S31、构建深度学习点云特征提取模型，将下采样点云输入深度学习点云特征提取模型得到初始地面点预测概率集。
在一具体实施例中，本发明具体实施例提供的深度学习点云特征提取模型包括多个卷积层、线性层和softmax层：其中，将下采样点云输入多个卷积层进行特征提取得到特征张量，将特征张量输入线性层得到由每个激光点为地面点和不为地面点的概率组成的概率特征张量，将概率特征张量通过softmax层进行归一化得到初始地面点预测概率。
具体的，每次训练深度学习点云特征提取模型时，将概率特征张量输入softmax层前，所述概率特征张量除以设定的温度系数，随着训练次数的增加，设定的温度系数的数值不断减小，从控制训练过程中对人工规则标注标签的依赖程度，训练越到后来越不需要依赖，因此则随着训练的次数的增加，温度系数的值会越来越小。
S32、通过第一损失函数对深度学习点云特征提取模型进行第一次训练，然后通过第二损失函数对第一次训练后的深度学习点云特征提取模型进行多次迭代训练，直至满足训练次数阈值后停止训练得到地面点预测模型。
本发明具体实施例提供的第一损失函数为基于标签和初始地面点预测概率集通过交叉熵损失函数构建得到。
本发明具体实施例提供的第一次训练用到的第一损失函数为：
其中，为第一次训练预测得到的第i个下采样点为地面点的初始地面点预测概率，y（i）为第i个下采样点的标签，P为下采样点云中下采样点的个数，θ1为第一次训练时深度学习点云特征提取模型的参数值。
本发明具体实施例提供的第二损失函数为基于标签、当前训练和上一次训练得到的初始地面点预测概率集通过交叉熵损失函数构建得到；所述第二损失函数由第三损失函数和第四损失函数构成；其中，所述第三损失函数是基于标签和当前训练得到的初始地面点预测概率集通过交叉熵损失函数构建得到；所述第四损失函数通过当前训练和上一次训练得到的初始地面点预测概率集通过交叉损失函数构建得到。
本发明具体实施例提供第e次训练的第二损失函数为：
其中，θe为第e次训练时深度学习点云特征提取模型的参数值，e为训练次数的索引。
S4、将下采样点云输入地面点预测模型得到最终地面点预测概率集，将高于地面点预测概率阈值thr的最终地面点预测概率对应的下采样点进行提取，将提取得到的下采样点的最外边界进行连接形成一个多边形，该多边形为当前的可行驶区域，thr的值由预先设定。
本发明还提供了一种基于深度学习的弱监督激光可行驶区域预测系统，如图5所示，包括：
预处理模块，用于获得激光原始点云，对激光原始点云进行预处理得到下采样点云。
确定标签模块，用于采用激光可行驶区域预测算法初步判断下采样点云是否为地面点，将判断结果作为标签。
深度学习点云分割模块，构建深度学习点云特征提取模型，将下采样点云输入深度学习点云特征提取模型得到初始地面点预测概率；通过第一损失函数对深度学习点云特征提取模型进行训练以对参数值进行第一次更新，通过第二损失函数再次进行训练以对第一次更新后的参数值进行多次迭代更新，直至满足迭代次数阈值后停止迭代得到最优参数值，基于最优参数值拟合得到地面点预测模型；所述第一损失函数为基于标签和第一次预测得到的初始地面点预测概率通过交叉熵损失函数构建得到；所述第二损失函数为基于标签、当前和上一次预测得到的初始地面点预测概率通过交叉熵损失函数构建得到。
和推理模块，用于将下采样点云输入地面点预测模型得到最终地面点预测概率集，将高于地面点预测概率阈值的最终地面点预测概率对应的下采样点云进行提取，将提取得到的下采样点云的最外边界进行连接得到可行驶区域。
本发明具体实施例还提供了一种基于深度学习的弱监督激光可行驶区域预测系统，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现所述的基于深度学习的弱监督激光可行驶区域预测方法。
在一具体实施例中，本实施例提供了一种基于深度学习的弱监督激光可行驶区域预测方法，包括：
S1、对获得的激光原始点云进行预处理得到下采样点云。
输入一帧激光原始点云，选取固定空间范围的点，在本实施中，选取高度在-20cm到200cm之间，范围在30m以内的点，将点云体素化之后，进行下采样并控制每帧点云数目为4096，将该帧下采样点云命名为F。
S2、通过激光可行驶区域预测算法将下采样点云是否为地面点进行初步标注得到标签。本发实施例采用的激光可行驶区域预测算法为区域筛选法判断方法，包括：
如图2所示，将从下采样点云所在的三维空间内选择一水平面，从所述水平面上选择下采样点云均能够投影到的水平圆形区域，将激光坐标系原点在所述水平圆形区域的投影点作为中心点，基于中心点按照设定的划分角度，且/>，将水平区域切分成多个扇形区域S1-Sn；每个扇形区域的最大半径边的长度为30 m，在最大半径边上每隔0.1 m划分一个bin，每个扇形区域有300个bin，如图3所示。
通过已划分的多个bin将下采样点云所在的三维空间切分为对应的多个三维子空间，从每个三维子空间内的激光点中选择最低点，每个bin的最低点为P1 …P300，沿着远离中心点的方向由近及远遍历每个最低点，如图4所示，以P2点为例，如果当前最低点P2与沿着朝向中心点的方向的前一个三维子空间对应的最低点P1的斜率绝对值α小于第一设定斜率β，β=8o，且当前最低点与激光坐标系原点在地面的投影点的斜率Ψ小于第二设定斜率γ，γ=5o，则将当前最低点所在的三维子空间内的激光点作为地面点，如果该最低点不满足条件,那么该最低点所在的三维子空间内所有激光点，以及沿着远离中心点的后面的三维子空间内的所有激光点，均视为非地面点。从而得到用于训练深度学习点云特征提取模型的标签。
S3、基于第一、二损失函数对构建的深度学习点云特征提取模型进行训练得到地面点预测模型。
本实施例提供的深度学习点云特征提取模型为采用了论文《PointNet: DeepLearning on Point Sets for 3D Classification and Segmentation> 中提到的pointnet 算法，当然也可以用其他的点云特征提取算法进行替换。
本实施例提供的深度学习点云特征提取模型包括5层卷积层，一个线性层和softmax层。
其中，将下采样点云输入5层卷积层得到4096×1024的特征张量Fea，其中，5层卷积的输入通道大小分别为1, 64, 64, 64, 128;输出通道分别为64, 64, 64, 128, 1024;卷积核大小分别为1×3, 1×1, 1×1, 1×1, 1×1；将Fea输入到一个Linear层，Linear层的输入通道数为1024，输出通道数为2,得到尺寸 为4096×2的特征张量Fea_final，将Fea_final经过softmax处理，得到最终的预测值，大 小为4096×2,每个点的预测值为一个1×2的向量，分别表示该点不是地面点和该点是地面点的概率，从而得到初始地面点预测概率。
本实施例构建的损失函数包括第一损失函数和第二损失函数，通过第一损失函数对深度学习点云特征提取模型进行第一次训练，然后通过第二损失函数对第一次训练后的深度学习点云特征提取模型进行多次迭代训练，直至满足训练次数阈值后停止训练得到地面点预测模型。
本发明具体实施例提供的第一次训练用到的第一损失函数为：
其中，为第一次训练预测得到的第i个下采样点为地面点的初始地面点预测概率，y（i）为第i个下采样点的标签，P为下采样点云中下采样点的个数，θ1为第一次训练时深度学习点云特征提取模型的参数值。
从第2次训练开始到第EP (此处EP=5 )次训练完成训练的过程中，本发明具体实施例提供的第e次训练的第二损失函数为：
其中，θe为第e次训练时深度学习点云特征提取模型的参数值，e为训练次数的索引，本实施例中e∈[2,5]，每次训练进入softmax层之前，将得到的概率特征张量除以温度系数T；第2到第5次训练得到的温度系数T2,T3,T4,T5分别为0.09，0.07，0.05，0.03。
S3、将下采样点云输入地面点预测模型得到最终地面点预测概率集，将高于地面点预测概率阈值thr的最终地面点预测概率对应的下采样点进行提取，将提取得到的下采样点的最外边界进行连接形成一个多边形，该多边形为当前的可行驶区域，thr的值为0.9。

Claims (9)

1.一种基于深度学习的弱监督激光可行驶区域预测方法，其特征在于，包括：
S1、对获得的激光原始点云进行预处理得到下采样点云；
S2、通过激光可行驶区域预测算法将下采样点云是否为地面点进行初步标注得到标签；
S3、将下采样点云输入深度学习点云特征提取模型得到初始地面点预测概率集；
通过第一损失函数对深度学习点云特征提取模型进行第一次训练，然后通过第二损失函数对第一次训练后的深度学习点云特征提取模型进行多次迭代训练后得到地面点预测模型；
所述第一损失函数为基于标签和初始地面点预测概率集通过交叉熵损失函数构建得到；
所述第二损失函数为基于标签、当前训练和上一次训练得到的初始地面点预测概率集通过交叉熵损失函数构建得到；
S4、将下采样点云输入地面点预测模型得到最终地面点预测概率集，将高于地面点预测概率阈值的最终地面点预测概率对应的下采样点进行提取，将提取的下采样点的最外边界进行连接得到可行驶区域；
所述第二损失函数由第三损失函数和第四损失函数构成；
其中，所述第三损失函数是基于标签和当前训练得到的初始地面点预测概率集通过交叉熵损失函数构建得到；
所述第四损失函数通过当前训练和上一次训练得到的初始地面点预测概率集通过交叉损失函数构建得到。
2.根据权利要求1所述的基于深度学习的弱监督激光可行驶区域预测方法，其特征在于，通过激光可行驶区域预测算法将下采样点云是否为地面点进行初步标注，所述激光可行驶区域预测算法包括直接计算法、平面拟合法、滤除法和区域筛选法。
3.根据权利要求2所述的基于深度学习的弱监督激光可行驶区域预测方法，其特征在于，通过区域筛选法判断方法将下采样点云是否为地面点进行初步标注，包括：
从下采样点云所在的三维空间内选择一水平面，从所述水平面上选择下采样点云均能够投影到的水平区域，将激光坐标系原点在所述水平区域的投影点作为中心点，基于中心点按照设定的划分角度将水平区域切分成多个扇形区域；
将每个扇形区域划分为多个柱型，通过已划分的多个柱型将下采样点云所在的三维空间切分为多个三维子空间，从每个三维子空间内的激光点中选择最低点；
如果当前最低点与沿着朝向中心点的方向的前一个三维子空间对应的最低点的斜率绝对值小于第一设定斜率，且当前最低点与激光坐标系原点在地面的投影点的斜率小于第二设定斜率，则将当前最低点所在的三维子空间内的激光点作为地面点；
所述下采样点云包括激光坐标系原点和下采样点。
4.根据权利要求3所述的基于深度学习的弱监督激光可行驶区域预测方法，其特征在于，基于设定的分辨率或激光在每个扇形区域的线束分布将每个扇形区域划分为多个柱型。
5.根据权利要求1所述的基于深度学习的弱监督激光可行驶区域预测方法，其特征在于，对激光原始点云进行预处理得到下采样点云，包括：
按照预先设定的高度和半径范围阈值对激光原始点云进行过滤，按照预先设定的空间分辨率将过滤的激光原始点云进行体素化；
将体素化后的激光原始点云在空间上进行均匀下采样得到下采样点云。
6.根据权利要求1所述的基于深度学习的弱监督激光可行驶区域预测方法，其特征在于，所述深度学习点云特征提取模型包括多个卷积层、线性层和softmax层：
其中，将下采样点云输入多个卷积层进行特征提取得到特征张量，将特征张量输入线性层得到由每个激光点为地面点和不为地面点的概率组成的概率特征张量，将概率特征张量通过softmax层进行归一化得到初始地面点预测概率。
7.根据权利要求6所述的基于深度学习的弱监督激光可行驶区域预测方法，其特征在于，每次训练深度学习点云特征提取模型时，将概率特征张量输入softmax层前，所述概率特征张量除以设定的温度系数，随着训练次数的增加，设定的温度系数的数值不断减小。
8.一种基于深度学习的弱监督激光可行驶区域预测系统，其特征在于，包括：
预处理模块，用于对获得的激光原始点云进行预处理得到下采样点云；
确定标签模块，用于通过激光可行驶区域预测算法将下采样点云是否为地面点进行初步标注得到标签；
深度学习点云分割模块，用于将下采样点云输入深度学习点云特征提取模型得到初始地面点预测概率集；通过第一损失函数对深度学习点云特征提取模型进行第一次训练，然后通过第二损失函数对第一次训练后的深度学习点云特征提取模型进行多次迭代训练后得到地面点预测模型；所述第一损失函数为基于标签和初始地面点预测概率集通过交叉熵损失函数构建得到；所述第二损失函数为基于标签、当前训练和上一次训练得到的初始地面点预测概率集通过交叉熵损失函数构建得到；
和推理模块，用于将下采样点云输入地面点预测模型得到最终地面点预测概率集，将高于地面点预测概率阈值的最终地面点预测概率对应的下采样点云进行提取，将提取的下采样点云的最外边界进行连接得到可行驶区域；
所述第二损失函数由第三损失函数和第四损失函数构成；
其中，所述第三损失函数是基于标签和当前训练得到的初始地面点预测概率集通过交叉熵损失函数构建得到；
所述第四损失函数通过当前训练和上一次训练得到的初始地面点预测概率集通过交叉损失函数构建得到。
9.一种基于深度学习的弱监督激光可行驶区域预测系统，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-7中任一项所述的基于深度学习的弱监督激光可行驶区域预测方法。
CN202311126363.5A 2023-09-04 2023-09-04 基于深度学习的弱监督激光可行驶区域预测方法和系统 Active CN116863432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311126363.5A CN116863432B (zh) 2023-09-04 2023-09-04 基于深度学习的弱监督激光可行驶区域预测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311126363.5A CN116863432B (zh) 2023-09-04 2023-09-04 基于深度学习的弱监督激光可行驶区域预测方法和系统

Publications (2)

Publication Number Publication Date
CN116863432A CN116863432A (zh) 2023-10-10
CN116863432B true CN116863432B (zh) 2023-12-22

Family

ID=88228940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311126363.5A Active CN116863432B (zh) 2023-09-04 2023-09-04 基于深度学习的弱监督激光可行驶区域预测方法和系统

Country Status (1)

Country Link
CN (1) CN116863432B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291845B (zh) * 2023-11-27 2024-03-19 成都理工大学 一种点云地面滤波方法、系统、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及系统和应用
CN111310765A (zh) * 2020-02-14 2020-06-19 北京经纬恒润科技有限公司 激光点云语义分割方法和装置
CN112967219A (zh) * 2021-03-17 2021-06-15 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
CN114120110A (zh) * 2021-11-22 2022-03-01 中国科学院紫金山天文台 一种混杂场景机载激光点云分类的多粒度计算方法
CN114386293A (zh) * 2022-03-22 2022-04-22 之江实验室 一种虚实合成的激光雷达点云生成方法和装置
CN115409861A (zh) * 2022-08-30 2022-11-29 重庆长安汽车股份有限公司 基于图像处理的激光雷达地面点云分割方法、装置、设备及介质
WO2022257358A1 (zh) * 2021-06-08 2022-12-15 北京百度网讯科技有限公司 高精地图的生产方法、装置、设备和计算机存储介质
CN115641346A (zh) * 2022-10-20 2023-01-24 东风商用车有限公司 快速提取激光雷达地面点云的方法
WO2023000221A1 (zh) * 2021-07-21 2023-01-26 深圳市大疆创新科技有限公司 可行驶区域生成方法、可移动平台及存储介质
CN116229057A (zh) * 2022-12-22 2023-06-06 之江实验室 一种基于深度学习的三维激光雷达点云语义分割的方法和装置
CN116310350A (zh) * 2023-05-25 2023-06-23 厦门大学 基于图卷积和半监督学习网络的城市场景语义分割方法
CN116413740A (zh) * 2023-06-09 2023-07-11 广汽埃安新能源汽车股份有限公司 一种激光雷达点云地面检测方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及系统和应用
CN111310765A (zh) * 2020-02-14 2020-06-19 北京经纬恒润科技有限公司 激光点云语义分割方法和装置
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
CN112967219A (zh) * 2021-03-17 2021-06-15 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统
WO2022257358A1 (zh) * 2021-06-08 2022-12-15 北京百度网讯科技有限公司 高精地图的生产方法、装置、设备和计算机存储介质
WO2023000221A1 (zh) * 2021-07-21 2023-01-26 深圳市大疆创新科技有限公司 可行驶区域生成方法、可移动平台及存储介质
CN114120110A (zh) * 2021-11-22 2022-03-01 中国科学院紫金山天文台 一种混杂场景机载激光点云分类的多粒度计算方法
CN114386293A (zh) * 2022-03-22 2022-04-22 之江实验室 一种虚实合成的激光雷达点云生成方法和装置
CN115409861A (zh) * 2022-08-30 2022-11-29 重庆长安汽车股份有限公司 基于图像处理的激光雷达地面点云分割方法、装置、设备及介质
CN115641346A (zh) * 2022-10-20 2023-01-24 东风商用车有限公司 快速提取激光雷达地面点云的方法
CN116229057A (zh) * 2022-12-22 2023-06-06 之江实验室 一种基于深度学习的三维激光雷达点云语义分割的方法和装置
CN116310350A (zh) * 2023-05-25 2023-06-23 厦门大学 基于图卷积和半监督学习网络的城市场景语义分割方法
CN116413740A (zh) * 2023-06-09 2023-07-11 广汽埃安新能源汽车股份有限公司 一种激光雷达点云地面检测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Dense Feature Pyramid Network-Based Deep Learning Model for Road Marking Instance Segmentation Using MLS Point Clouds;Siyun Chen等;《 IEEE Transactions on Geoscience and Remote Sensing 》;第59卷(第1期);784 - 800 *
DGANet: A Dilated Graph Attention-Based Network for Local Feature Extraction on 3D Point Clouds;Wan, J等;《REMOTE SENSING》;第13卷(第17期);3484 *
人在环路的机器人在线可持续示教学习;胡艳明 华炜;《无人系统技术》;第4卷(第4期);67-76 *

Also Published As

Publication number Publication date
CN116863432A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN113272830B (zh) 行为预测系统中的轨迹表示
US11836623B2 (en) Object detection and property determination for autonomous vehicles
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN110588653B (zh) 自主车辆的控制系统、控制方法以及控制器
Lim et al. Patchwork: Concentric zone-based region-wise ground segmentation with ground likelihood estimation using a 3D LiDAR sensor
US10803328B1 (en) Semantic and instance segmentation
US11465633B2 (en) Method and system for generating predicted occupancy grid maps
Aycard et al. Intersection safety using lidar and stereo vision sensors
CN116863432B (zh) 基于深度学习的弱监督激光可行驶区域预测方法和系统
US11827214B2 (en) Machine-learning based system for path and/or motion planning and method of training the same
CN110568861B (zh) 一种人机运动障碍物监测方法、可读存储介质和无人机
US11022693B1 (en) Autonomous vehicle controlled based upon a lidar data segmentation system
US20230213643A1 (en) Camera-radar sensor fusion using local attention mechanism
WO2021091900A1 (en) Predicting cut-in probabilities of surrounding agents
Zhang et al. A framework for turning behavior classification at intersections using 3D LIDAR
Saleem et al. Steering angle prediction techniques for autonomous ground vehicles: a review
Chavez-Garcia Multiple sensor fusion for detection, classification and tracking of moving objects in driving environments
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
Iqbal Obstacle detection and track detection in autonomous cars
CN116311127A (zh) 一种道路边界检测方法、计算机设备、可读存储介质及机动车
CN114537447A (zh) 安全通行方法、装置、电子设备和存储介质
CN113432615A (zh) 基于多传感器融合可驾驶区域的检测方法、系统和车辆
WO2023155903A1 (en) Systems and methods for generating road surface semantic segmentation map from sequence of point clouds
Bittel et al. Estimating high definition map parameters with convolutional neural networks
EP4071512A1 (en) Sensor fusion for object-avoidance detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant