CN117129979B - 一种基于机器学习模型的激光雷达标定方法及系统 - Google Patents

一种基于机器学习模型的激光雷达标定方法及系统 Download PDF

Info

Publication number
CN117129979B
CN117129979B CN202311389833.7A CN202311389833A CN117129979B CN 117129979 B CN117129979 B CN 117129979B CN 202311389833 A CN202311389833 A CN 202311389833A CN 117129979 B CN117129979 B CN 117129979B
Authority
CN
China
Prior art keywords
laser radar
calibrated
calibration
lidar
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311389833.7A
Other languages
English (en)
Other versions
CN117129979A (zh
Inventor
赵一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xunlong Software Co ltd
Original Assignee
Shenzhen Xunlong Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xunlong Software Co ltd filed Critical Shenzhen Xunlong Software Co ltd
Priority to CN202311389833.7A priority Critical patent/CN117129979B/zh
Publication of CN117129979A publication Critical patent/CN117129979A/zh
Application granted granted Critical
Publication of CN117129979B publication Critical patent/CN117129979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种基于机器学习模型的激光雷达标定方法及系统,涉及数据处理领域,其中,该方法包括:获取待标定激光雷达组件的相关信息;基于待标定激光雷达组件的相关信息,确定每个待标定激光雷达相对于基准激光雷达的初始外参;获取基准激光雷达及多个待标定激光雷达对标定场景的扫描数据;基于每个待标定激光雷达相对于基准激光雷达的初始外参,对基准激光雷达及多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云;通过参数调整模型基于融合点云及标定场景的标定点云,对初始外参进行调整,直至满足预设条件,生成每个待标定激光雷达相对于待标定激光雷达的目标外参,具有提高多个激光雷达协同场景下的标定效率的优点。

Description

一种基于机器学习模型的激光雷达标定方法及系统
技术领域
本发明涉及数据处理领域,特别涉及一种基于机器学习模型的激光雷达标定方法及系统。
背景技术
激光雷达可以获取周围环境的结构信息与反射信息,可实现定位导航和三维重建,被广泛应用在自动驾驶、数字孪生、AR、VR等领域。一个激光雷达的扫描范围通常是有限的。为了能够使用激光雷达对环境进行完整的扫描和重建,需要在扫描过程中不断地变换激光雷达相对于环境空间的位置和姿态(简称为位姿),来达到对周围环境的完整扫描。相比单激光雷达,由多个激光雷达组成的扫描系统可以显著扩大扫描范围、优化扫描模式、提高扫描效率。为了联合使用多个激光雷达的扫描数据,需要将每次扫描得到的激光点云表达在统一的空间坐标系下,这就需要提前求解不同激光雷达之间的相对位姿,即多个激光雷达之间的相对位姿标定问题,又称多激光雷达的外参标定问题。
若不同的激光雷达在静态扫描情况下得到的点云有较大的重叠,可以采用迭代最近点(Iterative Closest Point, ICP)方法来求得两个扫描点云之间的相对位姿,从而实现激光雷达之间的外参估计。此时多激光雷达外参标定问题可以建模为一个点云匹配问题。该方法估计一个相对位姿,将一个点云进行刚体变换,以使其与目标点云尽可能地重合。这类方法适用于不同激光雷达的扫描视野之间有较大重合的情况,且要求被扫描的环境需要有一定的空间复杂度,也即足够的结构特征,如不平行的平面与边缘等,来提供足够的相对位姿约束。然而使用多个激光雷达的目的通常是扩展扫描视野,这种情况下多个激光雷达之间的共视区域非常小,因此迭代最近点方法不适用于共视区域非常小的多激光雷达外参标定问题。
因此,需要提供一种基于机器学习模型的激光雷达标定方法及系统,用于提高多个激光雷达协同场景下的标定效率。
发明内容
本说明书实施例之一提供一种基于机器学习模型的激光雷达标定方法,包括:获取待标定激光雷达组件的相关信息,其中,所述待标定激光雷达组件包括基准激光雷达及多个待标定激光雷达;基于所述待标定激光雷达组件的相关信息,确定每个所述待标定激光雷达相对于所述基准激光雷达的初始外参;获取所述基准激光雷达及所述多个待标定激光雷达对标定场景的扫描数据;基于每个所述待标定激光雷达相对于所述基准激光雷达的初始外参,对所述基准激光雷达及所述多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云;通过参数调整模型基于所述融合点云及所述标定场景的标定点云,对每个所述待标定激光雷达相对于所述基准激光雷达的初始外参进行调整,直至满足预设条件,生成每个所述待标定激光雷达相对于所述待标定激光雷达的目标外参。
在一些实施例中,所述待标定激光雷达组件的相关信息至少包括所述基准激光雷达的位置信息及性能参数,其中,所述基准激光雷达的性能参数至少包括所述基准激光雷达的测距能力、帧率、点频、角分辨率、视场角、测距精度、测距准度和/或激光波长;所述待标定激光雷达组件的相关信息还至少包括多个所述待标定激光雷达的位置信息及性能参数,其中,所述待标定激光雷达的性能参数至少包括所述待标定激光雷达的测距能力、帧率、点频、角分辨率、视场角、测距精度、测距准度和/或激光波长。
在一些实施例中,所述基于所述待标定激光雷达组件的相关信息,确定每个所述待标定激光雷达相对于所述基准激光雷达的初始外参,包括:通过参数确定模型,基于所述基准激光雷达的位置信息及性能参数和多个所述待标定激光雷达的位置信息及性能参数,确定每个所述待标定激光雷达相对于所述基准激光雷达的初始外参。
在一些实施例中,所述基于每个所述待标定激光雷达相对于所述基准激光雷达的初始外参,对所述基准激光雷达及所述多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云,包括:对于每个所述待标定激光雷达,判断所述待标定激光雷达对标定场景的扫描数据是否具备有效性;当每个所述待标定激光雷达对标定场景的扫描数据具备有效性时,对于每个所述待标定激光雷达,对所述待标定激光雷达对标定场景的扫描数据进行去噪处理;基于每个所述待标定激光雷达相对于所述基准激光雷达的初始外参,对所述基准激光雷达对标定场景的扫描数据及去噪处理后的所述多个待标定激光雷达对标定场景的扫描数据进行融合,生成所述融合点云。
在一些实施例中,所述对于每个所述待标定激光雷达,判断所述待标定激光雷达对标定场景的扫描数据是否具备有效性,包括:对于每个所述待标定激光雷达,通过数据生成模型基于所述待标定激光雷达的位置信息及性能参数和所述标定场景的标定点云,生成所述待标定激光雷达对应的至少一个扫描数据模板;基于所述待标定激光雷达对标定场景的扫描数据与每个所述扫描数据模板之间的相似度,判断所述待标定激光雷达对标定场景的扫描数据是否具备有效性。
在一些实施例中,所述对所述待标定激光雷达对标定场景的扫描数据进行去噪处理,包括:对于每个所述待标定激光雷达,通过数据去噪模型基于所述待标定激光雷达对应的至少一个扫描数据模板对所述待标定激光雷达对标定场景的扫描数据进行去噪处理。
在一些实施例中,所述通过参数调整模型基于所述融合点云及所述标定场景的标定点云,对每个所述待标定激光雷达相对于所述基准激光雷达的初始外参进行调整,直至满足预设条件,生成每个所述待标定激光雷达相对于所述待标定激光雷达的目标外参,包括:S1、基于所述融合点云及所述标定场景的标定点云,判断是否进行参数调整;S2、判断进行参数调整时,确定所述融合点云和所述标定场景的标定点云在多个子区域的相似度,通过所述参数调整模型基于所述融合点云和所述标定场景的标定点云在多个子区域的相似度,对每个所述待标定激光雷达相对于所述基准激光雷达的初始外参进行调整,生成更新后的初始外参;S3、获取所述基准激光雷达及所述多个待标定激光雷达对标定场景的二次扫描数据;S4、基于每个所述待标定激光雷达相对于所述基准激光雷达的初始外参,对所述基准激光雷达及所述多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云,执行S1;S5、判断不进行参数调整或参数调整次数大于预设次数阈值时,预设条件被满足,生成每个所述待标定激光雷达相对于所述待标定激光雷达的目标外参。
在一些实施例中,所述基于所述融合点云及所述标定场景的标定点云,判断是否进行参数调整,包括:基于所述融合点云生成所述标定场景的融合三维模型;所述标定场景的标定点云生成所述标定场景的标定三维模型;基于所述标定场景的融合三维模型和所述标定场景的标定三维模型之间的相似度,判断是否进行参数调整。
在一些实施例中,确定所述基准激光雷达,包括:基于所述待标定激光雷达组件包括的每个激光雷达的位置信息及性能参数,确定所述基准激光雷达。
本说明书实施例之一提供一种基于机器学习模型的激光雷达标定系统,包括:信息获取模块,用于获取待标定激光雷达组件的相关信息,其中,所述待标定激光雷达组件包括基准激光雷达及多个待标定激光雷达;参数初始模块,用于基于所述待标定激光雷达组件的相关信息,确定每个所述待标定激光雷达相对于所述基准激光雷达的初始外参;数据获取模块,用于获取所述基准激光雷达及所述多个待标定激光雷达对标定场景的扫描数据;点云融合模块,用于基于每个所述待标定激光雷达相对于所述基准激光雷达的初始外参,对所述基准激光雷达及所述多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云;参数调整模块,用于通过参数调整模型基于所述融合点云及所述标定场景的标定点云,对每个所述待标定激光雷达相对于所述基准激光雷达的初始外参进行调整,直至满足预设条件,生成每个所述待标定激光雷达相对于所述待标定激光雷达的目标外参。
相比于现有技术,本说明书提供的一种基于机器学习模型的激光雷达标定方法及系统,至少具备以下有益效果:
1、不用建立复杂的标定场景,通过随意选择的一个标定场景便可以实现对多个激光雷达协同场景下的标定,并且,通过机器学习模型确定每个待标定激光雷达相对于基准激光雷达的初始外参,进一步地,通过机器学习模型基于融合点云及标定场景的标定点云,对每个待标定激光雷达相对于基准激光雷达的初始外参进行调整,最终确定每个待标定激光雷达相对于待标定激光雷达的目标外参,无需人工在每次标定的过程中,执行复杂的操作,自动化完成多个激光雷达协同场景下的标定工作,提高了多个激光雷达协同场景下的标定效率;
2、通过参数确定模型基于基准激光雷达的位置信息及性能参数和多个待标定激光雷达的位置信息及性能参数,确定更加准确的每个待标定激光雷达相对于基准激光雷达的初始外参,减少后续外参调整的工作量,进一步提高了多个激光雷达协同场景下的标定效率;
3、在生成融合点云之前,先判断待标定激光雷达对标定场景的扫描数据是否具备有效性,在判断每个待标定激光雷达对标定场景的扫描数据具备有效性时,再进行后续的生成融合点云的工作,避免了无效的数据处理,减少了工作量,进一步提高了多个激光雷达协同场景下的标定效率;
4、通过参数调整模型基于融合点云和标定场景的标定点云在多个子区域的相似度,使得机器学习模型较为准确地获取调整方向,对每个待标定激光雷达相对于基准激光雷达的初始外参进行调整,生成更为有效的更新后的初始外参。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的一种基于机器学习模型的激光雷达标定系统的模块示意图;
图2是根据本说明书一些实施例所示的一种基于机器学习模型的激光雷达标定方法的流程示意图;
图3是根据本说明书一些实施例所示的生成融合点云的流程示意图;
图4是根据本说明书一些实施例所示的生成目标外参的流程示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的一种基于机器学习模型的激光雷达标定系统的模块示意图,如图1所示,一种基于机器学习模型的激光雷达标定系统可以包括信息获取模块、参数初始模块、数据获取模块、点云融合模块及参数调整模块。
信息获取模块可以用于获取待标定激光雷达组件的相关信息,其中,待标定激光雷达组件包括基准激光雷达及多个待标定激光雷达。
参数初始模块可以用于基于待标定激光雷达组件的相关信息,确定每个待标定激光雷达相对于基准激光雷达的初始外参。
数据获取模块可以用于获取基准激光雷达及多个待标定激光雷达对标定场景的扫描数据。
点云融合模块可以用于基于每个待标定激光雷达相对于基准激光雷达的初始外参,对基准激光雷达及多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云。
参数调整模块可以用于通过参数调整模型基于融合点云及标定场景的标定点云,对每个待标定激光雷达相对于基准激光雷达的初始外参进行调整,直至满足预设条件,生成每个待标定激光雷达相对于待标定激光雷达的目标外参。
关于信息获取模块、参数初始模块、数据获取模块、点云融合模块及参数调整模块的更多描述可以参见图2及其相关描述,此处不再赘述。
图2是根据本说明书一些实施例所示的一种基于机器学习模型的激光雷达标定方法的流程示意图,在一些实施例中,一种基于机器学习模型的激光雷达标定方法可以由一种基于机器学习模型的激光雷达标定系统执行,如图2所示,一种基于机器学习模型的激光雷达标定方法可以包括以下步骤。
步骤210,获取待标定激光雷达组件的相关信息。在一些实施例中,步骤210可以由信息获取模块执行。
待标定激光雷达组件包括基准激光雷达及多个待标定激光雷达。其中,基准雷达可以为待标定激光雷达组件中完成激光雷达坐标系和其它坐标系融合的激光雷达。
以待标定激光雷达组件安装在车体上为例进行说明,基准雷达可以为待标定激光雷达组件中完成激光雷达坐标系和车体坐标系融合的激光雷达,基准激光雷达的标定可以包括以下步骤:
S11、以地面为基准水平面,以地面为水平基准构建车体坐标系,提取三维激光雷达地面数据并拟合地平面,使得三维激光雷达数据拟合的地平面与基准水平面重合,标定基准激光雷达相对于车体坐标系的横滚角、俯仰角和高度;
S12、将标定的基准激光雷达相对于车体坐标系的横滚角、俯仰角和高度△z转换到车体坐标系,调整主激光雷达航向角参数,使得车辆行驶轨迹与道路两侧建筑物立面平行,标定激光雷达的航向角。
在一些实施例中,待标定激光雷达组件的相关信息至少包括基准激光雷达的位置信息及性能参数,其中,基准激光雷达的性能参数至少包括基准激光雷达的测距能力、帧率、点频、角分辨率、视场角、测距精度、测距准度和/或激光波长。具体的,测距能力可以表征激光雷达的最远测距能力,帧率为激光雷达每秒传递的帧数,以Hz为单位,通常为5、10、20Hz,每一帧都是完整的一轮扫描结果。点频为激光雷达扫描1s的总探测点数。排除丢帧或噪点等影响,单帧点数*帧率数值=点频。角分辨率表征两点之间的角度间隔(水平与竖直),角度间隔越小对物体细节表现越细致。视场角(FOV)分为水平视场角,垂直视场角,表示激光雷达前方能扫描到的区域。视场角越大则扫描范围越大。测距精度主要表征激光雷达测量物体时数据的一致性。精度越高表示误差越小,每一次获取到的数值更为一致。例如:<2cm (1σ@20m)即表示在20m测量位置,在1σ的概率下,每次测量的误差值小于2cm。测距准度表现为实际测距与真实值之间的一致程度。该误差越小,表现为能够更准确的还原物体。
在一些实施例中,待标定激光雷达组件的相关信息还可以包括盲区及功耗。盲区主要包括测距盲区及角度盲区、测距盲区是在考虑雷达盒体内的光束探测反馈(玻璃片前导信号及其他反馈信号)可能会使得近距离的探测精度大幅度下降使得数据没有意义,所以会存在直接舍去近距离点云的部分数据,这部分会被划定为盲区。角度盲区是与雷达安装位置有关,因为雷达的FOV有限及放置高度可变,所以会探测不到部分区域。功耗可以表征激光雷达在正常工作下消耗的电功率。
在一些实施例中,待标定激光雷达组件的相关信息还至少包括多个待标定激光雷达的位置信息及性能参数,其中,待标定激光雷达的性能参数至少包括待标定激光雷达的测距能力、帧率、点频、角分辨率、视场角、测距精度、测距准度和/或激光波长。
在一些实施例中,待标定激光雷达组件的相关信息还可以包括盲区及功耗。
在一些实施例中,可以基于待标定激光雷达组件包括的每个激光雷达的位置信息及性能参数,确定基准激光雷达。
具体的,可以根据评分体系,基于待标定激光雷达组件包括的每个激光雷达的位置信息及性能参数,确定待标定激光雷达组件包括的每个激光雷达适配分值,将适配分值最大的激光雷达作为基准激光雷达。其中,评分系统可以包括多个评价指标,例如,关联指标、性能指标及视野指标等。对于待标定激光雷达组件包括的每个激光雷达,可以基于该激光雷达的位置信息及性能参数,确定该激光雷达在多个评价指标上的得分,进而确定激光雷达适配分值。其中,可以基于激光雷达的测距能力、帧率、点频、角分辨率、视场角大小、测距精度、测距准度、激光波长和/或功耗,确定激光雷达在性能指标上的得分,可以理解的,激光雷达在性能指标上的得分越高,表征激光雷达的性能越好。并且,可以基于该激光雷达的水平视场角的中心与每个其他的激光雷达的水平视场角之间的距离,确定该激光雷达在关联指标上的得分。进一步地,可以基于该激光雷达在当前位置的测距盲区、角度盲区和视场角,计算该激光雷达在视野指标上的得分。
仅作为示例的,可以基于以下公式计算激光雷达在关联指标上的得分:
其中,为激光雷达在关联指标上的得分,/>为预设参数,/>为该激光雷达的水平视场角的中心与其他的第/>个激光雷达的水平视场角之间的距离,/>为待标定激光雷达组件包括的多个待标定激光雷达的总数。
可以基于以下公式计算激光雷达在视野指标上的得分:
其中,为激光雷达在视野指标上的得分,/>为激光雷达的测距盲区,/>为激光雷达的角度盲区,/>为激光雷达的视场角。
可以基于以下公式确定激光雷达适配分值:
其中,为激光雷达适配分值,/>为激光雷达在性能指标上的得分,/>及/>均为预设权重。
步骤220,基于待标定激光雷达组件的相关信息,确定每个待标定激光雷达相对于基准激光雷达的初始外参。在一些实施例中,步骤220可以由参数初始模块执行。
具体的,参数初始模块可以通过参数确定模型,基于基准激光雷达的位置信息及性能参数和多个待标定激光雷达的位置信息及性能参数,确定每个待标定激光雷达相对于基准激光雷达的初始外参。其中,参数确定模型可以包括但不限于神经网络(NN)、卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)等或其任意组合。其中,待标定激光雷达相对于基准激光雷达的外参可以表征待标定激光雷达的坐标系与基准激光雷达的坐标系之间的相对变换关系。
例如,对于每个待标定激光雷达,将该待标定激光雷达的扫描位置在该待标定激光雷达的坐标系下的坐标与该待标定激光雷达相对于基准激光雷达的外参相乘,得到该扫描位置在基准激光雷达的坐标系下的坐标/>,即:
步骤230,获取基准激光雷达及多个待标定激光雷达对标定场景的扫描数据。在一些实施例中,步骤230可以由数据获取模块执行。
具体的,可以控制基准激光雷达和多个待标定激光雷达对标定场景进行扫描,获取基准激光雷达及多个待标定激光雷达对标定场景的扫描数据。其中,标定场景可以为具备一定障碍物的空间。
步骤240,基于每个待标定激光雷达相对于基准激光雷达的初始外参,对基准激光雷达及多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云。在一些实施例中,步骤240可以由点云融合模块执行。
具体的,对于每个待标定激光雷达,可以基于该待标定激光雷达的初始外参,将该待标定激光雷达对标定场景的扫描数据转化为基准激光雷达的坐标系下的点云数据,进而根据点的坐标,与基于基准激光雷达对标定场景的扫描数据生成的点云数据进行拼接,生成融合点云。
图3是根据本说明书一些实施例所示的生成融合点云的流程示意图,如图3所示,在一些实施例中,基于每个待标定激光雷达相对于基准激光雷达的初始外参,对基准激光雷达及多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云,包括:
对于每个待标定激光雷达,判断待标定激光雷达对标定场景的扫描数据是否具备有效性;
当每个待标定激光雷达对标定场景的扫描数据具备有效性时,对于每个待标定激光雷达,对待标定激光雷达对标定场景的扫描数据进行去噪处理;
基于每个待标定激光雷达相对于基准激光雷达的初始外参,对基准激光雷达对标定场景的扫描数据及去噪处理后的多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云。
在一些实施例中,对于每个待标定激光雷达,判断待标定激光雷达对标定场景的扫描数据是否具备有效性,包括:
对于每个待标定激光雷达,
通过数据生成模型基于待标定激光雷达的位置信息及性能参数和标定场景的标定点云,生成待标定激光雷达对应的至少一个扫描数据模板,其中,数据生成模型可以包括但不限于神经网络(NN)、卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)等或其任意组合,标定场景的标定点云可以为通过高精度的标定后的激光雷达扫描生成的点云数据,可以理解的,数据生成模型可以基于待标定激光雷达的位置信息,从标定场景的标定点云中截取与待标定激光雷达的位置信息对应的点云数据,并且基于待标定激光雷达的视场角和盲区,生成该待标定激光雷达可能采集到的点云数据,即扫描数据模板;
基于待标定激光雷达对标定场景的扫描数据与每个扫描数据模板之间的相似度,判断待标定激光雷达对标定场景的扫描数据是否具备有效性。
具体的,当待标定激光雷达对标定场景的扫描数据与任意一个扫描数据模板之间的相似度大于预设相似度阈值时,该待标定激光雷达对标定场景的扫描数据具备有效性。
在一些实施例中,对于每个待标定激光雷达,点云融合模块可以通过数据去噪模型基于待标定激光雷达对应的至少一个扫描数据模板对待标定激光雷达对标定场景的扫描数据进行去噪处理。其中,数据去噪模型可以包括但不限于神经网络(NN)、卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)等或其任意组合。
步骤250,通过参数调整模型基于融合点云及标定场景的标定点云,对每个待标定激光雷达相对于基准激光雷达的初始外参进行调整,直至满足预设条件,生成每个待标定激光雷达相对于待标定激光雷达的目标外参。在一些实施例中,步骤250可以由参数调整模块执行。
图4是根据本说明书一些实施例所示的生成目标外参的流程示意图,如图4所示,在一些实施例中,通过参数调整模型基于融合点云及标定场景的标定点云,对每个待标定激光雷达相对于基准激光雷达的初始外参进行调整,直至满足预设条件,生成每个待标定激光雷达相对于待标定激光雷达的目标外参,包括:
S1、基于融合点云及标定场景的标定点云,判断是否进行参数调整;
S2、判断进行参数调整时,确定融合点云和标定场景的标定点云在多个子区域的相似度,通过参数调整模型基于融合点云和标定场景的标定点云在多个子区域的相似度,对每个待标定激光雷达相对于基准激光雷达的初始外参进行调整,生成更新后的初始外参,其中,参数调整模型可以包括但不限于神经网络(NN)、卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)等或其任意组合;
S3、获取基准激光雷达及多个待标定激光雷达对标定场景的二次扫描数据;
S4、基于每个待标定激光雷达相对于基准激光雷达的初始外参,对基准激光雷达及多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云,执行S1;
S5、判断不进行参数调整或参数调整次数大于预设次数阈值时,预设条件被满足,生成每个待标定激光雷达相对于待标定激光雷达的目标外参。
如图3所示,在一些实施例中,参数调整模块可以基于融合点云及标定场景的标定点云,判断是否进行参数调整,包括:
基于融合点云生成标定场景的融合三维模型;
标定场景的标定点云生成标定场景的标定三维模型;
基于标定场景的融合三维模型和标定场景的标定三维模型之间的相似度,判断是否进行参数调整。可以理解的,预设条件可以为标定场景的融合三维模型和标定场景的标定三维模型之间的相似度大于预设三维模型相似度阈值或外参的调整次数大于预设调整次数阈值。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (8)

1.一种基于机器学习模型的激光雷达标定方法,其特征在于,包括:
获取待标定激光雷达组件的相关信息,其中,所述待标定激光雷达组件包括基准激光雷达及多个待标定激光雷达;
基于所述待标定激光雷达组件的相关信息,确定每个所述待标定激光雷达相对于所述基准激光雷达的初始外参;
获取所述基准激光雷达及所述多个待标定激光雷达对标定场景的扫描数据;
基于每个所述待标定激光雷达相对于所述基准激光雷达的初始外参,对所述基准激光雷达及所述多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云;
通过参数调整模型基于所述融合点云及所述标定场景的标定点云,对每个所述待标定激光雷达相对于所述基准激光雷达的初始外参进行调整,直至满足预设条件,生成每个所述待标定激光雷达相对于所述基准激光雷达的目标外参;
其中,确定所述基准激光雷达,包括:
根据评分体系,基于待标定激光雷达组件包括的每个激光雷达的位置信息及性能参数,确定待标定激光雷达组件包括的每个激光雷达适配分值,将适配分值最大的激光雷达作为基准激光雷达,其中,评分系统包括关联指标、性能指标及视野指标,对于待标定激光雷达组件包括的每个激光雷达,基于该激光雷达的位置信息及性能参数,确定激光雷达在多个评价指标上的得分,进而确定激光雷达适配分值,基于激光雷达的测距能力、帧率、点频、角分辨率、视场角大小、测距精度、测距准度、激光波长和/或功耗,确定激光雷达在性能指标上的得分,基于该激光雷达的水平视场角的中心与每个其他的激光雷达的水平视场角之间的距离,确定该激光雷达在关联指标上的得分,基于该激光雷达在当前位置的测距盲区、角度盲区和视场角,计算该激光雷达在视野指标上的得分;
具体的,基于以下公式计算激光雷达在关联指标上的得分:
其中,为激光雷达在关联指标上的得分,/>为预设参数,/>为该激光雷达的水平视场角的中心与其他的第/>个激光雷达的水平视场角之间的距离,/>为待标定激光雷达组件包括的多个待标定激光雷达的总数;
基于以下公式计算激光雷达在视野指标上的得分:
其中,为激光雷达在视野指标上的得分,/>为激光雷达的测距盲区,/>为激光雷达的角度盲区,/>为激光雷达的视场角;
基于以下公式确定激光雷达适配分值:
,
其中,为激光雷达适配分值,/>为激光雷达在性能指标上的得分,/>、/>及/>均为预设权重。
2.根据权利要求1所述的一种基于机器学习模型的激光雷达标定方法,其特征在于,所述基于所述待标定激光雷达组件的相关信息,确定每个所述待标定激光雷达相对于所述基准激光雷达的初始外参,包括:
通过参数确定模型,基于所述基准激光雷达的位置信息及性能参数和多个所述待标定激光雷达的位置信息及性能参数,确定每个所述待标定激光雷达相对于所述基准激光雷达的初始外参。
3.根据权利要求1或2所述的一种基于机器学习模型的激光雷达标定方法,其特征在于,所述基于每个所述待标定激光雷达相对于所述基准激光雷达的初始外参,对所述基准激光雷达及所述多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云,包括:
对于每个所述待标定激光雷达,判断所述待标定激光雷达对标定场景的扫描数据是否具备有效性;
当每个所述待标定激光雷达对标定场景的扫描数据具备有效性时,对于每个所述待标定激光雷达,对所述待标定激光雷达对标定场景的扫描数据进行去噪处理;
基于每个所述待标定激光雷达相对于所述基准激光雷达的初始外参,对所述基准激光雷达对标定场景的扫描数据及去噪处理后的所述多个待标定激光雷达对标定场景的扫描数据进行融合,生成所述融合点云。
4.根据权利要求3所述的一种基于机器学习模型的激光雷达标定方法,其特征在于,所述对于每个所述待标定激光雷达,判断所述待标定激光雷达对标定场景的扫描数据是否具备有效性,包括:
对于每个所述待标定激光雷达,
通过数据生成模型基于所述待标定激光雷达的位置信息及性能参数和所述标定场景的标定点云,生成所述待标定激光雷达对应的至少一个扫描数据模板;
基于所述待标定激光雷达对标定场景的扫描数据与每个所述扫描数据模板之间的相似度,判断所述待标定激光雷达对标定场景的扫描数据是否具备有效性。
5.根据权利要求4所述的一种基于机器学习模型的激光雷达标定方法,其特征在于,所述对所述待标定激光雷达对标定场景的扫描数据进行去噪处理,包括:
对于每个所述待标定激光雷达,通过数据去噪模型基于所述待标定激光雷达对应的至少一个扫描数据模板对所述待标定激光雷达对标定场景的扫描数据进行去噪处理。
6.根据权利要求1或2所述的一种基于机器学习模型的激光雷达标定方法,其特征在于,所述通过参数调整模型基于所述融合点云及所述标定场景的标定点云,对每个所述待标定激光雷达相对于所述基准激光雷达的初始外参进行调整,直至满足预设条件,生成每个所述待标定激光雷达相对于所述基准激光雷达的目标外参,包括:
S1、基于所述融合点云及所述标定场景的标定点云,判断是否进行参数调整;
S2、判断进行参数调整时,确定所述融合点云和所述标定场景的标定点云在多个子区域的相似度,通过所述参数调整模型基于所述融合点云和所述标定场景的标定点云在多个子区域的相似度,对每个所述待标定激光雷达相对于所述基准激光雷达的初始外参进行调整,生成更新后的初始外参;
S3、获取所述基准激光雷达及所述多个待标定激光雷达对标定场景的二次扫描数据;
S4、基于每个所述待标定激光雷达相对于所述基准激光雷达的初始外参,对所述基准激光雷达及所述多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云,执行S1;
S5、判断不进行参数调整或参数调整次数大于预设次数阈值时,预设条件被满足,生成每个所述待标定激光雷达相对于所述基准激光雷达的目标外参。
7.根据权利要求6所述的一种基于机器学习模型的激光雷达标定方法,其特征在于,所述基于所述融合点云及所述标定场景的标定点云,判断是否进行参数调整,包括:
基于所述融合点云生成所述标定场景的融合三维模型;
所述标定场景的标定点云生成所述标定场景的标定三维模型;
基于所述标定场景的融合三维模型和所述标定场景的标定三维模型之间的相似度,判断是否进行参数调整。
8.一种基于机器学习模型的激光雷达标定系统,其特征在于,包括:
信息获取模块,用于获取待标定激光雷达组件的相关信息,其中,所述待标定激光雷达组件包括基准激光雷达及多个待标定激光雷达;
参数初始模块,用于基于所述待标定激光雷达组件的相关信息,确定每个所述待标定激光雷达相对于所述基准激光雷达的初始外参;
数据获取模块,用于获取所述基准激光雷达及所述多个待标定激光雷达对标定场景的扫描数据;
点云融合模块,用于基于每个所述待标定激光雷达相对于所述基准激光雷达的初始外参,对所述基准激光雷达及所述多个待标定激光雷达对标定场景的扫描数据进行融合,生成融合点云;
参数调整模块,用于通过参数调整模型基于所述融合点云及所述标定场景的标定点云,对每个所述待标定激光雷达相对于所述基准激光雷达的初始外参进行调整,直至满足预设条件,生成每个所述待标定激光雷达相对于所述基准激光雷达的目标外参;
其中,确定所述基准激光雷达,包括:
根据评分体系,基于待标定激光雷达组件包括的每个激光雷达的位置信息及性能参数,确定待标定激光雷达组件包括的每个激光雷达适配分值,将适配分值最大的激光雷达作为基准激光雷达,其中,评分系统包括关联指标、性能指标及视野指标,对于待标定激光雷达组件包括的每个激光雷达,基于该激光雷达的位置信息及性能参数,确定激光雷达在多个评价指标上的得分,进而确定激光雷达适配分值,基于激光雷达的测距能力、帧率、点频、角分辨率、视场角大小、测距精度、测距准度、激光波长和/或功耗,确定激光雷达在性能指标上的得分,基于该激光雷达的水平视场角的中心与每个其他的激光雷达的水平视场角之间的距离,确定该激光雷达在关联指标上的得分,基于该激光雷达在当前位置的测距盲区、角度盲区和视场角,计算该激光雷达在视野指标上的得分;
具体的,基于以下公式计算激光雷达在关联指标上的得分:
其中,为激光雷达在关联指标上的得分,/>为预设参数,/>为该激光雷达的水平视场角的中心与其他的第/>个激光雷达的水平视场角之间的距离,/>为待标定激光雷达组件包括的多个待标定激光雷达的总数;
基于以下公式计算激光雷达在视野指标上的得分:
其中,为激光雷达在视野指标上的得分,/>为激光雷达的测距盲区,/>为激光雷达的角度盲区,/>为激光雷达的视场角;
基于以下公式确定激光雷达适配分值:
其中,为激光雷达适配分值,/>为激光雷达在性能指标上的得分,/>、/>及/>均为预设权重。
CN202311389833.7A 2023-10-25 2023-10-25 一种基于机器学习模型的激光雷达标定方法及系统 Active CN117129979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311389833.7A CN117129979B (zh) 2023-10-25 2023-10-25 一种基于机器学习模型的激光雷达标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311389833.7A CN117129979B (zh) 2023-10-25 2023-10-25 一种基于机器学习模型的激光雷达标定方法及系统

Publications (2)

Publication Number Publication Date
CN117129979A CN117129979A (zh) 2023-11-28
CN117129979B true CN117129979B (zh) 2024-02-13

Family

ID=88860328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311389833.7A Active CN117129979B (zh) 2023-10-25 2023-10-25 一种基于机器学习模型的激光雷达标定方法及系统

Country Status (1)

Country Link
CN (1) CN117129979B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110596683A (zh) * 2019-10-25 2019-12-20 中山大学 一种多组激光雷达外参标定系统及其方法
CN110988848A (zh) * 2019-12-23 2020-04-10 潍柴动力股份有限公司 车载激光雷达相对位姿监测方法及设备
CN114076937A (zh) * 2020-08-20 2022-02-22 北京万集科技股份有限公司 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质
CN114080547A (zh) * 2020-06-15 2022-02-22 深圳市大疆创新科技有限公司 多组激光雷达外参的标定方法、标定装置和计算机存储介质
CN114236509A (zh) * 2021-11-22 2022-03-25 理工雷科智途(泰安)汽车科技有限公司 一种智能车辆多激光雷达的快速标定及校正方法
CN115236644A (zh) * 2022-07-26 2022-10-25 广州文远知行科技有限公司 一种激光雷达外参标定方法、装置、设备和存储介质
CN115294564A (zh) * 2022-08-08 2022-11-04 北京主线科技有限公司 点云数据识别有效性的检测方法、装置、介质和电子设备
CN115685153A (zh) * 2021-07-21 2023-02-03 北京航迹科技有限公司 一种激光雷达标定方法、装置、设备及存储介质
CN115840196A (zh) * 2023-02-24 2023-03-24 新石器慧通(北京)科技有限公司 基于实体标定间的激光雷达间标定方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102257610B1 (ko) * 2019-10-02 2021-05-28 고려대학교 산학협력단 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110596683A (zh) * 2019-10-25 2019-12-20 中山大学 一种多组激光雷达外参标定系统及其方法
CN110988848A (zh) * 2019-12-23 2020-04-10 潍柴动力股份有限公司 车载激光雷达相对位姿监测方法及设备
CN114080547A (zh) * 2020-06-15 2022-02-22 深圳市大疆创新科技有限公司 多组激光雷达外参的标定方法、标定装置和计算机存储介质
CN114076937A (zh) * 2020-08-20 2022-02-22 北京万集科技股份有限公司 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质
CN115685153A (zh) * 2021-07-21 2023-02-03 北京航迹科技有限公司 一种激光雷达标定方法、装置、设备及存储介质
CN114236509A (zh) * 2021-11-22 2022-03-25 理工雷科智途(泰安)汽车科技有限公司 一种智能车辆多激光雷达的快速标定及校正方法
CN115236644A (zh) * 2022-07-26 2022-10-25 广州文远知行科技有限公司 一种激光雷达外参标定方法、装置、设备和存储介质
CN115294564A (zh) * 2022-08-08 2022-11-04 北京主线科技有限公司 点云数据识别有效性的检测方法、装置、介质和电子设备
CN115840196A (zh) * 2023-02-24 2023-03-24 新石器慧通(北京)科技有限公司 基于实体标定间的激光雷达间标定方法及装置

Also Published As

Publication number Publication date
CN117129979A (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN109949372B (zh) 一种激光雷达与视觉联合标定方法
KR102032070B1 (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
JP6825569B2 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2021189468A1 (zh) 激光雷达的姿态校正方法、装置和系统
CN107632308B (zh) 一种基于递归叠加算法的车辆前方障碍物轮廓检测方法
CN109085570A (zh) 基于数据融合的车辆检测跟踪算法
CN110793544B (zh) 路侧感知传感器参数标定方法、装置、设备及存储介质
CN111427026A (zh) 激光雷达的标定方法、装置、存储介质及自移动设备
CN109919893B (zh) 点云修正方法、装置和可读存储介质
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
US11860281B2 (en) Methods and systems for filtering data points when merging LIDAR sensor datasets
CN111862214A (zh) 计算机设备定位方法、装置、计算机设备和存储介质
US11860315B2 (en) Methods and systems for processing LIDAR sensor data
CN110426714B (zh) 一种障碍物识别方法
CN111538008A (zh) 变换矩阵确定方法、系统及装置
CN117129979B (zh) 一种基于机器学习模型的激光雷达标定方法及系统
CN115937325B (zh) 一种结合毫米波雷达信息的车端摄像头标定方法
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN115100287A (zh) 外参标定方法及机器人
CN115236643A (zh) 一种传感器标定方法、系统、装置、电子设备及介质
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
CN114119465B (zh) 一种点云数据处理方法及装置
CN117784797B (zh) 基于视觉图像和激光雷达的水下智能机器人导航避障方法
CN116228603B (zh) 一种挂车周围障碍物的报警系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant