CN115184909A - 一种基于目标检测的车载多谱系激光雷达标定系统与方法 - Google Patents

一种基于目标检测的车载多谱系激光雷达标定系统与方法 Download PDF

Info

Publication number
CN115184909A
CN115184909A CN202210815820.0A CN202210815820A CN115184909A CN 115184909 A CN115184909 A CN 115184909A CN 202210815820 A CN202210815820 A CN 202210815820A CN 115184909 A CN115184909 A CN 115184909A
Authority
CN
China
Prior art keywords
module
laser radar
particle
stage
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210815820.0A
Other languages
English (en)
Other versions
CN115184909B (zh
Inventor
钱翰翔
孙晓永
郭晓俊
苏绍璟
吴鹏
魏俊宇
蒋薇
胡明瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210815820.0A priority Critical patent/CN115184909B/zh
Publication of CN115184909A publication Critical patent/CN115184909A/zh
Application granted granted Critical
Publication of CN115184909B publication Critical patent/CN115184909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供了一种基于目标检测的车载多谱系激光雷达标定系统与方法,包括激光雷达组件和自动标定模块,激光雷达组件与自动标定模块电性连接,自动标定模块包括数据获取模块、三维目标检测模块、路面法向量计算模块、PNP初步标定模块和粒子群迭代优化模块,数据获取模块用于获取时间同步激光雷达点云数据,三维目标检测模块用于利用3D目标检测算法得到各类目标的检测框,路面法向量计算模块用于利用点云处理算法得到路面法向量,PNP初步标定模块用于根据各目标检测框中心点建立3D‑3D匹配。本发明使得多谱系激光雷达之间的标定过程无需标定板、克服不良天气的影响、在行车环境下不受路侧灯光、远光灯炫光等常见光源的影响。

Description

一种基于目标检测的车载多谱系激光雷达标定系统与方法
技术领域
本发明涉及车载多谱系激光雷达标定的技术领域,具体涉及一种基于目标检测的车载多谱系激光雷达标定系统与方法。
背景技术
激光雷达作为能够提供高精度三维信息的传感器,可以依据其线数不同进行分类,常见的有128线,60线,64线,32线和16线激光雷达,激光雷达线数的不同代表垂直方向上具有发射器和接收器数量的不同,会直接影响到所接收的点云密度。
现在已经开发出了很多激光雷达与相机、相机与相机、相机与毫米波雷达的标定系统,经过我们大量的检索与参考,发现现有技术的标定系统有如公开号为CN103091667A、CN111337911A、EP3637142A1、US20200319298A1、JP2002062353A所公开的系统,这些系统一般包括:相机组件、标定模块和标定板,以相机组件提取丰富的语义、色彩等信息,可以精准检测到角点特征与边缘特征,方便判断配准的效果,进而完成标定。但这些系统对于一般道路场景,没有特定标定板的话,无法正常工作。而且同谱系雷达由于其线数相等,可以利用同时段激光雷达关键帧点线重合的方式进行坐标匹配,然而多谱系激光雷达由于其线数不等,则无法直接进行点线匹配进行标定。上述系统缺点还包括依赖于相机,而在雾天、夜间、眩光等对于可见光成像相当不利的条件下,以及受限于相机自身标定精度。
发明内容
本发明的目的在于,针对上述标定系统存在的不足,提出了一种基于目标检测的车载多谱系激光雷达标定系统与方法。
本发明采用如下技术方案:
一种基于目标检测的车载多谱系激光雷达标定系统,包括激光雷达组件和自动标定模块,所述激光雷达组件包括主激光雷达和从激光雷达,用于提供激光雷达点云数据,所述激光雷达组件与自动标定模块电性连接,所述自动标定模块包括数据获取模块、三维目标检测模块、路面法向量计算模块、PNP初步标定模块和粒子群迭代优化模块,所述数据获取模块用于获取时间同步激光雷达点云数据,所述三维目标检测模块用于利用3D目标检测算法得到各类目标的检测框,进而得到各角点与中心点,所述路面法向量计算模块用于利用点云处理算法得到路面法向量,所述PNP初步标定模块用于根据各目标检测框中心点建立3D-3D匹配,得到初始外参中的平移矩阵,方位角与翻滚角,根据路面法向量得到初步的初始外参中的俯仰角,所述粒子群迭代优化模块用于以初始外参作为粒子输入到粒子群优化模型中进行迭代优化,得到多谱系激光雷达之间的实际外参。
可选的,所述主激光雷达的数量为一且安装于车顶位置,所述从激光雷达的数量为二且分别安装于车身两侧。
可选的,所述主激光雷达为80线激光雷达,所述从激光雷达为16线辅助激光雷达;
其中,以所述主激光雷达所在位置为坐标原点建立以主激光雷达为中心的坐标系E1,所述坐标系E1在使用中作为绝对坐标系。
可选的,所述PNP初步标定模块包括3D检测框调整子模块和3D-3D匹配点对子模块,所述3D检测框调整子模块用于根据初步外参矩阵调整目标3D检测框,所述3D-3D匹配点对子模块用于根据主激光雷达与从激光雷达重合视场中包含的所有目标检测框的角点得到3D-3D匹配点对
Figure BDA0003742218780000021
Figure BDA0003742218780000022
其中,(Xi,Yi,Zi)表示第i组3D-3D匹配点对中3D点的坐标,(xi,yi,zi)表示第i组2D-3D匹配点对中3D点的坐标,N表示3D-3D匹配点对总数。
可选的,所述粒子群迭代优化模块包括输入模块、第一评估模块、计算模块、更新模块、第二评估模块、提取模块和输出模块,所述输入模块用于将粒子群粒子输入到粒子群优化模型中,所述第一评估模块用于计算每一个粒子的评估函数,所述计算模块用于将第一阶段评估函数最低的粒子作为当前种群中最优的第一阶段粒子,计算每个第一阶段粒子每一次迭代的更新速度,所述更新模块用于基于更新速度更新第一阶段粒子,所述第二评估模块用在粒子更新后计算每一个粒子的第二阶段评估函数,所述提取模块用于提取第二阶段评估函数最低的粒子,所述输出模块用于输出实际外参;
所述粒子群优化模型第一阶段的粒子群Φ1为:
Figure BDA0003742218780000023
其中,(Xi,Yi,Zi)表示第i组3D-3D匹配点对中主激光雷达3D点的坐标,(xi,yi,zi)表示第i组3D-3D匹配点对中从激光雷达3D点的坐标,
Figure BDA0003742218780000031
表示粒子群优化模型中第i个第一阶段粒子,N表示粒子群优化模型中的粒子总数;
所述第一阶段评估函数L1,i为:
L1,i=∑NWi[(Xi-Tri*xi)2+(Yi-Tri*yi)2+(Zi-Tri*zi)2];
其中,Tri为第i个粒子对应的外参,Wi为不同目标种类与距离所对应的权重,对置信度较高的类别给予其更高的权重;所述目标包括普通汽车、货车、巴士、行人、摩托车,权重与距离成反比,越近的目标其权重越大,(Xi-xi)2+(Yi-yi)2+(Zi-zi)2表示主从激光雷达所分别得到的检测框角点的空间距离的平方;
所述每个第一阶段粒子每次迭代的更新速度
Figure BDA0003742218780000032
为:
Figure BDA0003742218780000033
其中,t=1,2,…,M1
Figure BDA0003742218780000034
表示当前种群中最优的第一阶段粒子,
Figure BDA0003742218780000035
表示历史迭代最优的第一阶段粒子,w1,c1,c2为步长,r1,r2为随机数,r1,r2∈rand(0,1);M1表示粒子群优化模型第一阶段的最大迭代次数,当t=1时,
Figure BDA0003742218780000036
其中,当迭代次数为第一次时,历史迭代最优的第一阶段粒子即为对应的第一阶段粒子本身;
所述更新模块以下式更新第一阶段粒子:
Figure BDA0003742218780000037
所述第二评估模块以下式计算每个粒子的第二阶段评估函数:
L2,i=∑NWi[(Xi-Tr′i*xi)2+(Yi-Tr′i*yi)2+(Zi-Tr′i*zi)2];
其中,L2,i表示第i个粒子的第二阶段评估函数,Tr′i为更新后第i个粒子对应的外参;
所述提取模块提取第二阶段评估函数最低的粒子
Figure BDA0003742218780000038
Figure BDA0003742218780000041
基于
Figure BDA0003742218780000042
进行扩充得到下一次迭代的粒子群Φ2
Φ2={(Xi,Yi,Zi,xi,yi,zi);i=1,2,…,N};
其中,Xi=XA,Yi=YA,Zi=ZA,xi=xA+rand(-1,1)*δx,yi=yA+rand(-1,1)*δy,zi=zA+rand(-1,1)*δz,δx,δy,δz为步长;
所述输出模块输出t=M1时种群中最优的第二阶段粒子所对应的外参作为实际外参。
一种基于目标检测的车载多谱系激光雷达标定方法,应用于上述基于目标检测的车载多谱系激光雷达标定系统,所述标定方法包括以下步骤:
获取同步的且具有三个以上车辆、行人和自行车等典型目标的多谱系激光雷达点云数据;
基于改进Voxel R-CNN目标检测算法得到激光点云目标的检测框,进而得到检测框的各个角点与目标中心点,得到若干激光雷达与激光雷达之间的3D-3D匹配点对;
基于各检测框中心点进行PNP算法得到平移矩阵,航向角与翻滚角,基于路面法向量得到俯仰角,进而得到初始外参;
根据初始外参得到的3D-3D匹配点对作为PNP标定初始值输入到粒子群阶段进行优化;
输出最终标定结果。
本发明所取得的有益效果是:
本发明利用3D目标检测算法,自适应地检测常见目标物的三维边界框,确定角点及中心点进而计算出各个激光雷达间的相对坐标。相比以相机为坐标中心,以顶部激光雷达为坐标中心方式具有诸多优点,其视角可以达到360度,且不会产生视场畸变,测量的精度也远远高于相机的精度。同时能够克服不良天气的影响,在行车环境下不受路侧灯光、远光灯炫光等常见光源的影响;
有利于在不适合标定板的室外常规道路交通场景下进行标定,降低标定成本,实时校准多谱系激光雷达,获得不同线数激光雷达之间的相对位置矩阵。
为使能更进一步了解本发明的特征及技术内容,请参阅以下有关本发明的详细说明与附图,然而所提供的附图仅用于提供参考与说明,并非用来对本发明加以限制。
附图说明
图1为本发明整体结构框架示意图;
图2为本发明系统在车载自动驾驶系统中的连接位置示意图;
图3为本发明的激光雷达坐标系示意图;
图4为本发明的粒子群迭代优化的方法流程示意图;
图5为本发明的标定方法流程示意图;
图6为本发明提取路面法向量的应用效果示意图;
图7为本发明检测框构成示意图。
具体实施方式
以下是通过特定的具体实施例来说明本发明的实施方式,本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用,本说明书中的各项细节也可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。另外,本发明的附图仅为简单示意说明,并非依实际尺寸描绘,事先声明。以下实施方式将进一步详细说明本发明的相关技术内容,但所公开的内容并非用以限制本发明的保护范围。
采用的是基于目标检测的无标定板标定方法,该方法能在保证一定精度的前提下对行驶中的智能车载多谱系激光雷达系统在正常道路环境下进行快速自动标定,不需要额外专人使用标定板在特定场合进行标定。
实施例所公开的标定方法,以行车场景下丰富的车辆、行人和自行车为目标,不需要专业人员利用标定板等特殊标准物进行标定,不需要路侧建筑物具有特殊几何结构,大大扩展了标定方法的使用场景。由于多谱系激光雷达点云密度的不同,激光雷达与激光雷达之间的点是不存在一一映射的关系的,特征提取得到的特征点位置并不是精准的,本实施例采用目标检测得到三维检测框的方式,得到目标物的绝对坐标系下的客观描述,克服了多谱系激光雷达之间无法严格匹配的问题,获得了准确的三维检测框角点与中心点。在PNP计算中,根据各类检测物体距离激光雷达的距离和检测结果的置信度设计了权重并结合路面的法向量,得到初步外参标定结果。为得到更准确的结果,在第二阶段采用粒子群算法对标定结果进行优化,使得结果更加具有科学性和可解释性。
本发明根据标定的基础原理,利用目标检测方法取得特定目标的中心点和角点等关键点,计算出关键点在各个激光雷达的相对坐标系下的三维坐标。然后以高线数激光雷达为坐标原点,建立全局的绝对坐标系。然后将其他激光雷达下的同名目标点进行转换。
实施例一。
本实施例提供了一种基于目标检测的车载多谱系激光雷达标定系统。结合图1所示,一种基于目标检测的车载多谱系激光雷达标定系统,包括激光雷达组件和自动标定模块,所述激光雷达组件包括主激光雷达和从激光雷达,用于提供激光雷达点云数据,所述激光雷达组件与自动标定模块电性连接,所述自动标定模块包括数据获取模块、三维目标检测模块、路面法向量计算模块、PNP初步标定模块和粒子群迭代优化模块,所述数据获取模块用于获取时间同步激光雷达点云数据,所述三维目标检测模块用于利用3D目标检测算法得到各类目标的检测框,进而得到各角点与中心点,所述路面法向量计算模块用于利用点云处理算法得到路面法向量,所述PNP初步标定模块用于根据各目标检测框中心点建立3D-3D匹配,得到初始外参中的平移矩阵,方位角与翻滚角,根据路面法向量得到初步的初始外参中的俯仰角,所述粒子群迭代优化模块用于以初始外参作为粒子输入到粒子群优化模型中进行迭代优化,得到多谱系激光雷达之间的实际外参。
可选的,所述主激光雷达的数量为一且安装于车顶位置,所述从激光雷达的数量为二且分别安装于车身两侧。
结合图2所示,本实施例中的标定系统不限于安装在普通汽车上,还可与车载自动驾驶系统电性连接,进而组成车载高性能计算平台。
可选的,所述主激光雷达为80线激光雷达,所述从激光雷达为16线辅助激光雷达;
其中,结合图3所示,以所述主激光雷达所在位置为坐标原点建立以主激光雷达为中心的坐标系E1,所述坐标系E1在使用中作为绝对坐标系。
在数据采集前,考虑智能车平台使用的实际情况和应用场合,设定在出厂和执行工作任务时已经进行了初始标定,其标定结果角度精度范围不高于0.5°,坐标精度范围应不高于1cm。由于该标定算法应用目的为实时校准多传感器在应用时可能发生的安装螺丝松动,安装支架晃动等情况造成的位姿偏移,不考虑因传感器脱落、支架断裂等造成的巨大位移,因为该种情况下多传感器系统已无法工作,需要返回厂家维修,不适用本发明提出的应用场景。
其采集平台使用车载工控机或其他相应能力处理设备,其数据传输方式应采用网络传输,并对每一帧数据进行时间对齐。其数据采样频率不小于15Hz,按照时间顺序存储。
可选的,所述PNP初步标定模块包括3D检测框调整子模块和3D-3D匹配点对子模块,所述3D检测框调整子模块用于根据初步外参矩阵调整目标3D检测框,所述3D-3D匹配点对子模块用于根据主激光雷达与从激光雷达重合视场中包含的所有目标检测框的角点得到3D-3D匹配点对
Figure BDA0003742218780000071
Figure BDA0003742218780000072
其中,(Xi,Yi,Zi)表示第i组3D-3D匹配点对中3D点的坐标,(xi,yi,zi)表示第i组2D-3D匹配点对中3D点的坐标,N表示3D-3D匹配点对总数。
可选的,所述粒子群迭代优化模块包括输入模块、第一评估模块、计算模块、更新模块、第二评估模块、提取模块和输出模块,所述输入模块用于将粒子群粒子输入到粒子群优化模型中,所述第一评估模块用于计算每一个粒子的评估函数,所述计算模块用于将第一阶段评估函数最低的粒子作为当前种群中最优的第一阶段粒子,计算每个第一阶段粒子每一次迭代的更新速度,所述更新模块用于基于更新速度更新第一阶段粒子,所述第二评估模块用在粒子更新后计算每一个粒子的第二阶段评估函数,所述提取模块用于提取第二阶段评估函数最低的粒子,所述输出模块用于输出实际外参;
所述粒子群优化模型第一阶段的粒子群Φ1为:
Figure BDA0003742218780000073
其中,(Xi,Yi,Zi)表示第i组3D-3D匹配点对中主激光雷达3D点的坐标,(xi,yi,zi)表示第i组3D-3D匹配点对中从激光雷达3D点的坐标,
Figure BDA0003742218780000074
表示粒子群优化模型中第i个第一阶段粒子,N表示粒子群优化模型中的粒子总数;
所述第一阶段评估函数L1,i为:
L1,i=∑NWi[(Xi-Tri*xi)2+(Yi-Tri*yi)2+(Zi-Tri*zi)2];
其中,Tri为第i个粒子对应的外参,Wi为不同目标种类与距离所对应的权重,对置信度较高的类别给予其更高的权重;所述目标包括普通汽车、货车、巴士、行人、摩托车,权重与距离成反比,越近的目标其权重越大,(Xi-xi)2+(Yi-yi)2+(Zi-zi)2表示主从激光雷达所分别得到的检测框角点的空间距离的平方;
所述每个第一阶段粒子每次迭代的更新速度
Figure BDA0003742218780000081
为:
Figure BDA0003742218780000082
其中,t=1,2,…,M1
Figure BDA0003742218780000083
表示当前种群中最优的第一阶段粒子,
Figure BDA0003742218780000084
表示历史迭代最优的第一阶段粒子,w1,c1,c2为步长,r1,r2为随机数,r1,r2∈rand(0,1);M1表示粒子群优化模型第一阶段的最大迭代次数,当t=1时,
Figure BDA0003742218780000085
其中,当迭代次数为第一次时,历史迭代最优的第一阶段粒子即为对应的第一阶段粒子本身;
所述更新模块以下式更新第一阶段粒子:
Figure BDA0003742218780000086
所述第二评估模块以下式计算每个粒子的第二阶段评估函数:
L2,i=∑NWi[(Xi-Tr′i*xi)2+(Yi-Tr′i*yi)2+(Zi-Tr′i*zi)2];
其中,L2,i表示第i个粒子的第一阶段评估函数,Tr′i为更新后第i个粒子对应的外参;
所述提取模块提取第二阶段评估函数最低的粒子
Figure BDA0003742218780000087
Figure BDA0003742218780000088
基于
Figure BDA0003742218780000089
进行扩充得到下一次迭代的粒子群Φ2
Φ2={(Xi,Yi,Zi,xi,yi,zi);i=1,2,…,N};
其中,Xi=XA,Yi=YA,Zi=ZA,xi=xA+rand(-1,1)*δx,yi=yA+rand(-1,1)*δy,zi=zA+rand(-1,1)*δz,δx,δy,δz为步长;
所述输出模块输出t=M1时种群中最优的第一阶段粒子所对应的外参作为实际外参。结合图4,上述粒子群迭代优化的方法步骤如下:
第一阶段内:将粒子群输入到粒子群优化模型中;计算每一个粒子的评估函数;将第一阶段评估函数最低的粒子作为当前种群最优的第一阶段粒子,计算每个第一阶段粒子每一次迭代的更新速度;基于更新速度更新第一阶段粒子;
第二阶段内:在粒子更新后计算每一个粒子的第二阶段评估函数;提取第二阶段评估函数最低的粒子;输出最终外参。
本实施例中,还结合所述基于目标检测的车载多谱系激光雷达标定系统提供其工作方法,结合图5,一种基于目标检测的车载多谱系激光雷达标定方法,包括以下步骤:
获取同步的且具有三个以上车辆、行人和自行车等典型目标的多谱系激光雷达点云数据;
基于改进Voxel R-CNN目标检测算法得到激光点云目标的检测框,进而得到检测框的各个角点与目标中心点,得到若干激光雷达与激光雷达之间的3D-3D匹配点对;
基于各检测框中心点进行PNP算法得到平移矩阵,航向角与翻滚角,基于路面法向量得到俯仰角,进而得到初始外参;
根据初始外参得到的3D-3D匹配点对作为PNP标定初始值输入到粒子群阶段进行优化;
输出最终标定结果。
实施例二。
本实施例包含了实施例一的全部内容,提供了一种基于目标检测的车载多谱系激光雷达标定系统,所述自动标定模块还包括预处理模块,预处理模块用于对各个激光雷达采集点云的范围进行滤波,由于稀疏点目标检测精度相对较低,所以根据激光雷达性能指标滤除所有E1坐标系下30m以外的点云。由于激光雷达成像存在5m左右的视觉盲区,所以根据初始标定矩阵去掉主激光雷达可以探测到但距从激光雷达过近而无法探测到的点云;然后对L1激光雷达的视角点云进行裁剪预处理。由于L2、L3激光雷达均安置在车辆的两侧,其视角较顶端L1激光雷达较狭窄很多,所有设置对L1激光雷达视角进行裁剪以匹配L2、L3的视角。最后对地面点进行过滤,其采用设置阈值的方式,结合图6所示,根据地面点云法线和高度阈值,本发明采用中值模糊算法,然后采用扩张操作进行处理。
所述三维目标检测模块采用精度较高的Voxel R-CNN深度学习目标检测算法,针对标定算法对于目标检测精度要求较高,而速度要求较低以及其范围局限在30m以内的特点,在本实施例中选择适用于国内场景的华为ONCE自动驾驶数据集,依据距离裁剪并重新设置标签对其进行训练。其中,为保证检测精度,将不会对困难目标进行检测,且将置信度阈值提高至0.9,即检测置信度0.9以下的结果将被丢弃。
在三维目标检测模块按照PNP算法基于中心点得到初始外参Tr1-2中的平移矩阵,方位角和翻滚角,根据路面法向量得到初始外参Tr1-2中的俯仰角之后,3D检测框调整子模块根据初步外参矩阵调整目标3D检测框,使得各从激光雷达旋转到主激光雷达坐标系中,并根据目标检测框的八个角点得到3D-3D匹配点对。以从激光雷达L2为例,将其坐标系E2与转换矩阵Tr1-2相乘,将L2采集到的检测框的与8个角点调整到E1坐标系中,结合图7所示,每个检测框的角点分别命名为A1,B1,C1,D1,A2,B2,C2,D2
所述输出模块在输出实际外参时,先判断t=M1是否成立,若成立则输出t=M1时种群中最优的第一阶段粒子所对应的外参作为实际外参;否则令t=t+1,并将当前种群中最优的第一阶段粒子作为历史迭代最优的第一阶段粒子,且系统对粒子群继续进行迭代更新,以便于输出模块稳定地输出准确的实际外参。
需要注意的是,将第一阶段评估函数最低的粒子作为当前种群中最优的第一阶段粒子,计算每个第一粒子每一次迭代的更新速度应当理解为,上述实施例仅为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰,都应涵盖在本发明的保护范围之内。
以上所公开的内容仅为本发明的优选可行实施例,并非因此局限本发明的保护范围,所以凡是运用本发明说明书及附图内容所做的等效技术变化,均包含于本发明的保护范围内,此外,随着技术发展其中的元素是可以更新的。

Claims (6)

1.一种基于目标检测的车载多谱系激光雷达标定系统,其特征在于,包括激光雷达组件和自动标定模块,所述激光雷达组件包括主激光雷达和从激光雷达,用于提供激光雷达点云数据,所述激光雷达组件与自动标定模块电性连接,所述自动标定模块包括数据获取模块、三维目标检测模块、路面法向量计算模块、PNP初步标定模块和粒子群迭代优化模块,所述数据获取模块用于获取时间同步激光雷达点云数据,所述三维目标检测模块用于利用3D目标检测算法得到各类目标的检测框,进而得到各角点与中心点,所述路面法向量计算模块用于利用点云处理算法得到路面法向量,所述PNP初步标定模块用于根据各目标检测框中心点建立3D-3D匹配,得到初始外参中的平移矩阵,方位角与翻滚角,根据路面法向量得到初步的初始外参中的俯仰角,所述粒子群迭代优化模块用于以初始外参作为粒子输入到粒子群优化模型中进行迭代优化,得到多谱系激光雷达之间的实际外参。
2.如权利要求1所述的一种基于目标检测的车载多谱系激光雷达标定系统,其特征在于,所述主激光雷达的数量为一且安装于车顶位置,所述从激光雷达的数量为二且分别安装于车身两侧。
3.如权利要求2所述的一种基于目标检测的车载多谱系激光雷达标定系统,其特征在于,所述主激光雷达为80线激光雷达,所述从激光雷达为16线辅助激光雷达;
其中,以所述主激光雷达所在位置为坐标原点建立以主激光雷达为中心的坐标系E1,所述坐标系E1在使用中作为绝对坐标系。
4.如权利要求3所述的一种基于目标检测的车载多谱系激光雷达标定系统,其特征在于,所述PNP初步标定模块包括3D检测框调整子模块和3D-3D匹配点对子模块,所述3D检测框调整子模块用于根据初步外参矩阵调整目标3D检测框,所述3D-3D匹配点对子模块用于根据主激光雷达与从激光雷达重合视场中包含的所有目标检测框的角点得到3D-3D匹配点对
Figure FDA0003742218770000011
Figure FDA0003742218770000012
其中,(Xi,Yi,Zi)表示第i组3D-3D匹配点对中3D点的坐标,(xi,yi,zi)表示第i组2D-3D匹配点对中3D点的坐标,N表示3D-3D匹配点对总数。
5.如权利要求4所述的一种基于目标检测的车载多谱系激光雷达标定系统,其特征在于,所述粒子群迭代优化模块包括输入模块、第一评估模块、计算模块、更新模块、第二评估模块、提取模块和输出模块,所述输入模块用于将粒子群粒子输入到粒子群优化模型中,所述第一评估模块用于计算每一个粒子的评估函数,所述计算模块用于将第一阶段评估函数最低的粒子作为当前种群中最优的第一阶段粒子,计算每个第一阶段粒子每一次迭代的更新速度,所述更新模块用于基于更新速度更新第一阶段粒子,所述第二评估模块用在粒子更新后计算每一个粒子的第二阶段评估函数,所述提取模块用于提取第二阶段评估函数最低的粒子,所述输出模块用于输出实际外参;
所述粒子群优化模型第一阶段的粒子群Φ1为:
Figure FDA0003742218770000021
其中,(Xi,Yi,Zi)表示第i组3D-3D匹配点对中3D点的坐标,(xi,yi,zi)表示第i组2D-3D匹配点对中3D点的坐标,
Figure FDA0003742218770000022
表示粒子群优化模型中第i个第一阶段粒子,N表示粒子群优化模型中的粒子总数;
所述第一阶段评估函数L1,i为:
L1,i=∑NWi[(Xi-Tri*xi)2+(Yi-Tri*yi)2+(Zi-Tri*zi)2];
其中,Tri为第i个粒子对应的外参,Wi为不同目标种类与距离所对应的权重,对置信度较高的类别给予其更高的权重;所述目标包括普通汽车、货车、巴士、行人、摩托车,权重与距离成反比,越近的目标其权重越大,(Xi-xi)2+(Yi-yi)2+(Zi-zi)2表示主从激光雷达所分别得到的检测框角点的空间距离的平方;
所述每个第一阶段粒子每次迭代的更新速度
Figure FDA0003742218770000023
为:
Figure FDA0003742218770000024
其中,t=1,2,…,M1
Figure FDA0003742218770000025
表示当前种群中最优的第一阶段粒子,
Figure FDA0003742218770000026
表示历史迭代最优的第一阶段粒子,w1,c1,c2为步长,r1,r2为随机数,r1,r2∈rand(0,1);M1表示粒子群优化模型第一阶段的最大迭代次数,当t=1时,
Figure FDA0003742218770000027
其中,当迭代次数为第一次时,历史迭代最优的第一阶段粒子即为对应的第一阶段粒子本身;
所述更新模块以下式更新第一阶段粒子:
Figure FDA0003742218770000031
所述第二评估模块以下式计算每个粒子的第二阶段评估函数:
L2,i=∑NWi[(Xi-Tr′i*xi)2+(Yi-Tr′i*yi)2+(Zi-Tr′i*zi)2];
其中,L2,i表示第i个粒子的第一阶段评估函数,Tr′i为更新后第i个粒子对应的外参;
所述提取模块提取第二阶段评估函数最低的粒子
Figure FDA0003742218770000032
Figure FDA0003742218770000033
基于
Figure FDA0003742218770000034
进行扩充得到下一次迭代的粒子群Φ2
Φ2={(Xi,Yi,Zi,xi,yi,zi);i=1,2,…,N};
其中,Xi=XA,Yi=YA,Zi=ZA,xi=xA+rand(-1,1)*δx,yi=yA+rand(-1,1)*δy,zi=zA+rand(-1,1)*δz,δx,δy,δz为步长;
所述输出模块输出t=M1时种群中最优的第一阶段粒子所对应的外参作为实际外参。
6.一种基于目标检测的车载多谱系激光雷达标定方法,应用如权利要求5所述的一种基于目标检测的车载多谱系激光雷达标定系统,其特征在于,所述标定方法包括以下步骤:
获取同步的且具有三个以上车辆、行人和自行车等典型目标的多谱系激光雷达点云数据;
基于改进Voxel R-CNN目标检测算法得到激光点云目标的检测框,进而得到检测框的各个角点与目标中心点,得到若干激光雷达与激光雷达之间的3D-3D匹配点对;
基于各检测框中心点进行PNP算法得到平移矩阵,航向角与翻滚角,基于路面法向量得到俯仰角,进而得到初始外参;
根据初始外参得到的3D-3D匹配点对作为PNP标定初始值输入到粒子群阶段进行优化;
输出最终标定结果。
CN202210815820.0A 2022-07-11 2022-07-11 一种基于目标检测的车载多谱系激光雷达标定系统与方法 Active CN115184909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210815820.0A CN115184909B (zh) 2022-07-11 2022-07-11 一种基于目标检测的车载多谱系激光雷达标定系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210815820.0A CN115184909B (zh) 2022-07-11 2022-07-11 一种基于目标检测的车载多谱系激光雷达标定系统与方法

Publications (2)

Publication Number Publication Date
CN115184909A true CN115184909A (zh) 2022-10-14
CN115184909B CN115184909B (zh) 2023-04-07

Family

ID=83518283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210815820.0A Active CN115184909B (zh) 2022-07-11 2022-07-11 一种基于目标检测的车载多谱系激光雷达标定系统与方法

Country Status (1)

Country Link
CN (1) CN115184909B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116022159A (zh) * 2023-03-31 2023-04-28 禾多科技(北京)有限公司 车辆移动控制方法、装置、电子设备和计算机可读介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7656526B1 (en) * 2006-07-21 2010-02-02 University Corporation For Atmospheric Research Lidar system for remote determination of calibrated, absolute aerosol backscatter coefficients
CN104517297A (zh) * 2013-09-28 2015-04-15 沈阳新松机器人自动化股份有限公司 一种基于粒子群优化的机器人标定方法
KR102028606B1 (ko) * 2018-11-06 2019-10-04 한국산업기술시험원 광트랩을 이용한 윈드라이다의 교정장치 및 이를 이용한 교정방법
CN110456330A (zh) * 2019-08-27 2019-11-15 中国人民解放军国防科技大学 一种相机与激光雷达之间外参无目标自动标定方法及系统
CN113256696A (zh) * 2021-06-28 2021-08-13 中国人民解放军国防科技大学 基于自然场景的激光雷达和相机的外参标定方法
CN113269840A (zh) * 2021-05-27 2021-08-17 深圳一清创新科技有限公司 一种用于相机和多激光雷达的联合标定方法及电子设备
CN113484864A (zh) * 2021-07-05 2021-10-08 中国人民解放军国防科技大学 面向无人艇的航海雷达与光电吊舱协同环境感知方法
WO2021253193A1 (zh) * 2020-06-15 2021-12-23 深圳市大疆创新科技有限公司 多组激光雷达外参的标定方法、标定装置和计算机存储介质
CN113866747A (zh) * 2021-10-13 2021-12-31 上海师范大学 一种多激光雷达的标定方法及装置
CN113888649A (zh) * 2021-10-18 2022-01-04 上海振华重工(集团)股份有限公司 一种多激光雷达外参标定方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7656526B1 (en) * 2006-07-21 2010-02-02 University Corporation For Atmospheric Research Lidar system for remote determination of calibrated, absolute aerosol backscatter coefficients
CN104517297A (zh) * 2013-09-28 2015-04-15 沈阳新松机器人自动化股份有限公司 一种基于粒子群优化的机器人标定方法
KR102028606B1 (ko) * 2018-11-06 2019-10-04 한국산업기술시험원 광트랩을 이용한 윈드라이다의 교정장치 및 이를 이용한 교정방법
CN110456330A (zh) * 2019-08-27 2019-11-15 中国人民解放军国防科技大学 一种相机与激光雷达之间外参无目标自动标定方法及系统
WO2021253193A1 (zh) * 2020-06-15 2021-12-23 深圳市大疆创新科技有限公司 多组激光雷达外参的标定方法、标定装置和计算机存储介质
CN113269840A (zh) * 2021-05-27 2021-08-17 深圳一清创新科技有限公司 一种用于相机和多激光雷达的联合标定方法及电子设备
CN113256696A (zh) * 2021-06-28 2021-08-13 中国人民解放军国防科技大学 基于自然场景的激光雷达和相机的外参标定方法
CN113484864A (zh) * 2021-07-05 2021-10-08 中国人民解放军国防科技大学 面向无人艇的航海雷达与光电吊舱协同环境感知方法
CN113866747A (zh) * 2021-10-13 2021-12-31 上海师范大学 一种多激光雷达的标定方法及装置
CN113888649A (zh) * 2021-10-18 2022-01-04 上海振华重工(集团)股份有限公司 一种多激光雷达外参标定方法、装置、设备及存储介质

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
VIJAY JOHN: "Automatic Calibration and Registration of Lidar and Stereo Camera without Calibration Objects", 《IEEE INTERNATIONAL CONFERENCE ON VEHICULAR ELECTRONICS AND SAFETY (ICVES)》 *
XIAOJUN GUO: "Geometric Feature Extraction of Point Cloud of Chemical Reactor Based on Dynamic Graph Convolution Neural Network", 《ACS OMEGA》 *
刘晓志等: "基于畸变分离的摄像机标定方法", 《东北大学学报(自然科学版)》 *
吕喜在: "一种RS码快速盲识别方法", 《国防科技大学学报》 *
张颖江;潘尧;吴聪;: "基于车载系统双目CCD相机测距" *
张颖江等: "基于车载系统双目CCD相机测距", 《信息安全与技术》 *
曹明玮: "基于监督式学习的全景相机与激光雷达的联合标定", 《研究开发》 *
杨孟骐: "服务机器人激光测距组件的环境可靠性模型及其定量评价方法研究", 《仪器仪表学报》 *
胡峰等: "成像激光雷达与摄像机外部位置关系的标定", 《光学精密工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116022159A (zh) * 2023-03-31 2023-04-28 禾多科技(北京)有限公司 车辆移动控制方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN115184909B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN108802785B (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN108868268B (zh) 基于点到面距离和互相关熵配准的无人车位姿估计方法
CN110859044B (zh) 自然场景中的集成传感器校准
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN109100741B (zh) 一种基于3d激光雷达及图像数据的目标检测方法
CN112001958B (zh) 基于有监督单目深度估计的虚拟点云三维目标检测方法
CN112698302B (zh) 一种颠簸路况下的传感器融合目标检测方法
CN112396650A (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
DE112019001657T5 (de) Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper
CN115032651A (zh) 一种基于激光雷达与机器视觉融合的目标检测方法
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN112740225A (zh) 一种路面要素确定方法及装置
CN114463303B (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
CN115184909B (zh) 一种基于目标检测的车载多谱系激光雷达标定系统与方法
CN115451948A (zh) 一种基于多传感器融合的农业无人车定位里程计方法及系统
CN113947639A (zh) 基于多雷达点云线特征的自适应在线估计标定系统及方法
CN111829514A (zh) 一种适用于车辆底盘集成控制的路面工况预瞄方法
Chellappa et al. On the positioning of multisensor imagery for exploitation and target recognition
CN117029870A (zh) 一种基于路面点云的激光里程计
CN116912786A (zh) 一种基于车路协同的智能网联汽车多模态融合检测方法
CN116878542A (zh) 一种抑制里程计高度漂移的激光slam方法
CN111539278A (zh) 一种用于目标车辆的检测方法及系统
CN115965847A (zh) 交叉视角下多模态特征融合的三维目标检测方法和系统
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
CN112883846A (zh) 一种用于检测车辆前方目标的三维数据采集成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant