CN116047440A - 一种端到端的毫米波雷达与摄像头外参标定方法 - Google Patents

一种端到端的毫米波雷达与摄像头外参标定方法 Download PDF

Info

Publication number
CN116047440A
CN116047440A CN202310321706.7A CN202310321706A CN116047440A CN 116047440 A CN116047440 A CN 116047440A CN 202310321706 A CN202310321706 A CN 202310321706A CN 116047440 A CN116047440 A CN 116047440A
Authority
CN
China
Prior art keywords
radar
coordinate system
camera
coordinates
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310321706.7A
Other languages
English (en)
Other versions
CN116047440B (zh
Inventor
庞长松
程宇威
朱健楠
池雨豪
虞梦苓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Orca Electronic Intelligent Technology Co ltd
Original Assignee
Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Orca Electronic Intelligent Technology Co ltd filed Critical Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority to CN202310321706.7A priority Critical patent/CN116047440B/zh
Publication of CN116047440A publication Critical patent/CN116047440A/zh
Application granted granted Critical
Publication of CN116047440B publication Critical patent/CN116047440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种涉及多传感器联合标定技术领域的端到端的毫米波雷达与摄像头外参标定方法，通过将每个毫米波雷达与一个摄像头固定形成一个雷达摄像头模组，再使用各个雷达摄像头模组采集同一个目标的雷达数据与摄像头数据，利用一个训练好的外参估计神经网络模型即可将采集到的雷达数据与摄像头数据转换为对应雷达摄像头模组的毫米波雷达与摄像头的空间外参。本发明的外参标定方法无需进行一般毫米波雷达与摄像头标定所需的人工标定，简化了毫米波雷达与摄像头的标定流程，提高了毫米波雷达与摄像头外参的标定效率与标定精度。

Description

一种端到端的毫米波雷达与摄像头外参标定方法
技术领域
本发明涉及多传感器联合标定技术领域，尤其涉及一种端到端的毫米波雷达与摄像头外参标定方法。
背景技术
随着机器人与无人驾驶技术的普及及应用，多传感器融合感知可有效提高机器人在碰撞检测、路径规划等任务上的表现。而在多传感器融合中，不同传感器的空间外参转换关系是其重要参数。在毫米波雷达与摄像头的外参标定领域中，目前常用的方案为 PnP 加后期标定参数微调的两阶段标定方案，其属于目标级优化方案。且两个阶段各自的精度均会影响传感器标定的最终精度。在参数微调阶段时，一般需要人工干预以提升标定精度来达到一个较好的标定性能。
因此，现有的毫米波雷达与摄像头的外参标定方法存在标定流程复杂、标定精度需依赖人工经验的问题。
发明内容
本发明所要解决的技术问题在于提供一种端到端的毫米波雷达与摄像头外参标定方法，可以解决现有的毫米波雷达与摄像头的外参标定方法存在标定流程复杂、标定精度差的问题。
为解决上述技术问题，本发明采用如下所述的技术方案：
一种端到端的毫米波雷达与摄像头外参标定方法，其包括有如下步骤：S10、利用多个雷达摄像头模组采集一个目标的数据，其中，每个雷达摄像头模组包括有一个毫米波雷达和一个摄像头；S20、对摄像头进行内参标定，并分别对采集到的雷达点云数据和摄像头图片数据做数据预处理，得到目标在雷达坐标系内的坐标和目标在像素坐标系内的坐标；S30、根据目标在雷达坐标系内的坐标和目标在像素坐标系内的坐标，利用LM_PnP算法计算雷达坐标系到像素坐标系的外参参数，得到真实旋转矩阵R gt 与真实平移矩阵T gt ；S40、组建外参估计神经网络模型N，采用目标在雷达坐标系内的坐标和目标在像素坐标系内的坐标对外参估计神经网络模型N进行训练及计算，得到预测旋转矩阵R pred 、预测平移矩阵T pred 以及关联点权重W pred ；S50、建立一个可用于端到端学习外参参数的概率PnP神经网络结构M，利用目标在雷达坐标系内的坐标、目标在像素坐标系内的坐标、真实旋转矩阵R gt 、真实平移矩阵T gt 、预测旋转矩阵R pred 、预测平移矩阵T pred 以及关联点权重W pred ，计算得到预测重投影误差后验概率；S60、利用预测重投影误差后验概率与真实重投影误差概率分布的KL散度计算外参估计神经网络模型N的训练误差，并用SGD优化器将该训练误差反向传播，更新外参估计神经网络模型N的权重；S70、重复执行步骤S40至步骤S60，进行迭代训练，直至训练误差达到收敛要求时停止训练，得到训练好的外参估计神经网络模型N；S80、利用训练好的外参估计神经网络模型N，将各个雷达摄像头模组采集到的雷达点云数据和摄像头图片数据转换为对应雷达摄像头模组的毫米波雷达与摄像头的空间外参。
本发明的有益技术效果在于：上述的端到端的毫米波雷达与摄像头外参标定方法，通过将每个毫米波雷达与一个摄像头固定形成一个雷达摄像头模组，再使用各个雷达摄像头模组采集同一个目标的雷达数据与摄像头数据，利用一个训练好的外参估计神经网络模型即可将采集到的雷达数据与摄像头数据转换为对应雷达摄像头模组的毫米波雷达与摄像头的空间外参。本发明的外参标定方法无需进行一般毫米波雷达与摄像头标定所需的人工标定，简化了毫米波雷达与摄像头的标定流程，提高了毫米波雷达与摄像头外参的标定效率与标定精度。
附图说明
图1为本发明的端到端的毫米波雷达与摄像头外参标定方法的流程示意图。
具体实施方式
为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点，以下结合附图和实施例对本发明做进一步的阐述。
如图1所示，在本发明一个实施例中，端到端的毫米波雷达与摄像头外参标定方法包括有步骤S10～步骤S80：
S10、利用多个雷达摄像头模组采集一个目标的数据，其中，每个雷达摄像头模组包括有一个毫米波雷达和一个摄像头；
S20、对摄像头进行内参标定，并分别对采集到的雷达点云数据和摄像头图片数据做数据预处理，得到目标在雷达坐标系内的坐标和目标在像素坐标系内的坐标；
S30、根据目标在雷达坐标系内的坐标和目标在像素坐标系内的坐标，利用LM_PnP算法计算雷达坐标系到像素坐标系的外参参数，得到真实旋转矩阵R gt 与真实平移矩阵T gt ；
S40、组建外参估计神经网络模型N，采用目标在雷达坐标系内的坐标和目标在像素坐标系内的坐标对外参估计神经网络模型N进行训练及计算，得到预测旋转矩阵R pred 、预测平移矩阵T pred 以及关联点权重W pred ；
S50、建立一个可用于端到端学习外参参数的概率PnP神经网络结构M，利用目标在雷达坐标系内的坐标、目标在像素坐标系内的坐标、真实旋转矩阵R gt 、真实平移矩阵T gt 、预测旋转矩阵R pred 、预测平移矩阵T pred 以及关联点权重W pred ，计算得到预测重投影误差后验概率；
S60、利用预测重投影误差后验概率与真实重投影误差概率分布的KL散度计算外参估计神经网络模型N的训练误差，并用SGD优化器将该训练误差反向传播，更新外参估计神经网络模型N的权重；
S70、重复执行步骤S40至步骤S60，进行迭代训练，直至训练误差达到收敛要求时停止训练，得到训练好的外参估计神经网络模型N；
S80、利用训练好的外参估计神经网络模型N，将各个雷达摄像头模组采集到的雷达点云数据和摄像头图片数据转换为对应雷达摄像头模组的毫米波雷达与摄像头的空间外参。
步骤S10进一步包括：
1.1 将一个毫米波雷达
Figure SMS_1
与一个摄像头
Figure SMS_2
固定安装于一个统一的结构上，组成一个雷达摄像头模组
Figure SMS_3
，此时，毫米波雷达
Figure SMS_4
与摄像头
Figure SMS_5
具有固定的外参参数。重复上述操作，将每一个毫米波雷达与一个摄像头固定形成一个雷达摄像头模组，得到多个雷达摄像头模组。
1.2 遥控一个尺寸较小（如0.1m*0.1m*0.1m）的金属小车（目标），在雷达摄像头模组
Figure SMS_8
前以及毫米波雷达
Figure SMS_12
与摄像头
Figure SMS_15
的公共视野
Figure SMS_9
内不断运动，直到金属小车已经运动过的区域已完全覆盖公共视野
Figure SMS_11
。期间，保持采集毫米波雷达点云
Figure SMS_14
及每帧对应的时间
Figure SMS_17
，以及采集摄像头图片
Figure SMS_6
及每帧数据所对应的时间
Figure SMS_10
，得到与雷达摄像头模组
Figure SMS_13
对应毫米波雷达点云
Figure SMS_16
与摄像头图片
Figure SMS_7
。
1.3 利用不同的雷达摄像头模组，不断重复步骤1.2的采集过程，分别得到与各个雷达摄像头模组对应的毫米波雷达点云
Figure SMS_18
与摄像头图片
Figure SMS_19
。
步骤S20进一步包括：
2.1 利用棋盘格、matlab软件对雷达摄像头模组
Figure SMS_20
的摄像头
Figure SMS_21
进行内参标定，得到摄像头
Figure SMS_22
的内参K与畸变系数D。
2.2 将毫米波雷达
Figure SMS_23
所采集的毫米波雷达点云
Figure SMS_24
进行数据预处理，得到每一时刻金属小车在雷达坐标系内的坐标
Figure SMS_25
，其中
Figure SMS_26
为毫米波雷达
Figure SMS_27
一共采集的点云包数量。
2.3 利用标注工具对摄像头
Figure SMS_28
所采集的摄像头图片
Figure SMS_29
中的金属小车做目标框标注，得到每一时刻金属小车在像素坐标系内的坐标
Figure SMS_30
，其中
Figure SMS_31
为摄像头
Figure SMS_32
一共采集的图片数量。
2.4 利用毫米波雷达
Figure SMS_35
所采集的毫米波雷达点云
Figure SMS_38
每包点云所对应的时间
Figure SMS_41
、摄像头
Figure SMS_34
所采集的摄像头图片
Figure SMS_37
每包图片所对应的时间
Figure SMS_40
做时间同步，并选择相应包的毫米波雷达点云中目标在雷达坐标系内的坐标
Figure SMS_42
与相应包的摄像头图片中目标在像素坐标系内的坐标
Figure SMS_33
作为在第i时刻毫米波雷达
Figure SMS_36
与摄像头
Figure SMS_39
观测的位置，即金属小车在第i时刻的雷达坐标系点云坐标和像素坐标系图像坐标。
2.5 不断重复步骤2.1-2.4，完成各个雷达摄像头模组的摄像头内参标定，以及完成对各个雷达摄像头模组采集的毫米波雷达点云数据和摄像头图片数据的预处理，得到与各个雷达摄像头模组相对应的金属小车在雷达坐标系内的坐标
Figure SMS_43
和金属小车在像素坐标系内的坐标
Figure SMS_44
。
步骤S30进一步包括：
3.1 利用直接线性变换方法与相机小孔成像原理所构成的PnP方法进行雷达坐标系到像素坐标系的外参参数的计算，得到旋转矩阵
Figure SMS_45
与平移矩阵
Figure SMS_46
。
3.2 建立最小化投影误差的目标函数F，利用LM（Levenberg–Marquardt，列文伯格-马夸尔特）优化器求解得到优化后的真实旋转矩阵
Figure SMS_47
与真实平移矩阵
Figure SMS_48
，该真实旋转矩阵
Figure SMS_49
与真实平移矩阵
Figure SMS_50
作为对应的雷达摄像头模组的真实外参：
Figure SMS_51
，
其中，
Figure SMS_52
表示目标在雷达坐标系内的坐标，
Figure SMS_53
表示目标在像素坐标系内的坐标，K表示摄像头内参，N points 表示雷达摄像头模组采集到目标的次数。
步骤S40进一步包括：
4.1 以点云MLP（Multilayer Perceptron，多层感知机）结构为主干网络搭建神经网络骨架，得到高维位姿特征
Figure SMS_54
。
4.2 分别在位姿特征
Figure SMS_55
后链接由多层全连接层构成的旋转矩阵预测分支
Figure SMS_56
、多层全连接层构成的平移矩阵预测分支
Figure SMS_57
以及多层全连接层构成的关联点权重预测分支
Figure SMS_58
,分别得到旋转向量
Figure SMS_59
、平移向量
Figure SMS_60
以及关联点权重向量
Figure SMS_61
，形成外参估计神经网络模型N。
4.3 随机抽取k包同一个雷达摄像头模组采集得到的目标在雷达坐标系内的坐标
Figure SMS_62
和目标在像素坐标系内的坐标
Figure SMS_63
作为输入数据，对外参估计神经网络模型N进行训练及计算，得到对应雷达摄像头模组中毫米波雷达与摄像头的预测旋转矩阵R pred 、预测平移矩阵T pred 以及关联点权重
Figure SMS_64
，
Figure SMS_65
表示雷达坐标系点云坐标与像素坐标系图像坐标所对应点的关联权重值。
步骤S50进一步包括：
5.1 计算雷达坐标系到像素坐标系位姿变换的预测重投影误差y，以及计算雷达坐标系到像素坐标系位姿变换的真实重投影误差
Figure SMS_66
：
Figure SMS_67
，
Figure SMS_68
；
其中，K表示摄像头的内参，
Figure SMS_69
表示目标在雷达坐标系内的坐标，
Figure SMS_70
表示目标在像素坐标系内的坐标。
5.2 定义重投影误差概率分布的最大似然函数
Figure SMS_71
，
Figure SMS_72
其中X表示像素坐标系图像坐标（即目标在像素坐标系内的坐标
Figure SMS_73
）到雷达坐标系点云坐标（即目标在雷达坐标系内的坐标
Figure SMS_74
）的匹配，y表示雷达坐标系到像素坐标系位姿变换的预测重投影误差，
Figure SMS_75
表示雷达坐标系点云坐标与像素坐标系图像坐标所对应点的关联权重值，N points 表示雷达摄像头模组采集到目标的次数，似然函数最大值处对应最合理的重投影误差
Figure SMS_76
。
5.3 利用贝叶斯公式计算预测重投影误差
Figure SMS_77
所对应的像素坐标系图像坐标
Figure SMS_78
到雷达坐标系点云坐标
Figure SMS_79
的匹配的预测重投影误差后验概率
Figure SMS_80
，
Figure SMS_81
该预测重投影误差后验概率
Figure SMS_82
作为概率PnP神经网络结构M的输出结果。
步骤S60进一步包括：
6.1 用真实重投影误差概率分布t(y)与预测重投影误差后验概率
Figure SMS_83
的KL散度表示训练误差
Figure SMS_84
：
Figure SMS_85
。
6.2 将真实投影误差概率分布t(y)用一个真值位姿上类似于狄拉克函数的目标分布来表示，代入预测重投影误差后验概率
Figure SMS_86
时，可得训练误差
Figure SMS_87
：
Figure SMS_88
。
6.3 采用蒙特卡洛采样方式近似训练误差
Figure SMS_89
，得到最终的训练误差
Figure SMS_90
。
6.3.1 从同一个雷达摄像头模组采集得到的目标在雷达坐标系内的坐标
Figure SMS_91
和目标在像素坐标系内的坐标
Figure SMS_92
中随机抽取
Figure SMS_93
个数据作为毫米波雷达与摄像头外参参数的计算数据；
6.3.2 计算每个点的密度
Figure SMS_94
作为权重对预测重投影误差后验概率
Figure SMS_95
进行加权计算得到最终的训练误差
Figure SMS_96
：
Figure SMS_97
。
6.4 用
Figure SMS_98
优化器将该训练误差
Figure SMS_99
反向传播，更新外参估计神经网络模型N权重。
更新外参估计神经网络模型N权重后，重复执行步骤S40至步骤S60，进行迭代训练，直至训练误差
Figure SMS_100
达到收敛要求时停止训练，得到训练好的外参估计神经网络模型N。
步骤S80进一步包括：分别对各个雷达摄像头模组采集到的雷达点云数据和摄像头图片数据进行数据预处理，得到与各个雷达摄像头模组相对应的雷达坐标系点云坐标和像素坐标系图像坐标；分别将各个雷达摄像头模组对应的雷达坐标系点云坐标和像素坐标系图像坐标输入训练好的外参估计神经网络模型N中，得到各个雷达摄像头模组对应的旋转矩阵R、平移矩阵T。
本发明的端到端的毫米波雷达与摄像头外参标定方法，通过将每个毫米波雷达与一个摄像头固定形成一个雷达摄像头模组，再使用各个雷达摄像头模组采集同一个目标的雷达数据与摄像头数据，利用一个训练好的外参估计神经网络模型即可将采集到的雷达数据与摄像头数据转换为对应雷达摄像头模组的毫米波雷达与摄像头的空间外参。本发明的外参标定方法无需进行一般毫米波雷达与摄像头标定所需的人工标定，简化了毫米波雷达与摄像头的标定流程，提高了毫米波雷达与摄像头外参的标定效率与标定精度。
以上所述仅为本发明的优选实施例，而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化或修饰，均应落入本发明的保护范围之内。

Claims (9)

1.一种端到端的毫米波雷达与摄像头外参标定方法，其特征在于，所述端到端的毫米波雷达与摄像头外参标定方法包括有如下步骤：
S10、利用多个雷达摄像头模组采集一个目标的数据，其中，每个雷达摄像头模组包括有一个毫米波雷达和一个摄像头；
S20、对摄像头进行内参标定，并分别对采集到的雷达点云数据和摄像头图片数据做数据预处理，得到目标在雷达坐标系内的坐标和目标在像素坐标系内的坐标；
S30、根据目标在雷达坐标系内的坐标和目标在像素坐标系内的坐标，利用LM_PnP算法计算雷达坐标系到像素坐标系的外参参数，得到真实旋转矩阵R gt 与真实平移矩阵T gt ；
S40、组建外参估计神经网络模型N，采用目标在雷达坐标系内的坐标和目标在像素坐标系内的坐标对外参估计神经网络模型N进行训练及计算，得到预测旋转矩阵R pred 、预测平移矩阵T pred 以及关联点权重W pred ；
S50、建立一个可用于端到端学习外参参数的概率PnP神经网络结构M，利用目标在雷达坐标系内的坐标、目标在像素坐标系内的坐标、真实旋转矩阵R gt 、真实平移矩阵T gt 、预测旋转矩阵R pred 、预测平移矩阵T pred 以及关联点权重W pred ，计算得到预测重投影误差后验概率；
S60、利用预测重投影误差后验概率与真实重投影误差概率分布的KL散度计算外参估计神经网络模型N的训练误差，并用SGD优化器将该训练误差反向传播，更新外参估计神经网络模型N的权重；
S70、重复执行步骤S40至步骤S60，进行迭代训练，直至训练误差达到收敛要求时停止训练，得到训练好的外参估计神经网络模型N；
S80、利用训练好的外参估计神经网络模型N，将各个雷达摄像头模组采集到的雷达点云数据和摄像头图片数据转换为对应雷达摄像头模组的毫米波雷达与摄像头的空间外参。
2.如权利要求1所述的端到端的毫米波雷达与摄像头外参标定方法，其特征在于，所述步骤S10进一步包括：
S11、将每一个毫米波雷达与一个摄像头固定形成一个雷达摄像头模组，得到多个雷达摄像头模组；
S12、利用各个雷达摄像头模组的毫米波雷达与摄像头采集一个目标的数据，得到毫米波雷达点云
Figure QLYQS_1
与摄像头图片
Figure QLYQS_2
。
3.如权利要求1所述的端到端的毫米波雷达与摄像头外参标定方法，其特征在于，所述步骤S20进一步包括：
S21、利用棋盘格、matlab软件对各个雷达摄像头模组的摄像头进行内参标定，得到对应的内参K与畸变系数D；
S22、将毫米波雷达所采集的毫米波雷达点云数据进行数据预处理，得到每一时刻目标在雷达坐标系内的坐标
Figure QLYQS_3
，其中
Figure QLYQS_4
为毫米波雷达一共采集的点云包数量；
S23、利用标注工具对摄像头所采集的摄像头图片数据中的目标做目标框标注，得到每一时刻目标在像素坐标系内的坐标
Figure QLYQS_5
，其中
Figure QLYQS_6
为摄像头一共采集的图片数量；
S24、利用同一个雷达摄像头模组采集的毫米波雷达点云每包点云所对应的时间
Figure QLYQS_7
和摄像头图片每包所对应的时间
Figure QLYQS_8
做时间同步，并选择相应包的毫米波雷达点云中目标在雷达坐标系内的坐标
Figure QLYQS_9
与相应包的摄像头图片中目标在像素坐标系内的坐标
Figure QLYQS_10
作为目标在第i时刻的毫米波雷达与摄像头观测的位置。
4.如权利要求1所述的端到端的毫米波雷达与摄像头外参标定方法，其特征在于，所述步骤S30进一步包括：
S31、利用直接线性变换方法与相机小孔成像原理所构成的PnP方法进行雷达坐标系到像素坐标系的外参参数的计算，得到旋转矩阵
Figure QLYQS_11
与平移矩阵
Figure QLYQS_12
；
S32、建立最小化投影误差的目标函数F，利用LM优化器求解得到优化后的真实旋转矩阵
Figure QLYQS_13
与真实平移矩阵
Figure QLYQS_14
，
Figure QLYQS_15
；
其中，
Figure QLYQS_16
表示目标在雷达坐标系内的坐标，
Figure QLYQS_17
表示目标在像素坐标系内的坐标，K表示摄像头内参，N points 表示雷达摄像头模组采集到目标的次数。
5.如权利要求1所述的端到端的毫米波雷达与摄像头外参标定方法，其特征在于，所述步骤S40进一步包括：
S41、以点云MLP结构为主干网络搭建神经网络骨架，得到高维位姿特征
Figure QLYQS_18
；
S42、分别在位姿特征
Figure QLYQS_19
后链接由多层全连接层构成的旋转矩阵预测分支
Figure QLYQS_20
、多层全连接层构成的平移矩阵预测分支
Figure QLYQS_21
以及多层全连接层构成的关联点权重预测分支
Figure QLYQS_22
,分别得到旋转向量
Figure QLYQS_23
、平移向量
Figure QLYQS_24
以及关联点权重向量
Figure QLYQS_25
，形成外参估计神经网络模型N；
S43、利用同一个雷达摄像头模组采集得到的目标在雷达坐标系内的坐标和目标在像素坐标系内的坐标作为输入数据对外参估计神经网络模型N进行训练及计算，得到对应雷达摄像头模组中毫米波雷达与摄像头的预测旋转矩阵R pred 、预测平移矩阵T pred 以及关联点权重
Figure QLYQS_26
，
Figure QLYQS_27
表示雷达坐标系点云坐标与像素坐标系图像坐标所对应点的关联权重值。
6.如权利要求1所述的端到端的毫米波雷达与摄像头外参标定方法，其特征在于，所述步骤S50进一步包括：
S51、计算雷达坐标系到像素坐标系位姿变换的预测重投影误差y，以及计算雷达坐标系到像素坐标系位姿变换的真实重投影误差
Figure QLYQS_28
，
Figure QLYQS_29
，
Figure QLYQS_30
，
其中，K表示摄像头的内参，
Figure QLYQS_31
表示目标在雷达坐标系内的坐标，
Figure QLYQS_32
表示目标在像素坐标系内的坐标；
S52、定义重投影误差概率分布的最大似然函数
Figure QLYQS_33
，
Figure QLYQS_34
，
其中，X表示像素坐标系图像坐标到雷达坐标系点云坐标的匹配，y表示雷达坐标系到像素坐标系位姿变换的预测重投影误差，N points 表示雷达摄像头模组采集到目标的次数；
S53、利用贝叶斯公式计算预测重投影误差y所对应的像素坐标系图像坐标到雷达坐标系点云坐标的匹配的预测重投影误差后验概率
Figure QLYQS_35
，
Figure QLYQS_36
，
该预测重投影误差后验概率
Figure QLYQS_37
作为概率PnP神经网络结构M的输出结果。
7.如权利要求6所述的端到端的毫米波雷达与摄像头外参标定方法，其特征在于，所述步骤S60进一步包括：
S61、用真实重投影误差概率分布t(y)与预测重投影误差后验概率
Figure QLYQS_38
的KL散度表示训练误差
Figure QLYQS_39
：
Figure QLYQS_40
；
S62、变换真实投影误差概率分布t(y)的表示方式，代入预测重投影误差后验概率
Figure QLYQS_41
时，可得训练误差
Figure QLYQS_42
：
Figure QLYQS_43
；
S63、采用蒙特卡洛采样方式近似训练误差
Figure QLYQS_44
，得到最终的训练误差
Figure QLYQS_45
；
S64、用
Figure QLYQS_46
优化器将该训练误差
Figure QLYQS_47
反向传播，更新外参估计神经网络模型N权重。
8.如权利要求7所述的端到端的毫米波雷达与摄像头外参标定方法，其特征在于，所述步骤S63进一步包括：
S631、从同一个雷达摄像头模组采集得到的目标在雷达坐标系内的坐标和目标在像素坐标系内的坐标中随机抽取
Figure QLYQS_48
个数据作为毫米波雷达与摄像头外参参数的计算数据；
S632、计算每个点的密度
Figure QLYQS_49
作为权重对预测重投影误差后验概率
Figure QLYQS_50
进行加权计算得到最终的训练误差
Figure QLYQS_51
：
Figure QLYQS_52
。
9.如权利要求1所述的端到端的毫米波雷达与摄像头外参标定方法，其特征在于，所述步骤S80进一步包括：分别对各个雷达摄像头模组采集到的雷达点云数据和摄像头图片数据进行数据预处理，得到与各个雷达摄像头模组相对应的雷达坐标系点云坐标和像素坐标系图像坐标；分别将各个雷达摄像头模组对应的雷达坐标系点云坐标和像素坐标系图像坐标输入训练好的外参估计神经网络模型N中，得到各个雷达摄像头模组对应的旋转矩阵R、平移矩阵T。
CN202310321706.7A 2023-03-29 2023-03-29 一种端到端的毫米波雷达与摄像头外参标定方法 Active CN116047440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310321706.7A CN116047440B (zh) 2023-03-29 2023-03-29 一种端到端的毫米波雷达与摄像头外参标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310321706.7A CN116047440B (zh) 2023-03-29 2023-03-29 一种端到端的毫米波雷达与摄像头外参标定方法

Publications (2)

Publication Number Publication Date
CN116047440A true CN116047440A (zh) 2023-05-02
CN116047440B CN116047440B (zh) 2023-06-09

Family

ID=86133490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310321706.7A Active CN116047440B (zh) 2023-03-29 2023-03-29 一种端到端的毫米波雷达与摄像头外参标定方法

Country Status (1)

Country Link
CN (1) CN116047440B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117784121A (zh) * 2024-02-23 2024-03-29 四川天府新区北理工创新装备研究院 一种路侧传感器联合标定方法、系统及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113359097A (zh) * 2021-06-21 2021-09-07 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN114076918A (zh) * 2020-08-20 2022-02-22 北京万集科技股份有限公司 毫米波雷达、激光雷达与相机联合标定方法和装置
WO2022048493A1 (zh) * 2020-09-04 2022-03-10 华为技术有限公司 摄像头外参标定的方法与装置
CN115018929A (zh) * 2022-05-31 2022-09-06 东南大学 一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法
CN115097442A (zh) * 2022-08-24 2022-09-23 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面环境地图构建方法
WO2022262160A1 (zh) * 2021-06-18 2022-12-22 上海商汤临港智能科技有限公司 传感器标定方法及装置、电子设备和存储介质
CN115661270A (zh) * 2022-12-22 2023-01-31 陕西欧卡电子智能科技有限公司 一种用于毫米波雷达与鱼眼摄像头的在线标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114076918A (zh) * 2020-08-20 2022-02-22 北京万集科技股份有限公司 毫米波雷达、激光雷达与相机联合标定方法和装置
WO2022048493A1 (zh) * 2020-09-04 2022-03-10 华为技术有限公司 摄像头外参标定的方法与装置
WO2022262160A1 (zh) * 2021-06-18 2022-12-22 上海商汤临港智能科技有限公司 传感器标定方法及装置、电子设备和存储介质
CN113359097A (zh) * 2021-06-21 2021-09-07 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN115018929A (zh) * 2022-05-31 2022-09-06 东南大学 一种面向摄像头与毫米波雷达融合感知的多传感器时空协同标定方法
CN115097442A (zh) * 2022-08-24 2022-09-23 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面环境地图构建方法
CN115661270A (zh) * 2022-12-22 2023-01-31 陕西欧卡电子智能科技有限公司 一种用于毫米波雷达与鱼眼摄像头的在线标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘今越;唐旭;贾晓辉;杨冬;李铁军;: "三维激光雷达-相机间外参的高效标定方法", 仪器仪表学报, no. 11 *
王庆等: "基于三维标定板的相机 激光雷达联合标定方法", 《中国惯性技术学报》, vol. 31, no. 1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117784121A (zh) * 2024-02-23 2024-03-29 四川天府新区北理工创新装备研究院 一种路侧传感器联合标定方法、系统及电子设备

Also Published As

Publication number Publication date
CN116047440B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN111076733B (zh) 一种基于视觉与激光slam的机器人室内建图方法及系统
CN105856230B (zh) 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法
CN105809687B (zh) 一种基于图像中边沿点信息的单目视觉测程方法
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN112184824B (zh) 一种相机外参标定方法、装置
CN112068154A (zh) 一种激光建图定位方法、装置、存储介质及电子设备
CN106056643B (zh) 一种基于点云的室内动态场景slam方法及系统
US20110044504A1 (en) Information processing device, information processing method and program
CN107577451B (zh) 多Kinect人体骨架坐标变换方法及处理设备、可读存储介质
CN114862932B (zh) 基于bim全局定位的位姿修正方法及运动畸变矫正方法
CN116047440B (zh) 一种端到端的毫米波雷达与摄像头外参标定方法
CN113108773A (zh) 一种融合激光与视觉传感器的栅格地图构建方法
CN111862214A (zh) 计算机设备定位方法、装置、计算机设备和存储介质
CN113129373B (zh) 一种基于卷积神经网络的室内移动机器人视觉定位方法
WO2022021661A1 (zh) 一种基于高斯过程的视觉定位方法、系统及存储介质
CN114549629A (zh) 水下单目视觉估计目标三维位姿的方法
CN113888629A (zh) 一种基于rgbd相机的快速物体三维位姿估计方法
CN114047766B (zh) 面向室内外场景长期应用的移动机器人数据采集系统及方法
CN111812978A (zh) 一种多无人机协作slam方法与系统
CN111553954B (zh) 一种基于直接法单目slam的在线光度标定方法
CN113240670A (zh) 带电作业场景下针对待作业物体的图像分割方法
CN114083545B (zh) 一种基于视觉感知的运动物体机器人抓取方法及装置
CN117523206B (zh) 一种基于跨源点云与多模态信息的自动化装配方法
Chen et al. Research on Door‐Opening Strategy Design of Mobile Manipulators Based on Visual Information and Azimuth
CN117333463A (zh) 一种排水管网检测方法、系统、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant