CN116433762A - 激光雷达与相机标定状态检测方法、校正方法、装置及存储介质 - Google Patents
激光雷达与相机标定状态检测方法、校正方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116433762A CN116433762A CN202310238490.8A CN202310238490A CN116433762A CN 116433762 A CN116433762 A CN 116433762A CN 202310238490 A CN202310238490 A CN 202310238490A CN 116433762 A CN116433762 A CN 116433762A
- Authority
- CN
- China
- Prior art keywords
- calibration
- laser radar
- image
- camera
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012937 correction Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 28
- 230000001360 synchronised effect Effects 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 9
- 230000036544 posture Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种激光雷达与相机标定状态检测方法、校正方法、装置及存储介质,其中激光雷达与相机标定状态检测方法包括:在标定位置获取不同位姿下同步的激光雷达点云和相机无畸变图像,作为参考数据;当需要判断传感器标定状态时,在标定位置采集一帧同步的激光雷达点云和相机无畸变图像,作为观测数据。估计参考数据到观测数据的变换矩阵,根据其旋转分量偏差,判断标定状态。当确认传感器位姿已发生改变时,估计参考图像到观测图像的变换矩阵,完成外参校正。所提出的激光雷达与相机标定状态自动检测与校正方法无需布置标定环境,能够自动检测当前传感器状态是否需要重新标定,适用于车辆运行现场标定,标定结果精确且鲁棒。
Description
技术领域
本申请涉及智能驾驶环境感知领域,特别涉及一种激光雷达与相机标定状态自动检测与校正方法。
背景技术
智能驾驶车辆通过融合激光雷达和相机信息以全面地感知交通环境,两传感器间的精确外参标定是融合感知的前提。为了保持外参的精度,需要在每次驾驶任务之前重新标定传感器外参,如KITTI数据集采集车每次采集任务之前都重新标定各传感器间的外参,这是因为车辆运行过程中难免因为车身振动导致传感器位姿变化,为消除累积误差需要重新标定。对于激光雷达和相机的外参标定,绝大部分工作都是基于特制标定板展开,依赖人工提取两个模态数据中的共同特征,精度受标定人员标定经验影响较大;且需要布置标定环境,费时费力,标定地点固定,不适用于在车辆运行现场的标定场景。为此,中国发明专利ZL 202110225959.5《相机与激光雷达重标定方法、装置及计算机可读存储介质》以及论文《基于传感器融合里程计的相机与激光雷达自动重标定方法》公开了一种不使用标定板的激光雷达和相机自动标定方法,这种方法通过融合激光雷达和相机的位置变换信息实现传感器漂移后的外参重新标定,能够解决车辆运行现场的自动标定问题。但是,该方法只专注于传感器外参的标定,对传感器是否发生相对位姿变化,即标定状态是否发生了变化,无法进行自动地判断。此外,该方法假设只出现旋转方向上的相对位姿变化,忽略了平移方向上的位移。
总之,现有技术存在的问题是:基于标定板的方法需要布置标定环境,依赖人工经验,不适用于车辆运行现场标定;自动标定方法虽然能够应用在现场标定场景,但是缺乏对传感器标定状态,即是否发生相对位姿变化的自动判断机制。
发明内容
本发明所要解决的技术问题是提供一种简单快捷,能够精确判断传感器标定判断的激光雷达与相机标定状态检测方法、校正方法、装置及存储介质,用于解决智能驾驶车辆的激光雷达和相机的标定状态检测与外参自动校正问题。该方法无需布置标定环境,不依赖人工,能够自动检测当前传感器状态是否需要重新标定,适用于车辆运行现场标定。
为解决上述技术问题,本发明采用的技术方案如下:
本发明首先提供一种激光雷达与相机标定状态检测方法,其特征在于,包括:
多位姿参考数据获取:选择任一地点作为标定位置,在标定位置获取N个位姿的参考数据,每个位姿的参考数据为同步的激光雷达点云Pr,i和相机无畸变图像Ir,i一帧,i=1,2,...,N;
传感器标定状态判断:当需要判断传感器当前标定状态时,将车辆驾驶至标定位置;在标定位置采集一帧同步的激光雷达点云Po和相机无畸变图像Io,作为观测数据;分别通过点云配准和图像配准估计每一帧参考数据到观测数据的变换矩阵,求解每组变换矩阵的旋转分量偏差,根据旋转分量偏差判断当前的标定状态。
本发明还提供一种激光雷达与相机标定状态校正方法,包括:
根据激光雷达与相机标定状态检测方法,检测激光雷达与相机标定状态的标定状态;
对检测为需标定状态的当前状态,进行外参校正,包括:
求解校正矩阵TR,i,并将其平均化,求得最终校正后的外参。
相对于现有技术,本发明具有以下有益效果:
1、无需布置标定环境:不需要标定板,不依赖人工,标定地点可任意选择,适用于车辆运行现场的标定场景;
2、能够精确判断传感器标定状态:只需要一帧观测数据,就能够自动判断是否发生传感器相对位姿变化,判定方法简单便捷,并且减少无用的重新标定工作;
3、标定精度和鲁棒性高:定量和定性对比试验证明本方法标定精确且鲁棒。
附图说明
图1是本申请一个实施例提供的激光雷达与相机标定状态自动检测与校正方法的流程图;
图2是本申请一个实施例提供的多位姿参考数据获取示意图;
图3是本申请一个实施例提供的传感器标定状态判断的流程图;
图4是本申请一个实施例提供的不同参考数据帧数N下传感器标定状态判断的正确率图;
图5是本申请一个实施例提供的在10°和20cm以内的随机相对位姿变化下100次试验结果的箱线图;
图6是本申请一个实施例提供的标定后的纹理点云对比结果图;
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1,其示出了本申请一个实施例提供的激光雷达与相机标定状态自动检测与校正方法的流程图,该激光雷达与相机标定状态自动检测与校正方法可以应用于智能驾驶车辆系统中。该激光雷达与相机标定状态自动检测与校正方法,可以包括:
步骤101,多位姿参考数据获取:选择任一地点作为标定位置,在标定位置通过移动智能驾驶车辆,变换激光雷达和相机的位置和姿态,每个位姿采集同步的激光雷达点云Pr,i,i=1,2,...,N和相机无畸变图像Ir,i,i=1,2,...,N一帧,作为参考数据,其中N为参考数据帧数。
请参考图2,其示出了本申请一个实施例提供的多位姿参考数据获取示意图。
本实施例中,对于标定位置的选取,应使相机和激光雷达视野大部分区域有一定的环境标志物(如车辆、行人、建筑等),以保证下述步骤中图像和点云的特征提取。
请参考图3,其示出了本申请一个实施例提供的传感器标定状态判断的流程图。
步骤102,传感器标定状态判断:当需要判断传感器当前标定状态时,将车辆驾驶至标定位置。在标定位置采集一帧同步的激光雷达点云Po和相机无畸变图像Io,作为观测数据。分别通过点云配准和图像配准估计每一帧参考数据到观测数据的变换矩阵,求解每组变换矩阵的旋转分量偏差,根据偏差判断当前的标定状态。
下面对传感器标定状态判断子流程进行介绍。
步骤1022,图像变换矩阵估计:
利用图像特征提取算法提取并匹配参考图像Ir,i,i=1,2,...,N和观测图像Io间的特征点基于SIFT、SURF或ORB特征提取算法,检测两幅图像中的关键点,并生成关键点的特征描述子,通过匹配器匹配两幅图像的关键点,得到两图之间的特征点/>
基于八点法由图像特征点和相机内参K求解参考和观测图像对的本质矩阵利用奇异值分解(SVD)算法将本质矩阵/>分解为参考图像Ir,i和观测图像Io间的变换矩阵/>其中,/>和/>分别是/>的旋转分量和平移分量;
步骤1023,旋转分量偏差求解:按照下式求解点云、图像变换矩阵的旋转分量的偏差:
步骤1024,位姿变化判定:当任一旋转方向(yaw、pitch、roll)上的偏差(eψ,i、eθ,i、eφ,i)大于阈值t的数量超过参考数据帧数N的一半时,则说明出现传感器相对位姿变化,原始外参Tl c无法精确对齐激光雷达坐标系和相机坐标系,需要进行外参校正;反之,则原始外参Tl c精确,无需校正。
本实施例中,根据投影原理,旋转方向对偏差比平移方向更为敏感,很小的旋转偏差都会造成较大的对齐误差,而平移变化对稍远处目标造成的对齐误差较小,且旋转方向上的偏差更普遍,所以使用点云、图像变换矩阵的旋转分量的偏差作为传感器标定状态的判断条件。
本实施例中,为了确定阈值t,统计了偏差eψ,i、eθ,i和eφ,i的分布直方图,发现在没有出现传感器相对位姿变化时,由于数据噪声和配准误差影响,偏差eψ,i、eθ,i和eφ,i集中在0.12°之内;此外,当某一旋转方向上的偏差大于0.4°时,肉眼可见明显的对齐误差。综上,为了及时准确发现位姿变化,并避免在没有位姿变化时产生误判,阈值t设置为0.2。
请参考图4,图4中示出了在不同参考数据帧数N下,传感器标定状态判断的正确率,发现在N为5时,得到最大标定状态判断精度99.6%。因此,选择5作为步骤102中的参考数据帧数。
本实施例中,不限定传感器相对位姿变化的方向。
本实施例中,传感器相对位姿变化是指以相机坐标系为参考坐标系,激光雷达坐标系相对于相机坐标系的位置和姿态变化。
步骤103,外参自动校正:当确认传感器位姿已发生改变时,通过匹配观测图像Io中的图像特征点与对应参考点云Pr,i中的三维点pc,i,估计参考图像Ir,i到观测图像的变换矩阵/>i=1,2,...,N。根据式(4)求解校正矩阵TR,i,i=1,2,...,N,并根据式(5)将其平均化,最终校正后的外参由式(6)获得:
图5是在10°和20cm以内的随机相对位姿变化下,100次试验结果的箱线图。和当前比较先进的自动标定算法GMM和MI对比,除了roll方向外,本方法收敛到更一致的结果。实际上GMM方法在roll上的平均绝对误差为0.114°,而本方法的平均绝对误差为0.102°,说明本方法能够有效的校正相对位姿变化。
图6为标定后的纹理点云对比结果图,(a)为外参真值对应的结果图,(b)为本方法标定结果图,(c)为GMM方法标定结果图,(d)为MI方法标定结果图。白色方框圈出了对齐不准的地方。可以看出,本方法的标定结果在视觉上与根据真值生成的纹理点云相当,证明了本方法的有效性。
综上所述,本申请实施例提供的激光雷达与相机标定状态自动检测与校正方法,在标定位置通过移动智能驾驶车辆,变换激光雷达和相机的位置和姿态,每个位姿采集同步的激光雷达点云和相机无畸变图像一帧,作为参考数据。当需要判断传感器当前标定状态时,在标定位置采集一帧同步的激光雷达点云和相机无畸变图像,作为观测数据。分别通过点云配准和图像配准估计每一帧参考数据到观测数据的变换矩阵,求解每组变换矩阵的旋转分量偏差,根据偏差判断当前的标定状态。当确认传感器位姿已发生改变时,通过匹配观测图像中的图像特征点与对应参考点云中的三维点,估计参考图像到观测图像的变换矩阵。求解校正矩阵,并将其平均化,获得最终校正后的外参。所提出的激光雷达与相机标定状态自动检测与校正方法无需布置标定环境,不依赖人工,能够自动检测当前传感器状态是否需要重新标定,适用于车辆运行现场标定,标定结果精确且鲁棒。
本实施例还提供了一种计算机可读存储介质,该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory,随机存取存储器),ROM(Read-Only Memory,只读存储器),EEPROM(Electrically Erasable Programmable read only memory,带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory,光盘只读存储器),数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序,其存储的一个或者多个计算机程序可被处理器执行,以实现上述实施例中激光雷达与相机标定状态自动检测与校正方法步骤。
Claims (10)
1.一种激光雷达与相机标定状态检测方法,其特征在于,包括:
多位姿参考数据获取:选择任一地点作为标定位置,在标定位置获取N个位姿的参考数据,每个位姿的参考数据为同步的激光雷达点云Pr,i和相机无畸变图像Ir,i一帧,i=1,2,...,N;
传感器标定状态判断:当需要判断传感器当前标定状态时,将车辆驾驶至标定位置;在标定位置采集一帧同步的激光雷达点云Po和相机无畸变图像Io,作为观测数据;分别通过点云配准和图像配准估计每一帧参考数据到观测数据的变换矩阵,求解每组变换矩阵的旋转分量偏差,根据旋转分量偏差判断当前的标定状态。
2.根据权利要求1所述的激光雷达与相机标定状态检测方法,其特征在于,分别通过点云配准和图像配准估计每一帧参考数据到观测数据的变换矩阵,求解每组变换矩阵旋转分量偏差,包括:
利用图像特征提取算法提取并匹配参考图像Ir,i和观测图像Io间的特征点由图像特征点/>和相机内参K求解参考和观测图像对的本质矩阵/>将本质矩阵/>分解为参考图像Ir,i和观测图像Io间的变换矩阵/>其中,/>和/>分别是/>的旋转分量和平移分量;
求解点云、图像变换矩阵的旋转分量的偏差:
eψ,i=atan2(r21,r11)
eφ,i=atan2(r32,r33)
3.根据权利要求2所述的激光雷达与相机标定状态检测方法,其特征在于,根据旋转分量偏差判断当前的标定状态,包括:
设定阈值t;
统计任一旋转方向yaw、pitch和roll上的偏差上的偏差eψ,i、eθ,i、eφ,i大于阈值t的数量;
判断统计的数量是否超过参考数据帧数N的一半;如果超过,则当前状态为需标定状态;反之,则当前状态为不需要标定状态。
4.一种激光雷达与相机标定状态校正方法,其特征在于,包括:
根据权利要求1-3任一所述的激光雷达与相机标定状态检测方法,检测激光雷达与相机标定状态的标定状态;
对检测为需标定状态的当前状态,进行外参校正。
8.一种激光雷达与相机标定状态校正装置,其特征在于,包括:
相机,用于实时获取环境图像;
激光雷达,用于实时获取环境点云数据;
以及,
处理器,执行所述权利要求4-7任一所述激光雷达与相机标定状态校正方法的步骤。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-3任一所述激光雷达与相机标定状态检测方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求4-7任一所述激光雷达与相机标定状态校正方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310238490.8A CN116433762A (zh) | 2023-03-14 | 2023-03-14 | 激光雷达与相机标定状态检测方法、校正方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310238490.8A CN116433762A (zh) | 2023-03-14 | 2023-03-14 | 激光雷达与相机标定状态检测方法、校正方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116433762A true CN116433762A (zh) | 2023-07-14 |
Family
ID=87093414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310238490.8A Pending CN116433762A (zh) | 2023-03-14 | 2023-03-14 | 激光雷达与相机标定状态检测方法、校正方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116433762A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116774195A (zh) * | 2023-08-22 | 2023-09-19 | 国网天津市电力公司滨海供电分公司 | 多传感器联合标定的激励判断与参数自调节方法及系统 |
CN118154700A (zh) * | 2024-05-10 | 2024-06-07 | 常州星宇车灯股份有限公司 | 车辆传感器外参准确性的在线监测方法 |
CN118245784A (zh) * | 2024-05-29 | 2024-06-25 | 青岛浦泽海洋科技有限公司 | 一种海洋温盐深传感器数据标定方法、介质及系统 |
-
2023
- 2023-03-14 CN CN202310238490.8A patent/CN116433762A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116774195A (zh) * | 2023-08-22 | 2023-09-19 | 国网天津市电力公司滨海供电分公司 | 多传感器联合标定的激励判断与参数自调节方法及系统 |
CN116774195B (zh) * | 2023-08-22 | 2023-12-08 | 国网天津市电力公司滨海供电分公司 | 多传感器联合标定的激励判断与参数自调节方法及系统 |
CN118154700A (zh) * | 2024-05-10 | 2024-06-07 | 常州星宇车灯股份有限公司 | 车辆传感器外参准确性的在线监测方法 |
CN118245784A (zh) * | 2024-05-29 | 2024-06-25 | 青岛浦泽海洋科技有限公司 | 一种海洋温盐深传感器数据标定方法、介质及系统 |
CN118245784B (zh) * | 2024-05-29 | 2024-08-06 | 青岛浦泽海洋科技有限公司 | 一种海洋温盐深传感器数据标定方法、介质及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116433762A (zh) | 激光雷达与相机标定状态检测方法、校正方法、装置及存储介质 | |
CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
CN111627072B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
CN103559711B (zh) | 基于三维视觉系统图像特征和三维信息的运动估计方法 | |
US8306323B2 (en) | Method and apparatus for correcting depth image | |
CN112837383B (zh) | 相机与激光雷达重标定方法、装置及计算机可读存储介质 | |
CN111524194B (zh) | 一种激光雷达和双目视觉相互融合的定位方法及终端 | |
US8538198B2 (en) | Method and apparatus for determining misalignment | |
CN112146848B (zh) | 一种确定摄像头的畸变参数的方法及装置 | |
CN112785655A (zh) | 一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质 | |
WO2022183685A1 (zh) | 目标检测方法、电子介质和计算机存储介质 | |
CN107084680A (zh) | 一种基于机器单目视觉的目标深度测量方法 | |
CN112184792B (zh) | 一种基于视觉的道路坡度计算方法及装置 | |
CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
CN112365421B (zh) | 图像矫正处理方法及装置 | |
CN115272456A (zh) | 激光雷达与相机在线漂移检测方法、校正方法、装置及存储介质 | |
KR20180098945A (ko) | 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치 | |
CN112541932A (zh) | 基于双光相机不同焦距变换参数的多源图像配准方法 | |
CN112985360A (zh) | 基于车道线的双目测距校正方法、装置、设备和存储介质 | |
CN112116644B (zh) | 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置 | |
CN117710588A (zh) | 一种基于视觉测距先验信息的三维目标检测方法 | |
CN114782556B (zh) | 相机与激光雷达的配准方法、系统及存储介质 | |
CN111598956A (zh) | 标定方法、装置和系统 | |
CN115546216A (zh) | 一种托盘检测方法、装置、设备及存储介质 | |
CN112991372B (zh) | 一种基于多边形匹配的2d-3d相机外参标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |