CN114646948A - 一种用于视觉感知和激光雷达联合标定测试系统及方法 - Google Patents

一种用于视觉感知和激光雷达联合标定测试系统及方法 Download PDF

Info

Publication number
CN114646948A
CN114646948A CN202210305921.3A CN202210305921A CN114646948A CN 114646948 A CN114646948 A CN 114646948A CN 202210305921 A CN202210305921 A CN 202210305921A CN 114646948 A CN114646948 A CN 114646948A
Authority
CN
China
Prior art keywords
calibration
laser radar
visual perception
plate
installation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210305921.3A
Other languages
English (en)
Inventor
陈强
关志伟
史哲慧
彭涛
李达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology and Education China Vocational Training Instructor Training Center
Original Assignee
Tianjin University of Technology and Education China Vocational Training Instructor Training Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology and Education China Vocational Training Instructor Training Center filed Critical Tianjin University of Technology and Education China Vocational Training Instructor Training Center
Priority to CN202210305921.3A priority Critical patent/CN114646948A/zh
Publication of CN114646948A publication Critical patent/CN114646948A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明公开一种用于视觉感知和激光雷达联合标定测试系统及方法，包括主体实验平台、视觉感知和激光雷达安装机构、标定板安装和平移旋转控制机构、线束安装和集成机构、主控机实验管理子系统、测试评价子系统，其特征在于：所述主体实验平台固定连接视觉感知和激光雷达安装机构、标定板安装和平移旋转控制机构及线束安装和集成机构。本发明涉及实验设备领域，具体地讲，涉及一种用于视觉感知和激光雷达联合标定测试系统及方法。本发明要解决的技术问题是提供一种用于视觉感知和激光雷达联合标定测试系统及方法，方便视觉感知和激光雷达联合标定。

Description

一种用于视觉感知和激光雷达联合标定测试系统及方法
技术领域
本发明涉及实验设备领域，具体地讲，涉及一种用于视觉感知和激光雷达联合标定测试系统及方法。
背景技术
智能网联汽车的发展将有效提高交通安全、实现节能减排，是实现双碳目标不可或缺的一部分。其搭载的多种传感器依托数据信息融合处理可有效提高智能网联汽车的环境感知能力，保障自动驾驶功能的实现。其中，视觉感知系统主要从车辆所处环境中收集图像和视频数据并提取重要的可见信息，具有一定的抗干扰性且造价低廉；三维激光雷达主要通过主动发射光束获取反射回波提取车辆周围的点云信息，具有精度高的优点。然而，视觉感知与激光雷达的数据融合处理前提是其进行了有效且可靠的联合标定。
目前，视觉感知与激光雷达的联合标定多采用实车在测试场地中进行，其实验过程中至少需要两人在室外进行，标定后的数据测试再返回实验室中进行，如果遇到数据采集失误或需要补充标定数据的情况又需要重新进行实车采集，存在联合标定数据采集不便、可重复性差、安全隐患高等诸多的弊端。此为，现有技术的不足之处。
发明内容
本发明要解决的技术问题是提供一种用于视觉感知和激光雷达联合标定测试系统及方法，方便视觉感知和激光雷达联合标定。
本发明采用如下技术方案实现发明目的：
一种用于视觉感知和激光雷达联合标定测试系统及方法，包括主体实验平台、视觉感知和激光雷达安装机构、标定板安装和平移旋转控制机构、线束安装和集成机构、主控机实验管理子系统、测试评价子系统，其特征在于：所述主体实验平台固定连接视觉感知和激光雷达安装机构、标定板安装和平移旋转控制机构及线束安装和集成机构，所述视觉感知和激光雷达安装机构电性连接所述线束安装和集成机构，所述视觉感知和激光雷达安装机构、所述标定板安装和平移旋转控制机构及所述线束安装和集成机构分别电性连接主控机实验管理子系统，所述主控机实验管理子系统运行所述测试评价子系统。
作为本技术方案的进一步限定，所述主体实验平台包括龙门支撑架及主体支架，所述龙门支撑架固定连接对称的所述主体支架，所述龙门支撑架固定连接线束安装和集成机构，所述龙门支撑架固定连接视觉感知和激光雷达安装机构，一个所述主体支架固定连接标定板安装和平移旋转控制机构。
作为本技术方案的进一步限定，所述线束安装和集成机构包括中央集线器，所述龙门支撑架固定连接所述中央集线器，所述中央集线器电性连接所述主控机实验管理子系统。
作为本技术方案的进一步限定，所述标定板安装和平移旋转控制机构包括方板，一个所述主体支架固定连接所述方板，所述方板固定连接电机一，所述电机一的输出轴固定连接电机二，所述电机二的输出轴固定连接摇臂，所述摇臂固定连接电机三，所述电机三的输出轴固定连接标定板连接杆，所述标定板连接杆固定连接标定板，所述电机一、所述电机二、所述电机三及所述标定板连接杆分别电性连接所述主控机实验管理子系统。
作为本技术方案的进一步限定，所述视觉感知和激光雷达安装机构包括U板及L板，所述龙门支撑架上部固定连接所述U板，所述龙门支撑架下部固定连接所述L板，所述U板的上部安装有激光雷达，所述U板的下部安装有视觉感知设备，所述激光雷达及所述视觉感知设备分别电性连接所述中央集线器，所述L板固定连接监控设备，所述监控设备电性连接所述中央集线器。
一种用于视觉感知和激光雷达联合标定测试方法，其特征在于，包括以下步骤：
步骤一：根据所述标定板的类型在所述主控机实验管理子系统中设置所述标定板参数，通过所述主控机实验管理子系统控制所述标定板旋转、伸缩、上下运动等进行位姿调整，同时，利用所述视觉感知设备拍摄所述标定板在不同位置的图像数据，以所述标定板的参数信息为基础进行所述视觉感知设备的标定，获取所述视觉感知设备的内参以及所述视觉感知设备与所述标定板之间的外参；
步骤二：配置所述激光雷达的参数信息，在ROS系统中同时打开所述视觉感知设备与所述激光雷达采集数据信息，同时，通过所述主控机实验管理子系统的控制，使所述标定板在所述视觉感知设备能采集到的范围内小幅度移动，所述主控机实验管理子系统内同时录制视觉感知设备的图像数据与激光雷达的点云数据，并保存至数据包内；
步骤三：主控机实验管理子系统将录制的数据包逐帧分割出图像数据和激光雷达点云数据，采用棋盘格联合标定法计算视觉感知设备和激光雷达之间外方位参数矩阵，包括旋转矩阵和平移矩阵，在主控机实验管理子系统内实现所述视觉感知设备与所述激光雷达的联合标定；
步骤四：利用所述步骤三中获得的结果，将同一时刻采集的点云数据投影至对应的视觉感知图像数据上，可以直观可视化的观察数据融合效果，如果融合效果不符合要求，则重复执行所述步骤三；
步骤五：测试评价子系统统计标定复原点坐标误差，对联合标定精度进行评定，使用所述激光雷达获取所述标定板的三维点云坐标，利用联合标定参数对所述标定板的三维坐标进行线性转换，计算出对应的视觉二维像素坐标，将计算出的二维像素坐标与其对应的真实二维像素坐标进行对比，使用公式(3)计算标定板上相应点的重投影误差，统计分析所述标定板上可利用角点的重投影误差值，并绘制报表，
Figure BDA0003565189700000031
其中，(up，i，vp，i)为第i个标定板上角点的真实像素点坐标，(ul，i，vl，i)为第i个标定板上角点的重投影计算像素坐标；
步骤六：测试评价子系统统计联合标定实验结果的平均精度均值数据和实时性分析数据，整合并输出显示测试报告，同时可以在主控机实验管理子系统内直观观察实验结果。
作为本技术方案的进一步限定，所述步骤一中所述视觉感知设备在考虑镜头畸变因素后，利用公式(1)所示的非线性模型可以表示其完整成像过程，其中，包含的fu、fv、u0、v0四个未知参数，与非线性畸变系数k1、k2、p1、p2共同构成了成像非线性模型的内参；旋转矩阵R，平移向量T，包含3个独立的旋转角度参数ω、
Figure BDA0003565189700000041
κ和3个独立的平移参数tx、ty、tz，决定了摄影光线在世界坐标系中的方位，构成了外参；
Figure BDA0003565189700000042
其中：δu＝ruk1r2+ruk2r4+2p1rurv+p2(3ru 2+rv 2)；
δv＝rvk1r2+rvk2r4+p1(ru 2+3rv 2)+2p2rurv。
作为本技术方案的进一步限定，实现视觉感知设备与激光雷达的联合标定，即在时间同步的前提下，把不同的坐标系转换至同一坐标系下实现空间同步，激光雷达坐标系以激光雷达几何中心为原点，表示为[XL，YL，ZL]，视觉感知设备坐标系以光心为原点，用来描述空间物体与其相对位置，表示为[XC，YC，ZC]，激光雷达坐标系与视觉感知设备坐标系的转换关系如公式(2)所示。
Figure BDA0003565189700000043
由标定板在激光雷达坐标系下的三维坐标，以及对应点在视觉感知设备坐标系下的相应坐标作为参数，使用联立方程组求解旋转矩阵R和平移矩阵T，实现激光雷达与视觉感知设备的联合标定。
与现有技术相比，本发明的优点和积极效果是：
1、采用含有可控移动性标定板的视觉感知和激光雷达联合标定台架，能够方便地在室内外进行视觉感知设备的单独标定以及两个设备的联合标定实验，兼顾了测试的可重复性、测试场景的可拓展性以及道路实车测试的真实性，减少人力物力的投入。同时，以联合标定获取的内参及外参矩阵作为输入计算重投影误差开发自动化的测试评价子系统，并设计测试方法流程用于综合评价联合标定的精确度，以解决人工评价随意性及客观性不强的缺点。
2、本发明提出一种用于视觉感知和激光雷达联合标定的实验系统及测试方法，设计并开发一套新颖、使用便利而且功能完备的实验系统，采用含有可控移动性标定板的视觉感知和激光雷达联合标定台架，以实现方便地在室内外进行其联合标定实验，并兼顾测试的可重复性、可拓展性以及道路实车测试的真实性。同时，以联合标定获取的内参及外参矩阵作为输入计算重投影误差开发自动化的测试评价子系统，并设计测试方法流程用于综合评价联合标定的精确度，以解决人工评价随意性及客观性不强的缺点。本发明设计的视觉感知和激光雷达联合标定实验系统及测试方法，能够实现在实验室中采集数据、重复标定实验、缩短测试时间和保障实验及测试安全的需要，具有重要意义和较好的应用前景。
附图说明
图1为本发明的实验系统架构图。
图2为本发明的联合标定及测试方法的流程图。
图3为本发明的局部立体结构示意图一。
图4为本发明的局部立体结构示意图二。
图5为本发明的局部立体结构示意图三。
图6为本发明的局部立体结构示意图四。
图7为本发明的激光雷达的参数信息设置范例。
图8为本发明的联合标定数据采集范例。
图9为本发明的逐帧分割图像与点云数据。
图中：1、龙门支撑架，2、线束安装和集成机构，3、主体支架，4、标定板安装和平移旋转控制机构，5、视觉感知和激光雷达安装机构，21、中央集线器，41、方板，42、电机一，43、电机二，44、摇臂，45、电机三，46、标定板连接杆，47、标定板，51、激光雷达，52、U板，53、视觉感知设备，54、监控设备，55、L板。
具体实施方式
下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
如图1-图9所示，本发明包括主体实验平台、视觉感知和激光雷达安装机构、标定板安装和平移旋转控制机构、线束安装和集成机构、主控机实验管理子系统及测试评价子系统，所述主体实验平台固定连接视觉感知和激光雷达安装机构5、标定板安装和平移旋转控制机构4及线束安装和集成机构2，所述视觉感知和激光雷达安装机构5电性连接所述线束安装和集成机构2，所述视觉感知和激光雷达安装机构5、所述标定板安装和平移旋转控制机构4及所述线束安装和集成机构2分别电性连接主控机实验管理子系统，所述主控机实验管理子系统运行所述测试评价子系统。
所述主体实验平台包括龙门支撑架1及主体支架3，所述龙门支撑架1固定连接对称的所述主体支架3，所述龙门支撑架1固定连接线束安装和集成机构2，所述龙门支撑架1固定连接视觉感知和激光雷达安装机构5，一个所述主体支架3固定连接标定板安装和平移旋转控制机构4。
所述线束安装和集成机构2包括中央集线器21，所述龙门支撑架1固定连接所述中央集线器21，所述中央集线器21电性连接所述主控机实验管理子系统。所述标定板安装和平移旋转控制机构4包括方板41，一个所述主体支架3固定连接所述方板41，所述方板41固定连接电机一42，所述电机一42的输出轴固定连接电机二43，所述电机二43的输出轴固定连接摇臂44，所述摇臂44固定连接电机三45，所述电机三45的输出轴固定连接标定板连接杆46，所述标定板连接杆46固定连接标定板47，所述电机一42、所述电机二43、所述电机三45及所述标定板连接杆46分别电性连接所述主控机实验管理子系统。
所述视觉感知和激光雷达安装机构5包括U板52及L板55，所述龙门支撑架1上部固定连接所述U板52，所述龙门支撑架1下部固定连接所述L板55，所述U板52的上部安装有激光雷达51，所述U板52的下部安装有视觉感知设备53，所述激光雷达51及所述视觉感知设备53分别电性连接所述中央集线器21，所述L板55固定连接监控设备54，所述监控设备54电性连接所述中央集线器21。
一种用于视觉感知和激光雷达联合标定测试方法，包括以下步骤：
步骤一：根据所述标定板47的类型在所述主控机实验管理子系统中设置所述标定板47参数，通过所述主控机实验管理子系统控制所述标定板47旋转、伸缩、上下运动等进行位姿调整，同时，利用所述视觉感知设备53拍摄所述标定板47在不同位置的图像数据，以所述标定板47的参数信息为基础进行所述视觉感知设备53的标定，获取所述视觉感知设备53的内参以及所述视觉感知设备53与所述标定板47之间的外参；
步骤二：配置所述激光雷达51的参数信息，在ROS系统中同时打开所述视觉感知设备53与所述激光雷达51采集数据信息，同时，通过所述主控机实验管理子系统的控制，使所述标定板47在所述视觉感知设备53能采集到的范围内小幅度移动，所述主控机实验管理子系统内同时录制视觉感知设备53的图像数据与激光雷达51的点云数据，并保存至数据包内；
步骤三：主控机实验管理子系统将录制的数据包逐帧分割出图像数据和激光雷达点云数据，采用棋盘格联合标定法计算视觉感知设备和激光雷达之间外方位参数矩阵，包括旋转矩阵和平移矩阵，在主控机实验管理子系统内实现所述视觉感知设备53与所述激光雷达51的联合标定；
步骤四：利用所述步骤三中获得的结果，将同一时刻采集的点云数据投影至对应的视觉感知图像数据上，可以直观可视化的观察数据融合效果，如果融合效果不符合要求，则重复执行所述步骤三；
步骤五：测试评价子系统统计标定复原点坐标误差，对联合标定精度进行评定，使用所述激光雷达53获取所述标定板47的三维点云坐标，利用联合标定参数对所述标定板47的三维坐标进行线性转换，计算出对应的视觉二维像素坐标，将计算出的二维像素坐标与其对应的真实二维像素坐标进行对比，使用公式(3)计算标定板上相应点的重投影误差，统计分析所述标定板47上可利用角点的重投影误差值，并绘制报表，
Figure BDA0003565189700000081
其中，(up，i，vp，i)为第i个标定板上角点的真实像素点坐标，(ul，i，vl，i)为第i个标定板上角点的重投影计算像素坐标；
步骤六：测试评价子系统统计联合标定实验结果的平均精度均值数据和实时性分析数据，整合并输出显示测试报告，同时可以在主控机实验管理子系统内直观观察实验结果。
所述步骤一中所述视觉感知设备53在考虑镜头畸变因素后，利用公式(1)所示的非线性模型可以表示其完整成像过程，其中，包含的fu、fv、u0、v0四个未知参数，与非线性畸变系数k1、k2、p1、p2共同构成了成像非线性模型的内参；旋转矩阵R，平移向量T，包含3个独立的旋转角度参数ω、
Figure BDA0003565189700000082
κ和3个独立的平移参数tx、ty、tz，决定了摄影光线在世界坐标系中的方位，构成了外参；
Figure BDA0003565189700000083
其中：δu＝ruk1r2+ruk2r4+2p1rurv+p2(3ru 2+rv 2)；
δv＝rvk1r2+rvk2r4+p1(ru 2+3rv 2)+2p2rurv。
实现视觉感知设备与激光雷达的联合标定，即在时间同步的前提下，把不同的坐标系转换至同一坐标系下实现空间同步，激光雷达坐标系以激光雷达几何中心为原点，表示为[XL，YL，ZL]，视觉感知设备坐标系以光心为原点，用来描述空间物体与其相对位置，表示为[XC，YC，ZC]，激光雷达坐标系与视觉感知设备坐标系的转换关系如公式(2)所示。
Figure BDA0003565189700000091
由标定板在激光雷达坐标系下的三维坐标，以及对应点在视觉感知设备坐标系下的相应坐标作为参数，使用联立方程组求解旋转矩阵R和平移矩阵T，实现激光雷达与视觉感知设备的联合标定。
所述主控机实验管理子系统采用Intel(R)Xeon(R)CPU E5-2680 V3@2.5GHz2.5GHz。
所述控机实验管理子系统用于运行实验管理软件及配置实验系统的参数，并可进行在线实时调整视觉感知设备53及激光雷达51的参数和联合标定数据的实时记录，实现联合标定实验的开始、暂停、结束、重置等操作，以及标定板47平移旋转控制机构的俯仰、旋转、上下运动位姿调整控制等，同时实现自动化的测试评价功能，是视觉感知和激光雷达安装机构5、标定板安装和平移旋转控制机构4、线束安装和集成机构2及测试评价子系统的主控制部分。
所述控机实验管理子系统通过对电机一42、电机二43、电机三45及标定板连接杆46运动控制，实现标定板47旋转、伸缩、上下运动等进行位姿调整。
所述测试评价子系统，用于对采集到的视觉感知设备53和激光雷达53信息进行联合标定处理，以及融合准确性、稳定性、可重复性指标，综合评价获取的内参及外参矩阵的精确度，是运行于主控机实验管理子系统中的软件模块。
以上公开的仅为本发明的具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (8)

1.一种用于视觉感知和激光雷达联合标定测试系统，包括主体实验平台、视觉感知和激光雷达安装机构、标定板安装和平移旋转控制机构、线束安装和集成机构、主控机实验管理子系统及测试评价子系统，其特征在于：
所述主体实验平台固定连接视觉感知和激光雷达安装机构(5)、标定板安装和平移旋转控制机构(4)及线束安装和集成机构(2)；
所述视觉感知和激光雷达安装机构(5)电性连接所述线束安装和集成机构(2)；
所述视觉感知和激光雷达安装机构(5)、所述标定板安装和平移旋转控制机构(4)及所述线束安装和集成机构(2)分别电性连接主控机实验管理子系统；
所述主控机实验管理子系统运行所述测试评价子系统。
2.根据权利要求1所述的用于视觉感知和激光雷达联合标定测试系统，其特征在于：所述主体实验平台包括龙门支撑架(1)及主体支架(3)，所述龙门支撑架(1)固定连接对称的所述主体支架(3)，所述龙门支撑架(1)固定连接线束安装和集成机构(2)，所述龙门支撑架(1)固定连接视觉感知和激光雷达安装机构(5)，一个所述主体支架(3)固定连接标定板安装和平移旋转控制机构(4)。
3.根据权利要求1所述的用于视觉感知和激光雷达联合标定测试系统，其特征在于：所述线束安装和集成机构(2)包括中央集线器(21)，所述龙门支撑架(1)固定连接所述中央集线器(21)，所述中央集线器(21)电性连接所述主控机实验管理子系统。
4.根据权利要求1所述的用于视觉感知和激光雷达联合标定测试系统，其特征在于：所述标定板安装和平移旋转控制机构(4)包括方板(41)，一个所述主体支架(3)固定连接所述方板(41)，所述方板(41)固定连接电机一(42)，所述电机一(42)的输出轴固定连接电机二(43)，所述电机二(43)的输出轴固定连接摇臂(44)，所述摇臂(44)固定连接电机三(45)，所述电机三(45)的输出轴固定连接标定板连接杆(46)，所述标定板连接杆(46)固定连接标定板(47)，所述电机一(42)、所述电机二(43)、所述电机三(45)及所述标定板连接杆(46)分别电性连接所述主控机实验管理子系统。
5.根据权利要求1所述的用于视觉感知和激光雷达联合标定测试系统，其特征在于：所述视觉感知和激光雷达安装机构(5)包括U板(52)及L板(55)，所述龙门支撑架(1)上部固定连接所述U板(52)，所述龙门支撑架(1)下部固定连接所述L板(55)，所述U板(52)的上部安装有激光雷达(51)，所述U板(52)的下部安装有视觉感知设备(53)，所述激光雷达(51)及所述视觉感知设备(53)分别电性连接所述中央集线器(21)，所述L板(55)固定连接监控设备(54)，所述监控设备(54)电性连接所述中央集线器(21)。
6.根据权利要求1所述的用于视觉感知和激光雷达联合标定测试方法，其特征在于，包括以下步骤：
步骤一：根据所述标定板(47)的类型在所述主控机实验管理子系统中设置所述标定板(47)参数，通过所述主控机实验管理子系统控制所述标定板(47)旋转、伸缩、上下运动等进行位姿调整，同时，利用所述视觉感知设备(53)拍摄所述标定板(47)在不同位置的图像数据，以所述标定板(47)的参数信息为基础进行所述视觉感知设备(53)的标定，获取所述视觉感知设备(53)的内参以及所述视觉感知设备(53)与所述标定板(47)之间的外参；
步骤二：配置所述激光雷达(51)的参数信息，在ROS系统中同时打开所述视觉感知设备(53)与所述激光雷达(51)采集数据信息，同时，通过所述主控机实验管理子系统的控制，使所述标定板(47)在所述视觉感知设备(53)能采集到的范围内小幅度移动，所述主控机实验管理子系统内同时录制视觉感知设备(53)的图像数据与激光雷达(51)的点云数据，并保存至数据包内；
步骤三：主控机实验管理子系统将录制的数据包逐帧分割出图像数据和激光雷达点云数据，采用棋盘格联合标定法计算视觉感知设备和激光雷达之间外方位参数矩阵，包括旋转矩阵和平移矩阵，在主控机实验管理子系统内实现所述视觉感知设备(53)与所述激光雷达(51)的联合标定；
步骤四：利用所述步骤三中获得的结果，将同一时刻采集的点云数据投影至对应的视觉感知图像数据上，可以直观可视化的观察数据融合效果，如果融合效果不符合要求，则重复执行所述步骤三；
步骤五：测试评价子系统统计标定复原点坐标误差，对联合标定精度进行评定，使用所述激光雷达(53)获取所述标定板(47)的三维点云坐标，利用联合标定参数对所述标定板(47)的三维坐标进行线性转换，计算出对应的视觉二维像素坐标，将计算出的二维像素坐标与其对应的真实二维像素坐标进行对比，使用公式(3)计算标定板上相应点的重投影误差，统计分析所述标定板(47)上可利用角点的重投影误差值，并绘制报表，
Figure FDA0003565189690000031
其中，(up，i，vp，i)为第i个标定板上角点的真实像素点坐标，(ui，i，vi，i)为第i个标定板上角点的重投影计算像素坐标；
步骤六：测试评价子系统统计联合标定实验结果的平均精度均值数据和实时性分析数据，整合并输出显示测试报告，同时可以在主控机实验管理子系统内直观观察实验结果。
7.根据权利要求6所述的用于视觉感知和激光雷达联合标定测试方法，其特征在于：所述步骤一中所述视觉感知设备(53)在考虑镜头畸变因素后，利用公式(1)所示的非线性模型可以表示其完整成像过程，其中，包含的fu、fv、u0、v0四个未知参数，与非线性畸变系数k1、k2、p1、p2共同构成了成像非线性模型的内参；旋转矩阵R，平移向量T，包含3个独立的旋转角度参数ω、
Figure FDA0003565189690000032
κ和3个独立的平移参数tx、ty、tz，决定了摄影光线在世界坐标系中的方位，构成了外参；
Figure FDA0003565189690000041
其中：δu＝ruk1r2+ruk2r4+2p1rurv+p2(3ru 2+rv 2)；
δv＝rvk1r2+rvk2r4+p1(ru 2+3rv 2)+2p2rurv。
8.根据权利要求6所述的用于视觉感知和激光雷达联合标定测试方法，其特征在于：
实现视觉感知设备与激光雷达的联合标定，即在时间同步的前提下，把不同的坐标系转换至同一坐标系下实现空间同步，激光雷达坐标系以激光雷达几何中心为原点，表示为[Xi，Yi，Zi]，视觉感知设备坐标系以光心为原点，用来描述空间物体与其相对位置，表示为[Xc，Yc，Zc]，激光雷达坐标系与视觉感知设备坐标系的转换关系如公式(2)所示。
Figure FDA0003565189690000042
由标定板在激光雷达坐标系下的三维坐标，以及对应点在视觉感知设备坐标系下的相应坐标作为参数，使用联立方程组求解旋转矩阵R和平移矩阵T，实现激光雷达与视觉感知设备的联合标定。
CN202210305921.3A 2022-03-25 2022-03-25 一种用于视觉感知和激光雷达联合标定测试系统及方法 Pending CN114646948A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210305921.3A CN114646948A (zh) 2022-03-25 2022-03-25 一种用于视觉感知和激光雷达联合标定测试系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210305921.3A CN114646948A (zh) 2022-03-25 2022-03-25 一种用于视觉感知和激光雷达联合标定测试系统及方法

Publications (1)

Publication Number Publication Date
CN114646948A true CN114646948A (zh) 2022-06-21

Family

ID=81994562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210305921.3A Pending CN114646948A (zh) 2022-03-25 2022-03-25 一种用于视觉感知和激光雷达联合标定测试系统及方法

Country Status (1)

Country Link
CN (1) CN114646948A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485913A (zh) * 2023-04-25 2023-07-25 成都新西旺自动化科技有限公司 一种视觉平移标定的自诊断方法、系统、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485913A (zh) * 2023-04-25 2023-07-25 成都新西旺自动化科技有限公司 一种视觉平移标定的自诊断方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN112669393B (zh) 一种激光雷达与相机联合标定方法
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN110363820B (zh) 一种基于激光雷达、图像前融合的目标检测方法
CN111951305B (zh) 一种基于视觉和激光雷达的目标检测和运动状态估计方法
WO2022170878A1 (zh) 一种无人机测量输电线路影像距离的系统及方法
CN108868268B (zh) 基于点到面距离和互相关熵配准的无人车位姿估计方法
CN110378965A (zh) 确定坐标系转换参数的方法、装置、设备和存储介质
CN110853037A (zh) 一种基于球面投影的轻量化彩色点云分割方法
CN108414238A (zh) 自动泊车功能实车测试系统及测试方法
CN106971408B (zh) 一种基于时空转换思想的摄像机标定方法
CN110400315A (zh) 一种缺陷检测方法、装置及系统
CN113255486B (zh) 一种基于高位视频监控的车位占用检测方法
CN110470226A (zh) 一种基于无人机系统的桥梁结构位移测量方法
CN113177918B (zh) 一种无人机对电力杆塔的智能精准巡检方法及系统
CN114646948A (zh) 一种用于视觉感知和激光雷达联合标定测试系统及方法
CN114283203A (zh) 一种多相机系统的标定方法及系统
CN112801184A (zh) 一种云跟踪方法、系统及装置
CN113390514A (zh) 一种基于多传感器阵列的三维红外温度测量方法
CN112254675A (zh) 一种包含运动物体的空间占用率采集判断设备及方法
US20230177724A1 (en) Vehicle to infrastructure extrinsic calibration system and method
CN115100290B (zh) 交通场景下的单目视觉定位方法及装置、设备、存储介质
CN115343299B (zh) 一种轻量化公路隧道集成检测系统及方法
CN116755104A (zh) 基于三点两线定位对象的方法及设备
CN114998444A (zh) 一种基于两通道网络的机器人高精度位姿测量系统
CN113790711B (zh) 一种无人机低空飞行位姿无控多视测量方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination