CN110244282B - 一种多相机系统和激光雷达联合系统及其联合标定方法 - Google Patents
一种多相机系统和激光雷达联合系统及其联合标定方法 Download PDFInfo
- Publication number
- CN110244282B CN110244282B CN201910498286.3A CN201910498286A CN110244282B CN 110244282 B CN110244282 B CN 110244282B CN 201910498286 A CN201910498286 A CN 201910498286A CN 110244282 B CN110244282 B CN 110244282B
- Authority
- CN
- China
- Prior art keywords
- calibration
- camera
- laser radar
- industrial
- cam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及计算机技术领域，公开了一种多相机系统和激光雷达联合标定方法，通过使用一种特殊生成的标定板，只要相邻两个相机可以同时拍摄到标定板的一部分就可以求解出多相机的内参和外参，当多相机系统的相机满足相邻两个相机可以同时拍摄到标定板就可以完成多相机系统的标定，再联合单相机和激光雷达的标定，完成多相机系统和激光雷达的标定；省去了激光雷达和每个相机都采集数据和选择点云的步骤，简化了标定步骤，在保证精度的前提下节省了标定的时间和过程，解决了多相机系统在相邻相机没有共同视野或者共同视野很小的情况下无法完成标定的问题。
Description
技术领域
本发明涉及计算机技术领域，特别是一种多相机系统和激光雷达联合系统及其联合标定方法。
背景技术
人类在驾驶过程中所接受的信息大多来自视觉，例如交通标志、道路标志、交通信号等，这些视觉信息成为人类驾驶员控制车辆的主要决策依据。在自动驾驶中，相机取代人类视觉系统作为交通环境感知的传感器之一。相比较其他传感器，相机安装使用的方法简单、获取的图像信息量大、投入成本低、作用范围广。但是相机容易受光照影响，在光线不好或者光线突变的地方拍摄效果差。自动驾驶中另一种常用传感器是激光雷达。激光雷达工作在红外和可见光波段，是一种以激光为工作光束、使用光电探测技术手段的主动遥感设备。激光雷达系统能探测静态和动态物体，并提供被探测物的高分辨率的几何图像、距离图像、速度图像。激光雷达可以获得极高的速度、距离和角度分辨率，形成精确的3D地图，抗干扰能力强，但是成本较高，也容易受到恶劣天气和烟雾环境的影响。针对两种传感器的特点，目前主要的解决方案是传感器融合，而传感器融合首先要解决的就是标定问题。
目前对双目或者多目相机的标定方法都要求有重叠视野才能进行标定，但是在实际使用过程中我们希望多相机系统可以观察到车辆周围的环境信息，所以相机的摆放方向是朝向外侧的。由于相机的视角有限，当两个相机之间的角度稍大时相机间的共同视野就会消失或者有很小的共同视野，传统标定方法就会失效。在相机和激光雷达的标定过程中往往需要采集多个地点多组位姿图像数据，如果需要在远距离标定的很准确就需要很大的一片场地。后期标定还需要点云选取和优化，单相机和激光雷达标定的工作量就很大，如果是多相机系统那工作量将会加倍增长。
发明内容
本发明的目的在于提供一种多相机系统和激光雷达联合系统及其联合标定方法，以解决解决现有多相机标定需要有共同视野，在多相机系统只有很少共同视野或者没有视野无法完成相机的内参和外参标定问题，同时简化多相机系统和激光雷达联合标定的方法。
为实现上述技术目的，达到上述技术效果，本发明公开了一种多相机系统和激光雷达联合系统，所述的联合系统包括了至少两组工业相机和一组激光雷达，所述的工业相机和激光雷达安装于固定支架上，工业相机以激光雷达为中心呈等圆心角分布安装于激光雷达的外侧。
其中，激光雷达为2.5D激光雷达或3D激光雷达，激光雷达的垂直视野的范围为10°-40°。
本发明还公开了一种多相机系统和激光雷达联合标定方法，采用上述的联合系统，具体包括以下步骤：
S1、安装固定联合系统，开启工业相机同步拍摄功能，将特殊标定板放置于联合系统外侧，调整特殊标定板与工业相机的距离保证特殊标定板完整出现在工业相机视野中，将特殊标定板缓慢围绕联合系统移动一圈；
S2、设定联合系统中某一工业相机为cam-1，将棋盘格标定板放置于cam-1外侧，调整棋盘格标定板与cam-1的距离保证棋盘格标定板完整出现在cam-1视野中，通过cam-1和激光雷达分别取得棋盘格标定板的多位姿图像和点云数据；
S3、将S1采集得到数据包进行同步时间戳处理，然后从数据包中提取出图像，将每组工业相机拍摄到的图片规范化命名，筛选出每组工业相机拍摄到的特殊标定板的清晰完整的图像以及相邻工业相机同一时间戳拍摄到的清晰的特殊标定板图像；
S4、计算S3拍摄图像和标定图像的特征点，匹配特征点和筛选错误匹配的特征点，用匹配到的特征点计算工业相机的内参和拍摄到的特殊标定板在工业相机坐标系下的坐标并优化内参和位姿；
S5、构建位姿拓扑地图，以每组工业相机和在相机坐标系下的位姿为顶点，以拍摄到的图片为边，构建位姿拓扑图，设相机cam-1和全局坐标系对齐，计算每组工业相机在全局坐标系下的位姿，以相机cam-1为根节点，使用广度优先算法生成树，将每组工业相机之间的转化关系联系起来，完成多相机系统标定；
S6、同时播放cam-1和激光雷达采集的标定数据，通过标定软件在点云数据中选择打在棋盘格标定板上的点云，每个位姿都需要选取；选择完点云后，将点云投影到相机坐标系中，观测所选点云是否位于标定板中心；
S7、调整S6所选的点云，使得所选点云投影后都在棋盘格标定板的中心，都调整好后点击标定，输出激光雷达标定结果；
S8、联合S5、S6和S7，通过多相机系统和激光雷达联合系统达标定结果，完成整个感知系统的标定。
其中，S1中特殊标定板为表面具有不规则明暗变化的标定板，尺寸大小与棋盘格标定板相同。
其中，S3中图片规范化命名由相机名称和时间戳组成。
优选的，S7中点云的调整方法为最小化重投影误差优化，具体步骤为：
S71、通过所选的点云，估计出平面方程和平面法向量；
S72、通过棋盘格标定板的位姿计算图像中标定板平面的法向量；
S73、通过两个法向量计算出激光雷达和每组工业相机的转换关系,将所有的转换关系通过最小化投影误差，优化出最终的结果。
进一步的，位姿为n种方位与m种倾角的搭配组合，其中，n、m均为正整数。
本发明具有以下有益效果：
1.本发明通过使用一种特殊生成的标定板，只要相邻两个相机可以同时拍摄到标定板的一部分就可以求解出多相机的内参和外参，当多相机系统的相机满足相邻两个相机可以同时拍摄到标定板就可以完成多相机系统的标定，再联合单相机(cam-1)和激光雷达的标定，完成多相机系统和激光雷达的标定。
2.本发明省去了激光雷达和每个相机都采集数据和选择点云的步骤，简化了标定步骤，在保证精度的前提下节省了标定的时间和过程，解决了多相机系统在相邻相机没有共同视野或者共同视野很小的情况下无法完成标定的问题。
附图说明
图1为本发明具体实施多相机系统和激光雷达联合标定的流程示意图；
图2为本发明的多相机系统和激光雷达结构图；
图3为本发明多相机标定使用的特殊标定板的图像。
主要部件符号说明:
1：固定支架，2：激光雷达，3：工业相机。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。
实施例1
如图1-3所示，本发明公开了一种多相机系统和激光雷达联合系统，所述的联合系统包括了五组工业相机3和一组激光雷达2，工业相机3和激光雷达2安装于固定支架1上，工业相机3以激光雷达2为中心呈等圆心角分布安装于激光雷达2的外侧。
其中，激光雷达2为2.5D激光雷达或3D激光雷达，激光雷达2的垂直视野范围为10°-40°。
本发明还公开了一种多相机系统和激光雷达联合标定方法，采用上述的联合系统，具体包括以下步骤：
S1、安装固定联合系统，开启工业相机3同步拍摄功能，将特殊标定板放置于联合系统外侧，调整特殊标定板与工业相机3的距离保证特殊标定板完整出现在工业相机3视野中，将特殊标定板缓慢围绕联合系统移动一圈，
本发明在标定过程中，需要采用两种标定板，一种为特殊标定板，一种为传统的棋盘格标定板，其中特殊标定板为表面具有不规则明暗变化的标定板，尺寸大小与棋盘格标定板相同，具体样式如图3所示；
S2、设定联合系统中某一工业相机3为cam-1，其余工业相机3以cam-2、cam-3、cam-4和cam-5依次标号，将棋盘格标定板放置于cam-1外侧，调整棋盘格标定板与cam-1的距离保证棋盘格标定板完整出现在cam-1视野中，通过cam-1和激光雷达2分别取得棋盘格标定板的多位姿图像和点云数据，在激光雷达2和工业相机3的标定过程中，棋盘格标定板或特殊标定板的位姿为n种方位与m种倾角的搭配组合，具体的为在工业相机3的视野的前中后、左中右共3×3九个位置，在每个位置分别将标定板举起左倾、右倾、前倾、后倾、正放共五个位姿,放在地上左倾、右倾、前倾、后倾、正放共五个位姿，一共九个位置与十个位姿的搭配组合共90种。在举起和放在地上时让尽可能多的激光束打在板上；
S3、将S1采集得到数据包进行同步时间戳处理，然后从数据包中提取出图像，将每组工业相机3拍摄到的图片规范化命名，例如cam-1在时间戳213时拍摄到的图片命名为“cam-1-213”，筛选出每组工业相机3拍摄到的特殊标定板的清晰完整的图像以及相邻工业相机3同一时间戳拍摄到的清晰的特殊标定板图像；
S4、计算S3拍摄图像和标定图像的特征点，匹配特征点和筛选错误匹配的特征点，用匹配到的特征点计算工业相机3的内参和拍摄到的特殊标定板在工业相机坐标系下的坐标并优化内参和位姿；
S5、构建位姿拓扑地图，以每组工业相机3和在相机坐标系下的位姿为顶点，以拍摄到的图片为边，构建位姿拓扑图，设相机cam-1和全局坐标系对齐，计算每组工业相机3在全局坐标系下的位姿，以相机cam-1为根节点，使用广度优先算法生成树，将每组工业相机3之间的转化关系联系起来，完成多相机系统标定；
S6、同时播放cam-1和激光雷达采集的标定数据，通过标定软件在点云数据中选择打在棋盘格标定板上的点云，每个位姿都需要选取；选择完点云后，将点云投影到相机坐标系中，观测所选点云是否位于标定板中心；
S7、调整S6所选的点云，通过最小化重投影误差优化使得所选点云投影后都在棋盘格标定板的中心，都调整好后点击标定，输出激光雷达2标定结果；
S8、联合S5、S6和S7，通过多相机系统和激光雷达联合系统达标定结果，完成整个感知系统的标定。
本发明通过使用一种特殊生成的标定板，只要相邻两个工业相机3可以同时拍摄到标定板的一部分就可以求解出多相机的内参和外参，当多相机系统的相机满足相邻两个工业相机3可以同时拍摄到标定板就可以完成多相机系统的标定，再联合单相机(如cam-1)和激光雷达的标定，完成多相机系统和激光雷达的标定。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种多相机系统和激光雷达联合标定方法，其特征在于，采用联合系统实现，所述的联合系统包括了至少两组工业相机和一组激光雷达，所述的工业相机和激光雷达安装于固定支架上，工业相机以激光雷达为中心呈等圆心角分布安装于激光雷达的外侧，所述的激光雷达为2.5D激光雷达或3D激光雷达，激光雷达的垂直视野的范围为10°-40°，方法具体包括以下步骤：
S1、安装固定联合系统，开启工业相机同步拍摄功能，将特殊标定板放置于联合系统外侧，调整特殊标定板与工业相机的距离保证特殊标定板完整出现在工业相机视野中，将特殊标定板缓慢围绕联合系统移动一圈；
S2、设定联合系统中某一工业相机为cam-1，将棋盘格标定板放置于cam-1外侧，调整棋盘格标定板与cam-1的距离保证棋盘格标定板完整出现在cam-1视野中，通过cam-1和激光雷达分别取得棋盘格标定板的多位姿图像和点云数据；
S3、将S1采集得到数据包进行同步时间戳处理，然后从数据包中提取出图像，将每组工业相机拍摄到的图片规范化命名，筛选出每组工业相机拍摄到的特殊标定板的清晰完整的图像以及相邻工业相机同一时间戳拍摄到的清晰的特殊标定板图像；
S4、计算S3拍摄图像和标定图像的特征点，匹配特征点和筛选错误匹配的特征点，用匹配到的特征点计算工业相机的内参和拍摄到的特殊标定板在工业相机坐标系下的坐标并优化内参和位姿；
S5、构建位姿拓扑地图，以每组工业相机和在相机坐标系下的位姿为顶点，以拍摄到的图片为边，构建位姿拓扑图，设相机cam-1和全局坐标系对齐，计算每组工业相机在全局坐标系下的位姿，以相机cam-1为根节点，使用广度优先算法生成树，将每组工业相机之间的转化关系联系起来，完成多相机系统标定；
S6、同时播放cam-1和激光雷达采集的标定数据，通过标定软件在点云数据中选择打在棋盘格标定板上的点云，每个位姿都需要选取；选择完点云后，将点云投影到相机坐标系中，观测所选点云是否位于标定板中心；
S7、调整S6所选的点云，使得所选点云投影后都在棋盘格标定板的中心，都调整好后点击标定，输出激光雷达标定结果；
S8、联合S5、S6和S7，通过多相机系统和激光雷达联合系统达标定结果，完成整个感知系统的标定。
2.如权利要求1所述的一种多相机系统和激光雷达联合标定方法，其特征在于，所述的S1中特殊标定板为表面具有不规则明暗变化的标定板，尺寸大小与棋盘格标定板相同。
3.如权利要求1所述的一种多相机系统和激光雷达联合标定方法，其特征在于，所述的S3中图片规范化命名由相机名称和时间戳组成。
4.如权利要求1所述的一种多相机系统和激光雷达联合标定方法，其特征在于，所述的S7中点云的调整方法为最小化重投影误差优化，具体步骤为：
S71、通过所选的点云，估计出平面方程和平面法向量；
S72、通过棋盘格标定板的位姿计算图像中标定板平面的法向量；
S73、通过两个法向量计算出激光雷达和每组工业相机的转换关系,将所有的转换关系通过最小化投影误差，优化出最终的结果。
5.如权利要求1-4任意所述的一种多相机系统和激光雷达联合标定方法，其特征在于，所述的位姿为n种方位与m种倾角的搭配组合，其中，n、m均为正整数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910498286.3A CN110244282B (zh) | 2019-06-10 | 2019-06-10 | 一种多相机系统和激光雷达联合系统及其联合标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910498286.3A CN110244282B (zh) | 2019-06-10 | 2019-06-10 | 一种多相机系统和激光雷达联合系统及其联合标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110244282A CN110244282A (zh) | 2019-09-17 |
| CN110244282B true CN110244282B (zh) | 2021-06-15 |
Family
ID=67886485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910498286.3A Active CN110244282B (zh) | 2019-06-10 | 2019-06-10 | 一种多相机系统和激光雷达联合系统及其联合标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110244282B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689584B (zh) * | 2019-09-30 | 2021-09-03 | 深圳市瑞立视多媒体科技有限公司 | 多相机环境中主动式刚体的位姿定位方法及相关设备 |
| CN110942485B (zh) * | 2019-11-27 | 2021-03-19 | 腾讯科技（深圳）有限公司 | 基于人工智能的场景感知方法、装置及电子设备 |
| CN111077506B (zh) * | 2019-12-12 | 2022-04-19 | 苏州智加科技有限公司 | 对毫米波雷达进行标定的方法、装置及系统 |
| CN111210478B (zh) * | 2019-12-31 | 2023-07-21 | 重庆邮电大学 | 一种无共同视野多相机系统外参标定方法、介质及系统 |
| CN111429521B (zh) * | 2020-03-05 | 2021-12-21 | 深圳市镭神智能系统有限公司 | 相机与激光雷达的外参标定方法、装置、介质及电子设备 |
| CN111693968B (zh) * | 2020-05-29 | 2022-10-28 | 江苏大学 | 一种车载三维激光雷达系统外参的系统化标定方法 |
| CN111638500A (zh) * | 2020-06-01 | 2020-09-08 | 贝壳技术有限公司 | 用于测量装置的标定方法和测量装置 |
| CN113906481A (zh) * | 2020-10-13 | 2022-01-07 | 深圳市大疆创新科技有限公司 | 成像显示方法、遥控终端、装置、系统及存储介质 |
| CN113763480B (zh) * | 2021-08-03 | 2024-08-27 | 桂林电子科技大学 | 一种多镜头全景摄像机组合标定方法 |
| CN114004901B (zh) * | 2022-01-04 | 2022-03-18 | 南昌虚拟现实研究院股份有限公司 | 多相机标定方法、装置、终端设备及可读存储介质 |
| CN114581284B (zh) * | 2022-03-02 | 2023-03-24 | 东南大学 | 一种多相机高速同步拍摄系统及拍摄方法 |
| CN115712111A (zh) * | 2022-11-07 | 2023-02-24 | 北京斯年智驾科技有限公司 | 一种相机雷达联合标定方法、系统、电子装置、计算机设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10643349B2 (en) * | 2017-04-27 | 2020-05-05 | Sick Ag | Method of calibrating a camera and a laser scanner |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109211298B (zh) * | 2017-07-04 | 2021-08-17 | 百度在线网络技术（北京）有限公司 | 一种传感器标定方法和装置 |
| CN111492403A (zh) * | 2017-10-19 | 2020-08-04 | 迪普迈普有限公司 | 用于生成高清晰度地图的激光雷达到相机校准 |
| CN108020826B (zh) * | 2017-10-26 | 2019-11-19 | 厦门大学 | 多线激光雷达与多路相机混合标定方法 |
| CN109360245B (zh) * | 2018-10-26 | 2021-07-06 | 魔视智能科技(上海)有限公司 | 无人驾驶车辆多相机系统的外参数标定方法 |
-
2019
- 2019-06-10 CN CN201910498286.3A patent/CN110244282B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10643349B2 (en) * | 2017-04-27 | 2020-05-05 | Sick Ag | Method of calibrating a camera and a laser scanner |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110244282A (zh) | 2019-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110244282B (zh) | 一种多相机系统和激光雷达联合系统及其联合标定方法 | |
| US9858639B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| CN106780601B (zh) | 一种空间位置追踪方法、装置及智能设备 | |
| CN108020825B (zh) | 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法 | |
| KR102516326B1 (ko) | 이미지 라인들로부터의 카메라 외부 파라미터들 추정 | |
| JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
| CN110930508B (zh) | 二维光电视频与三维场景融合方法 | |
| CN111815716A (zh) | 一种参数标定方法及相关装置 | |
| CN111739087B (zh) | 一种场景蒙版的生成方法和系统 | |
| KR20210049581A (ko) | 이동체의 전방향에 대한 거리 취득 장치 및 방법 | |
| CN108769569B (zh) | 一种用于无人机的360度立体全景观测系统及方法 | |
| EP4073756A1 (en) | A method for measuring the topography of an environment | |
| CN111854636B (zh) | 一种多相机阵列三维检测系统和方法 | |
| WO2022141294A1 (zh) | 仿真测试方法、系统、仿真器、存储介质及程序产品 | |
| CN109709977B (zh) | 移动轨迹规划的方法、装置及移动物体 | |
| CN112837207B (zh) | 全景深度测量方法、四目鱼眼相机及双目鱼眼相机 | |
| CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
| CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
| CN106683039A (zh) | 一种生成火情态势图的系统 | |
| CN106524995A (zh) | 基于可见光图像实时检测目标物体空间距离的定位方法 | |
| CN113869422B (zh) | 多相机目标匹配方法、系统、电子设备及可读存储介质 | |
| CN114155349A (zh) | 一种三维建图方法、三维建图装置及机器人 | |
| CN111654626B (zh) | 一种包含深度信息的高分辨率相机 | |
| Chen et al. | Low cost and efficient 3D indoor mapping using multiple consumer RGB-D cameras | |
| CN116684740A (zh) | 感知训练数据生成方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210526 Address after: No. 189 Guangming Road, Zhuangshi street, Zhenhai District, Ningbo City, Zhejiang Province Applicant after: Ningbo Intelligent Equipment Research Institute Co.,Ltd. Address before: 264006 No. 32, Yantai economic and Technological Development Zone, Shandong, Zhujianglu Road Applicant before: Yu Xinghu |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |