CN109598765A - 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 - Google Patents
基于球形标定物的单目相机与毫米波雷达外参联合标定方法 Download PDFInfo
- Publication number
- CN109598765A CN109598765A CN201811577547.2A CN201811577547A CN109598765A CN 109598765 A CN109598765 A CN 109598765A CN 201811577547 A CN201811577547 A CN 201811577547A CN 109598765 A CN109598765 A CN 109598765A
- Authority
- CN
- China
- Prior art keywords
- millimetre
- spherical
- wave radar
- radar
- outer ginseng
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于球形标定物的单目相机与毫米波雷达的外参联合标定方法，利用毫米波雷达对金属的探测敏感性，选取数个金属圆球作为标定物，通过匹配不同坐标系下对同一个标定球的描述信息，建立未知量之间的约束条件，将各个标定球匹配的误差平方和作为总体优化目标，在迭代后求解出当前约束下的最优解作为该单目相机与毫米波雷达的外参。
Description
技术领域
本发明涉及多传感器融合领域的外参标定技术，尤其涉及一种基于球形标定物的单目相机与毫米波雷达的外参联合标定方法。
背景技术
感知技术作为目前智能机器人领域的核心问题，决定着机器人对自身的定位和对环境的建图。由于单一传感器获得的环境信息有限，融合多种传感器的环境信息对于提高机器人感知能力和丰富机器人地图信息有着重要意义。在数学描述下，不同传感器所对应坐标系之间的转换矩阵称为外参矩阵，多传感器融合首先需要解决外参矩阵的求解问题，该过程也即多传感器的外参联合标定。
传统的多传感器外参联合标定方法一般聚焦于多相机间、多激光雷达间或相机与激光雷达间的求解问题。对于多相机或多激光雷达的外参标定问题，由于匹配的特征类型相同，即同为像素或三维点云，因此通过简单地遍历匹配最小化误差即可解决。对于相机与激光雷达之间的外参标定问题，由于匹配的特征类型同时包括图像像素与激光雷达三维点云，导致标定难度较高。目前已有一些针对相机与激光雷达的外参标定方法，如专利(201610070153.2)利用三维点云对标定板进行精细建模，通过区分标定板各方格顶点进行标定。
毫米波雷达具有可靠性高、成本低等优势，在智能机器人与无人驾驶领域获得了广泛关注与应用，特别是与相机融合后可实现高性价比的环境感知。然而，毫米波雷达产生的三维点云相比于激光雷达较为稀疏，上述相机与激光雷达的外参联合标定方法并不适用于相机与毫米波雷达。专利(201210563695.5)利用各传感器两帧数据之间的变化分别得到与世界坐标系的转换矩阵，再通过世界坐标系标定相机与毫米波雷达的外参，该方法需要在传感器移动过程中进行信息采集，对时间戳同步要求高，通过世界坐标系间接求解的方法也会产生误差传递，存在标定过程复杂、标定误差大等问题。
发明内容
本发明要解决的问题是提供一种针对单目相机与毫米波雷达的外参联合标定方法，结合毫米波雷达对金属物体识别能力强的特性，开发出一套简便且高效的标定流程，并实现较高的标定精度，标定得到的外参矩阵可用于实际坐标系间转换，为多传感器数据的深层次融合提供基础。
为了解决上述技术问题，本发明提供一种基于金属球形标定物的匹配方法与相机-雷达系统外参求解方法及其具体流程，包括具体匹配方法选择与外参标定使用的优化方式。
本发明利用毫米波雷达对金属的探测敏感性，选取数个金属圆球作为标定物，通过匹配不同坐标系下对同一个标定球的描述信息，建立未知量之间的约束条件，将各个标定球匹配的误差平方和作为总体优化目标，在迭代后求解出当前约束下的最优解作为此相机-雷达系统的外参。克服了毫米波雷达点云角分辨率过低的缺点，场景布置简单，运算要求合理，外参结果准确性高。
本发明的单目相机与毫米波雷达外参联合标定过程，包括以下步骤：
步骤一：标定物与场景布置；
a.场景布置；
b.数据采集；
步骤二：相机与雷达数据准备；
a.点云聚类求取球心坐标；
b.图像处理求取圆心坐标；
步骤三：匹配标定球，建立约束条件与优化目标；
a.匹配标定球信息；
b.建立外部约束条件；
c.建立内部约束条件；
d.建立优化目标；
步骤四：迭代优化求外参矩阵。
本发明与背景技术相比，具有有益的效果是：
一、选用了金属球作为标定物，一方面利用了金属对毫米波的强反射性，增强了反射信号，有益于区别背景噪音与无关障碍物，得到稠密低噪音的雷达点云数据；另一方面利用球体的对称性，不再对标定物进行建模取建模，采用取有效点云的平均值作为球心的方法，克服了毫米波雷达点云稀疏的缺点。
二、选用了相机坐标系与雷达坐标系的直接转换，摆脱了对变化的相邻帧数据的依赖，避免了采集过程中由于两坐标系时间戳不同步产生的误差，可有效提高两坐标系下数据的时间与空间匹配性，降低外参标定过程中的误差。四，选用了条件约束下的单目标优化方法，通过设定步长完成迭代，得到最优解，在降低运算时间的同时保证了外参联合标定结果的准确性。
附图说明
图1是本发明中单目相机与毫米波雷达外参联合标定方法的流程示意图。
图2是本发明中标定球布置和单目相机与毫米波雷达数据采集示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细说明。
如图1和2所示，基于球形标定物的单目相机与毫米波雷达外参联合标定方法，具体包括以下步骤：
步骤一：标定物与场景布置；
a.场景布置：将至少6个金属球分散布置作为标定球，保证所有标定球同时出现在相机与雷达的视野内。金属球互相间保持一定距离，满足各标定球像素边界在图像坐标系下可分，点云边界在三维坐标系下可分；
b.数据采集：将雷达与相机相对固定后，静止置于平面上，开启程序并同步采集连续时间内的雷达点云数据与相机图像数据；
步骤二：相机与雷达数据准备；
a.点云聚类求取球心坐标：参考标定球体的实际大小，通过设定空间范围的阈值，将描述同一标定球的点云数据进行归类，并求取三维坐标均值，作为雷达坐标系下的球心所处位置；
b.图像处理求取圆心坐标：标出相机图像中的各标定球的圆形轮廓，对整体图像进行颜色阈值处理，得到各个标定球所对应圆心的外边界像素位置，通过逐步搜索半径匹配的方式得到各个圆心的二维坐标与半径大小；
步骤三：匹配标定球，建立约束条件与优化目标；
a.匹配标定球：确定标定球的顺序，匹配每一个标定球的图像圆心坐标与雷达球心三维坐标
b.建立外部约束条件：根据相机与雷达的外参关系，得到外部约束条件，
其中，相机的内参矩阵是已知参数；
c.建立内部约束条件：外参矩阵A由旋转变量R与平移变量t组成，
其中，旋转变量R需满足条件，R*R’＝I，可以得到内部约束条件；
d.建立优化目标：采用单目标优化可以减小外参标定过程中的计算复杂程度，因此取各外部约束下的误差平方和作为整体优化目标。
步骤四：迭代优化求外参矩阵；
在步骤三所得到的约束条件下，对目标函数进行迭代优化，通过选取合适迭代步长，求解出旋转矩阵R与平移矩阵t，完成单目相机与毫米波雷达外参联合标定。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种基于球形标定物的单目相机与毫米波雷达的外参联合标定方法，其特征在于：利用毫米波雷达对金属的探测敏感性，选取数个金属圆球作为标定物，通过匹配不同坐标系下对同一个标定球的描述信息，建立未知量之间的约束条件，将各个标定球匹配的误差平方和作为总体优化目标，在迭代后求解出当前约束下的最优解作为该单目相机与毫米波雷达的外参。
2.如权利要求1所述的基于球形标定物的单目相机与毫米波雷达的外参联合标定方法，其特征在于：包括如下步骤：
步骤一：标定物与场景布置；
a.场景布置；
b.数据采集；
步骤二：相机与雷达数据准备；
a.点云聚类求取球心坐标；
b.图像处理求取圆心坐标；
步骤三：匹配标定球，建立约束条件与优化目标；
a.匹配标定球信息；
b.建立外部约束条件；
c.建立内部约束条件；
d.建立优化目标；
步骤四：迭代优化求外参矩阵。
3.如权利要求2所述的基于球形标定物的单目相机与毫米波雷达的外参联合标定方法，其特征在于：所述步骤一具体如下：
步骤一：标定物与场景布置；
a.场景布置：将至少6个金属球分散布置作为标定球，金属球互相间保持一定距离，满足各标定球像素边界在图像坐标系下可分，点云边界在三维坐标系下可分；
b.数据采集：将毫米波雷达与单目相机相对固定后，静止置于平面上，开启程序并同步采集连续时间内的雷达点云数据与相机图像数据。
4.如权利要求2所述的基于球形标定物的单目相机与毫米波雷达的外参联合标定方法，其特征在于：所述步骤二具体如下：
步骤二：相机与雷达数据准备；
a.点云聚类求取球心坐标：参考标定球体的实际大小，通过设定空间范围的阈值，将描述同一标定球的点云数据进行归类，并求取三维坐标均值，作为雷达坐标系下的球心所处位置；
b.图像处理求取圆心坐标：标出相机图像中的各标定球的圆形轮廓，对整体图像进行颜色阈值处理，得到各个标定球所对应圆心的外边界像素位置，通过逐步搜索半径匹配的方式得到各个圆心的二维坐标与半径大小。
5.如权利要求2所述的基于球形标定物的单目相机与毫米波雷达的外参联合标定方法，其特征在于：所述步骤三具体如下：
步骤三：匹配标定球，建立约束条件与优化目标；
a.匹配标定球：确定标定球的顺序，匹配每一个标定球的图像圆心坐标与雷达球心三维坐标
b.建立外部约束条件：根据相机与雷达的外参关系，得到外部约束条件，
其中，相机的内参矩阵是已知参数；
c.建立内部约束条件：外参矩阵A由旋转变量R与平移变量t组成，
其中，旋转变量R需满足条件，R*R’＝I，可以得到内部约束条件；
d.建立优化目标：采用单目标优化减小外参标定过程中的计算复杂程度，取各外部约束下的误差平方和作为整体优化目标。
6.如权利要求5所述的基于球形标定物的单目相机与毫米波雷达的外参联合标定方法，其特征在于：所述步骤四具体如下：
步骤四：迭代优化求外参矩阵；
在步骤三所得到的约束条件下，对目标函数进行迭代优化，通过选取适合迭代步长，求解出旋转矩阵R与平移矩阵t，完成单目相机与毫米波雷达外参联合标定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811577547.2A CN109598765B (zh) | 2018-12-21 | 2018-12-21 | 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811577547.2A CN109598765B (zh) | 2018-12-21 | 2018-12-21 | 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109598765A true CN109598765A (zh) | 2019-04-09 |
| CN109598765B CN109598765B (zh) | 2023-01-03 |
Family
ID=65963253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811577547.2A Active CN109598765B (zh) | 2018-12-21 | 2018-12-21 | 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109598765B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189381A (zh) * | 2019-05-30 | 2019-08-30 | 北京眸视科技有限公司 | 外参数标定系统、方法、终端及可读存储介质 |
| CN110689585A (zh) * | 2019-10-09 | 2020-01-14 | 北京百度网讯科技有限公司 | 多相机外参的联合标定方法、装置、设备和介质 |
| CN111060881A (zh) * | 2020-01-10 | 2020-04-24 | 湖南大学 | 一种毫米波雷达外参数在线标定方法 |
| CN111077506A (zh) * | 2019-12-12 | 2020-04-28 | 苏州智加科技有限公司 | 对毫米波雷达进行标定的方法、装置及系统 |
| CN111122128A (zh) * | 2020-01-03 | 2020-05-08 | 浙江大华技术股份有限公司 | 一种球形摄像机的标定方法及装置 |
| CN111311689A (zh) * | 2020-02-10 | 2020-06-19 | 清华大学 | 一种激光雷达与相机相对外参的标定方法及系统 |
| CN111693969A (zh) * | 2020-06-16 | 2020-09-22 | 长沙行深智能科技有限公司 | 一种激光雷达与相机的联合标定装置及方法 |
| CN111830470A (zh) * | 2019-04-16 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 联合标定方法及装置、目标对象检测方法、系统及装置 |
| CN112180362A (zh) * | 2019-07-05 | 2021-01-05 | 北京地平线机器人技术研发有限公司 | 雷达与相机之间的转换位姿确定方法、装置以及电子设备 |
| CN112396663A (zh) * | 2020-11-17 | 2021-02-23 | 广东电科院能源技术有限责任公司 | 一种多深度相机的可视化标定方法、装置、设备和介质 |
| CN113514803A (zh) * | 2021-03-25 | 2021-10-19 | 武汉光庭信息技术股份有限公司 | 一种单目相机和毫米波雷达的联合标定方法 |
| CN113888652A (zh) * | 2021-10-22 | 2022-01-04 | 智能移动机器人(中山)研究院 | 4d毫米波雷达与热感相机的内外参自动标定技术 |
| CN114279468A (zh) * | 2021-12-31 | 2022-04-05 | 北京理工大学 | 一种基于统计分析的毫米波雷达与视觉相机动态标定方法 |
| CN114578328A (zh) * | 2022-02-24 | 2022-06-03 | 苏州驾驶宝智能科技有限公司 | 一种多激光雷达和多相机传感器空间位置自动标定方法 |
| CN117830438A (zh) * | 2024-03-04 | 2024-04-05 | 数据堂（北京）科技股份有限公司 | 一种基于特定标志物的激光雷达与相机联合标定方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017161608A1 (zh) * | 2016-03-21 | 2017-09-28 | 完美幻境(北京)科技有限公司 | 一种相机几何标定处理方法及装置 |
| CN108226906A (zh) * | 2017-11-29 | 2018-06-29 | 深圳市易成自动驾驶技术有限公司 | 一种标定方法、装置及计算机可读存储介质 |
| CN108828606A (zh) * | 2018-03-22 | 2018-11-16 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和双目可见光相机联合测量方法 |
-
2018
- 2018-12-21 CN CN201811577547.2A patent/CN109598765B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017161608A1 (zh) * | 2016-03-21 | 2017-09-28 | 完美幻境(北京)科技有限公司 | 一种相机几何标定处理方法及装置 |
| CN108226906A (zh) * | 2017-11-29 | 2018-06-29 | 深圳市易成自动驾驶技术有限公司 | 一种标定方法、装置及计算机可读存储介质 |
| CN108828606A (zh) * | 2018-03-22 | 2018-11-16 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和双目可见光相机联合测量方法 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111830470A (zh) * | 2019-04-16 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 联合标定方法及装置、目标对象检测方法、系统及装置 |
| CN110189381A (zh) * | 2019-05-30 | 2019-08-30 | 北京眸视科技有限公司 | 外参数标定系统、方法、终端及可读存储介质 |
| CN110189381B (zh) * | 2019-05-30 | 2021-12-03 | 北京眸视科技有限公司 | 外参数标定系统、方法、终端及可读存储介质 |
| CN112180362A (zh) * | 2019-07-05 | 2021-01-05 | 北京地平线机器人技术研发有限公司 | 雷达与相机之间的转换位姿确定方法、装置以及电子设备 |
| CN112180362B (zh) * | 2019-07-05 | 2024-04-23 | 北京地平线机器人技术研发有限公司 | 雷达与相机之间的转换位姿确定方法、装置以及电子设备 |
| US11394872B2 (en) | 2019-10-09 | 2022-07-19 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Method and apparatus for jointly calibrating external parameters of multiple cameras, device and medium |
| CN110689585A (zh) * | 2019-10-09 | 2020-01-14 | 北京百度网讯科技有限公司 | 多相机外参的联合标定方法、装置、设备和介质 |
| CN110689585B (zh) * | 2019-10-09 | 2022-06-21 | 阿波罗智能技术(北京)有限公司 | 多相机外参的联合标定方法、装置、设备和介质 |
| CN111077506A (zh) * | 2019-12-12 | 2020-04-28 | 苏州智加科技有限公司 | 对毫米波雷达进行标定的方法、装置及系统 |
| CN111122128A (zh) * | 2020-01-03 | 2020-05-08 | 浙江大华技术股份有限公司 | 一种球形摄像机的标定方法及装置 |
| CN111122128B (zh) * | 2020-01-03 | 2022-04-19 | 浙江大华技术股份有限公司 | 一种球形摄像机的标定方法及装置 |
| CN111060881A (zh) * | 2020-01-10 | 2020-04-24 | 湖南大学 | 一种毫米波雷达外参数在线标定方法 |
| CN111060881B (zh) * | 2020-01-10 | 2022-05-13 | 湖南大学 | 一种毫米波雷达外参数在线标定方法 |
| CN111311689A (zh) * | 2020-02-10 | 2020-06-19 | 清华大学 | 一种激光雷达与相机相对外参的标定方法及系统 |
| CN111311689B (zh) * | 2020-02-10 | 2020-10-30 | 清华大学 | 一种激光雷达与相机相对外参的标定方法及系统 |
| CN111693969A (zh) * | 2020-06-16 | 2020-09-22 | 长沙行深智能科技有限公司 | 一种激光雷达与相机的联合标定装置及方法 |
| CN112396663A (zh) * | 2020-11-17 | 2021-02-23 | 广东电科院能源技术有限责任公司 | 一种多深度相机的可视化标定方法、装置、设备和介质 |
| CN113514803A (zh) * | 2021-03-25 | 2021-10-19 | 武汉光庭信息技术股份有限公司 | 一种单目相机和毫米波雷达的联合标定方法 |
| CN113888652A (zh) * | 2021-10-22 | 2022-01-04 | 智能移动机器人(中山)研究院 | 4d毫米波雷达与热感相机的内外参自动标定技术 |
| CN114279468A (zh) * | 2021-12-31 | 2022-04-05 | 北京理工大学 | 一种基于统计分析的毫米波雷达与视觉相机动态标定方法 |
| CN114279468B (zh) * | 2021-12-31 | 2022-06-14 | 北京理工大学 | 一种基于统计分析的毫米波雷达与视觉相机动态标定方法 |
| CN114578328A (zh) * | 2022-02-24 | 2022-06-03 | 苏州驾驶宝智能科技有限公司 | 一种多激光雷达和多相机传感器空间位置自动标定方法 |
| CN114578328B (zh) * | 2022-02-24 | 2023-03-17 | 苏州驾驶宝智能科技有限公司 | 一种多激光雷达和多相机传感器空间位置自动标定方法 |
| CN117830438A (zh) * | 2024-03-04 | 2024-04-05 | 数据堂（北京）科技股份有限公司 | 一种基于特定标志物的激光雷达与相机联合标定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109598765B (zh) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109598765A (zh) | 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 | |
| Liu et al. | Targetless extrinsic calibration of multiple small FoV LiDARs and cameras using adaptive voxelization | |
| CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、系统及应用 | |
| CN112894832A (zh) | 三维建模方法、装置、电子设备和存储介质 | |
| CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
| Zhang et al. | Three-dimensional cooperative mapping for connected and automated vehicles | |
| CN108305277A (zh) | 一种基于直线段的异源图像匹配方法 | |
| Yang et al. | An extrinsic calibration method with closed-form solution for underwater opti-acoustic imaging system | |
| CN114137564A (zh) | 一种室内物体自动标识定位方法和装置 | |
| Schraml et al. | An event-driven stereo system for real-time 3-D 360 panoramic vision | |
| CN114140539A (zh) | 一种室内物体的位置获取方法和装置 | |
| Hu et al. | Non‐linear calibration optimisation based on the Levenberg–Marquardt algorithm | |
| Wang et al. | A survey of extrinsic calibration of LiDAR and camera | |
| Sun et al. | Automatic targetless calibration for LiDAR and camera based on instance segmentation | |
| Songhui et al. | Objects detection and location based on mask RCNN and stereo vision | |
| Ma et al. | A novel method for measuring drogue-UAV relative pose in autonomous aerial refueling based on monocular vision | |
| Gao et al. | Vehicle-borne multi-sensor temporal–spatial pose globalization via cross-domain data association | |
| CN113792645A (zh) | 一种融合图像和激光雷达的ai眼球 | |
| Xie et al. | Real-time Reconstruction of unstructured scenes based on binocular vision depth | |
| Wang et al. | Research on panoramic image registration approach based on spherical model | |
| Ge et al. | LiDAR and Camera Calibration Using Near-Far Dual Targets | |
| Jiang et al. | Panoramic 3D reconstruction by fusing color intensity and laser range data | |
| Zhang et al. | LiDAR and Camera Calibration Using Pyramid and Checkerboard Calibrators | |
| Lin et al. | A LiDAR-Camera Calibration and Sensor Fusion Method with Edge Effect Elimination | |
| Haiyang et al. | Research on Object Positioning Algorithm Based on Hybrid Monocular-Binocular |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |