CN114119771A - 一种毫米波雷达和相机联合标定方法 - Google Patents

一种毫米波雷达和相机联合标定方法 Download PDF

Info

Publication number
CN114119771A
CN114119771A CN202111395740.6A CN202111395740A CN114119771A CN 114119771 A CN114119771 A CN 114119771A CN 202111395740 A CN202111395740 A CN 202111395740A CN 114119771 A CN114119771 A CN 114119771A
Authority
CN
China
Prior art keywords
camera
coordinate system
radar
millimeter wave
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111395740.6A
Other languages
English (en)
Inventor
王青旺
阴诚
沈韬
曾凯
池永柯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202111395740.6A priority Critical patent/CN114119771A/zh
Publication of CN114119771A publication Critical patent/CN114119771A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开一种毫米波雷达和相机联合标定方法，属于高级辅助驾驶系统中的多传感器融合领域。所述方法为：确定车辆纵向对称平面并在车身和地面上做出标记。调整毫米波雷达，使得雷达探测表面的法向量与车辆纵向对称平面平行。获取相机的内、外参数，保证相机的安装角度符合要求。分别建立雷达投影坐标系、相机投影坐标系、相机坐标系和图像像素坐标系，将雷达投影坐标系下检测的目标坐标转换到图像像素坐标系下的坐标。本发明解决了毫米波雷达和相机的空间联合标定中雷达检测目标坐标投影到像素坐标系时雷达检测目标高度信息丢失的问题，能够在保证毫米波雷达检测目标投影到像素坐标系坐标转换精度的同时，保留了雷达检测目标的高度信息。

Description

一种毫米波雷达和相机联合标定方法
技术领域
本发明属于先进辅助驾驶系统中的多传感器融合领域，特别涉及一种毫米波雷达和相机的联合标定方法。
背景技术
先进辅助驾驶系统是利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性的主动安全技术。在这种背景下，多种车载传感器的融合是一种发展趋势，它将大大提高车辆对环境的感知能力，提高汽车的安全性能。其中测距传感器和图像传感器的融合能发挥二者的长处，在获取环境信息，进行目标识别等方面优势明显。毫米波雷达相较于其他测距传感器具有探测范围广，受天气影响小等优点，在汽车上使用的比较普遍。在多传感器探测系统中，要有一个统一的坐标系，因此在使用毫米波雷达和相机进行传感器融合前必须对两种传感器进行联合空间标定，以确保两种传感器获得的数据有一个统一的参照标准，并能互相转换。
为了实现毫米波雷达信息和相机信息在空间上的统一，需要转换两者之间的坐标系。相机所获信息在图像像素坐标系下而毫米波雷达所获信息在雷达投影坐标系下。所以转换毫米波雷达投影坐标系和机器视觉坐标系是两者空间融合的基础和前提。相机和毫米波雷达共涉及的坐标系有三维世界坐标系、毫米波雷达投影坐标系、相机坐标系和图像像素坐标系。通过不同坐标系之间的相互转换从而实现信息的空间融合。同时借助摄像机的标定来修正信息融合，从而提高信息融合的准确性。由于辅助驾驶前向视觉系统以视觉为主，因此只需将毫米波雷达投影坐标系下的测量点通过坐标系转换到相机对应的像素坐标下即可实现两者的空间同步。
目前国内外测距传感器和相机联合空间标定的方法比较少，这其中激光雷达和相机的联合标定的方法又占了多数。由于毫米波雷达的角度测量精度比激光雷达低，且测量结果不稳定，因此激光雷达和相机的联合标定方法并不适用于毫米波雷达和相机的联合标定。也有一些方法校准了车载毫米波雷达和相机的安装角度，标定了摄像头的内、外参数，建立了雷达投影坐标系到图像坐标系的转换关系，但该方法假设雷达检测目标的高度信息为0，从而造成了雷达检测目标的高度信息丢失。
因此，如何在保证毫米波雷达检测目标投影到像素坐标系坐标转换精度的同时，保留雷达检测目标的高度信息成为本领域的研究人员亟需解决的技术问题。
发明内容
本发明公开了一种毫米波雷达和相机联合标定方法，利用车辆纵向对称平面为基准，实现了毫米波雷达和相机的空间联合标定，在保证毫米波雷达检测目标投影到像素坐标系坐标转换精度的同时，保留了雷达检测目标的高度信息。
本发明的技术方案是：一种毫米波雷达和相机联合标定方法，所述方法的具体步骤如下：
Step1、确定车辆纵向对称平面，并在车身和地面上做出对称平面的标记；
Step2、调整毫米波雷达，使得雷达探测表面的法向量与车辆纵向对称平面平行；
Step3、标定相机的内参数，标定过程采用张正友标记法，使用相机采集不同角度的标准棋盘格图像，通过MATLAB标定工具计算得到相机的光轴偏移量cx、cy，焦距fx、fy；调整相机，使得相机的水平角和横摆角为零，最后进行相机剩余外参数标定；
Step4、分别建立雷达投影坐标系、相机投影坐标系、相机坐标系和图像像素坐标系，利用坐标系转换知识，将雷达投影坐标系下检测的目标坐标转换到图像像素坐标系下的坐标。
优选的，本发明所述所使用的毫米波雷达为德尔福ESR，所使用的相机为LI-USB30-AR023ZWDRB；所述MATLAB版本为Matlab2019a。
所述棋盘格为机器视觉棋盘格光学标定板，型号为DG-720-12.9-60mm，黑白格大小为60x60mm。
所述标定工具为Matlab2019a的APP中图像处理和计算机视觉下的CameraCalibrator。
优选的，本发明所述毫米波雷达在安装时需要确保其水平角度和俯仰角度为零。
优选的，横摆角标定系数k≤0.01m时，雷达探测表面的法向量与车辆纵向平面平行，其中：
k＝|d1-d2|
d1和d2为放置车辆正前方的两处障碍物的横向距离。
优选的，本发明所述雷达投影坐标系的原点为雷达探测中心点在地面上的投影点，xrw轴指向车身右侧，yrw轴指向车辆前进方向，zrw轴为竖直方向；相机投影坐标标系Ocw-xcwycwzcw的原点为相机光心在地面的投影点，xcw轴指向车身右侧，ycw轴指向车辆前进方向，zcw轴为竖直方向，雷达投影坐标系与相机投影坐标系是空间中相互平行的2个坐标系，2个坐标系之间有如下关系：
Figure BDA0003370284730000031
优选的，本发明所述雷达投影坐标系中的任意一点(xrw，yrw，zrw)均可通过以下公式转换到图像像素坐标系的像素坐标(xp，yp)：
Figure BDA0003370284730000032
其中：cx、cy为光轴偏移量；fx、fy为焦距，为相机内参数，通过标定获得；Lx、Ly分别为雷达投影坐标系和相机投影坐标系x轴之间的间距和y轴之间的间距，可以通过测量获得。
毫米波雷达和相机联合标定的主要任务是将毫米波雷达投影坐标系下的测量点通过坐标系转换到相机对应的像素坐标下即可实现两者的空间同步；本发明利用车辆纵向对称平面为基准，实现了毫米波雷达和相机的空间联合标定，在保证毫米波雷达检测目标投影到像素坐标系坐标转换精度的同时，保留了雷达检测目标的高度信息。
本发明的有益效果是：本发明与现有技术相比，主要解决了毫米波雷达和相机的空间联合标定中雷达检测目标坐标投影到像素坐标系时雷达检测目标高度信息丢失的问题，能够在保证毫米波雷达检测目标投影到像素坐标系坐标转换精度的同时，保留了雷达检测目标的高度信息。
附图说明
图1为本发明总流程图。
图2为德尔福ESR。
图3为雷达安装角度示意图。
图4为LI-USB30-AR023ZWDRB。
图5为60x60mm机器视觉棋盘格光学标定板。
图6为Camera Calibrator标定过程。
图7为雷达和相机坐标系示意图。
图8为雷达测量数据转换示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明，但本发明的保护范围并不限于所述内容。
实施例1
(1)确定车辆纵向对称平面，并在车身和地面上做出对称平面的标记；
确定车辆纵向对称平面至关重要，具体方法为：首先，在车辆表面选取若干组对称点，通过这些对称点找到车辆中点；然后，使用激光水平仪使竖直激光平面尽可能多地扫过已标记出的车辆中点，并使未被激光扫过的车辆中点均匀地分布在激光两侧；该竖直激光平面即为车辆纵向对称平面，根据激光在车身和地面上做出标记。
(2)调整毫米波雷达，使得雷达探测表面的法向量与车辆纵向对称平面平行。
毫米波雷达在安装时需要确保其水平角度、横摆角度和俯仰角度满足安装要求，即水平角度和俯仰角度调零，调整横摆角度使雷达平面的法向量能够与车辆纵向对称平面平行。如图3所示，其中水平角度和俯仰角度可以通过角度尺和重锤等工具进行测量，并通过调整雷达安装机构来满足雷达安装的角度要求，为了使雷达平面的法向量能够与车辆纵向对称平面平行，在车辆正前方10m和20m处分别放置截面积较小且相同的杆状障碍物作为雷达探测目标。
在标定横摆角的过程中，通过调整机构每次以相同的步长调整雷达横摆角度，分别测量放置车辆正前方的两处障碍物的横向距离，计为d1和d2，按照式(1)计算横摆角标定系数k；当调整机构调整到使k≤0.01m时，即认为雷达探测表面的法向量与车辆纵向平面平行。
k＝|d1-d2|
(1)
(3)进行相机标定需要获取相机的内、外参数，保证相机的安装角度符合要求。为了简化相机测距模型，需要将相机外参数中的横摆角和水平角调零；首先标定相机的内参数，标定过程采用张正友标定方法，使用相机采集不同角度的标准棋盘图像(如图5～6所示)，通过MATLAB标定工具箱计算得到相机的光轴偏移量、焦距、镜头畸变参数等内参数。然后，在相机前设置标准的水平标志物和横向位置标志物，水平标志物为一把调平的水平尺，横向位置标志物仍为车辆正前方10m和20m处放置的障碍物。使用相机进行图像测量，并将图像测量结果作为反馈信息将相机的水平角和横摆角调零；最后进行相机剩余外参数标定，本发明采用消失点标定法，选取空间中已知间距的两条平行线标定相机的安装高度H和俯仰角θ。
(4)分别建立雷达投影坐标系、相机投影坐标系、相机坐标系和图像像素坐标，利用坐标系转换知识，将雷达投影坐标系下检测的目标坐标转换到图像像素坐标系下的坐标。
毫米波雷达和相机分别单独标定使雷达探测面的法向量和相机光轴分别于车身纵向对称平面平行，在此基础上建立雷达投影坐标系Orw-xrwyrwzrw，原点为雷达探测中心点在地面上的投影点，xrw轴指向车身右侧，yrw轴指向车辆前进方向，zrw轴为竖直方向；相机投影坐标标系Ocw-xcwycwzcw的原点为相机光心在地面的投影点，xcw轴指向车身右侧，ycw轴指向车辆前进方向，zcw轴为竖直方向。雷达投影坐标系与相机投影坐标系是空间中相互平行的2个坐标系，它们之间的空间相对关系如图7所示。图7中Op-xpyp为图像像素坐标系，原点位于图像的左上角；Oc-xcyczc为相机坐标系，zc轴与相机光轴重合，xc轴和yc轴分别与xp和yp轴平行；根据小孔成像模型，2个坐标系之间有如下关系：
Figure BDA0003370284730000051
又根据相机坐标系及相机投影坐标系之间的平移和旋转关系，可以得到二者之间的坐标转换关系如下：
Figure BDA0003370284730000061
联合式(2)和式(3)可以得到由相机投影坐标系到图像像素坐标系的转换公式：
Figure BDA0003370284730000062
在之前毫米波雷达与相机标定工作的基础上，雷达投影坐标系和相机投影坐标系的相互转换只需要平移即可实现，如式(5)：
Figure BDA0003370284730000063
根据式(4)(5)可以得到雷达投影坐标系中任意一点转换到图像像素坐标系的转换关系：
Figure BDA0003370284730000064
其中：cx、cy为光轴偏移量；fx、fy为焦距，为相机内参数，通过标定获得；Lx、Ly分别为雷达投影坐标系和相机投影坐标系x轴之间的间距和y轴之间的间距，可以通过测量获得。
至此，雷达投影坐标系中的任意一点(xrw，yrw，zrw)均可通过式(6)转换到图像像素坐标系的像素坐标(xp，yp)，雷达测量数据转换示意图如图8所示，由图可以看出雷达测量值转换后的像素坐标与图像中对应的雷达检测目标位置基本吻合，且保留了雷达检测目标的高度信息。
本发明所述方法，主要解决了毫米波雷达和相机的空间联合标定中雷达检测目标坐标投影到像素坐标系时雷达检测目标高度信息丢失的问题，能够在保证毫米波雷达检测目标投影到像素坐标系坐标转换精度的同时，保留了雷达检测目标的高度信息，这也为之后的数据融合工作奠定了基础。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种毫米波雷达和相机联合标定方法，其特征在于：所述方法的具体步骤如下：
Step1、确定车辆纵向对称平面，并在车身和地面上做出对称平面的标记；
Step2、调整毫米波雷达，使得雷达探测表面的法向量与车辆纵向对称平面平行；
Step3、标定相机的内参数，标定过程采用张正友标记法，使用相机采集不同角度的标准棋盘格图像，通过MATLAB标定工具计算得到相机的光轴偏移量cx、cy，焦距fx、fy；调整相机，使得相机的水平角和横摆角为零，最后进行相机剩余外参数标定；
Step4、分别建立雷达投影坐标系、相机投影坐标系、相机坐标系和图像像素坐标系，利用坐标系转换知识，将雷达投影坐标系下检测的目标坐标转换到图像像素坐标系下的坐标。
2.根据权利要求1所述的毫米波雷达和相机联合标定方法，其特征在于：所述所使用的毫米波雷达为德尔福ESR，所使用的相机为LI-USB30-AR023ZWDRB。
3.根据权利要求1所述的毫米波雷达和相机联合标定方法，其特征在于：所述调整毫米波雷达，使得雷达探测表面的法向量与车辆纵向对称平面平行，方法为在车辆正前方10m和20m处分别放置相同的杆状障碍物作为雷达探测目标，调整雷达横摆角度，当横摆角标定系数k≤0.01m时，认为雷达探测表面的法向量与车辆纵向平面平行，其中：
k＝|d1-d2|
d1和d2为放置车辆正前方的两处障碍物的横向距离。
4.根据权利要求1所述的毫米波雷达和相机联合标定方法，其特征在于：Step4中所述雷达投影坐标系的原点为雷达探测中心点在地面上的投影点，xrw轴指向车身右侧，yrw轴指向车辆前进方向，zrw轴为竖直方向；相机投影坐标标系Ocw-xcwycwzcw的原点为相机光心在地面的投影点，xcw轴指向车身右侧，ycw轴指向车辆前进方向，zcw轴为竖直方向，图像像素坐标系为Op-xpyp，相机坐标系为Oc-xcyczc，zc轴与相机光轴重合，xc轴和yc轴分别与xp和yp轴平行，图像像素坐标系与相机坐标系之间有如下关系：
Figure FDA0003370284720000021
其中：cx、cy为光轴偏移量；fx、fy为焦距，为相机内参数，通过标定获得；
雷达投影坐标系中的任意一点(xrw，yrw，zrw)均可通过以下公式转换到图像像素坐标系的像素坐标(xp，yp)：
Figure FDA0003370284720000022
Lx、Ly分别为雷达投影坐标系和相机投影坐标系x轴之间的间距和y轴之间的间距，可以通过测量获得；θ为相机俯仰角，可以通过测量获得。
CN202111395740.6A 2021-11-23 2021-11-23 一种毫米波雷达和相机联合标定方法 Pending CN114119771A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111395740.6A CN114119771A (zh) 2021-11-23 2021-11-23 一种毫米波雷达和相机联合标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111395740.6A CN114119771A (zh) 2021-11-23 2021-11-23 一种毫米波雷达和相机联合标定方法

Publications (1)

Publication Number Publication Date
CN114119771A true CN114119771A (zh) 2022-03-01

Family

ID=80440007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111395740.6A Pending CN114119771A (zh) 2021-11-23 2021-11-23 一种毫米波雷达和相机联合标定方法

Country Status (1)

Country Link
CN (1) CN114119771A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115616510A (zh) * 2022-12-05 2023-01-17 广州市德赛西威智慧交通技术有限公司 一种交通毫米波雷达标定方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115616510A (zh) * 2022-12-05 2023-01-17 广州市德赛西威智慧交通技术有限公司 一种交通毫米波雷达标定方法及系统

Similar Documents

Publication Publication Date Title
CN110146038B (zh) 筒形件装配转角的分布式单目相机激光测量装置及方法
CN108613628B (zh) 一种基于双目视觉的架空输电线路弧垂测量方法
CN201173865Y (zh) 汽车四轮定位检测仪
CN112070841A (zh) 一种毫米波雷达与摄像头快速联合标定方法
CN108594245A (zh) 一种目标物运动监测系统及方法
JP6966218B2 (ja) 撮像装置の校正装置、作業機械および校正方法
CN112880642B (zh) 测距系统和测距方法
CN112902874B (zh) 图像采集装置及方法、图像处理方法及装置、图像处理系统
CN110779491A (zh) 一种水平面上目标测距的方法、装置、设备及存储介质
CN111508027A (zh) 摄像机外参标定的方法和装置
CN112284416B (zh) 一种自动驾驶定位信息校准装置、方法及存储介质
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN104792302A (zh) 一种建模测车距的方法
CN109712198B (zh) 一种高级驾驶辅助系统的标定方法
CN114119771A (zh) 一种毫米波雷达和相机联合标定方法
CN110751693B (zh) 用于相机标定的方法、装置、设备和存储介质
CN114295099B (zh) 基于单目摄像头的测距方法、车载测距设备以及存储介质
CN115079143A (zh) 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
CN113256734B (zh) 一种车载感知传感器标定方法、系统及电子设备
CN215867088U (zh) 一种标定毫米波雷达的系统及交通工具
CN111412888B (zh) 一种建筑物尺寸测量方法
CN111123260B (zh) 一种毫米波雷达和可见光摄像的环境物体状态识别方法
CN113554714A (zh) 车载双目立体相机自校正方法及其系统、fpga芯片
CN112802094B (zh) 一种无人驾驶车辆隧道内姿态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination