CN114720951A - 一种车载毫米波雷达与摄像头航向角联合标定方法 - Google Patents

一种车载毫米波雷达与摄像头航向角联合标定方法 Download PDF

Info

Publication number
CN114720951A
CN114720951A CN202210330420.0A CN202210330420A CN114720951A CN 114720951 A CN114720951 A CN 114720951A CN 202210330420 A CN202210330420 A CN 202210330420A CN 114720951 A CN114720951 A CN 114720951A
Authority
CN
China
Prior art keywords
camera
vehicle
millimeter wave
wave radar
course angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210330420.0A
Other languages
English (en)
Inventor
袁龙涛
瞿鑫
蒋鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Lingmu Changzhou Intelligent Technology Co ltd
Original Assignee
Zhongke Lingmu Changzhou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Lingmu Changzhou Intelligent Technology Co ltd filed Critical Zhongke Lingmu Changzhou Intelligent Technology Co ltd
Priority to CN202210330420.0A priority Critical patent/CN114720951A/zh
Publication of CN114720951A publication Critical patent/CN114720951A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种车载毫米波雷达与摄像头航向角联合标定方法，通过在垂直水平地面的图像标定板的中心法线的前方放置雷达反射器，将待标定的车辆行驶到指定位置，获得摄像头的初始姿态参数，根据毫米波雷达对雷达反射器的探测结果，结合摄像头的初始姿态参数及雷达反射器的位置，修正摄像头的初始航向角，获得摄像头的实际航向角，完成摄像头目标方位测定，并与毫米波雷达输出目标进行有效融合。本发明与车辆出厂前的传感器参数标定同时进行，对指向车辆同一侧的毫米波雷达与摄像头的航向角进行精确标定，确保毫米波雷达与摄像头对同一目标的探测结果具有相同的航向角，从而提高对这两种传感器探测信息的融合成功率和精确度。

Description

一种车载毫米波雷达与摄像头航向角联合标定方法
技术领域
本发明涉及多传感器联合标定技术领域，尤其涉及一种车载毫米波雷达与摄像头航向角联合标定方法。
背景技术
车辆自动驾驶的控制通常需要融合来自不同类型传感器的信息，从而得到更准确、更可靠的场景感知结果。其中，来自摄像头的视觉感知信息与来自毫米波雷达的感知信息是最常用的融合信息输入。对于场景中的某一个目标而言，摄像头和毫米波雷达能够提供独立的感知结果；后续的融合模块会根据目标的距离、方位以及速度等信息，识别与该目标对应的摄像头感知结果和毫米波雷达感知结果，并进一步进行信息融合。这就要求摄像头与毫米波雷达对同一目标具有一致的感知结果(包括距离、方位和速度)。因此，车辆出厂前需要对摄像头的安装姿态进行精确标定，并确保摄像头与雷达具有相同的航向角。
在对摄像头进行姿态标定时，通常要求车身正对图像标定板，同时车辆中心线与图像标定板中心线对齐。但是，实际操作过程中，如果车辆对准装置不准确、或者没有精确的车辆对准装置，车辆的停放位置很难正对，摄像头标定获得的摄像头相对车身中轴的航向角通常存在误差。当摄像头航向角偏差较大时，毫米波雷达与摄像头对同一目标的方位探测结果存在较大的偏差，从而导致特征融合的失败，降低系统感知融合的整体性能。
发明内容
本发明的目的是针对现有技术的不足之处而提出一种车载毫米波雷达与摄像头航向角联合标定方法，可以有效解决毫米波雷达与摄像头因为标定航向角的不一致造成的目标融合失败问题，降低了对车辆精确摆放位置的要求，无需引入额外的复杂车辆对准装置，降低了车辆出厂前的参数标定成本以及对测量场景的要求，应用范围更广。
实现本发明目的技术方案是：
一种车载毫米波雷达与摄像头航向角联合标定方法，包括以下步骤：
步骤S1：放置图像标定板，所述图像标定板垂直于水平地面；
步骤S2：在图像标定板的前方位于图像标定板的中心法线上放置雷达反射器；
步骤S3：将待标定的车辆行驶到位于雷达反射器前方的标定位置，所述车辆装载有毫米波雷达和摄像头，所述标定位置要求摄像头能够检测到图像标定板，并能对摄像头进行姿态标定；
步骤S4：以图像标定板所在的平面为坐标系来定义，获得摄像头的初始姿态参数，当待标定车辆正对图像标定板平面时，摄像头的初始航向角α即为实际航向角，直接进行下一步；当待标定车辆未正对图像标定板平面时，根据毫米波雷达对雷达反射器的探测结果，结合摄像头的初始姿态参数及雷达反射器的位置，修正摄像头的初始航向角，获得摄像头的实际航向角；
步骤S5：根据摄像头的实际航向角进行摄像头目标方位测定，并与毫米波雷达输出目标进行有效融合。
进一步地，所述步骤S4中，当待标定车辆未正对图像标定板平面时，摄像头的实际航向角为摄像头相对于车身中轴的航向角β，满足以下方程
β＝α-δ
，其中δ为车辆中轴与图像标定板中轴之间的夹角，α为摄像头的初始航向角。
进一步地，所述车辆中轴与图像标定板中轴之间的夹角δ，满足以下方程
Figure BDA0003572830480000021
，
其中x为摄像头与图像标定板的横向偏移量，d2为毫米波雷达与雷达反射器之间的直线距离，θ为雷达反射器与毫米波雷达之间的连线相对于毫米波雷达中轴之间的夹角，L为摄像头与毫米波雷达之间的横向偏差
进一步地，所述车辆中轴与图像标定板中轴之间的夹角δ通过Levenberg-Marquardt算法求解以下问题
Figure BDA0003572830480000022
得到。
进一步地，所述步骤S4中，采用外参标定方法获得摄像头的初始姿态参数。
进一步地，所述步骤S2中，采用激光对准仪确定雷达反射器的放置点。
采用了上述技术方案，本发明具有以下的有益效果：
(1)本发明在无法保证车辆正对图像标定板的情况下，通过对摄像头的初始航向角进行修正，获得摄像头的实际航向角，从而对指向车辆同一侧的毫米波雷达与摄像头的航向角进行精确标定，有效解决毫米波雷达与摄像头因为标定航向角的不一致造成的目标融合失败问题，降低了对车辆精确摆放位置的要求，无需引入额外的复杂车辆对准装置，降低了车辆出厂前的参数标定成本以及对测量场景的要求，应用范围更广。
(2)本发明通过外参标定方法能够精确获得摄像头的初始姿态参数，保证数据的准确性，确保航向角修正精准。
(3)本发明通过激光对准仪确定雷达反射器的放置点，从而保证雷达反射器位于图像标定板的中心法线上，确保后续测量数据准确。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1为本发明航向角联合标定方法的流程图；
图2为本发明车辆出厂标定基本原理示意图；
图3为本发明航向角修正原理示意图。
附图中的标号为：
车辆1、毫米波雷达2、摄像头3、雷达反射器4、图像标定板5。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
(实施例1)
对于各种典型的ADAS功能而言，系统通常需要融合来自毫米波雷达与摄像头的信息。本实施例的方法与车辆出厂前的传感器参数标定同时进行，对指向车辆同一侧的毫米波雷达与摄像头的航向角进行精确标定，确保毫米波雷达与摄像头对同一目标的探测结果具有相同的航向角，从而提高对这两种传感器探测信息的融合成功率和精确度。
以车载前视毫米波雷达和车载前视单目摄像头为例，说明本发明的工作过程。对于安装在车辆其他方位的毫米波雷达和摄像头，本发明中的联合标定方法仍然可以使用。
如图1至图3所示，本实施例包括车辆1、毫米波雷达2、摄像头3、雷达反射器4和图像标定板5，其中毫米波雷达2和摄像头3安装在车辆1前部，测量摄像头3与毫米波雷达2之间的横向偏差L，在以上设施的基础上构建本实施例的车载毫米波雷达与摄像头航向角联合标定方法，具体包括以下步骤：
步骤S1：放置图像标定板3，要求图像标定板3垂直于水平地面。
步骤S2：在图像标定板1的前方一定距离处放置雷达反射器2，利用激光对准仪确保雷达反射器4位于穿过图像标定板5中心的法线，并通过激光对准仪精确测量雷达反射器4与图像标定板中心的距离d0。
步骤S3：将待标定的车辆1行驶到位于雷达反射器4前方一定距离的标定位置，只需要保证基本正对图像标定板5即可，同时该标定位置要求摄像头3能够检测到图像标定板5，并能对摄像头3进行姿态标定。
步骤S4：以图像标定板5所在的平面为坐标系来定义，通过张正友标定法计算获得摄像头3的初始姿态参数，包括摄像头3与图像标定板5的纵向直线距离d1、摄像头3与图像标定板5的横向偏移量x以及摄像头3的初始航向角α。在构建本实施例的模型时，d0一般要求比d1略小，通常d0比d1小2～4m，本实施例优选3m，这样使得雷达反射器4与毫米波雷达2之间的距离在3m左右，该范围内毫米波雷达2的航向角精度较高，确保本方法的测量准确度；d1的选择与图像标定板大小和外参标定算法相关，只要确保摄像头3能进行姿态标定即可，通常为3～5m左右。
当待标定的车辆1恰好正对图像标定板5平面时，摄像头3的实际航向角，即摄像头3相对于车身中轴的航向角β与初始航向角α与相等，摄像头3的初始航向角α即为实际航向角，直接进行下一步。
当待标定的车辆1未正对图像标定板5平面时，根据毫米波雷达2对雷达反射器4的探测结果，结合摄像头3的初始姿态参数及雷达反射器4的位置，修正摄像头3的初始航向角α，获得摄像头3的实际航向角，即摄像头3相对于车身中轴的航向角β。
具体地，由于雷达反射器4会对照射到其表面的毫米波信号产生很强的回波，因此毫米波雷达2能够精确、稳定的探测出雷达反射器4所在位置，并输出毫米波雷达2与雷达反射器4之间的直线距离d2以及雷达反射器4与毫米波雷达2之间的连线相对于毫米波雷达2中轴之间的夹角θ。根据三角几何关系可知
β＝α-δ
其中，δ为车辆中轴与图像标定板中轴之间的夹角，满足以下方程：
Figure BDA0003572830480000041
δ通过Levenberg-Marquardt算法求解以下问题得到：
Figure BDA0003572830480000042
最终得到车辆中轴与图像标定板中轴之间的夹角δ，从而获得摄像头3相对于车身中轴的航向角β的精确值，即摄像头3的实际航向角。
步骤S5：根据摄像头3的实际航向角进行摄像头目标方位测定，并与毫米波雷达2输出目标进行有效融合。
由于在标定时需要确保车身正对图像标定板，同时车辆中心法线与图像标定板中心法线严格对齐，传统的标定方法是使用复杂昂贵的机械对准装置来自动调节车辆的精确位置，在一些场景中，由于受到成本、空间等因素的限制而无法部署。本实施例在无法保证车辆正对图像标定板5的情况下，通过对摄像头的初始航向角进行修正，获得摄像头的实际航向角，从而对指向车辆同一侧的毫米波雷达与摄像头的航向角进行精确标定，有效解决毫米波雷达与摄像头因为标定航向角的不一致造成的目标融合失败问题，降低了对车辆精确摆放位置的要求，无需引入额外的复杂车辆对准装置，降低了车辆出厂前的参数标定成本以及对测量场景的要求，应用范围更广。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种车载毫米波雷达与摄像头航向角联合标定方法，其特征在于，包括以下步骤：
步骤S1：放置图像标定板，所述图像标定板垂直于水平地面；
步骤S2：在图像标定板的前方位于图像标定板的中心法线上放置雷达反射器；
步骤S3：将待标定的车辆行驶到位于雷达反射器前方的标定位置，所述车辆装载有毫米波雷达和摄像头，所述标定位置要求摄像头能够检测到图像标定板，并能对摄像头进行姿态标定；
步骤S4：以图像标定板所在的平面为坐标系来定义，获得摄像头的初始姿态参数，当待标定车辆正对图像标定板平面时，摄像头的初始航向角α即为实际航向角，直接进行下一步；当待标定车辆未正对图像标定板平面时，根据毫米波雷达对雷达反射器的探测结果，结合摄像头的初始姿态参数及雷达反射器的位置，修正摄像头的初始航向角α，获得摄像头的实际航向角；
步骤S5：根据摄像头的实际航向角进行摄像头目标方位测定，并与毫米波雷达输出目标进行有效融合。
2.根据权利要求1所述的一种车载毫米波雷达与摄像头航向角联合标定方法，其特征在于：所述步骤S4中，当待标定车辆未正对图像标定板平面时，摄像头的实际航向角为摄像头相对于车身中轴的航向角β，满足以下方程
β＝α-δ，
其中δ为车辆中轴与图像标定板中轴之间的夹角，α为摄像头的初始航向角。
3.根据权利要求2所述的一种车载毫米波雷达与摄像头航向角联合标定方法，其特征在于：所述车辆中轴与图像标定板中轴之间的夹角δ，满足以下方程
Figure FDA0003572830470000011
，
其中x为摄像头与图像标定板的横向偏移量，d2为毫米波雷达与雷达反射器之间的直线距离，θ为雷达反射器与毫米波雷达之间的连线相对于毫米波雷达中轴之间的夹角，L为摄像头与毫米波雷达之间的横向偏差。
4.根据权利要求3所述的一种车载毫米波雷达与摄像头航向角联合标定方法，其特征在于：δ通过Levenberg-Marquardt算法求解以下问题
Figure FDA0003572830470000012
得到。
5.根据权利要求1所述的一种车载毫米波雷达与摄像头航向角联合标定方法，其特征在于：所述步骤S4中，采用外参标定方法获得摄像头的初始姿态参数。
6.根据权利要求1所述的一种车载毫米波雷达与摄像头航向角联合标定方法，其特征在于：所述步骤S2中，采用激光对准仪确定雷达反射器的放置点。
CN202210330420.0A 2022-03-30 2022-03-30 一种车载毫米波雷达与摄像头航向角联合标定方法 Pending CN114720951A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210330420.0A CN114720951A (zh) 2022-03-30 2022-03-30 一种车载毫米波雷达与摄像头航向角联合标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210330420.0A CN114720951A (zh) 2022-03-30 2022-03-30 一种车载毫米波雷达与摄像头航向角联合标定方法

Publications (1)

Publication Number Publication Date
CN114720951A true CN114720951A (zh) 2022-07-08

Family

ID=82238900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210330420.0A Pending CN114720951A (zh) 2022-03-30 2022-03-30 一种车载毫米波雷达与摄像头航向角联合标定方法

Country Status (1)

Country Link
CN (1) CN114720951A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115371719A (zh) * 2022-10-10 2022-11-22 福思(杭州)智能科技有限公司 探测设备的参数标定方法和装置、存储介质及电子装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115371719A (zh) * 2022-10-10 2022-11-22 福思(杭州)智能科技有限公司 探测设备的参数标定方法和装置、存储介质及电子装置
CN115371719B (zh) * 2022-10-10 2023-01-24 福思(杭州)智能科技有限公司 探测设备的参数标定方法和装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
US20100235129A1 (en) Calibration of multi-sensor system
CN110320518B (zh) 一种车载bsd毫米波雷达安装位置自动标定方法
US11486988B2 (en) Method for calibrating the alignment of a moving object sensor
US10031206B1 (en) Calibration method of sensor of a satellite antenna
EP0989414A3 (en) Method and apparatus for calibrating azimuth boresight in a radar system
CA2901655A1 (en) Image processing device, image processing method, and program therefor
KR102539287B1 (ko) 라이다 센서의 신뢰성에 따른 차량 제어 장치 및 방법
CN109597037B (zh) 一种雷达标定方法及装置
CN110174059A (zh) 一种基于单目图像的受电弓导高及拉出值测量方法
CN112284416B (zh) 一种自动驾驶定位信息校准装置、方法及存储介质
CN112363130B (zh) 车载传感器标定方法、存储介质及系统
WO2023050567A1 (zh) 一种基于毫米波车载雷达场景识别的航位修正方法
CN114720951A (zh) 一种车载毫米波雷达与摄像头航向角联合标定方法
CN105717499B (zh) 激光测距仪偏转角测量与校正系统及方法
CN110988829B (zh) 一种基于uwb定位的车辆传感器标定方法及系统
CN114839611A (zh) 一种毫米波雷达的自标定方法及装置
US8077080B2 (en) Calibration to improve weather radar positioning determination
CN116087967A (zh) 激光测距传感器的校正方法、装置及激光测距传感器
US20130321197A1 (en) Calibration to improve weather radar positioning determination
CN112346037A (zh) 车载激光雷达的标定方法、装置、设备及车辆
US11914028B2 (en) Object detection device for vehicle
CN112945266A (zh) 激光导航机器人及其机器人的里程计校准方法
CN113465480A (zh) 检测场地平整度的方法和电子设备
CN113256734B (zh) 一种车载感知传感器标定方法、系统及电子设备
CN110568412A (zh) 用于校准传感器组件的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination