CN110310339A - 一种标定装置及一种雷达与摄像头联合标定方法及系统 - Google Patents

一种标定装置及一种雷达与摄像头联合标定方法及系统 Download PDF

Info

Publication number
CN110310339A
CN110310339A CN201910597770.1A CN201910597770A CN110310339A CN 110310339 A CN110310339 A CN 110310339A CN 201910597770 A CN201910597770 A CN 201910597770A CN 110310339 A CN110310339 A CN 110310339A
Authority
CN
China
Prior art keywords
radar
camera
calibration plate
caliberating device
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910597770.1A
Other languages
English (en)
Other versions
CN110310339B (zh
Inventor
蔡樱贤
李理
欧敏辉
柯志达
陈卫强
苏亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen King Long United Automotive Industry Co Ltd
Original Assignee
Xiamen King Long United Automotive Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen King Long United Automotive Industry Co Ltd filed Critical Xiamen King Long United Automotive Industry Co Ltd
Priority to CN201910597770.1A priority Critical patent/CN110310339B/zh
Publication of CN110310339A publication Critical patent/CN110310339A/zh
Priority to PCT/CN2019/128584 priority patent/WO2021000544A1/zh
Application granted granted Critical
Publication of CN110310339B publication Critical patent/CN110310339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种标定装置及一种雷达与摄像头联合标定方法及系统，在该方法中包括：S1：提供标定装置，标定装置包括摄像头标定板和雷达标定板，使标定装置处于标定位置；S2：通过摄像头采集标定装置处于不同状态下的图片，同时通过雷达检测标定装置，所述不同状态包括摄像头标定板和雷达标定板两者处于同一平面内且两者共同绕第一旋转轴旋转不同的角度和摄像头标定板绕第二旋转轴旋转不同的角度；S3：根据摄像头采集图片的时刻所对应的雷达检测数据来计算标定数据，并输出，所述标定数据包括：雷达和摄像头之间的偏航角、俯仰角和平移向量。本发明考虑了安装角度的偏差，以确保雷达与摄像头获得的信息可以实现统一，实现更准确的障碍物识别和跟踪。

Description

一种标定装置及一种雷达与摄像头联合标定方法及系统
技术领域
本发明涉及标定技术领域，尤其涉及一种标定装置及一种雷达与摄像头联合标定方法及系统。
背景技术
传感器融合在汽车安全发展中是一种趋势，摄像头和雷达的结合使用，能够对视觉传感器和测距传感器的特点进行综合，取长补短，提高汽车整体的感知能力、安全性能。具体的，例如车辆前向碰撞预警。
多传感器感知系统中，实现各个传感器的信息融合，需要有统一的坐标系，摄像头和毫米波雷达的外参联合标定，直接影响车辆障碍物检测的准确性。目前国内外对双目摄像头和毫米波雷达联合标定的相关研究较少，现有技术中，毫米波雷达到摄像头之间的外参通常通过直接量取位移偏差所得，角度偏差一般被忽略。
发明内容
针对上述问题，本发明旨在提供一种标定装置及一种雷达与摄像头联合标定方法及系统，将位移偏差转化为标定装置特征的位移偏差，更加方便量取，获得更好的测量精度，另外还考虑了安装角度的偏差，以确保雷达与摄像头获得的信息可以实现统一，能够实现更准确的障碍物识别和跟踪。
具体方案如下：
一种雷达与摄像头联合标定方法，包括以下步骤：
S1：提供标定装置，标定装置包括摄像头标定板和雷达标定板，使标定装置处于标定位置；
S2：通过摄像头采集标定装置处于不同状态下的图片，同时通过雷达检测标定装置，所述不同状态包括摄像头标定板和雷达标定板两者处于同一平面内且两者共同绕第一旋转轴旋转不同的角度和摄像头标定板绕第二旋转轴旋转不同的角度；
S3：根据摄像头采集图片的时刻所对应的雷达检测数据来计算标定数据，并输出，所述标定数据包括：雷达和摄像头之间的偏航角、俯仰角和平移向量。
进一步的，雷达对雷达标定板的反射率与雷达对标定装置中的其他组件的反射率不同。
进一步的，所述第一旋转轴垂直于水平面，第二旋转轴与第一旋转轴不平行。
进一步的，俯仰角的计算过程为：
(1)根据摄像头拍摄的处于不同状态下的图片，通过张正友标定法计算摄像头的内参，所述内参包括x方向像素比、y方向像素比、焦距、和图片的中心像素坐标和原点像素坐标之间相差的横向和纵向像素数；
(2)选取图片中的摄像头标定板和雷达标定板两者处于同一平面内但两者绕第一旋转轴旋转不同角度的多张图片，针对每张图片：计算该图片的旋转矩阵和平移矩阵，根据旋转矩阵计算摄像头坐标系相对摄像头标定板坐标系的俯仰角和偏航角，计算偏航角与该图片中摄像头标定板和雷达标定板两者绕第一旋转轴旋转角度的差值；
(3)将选取的多张图片的偏航角与图片中摄像头标定板和雷达标定板两者绕第一旋转轴旋转角度的差值的平均值作为摄像头安装的偏航角；
(4)将选取的多张图片的摄像头坐标系相对摄像头标定板坐标系的俯仰角的平均值作为摄像头安装的俯仰角。
进一步的，雷达和摄像头之间的偏航角为雷达安装的偏航角与摄像头安装的偏航角之和；雷达安装的偏航角根据雷达检测到的标定装置中雷达标定板区域的数据和雷达坐标系与雷达标定板坐标系之间的关系计算获得。
进一步的，雷达和摄像头之间的平移向量包括：横向偏差、纵向偏差和高度偏差；
所述横向偏差和纵向偏差的计算过程包括：
(1)根据摄像头标定板与雷达标定板两者处于同一平面内时的位置关系计算摄像头标定板坐标和雷达标定板坐标的偏差；
(2)设定标定装置中摄像头标定板和雷达标定板两者处于同一平面内且该平面与摄像头的像平面平行，使摄像头和雷达同时边采集数据边远离标定装置；
(3)提取摄像头拍摄的图片中的包含雷达标定板的多张图片，并提取图片拍摄时刻对应的雷达检测数据，根据雷达坐标系与摄像头坐标系之间的关系，将雷达检测数据投射到对应的图片上；
(4)根据每张图片中雷达检测数据的中间值点与雷达标定板原点的像素坐标差计算获得纵向偏差后，根据三角形相似原理计算获得横向偏差；
(5)将多张图片的纵向偏差和横向偏差的平均值设定为雷达和摄像头之间的纵向偏差和横向偏差。
进一步的，通过测量工具手动量取来计算高度偏差：所述高度偏差为摄像头安装高度与雷达的安装高度的差值。
一种雷达与摄像头联合标定系统，包括标定装置、摄像头、雷达、以及处理终端，所述处理终端包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述系统实现本发明实施例上述的方法的步骤。
一种标定装置，其特征在于，包括摄像头标定板和雷达标定板，所述摄像头标定板能够绕第二旋转轴进行旋转，所述摄像头标定板和雷达标定板两者能够处于同一平面内且两者共同绕第一旋转轴进行旋转。
进一步的，所述标定装置包括支架、安装于支架上且能够旋转的内框架、固定安装于内框架上的雷达标定板和安装于内框架上且能够绕与内框架的旋转方向不平行的方向旋转的摄像头标定板。
本发明采用如上技术方案，并具有有益效果：
(1)可以在标定摄像头内参的同时，联合标定雷达和摄像头之间的外参，统一雷达坐标系和摄像头坐标系，提高标定工序的效率。
(2)将一向被忽略的毫米波雷达安装偏航角和摄像头安装偏航角也考虑在内，得到的标定效果更佳。
(3)通过标定板的坐标关系反解得到雷达坐标系和摄像头坐标的三维变换关系，改进了二者安装的夹角关系和水平位移关系较难直接量取的问题，得到的标定效果更精确。
(4)方法简单易操作，装置简易。
(5)标定过程中，通过图片可以直接观察到摄像头和雷达两者的融合验证，标定效果有保障。
附图说明
图1所示为本发明实施例一的流程示意图。
图2所示为该实施例中标定板的结构示意图。
图3所示为该实施例中雷达坐标系与金属板坐标系之间的关系示意图。
图4所示为该实施例中黑白格板坐标和金属板坐标之间的关系示意图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
参考图1所示，本发明提供了一种雷达与摄像头联合标定方法，包括以下步骤：
步骤一：设定标定装置。
所述标定装置包括支架1、安装于支架1上且能够绕竖直方向旋转的内框架 2、固定安装于内框架2上的金属板4和绕与内框架2的旋转方向垂直的方向旋转的黑白格板3。
由于毫米波雷达对金属和非金属的反射率不同，为了从采集的雷达数据中更好的提取出金属板4区域的数据，因此，该实施例中将金属板4和除金属板4 之外的其他部件分别采用不同的材质，即金属板4采用金属材质，标定装置中除金属板4之外的其他部件均采用非金属材质。两者互换也可以。
该实施例中设定支架1放置于地面上，则内框架2旋转的旋转轴为竖直方向，金属板4旋转的旋转轴在水平面内。具体结构如图2所示，支架1为长方形框架结构，其下方包括两个用于平稳放置于地面的放置脚，在长方形框架的两条水平框架的中间位置处垂直设置用于内框架2旋转的第一旋转轴5，内框架2也为长方形框架结构，其上下两条水平框架的中间位置处分别连接第一旋转轴 5，以使内框架2能够绕第一旋转轴5旋转。所述金属板4和黑白格板3均设置于内框架2内，其中，黑白格板3设置于上方，金属板4设置于下方，在内框架2的左右两条竖直框架上垂直设置用于黑白格板3旋转的第二旋转轴6，黑板隔板的中间位置处分别连接第二旋转轴6，以使黑白格板3能够绕第二旋转轴6 旋转。
所述金属板4和第二旋转轴6设置于同一平面内，以使金属板4与黑白格板3两者能够处于同一平面内且两者共同绕第一旋转轴5旋转。
该实施例中为了方便设置和计算，所述第一旋转轴5与第二旋转轴6相互垂直设置，即一者垂直于水平面，另一者平行于水平面，在其他的实施例中两者可以呈其他合适的角度。
上述标定装置的实施例仅为标定装置的一种较佳的结构，针对标定装置中各组件的外形、尺寸、连接位置等均不受限制。
步骤二：将标定装置设置于车辆前方的标定位置。
该实施例中，将标定装置设置于车辆前方的对应于车辆中心的位置，且标定装置中的黑白格板3位于摄像头画面的中心，且大致占画面大小的二分之一，标定装置的支架1平行于车辆的车头。
步骤三：通过摄像头拍摄标定装置的图片，同时通过毫米波雷达检测标定装置。
该实施例中，通过车辆上固定设置的摄像头拍摄3组图片，每组图片中包括5张图片。其中：
第一组的5张图片中内框架2的水平旋转角均为0°，黑白格板3的上下翻转角分别为0°、±20°、±45°。
第二组的5张图片中内框架2的水平旋转角均为45°，黑白格板3的上下翻转角分别为0°、±20°、±45°。
第三组的5张图片中内框架2的水平旋转角均为-45°，黑白格板3的上下翻转角分别为0°，±20°，±45°。
所述水平旋转角为内框架2相对于支架1旋转的角度，所述上下翻转角为黑白格板3相对于内框架2旋转的角度。
步骤四：根据毫米波雷达的检测数据提取过滤出毫米波雷达信息中的金属板4对应的数据。
该实施例中，根据拍摄时的时间戳，提取出拍摄第1张图片(内框架2的水平旋转角为0°，黑白格板3的上下翻转角为0°)，第6张图片(内框架2的水平旋转角为45°，黑白格板3的上下翻转角为0°)和第11张图片(内框架2 的水平旋转角为-45°，黑白格板3的上下翻转角为0°)的时刻所对应的雷达检测数据，对雷达检测数据进行滤波处理，只留下金属板4区域的雷达检测数据。
步骤五：计算毫米波雷达安装的偏航角α。
如图3所示，毫米波雷达坐标系与金属板4坐标系之间的关系为：
YP＝0
其中，Xr-Yr表示毫米波雷达坐标系，Xp-Yp表示金属板4坐标系，l0为Xr为 0时的Yr值，α为毫米波雷达安装的偏航角。
通过毫米波雷达检测所得的金属板4对应的数据，计算得到毫米波雷达的安装偏航角α。
步骤六：计算摄像头内参。
该实施例中根据摄像头拍摄的3组15张图片，利用张正友标定法，计算出摄像头的内参：x方向像素比1/dx、y方向像素比1/dy、焦距f、图片的中心像素坐标和原点像素坐标之间相差的横向和纵向像素数u0、v0。
并计算第1张图片的旋转矩阵R0和平移矩阵T0，第6张图片的旋转矩阵 R1和平移矩阵T1，第11张图片的旋转矩阵R2和平移矩阵T2。
步骤七：计算摄像头外参。
针对上述第1、6和11张图片的旋转矩阵R0、R1、R2得到摄像头坐标系相对黑白格板3坐标系的俯仰角β0、β1、β2，及偏航角α0、α1、α2。分别计算偏航角α0与0°的偏差Δ0，α1与45°的偏差Δ1，α2与-45°的偏差Δ2。取Δ0、Δ1、Δ2的平均值Δ作为摄像头安装的偏航角。取β0、β1、β2的平均值β作为摄像头安装的俯仰角。
步骤八：根据黑白格板3和金属板4之间的位置关系计算黑白格板3坐标和金属板4坐标的偏差。
XW＝XP+a
ZP＝0
YW＝b-ZP＝b
ZW＝YP＝0
其中，XW-YW为黑白格板3坐标系(即摄像头坐标系)，Xp-Yp为金属板4坐标系，a为黑白格板3坐标和金属板4坐标之间的横向偏差，b为黑白格板3坐标和金属板4坐标之间的纵向偏差。
如图4所示，该实施例中黑白格板3坐标原点为左上角第一个角点，金属板4坐标原点为金属板4的中心。用直尺量取黑白格板3坐标和金属板4坐标之间的横向偏差a和纵向偏差和b。
步骤九：获取毫米波雷达和摄像头安装的横向偏差lx及纵向偏差ly。
设定标定装置的内框架2的水平旋转角为0°，使车辆缓慢直行后退，后退过程中摄像头和毫米波雷达同时采集数据。
提取当金属板4也进入摄像头画面之后的3-5幅摄像头和毫米波雷达的同步帧数据，根据毫米波雷达坐标与摄像头坐标系之间的关系，将雷达检测数据投射到摄像头拍摄的图片上：
其中，偏航角α由步骤五获得，1/dx、1/dy、f、u0、v0由步骤六获得，R、 T取用步骤六中的R0和T0，a、b由步骤八获得。
据此根据图片中毫米波雷达检测数据的中间值点与金属板4原点的像素坐标差反求得到纵向偏差ly，然后根据三角形相似原理得到横向偏差lx。
步骤十：量取高度安装偏差lz。
该实施例中通过直尺量取毫米波雷达的安装高度h1,摄像头安装高度h2，高度安装偏差lz＝h2-h1。
步骤十一：输出标定数据。
毫米波雷达坐标系到摄像头坐标系的转换为刚体变换，可以看做毫米波雷达先相对摄像机进行了平移变换，再进行旋转变换，其中，雷达的安装俯仰角和横滚角忽略不计，摄像头安装的横滚角忽略不计。那么毫米波雷达和摄像头之间的偏航角＝α+Δ，俯仰角为β，横滚角为0，分别由步骤五和步骤七获得。平移向量(lx，ly，lz)分别由步骤九、步骤十获得。把毫米波雷达和摄像头之间的偏航角α+Δ，俯仰角β，横滚角0，平移向量(lx，ly，lz)作为毫米波雷达和摄像头联合标定的数据输出，以供车辆后续感知模块使用。
本发明实施例一中方法可以用于AEBS等同时用到雷达和摄像头两种传感器的任何智能驾驶系统中。
该实施例进行了以下改进：
(1)基于张正友标定法做了改进，通过固定3个标定装置角度，在标定摄像头内参的同时，获取摄像头安装的俯仰角和偏航角。
(2)设计了一种标定装置，标定装置上同时固连一块强反射波金属板4障碍物，在标定摄像头内参的同时，可以标定毫米波雷达安装的偏航角。
(3)通过标定装置的坐标关系反解得到雷达坐标系和摄像头坐标的三维变换关系，改进了二者安装的夹角关系和水平位移关系较难直接量取的问题。
其具有以下优点：
(1)可以在标定摄像头内参的同时，联合标定雷达和摄像头之间的外参，统一雷达坐标系和摄像头坐标系，提高标定工序的效率。
(2)将一向被忽略的毫米波雷达安装偏航角和摄像头安装偏航角也考虑在内，得到的标定效果更佳。
(3)通过标定装置的坐标关系反解得到雷达坐标系和摄像头坐标的三维变换关系，改进了二者安装的夹角关系和水平位移关系较难直接量取的问题，得到的标定效果更精确。
(4)方法简单易操作，装置简易。
(5)标定过程中，通过图片可以直接观察到两传感器数据的融合验证，标定效果有保障。
实施例二：
本发明还提供一种雷达与摄像头联合标定系统，包括如实施例一所述的标定装置、摄像头、雷达、以及处理终端，所述处理终端包括存储器、处理器和总线，所述存储器存储有至少一段程序，所述系统实现如本发明实施例一所述的雷达与摄像头联合标定方法。
所述处理器包括一个或一个以上处理核心，处理器通过总线与存储器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现本发明实施例一所述的雷达与摄像头联合标定方法。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit， ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述雷达与摄像头联合标定系统的控制中心，利用各种接口和线路连接整个雷达与摄像头联合标定系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述雷达与摄像头联合标定系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (10)

1.一种雷达与摄像头联合标定方法，其特征在于，包括以下步骤：
S1：提供标定装置，标定装置包括摄像头标定板和雷达标定板，使标定装置处于标定位置；
S2：通过摄像头采集标定装置处于不同状态下的图片，同时通过雷达检测标定装置，所述不同状态包括摄像头标定板和雷达标定板两者处于同一平面内且两者共同绕第一旋转轴旋转不同的角度和摄像头标定板绕第二旋转轴旋转不同的角度；
S3：根据摄像头采集图片的时刻所对应的雷达检测数据来计算标定数据，并输出，所述标定数据包括：雷达和摄像头之间的偏航角、俯仰角和平移向量。
2.根据权利要求1所述的方法，其特征在于：雷达对雷达标定板的反射率与雷达对标定装置中的其他组件的反射率不同。
3.根据权利要求1所述的方法，其特征在于：所述第一旋转轴垂直于水平面，第二旋转轴与第一旋转轴不平行。
4.根据权利要求1所述的方法，其特征在于：俯仰角的计算过程为：
(1)根据摄像头拍摄的处于不同状态下的图片，通过张正友标定法计算摄像头的内参，所述内参包括x方向像素比、y方向像素比、焦距、和图片的中心像素坐标和原点像素坐标之间相差的横向和纵向像素数；
(2)选取图片中的摄像头标定板和雷达标定板两者处于同一平面内但两者绕第一旋转轴旋转不同角度的多张图片，针对每张图片：计算该图片的旋转矩阵和平移矩阵，根据旋转矩阵计算摄像头坐标系相对摄像头标定板坐标系的俯仰角和偏航角，计算偏航角与该图片中摄像头标定板和雷达标定板两者绕第一旋转轴旋转角度的差值；
(3)将选取的多张图片的偏航角与图片中摄像头标定板和雷达标定板两者绕第一旋转轴旋转角度的差值的平均值作为摄像头安装的偏航角；
(4)将选取的多张图片的摄像头坐标系相对摄像头标定板坐标系的俯仰角的平均值作为摄像头安装的俯仰角。
5.根据权利要求4所述的方法，其特征在于：雷达和摄像头之间的偏航角为雷达安装的偏航角与摄像头安装的偏航角之和；雷达安装的偏航角根据雷达检测到的标定装置中雷达标定板区域的数据和雷达坐标系与雷达标定板坐标系之间的关系计算获得。
6.根据权利要求1所述的方法，其特征在于：雷达和摄像头之间的平移向量包括：横向偏差、纵向偏差和高度偏差；
所述横向偏差和纵向偏差的计算过程包括：
(1)根据摄像头标定板与雷达标定板两者处于同一平面内时的位置关系计算摄像头标定板坐标和雷达标定板坐标的偏差；
(2)设定标定装置中摄像头标定板和雷达标定板两者处于同一平面内且该平面与摄像头的像平面平行，使摄像头和雷达同时边采集数据边远离标定装置；
(3)提取摄像头拍摄的图片中的包含雷达标定板的多张图片，并提取图片拍摄时刻对应的雷达检测数据，根据雷达坐标系与摄像头坐标系之间的关系，将雷达检测数据投射到对应的图片上；
(4)根据每张图片中雷达检测数据的中间值点与雷达标定板原点的像素坐标差计算获得纵向偏差后，根据三角形相似原理计算获得横向偏差；
(5)将多张图片的纵向偏差和横向偏差的平均值设定为雷达和摄像头之间的纵向偏差和横向偏差。
7.根据权利要求6所述的方法，其特征在于：通过测量工具手动量取来计算高度偏差：所述高度偏差为摄像头安装高度与雷达的安装高度的差值。
8.一种雷达与摄像头联合标定系统，其特征在于：包括标定装置、摄像头、雷达、以及处理终端，所述处理终端包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述系统实现如权利要求1～7中任一所述方法的步骤。
9.一种标定装置，其特征在于，包括摄像头标定板和雷达标定板，所述摄像头标定板能够绕第二旋转轴进行旋转，所述摄像头标定板和雷达标定板两者能够处于同一平面内且两者共同绕第一旋转轴进行旋转。
10.根据权利要求9所述的标定装置，其特征在于：所述标定装置包括支架、安装于支架上且能够旋转的内框架、固定安装于内框架上的雷达标定板和安装于内框架上且能够绕与内框架的旋转方向不平行的方向旋转的摄像头标定板。
CN201910597770.1A 2019-07-04 2019-07-04 一种标定装置及一种雷达与摄像头联合标定方法及系统 Active CN110310339B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910597770.1A CN110310339B (zh) 2019-07-04 2019-07-04 一种标定装置及一种雷达与摄像头联合标定方法及系统
PCT/CN2019/128584 WO2021000544A1 (zh) 2019-07-04 2019-12-26 一种标定装置及一种雷达与摄像头联合标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910597770.1A CN110310339B (zh) 2019-07-04 2019-07-04 一种标定装置及一种雷达与摄像头联合标定方法及系统

Publications (2)

Publication Number Publication Date
CN110310339A true CN110310339A (zh) 2019-10-08
CN110310339B CN110310339B (zh) 2021-05-04

Family

ID=68079734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910597770.1A Active CN110310339B (zh) 2019-07-04 2019-07-04 一种标定装置及一种雷达与摄像头联合标定方法及系统

Country Status (2)

Country Link
CN (1) CN110310339B (zh)
WO (1) WO2021000544A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111381215A (zh) * 2020-03-25 2020-07-07 中国科学院地质与地球物理研究所 相位校正方法以及流星位置获取方法
CN111435162A (zh) * 2020-03-03 2020-07-21 深圳市镭神智能系统有限公司 激光雷达与相机同步方法、装置、设备和存储介质
WO2021000544A1 (zh) * 2019-07-04 2021-01-07 厦门金龙联合汽车工业有限公司 一种标定装置及一种雷达与摄像头联合标定方法及系统
CN112270718A (zh) * 2020-11-13 2021-01-26 苏州智加科技有限公司 摄像头标定方法、装置、系统及存储介质
CN113256734A (zh) * 2021-05-20 2021-08-13 东风汽车集团股份有限公司 一种车载感知传感器标定方法、系统及电子设备
CN113486795A (zh) * 2021-07-06 2021-10-08 广州小鹏自动驾驶科技有限公司 视觉识别性能测试方法、装置、系统及设备
CN113766211A (zh) * 2021-08-24 2021-12-07 武汉极目智能技术有限公司 一种adas设备的摄像头安装角度检测系统及方法
CN115438208A (zh) * 2022-08-23 2022-12-06 成都智元汇信息技术股份有限公司 一种提升包裹关联准确率的方法及装置
CN115799140A (zh) * 2022-07-20 2023-03-14 拓荆键科(海宁)半导体设备有限公司 校准方法及装置、组合显微镜、晶圆键合方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9134402B2 (en) * 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN106740872A (zh) * 2017-01-13 2017-05-31 驭势科技（北京）有限公司 智能汽车传感器自检系统和方法、辅助系统和智能汽车
CN206258931U (zh) * 2016-11-02 2017-06-16 北京中科慧眼科技有限公司 标定装置
CN107167790A (zh) * 2017-05-24 2017-09-15 北京控制工程研究所 一种基于标定场的激光雷达两步标定方法
CN108226906A (zh) * 2017-11-29 2018-06-29 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质
CN109061610A (zh) * 2018-09-11 2018-12-21 杭州电子科技大学 一种摄像头与雷达的联合标定方法
CN109270534A (zh) * 2018-05-07 2019-01-25 西安交通大学 一种智能车激光传感器与相机在线标定方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016176487A1 (en) * 2015-04-28 2016-11-03 Henri Johnson Systems to track a moving sports object
DE102017212289A1 (de) * 2017-07-18 2019-01-24 Robert Bosch Gmbh Kalibriereinrichtung und Verfahren zum Kalibrieren von Kraftfahrzeug-Umfeldsensoren
CN109828262A (zh) * 2019-03-15 2019-05-31 苏州天准科技股份有限公司 基于平面和空间特征的激光雷达与相机自动联合标定方法
CN109828250B (zh) * 2019-03-28 2020-07-21 森思泰克河北科技有限公司 一种雷达标定方法、标定装置及终端设备
CN110310339B (zh) * 2019-07-04 2021-05-04 厦门金龙联合汽车工业有限公司 一种标定装置及一种雷达与摄像头联合标定方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9134402B2 (en) * 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN206258931U (zh) * 2016-11-02 2017-06-16 北京中科慧眼科技有限公司 标定装置
CN106740872A (zh) * 2017-01-13 2017-05-31 驭势科技（北京）有限公司 智能汽车传感器自检系统和方法、辅助系统和智能汽车
CN107167790A (zh) * 2017-05-24 2017-09-15 北京控制工程研究所 一种基于标定场的激光雷达两步标定方法
CN108226906A (zh) * 2017-11-29 2018-06-29 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质
CN109270534A (zh) * 2018-05-07 2019-01-25 西安交通大学 一种智能车激光传感器与相机在线标定方法
CN109061610A (zh) * 2018-09-11 2018-12-21 杭州电子科技大学 一种摄像头与雷达的联合标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JINGJING JIANG 等: "Line Feature Based Extrinsic Calibration of LiDAR and Camera", 《ICVES》 *
JOHN M. MAROLI 等: "Automated rotational calibration of multiple 3D LIDAR units for intelligent vehicles", 《ITSC》 *
高洁: "无人车平台立体视觉技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021000544A1 (zh) * 2019-07-04 2021-01-07 厦门金龙联合汽车工业有限公司 一种标定装置及一种雷达与摄像头联合标定方法及系统
CN111435162B (zh) * 2020-03-03 2021-10-08 深圳市镭神智能系统有限公司 激光雷达与相机同步方法、装置、设备和存储介质
CN111435162A (zh) * 2020-03-03 2020-07-21 深圳市镭神智能系统有限公司 激光雷达与相机同步方法、装置、设备和存储介质
CN111381215A (zh) * 2020-03-25 2020-07-07 中国科学院地质与地球物理研究所 相位校正方法以及流星位置获取方法
CN112270718A (zh) * 2020-11-13 2021-01-26 苏州智加科技有限公司 摄像头标定方法、装置、系统及存储介质
WO2022100265A1 (en) * 2020-11-13 2022-05-19 Suzhou Zhijia Science & Technologies Co., Ltd. Camera calibration method, apparatus, and system
CN112270718B (zh) * 2020-11-13 2022-11-15 苏州智加科技有限公司 摄像头标定方法、装置、系统及存储介质
CN113256734A (zh) * 2021-05-20 2021-08-13 东风汽车集团股份有限公司 一种车载感知传感器标定方法、系统及电子设备
CN113486795A (zh) * 2021-07-06 2021-10-08 广州小鹏自动驾驶科技有限公司 视觉识别性能测试方法、装置、系统及设备
CN113766211A (zh) * 2021-08-24 2021-12-07 武汉极目智能技术有限公司 一种adas设备的摄像头安装角度检测系统及方法
CN115799140A (zh) * 2022-07-20 2023-03-14 拓荆键科(海宁)半导体设备有限公司 校准方法及装置、组合显微镜、晶圆键合方法
CN115799140B (zh) * 2022-07-20 2023-12-01 拓荆键科(海宁)半导体设备有限公司 校准方法及装置、组合显微镜、晶圆键合方法
CN115438208A (zh) * 2022-08-23 2022-12-06 成都智元汇信息技术股份有限公司 一种提升包裹关联准确率的方法及装置

Also Published As

Publication number Publication date
WO2021000544A1 (zh) 2021-01-07
CN110310339B (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN110310339A (zh) 一种标定装置及一种雷达与摄像头联合标定方法及系统
US11113835B2 (en) Plant point cloud acquisition, registration and optimization method based on TOF camera
CN110799918B (zh) 车辆用的方法、设备和计算机可读存储介质、车辆
CN102930544B (zh) 一种车载摄像机的参数标定系统
CN104704384B (zh) 具体用于装置的基于视觉的定位的图像处理方法
US10339390B2 (en) Methods and apparatus for an imaging system
CN103020957B (zh) 移动机器人机载摄像机位置标定方法
CN105163065B (zh) 一种基于摄像机前端处理的交通测速方法
LU502288B1 (en) Method and system for detecting position relation between vehicle and lane line, and storage medium
CN110517303A (zh) 一种基于双目相机和毫米波雷达的融合slam方法及系统
CN112419385A (zh) 一种3d深度信息估计方法、装置及计算机设备
CN104751119A (zh) 基于信息融合的行人快速检测跟踪方法
CN103439525B (zh) 基于可见光遥感图像的舰船速度检测方法
CN109859260A (zh) 确定车位位置的方法、装置及计算机可读存储介质
CN108592885A (zh) 一种单双目融合定位测距算法
CN110926408A (zh) 基于特征物的近距离测距方法、装置、系统和存储介质
CN101980292B (zh) 一种基于正八边形模板的车载摄像机内参数的标定方法
CN109822754A (zh) 用于沥青混凝土搅拌站的自卸车货厢尺寸检测系统及方法
CN109883433A (zh) 基于360度全景视图的结构化环境中车辆定位方法
CN109808732A (zh) 轨道交通车辆限界检测系统
CN116363223A (zh) 一种基于双目视觉的货车车厢尺寸测量方法、装置及介质
US20230379422A1 (en) Method for vehicle hinge point calibration and corresponding calibration apparatus, computer device, and storage medium
CN108122244B (zh) 一种视频图像的视频测速方法及装置
CN106355581A (zh) 利用车辆检测实现车载摄像头的在线标定的装置及方法
CN110986887B (zh) 基于单目摄像头的测距方法、存储介质及单目摄像头

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant