CN112612016A - 传感器联合标定方法、装置、电子设备及存储介质 - Google Patents
传感器联合标定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112612016A CN112612016A CN202011438522.1A CN202011438522A CN112612016A CN 112612016 A CN112612016 A CN 112612016A CN 202011438522 A CN202011438522 A CN 202011438522A CN 112612016 A CN112612016 A CN 112612016A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- calibration
- point cloud
- determining
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000009466 transformation Effects 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 11
- 238000013519 translation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请涉及自动驾驶领域，提供一种传感器联合标定方法、装置、电子设备及存储介质，其中方法包括：获取包含多个圆形标定孔的三维点云和二维图像；所述三维点云是基于车载激光雷达获取的，所述二维图像是基于车载相机获取的；确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。本申请提供的方法、装置、电子设备及存储介质，降低了标定难度，提高了标定结果的准确性。
Description
技术领域
本申请涉及自动驾驶技术领域，具体涉及一种传感器联合标定方法、装置、电子设备及存储介质。
背景技术
随着计算机视觉技术、传感器技术和车联网技术等的不断发展，自动驾驶技术取得了巨大的进步。自动驾驶技术通过多个传感器对车辆周围的环境进行感知后，完成数据融合，并根据融合后的数据实现自动控制车辆行驶。数据融合的基础是各个传感器之间的联合标定。
现有技术中，对于激光雷达和相机进行联合标定，通常是通过相机拍摄二维码得到世界坐标点和图像坐标点，利用相机内部参数反推目标点的三维坐标，该方法借助二维码作为标志物，标定过程复杂，标定难度高，标定结果的准确性差。
发明内容
本申请提供一种传感器联合标定方法、装置、电子设备及存储介质，降低了标定难度，提高了标定结果的准确性。
本申请提供一种传感器联合标定方法，包括：
获取包含多个圆形标定孔的三维点云和二维图像；所述三维点云是基于车载激光雷达获取的，所述二维图像是基于车载相机获取的；
确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；
基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
根据本申请提供的一种传感器联合标定方法，所述多个圆形标定孔分布在至少两个标定板上。
根据本申请提供的一种传感器联合标定方法，所述至少两个标定板布置在所述车载相机的视野中的不同位置。
根据本申请提供的一种传感器联合标定方法，所述确定每一圆形标定孔的圆心在三维点云中的三维坐标，包括：
确定每一标定板所在的点云平面；
基于每一标定板所在的点云平面，确定每一标定板上的圆形标定孔对应的点云；
对每一标定板上的圆形标定孔对应的点云进行最小二乘拟合，确定每一圆形标定孔的圆心在三维点云中的三维坐标。
根据本申请提供的一种传感器联合标定方法，所述确定每一圆形标定孔的圆心在二维图像中的二维坐标，包括：
基于霍夫变换对所述二维图像进行圆检测，确定每一圆形标定孔的圆心在二维图像中的二维坐标。
根据本申请提供的一种传感器联合标定方法，所述圆形标定孔的数量不少于9。
根据本申请提供的一种传感器联合标定方法，所述基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，包括：
基于EPnP算法、UPnP算法、DLT算法和P3P算法中的至少一种，以及所述每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
本申请还提供一种传感器联合标定装置，包括：
获取单元，用于获取包含多个圆形标定孔的三维点云和二维图像；
确定单元，用于确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；
标定单元，用于基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述传感器联合标定方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述传感器联合标定方法的步骤。
本申请提供的传感器联合标定方法、装置、电子设备及存储介质，通过获取包含多个圆形标定孔的三维点云和二维图像，根据每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，从而实现联合标定车载激光雷达和车载相机，由于圆形标定孔形状特征明显并且容易检测，降低了标定难度，同时，采用多个圆形标定孔进行标定，提高了标定结果的准确性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的传感器联合标定方法的流程示意图；
图2为本申请提供的三维坐标确定方法的流程示意图；
图3为本申请提供的标定板的结构示意图；
图4为本申请提供的传感器联合标定装置的结构示意图；
图5为本申请提供的三维坐标确定子单元的结构示意图；
图6为本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请提供的传感器联合标定方法的流程示意图，如图1所示，该方法包括：
步骤110，获取包含多个圆形标定孔的三维点云和二维图像；三维点云是基于车载激光雷达获取的，二维图像是基于车载相机获取的。
具体地，本申请中的传感器包括车载激光雷达和车载相机。可以根据圆形标定孔，对车载激光雷达和车载相机进行联合标定。相对于其他几何形状的标定孔，圆形标定孔具有形状特征明显且易于提取的优点。为了确保取得良好的标定效果，可以选择一定数量的圆形标定孔进行联合标定。
在进行联合标定之前，将多个圆形标定孔布置于车辆前进方向的同一视野，通过安装在车辆上的车载激光雷达得到包含多个圆形标定孔的三维点云，通过安装在车辆上的车载相机得到包含多个圆形标定孔的二维图像。
圆形标定孔的大小可以根据实际需要进行设置，例如，可以将圆形标定孔的直径大小设置为15厘米。
步骤120，确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标。
具体地，对得到的三维点云进行特征提取，可以得到每一圆形标定孔对应的点云，进而拟合得到每一圆形标定孔的圆心及其三维坐标。例如，可以基于PCL(Point CloudLibrary，点云库)实现三维点云的特征提取，得到每一圆形标定孔的圆心及其三维坐标。
对得到的二维图像进行圆检测，可以得到二维图像中的圆形标定孔，以及每一圆形标定孔的圆心及其二维坐标。例如，可以对二维图像进行霍夫圆检测、轮廓跟踪和最小二乘拟合中的至少一种操作，得到圆形标定孔。
步骤130，基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
具体地，本申请中联合标定的目的是获取三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。例如，三维点云所在的点云坐标系可以为以车载激光雷达所在位置为原点建立的空间直角坐标系。二维图像所在的图像坐标系可以为以车载相机所在位置为原点建立的平面直角坐标系。
三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系可以用旋转矩阵和平移向量来表示。例如，旋转矩阵可以是一个维度大小为3×3的矩阵，平移向量可以是一个维度大小为3×1的向量。旋转矩阵用于表征点云坐标系的坐标轴相对于图像坐标系的坐标轴的方向，平移向量用于表征在点云坐标系的空间原点在图像坐标系中的位置。旋转矩阵和平移向量共同描述了如何将点云坐标系中的点云转换为图像坐标系中对应的像素。
可以根据每一圆形标定孔的圆心的三维坐标和二维坐标，利用PnP(pespective-n-point)算法，求解旋转矩阵和平移向量，得到三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
本申请提供的传感器联合标定方法，通过获取包含多个圆形标定孔的三维点云和二维图像，根据每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，从而实现联合标定车载激光雷达和车载相机，由于圆形标定孔形状特征明显并且容易检测，降低了标定难度，同时，采用多个圆形标定孔进行标定，提高了标定结果的准确性。
基于上述任一实施例，多个圆形标定孔分布在至少两个标定板上。
具体地，可以将多个圆形标定孔布置在标定板上，将标定板置于车载激光雷达和车载相机的视野中，便于采集包含多个圆形标定孔的三维点云和二维图像。标定板的大小和形状可以根据需要进行设置，例如，标定板可以设置为长方形，长为1.5米，宽为1米。
将多个圆形标定孔布置在标定板上，还可以利用标定板上各个圆形标定孔之间的位置关系在三维点云和二维图像中进行圆检测。例如，若将4个圆形标定孔布置在1个标定板上，将4个圆形标定孔的位置关系设置为沿正方形的4个顶点分布，正方形的边长设置为24厘米，即圆形标定孔的圆心距离为24厘米，则在三维点云和二维图像中可以利用该位置关系迅速找到对应的区域进行圆检测。
可以将多个圆形标定孔分别布置在至少两个标定板上，使得可以通过分开布置标定板，实现移动圆形标定孔的位置。每一标定板上圆形标定孔的数量和布置位置可以根据实际情况进行设置，例如，可以将12个圆形标定孔分别布置在3个标定板上，每个标定板上的圆形标定孔按照正方形分布，也可以将12个圆形标定孔分别布置在4个标定板上，每个标定板上的圆形标定孔按照等边三角形分布。
基于上述任一实施例，至少两个标定板布置在车载相机的视野中的不同位置。
具体地，在获取包含多个圆形标定孔的三维点云和二维图像之前，可以将标定板布置在车载相机的视野中的不同位置。
此处，车载激光雷达通常安装在车辆的顶部上，能够用多束激光脉冲绕轴旋转360度对周围环境进行距离检测。车载相机通常固定安装，用于获取车辆在前进方向的图像。进行联合标定时，车载相机的视野同时也是车载相机和车载激光雷达的共同视野。
例如，当标定板数量为2时，可以将标定板分别布置在同一视野的左侧和右侧，当标定板数量为4时，可以将标定板分别布置在同一视野的左上侧、左下侧、右上侧和右下侧。
本申请提供的传感器联合标定方法，通过分开布置标定板，使得圆形标定孔分散在三维点云和二维图像对应的共同视野中的不同位置，避免多个圆形标定孔都集中分布于车载激光雷达和车载相机的视野中的某一区域，从而实现分散测量，减小误差。
基于上述任一实施例，图2为本申请提供的三维坐标确定方法的流程示意图，如图2所示，步骤120包括：
步骤1201，确定每一标定板所在的点云平面。
具体地，可以采用RANSAC(Random Sample Consensus，随机采样一致性)算法、SVD(Singular Value Decomposition，奇异值分解)算法等，在每一标定板对应的三维点云中提取特征点，计算得到每一标定板所在平面。
例如，采用RANSAC算法确定每一标定板所在平面的方法为：
(1)在三维点云中确定该标定板的大致区域，从该大致区域中随机选取3个点组成拟合平面；
(2)设定预设拟合阈值，计算其他点到该拟合平面的距离，若距离超过预设拟合阈值，则将该点判定为无效数据，若距离小于预设拟合阈值，则将该点判定为有效数据，认为该点位于拟合平面内；
(3)若处于该拟合平面的点超过预设数量，则保存该拟合平面，并将位于该拟合平面内的点都标记为已匹配；
(4)将已匹配的点最多的拟合平面作为该标定板的所在平面。
步骤1202，基于每一标定板所在的点云平面，确定每一标定板上的圆形标定孔对应的点云。
具体地，根据标定板的形状特征，对每一标定板所在的点云平面进行分割，去除标定板之外的无效点云，确定每一标定板上的圆形标定孔对应的点云。
步骤1203，对每一标定板上的圆形标定孔对应的点云进行最小二乘拟合，确定每一圆形标定孔的圆心在三维点云中的三维坐标。
具体地，采用最小二乘法，对每一标定板上的圆形标定孔对应的点云进行拟合，得到每一圆形标定孔的圆心在三维点云中的三维坐标，以及半径等参数。
本申请提供的传感器联合标定方法，根据每一标定板所在的点云平面确定标定板上每一圆形标定孔的圆心在三维点云中的三维坐标，操作简单，容易实现，降低了传感器联合标定的难度。
基于上述任一实施例，步骤120还包括：
基于霍夫变换对二维图像进行圆检测，确定每一圆形标定孔的圆心在二维图像中的二维坐标。
具体地，霍夫变换(Hough Transform)的原理，是利用图像全局特征将边缘像素连接起来组成区域封闭边界，它将图像空间转换到参数空间，在参数空间对点进行描述，达到检测图像边缘的目的。该方法把所有可能落在边缘上的点进行统计计算，根据统计计算结果确定这些点属于边缘的程度。霍夫变换的实质就是对图像进行坐标变换，把平面坐标变换为参数坐标，使变换的结果更易识别和检测。
采用霍夫变换对二维图像进行圆检测的步骤包括：
(1)将二维图像的像素点从二维空间坐标转换到极坐标空间；
(2)在极坐标空间中对各个像素点的强度进行归一化，使强度的范围在0～255之间；
(3)根据极坐标的半径值与输入参数相等，寻找二维图像的像素点，此处，输入参数为圆形标定孔的半径；
(4)对找到的二维图像的像素进行标记；
(5)返回找到的所有二维图像的像素。
本申请提供的传感器联合标定方法，根据霍夫变换对二维图像进行圆检测，操作简单，容易实现。
基于上述实施例，圆形标定孔的数量不少于9。
具体地，通过一个圆形标定孔的圆心，可以获取一个用于求解旋转矩阵和平移向量的点。为了确保取得良好的标定效果，可以选择一定数量的圆形标定孔进行联合标定。对于维度大小为3×3的旋转矩阵和维度大小为3×1的平移向量，可以选取至少9个点，也即圆形标定孔的数量不少于9，例如，可以将圆形标定孔的数量设置为12，即采用12个圆形标定孔的圆心进行传感器联合标定，以提高标定的准确性。
基于上述任一实施例，步骤130包括：
基于EPnP算法、UPnP算法、DLT算法和P3P算法中的至少一种，以及每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
具体地，根据每一圆形标定孔的圆心的三维坐标和二维坐标，可以采用PnP(pespective-n-point)算法，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
PnP问题有很多种求解方法，例如EPnP算法、UPnP算法、DLT算法和P3P算法等。
本申请提供的传感器联合标定方法，利用PnP算法求解三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，操作简单，容易实现，降低了算法的时间复杂度。
基于上述任一实施例，本申请提供一种传感器联合标定方法，该方法用于标定车载激光雷达和车载相机。
图3为本申请提供的标定板的结构示意图，如图3所示，该标定板为长方形，长L为1.5米，宽W为1米。该标定板包括4个相同大小的圆形标定孔，其直径D1为15厘米，4个圆形标定孔的位置关系为沿正方形的4个顶点分布，正方形的边长D2设置为24厘米，即圆形标定孔的圆心距离为24厘米。
首先，将3个标定板布置在车辆前进方向的同一视野中的不同位置，通过安装在车辆上的车载激光雷达得到包含12个圆形标定孔的三维点云，通过安装在车辆上的车载相机得到包含12个圆形标定孔的二维图像。
其次，确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标。
再次，基于EPnP算法以及每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，坐标变换关系可以表示为旋转矩阵和平移向量。旋转矩阵为一个维度大小为3×3的矩阵，平移向量为一个维度大小为3×1的向量。
下面对本申请提供的传感器联合标定装置进行描述，下文描述的传感器联合标定装置与上文描述的传感器联合标定方法可相互对应参照。
基于上述任一实施例，图4为本申请提供的传感器联合标定装置的结构示意图，如图4所示，该装置包括：
获取单元410，用于获取包含多个圆形标定孔的三维点云和二维图像；三维点云是基于车载激光雷达获取的，二维图像是基于车载相机获取的；
确定单元420，用于确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；
标定单元430，用于基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
具体地，获取单元410用于获取包含多个圆形标定孔的三维点云和二维图像，确定单元420用于确定每一圆形标定孔的圆心分别在三维点云中的三维坐标以及在二维图像中的二维坐标。标定单元430用于确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
本申请提供的传感器联合标定装置，通过获取包含多个圆形标定孔的三维点云和二维图像，根据每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，从而实现联合标定车载激光雷达和车载相机，由于圆形标定孔形状特征明显并且容易检测，降低了标定难度，同时，采用多个圆形标定孔进行标定，提高了标定结果的准确性。
基于上述任一实施例，多个圆形标定孔分布在至少两个标定板上。
基于上述任一实施例，至少两个标定板布置在车载相机的视野中的不同位置。
基于上述任一实施例，图5为本申请提供的三维坐标确定子单元的结构示意图，如图5所示，确定单元420包括三维坐标确定子单元4201，三维坐标确定子单元4201包括：
平面确定模块42011，用于确定每一标定板所在的点云平面；
点云确定模块42012，用于基于每一标定板所在的点云平面，确定每一标定板上的圆形标定孔对应的点云；
三维坐标确定模块42013，用于对每一标定板上的圆形标定孔对应的点云进行最小二乘拟合，确定每一圆形标定孔的圆心在三维点云中的三维坐标。
基于上述任一实施例，确定单元420还包括：
二维坐标确定子单元，用于基于霍夫变换对所述二维图像进行圆检测，确定每一圆形标定孔的圆心在二维图像中的二维坐标。
基于上述任一实施例，圆形标定孔的数量不少于9。
基于上述任一实施例，标定单元430具体用于：
基于EPnP算法、UPnP算法、DLT算法和P3P算法中的至少一种，以及每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
本申请实施例提供的传感器联合标定装置用于执行上述传感器联合标定方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
基于上述任一实施例，图6为本申请提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(Processor)610、通信接口(Communications Interface)620、存储器(Memory)630和通信总线(Communications Bus)640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑命令，以执行上述各实施例提供的方法，该方法包括：
获取包含多个圆形标定孔的三维点云和二维图像；三维点云是基于车载激光雷达获取的，二维图像是基于车载相机获取的；确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
此外，上述的存储器630中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述传感器联合标定方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的传感器联合标定方法可相互对应参照。
本申请实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，该方法包括：
获取包含多个圆形标定孔的三维点云和二维图像；三维点云是基于车载激光雷达获取的，二维图像是基于车载相机获取的；确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述传感器联合标定方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (16)
1.一种传感器联合标定方法，其特征在于，包括：
获取包含多个圆形标定孔的三维点云和二维图像；所述三维点云是基于车载激光雷达获取的，所述二维图像是基于车载相机获取的；
确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；
基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
2.根据权利要求1所述的传感器联合标定方法，其特征在于，所述多个圆形标定孔分布在至少两个标定板上。
3.根据权利要求2所述的传感器联合标定方法，其特征在于，所述至少两个标定板布置在所述车载相机的视野中的不同位置。
4.根据权利要求3所述的传感器联合标定方法，其特征在于，所述确定每一圆形标定孔的圆心在三维点云中的三维坐标，包括：
确定每一标定板所在的点云平面；
基于每一标定板所在的点云平面，确定每一标定板上的圆形标定孔对应的点云；
对每一标定板上的圆形标定孔对应的点云进行最小二乘拟合，确定每一圆形标定孔的圆心在三维点云中的三维坐标。
5.根据权利要求1所述的传感器联合标定方法，其特征在于，所述确定每一圆形标定孔的圆心在二维图像中的二维坐标，包括：
基于霍夫变换对所述二维图像进行圆检测，确定每一圆形标定孔的圆心在所述二维图像中的二维坐标。
6.根据权利要求1至5任一项所述的传感器联合标定方法，其特征在于，所述圆形标定孔的数量不少于9。
7.根据权利要求1至5中任一项所述的传感器联合标定方法，其特征在于，所述基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，包括：
基于EPnP算法、UPnP算法、DLT算法和P3P算法中的至少一种，以及所述每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
8.一种传感器联合标定装置，其特征在于，包括：
获取单元，用于获取包含多个圆形标定孔的三维点云和二维图像；所述三维点云是基于车载激光雷达获取的，所述二维图像是基于车载相机获取的；
确定单元，用于确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；
标定单元，用于基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
9.根据权利要求8所述的传感器联合标定装置，其特征在于，所述多个圆形标定孔分布在至少两个标定板上。
10.根据权利要求9所述的传感器联合标定装置，其特征在于，所述至少两个标定板布置在所述车载相机的视野中的不同位置。
11.根据权利要求10所述的传感器联合标定装置，其特征在于，所述确定单元包括三维坐标确定子单元，所述三维坐标确定子单元包括：
平面确定模块，用于确定每一标定板所在的点云平面；
点云确定模块，用于基于每一标定板所在的点云平面，确定每一标定板上的圆形标定孔对应的点云；
三维坐标确定模块，用于对每一标定板上的圆形标定孔对应的点云进行最小二乘拟合，确定每一圆形标定孔的圆心在三维点云中的三维坐标。
12.根据权利要求8所述的传感器联合标定装置，其特征在于，所述确定单元还包括：
所述二维坐标确定子单元，用于基于霍夫变换对所述二维图像进行圆检测，确定每一圆形标定孔的圆心在所述二维图像中的二维坐标。
13.根据权利要求8至12任一项所述的传感器联合标定装置，其特征在于，所述圆形标定孔的数量不少于9。
14.根据权利要求8至12任一项所述的传感器联合标定装置，其特征在于，所述标定单元具体用于：
基于EPnP算法、UPnP算法、DLT算法和P3P算法中的至少一种，以及所述每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的传感器联合标定方法的步骤。
16.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的传感器联合标定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011438522.1A CN112612016A (zh) | 2020-12-07 | 2020-12-07 | 传感器联合标定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011438522.1A CN112612016A (zh) | 2020-12-07 | 2020-12-07 | 传感器联合标定方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112612016A true CN112612016A (zh) | 2021-04-06 |
Family
ID=75234331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011438522.1A Pending CN112612016A (zh) | 2020-12-07 | 2020-12-07 | 传感器联合标定方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112612016A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436277A (zh) * | 2021-07-15 | 2021-09-24 | 无锡先导智能装备股份有限公司 | 3d相机标定方法、装置及标定系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109029284A (zh) * | 2018-06-14 | 2018-12-18 | 大连理工大学 | 一种基于几何约束的三维激光扫描仪与相机标定方法 |
| US20190130605A1 (en) * | 2017-11-01 | 2019-05-02 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method and device for verification |
| CN109712189A (zh) * | 2019-03-26 | 2019-05-03 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种传感器联合标定的方法和装置 |
| CN110298891A (zh) * | 2019-06-25 | 2019-10-01 | 北京智行者科技有限公司 | 相机外参精度自动评估的方法及装置 |
| CN110322518A (zh) * | 2019-07-05 | 2019-10-11 | 深圳市道通智能航空技术有限公司 | 立体匹配算法的评价方法、评价系统及测试设备 |
-
2020
- 2020-12-07 CN CN202011438522.1A patent/CN112612016A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190130605A1 (en) * | 2017-11-01 | 2019-05-02 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method and device for verification |
| CN109029284A (zh) * | 2018-06-14 | 2018-12-18 | 大连理工大学 | 一种基于几何约束的三维激光扫描仪与相机标定方法 |
| CN109712189A (zh) * | 2019-03-26 | 2019-05-03 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种传感器联合标定的方法和装置 |
| CN110298891A (zh) * | 2019-06-25 | 2019-10-01 | 北京智行者科技有限公司 | 相机外参精度自动评估的方法及装置 |
| CN110322518A (zh) * | 2019-07-05 | 2019-10-11 | 深圳市道通智能航空技术有限公司 | 立体匹配算法的评价方法、评价系统及测试设备 |
Non-Patent Citations (1)
| Title |
|---|
| 曹明玮;钱烨强;王冰;汪晓;余祥勇;: "基于监督式学习的全景相机与激光雷达的联合标定", 机电一体化, no. 01, 15 January 2018 (2018-01-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436277A (zh) * | 2021-07-15 | 2021-09-24 | 无锡先导智能装备股份有限公司 | 3d相机标定方法、装置及标定系统 |
| WO2023284349A1 (zh) * | 2021-07-15 | 2023-01-19 | 无锡先导智能装备股份有限公司 | 3d相机标定方法、装置及标定系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3407294B1 (en) | Information processing method, device, and terminal | |
| EP4016457A1 (en) | Positioning method and apparatus | |
| CN107609483B (zh) | 面向驾驶辅助系统的危险目标检测方法、装置 | |
| CN114862973B (zh) | 基于固定点位的空间定位方法、装置、设备及存储介质 | |
| CN112529827A (zh) | 遥感图像融合模型的训练方法及装置 | |
| CN112541416A (zh) | 跨雷达障碍物跟踪方法、装置、电子设备和存储介质 | |
| Abanay et al. | A calibration method of 2D LIDAR-Visual sensors embedded on an agricultural robot | |
| CN115685160A (zh) | 基于标靶的激光雷达与相机标定方法、系统、电子设备 | |
| CN114972532A (zh) | 激光雷达之间的外参标定方法、装置、设备及存储介质 | |
| CN112612016A (zh) | 传感器联合标定方法、装置、电子设备及存储介质 | |
| CN113936010A (zh) | 货架定位方法、装置、货架搬运设备及存储介质 | |
| CN110956066B (zh) | 一种人脸部位测距方法、装置及车载终端 | |
| CN112381876B (zh) | 一种交通标志标注方法、装置及计算机设备 | |
| CN115965928B (zh) | 点云特征增强、目标检测方法、设备、介质及车辆 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| CN115542301B (zh) | 激光雷达外部参数的校准方法、装置、设备及存储介质 | |
| CN115100287B (zh) | 外参标定方法及机器人 | |
| CN115131433B (zh) | 一种非合作目标位姿的处理方法、装置及电子设备 | |
| WO2017007527A9 (en) | Three dimensional direction finder with one dimensional sensor array | |
| CN113643386B (zh) | 标定方法及装置、电子设备及计算机可读存储介质 | |
| CN111223139A (zh) | 目标定位方法及终端设备 | |
| CN114460564A (zh) | 激光雷达标定方法、装置及作业机械 | |
| CN115115619A (zh) | 基于圆拟合的特征点提取方法、装置、设备及存储介质 | |
| CN115063489A (zh) | 一种外参标定方法、装置、设备和存储介质 | |
| CN116503387B (zh) | 图像检测方法、装置、设备、系统及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |