CN112927302A - 一种多线激光雷达与相机联合标定的标定板及标定方法 - Google Patents

一种多线激光雷达与相机联合标定的标定板及标定方法 Download PDF

Info

Publication number
CN112927302A
CN112927302A CN202110196629.8A CN202110196629A CN112927302A CN 112927302 A CN112927302 A CN 112927302A CN 202110196629 A CN202110196629 A CN 202110196629A CN 112927302 A CN112927302 A CN 112927302A
Authority
CN
China
Prior art keywords
calibration plate
camera
calibration
laser radar
checkerboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110196629.8A
Other languages
English (en)
Other versions
CN112927302B (zh
Inventor
皇攀凌
欧金顺
周军
赵一凡
林乐彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Alesmart Intelligent Technology Co Ltd
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110196629.8A priority Critical patent/CN112927302B/zh
Publication of CN112927302A publication Critical patent/CN112927302A/zh
Application granted granted Critical
Publication of CN112927302B publication Critical patent/CN112927302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种多线激光雷达与相机联合标定的标定板及标定方法，该标定板包括一个矩形基板，该矩形基板具有上表面和下表面；上表面的中心部分为黑白棋盘格，沿着黑白棋盘格的外边缘的一圈为漫反射反光部分；下表面是激光雷达识别的背景，具有吸光性能，为吸光涂层，且吸光涂层沿着基板的四个侧面向上表面延伸，将漫反射反光部分的四周完全包围。标定板使用吸光材料作为背景，漫反射反光板作为标记，能够实现激光雷达对标定板位姿的自动获取，并且大大提高了识别精度。采集数据后直接利用现有数据计算相机内参并估计相机与标定板之间的外参，整个数据处理过程自动实现，无需人工标记。

Description

一种多线激光雷达与相机联合标定的标定板及标定方法
技术领域
本发明涉及多传感器融合的标定技术，具体地说，涉及一种多线激光雷达与相机联合标定的标定板设计及其标定方法。
背景技术
作为计算机视觉的一个重要分支，视觉三维重建是连接现实世界与虚拟世界的关键，是人或设备与环境进行交互的基础。随着无人驾驶、虚拟现实、增强现实等技术的兴起，对三维感知的要求也越来越高，单纯的三维模型重建已不能满足现实需求，带有丰富语义信息的语义三维重建成为当今研究的热点。鉴于激光雷达能够获得高精度的深度信息，相机能够获得丰富的语义信息，因此将激光雷达的高精度点云与相机的视觉信息进行融合成为获得语义三维重建模型的最佳解决方案。为了能够使激光雷达的3D点云信息与相机的2D像素信息准确匹配，激光雷达与相机的联合标定是不可或缺的重要环节。
当前激光雷达与相机的联合标定方法主要分为：基于目标的方法、基于3D匹配的方法、基于运动的方法和基于特征的方法。这些方法中有的需要较为复杂的装置或具有特殊几何形状的标记，有的需要较高的计算成本，有的需要手动识别与标记激光点云和相机像素间的匹配关系，这将导致不易使用、效率低或精度差的问题。
发明内容
本发明提出了一种用于激光雷达与相机联合标定的标定板及其标定方法，该标定板能够使激光获得较准确的标记位置，且制作材料易于获取，制作方法简单。该标定方法通过对激光雷达自动获取的3D点云和相机获取的2D像素进行匹配并优化，不需要预先校准相机内参，最终能够获得激光雷达与相机之间的外参。整个数据处理过程完全自动实现且计算成本底、精度高。
本发明采用的技术方案如下：
第一方面，本发明提出了一种多线激光雷达与相机联合标定的标定板，该标定板包括一个具有一定厚度的矩形基板，该矩形基板具有上表面和下表面；
上表面的中心部分为黑白棋盘格，沿着黑白棋盘格的外边缘的一圈为漫反射反光部分；
下表面是激光雷达识别的背景，具有吸光性能，为吸光涂层，且吸光涂层从平板的四个侧面向上表面延伸，将上表面四周完全包围。
作为进一步的技术方案，所述的中心部分为矩形，所述的漫反射反光部分为环状矩形框，位于上表面的吸光涂层也为环状矩形框，使得上表面形成上下、左右对称图形。
作为进一步的技术方案，所述的漫反射反光部分的长边等于黑白棋盘格部分的长边的1.1倍—1.2倍；所述漫反射反光部分的短边等于黑白棋盘格部分的短边的1.1倍—1.2倍。
第二方面，本发明还提出了一种多线激光雷达与相机联合标定的标定板，其包括第一层结构和第二层结构，其中第一层结构为漫反射反光板，漫反射反光板的中心为黑白棋盘格；第二层结构由吸光材料制作，在第二层包围第一层结构外圈、四周以及底面。
作为进一步的技术方案，所述的漫反射反光板为矩形板，黑白棋盘格在漫反射反光板的中心形成具有一定面积的矩形块。
作为进一步的技术方案，所述的第二层结构外边缘为矩形块。
作为进一步的技术方案，所述的漫反射反光板的长边等于黑白棋盘格部分的长边的1.1倍—1.2倍；所述漫反射反光板的短边等于黑白棋盘格部分的短边的1.1倍—1.2倍。
基于上述标定板，本发明还提出了一种激光雷达与相机联合标定方法，包括以下步骤：
步骤一：将激光雷达与相机固连在一起，组成一个刚体结构。
步骤二：将标定板固定到激光雷达与相机前，并保持一定角度，保证反光板矩形外缘的每条边至少被三条多线激光扫描线穿过；相机能清晰地观测到标定板棋盘格；
步骤三：同一个标定板位置同时采集多组激光雷达点云数据和相机图像数据。采集完一个位置后，更换标定板位置，重复步骤二、三，至少采集30组数据后结束数据采集。
步骤四：数据预处理。激光雷达在反光板上的返回光强要远高于在周围吸光材料上的返回光强，利用这一性质，根据激光雷达采集数据中的光强信息将标定板处的点云提取出来。将标定板在同一位置时采集到的激光点云数据利用体素滤波器对点云进行下采样，作为激光雷达在该位置采集到的标定板点云数据。采集到图像数据首先转为灰度图像，然后利用像素级和亚像素级角点检测方法提取棋盘格上的所有角点。将标定板在同一位置时采集到的棋盘格角点的像素坐标数据利用极大似然估计得到一组平均值，作为相机在该位置采集到的标定板角点像素数据。
步骤五：数据处理。
(1)数据处理基本符号表示：
世界坐标系：OW；标定板坐标系：OB；激光雷达坐标系：OL；相机坐标系：OC；像素平面坐标系：Ouv。
角点点云在OW中的坐标：PW；角点点云在OB中的坐标：PB；角点点云在OL中的坐标：PL；角点点云在OC中的坐标：PC；角点点云在Ouv中的坐标：Puv。
OL到OC的转换矩阵：
Figure BDA0002947029850000041
OL到OW的转换矩阵：
Figure BDA0002947029850000042
OW到OC的转换矩阵：
Figure BDA0002947029850000043
(2)计算PW。以棋盘格的第一个角点位置做为OB的原点，棋盘格角点的X/Y轴方向作为OB的X/Y方向，Z轴方向根据右手坐标系确定。根据棋盘格的实际尺寸计算棋盘格各角点在OB中的坐标为PB。以OB作为OW，因此各角点在OW中的坐标为PW＝PB。
(3)计算PL。对激光雷达获得的每一组标定板点云平均数据，使用RANSAC方法进行平面拟合，拟合出标定板所在平面。根据激光扫描线的ID提取多线激光各个扫描线的起止点，并将所有的起点坐标作为左侧点集，将终止点坐标作为右侧点集。将左、右点集投影到拟合平面得到左、右投影点集。对于左侧投影点集使用RANSAC方法进行直线拟合得到第一条边线，使用拟合后的所有外点再次进行直线拟合得到第二条边线。对右侧投影点集使用同样的方法拟合得到另外两条边线，由此便得到了标定板的外缘轮廓。分别对外缘轮廓相对的两条边线的方向向量取平均值得到OL下标定板的X/Y轴，方向与OB的X/Y轴方向一致。对四条边线两两相交的交点取平均值得到OL下标定板的中心坐标，根据标定板棋盘格的实际大小以及标定板棋盘格原点位置和OL下标定板的X/Y轴方向确定标定板原点在OL下的坐标，进而计算出所有其他角点在OL下的坐标PL。
(4)计算
Figure BDA0002947029850000051
根据上述计算得到的PW、PL，使用ICP算法通过SVD分解计算得到
Figure BDA0002947029850000052
(5)标定相机内参K和畸变系数。利用相机在所有位置处的平均角点坐标Puv以及棋盘格的实际间距，使用张正友标定法标定相机的内参K和畸变系数。
(6)计算
Figure BDA0002947029850000053
通过标定板角点在OW中坐标PW、在Ouv中的坐标Puv以及相机内参K和畸变系数，使用EPnP算法计算
Figure BDA0002947029850000054
(7)计算并优化
Figure BDA0002947029850000055
对应的李代数ξ。根据公式
Figure BDA0002947029850000056
计算
Figure BDA0002947029850000057
然后使用李代数ξ表示
Figure BDA0002947029850000058
再用BundleAdjustment(BA)优化算法优化ξ。
(8)对于每一个标定板位置，均可以计算得到一个表示从OL到OC的转换的李代数ξ，再对所有ξ使用最小二乘优化便得到优化后的ξ，最后将ξ转换成
Figure BDA0002947029850000059
由此便实现了多线激光雷达与相机的联合标定。
本发明的优势在于：
标定板使用吸光材料作为背景，漫反射反光板作为标记，能够实现激光雷达对标定板位姿的自动获取，并且大大提高了识别精度。采集数据后直接利用现有数据计算相机内参并估计相机与标定板之间的外参，整个数据处理过程自动实现，无需人工标记。
基于此标定板的标定方法采用线性优化与非线性优化相结合的数据处理方式，既提高了数据处理的效率又保证了计算结果的精度。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明的标定流程图。
图2为标定板、标定板坐标系及角点位置示意图。
图3为数据采集示意图。
图4为检测识别的标定板激光点云。
图5为根据标定板点云拟合的标定板平面。
图6为根据激光扫描线起止点拟合的标定板外缘。
图7为拟合的标定板坐标X/Y轴及角点。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非本发明另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例提供了一种用于激光雷达与相机联合标定的方法，包括标定板及其标定方法。该标定方法通过对激光雷达自动获取的3D点云和相机获取的2D像素进行匹配并优化，不需要预先校准相机内参，最终能够获得激光雷达与相机之间的外参。具体实施方法如下：
本实施例公开的激光雷及其达与相机联合标定的标定板，该标定板为一个具有一定厚度的板状结构，优选的，该标定板的厚度一般控制在2mm-1cm厚左右即可。
该平板具有上表面和下表面；
上表面的中心部分为黑白棋盘格，沿着黑白棋盘格的外边缘的一圈为漫反射反光部分；
下表面是激光雷达识别的背景，具有吸光性能，为吸光涂层，且吸光涂层从平板的四个侧面向上表面延伸，将上表面四周完全包围。
作为进一步的技术方案，所述的中心部分为矩形，所述的漫反射反光部分为环状矩形框，位于上表面的吸光涂层也为环状矩形框，使得上表面形成上下、左右对称图形。
作为进一步的技术方案，所述的漫反射反光部分的边长等于黑白棋盘格边边长的1.1倍—1.2倍；
上述的标定板的制作方式，可以是直接拿一块矩形的模板或者金属板作为基板，在基板上表面的中心涂覆矩形的黑白棋盘格或者粘贴黑白棋盘格纸，在黑白棋盘格的外边缘涂覆一层漫反射反光层，在基板的剩下的所有面以及上表面的外圈涂覆吸光涂层。
上述的标定板的制作方式还可以是：将标定板分为两层，下层直接采用吸光材料制作，下层的上表面中间形成矩形凹状，在矩形凹状结构内放置漫反射反光板，在漫反射反光板的中心涂覆矩形的黑白棋盘格，或者粘贴黑白棋盘格纸。
上述的标定板的下表面或者下层是激光雷达识别的背景，具有吸光性能；
标定板的上表面或者上层是激光雷达和相机识别的对象，分为内、外两部分，内部是黑白棋盘格，外部是漫反射反光部分；整个上层部分或者上表面为上下、左右对称结构，且均具有良好的直线边缘和固定的相对位置；下面的为吸光层要能将上层完全包围，具体结构参见图2和图3。
基于上述标定板的激光雷达与相机联合标定方法，如图1所示，包括以下步骤：
步骤一：将激光雷达与相机固连在一起，组成一个刚体结构。
步骤二：将标定板固定到激光雷达与相机前，并保持一定角度，保证反光板矩形外缘的每条边至少被三条多线激光扫描线穿过，相机能清晰地观测到标定板棋盘格，如图3所示。
步骤三：同一个标定板位置同时采集至少50组激光雷达点云数据和相机图像数据。采集完一个位置后，更换标定板位置，重复步骤二、三，采集不少于30组数据后结束数据采集。
步骤四：数据预处理。激光雷达在反光板上的返回光强要远高于在周围吸光材料上的返回光强，利用这一性质，根据激光雷达采集数据中的光强信息将标定板处的点云提取出来，如图4所示。将标定板在同一位置时采集到的激光点云数据利用体素滤波器对点云进行下采样，作为激光雷达在该位置采集到的标定板点云数据。采集到图像数据首先转为灰度图像，然后利用像素级和亚像素级角点检测方法提取棋盘格上的所有角点。将标定板在同一位置时采集到的棋盘格角点的像素坐标数据利用极大似然估计得到一组平均值，作为相机在该位置采集到的标定板角点像素数据。
步骤五：数据处理。
(1)数据处理基本符号表示：
世界坐标系：OW；标定板坐标系：OB；激光雷达坐标系：OL；相机坐标系：OC；像素平面坐标系：Ouv。
角点点云在OW中的坐标：PW；角点点云在OB中的坐标：PB；角点点云在OL中的坐标：PL；角点点云在OC中的坐标：PC；角点点云在Ouv中的坐标：Puv。
OL到OC的转换矩阵：
Figure BDA0002947029850000091
OL到OW的转换矩阵：
Figure BDA0002947029850000092
OW到OC的转换矩阵：
Figure BDA0002947029850000093
(2)计算PW。以棋盘格的第一个角点位置做为OB的原点，棋盘格角点的X/Y轴方向作为OB的X/Y方向，Z轴方向根据右手坐标系确定。根据棋盘格的实际尺寸计算棋盘格各角点在OB中的坐标为PB，以9×6个角点的棋盘格为例，每个格子边长为d，则PB＝((0,0,0),(d,0,0),...,(9d,6d,0))。以OB作为OW，因此各角点在OW中的坐标为PW＝PB。
(3)计算PL。对激光雷达获得的每一组标定板点云平数据，使用RANSAC方法进行平面拟合，拟合出标定板所在平面。设平面方程为Ax+By+Cz+D＝0，每次随机选择三个点计算拟合平面，然后计算所有点到拟合平面的距离
Figure BDA0002947029850000094
并以所有距离之和
Figure BDA0002947029850000095
作为总损失，设定迭代次数和阈值，选出使总损失最小的拟合平面作为最优拟合平面，如图5所示。
根据激光扫描线的ID提取多线激光各个扫描线的起止点(p11,p12)，(p21,p22)……，并将所有的起点坐标(p11,p21,...,pk1)作为左侧点集，将终止点坐标(p21,p22,...,pl2)作为右侧点集。将左、右点集投影到拟合平面得到左、右投影点集(p'11,p'21,...,p'k1)、(p'21,p'22,...,p'l2)。对于所有投影点集使用RANSAC方法进行直线拟合，设直线方程为
Figure BDA0002947029850000096
计算所有点到直线的距离之和
Figure BDA0002947029850000101
作为总损失，设定迭代次数和阈值，选出使总损失最小的拟合直线作为最优拟合直线。对于左侧投影点集拟合(p'11,p'21,...,p'k1)得到第一条边，拟合第一条边的外点(p'(k+1)1,p'(k+2)1,...,p'n1)得到第二条边，对于右侧投影点集使用同样的方法拟合得到另外两条边线，由此便得到了标定板的外缘轮廓，如图6所示。分别对外缘轮廓相对的两条边线的方向向量取平均值得到OL下标定板的X/Y轴，方向与OB的X/Y轴方向一致，其单位方向向量分别为
Figure BDA0002947029850000102
对四条边线两两相交的交点取平均值得到OL下标定板的中心坐标(ox,oy,oz)，根据标定板棋盘格的实际大小以及标定板棋盘格原点位置和OL下标定板的X/Y轴方向确定标定板原点在OL下的坐标(ox0,oy0,oz0)，在本例的中
Figure BDA0002947029850000103
进而计算出所有其他角点在OL下的坐标
Figure BDA0002947029850000104
如图7所示。
(4)计算
Figure BDA0002947029850000105
根据上述计算得到的PW、PL，使用ICP算法通过SVD分解计算得到
Figure BDA0002947029850000106
对于本例，
Figure BDA0002947029850000107
分别为PL、PW的质心，令
Figure BDA0002947029850000108
Figure BDA0002947029850000109
对H进行SVD分解得到H＝UΣVT，令R＝VUT，
Figure BDA00029470298500001010
通过迭代最小化R*,
Figure BDA00029470298500001011
求得
Figure BDA00029470298500001012
(5)标定相机内参K和畸变系数。利用相机在所有位置处的平均角点坐标Puv以及棋盘格的实际间距，使用张正友标定法标定相机的内参K和畸变系数。
(6)计算
Figure BDA00029470298500001013
通过标定板角点在OW中坐标PW、在Ouv中的坐标Puv以及相机内参K和畸变系数，使用EPnP算法计算
Figure BDA00029470298500001014
(7)计算并优化
Figure BDA00029470298500001015
对应的李代数ξ。根据公式
Figure BDA00029470298500001016
计算
Figure BDA00029470298500001017
然后使用BundleAdjustment(BA)优化算法优化上述结果得到优化后的
Figure BDA00029470298500001018
对于本例中的PL、Puv，有
Figure BDA0002947029850000111
使用李代数ξ表示转换矩阵
Figure BDA0002947029850000112
即exp(ξ^)，则每个角点的重投影误差可以描述为为
Figure BDA0002947029850000113
则BA优化问题可以通过最小化重投影误差的平方来求解，
Figure BDA0002947029850000114
求解出最优的ξ*。
(8)对于每一个标定板位置，均可以计算得到一个表示从OL到OC转换的李代数ξ*，再对所有ξ*使用最小二乘优化得到优化后的ξ，
Figure BDA0002947029850000115
Figure BDA0002947029850000116
通过上述公式计算旋转矩阵R和平移向量t，令
Figure BDA0002947029850000117
由此便实现了多线激光雷达与相机的联合标定。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多线激光雷达与相机联合标定的标定板，其特征在于，该标定板包括一个矩形基板，该矩形基板具有上表面和下表面；
上表面的中心部分为黑白棋盘格，沿着黑白棋盘格的外边缘的一圈为漫反射反光部分；
下表面是激光雷达识别的背景，具有吸光性能，为吸光涂层，且吸光涂层沿着基板的四个侧面向上表面延伸，将漫反射反光部分的四周完全包围。
2.如权利要求1所述的多线激光雷达与相机联合标定的标定板，其特征在于，所述的中心部分为矩形，所述的漫反射反光部分为环状矩形框，位于上表面的吸光涂层也为环状矩形框，黑白棋盘格、漫反射反光部分和吸光涂层在基板的上表面形成上下、左右对称图形。
3.如权利要求1所述的多线激光雷达与相机联合标定的标定板，其特征在于，所述的漫反射反光部分的长边等于黑白棋盘格部分的长边的1.1倍—1.2倍；所述漫反射反光部分的短边等于黑白棋盘格部分的短边的1.1倍—1.2倍。
4.一种多线激光雷达与相机联合标定的标定板，其特征在于，包括第一层结构和第二层结构，其中第一层结构为漫反射反光板，漫反射反光板的中心为黑白棋盘格；第二层结构由吸光材料制作，在第二层包围第一层结构外圈、四周以及底面。
5.如权利要求4所述的多线激光雷达与相机联合标定的标定板，其特征在于，所述的漫反射反光板为矩形板，黑白棋盘格在漫反射反光板的中心形成具有一定面积的矩形块。
6.如权利要求4所述的多线激光雷达与相机联合标定的标定板，其特征在于，所述的第二层结构外边缘为矩形块。
7.如权利要求1所述的多线激光雷达与相机联合标定的标定板，其特征在于，所述的漫反射反光板的长边等于黑白棋盘格部分的长边的1.1倍—1.2倍；所述漫反射反光板的短边等于黑白棋盘格部分的短边的1.1倍—1.2倍。
8.基于权利要求1-6任一所述的标定板的激光雷达与相机联合标定方法，其特征在于，包括以下步骤：
步骤1：将激光雷达与相机固连在一起，组成一个刚体结构；
步骤2：将标定板固定到激光雷达与相机前，并保持一定角度，保证漫反射反光板或者漫反射反光部分的矩形外缘的每条边至少被三条多线激光扫描线穿过；相机能清晰地观测到标定板的黑白棋盘格；
步骤3：同一个标定板位置同时采集多组激光雷达点云数据和相机图像数据，采集完一个位置后，更换标定板位置，重复步骤2、3继续采集直到采集结束；
步骤4：数据预处理，
根据激光雷达采集数据中的光强信息从标定板处的点云提取出来；将标定板在同一位置时采集到的激光点云数据利用体素滤波器对点云进行采样，作为激光雷达在该位置采集到的标定板点云数据；
相机采集到图像数据首先转为灰度图像，然后利用像素级和亚像素级角点检测方法提取棋盘格上的所有角点；将标定板在同一位置时采集到的棋盘格角点的像素坐标数据利用极大似然估计得到一组平均值，作为相机在该位置采集到的标定板角点像素数据；
步骤5：数据处理。
9.如权利要求8所述的激光雷达与相机联合标定方法，其特征在于，步骤5中数据处理方法如下：
计算PW；以棋盘格的第一个角点位置做为OB的原点，棋盘格角点的X/Y轴方向作为OB的X/Y方向，Z轴方向根据右手坐标系确定；根据棋盘格的实际尺寸计算棋盘格各角点在OB中的坐标为PB；以OB作为OW，因此各角点在OW中的坐标为PW＝PB；
计算PL；对激光雷达获得的每一组标定板点云平均数据，使用RANSAC方法进行平面拟合，拟合出标定板所在平面；根据激光扫描线的ID提取多线激光各个扫描线的起止点，并将所有的起点坐标作为左侧点集，将终止点坐标作为右侧点集；将左、右点集投影到拟合平面得到左、右投影点集；对于左侧投影点集使用RANSAC方法进行直线拟合得到第一条边线，使用拟合后的所有外点再次进行直线拟合得到第二条边线；对右侧投影点集使用同样的方法拟合得到另外两条边线，由此便得到了标定板的外缘轮廓；分别对外缘轮廓相对的两条边线的方向向量取平均值得到OL下标定板的X/Y轴，方向与OB的X/Y轴方向一致；对四条边线两两相交的交点取平均值得到OL下标定板的中心坐标，根据标定板棋盘格的实际大小以及标定板棋盘格原点位置和OL下标定板的X/Y轴方向确定标定板原点在OL下的坐标，进而计算出所有其他角点在OL下的坐标PL；
计算
Figure FDA0002947029840000031
根据上述计算得到的PW、PL，使用ICP算法通过SVD分解计算得到
Figure FDA0002947029840000032
标定相机内参K和畸变系数；利用相机在所有位置处的平均角点坐标Puv以及棋盘格的实际间距，使用张正友标定法标定相机的内参K和畸变系数；
计算
Figure FDA0002947029840000033
通过标定板角点在OW中坐标PW、在Ouv中的坐标Puv以及相机内参K和畸变系数，使用EPnP算法计算
Figure FDA0002947029840000034
计算并优化
Figure FDA0002947029840000041
对应的李代数ξ；根据公式
Figure FDA0002947029840000042
计算
Figure FDA0002947029840000043
然后使用李代数ξ表示
Figure FDA0002947029840000044
再用BundleAdjustment(BA)优化算法优化ξ；
对于每一个标定板位置，均可计算得到一个表示从OL到OC的转换的李代数ξ，再对所有ξ使用最小二乘优化便得到优化后的ξ，最后将ξ转换成
Figure FDA0002947029840000045
由此便实现了多线激光雷达与相机的联合标定；
上述的：世界坐标系：OW；标定板坐标系：OB；激光雷达坐标系：OL；相机坐标系：OC；像素平面坐标系：Ouv；
角点点云在OW中的坐标：PW；角点点云在OB中的坐标：PB；角点点云在OL中的坐标：PL；角点点云在OC中的坐标：PC；角点点云在Ouv中的坐标：Puv；
OL到OC的转换矩阵：
Figure FDA0002947029840000046
OL到OW的转换矩阵：
Figure FDA0002947029840000047
OW到OC的转换矩阵：
Figure FDA0002947029840000048
CN202110196629.8A 2021-02-22 2021-02-22 一种多线激光雷达与相机联合标定的标定板及标定方法 Active CN112927302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110196629.8A CN112927302B (zh) 2021-02-22 2021-02-22 一种多线激光雷达与相机联合标定的标定板及标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110196629.8A CN112927302B (zh) 2021-02-22 2021-02-22 一种多线激光雷达与相机联合标定的标定板及标定方法

Publications (2)

Publication Number Publication Date
CN112927302A true CN112927302A (zh) 2021-06-08
CN112927302B CN112927302B (zh) 2023-08-15

Family

ID=76170086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110196629.8A Active CN112927302B (zh) 2021-02-22 2021-02-22 一种多线激光雷达与相机联合标定的标定板及标定方法

Country Status (1)

Country Link
CN (1) CN112927302B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778081A (zh) * 2021-08-19 2021-12-10 中国农业科学院农业资源与农业区划研究所 一种基于激光雷达和视觉的果园路径识别方法和机器人
CN114137553A (zh) * 2022-01-30 2022-03-04 探维科技(北京)有限公司 一种图像融合激光的雷达调光方法及系统
CN116091610A (zh) * 2021-11-08 2023-05-09 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法
CN116485918A (zh) * 2023-06-25 2023-07-25 天府兴隆湖实验室 一种标定方法、系统及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109765036A (zh) * 2019-02-28 2019-05-17 人加智能机器人技术（北京）有限公司 一种用于相机参数标定的发光标定板及其制作方法
CN110161485A (zh) * 2019-06-13 2019-08-23 同济大学 一种激光雷达与视觉相机的外参标定装置及标定方法
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
CN111445536A (zh) * 2020-05-13 2020-07-24 武汉夕睿光电技术有限公司 一种3d相机的标定装置和方法
CN111612845A (zh) * 2020-04-13 2020-09-01 江苏大学 一种基于移动标定板的激光雷达与相机联合标定方法
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
US10859684B1 (en) * 2019-11-12 2020-12-08 Huawei Technologies Co., Ltd. Method and system for camera-lidar calibration

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109765036A (zh) * 2019-02-28 2019-05-17 人加智能机器人技术（北京）有限公司 一种用于相机参数标定的发光标定板及其制作方法
CN110161485A (zh) * 2019-06-13 2019-08-23 同济大学 一种激光雷达与视觉相机的外参标定装置及标定方法
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
US10859684B1 (en) * 2019-11-12 2020-12-08 Huawei Technologies Co., Ltd. Method and system for camera-lidar calibration
CN111612845A (zh) * 2020-04-13 2020-09-01 江苏大学 一种基于移动标定板的激光雷达与相机联合标定方法
CN111445536A (zh) * 2020-05-13 2020-07-24 武汉夕睿光电技术有限公司 一种3d相机的标定装置和方法
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵晓理 等: "一种用于光电立靶系统的 线阵相机现场自标定方法", 光电工程, vol. 43, no. 7 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778081A (zh) * 2021-08-19 2021-12-10 中国农业科学院农业资源与农业区划研究所 一种基于激光雷达和视觉的果园路径识别方法和机器人
CN116091610A (zh) * 2021-11-08 2023-05-09 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法
CN116091610B (zh) * 2021-11-08 2023-11-10 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法
CN114137553A (zh) * 2022-01-30 2022-03-04 探维科技(北京)有限公司 一种图像融合激光的雷达调光方法及系统
CN114137553B (zh) * 2022-01-30 2022-04-12 探维科技(北京)有限公司 一种图像融合激光的雷达调光方法及系统
US11860317B1 (en) 2022-01-30 2024-01-02 Tanway Technology (beijing) Co., Ltd. Optical adjustment for image fusion LiDAR systems
CN116485918A (zh) * 2023-06-25 2023-07-25 天府兴隆湖实验室 一种标定方法、系统及计算机可读存储介质
CN116485918B (zh) * 2023-06-25 2023-09-08 天府兴隆湖实验室 一种标定方法、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN112927302B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN112927302B (zh) 一种多线激光雷达与相机联合标定的标定板及标定方法
CN104933718B (zh) 一种基于双目视觉的物理坐标定位方法
US7555157B2 (en) System and method for transforming graphical images
Romero-Ramire et al. Fractal markers: A new approach for long-range marker pose estimation under occlusion
CN111476242B (zh) 一种激光点云语义分割方法及装置
CN111028340B (zh) 精密装配中的三维重构方法、装置、设备及系统
Klimentjew et al. Multi sensor fusion of camera and 3D laser range finder for object recognition
CN104574432B (zh) 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN110223379A (zh) 基于激光雷达的三维点云重建方法
CN108555908A (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN108994844B (zh) 一种打磨操作臂手眼关系的标定方法和装置
CN105574812B (zh) 多角度三维数据配准方法及装置
CN104748683A (zh) 一种数控机床工件在线自动测量装置及测量方法
CN113776785B (zh) 一种单目立体视觉系统三维光路分析方法
CN110136211A (zh) 一种基于主动双目视觉技术的工件定位方法及系统
WO2020237516A1 (zh) 点云的处理方法、设备和计算机可读存储介质
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
CN108981608A (zh) 一种新型线结构光视觉系统及标定方法
Pacheco et al. Reconstruction of high resolution 3D objects from incomplete images and 3D information
Inhester Stereoscopy basics for the STEREO mission
CN113409242A (zh) 一种轨交弓网点云智能监测方法
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN111612844A (zh) 基于扇形特征的三维激光扫描仪与相机标定方法
Huang Geometric feature extraction and model reconstruction from unorganized points for reverse engineering of mechanical objects with arbitrary topology
CN113432558A (zh) 一种基于激光的不规则物体表面积的测量装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240422

Address after: 102, Building 9, Zhongrun Century City, No. 13777 Jingshi Road, Lixia District, Jinan City, Shandong Province, 250000

Patentee after: SHANDONG ALESMART INTELLIGENT TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: 250061, No. ten, No. 17923, Lixia District, Ji'nan City, Shandong Province

Patentee before: SHANDONG University

Country or region before: China

TR01 Transfer of patent right