CN114004894B - 基于三个标定板的激光雷达与双目相机空间关系确定方法 - Google Patents

基于三个标定板的激光雷达与双目相机空间关系确定方法 Download PDF

Info

Publication number
CN114004894B
CN114004894B CN202111186954.2A CN202111186954A CN114004894B CN 114004894 B CN114004894 B CN 114004894B CN 202111186954 A CN202111186954 A CN 202111186954A CN 114004894 B CN114004894 B CN 114004894B
Authority
CN
China
Prior art keywords
points
plane
parameters
point
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111186954.2A
Other languages
English (en)
Other versions
CN114004894A (zh
Inventor
王庆
严超
冯悠扬
刘玉
王怀虎
黎露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Beijing Research Center for Information Technology in Agriculture
Original Assignee
Southeast University
Beijing Research Center for Information Technology in Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University, Beijing Research Center for Information Technology in Agriculture filed Critical Southeast University
Priority to CN202111186954.2A priority Critical patent/CN114004894B/zh
Publication of CN114004894A publication Critical patent/CN114004894A/zh
Application granted granted Critical
Publication of CN114004894B publication Critical patent/CN114004894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Abstract

本发明提出了基于三个相互垂直标定板的激光雷达与双目相机空间关系确定方法，利用已知内参的双目相机获取的左、右图像，并根据极线约束准则对左右图像中的内角点进行匹配，再利用最小二乘法求解标定板中角点世界坐标，提取三个平面参数；对于激光点云数据，使用基于激光点云的三次增长平面检测算法，提取三个平面参数；将相机提取的平面参数与激光提取的平面参数一一对应，从而确定两者之间的空间关系，即外参；同时，引入一种新的评价指标，即根据激光雷达与左相机的外参，将激光点云投影到左相机坐标系中，判断点云投影在前景中的百分比，从而有效、可靠的对标定结果进行评价。

Description

基于三个标定板的激光雷达与双目相机空间关系确定方法
技术领域
本发明涉及相机技术领域，具体为基于三个标定板的激光雷达与双目相机空间关系确定方法。
背景技术
目前，基于LiDAR和相机标定的开源方案主要有：but_velodyne、Autoware、lidar_camera_calibration和apollo。but_velodyne选择使用四个在同一平面的圆圈作为标识物，首次提出了基于激光的曲率进行前景和背景的归类。在激光数据处理中使用RANSAC方法拟合圆的参数，在图像中使用Hough变换得到圆的参数。在优化过程中将位置和旋转矩阵进行分步优化，得到初始外参后再使用精优化提高外参的精度。同时在实验部分作者创新地提出了评测标定指标的参数，将激光的前景和背景点投影到图像上并判断图像上的点是否与之匹配，通过匹配率来衡量标定结果的好坏，但针对16线或32线激光雷达，易出现3Dmarker检测失败。Autoware提供的相机和激光外参标定的应用程序，但是在使用的过程中需要人手持大型平面标定板进行多个方向的移动，且标定过程需要不断的手动进行点云和图像的匹配，因此每次得到的标定结果方差较大，稳定性程度不高。lidar_camera_calibration将两个ARUCOMarker贴到平面板上作为标识物进行外参的标定，此种方法不需要对标识物或者传感器进行移动即可得到结果。但开始进行第一帧测量之前需要人为地选出激光点对应的硬纸板边界，这一操作比较复杂，容易产生操作错误，可操作性较差。Apollo方案虽然包含了lidar和camera的标定方案，其标定方法可用于自然环境中，但是其需要广角相机、里程计、惯导等传感器，且还需要具有一定精度的初始外参。该方案的标定流程较为复杂，可操作性差。这几种开源方面都是基于平面标定板的。
发明内容
为解决现有技术中存在的问题，本发明提出了基于三个标定板的激光雷达与双目相机空间关系确定方法，利用双目相机获取的左、右图像，利用最小二乘法求解标定板中角点的世界坐标，并提取平面参数，对于激光点云数据，使用基于激光点云的三次增长平面检测算法，同时，根据激光雷达与左相机的外参，将激光点云投影到左相机坐标系中，进行评定，能有效、可靠的对标定结果进行评价。
基于三个标定板的激光雷达与双目相机空间关系确定方法，其特征在于：包括有如下步骤：
S1.利用已知双目相机内参，可以得到左、右相机的内参Kl、Kr以及两者的旋转矩阵R和平移向量t，使用findChessboardCorners检测函数提取棋盘格中的角点，根据极线约束准则对左右图像中的内角点进行匹配，从而计算得到内角点在左相机下的坐标，再使用RANSAC算法拟合出三个平面的参数：
S11.计算每个平面中的棋盘格内角点在左相机坐标系下的坐标：
左、右相机的n个三维空间共视点为PW，其投影为p，设空间点世界坐标为左相机投影的像素坐标为/>右相机投影的像素坐标为
令
将式(1)、(2)展开，并联立方程得：
利用最小二乘法即可求解出角点在世界坐标系下的坐标[xi，yi，zi]，
S12.使用RANSAC算法拟合每个平面的平面参数：
空间中的任一平面都可以用其上面的一点(x,y,z)以及它的法向量(A,B,C)来确定，即Ax+By+Cz+D＝0，将(A,B,C,D)称为平面参数，设左相机坐标系为世界坐标系，则左相机坐标系到世界坐标系的旋转矩阵Rl＝I，平移向量tl＝0，利用最小二乘法求解标定板中角点的世界坐标，即左相机坐标系下的坐标，再使用RANSAC算法拟合出三个平面的参数和/>
S2.根据激光点云的曲率，并结合三次增长平面检测算法提取平面，以及获取三个平面参数：S21.设计了具有几何意义的曲率计算方法，求解点云的曲率：
曲率为c计算公式：
c＝180*acos(|norm(P(i-5，j，k)-P(i，j，k))·norm((P(i+5，j，k)-P(i，j，k)))|)(5)
其中P(i,j,k)为(i,j,k)时所对应的点云坐标；norm函数表示将输入的向量进行单位化；符号“·”表示将两个向量点乘，
S22.确定所有点的曲率，根据曲率将点云被划分两类点：有曲率点和无曲率点，
S23.第一次区域增长，将A平面和B平面之间的相交区域都划归为角点，空间中平面点已经被聚类完，
S24.第二次区域增长，将空间中的平面检测出来，特别是与激光光线垂直的平面，
S25.第三次区域增长，提取点云中的地面，
S26.使用RANSAC算法拟合每个平面的平面参数：
步骤1：对于每个平面，选取任意3个点云，判断其是否共线，若共线则重新选取；若不共线则解算出其对应的原始平面A0x+B0y+C0z+D0＝0；
步骤2：计算点云到该原始平面的距离，
步骤3：设定阈值d0，若时，该点被当作有效点保存并计数，反之删除该点；
重复步骤1-3，迭代M次，选取有效点数最大的平面进行估计，确定平面参数(Al，Bl，Cl，Dl)，从而确定激光坐标系下三个平面的参数分别记为和
S3.将相机坐标系下三个平面的参数和激光点云提取的三个平面参数建立方程，求解激光雷达与左相机的外参：
S31.利用SVD得到旋转矩阵，再利用线性方程直接求解平移矩阵，从而得到外参初值；
根据步骤S1和S2可知：相机坐标系下三个平面的参数分别记为和/>激光坐标系下三个平面的参数分别记为和/>相机坐标系下的平面参数和激光坐标系下的平面参数有如下关系：
式(6)为ICP问题，使用SVD分解求解得到外参的旋转矩阵Rl，c
令
对W进行SVD分解，W＝U∑VT
从而得到：
式(7)为解线性方程问题，对系数矩阵直接求解即可得到平移矩阵tlc，经过对式(6)、(7)的求解从而得到外参初值，
S32.利用初值，进行非线性优化得到最终结果；
S4.搭设评价场景，根据激光雷达与左相机的外参，将激光点云投影到左相机坐标系中，进行评定：
S41.搭设评价场景：
通过一个白色面板和一个黑色面板的搭设场景，其中，白色面板为背景，黑色面板为前景，白色面板面积大于黑色面板面积，白色面板和黑色面板之间存在距离，
S42.根据激光雷达与左相机的外参，将激光点云投影到左相机坐标系中，进行评定：
确定激光雷达与左相机正前方的扇面，将所有距离黑色面板满足阈值d的点云集合成TD，总点数计为NTD；将所有投影在黑色面板且距离满足阈值d的点云集合成SD，总数计为NSD；外参校准的准确率Ap为：
其中，Ap的值越大表示激光雷达与双目相机的外参准确性越高。
作为本发明的进一步改进：在步骤S23中，根据曲率大小将点云分为平面点和角点，判断所有角点在其垂直方向和45°方向上是否还存在角点，若存在角点时，则继续以最远角点在90°和45°方向增长，直到无角点存在，搜索结束后，总角点数超过5个时，则将搜索范围中的所有点全部归为角点。
作为本发明的进一步改进：在步骤S24中，将同一类的平面点使用RANSAC算法拟合平面参数(A,B,C,D)；再将RANSAC算法筛选出来的内置点投影到平面上，通过平面的多边形外角点计算平面的面积；同时，使用PCA算法计算点云的三个主方向，若平面面积小于阈值S0和inliner百分比小于阈值I0时，则将属于此平面的点归类为有效平面点，剩余的点归类为无效平面点，此时空间中的点被划归为了四类：有效平面点，无效平面点，无曲率点和角点，遍历所有的无曲率点和角点，判断其周围是否存在有效平面点，当存在有效平面点时，判断其到有效平面的距离是否超过5cm，当不存在有效平面点时，则向其他的无曲率点和角点进行增长，直到停止。
作为本发明的进一步改进：在步骤S25中，利用二次区域增长剩余的无效平面点、角点和无曲率点，迭代随机选取不共线的3个点确定平面方程，将所有点依次带入该平面方程中，根据设定的阈值d0做判定，在阈值d0范围内时，则认为属于该平面的内点，否则为外点，遍历所有点后统计内点个数，内点数量最多的平面设为初始地面；再计算剩余点云到该初始地面的正交投影距离，该距离小于阈值d0时，该点确定为地面点。
与现有技术相比，本发明的有益效果为：
本发明提出了基于三个标定板的激光雷达与双目相机空间关系确定方法，对于激光点云数据，可有效分割空间中的平面与地面，同时，根据激光雷达与左相机的外参，将激光点云投影到左相机坐标系中，可对标定结果进行有效评价。
附图说明
图1是本发明的技术流程图；
图2是标定物；
图3是第一次区域增长示意图；
图4是标定场景；
图5是标定示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提供基于三个标定板的激光雷达与双目相机空间关系确定方法，图1为流程图。针对单一平面的空间泛化能力差和现有方法可操作性差、自动化程度低的问题，根据环境中的立体物设计了三个相互垂直平面组成的标定物，利用双目相机获取的左、右图像，利用最小二乘法求解标定板中角点的世界坐标，并提取平面参数。对于激光点云数据，提出了一种基于激光点云的三次增长平面检测算法。同时，引入了一种新的双目相机和雷达标定结果的评价方法，能有效、可靠的对标定结果进行评价。
(一)双目相机平面参数提取
对于双目相机而言，图像立体匹配是在已完成对左右图像中的特征点的提取的基础上进行的，特征点提取方法一般是Harris角点检测法，而对棋盘格图像检测角点，可使用findChessboardCorners检测函数。双目相机内参校准后，可以得到左、右相机的内参Kl、Kr以及两者的旋转矩阵R和平移向量t。根据极线约束准则，对左右图像中的内角点进行匹配，从而计算得到内角点在左相机下的坐标，图2为标定物。
考虑左、右相机的n个三维空间共视点PW及其投影p，假设空间点世界坐标为左相机投影的像素坐标为/>右相机投影的像素坐标为
令
将式(1)、(2)展开，并联立方程得：
利用最小二乘法即可求解出角点在世界坐标系下的坐标[xi，yi，zi]。
假设左相机坐标系为世界坐标系，则左相机坐标系到世界坐标系的旋转矩阵Rl＝1，平移向量tl＝0。利用最小二乘法求解标定板中角点的世界坐标，即左相机坐标系下的坐标，再使用RANSAC算法拟合出三个平面的参数和/>
(二)激光雷达平面参数提取
LOAM曲率计算原理是在一个平面上的点P(i,j,k)和P(i+1,j,k)构成的向量与P(i,j,k)和P(i-1,j,k)构成的向量基本上相互抵消，曲率接近于0。但实际测量中因激光自身测量精度，三维坐标点具有2-3cm的偏差，这会导致距离当前点越近的相邻点构成的左右向量无法抵消，使计算得到的曲率很大。
1.为了解决这个问题，设计了具有几何意义的曲率c计算方法：
c＝180*acos(|norm(P(i-5，j，k)-P(i，j，k))·norm((P(i+5，j，k)-P(i，j，k)))|)(5)
其中，P(i,j,k)为(i,j,k)时所对应的点云坐标；norm函数表示将输入的向量进行单位化；符号“·”表示将两个向量点乘。
确定所有点的曲率，根据点云被划分两类点：有曲率点和无曲率点，其中处在边缘或者离群的点是无法计算得到曲率，故此类点划分为无曲率点。如果直接使用区域增长对每个点进行BFS搜索，会导致空间中相连的不同平面聚类为同一个平面，这主要的原因是在平面的交界处不能保证所有的点都恰好在交线上，如图3(左)所示。平面A和平面B交线上不能保证恰好存在激光点(图3(左)虚框内的点)，因此，直接使用区域增长会将平面A和平面B聚合成一类。
2.为了解决这个问题，进行第一次区域增长。判断所有角点在其90°和45°方向上是否还存在角点，如果存在角点则继续以最远角点在90°和45°方向增长，直到没有角点存在。搜索结束后，总角点数超过5个时，则将搜索范围中的所有点全部归为角点。图3(左)中虚线区域分别表示45°和90°搜索的方向。经过此项聚类之后，保证了不同平面之间的相交区域都被划归为了角点，如图3(右)所示。第一次区域增长后，空间中大部分平面点已经被聚类完毕。
针对曲率小的曲面归类为平面时会影响平面提取精度的问题，将同一类的平面点使用RANSAC算法拟合平面参数(A,B,C,D)；再将RANSAC算法筛选出来的内置点投影到平面上，通过平面的多边形外角点计算平面的面积；同时，使用PCA算法计算点云的三个主方向。若平面面积小于阈值S0和inliner百分比小于阈值I0时，则将属于此平面的点归类为有效平面点，剩余的点归类为无效平面点。此时空间中的点被划归为了四类：有效平面点，无效平面点，无曲率点和角点。遍历所有的无曲率点和角点，判断其周围是否存在有效平面点，当存在有效平面点时，判断其到有效平面的距离是否超过5cm，当不存在有效平面点时，则向其他的无曲率点和角点进行增长，直到停止。第二次增长后，可将空间中大多数平面检测出来，特别是与激光光线垂直的平面，但与激光光束较为平行的平面(例如地面)，仍旧无法进行归类。
3.为了将地面提取出来，进行第三次区域增长。利用二次区域增长剩余的无效平面点、角点和无曲率点，迭代随机选取不共线的3个点确定平面方程，将所有点依次带入该平面方程中，根据设定的距离阈值做判定，在阈值范围内时，则认为属于该平面的内点，否则为外点，遍历所有点后统计内点个数，内点数量最多的平面设为初始地面；再计算剩余点云到该初始地面的正交投影距离，该距离小于阈值时，该点确定为地面点；将地面点进行用RANSAC算法拟合平面参数(A,B,C,D)。
(三)激光雷达与双目相机外参求解
通过(一)拟合得到的相机坐标系下三个平面的参数分别记为 和/>通过(二)拟合得到的激光坐标系下三个平面的参数分别记为和/>相机坐标系下的平面参数和激光坐标系下的平面参数有如下关系：
式(6)可看作ICP问题，使用SVD分解求解得到外参的旋转矩阵Rl，c
令
对W进行SVD分解，W＝U∑VT
从而得到：
式(7)属于解线性方程问题，对系数矩阵直接求解即可得到平移矩阵tlc。经过对式(6)、(7)的求解从而得到外参初值；
(四)标定结果评价
本发明通过设计了一个白色面板(背景，可以选用白墙)和一个黑色面板(前景)的场景，如图4所示。白色面板面积大于黑色面板面积，两者之间存在一定的距离，这样设计的原因是使用图像分割可以很容易地将前景和背景区分开。
评价指标的计算如图5所示。其原理为：确定激光雷达与左相机正前方的扇面，将所有距离黑色面板满足阈值d的点云集合成TD，总点数计为NTD；将所有投影在黑色面板且距离满足阈值d的点云集合成SD，总数计为NSD。外参校准的准确率Ap为：
其中，Ap的值越大表示激光雷达与双目相机的外参准确性越高。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (4)

1.基于三个标定板的激光雷达与双目相机空间关系确定方法，其特征在于：包括有如下步骤：
S1.利用已知双目相机内参，可以得到左、右相机的内参Kl、Kr以及两者的旋转矩阵R和平移向量t，使用findChessboardCorners检测函数提取棋盘格中的角点，根据极线约束准则对左右图像中的内角点进行匹配，从而计算得到内角点在左相机下的坐标，再使用RANSAC算法拟合出三个平面的参数：
S11.计算每个平面中的棋盘格内角点在左相机坐标系下的坐标：
左、右相机的n个三维空间共视点为Pw，其投影为p，设空间点世界坐标为Pi W＝[xi，yi，zi]T，左相机投影的像素坐标为右相机投影的像素坐标为/>
令
将式(1)、(2)展开，并联立方程得：
利用最小二乘法即可求解出角点在世界坐标系下的坐标[xi，yi，zi]，
S12.使用RANSAC算法拟合每个平面的平面参数：
空间中的任一平面都可以用其上面的一点(x，y，z)以及它的法向量(A，B，C)来确定，即Ax+By+Cz+D＝0，将(A，B，C，D)称为平面参数，设左相机坐标系为世界坐标系，则左相机坐标系到世界坐标系的旋转矩阵Rl＝I，平移向量tl＝0，利用最小二乘法求解标定板中角点的世界坐标，即左相机坐标系下的坐标，再使用RANSAC算法拟合出三个平面的参数 和/>
S2.根据激光点云的曲率，并结合三次增长平面检测算法提取平面，以及获取三个平面参数：
S21.设计了具有几何意义的曲率计算方法，求解点云的曲率：
曲率为c计算公式：
c＝180*acos(|norm(P(i-5，j，k)-P(i，j，k)))·norm((P(i+5，j，k)-P(i，j，k)))|)(5)
其中P(i，j，k)为(i，j，k)时所对应的点云坐标；norm函数表示将输入的向量进行单位化；符号“·”表示将两个向量点乘，
S22.确定所有点的曲率，根据曲率将点云被划分两类点：有曲率点和无曲率点，
S23.第一次区域增长，将A平面和B平面之间的相交区域都划归为角点，空间中平面点已经被聚类完，
S24.第二次区域增长，将空间中的平面检测出来，特别是与激光光线垂直的平面，
S25.第三次区域增长，提取点云中的地面，
S26.使用RANSAC算法拟合每个平面的平面参数：
步骤1：对于每个平面，选取任意3个点云，判断其是否共线，若共线则重新选取；若不共线则解算出其对应的原始平面A0x+B0y+C0z+D0＝0；
步骤2：计算点云到该原始平面的距离，
步骤3：设定阈值d0，若时，该点被当作有效点保存并计数，反之删除该点；
重复步骤1-3，迭代M次，选取有效点数最大的平面进行估计，确定平面参数(Al，Bl，Cl，Dl)，从而确定激光坐标系下三个平面的参数分别记为和
S3.将相机坐标系下三个平面的参数和激光点云提取的三个平面参数建立方程，求解激光雷达与左相机的外参：
S31.利用SVD得到旋转矩阵，再利用线性方程直接求解平移矩阵，从而得到外参初值；
根据步骤S1和S2可知：相机坐标系下三个平面的参数分别记为和/>激光坐标系下三个平面的参数分别记为和/>相机坐标系下的平面参数和激光坐标系下的平面参数有如下关系：
式(6)为ICP问题，使用SVD分解求解得到外参的旋转矩阵Rl，c
令
对W进行SVD分解，W＝U∑VT
从而得到：
式(7)为解线性方程问题，对系数矩阵直接求解即可得到平移矩阵tlc，经过对式(6)、(7)的求解从而得到外参初值，
S32.利用初值，进行非线性优化得到最终结果；
S4.搭设评价场景，根据激光雷达与左相机的外参，将激光点云投影到左相机坐标系中，进行评定：
S41.搭设评价场景：
通过一个白色面板和一个黑色面板的搭设场景，其中，白色面板为背景，黑色面板为前景，白色面板面积大于黑色面板面积，白色面板和黑色面板之间存在距离，
S42.根据激光雷达与左相机的外参，将激光点云投影到左相机坐标系中，进行评定：
确定激光雷达与左相机正前方的扇面，将所有距离黑色面板满足阈值d的点云集合成TD，总点数计为NTD；将所有投影在黑色面板且距离满足阈值d的点云集合成SD，总数计为NSD；
外参校准的准确率Ap为：
其中，Ap的值越大表示激光雷达与双目相机的外参准确性越高。
2.根据权利要求1所述的基于三个标定板的激光雷达与双目相机空间关系确定方法，其特征在于：在步骤S23中，根据曲率大小将点云分为平面点和角点，判断所有角点在其垂直方向和45°方向上是否还存在角点，若存在角点时，则继续以最远角点在90°和45°方向增长，直到无角点存在，搜索结束后，总角点数超过5个时，则将搜索范围中的所有点全部归为角点。
3.根据权利要求1所述的基于三个标定板的激光雷达与双目相机空间关系确定方法，其特征在于：在步骤S24中，将同一类的平面点使用RANSAC算法拟合平面参数(A，B，C，D)；再将RANSAC算法筛选出来的内置点投影到平面上，通过平面的多边形外角点计算平面的面积；同时，使用PCA算法计算点云的三个主方向，若平面面积小于阈值S0和inliner百分比小于阈值I0时，则将属于此平面的点归类为有效平面点，剩余的点归类为无效平面点，此时空间中的点被划归为了四类：有效平面点，无效平面点，无曲率点和角点，遍历所有的无曲率点和角点，判断其周围是否存在有效平面点，当存在有效平面点时，判断其到有效平面的距离是否超过5cm，当不存在有效平面点时，则向其他的无曲率点和角点进行增长，直到停止。
4.根据权利要求1所述的基于三个标定板的激光雷达与双目相机空间关系确定方法，其特征在于：在步骤S25中，利用二次区域增长剩余的无效平面点、角点和无曲率点，迭代随机选取不共线的3个点确定平面方程，将所有点依次带入该平面方程中，根据设定的距离阈值d0做判定，在阈值d0范围内时，则认为属于该平面的内点，否则为外点，遍历所有点后统计内点个数，内点数量最多的平面设为初始地面；再计算剩余点云到该初始地面的正交投影距离，该距离小于阈值d0时，该点确定为地面点。
CN202111186954.2A 2021-10-12 2021-10-12 基于三个标定板的激光雷达与双目相机空间关系确定方法 Active CN114004894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111186954.2A CN114004894B (zh) 2021-10-12 2021-10-12 基于三个标定板的激光雷达与双目相机空间关系确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111186954.2A CN114004894B (zh) 2021-10-12 2021-10-12 基于三个标定板的激光雷达与双目相机空间关系确定方法

Publications (2)

Publication Number Publication Date
CN114004894A CN114004894A (zh) 2022-02-01
CN114004894B true CN114004894B (zh) 2024-04-26

Family

ID=79922658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111186954.2A Active CN114004894B (zh) 2021-10-12 2021-10-12 基于三个标定板的激光雷达与双目相机空间关系确定方法

Country Status (1)

Country Link
CN (1) CN114004894B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116184339B (zh) * 2023-04-26 2023-08-11 山东港口渤海湾港集团有限公司 一种雷达的标定方法、电子设备、存储介质及标定辅助件
CN117128861A (zh) * 2023-10-23 2023-11-28 常州市建筑材料研究所有限公司 一种去测站化三维激光扫描桥梁监测系统及监测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
CN111369630A (zh) * 2020-02-27 2020-07-03 河海大学常州校区 一种多线激光雷达与相机标定的方法
CN112819903A (zh) * 2021-03-02 2021-05-18 福州视驰科技有限公司 基于l型标定板的相机和激光雷达联合标定的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560345B2 (en) * 2014-12-19 2017-01-31 Disney Enterprises, Inc. Camera calibration
US10957074B2 (en) * 2019-01-29 2021-03-23 Microsoft Technology Licensing, Llc Calibrating cameras using human skeleton

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
CN111369630A (zh) * 2020-02-27 2020-07-03 河海大学常州校区 一种多线激光雷达与相机标定的方法
CN112819903A (zh) * 2021-03-02 2021-05-18 福州视驰科技有限公司 基于l型标定板的相机和激光雷达联合标定的方法

Also Published As

Publication number Publication date
CN114004894A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
US8521418B2 (en) Generic surface feature extraction from a set of range data
US20200218929A1 (en) Visual slam method and apparatus based on point and line features
Ding et al. Automatic registration of aerial imagery with untextured 3d lidar models
Jung High resolution terrain mapping using low attitude aerial stereo imagery
CN114004894B (zh) 基于三个标定板的激光雷达与双目相机空间关系确定方法
US8427472B2 (en) Multidimensional evidence grids and system and methods for applying same
JP5759161B2 (ja) 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN113985445A (zh) 一种基于相机与激光雷达数据融合的3d目标检测算法
CN113096183B (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
Rothermel et al. Potential of dense matching for the generation of high quality digital elevation models
CN111798507A (zh) 一种输电线安全距离测量方法、计算机设备和存储介质
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
CN111950440A (zh) 一种识别与定位门的方法、装置及存储介质
CN114140539A (zh) 一种室内物体的位置获取方法和装置
Nedevschi Online cross-calibration of camera and lidar
Zhang LILO: A Novel Lidar–IMU SLAM System With Loop Optimization
WO2018131163A1 (ja) 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体
CN116147618B (zh) 一种适用动态环境的实时状态感知方法及系统
Chenchen et al. A camera calibration method for obstacle distance measurement based on monocular vision
CN114608522B (zh) 一种基于视觉的障碍物识别与测距方法
Hasheminasab et al. Linear Feature-based image/LiDAR integration for a stockpile monitoring and reporting technology
Pfeiffer et al. Ground truth evaluation of the Stixel representation using laser scanners
Zhou et al. Occlusion detection for urban aerial true orthoimage generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant