CN112396664A - 一种单目摄像机与三维激光雷达联合标定及在线优化方法 - Google Patents

一种单目摄像机与三维激光雷达联合标定及在线优化方法 Download PDF

Info

Publication number
CN112396664A
CN112396664A CN202011335199.5A CN202011335199A CN112396664A CN 112396664 A CN112396664 A CN 112396664A CN 202011335199 A CN202011335199 A CN 202011335199A CN 112396664 A CN112396664 A CN 112396664A
Authority
CN
China
Prior art keywords
calibration
dimensional
camera
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011335199.5A
Other languages
English (en)
Other versions
CN112396664B (zh
Inventor
秦华标
陈冠成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011335199.5A priority Critical patent/CN112396664B/zh
Publication of CN112396664A publication Critical patent/CN112396664A/zh
Application granted granted Critical
Publication of CN112396664B publication Critical patent/CN112396664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明公开了一种单目摄像机与三维激光雷达联合标定及在线优化方法。所述方法通过标定平台与数据采集装置的几何关系，根据相似三角形原理求出标定点在摄像机坐标系下的深度坐标，解决了单目摄像机成像过程中的深度信息丢失问题。在标定过程中，标定基准点的定位准确，操作简便。本发明设计的包括圆形几何形状的联合标定平台，能够降低在三维点云数据中进行边缘检测的难度，有效提高标定的精度。标定完成后，根据投影关系构建三维点云与二位RGB图像之间的相关性优化目标，并采用BOBYQA优化算法进行标定参数的局部最优搜索，实现在线误差纠正。

Description

一种单目摄像机与三维激光雷达联合标定及在线优化方法
技术领域
本发明涉及计算机视觉和信息融合领域，具体涉及一种单目摄像机与三维激光雷达联合标定及在线优化方法。
背景技术
近年来，计算机视觉技术取得了巨大的发展，各种基于图像处理的算法被广泛应用于物体识别、图像分割以及目标检测等领域，同时促进了机器人、自动驾驶汽车等无人运动系统的研究。计算机视觉技术的处理对象是通过视觉传感器获得的二维图像，具有丰富的色彩、纹理、形状等信息，但缺少了视觉场景的深度信息，无法满足无人运动系统对于感知环境三维信息的需求。为了解决这一问题，三维激光雷达传感器被用于捕获运动场景中的深度信息。然而，三维激光雷达传感器获得的是场景的三维点云数据，缺少了色彩、纹理等信息，且一般具有更低的分辨率。因此，采用多传感器数据融合技术将视觉传感器获得的二维图像与三维激光雷达传感器获得的三维点云数据进行融合，能够发挥视觉传感器和三维激光雷达传感器彼此的优势。数据融合需要在相同的坐标系下进行，由于视觉传感器与三维激光雷达传感器获得的数据均基于各自的坐标系，因此需要对它们进行联合标定以得到两个坐标系之间的变换关系。
实际应用中，视觉传感器一般采用单目摄像机。激光雷达和摄像机的外部标定需要一个同时被两个传感器看到的基准目标。首先，利用图像中标定平台上的基准点估计摄像机帧内标定平面的位姿，利用激光雷达数据中标定平台上的基准点估计激光雷达帧内标定平面的位姿；然后，将图像基准点与激光雷达基准点进行配准后得到传感器之间的相对变换关系，即旋转矩阵R和平移向量T。该方法首先由Zhang和Pless实现，其采用棋盘格棋盘格作为标定平台，构建棋盘格角点在摄像机和激光雷达坐标系间的几何关系，得到一系列线性方程并求解得到旋转矩阵R和平移向量T(Qilong Zhang and R.Pless,“Extrinsiccalibration of a camera and laser range finder(improves camera calibration),”2004IEEE/RSJ Int.Conf.Intell.Robot.Syst.(IEEE Cat.No.04CH37566),vol.3,pp.2301–2306,2004.)。由于激光雷达对平面扫描不敏感，因此难以从棋盘格中得到准确的标定基准点，研究人员大多数从改进标定平台入手来提高标定精度。Chen Zhen等人使用一个立方体作为标定平台实现激光雷达和摄像机的联合标定，该方法采取的标定基准点是在立方体边缘上的投影在图像平面上的激光雷达点(Z.Chen,L.Zhuo,K.Sun,and C.Zhang,“Procedia Engineering Extrinsic Calibration of a Camera and a Laser RangeFinder using Point to Line Constraint,”vol.29,pp.4348–4352,2012.)。GongXiaojin等人利用三面体作为标定平台实现激光雷达和摄像机的联合标定，该方法设定的标定基准点在于三面体的四个平面交点上，需要首先分别计算激光雷达、摄像机与世界坐标之间的旋转矩阵和平移向量，然后估计激光雷达与摄像机之间的变换(X.Gong,Y.Lin,and J.Lin,“Extrinsic calibration of a 3D LIDAR and a camera using atrihedron,”Opt.Lasers Eng.,vol.51,pp.394–401,2013.)。Florian Schweiger等人采用带突起的平面标定靶来标定摄像机与激光雷达的外部位置关系，其中突起点作为摄像机与激光雷达坐标系下的基准点(Schweiger F,Bauermann I,Steinbach E.Jointcalibration of a camera triplet and a laser rangefinder[C]//IEEEInternational Conference on Multimedia&Expo.IEEE Computer Society,2008.)。此外，在对摄像机与激光雷达进行粗标定后，一般会基于三维点云与二维图像之间的投影关系，构建几何特征的目标函数，对获得的标定参数构建采取参数搜索方法来进一步降低标定误差。Levinson和Thrun将点云投影至图像上得到的深度不连续性作为优化的目标，采用网格搜索方法来优化标定参数(Levinson J,Thrun S.Automatic Online Calibration ofCameras and Lasers[C]//Robotics:Science and Systems.2013,2:7.)。Velas等人同样将点云投影到图像上，且采用网格搜索方法来优化标定参数，但以点云投影后所得到的二维图像与RGB图像的边缘之间的相关性作为优化的目标(Vel’as M,
Figure BDA0002796992590000021
M,Materna Z,et al.Calibration of rgb camera with velodyne lidar[J].2014.)。
综上所述，现有的单目摄像机与三维激光雷达的联合标定方法均采用复杂的标定平台，部分方法中的标定基准点难以进行准确定位，导致较大的标定误差；采用网格搜索方法进行标定参数优化，该搜索方法计算量大；此外，忽略了长期工作条件下由于传感器之间发生位移而导致的标定参数失效，没有进行传感器之间的在线标定参数优化。因此，需要提出一种易于操作、标定精度高、能够实现在线优化的单目摄像机与三维激光雷达的联合标定方法。
发明内容
本发明的目的是提出一种新的单目摄像机与三维激光雷达联合标定及在线优化方法，以简化标定流程，提高标定精度。
本发明的目的至少通过如下技术方案之一实现。
一种单目摄像机与三维激光雷达联合标定及在线优化方法，包括以下步骤：
S1、根据三维激光雷达点云生成和摄像机成像原理，设计合理的联合标定平台用于数据采集过程，并确定标定平台中的标定点；
S2、使用三维激光雷达与摄像机组成的数据采集系统对标定平台进行数据采集，得到标定场景的三维点云P与二维图像I；
S3、从标定场景的三维点云P中分割出标定平台的点云数据，通过边缘提取算法检测出标定平台中的圆孔边缘，并采用随机采样一致性(RANSAC)算法求解出圆孔中心点，即标定点在雷达坐标系下的坐标值；
S4、将标定平台的二维RGB图像I转换为灰度图像IG，并采用Canny边缘检测算法检测图像中的边缘E，然后应用霍夫梯度变换进行圆形检测，进而求解出标定点在像素坐标系下的坐标值；采用传统的基于棋盘格的标定方法对摄像机进行标定，获得摄像机内参，根据摄像机成像原理与几何关系，将标定点在像素坐标系下的坐标值转换为摄像机坐标系下的坐标值；
S5、根据几何原理构建出摄像机与激光雷达坐标系的几何转换线性方程组，由标定点分别在激光雷达坐标系和摄像机坐标系下的坐标值求解出标定参数即激光雷达坐标系与摄像机坐标系的旋转矩阵与平移向量，完成标定；
S6、基于得到的标定参数，将三维点云投影至二维图像上得到深度图Iv，通过计算该深度图与RGB图像的逆距离变换(Inverse Distance Transform)之间的相关性作为第一优化目标函数；
S7、通过相关矩阵结合RGB图像信息对深度图Iv进行插值，结合标定平台的二维图像数据反投影至三维空间中得到标定平台的反投影点云Pr，并将该反投影点云与激光雷达采集到的点云进行点云匹配，将匹配后的点云间距离的均方根作为第二优化目标函数；
S8、通过BOBYQA优化算法进行标定参数的局部最优搜索，直到满足最小误差条件，实现在线优化。
进一步地，步骤S1中，根据三维激光雷达点云生成和摄像机成像原理设计的联合标定平台是一个矩形平面板，矩形平面板上设置有上下两个等大但是不相交的圆孔，两个圆孔的中心点用作标定的基准点，垂直放置在摄像机与三维激光光雷达前。
进一步地，步骤S2中，所述三维激光雷达与摄像机组成的数据采集系统具体如下：
摄像机被固定在三维激光雷达的顶部表面上方，摄像机和三维激光雷达分别垂直正对着标定平台，由摄像机拍摄得到标定场景的二维RGB图像I，由三维激光雷达扫描得到标定场景的三维点云数据P。
进一步地，步骤S3中，所述三维点云数据P为三维激光雷达采集到的基于球坐标系(r,ω,θ)的点云数据，其中r、ω、θ分别为激光雷达的扫描半径、仰角及方位角；
通过设置参数θ∈[60,120]，r∈[0,2]将标定平台的三维点云数据从标定场景的点云数据中分割出来，并将基于球坐标系(r,ω,θ)的点云数据转换为笛卡尔坐标系(XL,YL,ZL)下，具体如下：
xL＝r*cos(ω)*sin(θ)；
yL＝r*cos(ω)*cos(θ)；
zL＝r*sin(ω)；
其中，以三维激光雷达为坐标原点OL，沿正向向前方向为XL轴，沿正向向右方向为YL轴，沿垂直向下方向为ZL轴；
基于边缘附近点的深度不连续性，通过设置点云过滤条件将标定平台点云中的边缘点检测出来，进一步通过约束条件将标定平台点云中圆孔的边缘点过滤出来，点云过滤条件如下：
Figure BDA0002796992590000041
Figure BDA0002796992590000042
约束条件如下：
Figure BDA0002796992590000043
其中，n表示激光环序号，
Figure BDA0002796992590000044
表示用于判别第n个激光环中的第i个点是否为边缘点的权重，η表示控制权重值
Figure BDA0002796992590000045
的超参数；N表示各个激光环中点的数量，En表示第n个激光环的边缘点集合，Δ表示判断第n个激光环中的第i个点是否为边缘点的阈值，
Figure BDA0002796992590000046
表示圆孔的边缘点集合，δ1和δ2表示在Y轴上的约束值；
最后基于随机采样一致性(RANSAC)算法求解出圆孔中心点，即标定点在雷达坐标系下的坐标值
Figure BDA0002796992590000047
其中下标0和1代表上下两个圆孔。
进一步地，步骤S4中，根据摄像机小孔成像原理，将像素坐标系设置为：以图像左上角为原点，沿宽的方向向右为u轴，沿高的方向向下为v轴；图像坐标系设置为：以物理成像平面中心为原点，也即光心，沿宽的方向向右为x轴，沿高的方向向下为y轴；摄像机坐标系设置为：以透镜中心为原点，以光轴为Zc轴，水平轴Xc与垂直轴Yc分别与图像坐标系的x轴和y轴平行；其中，相机坐标系的原点与图像坐标系的原点之间的距离为摄像机的物理焦距f；将标定平台的二维RGB图像I转换为灰度图像，并采用Canny边缘检测算法检测图像中的边缘；然后应用霍夫梯度变换进行圆形检测，得到圆孔的边缘坐标点，进而求解出圆孔中心点，即标定点在图像坐标系下的坐标值(u0,v0)，(u1,v1)，其中下标0和1代表上下两个圆孔；使用棋盘格标定法对摄像机进行标定获得本质矩阵参数，具体如下：
Figure BDA0002796992590000051
其中，fx、fy分别是摄像机在x轴、y轴上的像素焦距，(cx,cy)是光心的位置；
将标定点在图像坐标系下的坐标值(u0,v0)，(u1,v1)转换为摄像机坐标系下的三维坐标
Figure BDA0002796992590000052
具体如下：
由于标定平台中圆孔中心点及边缘点与其在图像平面上的投影点分别与摄像机坐标系原点组成相似三角形，根据相似三角形原理求得摄像机到标定平面的垂直距离，也即标定点在Zc轴上的坐标值
Figure BDA0002796992590000053
具体如下：
Figure BDA0002796992590000054
其中，Rc是圆孔的半径，rc是圆孔在二维图像中的半径尺寸，由于标定平台垂直放置，所以两个圆孔在Zc轴上与摄像机的距离一样，即
Figure BDA0002796992590000055
当标定平台垂直放置在摄像机前面时，标定平台中圆孔中心点及圆孔中心点在横轴和纵轴的投影点与其在图像平面上的投影点分别与摄像机坐标系原点组成相似三角形，根据相似三角形原理求得
Figure BDA0002796992590000056
具体如下：
Figure BDA0002796992590000057
Figure BDA0002796992590000058
Figure BDA0002796992590000059
Figure BDA00027969925900000510
进一步地，步骤S5中，将标定平台垂直放置在三维激光雷达与摄像机组成的数据采集系统前进行数据采集与计算得到2对标定点坐标值，在摄像机与激光雷达视野内更换标定平台位置继续进行数据采集与计算，以获得m对标定点坐标值，m≥4；然后根据三维刚体运动原理，构建激光雷达与摄像机坐标系间的线性转换关系，具体如下：
Figure BDA00027969925900000511
Figure BDA00027969925900000512
Figure BDA00027969925900000513
xundistorted＝xc(1+k1r2+k2r4)；
yundistorted＝yc(1+k1r2+k2r4)；
Figure BDA0002796992590000061
其中，xc、yc是Xc、Yc的齐次坐标，xundistorted、yundistorted是进行畸变校正后的坐标值；代入m对标定点坐标值得到m*2个方程，并通过奇异值分解SVD方法求得旋转矩阵R与平移向量t。
进一步地，步骤S6中，对步骤S4中由Canny边缘检测算法处理二维RGB图像所得到的边缘图E采用逆距离变换以得到更平滑的边缘图Ic，Ic中每个像素值计算方法为：
Di,j＝α·Ei,j+(1-α)·max{Ex,y·βmax(|x-i|,|y-j|)}；
其中，Di,j是Ic中在坐标[i,j]上的像素值，Ei,j是E中在坐标[i,j]上的像素值，Ex,y是Ei,j中在坐标[i,j]上的最近邻像素值，α和β是控制因子，前者用于增大邻近边缘强度，后者用于放大边缘的有效影响区域；
同时根据得到的标定参数将三维点云投影至二维图像上获得深度图Iv，通过计算边缘图Ic与深度图Iv的相关性作为第一优化目标函数，具体如下：
SE＝∑x∑yIC(x,y)·IV(x,y)。
进一步地，步骤S7中，结合RGB图像信息对深度图Iv进行插值，采用方法是基于RBF核函数计算二维灰度图像IG与深度图Iv的相关矩阵，针对深度图Iv上缺失深度值的像素位置，取与其相关度最大的像素位置的深度值进行填充得到完整深度图Iw；根据已得到的标定参数，将二维RGB图像I反投影至激光雷达坐标系中得到反投影点云Pr，基于迭代最近点(Iterative Closest Point，ICP)算法匹配三维点云P与反投影点云Pr对应的最近点集P′与P′r，通过计算对应点对计算均方根作为第二优化目标函数，具体如下：
Figure BDA0002796992590000062
进一步地，所述基于RBF核函数计算二维灰度图像IG与深度图Iv的相关矩阵具体如下：
在二维灰度图像IG与深度图Iv上分别取滑动窗口W1、W2进行遍历，基于RBF核函数计算两个窗口的相关矩阵：
Figure BDA0002796992590000063
Figure BDA0002796992590000071
其中s、s′为深度图Iv上有深度值的位置以及缺失深度值的位置，d是它们之间的欧式距离，g、g′为它们在灰度图IG上对应位置的灰度值，m1和m2分别是滑动窗口W1、W2中有深度值的像素数与缺失深度值的像素数，ld与li是两个调节参数。
进一步地，步骤S8中，设定标定参数的局部搜索范围以及最大误差值，通过BOBYQA优化算法对总体目标函数S进行参数搜索以得到优化的标定参数，所述总体目标函数为第一优化目标函数与第二优化目标函数的和，S＝SE+Sp。
与现有技术相比，本发明具有如下优点和技术效果：通过标定平台与数据采集装置的几何关系，根据相似三角形原理求出标定点在摄像机坐标系下的深度坐标，解决了单目摄像机成像过程中的深度信息丢失问题。在标定过程中，标定基准点的定位准确，操作简便。设计的包括圆形几何形状的联合标定平台，能够降低在三维点云数据中进行边缘检测的难度，有效提高标定的精度。标定完成后，根据投影关系构建三维点云与二位RGB图像之间的相关性优化目标，并采用BOBYQA优化算法进行标定参数的局部最优搜索，实现在线误差纠正。
附图说明
图1是本发明实施例中的联合标定平台设计示意图。
图2是本发明实施例中的摄像机与三维激光雷达组成的数据采集系统示意图。
图3是本发明实施例中的摄像机小孔成像模型示意图。
图4是本发明实施例中的联合标定平台与图像平面的几何关系示意图。
图5是本发明实施例中的深度图插值算法示意图。
图6为本发明实施例中一种单目摄像机与三维激光雷达联合标定及在线优化方法的步骤流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步的说明，但本发明的实施方式并不限于此。
实施例：
一种单目摄像机与三维激光雷达联合标定及在线优化方法，如图6所示，包括以下步骤：
S1、根据三维激光雷达点云生成和摄像机成像原理，设计合理的联合标定平台用于数据采集过程，并确定标定平台中的标定点；
本实施例中，根据三维激光雷达点云生成和摄像机成像原理设计的联合标定平台如图1所示，标定平台是一个矩形平面板，高度为120厘米，宽度为50厘米，矩形平面板上设置有上下两个等大但是不相交的圆孔，圆孔直径D为18厘米，两个圆孔的中心O1、O2垂直距离|O1O2|为28厘米，两个圆孔的中心点用作标定的基准点，垂直放置在摄像机与三维激光雷达前。
S2、使用三维激光雷达与摄像机组成的数据采集系统对标定平台进行数据采集，得到标定场景的三维点云P与二维图像I；
如图2所示，所述三维激光雷达与摄像机组成的数据采集系统具体如下：
摄像机被固定在三维激光雷达的顶部表面上方，摄像机和三维激光雷达分别垂直正对着标定平台，由摄像机拍摄得到标定场景的二维RGB图像I，由三维激光雷达扫描得到标定场景的三维点云数据P。
S3、从标定场景的三维点云P中分割出标定平台的点云数据，通过边缘提取算法检测出标定平台中的圆孔边缘，并采用随机采样一致性(RANSAC)算法求解出圆孔中心点，即标定点在雷达坐标系下的坐标值；
所述三维点云数据P为三维激光雷达采集到的基于球坐标系(r,ω,θ)的点云数据，其中r、ω、θ分别为激光雷达的扫描半径、仰角及方位角；
通过设置参数θ∈[60,120]，r∈[0,2]将标定平台的三维点云数据从标定场景的点云数据中分割出来，并将基于球坐标系(r,ω,θ)的点云数据转换为笛卡尔坐标系(XL,YL,ZL)下，具体如下：
xL＝r*cos(ω)*sin(θ)；
yL＝r*cos(ω)*cos(θ)；
zL＝r*sin(ω)；
其中，以三维激光雷达为坐标原点OL，沿正向向前方向为XL轴，沿正向向右方向为YL轴，沿垂直向下方向为ZL轴；
基于边缘附近点的深度不连续性，通过设置点云过滤条件将标定平台点云中的边缘点检测出来，进一步通过约束条件将标定平台点云中圆孔的边缘点过滤出来，点云过滤条件如下：
Figure BDA0002796992590000081
Figure BDA0002796992590000082
约束条件如下：
Figure BDA0002796992590000091
其中，n表示激光环序号，
Figure BDA0002796992590000092
表示用于判别第n个激光环中的第i个点是否为边缘点的权重，η表示控制权重值
Figure BDA0002796992590000093
的超参数；N表示各个激光环中点的数量，En表示第n个激光环的边缘点集合，Δ表示判断第n个激光环中的第i个点是否为边缘点的阈值，
Figure BDA0002796992590000094
表示圆孔的边缘点集合，δ1和δ2表示在Y轴上的约束值；
最后基于随机采样一致性(RANSAC)算法求解出圆孔中心点，即标定点在雷达坐标系下的坐标值
Figure BDA0002796992590000095
其中下标0和1代表上下两个圆孔。
S4、本实施例中，如图3所示，根据摄像机小孔成像原理，将像素坐标系设置为：以图像左上角为原点，沿宽的方向向右为u轴，沿高的方向向下为v轴；图像坐标系设置为：以物理成像平面中心为原点，也即光心，沿宽的方向向右为x轴，沿高的方向向下为y轴；摄像机坐标系设置为：以透镜中心为原点，以光轴为Zc轴，水平轴Xc与垂直轴Yc分别与图像坐标系的x轴和y轴平行；其中，相机坐标系的原点与图像坐标系的原点之间的距离为摄像机的物理焦距f；将标定平台的二维RGB图像I转换为灰度图像，并采用Canny边缘检测算法检测图像中的边缘；然后应用霍夫梯度变换进行圆形检测，得到圆孔的边缘坐标点，进而求解出圆孔中心点，即标定点在图像坐标系下的坐标值(u0,v0)，(u1,v1)，其中下标0和1代表上下两个圆孔；使用棋盘格标定法对摄像机进行标定获得本质矩阵参数，具体如下：
Figure BDA0002796992590000096
其中，fx、fy分别是摄像机在x轴、y轴上的像素焦距，(cx,cy)是光心的位置；
将标定点在图像坐标系下的坐标值(u0,v0)，(u1,v1)转换为摄像机坐标系下的三维坐标
Figure BDA0002796992590000097
具体如下：
由于标定平台中圆孔中心点及边缘点与其在图像平面上的投影点分别与摄像机坐标系原点组成相似三角形，根据相似三角形原理求得摄像机到标定平面的垂直距离，也即标定点在Zc轴上的坐标值
Figure BDA0002796992590000098
具体如下：
Figure BDA0002796992590000099
其中，本实施例中，Rc是圆孔的半径，Rc＝90mm，rc是圆孔在二维图像中的半径尺寸，由于标定平台垂直放置，所以两个圆孔在Zc轴上与摄像机的距离一样，即
Figure BDA0002796992590000101
结合图3及图4可知，当标定平台垂直放置在摄像机前面时，标定平台中圆孔中心点及圆孔中心点在横轴和纵轴的投影点与其在图像平面上的投影点分别与摄像机坐标系原点组成相似三角形，根据相似三角形原理求得
Figure BDA0002796992590000102
Figure BDA0002796992590000103
具体如下：
Figure BDA0002796992590000104
Figure BDA0002796992590000105
Figure BDA0002796992590000106
Figure BDA0002796992590000107
S5、根据几何原理构建出摄像机与激光雷达坐标系的几何转换线性方程组，由标定点分别在激光雷达坐标系和摄像机坐标系下的坐标值求解出标定参数即激光雷达坐标系与摄像机坐标系的旋转矩阵与平移向量，完成标定；
将标定平台垂直放置在三维激光雷达与摄像机组成的数据采集系统前进行数据采集与计算得到2对标定点坐标值，在摄像机与激光雷达视野内更换标定平台位置继续进行数据采集与计算，以获得m对标定点坐标值，m≥4；然后根据三维刚体运动原理，构建激光雷达与摄像机坐标系间的线性转换关系，具体如下：
Figure BDA0002796992590000108
Figure BDA0002796992590000109
Figure BDA00027969925900001010
xundistorted＝xc(1+k1r2+k2r4)；
yundistorted＝yc(1+k1r2+k2r4)；
Figure BDA00027969925900001011
其中，xc、yc是Xc、Yc的齐次坐标，xundistorted、yundistorted是进行畸变校正后的坐标值；代入m对标定点坐标值得到m*2个方程，并通过奇异值分解SVD方法求得旋转矩阵R与平移向量t。
S6、基于得到的标定参数，将三维点云投影至二维图像上得到深度图Iv，通过计算该深度图与RGB图像的逆距离变换(Inverse Distance Transform)之间的相关性作为第一优化目标函数；
对步骤S4中由Canny边缘检测算法处理二维RGB图像所得到的边缘图E采用逆距离变换以得到更平滑的边缘图Ic，Ic中每个像素值计算方法为：
Di,j＝α·Ei,j+(1-α)·max{Ex,y·βmax(|x-i|,|y-j|)}；
其中，Di,j是Ic中在坐标[i,j]上的像素值，Ei,j是E中在坐标[i,j]上的像素值，Ex,y是Ei,j中在坐标[i,j]上的最近邻像素值，α和β是控制因子，前者用于增大邻近边缘强度，后者用于放大边缘的有效影响区域；
同时根据得到的标定参数将三维点云投影至二维图像上获得深度图Iv，通过计算边缘图Ic与深度图Iv的相关性作为第一优化目标函数，具体如下：
SE＝∑x∑yIC(x,y)·IV(x,y)。
S7、通过相关矩阵结合RGB图像信息对深度图Iv进行插值，结合标定平台的二维图像数据反投影至三维空间中得到标定平台的反投影点云Pr，并将该反投影点云与激光雷达采集到的点云进行点云匹配，将匹配后的点云间距离的均方根作为第二优化目标函数；
结合RGB图像信息对深度图Iv进行插值，采用方法是基于RBF核函数计算二维灰度图像IG与深度图Iv的相关矩阵，具体如下：
如图5所示，在二维灰度图像IG与深度图Iv上分别取滑动窗口W1、W2进行遍历，基于RBF核函数计算两个窗口的相关矩阵：
Figure BDA0002796992590000111
Figure BDA0002796992590000112
其中s、s′为深度图Iv上有深度值的位置以及缺失深度值的位置，d是它们之间的欧式距离，g、g′为它们在灰度图IG上对应位置的灰度值，m1和m2分别是滑动窗口W1、W2中有深度值的像素数与缺失深度值的像素数，ld与li是两个调节参数。
针对深度图Iv上缺失深度值的像素位置，取与其相关度最大的像素位置的深度值进行填充得到完整深度图Iw；根据已得到的标定参数，将二维RGB图像I反投影至激光雷达坐标系中得到反投影点云Pr，基于迭代最近点(Iterative Closest Point，ICP)算法匹配三维点云P与反投影点云Pr对应的最近点集P′与P′r，通过计算对应点对计算均方根作为第二优化目标函数，具体如下：
Figure BDA0002796992590000121
S8、通过BOBYQA优化算法进行标定参数的局部最优搜索，直到满足最小误差条件，实现在线优化。
设定标定参数的局部搜索范围以及最大误差值，通过BOBYQA优化算法对总体目标函数S进行参数搜索以得到优化的标定参数，所述总体目标函数为第一优化目标函数与第二优化目标函数的和，S＝SE+Sp。

Claims (10)

1.一种单目摄像机与三维激光雷达联合标定及在线优化方法，其特征在于，包括以下步骤：
S1、根据三维激光雷达点云生成和摄像机成像原理，设计合理的联合标定平台用于数据采集过程，并确定标定平台中的标定点；
S2、使用三维激光雷达与摄像机组成的数据采集系统对标定平台进行数据采集，得到标定场景的三维点云P与二维图像I；
S3、从标定场景的三维点云P中分割出标定平台的点云数据，通过边缘提取算法检测出标定平台中的圆孔边缘，并采用随机采样一致性(RANSAC)算法求解出圆孔中心点，即标定点在雷达坐标系下的坐标值；
S4、将标定平台的二维RGB图像I转换为灰度图像IG，并采用Canny边缘检测算法检测图像中的边缘E，然后应用霍夫梯度变换进行圆形检测，进而求解出标定点在像素坐标系下的坐标值；采用传统的基于棋盘格的标定方法对摄像机进行标定，获得摄像机内参，根据摄像机成像原理与几何关系，将标定点在像素坐标系下的坐标值转换为摄像机坐标系下的坐标值；
S5、根据几何原理构建出摄像机与激光雷达坐标系的几何转换线性方程组，由标定点分别在激光雷达坐标系和摄像机坐标系下的坐标值求解出标定参数即激光雷达坐标系与摄像机坐标系的旋转矩阵与平移向量，完成标定；
S6、基于得到的标定参数，将三维点云投影至二维图像上得到深度图Iv，通过计算该深度图与RGB图像的逆距离变换(Inverse Distance Transform)之间的相关性作为第一优化目标函数；
S7、通过相关矩阵结合RGB图像信息对深度图Iv进行插值，结合标定平台的二维图像数据反投影至三维空间中得到标定平台的反投影点云Pr，并将该反投影点云与激光雷达采集到的点云进行点云匹配，将匹配后的点云间距离的均方根作为第二优化目标函数；
S8、通过BOBYQA优化算法进行标定参数的局部最优搜索，直到满足最小误差条件，实现在线优化。
2.根据权利要求1所述的一种单目摄像机与三维激光雷达联合标定及在线优化方法，其特征在于，步骤S1中，根据三维激光雷达点云生成和摄像机成像原理设计的联合标定平台是一个矩形平面板，矩形平面板上设置有上下两个等大但是不相交的圆孔，两个圆孔的中心点用作标定的基准点，垂直放置在摄像机与三维激光光雷达前。
3.根据权利要求2所述的一种单目摄像机与三维激光雷达联合标定及在线优化方法，其特征在于，步骤S2中，所述三维激光雷达与摄像机组成的数据采集系统具体如下：
摄像机被固定在三维激光雷达的顶部表面上方，摄像机和三维激光雷达分别垂直正对着标定平台，由摄像机拍摄得到标定场景的二维RGB图像I，由三维激光雷达扫描得到标定场景的三维点云数据P。
4.根据权利要求1所述的一种单目摄像机与三维激光雷达联合标定及在线优化方法，其特征在于，步骤S3中，所述三维点云数据P为三维激光雷达采集到的基于球坐标系(r,ω,θ)的点云数据，其中r、ω、θ分别为激光雷达的扫描半径、仰角及方位角；
通过设置参数θ∈[60,120]，r∈[0,2]将标定平台的三维点云数据从标定场景的点云数据中分割出来，并将基于球坐标系(r,ω,θ)的点云数据转换为笛卡尔坐标系(XL,YL,ZL)下，具体如下：
xL＝r*cos(ω)*sin(θ)；
yL＝r*cos(ω)*cos(θ)；
zL＝r*sin(ω)；
其中，以三维激光雷达为坐标原点OL，沿正向向前方向为XL轴，沿正向向右方向为YL轴，沿垂直向下方向为ZL轴；
基于边缘附近点的深度不连续性，通过设置点云过滤条件将标定平台点云中的边缘点检测出来，进一步通过约束条件将标定平台点云中圆孔的边缘点过滤出来，点云过滤条件如下：
Figure FDA0002796992580000021
Figure FDA0002796992580000022
约束条件如下：
Figure FDA0002796992580000023
其中，n表示激光环序号，
Figure FDA0002796992580000024
表示用于判别第n个激光环中的第i个点是否为边缘点的权重，η表示控制权重值
Figure FDA0002796992580000025
的超参数；N表示各个激光环中点的数量，En表示第n个激光环的边缘点集合，Δ表示判断第n个激光环中的第i个点是否为边缘点的阈值，
Figure FDA0002796992580000026
表示圆孔的边缘点集合，δ1和δ2表示在Y轴上的约束值；
最后基于随机采样一致性(RANSAC)算法求解出圆孔中心点，即标定点在雷达坐标系下的坐标值
Figure FDA0002796992580000027
其中下标0和1代表上下两个圆孔。
5.根据权利要求1所述的一种单目摄像机与三维激光雷达联合标定及在线优化方法，其特征在于，步骤S4中，根据摄像机小孔成像原理，将像素坐标系设置为：以图像左上角为原点，沿宽的方向向右为u轴，沿高的方向向下为v轴；图像坐标系设置为：以物理成像平面中心为原点，也即光心，沿宽的方向向右为x轴，沿高的方向向下为y轴；摄像机坐标系设置为：以透镜中心为原点，以光轴为Zc轴，水平轴Xc与垂直轴Yc分别与图像坐标系的x轴和y轴平行；其中，相机坐标系的原点与图像坐标系的原点之间的距离为摄像机的物理焦距f；将标定平台的二维RGB图像I转换为灰度图像，并采用Canny边缘检测算法检测图像中的边缘；然后应用霍夫梯度变换进行圆形检测，得到圆孔的边缘坐标点，进而求解出圆孔中心点，即标定点在图像坐标系下的坐标值(u0,v0)，(u1,v1)，其中下标0和1代表上下两个圆孔；使用棋盘格标定法对摄像机进行标定获得本质矩阵参数，具体如下：
Figure FDA0002796992580000031
其中，fx、fy分别是摄像机在x轴、y轴上的像素焦距，(cx,cy)是光心的位置；
将标定点在图像坐标系下的坐标值(u0,v0)，(u1,v1)转换为摄像机坐标系下的三维坐标
Figure FDA0002796992580000032
具体如下：
由于标定平台中圆孔中心点及边缘点与其在图像平面上的投影点分别与摄像机坐标系原点组成相似三角形，根据相似三角形原理求得摄像机到标定平面的垂直距离，也即标定点在Zc轴上的坐标值
Figure FDA0002796992580000033
具体如下：
Figure FDA0002796992580000034
其中，Rc是圆孔的半径，rc是圆孔在二维图像中的半径尺寸，由于标定平台垂直放置，所以两个圆孔在Zc轴上与摄像机的距离一样，即
Figure FDA0002796992580000035
当标定平台垂直放置在摄像机前面时，标定平台中圆孔中心点及圆孔中心点在横轴和纵轴的投影点与其在图像平面上的投影点分别与摄像机坐标系原点组成相似三角形，根据相似三角形原理求得
Figure FDA0002796992580000036
具体如下：
Figure FDA0002796992580000037
Figure FDA0002796992580000038
Figure FDA0002796992580000039
Figure FDA0002796992580000041
6.根据权利要求1所述的一种单目摄像机与三维激光雷达联合标定及在线优化方法，其特征在于，步骤S5中，将标定平台垂直放置在三维激光雷达与摄像机组成的数据采集系统前进行数据采集与计算得到2对标定点坐标值，在摄像机与激光雷达视野内更换标定平台位置继续进行数据采集与计算，以获得m对标定点坐标值，m≥4；然后根据三维刚体运动原理，构建激光雷达与摄像机坐标系间的线性转换关系，具体如下：
Figure FDA0002796992580000042
Figure FDA0002796992580000043
Figure FDA0002796992580000044
xundistorted＝xc(1+k1r2+k2r4)；
yundistorted＝yc(1+k1r2+k2r4)；
Figure FDA0002796992580000045
其中，xc、yc是Xc、Yc的齐次坐标，xundistorted、yundistorted是进行畸变校正后的坐标值；代入m对标定点坐标值得到m*2个方程，并通过奇异值分解SVD方法求得旋转矩阵R与平移向量t。
7.根据权利要求1所述的一种单目摄像机与三维激光雷达联合标定及在线优化方法，其特征在于，步骤S6中，对步骤S4中由Canny边缘检测算法处理二维RGB图像所得到的边缘图E采用逆距离变换以得到更平滑的边缘图Ic，Ic中每个像素值计算方法为：
Di,j＝α·Ei,j+(1-α)·max{Ex,y·βmax(|x-i|,|y-j|)}；
其中，Di,j是Ic中在坐标[i,j]上的像素值，Ei,j是E中在坐标[i,j]上的像素值，Ex,y是Ei,j中在坐标[i,j]上的最近邻像素值，α和β是控制因子，前者用于增大邻近边缘强度，后者用于放大边缘的有效影响区域；
同时根据得到的标定参数将三维点云投影至二维图像上获得深度图Iv，通过计算边缘图Ic与深度图Iv的相关性作为第一优化目标函数，具体如下：
SE＝∑x∑yIC(x,y)·IV(x,y)。
8.根据权利要求1所述的一种单目摄像机与三维激光雷达联合标定及在线优化方法，其特征在于，步骤S7中，结合RGB图像信息对深度图Iv进行插值，采用方法是基于RBF核函数计算二维灰度图像IG与深度图Iv的相关矩阵，针对深度图Iv上缺失深度值的像素位置，取与其相关度最大的像素位置的深度值进行填充得到完整深度图Iw；根据已得到的标定参数，将二维RGB图像I反投影至激光雷达坐标系中得到反投影点云Pr，基于迭代最近点(Iterative Closest Point，ICP)算法匹配三维点云P与反投影点云Pr对应的最近点集P′与P′r，通过计算对应点对计算均方根作为第二优化目标函数，具体如下：
Figure FDA0002796992580000051
9.根据权利要求8所述的一种单目摄像机与三维激光雷达联合标定及在线优化方法，其特征在于，所述基于RBF核函数计算二维灰度图像IG与深度图Iv的相关矩阵具体如下：
在二维灰度图像IG与深度图Iv上分别取滑动窗口W1、W2进行遍历，基于RBF核函数计算两个窗口的相关矩阵：
Figure FDA0002796992580000052
Figure FDA0002796992580000053
其中s、s′为深度图Iv上有深度值的位置以及缺失深度值的位置，d是它们之间的欧式距离，g、g′为它们在灰度图IG上对应位置的灰度值，m1和m2分别是滑动窗口W1、W2中有深度值的像素数与缺失深度值的像素数，ld与li是两个调节参数。
10.根据权利要求1～任一项所述的一种单目摄像机与三维激光雷达联合标定及在线优化方法，其特征在于，步骤S8中，设定标定参数的局部搜索范围以及最大误差值，通过BOBYQA优化算法对总体目标函数S进行参数搜索以得到优化的标定参数，所述总体目标函数为第一优化目标函数与第二优化目标函数的和，S＝SE+Sp。
CN202011335199.5A 2020-11-24 2020-11-24 一种单目摄像机与三维激光雷达联合标定及在线优化方法 Active CN112396664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011335199.5A CN112396664B (zh) 2020-11-24 2020-11-24 一种单目摄像机与三维激光雷达联合标定及在线优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011335199.5A CN112396664B (zh) 2020-11-24 2020-11-24 一种单目摄像机与三维激光雷达联合标定及在线优化方法

Publications (2)

Publication Number Publication Date
CN112396664A true CN112396664A (zh) 2021-02-23
CN112396664B CN112396664B (zh) 2022-03-25

Family

ID=74606238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011335199.5A Active CN112396664B (zh) 2020-11-24 2020-11-24 一种单目摄像机与三维激光雷达联合标定及在线优化方法

Country Status (1)

Country Link
CN (1) CN112396664B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819903A (zh) * 2021-03-02 2021-05-18 福州视驰科技有限公司 基于l型标定板的相机和激光雷达联合标定的方法
CN113034621A (zh) * 2021-05-24 2021-06-25 腾讯科技（深圳）有限公司 联合标定方法、装置、设备、车辆及存储介质
CN113050074A (zh) * 2021-03-16 2021-06-29 成都信息工程大学 无人驾驶环境感知中相机与激光雷达标定系统及标定方法
CN113313741A (zh) * 2021-06-03 2021-08-27 广西大学 一种基于标定球的点云自配准方法
CN113406604A (zh) * 2021-06-30 2021-09-17 山东新一代信息产业技术研究院有限公司 一种激光雷达和摄像机位置标定的装置和方法
CN113808097A (zh) * 2021-09-14 2021-12-17 北京主导时代科技有限公司 一种列车的关键部件丢失检测方法及其系统
CN113838140A (zh) * 2021-08-16 2021-12-24 中国矿业大学(北京) 一种基于三维地图辅助的单目视频行人三维定位方法
CN113850914A (zh) * 2021-08-13 2021-12-28 江苏瑞沃建设集团有限公司 一种线激光三维扫描点云数据的矩阵换方法
CN115375718A (zh) * 2022-10-08 2022-11-22 南京航空航天大学 一种基于投影图与图像分割的点云圆孔提取方法
CN115953484A (zh) * 2023-03-13 2023-04-11 福思(杭州)智能科技有限公司 探测设备的参数标定方法和装置、存储介质及电子装置
CN116449387A (zh) * 2023-06-15 2023-07-18 南京师范大学 多维度环境信息采集平台及其标定方法
CN117213373A (zh) * 2023-11-09 2023-12-12 成都飞机工业（集团）有限责任公司 一种三维点云获取方法
CN117826129A (zh) * 2024-03-04 2024-04-05 南京航空航天大学 一种单目相机和激光雷达在轨外参标定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130094745A1 (en) * 2011-09-28 2013-04-18 Siemens Corporation Non-rigid 2d/3d registration of coronary artery models with live fluoroscopy images
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN111142091A (zh) * 2020-01-10 2020-05-12 清华大学 一种融合车载信息的自动驾驶系统激光雷达在线标定方法
CN111201451A (zh) * 2018-02-09 2020-05-26 宝马股份公司 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130094745A1 (en) * 2011-09-28 2013-04-18 Siemens Corporation Non-rigid 2d/3d registration of coronary artery models with live fluoroscopy images
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN111201451A (zh) * 2018-02-09 2020-05-26 宝马股份公司 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN111142091A (zh) * 2020-01-10 2020-05-12 清华大学 一种融合车载信息的自动驾驶系统激光雷达在线标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YE V GOSHIN ET.AL: "Estimating Intrinsic Camera Parameters Using the Sum of Cosine Distances", 《JOURNAL OF PHYSICS: CONFERENCE SERIES》 *
秦华标 等: "基于FPGA的卷积神经网络硬件加速器设计", 《电子与信息学报》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819903B (zh) * 2021-03-02 2024-02-20 福州视驰科技有限公司 基于l型标定板的相机和激光雷达联合标定的方法
CN112819903A (zh) * 2021-03-02 2021-05-18 福州视驰科技有限公司 基于l型标定板的相机和激光雷达联合标定的方法
CN113050074B (zh) * 2021-03-16 2023-08-25 成都信息工程大学 无人驾驶环境感知中相机与激光雷达标定系统及标定方法
CN113050074A (zh) * 2021-03-16 2021-06-29 成都信息工程大学 无人驾驶环境感知中相机与激光雷达标定系统及标定方法
CN113034621A (zh) * 2021-05-24 2021-06-25 腾讯科技（深圳）有限公司 联合标定方法、装置、设备、车辆及存储介质
CN113034621B (zh) * 2021-05-24 2021-07-30 腾讯科技（深圳）有限公司 联合标定方法、装置、设备、车辆及存储介质
CN113313741B (zh) * 2021-06-03 2022-07-29 广西大学 一种基于标定球的点云自配准方法
CN113313741A (zh) * 2021-06-03 2021-08-27 广西大学 一种基于标定球的点云自配准方法
CN113406604A (zh) * 2021-06-30 2021-09-17 山东新一代信息产业技术研究院有限公司 一种激光雷达和摄像机位置标定的装置和方法
CN113850914A (zh) * 2021-08-13 2021-12-28 江苏瑞沃建设集团有限公司 一种线激光三维扫描点云数据的矩阵换方法
CN113838140A (zh) * 2021-08-16 2021-12-24 中国矿业大学(北京) 一种基于三维地图辅助的单目视频行人三维定位方法
CN113838140B (zh) * 2021-08-16 2023-07-18 中国矿业大学(北京) 一种基于三维地图辅助的单目视频行人三维定位方法
CN113808097A (zh) * 2021-09-14 2021-12-17 北京主导时代科技有限公司 一种列车的关键部件丢失检测方法及其系统
CN113808097B (zh) * 2021-09-14 2024-04-12 北京主导时代科技有限公司 一种列车的关键部件丢失检测方法及其系统
CN115375718A (zh) * 2022-10-08 2022-11-22 南京航空航天大学 一种基于投影图与图像分割的点云圆孔提取方法
CN115953484A (zh) * 2023-03-13 2023-04-11 福思(杭州)智能科技有限公司 探测设备的参数标定方法和装置、存储介质及电子装置
CN116449387B (zh) * 2023-06-15 2023-09-12 南京师范大学 多维度环境信息采集平台及其标定方法
CN116449387A (zh) * 2023-06-15 2023-07-18 南京师范大学 多维度环境信息采集平台及其标定方法
CN117213373A (zh) * 2023-11-09 2023-12-12 成都飞机工业（集团）有限责任公司 一种三维点云获取方法
CN117826129A (zh) * 2024-03-04 2024-04-05 南京航空航天大学 一种单目相机和激光雷达在轨外参标定方法

Also Published As

Publication number Publication date
CN112396664B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN107945220B (zh) 一种基于双目视觉的重建方法
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN109269430B (zh) 基于深度提取模型的多株立木胸径被动测量方法
CN110842940A (zh) 一种建筑测量机器人多传感器融合三维建模方法及系统
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
Lins et al. Vision-based measurement for localization of objects in 3-D for robotic applications
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN111325801A (zh) 一种激光雷达和相机的联合标定方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN112669354A (zh) 一种基于车辆非完整约束的多相机运动状态估计方法
CN111060006A (zh) 一种基于三维模型的视点规划方法
US20230351625A1 (en) A method for measuring the topography of an environment
CN112017248B (zh) 一种基于点线特征的2d激光雷达相机多帧单步标定方法
CN111524174A (zh) 一种动平台动目标双目视觉三维构建方法
Tu et al. Multi-camera-lidar auto-calibration by joint structure-from-motion
CN107123135B (zh) 一种无序三维点云的无畸变成像方法
Zhang et al. Improved Camera Calibration Method and Accuracy Analysis for Binocular Vision
Wang et al. Target recognition and localization of mobile robot with monocular PTZ camera
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
CN111429571A (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN115409897A (zh) 基于背景点云精细化处理的激光雷达与相机联合标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant