CN118015093A - 一种弱约束环境下的lidar与camera联合标定方法、装置 - Google Patents

一种弱约束环境下的lidar与camera联合标定方法、装置 Download PDF

Info

Publication number
CN118015093A
CN118015093A CN202410121623.8A CN202410121623A CN118015093A CN 118015093 A CN118015093 A CN 118015093A CN 202410121623 A CN202410121623 A CN 202410121623A CN 118015093 A CN118015093 A CN 118015093A
Authority
CN
China
Prior art keywords
calibration
calibration plate
camera
external parameters
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410121623.8A
Other languages
English (en)
Inventor
王章宇
王杰
李华志
赵嘉瑞
余贵珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202410121623.8A priority Critical patent/CN118015093A/zh
Publication of CN118015093A publication Critical patent/CN118015093A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/90—Identifying an image sensor based on its output data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及自动驾驶感知领域，涉及一种面向弱约束环境下的LIDAR与CAMERA联合标定方法，包括以下步骤：确定标定场地，在车辆前方设置第一标定板、第二标定板，第一标定板为一个具有圆孔的棋盘格二维码标定板，第二标定板为多个二维码标定板估计第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的外参；基于所述第一标定板求解长焦相机和激光雷达的外参，基于所述第二标定板对长焦相机和激光雷达的外参进行优化；获取长焦相机、鱼眼相机和激光雷达数据中的交通标志牌特征，基于所述交通标志牌特征判定长焦相机、鱼眼相机和激光雷达的外参是否异常；本发明能够提高弱约束场景下激光雷达与相机的标定性能。

Description

一种弱约束环境下的LIDAR与CAMERA联合标定方法、装置
技术领域
本发明涉及自动驾驶感知领域，具体涉及一种弱约束环境下的LIDAR与CAMERA联合标定方法、装置。
背景技术
激光雷达与相机外参标定是一种常用于多传感器融合应用的关键技术。它的目的是确定激光雷达与相机之间的几何关系，以实现精确的传感器数据融合和场景重建。激光雷达提供了高精度的三维点云数据，而相机则提供了丰富的纹理信息，两者结合可以实现更全面和准确的环境感知。
在激光雷达与相机外参标定方法中，常见的技术包括基于特定标定板的标定方法和基于场景特征的标定方法。
基于特定标定板的标定方法需要在场景中放置一个特定的标定板，标定板上有特定的标记物，例如棋盘格等。通过在不同位置和姿态下拍摄标定板，并利用激光雷达和相机的数据，可以计算出其之间的外部参数。这种方法的优点是标定过程简单，准确度高。公告号为CN113253246B的中国发明专利描述了一种将标定板的边缘点转换到伪相机坐标系下，并投影到伪相机的成像平面上，得到投影图像，从投影图像中找到标定板的角点位于伪相机坐标系下坐标的方法。申请号为CN202111350523.5的中国发明专利描述了一种利用特殊标定板和图像处理方法进行激光雷达与相机标定的方法，在整个过程中能够自动进行设备参数调整、数据帧选择以及标定结果的计算，无需人工干预。
基于场景特征的标定方法则利用场景中的特征点或特征平面来计算激光雷达与相机之间的外部参数。这种方法不需要特定的标定板，适用于实际场景中的标定。
发明内容
本发明提供了一种弱约束环境下的LIDAR与CAMERA联合标定方法、装置、设备和介质，解决了现有技术中激光雷达和相机标定速度慢、精度差并且难以进行自动校验的问题。
第一方面，本申请实施例提供了一种弱约束环境下的LIDAR与CAMERA联合标定方法，包括：
步骤S1、确定标定场地，包括：在车辆前方设置第一标定板、第二标定板，所述第一标定板为一个具有圆孔的棋盘格二维码标定板，所述第二标定板为多个二维码标定板，所述第二标定板放置于第一标定板两侧；
步骤S2、对车辆的长焦相机和鱼眼相机进行标定，包括：估计所述第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的标定外参；
步骤S3、对车辆的长焦相机和激光雷达进行标定，包括：基于所述第一标定板求解长焦相机和激光雷达的标定外参，基于所述第二标定板对长焦相机和激光雷达的标定外参进行优化。
优选地，所述具有圆孔的棋盘格二维码标定板为可调整角度的带有四个圆孔的ChArUco标定板，所述四个圆孔以对称的方式设置于ChArUco标定板的四个角，所述多个二维码标定板为4个或8个可调整角度的ArUco标定板。
优选地，所述步骤S2中，估计所述第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的标定外参具体包括：
步骤S2-1、分别采用长焦相机和鱼眼相机获取第二标定板图像，检测图像中ArUco标定板角点及角点id，根据角点id进行ArUco标定板区分；基于每个ArUco标定板上角点的像素坐标与角点在世界坐标系下的三维坐标估计ArUco标定板的相对位姿；
步骤S2-2、基于步骤S2-1所得角点id对两张第二标定板图像进行ArUco标定板匹配，若ArUco标定板中被检测到两个以上角点，则确定为有效匹配标定板；然后基于每个有效匹配标定板的相对位姿分别计算长焦相机和鱼眼相机外参；最后，取均值作为最终的标定结果。
优选地，基于所述第一标定板求解长焦相机和激光雷达的标定外参包括：
步骤S3-1、利用初始外参将激光雷达坐标系下的3D圆心点投影到长焦相机拍摄的图像上；
步骤S3-2、检测图像中的2D圆心点，并将所述3D圆心点的投影点与检测的2D圆心点形成优化点对；
步骤S3-3、利用所述优化点对之间的欧氏距离作为优化目标，使用优化算法对所述初始外参进行优化。
优选地，所述2D圆心点为ChArUco标定板的图像中圆孔对应的圆心；所述3D圆心点为ChArUco标定板的点云中圆孔对应的圆心；
所述2D圆心点的获取方式包括：检测ChArUco标定板的角点；根据所述角点在世界坐标系下的3D坐标和像素坐标系下的2D坐标，求解从世界坐标系到相机坐标系的变换矩阵；计算世界坐标系下的圆心3D坐标；利用所述世界坐标系下相机的位姿、相机的内参和畸变系数，将所述圆心3D坐标投影到像素坐标系下；
所述3D圆心点的获取方式包括：提取ChArUco标定板附近的区域的多帧感兴趣点云；分割出ChArUco标定板的平面点云；将所述平面点云变换为2D平面点，并对点云进行排序；查询右下角点的行列值，删除下方的非面点；根据所述右下角点和ChArUco标定板尺寸算出四个点云中圆孔对应的圆心点的初值；获取圆心点的初值周围的位置的随机取点；对以所述随机取点为圆心、半径为20cm的圆内的点进行遍历，获取圆内点的数量，确定圆内点的数量最少的圆的中心点；针对多帧感兴趣点云中各帧的圆内点的数量最少的圆的中心点，计算多帧感兴趣点云的所述中心点的平均值，确定为最终的3D圆心点，并将其变换至激光雷达坐标系下。
优选地，所述步骤S3中，基于所述第二标定板对长焦相机和激光雷达的标定外参进行优化，包括：
步骤S3-4、检测图像中ArUco标定板的角点；利用角点信息和PNP算法求解各ArUco标定板在相机坐标系下的位姿；根据所述标定板的尺寸和位姿，确定各ArUco标定板四个角在像素坐标系下的位置，分割出各ArUco标定板对应的像素区域；
步骤S3-5、分割出地面点云和非地面点云；对非地面点云进行聚类处理，以识别ArUco标定板点云；对每个聚类得到的点云簇，分割出对应的ArUco标定板平面点云；基于所述求解得到的长焦相机和激光雷达的标定外参，将所述平面点云投影至所述分割出的ArUco标定板对应的像素区域；基于投影点与图像之间的重投影误差，优化长焦相机与激光雷达之间的标定外参；
优选地，该方法还包括：步骤S4、对标定效果进行校验，包括：获取长焦相机、鱼眼相机和激光雷达数据中的交通标志牌特征，基于所述交通标志牌特征判定长焦相机、鱼眼相机和激光雷达的外参是否异常。
优选地，交通标志牌特征包括交通标志牌图像特征和交通标志牌点云特征；
获取所述数据中的交通标志牌图像特征，包括：对图像进行基于RGB或HSV色彩的蓝色、黄色和红色区域分割，以提取相应颜色的区域；对所述分割区域应用中值滤波，以减少图像中的噪点；执行形态学操作，包括腐蚀和膨胀；计算图像中的轮廓及其最小矩形包围盒，去除相互包含的较小矩形框；根据交通标志牌的长宽比和轮廓面积筛选出符合标准的矩形框，作为交通标志牌图像特征；
或，采用基于cityscapes数据集训练的deeplabV3+网络进行语义分割，获取交通标志牌图像特征；
获取所述数据中的交通标志牌点云特征，包括：对原始点云进行地面分割，去除地面点云；采用水平分层聚类和竖直聚类方法对非地面点云进行障碍物聚类；基于点云的反射强度对点云进行筛选，获取交通标志牌点云特征。
优选地，基于所述交通标志牌特征判定长焦相机、鱼眼相机和激光雷达的外参是否异常包括：
使用多帧数据进行校验，比较每一帧的最优外参与原始外参，最优外参与原始外参的差异超过预设阈值时，标记该帧外参为异常；统计外参异常帧数，若超过预设阈值，则判定相应传感器的外参需要重新标定；否则，判定外参正常；
所述每一帧的最优外参的获取方式为：基于已标定的外参，将点云投影至图像上；计算点云与图像特征的交并比；根据交并比优化外参，将具有最大交并比的外参设定为最优外参。
第二方面，本申请实施例提供了一种弱约束环境下的LIDAR与CAMERA联合标定装置，包括：
确定单元，用于确定标定场地，包括：在车辆前方设置第一标定板、第二标定板，所述第一标定板为一个具有圆孔的棋盘格二维码标定板，所述第二标定板为多个二维码标定板；
第一标定单元，用于对车辆的长焦相机和鱼眼相机进行标定，包括：估计所述第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的标定外参；
第二标定单元，用于对车辆的长焦相机和激光雷达进行标定，包括：基于所述第一标定板求解长焦相机和激光雷达的标定外参，基于所述第二标定板对长焦相机和激光雷达的标定外参进行优化。
与现有技术相比，本发明针对矿区弱约束环境的特点，设计了定制ChArUco和四块普通ArUco组合的标定场景，能够提供高精度的先验数据；矿区环境下的车辆安装有长焦相机、鱼眼相机和激光雷达等多种车载传感器，需要将他们分别进行标定，并实现与激光雷达的标定，针对该问题，本发明将标定的过程分解为两步：通过ArUco标定板对长焦相机和鱼眼相机进行标定、使用定制ChArUco标定板对长焦相机和激光雷达进行标定，并使用ArUco标定板对标定结果进行优化，通过这样的步骤，能够提高激光雷达与相机标定场景下的速度和精度；此外，本发明的校验步骤中对交通标志牌进行识别检测，能够在日常生产环境中对标定效果进行校验，不用再引入新的校验标记物，实现了参数自校验，提高了标定效果校验的便捷性。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制。
图1为本发明公开的弱约束环境下的LIDAR与CAMERA联合标定方法的流程图；
图2为本发明公开的定制的ChArUco标定板示意图；
图3a为本发明公开的标定场地俯视图；
图3b为本发明公开的标定场地设计图；
图4为本发明公开的长焦相机和激光雷达标定算法流程图；
图5为本发明公开的长焦相机和鱼眼相机标定算法流程图；
图6为本发明公开的标定外参校验算法流程图；
图7为本发明公开的弱约束环境下的LIDAR与CAMERA联合标定方法的算法示意图；
图8为本发明公开的弱约束环境下的LIDAR与CAMERA联合标定装置的框图；
图9为本发明公开的多个实施例的计算设备的框图；
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。另外，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
矿山环境特征退化严重，而且矿车存在视野盲区，难以适应现有标定算法的要求，现有的标定算法和标定套件(人为设计的用于标定所需所有标志物)无法适配。鉴于此，本发明针对矿车特征提供了一套弱约束环境下的LIDAR与CAMERA联合标定方法。
为了说明本发明所提方法的有效性，以下通过一个具体实施例对本发明的上述技术方案进行详细说明。
请参阅图1，本发明提供一种弱约束环境下的LIDAR与CAMERA联合标定方法，包括以下步骤：
步骤S1，确定标定场地，所述标定场地包括：在车辆前方设置的第一标定板、第二标定板，所述第一标定板为一个具有圆孔的棋盘格二维码标定板，所述第二标定板为多个二维码标定板；
标定所需的场地是在确定所有标定算法及流程后，得到的最终标定场景。由于该标定任务的目标之一，就是在统一的场景下完成所有静态标定任务，因此场地的设计是决定能否完成这一目标的重要一环，算法需要基于自主设计的场地和套件进行标定，一方面摆放的距离必须满足各个传感器的视野范围，在多个传感器进行标定时，共视区域需要具备一定的特征障碍物满足标定需求；另一方面，标定所需障碍物，不能互相冲突、互相遮挡、互相干扰，否则就会导致部分传感器的标定功能无法实现，抑或是需要人工改变场景，这就违背了标定系统一键式、便捷化、无人工的需求。
如图3a所示，图中显示了经过总体测试和分别验证后的俯视效果，该场景能够满足所有静态标定的场地需求。包括较平整且水平的地面、3个可调整高度的铝制雷达角反射器、一个可调整角度的周围带有四个圆孔的高密度标定板、8个可调整角度的亚克力标定板，以及水平测量仪、卷尺、螺丝刀、扳手等工具。
ChArUco(Chessboard ArUco)标定板是一种用于相机标定的特殊标定板。它结合了传统的棋盘格标定板和ArUco码。ArUco码是一种二维条形码，通常用于增强现实和相机姿态估计等应用中。它由黑白方块组成，每个方块都有一个唯一的标识符，可以被相机识别。ArUco码具有良好的鲁棒性和检测精度。ChArUco标定板由一系列固定大小的棋盘格和嵌入其中的ArUco码组成。这些ArUco码提供了额外的信息，可以帮助相机标定算法更准确地估计相机的内参和外参。
在一些实施例中，第一标定板中的具有圆孔的棋盘格二维码标定板为可调整角度的周围带有四个圆孔的ChArUco标定板，如图2所示，在常规ChArUco标定板的周围带有四个圆孔；第二标定板为多个二维码标定板为4个或8个可调整角度的亚克力ArUco标定板。
如图3b所示，图中显示了标定场地的位置设计，如图所示，场地的左右边界车宽方向上的左右距离各为10米，场地的前方边界与车头前方的距离为15米。这样选择的理由是：经过测试，左侧激光雷达和中间激光雷达的共视区域在左前方的部分区域，而超过10米范围内，补盲激光雷达线束已经较为稀疏，用于标定则显得精度较低，不适合选做目标区域；同样的道理，前方15米内，激光雷达共视区域效果较好，另外，更远距离的相机图像难以获得较高分辨率，尤其鱼眼相机超过10米，经过去畸变后已经难以识别图案，考虑到标定前的初始y方向误差相差不可能超过5米，因此选择15米的距离较为妥当。同时，单激光雷达的标定是从自身坐标系标定到世界坐标系，相比于人工设置的水平面，水平且平整的地面是更加容易选择的场景，即便算法上对于地面部分的凸起或缺失做了检测和排除处理，但整体地面的水平性，依然是决定激光雷达能否精确标定到世界坐标系的重要条件。
针对矿区弱约束环境的特点，本发明设计了定制ChArUco和四块普通ArUco组合的标定场景，能够提供高精度的先验数据，并且操作简便，配合后续的自动标定算法，可以快速实现标定关系的解算。
步骤S2，对车辆的长焦相机和鱼眼相机进行标定，包括：估计所述第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的标定外参。
外参表示相机对于某个世界坐标系的位置和方向，包括平移向量T和旋转参数R。平移向量T用于描述相机坐标系的原点相对于激光雷达坐标系原点的三维空间位移，通常用一个三维向量(tx，ty，tz)来表示；旋转参数R用于描述相机坐标系相对于激光雷达坐标系需要通过怎样的角度旋转才能对齐，通过一个旋转矩阵或者四元数来表示，它们能够描述三维空间中的任意旋转。
双目相机的外参标定算法基于静态标定场地中间设置为左右各2个的4块ArUco标定板进行设计开发，主要利用ArUco标定板分别在双目相机下相对姿态信息，来得到最终的标定结果。
在一些实施例中，长焦相机和鱼眼相机标定算法的流程图如图5所示，算法包括：
1)ArUco标定板位姿估计：
首先需要准备一套ArUco标定板，每块标定板上都有多个marker(标记)，每个marker都有独一无二的ID，例如1，2，3，4，这些ID用于区分不同的标定板；使用不同的相机从多个角度拍摄包含ArUco标定板的图片。为了提高位姿估计的准确性，最好确保每张图片中的标定板清晰可见；在算法开始时，首先对输入的图片进行处理，检测图中的ArUco标定板上的marker角点，可以采用图像处理算法中的边缘检测、角点检测等方法实现marker角点的检测；通过识别每个角点的ID，可以区分出图片中存在的不同ArUco标定板，这样可以实现在后续的处理根据每块标定板独立地估计位姿；对于每块标定板，算法将基于检测到的角点的像素坐标以及这些角点在世界坐标系下的预定义3D坐标，估计出标定板相对于相机的位姿，即相机的位置和方向。
2)双目相机外参计算：
在两张不同相机拍摄的图片中，基于位姿估计阶段检测到的marker角点ID，对标定板进行匹配。只有当一个标定板在两张图片中至少有两个的marker角点被检测到时，这个标定板才被认为是有效匹配的标定板；对于每个有效匹配的标定板，算法会独立地计算出相机的外参。外参是指相机坐标系相对于世界坐标系的旋转和平移矩阵，用于确定相机在空间中的确切位置和方向。如果有多个标定板被有效匹配，算法会计算所有有效标定板对应的相机外参的均值。该均值用于消除单一标定板可能带来的测量误差，提供一个更稳定、更可靠的相机外参估计结果。最终，算法输出所有相机外参的均值作为双目相机系统的外参标定结果。这个结果可以用于后续的3D重建、机器视觉测量等应用中，确保相机捕捉的图像与实际世界坐标系之间有一个精确的对应关系。
可见，在上述算法中，通过检测角点ID能够实现对不同标定板的区分，当标定板中检测到两个及以上角点才确定为有效匹配标定板，能够提高标定板监测信息的准确度，去除错误的角点信息，通过外参的均值作为最终的标定结果，能够提高外参估计的准确度。
步骤S3，对车辆的长焦相机和激光雷达进行标定，包括：基于所述第一标定板求解长焦相机和激光雷达的标定外参，基于所述第二标定板对长焦相机和激光雷达的标定外参进行优化。
在一些实施例中，长焦相机和激光雷达标定算法的流程图如图4所示，算法包括：
1)基于定制ChArUco标定板求解标定外参：
a.图像圆心检测：基于静态标定场地，首先检测ChArUco标定板中角点，并基于角点在世界坐标系下的3D坐标和像素坐标系下的2D坐标，求解从世界坐标系到相机坐标系的变换矩阵；然后，计算世界坐标系下的圆心3D坐标，并利用世界坐标系下相机的位姿、相机的内参和畸变系数，投影到像素坐标系下。
b.点云圆心检测：首先提取ChArUco标定板附近的ROI点云，并分割出标定板的平面点云；然后将点云变换为2D平面点，并对点云进行排序；其次，找到右下角点的行列值，同时删掉下方的非面点，并根据右下角点和标定板尺寸算四个圆心点初值；最后，用半径为20cm的圆遍历圆心初值周围的位置，圆内点最少的圆的中心点平均值为真正的圆心点，再变换至激光雷达坐标系下。
c.外参优化：首先利用初始外参将激光雷达坐标系下的3D圆心点投影到图像上，将a中检测的2D点和投影的2D点形成优化点对，用这些点对之间的欧氏距离来优化标定参数。在一些实施例中，可以采用非线性优化方法来针对进行优化，例如牛顿法、梯度下降法、二次规划算法、粒子群优化算法等，本发明对上述非线性优化方法不做限定。
在上述步骤中，使用了本发明的定制ChArUco标定板，标定板中含有4个圆孔，上述圆孔在图像中显示为一个圆形，在点云中也能够显示为一个圆形孔洞，因此能够应用于相机和雷达的成像结果的标定。本发明中，通过计算图像和点云中的圆心，再将点云圆心投影到图像上，针对点对之间的欧氏距离来优化标定参数，提供了初步的标定外参值。
2)基于4块ArUco标定板进一步优化外参：
a.分割图像中ArUco标定板：首先检测ArUco标定板角点，并利用PNP求解各标定板在相机坐标系下的位姿；然后利用标定板的尺寸和位姿，求出各标定板四个角在像素坐标系下的位置，并分割出对应的像素。
b.分割点云中的ArUco标定板：首先分割地面点云和非地面点云；其次聚类非地面点云，并得到标定板点云；然后基于每个聚类点云簇，分割出每个标定板的平面点云；最后，基于1)中的标定参数投影至a中分割出的图像，基于重投影误差进一步优化相机与激光雷达的外参。
在上述步骤中，使用多个ArUco标定板具有更高的检测精度，通过分割图像中的ArUco标定板并投影到平面点云中，基于重投影误差进行外参优化，引入了同一场景中的多个不同的标定板，能够有效降低标定外参的统计误差。
基于上述自动标定方法，通过分别提取图像和点云中的标定板特征，并进行特征点对的优化，整个过程无需人工参与，在标定速度和精度上都达到了较好的效果。
在一些实施例中，本发明提供的本发明提供一种弱约束环境下的LIDAR与CAMERA联合标定方法还包括：
步骤S4：对标定效果进行校验，包括：获取长焦相机、鱼眼相机和激光雷达数据中的交通标志牌特征，基于所述交通标志牌特征判定长焦相机、鱼眼相机和激光雷达的外参是否异常。
长焦相机或鱼眼相机外参校验是基于矿区道路两旁的交通标志牌而设计的，可以在日常生产跑车过程中实现外参校验。
在一些实施例中，标定外参校验算法流程图如图6所示，包括：
从感知驱动模块获取相机(长焦相机或鱼眼相机)和激光雷达数据后，分别提取道路两旁的交通标志牌特征：
1)图片提取标志牌：
a.传统算法：首先基于RGB或HSV色彩进行蓝色、黄色和红色分割，分割出对应的区域；然后采用中值滤波减少图片上的噪点以及进行腐蚀和膨胀等形态学操作进一步提升图片的质量；再计算图片上的每一个轮廓，并计算每个轮廓的最小矩形，判断矩形框之间是否存在包含关系，若包含，则去除面积较小的矩形框；最后根据交通标志牌的长宽比和轮廓面积进一步筛选符合要求的矩形框，作为图片提取出来的交通标志牌特征；
b.深度学习算法：基于目前采用公开的cityscapes数据集训练的deeplabV3+网络进行语义分割，分割出交通标志牌特征；
2)点云提取标志牌：首先将原始点云进行地面分割，去除地面的影响；然后为了去除挡墙和其他障碍物的影响，分别采用水平分层聚类和竖直聚类的方法进行障碍物聚类；最后再进一步依据激光雷达点云的反射强度进一步筛选出交通标志牌点云特征。
提取点云和图像特征后，基于已经标定好的外参将原始点云投影至图像上，计算两者的交并比，并基于交并比进行外参的优化，最终得到交并比最大的最优外参。然后，为了进一步提高校验的精度，采用多帧数据进行校验，将每一帧校验得到的最优外参与原始外参进行对比，若某个参数相差的结果大于设定的阈值，则判断为该帧外参异常。最终统计外参异常的帧数，若大于设定的阈值，则将该传感器(长焦相机或鱼眼相机)的外参判定为异常，需要重新标定；否则，该传感器(长焦相机或鱼眼相机)的外参正常。
通过上述步骤，通过提取标志物的图像特征和点云特征，计算投影后两者的交并比，并进行多帧阈值判断，能够有效地估计外参是否异常；同时，对交通标志牌进行识别检测能够在日常生产环境中标定效果进行校验，不用再引入新的校验标记物，提高了标定效果校验的便捷性。
基于上述的参数自校验算法，可在线实时对标定效果进行校验，当传感器出现位置偏移导致效果不佳时，可反馈标定参数异常，提醒重新进行自动化标定，在应用场景中极大提高了安全性和生产效率。
通过上述的方法，结合车载感知传感器，先基于双目相机外参标定算法计算出鱼眼相机与长焦相机的标定外参，再计算长焦相机与M1激光雷达的标定外参，最终将长焦相机、鱼眼相机和激光雷达外参为车载感知所用。
请参阅图8，一种弱约束环境下的LIDAR与CAMERA联合标定装置800，包括以下单元：
确定单元810，用于确定标定场地，包括：在车辆前方设置第一标定板、第二标定板，所述第一标定板为一个具有圆孔的棋盘格二维码标定板，所述第二标定板为多个二维码标定板，所述第二标定板放置于第一标定板两侧；
第一标定单元820，用于对车辆的长焦相机和鱼眼相机进行标定，包括：估计所述第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的标定外参；
第二标定单元830，用于对车辆的长焦相机和激光雷达进行标定，包括：基于所述第一标定板求解长焦相机和激光雷达的标定外参，基于所述第二标定板对长焦相机和激光雷达的标定外参进行优化；
请参阅图9，图9示出了可以用来实施本公开的实施例的示例设备900的示意性框图。设备900可以用于实现本公开的联合标定装置800。如图所示，设备900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的计算机程序指令或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序指令，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元901执行上文所描述的各个方法和过程。例如，在一些实施例中，过程可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM903并由CPU 901执行时，可以执行上文描述的过程的一个或多个动作或步骤。备选地，在其他实施例中，CPU 901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程。
本发明中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)，等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD ROM)、光学储存设备、磁储存设备或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各动作或步骤，但是这应当理解为要求这样动作或步骤以所示出的特定次序或以顺序次序执行，或者要求所有图示的动作或步骤应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本公开的实施例，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种弱约束环境下的LIDAR与CAMERA联合标定方法，包括：
步骤S1、确定标定场地，包括：在车辆前方设置第一标定板、第二标定板，所述第一标定板为一个具有圆孔的棋盘格二维码标定板，所述第二标定板为多个二维码标定板，所述第二标定板放置于第一标定板两侧；
步骤S2、对车辆的长焦相机和鱼眼相机进行标定，包括：估计所述第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的标定外参；
步骤S3、对车辆的长焦相机和激光雷达进行标定，包括：基于所述第一标定板求解长焦相机和激光雷达的标定外参，基于所述第二标定板对长焦相机和激光雷达的标定外参进行优化。
2.如权利要求1所述的LIDAR与CAMERA联合标定方法，其特征在于：所述具有圆孔的棋盘格二维码标定板为可调整角度的带有四个圆孔的ChArUco标定板，所述四个圆孔以对称的方式设置于ChArUco标定板的四个角，所述多个二维码标定板为4个或8个可调整角度的ArUco标定板。
3.如权利要求2所述的LIDAR与CAMERA联合标定方法，其特征在于：所述步骤S2中，估计所述第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的标定外参，具体包括：
步骤S2-1、分别采用长焦相机和鱼眼相机获取第二标定板图像，检测图像中ArUco标定板角点及角点id，根据角点id进行ArUco标定板区分；基于每个ArUco标定板上角点的像素坐标与角点在世界坐标系下的三维坐标估计ArUco标定板的相对位姿；
步骤S2-2、基于步骤S2-1所得角点id对两张第二标定板图像进行ArUco标定板匹配，若ArUco标定板中被检测到两个以上角点，则确定为有效匹配标定板；然后基于每个有效匹配标定板的相对位姿分别计算长焦相机和鱼眼相机外参；最后，取均值作为最终的标定结果。
4.如权利要求2所述的LIDAR与CAMERA联合标定方法，其特征在于：所述步骤S3中，基于所述第一标定板求解长焦相机和激光雷达的标定外参包括：
步骤S3-1、利用初始外参将激光雷达坐标系下的3D圆心点投影到长焦相机拍摄的图像上；
步骤S3-2、检测图像中的2D圆心点，并将所述3D圆心点的投影点与检测的2D圆心点形成优化点对；
步骤S3-3、利用所述优化点对之间的欧氏距离作为优化目标，使用优化算法对所述初始外参进行优化。
5.如权利要求4所述的LIDAR与CAMERA联合标定方法，其特征在于：
所述2D圆心点为ChArUco标定板的图像中圆孔对应的圆心；所述3D圆心点为ChArUco标定板的点云中圆孔对应的圆心；
所述2D圆心点的获取方式包括：检测ChArUco标定板的角点；根据所述角点在世界坐标系下的3D坐标和像素坐标系下的2D坐标，求解从世界坐标系到相机坐标系的变换矩阵；计算世界坐标系下的圆心3D坐标；利用所述世界坐标系下相机的位姿、相机的内参和畸变系数，将所述圆心3D坐标投影到像素坐标系下；
所述3D圆心点的获取方式包括：提取ChArUco标定板附近的区域的多帧感兴趣点云；分割出ChArUco标定板的平面点云；将所述平面点云变换为2D平面点，并对点云进行排序；查询右下角点的行列值，删除下方的非面点；根据所述右下角点和ChArUco标定板尺寸算出四个点云中圆孔对应的圆心点的初值；获取圆心点的初值周围的位置的随机取点；对以所述随机取点为圆心、半径为20cm的圆内的点进行遍历，获取圆内点的数量，确定圆内点的数量最少的圆的中心点；针对多帧感兴趣点云中各帧的圆内点的数量最少的圆的中心点，计算多帧感兴趣点云的所述中心点的平均值，确定为最终的3D圆心点，并将其变换至激光雷达坐标系下。
6.如权利要求5所述的LIDAR与CAMERA联合标定方法，其特征在于：所述步骤S3中，基于所述第二标定板对长焦相机和激光雷达的标定外参进行优化，包括：
步骤S3-4、检测图像中ArUco标定板的角点；利用角点信息和PNP算法求解各ArUco标定板在相机坐标系下的位姿；根据所述标定板的尺寸和位姿，确定各ArUco标定板四个角在像素坐标系下的位置，分割出各ArUco标定板对应的像素区域；
步骤S3-5、分割出地面点云和非地面点云；对非地面点云进行聚类处理，以识别ArUco标定板点云；对每个聚类得到的点云簇，分割出对应的ArUco标定板平面点云；基于所述求解得到的长焦相机和激光雷达的标定外参，将所述平面点云投影至所述分割出的ArUco标定板对应的像素区域；基于投影点与图像之间的重投影误差，优化长焦相机与激光雷达之间的标定外参。
7.如权利要求2所述的LIDAR与CAMERA联合标定方法，其特征在于该方法还包括：
步骤S4、对标定效果进行校验，包括：获取长焦相机、鱼眼相机和激光雷达数据中的交通标志牌特征，基于所述交通标志牌特征判定长焦相机、鱼眼相机和激光雷达的外参是否异常。
8.如权利要求7所述的LIDAR与CAMERA联合标定方法，其特征在于：交通标志牌特征包括交通标志牌图像特征和交通标志牌点云特征；
获取所述数据中的交通标志牌图像特征，包括：对图像进行基于RGB或HSV色彩的蓝色、黄色和红色区域分割，以提取相应颜色的区域；对所述分割区域应用中值滤波，以减少图像中的噪点；执行形态学操作，包括腐蚀和膨胀；计算图像中的轮廓及其最小矩形包围盒，去除相互包含的较小矩形框；根据交通标志牌的长宽比和轮廓面积筛选出符合标准的矩形框，作为交通标志牌图像特征；
或，采用基于cityscapes数据集训练的deeplabV3+网络进行语义分割，获取交通标志牌图像特征；
获取所述数据中的交通标志牌点云特征，包括：对原始点云进行地面分割，去除地面点云；采用水平分层聚类和竖直聚类方法对非地面点云进行障碍物聚类；基于点云的反射强度对点云进行筛选，获取交通标志牌点云特征。
9.如权利要求8所述的LIDAR与CAMERA联合标定方法，其特征在于：基于所述交通标志牌特征判定长焦相机、鱼眼相机和激光雷达的外参是否异常包括：
使用多帧数据进行校验，比较每一帧的最优外参与原始外参，最优外参与原始外参的差异超过预设阈值时，标记该帧外参为异常；统计外参异常帧数，若超过预设阈值，则判定相应传感器的外参需要重新标定；否则，判定外参正常；
所述每一帧的最优外参的获取方式为：基于已标定的外参，将点云投影至图像上；计算点云与图像特征的交并比；根据交并比优化外参，将具有最大交并比的外参设定为最优外参。
10.一种弱约束环境下的LIDAR与CAMERA联合标定装置，包括：
确定单元，用于确定标定场地，包括：在车辆前方设置第一标定板、第二标定板，所述第一标定板为一个具有圆孔的棋盘格二维码标定板，所述第二标定板为多个二维码标定板；
第一标定单元，用于对车辆的长焦相机和鱼眼相机进行标定，包括：估计所述第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的标定外参；
第二标定单元，用于对车辆的长焦相机和激光雷达进行标定，包括：基于所述第一标定板求解长焦相机和激光雷达的标定外参，基于所述第二标定板对长焦相机和激光雷达的标定外参进行优化。
CN202410121623.8A 2024-01-29 2024-01-29 一种弱约束环境下的lidar与camera联合标定方法、装置 Pending CN118015093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410121623.8A CN118015093A (zh) 2024-01-29 2024-01-29 一种弱约束环境下的lidar与camera联合标定方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410121623.8A CN118015093A (zh) 2024-01-29 2024-01-29 一种弱约束环境下的lidar与camera联合标定方法、装置

Publications (1)

Publication Number Publication Date
CN118015093A true CN118015093A (zh) 2024-05-10

Family

ID=90951301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410121623.8A Pending CN118015093A (zh) 2024-01-29 2024-01-29 一种弱约束环境下的lidar与camera联合标定方法、装置

Country Status (1)

Country Link
CN (1) CN118015093A (zh)

Similar Documents

Publication Publication Date Title
US6917702B2 (en) Calibration of multiple cameras for a turntable-based 3D scanner
US11816829B1 (en) Collaborative disparity decomposition
EP2111530B1 (en) Automatic stereo measurement of a point of interest in a scene
CN112308916B (zh) 一种基于图像靶标的目标位姿识别方法
CN109211207B (zh) 一种基于机器视觉的螺钉识别与定位装置
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
US20160203387A1 (en) Vision system and analytical method for planar surface segmentation
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN109918977B (zh) 确定空闲车位的方法、装置及设备
CN107977996B (zh) 基于靶标标定定位模型的空间目标定位方法
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP2001524228A (ja) 機械視覚較正標的並びに画像内で標的の位置及び方向を決定する方法
US20110235898A1 (en) Matching process in three-dimensional registration and computer-readable storage medium storing a program thereof
CN114820485B (zh) 一种基于机载图像测量波浪爬高的方法
CN117496467A (zh) 基于单目相机和3d lidar融合的异形车道线检测方法
CN116958218A (zh) 一种基于标定板角点对齐的点云与图像配准方法及设备
Kochi et al. 3D modeling of architecture by edge-matching and integrating the point clouds of laser scanner and those of digital camera
CN113674361B (zh) 一种车载环视校准实现方法及系统
CN116125489A (zh) 一种室内物体三维检测方法、计算机设备及存储介质
CN116563370A (zh) 基于单目计算机视觉的测距方法和测速方法
CN118015093A (zh) 一种弱约束环境下的lidar与camera联合标定方法、装置
Uyanik et al. A method for determining 3D surface points of objects by a single camera and rotary stage
David Detection of building facades in urban environments
US20240257376A1 (en) Method and system for detection a line above ground from a helicopter
Kim et al. Automatic Extrinsic Calibration of a Camera and a 2D LiDAR with Point-Line Correspondences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination