CN115100292A - 一种道路环境的激光雷达和相机之间外参在线标定方法 - Google Patents

一种道路环境的激光雷达和相机之间外参在线标定方法 Download PDF

Info

Publication number
CN115100292A
CN115100292A CN202210729239.7A CN202210729239A CN115100292A CN 115100292 A CN115100292 A CN 115100292A CN 202210729239 A CN202210729239 A CN 202210729239A CN 115100292 A CN115100292 A CN 115100292A
Authority
CN
China
Prior art keywords
point
laser radar
camera
road environment
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210729239.7A
Other languages
English (en)
Inventor
刘勇
张楚娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210729239.7A priority Critical patent/CN115100292A/zh
Publication of CN115100292A publication Critical patent/CN115100292A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种道路环境的激光雷达和相机之间外参在线标定方法，对采集到的道路环境语义信息在激光雷达点云分割结果、相机的图像检测结果中的表示方式和检测精度进行分析得到分析结果；根据棋盘格标志物对激光雷达和相机之间的外参进行离线标定作为在线标定的外参初始值；利用分析结果、外参初始值构建相机和激光雷达数据2D‑3D的关联关系；结合表示方式、关联关系使用误差构建方法获得非线性优化的优化目标；后端优化，维护一个帧数固定的滑动窗口，每次优化通过激光雷达位姿构建帧间的相互投影，通过重投影对每帧稀疏点云进行补充，使用误差构建方法进行每个点的误差计算，实现帧间外参约束，同时通过最小化误差的非线性优化方式优化多帧外参。

Description

一种道路环境的激光雷达和相机之间外参在线标定方法
技术领域
本发明属于机器人的技术领域，具体涉及一种道路环境的激光雷达和相机之间外参在线标定方法。
背景技术
随着汽车技术和传感器行业的进步，人们对汽车驾驶自动化的需求更高，因而也增强了自动驾驶应用于人们日常生活领域的不断研究。自动驾驶技术的实现目前最大的难点就是对鲁棒性和可维护性的提高，一个完整的自动驾驶系统需要多传感器的协同融合，相比其他直接测量车辆运动信息的传感器，激光雷达和相机可以对周边环境进行感知，分别提供含有深度信息的点云和含有稠密纹理的图像，其采集信息的原理使它们在原始数据上具有每帧独立的特点，有着无误差的累积、便于状态估计的优点。融合数据的进行离不开坐标转换，频繁的坐标转换则离不开对外参的准确估计。
目前已经有大量的研究都在尝试解决激光雷达和相机之间的标定问题，如专利申请号CN202010084392.X的发明专利公开了一种基于球体标志物的标定方法，通过利用同时刻的相机拍摄球体标志物单帧图像和激光雷达扫描球体标志物的点云数据，得到球体标志物的球心在相机坐标系下的二维坐标和激光雷达坐标系下的三维坐标，从而组成一对相互对应的2D-3D位置数据对，调节所述球体标志物位姿，获得至少四对相互对应的2D-3D位置数据对，由此对激光雷达坐标系和相机坐标系的转换关系进行求解。但是这样的标定方式需要提前固定目标物体，要求较高，不适用于外参实时监测估计问题。专利申请号CN201810426821.X的发明专利公开了一种基于激光雷达和相机数据边缘的在线标定方法，该方法通过离线标定的外参将激光点云数据的边缘提取结果和图像边缘关联，利用两种传感器的信息对某一扫描物进行综合分析，优化激光和相机的外参，但是自动驾驶的运行范围覆盖整个城市区域，城市的环境复杂多变，动态物体多，仅依靠扫描物边缘的关联方式鲁棒性不高，没有考虑到道路上的其它动态物体的干扰，以及自动驾驶系统对算力和稳定性的要求。
因此现有针对道路环境的在线标定方法仍然存在缺陷。
发明内容
为了解决现有机器人应用中存在的上述问题，提供一种道路环境的激光雷达和相机之间外参在线标定方法，利用道路环境的语义信息进行在线标定。
为了达到上述发明目的，本发明采用以下技术方案：一种道路环境的激光雷达和相机之间外参在线标定方法，包括以下步骤：
步骤一、对采集到的道路环境语义信息在激光雷达点云分割结果、相机的图像检测结果中的表示方式和检测精度进行分析，得到分析结果；步骤二、根据棋盘格标志物对激光雷达和相机之间的外参进行离线标定，作为在线标定的外参初始值；
步骤三、利用分析结果、外参初始值来构建相机和激光雷达数据2D-3D的关联关系；
步骤四、结合表示方式、关联关系使用误差构建方法，获得非线性优化的优化目标；
步骤五、进行后端优化，维护一个帧数固定的滑动窗口，每次优化通过激光雷达位姿构建帧间的相互投影，通过重投影对每帧稀疏点云进行补充，使用步骤四设计的误差进行每个点的误差计算，实现帧间外参约束，同时通过最小化误差的非线性优化方式优化多帧外参。
进一步的，所述步骤一中的道路环境语义信息为通过上游感知算法提供的车道线、标牌和灯杆信息。
更进一步的，所述步骤一具体为：
S11、对输入的道路环境语义信息进行分析，结合物体在实际场景中的规律，将道路环境语义信息按照点、线、面特征三个选择进行表示方式定义，定义道路环境语义信息在图像检测中表示为像素级的语义连通块，在点云分割中表示为带有标注的散点；
S12、对道路环境语义信息在激光雷达坐标下深度值设置阈值，利用阈值筛除因距离过远导致检测质量不高的语义信息；基于道路环境语义信息中的标牌、灯杆在点云分割结果中会错检测，因此将标牌和灯杆作为一类，车道线作为一类，将两类分别进行关联，提高检测精度。
更进一步的，所述步骤二具体为，在车辆出发前，利用已知真实图案尺寸的棋盘图案平板，从激光雷达点云中自动提取棋盘图案平板的中心点和法向量，由相机和激光雷达的外参得到图像和点云中对应的特征点，获得的精确的点对应关系，通过非线性优化原理，得到最小化点到点投影误差所对应的外参模型，将外参模型离线标定的外参结果作为在线标定的外参初始值。
更进一步的，所述外参模型为此时激光雷达坐标系和相机坐标系之间旋转和平移六个维度的数据。
更进一步的，所述步骤三具体为：
S31、采用关联方法进行2D-3D的关联，由于步骤一得到的点云是散点，图像是像素级的语义连通块，结合步骤二的外参初始值，将3D的散点投影到2D的图像平面上，获得每个3D点在像素平面上的2D投影点坐标；
S32、对每个2D投影点计算其最近的感知区域，实现3D点到2D区域的关联。
更进一步的，所述步骤S31中采用不同模态之间的匹配的关联方法，基于步骤一中分析结果可知，图像为语义连通块，点云为散点，语义连通块与散点为不同模态的表示形式。
更进一步的，所述步骤四具体为：
S41、对道路环境语义信息中的标牌和灯杆、车道线两类，对每个3D点分别计算其2D投影点到最近的同类的感知区域的距离值作为径直距离误差；
S42、对标牌和灯杆使用指数距离误差；具体是读取落图像非感知区域，即背景区域的3D投影点到感知区域的最小距离值，读取落在感知区域的投影点到感知区域的最小距离值，指数距离误差采用指数函数；同时利用边界处误差连接背景区域、感知区域两部分；
S43、对面积大于预设值的标牌区域计算对极约束误差；具体是从该大面积标牌提取区域中提取特征点，基于光流法做前后帧之间的匹配，每个点匹配对都需要符合对极约束，以对极约束公式值作为对极约束误差。
更进一步的，所述步骤S43中的预设值为20像素平方。
更进一步的，所述步骤五具体为：维护一个帧数固定的滑动窗口，利用雷达位姿将不同帧的点云进行坐标转换，转换到滑动窗口内其他帧坐标系下，完成帧间点云的互相补充；对所有点进行3D-2D的投影，并计算误差，实现了帧间的相互约束；每次优化同时优化滑动窗口内帧数固定的外参，新加入滑动窗口内的每一帧的外参初始值是上一帧经过一次优化的结果。
采用本发明技术方案，其有益效果为：本方法利用利用道路上相对稳定的车道线、标牌、灯杆三类类别的语义信息进行道路环境的激光雷达和相机外参的在线标定，既保证了提取特征的静态性、可维护性，相比于传统的利用道路环境中全部数据信息的提取特征的方法，有效减少了计算量，也保证了算法轻量化；而且车道线在视角内横向分布均匀，灯杆、标牌的纵向约束较强，保证了特征在六自由度的约束性；主要根据不同类别的语义信息误差设计点到区域和点到点的误差，同时通过激光雷达位姿，将帧数大小固定的滑动窗口内的多帧点云块和感知区域进行相互投影关联，构建同样的误差项，同时优化滑动窗口中多帧的外参，保证了外参帧间变换的光滑性和准确性。
附图说明
图1是基于道路语义信息的激光雷达和相机外参在线标定算法流程图；
图2是图像检测中漏检测的示意图；
图3a是3D点云投影到成像平面效果；
图3b是根据图像检测结果生成的二值图；
图4是指数距离误差需要的语义区域内外距离势能图；
图5a是仅保留标牌部分像素的mask；
图5b是仅对标牌部分提取特征点；
图5c是前后帧匹配点对横向连接线示意图；
图5d是前后帧匹配点对纵向连接线示意图；
图6是优化器设计方案示意图；
图7是从六个自由度对外参收敛方向进行评估效果。
具体实施方式
结合附图对本发明具体方案具体实施例作进一步的阐述，使得本技术方案更加清楚、明白。本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
如图1-7所示，本实施例涉及一种道路环境的激光雷达和相机之间外参在线标定方法，利用道路环境的语义信息，主要应用于实际场景中。以L4卡车为平台，配置一台Velodyne HDL-32线旋转式激光雷达，垂直视角40°，可探测最远80m的障碍物，和一台PointGrey彩色单目相机，通过支架分别与车辆连接，均以10Hz频率采集数据，并事先通过硬件做好数据同步，预处理点云的运动补偿，数据环境为北美地区公路，以平均速度50km/h行驶。外参的误差来源于卡车车体运行时传感器支架的抖动，符合刚体运动。
本方法实现过程如下。
步骤一、本方法采用32线激光雷达语义提取的结果和单目相机语义提取结果，欲利用两种传感器获得的语义信息构建3D-2D对应关系，从而计算出激光雷达和相机之间的外参值。考虑到动态环境中的稳定的静态物体信息更有利于构建正确的3D-2D对应关系，本方法选择使用标牌、车道线、灯杆三类语义信息。交通标牌在相对复杂的路口环境出现频繁，特殊的图案设计让其像素点更有利用价值，设计时往往颜色鲜明，形状主要有矩形、圆形、三角形，易于提取。由于标牌的重复性相比车道线和灯杆会低很多，且主要出现在马路两侧和路口复杂路况，补充了语义信息在纵向的约束，是十分重要的语义特征。车道线在城市环境中出现频繁，简约的形状对车辆运行和传感器对齐起到重要作用。同时，车道线集中在图片的下半部分，在横向上有较好分布，但是纵向的约束较少。灯杆相比之下出现频繁且在纵向上有很好的分布，所以也是重要的语义信息。
对于3D点云的实时语义处理技术按照表示方式可以分为两类：表示为散点的点云语义分割和表示为长方体3D检测框的点云语义检测。考虑到3D检测框形式的语义信息损失了物体的轮廓结构，仅能对检测框的8个角点寻找匹配的2D语义信息，且由于单帧点云数据视角有限的问题，检测框的尺寸与实际物体情况难免存在偏差，这样的检测框角点关联是不够准确的。另外，检测框提供的旋转角信息难以利用于与单目相机的关联，因为单目相机语义处理无法包含物体姿态信息。相比之下，散点形式的点云语义分割结果保留了物体的轮廓信息，所有的点都可以用于与2D信息构建关联，且直接利用了雷达原始扫描结果，点信息的准确率更高。因此本发明图像处理框架选用实时点云语义分割结果作为上游输入，选择兼顾实时性和精度的无近邻开源分割算法PolarNet，设计3D-2D关联方式时，将对每个3D点构建关联。
因此激光雷达语义信息表示为：除了每帧在局部坐标系下的点云的每个点三维信息、反射强度以外，每个点还有一个语义标注，表示这个点属于某种语义物体，分类包括了车辆、行人、标牌、灯杆、地面、植被、栏杆等等各种道路环境中的物体。然后，地面点云再根据反射强度提取虚线车道线角点和实线车道线点列。
由于采用的是实时分割，仅基于单帧数据，难免准确率不够理想，比较常见的问题是标牌和支撑标牌的杆子之间的错检测，按照事先标注的原则，应该标牌是一类，杆子和灯杆属于一类，有不同语义标注，但是实际偶尔会出现，支撑的杆子被认为是标牌，标牌的下半部分靠近杆子的地方被打上标牌语义标注。这些错检测会对误差设计和优化效果有较大影响，设计误差时，可以考虑将标牌和灯杆放在一起做关联；而车道线则不会混淆检测，可以单独做关联，提高匹配精度。
现有的图像语义提取方法按照表示形式分类可以分为语义检测和语义分割，分别提供最小包围长方形2D检测框形式和散点形式的语义信息。点云语义处理选用了表示形式为散点的点云语义信息，所以需要每一个3D点计算一个对应的2D语义信息。对于检测框形式的2D语义信息，检测框通常是大于物体实际所占像素面积的。如果两个物体实际空间中距离太近，会导致成像平面上两个检测框有交集区域，那么投影到交集区域的3D点无法判断应该对应哪一个检测框。同时，点云数据稀疏杂乱，物体边缘有一些异常扫描点应该被剔除，但检测框损失了物体轮廓信息，无法分辨出异常点。像素级理解图像的语义分割技术保留了物体的轮廓信息，每一个3D点都可以映射到唯一的语义像素点，因此本发明选用实时图像语义分割结果作为上游输入。本发明使用的实时图像语义分割技术开源框架——基于FCN的实时图像语义分割技术Tusimple-DUC。
因此相机语义信息表示形式分别如下：
(1)图像车道线的实时检测主要是利用鲜明的颜色将车道线像素抠出，无论是实线还是虚线的车道线都以像素点为单位，检测是否属于检测区域，得到多个语义连通块，实际语义连通块边缘往往是不平滑的，也不一定符合四边形，尤其是远处的虚线车道线块，像素面积很小，往往是不规则多边形。
(2)在图片中灯杆往往有一定宽度变化，占多个像素块，因此还是用像素级别的语义连通块表示，逐个像素点读取语义标注。
(3)图像语义的标牌检测主要是利用特殊的形状和颜色从复杂的背景环境中抠出属于标牌的像素，然后拟合出最小外接矩阵，保存矩阵四个角点像素坐标。
对于图像在线语义检测技术水平，可以提取一些更具体的特征，但是考虑到雷达在线检测误差较大，且有边缘膨胀问题，由于本实施例仅对图像提取语义区域，同样因为仅基于当前一帧的图像数据，准确率也有待提高。影响最大的问题是漏检测，当相机距离灯杆或标牌较远的时候，容易产生漏检，如图2中右侧远处标牌有点云扫描结果，并通过点云分割技术被分为标签为标牌的语义信息，但由于在成像平面上占的像素面积过小，而被图像检测技术漏检。不同的物体在成像平面上相距偏近时也会有因遮挡只检出一部分的情况，漏检测对后续3D-2D的关联正确性会有较大干扰，可以通过投影距离设置阈值，即通过对语义信息在激光雷达坐标下深度值设置阈值，避免漏检测带来的干扰。同时，远处的虚线车道线也会因为虚线块之间像素距离太近而对预测部分进行误提取。设计误差时需要考虑检测质量，降低错误检测带来的负面影响。
最终得到当前道路环境的分析结果：存在的各个标牌、灯杆、车道线，车道线包括了虚线车道线和实线车道线。
步骤二：标定的关键在于从稀疏的雷达点云中建立准确的2D-3D对应关系，离线标定通过提前放置已知尺寸的黑白棋盘格，由于颜色十分鲜明，图像和点云均可准确提取格子角点，因为已知棋盘格尺寸、角点个数，可以得到多对2D-3D的准确匹配点，通过最小化角点之间之间误差：
Pc＝RPL+t
Figure BDA0003712313550000081
loss＝(x1-x2)2+(y1-2)2
其中PL某个点云提取的3D角点，通过激光雷达和相机之间外参R,t得到相机坐标系下坐标Pc，转换为归一化坐标后，通过相机内参，得到在相机成像平面上像素坐标(x1,y1)，计算与对应图像提取的2D角点(x2，y2)的欧氏距离的平方，作为误差，得到使误差最小的外参R,t模型。
步骤三：利用步骤二离线标定得到的外参，将点云提取的语义信息和图像语义信息进行关联。首先通过离线标定出来的外参作为在线标定的外参初始值，将3D点投影到图像平面上，对于点云里的每一个3D点PL是对于扫描时刻的雷达坐标系，可以通过相机外参R,t转换到相机坐标系下得到点P’:
P′＝RPL+t
然后运用相机内参K，通过单目成像原理，反推像素坐标(u,v):
Figure BDA0003712313550000091
将标牌、灯杆、车道线的点云提取结果全部投影到图像上，如图3(a)，然后寻找最近的感知连通区域。因为离线标定的外参误差不会特别大，每类语义信息在一张图上分布也比较分散，这样就近的点到区域的关联一般没有错关联。通过对图像感知连通区域的提取，生成一张关于语义的二值图，如图3(b)，其中白色区域是感知区域，像素值0，黑色区域为非感知区域，像素值非零，可以通过计算图像中每一个非零点距离离自己最近的零点的距离，得到一张关于每个像素点的距离势能图，来实现投影点与像素区域块的关联，完成构建相机和激光雷达数据2D-3D的关联关系。
步骤四：本实施例提出三种误差方式：
(1)生成距离势能图后，每一个点云中的3D点投影后得到像素值(u,v)，都可以直接去距离势能图上读取到最近的感知区域的距离P(u,v)，将这个径直距离值定义为径直距离误差，其优化目标很直接，就是让所有的投影点落在感知区域内，让距离之和尽可能小，每个投影点可构建一个一维误差。
(2)径直距离对投影到背景区域的点计算离其最近的感知区域点的距离，对于投影到感知区域内部的点，误差为零。这样的方法对于细窄的车道线和灯杆可以取得较好的效果，但是对于有一定面积的标牌，即使是外参有扰动的情况下，大多数的点也可以落在感知区域内，这部分的误差值均为0，是一个零空间，对优化没有作用。仅依靠边缘小部分落在感知区域外的点来减少误差，会有局部最优解不唯一的性质，可能整块标牌的投影略向上或略向左，总的误差值不变。所以考虑设计一个充分利用感知区域内点的指数距离误差：对投影在背景区域的点，读取点到感知区域最小距离值，误差取为指数函数，底数大于1，径直距离值越大，误差越大，且增长速度快，对于投影在感知区域的点，读取点到背景区域的最小距离值，误差取为指数函数，底数为0～1，这样径直距离误差值越大，误差越小，边界处误差为1平滑连接两部分。
Figure BDA0003712313550000101
其中L表示误差，p是标牌投影到感知区域内部的点，m(p)是读取到的点到背景区域的最小距离，α为指数函数底数是一个0～1的数，q是标牌投影到感知区域外的点，n(q)是读取到的点到感知区域的最小距离，β为指数函数底数是一个大于1的数。因此，需要生成两张势能图，如图4，根据投影位置是否属于感知区域，去不同的势能图上读取距离值。
(3)无论是径直距离误差还是指数距离误差，都是点到区域的弱约束，没有严格一一对应的关系，尝试运用一些其他的图像像素信息提取一些点到点的对应关系，和外参建立联系。交通标牌在图像中面积较大，且图案简约分明，不同标牌图案区分度大，易于提取特征点，尝试仅使用标牌矩形框内的像素，对其提取FAST特征点，基于光流法做前后帧之间的匹配，因为已知提取的都是标牌点，符合两个平面之间映射关系模型，可以根据基础矩阵和单应矩阵筛除误匹配。首先仅运用标牌图像检测结果，生成一个掩码，如图5a，与图片叠加，仅保留图像中标牌内部的像素。因为对极约束对像素精度要求极高，筛掉一些离得过远，图片中面积过小的标牌，仅保留提取出的特征点够多的关键帧，如图5b，经过测试，即使是仅保留小部分像素提取特征点，在标牌距离合适的时候，依然可以得到150-300对筛选后的匹配对。如图5c、图5d，得到了像素点匹配点对后，对于每一个前后帧匹配点对都应该符合对极约束:
Figure BDA0003712313550000102
其中K表示相机内参，R,t是相机k和k+1帧之间的变换，p1和p2是一对匹配点对的像素坐标。系统的输入信息中有相对准确的雷达帧间位姿，可以通过两帧外参得到帧间的相机位姿变换，本发明将这个对极约束公式的值作为对极约束误差，应通过优化尽可能接近0。
步骤五：非线性优化将所有待优化的变量放在一个状态变量中：
χ＝{x1，x2，…，xn}＝{(R1，t1)，(R2，t2)，…，(Rn，tn)}
每一次观测都有Zk，j＝h(Pj，Xk)+Vk，j，其中Pj表示每一个3D点，Vk，j表示噪声项，假设噪声符合高斯分布，根据其概率密度函数展开形式，可以得到对状态的最大似然估计：
Figure BDA0003712313550000111
该式等价于最小化噪声项的平方，也就是一个最小二乘问题。整个问题的目标函数由多个如上的误差平方和组成，整个状态变量维度很高，但是每个误差项都只与一到两个状态变量有关，如径直距离误差和指数距离误差只和当前帧外参有关，对极约束误差和前后两帧外参有关，是一个小规模的约束，所以只需要把单个误差项的小雅可比矩阵放到整体雅可比矩阵的对应部分。整体误差的增量方程求解是稀疏的，所以即使规模很大，也是可以求解的。本发明将使用Ceres优化库，这是一个常用的基于图优化的优化算法库，可以自主定义参数块(每个误差项对应的优化变量)、最小二乘误差项、雅可比矩阵、求解过程参数。
在后端优化中，会维护一个固定大小的滑动窗口，每一帧相机保存为一个Frame类，里面包括了当前帧的激光雷达位姿、雷达到相机的外参、相机内参、雷达分割结果中属于车道线、标牌、灯杆的3D点云和图像分割得到的径直距离误差势能图。每次的优化通过激光雷达位姿、雷达到相机的外参(优化变量)、相机内参构建帧间的相互投影，即进行当前3D-2D的投影，相当于对每帧稀疏点云的补充，通过不同的误差设计，达到优化目标的目的。
在优化器设计过程中，本实施例考虑：(1)当滑动窗口大小设计为10时，互相投影的点数往往会有2-3万这个量级，也就是有2-3万个误差，每个误差对应1*70的雅可比矩阵，优化次数又设置为50会有比较好的优化效果，这样的计算量无法保证实时的优化；其次以实验车辆运行速度，通常只有之前五帧的语义还会投影到当前帧成像平面上，因此，本发明滑动窗口大小设计为5。(2)相邻帧之间的关联如果只是帧间的投影，那么在优化变量数值上没有相互的约束，会有相邻帧变化量之间无限制的缺点。
因此本实施例设计的优化器：每次优化同时优化滑动窗口内5帧的外参，新加入滑动窗口内的一帧的外参初始值是上一帧经过一次优化的结果，如图6。这样的优化设计既保证了合理性又给了帧间外参在数值上的一个弱约束，计算量相对较小可以保证实时。
由于车辆抖动无规律故无法获得真值，因此本实施例中评估的方式为：手动对外参初始值增加噪声，按照抖动误差模型，误差主要集中在x,y方向，通过优化，应该要迅速向正确的方向收敛，并在离线标定出的外参值周围浮动，如果有这样的收敛趋势且浮动范围符合误差量级，就说明优化是有效的，并对六自由度收敛情况进行观察分析，如图7，六个维度基本都可以保证在noise和真值之间浮动，x,y,z保持在真值附近±10cm浮动，roll,yaw,pitch保持在±0.1rad，根据传感器安装架抖动容差，这样的精度符合实际误差范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (10)

1.一种道路环境的激光雷达和相机之间外参在线标定方法，其特征在于：包括以下步骤，
步骤一、对采集到的道路环境语义信息在激光雷达点云分割结果、相机的图像检测结果中的表示方式和检测精度进行分析，得到分析结果；
步骤二、根据棋盘格标志物对激光雷达和相机之间的外参进行离线标定，作为在线标定的外参初始值；
步骤三、利用分析结果、外参初始值来构建相机和激光雷达数据2D-3D的关联关系；
步骤四、结合表示方式、关联关系使用误差构建方法，获得非线性优化的优化目标；
步骤五、进行后端优化，维护一个帧数固定的滑动窗口，每次优化通过激光雷达位姿构建帧间的相互投影，通过重投影对每帧稀疏点云进行补充，使用步骤四设计的误差进行每个点的误差计算，实现帧间外参约束，同时通过最小化误差的非线性优化方式优化多帧外参。
2.根据权利要求1所述的一种道路环境的激光雷达和相机之间外参在线标定方法，其特征在于：所述步骤一中的道路环境语义信息为通过上游感知算法提供的车道线、标牌和灯杆信息。
3.根据权利要求2所述的一种道路环境的激光雷达和相机之间外参在线标定方法，其特征在于：所述步骤一具体为，
S11、对输入的道路环境语义信息进行分析，结合物体在实际场景中的规律，将道路环境语义信息按照点、线、面特征三个选择进行表示方式定义，定义道路环境语义信息在图像检测中表示为像素级的语义连通块，在点云分割中表示为带有标注的散点；
S12、对道路环境语义信息在激光雷达坐标下深度值设置阈值，利用阈值筛除因距离过远导致检测质量不高的语义信息；基于道路环境语义信息中的标牌、灯杆在点云分割结果中会错检测，因此将标牌和灯杆作为一类，车道线作为一类，将两类分别进行关联，提高检测精度。
4.根据权利要求3所述的一种道路环境的激光雷达和相机之间外参在线标定方法，其特征在于：所述步骤二具体为，
在车辆出发前，利用已知真实图案尺寸的棋盘图案平板，从激光雷达点云中自动提取棋盘图案平板的中心点和法向量，由相机和激光雷达的外参得到图像和点云中对应的特征点，获得的精确的点对应关系，通过非线性优化原理，得到最小化点到点投影误差所对应的外参模型，将外参模型离线标定的外参结果作为在线标定的外参初始值。
5.根据权利要求3所述的一种道路环境的激光雷达和相机之间外参在线标定方法，其特征在于：所述外参模型即此时激光雷达坐标系和相机坐标系之间旋转和平移六个维度的数据。
6.根据权利要求4所述的一种道路环境的激光雷达和相机之间外参在线标定方法，其特征在于：所述步骤三具体为，
S31、采用关联方法进行2D-3D的关联，由于步骤一得到的点云是散点，图像是像素级的语义连通块，结合步骤二的外参初始值，将3D的散点投影到2D的图像平面上，获得每个3D点在像素平面上的2D投影点坐标；
S32、对每个2D投影点计算其最近的感知区域，实现3D点到2D区域的关联。
7.根据权利要求6所述的一种道路环境的激光雷达和相机之间外参在线标定方法，其特征在于：所述步骤S31中采用不同模态之间的匹配的关联方法，基于步骤一中分析结果可知，图像为语义连通块，点云为散点，语义连通块与散点为不同模态的表示形式。
8.根据权利要求6或7所述的一种道路环境的激光雷达和相机之间外参在线标定方法，其特征在于：所述步骤四具体为，
S41、对道路环境语义信息中的标牌和灯杆、车道线两类，对每个3D点分别计算其2D投影点到最近的同类的感知区域的距离值作为径直距离误差；
S42、对标牌和灯杆使用指数距离误差；具体是读取落在背景区域的3D投影点到感知区域的最小距离值，读取落在感知区域的投影点到感知区域的最小距离值，指数距离误差采用指数函数；同时利用边界处误差连接背景区域、感知区域两部分；
S43、对面积大于预设值的标牌区域计算对极约束误差；具体是从该大面积标牌提取区域中提取特征点，基于光流法做前后帧之间的匹配，每个点匹配对都需要符合对极约束，以对极约束公式值作为对极约束误差。
9.根据权利要求8所述的一种道路环境的激光雷达和相机之间外参在线标定方法，其特征在于：所述步骤S43中的预设值为20像素平方。
10.根据权利要求8所述的一种道路环境的激光雷达和相机之间外参在线标定方法，其特征在于：所述步骤五具体为，
维护一个帧数固定的滑动窗口，利用雷达位姿将不同帧的点云进行坐标转换，转换到滑动窗口内其他帧坐标系下，完成帧间点云的互相补充；对所有点进行3D-2D的投影，并计算误差，实现了帧间的相互约束；每次优化同时优化滑动窗口内帧数固定的外参，新加入滑动窗口内的每一帧的外参初始值是上一帧经过一次优化的结果。
CN202210729239.7A 2022-06-24 2022-06-24 一种道路环境的激光雷达和相机之间外参在线标定方法 Pending CN115100292A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210729239.7A CN115100292A (zh) 2022-06-24 2022-06-24 一种道路环境的激光雷达和相机之间外参在线标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210729239.7A CN115100292A (zh) 2022-06-24 2022-06-24 一种道路环境的激光雷达和相机之间外参在线标定方法

Publications (1)

Publication Number Publication Date
CN115100292A true CN115100292A (zh) 2022-09-23

Family

ID=83292135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210729239.7A Pending CN115100292A (zh) 2022-06-24 2022-06-24 一种道路环境的激光雷达和相机之间外参在线标定方法

Country Status (1)

Country Link
CN (1) CN115100292A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359130A (zh) * 2022-10-19 2022-11-18 北京格镭信息科技有限公司 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN116152333A (zh) * 2023-04-17 2023-05-23 天翼交通科技有限公司 一种相机外参标定的方法、装置、设备及介质
CN116758063A (zh) * 2023-08-11 2023-09-15 南京航空航天大学 一种基于图像语义分割的工件尺寸检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359130A (zh) * 2022-10-19 2022-11-18 北京格镭信息科技有限公司 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN116152333A (zh) * 2023-04-17 2023-05-23 天翼交通科技有限公司 一种相机外参标定的方法、装置、设备及介质
CN116152333B (zh) * 2023-04-17 2023-09-01 天翼交通科技有限公司 一种相机外参标定的方法、装置、设备及介质
CN116758063A (zh) * 2023-08-11 2023-09-15 南京航空航天大学 一种基于图像语义分割的工件尺寸检测方法
CN116758063B (zh) * 2023-08-11 2023-11-07 南京航空航天大学 一种基于图像语义分割的工件尺寸检测方法

Similar Documents

Publication Publication Date Title
CN111462135B (zh) 基于视觉slam与二维语义分割的语义建图方法
CN106651953B (zh) 一种基于交通指示牌的车辆位姿估计方法
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
Van Der Mark et al. Real-time dense stereo for intelligent vehicles
CN115100292A (zh) 一种道路环境的激光雷达和相机之间外参在线标定方法
CN105825173B (zh) 通用道路和车道检测系统与方法
CN110458161B (zh) 一种结合深度学习的移动机器人门牌定位方法
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
Li et al. Automatic registration of panoramic image sequence and mobile laser scanning data using semantic features
CN109270534A (zh) 一种智能车激光传感器与相机在线标定方法
CN115372958A (zh) 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法
CN111882612A (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
Nedevschi et al. A sensor for urban driving assistance systems based on dense stereovision
CN103814306A (zh) 深度测量质量增强
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
Lyu et al. An interactive LiDAR to camera calibration
CN111640158A (zh) 基于对应掩模的端到端的摄像头与激光雷达外参标定方法
Xu et al. LiDAR–camera calibration method based on ranging statistical characteristics and improved RANSAC algorithm
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN113487631A (zh) 基于lego-loam的可调式大角度探测感知及控制方法
CN108846363A (zh) 一种基于发散式扫描的分区域车底阴影检测方法
CN116152342A (zh) 一种基于梯度的路牌配准定位方法
CN115147344A (zh) 一种增强现实辅助汽车维修中的零件三维检测与跟踪方法
CN111444768A (zh) 一种用于反光地面场景的微小障碍物发现方法
CN111964681B (zh) 一种巡检机器人的实时定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination