CN117496313A - 基于无人驾驶技术的赛车多传感器数据融合实现方法 - Google Patents

基于无人驾驶技术的赛车多传感器数据融合实现方法 Download PDF

Info

Publication number
CN117496313A
CN117496313A CN202311351475.0A CN202311351475A CN117496313A CN 117496313 A CN117496313 A CN 117496313A CN 202311351475 A CN202311351475 A CN 202311351475A CN 117496313 A CN117496313 A CN 117496313A
Authority
CN
China
Prior art keywords
cone
camera
laser radar
coordinate system
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311351475.0A
Other languages
English (en)
Inventor
兰建平
魏小源
董秀娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Automotive Technology
Original Assignee
Hubei University of Automotive Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Automotive Technology filed Critical Hubei University of Automotive Technology
Priority to CN202311351475.0A priority Critical patent/CN117496313A/zh
Publication of CN117496313A publication Critical patent/CN117496313A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种基于无人驾驶技术的赛车多传感器数据融合实现方法，通过激光雷达及相机联合标定以进行锥桶检测，具体包括以下步骤：1)针对激光雷达与摄像头进行时空标定；2)将激光雷达锥桶检测结果投影至对应的2D图像；3)将投影至2D图像的激光雷达锥桶检测结果与相机摄像头锥桶检测结果进行数据匹配；4)剔除未匹配的单传感器检测结果，激光雷达锥桶检测结果决定锥桶的准确位置信息，摄像头检测结果决定锥桶的颜色信息。本发明采用上述方法，实现了无人驾驶赛车上激光雷达对锥桶的3D位置检测数据及相机对锥桶的2D颜色检测数据的融合。

Description

基于无人驾驶技术的赛车多传感器数据融合实现方法
技术领域
本发明涉及无人驾驶赛车的数据检测及融合技术领域，具体的是一种基于无人驾驶技术的赛车多传感器数据融合实现方法。
背景技术
目前，中国大学生无人驾驶方程式大赛(FSAC)是中国大学生方程式汽车大赛四大赛事之一，参赛队员由汽车、计算机、机械等相关专业在校大学生组成，按照赛事规则和赛车制造标准自行设计和制造一辆能够实现无人驾驶功能的赛车进行比赛。该赛事的参赛队伍普遍都使用相机、激光雷达作为环境感知系统的重要传感器。
针对该赛项制造出的无人驾驶方程式赛车需要具备良好的环境感知、定位、路径规划以及车辆控制能力，环境感知在其中起到关键作用，同时也是实现无人驾驶的基础。环境感知在系统利用传感器检测周围障碍物为路径规划算法提供有效、稳定的障碍物属性。在FSAC比赛的动态赛项中，赛车需要在三个不同赛道实现无人驾驶功能，分别是直线加速、八字环绕和高速避障。三个不同赛道中均使用小锥桶和大锥桶形成赛道边界，大、小锥桶的物理尺寸分别为20cm*20cm*30cm和35cm*35cm*70cm，其中小锥桶具有红色、蓝色和黄色三种不同的颜色，大锥桶均为黄色。
相比于相机而言，激光雷达不受外部光照影响，能够在强光、弱光等环境下稳定工作，能够获得周围环境中物体的形状、深度，但其扫描不出物体的具体纹理、颜色等信息，不具有判断锥桶颜色的能力。相对于激光雷达而言，RGB相机拍摄出的图片具有三个颜色通道，能够捕捉物体纹理、颜色等信息，但其在强光、弱光等环境下不能稳定工作。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有的激光雷达锥桶检测不能获取准确的锥桶颜色信息；
(2)现有基于2D视觉(图像数据)进行锥桶检测的方法不能获取准确的锥桶位置信息；
(3)现有技术尚没有将激光雷达与相机融合进行锥桶检测的方法或装置，因此现有技术不能很好地对激光雷达与相机进行联合标定；
(4)为提炼两种不同类型数据包含的环境信息特征，需将激光雷达与相机的两类检测数据进行融合，而激光雷达获取的数据为3D点云，相机获取的数据为2D像素，两者数据表达方式与内含的特征不一致，从而导致不易将这两类数据进行有效地融合；
(5)对激光雷达和相机的数据进行融合之前，需要对激光雷达与相机进行时间、空间上的联合标定，而联合标定误差会受单一传感器标定误差的影响，即激光雷达或相机传感器内参标定过程中产生的标定误差会影响到联合标定的准确性，形成累积误差，同时联合标定自身也会产生误差，最终导致联合标定误差较大；
(6)利用激光雷达检测锥桶，首先需要剔除地面点云。目前大多采用迭代拟合平面的方法，为保持一定地面检测精度，需要大量增加迭代次数，导致检测时间过长，检测效率降低。最终导致锥桶检测准确率与检测速度难以兼得。
发明内容
本发明所要解决的技术问题是提供一种基于无人驾驶技术的赛车多传感器数据融合实现方法，实现了无人驾驶赛车上激光雷达对锥桶的3D位置检测数据及相机对锥桶的2D颜色检测数据的融合。
为解决上述技术问题，本发明所采用的技术方案是：一种基于无人驾驶技术的赛车多传感器数据融合实现方法，通过激光雷达及相机联合标定以进行锥桶检测，具体包括以下步骤：
1)针对激光雷达与摄像头进行时空标定；
2)将激光雷达锥桶检测结果投影至对应的2D图像；
3)将投影至2D图像的激光雷达锥桶检测结果与相机摄像头锥桶检测结果进行数据匹配；
4)剔除未匹配的单传感器检测结果，激光雷达锥桶检测结果决定锥桶的准确位置信息，摄像头检测结果决定锥桶的颜色信息。
优选的方案中，所述步骤1)中时空标定流程包括：
1.1)首先接收基于点云的锥桶检测结果和基于图像的锥桶检测结果，结果中均包含对应数据的原始时间戳信息以及锥桶检测结果；
1.2)当图像锥桶检测结果数据到达时，将图像检测结果放入ImageObjs队列；
1.3)当点云锥桶检测结果到来时，直接进入时间同步模块，通过判断ImageObjs队列是否存有图像锥桶检测结果选择进入时间戳匹配或结束时间同步；
1.4)若队列中存有数据，则按照队列的先进先出原则比对两者数据时间戳，寻找满足时间阈值的最近邻数据，若找到最近邻数据则认为匹配成功，同时删除小于当前匹配时间戳的队列数据；
1.5)将匹配成功的点云、图像锥桶检测结果作为时间同步后的数据传入融合模块。
优选的方案中，还包括相机与激光雷达数据的空间同步，具体流程包括：
1)将相机坐标系设为基准坐标系；
2)将激光雷达坐标系通过变换矩阵(R|T)转换至相机坐标系。
优选的方案中，所述激光雷达坐标系向相机坐标系的转换具体包括：
1)激光雷达坐标系通过旋转平移变换矩阵转换至相机坐标系；
2)随后通过已完成标定的相机内参矩阵和相似三角形原理将三维的相机坐标系转换至二维像素坐标系。
优选的方案中，所述所述相机内参包括透视投影和仿射变换。
优选的方案中，所述相机与激光雷达数据采用匈牙利匹配算法进行融合，具体包括以下流程：
1)创建一个称为成本矩阵Mn×m，其中每个元素代表将n个激光雷达检测结果之一分配给m个图像锥桶检测结果之一的欧式距离，并令K＝min(n，m)；
2)对于矩阵的每一行，找到最小的元素，并将其从其行中的每个元素中减去；
3)在生成的矩阵中找到0元素。如果其行或列中没有0*，则标记为0*，并对矩阵中的每个元素重复此操作；
4)使用线条覆盖有0*的每一列，若覆盖了K列，则0*表示完整的唯一匹配集合，该情况下转到“完成”，否则转至步骤5)；
5)找到一个未覆盖的0并将其准备好，如果包含0*行中没有准备好的0′，则转至步骤6)，否则，用线条覆盖该行并找出包含0*的列，并继续以该方式进行操作，直到所有0元素均被线条覆盖为止，最后保存最小的未被线覆盖的值，并转至步骤6)；
6)构造更多的0元素，令Z0表示步骤5)中没有被线条覆盖的元素0′，令Z1表示Z0列中0*，令Z2表示Z1行中的元素0′，令Z＝{Z0,Z1,Z2}，将Z中0*标记为0，将Z中0′标记为0*，移除方阵中所有0′和线条，转到步骤4)；
7)将在步骤4中找到的最小值添加到每个覆盖行的每个元素中，并将其从每个未被线条覆盖列的每个元素中减去，返回步骤5)；
DONE：分配对由成本矩阵中加星号的零的位置指示。如果C(i，j)为0*，则将与行i关联的元素分配给与列j关联的元素。
优选的方案中，采用以下公式进行激光雷达坐标系向相机坐标系的转换：
式中：
(Xl,Yl,Zl)为激光雷达扫描点坐标；
(R|T)3x4为激光雷达坐标系到相机坐标系的外参变换矩阵；
(Xc,Yc,Zc)为激光雷达扫描点在相机坐标系下的坐标；
fx,fy为相机的焦距；
dx,dy分别为每个像素在图像平面x和y方向上的物理尺寸。
本发明所提供的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，通过采用上述结构，具有以下有益效果：
(1)将激光雷达和相机融合进行锥桶检测，能够有效提高锥桶检测的准确率，提升锥桶检测算法的鲁棒性；
(2)利用激光雷达进行锥桶检测不能获取准确的锥桶颜色信息，单相机锥桶检测的方法不能获取准确的锥桶位置信息，而融合激光雷达和相机的方法，既能获得锥桶的位置信息，亦能获得锥桶颜色特征信息，使环境感知更为细腻。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明的多传感器信息互补原理图。
图2为本发明的多传感器融合算法流程图。
图3为本发明的点云、图像检测结果时间同步流程图。
图4为本发明中激光雷达坐标系向相机坐标系变换的示意图。
图5为本发明激光雷达坐标系变换至相机坐标系流程图。
图6为本发明的多传感器数据融合流程图。
图7为本发明的相机与激光雷达的联合标定过程中的软件界面图。
图8为本发明激光雷达与相机联合标定后点云投影至图像效果图。
图9为本发明基于FRTD的图像锥桶检测结果图。
图10为本发明基于激光雷达的锥桶检测结果图。
图11为本发明基于相机与激光雷达融合的锥桶检测结果图。
图12为本发明数据融合目标匹配效果图。
具体实施方式
实施例1：
一种基于无人驾驶技术的赛车多传感器数据融合实现方法，如附图2所示，依靠激光雷达及相机联合标定以进行锥桶检测来实现，具体包括以下步骤：
1)针对激光雷达与摄像头进行时空标定；
2)将激光雷达锥桶检测结果投影至对应的2D图像；
3)将投影至2D图像的激光雷达锥桶检测结果与相机摄像头锥桶检测结果进行数据匹配；
4)剔除未匹配的单传感器检测结果，激光雷达锥桶检测结果决定锥桶的准确位置信息，摄像头检测结果决定锥桶的颜色信息。
下表及附图1阐述了纯相机、纯激光雷达以及相机与激光雷达融合在不同环境下的性能，因此，将激光雷达与相机融合进行锥桶检测将能够很好的提高锥桶检测准确率、提升传感系统感知颗粒度。
相机与激光雷达在不同环境下的性能对比
基于激光雷达和相机融合的赛道锥桶检测方法，获取基于激光雷达的锥桶检测结果以及基于相机的锥桶检测结果；将激光雷达的检测结果利用激光雷达与相机的联合标定外参矩阵投影至相机的像素坐标系下，确定基于相机的锥桶检测结果中锥桶的2D包围框；将2D包围框内的点云与基于相机的锥桶检测结果进行关联，保留正确的锥桶结果；融合锥桶的关联结果，得到锥桶的完整属性；循环处理，基于车辆运动实时获取最新的锥桶颜色、位置、类别信息，实时下发至规划算法进行可行使路径规划。惯性导航IMU的测量数据还将用于去除点云运动畸变。
实施例2：
传感器时空同步：
在多传感器融合技术中，传感器之间需要进行时空联合标定(时空同步)，在此之前各传感器都需要进行单独的标定(如相机与激光雷达)，单独标定完后才能进行联合标定。由于赛车在运动时，搭载的传感器也处于运动状态，所以需要多传感器时间同步机制确保后续融合模块接收到的图像、点云数据在时间上尽可能相近，保证融合的有效性。
由于BASLER acA1920-40gc相机不支持硬件触发曝光，故本申请针对相机与激光雷达的时间同步问题采用软件同步的方式将相机采集到的图像数据时间戳与激光雷达采集到的点云数据时间戳进行最近邻匹配。由于VLP-32线激光雷达默认设置RPM为600，即10HZ的数据采集频率，而BASLER acA1920-40gc拥有40HZ的数据采集频率，所以在时间同步模块中将激光雷达数据时间戳设为基准时间戳。
如附图3所示，所述步骤1)中时空标定流程包括：
1.1)首先接收基于点云的锥桶检测结果和基于图像的锥桶检测结果，结果中均包含对应数据的原始时间戳信息以及锥桶检测结果；
1.2)当图像锥桶检测结果数据到达时，将图像检测结果放入ImageObjs队列；
1.3)当点云锥桶检测结果到来时，直接进入时间同步模块，通过判断ImageObjs队列是否存有图像锥桶检测结果选择进入时间戳匹配或结束时间同步；
1.4)若队列中存有数据，则按照队列的先进先出原则比对两者数据时间戳，寻找满足时间阈值的最近邻数据，若找到最近邻数据则认为匹配成功，同时删除小于当前匹配时间戳的队列数据；
1.5)将匹配成功的点云、图像锥桶检测结果作为时间同步后的数据传入融合模块。
实施例3：
传感器空间同步：
无人驾驶车载传感器(如激光雷达、相机、惯性导航系统、毫米波雷达、超声波雷达等)基本都拥有自己的坐标系，所以在多传感器融合技术中，除了相机与激光雷达数据时间同步还需要对它们进行空间同步，即所有传感器的坐标系转换到一个基准坐标系(如车体坐标系)，如图4所示：
相机与激光雷达数据的空间同步，具体流程包括：
1)将相机坐标系设为基准坐标系；
2)将激光雷达坐标系通过变换矩阵(R|T)转换至相机坐标系。
本申请采用相机与激光雷达目标级融合方案，即激光雷达扫描点最终需要投影至像素坐标系，具体变换流程如附图5所示，所述激光雷达坐标系向相机坐标系的转换具体包括：
1)激光雷达坐标系通过旋转平移变换矩阵转换至相机坐标系；
2)随后通过已完成标定的相机内参(透视投影和仿射变换)矩阵和相似三角形原理将三维的相机坐标系转换至二维像素坐标系。
具体采用以下公式进行激光雷达坐标系向相机坐标系的转换：
式中：
(Xl,Yl,Zl)为激光雷达扫描点坐标；
(R|T)3x4为激光雷达坐标系到相机坐标系的外参变换矩阵；
(Xc,Yc,Zc)为激光雷达扫描点在相机坐标系下的坐标；
fx,fy为相机的焦距；
dx,dy分别为每个像素在图像平面x和y方向上的物理尺寸。
相机与激光雷达的联合标定使用日本开源autoware自动驾驶工具包中的联合标定工具包，标定过程如图7所示，激光雷达与相机联合标定后点云投影至图像效果如图8所示。
实施例4：
数据融合：
考虑到融合系统的实时性、相机与激光雷达数据结构等问题，本申请采用相机与激光雷达目标级融合方案，数据融合流程如附图6所示，
所述相机与激光雷达数据采用匈牙利匹配算法进行融合，具体包括以下流程：
1)创建一个称为成本矩阵Mn×m，其中每个元素代表将n个激光雷达检测结果之一分配给m个图像锥桶检测结果之一的欧式距离，并令K＝min(n，m)；
2)对于矩阵的每一行，找到最小的元素，并将其从其行中的每个元素中减去；
3)在生成的矩阵中找到0元素。如果其行或列中没有0*，则标记为0*，并对矩阵中的每个元素重复此操作；
4)使用线条覆盖有0*的每一列，若覆盖了K列，则0*表示完整的唯一匹配集合，该情况下转到“完成”，否则转至步骤5)；
5)找到一个未覆盖的0并将其准备好，如果包含0*行中没有准备好的0′，则转至步骤6)，否则，用线条覆盖该行并找出包含0*的列，并继续以该方式进行操作，直到所有0元素均被线条覆盖为止，最后保存最小的未被线覆盖的值，并转至步骤6)；
6)构造更多的0元素，令Z0表示步骤5)中没有被线条覆盖的元素0′，令Z1表示Z0列中0*，令Z2表示Z1行中的元素0′，令Z＝{Z0,Z1,Z2}，将Z中0*标记为0，将Z中0′标记为0*，移除方阵中所有0′和线条，转到步骤4)；
7)将在步骤4中找到的最小值添加到每个覆盖行的每个元素中，并将其从每个未被线条覆盖列的每个元素中减去，返回步骤5)；
DONE：分配对由成本矩阵中加星号的零的位置指示。如果C(i，j)为0*，则将与行i关联的元素分配给与列j关联的元素。
基于FRTD的图像锥桶检测结果如图9所示。
基于激光雷达的锥桶检测结果如图10所示。
基于相机与激光雷达融合的锥桶检测结果如图11所示，因为必须获取锥桶目标的位置信息，所以融合系统是以激光雷达锥桶检测结果为基准，从图中可以看出目标框内存在红色点云的目标即为融合后输出的最终目标。
数据融合目标匹配效果如图12所示，图中白色连线代表匹配情况。

Claims (7)

1.一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：通过激光雷达及相机联合标定以进行锥桶检测，具体包括以下步骤：
1)针对激光雷达与摄像头进行时空标定；
2)将激光雷达锥桶检测结果投影至对应的2D图像；
3)将投影至2D图像的激光雷达锥桶检测结果与相机摄像头锥桶检测结果进行数据匹配；
4)剔除未匹配的单传感器检测结果，激光雷达锥桶检测结果决定锥桶的准确位置信息，摄像头检测结果决定锥桶的颜色信息。
2.根据权利要求1所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：所述步骤1)中时空标定流程包括：
1.1)首先接收基于点云的锥桶检测结果和基于图像的锥桶检测结果，结果中均包含对应数据的原始时间戳信息以及锥桶检测结果；
1.2)当图像锥桶检测结果数据到达时，将图像检测结果放入ImageObjs队列；
1.3)当点云锥桶检测结果到来时，直接进入时间同步模块，通过判断ImageObjs队列是否存有图像锥桶检测结果选择进入时间戳匹配或结束时间同步；
1.4)若队列中存有数据，则按照队列的先进先出原则比对两者数据时间戳，寻找满足时间阈值的最近邻数据，若找到最近邻数据则认为匹配成功，同时删除小于当前匹配时间戳的队列数据；
1.5)将匹配成功的点云、图像锥桶检测结果作为时间同步后的数据传入融合模块。
3.根据权利要求1所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：还包括相机与激光雷达数据的空间同步，具体流程包括：
1)将相机坐标系设为基准坐标系；
2)将激光雷达坐标系通过变换矩阵(R|T)转换至相机坐标系。
4.根据权利要求3所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：所述激光雷达坐标系向相机坐标系的转换具体包括：
1)激光雷达坐标系通过旋转平移变换矩阵转换至相机坐标系；
2)随后通过已完成标定的相机内参矩阵和相似三角形原理将三维的相机坐标系转换至二维像素坐标系。
5.根据权利要求3所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：所述所述相机内参包括透视投影和仿射变换。
6.根据权利要求1所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：所述相机与激光雷达数据采用匈牙利匹配算法进行融合，具体包括以下流程：
1)创建一个称为成本矩阵Mn×m，其中每个元素代表将n个激光雷达检测结果之一分配给m个图像锥桶检测结果之一的欧式距离，并令K＝min(n，m)；
2)对于矩阵的每一行，找到最小的元素，并将其从其行中的每个元素中减去；
3)在生成的矩阵中找到0元素。如果其行或列中没有0*，则标记为0*，并对矩阵中的每个元素重复此操作；
4)使用线条覆盖有0*的每一列，若覆盖了K列，则0*表示完整的唯一匹配集合，该情况下转到“完成”，否则转至步骤5)；
5)找到一个未覆盖的0并将其准备好，如果包含0*行中没有准备好的0′，则转至步骤6)，否则，用线条覆盖该行并找出包含0*的列，并继续以该方式进行操作，直到所有0元素均被线条覆盖为止，最后保存最小的未被线覆盖的值，并转至步骤6)；
6)构造更多的0元素，令Z0表示步骤5)中没有被线条覆盖的元素0′，令Z1表示Z0列中0*，令Z2表示Z1行中的元素0′，令Z＝{Z0,Z1,Z2}，将Z中0*标记为0，将Z中0′标记为0*，移除方阵中所有0′和线条，转到步骤4)；
7)将在步骤4中找到的最小值添加到每个覆盖行的每个元素中，并将其从每个未被线条覆盖列的每个元素中减去，返回步骤5)；
DONE：分配对由成本矩阵中加星号的零的位置指示。如果C(i，j)为0*，则将与行i关联的元素分配给与列j关联的元素。
7.根据权利要求4所述的一种基于无人驾驶技术的赛车多传感器数据融合实现方法，其特征在于：采用以下公式进行激光雷达坐标系向相机坐标系的转换：
式中：
(Xl，Yl，Zl)为激光雷达扫描点坐标；
(R|T)3x4为激光雷达坐标系到相机坐标系的外参变换矩阵；
(Xc，Yc，Zc)为激光雷达扫描点在相机坐标系下的坐标；
fx，fy为相机的焦距；
dx，dy分别为每个像素在图像平面x和y方向上的物理尺寸。
CN202311351475.0A 2023-10-18 2023-10-18 基于无人驾驶技术的赛车多传感器数据融合实现方法 Pending CN117496313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311351475.0A CN117496313A (zh) 2023-10-18 2023-10-18 基于无人驾驶技术的赛车多传感器数据融合实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311351475.0A CN117496313A (zh) 2023-10-18 2023-10-18 基于无人驾驶技术的赛车多传感器数据融合实现方法

Publications (1)

Publication Number Publication Date
CN117496313A true CN117496313A (zh) 2024-02-02

Family

ID=89671655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311351475.0A Pending CN117496313A (zh) 2023-10-18 2023-10-18 基于无人驾驶技术的赛车多传感器数据融合实现方法

Country Status (1)

Country Link
CN (1) CN117496313A (zh)

Similar Documents

Publication Publication Date Title
Zhu et al. The multivehicle stereo event camera dataset: An event camera dataset for 3D perception
CN108229366B (zh) 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CA3028653C (en) Methods and systems for color point cloud generation
Varga et al. Super-sensor for 360-degree environment perception: Point cloud segmentation using image features
WO2020135446A1 (zh) 一种目标定位方法和装置、无人机
Zhu et al. Online camera-lidar calibration with sensor semantic information
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN111060924B (zh) 一种slam与目标跟踪方法
CN112577517A (zh) 一种多元定位传感器联合标定方法和系统
CN113160327A (zh) 一种点云补全的实现方法和系统
CN112017248B (zh) 一种基于点线特征的2d激光雷达相机多帧单步标定方法
Zhou et al. Developing and testing robust autonomy: The university of sydney campus data set
Borgmann et al. Data processing and recording using a versatile multi-sensor vehicle
CN114761997A (zh) 目标检测方法、终端设备和介质
WO2023164845A1 (zh) 三维重建方法、装置、系统及存储介质
Yang et al. Vision system of mobile robot combining binocular and depth cameras
Li et al. Durlar: A high-fidelity 128-channel lidar dataset with panoramic ambient and reflectivity imagery for multi-modal autonomous driving applications
CN113240813B (zh) 三维点云信息确定方法及装置
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
US20200033118A1 (en) Three-dimensional computer vision based on projected pattern of laser dots and geometric pattern matching
CN111724432B (zh) 物体三维检测方法和装置
KR20230003803A (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN113608234A (zh) 一种城市数据采集系统
Song et al. Calibration of event-based camera and 3d lidar
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination