CN113936198A - 低线束激光雷达与相机融合方法、存储介质及装置 - Google Patents

低线束激光雷达与相机融合方法、存储介质及装置 Download PDF

Info

Publication number
CN113936198A
CN113936198A CN202111385764.3A CN202111385764A CN113936198A CN 113936198 A CN113936198 A CN 113936198A CN 202111385764 A CN202111385764 A CN 202111385764A CN 113936198 A CN113936198 A CN 113936198A
Authority
CN
China
Prior art keywords
camera
laser radar
coordinate system
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111385764.3A
Other languages
English (en)
Other versions
CN113936198B (zh
Inventor
刘飞
杨起鸣
邹钰杰
柴文静
沈乃瑞
宁辉旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202111385764.3A priority Critical patent/CN113936198B/zh
Publication of CN113936198A publication Critical patent/CN113936198A/zh
Application granted granted Critical
Publication of CN113936198B publication Critical patent/CN113936198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

低线束激光雷达与相机融合方法、存储介质及装置，属于自动驾驶环境感知技术领域。为了解决现有的低线束稀疏点云聚类效果差、点云信息少而存在的难以有效提供准确的障碍物信息的问题。本发明首先对激光雷达的每一帧点云进行地面分隔，并利用神经网络对三维点云中的障碍物进行检测识别，框选三维目标，输出激光雷达检测框以及障碍物的距离；然后采用yoloV3对相机图像进行目标检测，框选目标，输出相机检测框以及障碍物类型；然后根据激光雷达与相机的标定过程确定相机内参以及激光雷达坐标系与相机坐标系的外参，将点云与图像融合，匹配激光雷达检测框和相机检测框，匹配成功输出障碍物的距离信息以及类别信息。用于自动驾驶环境的感知。

Description

低线束激光雷达与相机融合方法、存储介质及装置
技术领域
本发明属于自动驾驶环境感知技术领域，涉及一种低线束激光雷达与相机融合方法
背景技术
传统的感知技术通常使用单一传感器提供环境信息，比如纯激光雷达障碍物识别、纯视觉摄像头识别。单一传感器的识别局限性较大，容易造成误识别或漏识别，识别效果较差，如果需要精度高则需要更换高线束的激光雷达，但是高线束雷达价格昂贵，寿命短，并且高线束雷达输出的点云信息非常大，对于处理器的运算能力要求高。因此一般的处理器难以带动高线束的激光雷达。因此对于成本价低，适合一般处理器的低线束雷达。传统单一传感器的处理效果较差，如今多传感器融合感知成为发展主流，目前的传感器融合主要利用激光雷达提供位姿信息，相机提供目标类型。但是由于激光雷达点云稀疏，难以聚类。
发明内容
本发明是为了解决现有的低线束稀疏点云聚类因效果差、点云信息少而存在的难以有效提供准确的障碍物信息的问题。
低线束激光雷达与相机融合方法，包括以下步骤：
S1、对激光雷达的每一帧点云进行地面分隔；
S2、利用深度学习框架pointpillar对三维点云中的障碍物进行检查识别，对检测后的障碍物进行三维目标框选，最终输出激光雷达检测框以及框选的障碍物的距离；
S3、采用机器视觉领域的yoloV3算法对相机图像2D图像进行目标检测，对图像中的障碍物进行目标框选，最终输出相机检测框以及框选的障碍物类型；
S4、根据激光雷达与相机的标定过程确定相机内参以及激光雷达坐标系与相机坐标系的外参；
S5、基于改进的自动驾驶框架autoware中的ranger fusion的后融合方式进行点云与图像融合，包括以下步骤：
首先根据S4的标定结果获取相机内参以及激光雷达坐标系与相机坐标系的外参，基于相机内参以及激光雷达坐标系与相机坐标系的外参将激光雷达点云以及相应的检测框投影在图像平面上；
然后将投影的激光点云所在平面转化为图像格式，并与相机图像进行融合：设激光雷达检测框的中心为L，相机中心检测框中心为C，两个中心之间的距离为d，对于每个激光雷达检测框的L，找到离L点最近的C，将C点对应的相机检测框与L点对应的激光雷达检测框匹配为一组，如果d>两个检测框的最大边长，则该L点所在激光雷达检测框无法进行融合；搜索每一个激光雷达检测框，直到搜索完毕，如果存在单个L点或C点无法匹配则不进行下一步融合；将匹配为一组的将激光雷达点云检测框与相机检测框的范围进行比对，如果重合面积大于等于重合率阈值，则认定两检测框内的点云以及图像为同一障碍物，则融合成功；如果重合度小于重合率阈值或两个检测框之间的中心距离大于对应检测框的最大边长，则说明两个框选的物体为两个不同物体，则不能进行融合。
优选地，S5中当两个框选的物体为两个不同物体，不能进行融合时，判别检测框内的物体均为障碍物，并输出S2和S3中各自传感器的检测结果。
优选地，融合成功，则在图像中显示两个检测框的检测结果，即障碍物距离以及类型。
优选地，S5所述的重合率阈值为70％。
优选地，S1所述对激光雷达的每一帧点云进行地面分隔是基于Ransac实现的。
优选地，S2所述利用深度学习框架pointpillar对三维点云中的障碍物进行检查识别的过程包括以下步骤：
载入深度学习框架pointpillar，订阅分割后节点，载入预测模型pfe.onnx以及rpn.onnx，并设定参数阈值score threshold设定为0.5，设定Pillar Feature Net输出通道数16；最后运行SSD检测网络，对三维点云中的障碍物进行检查识别，对检测后的障碍物进行三维目标框选，最终输出激光雷达检测框以及框选的障碍物的距离。
优选地，S3所述机器视觉领域的yoloV3算法对相机图像2D图像进行目标检测的过程包括以下步骤：
导入weight文件文件，将score threshold设定为0.5，NMS Threshold设定为0.45；然后运行yoloV3，对图像中的障碍物进行目标框选，最终输出相机检测框以及框选的障碍物类型。
优选地，S4所述的根据激光雷达与相机的标定过程包括以下步骤：
雷达和相机的标定需要计算激光雷达与相机的相对位姿计算相机坐标系到激光雷达坐标系的相对位姿，设车体坐标系为世界坐标系，用X Y Z表示；将激光雷达坐标系设为世界坐标系，那么空间中的相机坐标系XcYcZc到激光雷达坐标系X Y Z可通过旋转矩阵R和平移向量T来表示；两坐标系之间的相对关系为
Figure BDA0003366954760000021
用uov来表示像素坐标系，xo′y表示图像坐标系，其中o′的坐标在像素坐标系中表示为(u0，v0)，有：
Figure BDA0003366954760000031
其中，dx和dy表示为每一个像素对应的长度，设Oc为相机中心，Zc为相机的中心轴，Zc与图像平面为垂直关系，f设为相机的焦距；
图像坐标系与相机坐标系的相对关系为
Figure BDA0003366954760000032
通过外参计算以及相机内参计算，得到激光雷达坐标系与像素坐标系之间的位置关系
Figure BDA0003366954760000033
由上式得到激光点云与相机图像之间的投影关系，其中fu和fv为相机的横向焦距以及纵向焦距，cu和cv为相机的光学中心，这四个参数为相机的内参；包含R和T的组合为外参矩阵。
一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的低线束激光雷达与相机融合方法。
一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的低线束激光雷达与相机融合方法。
有益效果：
针对低线束的激光雷达对障碍物识别能力较低的问题，本发明采用神经网络模型进行检测并与相机检测结果进行融合，增加障碍物识别效果，可以有效的解决现有的低线束稀疏点云聚类因效果差、点云信息少而存在的难以有效提供准确的障碍物信息的问题。本发明可以将漏检率降低为4.22％，将误检率控制在2.1％。
附图说明
图1为低线束激光雷达与相机融合流程示意图；
图2为融合效果图。
具体实施方式
具体实施方式一：
本实施方式为低线束激光雷达与相机融合方法，主要基于神经网络的传感器融合方法是将三维的稀疏点云进行网络化分割，转化成2D密度较高的鸟瞰平面，随后利用backbone进行网络特征学习。训练特定场景下的神经网络模型，有效利用每一部分稀疏点云。最后导入SSD检测网络进行检测。输出障碍物信息。为了同时提供准确的障碍物类别信息，同时对图像信息进行检测，同样使用神经网络模型模型进行训练检测，输出物体的类型。最后将激光雷达检测信息与相机检测信息进行融合。输出物体的坐标、距离以及类型。
本发明的关键点为对于低线束的激光雷达如何有效处理稀疏点云，以及如何进行传感器融合。
具体如图1所示，本实施方式所述的低线束激光雷达与相机融合方法，包括以下步骤：
S1、激光点云分割：
对激光雷达的每一帧点云进行地面分隔，本实施方式运行地面分割节点Ransac进行地面分割，设定的具体参数如表1所示。激光点云分割时直接订阅原始激光雷达点云，并去除对于融合有干扰的地面点云，减少算法运行时间。输出障碍物点云。
Clipping_height 1.2
Min_point_distance 0
Radial_divider_angle 0.1
Concentric_divider_distance 0
Local_max_slope 18
General_max_slope 0.2
Min_height_threshold 0.2
Reclass_distance_threshold 0.2
S2、载入深度学习框架pointpillar，订阅分割后节点，载入预测模型pfe.onnx以及rpn.onnx，并设定参数阈值score threshold设定为0.5，设定Pillar Feature Net输出通道数16。最后运行SSD检测网络，对三维点云中的障碍物进行检查识别，对检测后的障碍物进行三维目标框选，最终输出激光雷达检测框以及框选的障碍物的距离。
S3、相机图像目标检测：
yoloV3算法是一种直接预测目标对象的边界框的方法，本发明采用机器视觉领域的yoloV3算法对相机图像(2D图像)进行目标检测。
在采用yoloV3算法之前，需要先进行神经网络训练，训练导出weight文件，然后导入该文件，将score threshold设定为0.5，NMS Threshold设定为0.45，订阅相机话题，运行yoloV3，对图像中的障碍物进行目标框选，最终输出相机检测框以及框选的障碍物类型。
S4、激光雷达与相机的标定：
雷达和相机的标定需要计算激光雷达与相机的相对位姿计算相机坐标系到激光雷达坐标系的相对位姿，设车体坐标系为世界坐标系，用X Y Z表示，为了方便计算，将激光雷达坐标系设为世界坐标系，那么空间中的相机坐标系Xc YcZc到激光雷达坐标系X Y Z可通过旋转矩阵R和平移向量T来表示。两坐标系之间的相对关系为
Figure BDA0003366954760000051
本发明用uov来表示像素坐标系，xo′y表示图像坐标系，其中o′的坐标在像素坐标系中表示为(u0，v0)，则可得出相关关系为：
Figure BDA0003366954760000052
其中，dx和dy表示为每一个像素对应的长度，设Oc为相机中心，Zc为相机的中心轴，Zc与图像平面为垂直关系，f设为相机的焦距；
通过几何关系可知图像坐标系与相机坐标系的相对关系为
Figure BDA0003366954760000053
通过外参计算以及相机内参计算，可得激光雷达坐标系与像素坐标系之间的位置关系
Figure BDA0003366954760000054
由上式可得激光点云与相机图像之间的投影关系，其中fu和fv为相机的横向焦距以及纵向焦距，cu和cv为相机的光学中心，这四个参数为相机的内参；包含R和T的组合为外参矩阵，表示点在坐标系之间的坐标转换，一旦激光雷达坐标系中的点被转换到相机坐标系中，后续需要将其映射到相机图像平面中。
S5、点云与图像融合：
本发明通过对自动驾驶框架autoware中的ranger fusion的后融合方式进行改进，现有的自动驾驶框架autoware中的ranger fusion的后融合方式是基于每个感知模块的结果进行融合，而本发明主要依赖于S2以及S3中对障碍物检测的检测框的重合度，并对检测结果进行融合显示。下面只对改进部分进行重点说明，其他过程与现有的自动驾驶框架autoware中的ranger fusion的后融合方式相同。
首先根据S4的标定结果获取相机内参以及激光雷达坐标系与相机坐标系的外参，基于相机内参以及激光雷达坐标系与相机坐标系的外参将激光雷达点云以及相应的检测框投影在图像平面上，然后将投影后的激光点云所在平面转化为图像格式，并与相机图像进行融合；
设激光雷达检测框的中心为L，相机中心检测框中心为C，两个中心之间的距离为d，对于每个激光雷达检测框的点L，通过KD-Tree近邻搜索算法找到离L点最近的点C(即d最小)，将C点对应的相机检测框与L点对应的激光雷达检测框匹配为一组，如果d>两个检测框的最大边长，则表示两个检测框的距离较大，则该L点所在激光雷达检测框无法进行融合，搜索每一个激光雷达检测框，直到搜索完毕，如果存在单个L点或C点无法匹配则不进行下一步融合。将匹配的激光雷达点云检测框与相机检测框的重合范围进行比对，如果重合面积大于等于70％，则认定两检测框内的点云以及图像为同一障碍物，则融合成功，如融合成功，则在图像中显示两个检测框的检测结果，即障碍物距离以及类型，最终效果如效果图2所示。该方式有利于避免标定带来的部分误差，避免漏检，通过真实障碍物检测比对，漏检率与误检率对比如表1所示，漏检率大大降低，误检率略微提升，误检率对总体影响不大。
如果重合度<70％或两个检测框之间的中心距离大于检测框的最大边长，则说明两个框选的物体并非同一物体，为两个不同物体，则不能进行融合，为了保证检测的全面性以及安全性，同样判别检测框内的物体为障碍物，并输出S2和S3中各自传感器的检测结果。
表1漏检率对比表
漏检率 误检率
传统融合 13.12％ 1.3％
本发明 4.22％ 2.1％
具体实施方式二：
本实施方式为一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的低线束激光雷达与相机融合方法。
具体实施方式三：
本实施方式为一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的低线束激光雷达与相机融合方法。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.低线束激光雷达与相机融合方法，其特征在于，包括以下步骤：
S1、对激光雷达的每一帧点云进行地面分隔；
S2、利用深度学习框架pointpillar对三维点云中的障碍物进行检查识别，对检测后的障碍物进行三维目标框选，最终输出激光雷达检测框以及框选的障碍物的距离；
S3、采用机器视觉领域的yoloV3算法对相机图像2D图像进行目标检测，对图像中的障碍物进行目标框选，最终输出相机检测框以及框选的障碍物类型；
S4、根据激光雷达与相机的标定过程确定相机内参以及激光雷达坐标系与相机坐标系的外参；
S5、基于改进的自动驾驶框架autoware中的ranger fusion的后融合方式进行点云与图像融合，包括以下步骤：
首先根据S4的标定结果获取相机内参以及激光雷达坐标系与相机坐标系的外参，基于相机内参以及激光雷达坐标系与相机坐标系的外参将激光雷达点云以及相应的检测框投影在图像平面上；
然后将投影的激光点云所在平面转化为图像格式，并与相机图像进行融合：设激光雷达检测框的中心为L，相机中心检测框中心为C，两个中心之间的距离为d，对于每个激光雷达检测框的L，找到离L点最近的C，将C点对应的相机检测框与L点对应的激光雷达检测框匹配为一组，如果d>两个检测框的最大边长，则该L点所在激光雷达检测框无法进行融合；搜索每一个激光雷达检测框，直到搜索完毕，如果存在单个L点或C点无法匹配则不进行下一步融合；将匹配为一组的将激光雷达点云检测框与相机检测框的范围进行比对，如果重合面积大于等于重合率阈值，则认定两检测框内的点云以及图像为同一障碍物，则融合成功；如果重合度小于重合率阈值或两个检测框之间的中心距离大于对应检测框的最大边长，则说明两个框选的物体为两个不同物体，则不能进行融合。
2.根据权利要求1所述的低线束激光雷达与相机融合方法，其特征在于，S5中当两个框选的物体为两个不同物体，不能进行融合时，判别检测框内的物体均为障碍物，并输出S2和S3中各自传感器的检测结果。
3.根据权利要求2所述的低线束激光雷达与相机融合方法，其特征在于，如融合成功，则在图像中显示两个检测框的检测结果，即障碍物距离以及类型。
4.根据权利要求3所述的低线束激光雷达与相机融合方法，其特征在于，S5所述的重合率阈值为70％。
5.根据权利要求1至4之一所述的低线束激光雷达与相机融合方法，其特征在于，S1所述对激光雷达的每一帧点云进行地面分隔是基于Ransac实现的。
6.根据权利要求5所述的低线束激光雷达与相机融合方法，其特征在于，S2所述利用深度学习框架pointpillar对三维点云中的障碍物进行检查识别的过程包括以下步骤：
载入深度学习框架pointpillar，订阅分割后节点，载入预测模型pfe.onnx以及rpn.onnx，并设定参数阈值score threshold设定为0.5，设定Pillar Feature Net输出通道数16；最后运行SSD检测网络，对三维点云中的障碍物进行检查识别，对检测后的障碍物进行三维目标框选，最终输出激光雷达检测框以及框选的障碍物的距离。
7.根据权利要求6所述的低线束激光雷达与相机融合方法，其特征在于，S3所述机器视觉领域的yoloV3算法对相机图像2D图像进行目标检测的过程包括以下步骤：
导入weight文件文件，将score threshold设定为0.5，NMS Threshold设定为0.45；然后运行yoloV3，对图像中的障碍物进行目标框选，最终输出相机检测框以及框选的障碍物类型。
8.根据权利要求7所述的低线束激光雷达与相机融合方法，其特征在于，S4所述的根据激光雷达与相机的标定过程包括以下步骤：
雷达和相机的标定需要计算激光雷达与相机的相对位姿计算相机坐标系到激光雷达坐标系的相对位姿，设车体坐标系为世界坐标系，用XYZ表示；将激光雷达坐标系设为世界坐标系，那么空间中的相机坐标系XcYcZc到激光雷达坐标系XYZ可通过旋转矩阵R和平移向量T来表示；两坐标系之间的相对关系为
Figure FDA0003366954750000021
用uov来表示像素坐标系，xo′y表示图像坐标系，其中o′的坐标在像素坐标系中表示为(u0，v0)，有：
Figure FDA0003366954750000022
其中，dx和dy表示为每一个像素对应的长度，设Oc为相机中心，Zc为相机的中心轴，Zc与图像平面为垂直关系，f设为相机的焦距；
图像坐标系与相机坐标系的相对关系为
Figure FDA0003366954750000023
通过外参计算以及相机内参计算，得到激光雷达坐标系与像素坐标系之间的位置关系
Figure FDA0003366954750000031
由上式得到激光点云与相机图像之间的投影关系，其中fu和fv为相机的横向焦距以及纵向焦距，cu和cv为相机的光学中心，这四个参数为相机的内参；包含R和T的组合为外参矩阵。
9.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至8之一所述的低线束激光雷达与相机融合方法。
10.一种设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至8之一所述的低线束激光雷达与相机融合方法。
CN202111385764.3A 2021-11-22 2021-11-22 低线束激光雷达与相机融合方法、存储介质及装置 Active CN113936198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111385764.3A CN113936198B (zh) 2021-11-22 2021-11-22 低线束激光雷达与相机融合方法、存储介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111385764.3A CN113936198B (zh) 2021-11-22 2021-11-22 低线束激光雷达与相机融合方法、存储介质及装置

Publications (2)

Publication Number Publication Date
CN113936198A true CN113936198A (zh) 2022-01-14
CN113936198B CN113936198B (zh) 2024-03-22

Family

ID=79287193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111385764.3A Active CN113936198B (zh) 2021-11-22 2021-11-22 低线束激光雷达与相机融合方法、存储介质及装置

Country Status (1)

Country Link
CN (1) CN113936198B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114312812A (zh) * 2022-03-04 2022-04-12 国汽智控(北京)科技有限公司 基于动态感知的车辆控制方法、装置及电子设备
CN114792417A (zh) * 2022-02-24 2022-07-26 广州文远知行科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN116630444A (zh) * 2023-07-24 2023-08-22 中国矿业大学 一种相机与激光雷达融合校准的优化方法
CN117111055A (zh) * 2023-06-19 2023-11-24 山东高速集团有限公司 一种基于雷视融合的车辆状态感知方法
CN117329971A (zh) * 2023-12-01 2024-01-02 海博泰科技(青岛)有限公司 一种基于三维激光雷达的车厢平衡检测方法和系统
CN117420143A (zh) * 2023-12-19 2024-01-19 斯润天朗（北京）科技有限公司 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备
CN118050008A (zh) * 2024-04-16 2024-05-17 中国科学院长春光学精密机械与物理研究所 机器人导航系统及其导航方法
CN118151171A (zh) * 2024-05-09 2024-06-07 苏州大学 基于激光雷达和图像传感器融合的可感知调平检测设备
CN118447282A (zh) * 2024-07-08 2024-08-06 广东工业大学 无人驾驶方程式赛车环境感知方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109283538A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN110188696A (zh) * 2019-05-31 2019-08-30 华南理工大学 一种水面无人装备多源感知方法及系统
CN112017240A (zh) * 2020-08-18 2020-12-01 浙江大学 一种面向无人叉车的托盘识别定位方法
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN113111887A (zh) * 2021-04-26 2021-07-13 河海大学常州校区 一种基于相机和激光雷达信息融合的语义分割方法及系统
US20210264223A1 (en) * 2020-02-25 2021-08-26 Beijing Qingzhouzhihang Intelligent Technology Co., Ltd Method and apparatus for asynchronous data fusion, storage medium and electronic device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109283538A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN110188696A (zh) * 2019-05-31 2019-08-30 华南理工大学 一种水面无人装备多源感知方法及系统
US20210264223A1 (en) * 2020-02-25 2021-08-26 Beijing Qingzhouzhihang Intelligent Technology Co., Ltd Method and apparatus for asynchronous data fusion, storage medium and electronic device
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN112017240A (zh) * 2020-08-18 2020-12-01 浙江大学 一种面向无人叉车的托盘识别定位方法
CN113111887A (zh) * 2021-04-26 2021-07-13 河海大学常州校区 一种基于相机和激光雷达信息融合的语义分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陆峰;徐友春;李永乐;王德宇;谢德胜;: "基于信息融合的智能车障碍物检测方法", 计算机应用, no. 2, 20 December 2017 (2017-12-20) *
黄兴;应群伟;: "应用激光雷达与相机信息融合的障碍物识别", 计算机测量与控制, no. 01, 25 January 2020 (2020-01-25) *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792417A (zh) * 2022-02-24 2022-07-26 广州文远知行科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN114312812A (zh) * 2022-03-04 2022-04-12 国汽智控(北京)科技有限公司 基于动态感知的车辆控制方法、装置及电子设备
CN117111055A (zh) * 2023-06-19 2023-11-24 山东高速集团有限公司 一种基于雷视融合的车辆状态感知方法
CN116630444A (zh) * 2023-07-24 2023-08-22 中国矿业大学 一种相机与激光雷达融合校准的优化方法
CN116630444B (zh) * 2023-07-24 2023-09-29 中国矿业大学 一种相机与激光雷达融合校准的优化方法
CN117329971A (zh) * 2023-12-01 2024-01-02 海博泰科技(青岛)有限公司 一种基于三维激光雷达的车厢平衡检测方法和系统
CN117420143A (zh) * 2023-12-19 2024-01-19 斯润天朗（北京）科技有限公司 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备
CN117420143B (zh) * 2023-12-19 2024-03-15 斯润天朗（北京）科技有限公司 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备
CN118050008A (zh) * 2024-04-16 2024-05-17 中国科学院长春光学精密机械与物理研究所 机器人导航系统及其导航方法
CN118151171A (zh) * 2024-05-09 2024-06-07 苏州大学 基于激光雷达和图像传感器融合的可感知调平检测设备
CN118447282A (zh) * 2024-07-08 2024-08-06 广东工业大学 无人驾驶方程式赛车环境感知方法、装置、设备及介质
CN118447282B (zh) * 2024-07-08 2024-10-22 广东工业大学 无人驾驶方程式赛车环境感知方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113936198B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN113936198B (zh) 低线束激光雷达与相机融合方法、存储介质及装置
WO2022083402A1 (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN110032949B (zh) 一种基于轻量化卷积神经网络的目标检测与定位方法
CN109271944B (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
CN108256574B (zh) 机器人定位方法及装置
WO2022188663A1 (zh) 一种目标检测方法及装置
CN110675307A (zh) 基于vslam的3d稀疏点云到2d栅格图的实现方法
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN111523545B (zh) 一种结合深度信息的物品查找方法
US20220319146A1 (en) Object detection method, object detection device, terminal device, and medium
CN114089330B (zh) 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法
US20230162371A1 (en) Image processing apparatus, image processing method, and computer-readable medium
CN111950440B (zh) 一种识别与定位门的方法、装置及存储介质
CN110136186B (zh) 一种用于移动机器人目标测距的检测目标匹配方法
CN114898314B (zh) 驾驶场景的目标检测方法、装置、设备及存储介质
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
CN111239684A (zh) 一种基于YoloV3深度学习的双目快速距离测量方法
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN114089329A (zh) 一种基于长短焦相机与毫米波雷达融合的目标检测方法
CN114612786A (zh) 一种障碍物检测方法、移动机器人及机器可读存储介质
CN114495045A (zh) 感知方法、感知装置、感知系统及相关设备
CN118411507A (zh) 一种具有动态目标的场景的语义地图构建方法及系统
CN117911271A (zh) 一种基于yolo的动态障碍物快速点云剔除方法及系统
CN114359865A (zh) 一种障碍物的检测方法及相关装置
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant