CN113111887A - 一种基于相机和激光雷达信息融合的语义分割方法及系统 - Google Patents

一种基于相机和激光雷达信息融合的语义分割方法及系统 Download PDF

Info

Publication number
CN113111887A
CN113111887A CN202110453156.5A CN202110453156A CN113111887A CN 113111887 A CN113111887 A CN 113111887A CN 202110453156 A CN202110453156 A CN 202110453156A CN 113111887 A CN113111887 A CN 113111887A
Authority
CN
China
Prior art keywords
point cloud
clustering
camera
semantic
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110453156.5A
Other languages
English (en)
Other versions
CN113111887B (zh
Inventor
徐孝彬
张磊
何佳
冉莹莹
曹晨飞
熊轶旸
谭治英
骆敏舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN202110453156.5A priority Critical patent/CN113111887B/zh
Publication of CN113111887A publication Critical patent/CN113111887A/zh
Application granted granted Critical
Publication of CN113111887B publication Critical patent/CN113111887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于相机和激光雷达信息融合的语义分割方法及系统，使用深度神经网络得到图像中目标物体的2D检测框，利用相机和激光雷达之间的转换关系筛选出检测框中的目标点云并进行密度聚类；然后采用改进的四邻域聚类对原始点云进行分割；最后融合不同的聚类结果得到带有语义标签的点云分割结果。图像和点云的信息融合使得该系统可以适用于更多复杂的外界环境，同时综合利用了深度学习和传统的点云聚类方法，使得点云的语义分割结果更加准确且鲁棒性更强。

Description

一种基于相机和激光雷达信息融合的语义分割方法及系统
技术领域
本发明属于检测数据处理技术领域，涉及基于一种基于相机和激光雷达信息融合的语义分割方法及系统。
背景技术
随着新时代科学技术的不断进步，各种传感器不断迭代更新，机器人以及自动驾驶领域对于高精度传感器的需求越来越广，然而由于现实场景的复杂性，仅依靠传统的相机难以在恶劣条件下保证测量的精准性，使得相机在某些场景下失去了它的作用；在结构化场景中，激光雷达能探测到物体的结构特征，在光线较差的环境中依然具有良好的工作性能；但是激光雷达数据稀疏，不便应用于点云的语义分割精度较低。
发明内容
本发明为了解决上述问题，提出了基于相机和激光雷达信息融合的语义分割方法及系统，本发明针对机器人及车辆自动驾驶的环境感知问题，综合利用深度学习和传统的点云聚类方法来达到实时的语义分割目的。
本发明采用如下技术方案：
一种相机和激光雷达信息融合的语义分割系统包括五个模块：图像识别模块、雷达相机标定模块、目标点云聚类模块、原始点云聚类模块和融合判断模块；
所述图像识别模块：对被配置为对图像数据进行处理，使用YOLOv3深度神经网络对输入的图像数据进行识别，对行人和车辆目标物体进行识别，生成带有语义标签的2D检测框；
所述雷达相机标定模块：系统在使用前对相机和激光雷达之间的内外参进行标定，得到传感器之间的转换关系，为图像数据和点云数据形成对应关系做准备工作；
所述目标点云聚类模块：将点云和像素点对应并把其RGB信息赋予对应的点云，对2D检测框中的点云进行保留并重新进行密度聚类，保留目标点云中数量最多的聚类结果，作为带有语义标签的点云聚类，同时生成2D检测框对应的3D的Boundingbox信息；
所述原始点云聚类模块：采用基于欧氏距离改进的四邻域聚类方法对原始的点云进行聚类，输出不带有语义信息的Boundingbox信息；
所述融合判断模块：对两次聚类得到的信息进行融合判断，根据两者的重合度对目标物体进行识别判断，并最终输出带有RGB和语义信息的点云聚类结果。
优选地，输出的聚类结果均为每一个聚类对应的语义标签和3D检测框的Boundingbox信息，对于未知障碍物不带有语义标签。
优选地，所述相机与激光雷达内外参联合标定的方法包括：将3D激光雷达与相机固定在移动机器人平台上，并在其前方放置一个三角板，图像数据由二维坐标系(u,v)表示，3D点云数据由雷达坐标系(X,Y,Z)表示；从3D点(x,y,z)到2D点(u,v)的转换可以表示为：
Figure BDA0003039595440000031
式中：fu和fv分别为水平与垂直方向上的有效焦距长度，u0和v0为图像中心点位置坐标，R与T分别为相机与3D激光雷达间的旋转矩阵和平移矩阵，构成相机的外参矩阵；mij为内外参数联合变换矩阵参数。
一种相机和激光雷达信息融合的语义分割方法，包括以下步骤：
S1:首先采用内外参融合的标定方法对传感器进行标定，使用多边形平板做作为标定物体，根据点云三维坐标和像素二维坐标之间的对应关系求解出标定矩阵；
S2:获取相机采集的图像数据；
S3:获取激光雷达原始的点云数据，并对点云进行降噪滤波等预处理；
S4:将图像输入YOLOv3深度神经网络，得到目标物体的2D检测框、概率值及其标签；
S5:将点云投影到图像，筛选出检测框中的目标点云，并赋予图像的RGB信息；
S6:目标点云密度聚类输出聚类结果；
S7:原始的点云进行基于欧氏距离改进的四邻域聚类，输出聚类结果；
S8:最后对两边输出的聚类结果进行融合判断，输出最终的语义分割结果。
优选地，激光雷达获取点云后，系统对点云进行去除噪声、滤波和降采样，减少计算量。
优选地，所述图像和点云数据的时间戳在处理时进行同步，保证信息融合的实时性和准确性。
优选地，所述传感器标定过程设定为离线。
优选地，所述激光雷达和相机标定采用离线模式。
优选地，所述原始的点云采用基于欧氏距离改进的四邻域聚类步骤为：首先通过相邻两点云的连线与点云和雷达坐标原点的连线之间的夹角进行初步判断，若小于设定阈值，则两个点云属于同一类；若夹角大于设定阈值但是点云之间的欧氏距离小于设定阈值，则两个点云仍属于同一类；否者，两点云属于不同类别。根据四邻域的原则遍历所有的点云数据，输出最终不带有语义标签的聚类结果。
优选地，所述步骤S8包括：在对两边输出的聚类结果进行融合判断时，Boundingbox的重合度大于设定阈值的两个聚类结果选择点云数量最多的聚类作为输出并将语义标签赋予该聚类；对于没有在目标点云聚类结果中根据重合度匹配的得到对应目标的原始点聚类结果，则直接输出原始点云聚类结果作为未知障碍物，不带有语义信息；对于没有在原始点云聚类结果中根据重合度匹配到对应目标的目标点聚类结果，若之前计算的密度聚类中最大数量点云占比以及该聚类对应的语义标签的概率值均大于设定阈值，则直接输出对应的聚类结果及其语义标签，否则忽略该聚类结果不进行输出。
有益效果：
1.本发明综合利用相机和激光雷达进行环境感知，对于夜晚等光线较差的环境仍然可以对于环境中的障碍物进行检测，保证安全性和稳定性。
2.本发明使用深度学习和传统的点云聚类相结合的方法，不占用过多的GPU资源，使用CPU进行传统的点云聚类，使用GPU进行深度学习的相关计算。
3.本发明采用两种聚类方法并对结果进行融合，同时利用深度学习得到的标签概率值的进一步提升系统融合的精度，使得系统的鲁棒性更强。
附图说明
图1是相机和激光雷达信息融合的语义分割方法的基本流程图；
图2是基于欧氏距离的四邻域聚类示意图。
具体实施方式
下面结合附图对本发明作若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
一种相机和激光雷达信息融合的语义分割系统包括五个模块：图像识别模块、雷达相机标定模块、目标点云聚类模块、原始点云聚类模块和融合判断模块；
所述图像识别模块：对被配置为对图像数据进行处理，使用YOLOv3深度神经网络对输入的图像数据进行识别，对行人和车辆目标物体进行识别，生成带有语义标签的2D检测框；
所述雷达相机标定模块：系统在使用前对相机和激光雷达之间的内外参进行标定，得到传感器之间的转换关系，为图像数据和点云数据形成对应关系做准备工作；
所述目标点云聚类模块：将点云和像素点对应并把其RGB信息赋予对应的点云，对2D检测框中的点云进行保留并重新进行密度聚类，保留目标点云中数量最多的聚类结果，作为带有语义标签的点云聚类，同时生成2D检测框对应的3D的Boundingbox信息；
所述原始点云聚类模块：采用基于欧氏距离改进的四邻域聚类方法对原始的点云进行聚类，输出不带有语义信息的Boundingbox信息；
所述融合判断模块：对两次聚类得到的信息进行融合判断，根据两者的重合度对目标物体进行识别判断，并最终输出带有RGB和语义信息的点云聚类结果。
优选地，输出的聚类结果均为每一个聚类对应的语义标签和3D检测框的Boundingbox信息，对于未知障碍物不带有语义标签。
优选地，所述相机与激光雷达内外参联合标定的方法包括：将3D激光雷达与相机固定在移动机器人平台上，并在其前方放置一个三角板，图像数据由二维坐标系(u,v)表示，3D点云数据由雷达坐标系(X,Y,Z)表示；从3D点(x,y,z)到2D点(u,v)的转换可以表示为：
Figure BDA0003039595440000071
式中：fu和fv分别为水平与垂直方向上的有效焦距长度，u0和v0为图像中心点位置坐标，R与T分别为相机与3D激光雷达间的旋转矩阵和平移矩阵，构成相机的外参矩阵；mij为内外参数联合变换矩阵参数。
一种相机和激光雷达信息融合的语义分割方法，包括以下步骤：
S1:首先采用内外参融合的标定方法对传感器进行标定，使用多边形平板做作为标定物体，根据点云三维坐标和像素二维坐标之间的对应关系求解出标定矩阵；
S2:获取相机采集的图像数据；
S3:获取激光雷达原始的点云数据，并对点云进行降噪滤波等预处理；
S4:将图像输入YOLOv3深度神经网络，得到目标物体的2D检测框、概率值及其标签；
S5:将点云投影到图像，筛选出检测框中的目标点云，并赋予图像的RGB信息；
S6:目标点云密度聚类输出聚类结果；
S7:原始的点云进行基于欧氏距离改进的四邻域聚类，输出聚类结果；
S8:最后对两边输出的聚类结果进行融合判断，输出最终的语义分割结果。
优选地，激光雷达获取点云后，系统对点云进行去除噪声、滤波和降采样，减少计算量。
优选地，所述图像和点云数据的时间戳在处理时进行同步，保证信息融合的实时性和准确性。
优选地，所述传感器标定过程设定为离线。
优选地，所述激光雷达和相机标定采用离线模式。
优选地，所述原始的点云采用基于欧氏距离改进的四邻域聚类步骤为：首先通过相邻两点云的连线与点云和雷达坐标原点的连线之间的夹角进行初步判断，若小于设定阈值，则两个点云属于同一类；若夹角大于设定阈值但是点云之间的欧氏距离小于设定阈值，则两个点云仍属于同一类；否者，两点云属于不同类别。根据四邻域的原则遍历所有的点云数据，输出最终不带有语义标签的聚类结果。
优选地，所述步骤S8包括：在对两边输出的聚类结果进行融合判断时，Boundingbox的重合度大于设定阈值的两个聚类结果选择点云数量最多的聚类作为输出并将语义标签赋予该聚类；对于没有在目标点云聚类结果中根据重合度匹配的得到对应目标的原始点聚类结果，则直接输出原始点云聚类结果作为未知障碍物，不带有语义信息；对于没有在原始点云聚类结果中根据重合度匹配到对应目标的目标点聚类结果，若之前计算的密度聚类中最大数量点云占比以及该聚类对应的语义标签的概率值均大于设定阈值，则直接输出对应的聚类结果及其语义标签，否则忽略该聚类结果不进行输出。
本发明中步骤1：雷达相机标定
采用相机与激光雷达内外参联合标定的方法，将3D激光雷达与相机固定在移动机器人平台上，并在其前方放置一个三角板，图像数据由二维坐标系(u,v)表示，3D点云数据由雷达坐标系(X,Y,Z)表示。从3D点(x,y,z)到2D点(u,v)的转换可以表示为：
Figure BDA0003039595440000091
式中：fu和fv分别为水平与垂直方向上的有效焦距长度，u0和v0为图像中心点位置坐标，R与T分别为相机与3D激光雷达间的旋转矩阵和平移矩阵，构成相机的外参矩阵；mij为内外参数联合变换矩阵参数。
以上所述仅是本实用说，在不新型的优选实施方式，应当指出，对于本技术领域的普通技术人员来脱离本发明的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种相机和激光雷达信息融合的语义分割系统包括五个模块：图像识别模块、雷达相机标定模块、目标点云聚类模块、原始点云聚类模块和融合判断模块；
所述图像识别模块：对被配置为对图像数据进行处理，使用YOLOv3深度神经网络对输入的图像数据进行识别，对行人和车辆目标物体进行识别，生成带有语义标签的2D检测框；
所述雷达相机标定模块：系统在使用前对相机和激光雷达之间的内外参进行标定，得到传感器之间的转换关系，为图像数据和点云数据形成对应关系做准备工作；
所述目标点云聚类模块：将点云和像素点对应并把其RGB信息赋予对应的点云，对2D检测框中的点云进行保留并重新进行密度聚类，保留目标点云中数量最多的聚类结果，作为带有语义标签的点云聚类，同时生成2D检测框对应的3D的Boundingbox信息；
所述原始点云聚类模块：采用基于欧氏距离改进的四邻域聚类方法对原始的点云进行聚类，输出不带有语义信息的Boundingbox信息；
所述融合判断模块：对两次聚类得到的信息进行融合判断，根据两者的重合度对目标物体进行识别判断，并最终输出带有RGB和语义信息的点云聚类结果。
2.根据权利要求1所述的一种相机和激光雷达信息融合的语义分割系统，其特征在于，输出的聚类结果均为每一个聚类对应的语义标签和3D检测框的Boundingbox信息，对于未知障碍物不带有语义标签。
3.根据权利要求1所述的一种相机和激光雷达信息融合的语义分割系统，其特征在于，所述相机与激光雷达内外参联合标定的方法包括：将3D激光雷达与相机固定在移动机器人平台上，并在其前方放置一个三角板，图像数据由二维坐标系(u,v)表示，3D点云数据由雷达坐标系(X,Y,Z)表示；从3D点(x,y,z)到2D点(u,v)的转换可以表示为：
Figure FDA0003039595430000021
式中：fu和fv分别为水平与垂直方向上的有效焦距长度，u0和v0为图像中心点位置坐标，R与T分别为相机与3D激光雷达间的旋转矩阵和平移矩阵，构成相机的外参矩阵；mij为内外参数联合变换矩阵参数。
4.一种相机和激光雷达信息融合的语义分割方法，其特征在于，包括以下步骤：
S1:首先采用内外参融合的标定方法对传感器进行标定，使用多边形平板做作为标定物体，根据点云三维坐标和像素二维坐标之间的对应关系求解出标定矩阵；
S2:获取相机采集的图像数据；
S3:获取激光雷达原始的点云数据，并对点云进行降噪滤波等预处理；
S4:将图像输入YOLOv3深度神经网络，得到目标物体的2D检测框、概率值及其标签；
S5:将点云投影到图像，筛选出检测框中的目标点云，并赋予图像的RGB信息；
S6:目标点云密度聚类输出聚类结果；
S7:原始的点云进行基于欧氏距离改进的四邻域聚类，输出聚类结果；
S8:最后对两边输出的聚类结果进行融合判断，输出最终的语义分割结果。
5.根据权利要求4所述的一种相机和激光雷达信息融合的语义分割方法，其特征在于，激光雷达获取点云后，系统对点云进行去除噪声、滤波和降采样，减少计算量。
6.根据权利要求4所述的一种相机和激光雷达信息融合的语义分割方法，其特征在于，所述图像和点云数据的时间戳在处理时进行同步，保证信息融合的实时性和准确性。
7.根据权利要求4所述的一种相机和激光雷达信息融合的语义分割方法，其特征在于，所述传感器标定过程设定为离线。
8.根据权利要求4所述的一种相机和激光雷达信息融合的语义分割方法，其特征在于，所述激光雷达和相机标定采用离线模式。
9.根据权利要求4所述的一种相机和激光雷达信息融合的语义分割方法，其特征在于，所述原始的点云采用基于欧氏距离改进的四邻域聚类步骤为：首先通过相邻两点云的连线与点云和雷达坐标原点的连线之间的夹角进行初步判断，若小于设定阈值，则两个点云属于同一类；若夹角大于设定阈值但是点云之间的欧氏距离小于设定阈值，则两个点云仍属于同一类；否者，两点云属于不同类别。根据四邻域的原则遍历所有的点云数据，输出最终不带有语义标签的聚类结果。
10.根据权利要求4所述的一种相机和激光雷达信息融合的语义分割方法，其特征在于，所述步骤S8包括：在对两边输出的聚类结果进行融合判断时，Boundingbox的重合度大于设定阈值的两个聚类结果选择点云数量最多的聚类作为输出并将语义标签赋予该聚类；对于没有在目标点云聚类结果中根据重合度匹配的得到对应目标的原始点聚类结果，则直接输出原始点云聚类结果作为未知障碍物，不带有语义信息；对于没有在原始点云聚类结果中根据重合度匹配到对应目标的目标点聚类结果，若之前计算的密度聚类中最大数量点云占比以及该聚类对应的语义标签的概率值均大于设定阈值，则直接输出对应的聚类结果及其语义标签，否则忽略该聚类结果不进行输出。
CN202110453156.5A 2021-04-26 2021-04-26 一种基于相机和激光雷达信息融合的语义分割方法及系统 Active CN113111887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110453156.5A CN113111887B (zh) 2021-04-26 2021-04-26 一种基于相机和激光雷达信息融合的语义分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110453156.5A CN113111887B (zh) 2021-04-26 2021-04-26 一种基于相机和激光雷达信息融合的语义分割方法及系统

Publications (2)

Publication Number Publication Date
CN113111887A true CN113111887A (zh) 2021-07-13
CN113111887B CN113111887B (zh) 2022-04-15

Family

ID=76721128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110453156.5A Active CN113111887B (zh) 2021-04-26 2021-04-26 一种基于相机和激光雷达信息融合的语义分割方法及系统

Country Status (1)

Country Link
CN (1) CN113111887B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936198A (zh) * 2021-11-22 2022-01-14 桂林电子科技大学 低线束激光雷达与相机融合方法、存储介质及装置
CN113988197A (zh) * 2021-11-03 2022-01-28 山东新一代信息产业技术研究院有限公司 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN114020934A (zh) * 2022-01-05 2022-02-08 深圳市其域创新科技有限公司 基于知识图谱的空间语义信息的整合方法及系统
CN114120283A (zh) * 2021-11-29 2022-03-01 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种道路场景三维语义分割中未知障碍物的判别方法
CN114140765A (zh) * 2021-11-12 2022-03-04 北京航空航天大学 一种障碍物感知方法、装置及存储介质
CN114266891A (zh) * 2021-11-17 2022-04-01 京沪高速铁路股份有限公司 基于图像与激光数据融合的铁路运行环境异常辨识方法
CN114299155A (zh) * 2021-11-19 2022-04-08 安徽集萃智造机器人科技有限公司 一种激光雷达与相机联合标定的标定方法
CN114445415A (zh) * 2021-12-14 2022-05-06 中国科学院深圳先进技术研究院 可行驶区域的分割方法以及相关装置
CN114494806A (zh) * 2021-12-17 2022-05-13 湖南国天电子科技有限公司 基于多元信息融合的目标识别方法、系统、设备和介质
CN115131360A (zh) * 2022-09-02 2022-09-30 海纳云物联科技有限公司 一种基于3d点云语义分割的道路坑洞检测方法及装置
CN115272493A (zh) * 2022-09-20 2022-11-01 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置
CN116755088A (zh) * 2023-08-09 2023-09-15 中国科学院空天信息创新研究院 一种基于雷达的粮仓深度与异物的探测与成像方法
CN117218123A (zh) * 2023-11-09 2023-12-12 上海擎刚智能科技有限公司 一种基于点云的冷轧带钢飞丝设备故障检测方法及系统
CN117593620A (zh) * 2024-01-19 2024-02-23 中汽研（天津）汽车工程研究院有限公司 一种基于相机和激光雷达融合的多目标检测方法及装置
CN118038213A (zh) * 2024-02-18 2024-05-14 浙江大学 基于开放词汇模型的多模态人工标注标签检查方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977992A (zh) * 2017-12-05 2018-05-01 深圳大学 一种基于无人机激光雷达的建筑物变化检测方法及装置
CN109961440A (zh) * 2019-03-11 2019-07-02 重庆邮电大学 一种基于深度图的三维激光雷达点云目标分割方法
US20190291723A1 (en) * 2018-03-26 2019-09-26 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110879401A (zh) * 2019-12-06 2020-03-13 南京理工大学 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
CN111337941A (zh) * 2020-03-18 2020-06-26 中国科学技术大学 一种基于稀疏激光雷达数据的动态障碍物追踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977992A (zh) * 2017-12-05 2018-05-01 深圳大学 一种基于无人机激光雷达的建筑物变化检测方法及装置
US20190291723A1 (en) * 2018-03-26 2019-09-26 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
CN109961440A (zh) * 2019-03-11 2019-07-02 重庆邮电大学 一种基于深度图的三维激光雷达点云目标分割方法
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110879401A (zh) * 2019-12-06 2020-03-13 南京理工大学 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
CN111337941A (zh) * 2020-03-18 2020-06-26 中国科学技术大学 一种基于稀疏激光雷达数据的动态障碍物追踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
M. HIMMELSBACH ET AL.: ""Fast Segmentation of 3D Point Clouds for Ground Vehicles"", 《2010 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *
吴玉泉 等: ""基于邻域平均法的点云去噪算法研究"", 《江西理工大学学报》 *
张磊 等: ""基于室内结构特征的二维激光雷达与相机标定"", 《光子学报》 *
王鹏 等: ""一种车载激光点云中杆目标自动提取方法"", 《武汉大学学报· 信息科学版》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113988197A (zh) * 2021-11-03 2022-01-28 山东新一代信息产业技术研究院有限公司 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN114140765A (zh) * 2021-11-12 2022-03-04 北京航空航天大学 一种障碍物感知方法、装置及存储介质
CN114140765B (zh) * 2021-11-12 2022-06-24 北京航空航天大学 一种障碍物感知方法、装置及存储介质
CN114266891A (zh) * 2021-11-17 2022-04-01 京沪高速铁路股份有限公司 基于图像与激光数据融合的铁路运行环境异常辨识方法
CN114299155A (zh) * 2021-11-19 2022-04-08 安徽集萃智造机器人科技有限公司 一种激光雷达与相机联合标定的标定方法
CN113936198B (zh) * 2021-11-22 2024-03-22 桂林电子科技大学 低线束激光雷达与相机融合方法、存储介质及装置
CN113936198A (zh) * 2021-11-22 2022-01-14 桂林电子科技大学 低线束激光雷达与相机融合方法、存储介质及装置
CN114120283A (zh) * 2021-11-29 2022-03-01 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种道路场景三维语义分割中未知障碍物的判别方法
CN114445415A (zh) * 2021-12-14 2022-05-06 中国科学院深圳先进技术研究院 可行驶区域的分割方法以及相关装置
CN114494806A (zh) * 2021-12-17 2022-05-13 湖南国天电子科技有限公司 基于多元信息融合的目标识别方法、系统、设备和介质
CN114020934A (zh) * 2022-01-05 2022-02-08 深圳市其域创新科技有限公司 基于知识图谱的空间语义信息的整合方法及系统
CN115131360A (zh) * 2022-09-02 2022-09-30 海纳云物联科技有限公司 一种基于3d点云语义分割的道路坑洞检测方法及装置
CN115272493B (zh) * 2022-09-20 2022-12-27 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置
CN115272493A (zh) * 2022-09-20 2022-11-01 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置
CN116755088A (zh) * 2023-08-09 2023-09-15 中国科学院空天信息创新研究院 一种基于雷达的粮仓深度与异物的探测与成像方法
CN116755088B (zh) * 2023-08-09 2023-11-17 中国科学院空天信息创新研究院 一种基于雷达的粮仓深度与异物的探测与成像方法
CN117218123A (zh) * 2023-11-09 2023-12-12 上海擎刚智能科技有限公司 一种基于点云的冷轧带钢飞丝设备故障检测方法及系统
CN117218123B (zh) * 2023-11-09 2024-02-02 上海擎刚智能科技有限公司 一种基于点云的冷轧带钢飞丝设备故障检测方法及系统
CN117593620A (zh) * 2024-01-19 2024-02-23 中汽研（天津）汽车工程研究院有限公司 一种基于相机和激光雷达融合的多目标检测方法及装置
CN118038213A (zh) * 2024-02-18 2024-05-14 浙江大学 基于开放词汇模型的多模态人工标注标签检查方法及装置

Also Published As

Publication number Publication date
CN113111887B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
KR102195164B1 (ko) 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
Nabati et al. Radar-camera sensor fusion for joint object detection and distance estimation in autonomous vehicles
CN115082924B (zh) 一种基于单目视觉和雷达伪图像融合的三维目标检测方法
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
WO2020237516A1 (zh) 点云的处理方法、设备和计算机可读存储介质
CN114639115B (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
Ouyang et al. A cgans-based scene reconstruction model using lidar point cloud
CN114298151A (zh) 一种基于点云数据与图像数据融合的3d目标检测方法
CN117975436A (zh) 基于多模态融合和可变形注意力的三维目标检测方法
CN112683228A (zh) 单目相机测距方法及装置
TW202225730A (zh) 基於深度學習之高效率光達物件偵測方法
CN113688738A (zh) 一种基于激光雷达点云数据的目标识别系统及方法
CN117111055A (zh) 一种基于雷视融合的车辆状态感知方法
CN113988197B (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
Li et al. Feature point extraction and tracking based on a local adaptive threshold
CN117409393A (zh) 一种焦炉机车激光点云与视觉融合障碍物检测方法及系统
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
Kotur et al. Camera and LiDAR sensor fusion for 3d object tracking in a collision avoidance system
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN116386003A (zh) 基于知识蒸馏的三维目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant