CN111583337A - 一种基于多传感器融合的全方位障碍物检测方法 - Google Patents

一种基于多传感器融合的全方位障碍物检测方法 Download PDF

Info

Publication number
CN111583337A
CN111583337A CN202010336142.0A CN202010336142A CN111583337A CN 111583337 A CN111583337 A CN 111583337A CN 202010336142 A CN202010336142 A CN 202010336142A CN 111583337 A CN111583337 A CN 111583337A
Authority
CN
China
Prior art keywords
point cloud
data
dimensional
camera
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010336142.0A
Other languages
English (en)
Other versions
CN111583337B (zh
Inventor
吴忻生
向石方
陈安
刘海明
王博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010336142.0A priority Critical patent/CN111583337B/zh
Publication of CN111583337A publication Critical patent/CN111583337A/zh
Application granted granted Critical
Publication of CN111583337B publication Critical patent/CN111583337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于多传感器融合的全方位障碍物检测方法，该方法首先通过激光雷达和摄像头收集不同场景下的图像与激光点云数据；并将激光点云数据进行鸟瞰投射，经过二维网格化分割之后进行特征提取并得到鸟瞰图中的目标候选框。再利用一阶段目标检测网络模型，得到图像区域候选框；然后利用空间配准将鸟瞰图中的目标区域候选框与图像区域候选框进行融合。然后在三维空间点云分类分支设计编码器解码器结构的分割子网络对每个点云进行分类，得到在三维空间中障碍物目标的精准类别；三维候选框位置回归分支计算相应类别的预测目标与标注目标的坐标偏差及其损失值，并输出经过偏移后的预测障碍物位置信息，得到更加精确的三维空间障碍物的位置信息。

Description

一种基于多传感器融合的全方位障碍物检测方法
技术领域
本发明涉及无人车技术领域，具体涉及一种基于多传感器融合的全方位障碍物检测方法。
背景技术
无人车是一种集环境感知、动态决策与规划、行为控制与执行等多功能为一体的智能化程度很高的装置。其中，环境感知技术是重要的基础保证，而动态障碍物目标的检测是环境感知中的重要研究内容，对无人车自主导航具有重要意义。激光雷达、毫米波雷达、超声波、RGB摄像头等传感器为车辆无人驾驶提供必要的数据，但不同类型传感器均存在优势与缺陷，单传感器无法完成对无人驾驶功能性与安全性的全面覆盖。例如，激光雷达与RGB摄像头相比，激光雷达分辨率较差，但其测距能力与环境适应性更强，RGB摄像头受恶劣天气影响较大，但在目标识别方面优于激光雷达和毫米波雷达可检测目标速度，但无法进行目标识别；超声波对近距离目标距离检测效果较好，但无法进行远距离测距，且应用场景范围较窄。因此，通过传感器融合可显著提高系统的冗余度和容错性，提升无人驾驶中三维障碍物检测算法的精度，从而保证决策的快速性和正确性。
为了提高障碍物检测信息描述的完整性与可靠性，基于多传感器融合的障碍物检测方法逐渐成为国内外一个重要的研究内容和发展趋势。因此，如何充分利用各传感器提供的信息进行障碍物检测并克服两种方法单独使用的局限性，提高障碍物检测鲁棒性成为亟待解决的技术问题。
发明内容
本发明要解决的技术问题是：如何利用各传感器提供的信息进行障碍物检测，克服利用单一属性特征检测障碍物时鲁棒性低、信息量单一的缺点。
为了解决上述技术问题，本发明提供了一种基于多传感器融合的全方位障碍物检测方法，包括以下步骤：
S1、通过激光雷达和摄像头传感器收集不同场景下的激光点云数据和摄像头图像数据，对激光点云数据和摄像头图像数据中不同类别的障碍物进行标注，形成数据集；
S2、对数据集按一定比例进行划分；
S3、设计点云预测分支和图像预测分支，在点云预测分支中，将激光点云数据进行鸟瞰投射，经过二维网格化分割后进行特征提取得到点云数据特征，并基于点云数据特征得到点云候选框；在图像预测分支中，构建针对摄像头图像数据的障碍物检测网络模型，将摄像头图像数据输入到障碍物检测网络，得到图像候选框；
S4、将点云候选框和图像候选框通过空间配准得到三维候选框；
S5、经过空间配准后，图像数据和三维点云数据进行了融合，将融合后的数据分为两个分支进行数据处理，其中两个分支包括三维空间点云分类分支和三维候选框位置回归分支，所述三维空间点云分类分支通过三维障碍物检测子网络对融合后的三维点云进行分类，确定目标类别，以检测出障碍物目标；
S6、所述三维候选框位置回归分支计算相应类别的预测目标与标注目标的坐标偏差及其损失值，并输出经过偏移后的预测障碍物位置信息，从而得到三维空间障碍物的位置信息。
进一步地，步骤S1中具体包括：
收集不同场景下激光点云数据和摄像头图像数据，并分别对激光点云数据和摄像头图像数据进行分别标注，
对于激光点云数据，利用PCAT点云标注工具对不同类别的点云进行标注得到标签值，制作激光雷达点云数据集，
对于摄像头图像数据的标注，每帧图像的标注信息为每个目标在相应数据中的位置信息以及相对于目标的类别标签信息，利用labelImg工具对摄像头图像数据进行标注，制作摄像头图像数据集。
进一步地，收集到激光雷达点云数据后，需要对数据进行预处理，所述预处理包括：
根据激光雷达的有效距离通过脚本对采集点云进行距离裁剪，同时，对预处理完毕的得到的所有数据帧以数据集的格式进行保存，每一帧保存为一个独立文件，点云中每一个点占一行，每行的数据次序分别为(x,y,z,intenstity)，其中(x,y,z)是点的空间坐标，intensity是点的反射强度；将反射强度的数值归一化到[0,1]。由于远距离的激光雷达点云数据十分稀疏，所以首先根据激光雷达的有效距离通过脚本对采集点云进行距离裁剪。
进一步地，步步骤S2中将所述数据集按6：1：3的比例划分为训练集、验证集以及测试集。其中训练集用于卷积神经网络模型训练，验证集用于线下验证模型的效果便于模型参数调整和选择最佳的训练模型，测试集用于测试训练完成后模型的泛化能力，是否在其他数据上保持同样的性能和实际应用的使用情况。
进一步地，步骤S3中，在点云预测分支中，先将点云数据投影到鸟瞰视图，得到2D鸟瞰图像。然后，采用512×512的二维网格对点云进行分割，其中二维网格的行方向为激光雷达的正前方向，列方向垂直于正方向。通过此二维网格化分割，点云中的每个点均落在对应的二维网格内，可用网格中格子的位置索引到点云中的任意点，无序的点云数据通过此变换变成了有序的二维矩阵，便于后续的特征提取和鸟瞰图中的候选框的生成。
进一步地，在尺寸为512×512的二维网格中的每个网格提取以下六个特征：
网格内所有点到激光雷达原点的距离的平均值da；网格所有点的形心相对于激光雷达原点的夹角ρ；网格内点的最大高度hm；网格内点的最大反射强度im；网格内点的高度平均值ha；网格内点的数量n，
提取出每个网格的特征向量(da,ρ,hm,im,ha,n)T后，点云数据被转换成一个尺寸为512×512×6的输入特征图，输入特征图被输入到卷积神经网络中进行训练，得到鸟瞰图中的点云候选框。
进一步地，步骤S3中，在图像预测分支中，所述障碍物检测网络模型采用一阶段目标检测YOLO模型，实现摄像头二维图像数据中的障碍物检测，得到二维RGB图像候选框。
进一步地，步骤S4中，所述空间对准，包括：
摄像头和激光雷达分别观测到的图像信息、激光点云数据信息，通过坐标转换关系式(1)将激光雷达观测到的点云数据信息投影到摄像头观测到的图像信息中，完成激光雷达和摄像头的联合标定和空间对准：
Figure BDA0002466692170000031
其中，{u,v}为像素坐标系下的像素点坐标，ρ表示摄像头传感器和激光雷达传感器之间的直线距离，θ为摄像头传感器和激光雷达传感器位置之间的夹角，矩阵T为空间变换矩阵，通过采集A(A≥4)个对应的激光雷达和摄像头的观测数据集，利用最小二乘法求解得到。
进一步地，步骤S5中所述三维障碍物检测子网络，包括编码器和解码器，编码器中应用VGG16网络提取相应特征，建立起特征图的抽象表示，解码器中应用反卷积操作和逐元素求和(pointwise add)操作，并采用FCN-8网络中的跳层策略对分割边界进行精炼，最终，对每个点云点进行分类，确定每个点是属于哪一目标类别，从而以分割出障碍物目标。
与现有技术相比，本发明实现的有益效果至少如下：
本发明通过多线激光雷达和四目摄像头模组实现全方位获取无人车周围的障碍物信息，该方法首先通过激光雷达和摄像头传感器收集不同场景下的RGB图像数据与激光点云数据并划分；然后，将激光点云数据进行鸟瞰投射，经过二维网格化分割之后进行特征提取得到点云数据特征，并通过卷积神经网络得到鸟瞰图中的目标候选框。同时，利用针对RGB图像的障碍物检测网络模型，得到图像区域候选框；然后，利用空间配准将提取到的鸟瞰图中的目标区域候选框与图像区域候选框进行融合。融合后的数据送入到两大分支中，其中三维空间点云分类分支采用实例分割的方法设计编码器解码器结构的分割子网络对每个点云进行分类，进而得到在三维空间中障碍物目标的精准类别；然后，三维候选框位置回归分支计算相应类别的预测目标与标注目标的坐标偏差及其损失值，并输出经过偏移后的预测障碍物位置信息，进而得到更加精确的三维空间障碍物的位置信息。本方法克服了利用单一属性特征检测障碍物时鲁棒性低的缺点，同时，由于将摄像头传感器和激光雷达传感器融合来对障碍物进行检测，充分发挥了两大传感器的优势。图像的丰富纹理信息能够缓解激光雷达对于较远物体线数稀疏，聚类效果不好、激光雷达线数聚类无法提供障碍物类别信息等问题。同时，激光雷达能够为图像提供准确的距离深度信息，为实现三维空间的障碍物检测提供基础保障。
附图说明
图1为本发明整体流程图；
图2为本发明中图像预测分支中YOLO模型的流程图；
图3为本发明中特征金字塔(FPN)网络结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的一种基于多传感器融合的全方位障碍物检测方法，包括以下步骤：
S1、通过激光雷达和摄像头传感器收集不同场景下的激光点云数据和摄像头图像数据，对不同类型的数据中的目标利用数据标注软件分别对不同类别的障碍物进行标注，形成数据集；
本实施例通过多线激光雷达和四目摄像头模组全方位获取无人车周围的障碍物信息，收集不同场景下激光点云数据和摄像头图像数据，并分别对激光点云数据和摄像头图像数据进行分别标注。对于激光点云数据，利用PCAT点云标注工具对不同类别的点云进行标注得到标签值，制作激光雷达点云数据集。对于摄像头图像数据的标注，每帧图像的标注信息为每个目标在相应数据中的位置信息以及相对于目标的类别标签信息，利用labelImg工具对摄像头图像数据进行标注，制作摄像头图像数据集。
数据采集后，对数据进行预处理，由于远距离的激光雷达点云数据十分稀疏，所以首先根据激光雷达的有效距离通过脚本对采集点云进行距离裁剪，激光雷达的有效距离为70米，故剪除距离大于70米的点。为了排除采集车自身的反射点对训练的干扰，剪除距离小于2.5米的点。此外，过高的物体(如道路中的天桥)会对俯视2维网格内的特征信息造成干扰，例如天桥的反射点的统计特征也会被考虑到该网格的特征提取中，从而干扰天桥下方车辆和行人等非地图元素的识别，因此，首先通过脚本对采集到的激光雷达点云数据进行距离裁剪；然后，对所有数据帧以KITTI数据集的格式进行保存，每一帧保存为一个独立文件，点云中每一个点占一行，每行的数据次序分别为(x,y,z,intenstity)，其中(x,y,z)是点的空间坐标，intensity是点的反射强度。同时，由于激光雷达反射强度原始值的取值范围为[0,255]，将反射强度的数值归一化到[0,1]。
S2、对制作好的激光雷达点云数据集和摄像头图像数据集按6：1：3的比例进将数据集划分为训练集、验证集以及测试集。其中训练集用于卷积神经网络模型训练，验证集用于线下验证模型的效果便于模型参数调整，测试集用于测试训练完成后模型的泛化能力，是否在其他数据上保持同样的性能。
S3、设计点云预测分支和图像预测分支，在点云预测分支中，将激光点云数据进行鸟瞰投射，经过二维网格化分割后进行特征提取得到点云数据特征和点云候选框；在图像预测分支中，构建针对摄像头图像数据的障碍物检测网络模型，将摄像头图像数据输入障碍物检测网络模型，得到图像特征和图像候选框。
具体地，在点云预测分支中，具体操作包括：
S31、先将点云数据投影到鸟瞰视图，得到2D鸟瞰图像；然后，采用512×512的二维网格对点云进行分割，其中二维网格的行方向为激光雷达的正前方向，列方向垂直于正方向。通过此二维网格化分割，点云中的每个点均落在对应的二维网格内，可用网格中格子的位置索引到点云中的任意点，无序的点云数据通过此变换变成了有序的二维矩阵，便于后续的特征提取和鸟瞰图中的候选框的生成；
S32、在尺寸为512×512的二维网格中的每个网格提取以下六个特征：
网格内所有点到激光雷达原点的距离的平均值da；网格所有点的形心相对于激光雷达原点的夹角β；网格内点的最大高度hm；网格内点的最大反射强度im；网格内点的高度平均值ha；网格内点的数量n；
S33、提取出每个网格的特征向量(da,β,hm,im,ha,n)T后，点云数据被转换成一个尺寸为512×512×6的输入特征图，输入特征图被输入到卷积神经网络中进行训练，得到鸟瞰图中的点云候选框。
具体地，在图像预测分支中的障碍物检测网络模型采用一阶段目标检测YOLO模型，实现摄像头二维图像数据中的障碍物检测，得到二维RGB图像候选框。
如图2所示，YOLO模型包括四个模块：模型模块、训练模块、检测模块与预测模块。其中模型模块是YOLOv3的核心，作用是根据给定的网络结构构建对应的模型，模型将用于训练和预测，同时此模块还保存有模型的网络权重；训练模块从模型模块中读取模型，根据输入的训练集，使用梯度下降法训练模型使Loss函数下降，并将训练后的网络权重保存。预测模块则是通过读取模型以及对应的网络权重，对输入的不带标记的测试图片或视频进行预测；检测模块则是根据预测模块提供的预测框与分类标签，将障碍物的图像候选框绘制在原图上。
在场景中含有许多小目标障碍物，所以在YOLO障碍物检测模型中要针对小目标障碍物进行优化，采用特征金字塔网络FPN(Feature Pyramid Networks)来改进小目标障碍物的检测效果。如图3所示，FPN的主要结构主要包含自下而上网络、自上而下网络、横向连接与卷积融合4个部分。
自下而上：最左侧为普通的卷积网络，默认使用ResNet结构，用作提取语义信息。C1代表了ResNet的前几个卷积与池化层，而C2至C5分别为不同的ResNet卷积组，这些卷积组包含了多个Bottleneck结构，组内的特征图大小相同，组间大小递减。
自上而下：首先对C5进行1×1卷积降低通道数得到P5，然后依次进行上采样得到P4、P3和P2，目的是得到与C4、C3与C2长宽相同的特征，以方便下一步进行逐元素相加。这里采用2倍最邻近上采样，即直接对临近元素进行复制，而非线性插值。
横向连接：目的是为了将上采样后的高语义特征与浅层的定位细节特征进行融合。高语义特征经过上采样后，其长宽与对应的浅层特征相同，而通道数固定为256，因此需要对底层特征C2至C4进行1×1卷积使得其通道数变为256，然后两者进行逐元素相加得到P4、P3与P2。由于C1的特征图尺寸较大且语义信息不足，因此没有把C1放到横向连接中。
卷积融合：在得到相加后的特征后，利用3×3卷积对生成的P2至P4再进行融合，目的是消除上采样过程带来的重叠效应，以生成最终的特征图。
S4、将点云候选框和图像候选框通过空间配准得到粗略的三维候选框，所述空间对准具体为：
摄像头和激光雷达分别观测到的图像信息、激光点云数据信息，通过坐标转换关系式(1)将激光雷达观测到的点云数据信息投影到摄像头观测到的图像信息中，完成激光雷达和摄像头的联合标定和空间对准：
Figure BDA0002466692170000071
其中，{u,v}为像素坐标系下的像素点坐标，ρ表示摄像头传感器和激光雷达传感器之间的直线距离，θ为摄像头传感器和激光雷达传感器位置之间的夹角，矩阵T为空间变换矩阵，通过采集A(A≥4)个对应的激光雷达和摄像头的观测数据集，利用最小二乘法求解得到。
S5、经过空间配准后，图像数据和三维点云数据进行了融合。将融合后的数据分为两个分支进行数据处理。两个分支包括三维空间点云分类分支和三维候选框位置回归分支，三维空间点云分类分支采用实例分割的方法设计三维障碍物检测子网络对融合后的三维点云进行分类，确定目标类别，以检测出障碍物目标。
其中，三维障碍物检测子网络包括编码器和解码器两部分，编码器中应用VGG16网络提取相应特征，建立起特征图的抽象表示，解码器中应用反卷积操作和逐元素求和(pointwise add)操作，并采用FCN-8网络中的跳层策略对分割边界进行精炼。最终，对每个点云点进行分类，得到三维障碍物精准类别。
S6、在三维候选框位置回归分支中，计算相应类别的预测目标与标注目标的坐标偏差及其损失值，并输出经过偏移后的预测障碍物位置信息，从而得到精确的三维空间障碍物的位置信息。三维候选框位置回归分支使用一个全连接网络实现边框的回归，其输入的是候选区域的特征及其边框，输出的是该候选框要进行的平移和缩放，最终目标是使得候选框进行平移和缩放后尽可能和标签中的目标位置真值接近。
本实施例中，输入图像数据及相对应的激光点云数据，分别经过图像预测分支与点云预测分支分的得到图像候选框和点云候选框，并通过空间配准得到三维候选框，空间配准后，图像数据和三维点云数据进行了融合，然后在三维空间点云分类分支设计编码器解码器结构的分割子网络对每个点云进行分类，得到在三维空间中障碍物目标的精准类别；三维候选框位置回归分支计算相应类别的预测目标与标注目标的坐标偏差及其损失值，并输出经过偏移后的预测障碍物位置信息，得到更加精确的三维空间障碍物的位置信息。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于多传感器融合的全方位障碍物检测方法，其特征在于，包括以下步骤：
S1、通过激光雷达和摄像头传感器收集不同场景下的激光点云数据和摄像头图像数据，对激光点云数据和摄像头图像数据中不同类别的障碍物进行标注，形成数据集；
S2、对数据集按一定比例进行划分；
S3、设计点云预测分支和图像预测分支，在点云预测分支中，将激光点云数据进行鸟瞰投射，经过二维网格化分割后进行特征提取得到点云数据特征，并基于点云数据特征得到点云候选框；在图像预测分支中，构建针对摄像头图像数据的障碍物检测网络模型，将摄像头图像数据输入到障碍物检测网络，得到图像候选框；
S4、将点云候选框和图像候选框通过空间配准得到三维候选框；
S5、经过空间配准后，图像数据和三维点云数据进行了融合，将融合后的数据分为两个分支进行数据处理，其中两个分支包括三维空间点云分类分支和三维候选框位置回归分支，所述三维空间点云分类分支通过三维障碍物检测子网络对融合后的三维点云进行分类，确定目标类别，以检测出障碍物目标；
S6、所述三维候选框位置回归分支计算相应类别的预测目标与标注目标的坐标偏差及其损失值，并输出经过偏移后的预测障碍物位置信息，从而得到三维空间障碍物的位置信息。
2.根据权利要求1所述的一种基于多传感器融合的全方位障碍物检测方法，其特征在于，步骤S1中：
收集不同场景下激光点云数据和摄像头图像数据，并分别对激光点云数据和摄像头图像数据进行分别标注，
对于激光点云数据，利用PCAT点云标注工具对不同类别的点云进行标注得到标签值，制作激光雷达点云数据集，
对于摄像头图像数据的标注，每帧图像的标注信息为每个目标在相应数据中的位置信息以及相对于目标的类别标签信息，利用labelImg工具对摄像头图像数据进行标注，制作摄像头图像数据集。
3.根据权利要求1所述的一种基于多传感器融合的全方位障碍物检测方法，其特征在于，收集到激光雷达点云数据后，需要对数据进行预处理，所述预处理包括：
根据激光雷达的有效距离通过脚本对采集点云进行距离裁剪，同时，对预处理完毕的得到的所有数据帧以数据集的格式进行保存，每一帧保存为一个独立文件，点云中每一个点占一行，每行的数据次序分别为(x,y,z,intenstity)，其中(x,y,z)是点的空间坐标，intensity是点的反射强度；将反射强度的数值归一化到[0,1]。
4.根据权利要求1所述的一种基于多传感器融合的全方位障碍物检测方法，其特征在于，步骤S2中将所述数据集按6：1：3的比例划分为训练集、验证集以及测试集。
5.根据权利要求1所述的一种基于多传感器融合的全方位障碍物检测方法，其特征在于，步骤S3中，在点云预测分支中，先将点云数据投影到鸟瞰视图，得到2D鸟瞰图像，采用尺寸为512×512的二维网格对点云进行分割，其中二维网格的行方向为激光雷达的正前方向，列方向垂直于正方向，通过此二维网格化分割，点云中的每个点均落在对应的二维网格内，可用网格中格子的位置索引到点云中的任意点，无序的点云数据通过此变换变成有序的二维矩阵。
6.根据权利要求5所述的一种基于多传感器融合的全方位障碍物检测方法，其特征在于，在尺寸为512×512的二维网格中的每个网格提取以下六个特征：网格内所有点到激光雷达原点的距离的平均值da；网格所有点的形心相对于激光雷达原点的夹角β；网格内点的最大高度hm；网格内点的最大反射强度im；网格内点的高度平均值ha；网格内点的数量n，
提取出每个网格的特征向量(da,β,hm,im,ha,n)T后，点云数据被转换成一个尺寸为512×512×6的输入特征图，输入特征图被输入到卷积神经网络中进行训练，得到鸟瞰图中的点云候选框。
7.根据权利要求1所述的一种基于多传感器融合的全方位障碍物检测方法，其特征在于，步骤S3中，在图像预测分支中，所述障碍物检测网络模型采用一阶段目标检测YOLO模型，实现摄像头二维图像数据中的障碍物检测，得到二维RGB图像候选框。
8.根据权利要求1所述的一种基于多传感器融合的全方位障碍物检测方法，其特征在于，步骤S4中所述空间对准，包括：
摄像头和激光雷达分别观测到的图像信息、激光点云数据信息，通过坐标转换关系式(1)将激光雷达观测到的点云数据信息投影到摄像头观测到的图像信息中，完成激光雷达和摄像头的联合标定和空间对准：
Figure FDA0002466692160000021
其中，{u,v}为像素坐标系下的像素点坐标，ρ表示摄像头传感器和激光雷达传感器之间的直线距离，θ为摄像头传感器和激光雷达传感器位置之间的夹角，矩阵T为空间变换矩阵，通过采集A(A≥4)个对应的激光雷达和摄像头的观测数据集，利用最小二乘法求解得到。
9.根据权利要求1所述的一种基于多传感器融合的全方位障碍物检测方法，其特征在于，步骤S5中所述三维障碍物检测子网络，包括编码器和解码器，编码器中应用VGG16网络提取相应特征，建立特征图的抽象表示，解码器中应用反卷积操作和逐元素求和(pointwise add)操作，并采用FCN-8网络中的跳层策略对分割边界进行精炼，最终，对每个点云点进行分类，确定每个点是属于哪一目标类别，从而以分割出障碍物目标。
CN202010336142.0A 2020-04-25 2020-04-25 一种基于多传感器融合的全方位障碍物检测方法 Active CN111583337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010336142.0A CN111583337B (zh) 2020-04-25 2020-04-25 一种基于多传感器融合的全方位障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010336142.0A CN111583337B (zh) 2020-04-25 2020-04-25 一种基于多传感器融合的全方位障碍物检测方法

Publications (2)

Publication Number Publication Date
CN111583337A true CN111583337A (zh) 2020-08-25
CN111583337B CN111583337B (zh) 2023-03-21

Family

ID=72116767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010336142.0A Active CN111583337B (zh) 2020-04-25 2020-04-25 一种基于多传感器融合的全方位障碍物检测方法

Country Status (1)

Country Link
CN (1) CN111583337B (zh)

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814764A (zh) * 2020-08-27 2020-10-23 北京交跃通达检测科技有限公司 一种遗撒物确定系统
CN112070838A (zh) * 2020-09-07 2020-12-11 洛伦兹（北京）科技有限公司 基于二维-三维融合特征的对象识别与定位方法及装置
CN112101222A (zh) * 2020-09-16 2020-12-18 中国海洋大学 一种基于无人艇多模态传感器的海面三维目标检测方法
CN112200130A (zh) * 2020-10-28 2021-01-08 中国人民解放军陆军航空兵学院陆军航空兵研究所 一种三维目标检测方法、装置及终端设备
CN112233182A (zh) * 2020-12-15 2021-01-15 北京云测网络科技有限公司 一种多激光雷达的点云数据的标注方法和装置
CN112233097A (zh) * 2020-10-19 2021-01-15 中国科学技术大学 基于空时域多维融合的道路场景他车检测系统和方法
CN112258517A (zh) * 2020-09-30 2021-01-22 无锡太机脑智能科技有限公司 激光雷达栅格地图的自动修图方法和装置
CN112288667A (zh) * 2020-11-02 2021-01-29 上海智驾汽车科技有限公司 一种基于激光雷达与摄像头融合的三维目标检测方法
CN112329749A (zh) * 2021-01-05 2021-02-05 新石器慧通（北京）科技有限公司 点云的标注方法及标注设备
CN112434706A (zh) * 2020-11-13 2021-03-02 武汉中海庭数据技术有限公司 一种基于图像点云融合的高精度交通要素目标提取方法
CN112507787A (zh) * 2020-11-03 2021-03-16 北京深睿博联科技有限责任公司 基于正样本筛选视障人员障碍物的目标检测方法及装置
CN112528771A (zh) * 2020-11-27 2021-03-19 深兰科技（上海）有限公司 障碍物检测方法、装置、电子设备及存储介质
CN112528979A (zh) * 2021-02-10 2021-03-19 成都信息工程大学 变电站巡检机器人障碍物判别方法及系统
CN112560580A (zh) * 2020-11-20 2021-03-26 腾讯科技（深圳）有限公司 障碍物识别方法、装置、系统、存储介质和电子设备
CN112580561A (zh) * 2020-12-25 2021-03-30 上海高德威智能交通系统有限公司 目标检测方法、装置、电子设备及存储介质
CN112711034A (zh) * 2020-12-22 2021-04-27 中国第一汽车股份有限公司 物体检测方法、装置及设备
CN112801225A (zh) * 2021-04-01 2021-05-14 中国人民解放军国防科技大学 极限工况下自动驾驶多传感器融合感知方法及系统
CN112818756A (zh) * 2021-01-13 2021-05-18 上海西井信息科技有限公司 目标检测方法、系统、设备及存储介质
CN112818845A (zh) * 2021-01-29 2021-05-18 深圳市商汤科技有限公司 测试方法、目标对象检测方法、行驶控制方法及装置
CN112861653A (zh) * 2021-01-20 2021-05-28 上海西井信息科技有限公司 融合图像和点云信息的检测方法、系统、设备及存储介质
CN112869969A (zh) * 2021-01-14 2021-06-01 北京三角洲机器人科技有限公司 一种用于电动轮椅的全方位通行策略生成系统和方法
CN112990229A (zh) * 2021-03-11 2021-06-18 上海交通大学 多模态3d目标检测方法、系统、终端及介质
CN112991455A (zh) * 2021-02-01 2021-06-18 武汉光庭信息技术股份有限公司 一种点云与图片融合标注的方法及系统
CN113111751A (zh) * 2021-04-01 2021-07-13 西北工业大学 一种自适应融合可见光与点云数据的三维目标检测方法
CN113126120A (zh) * 2021-04-25 2021-07-16 北京百度网讯科技有限公司 数据标注方法、装置、设备、存储介质以及计算机程序产品
CN113128348A (zh) * 2021-03-25 2021-07-16 西安电子科技大学 一种融合语义信息的激光雷达目标检测方法及系统
CN113177502A (zh) * 2021-05-13 2021-07-27 北京罗克维尔斯科技有限公司 环视障碍物检测方法、装置、介质、车载系统以及车辆
CN113221962A (zh) * 2021-04-21 2021-08-06 哈尔滨工程大学 一种解耦分类与回归任务的三维点云单阶段目标检测方法
CN113269168A (zh) * 2021-07-19 2021-08-17 禾多阡陌科技(北京)有限公司 障碍物数据处理方法、装置、电子设备和计算机可读介质
CN113298044A (zh) * 2021-06-23 2021-08-24 上海西井信息科技有限公司 基于定位补偿的障碍物检测方法、系统、设备及存储介质
CN113506374A (zh) * 2021-07-16 2021-10-15 西安电子科技大学 基于gps信息辅助及空间网格划分的点云配准方法
CN113554643A (zh) * 2021-08-13 2021-10-26 上海高德威智能交通系统有限公司 一种目标检测方法、装置、电子设备及存储介质
CN113903029A (zh) * 2021-12-10 2022-01-07 智道网联科技(北京)有限公司 一种点云数据中3d框的标注方法和装置
CN113963335A (zh) * 2021-12-21 2022-01-21 山东融瓴科技集团有限公司 基于图像和点云数据的路面障碍物检测方法
CN113984037A (zh) * 2021-09-30 2022-01-28 电子科技大学长三角研究院(湖州) 一种基于任意方向目标候选框的语义地图构建方法
CN114140765A (zh) * 2021-11-12 2022-03-04 北京航空航天大学 一种障碍物感知方法、装置及存储介质
CN114202631A (zh) * 2021-11-01 2022-03-18 东北大学 一种岩石二次破碎作业中岩石作业面与作业点的确定方法
CN114255264A (zh) * 2020-09-24 2022-03-29 北京万集科技股份有限公司 多基站配准方法、装置、计算机设备和存储介质
CN114359181A (zh) * 2021-12-17 2022-04-15 上海应用技术大学 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN114445310A (zh) * 2021-12-23 2022-05-06 苏州浪潮智能科技有限公司 一种3d目标检测方法、装置、电子设备和介质
CN114818967A (zh) * 2022-05-11 2022-07-29 北京小马易行科技有限公司 目标物分类方法、装置、车辆及系统
CN114882046A (zh) * 2022-03-29 2022-08-09 驭势科技（北京）有限公司 三维点云数据的全景分割方法、装置、设备及介质
CN114898313A (zh) * 2022-04-29 2022-08-12 广州文远知行科技有限公司 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质
CN115236674A (zh) * 2022-06-15 2022-10-25 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN115375985A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 非限定类别障碍物检测方法、相关网络训练方法及装置
WO2023274254A1 (zh) * 2021-06-29 2023-01-05 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
JP2023027778A (ja) * 2021-08-17 2023-03-02 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 障害物検知方法、装置、電子機器及び自動運転車両
WO2023035822A1 (zh) * 2021-09-13 2023-03-16 上海芯物科技有限公司 一种目标检测方法、装置、设备及存储介质
WO2023040247A1 (zh) * 2021-09-18 2023-03-23 浙江大学 一种基于图像和点云融合网络的道路区域图像识别方法
CN116052120A (zh) * 2023-01-12 2023-05-02 苏州大学 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN116503828A (zh) * 2023-04-24 2023-07-28 大连理工大学 一种基于激光雷达的列车轨道检测方法
WO2023155387A1 (zh) * 2022-02-15 2023-08-24 上海芯物科技有限公司 多传感器目标检测方法、装置、电子设备以及存储介质
CN117292140A (zh) * 2023-10-17 2023-12-26 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质
CN117496464A (zh) * 2023-10-23 2024-02-02 广东灵锶智能科技有限公司 一种足式机器人地面探测方法及装置
CN117611592A (zh) * 2024-01-24 2024-02-27 长沙隼眼软件科技有限公司 一种异物检测方法、装置、电子设备以及存储介质
CN117994504A (zh) * 2024-04-03 2024-05-07 国网江苏省电力有限公司常州供电分公司 目标检测方法、目标检测装置
CN118552860A (zh) * 2024-07-30 2024-08-27 南京农业大学 一种障碍物检测方法、装置、电子设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法
CN109828592A (zh) * 2019-04-22 2019-05-31 深兰人工智能芯片研究院（江苏）有限公司 一种障碍物检测的方法及设备
CN110363820A (zh) * 2019-06-28 2019-10-22 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法
CN109828592A (zh) * 2019-04-22 2019-05-31 深兰人工智能芯片研究院（江苏）有限公司 一种障碍物检测的方法及设备
CN110363820A (zh) * 2019-06-28 2019-10-22 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑少武 等: "基于激光点云与图像信息融合的交通环境车辆检测", 《仪器仪表学报》 *

Cited By (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814764A (zh) * 2020-08-27 2020-10-23 北京交跃通达检测科技有限公司 一种遗撒物确定系统
CN111814764B (zh) * 2020-08-27 2023-08-18 北京交跃通达检测科技有限公司 一种遗撒物确定系统
CN112070838A (zh) * 2020-09-07 2020-12-11 洛伦兹（北京）科技有限公司 基于二维-三维融合特征的对象识别与定位方法及装置
CN112070838B (zh) * 2020-09-07 2024-02-02 洛伦兹（北京）科技有限公司 基于二维-三维融合特征的对象识别与定位方法及装置
CN112101222A (zh) * 2020-09-16 2020-12-18 中国海洋大学 一种基于无人艇多模态传感器的海面三维目标检测方法
CN114255264A (zh) * 2020-09-24 2022-03-29 北京万集科技股份有限公司 多基站配准方法、装置、计算机设备和存储介质
CN112258517A (zh) * 2020-09-30 2021-01-22 无锡太机脑智能科技有限公司 激光雷达栅格地图的自动修图方法和装置
CN112233097A (zh) * 2020-10-19 2021-01-15 中国科学技术大学 基于空时域多维融合的道路场景他车检测系统和方法
CN112233097B (zh) * 2020-10-19 2022-10-28 中国科学技术大学 基于空时域多维融合的道路场景他车检测系统和方法
CN112200130A (zh) * 2020-10-28 2021-01-08 中国人民解放军陆军航空兵学院陆军航空兵研究所 一种三维目标检测方法、装置及终端设备
CN112288667B (zh) * 2020-11-02 2024-06-07 智驾汽车科技(宁波)有限公司 一种基于激光雷达与摄像头融合的三维目标检测方法
CN112288667A (zh) * 2020-11-02 2021-01-29 上海智驾汽车科技有限公司 一种基于激光雷达与摄像头融合的三维目标检测方法
CN112507787A (zh) * 2020-11-03 2021-03-16 北京深睿博联科技有限责任公司 基于正样本筛选视障人员障碍物的目标检测方法及装置
CN112434706A (zh) * 2020-11-13 2021-03-02 武汉中海庭数据技术有限公司 一种基于图像点云融合的高精度交通要素目标提取方法
CN112434706B (zh) * 2020-11-13 2023-06-06 武汉中海庭数据技术有限公司 一种基于图像点云融合的高精度交通要素目标提取方法
CN112560580A (zh) * 2020-11-20 2021-03-26 腾讯科技（深圳）有限公司 障碍物识别方法、装置、系统、存储介质和电子设备
CN112528771A (zh) * 2020-11-27 2021-03-19 深兰科技（上海）有限公司 障碍物检测方法、装置、电子设备及存储介质
CN112233182A (zh) * 2020-12-15 2021-01-15 北京云测网络科技有限公司 一种多激光雷达的点云数据的标注方法和装置
CN112711034B (zh) * 2020-12-22 2022-10-14 中国第一汽车股份有限公司 物体检测方法、装置及设备
CN112711034A (zh) * 2020-12-22 2021-04-27 中国第一汽车股份有限公司 物体检测方法、装置及设备
CN112580561A (zh) * 2020-12-25 2021-03-30 上海高德威智能交通系统有限公司 目标检测方法、装置、电子设备及存储介质
CN112580561B (zh) * 2020-12-25 2023-11-03 上海高德威智能交通系统有限公司 目标检测方法、装置、电子设备及存储介质
CN112329749A (zh) * 2021-01-05 2021-02-05 新石器慧通（北京）科技有限公司 点云的标注方法及标注设备
CN112329749B (zh) * 2021-01-05 2021-04-27 新石器慧通（北京）科技有限公司 点云的标注方法及标注设备
CN112818756A (zh) * 2021-01-13 2021-05-18 上海西井信息科技有限公司 目标检测方法、系统、设备及存储介质
CN112869969A (zh) * 2021-01-14 2021-06-01 北京三角洲机器人科技有限公司 一种用于电动轮椅的全方位通行策略生成系统和方法
CN112869969B (zh) * 2021-01-14 2023-01-17 安徽金百合医疗器械有限公司 一种用于电动轮椅的全方位通行策略生成系统和方法
CN112861653A (zh) * 2021-01-20 2021-05-28 上海西井信息科技有限公司 融合图像和点云信息的检测方法、系统、设备及存储介质
CN112861653B (zh) * 2021-01-20 2024-01-23 上海西井科技股份有限公司 融合图像和点云信息的检测方法、系统、设备及存储介质
CN112818845A (zh) * 2021-01-29 2021-05-18 深圳市商汤科技有限公司 测试方法、目标对象检测方法、行驶控制方法及装置
CN112991455A (zh) * 2021-02-01 2021-06-18 武汉光庭信息技术股份有限公司 一种点云与图片融合标注的方法及系统
CN112991455B (zh) * 2021-02-01 2022-06-17 武汉光庭信息技术股份有限公司 一种点云与图片融合标注的方法及系统
CN112528979A (zh) * 2021-02-10 2021-03-19 成都信息工程大学 变电站巡检机器人障碍物判别方法及系统
CN112528979B (zh) * 2021-02-10 2021-05-11 成都信息工程大学 变电站巡检机器人障碍物判别方法及系统
CN112990229A (zh) * 2021-03-11 2021-06-18 上海交通大学 多模态3d目标检测方法、系统、终端及介质
CN113128348A (zh) * 2021-03-25 2021-07-16 西安电子科技大学 一种融合语义信息的激光雷达目标检测方法及系统
CN113128348B (zh) * 2021-03-25 2023-11-24 西安电子科技大学 一种融合语义信息的激光雷达目标检测方法及系统
CN113111751B (zh) * 2021-04-01 2024-06-04 西北工业大学 一种自适应融合可见光与点云数据的三维目标检测方法
CN113111751A (zh) * 2021-04-01 2021-07-13 西北工业大学 一种自适应融合可见光与点云数据的三维目标检测方法
CN112801225B (zh) * 2021-04-01 2021-06-18 中国人民解放军国防科技大学 极限工况下自动驾驶多传感器融合感知方法及系统
CN112801225A (zh) * 2021-04-01 2021-05-14 中国人民解放军国防科技大学 极限工况下自动驾驶多传感器融合感知方法及系统
CN113221962B (zh) * 2021-04-21 2022-06-21 哈尔滨工程大学 一种解耦分类与回归任务的三维点云单阶段目标检测方法
CN113221962A (zh) * 2021-04-21 2021-08-06 哈尔滨工程大学 一种解耦分类与回归任务的三维点云单阶段目标检测方法
CN113126120B (zh) * 2021-04-25 2023-08-25 北京百度网讯科技有限公司 数据标注方法、装置、设备、存储介质以及计算机程序产品
CN113126120A (zh) * 2021-04-25 2021-07-16 北京百度网讯科技有限公司 数据标注方法、装置、设备、存储介质以及计算机程序产品
CN113177502A (zh) * 2021-05-13 2021-07-27 北京罗克维尔斯科技有限公司 环视障碍物检测方法、装置、介质、车载系统以及车辆
CN113177502B (zh) * 2021-05-13 2024-02-02 北京罗克维尔斯科技有限公司 环视障碍物检测方法、装置、介质、车载系统以及车辆
CN113298044A (zh) * 2021-06-23 2021-08-24 上海西井信息科技有限公司 基于定位补偿的障碍物检测方法、系统、设备及存储介质
CN113298044B (zh) * 2021-06-23 2023-04-18 上海西井信息科技有限公司 基于定位补偿的障碍物检测方法、系统、设备及存储介质
WO2023274254A1 (zh) * 2021-06-29 2023-01-05 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN113506374A (zh) * 2021-07-16 2021-10-15 西安电子科技大学 基于gps信息辅助及空间网格划分的点云配准方法
CN113506374B (zh) * 2021-07-16 2022-12-02 西安电子科技大学 基于gps信息辅助及空间网格划分的点云配准方法
CN113269168B (zh) * 2021-07-19 2021-10-15 禾多阡陌科技(北京)有限公司 障碍物数据处理方法、装置、电子设备和计算机可读介质
CN113269168A (zh) * 2021-07-19 2021-08-17 禾多阡陌科技(北京)有限公司 障碍物数据处理方法、装置、电子设备和计算机可读介质
CN113554643A (zh) * 2021-08-13 2021-10-26 上海高德威智能交通系统有限公司 一种目标检测方法、装置、电子设备及存储介质
JP2023027778A (ja) * 2021-08-17 2023-03-02 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 障害物検知方法、装置、電子機器及び自動運転車両
WO2023035822A1 (zh) * 2021-09-13 2023-03-16 上海芯物科技有限公司 一种目标检测方法、装置、设备及存储介质
WO2023040247A1 (zh) * 2021-09-18 2023-03-23 浙江大学 一种基于图像和点云融合网络的道路区域图像识别方法
CN113984037A (zh) * 2021-09-30 2022-01-28 电子科技大学长三角研究院(湖州) 一种基于任意方向目标候选框的语义地图构建方法
CN114202631A (zh) * 2021-11-01 2022-03-18 东北大学 一种岩石二次破碎作业中岩石作业面与作业点的确定方法
CN114140765B (zh) * 2021-11-12 2022-06-24 北京航空航天大学 一种障碍物感知方法、装置及存储介质
CN114140765A (zh) * 2021-11-12 2022-03-04 北京航空航天大学 一种障碍物感知方法、装置及存储介质
CN113903029A (zh) * 2021-12-10 2022-01-07 智道网联科技(北京)有限公司 一种点云数据中3d框的标注方法和装置
CN114359181A (zh) * 2021-12-17 2022-04-15 上海应用技术大学 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN114359181B (zh) * 2021-12-17 2024-01-26 上海应用技术大学 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN113963335A (zh) * 2021-12-21 2022-01-21 山东融瓴科技集团有限公司 基于图像和点云数据的路面障碍物检测方法
CN114445310A (zh) * 2021-12-23 2022-05-06 苏州浪潮智能科技有限公司 一种3d目标检测方法、装置、电子设备和介质
CN114445310B (zh) * 2021-12-23 2024-01-26 苏州浪潮智能科技有限公司 一种3d目标检测方法、装置、电子设备和介质
WO2023155387A1 (zh) * 2022-02-15 2023-08-24 上海芯物科技有限公司 多传感器目标检测方法、装置、电子设备以及存储介质
CN114882046A (zh) * 2022-03-29 2022-08-09 驭势科技（北京）有限公司 三维点云数据的全景分割方法、装置、设备及介质
CN114898313A (zh) * 2022-04-29 2022-08-12 广州文远知行科技有限公司 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质
CN114898313B (zh) * 2022-04-29 2024-08-20 广州文远知行科技有限公司 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质
CN114818967A (zh) * 2022-05-11 2022-07-29 北京小马易行科技有限公司 目标物分类方法、装置、车辆及系统
CN115236674B (zh) * 2022-06-15 2024-06-04 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN115236674A (zh) * 2022-06-15 2022-10-25 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN115375985A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 非限定类别障碍物检测方法、相关网络训练方法及装置
CN115375985B (zh) * 2022-10-25 2023-03-24 杭州华橙软件技术有限公司 非限定类别障碍物检测方法、相关网络训练方法及装置
CN116052120A (zh) * 2023-01-12 2023-05-02 苏州大学 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN116503828A (zh) * 2023-04-24 2023-07-28 大连理工大学 一种基于激光雷达的列车轨道检测方法
CN117292140B (zh) * 2023-10-17 2024-04-02 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质
CN117292140A (zh) * 2023-10-17 2023-12-26 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质
CN117496464A (zh) * 2023-10-23 2024-02-02 广东灵锶智能科技有限公司 一种足式机器人地面探测方法及装置
CN117496464B (zh) * 2023-10-23 2024-05-24 广东灵锶智能科技有限公司 一种足式机器人地面探测方法及装置
CN117611592A (zh) * 2024-01-24 2024-02-27 长沙隼眼软件科技有限公司 一种异物检测方法、装置、电子设备以及存储介质
CN117611592B (zh) * 2024-01-24 2024-04-05 长沙隼眼软件科技有限公司 一种异物检测方法、装置、电子设备以及存储介质
CN117994504A (zh) * 2024-04-03 2024-05-07 国网江苏省电力有限公司常州供电分公司 目标检测方法、目标检测装置
CN117994504B (zh) * 2024-04-03 2024-07-02 国网江苏省电力有限公司常州供电分公司 目标检测方法、目标检测装置
CN118552860A (zh) * 2024-07-30 2024-08-27 南京农业大学 一种障碍物检测方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN111583337B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN111583337B (zh) 一种基于多传感器融合的全方位障碍物检测方法
CN109948661B (zh) 一种基于多传感器融合的3d车辆检测方法
CN110879401B (zh) 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
WO2022141910A1 (zh) 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法
KR102195164B1 (ko) 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
CN112149550B (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN115082674B (zh) 基于注意力机制的多模态数据融合三维目标检测方法
CN113673444B (zh) 一种基于角点池化的路口多视角目标检测方法及系统
CN115049700A (zh) 一种目标检测方法及装置
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
EP4377913A1 (en) Training method for training a change detection system, training set generating method therefor, and change detection system
CN115187964A (zh) 基于多传感器数据融合的自动驾驶决策方法及SoC芯片
CN114821507A (zh) 一种用于自动驾驶的多传感器融合车路协同感知方法
CN112288667A (zh) 一种基于激光雷达与摄像头融合的三维目标检测方法
CN114639115B (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN117237919A (zh) 跨模态监督学习下多传感器融合检测的卡车智驾感知方法
CN112130153A (zh) 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法
CN113988197B (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN114821526A (zh) 基于4d毫米波雷达点云的障碍物三维边框检测方法
CN114898322A (zh) 行车环境识别方法、装置、车辆及存储介质
Heckman et al. Potential negative obstacle detection by occlusion labeling
CN116912786A (zh) 一种基于车路协同的智能网联汽车多模态融合检测方法
CN118411517A (zh) 一种针对汇流区交通道路的数字孪生方法及装置
CN113378647B (zh) 基于三维点云的实时轨道障碍物检测方法
CN113219472B (zh) 一种测距系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant