CN108229366B - 基于雷达和图像数据融合的深度学习车载障碍物检测方法 - Google Patents

基于雷达和图像数据融合的深度学习车载障碍物检测方法 Download PDF

Info

Publication number
CN108229366B
CN108229366B CN201711459314.8A CN201711459314A CN108229366B CN 108229366 B CN108229366 B CN 108229366B CN 201711459314 A CN201711459314 A CN 201711459314A CN 108229366 B CN108229366 B CN 108229366B
Authority
CN
China
Prior art keywords
data
point cloud
radar
map
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711459314.8A
Other languages
English (en)
Other versions
CN108229366A (zh
Inventor
牛建伟
齐之平
欧阳真超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201711459314.8A priority Critical patent/CN108229366B/zh
Publication of CN108229366A publication Critical patent/CN108229366A/zh
Application granted granted Critical
Publication of CN108229366B publication Critical patent/CN108229366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于智能设备传感器数据融合和深度学习的目标检测算法，通过融合的雷达点云数据和摄像头数据，丰富了检测模型所能够感知的数据特征类型。并通过在不同配置的数据通道融合进行模型训练，选择最佳的通道配置，提高检测准确度的同时降低计算功耗。通过在真实数据上进行测试确定了适合真实情况的通道配置，达到利用Yolo深度卷积神经网络模型处理融合数据，进行道路场景的目标障碍物检测目标。

Description

基于雷达和图像数据融合的深度学习车载障碍物检测方法
技术领域
本发明涉及一种基于雷达和图像数据融合的深度学习障碍物检测方法，属于传感器融合、人工智能和自动驾驶技术领域。
背景技术
自驾驶车辆通过装配在车身周围的多种传感器感知车辆自身运行状况和道路环境，以及周边障碍物等信息；通过目标识别、车道检测、交通信号识别、可行区域检测等算法进行环境认知，从而产生驾驶控制指令，既驱动改装后的转向、加速和制动执行机构以完成自驾驶过程，整个过程包括：“感知-认知-决策”的动态环境交互闭环。
自驾驶车辆常见的激光雷达(Lidar)包括iBeo和velodyne的正向雷达(4线和8线)和360度环绕雷达(16线，32线和64线)，激光雷达通过发射激光束和接收障碍物反射回来的激光计算障碍物目标，并通过短时间间隙内的多条激光束对周边环境进行点云建模，得到周边环境的3D点云模型。但由于激光色散和机械结构的动态特性限制，激光雷达获得束感知距离受环境因素影响较大，一般有效感知距离在200m范围内；且激光雷达的点云数据束十分稀疏，且随距离增大而更加稀疏；最后，激光雷达无法获得类人眼的环境语义信息，包括物体和环境的色彩感知，使得激光雷达的单一数据在自动驾驶车辆的感知能力较弱。
光学摄像头能够对周边环境成像得到彩色图片，且感知距离和感知范围较远，以类人眼的光学感知方式成像获得束数据不仅像素密集，且包含丰富的语义信息，感知精度和感知距离与光学成像原件(如镜头，COS芯片大小等)相关，一般可达数百至上千米。但光学摄像头成像不具备距离信息，一般需要根据算法对帧间信息进行复杂计算获取，且精度随实际目标距离的增加而快速衰减。缺乏距离信息使得摄像头数据对自动驾驶场景的应用受到限制，相关的数据信息也只有较低的置信度。同时，光学摄像头受环境光影响较大，在天气、光照和环境变化时，成像效果不稳定，难以适应车载场景下的高速运动和颠簸成像需求。
在自动驾驶领域，基于单一类型传感器(特别是摄像头)进行环境感知，摄像头和车载激光雷达均存在一定的劣势，通过数据融合的方式分别利用不同车载传感器的感知特性，利用设计的算法消解传感器数据间的冲突，能够充分利用不同传感器的优势，达到辅助自动驾驶对环境的精准、快速感知的目标。
发明内容
本发明的目的是为了解决上述问题，提出一种基于雷达和图像数据融合的深度学习车载障碍物检测方法，对装备在自动驾驶车辆上的激光雷达和光学摄像头捕获的雷达点云数据和光学图像信息进行数据融合，并训练检测道路路面主要障碍物的目标，属于自动驾驶的感知和认知算法层面，能够为决策提供精准的路面障碍物，包括汽车、卡车、行人和自行车等目标的检测信息。
本发明提供了基于雷达和图像数据融合的深度学习车载障碍物检测方法，包括：
基于已有的雷达点云和摄像头的数据采集模块，利用标定好的车载激光雷达和摄像头传感器对车辆行驶过程中的道路场景进行数据获取；
设计原始雷达点云上采样模块，所设计的算法分别对原始点云数据进行处理，得到对应的能够反馈道路场景深度信息和高度信息的深度图和高度图；
基于雷达点云深度图、高度图数据和摄像头图片的数据融合策略；
基于Yolo深度学习模型的目标检测模型训练，和实时的车载模型部署及道路障碍物检测。
相应地，本发明提供了基于雷达和图像数据融合的深度学习车载障碍物检测方法，包括以下步骤：
步骤1，利用车载激光雷达和摄像头传感器采集车辆行驶过程中的道路场景，获取同步时间戳的雷达点云数据和彩色图；
步骤2，对雷达点云数据进行上采样，获取对应的高度图和深度图数据；
步骤3，将雷达点云深度图、高度图和相同时间戳的彩色图RGB三通道作为五通道融合训练数据，利用该数据形成的训练数据集对Yolo网络模型进行训练，输出一个训练好的Yolo深度卷积网络模型，并筛选不同组合融合数据条件下的目标检测准确度，剔除冗余数据作为最终的数据融合配置。
步骤4，在实时运行时，自动驾驶车辆通过雷达和摄像头实时捕获道路场景信息，通过预处理得到的深度图和高度图，搭配彩色图像RGB三通道数据进行融合，输入给训练好的Yolo模型，即可实时获取当前时间帧内的环境目标障碍物位置和距离。
本发明的优点在于：
(1)通过激光雷达点云数据获取的深度图和高度图丰富了道路环境感知信息，也补充了车载环境下传统摄像头受环境光照影响带来的成像不确定性和不稳定性，提高了检测精度的；
(2)通过优选的雷达深度图和高度图，以及彩色图像RGB数据的五通道数据融合策略，消除冗余数据，能够进一步降低模型训练和运行过程的计算复杂度，加速自驾驶车载环境的硬件功耗，提高车辆续航能力；
(3)利用Yolo模型的目标检测模型对融合数据进行学习，比传统基于RGB数据的模型更为复杂，但是能从丰富的传感器融合数据学习更强的障碍物特性，能够加速网络参数调整趋向更优结果；
(4)保留了原始的雷达点云数据对道路场景及相关障碍物目标的实际距离信息，Yolo模型实时目标检测结果，为自驾驶提供了精准的道路目标障碍物信息以及障碍物距离信息。
附图说明
图1为本发明使用的车载激光雷达原始点云数据示意图；
图2为本发明使用的同一场景下摄像头的彩色RGB图像(灰度图)；
图3为本发明方法进行雷达和摄像头数据融合训练Yolo模型流程示意图；
图4为本发明中提取的雷达高度图示意；
图5为本发明中提取的雷达深度图示意；
图6为本发明中使用的车辆相对坐标系；
图7为本发明中使用的Yolo深度卷积网络模型架构；
图8为本发明中使用RGB标定目标障碍物示意图；
图9为本发明中通过不同通道数据融合对比结果；
图10为本发明中三种不同检测标准下模型检测准确度对比；
图11为本发明中采用的最终融合三通道数据。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明是一种基于雷达和图像数据融合的深度学习车载障碍物检测方法，主要用于自动驾驶领域的车载传感器数据融合和目标感知检测，通过标定后的雷达数据进行预处理，获得对应的深度图和高度图数据，与摄像头捕获的RGB彩图进行融合，用于训练Yolo卷积网络模型。在实时检测时，雷达和摄像头的融合数据直接输入训练好的模型，模型给出图中的目标位置和相关距离信息。
本发明的基于雷达和图像数据融合的深度学习车载障碍物检测方法，主要步骤如图3所示，下面结合一个实施例具体说明。
步骤(1)车载道路场景数据采集：通过固定在车辆顶部的激光雷达和车辆内部的摄像头进行数据采集，同步时间戳后调节采样频率为10Hz。
步骤(2)雷达点云数据进行预处理：对步骤(1)获取的如图1雷达原始点云数据通过高度图和深度图生成算法，得到对应高度图和深度图；并与RGB彩图如图2进行标定；
本发明深度图生成算法：利用公式(1)和公式(2)对原始雷达点云数据进行处理，由于雷达点云的每个点包含4维信息(三维坐标信息和点云强度)。按如图6所示的相对坐标系，深度图主要考虑每个点云数据的三维信息中的Y轴数据据进行稠密化处理。算法首先将所有点云投射到X-Z平面，然后从上向下，从左向右，依次遍历每个点云，将点云的在原雷达数据Y轴的值和周围点云间的坐标值输入公式(1)和(2)。每个单元内利用公式(1)和(2)计算，得到稠密化的像素矩阵，然后映射到0-255范围形成灰度图结果，得到如图4的深度图。
本发明高度图生成算法，与深度图类似：按如图6所示的相对坐标系，高度图主要考虑每个点云数据的三维信息中的Z轴数据进行稠密化处理。算法首先将所有点云投射到X-Z平面，然后从上向下，从左向右，依次遍历每个点云，将点云的在原雷达数据Z轴的值和周围点云间的坐标值输入公式(1)和(2)。每个单元内利用公式(1)和(2)计算，得到稠密化的像素矩阵，然后映射到0-255范围形成灰度图结果，得到如图5的高度图。
Figure BDA0001529843890000041
Figure BDA0001529843890000042
其中，v为当前遍历计算的点云坐标，1/W为归一化项，计算如公式(2)，m为当前计算的以v为中心mask大小。V和C分别是考虑窗口内点云平均输入值和平均坐标距离的核函数。Dmap(v)表示图像v的处理得到的深度图或高度图，W表示当前遍历的mask内所有点信息的归一化项，Vi表示当前第i个位置的点云坐标，I(vi)表示i位置点的雷达点云强度信息，由雷达直接获得，C(vi)表示i位置映射后的二维平面坐标，||.||表示计算欧式距离。
步骤(3)传感器数据融合和标定：由步骤(2)构建的高度图和深度图，与摄像头获取的RGB三通道彩图进行数据融合，对齐时间戳后，将高度图的1维特征集，深度图的1维特征集与RGB的3维特征集进行线性叠加，形成5维特征集，构建5通道的融合数据，并通过人工标定的方式对道路场景的障碍物目标进行标注，包括车辆、行人和自行车等，构成训练所需的数据，标注样例如图8所示。
步骤(4)Yolo模型训练：由步骤(3)得到的5通道融合数据集和障碍物标定数据对Yolo模型进行训练。并通过不同的通道组合进行多次训练和对比，选出检测准确率最高、所需通道数量最小的融合数据组合作为最终输入通道配置。
步骤(5)实时检测，将由步骤(4)得到的模型进行部署。同时，自驾驶车辆在实时行驶过程中雷达和摄像头捕获的数据经过预处理得到的融合后的5通道数据，选择最终输入通道配置输入模型，模型利用训练好的参数给出障碍物位置和雷达获得的距离信息。
本发明提供的基于雷达和图像数据融合的深度学习车载障碍物检测方法，包括基于雷达点云和摄像头的数据采集模块、雷达数据抽取高度图和深度图算法、基于Yolo深度卷积网络模型训练模块和基于Yolo深度卷积网络模型的实时障碍物检测模块。
基于雷达点云和摄像头的数据采集模块，利用车载激光雷达和摄像头传感器对车辆行驶过程中的道路场景进行数据获取。然后通过预处理算法从原始雷达数据抽取深度图和高度图构成2通道数据，结合图像的RGB彩图3通道数据，进行传感器数据融合得到5通道数据。然后，利用彩图中的目标障碍物对融合数据进行标定。用标定得到的数据对Yolo模型进行调优，对比不同融合通道组合下的模型检测准确率，得到最优模型。
由于车载激光雷达和摄像头的数据量不同，通常情况下激光雷达采样最高工作频率20Hz，摄像头为30Hz。统一为自动驾驶车载环境需求的10Hz进行数据采集。
原始雷达点云的高度图和深度图获取算法模块，首先通过图像标定的对应点云数据进行截取，再通过对应算法对截取的点云数据进行遍历处理，通过当前遍历点和公式(1)和(2)计算预设窗口内的点云数值；最后将所有计算结果映射到0-255范围，保存为单通道的高度图和深度图。
基于Yolo深度卷积网络模型的模型训练模块，其网络模型架构如图7所示，采用不同组合条件下的数据和标定数据输入Yolo模型，对比不同通道组合下的模型性能，选择性能最佳，通道数量最小的配置，对比结果如图9所示。综合考量，在简单，中等，困难三种不同检测标准下，其结果如图10所示。本发明实施例在linux16.06+tensorflow1.1环境进行，硬件为NVIDIA TITAN X+Intel i7-4700。以网络的衰减函数和目标识别准确度为模型训练依据，同时以IOU>0.25为输出依据。IOU由模型所检测到的目标障碍物位置R和人工标定的真实数据G按公式(3)计算得到。
Figure BDA0001529843890000061
基于Yolo深度卷积网络模型的实时障碍物检测模块，将上一步得到的最佳配置Yolo模型，和所采用的通道配置(RDH，R来自图像RGB，D为雷达深度图，H为雷达高度图)，如图11，进行部署。实时检测时，车载传感器捕获的雷达进行预处理获得深度图和高度图，融合图像的R通道组成三通道数据输入Yolo模型，模型给出检测目标结果。
本发明中提出的基于智能设备传感器数据融合和深度学习的目标检测算法，通过融合的雷达点云数据和摄像头数据，丰富了检测模型所能够感知的数据特征类型。并通过在不同配置的数据通道融合进行模型训练，选择最佳的通道配置，提高检测准确度的同时降低计算功耗。通过在真实数据上进行测试确定了适合真实情况的通道配置，达到利用Yolo深度卷积神经网络模型处理融合数据，进行道路场景的目标障碍物检测目标。

Claims (1)

1.基于雷达和图像数据融合的深度学习车载障碍物检测方法，包括以下步骤：
步骤一：利用车载激光雷达和摄像头传感器采集车辆行驶过程中的道路场景，获取同步时间戳的雷达点云数据和彩色图；
步骤二：对雷达点云数据进行上采样，获取对应的高度图和深度图；
对步骤一获取的原始雷达点云数据通过高度图和深度图生成算法，得到对应高度图和深度图；
所述的深度图生成算法为：
利用公式(1)和公式(2)对原始雷达点云数据进行处理：
Figure FDA0003340603100000011
Figure FDA0003340603100000012
其中，Dmap(v)表示在图像v点的处理得到的深度图或高度图；
W表示当前遍历的窗口内所有点信息的归一化项；
m为当前计算的以v点为中心窗口大小；
||.||表示计算欧式距离；
v表示当前遍历计算的点云坐标；
vi表示第i个位置的点云坐标；
I(vi)表示第i个位置点的雷达点云强度信息；
雷达点云的每个点包含4维信息，分别为三维坐标信息和点云强度，首先将所有点云投射到X-Z平面，然后从上向下，从左向右，依次遍历每个点云，将点云的在原雷达数据Y轴的值和周围点云间的坐标值输入公式(1)和(2)，每个单元内利用公式(1)和(2)计算，得到稠密化的像素矩阵，然后映射到0-255范围形成灰度图，最后，得到深度图；
所述的高度图生成算法为：
首先将所有点云投射到X-Z平面，然后从上向下，从左向右，依次遍历每个点云，将点云的在原雷达数据Z轴的值和周围点云间的坐标值输入公式(1)和(2)，每个单元内利用公式(1)和(2)计算，得到稠密化的像素矩阵，然后映射到0-255范围形成灰度图结果，得到高度图；
步骤三：将雷达点云深度图、高度图和相同时间戳的彩色图RGB三通道作为五通道融合训练数据，利用该数据形成的训练数据集对Yolo网络模型进行训练，输出一个训练好的Yolo深度卷积网络模型，并筛选不同组合融合数据条件下的目标检测准确度，剔除冗余数据作为最终的数据融合配置；
步骤四：在实时运行时，自动驾驶车辆通过雷达和摄像头实时捕获道路场景信息，通过预处理得到的深度图和高度图，搭配彩色图像RGB三通道数据进行融合，输入给训练好的Yolo模型，实时获取当前时间帧内的环境目标障碍物位置和距离。
CN201711459314.8A 2017-12-28 2017-12-28 基于雷达和图像数据融合的深度学习车载障碍物检测方法 Active CN108229366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711459314.8A CN108229366B (zh) 2017-12-28 2017-12-28 基于雷达和图像数据融合的深度学习车载障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711459314.8A CN108229366B (zh) 2017-12-28 2017-12-28 基于雷达和图像数据融合的深度学习车载障碍物检测方法

Publications (2)

Publication Number Publication Date
CN108229366A CN108229366A (zh) 2018-06-29
CN108229366B true CN108229366B (zh) 2021-12-14

Family

ID=62646540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711459314.8A Active CN108229366B (zh) 2017-12-28 2017-12-28 基于雷达和图像数据融合的深度学习车载障碍物检测方法

Country Status (1)

Country Link
CN (1) CN108229366B (zh)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108957413A (zh) * 2018-07-20 2018-12-07 重庆长安汽车股份有限公司 传感器目标定位准确度测试方法
CN110378905B (zh) * 2018-07-20 2022-07-05 北京京东尚科信息技术有限公司 角点提取、匹配的神经网络和方法及设备标定方法和装置
WO2020023731A1 (en) * 2018-07-26 2020-01-30 Postmates Inc. Safe traversable area estimation in unstructure free-space using deep convolutional neural network
CN109299656B (zh) * 2018-08-13 2021-10-22 浙江零跑科技股份有限公司 一种车载视觉系统场景视深确定方法
CN109389633B (zh) * 2018-08-31 2022-02-11 南京邮电大学 基于lsd-slam和激光雷达的深度信息估计方法
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术（北京）有限公司 物体检测方法、装置、设备、存储介质及车辆
CN110969174B (zh) * 2018-09-29 2023-09-08 深圳市布谷鸟科技有限公司 一种基于激光雷达的目标识别方法、装置及系统
CN112840347B (zh) * 2018-10-12 2024-09-20 诺基亚技术有限公司 用于对象检测的方法、装置和计算机可读介质
CN109239720A (zh) * 2018-10-18 2019-01-18 清华大学苏州汽车研究院（吴江） 一种智能激光雷达装置、系统及其数据处理方法
US11061406B2 (en) * 2018-10-22 2021-07-13 Waymo Llc Object action classification for autonomous vehicles
CN110147706B (zh) 2018-10-24 2022-04-12 腾讯科技（深圳）有限公司 障碍物的识别方法和装置、存储介质、电子装置
CN109447033A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于yolo的车辆前方障碍物检测方法
CN109657559B (zh) * 2018-11-23 2023-02-07 盎锐（上海）信息科技有限公司 点云深度感知编码引擎装置
CN109543617A (zh) * 2018-11-23 2019-03-29 于兴虎 基于yolo目标检测技术的智能车辆运动路况信息的检测方法
CN109747659B (zh) * 2018-11-26 2021-07-02 北京汽车集团有限公司 车辆驾驶的控制方法和装置
DE102018221063A1 (de) 2018-12-05 2020-06-10 Volkswagen Aktiengesellschaft Konfiguration eines Steuerungssystems für ein zumindest teilautonomes Kraftfahrzeug
CN109633621A (zh) * 2018-12-26 2019-04-16 杭州奥腾电子股份有限公司 一种车载环境感知系统数据处理方法
CN109683170B (zh) * 2018-12-27 2021-07-02 驭势科技（北京）有限公司 一种图像行驶区域标注方法、装置、车载设备及存储介质
WO2020150904A1 (en) * 2019-01-22 2020-07-30 SZ DJI Technology Co., Ltd. Neural network based obstacle detection for mobile platforms, and associated systems and methods
CN109859562A (zh) * 2019-01-31 2019-06-07 南方科技大学 数据生成方法、装置、服务器及存储介质
CN109932730B (zh) * 2019-02-22 2023-06-23 东华大学 基于多尺度单极三维检测网络的激光雷达目标检测方法
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN111696145B (zh) * 2019-03-11 2023-11-03 北京地平线机器人技术研发有限公司 深度信息确定方法、深度信息确定装置及电子设备
CN110045729B (zh) * 2019-03-12 2022-09-13 北京小马慧行科技有限公司 一种车辆自动驾驶方法及装置
CN110084133B (zh) * 2019-04-03 2022-02-01 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、车辆、计算机设备和存储介质
CN111856445B (zh) * 2019-04-11 2023-07-04 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置、设备及系统
CN109917419B (zh) * 2019-04-12 2021-04-13 中山大学 一种基于激光雷达与图像的深度填充密集系统及方法
CN111856468A (zh) * 2019-04-16 2020-10-30 阿里巴巴集团控股有限公司 检测方法、装置、设备、系统及存储介质
CN110058264A (zh) * 2019-04-22 2019-07-26 福州大学 一种基于深度学习的实时检测及识别障碍物的方法
CN109828592B (zh) * 2019-04-22 2019-07-26 深兰人工智能芯片研究院（江苏）有限公司 一种障碍物检测的方法及设备
CN110232315A (zh) * 2019-04-29 2019-09-13 华为技术有限公司 目标检测方法和装置
WO2020223868A1 (zh) * 2019-05-06 2020-11-12 深圳市大疆创新科技有限公司 地面信息处理方法、装置和无人驾驶车辆
CN111886597A (zh) * 2019-06-28 2020-11-03 深圳市大疆创新科技有限公司 可移动平台的障碍物检测方法、装置及可移动平台
CN110363820B (zh) * 2019-06-28 2023-05-16 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN110349142A (zh) * 2019-07-05 2019-10-18 创新奇智(青岛)科技有限公司 钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备
CN110412986A (zh) * 2019-08-19 2019-11-05 中车株洲电力机车有限公司 一种车辆障碍物检测方法及系统
CN110795819B (zh) * 2019-09-16 2022-05-20 腾讯科技（深圳）有限公司 自动驾驶仿真场景的生成方法和装置、存储介质
CN110618424B (zh) * 2019-09-27 2021-09-21 中科九度(北京)空间信息技术有限责任公司 一种基于多传感器融合的远距离高压线发现方法
CN112578781B (zh) * 2019-09-29 2022-12-30 华为技术有限公司 数据处理方法、装置、芯片系统及介质
CN112749594B (zh) * 2019-10-31 2022-04-22 浙江商汤科技开发有限公司 信息补全方法、车道线识别方法、智能行驶方法及相关产品
EP3832341A1 (en) * 2019-11-21 2021-06-09 NVIDIA Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
CN113051969A (zh) * 2019-12-26 2021-06-29 深圳市超捷通讯有限公司 物件识别模型训练方法及车载装置
WO2021134325A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 基于无人驾驶技术的障碍物检测方法、装置和计算机设备
CN111161202A (zh) * 2019-12-30 2020-05-15 上海眼控科技股份有限公司 车辆行为信息获取方法、装置、计算机设备和存储介质
CN111191600B (zh) * 2019-12-30 2023-06-23 深圳元戎启行科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质
CN113408324A (zh) * 2020-03-17 2021-09-17 上海高德威智能交通系统有限公司 目标检测方法、装置及系统、高级驾驶辅助系统
US11275965B2 (en) * 2020-04-03 2022-03-15 Huawei Technologies Co., Ltd. Method for generation of an augmented point cloud with point features from aggregated temporal 3D coordinate data, and related device
CN111611853B (zh) * 2020-04-15 2024-05-24 宁波吉利汽车研究开发有限公司 一种传感信息融合方法、装置及存储介质
CN111626108B (zh) * 2020-04-17 2023-04-21 浙江大华技术股份有限公司 一种目标的识别方法及系统
CN112750194A (zh) * 2020-05-15 2021-05-04 奕目(上海)科技有限公司 一种无人驾驶汽车避障方法、装置
CN111724478B (zh) * 2020-05-19 2021-05-18 华南理工大学 一种基于深度学习的点云上采样方法
US12008743B2 (en) * 2020-05-22 2024-06-11 Robert Bosch Gmbh Hazard detection ensemble architecture system and method
CN111652097B (zh) * 2020-05-25 2023-04-18 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN111797915A (zh) * 2020-06-24 2020-10-20 奇点汽车研发中心有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN111830502B (zh) * 2020-06-30 2021-10-12 广州小鹏自动驾驶科技有限公司 数据集的建立方法、车辆和存储介质
CN112001287B (zh) * 2020-08-17 2023-09-12 禾多科技（北京）有限公司 障碍物的点云信息生成方法、装置、电子设备和介质
CN112183204A (zh) * 2020-08-26 2021-01-05 深圳市诺龙技术股份有限公司 一种停车事件的检测方法和装置
CN112102409B (zh) * 2020-09-21 2023-09-01 杭州海康威视数字技术股份有限公司 目标检测方法、装置、设备及存储介质
CN112232139B (zh) * 2020-09-25 2022-09-27 南京理工大学 一种基于Yolo v4与Tof算法相结合的避障方法
CN113762001B (zh) * 2020-10-10 2024-04-19 北京京东乾石科技有限公司 一种目标检测方法、装置、电子设备和存储介质
CN112417967B (zh) * 2020-10-22 2021-12-14 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112257637B (zh) * 2020-10-30 2022-05-24 福州大学 一种融合点云和多视图的车载激光点云多目标识别方法
CN114639159A (zh) * 2020-11-30 2022-06-17 深圳市普渡科技有限公司 移动行人检测方法、电子设备及机器人
CN112906449B (zh) * 2020-12-02 2024-04-16 北京中科慧眼科技有限公司 基于稠密视差图的路面坑洼检测方法、系统和设备
CN112698302B (zh) * 2020-12-16 2023-11-07 南京航空航天大学 一种颠簸路况下的传感器融合目标检测方法
CN112731436B (zh) * 2020-12-17 2024-03-19 浙江大学 基于点云上采样的多模态数据融合可行驶区域检测方法
CN112766135B (zh) * 2021-01-14 2024-03-19 北京航空航天大学杭州创新研究院 目标检测方法、装置、电子设备和存储介质
CN112883790A (zh) * 2021-01-15 2021-06-01 惠州市德赛西威汽车电子股份有限公司 一种基于单目摄像头的3d物体检测方法
CN113173502B (zh) * 2021-01-15 2023-06-06 福建电子口岸股份有限公司 一种基于激光视觉融合和深度学习的防撞方法、系统
CN112818932A (zh) * 2021-02-26 2021-05-18 北京车和家信息技术有限公司 图像处理方法、障碍物检测方法、装置、介质及车辆
CN113239726B (zh) * 2021-04-06 2022-11-08 北京航空航天大学杭州创新研究院 基于着色点云的目标检测方法、装置和电子设备
CN112818968A (zh) * 2021-04-19 2021-05-18 北京三快在线科技有限公司 一种目标物分类方法及装置
CN113610883B (zh) * 2021-04-30 2022-04-08 新驱动重庆智能汽车有限公司 点云处理系统和方法、计算机设备和存储介质
CN113490178B (zh) * 2021-06-18 2022-07-19 天津大学 一种智能网联车辆多级协作感知系统
CN113449632B (zh) * 2021-06-28 2023-04-07 重庆长安汽车股份有限公司 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车
CN113591569A (zh) * 2021-06-28 2021-11-02 北京百度网讯科技有限公司 障碍物检测方法、装置、电子设备以及存储介质
CN113421305B (zh) * 2021-06-29 2023-06-02 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN113408454B (zh) * 2021-06-29 2024-02-06 上海高德威智能交通系统有限公司 一种交通目标检测方法、装置、电子设备及检测系统
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN113553943B (zh) * 2021-07-19 2024-04-30 江苏共知自动化科技有限公司 目标实时检测方法以及装置、存储介质、电子装置
CN113763423B (zh) * 2021-08-03 2024-08-06 中国北方车辆研究所 一种基于多模态数据的系统性目标识别与跟踪方法
CN114037968A (zh) * 2021-11-05 2022-02-11 荆州智达电动汽车有限公司 基于深度雷达点云和图像数据融合的车道线检测方法
CN114092778A (zh) * 2022-01-24 2022-02-25 深圳安智杰科技有限公司 基于表征学习的雷达摄像头数据融合系统及方法
CN114530039A (zh) * 2022-01-27 2022-05-24 浙江梧斯源通信科技股份有限公司 一种路口人流量与车流量的实时检测装置及方法
CN114677531B (zh) * 2022-03-23 2024-07-09 东南大学 一种融合多模态信息的水面无人艇目标检测与定位方法
CN114740867A (zh) * 2022-05-10 2022-07-12 丰疆智能(深圳)有限公司 基于双目视觉的智能避障方法、装置、机器人及介质
CN117710931A (zh) * 2022-09-02 2024-03-15 中兴通讯股份有限公司 环境信息感知方法、装置、系统、计算机设备及存储介质
CN115909815B (zh) * 2023-01-06 2023-06-06 广州通达汽车电气股份有限公司 基于多元数据的融合检测方法、装置、设备及存储介质
CN115953765B (zh) * 2023-03-14 2023-06-20 江苏天一航空工业股份有限公司 一种车辆自动驾驶的障碍物识别方法
CN116453087B (zh) * 2023-03-30 2023-10-20 无锡物联网创新中心有限公司 一种数据闭环的自动驾驶障碍物检测方法
CN118052971A (zh) * 2024-01-11 2024-05-17 国电四子王旗光伏发电有限公司 一种基于视觉图像分析的光伏电站巡检避障处理方法及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933708A (zh) * 2015-06-07 2015-09-23 浙江大学 一种基于多谱三维特征融合的植被环境中障碍物检测方法
CN106405555A (zh) * 2016-09-23 2017-02-15 百度在线网络技术（北京）有限公司 用于车载雷达系统的障碍物检测方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933708A (zh) * 2015-06-07 2015-09-23 浙江大学 一种基于多谱三维特征融合的植被环境中障碍物检测方法
CN106405555A (zh) * 2016-09-23 2017-02-15 百度在线网络技术（北京）有限公司 用于车载雷达系统的障碍物检测方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Improved Vehicle Steering Pattern Recognition by Using Selected Sensor Data;Zhenchao Ouyang 等;《IEEE Transactions on Mobile Computing》;20171013;全文 *
Pedestrian detection combining RGB and dense LIDAR data;Cristiano Premebida 等;《2014 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20140918;第4113-4114页 *
深度学习在目标视觉检测中的应用进展与展望;张慧 等;《自动化学报》;20170831;第1289页、第1298-1299页 *

Also Published As

Publication number Publication date
CN108229366A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229366B (zh) 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN105930819B (zh) 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN110008843B (zh) 基于点云和影像数据的车辆目标联合认知方法和系统
US10915793B2 (en) Method and system for converting point cloud data for use with 2D convolutional neural networks
CN107092021B (zh) 车载激光雷达三维扫描方法、地物分类方法及系统
CN111060924B (zh) 一种slam与目标跟踪方法
CN107862293A (zh) 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN109344813B (zh) 一种基于rgbd的目标识别和场景建模方法
CN110109457A (zh) 一种智能语音导盲机器人控制方法及控制系统
CN114254696A (zh) 基于深度学习的可见光、红外和雷达融合目标检测方法
CN110427797B (zh) 一种基于几何条件限制的三维车辆检测方法
CN106780631A (zh) 一种基于深度学习的机器人闭环检测方法
CN106162144A (zh) 一种用于夜视环境的视觉图像处理设备、系统和智能机器
CN107194343B (zh) 基于位置相关的卷积与Fire模型的红绿灯检测方法
CN114463303B (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
CN106446785A (zh) 基于双目视觉的可行道路检测方法
CN115546741A (zh) 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法
CN117274749B (zh) 一种基于4d毫米波雷达和图像的融合3d目标检测方法
US12050661B2 (en) Systems and methods for object detection using stereovision information
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN113608234A (zh) 一种城市数据采集系统
Wang et al. Target detection for construction machinery based on deep learning and multisource data fusion
CN118115564A (zh) 果树冠层结构信息测量方法与装置
CN117215316A (zh) 基于协同控制与深度学习的驾驶环境感知的方法和系统
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant