CN107576960B - 视觉雷达时空信息融合的目标检测方法及系统 - Google Patents
视觉雷达时空信息融合的目标检测方法及系统 Download PDFInfo
- Publication number
- CN107576960B CN107576960B CN201710784815.7A CN201710784815A CN107576960B CN 107576960 B CN107576960 B CN 107576960B CN 201710784815 A CN201710784815 A CN 201710784815A CN 107576960 B CN107576960 B CN 107576960B
- Authority
- CN
- China
- Prior art keywords
- lidar
- rgb
- point
- depth map
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 title claims abstract description 16
- 230000000007 visual effect Effects 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000005070 sampling Methods 0.000 claims abstract description 32
- 238000013145 classification model Methods 0.000 claims abstract description 20
- 238000000280 densification Methods 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 27
- 230000000875 corresponding effect Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 7
- 210000005036 nerve Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了视觉雷达时空信息融合的目标检测方法及系统,系统包括：采集单元，用于采集RGB图像数据、3D点云数据，计算出离散化的用灰度表示的LIDAR深度图；采样单元，对所述LIDAR深度图进行上采样并稠密化，将所述的RGB图像和所述的LIDAR深度图的数据形式统一并一一对应；叠加单元，将所述的RGB图像和所述LIDAR深度图片融合成RGB‑LIDAR图片，将连续M次采集的RGB‑LIDAR图片进行叠加，获得叠加后的RGB‑LIDAR图片，其中M≥1；模型建立单元，将多个所述的叠加后的RGB‑LIDAR图片建立RGB‑LIDAR数据集，输入到深度学习网络进行训练学习，建立分类模型；执行单元，根据分类模型对目标的分析结果采取相应的决策。达到了识别距离远，分类精度高的效果。
Description
技术领域
本发明涉及一种基于视觉和雷达信息融合的目标检测方法及系统，根据雷达信息和图片视觉信息融合深度信息图片，卷积神经网络并根据深度图片进行学习建立分类模型。
背景技术
目前出现了一些无人车，能够在无人驾驶的情况下自动行驶，可代替人工完成送货、取件、清扫或测量等工作。无人车通过设置传感器探测道路和障碍物，但是对于道路上的各种交通信息，如车辆、行人等，不能识别，容易造成交通事故。
为解决上述问题，中国专利文件CN105975915A公开了一种基于多任务卷积神经网络的车辆多参数识别方法，卷积神经网络（Convolutional Neural Network, CNN）的输入RGB-D图像，即一种包含彩色及深度信息的四通道颜色深度图像；将输入图像RGB-D图像进行局部对比度归一化的预处理，处理后的数据交给卷积神经网络进行训练，训练前初始化所有的权值为的随机数；训练分为两个阶段：信号前向传播阶段和误差后向反馈阶段；当卷积神经网络的实际输出值与期望输出值的误差保持在预设范围内即终止卷积神经网络训练，并保存卷积神经网络结构，适用于交通场景的车辆参数识别的多任务卷积神经网络训练完毕。上述方法通过卷积神经网络进行学习分类能够识别其他车辆、行人等，RGB-D图像信息与普通的图像信息相比具有距离信息，在一定程度上提高了精确性。但是上述方法中RGB-D只能识别距离较近范围的物体，距离较远的物体识别精度低，如果应用与无人车上容易造成事故。
发明内容
本发明要解决的技术问题是现有技术中卷积神经网络通过RGB-D训练，识别精度低，识别范围，从而提供一种视觉雷达时空信息融合的目标检测方法及系统，识别距离远，分类精度高。
本发明所采取的技术方案是：一种视觉雷达时空信息融合的目标检测方法，其特征在于，方法包括以下步骤：
A、采集RGB图像数据、3D点云数据，计算出离散化的用灰度表示的LIDAR深度图；
B、对所述LIDAR深度图进行上采样并稠密化，将所述的RGB图像和所述的LIDAR深度图的数据形式统一并一一对应；
C、将所述的RGB图像和所述LIDAR深度图片融合成RGB-LIDAR图片，将连续M次采集的RGB-LIDAR图片进行叠加，获得叠加后的RGB-LIDAR图片，其中M≥1；
D、将叠加后获得的RGB-LIDAR图片进行多任务分类，形成RGB-LIDAR数据集，输入到深度学习网络进行训练学习，建立分类模型；
E、根据分类模型对目标的分析结果采取相应的决策。
进一步地，步骤A中计算LIDAR深度图包括以下步骤，
A1、在车辆行驶的过程中每隔一定的时间全景摄像机采集一次车辆360°方向上的RGB图像数据，同时雷达装置采集车辆360°方向上的3D点云数据；
A2、标定全景摄像机和雷达装置的位置偏移，计算出图像坐标系和3D点云坐标系的变换关系；
A3、根据所述的变换关系将所述的3D点云数据投影到图像坐标系中获得所述的LIDAR深度图。
进一步地，步骤B中所述上采样并稠密化计算公式为，设所述LIDAR深度图中任意点为q点，雷达测量的q点表示深度的灰度值为
，通过q点上采样计算任意一点p点深度值，计算公式为：
其中，
为上采样稠密化后点p的深度值；
是一个归一化因子；
是q点对p点的影响值，与q点深度值成正相关；
值与p、q两点间的欧式距离成反比，N为图片上所有像素点，N≥1。
进一步地，步骤D中所述的深度学习网络为卷积神经网络，所述卷积神经网络包括从上到下依次排列的6个卷积层、6个降采样层和3个全连接层，所述全连接层将输出分类模型数据。
进一步地，深度图中用灰度值表示距离，图片中距离越近的点灰度越深，距离越远的点灰度越浅。
本发明还包括一种视觉雷达时空信息融合的目标检测系统，其特征在于，系统包括：
采集单元，用于采集RGB图像数据、3D点云数据，计算出离散化的用灰度表示的LIDAR深度图；
采样单元，对所述LIDAR深度图进行上采样并稠密化，将所述的RGB图像和所述的LIDAR深度图的数据形式统一并一一对应；
叠加单元，将所述的RGB图像和所述LIDAR深度图片融合成RGB-LIDAR图片，将连续M次采集的RGB-LIDAR图片进行叠加，获得叠加后的RGB-LIDAR图片，其中M≥1；
模型建立单元，将多个所述的叠加后的RGB-LIDAR图片建立RGB-LIDAR数据集，输入到深度学习网络进行训练学习，建立分类模型；
执行单元，根据分类模型对目标的分析结果采取相应的决策。
进一步地，采集单元计算LIDAR深度图包括以下步骤，在车辆行驶的过程中每隔一定的时间全景摄像机采集一次车辆360°方向上的RGB图像数据，同时雷达装置采集车辆360°方向上的3D点云数据；标定全景摄像机和雷达装置的位置偏移，计算出图像坐标系和3D点云坐标系的变换关系；根据所述的变换关系将所述的3D点云数据投影到图像坐标系中获得所述的LIDAR深度图。
进一步地，采样单元中所述上采样并稠密化计算公式为，设所述LIDAR深度图中任意点为q点，雷达测量的q点表示深度的灰度值为
，通过q点上采样计算任意一点p点深度值，计算公式为：
进一步地，模型建立单元中所述的深度学习网络为卷积神经网络，所述卷积神经网络包括从上到下依次排列的6个卷积层、6个降采样层和3个全连接层，所述全连接层将输出分类模型数据。
进一步地，深度图中用灰度值表示距离，图片中距离越近的点灰度越深，距离越远的点灰度越浅。
由于采用上述技术方案，本发明所产生的有益效果在于：
本发明所述一种基于视觉和雷达信息融合的学习分类系统，所述全景摄像机能够获取RGB图像数据，所述雷达装置用于获取3D点云数据，雷达测量能够准确的测量无人车和其他物体的距离，能够测量较远的物体距离深度；所述无人车移动带动全景摄像机和雷达装置移动，用于测量大量不同位置的RGB图像数据和3D点云数据，为卷积神经网络学习提供大量不同的数据，在一定范围内数据提高卷积神经网络学习的准确；所述数据处理模块能够处理数据将雷达测量的3D点云数据和RGB图像数据进行融合，提供具有色彩和深度距离的数据；卷积神经网络通过分类学习提出分类模型，识别各类环境信息；卷积神经网络通过深度信息图片训练，识别信息的精度大大提供，识别距离远。
本发明所述的一种基于视觉和雷达信息融合的学习分类系统所述卷积神经网络包括6个卷积层，6个降采样层和3个全连接层，每个所述卷积层均包含若干三维滤波器，最上层卷积层的三维滤波器输入端连接所述RGB-LADAR时空融合数据，其他卷积层和降采样层依次连接上一卷积层或降采样层的输出端；最下层的降采样层输出端连接所述最上层的全连接层；所述全连接层包括若干神经单元，所述最上层的全连接层的神经元连接最下层降采样层的输出端；其他全连接层的每个神经单元分别连接上一层全连接层的全部神经元，最下层的全连接层将输出三分类模型数据。
本发明所述的一种视觉雷达时空信息融合的目标检测方法中所述3D点云数据是比较稀疏的点数据，而RGB图像数据为比较稠密的像素点数据，3D点云数据投影到图像坐标系中不能对应，影响深度信息图的精确性；通过所述的上采集稠密化方法将3D点云数据变换为其能与RGB图像数据像素点对应的稠密的深度信息图，数据更为全面，提高了准确性。
附图说明
图1是本发明结构示意图；
图2是本发明的全景摄像机采集的一个RGB图像数据图；
图3是本发明的全雷达装置采集的一个3D点云数据俯视图；
图4是本发明的3D点云数据投影在图像坐标系深度信息图；
图5是本发明的上采集稠密化后的深度信息图；
图6是本发明连续10次采集的RGB图片叠加；
图7是本发明连续10次采集的LIDAR图片叠加；
图8是本发明对数极坐标系下目标的关注程度示意图；
图9是本发明卷积神经网络的示意图；
图10是本发明实施例在不同的迭代中受过训练数据集的每秒平均帧；
图11a是本发明实施例5475个图像的训练集的平均精度；
图11b是本发明实施例1000个图像的训练集的平均精度；
图11c是本发明实施例400个图像的训练集的平均精度；
图12a是本发明实施例5475个图像的训练集的平均损失；
图12b是本发明实施例1000个图像的训练集的平均损失；
图12c是本发明实施例400个图像的训练集的平均损失。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明：
本发明所述的一种视觉雷达时空信息融合的目标检测系统，包括：
采集单元，用于采集RGB图像数据、3D点云数据，计算出离散化的用灰度表示的LIDAR深度图；
采样单元，对所述LIDAR深度图进行上采样并稠密化，将所述的RGB图像和所述的LIDAR深度图的数据形式统一并一一对应；
叠加单元，将所述的RGB图像和所述LIDAR深度图片融合成RGB-LIDAR图片，将连续M次采集的RGB-LIDAR图片进行叠加，获得叠加后的RGB-LIDAR图片，其中M≥1；
模型建立单元，将叠加后获得的RGB-LIDAR图片进行多任务分类，形成RGB-LIDAR数据集，输入到深度学习网络进行训练学习，建立分类模型；
执行单元，根据分类模型对目标的分析结果采取相应的决策。
本实施方式是上述实施方式的改进：
1、无人的全景摄像机用于采集无人车360°方向上的RGB图像数据；雷达装置用于采集无人车360°方向上的3D点云数据，采集到的RGB图像如图2所示，采集到的3D点云数据如图3所示。相机和雷达都是固定安装在无人车上，因此其相对位置是固定的，可以通过标定的方法计算出相机图像坐标系和雷达3D直角坐标系的变换关系。然后利用此变换关系，将雷达3D点云数据投影到图像坐标系中，用灰度值表示该点的距离值，图片中距离车体越近的点灰度越小，距离越远的点灰度越大。3D点云数据投影在图像坐标系深度信息图如图4所示。
2、雷达点云投影到图像平面内形成的是比较稀疏的用灰度值表示的深度图，而相机采集的是像素稠密的RGB图像，将雷达装置采集的3D点云数据进行上采集稠密化处理，计算出图像坐标系中每个像素点的深度信息，将各个像素点的深度信息汇集成深度信息图片，将RGB图像和深度图的数据形式统一并一一对应，以便于放入卷积神经网络中进行训练和学习。上采样稠密化方法的计算公式如下，设雷达灰度图中任意点为q点，雷达测量的q点表示深度的灰度值为
，通过q点上采样计算任意一点p点深度值，计算公式为：
在上述公式中，
为上采样稠密化后点p的深度值；
是一个归一化因子；
是q点对p点的影响值，与q点深度值成正相关；
值与p、q两点间的欧式距离成反比，N为图片上所有像素点。经过上采样后，用灰度表示的深度图如图5所示。
3、得到了RGB的彩色图片和与之对应的LIDAR深度图片后，将二者统一放缩到同样大小，并将深度图作为第四层，形成了视觉与雷达数据融合的RGB-LIDAR图片。假设无人驾驶汽车静止不动，或者运动速度较慢且自身运动位移已知，可以向回推算每次RGB-LIDAR图片的移动，将连续M次采集的RGB-LIDAR图片进行叠加，例如M取10次，形成时间上的融合。叠加后，静止的物体还是原物体，运动的物体就会形成一系列的轨迹重影，根据这些重影来检测运动目标速度的检测。图6和图7分别是是本发明连续10次采集的RGB图片叠加和LIDAR图片叠加。
4、将叠加M次得到的RGB-LIDAR图片通过人工或设备自动标注分类信息形成带有多任务标签的RGB-LIDAR数据集，输入到深度学习网络进行训练学习，建立分类模型。训练好的模型可用于无人车在线RGB-LIDAR的分类。深度学习网络选用多任务深度学习网络，多任务深度学习网络是一种归纳迁移机制，基本目标是提高泛化性能，相关任务训练信号中的领域特定信息来提高泛化能力，利用共享表示采用并行训练的方法学习多个任务。多任务学习是一种同时学习多个任务的机器学习方法，基本假设是多个任务之间具有相关性，因此能够利用任务之间的相关性互相促进，利用任务相关性联合提高多个属性分类的精度。RGB-LIDAR时空融合数据将进行多任务分类，本实施例进行如下三个任务的分类：
1）、目标类别，无人车面临的道路环境中的目标有如下几个类别：人、骑车的人、小轿车、大货车、路障、树木、电线杆（交通标识牌）等；
2）、目标运动，道路环境中目标有如下几种运动：静止、向远处运动，向远处快速运动、向近处运动、向近处快速运动、向左运动、向左快速运动、向右运动、向右快速运动等；
3）、关注程度，一般来说，近处的物体对自身驾驶影响大，驾驶员对其关注程度高，远处的物体对自身驾驶影响小，关注程度低。且此距离和关注程度（危险系数）按对数形式比例对应。即我们可以以无人车为中心，构建一个对数极坐标系，坐标系中的目标关注程度应该与其极径（此极径为对数坐标）成反比。如图8所示，关注程度：A>B>C。
将RGB-LIDAR时空融合数据按照此对数关系划分区域，将数据中不同区域目标的关注程度归一化到0-1之间，再按照阈值形成关注度大、中、小三个分类。
按照以上三种任务分类的特点，设计了如下卷积神经网络的网络结构，该网络RGB-LIDAR时空融合数据进行三分类有较好的分类效果。如图9所示，所述卷积神经网络包括从上到下依次排列的6个卷积层、6个降采样层和3个全连接层；每个所述卷积层均包含若干三维滤波器，最上层卷积层的三维滤波器输入端连接所述RGB-LADAR时空融合数据，其他卷积层和降采样层依次连接上一卷积层或降采样层的输出端；最下层的降采样层输出端连接所述最上层的全连接层；所述全连接层包括若干神经单元，所述最上层的全连接层的神经元连接最下层降采样层的输出端；其他全连接层的每个神经单元分别连接上一层全连接层的全部神经元，最下层的全连接层将输出三分类模型数据。
5、基于危险的目标检测结果。经过此网络的学习和训练，可以检测出目标的分类，运动方向和关注度大小，为后续无人车决策控制提供了依据。对于分类中给出的人和车是需要无人车重点躲避的目标，而路障，树叶等无需重点躲避或无需躲避；对于分类中给出的静止目标，无人车可重新规划路线躲避，而对于运动物体，特别是快速运动的目标，无人车需预测其运动轨迹，选择停车等待其通过后在行驶或绕道躲避行驶；对于分类中给出的关注程度较大的目标，需马上采取相应的决策措施，而对于较小的目标，只需关注即可。
具体实施例：
用无人驾驶车辆上的视觉和雷达，采集包含RGB图像和与之对应的深度图的数据集。在无人驾驶车辆上安装有一个彩色摄像头，用来采集RGB图片，还安装了Velodyne HDL-64E激光雷达，用来采集雷达3D点云数据，并且这两种传感器位置都已经做了标定。
共采集了7481张RGB图片和与之对应的雷达3D点云，用上面的方法，一共制作了6843张（1750张小汽车，1750张行人，1643张卡车，1700张自行车）RGB-LIDAR时空融合图片，并制作了标签。并将其中的5475张数据做训练，1368张数据做测试，来检测基于视觉和雷达时空信息融合的多任务分类效果。
使用图9所示的卷积神经网络作为模型，用来分类。该模型有六个卷积层和3个全连接层，每个卷积层包含多个内核，每个内核都是一个三维滤波器连接到前一层的输出。全连接层中每层由多个神经元组成，每个神经元包含一个正值，并且连接到前一层的所有神经元。该模型最多能够训练1000种分类，我们将第九层中输出调整到三个任务的分类。
卷积神经网络模型既适用于RGB图片，也适用于RGB-LIDAR图片。使用相同的参数和数据集分别训练和测试两种不同的方法，结果显示，视觉雷达时空融合的方法比只用RGB图片的精度要高，收敛速度要快。训练和测试的结果从三个方面来进行对比：
1、处理时间
在不同物体的道路检测，因为处理时间是自主车辆的关键指标，丢失任何关键帧可能影响随后的控制决策，而不管对象是行人还是汽车。此外，如果CNN不能实时处理信息，延迟将累积并且影响船上的整个网络。
首先用不同的训练的全网迭代数量（例如，100，200，500，1000，2000，3000，4000，和5000），并随机选择1400张图片用于测试图像。过程重复20次，并计算平均结果。如图10所示，在不同的迭代中受过训练数据集的每秒平均帧（FPS）。在训练的网络的FPS从100连续下降到3000并在3000以后稳定下来。但是，这些值显著改变并达到约110帧。目前在无人驾驶自主车辆上的相机具有大约每秒30帧的共同标准。唯一的区别是，该相机具有比净输入大得多的像素，但这种差异可以通过缩放来固定。
2、精确度
为了显示更多的深度信息的性能，通过改变训练集的大小和增加的迭代从100到4000训练，来比较传统的RGB图像和四通道RGB和雷达时空融合图像的平均损失和准确度。
训练集和测试集的三个不同标度如下：
1）、训练集包括5475图像：1315辆卡车，1400辆车，1360个骑自行车和1400个行人。测试集包括1368图像：328辆卡车，350辆车，340个骑自行车和350行人。
2）、为了交换训练集和测试集，选择1368个图像作为训练集，并且5475个图像组成测试集。
3）、从总集合中随机选择全部的图像作为训练集，并且由5475个图像组成测试集。
相应的平均精度分别如图11a-11c所示。 所有曲线显示相似的趋势和平均准确度在大约1000次迭代后停止增加。 基于视觉和雷达融合数据的方法始终显示更好的性能，特别是当训练集比较小时（400图像）。 当训练集迭代次数大于1000时，RGB-LIDAR时空融合数据比纯RGB数据高大约5％的精度。此外，当使用低于1000次的迭代时，RGB-LIDAR时空融合数据总是显示比基于RGB的训练集更好的精度。
3、收敛速度
如图12a-12c所示，训练过程中误差随着迭代次数的增加而下降。 当使用大于500的迭代次数时，400个图像被训练时，神经网络的误差下降为不到0.1。RGB-LIDAR时空融合数据总是比RGB更快地收敛。
结果显示，视觉和雷达时空深度信息融合的方法比只用RGB数据的精度要高，收敛速度要快。
上面所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。
Claims (8)
1.视觉雷达时空信息融合的目标检测方法，其特征在于，方法包括以下步骤：
A、采集RGB图像数据、3D点云数据，计算出离散化的用灰度表示的LIDAR深度图；
B、对所述LIDAR深度图进行上采样并稠密化，将所述的RGB图像和所述的LIDAR深度图的数据形式统一并一一对应；
C、将所述的RGB图像和所述LIDAR深度图融合成RGB-LIDAR图片，将连续M次采集的RGB-LIDAR图片进行叠加，获得叠加后能够表示物体运动状态的RGB-LIDAR图片，其中M≥1；
D、将叠加后获得的RGB-LIDAR图片进行多任务分类标注，形成带有多任务标签的RGB-LIDAR数据集，输入到深度学习网络进行训练学习，建立多任务分类模型；
E、根据分类模型对目标的分析结果采取相应的决策；
步骤B中所述上采样并稠密化计算公式为，设所述LIDAR深度图中任意点为q点，雷达测量的q点表示深度的灰度值为Lq，通过q点上采样计算任意一点p点深度值，计算公式为：
其中，Dp为上采样稠密化后点p的深度值；Zp是一个归一化因子；Gq是q点对p点的影响值，与q点深度值成正相关；Gpq值与p、q两点间的欧式距离成反比，N为图片上所有像素点，N≥1。
2.根据权利要求1所述的目标检测方法，其特征在于，步骤A中计算LIDAR深度图包括以下步骤，
A1、在车辆行驶的过程中每隔一定的时间全景摄像机采集一次车辆360°方向上的RGB图像数据，同时雷达装置采集车辆360°方向上的3D点云数据；
A2、标定全景摄像机和雷达装置的位置偏移，计算出图像坐标系和3D点云坐标系的变换关系；
A3、根据所述的变换关系将所述的3D点云数据投影到图像坐标系中获得所述的LIDAR深度图。
3.根据权利要求1-2任一所述的目标检测方法，其特征在于，步骤D中所述的深度学习网络为卷积神经网络，所述卷积神经网络包括从上到下依次排列的6个卷积层、6个降采样层和3个全连接层，所述全连接层将输出分类模型数据。
4.根据权利要求1-2任一所述的目标检测方法，其特征在于，所述LIDAR深度图中用灰度值表示距离，图片中距离越近的点灰度越深，距离越远的点灰度越浅。
5.视觉雷达时空信息融合的目标检测系统，其特征在于，系统包括：
采集单元，用于采集RGB图像数据、3D点云数据，计算出离散化的用灰度表示的LIDAR深度图；
采样单元，对所述LIDAR深度图进行上采样并稠密化，将所述的RGB图像和所述的LIDAR深度图的数据形式统一并一一对应；
叠加单元，将所述的RGB图像和所述LIDAR深度图融合成RGB-LIDAR图片，将连续M次采集的RGB-LIDAR图片进行叠加，获得叠加后的RGB-LIDAR图片，其中M≥1；
模型建立单元，将叠加后获得的RGB-LIDAR图片进行多任务分类，形成RGB-LIDAR数据集，输入到深度学习网络进行训练学习，建立分类模型；
执行单元，根据分类模型对目标的分析结果采取相应的决策；
采样单元中所述上采样并稠密化计算公式为，设所述LIDAR深度图中任意点为q点，雷达测量的q点表示深度的灰度值为Lq，通过q点上采样计算任意一点p点深度值，计算公式为：
其中，Dp为上采样稠密化后点p的深度值；Zp是一个归一化因子；Gq是q点对p点的影响值，与q点深度值成正相关；Gpq值与p、q两点间的欧式距离成反比，N为图片上所有像素点，N≥1。
6.根据权利要求5所述的目标检测系统，其特征在于，采集单元计算LIDAR深度图包括以下步骤，在车辆行驶的过程中每隔一定的时间全景摄像机采集一次车辆360°方向上的RGB图像数据，同时雷达装置采集车辆360°方向上的3D点云数据；标定全景摄像机和雷达装置的位置偏移，计算出图像坐标系和3D点云坐标系的变换关系；根据所述的变换关系将所述的3D点云数据投影到图像坐标系中获得所述的LIDAR深度图。
7.根据权利要求5-6任一所述的目标检测系统，其特征在于，模型建立单元中所述的深度学习网络为卷积神经网络，所述卷积神经网络包括从上到下依次排列的6个卷积层、6个降采样层和3个全连接层，所述全连接层将输出分类模型数据。
8.根据权利要求5-6任一所述的目标检测系统，其特征在于，所述LIDAR深度图中用灰度值表示距离，图片中距离越近的点灰度越深，距离越远的点灰度越浅。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710784815.7A CN107576960B (zh) | 2017-09-04 | 2017-09-04 | 视觉雷达时空信息融合的目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710784815.7A CN107576960B (zh) | 2017-09-04 | 2017-09-04 | 视觉雷达时空信息融合的目标检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107576960A CN107576960A (zh) | 2018-01-12 |
| CN107576960B true CN107576960B (zh) | 2021-03-16 |
Family
ID=61031369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710784815.7A Active CN107576960B (zh) | 2017-09-04 | 2017-09-04 | 视觉雷达时空信息融合的目标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107576960B (zh) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7189156B2 (ja) | 2017-05-15 | 2022-12-13 | アウスター インコーポレイテッド | 色によるパノラマｌｉｄａｒ結果の増強 |
| CN108182428A (zh) * | 2018-01-31 | 2018-06-19 | 福州大学 | 前车状态识别和车辆跟随的方法 |
| EP3525131A1 (en) * | 2018-02-09 | 2019-08-14 | Bayerische Motoren Werke Aktiengesellschaft | Methods and apparatuses for object detection in a scene represented by depth data of a range detection sensor and image data of a camera |
| CN108257139B (zh) * | 2018-02-26 | 2020-09-08 | 中国科学院大学 | 基于深度学习的rgb-d三维物体检测方法 |
| US11618438B2 (en) * | 2018-03-26 | 2023-04-04 | International Business Machines Corporation | Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network |
| CN108681706A (zh) * | 2018-05-15 | 2018-10-19 | 哈尔滨工业大学 | 一种双源遥感数据语义分割方法 |
| CN108710367B (zh) * | 2018-05-23 | 2022-02-11 | 广州视源电子科技股份有限公司 | 激光数据识别方法、装置、机器人及存储介质 |
| CN109146967A (zh) * | 2018-07-09 | 2019-01-04 | 上海斐讯数据通信技术有限公司 | 图像中目标对象的定位方法和装置 |
| CN109325972B (zh) * | 2018-07-25 | 2020-10-27 | 深圳市商汤科技有限公司 | 激光雷达稀疏深度图的处理方法、装置、设备及介质 |
| CN108725318B (zh) * | 2018-07-28 | 2020-11-24 | 惠州华阳通用电子有限公司 | 汽车安全预警方法、装置及计算机可读存储介质 |
| CN109129474B (zh) * | 2018-08-10 | 2020-07-14 | 上海交通大学 | 基于多模态融合的机械手主动抓取装置及方法 |
| CN109271880B (zh) * | 2018-08-27 | 2021-08-24 | 深圳一清创新科技有限公司 | 车辆检测方法、装置、计算机设备和存储介质 |
| CN109934230A (zh) * | 2018-09-05 | 2019-06-25 | 浙江大学 | 一种基于视觉辅助的雷达点云分割方法 |
| CN109343061B (zh) * | 2018-09-19 | 2021-04-02 | 百度在线网络技术（北京）有限公司 | 传感器标定方法、装置、计算机设备、介质和车辆 |
| CN109345482B (zh) * | 2018-09-29 | 2020-11-17 | 深圳市牧月科技有限公司 | 一种深度超分辨率图像滤波处理方法 |
| CN111257866B (zh) * | 2018-11-30 | 2022-02-11 | 杭州海康威视数字技术股份有限公司 | 车载摄像头和车载雷达联动的目标检测方法、装置及系统 |
| CN109375212B (zh) * | 2018-12-10 | 2023-04-18 | 西安电子科技大学 | 可移动无人平台中基于雷达和光电转台的目标检测方法 |
| CN109685213B (zh) * | 2018-12-29 | 2022-01-07 | 百度在线网络技术（北京）有限公司 | 一种训练样本数据的获取方法、装置和终端设备 |
| CN111507361B (zh) * | 2019-01-30 | 2023-11-21 | 富士通株式会社 | 基于微波雷达的动作识别装置、方法及系统 |
| EP3707467A1 (en) * | 2019-01-30 | 2020-09-16 | Baidu.com Times Technology (Beijing) Co., Ltd. | A rgb point clouds based map generation system for autonomous vehicles |
| CN109947242B (zh) * | 2019-02-26 | 2022-06-24 | 贵州翰凯斯智能技术有限公司 | 一种基于信息融合的工厂虚拟应用系统及使用方法 |
| CN110232315A (zh) * | 2019-04-29 | 2019-09-13 | 华为技术有限公司 | 目标检测方法和装置 |
| CN110310304B (zh) * | 2019-06-14 | 2021-07-23 | 达闼机器人有限公司 | 单目视觉建图和定位方法、装置、存储介质及移动设备 |
| TWI759651B (zh) | 2019-11-21 | 2022-04-01 | 財團法人工業技術研究院 | 基於機器學習的物件辨識系統及其方法 |
| CN110992337A (zh) * | 2019-11-29 | 2020-04-10 | 添维信息科技(天津)有限公司 | 一种集装箱残损检测方法及系统 |
| CN111144304A (zh) * | 2019-12-26 | 2020-05-12 | 上海眼控科技股份有限公司 | 车辆目标检测模型的生成方法、车辆目标检测方法及装置 |
| CN111191582B (zh) * | 2019-12-27 | 2022-11-01 | 深圳市越疆科技有限公司 | 三维目标检测方法、检测装置、终端设备及计算机可读存储介质 |
| CN111339830A (zh) * | 2020-01-20 | 2020-06-26 | 清华大学 | 一种基于多模态数据特征的目标分类方法 |
| CN111274976B (zh) | 2020-01-22 | 2020-09-18 | 清华大学 | 基于视觉与激光雷达多层次融合的车道检测方法及系统 |
| CN111724478B (zh) * | 2020-05-19 | 2021-05-18 | 华南理工大学 | 一种基于深度学习的点云上采样方法 |
| CN111781608B (zh) * | 2020-07-03 | 2023-04-25 | 浙江光珀智能科技有限公司 | 一种基于fmcw激光雷达的运动目标检测方法及系统 |
| CN112270694B (zh) * | 2020-07-07 | 2023-04-18 | 中国人民解放军61540部队 | 基于激光雷达扫描图进行城市环境动态目标检测的方法 |
| CN112183578B (zh) * | 2020-09-01 | 2023-05-23 | 国网宁夏电力有限公司检修公司 | 一种目标检测方法、介质及系统 |
| CN112101222A (zh) * | 2020-09-16 | 2020-12-18 | 中国海洋大学 | 一种基于无人艇多模态传感器的海面三维目标检测方法 |
| CN112896879B (zh) * | 2021-02-24 | 2022-11-18 | 同济大学 | 一种用于智能环卫车的环境感知系统 |
| KR102441103B1 (ko) * | 2021-03-18 | 2022-09-07 | 순천향대학교 산학협력단 | 객체 식별 무인 항공기 및 무인 항공기의 객체 식별 방법 |
| CN113359154A (zh) * | 2021-05-24 | 2021-09-07 | 邓良波 | 一种室内外通用的高精度实时测量方法 |
| WO2023164845A1 (zh) * | 2022-03-02 | 2023-09-07 | 深圳市大疆创新科技有限公司 | 三维重建方法、装置、系统及存储介质 |
| CN114973055A (zh) * | 2022-03-25 | 2022-08-30 | 成都臻识科技发展有限公司 | 车辆运动状态检测方法、装置、设备及存储介质 |
| KR102693476B1 (ko) * | 2022-04-22 | 2024-08-08 | 국립한밭대학교 산학협력단 | 실내환경 모니터링을 위한 드론 운용 시스템 및 그 방법 |
| CN115457360B (zh) * | 2022-09-17 | 2024-09-13 | 海南大学 | 一种基于双注意力机制多源融合的水上目标检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934765A (zh) * | 2017-03-14 | 2017-07-07 | 长沙全度影像科技有限公司 | 基于深度卷积神经网络与深度信息的全景图像融合方法 |
| CN107015219A (zh) * | 2017-03-27 | 2017-08-04 | 上海斐讯数据通信技术有限公司 | 具有雷达成像功能的防碰撞方法及其系统 |
| CN107092020A (zh) * | 2017-04-19 | 2017-08-25 | 北京大学 | 融合无人机LiDAR和高分影像的路面平整度监测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101401399B1 (ko) * | 2012-10-12 | 2014-05-30 | 현대모비스 주식회사 | 주차 지원 장치 및 방법과 이를 이용한 주차 지원 시스템 |
-
2017
- 2017-09-04 CN CN201710784815.7A patent/CN107576960B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934765A (zh) * | 2017-03-14 | 2017-07-07 | 长沙全度影像科技有限公司 | 基于深度卷积神经网络与深度信息的全景图像融合方法 |
| CN107015219A (zh) * | 2017-03-27 | 2017-08-04 | 上海斐讯数据通信技术有限公司 | 具有雷达成像功能的防碰撞方法及其系统 |
| CN107092020A (zh) * | 2017-04-19 | 2017-08-25 | 北京大学 | 融合无人机LiDAR和高分影像的路面平整度监测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于全景相机和全向激光雷达的致密三维重建;杨力等;《浙江大学学报（工学版）》;20140831;第48卷(第8期);摘要，第1482页左栏第4段，第1484页左栏第4段 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107576960A (zh) | 2018-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107576960B (zh) | 视觉雷达时空信息融合的目标检测方法及系统 | |
| CN112912920B (zh) | 用于2d卷积神经网络的点云数据转换方法和系统 | |
| CN108694386B (zh) | 一种基于并联卷积神经网络的车道线检测方法 | |
| CN114723955B (zh) | 图像处理方法、装置、设备和计算机可读存储介质 | |
| WO2019223582A1 (en) | Target detection method and system | |
| Creusot et al. | Real-time small obstacle detection on highways using compressive RBM road reconstruction | |
| CN110942000A (zh) | 一种基于深度学习的无人驾驶车辆目标检测方法 | |
| CN111738037B (zh) | 一种自动驾驶方法及其系统、车辆 | |
| CN109726627A (zh) | 一种神经网络模型训练及通用接地线的检测方法 | |
| KR20200022001A (ko) | 희귀 인스턴스 분류기들 | |
| CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
| CN113228043A (zh) | 移动平台基于神经网络的障碍物检测及关联的系统和方法 | |
| CN107194343B (zh) | 基于位置相关的卷积与Fire模型的红绿灯检测方法 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| John et al. | Free space, visible and missing lane marker estimation using the PsiNet and extra trees regression | |
| CN108182428A (zh) | 前车状态识别和车辆跟随的方法 | |
| Bourja et al. | Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3 | |
| CN114118247A (zh) | 一种基于多传感器融合的无锚框3d目标检测方法 | |
| Liu et al. | Research on security of key algorithms in intelligent driving system | |
| CN116778262A (zh) | 一种基于虚拟点云的三维目标检测方法和系统 | |
| CN115187959B (zh) | 一种基于双目视觉的飞行汽车山地着陆方法及系统 | |
| CN116778449A (zh) | 一种用于提高自动驾驶三维目标检测效率的检测方法 | |
| Cech et al. | Self-supervised learning of camera-based drivable surface roughness | |
| CN116630904A (zh) | 融合非临近跳连与多尺度残差结构的小目标车辆检测方法 | |
| Barros et al. | Deep speed estimation from synthetic and monocular data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180123 Address after: 410000 Hunan province Changsha Kaifu District, Deya Road No. 109 building 305 room 20 Applicant after: Zhao Jianhui Address before: 215505 Suzhou City, Suzhou, Jiangsu, Changshu high tech Industrial Development Zone Lake Mountain Road No. 333 Tongji Science and Technology Square 1 401 Applicant before: SUZHOU JIASHIBAO INTELLIGENT TECHNOLOGY CO.,LTD. |
|
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Xinyu Inventor after: Guo Shichun Inventor before: Zhao Jianhui Inventor before: Zhang Xinyu Inventor before: Guo Shichun |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210409 Address after: 215505 unit 16-a205, creative industry park, 328 Xinghu street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Patentee after: SUZHOU JIASHIBAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 410000 Room 305, building 20, 109 Deya Road, Kaifu District, Changsha City, Hunan Province Patentee before: Zhao Jianhui |
|
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Guo Shichun Inventor before: Zhang Xinyu Inventor before: Guo Shichun |