CN110879401B - 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法 - Google Patents
基于相机和激光雷达的无人驾驶平台实时目标3d检测方法 Download PDFInfo
- Publication number
- CN110879401B CN110879401B CN201911244310.7A CN201911244310A CN110879401B CN 110879401 B CN110879401 B CN 110879401B CN 201911244310 A CN201911244310 A CN 201911244310A CN 110879401 B CN110879401 B CN 110879401B
- Authority
- CN
- China
- Prior art keywords
- data
- point cloud
- laser radar
- camera
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种基于相机和激光雷达的无人驾驶平台实时目标检测系统,通过对相机和激光雷达的原始数据进行时空同步的像素级融合,利用所得的时空同步数据结合激光雷达的数据分析方法得到聚类检测结果,构建改进式faster‑rcnn网络架构对其进行参数训练并用于实时检测,输出无人驾驶平台周围目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度。本发明根据该系统及其检测方法采用传统聚类和人工智能的融合算法,克服了图像检测空间定位精度低和点云检测难以判断类别的缺点,实现了无人驾驶平台场景中基于相机和激光雷达的实时3D目标检测系统。
Description
技术领域
本发明属于计算机视觉领域,具体涉及了一种基于相机和激光雷达的无人驾驶平台实时目标3D检测方法。
背景技术
无人驾驶平台汽车技术发展至今,基本形成了多传感器信息融合、高精度地图与定位、环境感知、决策与路径规划、车辆底层控制的模式,其中,环境感知是无人驾驶平台安全行驶的基础和前提,无人驾驶平台汽车的行驶策略制定、路径规划、车辆底层控制都直接依赖高鲁棒性且准确的感知。
现有的基于单一传感器进行感知检测的系统,主要分为相机、激光雷达、毫米波雷达三大类,单一传感器构建的感知检测系统有如下缺点:
1、相机采集环境图像,使用图像进行目标检测和建图、定位,其优点是成本低、图像能够获得丰富的纹理信息,但是图像受光照条件和天气的影响剧烈,稳定性欠佳;
2、毫米波雷达可以通过分析发射的回馈数据直接对目标物体进行定位,且实时性极强,但是受到接收信息有限的影响,无法感知同一平面内的目标情况;
3、激光雷达具有测量精度高、测距范围远、不易受光照和天气条件影响的优点,在目标检测和建图定位方面优势明显,但难以对目标物体进行类别的判断,也难以把邻近的物体区分开来。
因此为了满足实际应用时的测量需要,解决单一传感器的不足,研究人员通常通过配置多种类型的传感器对行驶环境中目标对象的若干特征进行检测,将所测得的多传感器数据进行关联、融合处理,最终提取出可信度高的感知信息。
而配置过多的传感器,对于整个系统而言又存在以下几点问题:
1、传感器数量、种类繁多导致成本过高;
2、传感器数量多导致数据量大,计算成本高,降低实时性;
3、异构传感器的时空误差累计,检测精度低。
学术界通常使用单目相机和激光雷达进行的目标3D检测方法有如下几种:
1、过高精度时空同步后以稀疏深度信息来估计全图精准深度信息,构建深度神经网络利用完整的RGBD图像进行参数训练和检验,这种方式的3D检测结果精度高,但其计算量大,因而无法在工程实际中得到应用;
2、清华大学和滴滴借鉴RCNN的网络架构,合作研发MV3D网络对于输入信息进行了简化,使用点云的俯视图、前视图、栅格密度图、高度图作为点云数据的输入,极大的减小了运算量,在Titan X的GPU上可以达到0.36s一帧的处理速度,仍无法满足实时性要求,且整体系统成本较高;
3、斯坦福大学设计的frustum pointnets网络架构,使用faster-rcnn对图像提取目标预选区,用pointnet++回归对应区域的点云数据,两种深度神经网络相结合的方式实现目标3D检测,其检测准确性与定位精度达到国际领先,实时性好于MV3D,但以图像作为预选提取区,受光强变化影响较大,稳定性尚有不足。
发明内容
本发明的目的在于提供一种应用于无人驾驶平台及其相关自主移动平台上基于相机和激光雷达的无人驾驶平台实时目标3D检测方法,克服了图像检测空间定位精度低和点云检测难以判断类别的缺点,实现了无人驾驶平台场景中基于相机和激光雷达的实时3D目标检测,提高无人驾驶平台目标物体检测的速度与精准度。
实现本发明目的的技术解决方案为:一种基于相机和激光雷达的无人驾驶平台实时目标3D检测方法,步骤如下:
步骤1、标定相机内部参数以及激光雷达的外部参数,相机采集初始图像数据、激光雷达采集初始点云数据,转入步骤2和步骤3;
步骤2、通过时空同步算法,对相机采集的初始图像数据、激光雷达采集的初始点云数据进行时空同步的像素级融合,得到具有时空一致性的融合数据,转入步骤4和步骤5;
步骤3、通过数据分析算法,实现基于RANSAC算法的地面去除及欧式几何聚类算法的目标点云分离,生成目标候选集,转入步骤4和步骤5;
步骤4、利用具有时空一致性的融合数据及目标候选集的标定检测结果数据,对改进式faster-rcnn网络架构进行参数训练至收敛,转入步骤5;
步骤5、利用目标候选集的提取目标候选区域,基于resnet101网络对目标物体进行种类判断及定位回归,输出目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度;即获得目标物体的3D检测信息。
本发明与现有技术相比,其显著优点在于:
(1)采用激光雷达聚类检测算法提取目标候选区,能够达到实时检测的效果;
(2)以激光雷达聚类检测结果为神经网络目标检测进行预提取,漏检率更低;
(3)融合点云数据与图像数据进行3D检测,目标物体的空间定位更精准。
附图说明
图1为本发明的基于相机和激光雷达实时目标3D检测方法流程图。
图2为激光雷达数据分析算法流程图。
图3为改进式faster-rcnn网络架构图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
结合图1,本发所述的一种基于相机和激光雷达的无人驾驶平台实时目标3D检测方法,通过对相机和激光雷达的原始数据进行时空同步的像素级融合,利用所得的时空同步数据结合激光雷达的数据分析方法得到聚类检测结果,构建改进式faster-rcnn网络架构对其进行参数训练并用于实时检测,输出无人驾驶平台周围目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度。本发明根据该系统及其检测方法采用传统聚类和人工智能的融合算法,克服了图像检测空间定位精度低和点云检测难以判断类别的缺点(融合了相机和激光雷达两种传感器的原始数据,结合相机和激光雷达两种传感器的优势),实现了无人驾驶平台场景中基于相机和激光雷达的实时3D标检测,具体步骤如下:
步骤1、标定相机内部参数(包括相机光主点坐标及焦距)以及激光雷达的外部参数(包括相对于相机和无人驾驶平台的选择矩阵和平移矩阵),相机采集初始图像数据、激光雷达采集初始点云数据,转入步骤2和步骤3;
步骤2、对相机采集的初始图像数据、激光雷达采集的初始点云数据进行时空同步的像素级融合(通过时间同步和空间变换,得到每个点云数据当前时间戳下所对应的图像位置,给图像数据以精确的空间信息),得到具有时空一致性的融合数据,转入步骤4和步骤5。
进一步地,具体步骤如下:
步骤2-1、基于时间同步算法选择与当前采集的点云数据的标准时间最接近的时间戳所对应的图像数据,进行误差小于0.015秒的精确时间同步,获得具有时间同步的图像数据和点云数据,转入步骤2-2;
步骤2-2、根据标定的相机内部参数以及激光雷达的外部参数,结合时间同步的图像数据和点云数据,通过基于激光雷达外部参数所提供的激光雷达相对于相机的参数矩阵相机内部参数矩阵calib.P,根据空间转换计算公式/>其中img为同步时间戳的图像数据,计算出其同步点云数据在相机中的坐标信息point,完成空间同步,生成具有时空一致性的融合数据。
步骤3、通过数据分析的方法,实现基于RANSAC(随机采样一致)算法的地面去除及欧式几何聚类算法的目标点云分离,生成目标候选集,转入步骤4和步骤5。
进一步地,结合图2,具体步骤如下:
步骤3-1、根据激光雷达的外部参数,通过基于激光雷达外部参数所提供的激光雷达相对于无人驾驶平台的参数矩阵计算出当前点云数据在无人驾驶平台坐标系下的数据,转入步骤3-2;
步骤3-2、基于距离分析和高斯滤波算法过滤初始点云数据中的错误数据,并通过邻近有效值的插值算法补齐缺失的点云数据,生成预处理后的点云数据,具体如下:
步骤3-2-1、基于点云数据间的距离信息,利用高斯滤波器,对原始点云进行过滤,去除离群的错误点云数据,转入步骤3-2-2;
步骤3-2-2、对于每一线雷达数据的缺失点云数据段,搜索其两端最邻近有效数据的数值及位置,转入步骤3-2-3;
步骤3-2-3、计算插值补齐的单位距离,设置距离阈值,对于阈值较小的数据通过插值算法进行缺失点云数据的补齐。
转入步骤3-3。
步骤3-3、基于RANSAC(随机采样一致算法)的平面拟合算法,对所得的点云数据进行地面点云的匹配及去除(计算地平面方程并逐个点云判断是否是地面点云),生成分离的点云集合,转入步骤3-4;
步骤3-4、设置合理的聚类半径参数,基于欧式几何聚类算法对点云集合进行目标点云的检测与分离,生成目标候选集。
所述激光雷达的外部参数包括激光雷达相对于相机的外部参数矩阵和激光雷达相对于无人驾驶平台的外部参数矩阵。
步骤4、利用具有时空一致性的融合数据及目标候选集的标定检测结果数据,对改进式faster-rcnn网络架构进行参数训练至收敛,转入步骤5。
结合图3,进一步地,改进式faster-rcnn网络与现有faster-rcnn网络相比,通过数据融合将聚类检测生成的目标候选集所对应图像部分区域,替代现有faster-rcnn网络中的区域生成网络(具有更好的实时性和检测准确性,并且可以进行进准的空间3D定位)。
步骤5、利用目标候选集的提取目标候选区域,基于resnet101网络对目标物体进行种类判断及定位回归,输出目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度;即获得目标物体的3D检测信息。
Claims (4)
1.一种基于相机和激光雷达的无人驾驶平台实时目标3D检测方法,其特征在于:步骤如下:
步骤1、标定相机内部参数以及激光雷达的外部参数,相机采集初始图像数据、激光雷达采集初始点云数据,转入步骤2和步骤3;
步骤2、通过时空同步算法,对相机采集的初始图像数据、激光雷达采集的初始点云数据进行时空同步的像素级融合,得到具有时空一致性的融合数据,转入步骤4和步骤5;
步骤3、通过数据分析算法,实现基于RANSAC算法的地面去除及欧式几何聚类算法的目标点云分离,生成目标候选集,转入步骤4和步骤5;
步骤4、利用具有时空一致性的融合数据及目标候选集的标定检测结果数据,对改进式faster-rcnn网络架构进行参数训练至收敛,转入步骤5;
步骤5、利用目标候选集的提取目标候选区域,基于resnet101网络对目标物体进行种类判断及定位回归,输出目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度;即获得目标物体的3D检测信息;
步骤2中,对相机采集的初始图像数据、激光雷达采集的初始点云数据进行时空同步的像素级融合,得到具有时空一致性的融合数据,具体如下:
步骤2-1、基于时间同步算法选择与当前采集的点云数据的标准时间最接近的时间戳所对应的图像数据,进行误差小于0.015秒的精确时间同步,获得具有时间同步的图像数据和点云数据,转入步骤2-2;
步骤2-2、根据标定的相机内部参数以及激光雷达的外部参数,结合时间同步的图像数据和点云数据,通过基于激光雷达外部参数所提供的激光雷达相对于相机的参数矩阵相机内部参数矩阵calib.P,根据空间转换计算公式/>其中img为同步时间戳的图像数据,计算出其同步点云数据在相机中的坐标信息point,完成空间同步,生成具有时空一致性的融合数据;
步骤3中,通过数据分析的方法,实现基于RANSAC的地面去除及欧式几何聚类算法的目标点云分离,生成目标候选集,具体如下:
步骤3-1、根据激光雷达的外部参数,通过基于激光雷达外部参数所提供的激光雷达相对于无人驾驶平台的参数矩阵计算出当前点云数据在无人驾驶平台坐标系下的数据,转入步骤3-2;
步骤3-2、基于距离分析和高斯滤波算法过滤初始点云数据中的错误数据,并通过邻近有效值的插值算法补齐缺失的点云数据,生成预处理后的点云数据,转入步骤3-3;
步骤3-3、基于RANSAC的平面拟合算法,对所得的点云数据进行地面点云的匹配及去除,生成分离的点云集合,转入步骤3-4;
步骤3-4、设置合理的聚类半径参数,基于欧式几何聚类算法对点云集合进行目标点云的检测与分离,生成目标候选集。
2.根据权利要求1所述的基于相机和激光雷达的无人驾驶平台实时目标3D检测方法,其特征在于,所述激光雷达的外部参数包括激光雷达相对于相机的外部参数矩阵和激光雷达相对于无人驾驶平台的外部参数矩阵。
3.根据权利要求1所述的基于相机和激光雷达的无人驾驶平台实时目标3D检测方法,其特征在于,步骤3-2中基于距离分析和高斯滤波算法过滤初始点云数据中的错误数据,并通过数据分析补齐缺失数据,生成预处理后的点云数据,具体如下:
步骤3-2-1、基于点云数据间的距离信息计算,利用高斯滤波器,对原始点云进行过滤,去除离群的错误点云,转入步骤3-2-2;
步骤3-2-2、对于每一线雷达数据的缺失点云数据段,搜索其两端最邻近有效数据的数值及位置,转入步骤3-2-3;
步骤3-2-3、计算插值补齐的单位距离,设置距离阈值,对于阈值较小的数据通过插值算法进行缺失点云数据的补齐。
4.根据权利要求1所述的基于相机和激光雷达的无人驾驶平台实时目标3D检测方法,其特征在于,步骤4中,改进式faster-rcnn网络与现有faster-rcnn网络相比,通过数据融合将聚类检测生成的目标候选集所对应图像部分区域,替代现有faster-rcnn网络中的区域生成网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911244310.7A CN110879401B (zh) | 2019-12-06 | 2019-12-06 | 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911244310.7A CN110879401B (zh) | 2019-12-06 | 2019-12-06 | 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110879401A CN110879401A (zh) | 2020-03-13 |
CN110879401B true CN110879401B (zh) | 2023-08-04 |
Family
ID=69730138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911244310.7A Active CN110879401B (zh) | 2019-12-06 | 2019-12-06 | 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110879401B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3885787B1 (de) * | 2020-03-27 | 2022-05-04 | Sick Ag | Erfassung von abstandsmessdaten |
CN111708432B (zh) * | 2020-05-21 | 2023-08-25 | 青岛小鸟看看科技有限公司 | 安全区域确定方法、装置、头戴显示设备及存储介质 |
CN113866791A (zh) * | 2020-06-30 | 2021-12-31 | 商汤集团有限公司 | 雷达装置采集的数据的处理方法及处理装置 |
CN112068155B (zh) * | 2020-08-13 | 2024-04-02 | 沃行科技(南京)有限公司 | 一种基于多个多线激光雷达分区障碍物检测方法 |
CN112033454B (zh) * | 2020-08-28 | 2022-07-12 | 杭州海康威视数字技术股份有限公司 | 轨迹数据处理方法和装置 |
CN111814769A (zh) * | 2020-09-02 | 2020-10-23 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种信息采集方法、装置、终端设备及存储介质 |
CN112419494B (zh) * | 2020-10-09 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 |
CN112487919A (zh) * | 2020-11-25 | 2021-03-12 | 吉林大学 | 一种基于相机与激光雷达的3d目标检测与跟踪方法 |
CN112330746A (zh) * | 2020-11-27 | 2021-02-05 | 苏州感测通信息科技有限公司 | 一种基于tx2的移动底盘障碍物检测方法 |
CN112861660B (zh) * | 2021-01-22 | 2023-10-13 | 上海西井科技股份有限公司 | 激光雷达阵列与相机同步装置、方法、设备及存储介质 |
CN112883820B (zh) * | 2021-01-26 | 2024-04-19 | 上海应用技术大学 | 基于激光雷达点云的道路目标3d检测方法及系统 |
CN112964262A (zh) * | 2021-03-26 | 2021-06-15 | 南京理工大学 | 无人驾驶车载传感器数据采集与处理系统与方法 |
CN113111887B (zh) * | 2021-04-26 | 2022-04-15 | 河海大学常州校区 | 一种基于相机和激光雷达信息融合的语义分割方法及系统 |
CN116359884A (zh) * | 2021-12-28 | 2023-06-30 | 上海禾赛科技有限公司 | 激光雷达的探测方法以及激光雷达 |
CN114708585B (zh) * | 2022-04-15 | 2023-10-10 | 电子科技大学 | 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法 |
CN114724120B (zh) * | 2022-06-10 | 2022-09-02 | 东揽(南京)智能科技有限公司 | 基于雷视语义分割自适应融合的车辆目标检测方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106407947B (zh) * | 2016-09-29 | 2019-10-22 | 百度在线网络技术(北京)有限公司 | 用于无人驾驶车辆的目标物体识别方法和装置 |
CN108509918B (zh) * | 2018-04-03 | 2021-01-08 | 中国人民解放军国防科技大学 | 融合激光点云与图像的目标检测与跟踪方法 |
CN109444911B (zh) * | 2018-10-18 | 2023-05-05 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
CN109948448B (zh) * | 2019-02-20 | 2021-03-12 | 苏州风图智能科技有限公司 | 用于3d障碍物的检测方法、装置、系统及计算机存储介质 |
CN110033475B (zh) * | 2019-03-29 | 2020-12-15 | 北京航空航天大学 | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 |
-
2019
- 2019-12-06 CN CN201911244310.7A patent/CN110879401B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110879401A (zh) | 2020-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110879401B (zh) | 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法 | |
CN111583337B (zh) | 一种基于多传感器融合的全方位障碍物检测方法 | |
CN110244321B (zh) | 一种基于三维激光雷达的道路可通行区域检测方法 | |
WO2022022694A1 (zh) | 自动驾驶环境感知方法及系统 | |
CN109034018B (zh) | 一种基于双目视觉的低空小型无人机障碍物感知方法 | |
CN106681353B (zh) | 基于双目视觉与光流融合的无人机避障方法及系统 | |
CN111275750B (zh) | 基于多传感器融合的室内空间全景图像生成方法 | |
CN112149550B (zh) | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 | |
CN111060924B (zh) | 一种slam与目标跟踪方法 | |
CN112001958B (zh) | 基于有监督单目深度估计的虚拟点云三维目标检测方法 | |
CN111815717B (zh) | 一种多传感器融合外参联合半自主标定方法 | |
CN109493320A (zh) | 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备 | |
CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
CN111257892A (zh) | 一种用于车辆自动驾驶的障碍物检测方法 | |
CN113205604A (zh) | 一种基于摄像机和激光雷达的可行区域检测方法 | |
CN113643345A (zh) | 一种基于双光融合的多目道路智能识别方法 | |
CN114694011A (zh) | 一种基于多传感器融合的透雾目标检测方法及装置 | |
CN117274749B (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
CN103871072A (zh) | 基于投影数字高程模型的正射影像镶嵌线自动提取方法 | |
CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
CN114299160A (zh) | 基于视觉与激光雷达融合的受电弓运行状态动态检测方法 | |
CN113608234A (zh) | 一种城市数据采集系统 | |
CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
CN115937810A (zh) | 一种基于双目相机引导的传感器融合方法 | |
CN114037968A (zh) | 基于深度雷达点云和图像数据融合的车道线检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |