CN109917419A - 一种基于激光雷达与图像的深度填充密集系统及方法 - Google Patents
一种基于激光雷达与图像的深度填充密集系统及方法 Download PDFInfo
- Publication number
- CN109917419A CN109917419A CN201910293898.9A CN201910293898A CN109917419A CN 109917419 A CN109917419 A CN 109917419A CN 201910293898 A CN201910293898 A CN 201910293898A CN 109917419 A CN109917419 A CN 109917419A
- Authority
- CN
- China
- Prior art keywords
- module
- laser radar
- data
- super
- normal vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000013598 vector Substances 0.000 claims abstract description 58
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims description 35
- 230000004438 eyesight Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 239000012466 permeate Substances 0.000 claims description 3
- 241000736199 Paeonia Species 0.000 claims 1
- 235000006484 Paeonia officinalis Nutrition 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 238000000280 densification Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 abstract description 3
- 239000013589 supplement Substances 0.000 abstract description 3
- 238000009434 installation Methods 0.000 abstract description 2
- 230000006978 adaptation Effects 0.000 abstract 1
- 230000004927 fusion Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及一种基于激光雷达与图像的深度填充密集系统及方法。在本发明中激光雷达采用的是3D激光雷达和视觉传感器，以激光雷达获取到物体的三维信息，结合相机传感器色彩信息的辅助，能够实现精准的路面提取；利用视觉传感器提供的纹理色彩，对三维空间进行信息补充及密集化，过预估超像素法向量，降低建立平面模型需要的激光雷达点云数量，可以适配不同的激光雷达以及不同的设备安装。本发明思路新颖，适应场景广泛，对激光雷达设备要求低，降低传感器融合的传感器需求，是一种全新的基于激光雷达与图像的深度填充密集方法。
Description
技术领域
本发明涉及传感器融合技术领域，更具体地，涉及一种基于激光雷达与图像的深度填充密集系统及方法。
背景技术
随着时代的发展，传感器融合成为越来越重要的课题。激光雷达可以提供准确的外界深度信息，但无法感知物体色彩信息及提供密集的三维信息，通过融合视觉传感器，利用视觉传感器提供的纹理色彩，对三维空间进行信息补充及密集化。前期融合的三维信息可以为道路特征提取提供更多元的特征，从而大幅度提高基于深度信息的环境感知技术的准确性与可靠性。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于激光雷达与图像的深度填充密集系统及方法，通过获取相机传感器色彩纹理信息，生成超像素对应的法向量信息，结合获取物体的三维信息，能够实现精准的三维信息最大化密集填充。
为解决上述技术问题，本发明采用的技术方案是：一种基于激光雷达与图像的深度填充密集系统，包括数据采集模块、分割模块、法向量预估模块以及深度填充模块；其中：
数据采集模块，用于对使用无人车携带的激光雷达和相机传感器进行环境数据的采集，并将得到的相机传感器的数据传入分割模块和法向量预测模块，将生成的数据与基于激光雷达的数据传入深度填充模块；
分割模块，用于根据采集到的相机传感器数据进行超像素分割，将像素组合成感知有意义的原子区域，以用于替换像素网格的刚性结构，并将得到的分割标签传入到法向量预测模块；
法向量预估模块，用于对传入的相机数据帧和超像素分割标签进行法向量预估，生成每一个超像素对应的法向量；将图片输入卷积神经网络，从每个超像素中随机抽取一个像素，并将其映射的不同层的特征组成叠加向量--超列，对超列特征进行解析法向量预估，并将生成的超像素法向量传入到深度填充模块；
深度填充模块，用于对激光雷达数据帧与相机数据帧进行坐标同步处理，使激光雷达和相机数据帧处于同一坐标系，并将激光雷达三维数据投影到相机视场中，结合生成超像素法向量数据，拟合出超像素的平面模型，生成对应的深度图以实现深度填充。
进一步的，所述的数据采集模块在每一套无人车上至少设有一个激光雷达和至少两个相机传感器。
进一步的，所述的相机传感器为单目或多目相机，搭载于无人车车身，能够获取车前或车后的路面场景。
本发明还提供一种基于激光雷达与图像的深度填充密集方法，包括以下步骤：
S1.数据采集模块包括视觉传感器，首先对相机的数据进行标定，统一两组视觉传感器获取到的数据信息；
S2.数据采集模块还包括激光雷达，首先检验激光雷达的精确度，对其测量范围进行预估；
S3.数据采集模块根据视觉传感器和激光雷达的运行频率，结合实际使用需求，设定数据周期；将得到的相机传感器的数据传入分割模块和法向量预测模块，将生成的数据与基于激光雷达的数据传入深度填充模块；
S4.分割模块对根据采集到的相机传感器数据进行超像素分割，将像素组合成感知有意义的原子区域，以用于替换像素网格的刚性结构，并将得到的分割标签传入到法向量预测模块；
S5.法向量预估模块根据传入的视觉数据帧输入到卷积神经网络生成多层特征；
S6.法向量预估模块从分割模块传入的超像素分割的每个超像素中随机抽取一个像素，并将其映射不同层的特征组成叠加向量—超列，将超列特征进行解析法向量预估，并将生成的超像素法向量传入到深度填充模块；
S7.深度填充模块根据数据周期把周期内的激光雷达点云和视觉传感器点云进行姿态变换和特征对应变换，分别融合为一帧激光点云数据帧和视觉数据帧；
S8.深度填充模块根据传入的激光点云数据帧和视觉数据帧进行坐标同步处理，确保两种传感器内的数据点处于同一坐标系下，并将激光雷达点云投影到相机视场中；
S9.深度填充模块根据法向量预估模块传入的超像素法向量数据和激光雷达点云拟合出超像素向量数据，拟合出超像素的平面模型，生成对应的深度图以实现深度填充。
与现有技术相比，有益效果是：
1.本发明的激光雷达采用的是3D激光雷达和视觉传感器，以激光雷达获取到物体的三维信息，结合相机传感器色彩信息的辅助，能够实现精准的路面提取。本发明使用一种新颖的方法实现传感器融合，利用视觉传感器提供的纹理色彩，对三维空间进行信息补充及密集化；
2.本发明通过预估超像素法向量，降低建立平面模型需要的激光雷达点云数量，可以适配不同的激光雷达以及不同的设备安装。
附图说明
图1是本发明的系统结构关系示意图。
图2是本发明的方法流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
如图1所示，一种基于激光雷达与图像的深度填充密集系统，包括数据采集模块、分割模块、法向量预估模块以及深度填充模块；其中，
数据采集模块，用于对使用无人车携带的激光雷达和相机传感器进行环境数据的采集，并将得到的相机传感器的数据传入分割模块和法向量预测模块，将生成的数据与基于激光雷达的数据传入深度填充模块；
分割模块，用于根据采集到的相机传感器数据进行超像素分割，将像素组合成感知有意义的原子区域，以用于替换像素网格的刚性结构，并将得到的分割标签传入到法向量预测模块；
法向量预估模块，用于对传入的相机数据帧和超像素分割标签进行法向量预估，生成每一个超像素对应的法向量；将图片输入卷积神经网络，从每个超像素中随机抽取一个像素，并将其映射的不同层的特征组成叠加向量--超列，对超列特征进行解析法向量预估，并将生成的超像素法向量传入到深度填充模块；
深度填充模块，用于对激光雷达数据帧与相机数据帧进行坐标同步处理，使激光雷达和相机数据帧处于同一坐标系，并将激光雷达三维数据投影到相机视场中，结合生成超像素法向量数据，拟合出超像素的平面模型，生成对应的深度图以实现深度填充。
如图2所示，一种基于激光雷达与图像的深度填充密集方法，包括以下步骤：
S1.数据采集模块包括视觉传感器，首先对相机的数据进行标定，统一两组视觉传感器获取到的数据信息；
S2.数据采集模块还包括激光雷达，首先检验激光雷达的精确度，对其测量范围进行预估；
S3.数据采集模块根据视觉传感器和激光雷达的运行频率，结合实际使用需求，设定数据周期；将得到的相机传感器的数据传入分割模块和法向量预测模块，将生成的数据与基于激光雷达的数据传入深度填充模块；
S4.分割模块对根据采集到的相机传感器数据进行超像素分割，将像素组合成感知有意义的原子区域，以用于替换像素网格的刚性结构，并将得到的分割标签传入到法向量预测模块；
S5.法向量预估模块根据传入的视觉数据帧输入到卷积神经网络生成多层特征；
S6.法向量预估模块从分割模块传入的超像素分割的每个超像素中随机抽取一个像素，并将其映射不同层的特征组成叠加向量—超列，将超列特征进行解析法向量预估，并将生成的超像素法向量传入到深度填充模块；
S7.深度填充模块根据数据周期把周期内的激光雷达点云和视觉传感器点云进行姿态变换和特征对应变换，分别融合为一帧激光点云数据帧和视觉数据帧；
S8.深度填充模块根据传入的激光点云数据帧和视觉数据帧进行坐标同步处理，确保两种传感器内的数据点处于同一坐标系下，并将激光雷达点云投影到相机视场中；
S9.深度填充模块根据法向量预估模块传入的超像素法向量数据和激光雷达点云拟合出超像素向量数据，拟合出超像素的平面模型，生成对应的深度图以实现深度填充。
其中，数据采集模块需要保证每一个载体都含有一个激光雷达，且与视觉传感器有重叠视场区域；数据采集模块需要保证每一个载体的前或后方含有一组视觉传感器，可以获取到外界环境信息；数据采集模块自启用该方法开始将不停地采集数据并对数据进行处理，并根据当前所处的阶段以及各个模块的需求将相应的处理信息及时反馈给分割模块、法向量预估模块以及深度填充模块，直至完成整个过程；数据采集模块需要根据视觉传感器和激光雷达的运行周期，设定本方法中的数据周期。
另外，分割模块需要根据视觉传感器传入的色彩及纹理信息提取出超像素分割标签；法向量预估模块需要生成多层深度卷积神经网络输出特征，并抽取每个超像素中的一个像素映射的不同层特征组成叠加向量—超列，并将超列特征进行解析法向量预估；深度填充模块需要统一视觉数据帧和激光点云数据帧的坐标系，并将激光雷达点云投影到相机视场中；深度填充模块需要拟合出超像素的平面模型，生成对应的深度图以实现深度填充。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (4)
1.一种基于激光雷达与图像的深度填充密集系统，其特征在于，包括数据采集模块、分割模块、法向量预估模块以及深度填充模块；
数据采集模块，用于对使用无人车携带的激光雷达和相机传感器进行环境数据的采集，并将得到的相机传感器的数据传入分割模块和法向量预测模块，将生成的数据与基于激光雷达的数据传入深度填充模块；
分割模块，用于根据采集到的相机传感器数据进行超像素分割，将像素组合成感知有意义的原子区域，以用于替换像素网格的刚性结构，并将得到的分割标签传入到法向量预测模块；
法向量预估模块，用于对传入的相机数据帧和超像素分割标签进行法向量预估，生成每一个超像素对应的法向量；将图片输入卷积神经网络，从每个超像素中随机抽取一个像素，并将其映射的不同层的特征组成叠加向量--超列，对超列特征进行解析法向量预估，并将生成的超像素法向量传入到深度填充模块；
深度填充模块，用于对激光雷达数据帧与相机数据帧进行坐标同步处理，使激光雷达和相机数据帧处于同一坐标系，并将激光雷达三维数据投影到相机视场中，结合生成超像素法向量数据，拟合出超像素的平面模型，生成对应的深度图以实现深度填充。
2.根据权利要求1所述的一种基于激光雷达与图像的深度填充密集系统，其特征在于，所述的数据采集模块在每一套无人车上至少设有一个激光雷达和至少两个相机传感器。
3.根据权利要求2所述的一种基于激光雷达与图像的深度填充密集系统，其特征在于，所述的相机传感器为单目或多目相机，搭载于无人车车身，能够获取车前或车后的路面场景。
4.一种基于激光雷达与图像的深度填充密集方法，其特征在于，包括以下步骤：
S1.数据采集模块包括视觉传感器，首先对相机的数据进行标定，统一两组视觉传感器获取到的数据信息；
S2.数据采集模块还包括激光雷达，首先检验激光雷达的精确度，对其测量范围进行预估；
S3.数据采集模块根据视觉传感器和激光雷达的运行频率，结合实际使用需求，设定数据周期；将得到的相机传感器的数据传入分割模块和法向量预测模块，将生成的数据与基于激光雷达的数据传入深度填充模块；
S4.分割模块对根据采集到的相机传感器数据进行超像素分割，将像素组合成感知有意义的原子区域，以用于替换像素网格的刚性结构，并将得到的分割标签传入到法向量预测模块；
S5.法向量预估模块根据传入的视觉数据帧输入到卷积神经网络生成多层特征；
S6.法向量预估模块从分割模块传入的超像素分割的每个超像素中随机抽取一个像素，并将其映射不同层的特征组成叠加向量—超列，将超列特征进行解析法向量预估，并将生成的超像素法向量传入到深度填充模块；
S7.深度填充模块根据数据周期把周期内的激光雷达点云和视觉传感器点云进行姿态变换和特征对应变换，分别融合为一帧激光点云数据帧和视觉数据帧；
S8.深度填充模块根据传入的激光点云数据帧和视觉数据帧进行坐标同步处理，确保两种传感器内的数据点处于同一坐标系下，并将激光雷达点云投影到相机视场中；
S9.深度填充模块根据法向量预估模块传入的超像素法向量数据和激光雷达点云拟合出超像素向量数据，拟合出超像素的平面模型，生成对应的深度图以实现深度填充。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910293898.9A CN109917419B (zh) | 2019-04-12 | 2019-04-12 | 一种基于激光雷达与图像的深度填充密集系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910293898.9A CN109917419B (zh) | 2019-04-12 | 2019-04-12 | 一种基于激光雷达与图像的深度填充密集系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109917419A true CN109917419A (zh) | 2019-06-21 |
| CN109917419B CN109917419B (zh) | 2021-04-13 |
Family
ID=66969670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910293898.9A Active CN109917419B (zh) | 2019-04-12 | 2019-04-12 | 一种基于激光雷达与图像的深度填充密集系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109917419B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414418A (zh) * | 2019-07-25 | 2019-11-05 | 电子科技大学 | 一种图像-激光雷达图像数据多尺度融合的道路检测方法 |
| CN110596683A (zh) * | 2019-10-25 | 2019-12-20 | 中山大学 | 一种多组激光雷达外参标定系统及其方法 |
| CN110764106A (zh) * | 2019-10-09 | 2020-02-07 | 中交一公局集团有限公司 | 一种采用激光雷达辅助盾构区间调坡调线测量施工方法 |
| CN110807782A (zh) * | 2019-10-25 | 2020-02-18 | 中山大学 | 一种视觉机器人的地图表示系统及其构建方法 |
| CN110807809A (zh) * | 2019-10-25 | 2020-02-18 | 中山大学 | 基于点线特征和深度滤波器的轻量级单目视觉定位方法 |
| CN112346073A (zh) * | 2020-09-25 | 2021-02-09 | 中山大学 | 一种动态视觉传感器与激光雷达数据融合方法 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120121131A1 (en) * | 2010-11-15 | 2012-05-17 | Samsung Techwin Co., Ltd. | Method and apparatus for estimating position of moving vehicle such as mobile robot |
| EP2757524A1 (en) * | 2013-01-16 | 2014-07-23 | Honda Research Institute Europe GmbH | Depth sensing method and system for autonomous vehicles |
| US20150085075A1 (en) * | 2013-09-23 | 2015-03-26 | Microsoft Corporation | Optical modules that reduce speckle contrast and diffraction artifacts |
| CN104574375A (zh) * | 2014-12-23 | 2015-04-29 | 浙江大学 | 结合彩色和深度信息的图像显著性检测方法 |
| CN105015419A (zh) * | 2015-07-17 | 2015-11-04 | 中山大学 | 基于立体视觉定位与建图的自动泊车系统及方法 |
| CN105182358A (zh) * | 2014-04-25 | 2015-12-23 | 谷歌公司 | 用于使用激光点云进行物体检测的方法和系统 |
| KR101590114B1 (ko) * | 2014-09-02 | 2016-01-29 | 재단법인 실감교류인체감응솔루션연구단 | 깊이 영상의 홀 채움을 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
| CN106157307A (zh) * | 2016-06-27 | 2016-11-23 | 浙江工商大学 | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 |
| CN106648103A (zh) * | 2016-12-28 | 2017-05-10 | 歌尔科技有限公司 | 一种vr头戴设备的手势跟踪方法和vr头戴设备 |
| CN106772431A (zh) * | 2017-01-23 | 2017-05-31 | 杭州蓝芯科技有限公司 | 一种结合tof技术和双目视觉的深度信息获取装置及其方法 |
| CN106981080A (zh) * | 2017-02-24 | 2017-07-25 | 东华大学 | 基于红外图像和雷达数据的夜间无人车场景深度估计方法 |
| CN106997591A (zh) * | 2017-03-21 | 2017-08-01 | 南京理工大学 | 一种rgb‑d图像变尺度超体素分割方法 |
| CN107167811A (zh) * | 2017-04-26 | 2017-09-15 | 西安交通大学 | 基于单目视觉与激光雷达融合的道路可行驶区域检测方法 |
| CN107169418A (zh) * | 2017-04-18 | 2017-09-15 | 海信集团有限公司 | 一种障碍物检测方法及装置 |
| CN107563388A (zh) * | 2017-09-18 | 2018-01-09 | 东北大学 | 一种基于深度信息预分割的卷积神经网络物体识别方法 |
| CN107610084A (zh) * | 2017-09-30 | 2018-01-19 | 驭势科技（北京）有限公司 | 一种对深度图像和激光点云图进行信息融合的方法与设备 |
| CN107622244A (zh) * | 2017-09-25 | 2018-01-23 | 华中科技大学 | 一种基于深度图的室内场景精细化解析方法 |
| WO2018035082A1 (en) * | 2016-08-15 | 2018-02-22 | Raptor Maps, Inc. | Systems, devices, and methods for monitoring and assessing characteristics of harvested specialty crops |
| CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| CN108648233A (zh) * | 2018-03-24 | 2018-10-12 | 北京工业大学 | 一种基于深度学习的目标识别与抓取定位方法 |
-
2019
- 2019-04-12 CN CN201910293898.9A patent/CN109917419B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120121131A1 (en) * | 2010-11-15 | 2012-05-17 | Samsung Techwin Co., Ltd. | Method and apparatus for estimating position of moving vehicle such as mobile robot |
| EP2757524A1 (en) * | 2013-01-16 | 2014-07-23 | Honda Research Institute Europe GmbH | Depth sensing method and system for autonomous vehicles |
| US20150085075A1 (en) * | 2013-09-23 | 2015-03-26 | Microsoft Corporation | Optical modules that reduce speckle contrast and diffraction artifacts |
| CN105182358A (zh) * | 2014-04-25 | 2015-12-23 | 谷歌公司 | 用于使用激光点云进行物体检测的方法和系统 |
| KR101590114B1 (ko) * | 2014-09-02 | 2016-01-29 | 재단법인 실감교류인체감응솔루션연구단 | 깊이 영상의 홀 채움을 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
| CN104574375A (zh) * | 2014-12-23 | 2015-04-29 | 浙江大学 | 结合彩色和深度信息的图像显著性检测方法 |
| CN105015419A (zh) * | 2015-07-17 | 2015-11-04 | 中山大学 | 基于立体视觉定位与建图的自动泊车系统及方法 |
| CN106157307A (zh) * | 2016-06-27 | 2016-11-23 | 浙江工商大学 | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 |
| WO2018035082A1 (en) * | 2016-08-15 | 2018-02-22 | Raptor Maps, Inc. | Systems, devices, and methods for monitoring and assessing characteristics of harvested specialty crops |
| CN106648103A (zh) * | 2016-12-28 | 2017-05-10 | 歌尔科技有限公司 | 一种vr头戴设备的手势跟踪方法和vr头戴设备 |
| CN106772431A (zh) * | 2017-01-23 | 2017-05-31 | 杭州蓝芯科技有限公司 | 一种结合tof技术和双目视觉的深度信息获取装置及其方法 |
| CN106981080A (zh) * | 2017-02-24 | 2017-07-25 | 东华大学 | 基于红外图像和雷达数据的夜间无人车场景深度估计方法 |
| CN106997591A (zh) * | 2017-03-21 | 2017-08-01 | 南京理工大学 | 一种rgb‑d图像变尺度超体素分割方法 |
| CN107169418A (zh) * | 2017-04-18 | 2017-09-15 | 海信集团有限公司 | 一种障碍物检测方法及装置 |
| CN107167811A (zh) * | 2017-04-26 | 2017-09-15 | 西安交通大学 | 基于单目视觉与激光雷达融合的道路可行驶区域检测方法 |
| CN107563388A (zh) * | 2017-09-18 | 2018-01-09 | 东北大学 | 一种基于深度信息预分割的卷积神经网络物体识别方法 |
| CN107622244A (zh) * | 2017-09-25 | 2018-01-23 | 华中科技大学 | 一种基于深度图的室内场景精细化解析方法 |
| CN107610084A (zh) * | 2017-09-30 | 2018-01-19 | 驭势科技（北京）有限公司 | 一种对深度图像和激光点云图进行信息融合的方法与设备 |
| CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| CN108648233A (zh) * | 2018-03-24 | 2018-10-12 | 北京工业大学 | 一种基于深度学习的目标识别与抓取定位方法 |
Non-Patent Citations (6)
| Title |
|---|
| JEONGHYEON WANG 等: "Semantic Segmentation of Urban Scenes with a Location Prior Map Using Lidar Measurements", 《2017 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 * |
| LONG CHEN 等: "Transforming a 3-D LiDAR Point Cloud Into a 2-D Dense Depth Map Through a Parameter Self-Adaptive Framework", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
| 朱株: "基于三维数据面向无人车导航的非结构化场景理解", 《中国博士学位论文全文数据库 工程科技二辑》 * |
| 李德毅 等: "《中国科协新一代信息技术系列丛书 人工智能导论》", 30 September 2018 * |
| 谢国栋: "基于OpenCL的跨平台实时立体匹配", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 陈龙 等: "平行无人系统", 《无人系统技术》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414418A (zh) * | 2019-07-25 | 2019-11-05 | 电子科技大学 | 一种图像-激光雷达图像数据多尺度融合的道路检测方法 |
| CN110414418B (zh) * | 2019-07-25 | 2022-06-03 | 电子科技大学 | 一种图像-激光雷达图像数据多尺度融合的道路检测方法 |
| CN110764106A (zh) * | 2019-10-09 | 2020-02-07 | 中交一公局集团有限公司 | 一种采用激光雷达辅助盾构区间调坡调线测量施工方法 |
| CN110596683A (zh) * | 2019-10-25 | 2019-12-20 | 中山大学 | 一种多组激光雷达外参标定系统及其方法 |
| CN110807782A (zh) * | 2019-10-25 | 2020-02-18 | 中山大学 | 一种视觉机器人的地图表示系统及其构建方法 |
| CN110807809A (zh) * | 2019-10-25 | 2020-02-18 | 中山大学 | 基于点线特征和深度滤波器的轻量级单目视觉定位方法 |
| CN110596683B (zh) * | 2019-10-25 | 2021-03-26 | 中山大学 | 一种多组激光雷达外参标定系统及其方法 |
| CN110807809B (zh) * | 2019-10-25 | 2021-04-09 | 中山大学 | 基于点线特征和深度滤波器的轻量级单目视觉定位方法 |
| CN112346073A (zh) * | 2020-09-25 | 2021-02-09 | 中山大学 | 一种动态视觉传感器与激光雷达数据融合方法 |
| CN112346073B (zh) * | 2020-09-25 | 2023-07-11 | 中山大学 | 一种动态视觉传感器与激光雷达数据融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109917419B (zh) | 2021-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109917419A (zh) | 一种基于激光雷达与图像的深度填充密集系统及方法 | |
| Zhou et al. | Davanet: Stereo deblurring with view aggregation | |
| CN109166077B (zh) | 图像对齐方法、装置、可读存储介质及计算机设备 | |
| CN103236160B (zh) | 基于视频图像处理技术的路网交通状态监测系统 | |
| Bao et al. | Instereo2k: a large real dataset for stereo matching in indoor scenes | |
| CN113160375B (zh) | 一种基于多任务学习算法的三维重建及相机位姿估计方法 | |
| CN105913410A (zh) | 一种基于机器视觉的远距离运动物体高度测量的装置与方法 | |
| Cui et al. | Real-time dense mapping for self-driving vehicles using fisheye cameras | |
| CN108932725B (zh) | 基于卷积神经网络的场景流估计方法 | |
| US20220051425A1 (en) | Scale-aware monocular localization and mapping | |
| CN108986150B (zh) | 一种基于非刚性稠密匹配的图像光流估计方法及系统 | |
| JP5852093B2 (ja) | 映像処理装置、映像処理方法、プログラム | |
| CN113888639B (zh) | 基于事件相机与深度相机的视觉里程计定位方法及系统 | |
| CN102164269A (zh) | 全景监控方法及装置 | |
| CN102547350A (zh) | 一种基于梯度光流算法合成虚拟视点方法及立体显示装置 | |
| Islam et al. | Stereo vision-based 3D positioning and tracking | |
| CN109407115A (zh) | 一种基于激光雷达的路面提取系统及其提取方法 | |
| Patel et al. | Comparison of optical flow algorithms for speed determination of moving objects | |
| Liu et al. | A dense light field reconstruction algorithm for four-dimensional optical flow constraint equation | |
| CN117434294A (zh) | 一种用于无人机的多孔径纯视觉光流测速方法 | |
| CN114993306B (zh) | 一种尺度自恢复的视觉惯性组合导航方法和装置 | |
| CN110717457A (zh) | 用于车辆的行人位姿解算方法 | |
| CN111784798B (zh) | 地图生成方法、装置、电子设备和存储介质 | |
| KR20160039447A (ko) | 스테레오 카메라를 이용한 공간분석시스템 | |
| CN109089100B (zh) | 一种双目立体视频的合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |