CN110782506B - 一种利用红外相机和深度相机融合构建栅格地图的方法 - Google Patents

一种利用红外相机和深度相机融合构建栅格地图的方法 Download PDF

Info

Publication number
CN110782506B
CN110782506B CN201911146411.0A CN201911146411A CN110782506B CN 110782506 B CN110782506 B CN 110782506B CN 201911146411 A CN201911146411 A CN 201911146411A CN 110782506 B CN110782506 B CN 110782506B
Authority
CN
China
Prior art keywords
grid
depth
map
camera
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911146411.0A
Other languages
English (en)
Other versions
CN110782506A (zh
Inventor
仲维
李豪杰
陈圣伦
王智慧
罗钟铉
刘日升
樊鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911146411.0A priority Critical patent/CN110782506B/zh
Publication of CN110782506A publication Critical patent/CN110782506A/zh
Application granted granted Critical
Publication of CN110782506B publication Critical patent/CN110782506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种利用红外相机和深度相机融合构建栅格地图的方法，属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准，从硬件的层次提升系统效率。利用GPU构建高性能运算平台，并构建高性能求解算法构建栅格地图。系统容易构建，程序简单，易于实现；利用红外相机和深度相机融合构建地图，可以低亮度或夜间使用，而且算法鲁棒性强精度高。

Description

一种利用红外相机和深度相机融合构建栅格地图的方法
技术领域
本发明属于图像处理和计算机视觉领域。利用红外相机和深度相机的特性，相互弥补缺陷，使得构建栅格地图更精细更准确。是一种利用多传感器构建栅格地图的方法。
背景技术
近年伴随着人工智能的发展移动机器人和汽车自动驾驶越来越受到人们的关注，而其中一个需要解决主要的问题就是地图构建。栅格地图是在无人导航中最为常见的一种地图，因而如何构建快速精确的栅格地图成为移动机器人和和无人车中一个十分重要的问题。现阶段主流的方法大致利用三种传感器，双目相机，深度相机和雷达。三种传感器由于自身的特性存在着不可避免的缺点，双目相机受光照和纹理影响大，深度相机测距范围有限。抗干扰能力差，激光雷达或毫米波雷达价格昂贵且数据稀疏。由此可见单一传感器构建栅格地图不能完整准确的反映出场景的结构。因此传感器融合成为一种趋势，现阶段存在的融合方案有双目相机和雷达，使用双目相机的稠密数据填充雷达的稀疏数据，使用雷达的精确数据修正双目相机的粗略数据，最终构建可较好反映场景深度图，然后可利用生成的深度图构建栅格地图。但是这样的方案设备成本高，算法中数据融合消耗资源多、实时性较差，而且不适合在规模较小的环境使用。
发明内容
为解决上述问题本发明提出使用红外相机和深度相机构建栅格地图的方法，深度相机测距范围有限但是精度高，红外相机与双目相机相似测距范围大获取可以获取远处的信息，而且红外相机可以全天候使用。但是两传感器的位姿和时间标定存在困难，本发明中使用最大点云配准和分段对齐完成。两传感器数据融合影响算法的执行效率，本发明提出的权值状态更新方法融合数据可以提升算法效率。本发明提出一种高效的利用深度相机和红外相机构建栅格地图的方法。
具体技术方案的步骤如下：
1)传感器配准
使用红外相机和深度相机同时拍摄不同姿态、不同位置的标定物，设由深度图转换得到的点云分别为Pi和Pd，使点对
Figure GDA0002915087100000021
满足
Figure GDA0002915087100000022
且点对的数量达到最大，得到位姿为T；
获得红外相机深度图序列和深度相机深度图序列，分别计算两个序列的运动轨迹li和ld，并将轨迹分为n个时间段进行对齐，获得时间偏移t1，...，tn；取平均值t作为两传感器的时间偏移；
2)深度权值更新
两种传感器生成的深度图分别为Di和Dd，精度分别为Wi和Wd；使用红外图像进行场景判别；如果场景为室内则用系数因子βi和βd分别乘以传感器精度，否则判断场景的亮度，如果低于Imin则用系数因子αi和αd分别乘以传感器精度；
3)筛选视线
传感器深度图Di和Dd；首先判断两深度图是否满足时间偏移t，若不满足则放弃处理；若满足则用位姿T配准得到点云Pf；然后对点云进行筛选，连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l·；从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影；
4)更新栅格状态
设栅格已有的状态xt，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为xt+1＝-wq+xt；如果栅格在Q的位置说明此时栅格中存在障碍物，则更新栅格的状态为xt+1＝wq+xt；由测量值推断出wq表示存在障碍物的概率，wq是由精度Wq ·推导出的log-odds分数。
算法中·、n和h为设定的值。
本发明的有益效果是：
本发明设计了一种利用红外相机和深度相机融合构建栅格地图的方法。利用两种传感器的特性，相互弥补缺陷，使得构建栅格地图更精细更准确。具有以下特点：
1、程序简单，易于实现；
2、算法效率高，实时性强；
3、可以亮度低或夜间场景使用，构建栅格地图更精细更准确。
附图说明
图1是系统架构。
图2是传感器配准的算法流程。
图3是传感器融合构建栅格地图的算法流程。
图4为红外相机图像。
图5为红外相机深度图。
图6为仿真深度相机视差图。
图7为栅格地图效果示意图。
具体实施方式
本发明提出了一种利用红外相机和深度相机融合构建栅格地图的方法，结合附图及实施例详细说明如下：
总体流程如图1，首先系统获取传感器得到的深度图如图5和6，然后利用配准信息进行深度融合，并构建栅格地图，最后在PC可视化显示地图。所述的方法包括下列步骤：
1)传感器配准
首先进行传感器位姿配准如图2下部，使用红外相机和深度相机同时拍摄不同姿态。不同位置的标定物，设由深度图转换得到的点云分别为Pi和Pd，位姿T要使点对
Figure GDA0002915087100000031
满足
Figure GDA0002915087100000032
且点对的数量达到最大，得到位姿为T。
然后进行传感器时间戳配准如图2上部，使用红外相机和深度相机同时拍摄，并保持相机充分移动。获得的数据为红外相机深度图序列和深度相机深度图序列，分别计算两个序列的运动轨迹li和ld，并将轨迹分为n个时间段进行对齐，获得时间偏移t1，...，tn。取平均值t作为两传感器的时间偏移。在传感器配准后两传感器达到空域和时域的对齐。
2)深度权值更新
两种传感器生成的深度图分别为Di和Dd，精度分别为Wi和Wd。使用如图4所示的红外图像进行场景判别，场景判别过程如图3上部所示；如果场景为室内则用系数因子βi和βd分别乘以传感器精度，否则判断场景的亮度，如果低于Imin则用系数因子αi和αd分别乘以传感器精度；
3)筛选视线
如图3下部，传感器深度图Di和Dd。首先判断两深度图是否满足时间偏移，若满足则用位姿T配准得到点云Pf。然后对点云进行筛选，连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l·。从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影。
4)更新栅格状态
如图3最后是使用更新后的权值更新栅格状态。在更新栅格状态时，设栅格已有的状态xt，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为xt+1＝-wq+xt。如果栅格在Q的位置说明此时栅格中应该存在障碍物，则更新栅格的状态为xt+1＝wq+xt。由测量值可以推断出wq表示存在障碍物的概率，wq是由精度Wq ·推导而出的log-odds分数。栅格地图预期可视化效果为图7。

Claims (2)

1.一种利用红外相机和深度相机融合构建栅格地图的方法，其特征在于，该方法包括以下步骤：
1)传感器配准
使用红外相机传感器和深度相机传感器同时拍摄不同姿态、不同位置的标定物，设由深度图转换得到的点云分别为Pi和Pd，使点对
Figure FDA0002915087090000011
满足
Figure FDA0002915087090000012
且点对的数量达到最大，得到位姿为T，其中ε为传感器之间的距离；
获得红外相机深度图序列和深度相机深度图序列，分别计算两个序列的运动轨迹li和ld，并将轨迹分为n个时间段进行对齐，获得时间偏移t1,…,tn；取平均值t作为两传感器的时间偏移；
2)深度权值更新
两种传感器生成的深度图分别为Di和Dd，精度分别为Wi和Wd；使用红外图像进行场景判别；如果场景为室内则用系数因子βi和βd分别乘以传感器精度，否则判断场景的亮度，如果低于Imin则用系数因子αi和αd分别乘以传感器精度；最后的精度分为Wi ·和Wd ·；
3)筛选视线
传感器深度图Di和Dd；首先判断两深度图是否满足时间偏移t，若不满足则放弃处理；若满足则用位姿T配准得到点云Pf；然后对点云进行筛选，连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l·；从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影；
4)更新栅格状态
设栅格已有的状态xt，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为xt+1＝-wq+xt；如果栅格在Q的位置说明此时栅格中存在障碍物，则更新栅格的状态为xt+1＝wq+xt；由测量值推断出wq表示存在障碍物的概率，wq是由精度Wq ·推导出的log-odds分数。
2.根据权利要求1所述的利用红外相机和深度相机融合构建栅格地图的方法，其特征在于，步骤1)-4)中ε、n和h为设定的值；ε为传感器之间的距离，可由位姿T分解得出；n可设置为任意整数，实验时为20；h可任意设置为大于0的实数，实验时设置为栅格的边长。
CN201911146411.0A 2019-11-21 2019-11-21 一种利用红外相机和深度相机融合构建栅格地图的方法 Active CN110782506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911146411.0A CN110782506B (zh) 2019-11-21 2019-11-21 一种利用红外相机和深度相机融合构建栅格地图的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911146411.0A CN110782506B (zh) 2019-11-21 2019-11-21 一种利用红外相机和深度相机融合构建栅格地图的方法

Publications (2)

Publication Number Publication Date
CN110782506A CN110782506A (zh) 2020-02-11
CN110782506B true CN110782506B (zh) 2021-04-20

Family

ID=69392043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911146411.0A Active CN110782506B (zh) 2019-11-21 2019-11-21 一种利用红外相机和深度相机融合构建栅格地图的方法

Country Status (1)

Country Link
CN (1) CN110782506B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309031B (zh) * 2020-03-26 2023-09-08 上海有个机器人有限公司 机器人及其障碍检测方法和障碍检测系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103512579A (zh) * 2013-10-22 2014-01-15 武汉科技大学 一种基于热红外摄像机和激光测距仪的地图构建方法
WO2014093946A1 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Calibration and registration of camera arrays using a single optical calibration target
US9524020B2 (en) * 2010-10-12 2016-12-20 New York University Sensor having a mesh layer with protrusions, and method
CN106681330A (zh) * 2017-01-25 2017-05-17 北京航空航天大学 基于多传感器数据融合的机器人导航方法及装置
CN106802658A (zh) * 2017-03-21 2017-06-06 厦门大学 一种全自动高精度室内快速定位方法
CN107860390A (zh) * 2017-12-21 2018-03-30 河海大学常州校区 基于视觉ros系统的非完整机器人远程定点自导航方法
CN108406731A (zh) * 2018-06-06 2018-08-17 珠海市微半导体有限公司 一种基于深度视觉的定位装置、方法及机器人
CN110297491A (zh) * 2019-07-02 2019-10-01 湖南海森格诺信息技术有限公司 基于多个结构光双目ir相机的语义导航方法及其系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170358132A1 (en) * 2016-06-12 2017-12-14 Apple Inc. System And Method For Tessellation In An Improved Graphics Pipeline
DE102018109463C5 (de) * 2018-04-19 2023-10-05 Voraus Robotik Gmbh Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
CN109358638B (zh) * 2018-09-10 2021-07-27 南京航空航天大学 基于分布式地图的无人机视觉避障方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9524020B2 (en) * 2010-10-12 2016-12-20 New York University Sensor having a mesh layer with protrusions, and method
WO2014093946A1 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Calibration and registration of camera arrays using a single optical calibration target
CN103512579A (zh) * 2013-10-22 2014-01-15 武汉科技大学 一种基于热红外摄像机和激光测距仪的地图构建方法
CN106681330A (zh) * 2017-01-25 2017-05-17 北京航空航天大学 基于多传感器数据融合的机器人导航方法及装置
CN106802658A (zh) * 2017-03-21 2017-06-06 厦门大学 一种全自动高精度室内快速定位方法
CN107860390A (zh) * 2017-12-21 2018-03-30 河海大学常州校区 基于视觉ros系统的非完整机器人远程定点自导航方法
CN108406731A (zh) * 2018-06-06 2018-08-17 珠海市微半导体有限公司 一种基于深度视觉的定位装置、方法及机器人
CN110297491A (zh) * 2019-07-02 2019-10-01 湖南海森格诺信息技术有限公司 基于多个结构光双目ir相机的语义导航方法及其系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Daniel Maier等.Real-time navigation in 3D environments based on depth camera data.《 2012 12th IEEE-RAS International Conference on Humanoid Robots》.2013, *
基于Turtlebot的AGV自主导航控制方法研究;李红挪;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180415;全文 *

Also Published As

Publication number Publication date
CN110782506A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
CN108520554B (zh) 一种基于orb-slam2的双目三维稠密建图方法
CN112258600A (zh) 一种基于视觉与激光雷达的同时定位与地图构建方法
CN109509230A (zh) 一种应用于多镜头组合式全景相机的slam方法
CN110910498B (zh) 一种利用激光雷达和双目相机构建栅格地图的方法
CN111141264B (zh) 一种基于无人机的城市三维测绘方法和系统
CN105096386A (zh) 大范围复杂城市环境几何地图自动生成方法
CN105809687A (zh) 一种基于图像中边沿点信息的单目视觉测程方法
CN110942477B (zh) 一种利用双目相机和激光雷达深度图融合的方法
CN102072725A (zh) 一种基于激光点云和实景影像进行空间三维测量的方法
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
CN108230242A (zh) 一种从全景激光点云到视频流的转换方法
CN110349249B (zh) 基于rgb-d数据的实时稠密重建方法及系统
CN110782506B (zh) 一种利用红外相机和深度相机融合构建栅格地图的方法
CN110889364A (zh) 一种利用红外传感器和可见光传感器构建栅格地图的方法
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
CN110849351B (zh) 一种利用深度相机和双目相机构建栅格地图的方法
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法
CN115937810A (zh) 一种基于双目相机引导的传感器融合方法
CN112505723B (zh) 一种基于导航点选择的三维地图重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant