CN110889364A - 一种利用红外传感器和可见光传感器构建栅格地图的方法 - Google Patents

一种利用红外传感器和可见光传感器构建栅格地图的方法 Download PDF

Info

Publication number
CN110889364A
CN110889364A CN201911146111.2A CN201911146111A CN110889364A CN 110889364 A CN110889364 A CN 110889364A CN 201911146111 A CN201911146111 A CN 201911146111A CN 110889364 A CN110889364 A CN 110889364A
Authority
CN
China
Prior art keywords
grid
parallax
infrared
pose
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911146111.2A
Other languages
English (en)
Inventor
仲维
李豪杰
陈圣伦
王智慧
罗钟铉
刘日升
樊鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911146111.2A priority Critical patent/CN110889364A/zh
Publication of CN110889364A publication Critical patent/CN110889364A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种利用红外与可见光传感器构建栅格地图的方法,属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准,从硬件的层次提升系统效率。利用GPU构建高性能运算平台,并构建高性能求解算法构建栅格地图。系统容易构建,程序简单,易于实现;利用红外与可见光传感器,可以达到全天候使用,算法鲁棒性强精度高。

Description

一种利用红外传感器和可见光传感器构建栅格地图的方法
技术领域
本发明属于图像处理和计算机视觉领域。涉及一种利用红外与可见光传感器构建栅格地图的方法。利用红外与可见光传感器的特性,并利用像素级配准完成图像快速融合,结合各传感优势相互弥补缺陷。
背景技术
近年伴随着人工智能的发展移动机器人和汽车自动驾驶越来越受到人们的关注,而其中一个需要解决主要的问题就是地图构建。栅格地图是在无人导航中最为常见的一种地图,因而如何构建快速精确的栅格地图成为移动机器人和和无人车中一个十分重要的问题。现阶段主流的方法大致利用三种传感器,可见光相机,深度相机和雷达。三种传感器由于自身的特性存在着不可避免的缺点,可见光相机受光照和纹理影响大,深度相机测距范围有限。抗干扰能力差,激光雷达或毫米波雷达价格昂贵且数据稀疏。由此可见单一传感器构建栅格地图不能完整准确的反映出场景的结构。因此传感器融合成为一种趋势,现阶段存在的融合方案有可见光相机和雷达,使用可见光相机的稠密数据填充雷达的稀疏数据,使用雷达的精确数据修正可见光相机的粗略数据,最终构建可较好反映场景深度图,然后可利用生成的深度图构建栅格地图。但是这样的方案设备成本高,算法中数据融合消耗资源多、实时性较差,而且在夜晚中依然存在可见光相机不可测量的问题。
发明内容
为解决夜晚可视的问题本发明提出使用红外与可见光传感器构建栅格地图的方法,红外相机因其特性可感受物体的散发的红外信息,因此可在夜晚或亮度较低时清晰成像。可以弥补可见光相机不可测量的问题。但是数据融合依然影响算法的执行效率,本文提出的权值状态更新方法融合数据可以提升算法效率。使用复合材料标定板解决多模态传感器标定问题。本发明提出一种高效的利用红外与可见光传感器融合构建栅格地图的方法。
具体技术方案的步骤如下:
1)传感器配准
传感器配准旨在标定传感器位姿,在硬件层次减少软件的计算量提升系统执行效率。因为两种相机不同的成像特性,采用混合材料的标定板进行传感器位姿标定;标定的方法采取张正友标定法,得到传感器位姿为T1;传感器配准之后两种图像实现理论上的像素级对准;然后使用标定物进行关系修正,两个传感器得到的视差图Di和Dv,经过相机内参矩阵变换得到点云分别为Pi和Pv,如果点
Figure BDA0002282245610000021
Figure BDA0002282245610000022
满足
Figure BDA0002282245610000023
则认为符合位姿关系,统计符合条件的点的数量并要求数量最大,最后得到位姿T2;最后再使用张正友标定法修正位姿得到结果T;
2)视差图融合
红外相机和可见光相机分别会产生两种视差图Di和Dv及置信度,利用位姿T融合,本发明的融合策略是根据不同场景赋予测量值权值w。在黑夜或低光条件下红外相机产生的测量结果更为准确,权值相对调高。在白天或光照较好的条件下可见光相机的测量结果更准确,权值相对调高。视差图融合结果为Df
3)筛选视线
由视差图Df变换得到点云Pf,对点云进行筛选;连接三维点q与视线起点o为当前视线l,o是相机光心在世界坐标系的位置,如果q的高度比o大h则剔去视线,保留的视线会投影到栅格地图之中为l′;从O沿着投影线遍历更新栅格的状态直到到达端点Q,O和Q为o点和q点在栅格地图中的投影;
4)更新栅格状态
视差图Df的精度由D和Dv共同影响。在Di和Dv一方数据为空时Df的精度为存在数据的一方,否则为权值更高一方的精度。使用条件概率计算在一定精度下栅格状态的变化值,并使用贝叶斯推断的方式更新栅格状态。具体指的是在已知栅格已有的状态和本次测量的栅格状态,用贝叶斯推断的方式可得出本次测量后的栅格状态。
设栅格已有的状态xt,如果栅格在O与Q之间说明此时栅格中没有障碍物,则更新栅格的状态为xt+1=-wq+xt;如果栅格在Q的位置说明此时栅格中存在障碍物,则更新栅格的状态为xt+1=wq+xt
步骤1)-4)中ε为设定值。
进一步地,上述步骤2)中,具体步骤如下;
如果为黑夜或者亮度较低则红外与可见光视差的权值分别乘以系数因子αi大于1,αv小于1;如果为白天或者亮度较高则红外与可见光视差的权值分别乘以系数因子βi小于1,βv大于1;乘系数后重新进行视差值权值归一化为w′i和w′v
红外相机和可见光相机分别会产生两种视差图Di和Dv及置信度Ci和Cj,置信度是在立体匹配时产生的可以衡量视差准确性的量。使用位姿T配准视差图,然后将对应视差的置信度归一化得到测量值权值wi和wv;由权值更新策略重新计算视差的权值,融合后视差Df=w′i×Di+w′v×Dv
本发明的有益效果是:
本发明设计了一种利用红外与可见光传感器构建栅格地图的方法。利用各传感器的特性,并利用像素级配准完成图像快速融合,结合各传感优势相互弥补缺陷。具有以下特点:
1、程序简单,易于实现;
2、算法效率高,实时性强;
3、多模态方式构建栅格地图,可以全天候使用。
附图说明
图1是系统架构。
图2是传感器配准的算法流程。
图3是传感器融合构建栅格地图的算法流程。
图4为可见光场景图。
图5为可见光视差图。
图6为仿真红外视差图。
图7为栅格地图效果示意图。
具体实施方式
本发明提出了一种利用红外与可见光传感器构建栅格地图方法,结合附图及实施例详细说明如下:
总体流程如图1,首先获得两传感器的视差图Di和Dv,如图5和6,然后在GPU中完成视差融合并构建栅格地图,最后显示栅格地图。本发明的方法包括下列步骤:
1)传感器配准
传感器配准流程如图2。首先使用混合材料的标定板,可选用金属片和树脂板,红外相机和可见光相机采集张正友标定需要的场景图像Ii和Iv,使用张正友标定法得到标定的结果为位姿关系T1。然后使用标定物进行关系修正,两个传感器得到的视差图Di和Dv,经过相机内参矩阵变换得到点云分别为Pi和Pv,如果点
Figure BDA0002282245610000041
Figure BDA0002282245610000042
满足
Figure BDA0002282245610000043
则认为符合位姿关系,统计符合条件的点的数量并要求数量最大,最后得到位姿T2。如图2最后的配准流程再次使用张正友标定法矫正位姿T2得到最终结果T。
图3是传感器融合构建栅格地图的算法流程包含的步骤有2)3)4)。
2)视差图融合
如图3上部首先使用可见光相机的场景图,如图4进行场景判别。如果为黑夜或者亮度较低则红外与可见光视差的权值分别乘以系数因子αi大于1,αv小于1。如果为白天或者亮度较高则红外与可见光视差的权值分别乘以系数因子βi小于1,βv大于1。乘系数后重新进行视差值权值归一化为w′i和w′v
如图3红外相机和可见光相机分别会产生两种视差图Di和Dv及置信度Ci和Cj,置信度是在立体匹配时产生的可以衡量视差准确性的量。使用位姿T配准视差图,然后将对应视差的置信度归一化得到测量值权值wi和wv。由权值更新策略重新计算视差的权值,融合后视差Df=w′i×Di+w′v×Dv
3)筛选视线
如图3在视差融合后由视差图Df变换得到点云Pf,对点云进行筛选。连接三维点q与视线起点o为当前视线l,o是相机光心在世界坐标系的位置,如果q的高度比o大h则剔去视线,保留的视线会投影到栅格地图之中为l′。从O沿着投影线遍历更新栅格的状态直到到达端点Q,O和Q为o点和q点在栅格地图中的投影。
4)测量值融合
如图3算法的最后使用贝叶斯推断更新栅格状态。在已知栅格已有的状态和本次测量的栅格状态,用贝叶斯推断的方式可得出本次测量后的栅格状态。设栅格已有的状态xt,如果栅格在O与Q之间说明此时栅格中没有障碍物,则更新栅格的状态为xt+1=-wq+xt。如果栅格在Q的位置说明此时栅格中应该存在障碍物,则更新栅格的状态为xt+1=wq+xt,可视化结果如图7,其中栅格使用直线分隔。
算法中ε、αi、αv、βi和βv为设定值。

Claims (2)

1.一种利用红外和可见光传感器构建栅格地图的方法,其特征在于,包括以下步骤:
1)传感器配准
采用混合材料的标定板进行传感器位姿标定;标定的方法采取张正友标定法,得到传感器位姿为T1;传感器配准之后两种图像实现理论上的像素级对准;然后使用标定物进行关系修正,两个传感器得到的视差图Di和Dv,经过相机内参矩阵变换得到点云分别为Pi和Pv,如果点
Figure FDA0002282245600000011
Figure FDA0002282245600000012
满足
Figure FDA0002282245600000013
则认为符合位姿关系,统计符合条件的点的数量并要求数量最大,最后得到位姿T2;最后再使用张正友标定法修正位姿得到结果T;
2)视差图融合
红外相机和可见光相机分别产生两种视差图Di和Dv及置信度,利用位姿T融合,结果为Df
3)筛选视线
由视差图Df变换得到点云Pf,对点云进行筛选;连接三维点q与视线起点o为当前视线l,o是相机光心在世界坐标系的位置,如果q的高度比o大h则剔去视线,保留的视线会投影到栅格地图之中为l′;从O沿着投影线遍历更新栅格的状态直到到达端点Q,O和Q为o点和q点在栅格地图中的投影;
4)更新栅格状态
设栅格已有的状态xt,如果栅格在O与Q之间说明此时栅格中没有障碍物,则更新栅格的状态为xt+1=-wq+xt;如果栅格在Q的位置说明此时栅格中存在障碍物,则更新栅格的状态为xt+1=wq+xt
步骤1)-4)中ε为设定值。
2.根据权利要求1所述的利用红外和可见光传感器构建栅格地图的方法,其特征在于,所述步骤2)中,具体步骤如下;
如果为黑夜或者亮度较低则红外与可见光视差的权值分别乘以系数因子αi大于1,αv小于1;如果为白天或者亮度较高则红外与可见光视差的权值分别乘以系数因子βi小于1,βv大于1;乘系数后重新进行视差值权值归一化为w′i和w′v
红外相机和可见光相机分别会产生两种视差图Di和Dv及置信度Ci和Cj,使用位姿T配准视差图,然后将对应视差的置信度归一化得到测量值权值wi和wv;由权值更新策略重新计算视差的权值,融合后视差Df=w′i×Di+w′v×Dv
CN201911146111.2A 2019-11-21 2019-11-21 一种利用红外传感器和可见光传感器构建栅格地图的方法 Pending CN110889364A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911146111.2A CN110889364A (zh) 2019-11-21 2019-11-21 一种利用红外传感器和可见光传感器构建栅格地图的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911146111.2A CN110889364A (zh) 2019-11-21 2019-11-21 一种利用红外传感器和可见光传感器构建栅格地图的方法

Publications (1)

Publication Number Publication Date
CN110889364A true CN110889364A (zh) 2020-03-17

Family

ID=69748192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911146111.2A Pending CN110889364A (zh) 2019-11-21 2019-11-21 一种利用红外传感器和可见光传感器构建栅格地图的方法

Country Status (1)

Country Link
CN (1) CN110889364A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112466147A (zh) * 2020-11-18 2021-03-09 上海汽车集团股份有限公司 一种基于多传感器的库位检测方法及相关装置
CN115861763A (zh) * 2023-03-01 2023-03-28 电子科技大学 一种多光谱多视角环境感知方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102778229A (zh) * 2012-05-31 2012-11-14 重庆邮电大学 未知环境下基于改进蚁群算法的移动Agent路径规划方法
CN103278170A (zh) * 2013-05-16 2013-09-04 东南大学 基于显著场景点检测的移动机器人级联地图创建方法
CN103994768A (zh) * 2014-05-23 2014-08-20 北京交通大学 动态时变环境下寻求全局时间最优路径的方法
CN104268592A (zh) * 2014-09-22 2015-01-07 天津理工大学 基于协同表示和判别准则的多视角联合动作词典学习方法
CN104616284A (zh) * 2014-12-09 2015-05-13 中国科学院上海技术物理研究所 彩色深度相机的彩色图像到深度图像的像素级对准算法
CN104933708A (zh) * 2015-06-07 2015-09-23 浙江大学 一种基于多谱三维特征融合的植被环境中障碍物检测方法
CN104931977A (zh) * 2015-06-11 2015-09-23 同济大学 一种用于智能车辆的障碍物识别方法
CN105354875A (zh) * 2015-09-25 2016-02-24 厦门大学 一种室内环境二维与三维联合模型的构建方法和系统
CN205246878U (zh) * 2015-09-22 2016-05-18 南方电网科学研究院有限责任公司 一种激光雷达输电线路机巡辅助监测装置
CN106066173A (zh) * 2015-04-21 2016-11-02 赫克斯冈技术中心 用测量仪器和像机装置提供点云
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN110297491A (zh) * 2019-07-02 2019-10-01 湖南海森格诺信息技术有限公司 基于多个结构光双目ir相机的语义导航方法及其系统
CN110427022A (zh) * 2019-07-08 2019-11-08 武汉科技大学 一种基于深度学习的消防隐患检测机器人及检测方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102778229A (zh) * 2012-05-31 2012-11-14 重庆邮电大学 未知环境下基于改进蚁群算法的移动Agent路径规划方法
CN103278170A (zh) * 2013-05-16 2013-09-04 东南大学 基于显著场景点检测的移动机器人级联地图创建方法
CN103994768A (zh) * 2014-05-23 2014-08-20 北京交通大学 动态时变环境下寻求全局时间最优路径的方法
CN104268592A (zh) * 2014-09-22 2015-01-07 天津理工大学 基于协同表示和判别准则的多视角联合动作词典学习方法
CN104616284A (zh) * 2014-12-09 2015-05-13 中国科学院上海技术物理研究所 彩色深度相机的彩色图像到深度图像的像素级对准算法
CN106066173A (zh) * 2015-04-21 2016-11-02 赫克斯冈技术中心 用测量仪器和像机装置提供点云
CN104933708A (zh) * 2015-06-07 2015-09-23 浙江大学 一种基于多谱三维特征融合的植被环境中障碍物检测方法
CN104931977A (zh) * 2015-06-11 2015-09-23 同济大学 一种用于智能车辆的障碍物识别方法
CN205246878U (zh) * 2015-09-22 2016-05-18 南方电网科学研究院有限责任公司 一种激光雷达输电线路机巡辅助监测装置
CN105354875A (zh) * 2015-09-25 2016-02-24 厦门大学 一种室内环境二维与三维联合模型的构建方法和系统
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN110297491A (zh) * 2019-07-02 2019-10-01 湖南海森格诺信息技术有限公司 基于多个结构光双目ir相机的语义导航方法及其系统
CN110427022A (zh) * 2019-07-08 2019-11-08 武汉科技大学 一种基于深度学习的消防隐患检测机器人及检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112466147A (zh) * 2020-11-18 2021-03-09 上海汽车集团股份有限公司 一种基于多传感器的库位检测方法及相关装置
CN115861763A (zh) * 2023-03-01 2023-03-28 电子科技大学 一种多光谱多视角环境感知方法
CN115861763B (zh) * 2023-03-01 2023-04-25 电子科技大学 一种多光谱多视角环境感知方法

Similar Documents

Publication Publication Date Title
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
CN109509230B (zh) 一种应用于多镜头组合式全景相机的slam方法
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
US20200051327A1 (en) Procedural world generation
Vaudrey et al. Differences between stereo and motion behaviour on synthetic and real-world stereo sequences
US11657319B2 (en) Information processing apparatus, system, information processing method, and non-transitory computer-readable storage medium for obtaining position and/or orientation information
CN110942477B (zh) 一种利用双目相机和激光雷达深度图融合的方法
CN110910498B (zh) 一种利用激光雷达和双目相机构建栅格地图的方法
CN110349249B (zh) 基于rgb-d数据的实时稠密重建方法及系统
CN102831601A (zh) 基于联合相似性测度和自适应支持权重的立体匹配方法
Tao et al. Stereo priori RCNN based car detection on point level for autonomous driving
CN110889364A (zh) 一种利用红外传感器和可见光传感器构建栅格地图的方法
CN112270698A (zh) 基于最邻近曲面的非刚性几何配准方法
CN115035235A (zh) 三维重建方法及装置
CN113763569A (zh) 一种在三维仿真中使用的图像标注方法及装置、电子设备
CN116189140A (zh) 一种基于双目视觉的车辆三维目标检测算法
CN110782506B (zh) 一种利用红外相机和深度相机融合构建栅格地图的方法
CN115965961B (zh) 局部到全局的多模态融合方法、系统、设备及存储介质
CN112348941A (zh) 一种基于点云与图像数据的实时融合方法及装置
CN110849351B (zh) 一种利用深度相机和双目相机构建栅格地图的方法
CN116824433A (zh) 基于自监督神经网络的视觉-惯导-雷达融合自定位方法
CN110849352B (zh) 一种利用红外、深度和双目相机融合构建栅格地图的方法
CN116630528A (zh) 基于神经网络的静态场景重建方法
WO2021004642A1 (en) A camera calibration method, a computer program, a computer-readable recording medium and a camera calibration system
CN113850293A (zh) 基于多源数据和方向先验联合优化的定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200317

RJ01 Rejection of invention patent application after publication