CN112766328B - 融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法 - Google Patents

融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法 Download PDF

Info

Publication number
CN112766328B
CN112766328B CN202110007417.0A CN202110007417A CN112766328B CN 112766328 B CN112766328 B CN 112766328B CN 202110007417 A CN202110007417 A CN 202110007417A CN 112766328 B CN112766328 B CN 112766328B
Authority
CN
China
Prior art keywords
binocular
camera
data
depth
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110007417.0A
Other languages
English (en)
Other versions
CN112766328A (zh
Inventor
吴星明
孔令坤
陈伟海
王建华
赵小铭
马鑫至
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Publication of CN112766328A publication Critical patent/CN112766328A/zh
Application granted granted Critical
Publication of CN112766328B publication Critical patent/CN112766328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法。所述方法包括获取多源传感器数据，并对各传感器数据进行数据注册，将其统一到双目相机坐标系下；对注册后的各传感器数据进行关联，获得关联的多源深度数据；基于关联的多源深度数据，采用梯度信息的深度补偿融合算法获得更准确、更稠密的深度数据。本发明通过融合多源深度数据，不但充分利用多源传感器数据，还保证了所获深度图像的准确性和稠密性。

Description

融合激光雷达、双目相机和ToF深度相机数据的智能机器人深 度图像构建方法
技术领域
本发明涉及智能机器人的深度图像技术方法领域，具体而言，设计一种融合激光雷达、双目相机和ToF深度相机数据进行智能机器人的同时定位与深度图像的构建方法。
背景技术
同时定位与地图创建(Simultaneously Localization and Mapping,简称SLAM)是指机器人依靠其携带的传感器进行自身的定位，同时增量式地创建环境的地图，是智能机器人在未知环境中自主完成任务的前提和基础。而机器人定位问题，需要直接或间接获取环境的距离信息才可求解。因此距离测量是机器人技术的一项重要要求。在摄像机坐标系中，距离信息是沿深度方向定义的，所以距离测量也被称为深度测量。
目前，主流的深度测量传感器有双目相机、ToF深度相机、激光雷达。
双目相机是由一对固定基线的相机组成的，深度图像可根据两张彩色图像进行特征匹配来获取。在光照强烈的条件下，双目相机可以正常工作。但当环境光线昏暗时或所处环境缺乏纹理信息时，两张彩色图像无法匹配到鲁棒的特征，双目相机难以获取准确的深度图像。ToF深度相机通过红外LED(发光二极管)发射红外光，接收反射的红外光，根据光的飞行时间计算每个像素的距离。ToF深度相机可以直接捕获深度图像，且由于工作原理的优势，其捕获的深度图像精度较高，但是红外光很容易被强烈的光照所干扰，因此ToF深度相机在光照强烈的环境下并不适用。激光雷达同样也是一种根据发射和接收光的飞行时间来计算深度的设备，但它使用的是红外激光发射器而不是LED。激光雷达的深度测量精度很高，且由于激光的光相干性，激光雷达的不受环境光线的干扰。虽然激光雷达的工作条件范围很广，但由于硬件的限制，激光扫描只能捕捉到很稀疏的深度，在一些关键区域可能会缺乏深度信息。
由于每种传感器的不同特性，他们获取到的深度信息各有优缺点，如果能够综合利用三类传感器的优势，融合三类传感器的数据，便能在机器人定位与建图任务中提供更精准和稠密的深度图像，还能提高机器人定位与地图构建的精度。
发明内容
本发明旨在解决智能机器人定位与地图构建问题中，单一传感器由于受硬件条件及工作环境限制，无法在复杂多变的工作环境下获取准确有效的深度信息，导致智能机器人定位与建图精度低的技术问题。
本发明为解决此问题，提出了利用三种传感器结合，在复杂的工作环境下生成准确且稠密的深度图像的技术方案。此技术方案主要包括传感器数据注册单元(20)、多源数据关联单元(30)，多源深度数据融合单元(40)。本发明中使用的传感器包括激光雷达(11)、ToF深度相机(12)和双目相机(13)。由于三种传感器的安装位置不同，获取到的数据不在统一坐标系下，因此利用点云ICP(Iterative Closet Point)算法对三种传感器进行位姿标定，将各传感器获取到的信息进行数据注册，把不同传感器数据统一到双目相机成像坐标系中；由于各传感器帧率的不匹配，且与双目相机(13)和激光雷达(11)相比，ToF深度相机(12)成像存在较大延迟的问题，不同传感器数据时间戳不对应，因而需要对数据进行关联实现数据对齐；由于双目相机(13)不适于在黑暗和缺乏纹理特征的环境下工作，ToF深度相机(12)的在光照强烈的条件下容易受到干扰，激光雷达(11)获取到的深度信息过于稀疏，本发明的深度图像构建算法结合了各自传感器的优势，通过一种新式的基于梯度信息的深度补偿融合算法，在复杂的工作环境下获得更准确、更稠密的深度数据。
本发明的一种融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法，其特征在于深度图像构建包括有下列步骤：
步骤一：多源传感器数据注册；
在启动激光雷达(11)、ToF深度相机(12)、双目相机(13)之后，在采样时间t采样里，多源传感器数据注册单元(20)第一方面用于接收激光雷达(11)输出的点云数据M11；由于激光雷达(11)扫描获得的点云数据中包含有环境数据，需要工作人员手动选取前标定物(2)与后标定物(3)同时存在的区域的点云数据，记为
Figure BDA0002884060700000021
所述
Figure BDA0002884060700000022
中存在的点云总个数，记为N；
第二方面用于接收ToF深度相机(12)输出的ToF深度图像信息M12；由于ToF深度相机(12)拍摄获得的ToF深度图像信息中包含有环境数据，需要工作人员手动选取前标定物(2)与后标定物(3)同时存在的区域的ToF深度图像信息，记为
Figure BDA0002884060700000023
所述
Figure BDA0002884060700000024
中以任意一个像素点的像素值来确定深度信息；
第三方面用于接收双目相机(13)输出的双目图像信息和双目深度信息M13；由于双目相机(13)拍摄获得的双目图像信息和双目深度信息中包含有环境数据，需要工作人员手动选取前标定物(2)与后标定物(3)同时存在的区域的双目深度信息，记为
Figure BDA0002884060700000031
所述
Figure BDA0002884060700000032
中以任意一个像素点的像素值来确定深度信息；
第四方面，根据像素点的深度信息与ToF深度相机(12)的内参值，利用相机成像模型将
Figure BDA0002884060700000033
投影为ToF深度相机(12)的坐标系OToF-XToFYToFZToF下的点云信息，记为
Figure BDA0002884060700000034
根据像素点的深度信息与双目相机(13)的内参值，利用相机成像模型将
Figure BDA0002884060700000035
投影为双目相机(13)坐标系O双目-X双目Y双目Z双目下的点云信息，记为
Figure BDA0002884060700000036
第五方面，完成异质传感器的位姿标定；
利用点云ICP算法，计算出
Figure BDA0002884060700000037
和
Figure BDA0002884060700000038
之间的位姿变换矩阵RZL、QZL、RZT、QZT，即可得到激光雷达(11)、ToF深度相机(12)、双目相机(13)之间的位置关系，从而完成此三个传感器的位姿标定；
具体的，求解
Figure BDA0002884060700000039
到
Figure BDA00028840607000000310
的位姿变换矩阵：
Figure BDA00028840607000000311
利用梯度下降法计算使得公式(1)等式右边最小，即可获得RLT、QLT；
具体的，求解
Figure BDA00028840607000000312
到
Figure BDA00028840607000000313
的位姿变换矩阵：
Figure BDA00028840607000000314
利用梯度下降法计算使得公式(2)等式右边最小，即可获得RLZ、QLZ；
通过公式(3)、公式(4)、公式(5)、公式(6)可获得从坐标系O雷达-X雷达Y雷达Z雷达到坐标系O双目-X双目Y双目Z双目的位姿变换关系RZL、QZL以及从坐标系OToF-XToFYToFZToF到坐标系O双目-X双目Y双目Z双目的位姿变换关系RZT、QZT：
Figure BDA00028840607000000315
Figure BDA00028840607000000316
Figure BDA00028840607000000317
Figure BDA00028840607000000318
利用坐标系的位姿变换关系，将
Figure BDA00028840607000000319
变换到坐标系O双目-X双目Y双目Z双目下，从而完成多源传感器数据的注册；
步骤二：多源传感器数据关联；
步骤21：异质传感器的统一时间戳；
首先，计算机器人的实际移动速度v；在机器人平台以速度v相对于标记物移动的过程中，双目相机(13)会以一定帧率获得标记物的位姿，通过一段时间的位置微分，即可求得机器人的实际移动速度v；
其次，计算ToF深度相机(12)和双目相机(13)的数据采集时间间隔；
ToF深度相机(12)与双目相机(13)各有一时间轴，双目相机(13)在A时刻观测到标记所在位置为tag_hA；ToF深度相机(12)在b时刻观测到标记所在位置为tag_hb，其中A时刻为双目相机(13)返回数据的时间戳，b时刻为ToF深度相机(12)返回数据的时间戳；但由于ToF深度相机(12)数据采集存在较大延迟，因此ToF深度相机(12)的时间轴应整体向左移动；对于双目相机(13)的A时刻而言，在ToF深度相机(12)时间轴上应处于d时刻，若ToF深度相机(12)与双目相机(13)时间不存在时间戳偏移，那么双目相机(13)的时间轴上的A时刻在ToF深度相机(12)的时间轴上应处于c时刻；然而，由于时间戳偏移的存在，双目相机(13)的时间轴上的A时刻对应在ToF深度相机(12)的时间轴上是d时刻；则A时刻与d时刻数值的差值即为两传感器时间戳之间的偏移量Δt；已知ToF深度相机(12)的坐标系到双目相机(13)的坐标系的旋转矩阵为RZT，平移向量为QZT，有以下关系：
Figure BDA0002884060700000041
t2＝tb-tc＝tb-tA (8)
ToF深度相机(12)与双目相机(13)时间戳的偏移量Δt为：
Δt＝t2-t1 (9)
步骤22：异质传感器数据同步选取；
双目相机(13)的数据采集频率表最高，ToF深度相机(12)次之，激光雷达(11)采集频率最慢；
由于双目相机(13)的工作频率最高，因此主要以双目相机(13)时间轴为参考，选取与双目相机(13)深度图像数据时间点接近的数据；当接收到双目相机(13)的数据时，判断在前后10ms的时间差内有无接收到ToF深度相机(12)的数据和激光雷达(11)的数据，若有，则将此三帧数据选取为有效地同步数据；若没有，则当下一次接收到双目相机(13)的数据时再进行同步数据选取；
以双目相机(13)的时间轴上B时刻为例，在B时刻双目相机(13)输出深度图像数据，与B时刻最近的ToF深度相机(12)的深度数据在e时刻，最近的激光雷达(11)数据在Ⅲ时刻；在进行深度数据融合时，只选取与双目数据时间点B时刻最近且时间差不超过10ms的ToF深度数据和激光雷达数据，以减小或消除由传感器频率不同所造成的数据误差，保证不同传感器所捕获的数据在时间和空间上实现对齐；
步骤三：多源深度数据融合；
在采样时间t采样里，激光雷达(11)扫描获得的点云数据，记为
Figure BDA0002884060700000051
由于点云信息无法与图像信息直接融合，故利用相机成像模型将所述
Figure BDA0002884060700000052
转换为深度图像，记为
Figure BDA0002884060700000053
在采样时间t采样里，ToF深度相机(12)拍摄获得的ToF深度图像信息，记为
Figure BDA0002884060700000054
在采样时间t采样里，双目相机(13)拍摄获得的双目深度信息，记为
Figure BDA0002884060700000055
目标深度图像MPR的优化目标：
Figure BDA0002884060700000056
由于ToF深度相机12或双目相机13的深度图像在像素坐标点(i,j)处存在没有深度数据的情况下，故需依据状态对状态下的梯度值▽ri,j进行选择；
梯度值状态A是指
Figure BDA0002884060700000057
在像素坐标点(i,j)处存在深度数据，此时，▽ri,j等于
Figure BDA0002884060700000058
在像素坐标点(i,j)处的梯度值；
梯度值状态B是指
Figure BDA0002884060700000059
在像素坐标点(i,j)处不存在深度数据，
Figure BDA00028840607000000510
在像素坐标点(i,j)处存在深度数据，此时▽ri,j等于
Figure BDA00028840607000000511
在像素坐标点(i,j)处的梯度值；
梯度值状态C是指
Figure BDA00028840607000000512
和
Figure BDA00028840607000000513
在像素坐标点(i,j)处均不存在深度数据，此时▽ri,j为0；
为了获得最佳的目标深度图像MPR，公式(10)的等式右边取值最小，将公式(10)书写为便于求解的二次形形式；直接用
Figure BDA00028840607000000514
初始化目标深度图像MPR，因此公式(10)可省去第一项，即可得到如下公式：
Figure BDA00028840607000000515
由于ToF深度相机12或双目相机13的深度图像在像素坐标点(i,j)处存在没有深度数据的情况下，故需依据状态对▽xri,j和▽yri,j进行选择；
在梯度值状态A时，▽xri,j等于
Figure BDA00028840607000000516
在像素坐标点(i,j)处沿x轴方向的梯度值，▽yri,j等于
Figure BDA0002884060700000061
在像素坐标点(i,j)处沿y轴方向的梯度值；
在梯度值状态B时，▽xri,j等于
Figure BDA0002884060700000063
在像素坐标点(i,j)处沿x轴方向的梯度值，▽yri,j等于
Figure BDA0002884060700000064
在像素坐标点(i,j)处沿y轴方向的梯度值；
在梯度值状态C时，▽xri,j和▽yri,j为0；
选取沿x轴和沿y轴两种位置关系作为梯度特征，
Figure BDA0002884060700000065
中每个有深度数据的像素点为中心，将这些像素点的像素值作为真值，通过公式(11)对
Figure BDA0002884060700000066
和
Figure BDA0002884060700000067
进行融合，从而可在复杂的工作环境下获取到更加准确、稠密的深度图像信息。
与现有技术相比，本发明的优点在于：
(1)现有技术通常默认异质传感器数据的时间戳是相同的，忽略了异质传感器的数据同步问题。当传感器所在的工作环境存在移动物体时，会造成不同传感器数据在空间上的不对齐现象，最终导致融合的深度图像精度不高。本发明考虑了ToF深度相机(12)存在成像延迟的现象，统一了ToF深度相机(12)与双目相机(13)、激光雷达(11)的时间戳，并在统一时间戳的条件下选取异质传感器的同步数据，消除了数据不对齐现象的影响，从而提高融合深度图像的精度。解决了传感器由于数据帧率不同和ToF深度相机成像延迟带来的深度图像匹配错误问题。
(2)现有技术通常将激光雷达(11)、ToF深度相机(12)、双目相机(13)其中的二者进行结合，获取融合后的深度图像数据。这样的融合方法仅能利用其中两者的优点，适用的工作环境较为有限。利用激光雷达数据的高准确性有利于提高深度图像的精确度，利用ToF深度相机数据有利于在黑暗条件下获取较为精准稠密的深度图像，利用双目相机有利于在光照强烈的环境中获取稠密的深度图像。因此相较于现有的两者融合方案，本发明提出的基于梯度信息的深度补偿融合算法可以充分利用三种异质传感器的优势，使获取到的深度图像更加准确和稠密，并提升传感器系统对工作环境的适应性。
附图说明
图1是本发明的融合激光雷达、双目相机和ToF深度相机数据的深度图像构建方法的结构框图。
图2是本发明机器人平台进行标定的硬件结构。
图2A是本发明中机器人平台进行标定的另一视角的硬件结构。
图2B是本发明中机器人平台的硬件结构。
图3是本发明进行统一时间戳的结构图。
图4是本发明进行异质传感器同步数据选取的结构图。
图5是基于梯度信息的深度补偿融合算法的流程图。
图6是场景示意图。
图7是激光雷达11采集的图像。
图8是ToF深度相机12采集的图像。
图9是双目相机13采集的图像。
图10是经本发明深度图像构建方法获得的图像。
1.智能机器人 2.前标定物 3.后标定物
4.水平桌面 10.定位板 11.激光雷达
12.ToF深度相机 13.双目相机 14.传感器固定架
15.运动载体 20.多源传感器数据注册单元 30.多源传感器数据关联单元
40.多源深度数据融合单元
具体实施方式
下面将结合附图和实施例对本发明做进一步的详细说明。
参见图2、图2A、图2B所示，在本发明中，为了实现对智能机器人1中的异质传感器(激光雷达11、ToF深度相机12和双目相机13)进行统一时间戳的条件下的同步数据，消除数据不对齐现象的影响，从而提高融合深度图像的精度，需要先对深度图像构建系统进行标定。标定过程中使用一水平桌面4作为大地坐标系，记为O-XYZ(如图2A所示)。
定义坐标系
在本发明中，在进行深度图像构建系统标定时，各个坐标系的定义为：
激光雷达11的坐标系，记为O雷达-X雷达Y雷达Z雷达。
ToF深度相机12的坐标系，记为OToF-XToFYToFZToF。
双目相机13的坐标系，记为O双目-X双目Y双目Z双目。
在图2和图2A中，前标定物2与后标定物3存在有一定距离且不在同一平面中。前标定物2与后标定物3摆放于智能机器人1的正前方，且前标定物2与智能机器人1的有效距离为D2，后标定物3与智能机器人1的有效距离为D3。
参见图2B所示的智能机器人1的硬件结构，智能机器人1的软件部分为深度图像构建系统，硬件部分包括有处理器、传感器、传感器固定架14、运动载体15、限位板10；所述传感器包括有激光雷达11、ToF深度相机12和双目相机13。激光雷达11、双目相机13和ToF深度相机12通过传感器固定架14从上至下顺次安装在传感器固定架14上，传感器固定架14固定在定位板10上，定位板10安装在运动载体15上。由于定位板10与水平桌面4平行，故大地坐标系O-XYZ也可以作为定位板10的坐标系。参见图2、图2A所示，应用智能机器人1进行标定过程中，智能机器人1进行前方的前标定物2与后标定物3扫描时，以双目相机13的有效距离为准，也就是以双目相机13能够清楚拍摄标定物为佳，机器人距离前方物体的距离不作考虑。深度图像构建系统仅考虑激光雷达11、ToF深度相机12和双目相机13各自采集到的信息。
在本发明中，所述处理器中至少存储有深度图像构建系统。参见图1所示，深度图像构建系统包括有多源传感器数据注册单元20、多源传感器数据关联单元30和多源深度数据融合单元40。该系统是融合了激光雷达11、ToF深度相机12和双目相机13采集的图像信息及数据信息的处理。
参见图1所示，在本发明中，应用到的环境捕捉异质传感器是指激光雷达11、ToF深度相机12和双目相机13。
激光雷达11用于将采集到的点云数据M11输出给多源传感器数据注册单元20。
ToF深度相机12用于将采集到的ToF深度图像信息M12输出给多源传感器数据注册单元20。
双目相机13用于将采集到的双目图像信息和双目深度信息M13输出给多源传感器数据注册单元20。
多源传感器数据注册单元20
在本发明中，多源传感器数据注册单元20第一方面用于接收激光雷达11输出的点云数据M11；
第二方面用于接收ToF深度相机12输出的ToF深度图像信息M12；
第三方面用于接收双目相机13输出的双目图像信息和双目深度信息M13；
第四方面需要工作人员手动选取前标定物2与后标定物3同时存在的区域的点云数据
Figure BDA0002884060700000081
ToF深度图像信息
Figure BDA0002884060700000082
双目深度信息
Figure BDA0002884060700000083
第五方面，根据像素点的深度信息与ToF深度相机12的内参值，利用相机成像模型将
Figure BDA0002884060700000084
投影为ToF深度相机12的坐标系OToF-XToFYToFZToF下的点云信息，记为
Figure BDA0002884060700000085
根据像素点的深度信息与双目相机13的内参值，利用相机成像模型将
Figure BDA0002884060700000091
投影为双目相机13坐标系O双目-X双目Y双目Z双目下的点云信息，记为
Figure BDA0002884060700000092
第六方面，利用点云ICP算法，计算出
Figure BDA0002884060700000093
和
Figure BDA0002884060700000094
之间的位姿变换矩阵RZL、QZL、RZT、QZT，即可得到激光雷达11、ToF深度相机12、双目相机13之间的位置关系，从而完成此三个传感器的位姿标定；
求解
Figure BDA0002884060700000095
到
Figure BDA0002884060700000096
的位姿变换矩为
Figure BDA0002884060700000097
利用梯度下降法计算使得等式右边最小，即可获得RLT、QLT；
具体的，求解
Figure BDA0002884060700000098
到
Figure BDA0002884060700000099
的位姿变换矩阵为
Figure BDA00028840607000000910
利用梯度下降法计算使得等式右边最小，即可获得RLZ、QLZ；
从坐标系O雷达-X雷达Y雷达Z雷达到坐标系O双目-X双目Y双目Z双目的位姿变换关系
Figure BDA00028840607000000911
以及从坐标系OToF-XToFYToFZToF到坐标系O双目-X双目Y双目Z双目的位姿变换关系
Figure BDA00028840607000000912
利用坐标系的位姿变换关系，将
Figure BDA00028840607000000913
变换到坐标系O双目-X双目Y双目Z双目下，从而完成多源传感器数据的注册。
多源传感器数据关联单元30
多源传感器数据关联单元30第一方面，在机器人平台以速度v相对于标记物移动的过程中，双目相机13会以一定帧率获得标记物的位姿；
第二方面，异质传感器的统一时间戳，通过计算ToF深度相机12和双目相机13的数据采集时间间隔；
ToF深度相机12与双目相机13各有一时间轴，双目相机13在A时刻观测到标记所在位置为tag_hA；ToF深度相机12在b时刻观测到标记所在位置为tag_hb，其中A时刻为双目相机13返回数据的时间戳，b时刻为ToF深度相机12返回数据的时间戳；但由于ToF深度相机12数据采集存在较大延迟，因此ToF深度相机12的时间轴应整体向左移动；对于双目相机13的A时刻而言，在ToF深度相机12时间轴上应处于d时刻，若ToF深度相机12与双目相机13时间不存在时间戳偏移，那么双目相机13的时间轴上的A时刻在ToF深度相机12的时间轴上应处于c时刻；然而，由于时间戳偏移的存在，双目相机13的时间轴上的A时刻对应在ToF深度相机12的时间轴上是d时刻；则A时刻与d时刻数值的差值即为两传感器时间戳之间的偏移量Δt；已知ToF深度相机12的坐标系到双目相机13的坐标系的旋转矩阵为RZT，平移向量为QZT，有以下关系
Figure BDA0002884060700000101
和t2＝tb-tc＝tb-tA。
ToF深度相机12与双目相机13时间戳的偏移量Δt＝t2-t1。
第三方面，异质传感器数据同步选取；
双目相机13的数据采集频率表最高，ToF深度相机12次之，激光雷达11采集频率最慢；
由于双目相机13的工作频率最高，因此主要以双目相机13时间轴为参考，选取与双目相机13深度图像数据时间点接近的数据；当接收到双目相机13的数据时，判断在前后10ms的时间差内有无接收到ToF深度相机12的数据和激光雷达11的数据，若有，则将此三帧数据选取为有效地同步数据；若没有，则当下一次接收到双目相机13的数据时再进行同步数据选取；
以双目相机13的时间轴上B时刻为例，在B时刻双目相机13输出深度图像数据，与B时刻最近的ToF深度相机12的深度数据在e时刻，最近的激光雷达11数据在Ⅲ时刻；在进行深度数据融合时，只选取与双目数据时间点B时刻最近且时间差不超过10ms的ToF深度数据和激光雷达数据，以减小或消除由传感器频率不同所造成的数据误差，保证不同传感器所捕获的数据在时间和空间上实现对齐。
多源深度数据融合单元40
多源深度数据融合单元40第一方面用于记录下激光雷达11、ToF深度相机12和双目相机13分别在在采样时间t采样里获得的图像信息，即：
在采样时间t采样里，激光雷达11扫描获得的点云数据，记为
Figure BDA0002884060700000102
由于点云信息无法与图像信息直接融合，故利用相机成像模型将所述
Figure BDA0002884060700000103
转换为深度图像，记为
Figure BDA0002884060700000104
在采样时间t采样里，ToF深度相机12拍摄获得的ToF深度图像信息，记为
Figure BDA0002884060700000105
在采样时间t采样里，双目相机13拍摄获得的双目深度信息，记为
Figure BDA0002884060700000106
第二方面优化最终融合的目标深度图像MPR的目标
Figure BDA0002884060700000107
第三方面，依据状态对状态下的梯度值▽ri,j进行选择；
梯度值状态A是指
Figure BDA0002884060700000108
在像素坐标点(i,j)处存在深度数据，此时，▽ri,j等于
Figure BDA0002884060700000109
在像素坐标点(i,j)处的梯度值；
梯度值状态B是指
Figure BDA0002884060700000111
在像素坐标点(i,j)处不存在深度数据，
Figure BDA0002884060700000112
在像素坐标点(i,j)处存在深度数据，此时▽ri,j等于
Figure BDA0002884060700000113
在像素坐标点(i,j)处的梯度值；
梯度值状态C是指
Figure BDA0002884060700000114
和
Figure BDA0002884060700000115
在像素坐标点(i,j)处均不存在深度数据，此时▽ri,j为0；
为了获得最佳的目标深度图像MPR，将
Figure BDA0002884060700000116
书写为便于求解的二次形形式；直接用
Figure BDA0002884060700000117
初始化目标深度图像MPR，得到
Figure BDA0002884060700000118
由于ToF深度相机12或双目相机13的深度图像在像素坐标点(i,j)处存在没有深度数据的情况下，故需依据状态对▽xri,j和▽yri,j进行选择；
在梯度值状态A时，▽xri,j等于
Figure BDA0002884060700000119
在像素坐标点(i,j)处沿x轴方向的梯度值，▽yri,j等于
Figure BDA00028840607000001110
在像素坐标点(i,j)处沿y轴方向的梯度值；
在梯度值状态B时，▽xri,j等于
Figure BDA00028840607000001111
在像素坐标点(i,j)处沿x轴方向的梯度值，▽yri,j等于
Figure BDA00028840607000001112
在像素坐标点(i,j)处沿y轴方向的梯度值；
在梯度值状态C时，▽xri,j和▽yri,j为0；
选取沿x轴和沿y轴两种位置关系作为梯度特征，
Figure BDA00028840607000001113
中每个有深度数据的像素点为中心，将这些像素点的像素值作为真值，通过公式(11)对
Figure BDA00028840607000001114
和
Figure BDA00028840607000001115
进行融合，从而可在复杂的工作环境下获取到更加准确、稠密的深度图像信息。
图1、图5为本发明提供的一种融合激光雷达、双目相机和ToF深度相机数据的智能机器人进行深度图像构建的结构框图，进行深度图像构建的步骤为：
步骤一：多源传感器数据注册；
在启动激光雷达11、ToF深度相机12、双目相机13之后，在采样时间t采样里，多源传感器数据注册单元20第一方面用于接收激光雷达11输出的点云数据M11；由于激光雷达11扫描获得的点云数据中包含有环境数据，需要工作人员手动选取前标定物2与后标定物3同时存在的区域的点云数据，记为
Figure BDA00028840607000001116
所述
Figure BDA00028840607000001117
中存在的点云总个数，记为N。
第二方面用于接收ToF深度相机12输出的ToF深度图像信息M12；由于ToF深度相机12拍摄获得的ToF深度图像信息中包含有环境数据，需要工作人员手动选取前标定物2与后标定物3同时存在的区域的ToF深度图像信息，记为
Figure BDA0002884060700000121
所述
Figure BDA0002884060700000122
中以任意一个像素点的像素值来确定深度信息。
第三方面用于接收双目相机13输出的双目图像信息和双目深度信息M13；由于双目相机13拍摄获得的双目图像信息和双目深度信息中包含有环境数据，需要工作人员手动选取前标定物2与后标定物3同时存在的区域的双目深度信息，记为
Figure BDA0002884060700000123
所述
Figure BDA0002884060700000124
中以任意一个像素点的像素值来确定深度信息。
在本发明中，内参值指的是异质传感器生产厂家设定的产品参数。如实施例1中分别列举的激光雷达11、ToF深度相机12和双目相机13的参数。
第四方面，根据像素点的深度信息与ToF深度相机12的内参值，利用相机成像模型将
Figure BDA0002884060700000125
投影为ToF深度相机12的坐标系OToF-XToFYToFZToF下的点云信息，记为
Figure BDA0002884060700000126
根据像素点的深度信息与双目相机13的内参值，利用相机成像模型将
Figure BDA0002884060700000127
投影为双目相机13坐标系O双目-X双目Y双目Z双目下的点云信息，记为
Figure BDA0002884060700000128
第五方面，完成异质传感器的位姿标定；
利用点云ICP(Iterative Closest Point，迭代最近点)算法，计算出
Figure BDA0002884060700000129
Figure BDA00028840607000001210
和
Figure BDA00028840607000001211
之间的位姿变换矩阵(RZL、QZL、RZT、QZT)，即可得到激光雷达11、ToF深度相机12、双目相机13之间的位置关系，从而完成此三个传感器的位姿标定。
RZL为
Figure BDA00028840607000001212
到
Figure BDA00028840607000001213
的旋转矩阵。
QZL为
Figure BDA00028840607000001214
到
Figure BDA00028840607000001215
的平移矩阵。
RZT为
Figure BDA00028840607000001216
到
Figure BDA00028840607000001217
的旋转矩阵。
QZT为
Figure BDA00028840607000001218
到
Figure BDA00028840607000001219
的平移矩阵。
具体的，求解
Figure BDA00028840607000001220
到
Figure BDA00028840607000001221
的位姿变换矩阵：
Figure BDA00028840607000001222
RLT为
Figure BDA00028840607000001223
到
Figure BDA00028840607000001224
的旋转矩阵。
QLT为
Figure BDA00028840607000001225
到
Figure BDA00028840607000001226
的平移矩阵。
Figure BDA00028840607000001227
为不断迭代的所述RLT的中间量。
Figure BDA00028840607000001228
为不断迭代的所述QLT的中间量。
N为
Figure BDA0002884060700000131
中点云的总个数。
p为
Figure BDA0002884060700000132
中的任意一个点。
q为
Figure BDA0002884060700000133
中的一个点且与所述
Figure BDA0002884060700000134
中的点p距离最近。
在本发明中，利用梯度下降法计算使得等式右边最小，即可获得RLT、QLT。
具体的，求解
Figure BDA0002884060700000135
到
Figure BDA0002884060700000136
的位姿变换矩阵：
Figure BDA0002884060700000137
RLZ为
Figure BDA0002884060700000138
到
Figure BDA0002884060700000139
的旋转矩阵。
QLZ为
Figure BDA00028840607000001310
到
Figure BDA00028840607000001311
的平移矩阵。
Figure BDA00028840607000001312
为不断迭代的所述RLZ的中间量。
Figure BDA00028840607000001313
为不断迭代的所述QLZ的中间量。
N为
Figure BDA00028840607000001314
中点云的总个数。
p为
Figure BDA00028840607000001315
中的任意一个点。
w为
Figure BDA00028840607000001316
中的一个点且与所述
Figure BDA00028840607000001317
中的点p距离最近。
在本发明中，利用梯度下降法计算使得等式右边最小，即可获得RLZ、QLZ。
在本发明中，通过以下公式可获得从坐标系O雷达-X雷达Y雷达Z雷达到坐标系O双目-X双目Y双目Z双目的位姿变换关系RZL、QZL以及从坐标系OToF-XToFYToFZToF到坐标系O双目-X双目Y双目Z双目的位姿变换关系RZT、QZT：
Figure BDA00028840607000001318
Figure BDA00028840607000001319
Figure BDA00028840607000001320
Figure BDA00028840607000001321
上角标T为坐标转置符。
在本发明中，利用坐标系的位姿变换关系，将
Figure BDA00028840607000001322
变换到坐标系O双目-X双目Y双目Z双目下，从而完成多源传感器数据的注册。
步骤二：多源传感器数据关联；
在本发明中，由于激光雷达11、ToF深度相机12、双目相机13各自的安装位置不同，因此需要根据步骤一中所述，将激光雷达11和ToF深度相机12数据统一投影到双目相机13的坐标系O双目-X双目Y双目Z双目下，然后将图像数据分辨率统一为双目相机的分辨率；
由于硬件原因，相较于双目相机13和激光雷达11，ToF深度相机12存在成像延迟问题，因此ToF深度相机12的时间戳与激光雷达11、双目相机13的时间戳之间存在偏移，因此需要计算三种传感器时间戳之间的偏移量。激光雷达11、双目相机13成像延迟较低，可忽略不计。因此只需通过计算ToF深度相机12与双目相机13时间戳之间的偏移量，即可完成三种传感器时间戳的对齐。计算方法在步骤31中进行详细叙述。
虽然进行了异质传感器的时间戳对齐处理，但由于三种传感器帧率的不同，不同传感器数据采集时间点不会完全匹配，因此需要根据当前待处理的数据帧的实际匹配情况进行有效数据的同步选取。同步选取方法在步骤32中进行详细叙述；
通过异质传感器同一时间戳和异质传感器数据同步选取，就实现了异质传感器数据在时间和空间上的对齐，完成了多源传感器数据的关联，有利于提高最终融合深度图像的精度。
步骤21：异质传感器的统一时间戳；
图3为本发明提供的异质传感器的统一时间戳示意图。激光雷达11与双目相机13的成像延迟较低，无需额外对二者进行时间戳统一，只需将ToF深度相机12与双目相机13进行时间戳标定，即可实现三种传感器在时间戳上的同步。
具体的，控制安装传感器机器人平台进行匀速运动，并使ToF深度相机12与双目相机13可同时观测到同一静止的标记物(或者是物体)，根据两种传感器的数据分别获得标记物的位姿信息。由于ToF深度相机12与双目相机13之间的帧率不一致，二者采集数据之间存在着一定位移。计算出从双目相机13采集到标记物到ToF深度相机12采集到标记物的准确时间间隔，并与两种传感器各自的时间戳进行对比，便可以得到ToF深度相机12与双目相机13之间时间戳的偏移量Δt。
首先，计算机器人的实际移动速度v。以双目相机13为例，在机器人平台以速度v相对于标记物移动的过程中，双目相机13会以一定帧率获得标记物的位姿，通过一段时间的位置微分，即可求得机器人的实际移动速度v。
其次，计算ToF深度相机12和双目相机13的数据采集时间间隔。如图3所示，ToF深度相机12与双目相机13各有一时间轴，双目相机13在A时刻观测到标记所在位置为tag_hA。ToF深度相机12在b时刻观测到标记所在位置为tag_hb，其中A时刻为双目相机13返回数据的时间戳，b时刻为ToF深度相机12返回数据的时间戳。但由于ToF深度相机12数据采集存在较大延迟，因此ToF深度相机12的时间轴应整体向左移动(相对的，也可以说双目相机13时间轴整体向右移动)。对于双目相机13的A时刻而言，在ToF深度相机12时间轴上应处于d时刻，若ToF深度相机12与双目相机13时间不存在时间戳偏移，那么双目相机13的时间轴上的A时刻在ToF深度相机12的时间轴上应处于c时刻。然而，由于时间戳偏移的存在，双目相机13的时间轴上的A时刻对应在ToF深度相机12的时间轴上是d时刻。则A时刻与d时刻数值的差值即为两传感器时间戳之间的偏移量Δt。已知ToF深度相机12的坐标系到双目相机13的坐标系的旋转矩阵为RZT，平移向量为QZT，有以下关系：
Figure BDA0002884060700000151
t2＝tb-tc＝tb-tA (19)
t1表示ToF深度相机12的时间轴上d时刻与b时刻的时间间隔。
t2表示ToF深度相机12的时间轴上c时刻与b时刻的时间间隔。
tb表示ToF深度相机12的时间轴上b时刻的数值。
td表示ToF深度相机12的时间轴上d时刻的数值。
tc表示ToF深度相机12的时间轴上c时刻的数值。
tA表示双目相机13的时间轴上A时刻的数值。
在本发明中，ToF深度相机12与双目相机13时间戳的偏移量Δt为：
Δt＝t2-t1 (20)
步骤22：异质传感器数据同步选取；
图4为本发明实施例提供的异质传感器数据同步选取示意图。一般而言，双目相机13的数据采集频率表最高，ToF深度相机12次之，激光雷达11采集频率最慢，如图3所示。需要说明的是，图4中所示33ms、50ms、100ms均为示意值，具体传感器的数据采集频率根据所选用传感器的型号进行确定。
由于双目相机13的工作频率最高，因此主要以双目相机13时间轴为参考，选取与双目相机13深度图像数据时间点接近的数据。当接收到双目相机13的数据时，判断在前后10ms的时间差内有无接收到ToF深度相机12的数据和激光雷达11的数据，若有，则将此三帧数据选取为有效地同步数据；若没有，则当下一次接收到双目相机13的数据时再进行同步数据选取。
具体的，如图4中所示，以双目相机13的时间轴上B时刻为例，在B时刻双目相机13输出深度图像数据，与B时刻最近的ToF深度相机12的深度数据在e时刻，最近的激光雷达11数据在Ⅲ时刻。在进行深度数据融合时，只选取与双目数据时间点B时刻最近且时间差不超过10ms的ToF深度数据和激光雷达数据，以减小或消除由传感器频率不同所造成的数据误差，保证不同传感器所捕获的数据在时间和空间上实现对齐。
在图4中，B时刻后双目相机13的下一次输出信息在C时刻。e时刻后ToF深度相机12的下一次输出信息在f时刻。Ⅲ时刻后激光雷达11的下一次输出信息在Ⅳ时刻。
步骤三：多源深度数据融合；
根据步骤一和步骤二，得到空间上和时间上对齐的激光雷达11、ToF深度相机12和双目相机13深度数据，根据基于梯度信息的深度补偿融合算法，快速获取高质量深度图像，为视觉定位和三维地图构建提供准确、稠密的深度数据。
具体的，激光雷达11、ToF深度相机12和双目相机13，三者具有不同的工作条件和性能特点。其中激光雷达11不易受光照条件的干扰，且可获得精准的深度信息，但雷达获得的数据点却较为稀疏；ToF深度相机12可获得稠密、可靠的深度数据，但是在光照强烈或红外干扰环境下无法正常工作；双目相机13可以在光照强烈的环境下工作，但双目相机难以在黑暗或缺乏纹理的环境中工作，且由双目立体视觉计算出的深度值可信度低于ToF深度相机12在无光线干扰环境下的所获深度值的可信度。因此各传感器均存在不同的优势和缺点，通过基于梯度信息的深度补偿融合算法，可将各传感器深度数据进行融合，从而得到稠密、准确的高质量深度图像。
步骤一中已经详细描述多元传感器数据的注册方法，故本步骤中不再对数据注册进行赘述，本步骤中所提到的数据均默认为已变换到双目相机13的坐标系O双目-X双目Y双目Z双目下。
图5为本发明实施例提供的基于梯度信息的深度补偿融合算法示意图。用可靠的激光雷达11深度数据对目标深度进行初始化，并通过ToF深度相机12深度图像数据和双目相机13深度图像数据两者的梯度信息对激光雷达11深度数据进行融合和扩充。在没有激光雷达11深度数据的区域，先采用ToF深度相机12的深度数据，若无ToF深度相机12的深度图像数据，则采用双目相机13深度图像数据。
具体的，在本发明中，在采样时间t采样里，激光雷达11扫描获得的点云数据，记为
Figure BDA0002884060700000164
由于点云信息无法与图像信息直接融合，故利用相机成像模型将所述
Figure BDA0002884060700000165
转换为深度图像，记为
Figure BDA0002884060700000161
在本发明中，在采样时间t采样里，ToF深度相机12拍摄获得的ToF深度图像信息，记为
Figure BDA0002884060700000162
在本发明中，在采样时间t采样里，双目相机13拍摄获得的双目深度信息，记为
Figure BDA0002884060700000163
在本发明中，由于激光雷达11的深度数据更加精确，故期望最终融合的目标深度图像MPR尽可能地与激光雷达11的采集的数据相近，而雷达数据的稀疏性导致其无法反应梯度信息，因此本发明让MPR的梯度尽可能地与ToF深度相机12(或双目相机13)的深度图像的梯度相近，最终可以构建如下优化目标：
Figure BDA0002884060700000171
下角标i表示像素点在水平方向的坐标。
下角标j表示像素点在垂直方向的坐标。
MPR表示最终优化得到的在双目相机13坐标系O双目-X双目Y双目Z双目下成像平面上的融合深度图像。
MPR*表示优化过程中所述MPR的中间量。
ki,j表示最终优化得到的所述MPR在像素坐标点(i,j)处的像素值。
Figure BDA0002884060700000172
表示优化过程中所述MPR*在像素坐标点(i,j)处的像素值。
Figure BDA00028840607000001716
表示优化过程中所述MPR*在像素坐标点(i,j)处的梯度值。
li,j表示雷达深度图像
Figure BDA0002884060700000173
在像素坐标点(i,j)处的像素值。
ri,j表示依据状态选取的深度图(
Figure BDA0002884060700000174
或
Figure BDA0002884060700000175
)在像素坐标点(i,j)处的像素值。
▽ri,j表示依据状态选取的深度图(
Figure BDA0002884060700000176
或
Figure BDA0002884060700000177
)在像素坐标点(i,j)处的梯度值，简称为状态下的梯度值。
在本发明中，由于ToF深度相机12或双目相机13的深度图像在像素坐标点(i,j)处存在没有深度数据的情况下，故需依据状态对状态下的梯度值▽ri,j进行选择。
梯度值状态A：
在本发明中，梯度值状态A是指
Figure BDA0002884060700000178
在像素坐标点(i,j)处存在深度数据，此时，▽ri,j等于
Figure BDA0002884060700000179
在像素坐标点(i,j)处的梯度值。
梯度值状态B：
在本发明中，梯度值状态B是指
Figure BDA00028840607000001710
在像素坐标点(i,j)处不存在深度数据，
Figure BDA00028840607000001711
在像素坐标点(i,j)处存在深度数据，此时▽ri,j等于
Figure BDA00028840607000001712
在像素坐标点(i,j)处的梯度值。
梯度值状态C：
在本发明中，梯度值状态C是指
Figure BDA00028840607000001713
和
Figure BDA00028840607000001714
在像素坐标点(i,j)处均不存在深度数据，此时▽ri,j为0。
在本发明中，为了获得最佳的目标深度图像MPR，公式(10)的等式右边取值最小，将公式(10)书写为便于求解的二次形形式。直接用
Figure BDA00028840607000001715
初始化目标深度图像MPR，因此公式(10)可省去第一项，即可得到如下公式：
Figure BDA0002884060700000181
下角标x表示图像的横轴，下角标y表示图像的纵轴，如图5所示。
Figure BDA0002884060700000182
表示优化过程中所述MPR*在像素坐标点(i,j)处沿x轴方向的梯度值。
Figure BDA0002884060700000183
表示优化过程中所述MPR*在像素坐标点(i,j)处沿y轴方向的梯度值。
▽xri,j表示依据状态选取的深度图(
Figure BDA0002884060700000184
或
Figure BDA0002884060700000185
)在像素坐标点(i,j)处沿x轴方向的梯度值。
▽yri,j表示依据状态选取的深度图(
Figure BDA0002884060700000186
或
Figure BDA0002884060700000187
)在像素坐标点(i,j)处沿y轴方向的的梯度值。
在本发明中，由于ToF深度相机12或双目相机13的深度图像在像素坐标点(i,j)处存在没有深度数据的情况下，故需依据状态对▽xri,j和▽yri,j进行选择。
梯度值状态A：
在梯度值状态A时，▽xri,j等于
Figure BDA0002884060700000188
在像素坐标点(i,j)处沿x轴方向的梯度值，▽yri,j等于
Figure BDA0002884060700000189
在像素坐标点(i,j)处沿y轴方向的梯度值。
梯度值状态B：
在梯度值状态B时，▽xri,j等于
Figure BDA00028840607000001810
在像素坐标点(i,j)处沿x轴方向的梯度值，▽yri,j等于
Figure BDA00028840607000001811
在像素坐标点(i,j)处沿y轴方向的梯度值。
梯度值状态C：
在梯度值状态C时，▽xri,j和▽yri,j为0。
在本发明中采用前向差分的方式计算图像梯度，因此上述优化问题等效为一个凸二次规划问题，可以直接使用梯度下降法进行迭代求解。为了节省计算量，本发明以
Figure BDA00028840607000001812
中每个有深度数据的像素点为中心，选取合适的半径s建立一个优化范围Φ，只对Φ范围内的深度值进行优化。为了同时保证计算速度和计算精度，选取的半径大小一般为5到10个像素点之间。
本发明选取沿x轴和沿y轴两种位置关系作为梯度特征，
Figure BDA00028840607000001813
中每个有深度数据的像素点为中心，将这些像素点的像素值作为真值，通过公式(11)对
Figure BDA00028840607000001814
和
Figure BDA00028840607000001815
进行融合，从而可在复杂的工作环境下获取到更加准确、稠密的深度图像信息。
实施例1
参见图2B所示，机器人平台上通过传感器固定架14从上至下顺次安装的三个传感器分别是激光雷达11、双目相机13和ToF深度相机12。三个传感器的型号与参数(内参值)为：
表1激光雷达型号与参数
Figure BDA0002884060700000191
表2 ToF深度相机型号与参数
Figure BDA0002884060700000192
表3双目相机型号与参数
Figure BDA0002884060700000193
应用激光雷达11、ToF深度相机12和双目相机13分别对图6所示的场景进行采集。采集得到的图像信息如图7、图8、图9所示。
应用本发明的深度图像构建方法对图6所示的场景进行构建深度图像，半径为8个像素点的优化范围，获得如图10所示。实施例通过多源传感器数据注册，并进行多源传感器数据关联，消除了异质传感器深度数据在空间和时间上的不对齐现象；通过多源深度数据融合使获取到的深度图像更加准确和稠密，并提升传感器系统对工作环境的适应性。

Claims (6)

1.一种融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法，其特征在于深度图像构建包括有下列步骤：
步骤一：多源传感器数据注册；
在启动激光雷达(11)、ToF深度相机(12)、双目相机(13)之后，在采样时间t采样里，多源传感器数据注册单元(20)第一方面用于接收激光雷达(11)输出的点云数据M11；由于激光雷达(11)扫描获得的点云数据中包含有环境数据，需要工作人员手动选取前标定物(2)与后标定物(3)同时存在的区域的点云数据，记为
Figure FDA0003613574840000011
所述
Figure FDA0003613574840000012
中存在的点云总个数，记为N；
第二方面用于接收ToF深度相机(12)输出的ToF深度图像信息M12；由于ToF深度相机(12)拍摄获得的ToF深度图像信息中包含有环境数据，需要工作人员手动选取前标定物(2)与后标定物(3)同时存在的区域的ToF深度图像信息，记为
Figure FDA0003613574840000013
所述
Figure FDA0003613574840000014
中以任意一个像素点的像素值来确定深度信息；
第三方面用于接收双目相机(13)输出的双目图像信息和双目深度信息M13；由于双目相机(13)拍摄获得的双目图像信息和双目深度信息中包含有环境数据，需要工作人员手动选取前标定物(2)与后标定物(3)同时存在的区域的双目深度信息，记为
Figure FDA0003613574840000015
所述
Figure FDA0003613574840000016
中以任意一个像素点的像素值来确定深度信息；
第四方面，根据像素点的深度信息与ToF深度相机(12)的内参值，利用相机成像模型将
Figure FDA0003613574840000017
投影为ToF深度相机(12)的坐标系OToF-XToFYToFZToF下的点云信息，记为
Figure FDA0003613574840000018
根据像素点的深度信息与双目相机(13)的内参值，利用相机成像模型将
Figure FDA0003613574840000019
投影为双目相机(13)坐标系O双目-X双目Y双目Z双目下的点云信息，记为
Figure FDA00036135748400000110
第五方面，完成异质传感器的位姿标定；
利用点云ICP算法，计算出
Figure FDA00036135748400000111
和
Figure FDA00036135748400000112
之间的位姿变换矩阵RZL、QZL、RZT、QZT，即可得到激光雷达(11)、ToF深度相机(12)、双目相机(13)之间的位置关系，从而完成此三个传感器的位姿标定；
RZL为
Figure FDA00036135748400000113
到
Figure FDA00036135748400000114
的旋转矩阵；
QZL为
Figure FDA00036135748400000115
到
Figure FDA00036135748400000116
的平移矩阵；
RZT为
Figure FDA0003613574840000021
到
Figure FDA0003613574840000022
的旋转矩阵；
QZT为
Figure FDA0003613574840000023
到
Figure FDA0003613574840000024
的平移矩阵；
具体的，求解
Figure FDA0003613574840000025
到
Figure FDA0003613574840000026
的位姿变换矩阵：
Figure FDA0003613574840000027
RLT为
Figure FDA0003613574840000028
到
Figure FDA0003613574840000029
的旋转矩阵；
QLT为
Figure FDA00036135748400000210
到
Figure FDA00036135748400000211
的平移矩阵；
Figure FDA00036135748400000212
为不断迭代的所述RLT的中间量；
Figure FDA00036135748400000213
为不断迭代的所述QLT的中间量；
N为
Figure FDA00036135748400000214
中点云的总个数；
p为
Figure FDA00036135748400000215
中的任意一个点；
q为
Figure FDA00036135748400000216
中的一个点且与所述
Figure FDA00036135748400000217
中的点p距离最近；
利用梯度下降法计算使得公式(1)等式右边最小，即可获得RLT、QLT；
具体的，求解
Figure FDA00036135748400000218
到
Figure FDA00036135748400000219
的位姿变换矩阵：
Figure FDA00036135748400000220
RLZ为
Figure FDA00036135748400000221
到
Figure FDA00036135748400000222
的旋转矩阵；
QLZ为
Figure FDA00036135748400000223
到
Figure FDA00036135748400000224
的平移矩阵；
Figure FDA00036135748400000225
为不断迭代的所述RLZ的中间量；
Figure FDA00036135748400000226
为不断迭代的所述QLZ的中间量；
N为
Figure FDA00036135748400000227
中点云的总个数；
p为
Figure FDA00036135748400000228
中的任意一个点；
w为
Figure FDA00036135748400000229
中的一个点且与所述
Figure FDA00036135748400000230
中的点p距离最近；
利用梯度下降法计算使得公式(2)等式右边最小，即可获得RLZ、QLZ；
通过公式(3)、公式(4)、公式(5)、公式(6)可获得从坐标系O雷达-X雷达Y雷达Z雷达到坐标系O双目-X双目Y双目Z双目的位姿变换关系RZL、QZL以及从坐标系OToF-XToFYToFZToF到坐标系O双目-X双目Y双目Z双目的位姿变换关系RZT、QZT：
Figure FDA0003613574840000031
Figure FDA0003613574840000032
Figure FDA0003613574840000033
Figure FDA0003613574840000034
上角标T为坐标转置符；
利用坐标系的位姿变换关系，将
Figure FDA0003613574840000035
变换到坐标系O双目-X双目Y双目Z双目下，从而完成多源传感器数据的注册；
步骤二：多源传感器数据关联；
步骤21：异质传感器的统一时间戳；
首先，计算机器人的实际移动速度v；在机器人平台以速度v相对于标记物移动的过程中，双目相机(13)会以一定帧率获得标记物的位姿，通过一段时间的位置微分，即可求得机器人的实际移动速度v；
其次，计算ToF深度相机(12)和双目相机(13)的数据采集时间间隔；
ToF深度相机(12)与双目相机(13)各有一时间轴，双目相机(13)在A时刻观测到标记所在位置为tag_hA；ToF深度相机(12)在b时刻观测到标记所在位置为tag_hb，其中A时刻为双目相机(13)返回数据的时间戳，b时刻为ToF深度相机(12)返回数据的时间戳；但由于ToF深度相机(12)数据采集存在较大延迟，因此ToF深度相机(12)的时间轴应整体向左移动；对于双目相机(13)的A时刻而言，在ToF深度相机(12)时间轴上应处于d时刻，若ToF深度相机(12)与双目相机(13)时间不存在时间戳偏移，那么双目相机(13)的时间轴上的A时刻在ToF深度相机(12)的时间轴上应处于c时刻；然而，由于时间戳偏移的存在，双目相机(13)的时间轴上的A时刻对应在ToF深度相机(12)的时间轴上是d时刻；则A时刻与d时刻数值的差值即为两传感器时间戳之间的偏移量Δt；已知ToF深度相机(12)的坐标系到双目相机(13)的坐标系的旋转矩阵为RZT，平移向量为QZT，有以下关系：
Figure FDA0003613574840000036
t2＝tb-tc＝tb-tA (8)
t1表示ToF深度相机(12)的时间轴上d时刻与b时刻的时间间隔；
t2表示ToF深度相机(12)的时间轴上c时刻与b时刻的时间间隔；
tb表示ToF深度相机(12)的时间轴上b时刻的数值；
td表示ToF深度相机(12)的时间轴上d时刻的数值；
tc表示ToF深度相机(12)的时间轴上c时刻的数值；
tA表示双目相机(13)的时间轴上A时刻的数值；
ToF深度相机(12)与双目相机(13)时间戳的偏移量Δt为：
Δt＝t2-t1 (9)
步骤22：异质传感器数据同步选取；
双目相机(13)的数据采集频率表最高，ToF深度相机(12)次之，激光雷达(11)采集频率最慢；
由于双目相机(13)的工作频率最高，因此主要以双目相机(13)时间轴为参考，选取与双目相机(13)深度图像数据时间点接近的数据；当接收到双目相机(13)的数据时，判断在前后10ms的时间差内有无接收到ToF深度相机(12)的数据和激光雷达(11)的数据，若有，则将此三帧数据选取为有效地同步数据；若没有，则当下一次接收到双目相机(13)的数据时再进行同步数据选取；
以双目相机(13)的时间轴上B时刻为例，在B时刻双目相机(13)输出深度图像数据，与B时刻最近的ToF深度相机(12)的深度数据在e时刻，最近的激光雷达(11)数据在Ⅲ时刻；在进行深度数据融合时，只选取与双目数据时间点B时刻最近且时间差不超过10ms的ToF深度数据和激光雷达数据，以减小或消除由传感器频率不同所造成的数据误差，保证不同传感器所捕获的数据在时间和空间上实现对齐；
步骤三：多源深度数据融合；
在采样时间t采样里，激光雷达(11)扫描获得的点云数据，记为
Figure FDA0003613574840000041
由于点云信息无法与图像信息直接融合，故利用相机成像模型将所述
Figure FDA0003613574840000042
转换为深度图像，记为
Figure FDA0003613574840000043
在采样时间t采样里，ToF深度相机(12)拍摄获得的ToF深度图像信息，记为
Figure FDA0003613574840000044
在采样时间t采样里，双目相机(13)拍摄获得的双目深度信息，记为
Figure FDA0003613574840000045
目标深度图像MPR的优化目标：
Figure FDA0003613574840000051
下角标i表示像素点在水平方向的坐标；
下角标j表示像素点在垂直方向的坐标；
MPR表示最终优化得到的在双目相机13坐标系O双目-X双目Y双目Z双目下成像平面上的融合深度图像；
MPR*表示优化过程中所述MPR的中间量；
ki,j表示最终优化得到的所述MPR在像素坐标点(i,j)处的像素值；
Figure FDA0003613574840000052
表示优化过程中所述MPR*在像素坐标点(i,j)处的像素值；
Figure FDA0003613574840000053
表示优化过程中所述MPR*在像素坐标点(i,j)处的梯度值；
li,j表示雷达深度图像
Figure FDA0003613574840000054
在像素坐标点(i,j)处的像素值；
ri,j表示依据状态选取的深度图(
Figure FDA0003613574840000055
或
Figure FDA0003613574840000056
)在像素坐标点(i,j)处的像素值；
Figure FDA0003613574840000057
表示依据状态选取的深度图(
Figure FDA0003613574840000058
或
Figure FDA0003613574840000059
)在像素坐标点(i,j)处的梯度值，简称为状态下的梯度值；
由于ToF深度相机12或双目相机13的深度图像在像素坐标点(i,j)处存在没有深度数据的情况下，故需依据状态对状态下的梯度值
Figure FDA00036135748400000510
进行选择；
梯度值状态A是指
Figure FDA00036135748400000511
在像素坐标点(i,j)处存在深度数据，此时，
Figure FDA00036135748400000512
等于
Figure FDA00036135748400000513
在像素坐标点(i,j)处的梯度值；
梯度值状态B是指
Figure FDA00036135748400000514
在像素坐标点(i,j)处不存在深度数据，
Figure FDA00036135748400000515
在像素坐标点(i,j)处存在深度数据，此时
Figure FDA00036135748400000516
等于
Figure FDA00036135748400000517
在像素坐标点(i,j)处的梯度值；
梯度值状态C是指
Figure FDA00036135748400000518
和
Figure FDA00036135748400000519
在像素坐标点(i,j)处均不存在深度数据，此时
Figure FDA00036135748400000520
为0；
为了获得最佳的目标深度图像MPR，公式(10)的等式右边取值最小，将公式(10)书写为便于求解的二次形形式；直接用
Figure FDA00036135748400000521
初始化目标深度图像MPR，因此公式(10)可省去第一项，即可得到如下公式：
Figure FDA00036135748400000522
下角标x表示图像的横轴，下角标y表示图像的纵轴；
Figure FDA0003613574840000061
表示优化过程中所述MPR*在像素坐标点(i,j)处沿x轴方向的梯度值；
Figure FDA0003613574840000062
表示优化过程中所述MPR*在像素坐标点(i,j)处沿y轴方向的梯度值；
Figure FDA0003613574840000063
表示依据状态选取的深度图(
Figure FDA0003613574840000064
或
Figure FDA0003613574840000065
)在像素坐标点(i,j)处沿x轴方向的梯度值；
Figure FDA0003613574840000066
表示依据状态选取的深度图(
Figure FDA0003613574840000067
或
Figure FDA0003613574840000068
)在像素坐标点(i,j)处沿y轴方向的梯度值；
由于ToF深度相机12或双目相机13的深度图像在像素坐标点(i,j)处存在没有深度数据的情况下，故需依据状态对
Figure FDA0003613574840000069
和
Figure FDA00036135748400000610
进行选择；
在梯度值状态A时，
Figure FDA00036135748400000611
等于
Figure FDA00036135748400000612
在像素坐标点(i,j)处沿x轴方向的梯度值，
Figure FDA00036135748400000613
等于
Figure FDA00036135748400000614
在像素坐标点(i,j)处沿y轴方向的梯度值；
在梯度值状态B时，
Figure FDA00036135748400000615
等于
Figure FDA00036135748400000616
在像素坐标点(i,j)处沿x轴方向的梯度值，
Figure FDA00036135748400000617
等于
Figure FDA00036135748400000618
在像素坐标点(i,j)处沿y轴方向的梯度值；
在梯度值状态C时，
Figure FDA00036135748400000619
和
Figure FDA00036135748400000620
为0；
选取沿x轴和沿y轴两种位置关系作为梯度特征，
Figure FDA00036135748400000621
中每个有深度数据的像素点为中心，将这些像素点的像素值作为真值，通过公式(11)对
Figure FDA00036135748400000622
和
Figure FDA00036135748400000623
进行融合，从而可在复杂的工作环境下获取到更加准确、稠密的深度图像信息。
2.根据权利要求1所述的融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法，其特征在于：优化范围为半径选取的5到10个像素点。
3.一种融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建系统，其特征在于：智能机器人深度图像构建系统包括有深度图像构建系统、处理器、异质传感器、传感器固定架(14)、运动载体(15)、定位板(10)；所述异质传感器包括有激光雷达(11)、ToF深度相机(12)和双目相机(13)；
激光雷达(11)、双目相机(13)和ToF深度相机(12)通过传感器固定架(14)从上至下顺次安装在传感器固定架(14)上，传感器固定架(14)固定在定位板(10)上，定位板(10)安装在运动载体(15)上；
所述处理器中至少存储有深度图像构建系统；
深度图像构建系统包括有多源传感器数据注册单元(20)、多源传感器数据关联单元(30)和多源深度数据融合单元(40)；该系统是实现权利要求1所述的智能机器人深度图像构建方法。
4.根据权利要求3所述的融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建系统，其特征在于：多源传感器数据注册单元(20)第一方面用于接收激光雷达(11)输出的点云数据M11；
第二方面用于接收ToF深度相机(12)输出的ToF深度图像信息M12；
第三方面用于接收双目相机(13)输出的双目图像信息和双目深度信息M13；
第四方面需要工作人员手动选取前标定物(2)与后标定物(3)同时存在的区域的点云数据
Figure FDA0003613574840000071
ToF深度图像信息
Figure FDA0003613574840000072
双目深度信息
Figure FDA0003613574840000073
第五方面，根据像素点的深度信息与ToF深度相机(12)的内参值，利用相机成像模型将
Figure FDA0003613574840000074
投影为ToF深度相机(12)的坐标系OToF-XToFYToFZToF下的点云信息，记为
Figure FDA0003613574840000075
根据像素点的深度信息与双目相机(13)的内参值，利用相机成像模型将
Figure FDA0003613574840000076
投影为双目相机(13)坐标系O双目-X双目Y双目Z双目下的点云信息，记为
Figure FDA0003613574840000077
第六方面，利用点云ICP算法，计算出
Figure FDA0003613574840000078
和
Figure FDA0003613574840000079
之间的位姿变换矩阵RZL、QZL、RZT、QZT，即可得到激光雷达(11)、ToF深度相机(12)、双目相机(13)之间的位置关系，从而完成此三个传感器的位姿标定；
求解
Figure FDA00036135748400000710
到
Figure FDA00036135748400000711
的位姿变换矩为
Figure FDA00036135748400000712
利用梯度下降法计算使得等式右边最小，即可获得RLT、QLT；
具体的，求解
Figure FDA00036135748400000713
到
Figure FDA00036135748400000714
的位姿变换矩阵为
Figure FDA00036135748400000715
利用梯度下降法计算使得等式右边最小，即可获得RLZ、QLZ；
从坐标系O雷达-X雷达Y雷达Z雷达到坐标系O双目-X双目Y双目Z双目的位姿变换关系
Figure FDA00036135748400000716
以及从坐标系OToF-XToFYToFZToF到坐标系O双目-X双目Y双目Z双目的位姿变换关系
Figure FDA00036135748400000717
利用坐标系的位姿变换关系，将
Figure FDA0003613574840000081
变换到坐标系O双目-X双目Y双目Z双目下，从而完成多源传感器数据的注册。
5.根据权利要求3所述的融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建系统，其特征在于：多源传感器数据关联单元(30)第一方面，在机器人平台以速度v相对于标记物移动的过程中，双目相机(13)会以一定帧率获得标记物的位姿；
第二方面，异质传感器的统一时间戳，通过计算ToF深度相机(12)和双目相机(13)的数据采集时间间隔；
ToF深度相机(12)与双目相机(13)各有一时间轴，双目相机(13)在A时刻观测到标记所在位置为tag_hA；ToF深度相机(12)在b时刻观测到标记所在位置为tag_hb，其中A时刻为双目相机(13)返回数据的时间戳，b时刻为ToF深度相机(12)返回数据的时间戳；但由于ToF深度相机(12)数据采集存在较大延迟，因此ToF深度相机(12)的时间轴应整体向左移动；对于双目相机(13)的A时刻而言，在ToF深度相机(12)时间轴上应处于d时刻，若ToF深度相机(12)与双目相机(13)时间不存在时间戳偏移，那么双目相机(13)的时间轴上的A时刻在ToF深度相机(12)的时间轴上应处于c时刻；然而，由于时间戳偏移的存在，双目相机(13)的时间轴上的A时刻对应在ToF深度相机(12)的时间轴上是d时刻；则A时刻与d时刻数值的差值即为两传感器时间戳之间的偏移量Δt；已知ToF深度相机(12)的坐标系到双目相机(13)的坐标系的旋转矩阵为RZT，平移向量为QZT，有以下关系
Figure FDA0003613574840000082
和t2＝tb-tc＝tb-tA；
ToF深度相机(12)与双目相机(13)时间戳的偏移量Δt＝t2-t1；
第三方面，异质传感器数据同步选取；
双目相机(13)的数据采集频率表最高，ToF深度相机(12)次之，激光雷达(11)采集频率最慢；
由于双目相机(13)的工作频率最高，因此主要以双目相机(13)时间轴为参考，选取与双目相机(13)深度图像数据时间点接近的数据；当接收到双目相机(13)的数据时，判断在前后10ms的时间差内有无接收到ToF深度相机(12)的数据和激光雷达(11)的数据，若有，则将此三帧数据选取为有效地同步数据；若没有，则当下一次接收到双目相机(13)的数据时再进行同步数据选取；
以双目相机(13)的时间轴上B时刻为例，在B时刻双目相机(13)输出深度图像数据，与B时刻最近的ToF深度相机(12)的深度数据在e时刻，最近的激光雷达(11)数据在Ⅲ时刻；在进行深度数据融合时，只选取与双目数据时间点B时刻最近且时间差不超过10ms的ToF深度数据和激光雷达数据，以减小或消除由传感器频率不同所造成的数据误差，保证不同传感器所捕获的数据在时间和空间上实现对齐。
6.根据权利要求3所述的融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建系统，其特征在于：多源深度数据融合单元(40)第一方面用于记录下激光雷达(11)、ToF深度相机(12)和双目相机(13)分别在采样时间t采样里获得的图像信息，即：
在采样时间t采样里，激光雷达(11)扫描获得的点云数据，记为
Figure FDA0003613574840000091
由于点云信息无法与图像信息直接融合，故利用相机成像模型将所述
Figure FDA0003613574840000092
转换为深度图像，记为
Figure FDA0003613574840000093
在采样时间t采样里，ToF深度相机(12)拍摄获得的ToF深度图像信息，记为
Figure FDA0003613574840000094
在采样时间t采样里，双目相机(13)拍摄获得的双目深度信息，记为
Figure FDA0003613574840000095
第二方面优化最终融合的目标深度图像MPR的目标
Figure FDA0003613574840000096
第三方面，依据状态对状态下的梯度值
Figure FDA0003613574840000097
进行选择；
梯度值状态A是指
Figure FDA0003613574840000098
在像素坐标点(i,j)处存在深度数据，此时，
Figure FDA0003613574840000099
等于
Figure FDA00036135748400000910
在像素坐标点(i,j)处的梯度值；
梯度值状态B是指
Figure FDA00036135748400000911
在像素坐标点(i,j)处不存在深度数据，
Figure FDA00036135748400000912
在像素坐标点(i,j)处存在深度数据，此时
Figure FDA00036135748400000913
等于
Figure FDA00036135748400000914
在像素坐标点(i,j)处的梯度值；
梯度值状态C是指
Figure FDA00036135748400000915
和
Figure FDA00036135748400000916
在像素坐标点(i,j)处均不存在深度数据，此时
Figure FDA00036135748400000917
为0；
为了获得最佳的目标深度图像MPR，将
Figure FDA00036135748400000918
书写为便于求解的二次形形式；直接用
Figure FDA00036135748400000919
初始化目标深度图像MPR，得到
Figure FDA0003613574840000101
由于ToF深度相机(12)或双目相机(13)的深度图像在像素坐标点(i,j)处存在没有深度数据的情况下，故需依据状态对
Figure FDA0003613574840000102
和
Figure FDA0003613574840000103
进行选择；
在梯度值状态A时，
Figure FDA0003613574840000104
等于
Figure FDA0003613574840000105
在像素坐标点(i,j)处沿x轴方向的梯度值，
Figure FDA0003613574840000106
等于
Figure FDA0003613574840000107
在像素坐标点(i,j)处沿y轴方向的梯度值；
在梯度值状态B时，
Figure FDA0003613574840000108
等于
Figure FDA0003613574840000109
在像素坐标点(i,j)处沿x轴方向的梯度值，
Figure FDA00036135748400001010
等于
Figure FDA00036135748400001011
在像素坐标点(i,j)处沿y轴方向的梯度值；
在梯度值状态C时，
Figure FDA00036135748400001012
和
Figure FDA00036135748400001013
为0；
选取沿x轴和沿y轴两种位置关系作为梯度特征，
Figure FDA00036135748400001014
中每个有深度数据的像素点为中心，将这些像素点的像素值作为真值，通过公式(11)对
Figure FDA00036135748400001015
和
Figure FDA00036135748400001016
进行融合，从而可在复杂的工作环境下获取到更加准确、稠密的深度图像信息。
CN202110007417.0A 2020-01-05 2021-01-05 融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法 Active CN112766328B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010007766 2020-01-05
CN2020100077668 2020-01-05

Publications (2)

Publication Number Publication Date
CN112766328A CN112766328A (zh) 2021-05-07
CN112766328B true CN112766328B (zh) 2022-08-12

Family

ID=75699240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110007417.0A Active CN112766328B (zh) 2020-01-05 2021-01-05 融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法

Country Status (1)

Country Link
CN (1) CN112766328B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113357503B (zh) * 2021-06-04 2022-08-16 中国北方车辆研究所 一种基于变构型多传感融合的足式机器人感知装置
CN113965701B (zh) * 2021-09-10 2023-11-14 苏州雷格特智能设备股份有限公司 一种基于两个深度相机的多目标空间坐标对应绑定方法
CN114677315B (zh) 2022-04-11 2022-11-29 探维科技(北京)有限公司 基于图像与激光点云的图像融合方法、装置、设备和介质
WO2024027653A1 (zh) * 2022-08-04 2024-02-08 上海图漾信息科技有限公司 深度数据测量装置及其应用方法
CN116148883B (zh) * 2023-04-11 2023-08-08 锐驰智慧科技(安吉)有限公司 基于稀疏深度图像的slam方法、装置、终端设备及介质
CN116990830B (zh) * 2023-09-27 2023-12-29 锐驰激光(深圳)有限公司 基于双目和tof的距离定位方法、装置、电子设备及介质
CN117451030B (zh) * 2023-10-25 2024-06-14 哈尔滨工业大学 一种基于场景自适应的多模态融合slam方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108489496A (zh) * 2018-04-28 2018-09-04 北京空间飞行器总体设计部 基于多源信息融合的非合作目标相对导航运动估计方法及系统
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置
CN110517216A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于多类型相机的slam融合方法及其系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168424A1 (en) * 2011-07-21 2014-06-19 Ziv Attar Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108489496A (zh) * 2018-04-28 2018-09-04 北京空间飞行器总体设计部 基于多源信息融合的非合作目标相对导航运动估计方法及系统
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置
CN110517216A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于多类型相机的slam融合方法及其系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CFD-SLAM:融合特征法与直接法的快速鲁棒SLAM系统;王化友等;《高技术通讯》;20191215(第12期);全文 *
Multisensor Data Fusion: Target Tracking with a Doppler Radar and an Electro-Optic Camera;Shuaib Omar etc.;《2011 IEEE International Conference on Control System, Computing and Engineering》;20111230;全文 *
Robust Fusion of LiDAR and Wide-Angle Camera Data for Autonomous Mobile Robots;Varuna De Silva etc.;《arxiv》;20181230;全文 *

Also Published As

Publication number Publication date
CN112766328A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112766328B (zh) 融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法
CN109373898B (zh) 一种基于三维测量点云的复杂零件位姿估计系统及方法
US8140295B2 (en) Auto-referenced sensing device for three-dimensional scanning
CN108171733A (zh) 扫描仪vis
KR20140049361A (ko) 다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법
CN108089196A (zh) 一种光学主被动融合的非合作目标位姿测量装置
CN113096189B (zh) 一种itof深度相机标定及深度优化方法
CN110992487B (zh) 手持式飞机油箱快速三维地图重建装置及重建方法
Mi et al. A vision-based displacement measurement system for foundation pit
CN111753799B (zh) 一种基于主动双目的视觉传感器及机器人
CN114543787A (zh) 基于条纹投影轮廓术的毫米级室内建图定位方法
CN111654626B (zh) 一种包含深度信息的高分辨率相机
CN109270546A (zh) 一种基于结构光和双图像传感器的测距装置及其测距方法
CN112529965A (zh) 一种激光雷达与单目相机的标定方法及装置
Lipnickas et al. A stereovision system for 3-D perception
Su et al. Obtaining obstacle information by an omnidirectional stereo vision system
JP7411539B2 (ja) 測距システム及びその座標キャリブレーション方法
CN115937810A (zh) 一种基于双目相机引导的传感器融合方法
Elseberg et al. Automatic and full calibration of mobile laser scanning systems
JP2024501731A (ja) 複数カメラによる速度測定方法及び速度測定装置
CN111982071B (zh) 一种基于tof相机的3d扫描方法及系统
KR20180104504A (ko) 식물의 표현형 분석을 위한 3d 영상 생성 방법 및 그 시스템
CN113888702A (zh) 基于多tof激光雷达和rgb摄像头的室内高精度实时建模和空间定位的装置和方法
Agrawal et al. RWU3D: Real World ToF and Stereo Dataset with High Quality Ground Truth
CN109239727B (zh) 一种结合固态面阵激光雷达与双ccd相机的测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant