CN114928738A - 被动式三维成像装置 - Google Patents

Abstract

本发明公开了一种被动式三维成像装置，包括：光信号采集模块，用于采集来自场景与目标的不同谱段的光信号；光电传感模块，用于基于不同谱段的光信号生成多帧二维图像；处理器模块，用于基于所述多帧二维图像获取所述被动式三维成像装置的位姿信息，并基于所述位姿信息与多帧所述二维图像生成三维图像。本发明采用可采集不同谱段光信号的光信号采集模块，使被动式三维成像装置达到全天时工作的特点；使用互相适配的各模块组成被动式三维成像装置，提高了集成度，降低了成本，使被动式三维成像装置能够广泛的应用，且通过被动式三维成像装置中的离散点标定模块可对原始深度图进行标定优化，增强了三维成像的精度。

Description

被动式三维成像装置

技术领域

本发明涉及三维成像技术领域，尤其涉及一种被动式三维成像装置。

背景技术

目前，三维成像技术在无人驾驶、机器人导航、航空航天、地形测绘等领域都有迫切需求。传统的光电成像设备仅具有二维成像和单点激光测距能力。现有三维成像方法主要分为主动式三维成像方法和被动式三维成像方法。

主动式三维成像方法又分为基于直接ToF(飞行时间)的三维成像方法和基于间接飞行时间的三维成像方法。主动式三维成像设备具有隐蔽性差、集成度低、功耗大、成本高等缺点，从而限制了其推广应用。

被动式三维成像方法是基于二维图像信息解算获得深度信息，从而实现三维成像。但现有被动式三维成像设备具有集成度低、成本高、作用距离近、精度低等缺点，也难以广泛应用。

发明内容

本发明提供一种被动式三维成像装置，用以至少解决现有技术中被动式三维成像设备精度低的问题。

根据本发明实施例中的被动式三维成像装置，包括：

光信号采集模块，用于采集来自场景与目标的不同谱段的光信号；

光电传感模块，用于基于所述不同谱段的光信号生成多帧二维图像；

处理器模块，用于基于所述多帧二维图像获取所述被动式三维成像装置的位姿信息，并基于所述位姿信息与所述多帧二维图像生成三维图像。

根据本发明的一些实施例，所述光信号采集模块为单孔径宽谱段光学系统，所述单孔径宽谱段光学系统的焦距可调。

根据本发明的一些实施例，所述光电传感模块的工作谱段至少包括可见光谱段，所述可见光谱段的像元间距为6μm×6μm、有效像素数为1280×1024，图像频帧为25HZ。

根据本发明的一些实施例，所述光电传感模块工作谱段至少包括红外谱段，所述红外光谱段的像元间距为12μm×12μm、有效像素数640×512，图像频帧为25HZ。

根据本发明的一些实施例，所述处理器模块用于：

基于所述多帧二维图像，采用视觉同步定位与建图方法，获得所述位姿信息与场景的稀疏点云；

将所述位姿信息与所述稀疏点云作为基于深度学习的多帧深度估计方法的优化输入，获得场景的原始深度图；

根据所述原始深度图选取不同距离上的多个离散点，并通过离散点标定模块获取离散点距离信息，以对所述原始深度图进行标定，获得场景的深度图，生成场景的三维图像。

根据本发明的一些实施例，所述离散点标定模块的发射光源根据所述离散点的位姿进行指向控制。

在本发明的技术方案中，采用可采集不同谱段光信号的光信号采集模块，光信号采集模块、光电传感模块可以采集和接收从可见光到长波红外光等不同频率谱段的光信号，如此设计使被动式三维成像装置可以在日间、夜间等不同光照情况下对光信号进行采集，从而达到全天时工作的特点，使被动式三维成像装置能够广泛的应用；将光信号采集模块、光电传感模块、处理器模块集成一体组成被动式三维成像装置，提高了被动式三维成像装置的集成度，避免了现有三维成像设备为达成在全天候工作还需要增加购买其他设备配合，从而降低了成本；且被动式三维成像装置可对获取的场景原始深度图进行离散点标定，进而大幅度提高了三维成像的精度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：

图1是本发明实施例中被动式三维成像装置结构示意图；

图2是本发明实施例中被动式三维成像装置结构示意图；

图3是本发明实施例中被动式三维成像装置的工作流程示意图；

图4是本发明实施例中被动式三维成像装置的信号流程示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明提出一种被动式三维成像装置，包括：

光信号采集模块，用于采集来自场景与目标的不同谱段的光信号；

光电传感模块，用于基于所述不同谱段的光信号生成多帧二维图像；

处理器模块，用于基于所述多帧二维图像获取所述被动式三维成像装置的位姿信息，并基于所述位姿信息与多帧所述二维图像生成三维图像。

当然，本实施例中的被动式三维成像装置也可以根据实际情况只针对场景与目标的某单一谱段光信号进行采集，并基于该单一谱段的光信号生成对应谱段的多帧二维图像，从而结合单一谱段的二维图像与位姿信息生成三维图像。

在本发明实施例的技术方案中，采用可采集不同谱段光信号的光信号采集模块，光信号采集模块、光电传感模块可以覆盖从可见光到长波红外光等不同频率谱段的光，如此设计使被动式三维成像装置可以在日间、夜间等不同光照情况下对光信号进行采集，从而达到全天时工作的特点，使被动式三维成像装置能够广泛的应用；将光信号采集模块、光电传感模块、处理器模块集成一体组成被动式三维成像装置，提高了被动式三维成像装置的集成度，避免了现有三维成像设备为达成在全天候、自动化工作还需要增加购买其他设备配合，从而降低了成本；且被动式三维成像装置可对获取的场景原始深度图进行离散点标定，进而大幅度提高了三维成像的精度。

在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。

根据本发明的一些实施例，所述光信号采集模块为单孔径宽谱段光学系统，采集的不同谱段的光信号在单孔径宽谱段光学系统内部经过多次透射和反射后聚焦到光电传感模块，使得多谱段光信号共焦面成像。通过光信号在单孔径宽谱段光学系统内部经过多次透射和反射，实现了光路的压缩和折叠，使得被动式三维成像装置具有结构简单易集成的优点。所述单孔径宽谱段光学系统的焦距可调。通过调整单孔径宽谱段光学系统的焦距，被动三维成像装置可以获得不同距离下全视场场景的深度信息，并可以基于深度信息获取包括但不限于关于场景的三维图像等信息，使得单孔径宽谱段光学系统具有可探测距离远的特点。

根据本发明的一些实施例，所述光电传感模块是单片多谱光电传感器，其工作谱段范围可以覆盖可见光谱段与长波红外谱段等不同谱段的光信号，从而可以对光信号采集模块在日间、夜间等不同光照情况下所采集的各谱段光信号生成二维图像，从而达到全天时工作的特点。使用单片多谱段的光电传感器，配备单孔径宽光谱光学系统，结合芯片级的智能处理器搭建智能加速处理平台，使被动式三维成像装置实现集成度高，可以广泛应用在各种场景。

根据本发明的一些实施例，所述光电传感模块工作谱段至少包括可见光谱段，所述可见光谱段的像元阵列参数不做具体限制，但为了达到较好的三维成像效果，可以选用像元间距为6μm×6μm，有效像素数为1280×1024，图像频帧为25HZ的可见光像元阵列。因为该参数的可见光像元阵列有较高的有效像素，可以使生成的三维图像具有较高的分辨率，更加清晰，有更好的使用效果。

根据本发明的一些实施例，所述光电传感模块工作谱段至少包括红外谱段，所述红外谱段的像元阵列参数不做具体限制，但为了达到较好的三维成像效果，可以选用像元间距为12μm×12μm，有效像素数640×512，图像频帧为25HZ的红外像元阵列。因为该参数的红外像元阵列有效像素数高，使得图像具有高分辨率更加清晰，有更好的使用效果。

根据本发明的一些实施例，被动式三维成像装置还包括离散点标定模块模块。

所述处理器模块用于：

基于所述多帧二维图像，采用视觉同步定位与建图(vSLAM)方法，获得所述位姿信息与场景的稀疏点云；

将所述位姿信息与所述稀疏点云作为基于深度学习的多帧深度估计方法的优化输入，获得场景的原始深度图；

根据所述原始深度图选取不同距离上的多个离散点，通过离散点标定模块获取离散点距离信息，对所述原始深度图进行标定，获得场景的深度图，生成场景的三维图像。

本实施例中，分别使用一帧各谱段二维图像获取全场景的三维图像，使得输出的三维图像具有帧频高的特点。

根据本发明的一些实施例，在使用vSLAM方法获得所述位姿信息与场景的稀疏点云后，可作为基于深度学习的多帧深度估计方法的优化输入，以获取具有更高精度的场景原始深度图。

根据本发明的一些实施例，处理器模块针对不同谱段的多帧二维图像，在获取不同谱段所对应的深度图后，可以结合场景的实际情况，对不同谱段的深度图进行融合计算处理，以获取具有更高精度的三维图像。

根据本发明的一些实施例，处理器在生成三维场景的过程中，处理器也可以不采用vSLAM方法获得所述的位姿和场景的稀疏点云，而直接采用二维图像，通过基于深度学习的单帧深度估计方法获取场景的原始深度图。

如图2所示，根据本发明的一些实施例，离散点标定模块可以为激光标定模块。

离散点标定模块，用于通过主动激光测距方法对所述场景原始深度图进行标定。例如：使用的离散点标定模块包括激光发射器和激光接收器，激光发射器工作波段选用1540nm，脉宽1us的脉冲激光，激光指向范围覆盖整个场景。激光接收器采用APD雪崩二极管。针对获取的场景原始深度图，可以利用激光发射器依次向场景中的若干离散点发射脉冲激光，通过激光接收器接收离散点反射的激光回波，从而确定该区域中若干离散点的距离信息，从而完成对原始深度图的标定，主动采用激光测距的方式对场景原始深度图进行标定，从而对其进行校正和优化，提高了场景三维成像的精度。因为激光测距的精度高，使得被动式三维成像装置经过激光标定后的三维成像精度也大幅度提高。主动激光测距可以只在必要时短时间内完成对场景原始深度图的校正和优化，而被动式三维成像不需要激光照明，因此被动式三维成像装置降低了激光标定模块带来功率损耗，且因激光标定模块的使用时间短不易被发现，也不会对场景内的人员造成危险，具有隐蔽性强、功耗低和对人眼安全的特点。

根据本发明的一些实施例，如图1所示，被动式三维成像装置包括：光信号采集模块、光电传感模块、处理器模块、离散点标定模块。

下面结合图1-图3详细说明被动式三维成像装置的工作流程：

光信号采集模块接收来自场景和目标的光信号，将光信号聚焦到光电传感模块；

光电传感模块基于光信号生成二维图像；

处理器模块基于光电传感模块生成的二维图像，使用VSLAM方法获取的位姿和场景稀疏点云，然后使用基于深度学习的多帧深度估计方法获得场景的原始深度图；

处理器模块还可以基于场景的原始深度图，选取不同距离上的多个离散点，基于离散点标定模块获取的离散点距离信息，对所述原始深度图进行标定，获得场景的深度图，生成场景的三维图像。

下面以一个具体的实施例详细描述被动式三维成像装置。值得理解的是，下述描述仅是示例性说明，而不是对本发明的具体限制。凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。

如图4所示，本实施例提供的被动式三维成像装置包括单孔径宽谱段光学系统、多光谱相机、激光测距仪和芯片级的智能处理器，以芯片级的智能处理器作为三维成像算法的运行平台，完成对算法的硬件加速与计算。

单孔径宽谱段光学系统采集来自于场景与目标的不同谱段的光信号，光信号在共孔径宽谱段光学系统内部经过多次透射和反射后，将不同谱段的光信号聚焦到多光谱相机，多光谱相机接收来自单孔径宽谱段光学系统的不同谱段的光信号并基于该信号生成各谱段的多帧二维图像，最后将各谱段的多帧二维图像发送至智能处理器。

智能处理器根据场景的实际情况接收各谱段的多帧二维图像。

首先，智能处理器采用vSLAM方法计算位姿信息和场景的稀疏点云。

智能处理器再采用基于深度学习的多帧深度估计方法，将位姿信息和场景的稀疏点云作为其优化输入建立多帧二维图像之间的关联约束，基于多帧二维图像计算得到优化后的场景的原始深度图。

智能处理器选取原始深度图中不同距离上的离散点，并控制激光测距仪获取各个离散点的距离信息。例如：通过图像语义分割或者目标识别的方法选取原始深度图中需标定离散点的坐标，由激光发射器使用工作波段1540nm，脉宽1us的脉冲激光，依次向待标定区域的若干离散点发射脉冲激光，激光接收器接收离散点反射的激光回波，从而获取待标定区域内离散点的距离信息。

智能处理器基于获取的离散点距离信息，采用离散点标定方法对场景的原始深度图进行标定优化，获得优化后的场景的深度图，提高场景三维成像的精度，最终生成场景的三维图像。

智能处理器继续对其他谱段的多帧二维图像依次基于上述方法生成对应谱段的三维场景，当然，也可以通过对智能处理器进行设置，同时对不同谱段的多帧二维图像同时进行处理。

结合场景的实际具体情况，可以挑选某单一谱段对应的三维场景，也可以将挑选所获取的不同谱段对应的三维场景中的若干三维场景进行融合，进而提升对场景三维成像的精度。

通过本实施例的技术方案采用可采集不同谱段光信号的单孔径宽谱段光学系统，单孔径宽谱段光学系统、多光谱相机可以覆盖从可见光到长波红外光等不同频率谱段的光信号，如此设计使被动式三维成像装置可以在日间、夜间等不同光照情况下对光信号进行采集，从而达到全天时工作的特点，使被动式三维成像装置能够广泛的应用；将单孔径宽谱段光学系统、多光谱相机、激光测距仪、智能处理器集成一体组成被动式三维成像装置，提高了被动式三维成像装置的集成度，避免了现有三维成像设备为达成在全天候工作、激光标定等功能还需要增加购买其他设备配合，从而降低了成本；且被动式三维成像装置可以利用激光测距仪对原始深度图中的离散点进行标定获取离散点的距离信息，对原始深度图进行校正和优化，从而大幅度提高了三维成像的精度。

需要说明的是，在本说明书的描述中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

Claims (6)

1.一种被动式三维成像装置，其特征在于，包括：

光信号采集模块，用于采集来自场景与目标的不同谱段的光信号；

光电传感模块，用于基于所述不同谱段的光信号生成多帧二维图像；

处理器模块，用于基于所述多帧二维图像获取所述被动式三维成像装置的位姿信息，并基于所述位姿信息与所述多帧二维图像生成三维图像。

2.如权利要求1所述的被动式三维成像装置，其特征在于，所述光信号采集模块为单孔径宽谱段光学系统，所述单孔径宽谱段光学系统的焦距可调。

3.如权利要求1所述的被动式三维成像装置，其特征在于，所述光电传感模块工作谱段至少包括可见光谱段，所述可见光谱段的像元间距为6μm×6μm、有效像素数为1280×1024，图像频帧为25HZ。

4.如权利要求1所述的被动式三维成像装置，其特征在于，所述光电传感模块工作谱段至少包括红外谱段，所述红外光谱段的像元间距为12μm×12μm、有效像素数640×512，图像频帧为25HZ。

5.如权利要求1所述的被动式三维成像装置，其特征在于，所述处理器模块用于：

基于所述多帧二维图像，采用视觉同步定位与建图方法，获得所述位姿信息与场景的稀疏点云；

将所述位姿信息与所述稀疏点云作为基于深度学习的多帧深度估计方法的优化输入，获得场景的原始深度图；

根据所述原始深度图选取不同距离上的多个离散点，并通过离散点标定模块获取离散点距离信息，以对所述原始深度图进行标定，获得场景的深度图，生成场景的三维图像。

6.如权利要求5所述的被动式三维成像装置，其特征在于，所述离散点标定模块的发射光源根据所述离散点的位姿进行指向控制。

Images