CN112132972B - 一种激光与图像数据融合的三维重建方法及系统 - Google Patents

一种激光与图像数据融合的三维重建方法及系统 Download PDF

Info

Publication number
CN112132972B
CN112132972B CN202011052395.1A CN202011052395A CN112132972B CN 112132972 B CN112132972 B CN 112132972B CN 202011052395 A CN202011052395 A CN 202011052395A CN 112132972 B CN112132972 B CN 112132972B
Authority
CN
China
Prior art keywords
data
dimensional
reconstructed
image
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011052395.1A
Other languages
English (en)
Other versions
CN112132972A (zh
Inventor
刘剑
王锐
邓秋平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingmeixin Beijing Technology Co ltd
Original Assignee
Lingmeixin Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingmeixin Beijing Technology Co ltd filed Critical Lingmeixin Beijing Technology Co ltd
Priority to CN202011052395.1A priority Critical patent/CN112132972B/zh
Publication of CN112132972A publication Critical patent/CN112132972A/zh
Application granted granted Critical
Publication of CN112132972B publication Critical patent/CN112132972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种激光与图像数据融合的三维重建方法，包括：获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图；将所述稀疏深度图转化为稠密深度图，获取每一帧图像的RGB信息和深度信息；构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面；将所述每一帧图像的RGB信息映射至所述重建三维模型的表面，形成纹理信息，获取重建三维模型。本发明还公开了一种激光与图像数据融合的三维重建系统。本发明将被动式三维重建和主动式三维重建产生的数据进行融合和互通，实现三维场景的实时重建。

Description

一种激光与图像数据融合的三维重建方法及系统
技术领域
本发明涉及计算机视觉技术领域，具体而言，涉及一种激光与图像数据融合的三维重建方法及系统。
背景技术
三维重建技术指的是通过二维图像数据获取、深度数据提取、点云提取和匹配、表面生成、法线生成和纹理映射等一系列过程，从离散的数据中获取和整合得到三维表面网格模型的过程。通过三维重建方法的运用，可以将真实世界中的物体转换为计算机逻辑数据能够表达的数字模型，并且在虚拟环境中渲染或者用于数学和物理仿真运算。近年来，对于三维重建技术的研究主要分为两个方向，即被动式三维重建技术和主动式三维重建技术。
(1)被动式三维重建：利用周围可见光下的自然环境，使用照相机拍照生成大量图像，然后通过特定算法计算得到物体的立体空间信息。常见的被动式重建算法为立体视觉法(Multi-View Stereo，MVS)，它利用不同视点上的两幅或多幅图像，首先计算得到每幅图像中包含的特征点信息，将相邻图像的特征点进行对齐和匹配，然后基于视差原理获取图像对应点之间的位置偏差，进而模拟人类的视觉系统，恢复出图像本身的位置姿态数据和图像中包含的三维信息。这类方法通常运算量较大，对实际物体尺寸的估算存在偏差；同时在图像基线距离较大，或者被重建物体的表面非常光滑没有特征信息的情况下，重建效果明显降低，甚至不可用。
(2)主动式三维重建：利用激光、声波、电磁波等光源或能量源，发射多条射线至目标物体，通过接收返回的光波或者能量信息来获取物体相对于光源或能量源的深度信息。常见的主动式重建方法包括：飞行时间法(Time of Flight，ToF)，通过测量发射信号与接收信号的飞行时间间隔来获得能量源与物体的深度距离；结构光法(Structured Light)，通过向物体表面发射具有特征信息的网格状光线，依据视觉识别到光源中的立体信息来辅助提取物体的深度信息。这类方法容易受到环境因素的影响，如太阳光等，导致景物深度不准确，并且光源或者能量源本身存在系统误差与随机误差，对测量结果的影响很大，需要进行后期数据处理。
上述两种重建方法的执行流程差异很大，中间数据和结果数据无法互通，只能并行输出。在实际使用中，往往只能选择一种方案来具体实施，工作效率较低，无法通过工作流或者数据的融合来改善每种方法自身的缺陷。
发明内容
为解决上述问题，本发明的目的在于提供一种激光与图像数据融合的三维重建方法及系统，将被动式三维重建和主动式三维重建产生的数据进行融合和互通，实现三维场景的实时重建。
本发明提供了一种激光与图像数据融合的三维重建方法，所述方法包括：
获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；
将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图；
将所述稀疏深度图转化为稠密深度图，获取每一帧图像的RGB信息和深度信息；
构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面；
将所述每一帧图像的RGB信息映射至所述重建三维模型的表面，形成纹理信息，获取重建三维模型。
作为本发明进一步的改进，所述激光雷达的三维点云数据包括多个点的扫描数据，
其中，所述将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图，包括：
将所述多个点的扫描数据分别转换至笛卡尔坐标系，得到第一数据，其中，所述第一数据包括多个三维坐标点P；
根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/；
根据所述第二数据构建稀疏深度图。
作为本发明进一步的改进，所述标定数据至少包括三维点云数据与RGB图像数据对其后的偏移矩阵Mo和相机的内参矩阵Mi，
其中，根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/，包括：
根据所述标定数据，将所述多个映射点P/分别映射至所述二维图像空间中，获取所述多个映射点P/，其中，
作为本发明进一步的改进，所述将所述稀疏深度图转化为稠密深度图，包括：
将所述第一数据和所述第二数据输入至第一神经网络，获取引导参数图、第一置信度权重图和第一预测深度图；
将所述第一数据和所述引导参数图输入第二神经网络，获取第二置信度权重图和第二预测深度图；
将所述第一置信度权重图和所述第二置信度权重图进行分类输出，并与所述第一预测深度图和所述第二预测深度图进行叠加，得到稠密深度图。
作为本发明进一步的改进，所述晶体网格包括多个大小相同的晶格，所述晶格至少存储有该晶格距离所述重建三维模型的表面的距离值F和该晶格的权重值W，
其中，所述构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面，包括：
对所述待重建三维场景进行体素化，构建晶体网格，并将当前帧图像的深度信息投影至所述晶体网格中；
从传感器平面出发，将所述当前帧图像中每个像素点发射一条到达视锥体远平面的射线，沿该射线遍历该射线所有相交的晶格，其中，所述传感器平面为所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上形成的图像平面；
根据所述所有相交的晶格及其存储的距离值F，确定所有交点的位置；
将所述所有交点的集合面作为所述重建三维模型的表面。
作为本发明进一步的改进，所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上构成传感器，所述传感器在待重建三维场景中移动，
其中，所述方法还包括：
建立相邻两帧图像中各个映射点的对应关系，确定所述相邻两帧图像之间的变换矩阵M；
基于所述变换矩阵M，确定所述相邻两帧图像之间的目标变换矩阵Mopt，其中，s和d分别表示前一帧图像和当前帧图像中的同一映射点，n表示所述前一帧图像到所述当前帧图像的法线向量；
基于所述标变换矩阵Mopt，确定所述传感器在所述待重建三维场景中的位置姿态；
根据所述传感器在所述待重建三维场景中的位置姿态更新所述晶体网格中每个晶格存储的信息。
作为本发明进一步的改进，所述方法还包括：
提取当前晶体网格中权重值最小的交点，并将提取出的数据作为当前待重建三维场景的一个切片数据；
合并所有切片数据，获取完成的重建三维模型的表面。
本发明还提供了一种激光与图像数据融合的三维重建系统，所述系统包括：
数据采集模块，用于获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；
数据映射模块，用于将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图；
图像信息获取模块，用于将所述稀疏深度图转化为稠密深度图，获取每一帧图像的RGB信息和深度信息；
三维重建模块，用于构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面，将所述每一帧图像的RGB信息映射至所述重建三维模型的表面，形成纹理信息，获取所述待重建三维场景的重建三维模型。
作为本发明进一步的改进，所述激光雷达的三维点云数据包括多个点的扫描数据，
其中，所述数据映射模块被配置为：
将所述多个点的扫描数据分别转换至笛卡尔坐标系，得到第一数据，其中，所述第一数据包括多个三维坐标点P；
根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/；
根据所述第二数据构建稀疏深度图。
作为本发明进一步的改进，所述标定数据至少包括三维点云数据与RGB图像数据对其后的偏移矩阵Mo和相机的内参矩阵Mi，
其中，根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/，包括：
根据所述标定数据，将所述多个映射点P/分别映射至所述二维图像空间中，获取所述多个映射点P/，其中，
作为本发明进一步的改进，所述将所述稀疏深度图转化为稠密深度图，包括：
将所述第一数据和所述第二数据输入至第一神经网络，获取引导参数图、第一置信度权重图和第一预测深度图；
将所述第一数据和所述引导参数图输入第二神经网络，获取第二置信度权重图和第二预测深度图；
将所述第一置信度权重图和所述第二置信度权重图进行分类输出，并与所述第一预测深度图和所述第二预测深度图进行叠加，得到稠密深度图。
作为本发明进一步的改进，所述晶体网格包括多个大小相同的晶格，所述晶格至少存储有该晶格距离所述重建三维模型的表面的距离值F和该晶格的权重值W，
其中，所述三维重建模块被配置为：
对所述待重建三维场景进行体素化，构建晶体网格，并将当前帧图像的深度信息投影至所述晶体网格中；
从传感器平面出发，将所述当前帧图像中每个像素点发射一条到达视锥体远平面的射线，沿该射线遍历该射线所有相交的晶格，其中，所述传感器平面为所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上形成的图像平面；
根据所述所有相交的晶格及其存储的距离值F，确定所有交点的位置；
将所述所有交点的集合面作为所述重建三维模型的表面。
作为本发明进一步的改进，所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上构成传感器，所述传感器在待重建三维场景中移动，
其中，所述三维重建模块被配置为：
建立相邻两帧图像中各个映射点的对应关系，确定所述相邻两帧图像之间的变换矩阵M；
基于所述变换矩阵M，确定所述相邻两帧图像之间的目标变换矩阵Mopt，其中，s和d分别表示前一帧图像和当前帧图像中的同一映射点，n表示所述前一帧图像到所述当前帧图像的法线向量；
基于所述标变换矩阵Mopt，确定所述传感器在所述待重建三维场景中的位置姿态；
根据所述传感器在所述待重建三维场景中的位置姿态更新所述晶体网格中每个晶格存储的信息。
作为本发明进一步的改进，所述三维重建模块被配置为：提取当前晶体网格中权重值最小的交点，并将提取出的数据作为当前待重建三维场景的一个切片数据；
合并所有切片数据，获取完成的重建三维模型的表面。
本发明还提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被处理器执行以实现所述的方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现所述的方法。
本发明的有益效果为：融合主动式三维重建的激光雷达设备数据和被动式三维重建的相机设备数据，将两者数据标定配准后，基于神经网络的深度图预测得到连续的RGBD图像数据，并基于连续的RGBD图像数据完成实时三维重建。整个重建过程计算量小，运行稳定且重建速度快，重建结果精度高，尺度信息准确。可适配于多种不同类型的主动式和被动式三维重建设备。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一示例性实施例所述的一种激光与图像数据融合的三维重建方法的流程示意图；
图2为本发明一示例性实施例所述的稀疏深度图转换到稠密深度图的神经网络执行流程图；
图3为本发明一示例性实施例所述的相机的原始RGB图像的示意图；
图4为本发明一示例性实施例所述的稠密深度图的示意图；
图5为本发明一示例性实施例所述的第一预测深度图的示意图；
图6为本发明一示例性实施例所述的第二预测深度图的示意图；
图7为本发明一示例性实施例所述的晶格的示意图；
图8为本发明一示例性实施例所述的重建三维模型的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明的描述中，所用术语仅用于说明目的，并非旨在限制本发明的范围。术语“包括”和/或“包含”用于指定所述元件、步骤、操作和/或组件的存在，但并不排除存在或添加一个或多个其他元件、步骤、操作和/或组件的情况。术语“第一”、“第二”等可能用于描述各种元件，不代表顺序，且不对这些元件起限定作用。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个及两个以上。这些术语仅用于区分一个元素和另一个元素。结合以下附图，这些和/或其他方面变得显而易见，并且，本领域普通技术人员更容易理解关于本发明所述实施例的说明。附图仅出于说明的目的用来描绘本发明所述实施例。本领域技术人员将很容易地从以下说明中认识到，在不背离本发明所述原理的情况下，可以采用本发明所示结构和方法的替代实施例。
本发明实施例所述的一种激光与图像数据融合的三维重建方法，将激光雷达的三维点云数据和相机的连续RGB图像数据作为输入源，并将这两类数据进行融合，获取完整可用的RGBD序列数据，并基于RGBD序列数据完成待重建三维场景的实时三维重建。
可以理解的是，本发明所述激光雷达作为主动式三维重建设备，例如可以为多线雷达、固态激光雷达等，所述相机作为被动式三维重建设备，例如可以为全景相机、多目相机等，本发明所述的方法可适配于多种不同类型的主动式和被动式三维重建设备。本发明对所述激光雷达和所述相机的类型不做具体限定，实际应用过程中可以根据需求进行组合。
本发明所述方法，如图1所示，包括：
S1，获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；
S2，将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图；
S3，将所述稀疏深度图转化为稠密深度图，获取每一帧图像的RGB信息和深度信息；
S4，构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面；
S5，将所述每一帧图像的RGB信息映射至所述重建三维模型的表面，形成纹理信息，获取所述待重建三维场景的重建三维模型。
本发明所述的方法采用了激光雷达和相机的设备组合，例如一台Velodyne-16多线激光雷达和一台采用190度镜头的Flir工业相机，将两者安装至同一刚性结构上，可同时获取激光雷达的三维点云数据和相机的RGB图像数据。可以理解的是，激光雷达和相机安装在同一刚性结构上，初始时需对两者进行标定，配准两者的位置和角度关系，使得激光雷达的三维点云数据可以正确映射至相机拍摄的RGB图像中，并与相机的RGB图像中对应位置的像素对齐。在对两者标定后，可以获取标定数据，该标定数据用于在待重建三维场景中，对实时获取的三维点云数据和相机的RGB图像数据进行映射。
一种可选的实施方式，所述激光雷达的三维点云数据包括多个点的扫描数据，
其中，所述将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图，包括：
将所述多个点的扫描数据分别转换至笛卡尔坐标系，得到第一数据，其中，所述第一数据包括多个三维坐标点P；
根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/；
根据所述第二数据构建稀疏深度图。
可以理解的是，三维点云数据在扫描时是以点的形式记录，包括多个点的扫描数据，每一个点在笛卡尔坐标系中对应一个三维坐标，因此，三维点云数据可以转换成包括多个三维坐标点P的第一数据。在多个三维坐标点P映射的过程中，每一个三维坐标点P在二维图像空间中映射为一个映射点P/，该二维图像空间可以理解为图像宽度和高度所定义的二维空间。在映射过程中，当映射点P/位于该二维图像空间内，且对应的三维坐标点P与相机坐标系中原点之间的距离不大于预设的最远可用距离(该最远可用距离可根据使用需求进行预设)时，将该映射点P/保存，反之丢弃该射点P/。在保存稀疏深度图的过程中，每一帧稀疏深度图需要与当前帧对应的RGB图像对齐保存。
其中，每个三维坐标点P的坐标可根据P＝(rcosαcosθ,rsinαcosθ,rsinθ)获取。其中，α表示在笛卡尔坐标系中点P相对于原点的水平角度、θ表示在笛卡尔坐标系中点P相对于原点的垂直角度，r表示在笛卡尔坐标系中点P相对于原点的距离。
一种可选的实施方式，所述标定数据至少包括三维点云数据与RGB图像数据对其后的偏移矩阵Mo和相机的内参矩阵Mi，
其中，根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/，包括：
根据所述标定数据，将所述多个映射点P/分别映射至所述二维图像空间中，获取所述多个映射点P/，其中，
如前述所述，标定数据在标定激光雷达和相机后可以获取，标定数据至少需要包括偏移矩阵Mo和内参矩阵Mi，其中，偏移矩阵Mo通过将三维点云数据中三维坐标点P与RGB图像中对应位置的像素对齐后，计算对齐时映射点P/坐标与像素坐标之间的相对位置偏移信息获取，内参矩阵Mi通过对相机的内部畸变参数进行标定获取。
一种可选的实施方式，所述将所述稀疏深度图转化为稠密深度图，如图2所示，包括：
将所述第一数据(LIDAR)和所述第二数据(RGB)输入至第一神经网络(GLOBALBRANCH)，获取引导参数图(GUIDANCE MAP)、第一置信度权重图(CONFIDENCE WEIGHTS)和第一预测深度图(GLOBAL DEPTH PREDICTION)；其中，所述引导参数图作为所述第二数据(输入的RGB数据)的引导参数图；
将所述第一数据和所述引导参数图输入第二神经网络(LOCAL BRANCH)，获取第二置信度权重图(CONFIDENCE WEIGHTS)和第二预测深度图(GLOBAL DEPTH PREDICTION)；
将所述第一置信度权重图和所述第二置信度权重图进行分类输出(SOFTMAXLAYER)，并与所述第一预测深度图和所述第二预测深度图进行叠加，得到稠密深度图(DEPTH MAP)。
本发明所述的方法通过深度学习的方法，对每一帧稀疏深度图进行自动补全，转化为稠密深度图，并与对应的RGB图像对齐保存。该稠密深度图包括每一帧图像的深度信息，RGB图像数据包括每一帧图像的RGB信息，至此可得到每一帧图像的RGB信息和深度信息，即RGBD信息。可以理解的是，所述第一神经网络和所述第二神经网络的网络结构相同或不同。所述第一神经网络和所述第二神经网络可以采用置信度网络。其中，所述第一神经网络作为全局置信度网络(GLOBAL BRANCH)，所述第二神经网络作为局部置信度网络(LOCALBRANCH)。置信度网络可以包括特征融合层和决策层，通过置信度网络可以得到预测深度图的置信度，利用置信度池化方式得到最终的预测结果。其中全局置信度网络和局部置信度网络中分别通过池化的方法对图像块进行神经网络分析，分别得到第一预测深度图和对应的第一置信度权重图、第二预测深度图和对应的第二置信度权重图，再将两个网络得到的第一预测深度图和第二预测深度图分别与对应的第一置信度权重图和第二置信度权重图加权合并，以获得准确度更高的预测结果(稠密深度图)。图4-图6示出了第一预测深度图、第二预测深度图，以及最终的稠密深度图的示意图。
一种可选的实施方式，所述晶体网格包括多个大小相同的晶格，所述晶格至少存储有该晶格距离所述重建三维模型的表面的距离值F和该晶格的权重值W，
其中，所述构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面，包括：
对所述待重建三维场景进行体素化，构建晶体网格，并将当前帧图像的深度信息投影至所述晶体网格中；
从传感器平面出发，将所述当前帧图像中每个像素点发射一条到达视锥体远平面的射线，沿该射线遍历该射线所有相交的晶格，其中，所述传感器平面为所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上形成的图像平面；
根据所述所有相交的晶格及其存储的距离值F，确定所有交点的位置；
将所述所有交点的集合面作为所述重建三维模型的表面。
如前述所述，本发明将激光雷达和相机安装在同一刚性结构上，对两者标定后，将两者视为一个传感器，据此构建待重建三维场景的晶体网格。如图7所示，所述的方法通过Raycasting算法模拟观测位置(该观测位置可以理解为传感器Sensor位置处)的一个虚拟的图像平面(传感器平面)，从该图像平面的每个像素都投射出一条射线，这条射线必然会穿过所述晶体网格中两个紧邻的晶格(Volume)，而重建三维模型的表面信息就包含在这些晶格中。其中，所述晶体网格包括多个大小相同的晶格，每个晶格中存储有一个距离值F和一个权重值W，还可以包括当前帧的RGB三个通道的分量值。距离值F为晶格距离所述重建三维模型的表面(Range surface)的距离。可以理解的是，所述重建三维模型的表面作为分隔面，位于传感器一侧的晶格中存储的距离值为正数，且晶格距离所述重建三维模型的表面越远，该晶格中存储的距离值越大，另一侧的晶格中存储的距离值则为负数，且晶格距离所述重建三维模型的表面越远，该晶格中存储的距离值越小，各个晶格中存储的权重值与所述重建三维模型的表面所测量的不确定度有关。根据每两个晶格的实际位置和所述晶体网格中的距离值，利用线性插值法在直线距离上估算的结果，可以求出精确的交点位置，这些交点的集合面就是最终重建得到的三维模型的表面。在确定交点的过程中，遍历每条射线所有相交的晶格，直至晶格内存储的距离值由正数变为负数或由负数变为正数的过程中，当距离值为0时，即可确定为交点(Zero-crossing)。
一种可选的实施方式，所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上构成传感器，所述传感器在待重建三维场景中移动，
其中，所述方法还包括：
建立相邻两帧图像中各个映射点的对应关系，确定所述相邻两帧图像之间的变换矩阵M；
基于所述变换矩阵M，确定所述相邻两帧图像之间的目标变换矩阵Mopt，其中，s和d分别表示前一帧图像和当前帧图像中的同一映射点，n表示所述前一帧图像到所述当前帧图像的法线向量，i表示图像帧序号；
基于所述标变换矩阵Mopt，确定所述传感器在所述待重建三维场景中的位置姿态；
根据所述传感器在所述待重建三维场景中的位置姿态更新所述晶体网格中每个晶格存储的信息。
可以理解的是，初始构建的晶体网格是大小固定的，可将晶体网格视为一个循环缓存，通过晶体网格的移位来表示传感器在待重建三维场景中的移动，从而扩展重建三维区域至无限大。本发明所述的方法需要不断更新传感器在三维场景中的位置，通过ICP算法实现最近邻点的迭代，进而确定相邻两帧图像的点云数据的刚性变化(当前帧图像相对于前一帧图像的相对位移与转动信息)。在ICP每一次迭代过程中，对传感器位姿的求解都可以转化为一个非线性最小二乘问题。对建立好的源数据(前一帧图像)和目标数据(当前帧图像)之间建立点的对应关系，即可找到每个点周围距离其最近的点，根据最小化对应点之间的误差，得到源数据和目标数据之间的变换矩阵(该变换矩阵可以理解为源数据到目标数据的刚性变换矩阵)，再对该变换矩阵求最优得到优化后的变换矩阵(该优化后的变换矩阵即为目标变换矩阵)。
一种可选的实施方式，所述方法还包括：
提取当前晶体网格中权重值最小的交点，并将提取出的数据作为当前待重建三维场景的一个切片数据；
合并所有切片数据，获取完成的重建三维模型的表面。
如前述所述，所述晶体网格是不断更新的，晶体网格每次更新前，提取当前晶体网格中有最小权重值的交点，提取出来的网格数据都是当前待重建三维场景的一个切片数据，增量式地把所有的切片数据合并到一起，即可生成完整的三维模型的表面。
本发明所述的方法在形成纹理信息时，每一帧图像中包含的RGB信息可以经由映射的方式，与生成的三维模型的表面顶点一一对应，并映射至三维模型的表面的三角图元上，来形成纹理信息，完成重建三维模型的着色过程。图8示出了重建三维模型的示意图。
本发明还提供了一种激光与图像数据融合的三维重建系统，所述系统包括：
数据采集模块，用于获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；
数据映射模块，用于将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图；
图像信息获取模块，用于将所述稀疏深度图转化为稠密深度图，获取每一帧图像的RGB信息和深度信息；
三维重建模块，用于构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面，将所述每一帧图像的RGB信息映射至所述重建三维模型的表面，形成纹理信息，获取所述待重建三维场景的重建三维模型。
本发明所述的系统采用了激光雷达和相机的设备组合，例如一台Velodyne-16多线激光雷达和一台采用190度镜头的Flir工业相机，将两者安装至同一刚性结构上，可同时获取激光雷达的三维点云数据和相机的RGB图像数据。可以理解的是，激光雷达和相机安装在同一刚性结构上，初始时需对两者进行标定，配准两者的位置和角度关系，使得激光雷达的三维点云数据可以正确映射至相机拍摄的RGB图像中，并与相机的RGB图像中对应位置的像素对齐。在对两者标定后，可以获取标定数据，该标定数据用于在待重建三维场景中，对实时获取的三维点云数据和相机的RGB图像数据进行映射。
一种可选的实施方式，所述激光雷达的三维点云数据包括多个点的扫描数据，
其中，所述数据映射模块被配置为：
将所述多个点的扫描数据分别转换至笛卡尔坐标系，得到第一数据，其中，所述第一数据包括多个三维坐标点P；
根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/；
根据所述第二数据构建稀疏深度图。
可以理解的是，三维点云数据在扫描时是以点的形式记录，包括多个点的扫描数据，每一个点在笛卡尔坐标系中对应一个三维坐标，因此，三维点云数据可以转换成包括多个三维坐标点P的第一数据。在多个三维坐标点P映射的过程中，每一个三维坐标点P在二维图像空间中映射为一个映射点P/，该二维图像空间可以理解为图像宽度和高度所定义的二维空间。在映射过程中，当映射点P/位于该二维图像空间内，且对应的三维坐标点P与相机坐标系中原点之间的距离不大于预设的最远可用距离(该最远可用距离可根据使用需求进行预设)时，将该映射点P/保存，反之丢弃该射点P/。在保存稀疏深度图的过程中，每一帧稀疏深度图需要与当前帧对应的RGB图像对齐保存。
其中，每个三维坐标点P的坐标可根据P＝(rcosαcosθ,rsinαcosθ,rsinθ)获取。其中，α表示在笛卡尔坐标系中点P相对于原点的水平角度、θ表示在笛卡尔坐标系中点P相对于原点的垂直角度，r表示在笛卡尔坐标系中点P相对于原点的距离。
一种可选的实施方式，所述标定数据至少包括三维点云数据与RGB图像数据对其后的偏移矩阵Mo和相机的内参矩阵Mi，
其中，根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/，包括：
根据所述标定数据，将所述多个映射点P/分别映射至所述二维图像空间中，获取所述多个映射点P/，其中，
如前述所述，标定数据在标定激光雷达和相机后可以获取，标定数据至少需要包括偏移矩阵Mo和内参矩阵Mi，其中，偏移矩阵Mo通过将三维点云数据中三维坐标点P与RGB图像中对应位置的像素对齐后，计算对齐时映射点P/坐标与像素坐标之间的相对位置偏移信息获取，内参矩阵Mi通过对相机的内部畸变参数进行标定获取。
一种可选的实施方式，所述将所述稀疏深度图转化为稠密深度图，如图2所示，包括：
将所述第一数据(LIDAR)和所述第二数据(RGB)输入至第一神经网络(GLOBALBRANCH)，获取引导参数图(GUIDANCE MAP)、第一置信度权重图(CONFIDENCE WEIGHTS)和第一预测深度图(GLOBAL DEPTH PREDICTION)；其中，所述引导参数图作为所述第二数据(输入的RGB数据)的引导参数图；
将所述第一数据和所述引导参数图输入第二神经网络(LOCAL BRANCH)，获取第二置信度权重图(CONFIDENCE WEIGHTS)和第二预测深度图(GLOBAL DEPTH PREDICTION)；
将所述第一置信度权重图和所述第二置信度权重图进行分类输出(SOFTMAXLAYER)，并与所述第一预测深度图和所述第二预测深度图进行叠加，得到稠密深度图(DEPTH MAP)。
本发明所述的系统通过深度学习的方法，对每一帧稀疏深度图进行自动补全，转化为稠密深度图，并与对应的RGB图像对齐保存。该稠密深度图包括每一帧图像的深度信息，RGB图像数据包括每一帧图像的RGB信息，至此可得到每一帧图像的RGB信息和深度信息，即RGBD信息。可以理解的是，所述第一神经网络和所述第二神经网络的网络结构相同或不同。所述第一神经网络和所述第二神经网络可以采用置信度网络。其中，所述第一神经网络作为全局置信度网络(GLOBAL BRANCH)，所述第二神经网络作为局部置信度网络(LOCALBRANCH)。置信度网络可以包括特征融合层和决策层，通过置信度网络可以得到预测深度图的置信度，利用置信度池化方式得到最终的预测结果。其中全局置信度网络和局部置信度网络中分别通过池化的方法对图像块进行神经网络分析，分别得到第一预测深度图和对应的第一置信度权重图、第二预测深度图和对应的第二置信度权重图，再将两个网络得到的第一预测深度图和第二预测深度图分别与对应的第一置信度权重图和第二置信度权重图加权合并，以获得准确度更高的预测结果(稠密深度图)。图4-图6示出了第一预测深度图、第二预测深度图，以及最终的稠密深度图的示意图。
一种可选的实施方式，所述晶体网格包括多个大小相同的晶格，所述晶格至少存储有该晶格距离所述重建三维模型的表面的距离值F和该晶格的权重值W，
其中，所述三维重建模块被配置为：
对所述待重建三维场景进行体素化，构建晶体网格，并将当前帧图像的深度信息投影至所述晶体网格中；
从传感器平面出发，将所述当前帧图像中每个像素点发射一条到达视锥体远平面的射线，沿该射线遍历该射线所有相交的晶格，其中，所述传感器平面为所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上形成的图像平面；
根据所述所有相交的晶格及其存储的距离值F，确定所有交点的位置；
将所述所有交点的集合面作为所述重建三维模型的表面。
如前述所述，本发明将激光雷达和相机安装在同一刚性结构上，对两者标定后，将两者视为一个传感器，据此构建待重建三维场景的晶体网格。如图7所示，所述的方法通过Raycasting算法模拟观测位置(该观测位置可以理解为传感器Sensor位置处)的一个虚拟的图像平面(传感器平面)，从该图像平面的每个像素都投射出一条射线，这条射线必然会穿过所述晶体网格中两个紧邻的晶格(Volume)，而重建三维模型的表面信息就包含在这些晶格中。其中，所述晶体网格包括多个大小相同的晶格，每个晶格中存储有一个距离值F和一个权重值W，还可以包括当前帧的RGB三个通道的分量值。距离值F为晶格距离所述重建三维模型的表面(Range surface)的距离。可以理解的是，所述重建三维模型的表面作为分隔面，位于传感器一侧的晶格中存储的距离值为正数，且晶格距离所述重建三维模型的表面越远，该晶格中存储的距离值越大，另一侧的晶格中存储的距离值则为负数，且晶格距离所述重建三维模型的表面越远，该晶格中存储的距离值越小，各个晶格中存储的权重值与所述重建三维模型的表面所测量的不确定度有关。根据每两个晶格的实际位置和所述晶体网格中的距离值，利用线性插值法在直线距离上估算的结果，可以求出精确的交点位置，这些交点的集合面就是最终重建得到的三维模型的表面。在确定交点的过程中，遍历每条射线所有相交的晶格，直至晶格内存储的距离值由正数变为负数或由负数变为正数的过程中，当距离值为0时，即可确定为交点(Zero-crossing)。
一种可选的实施方式，所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上构成传感器，所述传感器在待重建三维场景中移动，
其中，所述三维重建模块被配置为：
建立相邻两帧图像中各个映射点的对应关系，确定所述相邻两帧图像之间的变换矩阵M；
基于所述变换矩阵M，确定所述相邻两帧图像之间的目标变换矩阵Mopt，其中，s和d分别表示前一帧图像和当前帧图像中的同一映射点，n表示所述前一帧图像到所述当前帧图像的法线向量，i表示图像帧序号；
基于所述标变换矩阵Mopt，确定所述传感器在所述待重建三维场景中的位置姿态；
根据所述传感器在所述待重建三维场景中的位置姿态更新所述晶体网格中每个晶格存储的信息。
可以理解的是，初始构建的晶体网格是大小固定的，可将晶体网格视为一个循环缓存，通过晶体网格的移位来表示传感器在待重建三维场景中的移动，从而扩展重建三维区域至无限大。本发明所述的系统需要不断更新传感器在三维场景中的位置，通过ICP算法实现最近邻点的迭代，进而确定相邻两帧图像的点云数据的刚性变化(当前帧图像相对于前一帧图像的相对位移与转动信息)。在ICP每一次迭代过程中，对传感器位姿的求解都可以转化为一个非线性最小二乘问题。对建立好的源数据(前一帧图像)和目标数据(当前帧图像)之间建立点的对应关系，即可找到每个点周围距离其最近的点，根据最小化对应点之间的误差，得到源数据和目标数据之间的变换矩阵(该变换矩阵可以理解为源数据到目标数据的刚性变换矩阵)，再对该变换矩阵求最优得到优化后的变换矩阵(该优化后的变换矩阵即为目标变换矩阵)。
一种可选的实施方式，所述三维重建模块被配置为：提取当前晶体网格中权重值最小的交点，并将提取出的数据作为当前待重建三维场景的一个切片数据；
合并所有切片数据，获取完成的重建三维模型的表面。
如前述所述，所述晶体网格是不断更新的，晶体网格每次更新前，提取当前晶体网格中有最小权重值的交点，提取出来的网格数据都是当前待重建三维场景的一个切片数据，增量式地把所有的切片数据合并到一起，即可生成完整的三维模型的表面。
本发明所述的系统在形成纹理信息时，每一帧图像中包含的RGB信息可以经由映射的方式，与生成的三维模型的表面顶点一一对应，并映射至三维模型的表面的三角图元上，来形成纹理信息，完成重建三维模型的着色过程。图8示出了重建三维模型的示意图。
本公开还涉及一种电子设备，包括服务器、终端等。该电子设备包括：至少一个处理器；与至少一个处理器通信连接的存储器；以及与存储介质通信连接的通信组件，所述通信组件在处理器的控制下接收和发送数据；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行以实现上述实施例中的方法。
在一种可选的实施方式中，存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器中，当被一个或者多个处理器执行时，执行上述任意方法实施例中的方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本公开还涉及一种计算机可读存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
此外，本领域普通技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本领域技术人员应理解，尽管已经参考示例性实施例描述了本发明，但是在不脱离本发明的范围的情况下，可进行各种改变并可用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可进行许多修改以使特定情况或材料适应本发明的教导。因此，本发明不限于所公开的特定实施例，而是本发明将包括落入所附权利要求范围内的所有实施例。

Claims (14)

1.一种激光与图像数据融合的三维重建方法，其特征在于，所述方法包括：
获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；
将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图；
将所述稀疏深度图转化为稠密深度图，获取每一帧图像的RGB信息和深度信息；
构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面；
将所述每一帧图像的RGB信息映射至所述重建三维模型的表面，形成纹理信息，获取重建三维模型，其中，所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上构成传感器，所述传感器在待重建三维场景中移动，所述方法还包括：
建立相邻两帧图像中各个映射点的对应关系，确定所述相邻两帧图像之间的变换矩阵M；
基于所述变换矩阵M，确定所述相邻两帧图像之间的目标变换矩阵Mopt，其中，，s和d分别表示前一帧图像和当前帧图像中的同一映射点，n表示所述前一帧图像到所述当前帧图像的法线向量；
基于所述标变换矩阵Mopt，确定所述传感器在所述待重建三维场景中的位置姿态；
根据所述传感器在所述待重建三维场景中的位置姿态更新所述晶体网格中每个晶格存储的信息。
2.如权利要求1所述的方法，其中，所述激光雷达的三维点云数据包括多个点的扫描数据，
其中，所述将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图，包括：
将所述多个点的扫描数据分别转换至笛卡尔坐标系，得到第一数据，其中，所述第一数据包括多个三维坐标点P；
根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/；
根据所述第二数据构建稀疏深度图。
3.如权利要求2所述的方法，其中，所述标定数据至少包括三维点云数据与RGB图像数据对其后的偏移矩阵Mo和相机的内参矩阵Mi，
其中，根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/，包括：
根据所述标定数据，将所述多个映射点P/分别映射至所述二维图像空间中，获取所述多个映射点P/，其中，。
4.如权利要求2所述的方法，其中，所述将所述稀疏深度图转化为稠密深度图，包括：
将所述第一数据和所述第二数据输入至第一神经网络，获取引导参数图、第一置信度权重图和第一预测深度图；
将所述第一数据和所述引导参数图输入第二神经网络，获取第二置信度权重图和第二预测深度图；
将所述第一置信度权重图和所述第二置信度权重图进行分类输出，并与所述第一预测深度图和所述第二预测深度图进行叠加，得到稠密深度图。
5.如权利要求1所述的方法，其中，所述晶体网格包括多个大小相同的晶格，所述晶格至少存储有该晶格距离所述重建三维模型的表面的距离值F和该晶格的权重值W，
其中，所述构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面，包括：
对所述待重建三维场景进行体素化，构建晶体网格，并将当前帧图像的深度信息投影至所述晶体网格中；
从传感器平面出发，将所述当前帧图像中每个像素点发射一条到达视锥体远平面的射线，沿该射线遍历该射线所有相交的晶格，其中，所述传感器平面为所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上形成的图像平面；
根据所述所有相交的晶格及其存储的距离值F，确定所有交点的位置；
将所述所有交点的集合面作为所述重建三维模型的表面。
6.如权利要求5所述的方法，其中，所述方法还包括：
提取当前晶体网格中权重值最小的交点，并将提取出的数据作为当前待重建三维场景的一个切片数据；
合并所有切片数据，获取完成的重建三维模型的表面。
7.一种激光与图像数据融合的三维重建系统，其特征在于，所述系统包括：
数据采集模块，用于获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；
数据映射模块，用于将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图；
图像信息获取模块，用于将所述稀疏深度图转化为稠密深度图，获取每一帧图像的RGB信息和深度信息；
三维重建模块，用于构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面，将所述每一帧图像的RGB信息映射至所述重建三维模型的表面，形成纹理信息，获取所述待重建三维场景的重建三维模型，其中，所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上构成传感器，所述传感器在待重建三维场景中移动，所述三维重建模块被配置为：
建立相邻两帧图像中各个映射点的对应关系，确定所述相邻两帧图像之间的变换矩阵M；
基于所述变换矩阵M，确定所述相邻两帧图像之间的目标变换矩阵Mopt，其中，，s和d分别表示前一帧图像和当前帧图像中的同一映射点，n表示所述前一帧图像到所述当前帧图像的法线向量；
基于所述标变换矩阵Mopt，确定所述传感器在所述待重建三维场景中的位置姿态；
根据所述传感器在所述待重建三维场景中的位置姿态更新所述晶体网格中每个晶格存储的信息。
8.如权利要求7所述的系统，其中，所述激光雷达的三维点云数据包括多个点的扫描数据，
其中，所述数据映射模块被配置为：
将所述多个点的扫描数据分别转换至笛卡尔坐标系，得到第一数据，其中，所述第一数据包括多个三维坐标点P；
根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/；
根据所述第二数据构建稀疏深度图。
9.如权利要求8所述的系统，其中，所述标定数据至少包括三维点云数据与RGB图像数据对其后的偏移矩阵Mo和相机的内参矩阵Mi，
其中，根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/，包括：
根据所述标定数据，将所述多个映射点P/分别映射至所述二维图像空间中，获取所述多个映射点P/，其中，。
10.如权利要求8所述的系统，其中，所述将所述稀疏深度图转化为稠密深度图，包括：
将所述第一数据和所述第二数据输入至第一神经网络，获取引导参数图、第一置信度权重图和第一预测深度图；
将所述第一数据和所述引导参数图输入第二神经网络，获取第二置信度权重图和第二预测深度图；
将所述第一置信度权重图和所述第二置信度权重图进行分类输出，并与所述第一预测深度图和所述第二预测深度图进行叠加，得到稠密深度图。
11.如权利要求7所述的系统，其中，所述晶体网格包括多个大小相同的晶格，所述晶格至少存储有该晶格距离所述重建三维模型的表面的距离值F和该晶格的权重值W，
其中，所述三维重建模块被配置为：
对所述待重建三维场景进行体素化，构建晶体网格，并将当前帧图像的深度信息投影至所述晶体网格中；
从传感器平面出发，将所述当前帧图像中每个像素点发射一条到达视锥体远平面的射线，沿该射线遍历该射线所有相交的晶格，其中，所述传感器平面为所述激光雷达和所述相机在所述待重建三维场景内安装于同一刚性结构上形成的图像平面；
根据所述所有相交的晶格及其存储的距离值F，确定所有交点的位置；
将所述所有交点的集合面作为所述重建三维模型的表面。
12.如权利要求11所述的系统，其中，所述三维重建模块被配置为：
提取当前晶体网格中权重值最小的交点，并将提取出的数据作为当前待重建三维场景的一个切片数据；
合并所有切片数据，获取完成的重建三维模型的表面。
13.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被处理器执行以实现如权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行以实现如权利要求1-6中任一项所述的方法。
CN202011052395.1A 2020-09-29 2020-09-29 一种激光与图像数据融合的三维重建方法及系统 Active CN112132972B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011052395.1A CN112132972B (zh) 2020-09-29 2020-09-29 一种激光与图像数据融合的三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011052395.1A CN112132972B (zh) 2020-09-29 2020-09-29 一种激光与图像数据融合的三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN112132972A CN112132972A (zh) 2020-12-25
CN112132972B true CN112132972B (zh) 2024-03-22

Family

ID=73844888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011052395.1A Active CN112132972B (zh) 2020-09-29 2020-09-29 一种激光与图像数据融合的三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN112132972B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927353B (zh) * 2021-02-25 2023-05-19 电子科技大学 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN113066162B (zh) * 2021-03-12 2022-04-29 武汉大学 一种用于电磁计算的城市环境快速建模方法
CN113065590B (zh) * 2021-03-26 2021-10-08 清华大学 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
CN113112589B (zh) * 2021-04-13 2022-09-02 哈尔滨工程大学 基于空间占用概率融合的增量式遥感图像的三维重建方法
CN113178009B (zh) * 2021-04-19 2023-08-25 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法
CN113192182A (zh) * 2021-04-29 2021-07-30 山东产研信息与人工智能融合研究院有限公司 一种基于多传感器的实景重建方法及系统
CN113298932B (zh) * 2021-05-19 2022-08-30 南京邮电大学 一种小行星3d模拟模型立体重建方法
CN113470180B (zh) * 2021-05-25 2022-11-29 思看科技(杭州)股份有限公司 三维网格重建方法、装置、电子装置和存储介质
CN113538547A (zh) * 2021-06-03 2021-10-22 苏州小蜂视觉科技有限公司 一种3d线激光传感器的深度处理方法及点胶设备
CN113269859B (zh) * 2021-06-09 2023-11-24 中国科学院自动化研究所 面向执行器操作空间的rgbd视觉实时重建方法及系统
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN113838213A (zh) * 2021-11-23 2021-12-24 深圳市其域创新科技有限公司 一种基于激光和相机传感器的三维模型生成方法及其系统
CN115591240B (zh) * 2022-12-01 2023-04-07 腾讯科技（深圳）有限公司 三维游戏场景的特征提取方法、装置、设备及存储介质
CN116824067B (zh) * 2023-08-24 2023-11-24 成都量芯集成科技有限公司 一种室内三维重建方法及其装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067470A (zh) * 2017-04-05 2017-08-18 东北大学 基于红外热像仪与深度相机的便携式三维温度场重建系统
CN107833253A (zh) * 2017-09-22 2018-03-23 北京航空航天大学青岛研究院 一种面向rgbd三维重建纹理生成的相机姿态优化方法
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN108961390A (zh) * 2018-06-08 2018-12-07 华中科技大学 基于深度图的实时三维重建方法
CN109840940A (zh) * 2019-02-11 2019-06-04 清华-伯克利深圳学院筹备办公室 动态三维重建方法、装置、设备、介质和系统
CN110310362A (zh) * 2019-06-24 2019-10-08 中国科学院自动化研究所 基于深度图及imu的高动态场景三维重建方法、系统
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN111563923A (zh) * 2020-07-15 2020-08-21 浙江大华技术股份有限公司 获得稠密深度图的方法及相关装置
CN111640180A (zh) * 2020-08-03 2020-09-08 深圳市优必选科技股份有限公司 一种三维重建方法、装置及终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067470A (zh) * 2017-04-05 2017-08-18 东北大学 基于红外热像仪与深度相机的便携式三维温度场重建系统
CN107833253A (zh) * 2017-09-22 2018-03-23 北京航空航天大学青岛研究院 一种面向rgbd三维重建纹理生成的相机姿态优化方法
CN108961390A (zh) * 2018-06-08 2018-12-07 华中科技大学 基于深度图的实时三维重建方法
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN109840940A (zh) * 2019-02-11 2019-06-04 清华-伯克利深圳学院筹备办公室 动态三维重建方法、装置、设备、介质和系统
CN110310362A (zh) * 2019-06-24 2019-10-08 中国科学院自动化研究所 基于深度图及imu的高动态场景三维重建方法、系统
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN111563923A (zh) * 2020-07-15 2020-08-21 浙江大华技术股份有限公司 获得稠密深度图的方法及相关装置
CN111640180A (zh) * 2020-08-03 2020-09-08 深圳市优必选科技股份有限公司 一种三维重建方法、装置及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
复杂场景下基于深度相机的密集点三维重建;黄伟杰;《全国优秀博硕士学位论文全文库(博士) 信息科技辑》;全文 *

Also Published As

Publication number Publication date
CN112132972A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
CN110097553B (zh) 基于即时定位建图与三维语义分割的语义建图系统
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
CN108401461B (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN108369743B (zh) 使用多方向相机地图构建空间
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
CN110176032B (zh) 一种三维重建方法及装置
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
JP2014096152A (ja) ポイントクラウド内の埋め戻しポイント
CN109709977B (zh) 移动轨迹规划的方法、装置及移动物体
CN111141264B (zh) 一种基于无人机的城市三维测绘方法和系统
WO2020152437A1 (en) Depth estimation
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
CN104794713A (zh) 基于arm和双目视觉的温室作物数字化成像方法
WO2023164845A1 (zh) 三维重建方法、装置、系统及存储介质
CN112132900A (zh) 一种视觉重定位方法及系统
CN116503566B (zh) 一种三维建模方法、装置、电子设备及存储介质
CN117214904A (zh) 一种基于多传感器数据的鱼类智能识别监测方法和系统
Wang et al. Automated mosaicking of UAV images based on SFM method
CN116704112A (zh) 一种用于对象重建的3d扫描系统
CN107784666B (zh) 基于立体影像的地形地物三维变化检测和更新方法
CN107578429B (zh) 基于动态规划和全局代价累积路径的立体影像密集匹配方法
CN113345084B (zh) 三维建模系统及三维建模方法
CN104200469A (zh) 一种视觉智能数控系统的数据融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant