CN115049794A - 通过深度补全生成稠密的全局点云图方法及系统 - Google Patents

通过深度补全生成稠密的全局点云图方法及系统 Download PDF

Info

Publication number
CN115049794A
CN115049794A CN202210337571.9A CN202210337571A CN115049794A CN 115049794 A CN115049794 A CN 115049794A CN 202210337571 A CN202210337571 A CN 202210337571A CN 115049794 A CN115049794 A CN 115049794A
Authority
CN
China
Prior art keywords
point cloud
depth
color
dense
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210337571.9A
Other languages
English (en)
Inventor
潘文安
刘子骁
胡钰玺
付泰蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong Shenzhen
Original Assignee
Chinese University of Hong Kong Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong Shenzhen filed Critical Chinese University of Hong Kong Shenzhen
Priority to CN202210337571.9A priority Critical patent/CN115049794A/zh
Publication of CN115049794A publication Critical patent/CN115049794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Abstract

本发明涉及一种生成稠密全局点云图的方法和系统，通过利用图像引导的深度补全方法来获得更稠密的全局点云图，提取图像及点云和位姿信息，将图像点云转换为稀疏深度图，对初始图像进行颜色信息提取预测深度，输出颜色分支稠密深度图；对每个点云的稀疏深度图进行深度信息提取，输出深度分支稠密深度图；融合颜色分支稠密深度图和深度分支稠密深度图，在短时间内获得更准确的深度和精细的纹理稠密的深度信息，从而生成稠密全局点云图。

Description

通过深度补全生成稠密的全局点云图方法及系统
技术领域
本发明涉及遥感领域，尤其是一种通过图像引导深度补全来生成稠密全局点云图的方法和系统。
背景技术
三维城市模型(three-dimensional，3D)在如数字城市、城市规划和地理测绘、城市运行模拟、智慧城市和环境保护等广泛的应用中不可或缺。3D城市模型的重建方法包括使用卫星遥感图像或无人机遥感图像，但存在许多缺点：繁琐的规划阶段、有限的分辨率和耗时的重建过程，存在诸多不便。
激光雷达在三维城市重建中起着关键作用，激光雷达、相机和无人机的协同作用将成为未来实时重建具有精确几何形状和详细纹理的三维城市模型的最终可行技术。在固态技术最新进展的推动下，固态激光雷达通过使用非重复扫描模式，可以提供比传统机械激光雷达多得多的数据点。在这种最新的固态激光雷达(如Livox)的支持下，新的令人兴奋的应用正在以更低的成本和更高的性能出现。例如，激光雷达里程计与建图(LiDAROdometry and Mapping，LOAM)是最受欢迎的激光雷达同步定位与建图(SimultaneousLocalization and Mapping，SLAM)实现之一，最近被移植到Livox。基于这个适配到Livox的LOAM，为Livox Horizon开发了一个激光雷达SLAM。此外，CamVox将Livox和单目相机整合为RGB-D相机，同时为新的RGB-D相机提出了一个改良的ORB-SLAM2。另外，也可以增加激光雷达的扫描时间来生成稠密的点云。
但实际应用在处理短时间中存在限制。如灾后环境三维模型重建，由于灾后环境不稳定甚至有危险，必须在短时间内完成扫描。在这种限制下，通过利用稠密的深度信息来提升三维模型的重建是可行的。精确的图像引导的深度补全将能够更好地利用相机拍摄的图像来产生稠密的深度信息。例如，面向精确和有效图像引导深度补全(PENet)是最成熟的深度补全方法之一。在PENet中，数据集KITTI被用来训练神经网络，而KITTI中的深度信息是由一个视场有限的Velodyne激光雷达采集的。近期，DenseLivox提供了一个由Livox激光雷达采集的新数据集。该新数据集据称可以获得远超KITTI的覆盖88.3％视场的稠密深度真值，这使得深度补全方法的评估有了更准确的结果。
因此，如何在短时间，获得更准确的深度和精细的纹理，如何生成稠密的全局点云图，避免实际中存在的风险，是亟待解决的问题。
发明内容
本发明所要解决的技术问题是提供一种利用图像引导的深度补全方法来获得更稠密的全局点云图方法和系统。
为了解决上述技术问题，本发明采用的技术方案为：一种生成稠密全局点云图的方法，包括如下步骤：
S1.采集需要生成稠密全局点云图目标的多个初始图像及其对应点云；
S2.对每个点云计算矫正得到其对应的位姿信息；
S3.每个点云计算转换为稀疏深度图；
S4.对初始图像进行颜色信息提取预测深度，输出颜色分支稠密深度图；
对每个点云的稀疏深度图进行深度信息提取，输出深度分支稠密深度图；
S5.采用置信度权重的方法融合每个点云的颜色分支稠密深度图和深度分支稠密深度图，得到目标的多个融合稠密深度图；
S6.对每个融合稠密深度图采用纹理渲染方法加入颜色信息，生成彩色点云帧及其位姿信息；
S7.根据得到的每个彩色点云帧及其位姿信息，在坐标系上拼接所有彩色点云帧，从而生成目标稠密全局点云图。
进一步的，所述的步骤S2采用迭代位姿优化方法来更新位姿信息。
进一步的，所述步骤S4包括：
S41)构建颜色分支的编码器-解码器网络，对目标的初始图像进行颜色特征提取；
S42)基于颜色特征进行深度预测，输出颜色分支稠密深度图Dcp、置信图Ccp并输出的步骤；
S43)构建深度分支的编码器-解码器网络的编码器-解码器网络；
S44)对每个点云的稀疏深度图进行上采样，输出深度分支稠密深度图Ddp、置信图Cdp并输出步骤。
进一步的，所述步骤S5包括：
S51)利用如下公式(1)计算深度图中每点(u,v)的深度数据Dfp(u,v)；
Figure BDA0003574943690000031
S52)输出目标融合后稠密深度图。
进一步的，所述步骤S6包括：
S61)根据稠密深度图的深度信息及坐标，对每一个采样点计算转换为点云坐标系；
S62)在点云中添加(r,g,b)颜色信息；
S63)对生成的点云与初始图像匹配，得到目标的彩色点云帧。
本发明还提供了一种生成稠密全局点云图的系统，包括采集模块，深度补全模块，纹理渲染模块；
所述采集模块包括：
采集单元：采集需要生成稠密全局点云图目标的多个初始图像及其对应点云；
位姿信息单元：对每个点云计算矫正得到其对应的位姿信息；
所述深度补全模块包括：
深度图转换单元：每个点云计算转换为稀疏深度图；
颜色深度分支输出单元：对初始图像进行颜色信息提取预测深度，输出颜色分支稠密深度图；
对每个点云的稀疏深度图进行深度信息提取，输出深度分支稠密深度图；
融合单元：采用置信度权重的方法融合每个点云的颜色分支稠密深度图和深度分支稠密深度图，得到目标的多个融合稠密深度图；
所述纹理渲染模块包括：
颜色渲染单元：对每个融合稠密深度图采用纹理渲染方法加入颜色信息，生成彩色点云帧及其位姿信息；
全局点云图生成单元：根据得到的每个彩色点云帧及其位姿信息，在坐标系上拼接所有彩色点云帧，从而生成目标稠密全局点云图。
进一步的，所述的采集模块中采用迭代位姿优化方法来更新位姿信息。
进一步的，所述颜色深度分支输出单元具体包括：
颜色提取子单元：构建颜色分支的编码器-解码器网络，对目标的初始图像进行颜色特征提取；
颜色分支输出子单元：基于颜色特征进行深度预测，输出颜色分支稠密深度图Dcp、置信图Ccp并输出的步骤；
深度信息提取子单元：构建深度分支的编码器-解码器网络的编码器-解码器网络；
深度分支输出子单元：对每个点云的稀疏深度图进行上采样，输出深度分支稠密深度图Ddp、置信图Cdp并输出步骤。
进一步的，所述融合单元具体包括：利用如下公式(1)计算深度图中每点(u,v)的深度数据Dfp(u,v)；
Figure BDA0003574943690000051
输出目标融合后稠密深度图。
进一步的，所述颜色渲染单元具体包括：
转换点云子单元：根据稠密深度图的深度信息及坐标，对每一个采样点计算转换为点云坐标系；
颜色添加子单元：在点云中添加(r,g,b)颜色信息；
彩色点云帧生成子单元：对生成的点云与初始图像匹配，得到目标的彩色点云帧。
本发明提供的一种生成稠密全局点云图的方法，通过利用图像引导的深度补全方法来获得更稠密的全局点云图方法，提取图像及点云和位姿信息，将图像点云转换为稀疏深度图，对初始图像进行颜色信息提取预测深度，输出颜色分支稠密深度图；对每个点云的稀疏深度图进行深度信息提取，输出深度分支稠密深度图；融合颜色分支稠密深度图和深度分支稠密深度图，得到目标的稠密深度图，纹理渲染加入颜色信息，生成彩色的点云帧，从而加入位姿信息，生成稠密的全局点云图，在短时间内获得更准确的深度和精细的纹理稠密的深度信息，从而生成稠密全局点云图。
本发明还提供一种生成稠密全局点云图的系统，包括采集模块，深度补全模块，纹理渲染模块，采集模块采集需要的初始图像及其对应点云和位姿信息；深度补全模块进行进行颜色信息提取预测深度，对初始图像进行颜色信息提取预测深度，输出颜色分支稠密深度图；对每个点云的稀疏深度图进行深度信息提取，输出深度分支稠密深度图；融合每个点云的颜色分支稠密深度图和深度分支稠密深度图；纹理渲染模块加入颜色信息，生成彩色的点云帧，从而加入位姿信息，生成稠密的全局点云图，在短时间内获得更准确的深度和精细的纹理稠密的深度信息，从而生成稠密全局点云图，提升三维模型的重建。
附图说明
图1为本发明流程图；
图2为本发明网络结构图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
本发明最关键的构思在于：利用图像引导的深度补全方法来获得更稠密的全局点云图方法，提取图像及点云和位姿信息，将图像点云转换为稀疏深度图，对初始图像进行颜色信息提取预测深度，输出颜色分支稠密深度图；对每个点云的稀疏深度图进行深度信息提取，输出深度分支稠密深度图；融合颜色分支稠密深度图和深度分支稠密深度图，得到目标的稠密深度图，纹理渲染加入颜色信息，生成彩色的点云帧，从而加入位姿信息，生成稠密的全局点云图。
本发明提出了一种生成稠密全局点云图的方法，
S1.采集需要生成稠密全局点云图目标的多个初始图像及其对应点云；
S2.对每个点云计算矫正得到其对应的位姿信息；
S3.每个点云计算转换为稀疏深度图；
S4.对初始图像进行颜色信息提取预测深度，输出颜色分支稠密深度图；对每个点云的稀疏深度图进行深度信息提取，输出深度分支稠密深度图；
S5.采用置信度权重的方法融合每个点云的颜色分支稠密深度图和深度分支稠密深度图，得到目标的多个融合稠密深度图；
S6.对每个融合稠密深度图采用纹理渲染方法加入颜色信息，生成彩色点云帧及其位姿信息；
S7.根据得到的每个彩色点云帧及其位姿信息，在坐标系上拼接所有彩色点云帧，从而生成目标稠密全局点云图。
在S1采集时，固态激光雷达和单目相机结合成一个集成的融合传感器系统，单目相机获取初始图像，激光雷达获取点云信息，LiDAR-IMU里程计使用激光雷达SLAMsimultaneous localization and mapping中提供的方法来跟踪和估计定位信息，如姿势和方向，IMU被集成在激光雷达和单目相机中作为输入。在S2获得位姿信息时，LiDAR-IMU里程计用激光雷达采到的点云来计算位姿，IMU的数据用于矫正这个位姿，使其更准确。
S4步骤中，设计双分支的骨干网络，包含一个颜色分支和一个深度分支。其中颜色分支的编码器-解码器网络，对目标的初始图像进行特征提取，输出颜色分支稠密深度图Dcp、置信图Ccp并输出；构建深度分支的编码器-解码器网络，对每个点云的稀疏深度图进行上采样，特征提取，深度分支稠密深度图Ddp、置信图Cdp并输出。
这个网络的整体结构如图2所示。颜色分支主要利用颜色信息来预测稠密的深度图，而深度分支则更多地依赖于深度信息。最后，这两个深度图通过学习的置信度权重融合，通过获得每个点的颜色信息来渲染稠密点云的纹理。
完成从上述描述可知，本发明的有益效果在于：通过将图像引导的深度补全嵌入激光雷达SLAM(livox_horizon_loam)来生成稠密全局点云图，从而获得更密集的三维彩色地图。通过利用LiDAR-IMU-Camera的融合，得到的重建三维彩色模型被证明是更精确和更有信息量的，即准确的深度和精细的纹理。此外，与SLAM方法相比，由于在有限的扫描时间窗口的情况下增加了图像引导的深度补全，该方法能生成更稠密的全局点云图。实验结果也证实，该方法非常适用于快速和密集的三维彩色重建，可以应用于广泛的领域，如数字城市、城市规划和地理测绘。
实施例1：
所述的步骤S2采用迭代位姿优化方法来更新位姿信息。
采用livox_horizon_loam中提供的方法，用固态激光雷达获得位姿和方向信息。在livox_horizon_loam中，里程计使用迭代位姿优化方法来估计激光雷达的位姿。当运算子进行特征提取和选择时，它分别使用迭代最近点(Iterative Closest Point，ICP)边缘和平面算法来提取表面和直线特征。设Pi为Pw的第i个最近点，来自第w帧的特征点集合。根据公式(5)公式(6)计算出边缘到边缘和平面到平面的残差。使用Livox Avia内部的惯性测量单元(Inertial Measurement Unit，IMU)，里程计能够消除旋转失真。
Figure BDA0003574943690000091
Figure BDA0003574943690000092
实施例2：
所述步骤S4包括：
S41)构建颜色分支的编码器-解码器网络，对目标的初始图像进行颜色特征提取；
S42)基于颜色特征进行深度预测，输出颜色分支稠密深度图Dcp、置信图Ccp并输出的步骤；
S43)构建深度分支的编码器-解码器网络的编码器-解码器网络；
S44)对每个点云的稀疏深度图进行上采样，输出深度分支稠密深度图Ddp、置信图Cdp并输出步骤。
基于ENet设计双分支的骨干网络，包含一个颜色分支和一个深度分支。这个网络的整体结构如图2所示。颜色分支主要利用颜色信息来预测稠密的深度图，而深度分支则更多地依赖于深度信息。最后，这两个深度图通过学习的置信度权重融合在一起。
其中，颜色分支通过利用稀疏的深度图从彩色图像中预测出密集的深度图。特别是，这个分支有一个具有对称跳过连接的编码器-解码器网络。编码器中有一个卷积层和10个残余块(ResBlocks)，而解码器中包含五个去卷积层和一个卷积层。此外，每个卷积层的输出由一个BN层和一个ReLU激活层处理。颜色分支提取彩色图像中的特征，这样就可以预测物体边缘的深度。
深度分支，它主要用于通过对稀疏的深度图进行上采样来创建一个更密集的深度图。这个分支有一个类似的编码器-解码器网络。此外，将颜色分支的解码器特征融合到这个分支中，并将它们与这个分支的相应编码器特征连接起来，颜色分支的结果也被输入以帮助预测。实施例3：
所述步骤S5包括：
S51)利用如下公式(1)计算融合后每点(u,v)的深度数据Dfp(u,v)；遵循ENet的相同策略来融合两个分支的输出结果；
Figure BDA0003574943690000101
S52)输出目标融合后稠密深度图。
颜色分支稠密深度图Dcp、置信图Ccp、深度分支稠密深度图Ddp、置信图Cdp，(u,v)表示深度图中某采样点的坐标，遵循ENet的相同策略来融合两个分支的输出结果颜色分支稠密深度图Dcp、置信图Ccp、深度分支稠密深度图Ddp、置信图Cdp。从而将这两个稀疏深度图合并为一个稠密深度图。Dfp是融合后的深度图，Dgt(为denselivox中数据集)是用于监督的真值，训练时采用以下损失函数公式(4)：
L(Dfp)＝‖Dfp-Dgt‖2,Dgt>0 (4)
没有有效的真实深度值的数据点在训练中被剔除。
实施例4：
所述步骤S6包括：
S61)根据稠密深度图的深度信息及坐标，对每一个采样点计算转换为点云坐标系；
S62)在点云中添加(r,g,b)颜色信息；
S63)对生成的点云与初始图像匹配，得到目标的彩色点云帧。
其中，S61)中通过将稠密深度图转换为点云来获得稠密的点云的方法，对于给定坐标Y＝(u,v,1)T和图像坐标系中某点的深度D，可以使用公式(5)和公式(6)计算该点在点云坐标系中的坐标X＝(X,Y,Z,1)T。
Figure BDA0003574943690000111
DY＝PYX (6)
在S62)中稠密点云中的每个点都由坐标(x,y,z)表示，为点云中的每个点添加(r,g,b)颜色信息。得到的数据点以(x,y,z,r,g,b)的格式记录。为了获得准确的颜色信息，激光雷达和相机以10Hz的频率同步采集数据。因此，点云和图像中的所有数据都有时间戳，稠密点云继承了原始点云的时间戳。通过使用最近时间注册算法来匹配时间戳相似的点云和图像。
在S63)中，利用公式1和公式2，纹理渲染系统将图像中的每个像素与点云中的一个数据点进行匹配，然后将颜色信息(r,g,b)添加到匹配的数据点中。在渲染了一帧中所有点的纹理后，得到一个彩色的点云帧。通过对每一对点云和图像应用这种渲染过程，得到一个稠密彩色点云帧序列。
本发明还提出一种生成稠密全局点云图的系统，包括采集模块，深度补全模块，纹理渲染模块；
所述采集模块包括：
采集单元：采集需要生成稠密全局点云图目标的多个初始图像及其对应点云；
位姿信息单元：对每个点云计算矫正得到其对应的位姿信息；
所述深度补全模块包括：
深度图转换单元：每个点云计算转换为稀疏深度图；
颜色深度分支输出单元：对初始图像进行颜色信息提取预测深度，输出颜色分支稠密深度图；
对每个点云的稀疏深度图进行深度信息提取，输出深度分支稠密深度图；
融合单元：采用置信度权重的方法融合每个点云的颜色分支稠密深度图和深度分支稠密深度图，得到目标的多个融合稠密深度图；
所述纹理渲染模块包括：
颜色渲染单元：对每个融合稠密深度图采用纹理渲染方法加入颜色信息，生成彩色点云帧及其位姿信息；
全局点云图生成单元：根据得到的每个彩色点云帧及其位姿信息，在坐标系上拼接所有彩色点云帧，从而生成目标稠密全局点云图。
实施例5：所述的采集模块中采用迭代位姿优化方法来更新位姿信息。
采用livox_horizon_loam中提供的方法，用固态激光雷达获得位姿和方向信息。在livox_horizon_loam中，里程计使用迭代位姿优化方法来估计激光雷达的位姿。当运算子进行特征提取和选择时，它分别使用迭代最近点(Iterative Closest Point，ICP)边缘和平面算法来提取表面和直线特征。设Pi为Pw的第i个最近点，来自第w帧的特征点集合。根据公式(2)公式(3)计算出边缘到边缘和平面到平面的残差。使用Livox Avia内部的惯性测量单元(Inertial Measurement Unit，IMU)，里程计能够消除旋转失真。
Figure BDA0003574943690000121
Figure BDA0003574943690000131
实施例6：所述颜色深度分支输出单元具体包括：
颜色提取子单元：构建颜色分支的编码器-解码器网络，对目标的初始图像进行颜色特征提取；
颜色分支输出子单元：基于颜色特征进行深度预测，输出颜色分支稠密深度图Dcp、置信图Ccp并输出的步骤；
深度信息提取子单元：构建深度分支的编码器-解码器网络的编码器-解码器网络；
深度分支输出子单元：对每个点云的稀疏深度图进行上采样，输出深度分支稠密深度图Ddp、置信图Cdp并输出步骤。
基于ENet设计双分支的骨干网络，包含一个颜色分支和一个深度分支。这个网络的整体结构如图2所示。颜色分支主要利用颜色信息来预测稠密的深度图，而深度分支则更多地依赖于深度信息。最后，这两个深度图通过学习的置信度权重融合在一起。
其中，颜色分支通过利用稀疏的深度图从彩色图像中预测出密集的深度图。特别是，这个分支有一个具有对称跳过连接的编码器-解码器网络。编码器中有一个卷积层和10个残余块(ResBlocks)，而解码器中包含五个去卷积层和一个卷积层。此外，每个卷积层的输出由一个BN层和一个ReLU激活层处理。颜色分支提取彩色图像中的特征，这样就可以预测物体边缘的深度。
深度分支，它主要用于通过对稀疏的深度图进行上采样来创建一个更密集的深度图。这个分支有一个类似的编码器-解码器网络。此外，将颜色分支的解码器特征融合到这个分支中，并将它们与这个分支的相应编码器特征连接起来，颜色分支的结果也被输入以帮助预测。
实施例7：
所述融合单元具体包括：计算深度图中每点(u,v)的深度数据Dfp(u,v)；
Figure BDA0003574943690000141
输出目标融合后稠密深度图。
颜色分支稠密深度图Dcp、置信图Ccp、深度分支稠密深度图Ddp、置信图Cdp，(u,v)表示深度图中某采样点的坐标，遵循ENet的相同策略来融合两个分支的输出结果颜色分支稠密深度图Dcp、置信图Ccp、深度分支稠密深度图Ddp、置信图Cdp。从而将这两个稀疏深度图合并为一个稠密深度图。Dfp是融合后的深度图，Dgt(为denselivox中数据集)是用于监督的真值，训练时采用以下损失函数：
L(Dfp)＝‖Dfp-Dgt‖2,Dgt>0 (4)
没有有效的真实深度值的数据点在训练中被剔除。
实施例8：
所述颜色渲染单元具体包括：
转换点云子单元：根据稠密深度图的深度信息及坐标，对每一个采样点计算转换为点云坐标系；
颜色添加子单元：在点云中添加(r,g,b)颜色信息；
彩色点云帧生成子单元：对生成的点云与初始图像匹配，得到目标的彩色点云帧。
其中，通过将稠密深度图转换为点云来获得稠密的点云的方法，对于给定坐标Y＝(u,v,1)^T和图像坐标系中某点的深度D，可以使用公式计算该点在点云坐标系中的坐标X＝(X,Y,Z,1)T。
Figure BDA0003574943690000151
DY＝PYX (6)
稠密点云中的每个点都由坐标(x,y,z)表示，为点云中的每个点添加(r,g,b)颜色信息。得到的数据点以(x,y,z,r,g,b)的格式记录。为了获得准确的颜色信息，激光雷达和相机以10Hz的频率同步采集数据。因此，点云和图像中的所有数据都有时间戳，稠密点云继承了原始点云的时间戳。通过使用最近时间注册算法来匹配时间戳相似的点云和图像。
纹理渲染系统将图像中的每个像素与点云中的一个数据点进行匹配，然后将颜色信息(r,g,b)添加到匹配的数据点中。在渲染了一帧中所有点的纹理后，得到一个彩色的点云帧。通过对每一对点云和图像应用这种渲染过程，得到一个稠密彩色点云帧序列。
实施例9：
本发明提出的一种生成稠密全局点云图的方法，由固态激光雷达、惯性测量单元(inertial measurement unit，IMU)和单目相机组成的传感器融合系统，单目相机获取初始图像，激光雷达获取点云信息，LiDAR-IMU里程计使用激光雷达SLAMsimultaneouslocalization and mapping中提供的方法来跟踪和估计定位信息，如姿势和方向，IMU被集成在激光雷达和单目相机中作为输入。在获得位姿信息时，LiDAR-IMU里程计用激光雷达采到的点云来计算位姿，IMU的数据用于矫正这个位姿，使其更准确。
采用livox_horizon_loam中提供的方法，用固态激光雷达获得位姿和方向信息。在livox_horizon_loam中，里程计使用迭代位姿优化方法来估计激光雷达的位姿。当运算子进行特征提取和选择时，它分别使用迭代最近点(Iterative Closest Point，ICP)边缘和平面算法来提取表面和直线特征。设Pi为Pw的第i个最近点，来自第w帧的特征点集合。可以根据公式(2)公式(3)
Figure BDA0003574943690000161
Figure BDA0003574943690000162
计算出边缘到边缘和平面到平面的残差。使用Livox Avia内部的惯性测量单元(Inertial Measurement Unit，IMU)，里程计能够消除旋转失真。
对采集到的每个点云投射到图像平面计算转换为稀疏深度图。设计双分支的骨干网络，包含一个颜色分支和一个深度分支。其中，颜色分支通过利用稀疏的深度图从彩色图像中预测出密集的深度图。特别是，这个分支有一个具有对称跳过连接的编码器-解码器网络。编码器中有一个卷积层和10个残余块(ResBlocks)，而解码器中包含五个去卷积层和一个卷积层。此外，每个卷积层的输出由一个BN层和一个ReLU激活层处理。颜色分支提取彩色图像中的特征，这样就可以预测物体边缘的深度。
深度分支，它主要用于通过对稀疏的深度图进行上采样来创建一个更密集的深度图。这个分支有一个类似的编码器-解码器网络。此外，将颜色分支的解码器特征融合到这个分支中，并将它们与这个分支的相应编码器特征连接起来。此外，颜色分支的结果也被输入以帮助预测。得到颜色分支稠密深度图Dcp、置信图Ccp、深度分支稠密深度图Ddp、置信图Cdp并输出。
遵循ENet的相同策略来融合两个分支的输出结果，计算融合后深度图中每点(u,v)的深度数据Dfp(u,v)；
Figure BDA0003574943690000171
从而将这两个稀疏深度图合并为一个稠密深度图。Dfp是融合后的深度图，Dgt(为denselivox中数据集)是用于监督的真值，没有有效的真实深度值的数据点在训练中被剔除。训练时采用以下损失函数：
L(Dfp)＝‖Dfp-Dgt‖2,Dgt>0 (4)
将稠密深度图转换为点云来获得稠密的点云的方法，对于给定坐标Y＝(u,v,1)^T和图像坐标系中某点的深度D，可以使用公式(5)和公式(6)计算该点在点云坐标系中的坐标X＝(X,Y,Z,1)T。
Figure BDA0003574943690000172
DY＝PYX (6)
稠密点云中的每个点都由坐标(x,y,z)表示，为点云中的每个点添加(r,g,b)颜色信息。得到的数据点以(x,y,z,r,g,b)的格式记录。为了获得准确的颜色信息，激光雷达和相机以10Hz的频率同步采集数据。因此，点云和图像中的所有数据都有时间戳，稠密点云继承了原始点云的时间戳。通过使用最近时间注册算法来匹配时间戳相似的点云和图像。
纹理渲染系统将图像中的每个像素与点云中的一个数据点进行匹配，然后将颜色信息(r,g,b)添加到匹配的数据点中。在渲染了一帧中所有点的纹理后，得到一个彩色的点云帧。通过对每一对点云和图像应用这种渲染过程，得到一个稠密彩色点云帧序列及其位姿信息，根据得到的每个彩色点云帧及其位姿信息，在坐标系上拼接所有彩色点云帧，从而生成目标稠密全局点云图。
实施例10：
此外，CamVox(一种低成本、高精度的激光雷达辅助视觉SLAM系统)将Livox和单目相机整合为RGB-D相机，同时为新的RGB-D相机提出了一个改良的ORB-SLAM2。另外，也可以增加激光雷达的扫描时间来生成稠密的点云。精确的图像引导的深度补全将能够更好地利用相机拍摄的图像来产生稠密的深度信息。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种生成稠密全局点云图的方法，其特征在于，包括如下步骤：
S1.采集需要生成稠密全局点云图目标的多个初始图像及其对应点云；
S2.对每个点云计算矫正得到其对应的位姿信息；
S3.每个点云计算转换为稀疏深度图；
S4.对初始图像进行颜色信息提取预测深度，输出颜色分支稠密深度图；对每个点云的稀疏深度图进行深度信息提取，输出深度分支稠密深度图；
S5.采用置信度权重的方法融合每个点云的颜色分支稠密深度图和深度分支稠密深度图，得到目标的多个融合稠密深度图；
S6.对每个融合稠密深度图采用纹理渲染方法加入颜色信息，生成彩色点云帧及其位姿信息；
S7.根据得到的每个彩色点云帧及其位姿信息，在坐标系上拼接所有彩色点云帧，从而生成目标稠密全局点云图。
2.如权利要求1所述的一种生成稠密全局点云图的方法，其特征在于：所述的步骤S2采用迭代位姿优化方法来更新位姿信息。
3.如权利要求2所述的一种生成稠密全局点云图的方法，其特征在于：所述步骤S4包括：
S41)构建颜色分支的编码器-解码器网络，对目标的初始图像进行颜色特征提取；
S42)基于颜色特征进行深度预测，输出颜色分支稠密深度图Dcp、置信图Ccp并输出的步骤；
S43)构建深度分支的编码器-解码器网络的编码器-解码器网络；
S44)对每个点云的稀疏深度图进行上采样，输出深度分支稠密深度图Ddp、置信图Cdp并输出步骤。
4.如权利要求3所述的一种生成稠密全局点云图的方法，其特征在于：所述步骤S5包括：
S51)、计算深度图中每点(u,v)的深度数据Dfp(u,v)；
Figure FDA0003574943680000021
S52)、输出目标融合后稠密深度图。
5.如权利要求4所述的一种生成稠密全局点云图的方法，其特征在于：所述步骤S6包括：
S61)、根据稠密深度图的深度信息及坐标，对每一个采样点计算转换为点云坐标系；
S62)、在点云中添加(r,g,b)颜色信息；
S63)、对生成的点云与初始图像匹配，得到目标的彩色点云帧。
6.一种生成稠密全局点云图的系统，其特征在于：包括采集模块，深度补全模块，纹理渲染模块；
所述采集模块包括：
采集单元：采集需要生成稠密全局点云图目标的多个初始图像及其对应点云；
位姿信息单元：对每个点云计算矫正得到其对应的位姿信息；
所述深度补全模块包括：
深度图转换单元：每个点云计算转换为稀疏深度图；
颜色深度分支输出单元：对初始图像进行颜色信息提取预测深度，输出颜色分支稠密深度图；
对每个点云的稀疏深度图进行深度信息提取，输出深度分支稠密深度图；
融合单元：采用置信度权重的方法融合每个点云的颜色分支稠密深度图和深度分支稠密深度图，得到目标的多个融合稠密深度图；
所述纹理渲染模块包括：
颜色渲染单元：对每个融合稠密深度图采用纹理渲染方法加入颜色信息，生成彩色点云帧及其位姿信息；
全局点云图生成单元：根据得到的每个彩色点云帧及其位姿信息，在坐标系上拼接所有彩色点云帧，从而生成目标稠密全局点云图。
7.如权利要求6所述的一种生成稠密全局点云图的系统，其特征在于：所述的采集模块中采用迭代位姿优化方法来更新位姿信息。
8.如权利要求7所述的一种生成稠密全局点云图的系统，其特征在于：所述颜色深度分支输出单元具体包括：
颜色提取子单元：构建颜色分支的编码器-解码器网络，对目标的初始图像进行颜色特征提取；
颜色分支输出子单元：基于颜色特征进行深度预测，输出颜色分支稠密深度图Dcp、置信图Ccp并输出的步骤；
深度信息提取子单元：构建深度分支的编码器-解码器网络的编码器-解码器网络；
深度分支输出子单元：对每个点云的稀疏深度图进行上采样，输出深度分支稠密深度图Ddp、置信图Ddp并输出步骤。
9.如权利要求8所述的一种生成稠密全局点云图的系统，其特征在于：所述融合单元具体包括：计算深度图中每点(u,v)的深度数据Dfp(u,v)；
Figure FDA0003574943680000041
输出目标融合后稠密深度图。
10.如权利要求9所述的一种生成稠密全局点云图的系统，其特征在于：所述颜色渲染单元具体包括：
转换点云子单元：根据稠密深度图的深度信息及坐标，对每一个采样点计算转换为点云坐标系；
颜色添加子单元：在点云中添加(r,g,b)颜色信息；
彩色点云帧生成子单元：对生成的点云与初始图像匹配，得到目标的彩色点云帧。
CN202210337571.9A 2022-03-31 2022-03-31 通过深度补全生成稠密的全局点云图方法及系统 Pending CN115049794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210337571.9A CN115049794A (zh) 2022-03-31 2022-03-31 通过深度补全生成稠密的全局点云图方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210337571.9A CN115049794A (zh) 2022-03-31 2022-03-31 通过深度补全生成稠密的全局点云图方法及系统

Publications (1)

Publication Number Publication Date
CN115049794A true CN115049794A (zh) 2022-09-13

Family

ID=83157213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210337571.9A Pending CN115049794A (zh) 2022-03-31 2022-03-31 通过深度补全生成稠密的全局点云图方法及系统

Country Status (1)

Country Link
CN (1) CN115049794A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116148883A (zh) * 2023-04-11 2023-05-23 锐驰智慧科技(深圳)有限公司 基于稀疏深度图像的slam方法、装置、终端设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116148883A (zh) * 2023-04-11 2023-05-23 锐驰智慧科技(深圳)有限公司 基于稀疏深度图像的slam方法、装置、终端设备及介质
CN116148883B (zh) * 2023-04-11 2023-08-08 锐驰智慧科技(安吉)有限公司 基于稀疏深度图像的slam方法、装置、终端设备及介质

Similar Documents

Publication Publication Date Title
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
CN110648398B (zh) 基于无人机航摄数据的正射影像实时生成方法及系统
CN111462329B (zh) 一种基于深度学习的无人机航拍影像的三维重建方法
CN107505644B (zh) 基于车载多传感器融合的三维高精度地图生成系统及方法
Johnson‐Roberson et al. Generation and visualization of large‐scale three‐dimensional reconstructions from underwater robotic surveys
CN108711185B (zh) 联合刚性运动和非刚性形变的三维重建方法及装置
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN110189399B (zh) 一种室内三维布局重建的方法及系统
CN113192193B (zh) 基于Cesium三维地球框架的高压输电线路走廊三维重建方法
CN111126148A (zh) 一种基于视频卫星影像的dsm生成方法
CN104157011A (zh) 一种三维地形建模方法
CN112288637A (zh) 无人机航拍图像快速拼接装置及快速拼接方法
CN114627237A (zh) 一种基于实景三维模型的正视影像图生成方法
CN114119884A (zh) 一种基于高分七号卫星影像的建筑物lod1模型构建方法
CN116188671A (zh) 河道水陆一体三维实景建模方法
CN114119889B (zh) 基于跨模态融合的360度环境深度补全和地图重建方法
CN115471619A (zh) 基于立体成像高分辨率卫星影像的城市三维模型构建方法
Gao et al. Multi-source data-based 3D digital preservation of largescale ancient chinese architecture: A case report
CN115049794A (zh) 通过深度补全生成稠密的全局点云图方法及系统
Zhao et al. Alignment of continuous video onto 3D point clouds
CN116597080A (zh) 一种多源空间数据的完整场景3d精细模型构建系统及方法
CN116704112A (zh) 一种用于对象重建的3d扫描系统
CN107784666B (zh) 基于立体影像的地形地物三维变化检测和更新方法
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统
Liu et al. Dense three-dimensional color reconstruction with data fusion and image-guided depth completion for large-scale outdoor scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination