CN115496783A - 一种室内空间三维彩色点云生成方法 - Google Patents

一种室内空间三维彩色点云生成方法 Download PDF

Info

Publication number
CN115496783A
CN115496783A CN202210472283.4A CN202210472283A CN115496783A CN 115496783 A CN115496783 A CN 115496783A CN 202210472283 A CN202210472283 A CN 202210472283A CN 115496783 A CN115496783 A CN 115496783A
Authority
CN
China
Prior art keywords
point cloud
panoramic
panoramic image
scene
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210472283.4A
Other languages
English (en)
Inventor
胡庆武
李少聪
张九宴
赵鹏程
艾明耀
甘宇亮
李加元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210472283.4A priority Critical patent/CN115496783A/zh
Publication of CN115496783A publication Critical patent/CN115496783A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种室内空间三维彩色点云生成方法，利用室内采集的三维激光SLAM和全景视频数据生成室内场景三维彩色点云，实现过程包括室内空间手持SLAM系统数据采集，室内空间三维点云生成，全景位置和姿态同步生成，单帧全景与三维点云配准，生成颜色点云。本发明针对室内空间三维彩色点云的生成过程，通过激光SLAM生成室内场景点云，并利用SLAM轨迹的位姿信息进行点云与全景影像配准参数计算，实现室内场景点云自动着色。该方式解决了点云和全景影像融合中缺少初始影像位姿的问题，降低计算数据量，提高配准效率，为光电测绘领域生成室内空间三维彩色点云提供了新方案。

Description

一种室内空间三维彩色点云生成方法
技术领域
本发明涉及光电测绘技术领域，具体涉及一种室内空间三维彩色点云生成方法。
背景技术
相比传统室内静态激光扫描方式，手持移动激光扫描设备可以同步快速生成室内场景点云，可以利用额外搭载的全景相机赋予室内点云丰富的颜色信息。激光SLAM技术针对室内场景的高精度建图和定位，在移动扫描过程中根据传感器位置和地图进行自身定位，同时在自身定位的基础上建造增量式地图，提高了无GPS信号下的定位精度。随着技术的成熟和激光传感器成本的降低，基于激光SLAM的多传感器手持移动扫描设备将成为室内场景测绘更为有效的工具，手持设备轻量快捷、数据更丰富的优势将不断显现，在室内等小场景测绘领域具有广泛的应用前景。
室内空间三维彩色点云生成需要解决如何给室内点云增添场景颜色信息的问题，由于激光主要使用不可见的红外光波段，故激光雷达采集的点云本身不具有彩色信息。由各种相机采集的室内光学影像都具备RGB颜色信息，如何将影像上物体的颜色信息赋给对应场景的物体点云，是室内空间三维彩色点云生成的首要问题。室内空间三维彩色点云生成通常有两种方法，一种方法是利用扫描设备自带的相机系统在点云采集时同步采集图像，根据设备出厂时相机与激光雷达的标定参数对图像与点云进行融合，生成彩色点云，这种方法提高了扫描设备的成本，不利于广泛应用；另一种方法是激光雷达扫描点云时相机同步采集，将点云和影像利用同名特征直接进行配准，或是将点云转换为深度图与影像进行融合，以及利用影像生成密集匹配的点云与采集的点云进行融合，无论是“点云-影像”、“深度图-影像”还是“点云-密集点云”，这种直接根据同名特征进行数据融合的方法计算量大且效率低，且缺少初始的影像位姿信息。另一方面，基于同名特征的融合对影像和点云的视角要求较高，难以做到全局配准，影响着点云着色的准确性。
发明内容
本发明的目的就是要提供一种室内空间三维彩色点云生成方法，利用室内空间采集的三维激光SLAM数据和全景视频数据，对SLAM点云进行定位定姿，融合生成室内空间场景点云，对全景视频进行抽帧输出全景影像，进一步根据室内空间全景影像时间将SLAM位姿输出内插对应全景影像的位置和姿态，根据全景位姿取一定范围内点云与全景影像进行局部配准参数计算，最后根据配准参数和全景影像给相应范围点云着色，遍历实现完整室内场景彩色点云生成。
本发明提供一种室内空间三维彩色点云生成方法，利用SLAM方法生成室内点云，并利用优化配准参数和全景影像进行场景点云的批处理着色，从而生成室内场景彩色点云；实现过程包括以下步骤，
步骤1，室内空间手持SLAM系统数据采集，包括对手持系统集成的激光雷达和全景相机的参数进行设定、对室内空间场景进行点云和全景视频数据采集；
步骤2，室内空间三维点云生成，包括利用SLAM定位定姿方法融合生成场景点云及其轨迹，对场景点云进行裁切、降采样和去噪处理；
步骤3，全景位置和姿态同步生成，包括全景视频抽帧参数设定、全景影像生成，利用SLAM轨迹内插生成全景影像位姿；
步骤4，单帧全景与三维点云配准，包括单帧全景范围的点云截取、单张全景影像与点云基于线特征配准、首帧影像外参计算和基于外参改正数进行全景位姿批量优化；
步骤5，生成颜色点云，包括根据全景中心间距进行点云分割、基于配准参数的点云批处理着色和彩色点云优化。
而且，步骤1包括以下子步骤，
步骤1.1，设置手持SLAM设备采集系统的参数，包括三维激光雷达的分辨率和相机的采集频率；
步骤1.2，使用手持SLAM设备采集室内空间场景的三维激光点云数据和全景视频数据。
而且，步骤2包括以下子步骤，
步骤2.1，采用FAST_LIO方法对三维激光点云数据进行SLAM定位定姿，融合生成室内空间场景的三维点云，并输出激光雷达的轨迹数据，包含时间和位置、姿态信息；
步骤2.2，对三维激光点云进行裁切处理，去除室内空间场景范围以外的点云；
步骤2.3，采用体素栅格滤波方法对场景点云进行降采样，降低点云密度以减小数据量，提高数据处理效率；
步骤2.4，采用移动最小二乘方法对三维激光点云进行平滑处理，剔除场景中的噪声点。
而且，步骤3包括以下子步骤，
步骤3.1，设置全景视频的抽帧参数，包括生成全景影像的帧率、分辨率大小和起始影像的时间戳；
步骤3.2，根据全景视频的抽帧参数生成系列全景影像，输出每张影像的时间戳信息；
步骤3.3，根据全景影像时间和SLAM轨迹位姿，输出内插对应时间戳的全景影像获取时的激光雷达位置和姿态，即相应时刻激光雷达在采集坐标系中的外参数。内插公式如下：
Figure BDA0003623254260000031
公式(1)中，T为全景影像获取时间，T1和T2为激光SLAM轨迹上距T最近的时间区间，即T1<T<T2，F(T1)和F(T2)分别为T1、T2时刻对应的激光轨迹位姿，F(T)为T时刻内插得到的位姿。
而且，步骤4包括以下子步骤，
步骤4.1，根据步骤3.3所得首帧激光雷达位姿取相关空间范围内的部分场景点云；
步骤4.2，利用全景影像和点云中的同名线特征进行配准，将步骤3.3中的外参数作为初始配准参数进行迭代收敛，计算收敛后初始配准参数的改正值；
步骤4.3，利用改正值计算全景影像与点云的配准参数，输出该帧全景影像获取时相机的外参数；
步骤4.4，利用改正值及步骤3.3所得激光雷达位姿，计算每一张全景影像获取时相机的外参数。
而且，步骤5包括以下子步骤，
步骤5.1，根据每一张全景影像包含的场景范围和全景影像的外参数将点云分段，并将每一段点云和全景影像对应起来；
步骤5.2，读取首张全景影像获取时的外参数，作为配准参数给首段点云着色，着色公式如下：
Color(C)＝Color(P) (2)
公式(2)中，C为任意点云坐标(X,Y,Z)，P为与点云相对应的全景影像上一像素坐标(Row,Col)，Color(C)和Color(P)分别为给点云添加的颜色以及相应像素本身的颜色；设某张全景影像的位姿参数为(XS,YS,ZS,θ,
Figure BDA0003623254260000032
Ψ)，影像的宽高分别为r和c，则点云坐标(X,Y,Z)与像素坐标(Row,Col)的对应关系用如下三个等式转换：
Figure BDA0003623254260000033
Figure BDA0003623254260000041
Figure BDA0003623254260000042
公式(3)中，(x,y,z)为将坐标系原点归化到球心后的点云坐标，Rθ,
Figure BDA0003623254260000046
RΨ分别为三个姿态角对应的旋转矩阵，具体如公式(6)、(7)、(8)所示：
Figure BDA0003623254260000043
Figure BDA0003623254260000044
Figure BDA0003623254260000045
步骤5.3，重复步骤5.2，遍历所有全景影像和分段点云，完成所有分段点云的着色；
步骤5.4，检查点云着色有偏差处进行位姿调整重新着色，直到点云着色基本无偏差，得到室内场景颜色点云。
本发明具有如下积极效果：
1)本发明提出了一套室内空间三维彩色点云生成方法和技术流程，通过激光SLAM生成室内场景点云，并利用SLAM轨迹信息进行点云与全景影像配准参数计算，该方式为点云与全景影像配准提供了初始值，降低计算数据量，提高配准效率，实现室内场景点云自动着色。
2)本发明根据全景影像时间和SLAM位姿输出内插对应全景影像获取时激光雷达的位置和姿态进行全景和点云的配准，可以实现无产品参数任意全景相机和激光雷达的数据融合，提高彩色点云的移动采集设备的可迁移性。
本发明将三维激光SLAM应用于场景点云与全景数据配准，实现室内空间场景彩色点云生成，可提高室内场景点云信息的丰富性和采集设备的可迁移性，自动完成点云着色。在室内三维测绘、室内改造设计、灾后重建等领域具有广阔的应用前景。
附图说明
图1为本发明实施例的方法流程图。
具体实施方式
以下结合附图和实施例具体说明本发明的技术方案。
为实现上述目的，本发明提供的一种室内空间三维彩色点云生成方法，利用SLAM方法生成室内点云，并利用优化配准参数和全景影像进行场景点云的批处理着色，从而生成室内场景彩色点云。该过程包括利用室内空间采集的三维激光SLAM数据和全景视频数据，对SLAM点云进行定位定姿，融合生成室内空间场景点云，对全景视频进行抽帧输出全景影像，进一步根据室内空间全景影像时间将SLAM位姿输出内插对应全景影像的位置和姿态，根据全景位姿取一定范围内点云与全景影像进行局部配准参数计算，最后根据配准参数和全景影像给相应范围点云着色，遍历实现完整室内场景彩色点云生成。
参见图1，实施例提出的一种室内空间三维彩色点云生成方法，具体包括以下操作步骤：
步骤1)，室内空间手持SLAM系统数据采集，该步骤主要是对用于室内空间场景数据采集的激光雷达和全景相机进行采集参数设置，并利用该手持设备进行激光点云和全景视频数据的采集。
进一步地，优选步骤1包括以下子步骤，
步骤1.1，设置手持SLAM设备采集系统的参数，包括三维激光雷达的分辨率和相机的采集频率；
步骤1.2，使用手持SLAM设备采集室内空间场景的三维激光点云数据和全景视频数据。
具体实施时，建议采用的实现方式如下：
首先，设置手持SLAM系统的采集参数，包括激光雷达和全景相机的采集参数，该过程使用到的特征指标有：
1)全景视频的帧率不低于30Hz。
2)三维激光点云的帧率不低于50Hz。
其次，对三维激光雷达和相机采集系统进行组装，并按照时间顺序对点云输出。
最后，使用设置好的手持SLAM系统采集一封闭室内房间场景数据，从起始位置出发绕行房间一周回到起点。采集的数据包括带有时间戳的点云和相机全景视频。
步骤2)，室内空间三维点云生成，该步骤主要根据室内房间采集的激光点云进行激光雷达传感器的定姿定位，并将各时间戳点云融合生成采集坐标系下的完整室内场景点云，并对点云进行裁切、降采样、去噪等处理，为点云与全景数据融合奠定基础。
实施例优选利用SLAM定位定姿方法融合生成场景点云及其轨迹，对场景点云进行裁切、降采样和去噪处理。
进一步地，优选步骤2包括以下子步骤，
步骤2.1，采用FAST_LIO方法对三维激光点云数据进行SLAM定位定姿，融合生成室内空间场景的三维点云，并输出激光雷达的轨迹数据，包含时间和位置、姿态信息；
步骤2.2，对三维激光点云进行裁切处理，去除室内空间场景范围以外的点云；
步骤2.3，采用体素栅格滤波方法对场景点云进行降采样，降低点云密度以减小数据量，提高数据处理效率；
步骤2.4，采用移动最小二乘方法对三维激光点云进行平滑处理，剔除场景中的噪声点。
具体实施时，建议采用的实现方式如下：
首先，对采集接收到的按时间顺序读取的三维激光点云以采集的初始位置为原点建立采集坐标系，根据激光SLAM方法进行逐帧点云的配准和优化，生成采集坐标系下的带有时间戳和坐标、强度信息的室内场景完整点云，但不包含RGB颜色信息。该过程使用到的特征指标有：
1)激光SLAM采用FAST_LIO方法，基于迭代卡尔曼滤波实现配准，兼顾高效性与鲁棒性。
2)输出的激光轨迹时间戳采用unix时间，帧率为一秒50帧。
其次，支持用户对部分在室内场景之外的非室内点云进行框选删除，例如窗外、门外点云。
再次，对室内场景点云进行降采样处理以减少数据量，提高数据处理效率。该过程使用到的特征指标有：
1)降采样采用体素栅格滤波方法，以体素栅格重心作为对体素激光点云的简化。
2)体素网格大小取无人机外接包围盒最大边长。
最后，对三维激光点云采用移动最小二乘方法进行平滑，进一步剔除部分孤立于点云主体的离群噪声点。
步骤3)，全景位置和姿态同步生成，包括全景视频抽帧参数设定、全景影像生成，利用SLAM轨迹内插生成全景影像位姿；
实施例中，该步骤对采集的全景视频进行抽帧，生成带有时间戳的多张室内场景的全景影像，根据全景影像的时间戳对步骤2)得到的激光轨迹进行内插，内插方法如公式(1)所示，得到对应时间戳的激光雷达位姿，为点云与全景融合提供初始外参数。
进一步地，优选步骤3包括以下子步骤，
步骤3.1，设置全景视频的抽帧参数，包括生成全景影像的帧率、分辨率大小、起始影像的时间戳；
步骤3.2，根据全景视频的抽帧参数生成系列全景影像，输出每张影像的时间戳信息；
步骤3.3，根据全景影像时间和SLAM轨迹位姿，输出内插对应时间戳的全景影像获取时的激光雷达位置和姿态，即相应时刻激光雷达在采集坐标系中的外参数。内插公式如下：
Figure BDA0003623254260000071
公式(1)中，T为全景影像获取时间，T1和T2为激光SLAM轨迹上距T最近的时间区间，即T1<T<T2，F(T1)和F(T2)分别为T1、T2时刻对应的激光轨迹位姿，F(T)为T时刻内插得到的位姿。
具体实施时的建议如下：
首先，根据室内场景的大小和复杂程度，设置合理的抽帧参数，该过程使用到的特征指标有：
1)全景影像的分辨率设置为3040×6080。
2)抽取的频率设置为每两秒一帧，起始时间取采集开始的相机系统时间。
其次，根据抽帧参数对全景视频进行抽帧，得到带有时间戳的全景影像。
最后，根据每一帧全景影像的时间戳，在激光轨迹中搜索最近的时间戳范围对应的位姿，利用这些位姿按照时间戳进行内插得到每一帧全景影像时间戳对应的激光位姿。
步骤4)，单帧全景与三维点云配准，包括单帧全景范围的点云截取、单张全景影像与点云基于线特征配准、首帧影像外参计算和基于外参改正数进行全景位姿批量优化。
实施例中，该步骤以激光雷达SLAM轨迹内插得到的全景对应位姿为基础，截取全景影像对应范围内的点云，采用线特征配准方式进行全景影像和激光点云的局部配准，计算全景位姿的改正值，并利用改正值修正所有全景影像的激光位姿，得到全景影像在采集坐标系下的相机位姿，为点云着色提供精确参数。
进一步地，优选步骤4包括以下子步骤，
步骤4.1，根据步骤3.3所得首帧激光雷达位姿取一定空间范围内的部分场景点云；
步骤4.2，利用全景影像和点云中的同名线特征进行配准，将步骤3.3中的外参数作为初始配准参数进行迭代收敛，计算收敛后初始配准参数的改正值；
步骤4.3，利用改正值计算全景影像与点云的配准参数，输出该帧全景影像获取时相机的外参数；
步骤4.4，利用改正值及步骤3.3所得激光雷达位姿，计算每一张全景影像获取时相机的外参数。
具体实施时，建议采用的实现方式如下：
首先，从首张全景影像开始处理，根据该张全景影像所包含场景的范围，以及对应的全景激光位姿和其他全景影像位姿之间的距离，设置该张全景影像用于着色的点云范围，对场景点云进行分段，每一段点云对应一张全景影像。
其次，以全景影像和分段点云上的同名线特征作为配准依据，采用全景影像对应的激光位姿作为全景相机位姿初始值进行配准，建立起点云的三维坐标到全景影像二维平面坐标的对应关系，调整X、Y、Z坐标和三个姿态角直至配准收敛，输出全景影像位姿的改正值。该过程使用到的特征指标有：
1)全景影像和点云中的同名线特征选取至少三处以上。
2)位姿改正完成的依据是配准的误差方程收敛。
最后，利用全景影像位姿的改正值对每一张全景影像的激光位姿进行校正，得到全景影像的相机位姿。由于全景相机和激光雷达在采集设备上的安装位置相对固定，改正值应适用于所有全景影像从激光雷达到相机杆臂的位姿值计算。
步骤5)，生成室内场景颜色点云，包括根据全景中心间距进行点云分割、基于配准参数的点云批处理着色和彩色点云优化。
实施例中，该步骤以全景影像改正后的相机位姿为参数，对每一张全景影像对应的分段点云进行着色，遍历所有全景影像至各分段点云着色完毕，着色有偏差之处进行位姿的微调，实现室内空间场景的彩色点云生成。
进一步地，优选步骤5包括以下子步骤，
步骤5.1，根据每一张全景影像包含的场景范围和全景影像的外参数将点云分段，并将每一段点云和全景影像对应起来；
步骤5.2，读取首张全景影像获取时的外参数，根据该配准参数给首段点云着色。着色公式如下：
Color(C)＝Color(P) (10)
公式(2)中，C为任意点云坐标(X,Y,Z)，P为与点云相对应的全景影像上一像素坐标(Row,Col)，Color(C)和Color(P)分别为给点云添加的颜色以及相应像素本身的颜色；设某张全景影像的位姿参数为(XS,YS,ZS,θ,
Figure BDA0003623254260000091
Ψ)，影像的宽高分别为r和c，则点云坐标(X,Y,Z)与像素坐标(Row,Col)的对应关系可用如下三个等式转换：
Figure BDA0003623254260000092
Figure BDA0003623254260000093
Figure BDA0003623254260000094
公式(3)中，(x,y,z)为将坐标系原点归化到球心后的点云坐标，Rθ,
Figure BDA0003623254260000095
RΨ分别为三个姿态角对应的旋转矩阵，具体如公式(6)、(7)、(8)所示：
Figure BDA0003623254260000096
Figure BDA0003623254260000097
Figure BDA0003623254260000098
步骤5.3，重复步骤5.2，遍历所有全景影像和分段点云，完成所有分段点云的着色；
步骤5.4，检查点云着色有偏差处进行位姿调整重新着色，直到点云着色基本无偏差，得到室内场景颜色点云。
具体实施时，建议采用的实现方式如下：首先，以全景相机位姿中的X、Y、Z坐标作为相机中心，三个姿态角表征全景相机的坐标轴朝向，将点云坐标转换到全景影像上对应的二维坐标，如公式(3)、(4)、(5)所示。
其次，将全景影像二维坐标处像素的RGB颜色值赋给该像素坐标对应的所有三维点云，使各分段点云带有颜色信息，完成着色，如公式(2)所示。该过程使用到的特征指标有：
1)各分段点云连接处相同物体同色部分着色应属于同一色带。
2)判断场景点云着色是否成功的依据：场景点云的着色整体偏差是否明显，若每段点云均有明显颜色错误的点，则改正值可能不适用于所有全景影像位姿校正，说明步骤1)至步骤4)出现错误，应返回检查。
最后，检查场景点云着色是否有部分分段存在偏差，例如转弯墙角处、物体遮挡处，对偏差处进行位姿的微调并重新赋色，得到室内空间场景的彩色点云。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种室内空间三维彩色点云生成系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种利用几何畸变参数进行无人机光谱影像辐射标定方法。
在一些可能的实施例中，提供一种室内空间三维彩色点云生成系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种利用几何畸变参数进行无人机光谱影像辐射标定方法。
以上所述仅为本发明的优选实施本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种室内空间三维彩色点云生成方法，其特征在于：利用SLAM方法生成室内点云，并利用优化配准参数和全景影像进行场景点云的批处理着色，从而生成室内场景彩色点云；实现过程包括以下步骤，
步骤1，室内空间手持SLAM系统数据采集，包括对手持系统集成的激光雷达和全景相机的参数进行设定、对室内空间场景进行点云和全景视频数据采集；
步骤2，室内空间三维点云生成，包括利用SLAM定位定姿方法融合生成场景点云及其轨迹，对场景点云进行裁切、降采样和去噪处理；
步骤3，全景位置和姿态同步生成，包括全景视频抽帧参数设定、全景影像生成，利用SLAM轨迹内插生成全景影像位姿；
步骤4，单帧全景与三维点云配准，包括单帧全景范围的点云截取、单张全景影像与点云基于线特征配准、首帧影像外参计算和基于外参改正数进行全景位姿批量优化；
步骤5，生成颜色点云，包括根据全景中心间距进行点云分割、基于配准参数的点云批处理着色和彩色点云优化。
2.根据权利要求1所述室内空间三维彩色点云生成方法，其特征在于：步骤1包括以下子步骤，
步骤1.1，设置手持SLAM设备采集系统的参数，包括三维激光雷达的分辨率和相机的采集频率；
步骤1.2，使用手持SLAM设备采集室内空间场景的三维激光点云数据和全景视频数据。
3.根据权利要求1所述室内空间三维彩色点云生成方法，其特征在于：步骤2包括以下子步骤，
步骤2.1，采用FAST_LIO方法对三维激光点云数据进行SLAM定位定姿，融合生成室内空间场景的三维点云，并输出激光雷达的轨迹数据，包含时间和位置、姿态信息；
步骤2.2，对三维激光点云进行裁切处理，去除室内空间场景范围以外的点云；
步骤2.3，采用体素栅格滤波方法对场景点云进行降采样，降低点云密度以减小数据量，提高数据处理效率；
步骤2.4，采用移动最小二乘方法对三维激光点云进行平滑处理，剔除场景中的噪声点。
4.根据权利要求1所述室内空间三维彩色点云生成方法，其特征在于：步骤3包括以下子步骤，
步骤3.1，设置全景视频的抽帧参数，包括生成全景影像的帧率、分辨率大小和起始影像的时间戳；
步骤3.2，根据全景视频的抽帧参数生成系列全景影像，输出每张影像的时间戳信息；
步骤3.3，根据全景影像时间和SLAM轨迹位姿，输出内插对应时间戳的全景影像获取时的激光雷达位置和姿态，即相应时刻激光雷达在采集坐标系中的外参数。内插公式如下：
Figure RE-FDA0003920803460000021
公式(1)中，T为全景影像获取时间，T1和T2为激光SLAM轨迹上距T最近的时间区间，即T1<T<T2，F(T1)和F(T2)分别为T1、T2时刻对应的激光轨迹位姿，F(T)为T时刻内插得到的位姿。
5.根据权利要求4所述室内空间三维彩色点云生成方法，其特征在于：步骤4包括以下子步骤，
步骤4.1，根据步骤3.3所得首帧激光雷达位姿取相关空间范围内的部分场景点云；
步骤4.2，利用全景影像和点云中的同名线特征进行配准，将步骤3.3中的外参数作为初始配准参数进行迭代收敛，计算收敛后初始配准参数的改正值；
步骤4.3，利用改正值计算全景影像与点云的配准参数，输出该帧全景影像获取时相机的外参数；
步骤4.4，利用改正值及步骤3.3所得激光雷达位姿，计算每一张全景影像获取时相机的外参数。
6.根据权利要求1或2或3或4或5所述室内空间三维彩色点云生成方法，其特征在于：步骤5包括以下子步骤，
步骤5.1，根据每一张全景影像包含的场景范围和全景影像的外参数将点云分段，并将每一段点云和全景影像对应起来；
步骤5.2，读取首张全景影像获取时的外参数，作为配准参数给首段点云着色，着色公式如下：
Color(C)＝Color(P)#(2)
公式(2)中，C为任意点云坐标(X,Y,Z)，P为与点云相对应的全景影像上一像素坐标(Row,Col)，Color(C)和Color(P)分别为给点云添加的颜色以及相应像素本身的颜色；设某张全景影像的位姿参数为
Figure RE-FDA0003920803460000022
影像的宽高分别为r和c，则点云坐标(X,Y,Z)与像素坐标(Row,Col)的对应关系用如下三个等式转换：
Figure RE-FDA0003920803460000031
Figure RE-FDA0003920803460000032
Figure RE-FDA0003920803460000033
公式(3)中，(x,y,z)为将坐标系原点归化到球心后的点云坐标，Rθ,
Figure RE-FDA0003920803460000034
RΨ分别为三个姿态角对应的旋转矩阵，具体如公式(6)、(7)、(8)所示：
Figure RE-FDA0003920803460000035
Figure RE-FDA0003920803460000036
Figure RE-FDA0003920803460000037
步骤5.3，重复步骤5.2，遍历所有全景影像和分段点云，完成所有分段点云的着色；
步骤5.4，检查点云着色有偏差处进行位姿调整重新着色，直到点云着色基本无偏差，得到室内场景颜色点云。
CN202210472283.4A 2022-04-29 2022-04-29 一种室内空间三维彩色点云生成方法 Pending CN115496783A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210472283.4A CN115496783A (zh) 2022-04-29 2022-04-29 一种室内空间三维彩色点云生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210472283.4A CN115496783A (zh) 2022-04-29 2022-04-29 一种室内空间三维彩色点云生成方法

Publications (1)

Publication Number Publication Date
CN115496783A true CN115496783A (zh) 2022-12-20

Family

ID=84465173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210472283.4A Pending CN115496783A (zh) 2022-04-29 2022-04-29 一种室内空间三维彩色点云生成方法

Country Status (1)

Country Link
CN (1) CN115496783A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116449391A (zh) * 2023-04-17 2023-07-18 深圳直角设计工程有限公司 一种基于3d点云的室内全景成像方法与系统
CN117437289A (zh) * 2023-12-20 2024-01-23 绘见科技(深圳)有限公司 一种基于多源传感器的空间计算方法及相关设备
CN118096988A (zh) * 2024-04-24 2024-05-28 中国科学院宁波材料技术与工程研究所 基于三维高斯表征的室内复杂场景高保真实时渲染方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116449391A (zh) * 2023-04-17 2023-07-18 深圳直角设计工程有限公司 一种基于3d点云的室内全景成像方法与系统
CN116449391B (zh) * 2023-04-17 2024-05-17 深圳直角设计工程有限公司 一种基于3d点云的室内全景成像方法与系统
CN117437289A (zh) * 2023-12-20 2024-01-23 绘见科技(深圳)有限公司 一种基于多源传感器的空间计算方法及相关设备
CN117437289B (zh) * 2023-12-20 2024-04-02 绘见科技(深圳)有限公司 一种基于多源传感器的空间计算方法及相关设备
CN118096988A (zh) * 2024-04-24 2024-05-28 中国科学院宁波材料技术与工程研究所 基于三维高斯表征的室内复杂场景高保真实时渲染方法
CN118096988B (zh) * 2024-04-24 2024-08-13 中国科学院宁波材料技术与工程研究所 基于三维高斯表征的室内复杂场景高保真实时渲染方法

Similar Documents

Publication Publication Date Title
US10764559B2 (en) Depth information acquisition method and device
CN115496783A (zh) 一种室内空间三维彩色点云生成方法
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
Bok et al. Capturing village-level heritages with a hand-held camera-laser fusion sensor
CN112461210B (zh) 一种空地协同建筑测绘机器人系统及其测绘方法
CN109727278B (zh) 一种机载LiDAR点云数据与航空影像的自动配准方法
Gee et al. Lidar guided stereo simultaneous localization and mapping (SLAM) for UAV outdoor 3-D scene reconstruction
CN115937288A (zh) 一种变电站三维场景模型构建方法
CN111815765B (zh) 一种基于异构数据融合的图像三维重建方法
CN112465732A (zh) 一种车载激光点云与序列全景影像的配准方法
CN112465849B (zh) 一种无人机激光点云与序列影像的配准方法
WO2024098428A1 (zh) 一种配准方法及系统
CN112767461A (zh) 激光点云与序列全景影像自动配准方法
CN104732557A (zh) 一种地面激光扫描仪彩色点云生成方法
CN110986888A (zh) 一种航空摄影一体化方法
CN112767459A (zh) 基于2d-3d转换的无人机激光点云与序列影像配准方法
CN117994463B (zh) 一种建设用地测绘方法及系统
CN117665841A (zh) 一种地理空间信息采集测绘方法及装置
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN116137039B (zh) 一种视觉与激光传感器外参校正方法及相关设备
CN115578539B (zh) 室内空间高精度视觉位置定位方法、终端及存储介质
CN105093222A (zh) 一种sar影像区域网平差连接点自动提取方法
Qin et al. A coarse elevation map-based registration method for super-resolution of three-line scanner images
CN114494039A (zh) 一种水下高光谱推扫图像几何校正的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination