CN115375860B - 点云拼接方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种点云拼接方法、装置、设备及存储介质。在本申请实施例中，在多个空间对象的各采集点位上采集到的三维点云数据集和二维实景图像，先对每个空间对象中的三维点云数据集进行点云拼接，再从空间对象维度，根据多个空间对象之间的相对位置关系，对多个空间对象的三维点云数据集进行点云拼接，得到目标物理空间的三维点云模型。针对空间对象中的多个三维点云数据集，结合该空间对象中采集的多张二维实景图像的位姿信息，对该多个三维点云数据集进行点云拼接，在空间对象中的三维点云数据集之间重叠部分的特征点数量较少的情况下，能够基于多张二维实景图像的位姿信息进行点云配准，提高三维点云数据集拼接的准确率。

Description

点云拼接方法、装置、设备及存储介质

技术领域

本申请涉及三维重建技术领域，尤其涉及一种点云拼接方法、装置、设备及存储介质。

背景技术

在需要对房屋进行三维重建的过程中，可通过三维激光扫描的方式，获取房屋的对应的多个三维点云数据集，对获取到的多个三维点云数据集进行点云拼接，得到该房屋对应的三维模型。点云拼接是任意位置的两个点云中的重叠部分相互配准的过程，目前，采用迭代最近点(ICP)对三维点云数据进行配准，但是，当点云重叠部分较小，重叠部分缺少足够的特征点时，会导致点云配准的准确率较低，影响最终点云拼接的结果。

发明内容

本申请的多个方面提供一种点云拼接方法、装置、设备及存储介质，用以提高点云配准的准确率。

本申请实施例提供一种点云拼接方法，包括：获取目标物理空间的多个空间对象中在各采集点位上采集到的第一三维点云数据集和二维实景图像；其中，每个空间对象中设置有一个或多个采集点位，在每一空间对象的每一采集点位的多个必要采集方向上获取第一三维点云数据集、以及与其相适配的二维实景图像；针对每个空间对象，在该空间对象包含一个采集点位的情况下，将该采集点位上采集到的第一三维点云数据集作为该空间对象的第二三维点云数据集；在该空间对象中包含多个采集点位的情况下，根据所述多个采集点位上采集到的多个第一三维点云数据集的初始位姿信息，结合所述多个采集点位上采集到的多张二维实景图像的位姿信息，对所述多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集；根据所述多个空间对象之间的相对位置关系，对所述多个空间对象的第二三维点云数据集进行点云拼接，得到所述目标物理空间对应的三维点云模型，所述三维点云模型包含三维点云数据。

本申请实施例还提供一种点云拼接装置，包括：获取模块、处理模块和拼接模块；所述获取模块，用于获取目标物理空间的多个空间对象中在各采集点位上采集到的第一三维点云数据集和二维实景图像；其中，每个空间对象中设置有一个或多个采集点位，在每一空间对象的每一采集点位的多个必要采集方向上获取第一三维点云数据集、以及与其相适配的二维实景图像；所述处理模块，用于针对每个空间对象，在该空间对象包含一个采集点位的情况下，将该采集点位上采集到的第一三维点云数据集作为该空间对象的第二三维点云数据集；所述拼接模块，用于在该空间对象中包含多个采集点位的情况下，根据所述多个采集点位上采集到的多个第一三维点云数据集的初始位姿信息，结合所述多个采集点位上采集到的多张二维实景图像的位姿信息，对所述多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集；所述拼接模块，用于根据所述多个空间对象之间的相对位置关系，对所述多个空间对象的第二三维点云数据集进行点云拼接，得到所述目标物理空间对应的三维点云模型，所述三维点云模型包含三维点云数据。

本申请实施例还提供一种点云拼接设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以实现本申请实施例提供的点云拼接方法中的步骤。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现本申请实施例提供的点云拼接方法中的步骤。

在本申请实施例中，在多个空间对象的各采集点位上采集到的三维点云数据集和二维实景图像，先对每个空间对象中的三维点云数据集进行点云拼接，再从空间对象维度，根据多个空间对象之间的相对位置关系，对多个空间对象的三维点云数据集进行点云拼接，得到目标物理空间的三维点云模型。针对空间对象中的多个三维点云数据集，结合该空间对象中采集的多张二维实景图像的位姿信息，对该多个三维点云数据集进行点云拼接，在空间对象中的三维点云数据集之间重叠部分的特征点数量较少的情况下，能够基于多张二维实景图像的位姿信息进行点云配准，提高三维点云数据集点云拼接的准确率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a为本申请示例性实施例提供的一种点云拼接方法的结构示意图；

图1b为本申请示例性实施例提供的一种户型图生成方法的流程示意图；

图2a为本申请示例性实施例提供的一种多个第一三维点云数据集对应的二维点云图像的结构示意图；

图2b为本申请示例性实施例提供的一种二维点云图像的结构示意图；

图2c为本申请示例性实施例提供的一种三维点云模型的结构示意图；

图2d为本申请示例性实施例提供的一种三维点云模型和网格模型的结构示意图；

图3为本申请示例性实施例提供的一种户型图生成系统的结构示意图；

图4为本申请示例性实施例提供的一种点云拼接装置的结构示意图；

图5为本申请示例性实施例提供的一种点云拼接设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有技术中点云配准的准确率较低的问题，在本申请实施例中，在多个空间对象的各采集点位上采集到的三维点云数据集和二维实景图像，先对每个空间对象中的三维点云数据集进行点云拼接，再从空间对象维度，根据多个空间对象之间的相对位置关系，对多个空间对象的三维点云数据集进行点云拼接，得到目标物理空间的三维点云模型。针对空间对象中的多个三维点云数据集，结合该空间对象中采集的多张二维实景图像的位姿信息，对该多个三维点云数据集进行点云拼接，在空间对象中的三维点云数据集之间重叠部分的特征点数量较少的情况下，能够基于多张二维实景图像的位姿信息进行点云配准，提高三维点云数据集点云拼接的准确率。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1a为本申请示例性实施例提供的一种点云拼接方法的结构示意图。如图1a所示，该方法包括：

101a、获取目标物理空间的多个空间对象中在各采集点位上采集到的第一三维点云数据集和二维实景图像；其中，每个空间对象中设置有一个或多个采集点位，在每一空间对象的每一采集点位的多个必要采集方向上获取第一三维点云数据集、以及与其相适配的二维实景图像；

102a、针对每个空间对象，在该空间对象包含一个采集点位的情况下，将该采集点位上采集到的第一三维点云数据集作为该空间对象的第二三维点云数据集；在该空间对象中包含多个采集点位的情况下，根据多个采集点位上采集到的多个第一三维点云数据集的初始位姿信息，结合多个采集点位上采集到的多张二维实景图像的位姿信息，对多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集；

103a、根据多个空间对象之间的相对位置关系，对多个空间对象的第二三维点云数据集进行点云拼接，得到目标物理空间对应的三维点云模型，三维点云模型包含三维点云数据。

在本实施例中，目标物理空间指的是特定的空间区域，该空间区域中包含多个空间对象，换句话说，多个空间对象组成了目标物理空间。例如，目标物理空间是指一套住房，住房中包括的多个空间对象可以是厨房、卧室、客厅或卫生间等。可以在每个空间对象中设置一个或多个采集点位，具体采集点位的数量可视空间对象的大小或者形状而定。

在本实施例中，可以采用激光雷达(Laser Radar)在每个采集点位上采集其所属空间对象的三维点云数据集，例如，利用激光雷达在采集点位的水平方向上旋转360度，得到该采集点位对应的三维点云数据集。其中，激光雷达是以发射激光束探测目标物理空间的空间结构的系统。其工作原理是在各采集点位上向目标物理空间的物体(如墙体、门体或窗体等)发射探测信号(激光束)，然后，将接收到的从物体反射回来的信号(回波)与发射的信号进行比较，获得物体的相关信息，如距离、方位、高度、速度、姿态以及形状等参数。其中，当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，边扫描边记录反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成三维点云数据集。为了便于区分和描述，将在每个空间对象中各采集点位对应的三维点云数据集，称为第一三维点云数据集。

其中，可以采用摄像头采集二维实景图像。根据摄像头的不同，二维实景图像的实现方式也有所不同，例如，摄像头实现为全景相机的摄像头，则二维实景图像实现为全景图像，再例如，摄像头实现为鱼眼相机的摄像头，则二维实景图像实现为鱼眼图像。

其中，在同一采集点位的多个必要采集方向上采集的三维点云数据集、以及与其适配的二维实景图像。其中，采集点位的多个必要采集方向与需要采集空间对象中的哪些位置的内容(例如，天花板、墙壁、窗户或门等)相关，同时，还与激光雷达和摄像头的视场范围相关。例如，需要采集空间对象的四周以及天花板的三维点云数据，并不关注地面的三维点云数据，则可以在采集点位的水平方向上旋转360度，采集空间对象四周的三维点云数据，同时根据激光雷达的视角范围，确定激光雷达在竖直方向上的采集方向，若激光雷达的视角范围为270度，激光雷达在竖直方向上具有90度的视场盲区，若竖直向下的方向为0度，则可以在竖直方向上，将视场盲区对准0度左右各45度的范围，在该竖直方向上采集三维点云数据集。其中，可以基于上述同样的方法，在采集点位的多个必要采集方向上采集二维点云图像。

其中，并不对摄像头和激光雷达的安装位置进行限定。例如，摄像头和激光雷达之间在水平方向具有一定的角度，例如，90度、180度或270度等，摄像头和激光雷达之间在垂直方向也具有一定的距离，例如，0cm、1cm或5cm等。其中，摄像头和激光雷达还可以固定在支架的云台设备上，随着云台设备的旋转而旋转，在云台设备旋转过程中，例如，云台设备在水平方向上旋转360度，激光雷达和摄像头随着云台设备旋转360度，激光雷达在采集点位上获取空间对象对应的第一三维点云数据集，摄像头在采集点位上采集空间对象对应的二维实景图像。

在本实施例中，先对每个空间对象中的第一三维点云数据集进行点云拼接，再从空间对象维度，对多个空间对象的三维点云数据集进行点云拼接，得到目标物理空间的三维点云模型，三维点云模型包含三维点云数据。其中，点云拼接是任意位置的三维点云数据集的重叠部分相互配准的过程，例如，将两个三维点云数据集的重叠部分进行配准，即通过平移和旋转变换将两个三维点云数据集变换至同一坐标系系下，将两个三维点云数据集组合成更为完整的三维点云数据集即实现了两个三维点云数据集的点云拼接。为了便于区分和描述，将空间对象维度的三维点云数据集称为第二三维点云数据集。

具体地，针对每个空间对象，在该空间对象包含一个采集点位的情况下，将该采集点位上采集到的第一三维点云数据集作为该空间对象的第二三维点云数据集；在该空间对象中包含多个采集点位的情况下，根据多个采集点位上采集到的多个第一三维点云数据集的修正后的位姿信息，结合多个采集点位上采集到的多张二维实景图像的位姿信息，对多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集。

在本实施例中，目标物理空间中包含的多个空间对象之间存在相对位置关系，其中，多个空间对象之间的相对位置关系的获取方式并不限定。例如，可以通过其它传感器确定采集点位的位置信息，其它传感器可以是定位模块，定位模块可以是GPS定位模块、WiFi定位模块或者还可以是采用即时定位与地图构建(Simultaneous Localization AndMapping，SLAM)模块获取，其它传感器的安装位置并不限定，例如，可以固定在激光雷达和摄像头所在的支架上，进一步，还可以安装支架的云台设备上，对此不做限定；进而，可以根据采集点位的位置信息以及采集点位与其所属空间对象的相对位置关系，得到空间对象的位置信息，从而得到多个空间对象之间的相对位置关系。又例如，预先维护物理空间的标识信息以及物理空间中包含的多个空间对象的相对位置关系，根据目标物理空间的标识信息，获取目标物理空间中包含的多个空间对象的相对位置关系。

在本实施例中，可以根据多个空间对象之间的相对位置关系，对多个空间对象的第二三维点云数据集进行点云拼接，得到目标物理空间对应的三维点云模型，三维点云模型是由三维点云数据形成的三维模型。如图2c所示为一种目标物理空间对应的三维点云模型的结构示意图。

例如，可以根据多个空间对象之间的相对位置关系，确定多个空间对象之间的相对位姿信息；根据多个空间对象之间的相对位姿信息，对多个空间对象的第二三维点云数据集进行点云拼接，得到目标物理空间对应的三维点云模型。

又例如，可以根据多个空间对象之间的相对位置关系，确定哪两个第一三维点云数据集需要进行点云拼接；根据每个空间对象中采集点位的位姿信息，确定该空间对象的位姿信息；例如，一个空间对象中包括两个采集点位，采集点位的位置信息可以根据GPS定位模块、WiFi定位模块获取或者SLAM模块获取，根据采集点位在空间对象中的相对位置关系，可以确定空间对象的位姿信息；根据多个空间对象的位姿信息，对多个空间对象的第二三维点云数据集进行点云拼接，得到目标物理空间对应的三维点云模型。

在本申请实施例中，在多个空间对象的各采集点位上采集到的三维点云数据集和二维实景图像，先对每个空间对象中的三维点云数据集进行点云拼接，再从空间对象维度，根据多个空间对象之间的相对位置关系，对多个空间对象的三维点云数据集进行点云拼接，得到目标物理空间的三维点云模型。针对空间对象中的多个三维点云数据集，结合该空间对象中采集的多张二维实景图像的位姿信息，对该多个三维点云数据集进行点云拼接，在空间对象中的三维点云数据集之间重叠部分的特征点数量较少的情况下，能够基于多张二维实景图像的位姿信息进行点云配准，提高三维点云数据集点云拼接的准确率。

在本实施例中，对多个第一三维点云数据集进行点云拼接过程中，点云的配准是需要解决的关键问题，点云配准是一个三维点云数据集与另一个三维点云数据集中的重叠点云进行匹配的过程，迭代最近点(Iterative Closest Point，ICP)算法是解决点云配准问题的常用方法，然而，ICP算法要求需要进行匹配的两个第一三维点云数据集有足够多的重叠部分，并且配准之前位姿信息高度一致，否则容易导致点云匹配失败，达不到预期的点云拼接效果。下面举例说明，根据多个采集点位上采集到的多个第一三维点云数据集的初始位姿信息，结合多个采集点位上采集到的多张二维实景图像的位姿信息，对多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集的实施方式。

在一可选实施例中，可以根据多个采集点位上采集到的多张二维实景图像的位姿信息，结合图像坐标系以及雷达坐标系转换关系，确定多张二维实景图像对应的第一三维点云数据集的位姿信息，基于该位姿信息，对多个第一三维点云数据集初始位姿信息进行校正，得到多个第一三维点云数据集校正后的位姿信息，例如，校正可以是取平均或加权平均；根据多个第一三维点云数据集的校正后的位姿信息，对多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集。

在另一可选实施例中，采用粗匹配、筛选以及精匹配结合的方式，在粗匹配过程中，按照设定的点云拼接顺序，依次确定该空间对象中需要点云拼接的两个第一三维点云数据集，其中，设定的点云拼接顺序可以是采集三维点云数据集的顺序，或者可以根据空间对象之间的相对位置关系，确定点云拼接顺序；根据两个第一三维点云数据集分别对应的二维实景图像，确定两个第一三维点云数据集的第一相对位姿信息；根据两个第一三维点云数据集各自初始位姿信息进行配准，得到第二相对位姿信息，其中，粗匹配采用的方法可以是快速点特征直方图(Fast Point Feature Histograms，FPFH)；在筛选过程中，根据两个第一三维点云数据集之间的点云误差函数，对粗匹配得到的第一相对位姿信息和第二相对位姿信息进行筛选，从第一相对位姿信息和初始第二相对位姿信息中选择待配准位姿信息；将该待配准位姿信息作为精匹配的初始位姿信息；在精匹配过程中，采用ICP算法或者正态分布转换(Normal Distributions Transform，NDT)算法，对多个第一三维点云数据集进行精配准，基于精配准得到的两个第一三维点云数据集的位姿信息，对多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集。

可选地，一种根据两个第一三维点云数据集分别对应的二维实景图像，确定两个第一三维点云数据集的第一相对位姿信息的实施方式，包括：对两个第一三维点云数据集分别对应的二维实景图像进行特征提取，得到每张二维实景图像中的多个特征点，每个特征点包括：位置信息和像素信息；其中，特征点是二维实景图像中具有代表性的点，例如，图像中的角点或边缘点，这些点不会随着图片的平移、缩放或者旋转发生变化，特征点可以是基于加速分割测试的特征(Features from Accelerated Segment Test，FAST)或者快速特征点提取和描述算法(Oriented FAST and Rotated BRIEF，ORB)特征；根据每张二维实景图像中特征点的像素信息，建立两张二维实景图像之间特征点的对应关系；根据两张二维实景图像之间特征点的对应关系，结合两张二维实景图像中特征点的位置信息，确定两张二维实景图像的第三相对位姿信息；其中，在确定两张二维实景图像的第三相对位姿信息的过程中，可以先确定每张二维实景图像的位姿信息，然后再确定两张二维实景图像的第三相对位姿信息；根据第三相对位姿信息，结合各采集点位上采集第一三维点云数据集的激光雷达与采集二维实景图像的摄像头之间的相对位置关系，得到两个第一三维点云数据集的第一相对位姿信息。

其中，并不限定根据两个第一三维点云数据集之间的点云误差函数，从两个三维点云数据集的第一相对位姿信息和第二相对位姿信息中选择待配准位姿信息的实施方式，下面进行举例说明。

在一可选实施例中，根据第一相对位姿信息以及第二相对位姿信息，分别计算两个三维点云数据集之间的第一点云误差函数和第二点云误差函数；根据第一点云误差函数和第二点云误差函数，从第一相对位姿信息以及第二相对位姿信息中选择待配准位姿信息。例如，可以将两个第一三维点云数据集，其中一个作为源三维点云数据集，另一个作为目的三维点云数据集，针对源三维点云数据集，通过第一相对位姿信息进行旋转和平移变换，分别得到新的三维点云数据集，计算该新的三维点云数据集与目的三维点云数据集的第一点云误差函数，针对第一相对位姿信息执行同样的操作，可以得到第二点云误差函数；从第一点云误差函数和第二点云误差函数中选择误差较小的一个，将误差较小的点云误差函数对应的相对位姿信息作为待配准位姿信息。

在另一可选实施例中，获取其它传感器提供的两个第一三维点云数据集的其它位姿信息；其它传感器至少包括：无线通信传感器(如WiFi)、定位(GPS)传感器或SLAM模组；根据两个第一三维点云数据集的其它位姿信息，确定两个第一三维点云数据集的第四相对位姿信息；根据两个第一三维点云数据集之间的点云误差函数，从第一相对位姿信息、第二相对位姿信息以及第四相对位姿信息中选择待配准位姿信息。例如，可以将两个第一三维点云数据集，其中一个作为源三维点云数据集，另一个作为目的三维点云数据集，针对源三维点云数据集，通过第一相对位姿信息进行旋转和平移变换，分别得到新的三维点云数据集，计算该新的三维点云数据集与目的三维点云数据集的第一点云误差函数；针对第二相对位姿信息执行同样的操作，可以得到第二点云误差函数；针对第四相对位姿信息执行同样的操作，可以得到第三点云误差函数；从第一点云误差函数、第二点云误差函数以及第三点云误差函数中选择误差较小的一个，将误差较小的点云误差函数对应的相对位姿信息作为待配准位姿信息。

在一可选实施例中，第一三维点云数据集可能会存在多余点云，例如，窗户外或者门外的点云，多余点云会对点云拼接或者后续识别空间对象的轮廓产生干扰，基于此，还可以对第一三维点云数据集中的多余点云进行裁切。具体地，在根据多个采集点位上采集到的多个第一三维点云数据集的修正后的位姿信息，结合多个采集点位上采集到的多张二维实景图像的位姿信息，对多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集之前，根据第一三维点云数据集对应的二维实景图像识别门体或窗体的位置信息，例如，可以采集目标检测算法识别二维实景图像中的门体或窗体的位置信息；根据点云坐标系与图像坐标系的转换关系，将识别到的门体或窗体的位置信息转换至点云坐标系中；其中，点云坐标系与图像坐标系的转换关系与激光雷达和摄像头安装的相对位置关系相关；根据点云坐标系中门体或窗体的位置信息，结合采集点位在雷达坐标系中的位置信息，对第一三维点云数据集中的多余点云进行裁切。例如，可以根据点云坐标系中门体或窗体的位置信息确定门体或窗体限定的区域，假设为区域B；采集点位所在的位置设为M点，第一三维点云数据集中的任一三维点云数据设为P点，计算线段MP与门体或窗体限定的区域B是否存在交点，若存在，则P属于第一三维点云数据集所在空间对象之外的三维点云数据，则可以将点P从第一三维点云数据集中删除；若不存在，则表示P属于第一三维点云数据集所在空间对象之内的三维点云数据，则保留点P。

基于上述点云拼接方法，本申请还提供一种户型图生成方法的流程示意图，如图1b所示，该方法包括：

101b、获取目标物理空间的多个空间对象中在各采集点位上采集到的第一三维点云数据集和二维实景图像，其中，每个空间对象中设置有一个或多个采集点位，在每一空间对象的每一采集点位的多个必要采集方向上获取第一三维点云数据集、以及与其相适配的二维实景图像，每个第一三维点云数据集被映射为二维点云图像，二维点云图像能够被执行编辑操作；

102b、响应于对任一二维点云图像的编辑操作，根据编辑操作的编辑参数，对任一二维点云图像对应的第一三维点云数据集的位姿信息进行修正；

103b、基于多个空间对象之间的相对位置关系，以及每个第一三维点云数据集的修正后的位姿信息，对各第一三维点云数据集进行点云拼接，以得到目标物理空间对应的三维点云模型；

104b、根据各采集点位上采集到的二维实景图像，结合各采集点位在对应空间对象中的位置信息，对三维点云模型进行纹理映射，得到目标物理空间对应的三维实景空间以用于展示。

其中，关于目标物理空间、第一三维点云数据集、二维实景图像的详细介绍可参见前述实施例，在此不再赘述。

在本实施例中，需要对第一三维点云数据集进行编辑，以实现对第一三维点云数据集的位姿信息的修正。在对第一三维点云数据集进行编辑的情况下，需要将在目标物理空间的各采集点位采集的第一三维点云数据集展示在终端设备上，对第一三维点云数据集进行编辑操作，以实现对第一三维点云数据集的位姿调整。然而，一个目标物理空间的各采集点位上对应的三维点云数据集中三维点的数量较大，并且还需要支持用户手动对第一三维点云数据集执行编辑操作，这就对终端设备的性能要求较高，否则可能会出现卡顿的现象。

考虑到终端设备的普适性，可以将每个第一三维点云数据集映射为二维点云图像，将二维点云图像展示在终端设备上，基于终端设备的显示屏对二维点云图像执行编辑操作，编辑操作可以包含但不限于：缩放、平移或旋转等；基于该编辑操作，对二维点云图像对应的第一三维点云数据集的位姿信息进行修正。其中，终端设备可以对每个第一三维点云数据集对应的二维点云图像进行渲染绘制并展示在显示屏上，不用通过开放图形库(Open Graphics Library，OpenGL)对第一三维点云数据集中的每个三维点云数据逐一渲染绘制，提升了渲染效率，降低了对终端设备性能的要求，减少了编辑过程中的卡顿，提升了用户体验。其中，OpenGL是用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口(API)。其中，关于将三维点云数据集映射为二维点云图像的方法，可参见后续实施例，在此在不赘述。

其中，考虑到激光雷达和摄像头固定在支架的云台设备上，云台设备绕着竖直轴旋转，因此，不同采集点位采集的第一三维点云数据集之间，在水平方向上存在平移、缩放或者旋转。若对二维点云图像执行平移、缩放或旋转操作，则在第一三维点云数据集的竖直方向保持不变的情况下，可对第一三维点云数据集执行平移、旋转或缩放操作，以对第一三维点云数据集的位姿信息进行修正。具体地，将各采集点位上采集到的第一三维点云数据集对应的二维点云图像展示在终端设备上，在任一二维点云图像被编辑的情况下，可响应于对该任一二维点云图像的编辑操作，根据编辑操作的编辑参数，对该任一二维点云图像对应的第一三维点云数据集的位姿信息进行修正。其中，编辑参数可以包含但不限于：缩放比例、旋转角度或平移距离中的至少一种。需要说明的是，可以对全部的二维点云图像执行编辑操作，对全部二维点云图像对应的第一三维点云数据集的位姿信息进行修正，得到每个第一三维点云数据集的修正后的位姿信息；也可以对部分二维点云图像执行编辑操作，对该部分二维点云图像对应的第一三维点云数据集的位姿信息进行修正，对没有执行编辑操作的二维点云图像，该二维点云图像对应的第一三维点云数据集的位姿信息不变。

图2a展示了目标物理空间包含的多个空间对象中在各采集点位上采集到的第一三维点云数据集对应的二维点云图像。其中，目标物理空间实现为一套房屋，空间对象实现为：厨房、主卫、餐厅、客厅、过道、主卧、次卧、阳台1和阳台2；厨房包括采集点位6和采集点位7，主卫包括采集点位8和采集点位9，餐厅包括采集点位5和采集点位4，客厅包括采集点位1、采集点位2和采集点位3，过道包括采集点位10，主卧包括采集点位11和采集点位12，次卧包括采集点位14和采集点位15，阳台1包括采集点位13，阳台2包括采集点位16。其中，在图2a中以对阳台1对应的二维点云图像进行编辑为例进行图示，但并不限于此。

在本实施例中，目标物理空间中包含的多个空间对象之间存在相对位置关系，其中，多个空间对象之间的相对位置关系的获取方式并不限定。例如，可以通过其它传感器确定采集点位的位置信息，其它传感器可以是定位模块，定位模块可以是GPS定位、WiFi定位模块或者SLAM模块；进而，可以根据采集点位的位置信息以及采集点位与其所属空间对象的相对位置关系，得到空间对象的位置信息，从而得到多个空间对象之间的相对位置关系。又例如，预先维护物理空间的标识信息以及物理空间中包含的多个空间对象的相对位置关系，根据目标物理空间的标识信息，获取目标物理空间中包含的多个空间对象的相对位置关系。

在本实施例中，可以基于目标物理空间中包含的多个空间对象之间的相对位置关系，以及每个第一三维点云数据集的修正后的位姿信息，对各第一三维点云数据集进行点云拼接，以得到目标物理空间对应的三维点云模型。其中，可以根据目标物理空间中包含的多个空间对象之间的相对位置关系，确定哪两个第一三维点云数据集需要进行点云拼接，对于需要进行点云拼接的两个第一三维点云数据集，根据每个第一三维点云数据集的修正后的位姿信息，对各第一三维点云数据集进行点云拼接，直至对所有需要进行点云拼接第一三维点云数据集进行点云拼接，以得到目标物理空间对应的三维点云模型。其中，三维点云模型能够反应目标物理空间中的墙体、门体、窗体以及家具或家电等信息。

在本实施例中，根据各采集点位上采集到的二维实景图像，结合各采集点位在对应空间对象中的位置信息，对三维点云模型进行纹理映射，得到目标物理空间对应的三维实景空间。例如，可以根据各采集点位在对应空间对象中的位置信息，确定采集点位上的二维实景图像对应于三维点云模型中的位置信息，根据每张二维实景图像对应于三维点云模型中的位置信息，对三维点云模型进行纹理映射，得到目标物理空间对应的三维实景空间。其中，在二维实景图像实现为全景图像的情况下，三维实景空间可以是三维全景空间。

在本实施例中，在得到目标物理空间对应的三维实景空间之后，可以将三维实景空间展示在终端设备的显示屏上，以便于用户查看，或者经纪人为用户提供带看讲解服务。

在本申请实施例中，在多个空间对象的各采集点位上采集二维实景图像的同时采集三维点云数据集，采用人工手动编辑的方式对三维点云数据集的位姿进行修正；基于多个空间对象之间的相对位置关系，结合三维点云数据集修正后的位姿信息，对三维点云数据集进行点云拼接，得到目标物理空间对应的三维点云模型；根据各采集点位上采集到的二维实景图像，对三维点云模型进行纹理映射，得到目标物理空间对应的三维实景空间。整个过程中，结合各采集点位的三维点云数据集生成三维点云模型，进而得到户型图，无需依赖相机的移动轨迹，提高了生成户型图的准确率。

在一可选实施例中，一种将第一三维点云数据集映射为二维点云图像的方法包括：根据每个第一三维点云数据集中三维点云数据的位置信息，分别对每个第一三维点云数据集进行投影，得到每个采集点位对应的二维点云数据集，例如，可以选择与地面平行的平面，将每个第一三维点云数据集中三维点云数据垂直投影到该平面上，形成每个采集点位对应的二维点云数据集；根据各二维点云数据集中二维点云数据之间的距离信息，结合预先定义的二维点云数据与二维图像中像素点的位置映射关系，将各二维点云数据集映射为对应的二维点云图像。

其中，二维点云图像实现可以是位图，二维点云数据可以等比映射到位图，二维点云数据集中二维点云数据之间的距离单位是“米”，位图的单位是像素；建立二维点云数据集对应的二维坐标系，二维点云数据集中x坐标轴的最小值和最大值分别记为minX，maxX，y坐标轴的最小值和最大值分别记为minY，maxY，由此可以得出二维点云数据的宽度和高度分别为：cloudWidth＝maxX-minX，cloudHeight＝maxY-minY；二维点云数据集一米对应位图图像像素点的数量记为ppm(每米对应位图像素的长度，通常值在100-200)，那么二维点云数据集对应的位图的宽度和高度分别为：pixW＝cloudWidth*ppm，pixH＝cloudHeight*ppm。由此，二维点云数据坐标为(pointX,pointY)，每个二维点云数据映射到位图上对应的像素位置是：u＝(pointX-minX)/cloudWidth*pixW；v＝(pointY-minY)/cloudHeight*pixH；预先定义的二维点云数据与二维图像中像素点的位置映射关系记为上述(pointX,pointY)与(u，v)之间的对应关系。图2b为一种二维点云图像的示例性图示，但并不限于此。

可选地，根据每个第一三维点云数据集中的三维点云数据的位置信息，将处于设定高度范围内的三维点云数据过滤掉；对每个第一三维点云数据集中过滤后的三维点云数据进行投影，得到每个采集点位对应的二维点云数据集。例如，目标物理空间实现为房屋，天花板的点云密度较高，在这种情况下，对第一三维点云数据集进行投影，得到的二维点云数据集包括天花板对应的三维点云数据，将无法体现房屋内的其它细节，例如，家具或家电等，因此，在对第一三维点云数据集进行投影前，可以先过滤掉天花板附近的三维点云数据，使得投影得到的二维点云数据集更加符合实际的需要。又例如，在一些场景中，采集第一三维点云数据集时，可能采集到地面对应的三维点云数据，地面对应的三维点云数据较为密集，在这种情况下，对第一三维点云数据集进行投影，得到的二维点云数据集包括地面对应的三维点云数据，将无法体现房屋内的其它细节，因此，在对第一三维点云数据集进行投影前，可以先过滤掉地面附近的三维点云数据，使得投影得到的二维点云数据集更加符合实际的需要。

在一可选实施例中，对二维点云图像执行的编辑操作至少包括以下类型：旋转、平移或缩放，根据编辑操作的不同，编辑操作对应的编辑参数也有所不同。若编辑操作实现为旋转操作，则编辑参数为旋转角度；若编辑操作实现为缩放操作，则编辑参数为缩放比例；若编辑操作实现为平移操作，则编辑参数为平移距离。基于此，可以根据编辑操作的类型，将编辑操作的编辑参数转换成二维变换矩阵，编辑参数包括：缩放比例、旋转角度或平移距离中的至少一种，其中，二维变换矩阵可以是缩放矩阵、旋转矩阵或平移矩阵等，例如可以是用3x3的矩阵表示二维变换矩阵。

其中，针对每个第一三维点云数据集对应的二维点云图像，可以执行一次编辑操作，也可以执行多次编辑操作，在执行多次编辑操作的情况下，可以是同一种编辑操作执行多次，也可以是不同的编辑操作执行多次，对此不做限定。

其中，对二维点云图像执行的编辑操作是通过一次或多次触摸事件来实现的，触摸事件发生的频率很高，每次触摸事件均可生成相应的二维变换矩阵，对一次或多次触摸事件对应的二维变换矩阵进行左乘，得到最终二维变换矩阵。例如，上一次触摸事件之后，得到的二维变换矩阵为M1，本次触摸事件对应旋转操作，旋转操作的旋转角度对应的二维变换矩阵为N，则本次触摸事件得到的二维变换矩阵为M2＝N*M1。

其中，对二维点云图像的编辑操作是在二维点云图像坐标系下，实际上需要对该二维点云图像对应的第一三维点云数据集进行编辑操作，以修正该第一三维点云数据集的位姿信息，那么需要将二维变换矩阵转换成三维变换矩阵。在转换过程中，由于激光雷达是固定在支架的云台设备上，对着云台设备的旋转而旋转，则对第一三维点云数据集执行旋转操作，是沿着Y轴(竖直轴)进行旋转，X轴和Z轴方向(水平方向上的两个坐标轴)上不发生旋转，因此，在执行旋转操作时，第一三维点云数据集中的三维点云数据的x坐标和z坐标发生变化，y坐标不发生变化；针对第一三维点云数据集的平移操作是在X轴和Z轴方向上发生数据变化，在Y轴上没有数据改变；对二维点云图像执行的缩放操作，并不会影响第一三维点云数据集的位姿信息，所以可以左乘缩放参数对应的二维变换矩阵的逆。例如，缩放操作的缩放比例对应的二维变换矩阵为S，三维变换矩阵为M3＝(S^-1)*M2。又例如，对二维点云图像执行旋转操作，该旋转操作的旋转参数对应的二维变换矩阵为其中，a是绕原点旋转的角度；将二维变换矩阵M2转换成三维矩阵即为M3，M3表示为：/>其中，b为绕Y轴旋转的角度。

在本实施例中，可以一边采集第一三维点云数据集，一边将三维点云数据集映射成二维点云数据集，并对二维点云数据集进行实时的编辑，或者在采集整个目标物理空间的全部第一三维点云数据集之后，将各采集点位采集到的三维点云数据集映射为二维点云图像展示在终端设备上；无论是上述哪种情况，均可对二维点云图像进行编辑操作，修正第一三维点云数据集的误差，进一步，还可以查看二维点云图像对应的第一三维点云数据集是否发生错误，例如，点云被墙挡住，点云不完整(点云缺失)等情况，可及时重新采集第一三维点云数据集，减小后续生成三维点云模型的误差。

在本实施例中，并不限定基于多个空间对象之间的相对位置关系，以及每个第一三维点云数据集的修正后的位姿信息，对各第一三维点云数据集进行点云拼接，以得到目标物理空间对应的三维点云模型的实施方式，下面进行举例说明。

在一可选实施例中，可以根据多个空间对象之间的相对位置关系，确定多个空间对象中的第一三维点云数据集的点云拼接关系，该点云拼接关系反应了各第一三维点云数据集中需要对哪两个第一三维点云数据集进行点云拼接；根据多个空间对象中的第一三维点云数据集的点云拼接关系，以及每个第一三维点云数据集的修正后的位姿信息，对各第一三维点云数据集进行点云拼接，以得到目标物理空间对应的三维点云模型。

在另一可选实施例中，先对每个空间对象中的第一三维点云数据集进行点云拼接，再从空间对象维度，对多个空间对象的三维点云数据集进行点云拼接，得到目标物理空间的三维点云模型。为了便于区分和描述，将空间对象维度的三维点云数据集称为第二三维点云数据集。

针对每个空间对象，在该空间对象包含一个采集点位的情况下，将该采集点位上采集到的第一三维点云数据集作为该空间对象的第二三维点云数据集；在该空间对象中包含多个采集点位的情况下，根据多个采集点位上采集到的多个第一三维点云数据集的修正后的初始位姿信息，结合多个采集点位上采集到的多张二维实景图像的位姿信息，对多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集；根据多个空间对象之间的相对位置关系，对多个空间对象的第二三维点云数据集进行点云拼接，得到目标物理空间对应的三维点云模型，三维点云模型包含三维点云数据。详细内容可参见图1a所示的实施例，在此不再详述。

在本实施例中，并不限定根据所述各采集点位上采集到的二维实景图像，结合所述各采集点位在对应空间对象中的位置信息，对所述三维点云模型进行纹理映射，得到所述目标物理空间对应的三维实景空间以用于展示的实施方式。下面进行举例说明。

在一可选实施例中，根据各采集点位上采集到的二维实景图像，结合各采集点位在对应空间对象中的位置信息，对二维实景图像进行点云拼接，得到目标物理空间对应的二维实景图像；根据目标物理空间对应的二维实景图像，对三维点云模型进行纹理映射，得到目标物理空间对应的三维实景空间以用于展示。

在另一可选实施例中，根据点云坐标系和图像坐标系之间的转换关系，结合各采集点位在对应空间对象中的位置信息，建立多个采集点位的二维实景图像上的纹理坐标与三维点云模型上的点云坐标之间的对应关系，其中，点云坐标系和图像坐标系之间的转换关系体现了采集三维点云数据集的激光雷达与采集二维实景图像的摄像头之间的相对位置关系；根据对应关系，将各采集点位上采集到的二维实景图像映射到三维点云模型上，得到目标物理空间对应的三维实景空间。例如，可以对三维点云模型进行网格化处理，得到该三维点云模型对应的网格(mesh)模型，该mesh模型包括许多三角面片，二维实景图像需要投影到对应的三角面片上，每个三角面片都会对应二维实景图像中的一块像素区域，把二维实景图像中的像素区域提取出来合并成纹理图片，基于各采集点位上二维实景图像对应的纹理图片，对三维点云模型进行纹理映射；根据采集三维点云数据集的激光雷达与采集二维实景图像的摄像头之间的相对位置关系，结合各采集点位在对应空间对象中的位置信息，建立多个采集点位的二维实景图像上的纹理坐标与三维点云模型上的点云坐标之间的对应关系；根据该对应关系，将各采集点位上采集到的二维实景图像(即纹理图片)映射到三维点云模型上，得到目标物理空间对应的三维实景空间。其中图2d展示了对三维点云模型进行网格化处理，得到的mesh模型。

除此之外，在对三维点云模型进行网格化处理、纹理映射之后，得到三维实景空间，还可以对三维实景空间进行空洞处理和平面校正。其中，空洞处理是指对三维实景空间中窗体或门体等空间空缺的部分进行填补；平面校正是指对三维实景空间中凹凸不平的墙体进行平整化处理。

需要说明的是，在二维实景图像实现为二维全景图像的情况下，三维实景空间可以实现为三维全景空间。

在一可选实施例中，还可以生成目标物理空间对应的平面户型图。具体地，对各采集点位的二维实景图像进行目标检测，得到各采集点位的二维实景图像中的门体和窗体的位置信息，其中目标检测算法并不限定，可以是通过目标检测模型对二维实景图像进行目标检测；对三维点云模型对应的二维模型图像进行识别和分割，得到二维模型图像中的墙体轮廓信息。例如，对三维点云模型进行投影处理，得到二维点云模型，根据点云数据与二维图像中像素点的位置映射关系，将二维点云模型映射为二维模型图像；针对二维模型图像，通过轮廓提取算法得到各空间对象的墙体轮廓数据，基于墙体轮廓数据拟合空间对象的几何形状边数，比如几何形状边数的边数阈值为6，若空间对象的边数大于边数阈值，需要继续对空间对象的墙体轮廓数据进行拟合，直至空间对象的边数小于或等于该边数阈值，得到拟合后的墙体轮廓数据。

其中，在得到二维模型图像中的墙体轮廓信息以及各采集点位的二维实景图像中的门体和窗体的位置信息之后，可以根据二维模型图像中的墙体轮廓信息和各采集点位的二维实景图像中的门体和窗体的位置信息，生成目标物理空间对应的平面户型图。例如，根据二维模型图像中的墙体轮廓信息可以确定目标物理空间中各空间对象对应的顶点数据，基于该顶点数据绘制目标物理空间对应的平面户型图，并根据二维实景图像中的门体和窗体的位置信息，在平面户型图中添加门体和窗体信息。

在另一可选实施例中，可以在终端设备上展示多个空间对象中各采集点位上的第一三维点云数据集对应的二维点云图像；在任一二维点云图像被编辑的情况下，响应于对任一二维点云图像的编辑操作，根据编辑操作的编辑参数，对任一二维点云图像对应的第一三维点云数据集的位姿信息进行修正；在终端设备上基于多个空间对象之间的相对位置关系，以及每个二维点云图像修正后的位姿信息，对各二维点云图像进行拼接，得到目标物理空间对应的二维点云户型图；或者，终端设备可以将多个空间对象之间的相对位置关系以及每个二维点云图像修正后的位姿信息，提供给服务端设备，由服务端设备基于多个空间对象之间的相对位置关系，以及每个二维点云图像修正后的位姿信息，对各二维点云图像进行拼接，得到目标物理空间对应的二维点云户型图。关于服务端设备和终端设备的详细内容可参见后续实施例，在此暂不详述。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101a至步骤103a的执行主体可以为设备A；又比如，步骤101a和102a的执行主体可以为设备A，步骤103a的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101a、102a等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图3为本申请示例性提供的一种户型图生成系统的结构示意图，如图3所示，该户型图生成系统包括：数据采集设备301、终端设备302以及服务端设备303。

其中，数据采集设备301包括：激光雷达301a、摄像头301b、通信模块301c和处理器301d，进一步，数据采集设备301还包括：云台设备301e(又称旋转云台)、移动电源(并未在图3中展示)以及支架301f等。其中，云台设备安装在支架上，在处理器的控制下云台设备能够旋转，激光雷达和摄像头固定安装在云台设备上，可以随着云台设备的旋转而旋转；激光雷达和摄像头可以呈一定的角度关系，例如，90度、180度或270度等；移动点云为数据采集设备301供能；通信模块可以是蓝牙模块、wifi模块或红外通信模块等；基于通信模块，数据采集设备301可以与终端设备进行数据通信。在图3中以摄像头是鱼眼相机为例进行图示，但并不限于此。

其中，终端设备302可以是智能手机、笔记本电脑或台式电脑等，在图3中以终端设备是智能手机为例进行图示，但并不限于此。

其中，服务端设备303可以是常规服务器、云服务器或服务器阵列等服务端设备。在图3中以服务端设备是常规服务器为例进行图示，但并不限于此。

在本实施例中，数据采集设备301，用于通过激光雷达和摄像头在目标物理空间的多个空间对象中的各采集点位上分别采集第一三维点云数据集和二维实景图像，将采集到的第一三维点云数据集和二维实景图像提供给终端设备；其中，每个空间对象中设置有一个或多个采集点位，在每一空间对象的每一采集点位的多个必要采集方向上获取第一三维点云数据集、以及与其相适配的二维实景图像，每个第一三维点云数据集被映射为二维点云图像，所述二维点云图像能够被执行编辑操作；

在本实施例中，终端设备302，用于响应于对任一二维点云图像的编辑操作，根据编辑操作的编辑参数，对任一二维点云图像对应的第一三维点云数据集的位姿信息进行修正，并将每个采集点位上采集的二维实景图像、第一三维点云数据集及其修正后的位姿信息提供给服务端设备；

在本实施例中，服务端设备303，用于基于多个空间对象之间的相对位置关系，以及每个第一三维点云数据集的修正后的位姿信息，对各第一三维点云数据集进行点云拼接，以得到目标物理空间对应的三维点云模型，三维点云模型是由三维点云数据形成的三维模型；根据各采集点位上采集到的二维实景图像，结合各采集点位在对应空间对象中的位置信息，对三维点云模型进行纹理映射，得到目标物理空间对应的三维实景空间以用于展示。

其中，关于数据采集设备301、终端设备302以及服务端设备303的详细实施方式，可参见前述实施例，在此不再赘述。

本申请实施例提供的户型图生成系统，在多个空间对象的各采集点位上采集二维实景图像的同时采集三维点云数据集，采用人工手动编辑的方式对三维点云数据集的位姿进行修正；基于多个空间对象之间的相对位置关系，结合三维点云数据集修正后的位姿信息，对三维点云数据集进行点云拼接，得到目标物理空间对应的三维点云模型；根据各采集点位上采集到的二维实景图像，对三维点云模型进行纹理映射，得到目标物理空间对应的三维实景空间。整个过程中，将各采集点位的二维实景图像与三维点云数据集进行结合，生成三维实景空间，无需依赖相机的移动轨迹，提高了生成三维实景空间的准确率。

图4为本申请示例性实施例提供的一种点云拼接装置的结构示意图，如图4所示，该装置包括：获取模块41、处理模块42和拼接模块43。

获取模块41，用于获取目标物理空间的多个空间对象中在各采集点位上采集到的第一三维点云数据集和二维实景图像；其中，每个空间对象中设置有一个或多个采集点位，在每一空间对象的每一采集点位的多个必要采集方向上获取第一三维点云数据集、以及与其相适配的二维实景图像；

处理模块42，用于针对每个空间对象，在该空间对象包含一个采集点位的情况下，将该采集点位上采集到的第一三维点云数据集作为该空间对象的第二三维点云数据集；

拼接模块43，用于在该空间对象中包含多个采集点位的情况下，根据多个采集点位上采集到的多个第一三维点云数据集的初始位姿信息，结合多个采集点位上采集到的多张二维实景图像的位姿信息，对多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集；

拼接模块43，还用于根据多个空间对象之间的相对位置关系，对多个空间对象的第二三维点云数据集进行点云拼接，得到目标物理空间对应的三维点云模型，三维点云模型包含三维点云数据。

在一可选实施例中，拼接模块具体用于：按照设定的点云拼接顺序，依次确定该空间对象中需要点云拼接的两个第一三维点云数据集；根据两个第一三维点云数据集分别对应的二维实景图像，确定两个第一三维点云数据集的第一相对位姿信息；根据两个第一三维点云数据集各自修正后的位姿信息进行配准，得到第二相对位姿信息；根据两个第一三维点云数据集之间的点云误差函数，从第一相对位姿信息和第二相对位姿信息中选择待配准位姿信息；根据待配准位姿信息，对两个第一三维点云数据集进行点云拼接，直至该空间对象中的全部第一三维点云数据集参与点云拼接，得到该空间对象的第二三维点云数据集。

在一可选实施例中，拼接模块具体用于：对两个第一三维点云数据集分别对应的二维实景图像进行特征提取，得到每张二维实景图像中的多个特征点，每个特征点包括：位置信息和像素信息；根据每张二维实景图像中特征点的像素信息，建立两张二维实景图像之间特征点的对应关系；根据两张二维实景图像之间特征点的对应关系，结合两张二维实景图像中特征点的位置信息，确定两张二维实景图像的第三相对位姿信息；根据第三相对位姿信息，结合各采集点位上采集第一三维点云数据集的激光雷达与采集二维实景图像的摄像头之间的相对位置关系，得到两个第一三维点云数据集的第一相对位姿信息。

在一可选实施例中，拼接模块具体用于：根据第一相对位姿信息以及第二相对位姿信息，分别计算两个第一三维点云数据集之间的第一点云误差函数和第二点云误差函数；根据第一点云误差函数和第二点云误差函数，从第一相对位姿信息以及第二相对位姿信息中选择待配准位姿信息。

在一可选实施例中，拼接模块具体用于：获取其它传感器提供的两个第一三维点云数据集的其它位姿信息；其它传感器至少包括：无线通信传感器或定位传感器；根据两个第一三维点云数据集的其它位姿信息，确定两个第一三维点云数据集的第四相对位姿信息；根据两个第一三维点云数据集之间的点云误差函数，从第一相对位姿信息、第二相对位姿信息以及第四相对位姿信息中选择待配准位姿信息。

在一可选实施例中，点云拼接装置还包括：识别模块、转换模块和裁切模块；识别模块，用于根据第一三维点云数据集对应的二维实景图像识别门体或窗体的位置信息；转换模块，用于根据点云坐标系与图像坐标系的转换关系，将识别到的门体或窗体的位置信息转换至点云坐标系中；裁切模块，用于根据点云坐标系中门体或窗体的位置信息，结合采集点位在雷达坐标系中的位置信息，对第一三维点云数据集中的多余点云进行裁切。

其中，关于点云拼接装置的详细实施方式，可参见前述实施例，在此不再赘述。

本申请实施例提供的点云拼接装置，在多个空间对象的各采集点位上采集到的三维点云数据集和二维实景图像，先对每个空间对象中的三维点云数据集进行点云拼接，再从空间对象维度，根据多个空间对象之间的相对位置关系，对多个空间对象的三维点云数据集进行点云拼接，得到目标物理空间的三维点云模型。针对空间对象中的多个三维点云数据集，结合该空间对象中采集的多张二维实景图像的位姿信息，对该多个三维点云数据集进行点云拼接，在空间对象中的三维点云数据集之间重叠部分的特征点数量较少的情况下，能够基于多张二维实景图像的位姿信息进行点云配准，提高三维点云数据集点云拼接的准确率。

图5为本申请示例性实施例提供的一种点云拼接设备的结构示意图。如图5所示，该设备包括：存储器54和处理器55。

存储器54，用于存储计算机程序，并可被配置为存储其它各种数据以支持在点云拼接设备上的操作。这些数据的示例包括用于在点云拼接设备上操作的任何应用程序或方法的指令。

存储器54可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器55，与存储器54耦合，用于执行存储器54中的计算机程序，以用于：获取目标物理空间的多个空间对象中在各采集点位上采集到的第一三维点云数据集和二维实景图像；其中，每个空间对象中设置有一个或多个采集点位，在每一空间对象的每一采集点位的多个必要采集方向上获取第一三维点云数据集、以及与其相适配的二维实景图像；针对每个空间对象，在该空间对象包含一个采集点位的情况下，将该采集点位上采集到的第一三维点云数据集作为该空间对象的第二三维点云数据集；在该空间对象中包含多个采集点位的情况下，根据多个采集点位上采集到的多个第一三维点云数据集的初始位姿信息，结合多个采集点位上采集到的多张二维实景图像的位姿信息，对多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集；根据多个空间对象之间的相对位置关系，对多个空间对象的第二三维点云数据集进行点云拼接，得到目标物理空间对应的三维点云模型，三维点云模型包含三维点云数据。

在一可选实施例中，处理器55在根据多个采集点位上采集到的多个第一三维点云数据集的初始位姿信息，结合多个采集点位上采集到的多张二维实景图像的位姿信息，对多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集时，具体用于：按照设定的点云拼接顺序，依次确定该空间对象中需要点云拼接的两个第一三维点云数据集；根据两个第一三维点云数据集分别对应的二维实景图像，确定两个第一三维点云数据集的第一相对位姿信息；根据两个第一三维点云数据集各自修正后的位姿信息进行配准，得到第二相对位姿信息；根据两个第一三维点云数据集之间的点云误差函数，从第一相对位姿信息和第二相对位姿信息中选择待配准位姿信息；根据待配准位姿信息，对两个第一三维点云数据集进行点云拼接，直至该空间对象中的全部第一三维点云数据集参与点云拼接，得到该空间对象的第二三维点云数据集。

在一可选实施例中，处理器55在根据两个第一三维点云数据集分别对应的二维实景图像，确定两个第一三维点云数据集的第一相对位姿信息时，具体用于：对两个第一三维点云数据集分别对应的二维实景图像进行特征提取，得到每张二维实景图像中的多个特征点，每个特征点包括：位置信息和像素信息；根据每张二维实景图像中特征点的像素信息，建立两张二维实景图像之间特征点的对应关系；根据两张二维实景图像之间特征点的对应关系，结合两张二维实景图像中特征点的位置信息，确定两张二维实景图像的第三相对位姿信息；根据第三相对位姿信息，结合各采集点位上采集第一三维点云数据集的激光雷达与采集二维实景图像的摄像头之间的相对位置关系，得到两个第一三维点云数据集的第一相对位姿信息。

在一可选实施例中，处理器55在根据两个第一三维点云数据集之间的点云误差函数，从第一相对位姿信息和第二相对位姿信息中选择待配准位姿信息时，具体用于：根据第一相对位姿信息以及第二相对位姿信息，分别计算两个第一三维点云数据集之间的第一点云误差函数和第二点云误差函数；根据第一点云误差函数和第二点云误差函数，从第一相对位姿信息以及第二相对位姿信息中选择待配准位姿信息。

在一可选实施例中，处理器55在根据两个第一三维点云数据集之间的点云误差函数，从第一相对位姿信息和第二相对位姿信息中选择待配准位姿信息时，具体用于：获取其它传感器提供的两个第一三维点云数据集的其它位姿信息；其它传感器至少包括：无线通信传感器或定位传感器；根据两个第一三维点云数据集的其它位姿信息，确定两个第一三维点云数据集的第四相对位姿信息；根据两个第一三维点云数据集之间的点云误差函数，从第一相对位姿信息、第二相对位姿信息以及第四相对位姿信息中选择待配准位姿信息。

在一可选实施例中，处理器55在根据多个采集点位上采集到的多个第一三维点云数据集的初始位姿信息，结合多个采集点位上采集到的多张二维实景图像的位姿信息，对多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集之前，还用于：根据第一三维点云数据集对应的二维实景图像识别门体或窗体的位置信息；根据点云坐标系与图像坐标系的转换关系，将识别到的门体或窗体的位置信息转换至点云坐标系中；根据点云坐标系中门体或窗体的位置信息，结合采集点位在雷达坐标系中的位置信息，对第一三维点云数据集中的多余点云进行裁切。

其中，关于点云拼接设备的详细实施方式，可参见前述实施例，在此不再赘述。

本申请实施例提供的点云拼接设备，在多个空间对象的各采集点位上采集到的三维点云数据集和二维实景图像，先对每个空间对象中的三维点云数据集进行点云拼接，再从空间对象维度，根据多个空间对象之间的相对位置关系，对多个空间对象的三维点云数据集进行点云拼接，得到目标物理空间的三维点云模型。针对空间对象中的多个三维点云数据集，结合该空间对象中采集的多张二维实景图像的位姿信息，对该多个三维点云数据集进行点云拼接，在空间对象中的三维点云数据集之间重叠部分的特征点数量较少的情况下，能够基于多张二维实景图像的位姿信息进行点云配准，提高三维点云数据集点云拼接的准确率。

进一步，如图5所示，该点云拼接设备还包括：通信组件56、显示器57、电源组件58、音频组件59等其它组件。图5中仅示意性给出部分组件，并不意味着点云拼接设备只包括图5所示组件。需要说明的是，图5中虚线框内的组件为可选组件，而非必选组件，具体可视点云拼接设备的产品形态而定。

进一步，点云拼接设备可实现为图3所示的服务端设备，在实现为服务端设备的情况下，点云拼接设备不包含图5中虚线框内的组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现本申请实施例提供的图1a所示方法中的各步骤。

上述图5中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

上述图5中的显示器包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

上述图5中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

上述图5中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种点云拼接方法，其特征在于，包括：

获取目标物理空间的多个空间对象中在各采集点位上采集到的第一三维点云数据集和二维实景图像；其中，每个空间对象中设置有一个或多个采集点位，在每一空间对象的每一采集点位的多个必要采集方向上获取第一三维点云数据集、以及与其相适配的二维实景图像；其中，采集点位的多个必要采集方向与需要采集空间对象中的内容相关，还与采集第一三维点云数据的激光雷达的视场范围相关，以及与采集二维实景图像的摄像头的视场范围相关；

针对每个空间对象，在该空间对象包含一个采集点位的情况下，将该采集点位上采集到的第一三维点云数据集作为该空间对象的第二三维点云数据集；在该空间对象中包含多个采集点位的情况下，根据所述多个采集点位上采集到的多个第一三维点云数据集的初始位姿信息，结合所述多个采集点位上采集到的多张二维实景图像的位姿信息，对所述多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集；

根据所述多个空间对象之间的相对位置关系，对所述多个空间对象的第二三维点云数据集进行点云拼接，得到所述目标物理空间对应的三维点云模型，所述三维点云模型包含三维点云数据；

其中，根据所述多个采集点位上采集到的多个第一三维点云数据集的初始位姿信息，结合所述多个采集点位上采集到的多张二维实景图像的位姿信息，对所述多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集，包括：

按照设定的点云拼接顺序，依次确定该空间对象中需要点云拼接的两个第一三维点云数据集；

根据所述两个第一三维点云数据集分别对应的二维实景图像，确定所述两个第一三维点云数据集的第一相对位姿信息；

根据所述两个第一三维点云数据集各自修正后的位姿信息进行配准，得到第二相对位姿信息；

根据所述两个第一三维点云数据集之间的点云误差函数，从所述第一相对位姿信息和所述第二相对位姿信息中选择待配准位姿信息；

根据所述待配准位姿信息，对所述两个第一三维点云数据集进行点云拼接，直至该空间对象中的全部第一三维点云数据集参与点云拼接，得到该空间对象的第二三维点云数据集。

2.根据权利要求1所述的方法，其特征在于，根据所述两个第一三维点云数据集分别对应的二维实景图像，确定所述两个第一三维点云数据集的第一相对位姿信息，包括：

对所述两个第一三维点云数据集分别对应的二维实景图像进行特征提取，得到每张二维实景图像中的多个特征点，每个特征点包括：位置信息和像素信息；

根据每张二维实景图像中特征点的像素信息，建立两张二维实景图像之间特征点的对应关系；

根据所述两张二维实景图像之间特征点的对应关系，结合所述两张二维实景图像中特征点的位置信息，确定所述两张二维实景图像的第三相对位姿信息；

根据所述第三相对位姿信息，结合各采集点位上采集第一三维点云数据集的激光雷达与采集二维实景图像的摄像头之间的相对位置关系，得到所述两个第一三维点云数据集的第一相对位姿信息。

3.根据权利要求1所述的方法，其特征在于，根据所述两个第一三维点云数据集之间的点云误差函数，从所述第一相对位姿信息和所述第二相对位姿信息中选择待配准位姿信息，包括：

根据所述第一相对位姿信息以及所述第二相对位姿信息，分别计算所述两个第一三维点云数据集之间的第一点云误差函数和第二点云误差函数；

根据所述第一点云误差函数和第二点云误差函数，从所述第一相对位姿信息以及所述第二相对位姿信息中选择待配准位姿信息。

4.根据权利要求1所述的方法，其特征在于，根据所述两个第一三维点云数据集之间的点云误差函数，从所述第一相对位姿信息和所述第二相对位姿信息中选择待配准位姿信息，包括：

获取其它传感器提供的所述两个第一三维点云数据集的其它位姿信息；所述其它传感器至少包括：无线通信传感器或定位传感器；

根据所述两个第一三维点云数据集的其它位姿信息，确定所述两个第一三维点云数据集的第四相对位姿信息；

根据所述两个第一三维点云数据集之间的点云误差函数，从所述第一相对位姿信息、所述第二相对位姿信息以及所述第四相对位姿信息中选择待配准位姿信息。

5.根据权利要求1所述的方法，其特征在于，根据所述多个采集点位上采集到的多个第一三维点云数据集的初始位姿信息，结合所述多个采集点位上采集到的多张二维实景图像的位姿信息，对所述多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集之前，还包括：

根据第一三维点云数据集对应的二维实景图像识别门体或窗体的位置信息；

根据点云坐标系与图像坐标系的转换关系，将识别到的门体或窗体的位置信息转换至点云坐标系中；

根据点云坐标系中门体或窗体的位置信息，结合采集点位在雷达坐标系中的位置信息，对第一三维点云数据集中的多余点云进行裁切。

6.一种点云拼接装置，其特征在于，包括：获取模块、处理模块和拼接模块；

所述获取模块，用于获取目标物理空间的多个空间对象中在各采集点位上采集到的第一三维点云数据集和二维实景图像；其中，每个空间对象中设置有一个或多个采集点位，在每一空间对象的每一采集点位的多个必要采集方向上获取第一三维点云数据集、以及与其相适配的二维实景图像；其中，采集点位的多个必要采集方向与需要采集空间对象中的内容相关，还与采集第一三维点云数据的激光雷达的视场范围相关，以及与采集二维实景图像的摄像头的视场范围相关；

所述处理模块，用于针对每个空间对象，在该空间对象包含一个采集点位的情况下，将该采集点位上采集到的第一三维点云数据集作为该空间对象的第二三维点云数据集；所述拼接模块，用于在该空间对象中包含多个采集点位的情况下，根据所述多个采集点位上采集到的多个第一三维点云数据集的初始位姿信息，结合所述多个采集点位上采集到的多张二维实景图像的位姿信息，对所述多个第一三维点云数据集进行点云拼接，得到该空间对象的第二三维点云数据集；

所述拼接模块，用于根据所述多个空间对象之间的相对位置关系，对所述多个空间对象的第二三维点云数据集进行点云拼接，得到所述目标物理空间对应的三维点云模型，所述三维点云模型包含三维点云数据；

所述点云拼接模块具体用于：

按照设定的点云拼接顺序，依次确定该空间对象中需要点云拼接的两个第一三维点云数据集；根据所述两个第一三维点云数据集分别对应的二维实景图像，确定所述两个第一三维点云数据集的第一相对位姿信息；根据所述两个第一三维点云数据集各自修正后的位姿信息进行配准，得到第二相对位姿信息；根据所述两个第一三维点云数据集之间的点云误差函数，从所述第一相对位姿信息和所述初始第二相对位姿信息中选择待配准位姿信息；根据所述待配准位姿信息，对所述两个第一三维点云数据集进行点云拼接，直至该空间对象中的全部第一三维点云数据集参与点云拼接，得到该空间对象的第二三维点云数据集。

7.一种点云拼接设备，其特征在于，包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，与所述存储器耦合，用于执行所述计算机程序，以实现权利要求1-5任一项所述方法中的步骤。

8.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现权利要求1-5任一项所述方法中的步骤。