CN118570379A - 设施三维重建的方法、装置、设备、介质及产品 - Google Patents

Abstract

本申请提供了一种设施三维重建的方法、装置、设备、介质及产品，应用于人工智能技术领域。本申请中，获取待重建区域内的场景图像；基于场景图像，获得场景图像包括的待重建设施的目标语义信息和目标轮廓，目标轮廓用于描述待重建设施在预设表面的设施特点；从预设的三维模型库中，查找语义信息为目标语义信息，且轮廓与目标轮廓匹配的目标三维模型；将目标三维模型作为待重建设施的三维模型。通过从预设模型库中匹配得到待重建设施对应的三维模型，可以提高设施三维重建的准确性，并且三维模型可以带有其对应的语义信息。此外，这样即使不使用三维模型数据，也可以完成待重建区域内待重建设施的实例分割，简化了设施三维重建的复杂度。

Description

设施三维重建的方法、装置、设备、介质及产品

技术领域

本申请属于人工智能技术领域，具体涉及一种设施三维重建的方法、装置、设备、介质及产品。

背景技术

通常，对各类通信基础设施进行三维(3-dimension，3D)建模，可以实现通信设施信息化、可视化的管理，广泛应用于工程实施、设备运维、资产管理、节能降碳等工作。

一般情况下，可以利用双目视觉法生成双目视差图，对室内通信设施进行3D重建，并根据3D建模进行3D实例的识别。但这样的重建方法，需要预先对使用的相机进行双目标定，而双目标定的计算量大、复杂程度高，标定准确度难以保证，会影响视差计算的准确度，进而影响模型重建的计算准确性；并且依赖3D模型进行实例分割技术复杂度高，效果较差。因此，会导致设施三维重建复杂度高。

发明内容

本申请提出一种设施三维重建的方法、装置、设备、介质及产品，可以简化设施三维重建的复杂度。

本申请第一方面实施例提出了一种设施三维重建的方法，包括：

获取待重建区域内的场景图像，所述待重建区域为室内空间；

基于所述场景图像，获得所述场景图像包括的待重建设施的目标语义信息和目标轮廓，所述目标轮廓用于描述所述待重建设施在预设表面的设施特点；

从预设的三维模型库中，查找语义信息为所述目标语义信息，且轮廓与所述目标轮廓匹配的目标三维模型；

将所述目标三维模型作为所述待重建设施的三维模型。

可选地，所述将所述目标三维模型作为所述待重建设施的三维模型之前，还包括：

基于所述场景图像，获得所述待重建设施的多个点云；

调用预设的模型匹配算法，并基于所述多个点云的三维数据和所述目标三维模型的三维数据，对所述多个点云构成的三维模型和所述目标三维模型进行一致性匹配；

确定所述一致性匹配的结果表征所述三维模型和所述目标三维模型为针对同一设施的模型。

可选地，所述获取待重建区域内的场景图像，包括：

获取图像采集设备在第一位姿下采集的第一类场景图像，在第二位姿下采集的第二类场景图像以及在第三位姿下采集的第三类场景图像，所述图像采集设备包括相机；

将所述第一类场景图像、所述第二类场景图像，第三类场景图像，作为所述待重建区域内的所述场景图像；

在所述第一位姿时，所述图像采集设备与所述待重建设施上沿平齐，所述图像采集设备与放置所述待重建设施的地面垂直；

在所述第二位姿时，所述图像采集设备高于所述待重建设施上沿，所述图像采集设备与放置所述待重建设施的地面垂直；

在所述第三位姿时，所述图像采集设备高于所述待重建设施上沿，所述图像采集设备与放置所述待重建设施的地面成预设角度，所述预设角度为锐角。

可选地，所述待重建设施的数量为多个；所述将所述目标三维模型作为所述待重建设施的三维模型之后，还包括：

基于所述场景图像，分析多个所述待重建设施之间的相对位置关系；

基于所述相对位置关系，对多个所述待重建设施的三维模型进行拼接，获得待重建区域的区域三维模型。

可选地，所述基于所述场景图像，获得所述场景图像包括的待重建设施的目标轮廓，包括：

对所述场景图像进行实例分割，获得所述待重建设施的分割轮廓；

采用与所述待重建区域的用途类别信息对应的轮廓数据库，对所述分割轮廓进行校验；

在校验的结果表征所述轮廓数据库中包括所述分割轮廓的情况下，将所述分割轮廓作为所述目标轮廓；

在所述检验的结果表征所述轮廓数据库中不包括所述分割轮廓的情况下，将所述轮廓数据库中与所述分割轮廓匹配度最高的标准轮廓，作为所述目标轮廓。

可选地，所述基于所述场景图像，获得所述场景图像包括的待重建设施的目标轮廓，包括：

将所述场景图像划分为多个待检测图像；

采用预先训练的图像识别模型，对所述多个待检测图像进行推理，获得所述待重建设施的实例掩膜；

将所述实例掩膜作为所述目标轮廓。

第二方面，本申请实施例还提供一种设施三维重建的装置，包括：

第一获取模块，用于获取待重建区域内的场景图像；

第二获取模块，用于基于所述场景图像，获得所述场景图像包括的待重建设施的目标语义信息和目标轮廓，所述目标轮廓用于描述所述待重建设施在预设表面的设施特点；

查找模块，用于从预设的三维模型库中，查找语义信息为所述目标语义信息，且轮廓与所述目标轮廓匹配的目标三维模型；

确定模块，用于将所述目标三维模型作为所述待重建设施的三维模型。

本申请第二方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面所述的方法。

本申请第三方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面所述的方法。

本申请第四方面的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行实现上述第一方面所述的方法。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

本申请中，获取待重建区域内的场景图像；基于场景图像，获得场景图像包括的待重建设施的目标语义信息和目标轮廓，目标轮廓用于描述待重建设施在预设表面的设施特点；从预设的三维模型库中，查找语义信息为目标语义信息，且轮廓与目标轮廓匹配的目标三维模型；将目标三维模型作为待重建设施的三维模型。通过从预设模型库中匹配得到待重建设施对应的三维模型，无需进行相机标定，避免了相机标定过程中，因标定误差带来的重建准确性的影响，减少了复杂计算，可以提高设施三维重建的准确性，并且这样得到的待重建设施的三维模型带有其对应的语义信息。此外，在得到目标三维模型之前，通过二维的场景图像确定设施对应的语义信息和轮廓，这样即使不使用三维模型数据，也可以完成待重建区域内待重建设施的实例分割，避免了3D实例分割不精准的问题。因此，简化了设施三维重建的复杂度。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。

在附图中：

图1为本申请一实施例所提供的设施三维重建的方法的一种流程示意图；

图2为本申请一实施例所提供的通信设施机房的实例分割示意图；

图3为本申请一实施例所提供的获取待重建区域的待重建设施的场景图像的流程图；

图4为本申请一实施例所提供的获取待重建区域的待重建设施的场景图像的示意图；

图5为本申请一实施例所提供的设施三维重建的方法的另一种流程示意图；

图6为本申请一实施例所提供的设施三维重建的装置的结构示意图；

图7为本申请一实施例所提供的一种电子设备的结构示意图；

图8为本申请一实施例所提供的一种存储介质的示意图。

具体实施方式

为了使本领域技术人员更清楚地理解本申请的技术方案，下面首先说明本申请方案的应用场景。

对各类通信基础设施(如主设备机架、动环系统、消防设备、走线架、线缆等)进行三维(3-dimension，3D)建模，能够以更直观、更真实的方式展示机房内通信设施之间的连接与摆放，可以实现通信设施信息化、可视化的管理，广泛应用于工程实施、设备运维、资产管理、节能降碳等工作。

目前，可以利用双目视觉法进行三维重建。这种方法通常依赖高精度双目(或多目)摄像头，通过左右两个相机获取两张有视差的平面图，经过处理生成视差图，恢复拍摄场景的立体图形,从而实现三维重建，即二维图像进行三维场景转换还原的过程与相机的内外参数有关。并且，可以在完成三维建模后，再做3D状态下的语义、实例识别。这样的重建方法，需要预先根据相机的参数，对相机进行双目标定，双目标定的准确性对三维重建的准确度有很大影响。而双目标定对采集的照片的数量及质量要求较高，这样使得双目标定难度较大，双目标定的准确度不稳定，会影响视差计算的准确度，进而影响模型重建的计算准确性，会无法满足建模精度要求。并且，3D实例分割是基于区域内已经重建好的3D模型的三维数据集进行语义及实例目标划分的，也就是说需要在实例分割之前，先对区域内设施进行三维建模，并构建大规模3D模型的三维数据集，训练和计算量大，复杂程度高，效果较差。

此外，相关技术中，还可以通过主动视觉法和倾斜摄影法进行三维重建。主动视觉法主要利用光学设备对物理表面扫描，通过分析扫描数据重建物体表面的三维结构。通常是由激光密集多波束扫描生成点云，由相邻点的三角面片生成的包络形成设施表面模型。但这种方法由点云数据形成的三角面片可能十分杂乱，不利于数据的分析。并且，在需要对通信设施进行三维重建时，该方法采用激光采集设备采集通信设施的图像，价格昂贵，无法大范围使用。最后，通信设施的外观结构可能会存在近似的情况，该技术无法识别出模型具体的语义内容，无法对不同通信设施进行区分。

倾斜摄影法是一种成熟的被动视觉法建模方案，在无人机建模中已广泛使用。通过视觉传感器获取图像序列，提取特征并进行逆向工程，从而重建出物体三维结构模型。通常使用运动恢复结构(structure from motion，SfM)，从多个视点捕获多张图像，通过匹配算法，重建出三维模型。SfM技术鲁棒性较强，对输入图像要求较低，可直接输出稀疏点云。针对室外场景，无人机较易获取位姿信息，可进一步使用多视点立体视觉(Multi-viewstereo，MVS)技术进行稠密点云重建。输入多帧同一场景不同视点RGB图像，选取其中一帧或几帧图像作为参考图像，利用这些图像恢复参考图像的深度和法向量信息，获得参考图像的深度图和法向量图，最后对恢复的参考图像进行融合。SfM为MVS计算输入图像视角的位姿、内参、稀疏点云和共视关系，MVS利用这些信息进行后续的深度图估计以及参考图融合。该技术部分克服了主动视觉法的短板，其建模精度较高，同时采集设备成本低。但该技术同样无法进行模型中设备设施的语义识别，且由于MVS技术高度依赖相机位姿信息，该技术使用的无人机无法有效应用在室内场景，对室内场景的通信设施进行三维重建。

为了解决以上技术问题，本申请提供了一种设施三维重建的方法、装置、设备、介质及产品。本申请中，获取待重建区域内的场景图像；基于场景图像，获得场景图像包括的待重建设施的目标语义信息和目标轮廓，目标轮廓用于描述待重建设施在预设表面的设施特点；从预设的三维模型库中，查找语义信息为目标语义信息，且轮廓与目标轮廓匹配的目标三维模型；将目标三维模型作为待重建设施的三维模型。通过从预设模型库中匹配得到待重建设施对应的三维模型，无需进行相机标定，避免了相机标定过程中，因标定误差带来的重建准确性的影响，减少了复杂计算，可以提高设施三维重建的准确性，并且这样得到的待重建设施的三维建模带有其对应的语义信息。此外，在得到目标三维模型之前，通过二维的场景图像确定设施对应的语义信息和轮廓，这样即使不使用三维模型数据，也可以完成待重建区域内待重建设施的实例分割，避免了3D实例分割不精准的问题。因此，简化了设施三维重建的复杂度。

另外，本申请实施例中场景图像可以使用相机进行采集，避免了采集设备昂贵的问题；且使用相机作为采集设备，更加小巧、灵活，解决了无人机无法有效在室内使用的问题。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

为便于对本实施例进行理解，首先对本申请实施例所公开的一种设施三维重建的方法进行详细介绍，本申请实施例所提供的设施三维重建的方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该设施三维重建的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

图1为本申请实施例提供的一种设施三维重建的方法的一种流程图。如图1所示，该方法包括：

S101：获取待重建区域内的场景图像。

获取通过相机采集的待重建区域内多个角度、多个位姿的场景图像，可以丰富场景图像的数据多样性，有利于提高目标语义信息和目标轮廓获取的准确性。其中，场景图像可以通过配置高清双目摄像头的相机进行采集，这样可以获得同一角度下，不同视角的场景图像，有利于丰富数据采集的多样性，可以理解的是，也可以选择普通相机进行采集，本实施例在此不做具体限定。

进一步地，待重建区域可以包括室内空间，待重建区域内的待重建设施可以为各种用途的设施，比如在待重建区域为机房时，待重建设施可以为通信设施，待重建区域为办公区域时，待重建设施可以为办公桌、椅等。

本实施例中，针对室内空间的待重建设施的图像采集，优选采用相机，相机可以更好的应用于室内空间这一场景，可以灵活改变位姿获取场景图像，有效避免无人机在室内空间的适应性问题。

S102：基于场景图像，获得场景图像包括的待重建设施的目标语义信息和目标轮廓。

对场景图像进行实例分割，可以得到场景图像内待重建设施对应的目标语义信息和目标轮廓。

其中，目标轮廓用于描述待重建设施在预设表面的设施特点，目标语义信息用于描述待重建设施类别。

目标语义信息用于描述待重建设施的类别和名称。仍以图2的机柜1这一待重建设施举例，实例分割后，确定的该待重建设施类别为类别A，将根据场景图像内待重建设施数量及对应类别，对该待重建设施进行命名，例如可以命名为机柜1。

目标轮廓包括但不限于待重建设施的正面轮廓形状和正面设施特点。举例说明，图2为通信设施机房的实例分割示意图，以图2所示的机柜1为例，机柜1的目标轮廓包括的正面轮廓形状可以为矩形，正面设施特点用于表达机柜1的正面有圆形锁孔，同时正面具有平行设置的通风网孔。

通过二维的场景图像确定设施对应的语义信息和轮廓，这样即使不使用三维模型数据，也可以完成待重建区域内待重建设施的实例分割，降低了获取目标语义信息和目标轮廓的数据处理量，提高了实例分割的准确度。

此外，在获取目标语义信息和目标轮廓之前，若场景图像中的待重建设施存在割裂或不完整的情况，可以根据获取场景图像的顺序序列，将场景图像进行拼接。

S103：从预设的三维模型库中，查找语义信息为目标语义信息，且轮廓与目标轮廓匹配的目标三维模型。

可以预先构建包含语义信息和轮廓的设施三维模型库，在设施三维模型库中遍历查找是否存在目标语义信息，并计算目标轮廓与设施三维模型库中的轮廓匹配度，若确定设施三维模型库中存在匹配度满足预设匹配阈值的轮廓，则说明匹配成功，将三维模型库中对应的三维模型作为该待重建设施的目标三维模型。

作为一个可选实施例中，在计算目标轮廓与设施三维模型库中的轮廓匹配度时，生成目标轮廓的轮廓向量，计算该轮廓向量与设施三维模型库中各轮廓的轮廓向量的相似度，并以该相似度确定目标轮廓与设施三维模型库中各轮廓的匹配度，相似度越高表征匹配度越高。其中，本实施例可以采用OpenCV中轮廓检测相关函数进行计算确认，可以理解的是，上述仅为示例性举例，本实施例对轮廓匹配方法不做具体限定。

S104：将目标三维模型作为待重建设施的三维模型。

这样得到的待重建设施的三维模型是具备对应的语义信息的三维模型。

本申请中，获取待重建区域内的场景图像；基于场景图像，获得场景图像包括的待重建设施的目标语义信息和目标轮廓，目标轮廓用于描述待重建设施在预设表面的设施特点；从预设的三维模型库中，查找语义信息为目标语义信息，且轮廓与目标轮廓匹配的目标三维模型；将目标三维模型作为待重建设施的三维模型。通过从预设模型库中匹配得到待重建设施对应的三维模型，无需进行相机标定，避免了相机标定过程中，因标定误差带来的重建准确性的影响，减少了复杂计算，可以提高设施三维重建的准确性，并且这样得到的待重建设施的三维模型带有其对应的语义信息。此外，在得到目标三维模型之前，通过二维的场景图像确定设施对应的语义信息和轮廓，这样即使不使用三维模型数据，也可以完成待重建区域内待重建设施的实例分割，避免了3D实例分割不精准的问题。因此，简化了设施三维重建的复杂度。此外，使用相机采集场景图像，还可以降低采集成本。

在一种可能的实施例中，获取待重建区域内的场景图像的示例性方法包括：

获取图像采集设备在第一位姿下采集的第一类场景图像，在第二位姿下采集的第二类场景图像以及在第三位姿下采集的第三类场景图像；将第一类场景图像、第二类场景图像，第三类场景图像，作为待重建区域内的场景图像；在第一位姿时，图像采集设备与待重建设施上沿平齐，图像采集设备与放置待重建设施的地面垂直；在第二位姿时，图像采集设备高于待重建设施上沿，图像采集设备与放置待重建设施的地面垂直；在第三位姿时，图像采集设备高于待重建设施上沿，图像采集设备与放置待重建设施的地面成预设角度，预设角度为锐角。

可选地，可以对待重建区域进行多角度多轮次的场景图像采集，获取不同位姿下的场景图像，并且相机可以按照预设的采集路线进行场景图像的采集。在每轮次采集时，可以将相机的高度进行固定，利用相机进行视频录制采集，再从视频中提取关键帧，得到场景图像。这样可以提高现场的工作效率，还可以保证每轮次场景图像高度的一致性。此外，可以将相机固定在可伸缩的长杆上，以便调节相机高度。

图3为获取待重建区域的待重建设施的场景图像的流程图，如图3所示，该方法包括：

S301：获取图像采集设备在第一位姿下采集的第一类场景图像。

第一轮场景图像采集，相机正面应面对紧靠的一排通信设施进行“o型”围合式拍摄，保证相机可清晰、完整记录设施主要特征，特别是正面(可开门或显示指示的面)特征。本轮采集主要目的是形成用于目标语义信息和目标轮廓识别的设施正面拼接全景照，对采集质量的要求最高。相机高度应与通信设施的上沿平齐，且相机应完全垂直于地面。根据机房内通信设施摆放的特性可知，通信设施的下沿一般来说置于地面，是相对整齐的，而上沿因不同型号通信设施尺寸不同，高低错落。因此，相机采集高度与上沿平齐，可以使采集的场景图像更加完整。采集完第一排机架再采集第二排，以此类推。

S302：获取图像采集设备在第二位姿下采集的第二类场景图像。

第二轮场景图像采集，相机仍面对该排通信设施进行“o型”围合式拍摄，相机高度应高于通信设施的上沿，且略低于走线架下沿，相机应完全垂直于地面。本轮信息采集相较于第一轮的采集，用于形成不同位姿的场景图像。采集完第一排机架再采集第二排，以此类推。

S303：获取图像采集设备在第三位姿下采集的第三类场景图像。

第三轮场景图像采集，相机应垂直于各排通信设施表面进行“S型”拍摄，相机高度应高于通信设施的上沿，且低于走线架下沿，相机应相对于垂线前倾30度进行拍摄。此轮采集除形成第三位姿的场景图像外，还用于采集相邻、不同排设施间的相对关系，用于后期三维点云和三维模型的拼接。后续还可进行调整其他角度进行场景图像采集，以进一步提升照片组的可提取特征量。

此外，还可以进行第四轮场景图像采集，采集依靠外侧墙设置的其他单独设施(如空调、配电箱)，面向此类设施进行“O型”围合式拍摄，相机应垂直于地面，与被拍摄的通信设施平均高度等高(如各设施高度不同时)，且保持此高度不变。采集过程不能快速跑动，不能上下移动相机，或者晃动相机。在各轮拍摄的过程中，应保证光线充足，特别应检查第一轮视频采集的光线，如因光线不足导致照片分辨率不足应进行补采。另外机柜的柜门尽量保持闭合，提高照片的一致性和可识别度。

进一步地，以待重建区域中的待重建设施为通信机房中的通信设施为例，给出如图4所示的获取待重建区域的待重建设施的场景图像的示意图。其中，在图4中，1-4分别表示第一轮场景图像采集、第二轮场景图像采集、第三轮场景图像采集和第四轮场景图像采集。可以理解的是，上述场景图像采集的轮次仅为举例说明，本实施例不对轮次路线做具体限定。

在一种可能的实施例中，将目标三维模型作为待重建设施的三维模型之前，该方法还包括：

基于场景图像，获得待重建设施的多个点云。

调用预设的模型匹配算法，并基于多个点云的三维数据和目标三维模型的三维数据，对多个点云构成的三维模型和目标三维模型进行一致性匹配。

确定一致性匹配的结果表征三维模型和目标三维模型为针对同一设施的模型。

可选地，前文提到，待重建区域的场景图像是通过相机录像采集的，即采集的场景图像是具备顺序序列的。获取多个不同位姿，不同角度的场景图像序列，提取场景图像的特征点，对每个场景图像的特征点进行匹配，结合相机内部参数矩阵来对待重建设施进行逆向还原，得到待重建设施的多个三维点云。例如，可以使用SfM技术输出稀疏点云，前文提到，场景图像的采集可以使用双目相机，根据相机的位姿信息，可进一步使用MVS技术进行稠密点云的获取。

之后，可以调用预设的模型匹配算法，进行一致性匹配，得到匹配结果。具体的，可以将目标三维模型的各个面看作由多个三维坐标构成的模型点集，计算点云到目标三维模型的最小距离时，确定点云在匹配性确认模型的目标模型表面，计算点云到目标三维模型上的目标模型表面的最小距离，将此最小距离作为该点云到目标三维模型的最小距离，匹配性确认模型为点云构成的实际三维模型。

举例说明，可以将获取的待重建设施的左侧面的三维点云看作点集A1，将目标三维模型的左侧面的模型点集看作点集B1，计算点集A1中各个点到点集B1中的点的最小距离。

进一步地，模型匹配算法可以将各最小距离进行量化，得到点云与三维模型各个面之间的匹配度，并由各个面之间的匹配度计算得到目标三维模型与多个点云的平均匹配度，将平均匹配度作为匹配的结果。当匹配度的结果大于结果阈值时，可以确认三维模型和目标三维模型为针对同一设施的模型，校验无误；当匹配度的结果小于或等于结果阈值时，则需要对目标三维模型进行二次核验修正。对目标三维模型进行校验，可以提高最终得到的待重建设施的三维模型的准确性，避免因目标三维模型匹配错误导致的匹配不一致的问题。

在一种可能的实施例中，待重建设施的数量为多个；将目标三维模型作为待重建设施的三维模型之后，该方法还包括：

基于场景图像，分析多个待重建设施之间的相对位置关系。

基于相对位置关系，对多个待重建设施的三维模型进行拼接，获得待重建区域的区域三维模型。

前文提到，在多轮的场景图像采集过程中“S”型路线的采集，可以得到相邻、不同排设施之间的相对关系，根据采集的场景图像反映的位姿信息、设施尺寸、设施之间的位置距离，分析得到多个待重建设施之间的相对位置关系。

这样，可以在得到每个待重建设施的三维模型的基础上，得到整个待重建区域的区域三维模型。举例说明，在通信领域中，相较于以往通信机房仅有二维的通信设施图纸，得到机房的三维模型，有利于后期的设施运维等工作。

在一种可能的实施例中，基于场景图像，获得场景图像包括的待重建设施的目标轮廓的示例性方法包括：

对场景图像进行实例分割，获得待重建设施的分割轮廓。

采用与待重建区域的用途类别信息对应的轮廓数据库，对分割轮廓进行校验。

在校验的结果表征轮廓数据库中包括分割轮廓的情况下，将分割轮廓作为目标轮廓。

在检验的结果表征轮廓数据库中不包括分割轮廓的情况下，将轮廓数据库中与分割轮廓匹配度最高的标准轮廓，作为目标轮廓。

可选地，根据场景图像中待重建设施的设施尺寸和设施中心位置，可以得到场景图像中具有多少类别，以及待重建设施属于场景图像中各类别的类别概率。判断待重建设施的类别概率是否满足预设阈值，若满足，则确认待重建设施分类正确；若不满足，则需要对待重建设施的分类进行二次核验修正。在确认类别后，将场景图像中每个像素点赋予类别，并得到待重建设施的分割轮廓，从而达到对每个实例对象进行分割的效果。

可以利用标准轮廓校验分割轮廓的准确性。在进行实例分割之前，可以构建多个用途类别对应的轮廓数据库，如前文举例，待重建区域的用途类别信息可以是通信设施机房类、办公类、商超类等，对于用途类别信息本实施例在此不做具体限制，可根据实际应用进行构建。在初始构建阶段，可以通过人工检测设施轮廓和设施类别，并对设施标注轮廓标签和语义信息标签，以保证轮廓数据库中标准轮廓的准确性。

校验的结果可以用轮廓相似度表示，当分割轮廓与轮廓数据库中标准轮廓的轮廓相似度满足预设阈值时，则将该分割轮廓作为目标轮廓。

当分割轮廓与轮廓数据库中标准轮廓的轮廓相似度较低时，可能存在分割轮廓分割错误或轮廓数据库内轮廓需要更新的情况，此时可以选择匹配度最高的标准轮廓作为目标轮廓，以实现分割轮廓的纠偏，使生成的分割轮廓足够准确。

在一种可能的实施例中，基于场景图像，获得场景图像包括的待重建设施的目标轮廓的示例性方法包括：

将场景图像划分为多个待检测图像。

采用预先训练的图像识别模型，对多个待检测图像进行推理，获得待重建设施的实例掩膜。

将实例掩膜作为目标轮廓。

可选地，在进行实例分割的过程中，还可以将场景图像划分为N*M个小方格，每个小方格为一个待检测图像。通过调节小方格的大小，使得每个小方格内包含一个待重建设施。这样的图像划分可以避免场景图像内多个待重建设施重叠对实例分割的影响，提高实例分割的准确度。其中，图像识别模型是利用带有设施轮廓标签和设施语义信息标签的场景图像训练集训练得到的。

待检测图像类别的确定与校验方法与前文一致，在此不再一一赘述。在确认待检测图像类别后，将待检测图像中每个像素点赋予类别，得到待重建设施的实例掩膜，并且达到对每个实例对象进行分割的效果。得到的实例掩膜为待重建设施的分割轮廓，对实例掩膜进行校验。前文提到分割轮廓的校验方法，与本实施例方法一致，在此不再一一赘述，将校验无误的实例掩膜作为目标轮廓。

图5为本申请实施例提供的一种设施三维重建的方法的另一种流程图，如图5所示，该方法包括：

S501：对场景图像进行划分，得到多个待检测图像。

将一个尺寸较大的场景图像划分为多个尺寸较小的待检测图像，可以减小后续图像识别时，杂乱背景或待重建设施重叠摆放对实例分割准确度的影响。

S502：基于预先训练的图像识别模型，对多个待检测图像进行实例分割，生成待重建设施的实例掩膜和语义信息。

在本实施例中，图像识别模型可以采用SOLO模型。通过识别待重建设施在待检测图像中的类别概率，确定待重建设施的类别及名称，即待重建设施的语义信息。同时，图像识别模型会将得到的类别概率与预设阈值进行比较，若大于或等于预设阈值，则说明待重建设施的类别划分正确。并且，在类别确认后，利用类别在待检测图像中进行标注，以得到的待重建设施的实例掩膜。

S503：对待重建设施的实例掩膜进行校验。

对S502得到的实例掩膜进行校验，判断该实例掩膜是否与轮廓数据库中预设的轮廓匹配。若校验无误，则将轮廓数据库中的轮廓作为待重建设施的设施轮廓，并进入S504，若校验错误，则对实例掩膜进行纠偏核查，并返回S502重新进行推理识别。

S504：基于设施轮廓和语义信息，与预设的三维模型库中的已知模型进行匹配，得到待重建设施的三维模型。

在三维模型库中查找是否存在S502得到的语义信息，并将设施轮廓与三维模型库中的目标轮廓进行匹配，得到待重建设施的三维模型。这样直接查找匹配的方式，可以有效避免大量的数据计算。

S505：根据场景图像得到对应的三维点云，并与待重建设施的三维模型进行匹配。

对采集的场景图像进行逆向还原工程，可以使用SfM技术输出稀疏点云，生成对应的三维点云。计算S504得到待重建设施的三维模型与三维点云之间的最小距离，并根据最小距离得到两者的平均匹配度，若平均匹配度大于或等于预设的匹配度，则说明匹配无误；若平均匹配度小于预设的匹配度，则说明S504得到的三维模型可能存在错误，可以进行查验修正，并回到S502重新进行推理识别。

S506：对多个待重建设施的三维模型进行拼接，得到整个待重建区域的区域三维模型。

上述步骤得到的三维模型为单一待重建设施的三维模型，可以理解的是，待重建设施所在的待重建区域可能包括多个待重建设施，分析场景图像中多个待重建设施之间的位置关系，对多个待重建设施的三维模型进行拼接，可以得到区域三维模型。

本申请实施例还提供一种设施三维重建的装置，该用于执行上述任一实施例提供的设施三维重建的方法。如图6所示，该装置600包括：第一获取模块601、第二获取模块602、查找模块603和确定模块604。

第一获取模块601，用于获取待重建区域内的场景图像，所述待重建区域为室内空间；

第二获取模块602，用于基于所述场景图像，获得所述场景图像包括的待重建设施的目标语义信息和目标轮廓，所述目标轮廓用于描述所述待重建设施在预设表面的设施特点；

查找模块603，用于从预设的三维模型库中，查找语义信息为所述目标语义信息，且轮廓与所述目标轮廓匹配的目标三维模型；

确定模块604，用于将所述目标三维模型作为所述待重建设施的三维模型。

可选地，所述装置还包括：

所述将所述目标三维模型作为所述待重建设施的三维模型之前，基于所述场景图像，获得所述待重建设施的多个点云；

调用预设的模型匹配算法，并基于所述多个点云和所述目标三维模型的目标点云，对所述多个点云构成的三维模型和所述目标三维模型进行一致性匹配；

确定所述一致性匹配的结果表征所述三维模型和所述目标三维模型为针对同一设施的模型。

可选地，所述第一获取模块601用于：

获取图像采集设备在第一位姿下采集的第一类场景图像，在第二位姿下采集的第二类场景图像以及在第三位姿下采集的第三类场景图像，所述图像采集设备包括相机；

将所述第一类场景图像、所述第二类场景图像，第三类场景图像，作为所述待重建区域内的所述场景图像；

在所述第一位姿时，所述图像采集设备与所述待重建设施上沿平齐，所述图像采集设备与放置所述待重建设施的地面垂直；

在所述第二位姿时，所述图像采集设备高于所述待重建设施上沿，所述图像采集设备与放置所述待重建设施的地面垂直；

在所述第三位姿时，所述图像采集设备高于所述待重建设施上沿，所述图像采集设备与放置所述待重建设施的地面成预设角度，所述预设角度为锐角。

可选地，所述待重建设施的数量为多个；所述装置还包括：

所述将所述目标三维模型作为所述待重建设施的三维模型之后，基于所述场景图像，分析多个所述待重建设施之间的相对位置关系；

基于所述相对位置关系，对多个所述待重建设施的三维模型进行拼接，获得待重建区域的区域三维模型。

可选地，所述第二获取模块602用于：

对所述场景图像进行实例分割，获得所述待重建设施的分割轮廓；

采用与所述待重建区域的用途类别信息对应的轮廓数据库，对所述分割轮廓进行校验；

在校验的结果表征所述轮廓数据库中包括所述分割轮廓的情况下，将所述分割轮廓作为所述目标轮廓；

在所述检验的结果表征所述轮廓数据库中不包括所述分割轮廓的情况下，将所述轮廓数据库中与所述分割轮廓匹配度最高的标准轮廓，作为所述目标轮廓。

可选地，所述第二获取模块602用于：

将所述场景图像划分为多个待检测图像；

采用预先训练的图像识别模型，对所述多个待检测图像进行推理，获得所述待重建设施的实例掩膜；

将所述实例掩膜作为所述目标轮廓。

本申请实施方式还提供一种电子设备，以执行上述设施三维重建的方法。请参考图7其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图7所示，电子设备7包括：处理器700，存储器701，总线702和通信接口703，所述处理器700、通信接口703和存储器701通过总线702连接；所述存储器701中存储有可在所述处理器700上运行的计算机程序，所述处理器700运行所述计算机程序时执行本申请前述任一实施方式所提供的设施三维重建的方法。

其中，存储器701可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口703(可以是有线或者无线)实现该装置网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线702可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器701用于存储程序，所述处理器700在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述设施三维重建的方法可以应用于处理器700中，或者由处理器700实现。

处理器700可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器700中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器700可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器701，处理器700读取存储器701中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的设施三维重建的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的设施三维重建的方法对应的计算机可读存储介质，请参考图8，其示出的计算机可读存储介质为光盘80，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的设施三维重建的方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的设施三维重建的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的设施三维重建的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成，所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种设施三维重建的方法，其特征在于，包括：

获取待重建区域内的场景图像，所述待重建区域为室内空间；

基于所述场景图像，获得所述场景图像包括的待重建设施的目标语义信息和目标轮廓，所述目标轮廓用于描述所述待重建设施在预设表面的设施特点；

从预设的三维模型库中，查找语义信息为所述目标语义信息，且轮廓与所述目标轮廓匹配的目标三维模型；

将所述目标三维模型作为所述待重建设施的三维模型。

2.根据权利要求1所述的方法，其特征在于，所述将所述目标三维模型作为所述待重建设施的三维模型之前，还包括：

基于所述场景图像，获得所述待重建设施的多个点云；

调用预设的模型匹配算法，并基于所述多个点云的三维数据和所述目标三维模型的三维数据，对所述多个点云构成的三维模型和所述目标三维模型进行一致性匹配；

确定所述一致性匹配的结果表征所述三维模型和所述目标三维模型为针对同一设施的模型。

3.根据权利要求1所述的方法，其特征在于，所述获取待重建区域内的场景图像，包括：

获取图像采集设备在第一位姿下采集的第一类场景图像，在第二位姿下采集的第二类场景图像以及在第三位姿下采集的第三类场景图像，所述图像采集设备包括相机；

将所述第一类场景图像、所述第二类场景图像，第三类场景图像，作为所述待重建区域内的所述场景图像；

在所述第一位姿时，所述图像采集设备与所述待重建设施上沿平齐，所述图像采集设备与放置所述待重建设施的地面垂直；

在所述第二位姿时，所述图像采集设备高于所述待重建设施上沿，所述图像采集设备与放置所述待重建设施的地面垂直；

在所述第三位姿时，所述图像采集设备高于所述待重建设施上沿，所述图像采集设备与放置所述待重建设施的地面成预设角度，所述预设角度为锐角。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述待重建设施的数量为多个；所述将所述目标三维模型作为所述待重建设施的三维模型之后，还包括：

基于所述场景图像，分析多个所述待重建设施之间的相对位置关系；

基于所述相对位置关系，对多个所述待重建设施的三维模型进行拼接，获得待重建区域的区域三维模型。

5.根据权利要求1所述的方法，其特征在于，所述基于所述场景图像，获得所述场景图像包括的待重建设施的目标轮廓，包括：

对所述场景图像进行实例分割，获得所述待重建设施的分割轮廓；

采用与所述待重建区域的用途类别信息对应的轮廓数据库，对所述分割轮廓进行校验；

在校验的结果表征所述轮廓数据库中包括所述分割轮廓的情况下，将所述分割轮廓作为所述目标轮廓；

在所述检验的结果表征所述轮廓数据库中不包括所述分割轮廓的情况下，将所述轮廓数据库中与所述分割轮廓匹配度最高的标准轮廓，作为所述目标轮廓。

6.根据权利要求1所述的方法，其特征在于，所述基于所述场景图像，获得所述场景图像包括的待重建设施的目标轮廓，包括：

将所述场景图像划分为多个待检测图像；

采用预先训练的图像识别模型，对所述多个待检测图像进行推理，获得所述待重建设施的实例掩膜；

将所述实例掩膜作为所述目标轮廓。

7.一种设施三维重建的装置，其特征在于，包括：

第一获取模块，用于获取待重建区域内的场景图像；

第二获取模块，用于基于所述场景图像，获得所述场景图像包括的待重建设施的目标语义信息和目标轮廓，所述目标轮廓用于描述所述待重建设施在预设表面的设施特点；

查找模块，用于从预设的三维模型库中，查找语义信息为所述目标语义信息，且轮廓与所述目标轮廓匹配的目标三维模型；

确定模块，用于将所述目标三维模型作为所述待重建设施的三维模型。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-6中任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行如权利要求1-6中任一项所述的方法。