CN115908163B - 空洞修复方法、装置和存储介质 - Google Patents

Abstract

本发明实施例提供一种空洞修复方法、装置和存储介质，该方法包括：获取与目标场景相对应的点云数据以及与目标场景相对应的全景图像，目标场景中包括目标对象。根据全景图像，确定目标对象在点云空间中的位置信息，点云空间由点云数据所确定，根据目标对象的位置信息，确定目标对象所位于的平面。基于目标对象所位于平面，确定目标对象所对应的边缘数据点，并根据边缘数据点，确定目标对象所对应的边缘区域。基于边缘区域，对点云数据进行填充，获得已实现点云空洞修复的目标点云数据。在上述方案中，通过利用目标对象的位置，对目标对象所在区域进行数据填充，以补全目标对象所造成的点云缺失，获得已实现点云空洞修复的目标点云数据。

Description

空洞修复方法、装置和存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种空洞修复方法、装置和存储介质。

背景技术

近年来，三维实景重建技术已被广泛应用于文物修复、工程设计等领域。然而，在信息采集的过程中，经常会由于光反射、材料表面的通透性等原因导致部分数据缺失，使得采集到的点云数据产生明显的空洞。并且，在重建三维空间模型时，这些空洞区域将严重影响模型的展示效果。

例如：在室内场景的三维实景重建方案中，通过激光雷达扫描的三维户型深度信息，然而在窗子、镜子等区域，扫描得到的点云数据会产生明显的空洞，这些空洞会导致后续的三维模型重建时构建的网格发生变形，从而使得后续的三维模型纹理映射后模型与真实场景不符。

发明内容

本发明实施例提供一种空洞修复方法、装置和存储介质，可以实现点云数据的空洞修复。

第一方面，本发明实施例提供一种空洞修复方法，该方法包括：

获取与目标场景相对应的点云数据以及与目标场景相对应的全景图像，所述目标场景中包括目标对象；

根据所述全景图像，确定所述目标对象在点云空间中的空间位置信息，所述点云空间由所述点云数据所确定；

根据所述空间位置信息，确定所述目标对象所位于的平面，所述平面为所述点云空间中的一个空间平面；

基于所述平面，确定所述目标对象所对应的边缘数据点，并根据所述边缘数据点，确定所述目标对象所对应的边缘区域；

基于所述边缘区域，对所述点云数据进行填充，获得已实现点云空洞修复的目标点云数据。

第二方面，本发明实施例提供一种空洞修复装置，该装置包括：

获取模块，用于获取与目标场景相对应的点云数据以及与目标场景相对应的全景图像，所述目标场景中包括目标对象；

第一确定模块，用于根据所述全景图像，确定所述目标对象在点云空间中的空间位置信息，所述点云空间由所述点云数据所确定；

第二确定模块，用于根据所述空间位置信息，确定所述目标对象所位于的平面，所述平面为所述点云空间中的一个空间平面；

第三确定模块，用于基于所述平面，确定所述目标对象所对应的边缘数据点，并根据所述边缘数据点，确定所述目标对象所对应的边缘区域；

填充模块，用于基于所述边缘区域，对所述点云数据进行填充，获得已实现点云空洞修复的目标点云数据。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第一方面所述的空洞修复方法。

第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的空洞修复方法。

本发明实施例提供的技术方案，首先获取与目标场景相对应的点云数据以及与目标场景相对应的全景图像，目标场景中包括目标对象，接着根据全景图像，确定目标对象在点云空间中的位置信息，点云空间由点云数据所确定，并根据目标对象在点云空间中的空间位置信息，确定目标对象所位于的平面，平面为点云空间中的一个空间平面。然后基于目标对象所位于平面，确定目标对象所对应的边缘数据点，并根据边缘数据点，确定目标对象所对应的边缘区域。之后基于边缘区域，对点云数据进行填充，获得已实现点云空洞修复的目标点云数据。在上述方案中，通过确定目标对象所位于的平面，从而确定出目标对象所对应的边缘区域，并基于边缘区域对点云数据进行填补，以利用目标对象的位置，对目标对象所在区域进行数据填充，以补全目标对象所造成的点云缺失，获得已实现点云空洞修复的目标点云数据。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种空洞修复方法的流程图；

图2为本发明实施例提供的根据空间特征，对目标对象的多个点位设置示意图；

图3为本发明实施例提供的确定目标对象在点云空间中的空间位置信息的流程示意图；

图4为本发明实施例提供的确定点云数据所对应的二维点云平面的应用示意图；

图5本发明实施例提供的确定目标对象所位于的平面的流程示意图；

图6为本发明实施例提供的确定目标对象所对应的边缘区域的流程示意图；

图7为本发明实施例提供的确定目标对象所对应的边缘区域的应用示意图；

图8为本发明实施例提供的基于边缘区域，对点云数据进行填充，以获得用于实现点云空洞修复的目标点云数据的流程示意图；

图9为本发明实施例提供的基于边缘区域，对点云数据进行填充的应用示意图；

图10为本发明实施例提供的一种空洞修复装置的结构示意图；

图11为与图10所示实施例提供的空洞修复装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

术语定义：

点云：在三维工程中通过测量仪器对目标物体进行数据采集，获得目标表面特性的海量点集合，点集合中的每个点都包含x、y、z几何坐标、强度值、分类值等信息，而这些点组合在一起，就会形成一个点云。即点云是在同一空间参考坐标系下表达目标空间分布和目标表面特性的海量点集合。

凹包：将点云集合中所有点都包含的最小多边形，每个点或者在其边上或者在其内部。

为了提高目标场景的展示效果，可构建目标场景所对应的三维空间模型，其中目标场景可以是室内场景如住宅、商场、办公楼等。具体的，在场景中可由多种传感器采集数据，基于采集到的数据对场景进行重构，进而得到三维空间模型。例如，在一些传统方案中，可由激光雷达采集目标场景的点云数据；并基于点云数据构建目标场景的三维空间模型。

然而，在数据采集的过程中，由于某些区域中的表面具有通透性，使得这些区域扫描不数据，从而造成采集到的点云数据产生明显的空洞。然而这些空洞将会导致后续的三维空间模型重建时构建的三维网格发生变形，如鼓包等问题。这样会导致后续的三维模型纹理映射后，三维空间模型与真实场景不符。为了解决此技术问题，本实施例提供了一种空洞修复方法，该技术方案中利用目标对象所在的平面，确定目标对象所对应的边缘区域，从而可以准确地确定出数据缺失区域的。然后对目标对象所在区域进行数据填充，以补全目标对象所造成的点云缺失，获得已实现点云空洞修复的目标点云数据。即利用目标对象的位置信息，对目标对象所在区域进行精准填补，不仅实现了对点云数据空洞修复，还可以提高空洞修复效率。

以下结合附图，详细说明本发明各实施例提供的技术方案。

图1为本发明实施例提供的一种空洞修复方法的流程图。如图1所示，该方法的执行主体可以为空洞修复装置，具体的，该空洞修复方法包括如下步骤：

步骤101、获取与目标场景相对应的点云数据以及与目标场景相对应的全景图像，目标场景中包括目标对象。

步骤102、根据全景图像，确定目标对象在点云空间中的空间位置信息，点云空间由点云数据所确定。

步骤103、根据空间位置信息，确定目标对象所位于的平面，平面为点云空间中的一个空间平面。

步骤104、基于平面，确定目标对象所对应的边缘数据点，并根据边缘数据点，确定目标对象所对应的边缘区域。

步骤105、基于边缘区域，对点云数据进行填充，获得已实现点云空洞修复的目标点云数据。

在对目标场景构建三维实景重建时，通过激光雷达系统对目标场景进行点云数据采集，然后基于采集到的点云数据进行三维实景重建。在对目标场景进行点云数据采集时，通常通过连续发射激光脉冲到目标场景中的物体上，然后接收从物体反射回来的激光脉冲的方式来对目标场景的点云数据进行采集。然而，采用上述方式对目标场景进行点云数据采集时，若目标场景中的某些物体的材料表面具有通透性或者材料表面具有光反射等特性，连续向这些物体发射激光脉冲时，将无法接收到发射回去的激光脉冲，那么这些物体所在区域将无法采集到数据，使得采集到的点云数据存在明显缺失。例如，在对某一建筑物的室内场景进行三维实景重建时，通过激光雷达扫描三维户型深度信息来获取三维点云数据时，在窗子、镜子等区域扫描得到的点云数据会产生明显的空洞。由于点云数据出现缺失是由于这些区域无法采集到数据造成的，那么可以直接对这些区域进行数据填补，以实现对点云数据的精准修复。

具体的，在本发明实施例中，对点云数据进行空洞修复时，首先获取与目标场景相对应的点云数据以及与目标场景相对应的全景图像，目标场景中包括目标对象。其中，目标场景可以为自然界中的任意实体对象。例如目标场景可为建筑物如住宅、商场、办公楼等。目标对象为容易使得点云数据产生空洞的物体，即目标对象可以为具有特殊光学特性的物体，例如目标对象可以为材料表面具有穿透性的窗户、材料表面具有反射特性的镜子等物体。全景图像是根据目标场景中拍摄的多张实景图像拼接得到的。

另外，获取到的与目标场景相对应的点云数据为处理后的目标场景所对应的完整点云数据。在获取与目标场景相对应的点云数据之前该方法还包括预处理过程，具体的，对多个点位上的点云数据进行预处理，然后将预处理后的多个点位上的点云数据进行合并，合并后获得目标场景所对应的点云数据。

在实际应用中，目标场景空间较大，且容易被墙体等遮挡，那么采用在一个点位上设置三维数据采集设备对目标场景进行数据采集时，可能无法对目标场景进行全覆盖采集。因此，在对目标场景进行数据采集时，可以设置多个点位，每个点位上放置相同的三维数据采集设备分别对目标场景进行数据采集。在本发明实施例中，三维数据采集设备可以为深度相机、多种传感器、激光雷达等设备。在目标场景中的多个点位上使用深度相机对目标场景进行深度信息采集和全景信息采集。或者使用激光雷达采集目标场景的深度信息，还可采用图像采集设备(如摄像头、相机等)采集目标场景的实景图像，以得到目标场景的全景图像。那么需要注意的是若使用激光雷达采集目标场景的深度信息，使用图像采集设备采集目标场景的全景信息时，需保证各个点位上激光雷达设备和图像采集设备的相对位姿保持一致，这样才可以更好的将深度信息与全景信息结合起来处理。另外可以参考如图2中对目标对象的多个点位设置方式，基于目标场景的空间特征，确定目标场景中的多个点位的位置，以实现对目标场景的全覆盖采集。

由于激光雷达通过发射并接收激光脉冲，实现对测量目标的空间采样，并将采样结果以激光扫描仪自身坐标系统(Scannerr’s Own Coordinate System,简称SOCS)对采集到的数据进行存储。那么在不同点位上采集到的点云数据都是以各自所在点位上的激光扫描仪自身坐标系统进行存储的，也就是说，不同点位上采集到的点云数据不是在同一个坐标系下(同一点云空间中)，无法直接将各个点位上采集到的点云数据直接合并，得到目标场景所对应的完整点云数据。

在获取到目标场景中各个点位上采集到的点云数据之后，可以对多个点位采集到的点云数据进行预处理，以得到同一坐标系下的点云数据。具体的，确定各个点位上数据采集设备之间的相对位姿信息，并根据各个点位上数据采集设备之间的相对位姿信息，将多个点位上采集到的点云数据统一到同一个坐标系下(同一点云空间中)，然后将多个点位上采集到的点云数据进行合并，得到目标场景所对应的完整点云数据。

在一可选实施例中，确定各个点位上数据采集设备之间的相对位姿信息之前还包括对齐摆正处理，具体的实现方式可以为：以一个点位上的点云数据所处于的点云空间为基准，确定各个点云上的点云数据特征，结合两个点位上的点云数据特征，使用特征值进行匹配，以将点云数据拼接起来。另一种可选实施方式为：对三维点云数据进行降维处理，将各个点位上的三维点云数据映射到二维平面上，得到二维点云数据，然后基于二维点云数据在二维平面上将点云数据拼接起来，从而完成对齐摆正处理。对各个点位上的点云数据进行对比摆正处理后，就可以计算出各个点位上数据采集设备之间的相对位姿信息。

另外，获取与目标场景相对应的全景图像的具体实现方式可以为：通过将图像采集设备采集到的多张目标场景的实景图像进行拼接处理，获得目标场景所对应的全景图像。例如，在一个室内场景中，使用图像采集设备对室内场景拍摄了4张实景图像，将4张实景图像拼接为一张完整的全景图像。

在获取到与目标场景相对应的完整点云数据以及与目标场景相对应的全景图像之后，确定目标场景中所包括的目标对象。在一个目标场景中可能包括一个或者多个目标对象，本发明实施例中对目标场景中所包括的目标对象的数量不做限定。

确定目标场景中所包括的目标对象时，可以结合目标场景的全景图像。具体的，根据图像采集设备拍摄的全景图像，确定目标场景是否包括目标对象以及确定目标场景所包括的具体目标对象。在另一可选实施例中，可以利用训练好的识别模型来自动识别目标场景中是否包括目标对象。其中，可以基于全景图像中所包括的目标对象的特征进行学习训练，生成识别模型，在获取到识别模型之后，可以利用识别模型对获取到的目标场景所对应的全景图像进行特征分析识别，以确定目标场景中是否包括目标对象以及确定具体的目标对象。

在识别出目标场景中所包括的目标对象后，根据全景图像，确定目标对象在点云空间中的空间位置信息，点云空间由点云数据所确定。为了准确地对点云数据中缺失区域进行数据点的填补，需要精准地确定出缺失区域，也就是说，需要精准地确定出目标对象在点云空间中的空间位置信息。由于目标场景所对应的点云空间中包括多个数据点，无法直接确定出哪些数据点为目标对象所对应的数据点，也就是说，无法直接确定出目标对象在点云空间中的空间位置信息。因此，可以结合目标场景相对应的全景图像，确定出目标对象在点云空间中的空间位置信息，具体的实现方式可以为：确定目标对象在全景图像中的全景位置信息，再根据全景位置信息，确定目标对象在点云空间中的空间位置信息。

全景图像相当于目标场景的二维平面图像，那么根据目标对象在全景图像中全景位置信息，确定出目标对象在点云空间中的空间位置信息的具体实现方式可以为：可以利用点云空间与二维平面之间的映射关系，将点云空间中的点云数据映射到二维平面中，得到二维点云数据。再根据目标对象在全景图像中全景位置信息，确定目标对象在二维平面中的位置信息，并将目标对象在二维点云数据中的位置标记在二维平面中。再利用映射关系，将二维点云数据转换为三维点云数据，根据三维点云数据中标记位置，确定出目标对象在点云空间中的空间位置信息。

接着，基于目标对象在点云空间中的空间位置信息，确定目标对象所位于的平面，平面为点云空间中的一个空间平面。并根据目标对象所位于的平面，确定目标对象所对应的边缘区域。由于点云数据具有无序性、散乱性、以及海量性等特点，直接基于目标对象在点云空间中的空间位置信息，很难精准地对点云数据进行填补。因此，在本发明实施例中，将目标对象在点云空间中的空间位置信息转换到平面中进行处理，可以缩小确定范围，这样可以更精准地确定出数据缺失区域。

具体的，对点云数据进行分类处理，将位于同一平面区域的各个数据点提取出来，提取出来的多个数据点组成为一个平面集，一个点云数据中可能包括多个平面集。需要注意的是：这里的平面区域为空间平面区域，平面集中的数据点为三维数据点。再根据目标对象所位于的平面，从多个平面集中确定出该平面所对应的平面集，从而确定出目标对象所位于的平面中所包括的多个数据点。然后对该平面中所包括的多个数据点进行凹包检测，确定出该平面内的空洞区域，并提取出该平面内空洞区域所对应的边缘数据点。空洞区域即为目标对象所位于的区域，根据提取出的多个边缘数据点，确定出目标对象所对应的边缘区域。

最后，基于目标对象所对应的边缘区域，对点云数据进行填充，获得已实现点云空洞修复的目标点云数据。确定出的目标对象所对应的边缘区域即可精准地确定出点云数据中数据缺失区域所对应的边缘，然后在数据缺失区域所对应的边缘内填充数据点，即可修复数据缺失区域。

本发明实施例通过目标对象在点云空间中的位置信息，确定目标对象所位于的平面。然后基于目标对象所位于平面，确定目标对象所对应的边缘数据点，并根据边缘数据点，确定目标对象所对应的边缘区域。之后基于边缘区域，对点云数据进行填充，获得已实现点云空洞修复的目标点云数据。在上述方案中，通过确定目标对象所位于的平面，从而确定出目标对象所对应的边缘区域，并基于边缘区域对点云数据进行填补，以利用目标对象的位置，对目标对象所在区域进行数据填充，以补全目标对象所造成的点云缺失，实现了点云空洞修复。并且在本发明实施例中，可以直接基于目标对象的位置信息，可以快速精准地确定出空洞区域，提高了空洞修复的准确性以及点云空洞修复效率。

图3为本发明实施例提供的确定目标对象在点云空间中的空间位置信息的流程示意图；在上述实施例的基础上，继续参考附图3所示，本实施例提供了一种可以根据全景图像，确定目标对象在点云空间中的空间位置信息的实现方式，具体的可以包括：

步骤301、确定目标对象在全景图像中的全景位置信息。

步骤302、根据全景位置信息，确定目标对象在点云空间中的空间位置信息。

在确定出目标场景所包括的目标对象之后，由于点云数据中包括海量的数据点，并且各个数据点具有无序性和散乱性，无法直接在点云数据中确定出目标对象在点云数据中的位置。在本发明实施例中，可以结合与目标场景相对应的全景图像，确定出目标对象在点云空间中的空间位置信息。具体的，首先可以确定目标对象在全景图像中的全景位置信息，然后根据全景位置信息，确定出目标对象在点云空间中的空间位置信息。

全景图像是根据目标场景中拍摄的多张实景图像拼接得到的，那么在确定出目标场景所包括的具体目标对象后，可以在全景图像中快速定位出目标对象所在的位置，并在全景图像中目标对象所在位置区域进行标注处理。接着根据全景图像中标注信息，确定目标对象在全景图像中的全景位置信息。

在确定出目标对象在全景图像中的全景位置信息之后，根据全景位置信息，确定目标对象在点云空间中的空间位置信息。具体的实现方式可以包括：获取点云数据所对应的二维点云平面，根据全景位置信息，确定目标对象在二维点云平面中的投影位置信息，根据投影位置信息，确定目标对象在点云空间中的空间位置信息。

为了便于对点云数据进行处理，对点云数据进行降维处理，将三维点云空间中的点云数据转换到二维平面中进行处理。在一可选实施例中，将点云数据进行投影处理，使其投影到二维平面中，得到二维点云数据，根据二维点云数据获得点云数据所对应的二维点云平面。具体的可以参考如图4所示，令点云数据中的各个数据点所对应的z值为0，使得点云数据中的各个数据点都向xy面上进行投影，得到点云数据在xy面内的二维点云平面。举例来说，对于房屋所对应的点云数据，将其向地面进行投影，得到各个数据点在地面中的二维点云平面，该二维点云平面相当于房屋的户型图，根据二维点云平面可以对房屋构造和内部分布有了更清晰地了解，这样基于可以进一步准确地确定出目标对象在点云空间中的位置。

获得点云数据所对应的二维点云平面之后，根据全景图像与二维二维点云平面之间的相对位置关系以及全景图像中标记信息，在二维点云平面中的对应位置上标记出目标对象所在区域，从而确定出目标对象在二维点云平面中的投影位置信息。根据目标对象在二维点云平面中的投影位置信息，确定目标对象在点云空间中的空间位置信息。

在一可选实施例中，具体的根据目标对象在二维点云平面中的投影位置信息，确定目标对象在点云空间中的空间位置信息可以包括：获取点云空间与二维平面之间的映射关系，根据映射关系，将目标对象在二维点云平面中的投影位置信息转换到点云空间中，获得目标对象在点云空间中的空间位置信息。其中，二维点云平面是通过将点云数据投影至二维平面得到的图像，那么投影位置信息可以看作为目标对象在二维投影平面中的位置信息，根据点云空间与二维平面之间的映射关系，将目标对象在二维投影平面中的位置信息转换到三维点云空间中，获得目标对象在点云空间中的准确位置信息，并可以在点云空间中标记出目标对象。

综上，本发明实施例中通过目标场景相对应的全景图像，确定目标对象在全景图像中的全景位置信息，并根据目标对象的全景位置信息，确定目标对象在点云空间中的空间位置信息，结合全景图像信息，可以更精准地确定出目标对象在点云空间中的位置信息，也为后续精准地进行空洞修复提供了基础。

在另一可选实施例中，通过机器学习模型确定目标对象在点云空间中的空间位置信息。其具体的实现方式可以包括：利用第一机器学习模型对待处理的点云数据进行分析处理，获得目标对象在点云空间中的空间位置信息，第一机器学习模型被训练为确定目标对象在点云空间中的空间位置信息。其中，第一机器学习模型可以是预先被训练为用于确定目标对象在点云空间中的空间位置信息，另外，可以通过对卷积神经网络进行学习训练来生成第一机器学习模型，即利用预设的点云数据、全景图像以及点云数据中目标对象在点云空间中的标准位置信息对卷积神经网络进行学习训练，从而可以获得第一机器学习模型。在建立第一机器学习模型之后，可以利用第一机器学习模型对待处理的点云数据进行分析处理，从而可以自动识别出目标对象在点云空间中的空间位置信息。

图5本发明实施例提供的确定目标对象所位于的平面的流程示意图；在上述实施例的基础上，继续参考附图5所示，本实施例中点云数据中包括多个数据点，提供了一种可以根据目标对象在点云空间中的空间位置信息，确定目标对象所位于的平面的实现方式，具体可以包括：

步骤501、获取点云数据中多个数据点所对应的多个平面区域。

步骤502、根据空间位置信息，在多个平面区域中确定目标对象所位于的平面。

其中，确定目标对象所位于的平面的具体实现方式可以为：首先获取点云数据中多个数据点所对应的多个平面区域，然后根据目标对象在点云空间中的空间位置信息，在多个平面区域中确定目标对象所位于的平面。其中，平面区域是指点云空间中所对应的空间平面区域。

点云数据处理过程中目标对象不易定位准确，那么在点云空间中很难直接基于目标对象在点云空间中的位置信息对目标对象所在区域进行数据点的精准地填充，为了提高数据点填充的准确性，在本发明实施例中，可以先基于平面对点云数据进行分类处理，确定点云数据中所包括的多个平面区域。然后在多个平面区域中确定出目标对象所位于的平面，可以进一步缩小目标对象边缘定位范围，降低了处理难度。

此外，本实施例对于获取点云数据中多个数据点所对应的多个平面区域的具体实现方式不做限定，本领域技术人员可以根据具体的应用需求和设计需求进行设置，例如：使用平面识别算法对点云数据进行平面识别，以获得点云数据所包含的多个平面区域。其中，平面识别算法可以是区域生长算法、RANSAC算法检测平面、点云平面分割算法等，本发明实施例中对平面识别算法不做限定。举例来说，可以采用基于小二乘方差的区域增长算法来提取建筑物的平面特征，定义多个平面相似度准则并结合多个阈值判断，进行平面的区域增长，实现点云数据的准确分割，利用该方法能够快速稳定地识别出目标场景中所包括的各个平面，得到较为准确的分割结果。

对点云数据进行平面识别，不仅可以检测出点云数据中所包括的多个平面区域，也可以得到各个平面区域所包括的数据点，即实现了对点云数据的分类处理，将点云数据分割为多个平面集合，每个平面集合中包括多个数据点。

在获取到点云数据中多个数据点所对应的多个平面区域之后，根据目标对象在点云空间中的位置信息，从多个平面区域中筛选出与目标对象平行，且距离在一定预设阈值范围内的面积最大的平面，并将该平面确定为目标对象所位于的平面。

本发明实施例中，通过获取点云数据中多个数据点所对应的多个平面区域，并根据目标对象在点云空间中的空间位置信息，在多个平面区域中确定目标对象所位于的平面，使得目标对象定位范围进一步缩小，从而降低了点云数据处理难度。

图6为本发明实施例提供的确定目标对象所对应的边缘区域的流程示意图；在上述实施例的基础上，继续参考附图6所示，本实施例中点云数据包括多个数据点，提供了一种基于目标对象所位于的平面，确定目标对象所对应的边缘数据点，并根据边缘数据点，确定目标对象所对应的边缘区域的实现方式，具体可以包括：

步骤601、在点云数据中，确定平面中所包括的多个数据点。

步骤602、对多个数据点进行凹包检测，确定目标对象所对应的边缘数据点。

步骤603、根据边缘数据点，确定目标对象所对应的边缘区域。

点云数据处理过程中边缘不易定位准确，在本发明实施例中，为了提高目标对象所对应的边缘定位的准确性，可以对目标对象所位于的平面中的数据点进行凹包检测，以精准地确定出目标对象所对应的边缘数据点，从而确定出目标对象所对应的边缘区域。需要注意的是，这里的平面中的数据点为三维数据点，此平面并不是简单的二维平面，而是点云空间中的空间平面。

具体的，首先在点云数据中，确定目标对象所在平面中所包括的多个数据点。通过对点云数据进行平面识别，不仅可以确定出点云中所包括的平面区域，还可以确定出各个平面区域所包括的数据点。在多个平面区域中筛选出目标对象所位于的平面区域，即可确定出目标对象所在平面中所包括的多个数据点。

在确定出多个数据点后，对多个数据点进行凹包检测，提取出目标对象所对应的边缘数据点。根据边缘数据点，确定目标对象所对应的边缘区域。例如，如图7所示，目标对象为窗户，确定出窗户所位于的平面即该窗户所在的墙面，并确定出该墙面中所包括的数据点，对数据点进行凹包检测，确定空洞区域，并提取出该空洞区域的边缘数据点，这些边缘数据点所围成的多边形即为窗户的边缘区域。

本发明实施例中，通过对目标对象所位于的平面中的多个数据点进行凹包检测，提取出目标对象所对应的边缘数据点，并根据边缘数据点以准确地确定出目标对象在点云空间中所对应的边缘区域，这样得到的结果更准确，从而可以提高空洞区域填充的准确性。

图8为本发明实施例提供的基于边缘区域，对点云数据进行填充，以获得用于实现点云空洞修复的目标点云数据的流程示意图；在上述实施例的基础上，继续参考附图8所示，本实施例中点云数据包括多个数据点，提供了一种基于目标对象所对应的边缘区域，对点云数据进行填充，以获得用于实现点云空洞修复的目标点云数据的实现方式，具体可以包括：

步骤801、根据目标对象所位于的平面，对边缘区域进行投影处理，获得边缘区域在二维平面中所对应的多边形。

步骤802、确定多边形所对应的外接图形。

步骤803、根据外接图形和多边形，对点云数据进行填充，获得目标点云数据。

由于目标对象所位于的平面为空间平面，那么在该平面中确定出的目标对象所对应的边缘区域即为三维点云空间中的边缘区域。在实际处理过程中，在点云空间中进行数据点的填充难度较大，因此，在本发明实施例中将三维点云数据中填充三维数据点的问题，先转换为在对应的二维平面内进行二维数据点的填充，填充完毕后再将填充的二维数据点转换为三维数据点，以实现对点云数据中缺失数据点的填充。

具体的，首先根据目标对象所位于的平面，对边缘区域进行投影处理，获得边缘区域在二维平面中所对应的多边形，然后确定多边形所对应的外接图形。其中，多边形可能是正方形、矩形、菱形等图形，其多边形具体的图形由目标对象的形状所决定。外接图形可以为外接矩形、外接正方形，其外接图形的具体图形是基于多边形进行确定的，并且外接图形为包围住多边形的最小规则图形。

根据外接图形和多边形，对点云数据进行填充，获得目标点云数据。具体的，以预设步长，在外接图形内进行填点处理，获得多个填补数据点。检测填补数据点是否位于多边形内，若填补数据点位于多边形内，则保留填补数据点；若填补数据点位于多边形外，则删除填补数据点。基于多个填补数据点和点云数据，确定目标点云数据。其中，预设步长是指预设点间距，可以按照预设步长向外接图形内进行填点，并且预设步长可以为0.01m、0.05m、0.08m，其预设步长可以根据实际需求进行设定。

在实际应用中，目标对象可能是各种形状的，那么获得的多边形也就是各种形状的图形。若多边形为不规则图形，那么以预设步长，在不规则的多边形内进行填点时，无法在多边形内均匀的填点，这样获得的填补数据点可能与实际情况不符。为了避免这种情况的出现，在本发明实施例中，以预设步长，在外接图形中可以实现均匀的填点，这样得到的多个填补数据点更符合实际情况，可以得到更精准的多个填补数据点，从而可以提高点云空洞修复效果。

由于外接图形为多边形所对应的最小规则图形，那么外接图形中可能包含的部分目标对象以外的区域，那么基于外接图形进行填点时，很可能会有些填补数据点落在了目标对象所在区域以外的区域，那么就需要删除这些填补数据点。在填补完成后，对多个填补数据点进行检测，若填补数据点位于多边形内，则保留填补数据点；若填补数据点位于多边形外，则删除填补数据点。然后再基于剩下的多个填补数据点和原有点云数据，确定目标点云数据。

例如，如图9所示，假设目标场景为某个卧室，目标对象为一个圆形窗户，窗户所位于的平面为窗户所位于的墙面。在该墙面所对应的点云数据中提取出窗户所对应的边缘数据点，并根据边缘数据点确定边缘区域，并将该边缘区域进行投影，获得边缘区域在二维平面中所对应的多边形为圆形。确定圆形所对应的最小外接正方形。以预设步长为0.01m，依次在外接正方形内进行填点，获得多个填补数据点，并只留下圆形以内的多个填补数据点。

多个填补数据点是二维数据点，那么还可以将多个填补数据点转换为三维数据点。具体的，根据目标对象所位于的平面信息，将多个填补数据点转换到点云空间中，获得多个填补数据点所对应的三维数据点。然后，将获得的三维数据点和原有的点云数据进行组合，得到目标点云数据。其中，目标点云数据为已经实现点云空洞修复后的点云数据。根据目标点云数据进行三维实景重建，可以得到与真实情况符合的三维空间模型。

本发明实施例中，通过根据目标对象所位于的平面，对边缘区域进行投影处理，获得边缘区域在二维平面中所对应的多边形，确定多边形所对应的外接图形，根据外接图形和多边形，对点云数据进行填充，实现了点云空洞修复。

在实际应用中，人们通常需要对房屋的情况提前进行大致的了解。通常可以对房屋进行深度信息(点云数据)和全景信息采集，根据深度信息和全景信息构建房屋模型，以更好地展示房屋。在窗户、镜子等区域采集到的点云数据存在缺失，需要对这些区域进行数据填充。具体应用时，本应用实施例提供了一种通过对点云数据进行分类处理，并以窗户、镜子等作为示例性的目标对象来实现点云空洞修复,具体的,该方法可以包括以下步骤：

1、获取与室内场景所对应的点云数据以及室内场景所对应的全景图像。

具体的，使用三维数据采集设备，对室内场景进行深度信息、全景信息采集。并将采集到的深度信息和全景信息存储在预设存储空间，可以通过访问预设存储空间来获取到点云数据和全景信息。另外，在实际应用中，由于室内场景空间较大，且容易被墙体等遮挡，所以需要采集多个点位数据，以实现对房屋的全覆盖采集。那么获取到的点云数据和全景信息可能为预处理前的点云数据和全景信息，也可能为预处理后的点云数据和全景信息。

若获取到的点云数据和全景信息可能为预处理前的点云数据和全景信息，需要对获取到的数据进行预处理。具体的，当数据采集设备在多个点位上采集到其对应的点云数据和实景图像后，经过用户的拍摄设备上的对齐摆正处理，计算各个点位上数据采集设备之间的相对位姿信息(各个点位上所对应的点云空间的相对位姿信息)。结合各个点位上的位姿信息，将各个点位上的点云数据转化到同一个点云坐标系(点云空间)，然后把多个点位所对应的点云数据进行合并，获得一个完整的室内场景点云。将各个点位上拍摄到的实景图像进行拼接，得到室内场景所对应的全景图像。另外为了便于描述，后续出现的点云数据都是指完整的室内场景点云，点云空间是指完整的室内场景点云所对应的点云坐标系。

2、在全景图像标记出窗户所对应的位置，以确定窗户在全景图像中的全景位置信息。

具体的，在全景图像中使用线段标记出窗户的位置，该线段可上下移动，标记信息中可以只记录线段的宽度。

3、将点云数据投影至二维平面，获得点云数据所对应的二维点云平面。

具体的，可以将点云数据中的纵坐标统一设置为同一数值，即可将点云数据中各个数据点投影至二维平面内，以获取二维点云平面。该二维点云平面相当于室内场景所对应的户型图。

4、根据全景位置信息，在二维点云平面中标记出窗户所对应的位置，以确定窗户在二维点云平面中的投影位置信息。

具体的，根据全景图像中的标记信息，对投影后的点云数据进行标注处理，标记出窗户在投影后的点云数据中对应位置。也就是根据窗户的全景位置信息，在二维点云平面中标记出窗户所对应的位置，根据标记信息，确定窗户在二维点云平面中的投影位置信息。

5、对点云数据进行平面识别，获得室内场景所对应的多个平面区域。

具体的，可以使用平面识别算法对点云数据进行平面识别，获得多个平面区域。并将位于同一平面区域内的数据点提取出来，位于同一平面区域内的数据点形成一个平面集。一个室内场景所对应的点云数据对应有多个平面集，例如，左墙面上的所有数据点形成一个平面集、地面上的所以数据点形成一个平面集、桌面上的所有数据点形成一个平面集等。这个过程实质上就是对点云数据进行分类处理的过程，基于平面对点云数据中的各个数据点进行分类。

6、将用户在二维点云平面中标注的窗户信息转换到点云空间中，确定窗户在点云空间中的空间位置信息。

7、根据窗户的空间位置信息，筛选出与其平行的，且距离在一定阈值范围内的面积最大的平面。此平面即为窗户所在的墙面。

8、对此平面内的数据点进行凹包检测，提取出此平面内的空洞区域所对应的边缘数据点。由这些数据点围成的多边形区域即为窗子或镜子对应的空洞。

9、根据空洞所在平面的信息，将边缘数据点围成的多边形投影至二维平面。并计算出此多边形的外接矩形。

10、以特定的步长0.01m，在外接矩形区域内依次填点，并对填补数据点进行遍历，检测填补数据点是否在多边形区域内，保留处于多边形区域内的二维填补数据点。

11、根据此空洞对应的平面，将二维填补数据点转换到点云空间中，得到三维填补数据点。这样窗户对应的空洞处就被填补起来。

其详细的实现过程可以参考上述的相关描述，在此不再赘述。

以下将详细描述本发明的一个或多个实施例的空洞修复装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。图10为本发明实施例提供的一种空洞修复装置的结构示意图，如图10所示，该装置包括：获取模块11、第一确定模块12、第二确定模块13、第三确定模块14、填充模块15。

获取模块11，用于获取与目标场景相对应的三维点云数据以及与目标场景相对应的全景图像，所述目标场景中包括目标对象.

第一确定模块12，用于根据所述全景图像，确定所述目标对象在点云空间中的空间位置信息，所述点云空间由所述点云数据所确定。

第二确定模块13，用于根据所述空间位置信息，确定所述目标对象所位于的平面，所述平面为所述点云空间中的一个空间平面。

第三确定模块14，用于基于所述平面，确定所述目标对象所对应的边缘数据点，并根据所述边缘数据点，确定所述目标对象所对应的边缘区域。

填充模块15，用于基于所述边缘区域，对所述点云数据进行填充，获得已实现点云空洞修复的目标点云数据。

可选地，所述第一确定模块12具有可以用于：确定所述目标对象在所述全景图像中的全景位置信息；根据所述全景位置信息，确定所述目标对象在点云空间中的空间位置信息。

可选地，所述第一确定模块12具有还可以用于：获取所述点云数据所对应的二维点云平面；根据所述全景位置信息，确定所述目标对象在所述二维点云平面中的投影位置信息；根据所述投影位置信息，确定所述目标对象在点云空间中的空间位置信息。

可选地，所述第一确定模块12具体还可以用于：获取所述点云数据所对应的二维点云平面；根据所述全景位置信息，确定所述目标对象在所述二维点云平面中的投影位置信息；根据所述投影位置信息，确定所述目标对象在点云空间中的空间位置信息。

可选地，所述第一确定模块12具体还可以用于：获取所述点云空间与二维平面之间的映射关系；根据所述映射关系，将所述目标对象在所述二维点云平面中的位置信息转换到点云空间中，获得所述目标对象在点云空间中的空间位置信息。

可选地，所述第二确定模块13具体可以用于：获取所述点云数据中多个数据点所对应的多个平面区域；根据所述空间位置信息，在所述多个平面区域中确定所述目标对象所位于的平面。

可选地，所述第三确定模块14具体可以用于：在所述点云数据中，确定所述平面中所包括的多个数据点；对所述多个数据点进行凹包检测，确定所述目标对象所对应的边缘数据点；根据所述边缘数据点，确定所述目标对象所对应的边缘区域。

可选地，所述填充模块15具体可以用于：根据所述目标对象所位于的平面，对所述边缘区域进行投影处理，获得所述边缘区域在二维平面中所对应的多边形；确定所述多边形所对应的外接图形；根据所述外接图形和所述多边形，对所述点云数据进行填充，获得目标点云数据。

可选地，所述填充模块15具体还可以用于：以预设步长，在所述外接图形内进行填点，获得多个填补数据点；检测所述填补数据点是否位于所述多边形内；若所述填补数据点位于所述多边形内，则保留所述填补数据点；若所述填补数据点位于所述多边形外，则删除所述填补数据点；基于所述多个填补数据点和所述点云数据，确定目标点云数据。

可选地，所述填充模块15具体还可以用于：根据所述目标对象所位于的平面信息，将所述多个填补数据点转换到点云空间中，获得所述多个填补数据点所对应的三维数据点；根据所述三维数据点和所述点云数据，确定目标点云数据。

图10所示装置可以执行前述图1至图9所示实施例中提供的空洞修复方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。

在一个可能的设计中，上述图10所示空洞修复装置的结构可实现为一电子设备，本实施例提供的电子设备，可获取与目标场景相对应的点云数据，所述目标场景中包括目标对象；确定所述目标对象在点云空间中的空间位置信息，所述点云空间由所述点云数据所确定；根据所述空间位置信息，确定所述目标对象所位于的平面；基于所述平面，确定所述目标对象所对应的边缘区域；基于所述边缘区域，对所述点云数据进行填充，获得已实现点云空洞修复的目标点云数据，不仅实现了点云空洞修复，还可以提高点云空洞修复效率。

如图11所示，该电子设备可以包括：处理器21、存储器22。其中，存储器22上存储有可执行代码，当所述可执行代码被处理器21执行时，使处理器21至少可以实现如前述图1至图9所示实施例中提供的空洞修复方法。

本发明实施例中，存储器22用于存储计算机程序，并可被配置为存储其它各种数据以支持在其所在设备上的操作。其中，处理器21可执行存储器中存储的计算机程序，以实现相应控制逻辑。存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

在本发明实施例中，处理器可以为任意可执行上述方法逻辑的硬件处理设备。可选地，处理器可以为中央处理器(CentralProcessing Unit，CPU)、图形处理器(GraphicsProcessing Unit，GPU)或微控制单元(MicrocontrollerUnit，MCU)；也可以为现场可编程门阵列(Field-Programmable GateArray，FPGA)、可编程阵列逻辑器件(ProgrammableArrayLogic，PAL)、通用阵列逻辑器件(General Array Logic，GAL)、复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)等可编程器件；或者为先进精简指令集(RISC)处理器(AdvancedRISCMachines，ARM)或系统芯片(SystemonChip，5SOC)等等，但不限于此。

可选地，该电子设备中还可以包括通信接口23，用于与其他设备进行通信。通信接口被配置为便于其所在设备和其他设备之间有线或无线方式的通信。通信接口所在设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G，5G或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术或其他技术来实现。

可选地，该电子设备中还可以包括显示组件，显示组件可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示组件包括触摸面板，显示组件可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

可选地，该电子设备中还可以包括电源组件，其中电源组件被配置为其所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

可选地，该电子设备中还可以包括音频组件，音频组件可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。例如，对于具有语言交互功能的设备，可通过音频组件实现与用户的语音交互等。

另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述图1至图9所示实施例中提供的空洞修复方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种空洞修复方法，其特征在于，包括：

获取与目标场景相对应的点云数据以及与目标场景相对应的全景图像，所述目标场景中包括目标对象；

确定所述目标对象在所述全景图像中的全景位置信息；

获取所述点云数据所对应的二维点云平面；

根据所述全景位置信息，确定所述目标对象在所述二维点云平面中的投影位置信息；

根据所述投影位置信息，确定所述目标对象在点云空间中的空间位置信息，所述点云空间由所述点云数据所确定；

获取所述点云数据中多个数据点所对应的多个平面区域；

根据所述空间位置信息，在所述多个平面区域中确定所述目标对象所位于的平面，所述平面为所述点云空间中的一个空间平面；

在所述点云数据中，确定所述平面中所包括的多个数据点；

对所述多个数据点进行凹包检测，确定所述目标对象所对应的边缘数据点；

根据所述边缘数据点，确定所述目标对象所对应的边缘区域；

根据所述目标对象所位于的平面，对所述边缘区域进行投影处理，获得所述边缘区域在二维平面中所对应的多边形；

确定所述多边形所对应的外接图形；

根据所述外接图形和所述多边形，对所述点云数据进行填充，获得目标点云数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述投影位置信息，确定所述目标对象在点云空间中的空间位置信息，包括：

获取所述点云空间与二维平面之间的映射关系；

根据所述映射关系，将所述目标对象在所述二维点云平面中的位置信息转换到点云空间中，获得所述目标对象在点云空间中的空间位置信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述外接图形和所述多边形，对所述点云数据进行填充，以获得目标点云数据，包括：

以预设步长，在所述外接图形内进行填点，获得多个填补数据点；

检测所述填补数据点是否位于所述多边形内；

若所述填补数据点位于所述多边形内，则保留所述填补数据点；若所述填补数据点位于所述多边形外，则删除所述填补数据点；

基于所述多个填补数据点和所述点云数据，确定目标点云数据。

4.根据权利要求3所述的方法，其特征在于，所述基于所述多个填补数据点和所述点云数据，确定目标点云数据，包括：

根据所述目标对象所位于的平面信息，将所述多个填补数据点转换到点云空间中，获得所述多个填补数据点所对应的三维数据点；

根据所述三维数据点和所述点云数据，确定目标点云数据。

5.一种空洞修复装置，其特征在于，包括：

获取模块，用于获取与目标场景相对应的点云数据以及与目标场景相对应的全景图像，所述目标场景中包括目标对象；

第一确定模块，用于确定所述目标对象在所述全景图像中的全景位置信息，获取所述点云数据所对应的二维点云平面，根据所述全景位置信息，确定所述目标对象在所述二维点云平面中的投影位置信息，根据所述投影位置信息，确定所述目标对象在点云空间中的空间位置信息，所述点云空间由所述点云数据所确定；

第二确定模块，用于获取所述点云数据中多个数据点所对应的多个平面区域，根据所述空间位置信息，在所述多个平面区域中确定所述目标对象所位于的平面，所述平面为所述点云空间中的一个空间平面；

第三确定模块，用于在所述点云数据中，确定所述平面中所包括的多个数据点，对所述多个数据点进行凹包检测，确定所述目标对象所对应的边缘数据点，根据所述边缘数据点，确定所述目标对象所对应的边缘区域；

填充模块，用于根据所述目标对象所位于的平面，对所述边缘区域进行投影处理，获得所述边缘区域在二维平面中所对应的多边形，确定所述多边形所对应的外接图形，根据所述外接图形和所述多边形，对所述点云数据进行填充，获得目标点云数据。

6.一种计算机可读存储介质，其特征在于，所述介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-4任一所述的空洞修复方法。