CN115471641A - 一种三维室内场景补全方法、装置、设备及存储介质 - Google Patents
一种三维室内场景补全方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115471641A CN115471641A CN202211059232.5A CN202211059232A CN115471641A CN 115471641 A CN115471641 A CN 115471641A CN 202211059232 A CN202211059232 A CN 202211059232A CN 115471641 A CN115471641 A CN 115471641A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- information
- cloud data
- indoor scene
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000011218 segmentation Effects 0.000 claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 77
- 238000007499 fusion processing Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 68
- 238000005070 sampling Methods 0.000 claims description 46
- 230000009466 transformation Effects 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 19
- 238000013461 design Methods 0.000 abstract description 3
- 230000008439 repair process Effects 0.000 description 15
- 238000012549 training Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Structural Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Civil Engineering (AREA)
- Computational Linguistics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种三维室内场景补全方法、装置、设备及存储介质，涉及室内设计技术领域，该方法包括：获取室内场景的点云数据，依据点云数据进行类别分割处理，得到室内场景对应的语义类别信息，根据语义类别信息进行实例分割处理，得到家具实例信息，依据家具实例信息进行点云形状修复补全处理，得到室内场景中各个家具实例对应的目标点云数据，依据目标点云数据进行场景融合处理，得到室内场景对应的目标补全场景信息，从而解决了现有技术针对室内场景修复补全中难以处理大规模点云数据的问题。
Description
技术领域
本申请涉及室内设计技术领域，尤其涉及一种三维室内场景补全方法、装置、设备及存储介质。
背景技术
目前，对三维室内场景修复补全是计算机图形学、数字几何处理、3D计算视觉领域的重要问题，其应用领域包括室内虚拟装修、室内游戏场景设计、虚拟考古博物馆以及室内机器人导航等。在数字几何处理和3D计算机视觉中，点云数据由于其数据获取方便、无需维护拓扑连接关系、能较好地表示复杂形状等优点得到了普遍应用。
现有的三维室内场景修复补全方法通常存在的难点是室内场景点云数据量庞大(场景点云数据通常有十几万到几百万的采样点)，难以全部输入深度神经网络中直接训练，从而导致无法完整对室内场景点云数据进行修复补全。
发明内容
本申请提供了一种三维室内场景补全方法、装置、设备及存储介质，以解决现有技术针对室内场景修复补全中难以处理大规模点云数据的问题。
第一方面，本申请提供了一种三维室内场景补全方法，包括：
获取室内场景的点云数据；
依据所述点云数据进行类别分割处理，得到所述室内场景对应的语义类别信息；
根据所述语义类别信息进行实例分割处理，得到家具实例信息；
依据所述家具实例信息进行点云形状修复补全处理，得到所述室内场景中各个家具实例对应的目标点云数据；
依据所述目标点云数据进行场景融合处理，得到所述室内场景对应的目标补全场景信息。
可选的，所述依据所述点云数据进行类别分割处理，得到所述室内场景对应的语义类别信息，包括：
基于所述室内场景对应的场景类别分割策略，对所述点云数据进行类别分割，得到所述室内场景对应的语义类别信息；或，
通过预先训练好的分割网络模型对所述点云数据进行类别分割，得到室内场景对应的语义类别信息。
可选的，所述根据所述语义类别信息进行实例分割处理，得到家具实例信息，包括：
对所述语义类别信息进行点云聚类处理，得到语义类别组信息；
基于所述语义类别组信息进行实例分割，得到家具实例信息。
可选的，所述依据所述家具实例信息进行点云形状修复补全处理，得到所述室内场景中各个家具实例对应的目标点云数据，包括：
基于所述家具实例信息确定目标输入矩阵信息；
依据所述目标输入矩阵信息进行矩阵变换处理，得到特征码字信息；
利用所述特征码字信息进行折叠转换处理，得到所述目标点云数据。
可选的，所述依据所述目标输入矩阵信息进行矩阵变换处理，得到特征码字信息，包括：
将所述目标输入矩阵信息输入预先训练好的点云补全网络模型，所述目标输入矩阵信息包含所述家具实例信息的采样点坐标参数；
通过所述点云补全网络模型，对所述采样点坐标信息进行矩阵变换，得到所述特征码字信息。
可选的，所述利用所述特征码字信息进行折叠转换处理，得到所述目标点云数据，包括：
获取所述家具实例信息对应的二维网格；
基于所述特征码字信息，采用所述二维网格进行折叠转换，得到所述目标点云数据。
可选的，所述获取室内场景的点云数据，包括：
确定待扫描的室内场景；
通过激光设备对所述室内场景进行点云扫描处理，得到所述点云数据；或，
通过相机设备对所述室内场景进行图像拍摄，得到室内场景图像，并基于所述室内场景图像息进行配准重建，得到所述点云数据。
第二方面，本申请提供了一种三维室内场景补全装置，包括：
点云数据获取模块，用于获取室内场景的点云数据；
类别分割模块，用于依据所述点云数据进行类别分割处理，得到所述室内场景对应的语义类别信息；
实例分割模块，用于根据所述语义类别信息进行实例分割处理，得到家具实例信息；
目标点云数据确定模块，用于依据所述家具实例信息进行点云形状修复补全处理，得到所述室内场景中各个家具实例对应的目标点云数据；
目标补全场景信息确定模块，用于依据所述目标点云数据进行场景融合处理，得到所述室内场景对应的目标补全场景信息。
第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如第一方面任一项实施例所述的三维室内场景补全方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的三维室内场景补全方法的步骤。
综上，本申请实施例通过获取室内场景的点云数据，依据点云数据进行类别分割处理，得到室内场景对应的语义类别信息，并根据语义类别信息进行实例分割处理，得到家具实例信息，进而依据家具实例信息进行点云形状修复补全处理，得到室内场景中各个家具实例对应的目标点云数据，依据目标点云数据进行场景融合处理，得到室内场景对应的目标补全场景信息，从而解决了现有技术针对室内场景修复补全中难以处理大规模点云数据的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种三维室内场景补全方法的流程示意图；
图2是本申请一个可选实施例提供的一种三维室内场景补全方法的步骤流程示意图；
图3是本申请一个可选实施例提供的一种的室内场景类别分割图；
图4是本申请一个可选实施例提供的一种的室内场景点云数据修复补全框架图；
图5是本申请一个可选实施例提供的一种的室内场景实例分割图；
图6为本申请实施例提供的一种三维室内场景补全装置的结构框图；
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在相关技术中，室内场景点云数据的缺失主要有两类，第一类时平面结构出现孔洞区域(如墙壁、天花板、地板等点云数据出现孔洞)，第二类是室内家具形状结构的缺失(如桌子缺失桌腿、椅子缺失靠背等)。针对第一类点云数据缺失的问题，传统的点云数据修复方法主要是通过检测空洞边界，以利用边界点的临近点构造曲面，从而进行孔洞修补；针对第二类点云数据缺失的问题，则难以利用传统的点云数据修复方法进行补全，一种可行的补全方法是对缺失的点云数据进行重建并借助专业软件手工补全室内场景中家具的缺失形状。然而，由于点云数据中各个待修复的家具的形状复杂性较高，导致手工修复效率低且成本高。现有方案主要是将缺失的三维室内场景点云数据输入到神经网络中进行训练修复，实现对点云数据的补全。然而，现有三维室内场景修复方法通常存在两个难点，一是室内场景数据量庞大(场景点云数据通常有十几万到几百万的采样点)，难以全部输入深度神经网络中直接进行训练；二是室内家具形状结构的缺失难以通过传统孔洞补全方法进行修复补全。
本申请实施例的构思之一在于提出一种三维室内场景补全方法，通过获取室内场景的点云数据，以依据点云数据进行类别分割处理和实例分割处理，得到家具实例信息，进而依据家具实例信息进行点云形状修复补全处理，得到室内场景中各个家具实例对应的目标点云数据，随后依据目标点云数据进行场景融合处理，得到室内场景对应的目标补全场景信息，通过将大规模的室内点云场景分割成待修复的单个家具实例，并针对每一个分割出来的家具实例进行家具形状的修复补全，从而避免了点云补全网络难以直接处理大规模场景数据的弊端，解决了现有技术针对室内场景修复补全中难以处理大规模点云数据的问题，无需使用传统孔洞补全方法对家具形状进行补全。
为便于对本申请实施例的理解，下面将结合附图以及具体实施例做进一步的解释说明，实施例并不构成对本申请实施例的限定。
图1为本申请实施例提供的一种三维室内场景补全方法的流程示意图。如图1所示，本申请提供的三维室内场景补全方法具体可以包括如下步骤：
步骤110，获取室内场景的点云数据。
具体的，本申请实施例可以获取室内场景的点云数据，该点云数据可以包含形状缺失的家具点云数据，本申请实施例对此不作限制。后续可以对该点云数据进行类别分割处理，得到室内场景对应的语义类别信息，即执行步骤120。
步骤120，依据所述点云数据进行类别分割处理，得到所述室内场景对应的语义类别信息。
具体的，语义类别信息可以包含场景类别，该场景类别可以包含地面、墙壁以及各种家具类别，其中家具类别可以包含椅子和桌子等，本申请实施例对对此不作限制。具体而言，本申请实施例在获取到点云数据后，可以将依据点云数据进行类别分割处理，得到室内场景对应的语义类别信息。
例如，可以将点云数据输入到预先训练好的点云数据分割网络模型中，通过点云数据分割网络模型对点云数据进行类别分割处理，得到室内场景对应的语义类别信息。如在点云数据包含的家具为椅子和桌子的情况下，可以将点云数据中包含的所有桌子分割成一个类别，得到语义类别信息，并可以将点云数据中包含的所有椅子分割成一个类别，得到语义类别信息。后续可以对语义类别信息进行实例分割处理，得到家具实例信息。
步骤130，根据所述语义类别信息进行实例分割处理，得到家具实例信息。
具体的，家具实例信息可以包含点云数据缺失的家具，如可以包含椅子以及桌子等，本申请实施例对此不作限制。具体而言，本申请实施例在确定语义类别信息后，可以根据语义类别信息进行实例分割处理，得到家具实例信息，如可以使用欧式距离的点云聚类方法，将语义类别信息包含的家具进行实例分割，得到单个家具实例，以作为家具实例信息。使用“分而治之”的思想，通过“类别-实例”的分割策略对大规模室内场景的点云数据进行有效分割，将数据量庞大的室内场景的点云数据对应的修复补全任务分解成多个家具形状的修复补全任务，从而有效避免了点云补全网络难以直接处理庞大的点云场景数据修复补全的难题。
作为一个示例，在语义类别信息包含桌子和椅子的情况下，可以将语义类别信息包含的每一个桌子进行实例分割处理，得到每一个桌子对应的实例信息，以作为家具实例信息，并可以对语义类别信息包含的每一个椅子进行实例分割处理，得到每一个椅子对应的实例信息，以作为家具实例信息。
步骤140，依据所述家具实例信息进行点云形状修复补全处理，得到所述室内场景中各个家具实例对应的目标点云数据。
具体的，目标点云数据可以包含家具实例修复补全后的点云数据，本申请实施例对此不作限制。具体而言，可以依据家具实例信息进行点云形状修复补全处理，以补全每一个家具实例对应的形状，并可以将补全后的点云数据作为家具实例对应的目标点云数据，从而实现对点云数据中形状缺失的家具进行修复补全。
例如，可以将家具实例信息输入到预先训练好的点云形状补全网络中，该点云形状补全网络可以是一种端对端的神经网络，本示例对此不作限制。点云形状补全网络可以将家具实例信息对应的采样点的点云模型作为输入，基于采样点对缺失的家具形状进行点云补全，得到补全后的家具实例信息对应的点云数据，以作为目标点云数据，实现利用神经网络学习生成高质量的完整三维模型。
步骤150，依据所述目标点云数据进行场景融合处理，得到所述室内场景对应的目标补全场景信息。
具体的，目标补全场景信息可以包含修复补全后的室内场景点云数据，本申请实施例对此不作限制。具体而言，本申请实施例在确定目标点云数据后，可以结合每一个家具实例对应的目标点云数据和室内场景的点云数据进行场景融合，可以将修复补全后的家具对应的目标点云数据融合到原始点云数据中，从而可以补全室内场景的点云数据中缺失的点云场景，解决了现有技术针对室内场景修复补全中难以处理大规模点云数据的问题。
可见，本申请实施例通过获取室内场景的点云数据，依据点云数据进行类别分割处理，得到室内场景对应的语义类别信息，并根据语义类别信息进行实例分割处理，得到家具实例信息，进而依据家具实例信息进行点云形状修复补全处理，得到室内场景中各个家具实例对应的目标点云数据，依据目标点云数据进行场景融合处理，得到室内场景对应的目标补全场景信息，从而解决了现有技术针对室内场景修复补全中难以处理大规模点云数据的问题。
参照图2，示出了本申请一个可选实施例提供的一种三维室内场景补全方法的步骤流程示意图。该三维室内场景补全方法具体可以包括如下步骤：
步骤210，获取室内场景的点云数据。
在具体实现中，本申请实施例中室内场景的点云数据的获取通常可以包含两种方法，一种是使用激光扫描设备扫描室内场景以获取室内场景的点云数据，通过激光扫描设备可以扫描获取到稠密且高质量的点云数据；另一种则是通过诸如立体相机或深度相机(Red Green Blue Depth，RGBD)等相机设备获取室内场景信息，并结合配准重建等方法获取点云数据。
在一个可选实施例中，本申请实施例获取室内场景的点云数据，具体可以包括：确定待扫描的室内场景；通过激光设备对所述室内场景进行点云扫描处理，得到所述点云数据；或，通过相机设备对所述室内场景进行图像拍摄，得到室内场景图像，并基于所述室内场景图像息进行配准重建，得到所述点云数据。其中，激光设备可以包含激光扫描设备，相机设备可以包含立体相机或RGBD相机，本申请实施例对此不作限制。
步骤220，依据所述点云数据进行类别分割处理，得到所述室内场景对应的语义类别信息。
作为一个示例，参照图3，以餐厅作为室内场景的情况下，在获取到餐厅的点云数据后，可以将餐厅的点云数据作为原始点云数据，并可以对该原始点云数据进行类别分割，得到室内场景对应的语义类别信息。具体而言，将餐厅的点云数据进行类别分割，得到墙壁、地板等平面结构以及椅子和桌子等家具类别。
可选的，上述依据所述点云数据进行类别分割处理，得到所述室内场景对应的语义类别信息，具体可以包括以下子步骤：
子步骤2201，基于所述室内场景对应的场景类别分割策略，对所述点云数据进行类别分割，得到所述室内场景对应的语义类别信息。
具体的，场景类别分割策略可以用于对家具进行分割，本申请实施例对此不作限制。
在具体实现中，本申请实施例可以预先根据不同的室内场景预设场景类别分割策略，如在室内场景为卧室，且该卧室的家具包含椅子、桌子、床以及衣柜的情况下，可以为卧室预设场景类别分割策略，随后可以基于室内场景对应的场景类别分割策略对点云数据进行类别分割。具体而言，可以基于场景类别分割策略，通过算法实现对点云数据的类别分割，得到室内场景对应的语义类别信息。
例如，在家具类别包含椅子和桌子的情况下，可以通过场景类别分割策略对点云数据中的家具按照家具类别进行分割，可以将点云数据中包含的所有椅子分割出来，作为椅子对应的语义类别信息，并可以将点云数据中包含的所有桌子分割出来，作为桌子对应的语义类别信息。
子步骤2202，通过预先训练好的分割网络模型对所述点云数据进行类别分割，得到室内场景对应的语义类别信息。
具体的，预先训练好的分割网络模型可以包含点云深度网络(PointNet)，本申请实施例对此不作限制。具体而言，本申请实施例可以将点云数据输入到预先训练好的PointNet分割网络中，通过PointNet分割网络对点云数据进行类别分割，如可以是分割出室内场景中缺失家具的类别，以作为室内场景对应的语义类别信息，以通过PointNet分割网络将室内场景中类别相同的家具分割到一起，后续可以进一步对该类别相同的家具进行实例分割，得到单个家具实例，进而对家具实例进行修复补全，从而有效避免了点云补全网络难以直接处理庞大的点云场景数据修复补全的难题。
作为一个示例，参照图4，针对室内场景的点云数据修复补全中难以处理大规模点云数据的问题，本示例提出了一种基于类别-实例分割的室内场景点云数据修复补全框架。该框架包括点云场景分割模块和点云形状补全模块，其中，点云场景分割模块可以包含PointNet分割网络和基于聚类的实例分割模块组成。具体而言，在获取到室内场景的点云数据(数据缺失的室内点云场景)后，可以将点云数据输入到PointNet分割网络中，通过PointNet分割网络从点云数据中分割出室内场景的语义类别，如地面类别、墙壁类别、桌子类别以及椅子类别等，得到语义类别信息。
步骤230，对所述语义类别信息进行点云聚类处理，得到语义类别组信息。
具体的，语义类别组信息可以包含家具实例，如在语义类别组为桌子类别组时，该桌子类别组可以包含多个桌子实例，本申请实施例对此不作限制。具体而言，可以对语义类别信息进行点云聚类处理，得到语义类别组信息。
例如，参照图5，在语义类别信息包含桌子和椅子等家具类别的情况下，可以对语义类别信息进行点云聚类处理，得到桌子对应的语义类别组信息和椅子对应的语义类别组信息，本示例对此不作限制。
步骤240，基于所述语义类别组信息进行实例分割，得到家具实例信息。
具体而言，可以基于语义类别组信息进行实例分割，将语义类别组信息中包含的每一个家具分割出来，得到家具实例信息。例如，参照图3，可以对桌子对应的语义类别组信息进行实例分割得到2张餐桌，并可以对椅子对应的语义类别组信息进行实例分割，得到8把座椅，本示例对此不作限制。
在具体实现中，由于室内场景的点云数据通常为不完整的点云数据，该点云数据中并不具备缺失采样点的邻域信息，且室内场景可能存在包含有多个同类物品或家具的情况，如室内场景为会议室场景时，该会议室场景可能包含多把椅子，仅采用PointNet分割网络可能无法将该会议室场景中的所有椅子进行分割得到每把椅子实例，导致后续难以实现家具形状的精确修复，因此在进行类别分割得到语义类别信息后，可以对语义类别信息进行点云聚类处理，得到语义类别组信息，进而基于语义类别组信息进行实例分割，得到家具实例信息。
作为一个示例，参照图4，通过PointNet分割网络对点云数据进行类别分割得到语义类别信息后，可以通过基于聚类的实例分割模块对语义类别信息进行点云聚类实例分割处理，得到家具实例信息。如可以采用基于欧式距离的点云聚类实例分割方式实现对语义类别信息进行点云聚类实例分割。具体而言，可以将待分割的语义类别信息对应的点云数据作为输入点云数据，并可以为输入点云数据创建对应的多维二叉树(KD树)，随后可以遍历输入点云数据中每一个采样点，并可以将每一个采样点加入到预先创建的队列中，遍历该队列中的每一个采样点，确定该采样点在预设半径的球内的近邻点，并汇总近邻点，得到近邻点集合。随后可以确定该近邻点集合内中的每一个近邻点是否在队列中存在。若确定近邻点在队列中不存在，则可以将该近邻点添加至队列中，若确定近邻点在队列中存在，则可以不对该近邻点进行处理。在队列中所有采样点遍历完毕后，可以将队列添加至预设的聚类列表中，并可以停止欧式距离算法，得到家具实例信息。
步骤250，基于所述家具实例信息确定目标输入矩阵信息。
具体的，目标输入矩阵信息可以包含多个采样点信息，其中，采样点信息可以包含家具实例信息对应的点云数据。具体而言，本申请实施例在确定家具实例信息后，可以将家具实例信息对应的点云数据作为采样点信息，并可以基于采样点信息构建矩阵，以作为目标输入矩阵信息，后续可以依据该目标输入矩阵，确定特征码字信息。
在具体实现中，采样点信息可以包含采样点坐标(x，y，z)，可以基于该采样点坐标构建矩阵，如可以是构建一个N*3的矩阵，以作为目标输入矩阵信息，该矩阵中每一行都可以由采样点坐标组成。
步骤260，依据所述目标输入矩阵信息进行矩阵变换处理，得到特征码字信息。
具体而言，本申请实施例可以依据目标输入矩阵信息进行矩阵变换处理，得到缺失的家具点云数据的采样点位置与特征信息，随后可以基于采样点位置与特征信息提取采样点形状特征和该采样点对应的近邻点的近邻点特征信息，进而可以确定该采样点对应的特征码字，以作为特征码字信息。
可选的，上述依据所述目标输入矩阵信息进行矩阵变换处理，得到特征码字信息，具体可以包括以下子步骤：
子步骤2601，将所述目标输入矩阵信息输入预先训练好的点云补全网络模型，所述目标输入矩阵信息包含所述家具实例信息的采样点坐标参数。
具体的，点云补全网络模型可以包含点云形状补全网络，该点云形状补全网络可以包含编码器和解码器，其中，编码器可以是基于PointNet网络的编码器，解码器可以是基于折叠的自动解码器(FoldingNet)，本申请实施例对此不作限制。
子步骤2602，通过所述点云补全网络模型，对所述采样点坐标信息进行矩阵变换，得到所述特征码字信息。
具体而言，本申请实施例可以通过通过点云补全网络模型，对采样点坐标信息进行矩阵变换，得到特征码字信息。
例如，在目标输入矩阵信息对应的矩阵结构为N*3的情况下，可以将N*3的矩阵输入到PointNet编码器中。随后PointNet的变换网络能够通过预测仿射变换得到3*3的位置矩阵和64*64的特征变换矩阵，PointNet网络可以将3*3的位置矩阵和64*64的特征变换矩阵直接乘以N*3的输入矩阵和该输入矩阵对应的特征矩阵，从而可以对齐缺失的家具对应的点云数据的采样点位置与特征信息。随后可以借助权共享多层感知器和点云特征提取模块(PointSIFT)对各采样点提取形状特征和近邻点特征信息等特征信息，以作为采样点特征信息，并可以利用最大池化层与多层感知器编码从采样点特征信息中提取出采样点的特征码字，以作为特征码字信息。
在具体实现中，输入到点云补全网络模型的采样点坐标信息，可能存在旋转性和无序性问题，其中，旋转性是指同一点云形状可以旋转从而产生不同的输入数据，无序性问题是指由于点云数据是由一组无特定顺序的离散点组成，输入的点云数据的顺序应不影响其在空间中对三维整体形状的表示，即通过不同顺序输入点云数据不能影响其补全效果。为解决旋转性和无序性问题，可以将目标输入矩阵信息输入到PointNet编码器中，从而可以通过PointNet编码器有效解决点云数据输入的旋转性和无序性问题，可以配准不同输入点云数据的位置姿态和特征。
进一步而言，通过PointNet网络中的编码器提取模型特征时通常只提取单个采样点的特征信息。考虑到点云形状中采样点与采样点之间的关联特征信息，PointNet网络中的编码器在提取的全局特征时，该全局特征可以同时包含单个采样点的特征信息及该采样点对应的近邻点的特征信息，从而可以准确刻画采样点特征信息。具体而言，在提取特征信息的共享权感知器后，可以加入2层点云特征提取模块(PointSIFT)对各采样点的对应特征融合近邻点特征信息，从而加强了各采样点的特征信息。
例如，PointSIFT模块能够对每个采样点的K维特征从空间中的8个卦限子空间寻找其对应的最近邻点的K维特征，并形成8个方向的特征向量，然后将特征向量分别在x，y，z坐标轴上做卷积操作，生成一个K维的融合近邻点特征信息的新特征信息，以作为采样点特征信息，使得获取到的特征码字信息更加准确，提高修复补全效率。
步骤270，利用所述特征码字信息进行折叠转换处理，得到所述目标点云数据。
具体而言，本申请实施例在确定特征码字信息后，点云补全网络模型可以利用特征码字信息进行折叠转换处理，得到目标点云数据。
例如，参照图3，可以通过点云形状补全网络中的FoldingNet解码器对特征码字信息进行折叠转换处理，得到目标点云数据。
可选的，上述利用所述特征码字信息进行折叠转换处理，得到所述目标点云数据，具体可以包括以下子步骤：
子步骤2701，获取所述家具实例信息对应的二维网格。
具体的，本申请实施例可以获取家具实例信息对应的二维网格。
在具体实现中，FoldingNet解码器可以对二维网格进行2次折叠操作，得到任意的点云形状，因此，本申请实施例中FoldingNet解码器可以通过对二维网格进行2次折叠操作，生成补全的点云数据。
子步骤2702，基于所述特征码字信息，采用所述二维网格进行折叠转换，得到所述目标点云数据。
具体的，本申请实施例可以基于特征码字信息，采用二维网格进行折叠转换，得到目标点云数据，实现有效的修改补全室内场景中缺失的家具结构形状。
例如，可以基于特征码字信息得到在一维空间中表达为512个特征码字的512特征码字矩阵，随后可以将该特征码字矩阵重复M次,得到M*512特征码字矩阵，并可以将该矩阵作为FoldingNet解码器的输入矩阵。随后可以基于二维网格生成一个二维网格平面，该二维网格平面可以是以原点为中心的正方形网格，该正方形网格可以包含M个网格点，所有各点的坐标值形成一个M*2的输入矩阵，每一行为各网格点的(x,y)坐标,其坐标值分别位于[-1,1]内。随后可以将网格点数据与M*512特征码字矩阵合并得到M*514的矩阵，并可以对该矩阵通过三层感知器进行第一次折叠，生成M*3的中间点云，再将特征码字矩阵与中间点云合并得到M*515的矩阵。随后可以通过三层感知器中进行第二次折叠，得到大小为M*3的重建完成的点云数据，以作为目标点云数据。由于二维网格中的点是均匀分布的，因而修复补全的点云形状表面往往更加平滑。
步骤280，依据所述目标点云数据进行场景融合处理，得到所述室内场景对应的目标补全场景信息。
作为一个示例，参照图4，通过点云形状补全网络对家具实例信息进行修复补全后，可以得到修复补全后的家具实例对应的点云数据，以作为目标点云数据，随后可以将该目标点云数据进行场景融合，如可以是将该目标点云数据融合到原始点云数据中，得到修复补全的室内点云场景，以作为室内场景对应的目标补全场景信息。
在具体实现中，在对点云场景分割网络和点云形状补全网络的训练过程中，可以使用预先采集大型三维室内场景数据集作为训练集，该训练集可以包含用于提供训练数据集和验证模型训练结果的验证集。其中，该训练集可以包含会议室、办公室、走廊、仓库、厕所等几十种点云场景，每个点云场景中含有桌子、椅子、沙发等常见点云家具模型。在进行模型训练时，训练集可以随机对室内场景的家具做缺失处理，得到家具形状缺失的点云数据，随后可以将该家具形状缺失的点云数据放入点云场景分割网络和点云形状补全网络中训练，得到训练完成的点云场景分割网络和点云形状补全网络。
综上，本申请实施例通过获取室内场景的点云数据，依据点云数据进行类别分割处理，得到室内场景对应的语义类别信息，并对语义类别信息进行点云聚类处理，得到语义类别组信息，基于语义类别组信息进行实例分割，得到家具实例信息，基于家具实例信息确定目标输入矩阵信息，依据目标输入矩阵信息进行矩阵变换处理，得到特征码字信息，进而利用特征码字信息进行折叠转换处理，得到目标点云数据，依据目标点云数据进行场景融合处理，得到室内场景对应的目标补全场景信息，通过“类别-实例”分割对大规模室内场景的点云数据进行有效分割，将数据量庞大的室内场景的点云数据对应的修复补全任务分解成多个家具形状的修复补全任务，从而有效避免了点云补全网络难以直接处理庞大的点云场景数据修复补全的难题，并依据分割后得到的家具实例信息进行家具形状修复补全，得到高质量的完整三维模型，解决了现有技术针对室内场景修复补全中难以处理大规模点云数据的问题。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。
如图6所示，本申请实施例还提供了一种三维室内场景补全装置600，包括：
点云数据获取模块610，用于获取室内场景的点云数据；
类别分割模块620，用于依据所述点云数据进行类别分割处理，得到所述室内场景对应的语义类别信息；
实例分割模块630，用于根据所述语义类别信息进行实例分割处理，得到家具实例信息；
目标点云数据确定模块640，用于依据所述家具实例信息进行点云形状修复补全处理，得到所述室内场景中各个家具实例对应的目标点云数据；
目标补全场景信息确定模块650，用于依据所述目标点云数据进行场景融合处理，得到所述室内场景对应的目标补全场景信息。
可选的，所述类别分割模块，包括：
语义类别信息确定子模块，用于基于所述室内场景对应的场景类别分割策略，对所述点云数据进行类别分割，得到所述室内场景对应的语义类别信息；或，通过预先训练好的分割网络模型对所述点云数据进行类别分割，得到室内场景对应的语义类别信息。
可选的，所述实例分割模块，包括：
语义类别组信息确定子模块，用于对所述语义类别信息进行点云聚类处理，得到语义类别组信息；
家具实例信息确定子模块，用于基于所述语义类别组信息进行实例分割，得到家具实例信息。
可选的，所述目标点云数据确定模块，包括：
目标输入矩阵信息确定子模块，用于基于所述家具实例信息确定目标输入矩阵信息；
特征码字信息确定子模块，用于依据所述目标输入矩阵信息进行矩阵变换处理，得到特征码字信息；
目标点云数据确定子模块，用于利用所述特征码字信息进行折叠转换处理，得到所述目标点云数据。
可选的，所述特征码字信息确定子模块，包括：
输入单元，用于将所述目标输入矩阵信息输入预先训练好的点云补全网络模型，所述目标输入矩阵信息包含所述家具实例信息的采样点坐标参数；
矩阵变换单元，用于通过所述点云补全网络模型，对所述采样点坐标信息进行矩阵变换，得到所述特征码字信息。
可选的，所述目标点云数据确定子模块，包括：
二维网格确定单元，用于获取所述家具实例信息对应的二维网格；
折叠转换单元，用于基于所述特征码字信息，采用所述二维网格进行折叠转换，得到所述目标点云数据。
可选的，所述点云数据获取模块，包括：
室内场景确定子模块，用于确定待扫描的室内场景；
点云数据确定子模块，用于通过激光设备对所述室内场景进行点云扫描处理，得到所述点云数据；或，通过相机设备对所述室内场景进行图像拍摄，得到室内场景图像，并基于所述室内场景图像息进行配准重建，得到所述点云数据。
需要说明的是，本申请实施例提供的三维室内场景补全装置可执行本申请任意实施例所提供的三维室内场景补全方法，具备执行三维室内场景补全方法相应的功能和有益效果。
在具体实现中，上述三维室内场景补全装置可以集成在电子设备中，使得该设备可以获取到的室内场景的点云数据进行修复补全，得到目标补全场景信息，以作为电子设备，实现对缺失的点云数据进行修复补全。该设备可以是由两个或多个物理实体构成，也可以是一个物理实体构成，如电子设备可以是个人计算机(Personal Computer，PC)、电脑、服务器等，本申请实施例对此不作具体限制。
如图7所示，本申请实施例提供提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信；存储器113，用于存放计算机程序；处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的三维室内场景补全方法的步骤。示例性的，三维室内场景补全方法的步骤可以包括如下步骤：获取室内场景的点云数据；依据所述点云数据进行类别分割处理，得到所述室内场景对应的语义类别信息；根据所述语义类别信息进行实例分割处理，得到家具实例信息；依据所述家具实例信息进行点云形状修复补全处理，得到所述室内场景中各个家具实例对应的目标点云数据；依据所述目标点云数据进行场景融合处理，得到所述室内场景对应的目标补全场景信息。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的三维室内场景补全方法的步骤。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种三维室内场景补全方法，其特征在于，包括：
获取室内场景的点云数据；
依据所述点云数据进行类别分割处理，得到所述室内场景对应的语义类别信息；
根据所述语义类别信息进行实例分割处理，得到家具实例信息；
依据所述家具实例信息进行点云形状修复补全处理，得到所述室内场景中各个家具实例对应的目标点云数据；
依据所述目标点云数据进行场景融合处理，得到所述室内场景对应的目标补全场景信息。
2.根据权利要求1所述的方法，其特征在于，所述依据所述点云数据进行类别分割处理，得到所述室内场景对应的语义类别信息，包括：
基于所述室内场景对应的场景类别分割策略，对所述点云数据进行类别分割，得到所述室内场景对应的语义类别信息；或，
通过预先训练好的分割网络模型对所述点云数据进行类别分割，得到室内场景对应的语义类别信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述语义类别信息进行实例分割处理，得到家具实例信息，包括：
对所述语义类别信息进行点云聚类处理，得到语义类别组信息；
基于所述语义类别组信息进行实例分割，得到家具实例信息。
4.根据权利要求1所述的方法，其特征在于，所述依据所述家具实例信息进行点云形状修复补全处理，得到所述室内场景中各个家具实例对应的目标点云数据，包括：
基于所述家具实例信息确定目标输入矩阵信息；
依据所述目标输入矩阵信息进行矩阵变换处理，得到特征码字信息；
利用所述特征码字信息进行折叠转换处理，得到所述目标点云数据。
5.根据权利要求4所述的方法，其特征在于，所述依据所述目标输入矩阵信息进行矩阵变换处理，得到特征码字信息，包括：
将所述目标输入矩阵信息输入预先训练好的点云补全网络模型，所述目标输入矩阵信息包含所述家具实例信息的采样点坐标参数；
通过所述点云补全网络模型，对所述采样点坐标信息进行矩阵变换，得到所述特征码字信息。
6.根据权利要求4所述的方法，其特征在于，所述利用所述特征码字信息进行折叠转换处理，得到所述目标点云数据，包括：
获取所述家具实例信息对应的二维网格；
基于所述特征码字信息，采用所述二维网格进行折叠转换，得到所述目标点云数据。
7.根据权利要求1所述的方法，其特征在于，所述获取室内场景的点云数据，包括：
确定待扫描的室内场景；
通过激光设备对所述室内场景进行点云扫描处理，得到所述点云数据；或，
通过相机设备对所述室内场景进行图像拍摄，得到室内场景图像，并基于所述室内场景图像息进行配准重建，得到所述点云数据。
8.一种三维室内场景补全装置，其特征在于，包括：
点云数据获取模块，用于获取室内场景的点云数据；
类别分割模块，用于依据所述点云数据进行类别分割处理，得到所述室内场景对应的语义类别信息；
实例分割模块，用于根据所述语义类别信息进行实例分割处理，得到家具实例信息；
目标点云数据确定模块，用于依据所述家具实例信息进行点云形状修复补全处理，得到所述室内场景中各个家具实例对应的目标点云数据；
目标补全场景信息确定模块，用于依据所述目标点云数据进行场景融合处理，得到所述室内场景对应的目标补全场景信息。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的三维室内场景补全方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的三维室内场景补全方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211059232.5A CN115471641A (zh) | 2022-08-31 | 2022-08-31 | 一种三维室内场景补全方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211059232.5A CN115471641A (zh) | 2022-08-31 | 2022-08-31 | 一种三维室内场景补全方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115471641A true CN115471641A (zh) | 2022-12-13 |
Family
ID=84368997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211059232.5A Pending CN115471641A (zh) | 2022-08-31 | 2022-08-31 | 一种三维室内场景补全方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115471641A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116468892A (zh) * | 2023-04-24 | 2023-07-21 | 北京中科睿途科技有限公司 | 三维点云的语义分割方法、装置、电子设备和存储介质 |
| CN117807875A (zh) * | 2023-12-28 | 2024-04-02 | 上海强华实业股份有限公司 | 石英器件的三维数据逆向重建和尺寸测量系统及方法 |
-
2022
- 2022-08-31 CN CN202211059232.5A patent/CN115471641A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116468892A (zh) * | 2023-04-24 | 2023-07-21 | 北京中科睿途科技有限公司 | 三维点云的语义分割方法、装置、电子设备和存储介质 |
| CN117807875A (zh) * | 2023-12-28 | 2024-04-02 | 上海强华实业股份有限公司 | 石英器件的三维数据逆向重建和尺寸测量系统及方法 |
| CN117807875B (zh) * | 2023-12-28 | 2024-05-28 | 上海强华实业股份有限公司 | 石英器件的三维数据逆向重建和尺寸测量系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9940749B2 (en) | Method and system for generating three-dimensional garment model | |
| CN115471641A (zh) | 一种三维室内场景补全方法、装置、设备及存储介质 | |
| Mitra et al. | Structure-aware shape processing | |
| Shen et al. | Structure recovery by part assembly | |
| CN108053432B (zh) | 基于局部icp的室内稀疏点云场景的配准方法 | |
| JP7343963B2 (ja) | 画像を入力とする関数を学習するためのデータセット | |
| CN110223370B (zh) | 一种从单视点图片生成完整人体纹理贴图的方法 | |
| CN110033513A (zh) | 生成表示建筑的3d模型 | |
| CN107067473A (zh) | 对3d建模对象进行重构 | |
| CN105913492B (zh) | 一种rgbd图像中物体形状的补全方法 | |
| CN110827398A (zh) | 基于深度神经网络的室内三维点云自动语义分割算法 | |
| CN107680168B (zh) | 三维重建中基于平面拟合的网格简化方法 | |
| CN110176079B (zh) | 一种基于准共形映射的三维模型变形算法 | |
| CN105261062B (zh) | 一种人物分段建模方法 | |
| CN111199577A (zh) | 一种房屋虚拟装修方法 | |
| US20190362551A1 (en) | System and techniques for automated mesh retopology | |
| CN111028335B (zh) | 一种基于深度学习的点云数据的分块面片重建方法 | |
| JP2019091436A (ja) | ３ｄ配置のタイプに応じた２ｄ画像の分類 | |
| Chen et al. | Research on 3D reconstruction based on multiple views | |
| CN115512040A (zh) | 面向数字孪生的三维室内场景快速高精度重建方法及系统 | |
| Xiao et al. | Coupling point cloud completion and surface connectivity relation inference for 3D modeling of indoor building environments | |
| CN110379003A (zh) | 基于单张图像的三维头部重建方法 | |
| Golla et al. | Temporal upsampling of point cloud sequences by optimal transport for plant growth visualization | |
| Naritomi et al. | Hungry networks: 3d mesh reconstruction of a dish and a plate from a single dish image for estimating food volume | |
| Sahebdivani et al. | Deep learning based classification of color point cloud for 3D reconstruction of interior elements of buildings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |