CN115512040A - 面向数字孪生的三维室内场景快速高精度重建方法及系统 - Google Patents

面向数字孪生的三维室内场景快速高精度重建方法及系统 Download PDF

Info

Publication number
CN115512040A
CN115512040A CN202211035662.3A CN202211035662A CN115512040A CN 115512040 A CN115512040 A CN 115512040A CN 202211035662 A CN202211035662 A CN 202211035662A CN 115512040 A CN115512040 A CN 115512040A
Authority
CN
China
Prior art keywords
dimensional
point cloud
cloud data
semantic segmentation
indoor scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211035662.3A
Other languages
English (en)
Inventor
朱海峰
陈晓
房雨雨
秦昊
刘引
周校
张辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Academy of Defense Engineering of PLA Academy of Military Science
Original Assignee
National Academy of Defense Engineering of PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Academy of Defense Engineering of PLA Academy of Military Science filed Critical National Academy of Defense Engineering of PLA Academy of Military Science
Priority to CN202211035662.3A priority Critical patent/CN115512040A/zh
Publication of CN115512040A publication Critical patent/CN115512040A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明涉及数字孪生技术领域，解决了目前三维室内场景重建技术效率低、重建精度不够导致数字孪生应用体验较差的技术问题，尤其涉及一种面向数字孪生的三维室内场景快速高精度重建方法，该方法包括以下步骤：S1、获取室内场景的三维点云数据；S2、采用三维点云语义分割网络对室内场景的三维点云数据进行语义分割，以得到不同类别的实例对象点云数据；S3、采用零件语义分割网络对不同类别的实例对象点云数据进行零件级别的语义分割；S4、根据零件级别的语义分割结果定义描述符。本发明可以有效分析、提取三维场景的语义信息，并基于三维点云数据高精度重建三维场景空间拓扑，大大简化了场景数据存储及方便后续智能编辑与交互。

Description

面向数字孪生的三维室内场景快速高精度重建方法及系统
技术领域
本发明涉及数字孪生技术领域，尤其涉及一种面向数字孪生的三维室内场景快速高精度重建方法及系统。
背景技术
随着计算机和人工智能技术的迅速发展，数字孪生技术得到了学术界和工业界的广泛关注，并已渗透到生活的方方面面，如：虚拟手术、广告植入、智能家居、智能工厂等，具有巨大的潜在商业价值。其中，三维重建是整个数字孪生系统建立的基础，是实现数字孪生应用的关键技术支撑。近年来，在三维测量设备及深度学习技术的推动下，快速获取完整、高精度的三维场景数据越来越容易。
但是，如何高效地分析提取三维场景的语义信息，并基于三维点云数据快速、高精度重建三维场景空间拓扑，以简化场景数据存储及方便后续智能编辑与交互，仍是亟待解决的难题。
现有的三维场景重建方法主要可分为三类，分别是：基于几何基元的建模、基于模板库的建模、基于建模软件的手动建模。
基于几何基元的建模方法：主要是利用几何基元(如：平面、球体、圆柱、圆锥等)来表示三维测量数据。虽然可减少场景的数据量，但是该方法得到的三维模型不够精细，同时丢失了场景中蕴含的重要语义和结构信息。
基于模板库的建模方法：首先对三维测量数据进行语义分割，然后从数据库中检索类似的模型，并用匹配到的模型替换分割的点云。这种方法只是提供了一个与目标三维场景近似的语义表示，因此，很难得到与真实场景一致的重建结果。
基于建模软件手动建模方法：需要专业的建模人员基于三维测量数据重建三维场景。这种方法可以提供高精度的模型，但是建模效率极低，专业要求高。
因此针对现有三维室内场景重建技术效率低、重建精度不够导致数字孪生应用体验较差的问题，目前尚未提出有效的解决方案。
发明内容
针对现有技术的不足，本发明提供了一种面向数字孪生的三维室内场景快速高精度重建方法及系统，解决了目前三维室内场景重建技术效率低、重建精度不够导致数字孪生应用体验较差的技术问题，实现了基于三维点云数据的三维室内场景快速高精度重建，可直接服务于数字孪生应用。
为解决上述技术问题，本发明提供了如下技术方案：一种面向数字孪生的三维室内场景快速高精度重建方法，该方法包括以下步骤：
S1、获取室内场景的三维点云数据；
S2、采用三维点云语义分割网络对室内场景的三维点云数据进行语义分割，以得到不同类别的实例对象点云数据；
S3、采用零件语义分割网络对不同类别的实例对象点云数据进行零件级别的语义分割；
S4、根据零件级别的语义分割结果定义描述符；
S5、通过描述符的相似性在数据库中检索到最相似的三维网格模型；
S6、根据检索到的三维网格模型建立三维变形网络；
S7、通过三维变形网络将检索到的三维网格模型变形到与实际测量点云数据更加相符的状态；
S8、采用迭代最近点方法将所有变形后的三维网格模型放置到实际测量场景中，用于整个三维场景的快速高精度重建。
进一步地，在步骤S2中，三维点云语义分割网络为：在ScanNet数据集上训练好的多尺度特征融合的三维点云语义分割网络PointNet++，用于分割室内场景的三维点云数据而获得不同语义的实例对象点云数据。
进一步地，在步骤S3中，零件语义分割网络为：在ShapeNet数据集上训练好的多尺度特征融合的零件语义分割网络PointNet++，用于分割每一个由三维点云语义分割网络分割出来的实例对象点云数据，以获取不同语义的零件组成。
进一步地，在步骤S4中，根据零件级别的语义分割结果定义描述符，包括以下步骤：
S41、对任意一个不同类别的实例对象点云数据分割出来的零件组成，分别提取一个640维的形状描述子ESF；
S42、根据预定义顺序将所有零件的形状描述子ESF拼接形成该实例对象点云数据的全局描述子。
进一步地，在步骤S5中，通过描述符的相似性在数据库中检索到最相似的三维网格模型，包括以下步骤：
S51、确定任意一个不同类别的实例对象点云数据的第一全局描述子；
S52、获取ShapeNet数据库中每一个三维网格模型相对应的一个语义类别和一个第二全局描述子；
S53、比较第一全局描述子与相应语义类别下所有第二全局描述子的相似性，提取与第二全局描述子最相似的三维网格模型。
进一步地，在步骤S52中，包括以下步骤：
S521、通过最远点采样方法在三维网格模型表面采样获取若干个三维空间点；
S522、采用零件语义分割网络对由若干个三维空间点组成的点云数据进行零件级别的分割；
S523、根据零件语义分割结果计算由若干个三维空间点组成的点云数据的全局描述子，为三维网格模型对应的第二全局描述子。
进一步地，在步骤S53中，包括以下步骤：
S531、计算第一全局描述子与ShapeNet数据库中相应语义类别下所有第二全局描述子的欧式距离；
S532、提取距离最小的第二全局描述子对应的三维网格模型，即为与第一全局描述子对应的实例对象最相似的三维网格模型。
进一步地，在步骤S6中，包括以下步骤：
S61、确定三维变形网络的输入、输出；
S62、建立三维变形网络框架；
S63、对三维变形网络进行训练。
进一步地，在步骤S62中，包括以下步骤：
S621、采用一个两流暹罗层对点云数据进行特征编码；
S622、将特征编码进行重复拓展，并得出相应的第一特征解码层的输入和输出；
S623、将特征编码进行特征拼接后进行重复拓展，并得出相应的第二特征解码层的输入和输出。
本发明还提供了一种用于实现上述三维室内场景快速高精度重建方法的系统，该系统包括：
三维点云数据获取模块，用于获取室内场景的三维点云数据；
第一语义分割模块，用于采用三维点云语义分割网络对室内场景的三维点云数据进行语义分割，以得到不同类别的实例对象点云数据；
第二语义分割模块，用于采用零件语义分割网络对不同类别的实例对象点云数据进行零件级别的语义分割；
描述符定义模块，用于根据零件级别的语义分割结果定义描述符；
三维网格模型检索模块，用于通过描述符的相似性在数据库中检索到最相似的三维网格模型；
三维变形网络建立模块，用于根据检索到的三维网格模型建立三维变形网络；
变形模块，用于通过三维变形网络将检索到的三维网格模型变形到与实际测量点云数据更加相符的状态；
三维网格模型放置模块，用于采用迭代最近点方法将所有变形后的三维网格模型放置到实际测量场景中，用于整个三维场景的快速高精度重建。
借由上述技术方案，本发明提供了一种面向数字孪生的三维室内场景快速高精度重建方法及系统，至少具备以下有益效果：
1、本发明为数字孪生应用中的三维室内场景重建提供了快速高精度的解决方案，本发明所提供的三维室内场景快速高精度重建方法可以有效分析、提取三维场景的语义信息，并基于三维点云数据高精度重建三维场景空间拓扑，大大简化了场景数据存储及方便后续智能编辑与交互。
2、本发明解决了现有三维室内场景重建技术效率低、重建精度不够导致数字孪生应用体验较差的问题，实现了基于三维点云数据的三维室内场景快速高精度重建，可直接服务于数字孪生应用。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明三维室内场景快速高精度重建方法的流程图；
图2为本发明获取到的实际室内场景三维测量数据的示意图；
图3为本发明根据零件级别的语义分割结果定义描述符的流程图；
图4为本发明在数据库中检索到最相似的三维网格模型的流程图；
图5为本发明获取第二全局描述子流程图；
图6为本发明提取与第二全局描述子最相似三维网格模型的流程图；
图7为本发明建立三维变形网络的流程图；
图8为本发明建立三维变形网络框架的流程图；
图9为本发明三维变形网络框架的结构示意图；
图10为本发明三维室内场景重建结果的示意图；
图11为本发明三维室内场景快速高精度重建系统的原理框图。
图中：100、三维点云数据获取模块；200、第一语义分割模块；300、第二语义分割模块；400、描述符定义模块；500、三维网格模型检索模块；600、三维变形网络建立模块；700、变形模块；800、三维网格模型放置模块。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
请参照图1-图11，示出了根据本实施例的一种实施方式，本实施例所提供的三维室内场景快速高精度重建方法可以有效分析、提取三维场景的语义信息，并基于三维点云数据高精度重建三维场景空间拓扑，大大简化了场景数据存储及方便后续智能编辑与交互。
请参照图1，一种面向数字孪生的三维室内场景快速高精度重建方法，该方法包括以下步骤：
S1、获取室内场景的三维点云数据，采用三维激光扫描设备获得的室内场景的三维点云数据，三维激光扫描设备包括但不限于T-SCAN hawk三维扫描仪、全站仪、地面和机载激光扫描仪、无人机、移动测绘系统、快照图像，从手簿中采集到的视频，还有智能手机和生成表面和结构模型的CAD程序。
请参照图2，为获取到的实际室内场景内的三维测量数据，通过本实施例提出的方法，实现三维场景网格模型的快速高精度重建。
S2、采用三维点云语义分割网络对室内场景的三维点云数据进行语义分割，以得到不同类别的实例对象点云数据。
采用在ScanNet数据集上训练好的多尺度特征融合的三维点云语义分割网络PointNet++，分割室内场景三维点云数据，以获取不同语义的实例对象点云数据，如：墙壁、天花板、椅子、书桌、床、门、沙发等。
S3、采用零件语义分割网络对不同类别的实例对象点云数据进行零件级别的语义分割。
对于分割出来的不同类别的实例对象点云数据(如：餐桌、椅子、沙发等)，使用多尺度特征融合的零件语义分割网络实现对不同类别实例对象在零件级别的语义分割，包括：对每一个分割出来的实例对象点云数据，采用在ShapeNet数据集上训练好的多尺度特征融合的语义分割网络PointNet++，每一个由三维点云语义分割网络分割出来的实例对象点云数据，以获取不同语义的零件组成，如：椅子的点云数据可分割出椅背、椅垫、椅把手、椅脚等零件组成。
对于墙面、地面等点云数据，使用随机采样一致性算法(RANSAC)去拟合平面，对于其他实例对象点云数据，如：桌子、椅子、书柜等，使用多尺度特征融合的零件语义分割网络实现对不同类别实例对象在零件级别的语义分割。
S4、根据零件级别的语义分割结果定义描述符。
请参照图3，根据零件级别的语义分割结果定义描述符，包括以下步骤：
S41、对任意一个不同类别的实例对象点云数据分割出来的零件组成，分别提取一个640维的形状描述子ESF；
S42、根据预定义顺序将所有零件的形状描述子ESF拼接形成该实例对象点云数据的全局描述子。
对任意一个不同类别的实例对象点云数据分割出来的零件组成，比如：椅子，对于每个分割出来每个零件组成，分别提取一个640维的形状描述子ESF(Ensemble of shapeFunctions)，在根据事先定义好的顺序，将所有零件的描述子拼接形成该实例对象点云数据的全局描述子，比如：按照椅背、椅垫、椅把手、椅脚的顺序，可获得一个(640*4＝2560)维的全局描述子，如果没有椅把手，则在相应位置补充640维的零向量。
S5、通过描述符的相似性在数据库中检索到最相似的三维网格模型。
请参照图4，通过描述符的相似性在数据库中检索到最相似的三维网格模型，包括以下步骤：
S51、确定任意一个不同类别的实例对象点云数据的第一全局描述子；
S52、获取ShapeNet数据库中每一个三维网格模型相对应的一个语义类别和一个第二全局描述子；
S53、比较第一全局描述子与相应语义类别下所有第二全局描述子的相似性，提取与第二全局描述子最相似的三维网格模型。
请参照图5，在步骤S52中，包括以下步骤：
S521、通过最远点采样方法在三维网格模型表面采样获取若干个三维空间点；
S522、采用零件语义分割网络对由若干个三维空间点组成的点云数据进行零件级别的分割；
S523、根据零件语义分割结果计算由若干个三维空间点组成的点云数据的全局描述子，为三维网格模型对应的第二全局描述子。
请参照图6，在步骤S53中，包括以下步骤：
S531、计算第一全局描述子与ShapeNet数据库中相应语义类别下所有第二全局描述子的欧式距离；
S532、提取距离最小的第二全局描述子对应的三维网格模型，即为与第一全局描述子对应的实例对象最相似的三维网格模型。
对于任意一个不同类别的实例对象点云数据能够确定一个全局描述子，设为fi；对于ShapeNet数据库中的每一个三维网格模型，都对应一个语义类别和一个全局描述子，设为gj。
通过最远点采样方法在三维网格模型表面采样获取2048个三维空间点；采用零件语义分割网络对这些三维空间点组成的点云数据进行零件级别的分割；根据零件语义分割结果计算该点云数据的全局描述子，也即是该三维网格模型对应的全局描述子gj。
比较fi与相应语义类别下所有全局描述子gj的相似性，提取最相似的全局描述子gj所对应的三维网格模型。
通过计算fi与数据库中相应语义类别下所有全局描述子gj的欧式距离，找到距离最小的全局描述子gj对应的三维网格模型，即为与fi对应的实例对象最相似的三维网格模型。
S6、根据检索到的三维网格模型建立三维变形网络。
请参照图7，建立三维变形网络，包括以下步骤：
S61、确定三维变形网络的输入、输出。
三维变形网络的输入是由三个部分组成，分别是：任意一个通过零件语义分割网络分割出来的实例对象采样后的点云pi、在ShapeNet数据库中检索到的三维网格模型的采样点云Qi和一个固定的以坐标原点为球心，半径为1的球三维网格模型S。
其中，pi和Qi都是基于最远点采样方法得到的2048个三维空间点，S是包含64个顶点的球三维网格模型，其64个三维顶点坐标作为三维变形网络的输入。
三维变形网络的输出由两个部分组成，分别是：输入的三维网格模型的64个控制点的空间位置，以及将该三维网格模型变形到与输入的实例对象一致的64个控制点的位置。
S62、建立三维变形网络框架，请参照图9，为三维变形网络框架的结构示意图。
请参照图8，在步骤S62中，包括以下步骤：
S621、采用一个两流暹罗层对点云数据进行特征编码。
使用一个两流暹罗层π进行点云数据特征编码，将pi和Qi作为暹罗层的输入，可得到两个维度为256×1的特征编码，分别为
Figure BDA0003818816890000101
和
Figure BDA0003818816890000102
暹罗层是由3个一维卷积层和1个全连接层组成，其中三个一维卷积层的输出通道数分别是：64，128，256，每层卷积核大小为1，步长也为1；全连接层的输出通道数为256，前两个一维卷积层后的激活函数是ReLU，全连接层后面的激活函数是LeakyReLU。
S622、将特征编码进行重复拓展，并得出相应的第一特征解码层的输入和输出。
将特征编码
Figure BDA0003818816890000103
进行重复拓展，使得最终的维度是256×64，然后将其与S上的64个顶点坐标进行特征拼接，得到一个维度为259×64的特征张量，该特征张量将作为一个特征解码层Φ的输入。特征解码层Φ的输出是Qi的64个控制点的空间位置
Figure BDA0003818816890000104
特征解码层Φ是由3个一维卷积层组成，3个一维卷积层的输出通道数分别是：128，64，3，每层卷积核大小为1，步长也为1，前两个卷积层后的激活函数是LeakyReLU。
S623、将特征编码进行特征拼接后进行重复拓展，并得出相应的第二特征解码层的输入和输出。
将特征编码
Figure BDA0003818816890000111
和
Figure BDA0003818816890000112
进行特征拼接，得到一个维度为512×1的特征张量，然后进行重复拓展，使得最终的维度是512×64，然后将其与S上的64个顶点坐标进行特征拼接，得到一个维度为515×64的特征张量，该特征张量将作为一个特征解码层ψ的输入。
特征解码层ψ的输出是：将Qi变形到与pi一致的64个控制点的空间位置变化量
Figure BDA0003818816890000113
则对Qi变形后得到的三维网格模型的64个控制点空间位置为
Figure BDA0003818816890000114
特征解码层ψ是由3个一维卷积层组成，3个一维卷积层的输出通道数分别是：256，128，3，每层卷积核大小为1，步长也为1，前两个一维卷积层后的激活函数是LeakyReLU。
S63、对三维变形网络进行训练。
训练三维变形网络包括：确定三维变形网络的损失函数及优化器参数；
确定三维变形网络的损失函数，包括：通过建立三维变形网络框架得到的对Qi变形后三维网格模型的64个控制点空间位置
Figure BDA0003818816890000115
基于均值坐标方法MVC对Qi进行变形，得到变形后的三维网格模型Q* i；基于最远点采样方法，在Q* i上采样2048个采样点，得到点集SQ* i；计算pi与SQ* i的倒角距离d(pi,SQ* i)，即为三维变形网络的损失函数，如下述公式所示：
Figure BDA0003818816890000116
其中，数学符号|·|表示求点集的势；
确定三维变形网络的优化器参数，包括：选用Adam优化器进行三维网格模型参数更新，其中Adam优化器的学习率0.001，指数衰减率为(0.9,0.999)，稳定性参数为1e-5，迭代更新三维网格模型参数，直到三维网格模型的损失函数收敛为止。
S7、通过三维变形网络将检索到的三维网格模型变形到与实际测量点云数据更加相符的状态。
将训练好的三维变形网络用到实际检索到的三维网格模型上，以实现将检索到的三维网格模型变形到与实际测量点云数据更加相符的状态，包括：对每一个实例对象点云数据pi及其在数据库中检索到的三维网格模型的Qi，基于训练好的三维变形网络得到对Qi变形后三维网格模型的64个控制点空间位置
Figure BDA0003818816890000121
基于均值坐标方法MVC，对Qi进行变形，得到变形后的三维网格模型Q* i，变形后的三维网格模型Q* i更加逼近实际测量点云数据。
S8、采用迭代最近点方法将所有变形后的三维网格模型放置到实际测量场景中，用于整个三维场景的快速高精度重建。
使用迭代最近点方法(ICP)，将所有变形后的三维网格模型放置到实际测量场景中，最终实现整个三维场景的快速高精度重建，包括：对每一个实例对象点云数据pi及其对应的三维网格模型Q* i，使用迭代最近点方法(ICP)，计算将Q* i刚性变换到与pi对齐时的旋转矩阵R及平移向量t；通过(Q* i+t)，将Q* i放置到实际测量场景中，最终实现整个三维场景的快速高精度重建。
在上述实施方式中，为数字孪生应用中的三维室内场景重建提供了快速高精度的解决方案。请参照图10，为本施例的三维室内场景重建结果示意图，上述方法可以有效分析、提取三维场景的语义信息，并基于三维点云数据高精度重建三维场景空间拓扑，大大简化了场景数据存储及方便后续智能编辑与交互。
请参照图11，本实施例还提供了一种用于实现上述三维室内场景快速高精度重建方法的系统，包括：
三维点云数据获取模块100，用于获取室内场景的三维点云数据；
第一语义分割模块200，用于采用三维点云语义分割网络对室内场景的三维点云数据进行语义分割，以得到不同类别的实例对象点云数据；
第二语义分割模块300，用于采用零件语义分割网络对不同类别的实例对象点云数据进行零件级别的语义分割；
描述符定义模块400，用于根据零件级别的语义分割结果定义描述符；
三维网格模型检索模块500，用于通过描述符的相似性在数据库中检索到最相似的三维网格模型；
三维变形网络建立模块600，用于根据检索到的三维网格模型建立三维变形网络；
变形模块700，用于通过三维变形网络将检索到的三维网格模型变形到与实际测量点云数据更加相符的状态；
三维网格模型放置模块800，用于采用迭代最近点方法将所有变形后的三维网格模型放置到实际测量场景中，用于整个三维场景的快速高精度重建。
本发明解决了现有三维室内场景重建技术效率低、重建精度不够导致数字孪生应用体验较差的问题，实现了基于三维点云数据的三维室内场景快速高精度重建，可直接服务于数字孪生应用。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同或相似的部分互相参见即可。对于以上各实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种面向数字孪生的三维室内场景快速高精度重建方法，其特征在于，该方法包括以下步骤：
S1、获取室内场景的三维点云数据；
S2、采用三维点云语义分割网络对室内场景的三维点云数据进行语义分割，以得到不同类别的实例对象点云数据；
S3、采用零件语义分割网络对不同类别的实例对象点云数据进行零件级别的语义分割；
S4、根据零件级别的语义分割结果定义描述符；
S5、通过描述符的相似性在数据库中检索到最相似的三维网格模型；
S6、根据检索到的三维网格模型建立三维变形网络；
S7、通过三维变形网络将检索到的三维网格模型变形到与实际测量点云数据更加相符的状态；
S8、采用迭代最近点方法将所有变形后的三维网格模型放置到实际测量场景中，用于整个三维场景的快速高精度重建。
2.根据权利要求1所述的三维室内场景快速高精度重建方法，其特征在于：在步骤S2中，三维点云语义分割网络为：在ScanNet数据集上训练好的多尺度特征融合的三维点云语义分割网络PointNet++，用于分割室内场景的三维点云数据而获得不同语义的实例对象点云数据。
3.根据权利要求1所述的三维室内场景快速高精度重建方法，其特征在于：在步骤S3中，零件语义分割网络为：在ShapeNet数据集上训练好的多尺度特征融合的零件语义分割网络PointNet++，用于分割每一个由三维点云语义分割网络分割出来的实例对象点云数据，以获取不同语义的零件组成。
4.根据权利要求1所述的三维室内场景快速高精度重建方法，其特征在于：在步骤S4中，根据零件级别的语义分割结果定义描述符，包括以下步骤：
S41、对任意一个不同类别的实例对象点云数据分割出来的零件组成，分别提取一个640维的形状描述子ESF；
S42、根据预定义顺序将所有零件的形状描述子ESF拼接形成该实例对象点云数据的全局描述子。
5.根据权利要求1所述的三维室内场景快速高精度重建方法，其特征在于：在步骤S5中，通过描述符的相似性在数据库中检索到最相似的三维网格模型，包括以下步骤：
S51、确定任意一个不同类别的实例对象点云数据的第一全局描述子；
S52、获取ShapeNet数据库中每一个三维网格模型相对应的一个语义类别和一个第二全局描述子；
S53、比较第一全局描述子与相应语义类别下所有第二全局描述子的相似性，提取与第二全局描述子最相似的三维网格模型。
6.根据权利要求5所述的三维室内场景快速高精度重建方法，其特征在于：在步骤S52中，获取第二全局描述子包括以下步骤：
S521、通过最远点采样方法在三维网格模型表面采样获取若干个三维空间点；
S522、采用零件语义分割网络对由若干个三维空间点组成的点云数据进行零件级别的分割；
S523、根据零件语义分割结果计算由若干个三维空间点组成的点云数据的全局描述子，为三维网格模型对应的第二全局描述子。
7.根据权利要求5所述的三维室内场景快速高精度重建方法，其特征在于：在步骤S53中，提取与第二全局描述子最相似的三维网格模型，包括以下步骤：
S531、计算第一全局描述子与ShapeNet数据库中相应语义类别下所有第二全局描述子的欧式距离；
S532、提取距离最小的第二全局描述子对应的三维网格模型，即为与第一全局描述子对应的实例对象最相似的三维网格模型。
8.根据权利要求1所述的三维室内场景快速高精度重建方法，其特征在于：在步骤S6中，建立三维变形网络包括以下步骤：
S61、确定三维变形网络的输入、输出；
S62、建立三维变形网络框架；
S63、对三维变形网络进行训练。
9.根据权利要求8所述的三维室内场景快速高精度重建方法，其特征在于：在步骤S62中，建立三维变形网络框架包括以下步骤：
S621、采用一个两流暹罗层对点云数据进行特征编码；
S622、将特征编码进行重复拓展，并得出相应的第一特征解码层的输入和输出；
S623、将特征编码进行特征拼接后进行重复拓展，并得出相应的第二特征解码层的输入和输出。
10.一种用于实现上述权利要求1-9任一项所述的三维室内场景快速高精度重建方法的系统，其特征在于，包括：
三维点云数据获取模块(100)，用于获取室内场景的三维点云数据；
第一语义分割模块(200)，用于采用三维点云语义分割网络对室内场景的三维点云数据进行语义分割，以得到不同类别的实例对象点云数据；
第二语义分割模块(300)，用于采用零件语义分割网络对不同类别的实例对象点云数据进行零件级别的语义分割；
描述符定义模块(400)，用于根据零件级别的语义分割结果定义描述符；
三维网格模型检索模块(500)，用于通过描述符的相似性在数据库中检索到最相似的三维网格模型；
三维变形网络建立模块(600)，用于根据检索到的三维网格模型建立三维变形网络；
变形模块(700)，用于通过三维变形网络将检索到的三维网格模型变形到与实际测量点云数据更加相符的状态；
三维网格模型放置模块(800)，用于采用迭代最近点方法将所有变形后的三维网格模型放置到实际测量场景中，用于整个三维场景的快速高精度重建。
CN202211035662.3A 2022-08-26 2022-08-26 面向数字孪生的三维室内场景快速高精度重建方法及系统 Pending CN115512040A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211035662.3A CN115512040A (zh) 2022-08-26 2022-08-26 面向数字孪生的三维室内场景快速高精度重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211035662.3A CN115512040A (zh) 2022-08-26 2022-08-26 面向数字孪生的三维室内场景快速高精度重建方法及系统

Publications (1)

Publication Number Publication Date
CN115512040A true CN115512040A (zh) 2022-12-23

Family

ID=84501077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211035662.3A Pending CN115512040A (zh) 2022-08-26 2022-08-26 面向数字孪生的三维室内场景快速高精度重建方法及系统

Country Status (1)

Country Link
CN (1) CN115512040A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808987A (zh) * 2024-02-28 2024-04-02 苏州元脑智能科技有限公司 室内场景三维重建方法、装置、电子设备及存储介质
CN117808987B (zh) * 2024-02-28 2024-05-14 苏州元脑智能科技有限公司 室内场景三维重建方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808987A (zh) * 2024-02-28 2024-04-02 苏州元脑智能科技有限公司 室内场景三维重建方法、装置、电子设备及存储介质
CN117808987B (zh) * 2024-02-28 2024-05-14 苏州元脑智能科技有限公司 室内场景三维重建方法、装置、电子设备及存储介质
CN117911662B (zh) * 2024-03-20 2024-05-14 南京航空航天大学 基于深度霍夫投票的数字孪生场景语义分割方法及系统

Similar Documents

Publication Publication Date Title
JP7464387B2 (ja) ３ｄモデル化オブジェクト推定のための機械学習
CN113158288B (zh) 一种基于构件复用与重装配的信息模型几何轻量化方法
CN111008422B (zh) 一种建筑物实景地图制作方法及系统
US7171060B2 (en) Method of perceptual 3D shape description and method and apparatus for searching 3D graphics model database using the description method
JP2020115337A (ja) ニューラルネットワークのセット
CN110019914B (zh) 一种支持三维场景交互的三维模型数据库检索方法
Sarkar et al. Learning quadrangulated patches for 3d shape parameterization and completion
CN110889893B (zh) 表达几何细节和复杂拓扑的三维模型表示方法和系统
CN116958453B (zh) 基于神经辐射场的三维模型重建方法、设备和介质
CN112509102A (zh) Bim模型数据的轻量可视化方法
CN111583408B (zh) 基于手绘草图的人体三维建模系统
CN113269870A (zh) 一种基于三维剖分网格的多分辨率数字地形集成方法
CN111028335A (zh) 一种基于深度学习的点云数据的分块面片重建方法
Kamra et al. Lightweight reconstruction of urban buildings: Data structures, algorithms, and future directions
EP1429264B1 (en) Method of perceptual 3D shape description and method and apparatus for searching 3D graphics model database using the description method
Kazmi et al. Efficient sketch‐based creation of detailed character models through data‐driven mesh deformations
CN115512040A (zh) 面向数字孪生的三维室内场景快速高精度重建方法及系统
CN115775300A (zh) 人体模型的重建方法、人体重建模型的训练方法及装置
Mateo et al. Hierarchical, Dense and Dynamic 3D Reconstruction Based on VDB Data Structure for Robotic Manipulation Tasks
Sani et al. IFC to CityGML Conversion Algorithm Based on Geometry and Semantic Mapping
Dhibi et al. Multi‐mother wavelet neural network‐based on genetic algorithm and multiresolution analysis for fast 3D mesh deformation
Smith 3D data representation, storage and processing
Yang et al. Unsupervised co-segmentation of 3d shapes based on components
CN109801367A (zh) 一种基于压缩流形模式的网格模型特征编辑方法
CN117132736B (zh) 一种基于元宇宙的体育场馆建模方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination