CN112734913B - 一种基于多阶段变形重构的三维模型球表达计算方法 - Google Patents
一种基于多阶段变形重构的三维模型球表达计算方法 Download PDFInfo
- Publication number
- CN112734913B CN112734913B CN202110043355.9A CN202110043355A CN112734913B CN 112734913 B CN112734913 B CN 112734913B CN 202110043355 A CN202110043355 A CN 202110043355A CN 112734913 B CN112734913 B CN 112734913B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- model
- deformation
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000005070 sampling Methods 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims 1
- 238000012512 characterization method Methods 0.000 abstract description 7
- 238000002372 labelling Methods 0.000 abstract description 3
- 238000012952 Resampling Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
- Multimedia (AREA)
Abstract
本公开的实施例公开了一种三维模型球表达计算方法。该方法的一具体实施方式包括:将输入的三维模型处理成稠密点云模型,并进行多分辨率点云抽象预处理;将稠密点云模型输入多级特征提取模块,进行点云下采样并提取不同抽象层级的高维特征向量;将高维特征向量、模板球点云和抽象预处理点云模型输入至点云变形重构模块,得到变形重构点云模型;提取步骤3中多阶段变形重构过程信息,将多阶段变形重构过程信息与模板球点云共同组成描述该三维模型的完备信息;基于三维模型球表达,得到三维模型到模板球点云的稠密对应关系和不同三维模型之间的稠密对应关系。该实施方式不需要耗时耗力的人工标注,提高了表征学习的效率。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及三维模型球表达计算方法。
背景技术
在三维计算机图形学领域,由粗到细的方法被广泛应用,包括三维形状重建、形状生成、类别识别、语义分割等等。然而如何从由粗到细的形状生成过程中,学习并提取通用目的的三维形状表达,仍处在较为初步的阶段。
在解决三维形状的类别识别与语义分割问题时,很多方法使用由粗到细的方式提取并融合多尺度特征,来增强特征编码的描述能力。在解决三维形状重构和生成问题时,通过由粗到细的方式,在生成过程中能够逐步添加形状细节,由此,原问题能够分解并简化为多个子问题。最近的方法通常将不同尺度的特征聚合为一个综合特征来解决特定任务,他们是任务驱动的方法。
然而,当采用上述方式进行学习并提取通用目的的三维形状表达,经常会存在如下技术问题:
任务驱动的学习通常需要耗费大量人力进行标注,如物体类别标签、逐点的部件语义标签、稠密对应关系等。这种知识的赋予速度远远不及如今互联网数据的快速增长。另外,任务驱动的方法除了对数据标注高度依赖,学习到的特征叶通常高度局限于特定的任务,降低了所学特征的普适性。在这个大数据激增的时代背景下,半监督、自监督、无监督的通用目的表征学习方法受到广泛重视,一是能够减少学习成本,二是学习到的表征能够进一步被用于多种应用。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了三维模型球表达方法,来解决以上背景技术部分提到的技术问题中的一项或多项。
本公开的一些实施例提供了一种三维模型球表达方法,该方法包括:将输入的三维模型处理成表面稠密点云模型,并进行多分辨率点云抽象预处理;将稠密点云模型输入特征提取网络,逐步进行点云下采样并提取不同抽象层级的高维特征向量,得到高维特征向量;将高维特征向量,由粗到细,分别与点的数目小于第一预定阈值的重构结果一同输入点云变形重构模块,计算得到点的数目大于第二预定阈值的重构结果,重复该步骤直到完成最精细尺度的变形重构;将多阶段变形重构过程信息提取出来,与最初的模板球点云共同组成描述该三维形状的完备信息,我们定义为该形状的三维球表达;将三维模型球表达作为基础,能够得到物体到模板球点云的稠密对应关系,与物体之间的稠密对应关系,适用于多种三维几何解析与编辑应用。
本公开的上述各个实施例具有如下有益效果:提出一种通用目的的三维表征计算方法。该表征称为三维模型球表达,是通过对三维形状的模版变形重构过程进行编码实现的。在模型从模版球点云逐步细化为具有特定功能与特征的形状时,物体的类别、风格等属性也是逐步显现的,故提出一种三维模型球表达计算方法。在三维模型球表达中,模型形状被建模为从模板球点云的一系列变形。因此,基于模板球点云,该表达在不同模型之间建立了联系。这种对应关系是三维模型球表达的泛用性的基础。为了学习该表达,提出了由粗到细的基于变形重构的自编码框架。也提出了一些使用该表达的应用示例。与现有技术相比,优点在于:三维模型球表达可通过一个无监督自重构框架学习得到,不需要耗时耗力的人工标注,提高了表征学习的效率。在表征学习时,多尺度特征分别作为不同重建阶段的指引条件起作用,而非被直接聚合为一个隐向量来解决高层三维感知任务。这使得该表征编码了各个重建阶段的知识,并方便对不同尺度的特征进行进一步研究。用于学习该表征的模板变形框架自然地提供了模板与重建模型的点对点对应关系。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1是本发明中的数据处理的流程图;
图2是本发明中的多分辨率点云数据生成的应用场景的示意图;
图3是本发明中的三维模型球表达计算流程图;
图4是本发明中多阶段变形重构的应用场景的示意图;
图5是本发明中的三维模型球表达在形状属性定位的应用场景的示意图;
图6是本发明中的三维模型球表达在三维共编辑的应用场景的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
下面将参考附图并结合实施例来详细说明本公开。
按照点云数据准备,三维模型球表达计算,表达应用场景示例的顺序进行介绍。这三者具有顺序依赖关系,点云数据准备将点云处理成多分辨率的重建目标,指导三维模型球表达的计算;在得到球表达后,可以用来进行三维编辑等应用。
一、点云数据准备
如图1所示,步骤如下:
首先输入三维形状的表面点云,按照指定的采样点数目,对点云进行最远点采样,得到下采样后的点云。然后根据每个采样点为中心,按照高斯分布增加点云,使点云中包含点的数目达到下采样之前的同样数目,完成点云下采样及重散布。表面稠密点云模型是表面点的数目大于预定数目的点云。
图2是一个多分辨率点云数据生成的示例,可以看出输入点云有4096个点,经过下采样后分别得到16、64、256、1024个点的不同分辨率的点云;经过高斯重散布之后,以采样点为中心插入了若干点云,最终得到和输入点云等势的4096个点组成的点集。其中,高斯重散布可以是最左边那个16个点的模型,它描述的是模型整体的形状,表示抽象的模型椅子。右边采样点多的,能描述更多局部细节,是具体的模型。重散布是把下采样后的稀疏点的点数目增加,让不同抽象层级的点云模型具有相同的点数。以每个采样点为中心。按照高斯分布随机插入新的点,最终得到重散布后的模型,具有和原模型相同的点数。抽象预处理点云模型可以是同一空间参考系下表达目标空间分布和目标表面特性的海量点集合,在获取物体表面每个采样点的空间坐标后,进行预处理得到的是点的集合。
二、三维模型球表达计算
如图3所示,步骤如下:
要计算三维模型球表达,需要通过一个由粗到细的基于变形重构的自编码流程。首先输入三维模型点云,根据指定的最高抽象层级判断是否迭代进行点云特征提取与点云下采样,提取到的各阶段高维深度学习特征被保留用于接下来的重构阶段;当完成最高抽象层级的特征提取后,进入到点云变形重构阶段。首先输入三维模板球点云,在最粗糙尺度的深度学习特征指导下进行逐点变形偏移量的预测,叠加得到该尺度的重构点云,重构目标由点云数据准备阶段生成得到;在未达到最精细层级的重构结果时,重复点云重构过程,最终得到精细的重构形状。
将由粗到细的基于变形重构的自编码流程中的输入模板球点云,第K个抽象层级的逐点偏移量,与特征提取阶段的高维深度学习特征组成一个集合,完成该模型的三维模型球表达。
三、应用示例
三维模型球表达建立模型间稠密对应关系的前提是,三维模型要先进行预对齐,即具有一致的三维朝向和尺度,这可以利用现有模型对齐方法得到。
如图5所示,三种不同椅子普通直背椅,扶手椅,和转椅之间通过球表达建立了逐点的稠密对应关系。我们首先将重构后的模型输入一个分类器网络中,在完成分类后,找到对相应类别相应最高的特征图通道,再将特征图可视化映射到输入点云,即得到了图4中所示的“类别决定区域”,高亮的区域可以是两个类别间最明显的差异部分。如第一行第二列,可见直背椅与扶手椅的差异在扶手位置(有无扶手);第一行第三列,普通直背椅与旋转椅的差异就在于腿部的形状。相似的观察可在其他格子处得到。这种物体属性区域定位,对很多应用很有帮助。比如在形状风格分析任务重,可以由此定位到决定风格的是形状的哪一部分,进而可以对其进行针对性编辑。
如图6所示,定位到普通直背椅与扶手椅的差异区域后,我们可以保持其他区域不变,仅通过编辑该区域实现多个模型的共编辑。每个格子中,左侧是变形前的普通直背椅,右侧是通过编辑高亮区域得到的扶手椅,保持了左侧直背椅的其他特征,仅添加了扶手。多个椅子的相关区域被通过球表达的稠密对应定位出来,可以同时进行变形操作。这种共编辑对虚拟现实场景构建、丰富模型库、三维形状设计等具有很大意义。
接下来分别对本发明的概念定义、计算方法、数据处理进行详细说明。
一、三维模型球表达的定义
这是一种新型的三维形状表达方式,特点在于显式编码了由粗到细的多阶段变形重构过程。该表达具有如下特点:
(1)模型形状均由统一模板变形而来,故可轻易得到模型间点对点对应关系。
(2)点云数据具有高适应性,因没有编码拓扑连接关系,故模板有能力拟合复杂拓扑结构的模型。
(3)通过三维模型球表达,能够建模层级、渐进的形状生成过程,为许多高层图形应用提供裨益。
点云模型是指三维模型的表面点云,在三维模型的表面进行点的采样,用一系列三维点来表述这个模型。如图二所示,稠密点云模型是指点云的采样频率高,这里指4096个点。模板球点云是抽象层级k=K的点云模型,是初始的模型。
在三维模型球表达中,一个三维形状S被建模为一个模板球点云TK及其从模板到三维形状表面的多阶段逐点偏移Dk的加和,其中,三维模型球为:
其中,S表示三维模型球。TK表示第k抽象层级的变形重构模型,也可以是模板球点云。Dk表示第k个抽象层级的变形重构逐点偏移量。k表示抽象等级序号。K表示抽象层级的个数。即三维模型通过球表达完备的表述。第k个抽象层级的高维特征向量zk可用来丰富该阶段的模型描述。注意球表达所需三维点云仅关注三维点位置信息,不包含点颜色等信息。但高维特征向量zk可扩展包含除了空间位置外的其他附加信息,具有良好的可扩展性。S={pi|pi∈R3,i∈{1,...,n}}是由n个三维点组成的点云模型。其中,S表示三维模型球。pi表示点云模型中的任意点。T={pi|pi∈R3,i∈{1,...,n}}是由n个三维点组成的模板球点云。其中,T表示模板球点云。D:={Dk|k∈{1,...,K}}是抽象层级的逐点偏移量的集合。其中,Dk表示第k个抽象层级的变形重构逐点偏移量。是从k+1(粗糙)到k(精细)层级的变形偏移量,与TK逐点对应。其中,表示点云模型中第i个点在第k个抽象层级的变形重构逐点偏移量。
变形重构逐点偏移量可以是根据变形重构模型根据高维特征向量所移动的距离。
考虑到不同三维点云通常具有不同的点序,故上述等式不具有一般性。故我们进一步将三维形状、模板球点云、逐点偏移的关系建模为:
其中,R表示三维形状和模板球点云的关系模型。S表示三维模型球。TK表示第k抽象层级的变形重构模型。也可以是模板球点云。Dk表示第k个抽象层级的变形重构逐点偏移量。k表示抽象等级序号。K表示抽象层级的个数。
这个目标函数对多阶段偏移量进行优化,最小化原三维形状与重建形状之间的距离,是等式定义的等价近似表述。故三维模型球可以通过模版点云球与多阶段逐点偏移量完备表述,我们将三维模型球表达定义如下:
S:={TK,Dk,zk|k∈{1,…,K}}。
其中,S:表示三维模型球表达。k表示抽象等级序号。TK表示第k抽象层级的变形重构模型,也可以是模板球点云。Dk表示第k个抽象层级的变形重构逐点偏移量。zk表示第k个抽象层级的高维特征向量。
附加特征是为了丰富形状描述,可以是点云颜色、法向,甚至是特征提取过程中的高维隐向量。
二、三维模型球表达计算方法
(1)计算流程
为了计算三维形状的球表达,我们设计了一种由粗到细的基于变形重构的CFDAE(Coarse-to-Fine Deformation-based Auto-Encoder,自编码流程),来无监督地学习该通用目的的三维表达。
首先,将一个抽象预处理点云模型输入算法进行多尺度特征提取,可以得到不同抽象层级的高维特征向量。将输入的信号经过非线性映射(多层感知机),到特征空间,用一个256维的特征向量表示这个模型,这个256维的特征向量可以是高维的特征向量。在此步骤,不同抽象层级的特征经过点集抽象与非线性神经网络来提取,在这里,我们使用PointNet++网络的相应模块进行这个任务(这仅为本发明步骤的一个代表性实例,一句本发明技术方案所做的任何等效变换,均应属于本发明的保护范围)。其中,PointNet++是对点云进行局部划分,并进行局部特征提取,得到一个全局的点云特征。PointNet++解决了如何处理采样不均匀的问题,也考虑了空间中点与点之间的距离度量,通过层级结构利用局部区域信息学习特征,网络结构更有效更鲁棒。特征提取的过程是一个由抽象程度逐渐提升的过程,即一个由细到粗的过程;而多阶段变形重构步骤是一个逐渐丰富几何细节的由粗到细的过程。点云变形重构模块是将输入点云进行逐点偏移,得到变形后的点云,如图1所示。输入是:上以抽象层次(较粗糙)的三维点云,以及当前抽象层次(较精细)的高维特征;输出是对应每一个点的偏移量,叠加到输入三维点云上,就能得到变形后的点云。
最高层级抽象特征与模板球点云共同输入点云重构模块。经过多层非线性神经网络映射为逐点的三维偏移量组成的偏移场,进而叠加到输入粗糙点云上,得到该阶段的更加细致层级的点云重建结果。重复上述重构步骤,直到获得最精细层级的点云重建结果。特征提取网络用于提取高维特征向量。高维特征向量可以是256维的向量。
上述CFDAE流程的主要变量记计算步骤可被表述为:
其中,f()表示特征提取函数。g()表示点云重构函数。函数f()表示特征提取网络,输入低抽象层次的深度学习特征与当前抽象层次的下采样点云,输出当前抽象层次的深度学习特征。函数g()是点云重构网络,输入当前尺度的深度学习特征,与相邻的重构点云,输出逐点偏移变形场(较精细尺度)。k表示抽象等级序号,k∈[1,K]。k值越大,抽象层级越高,表示的形状越粗糙。特别地,记k=0时为最精细尺度。Sk表示第k个抽象层级的抽象预处理点云模型。T0为最精细级别的重构点云。记k=K时为最粗糙尺度。Tk为最粗糙级别的重构点云,即未经变形的输入模板。zk表示第k个抽象层级的高维特征向量。zk-1表示第k-1个抽象层级的高维特征向量。Tk是第k个抽象层级的变形重构模型。Tk+1是第k+1层级的变形重构模型。Dk表示第k个抽象层级的变形重构逐点偏移量。对任意抽象层级k。表示S0下采样K次得到的下采样点云模板。重构点云Tk是重构点云Tk+1与逐点偏移变形场Dk的叠加。通过此流程,即可得到三维模型球表达:
S:={TK,Dk,zk|k∈{1,…,K}}。
其中,S:表示三维模型球表达。k表示抽象等级序号。TK表示第k抽象层级的变形重构模型,也可以是模板球点云。Dk表示第k个抽象层级的变形重构逐点偏移量。zk表示第k个抽象层级的高维特征向量。
(2)目标约束条件
通过上述计算流程,能够在由粗到细的多阶段变形重构过程中提取三维模型球表达。而为了完成三维形状的重构任务,需要相应的约束条件,具体为:
(2.1)多阶段形状相似性约束条件,用于在多阶段变形重构过程中,要保持各个阶段的重构结果与该阶段重构目标相似。这是形状重构的基本目标,而这里我们要增加考虑多阶段重构。
点集距离有CD(Chamfer Distance,倒角距离)和EMD(Earth Mover's Distance,推土机距离),这里采用CD来衡量两个点云之间的差异,在尺度k的形状相似性约束条件为:
其中,k表示抽象等级序号。LCD(k)表示第k个变形阶段Sk与Tk的CD。Sk表示第k抽象层级的预处理重采样模型。Tk是第k抽象层级的变形重构模型。pi表示点云模型Sk中的点。qj表示是点云模型Tk中的点。
上式计算两个点集之间的距离,具体计算方式为,对于集合Sk中的任意点,计算上述任意点与上述任意点在集合Tk中的对应点的距离平方。该度量具有对称性,且处处可微。
多阶段的形状相似性约束条件可以写为:
其中,L1(k)表示在K个变形阶段中,预处理重采样模型与变形重构模型的CD之和。k表示抽象等级序号。K表示抽象层级的个数。LCD(k)表示第k个变形阶段,即Sk与Tk的CD。
(2.2)点集变形拓扑一致性约束条件,用于在多阶段变形重构过程中,保持步骤3的相邻点的变形偏移相似,作为变形正则项约束。该约束鼓励模版中的相邻点在变形后仍相近,惩罚同一局部邻域的点被分散到很远的位置。
对于任意相邻变形阶段(由粗到细),首先计算模版中的点到点欧氏距离,由此构造惩罚系数,Tk中的i与j两点相距越远,惩罚系数越小。则该点集变形拓扑一致性约束条件公式为:
其中,i表示序号。j表示序号。ωi,j表示惩罚系数。pi表示Tk中的第i个点。pj表示Tk中的第j个点。
其中,k表示抽象等级序号。Lreg(k)表示第k个抽象层级的正则项约束。ωi,j表示惩罚系数。i表示序号。j表示序号。dk(i)表示Tk中第i个点的预测偏移量。dk(j)表示Tk中第j个点的预测偏移量。
多阶段的点集变形拓扑一致性约束条件可以写为:
其中,L2(k)表示多阶抽象层级的正则项约束。k表示抽象等级序号。K表示抽象层级的个数。Lreg(k)表示第k个抽象层级的正则项约束。
(3)具体实施例
基于三维模型球表达建立的模型间稠密对应关系,需要一个集合的模型先行对齐,及统一朝向。
细粒度分类类别定义区域定位。将一个集合中的物体,进行细粒度分类,如椅子集合中,又可细分为扶手椅、转椅等类别。通过对其进行球表达。利用球表达进行细粒度分类。即可定位出各细分类别之间最具有表征该类别能力的相关区域。
形状几何迁移与共编辑,利用球表达建立模型间的稠密对应。在对一个模型进行编辑时,能够将编辑操作传播到集合中其他模型的相关区域,实现三维模型的共编辑。
三、多分辨率点云预处理方法
多分辨率点云抽象预处理,是为了自动生成上述三维模型球表达计算流程中所需的多阶段形状重构目标,要求多阶段重构目标具有相匹配数量的点,并且能够描述由粗到细的不同阶段形状。
多分辨率点云与处理方法的步骤主要包括点云下采样与高斯重散布。
(1)点云下采样是为了将稠密点云处理成相对稀疏的点云,是对原模型的抽象化处理;对与一个点云模型(包含N个点),指定采样参数M<N,为采样点数目。下采样后,模型点数从N下降到M,其中M整除N,且要保证下采样后的模型尽可能覆盖原模型。
(2)高斯重散布是为了在抽象化的同时,保持不同分辨率的模型点集等势,以便在变形重构时提供更精确的监督指导。以每个采样点为中心,使用如高斯分布等概率分布函数散布N/K个点,如此即可保持整个点云模型仍由N个点组成。高斯重散布也是对点云分布概率的建模:以采样点为中心,越是接近该点,点存在的可能性越高。
经过上述步骤之后,得到的多分辨率点云具有如下性质:
其中,k表示抽象等级序号。K表示抽象层级的个数。Sk表示第k层级的预处理重采样模型。Sk+1表示第k+1层级的预处理重采样模型。上述等式表示不同阶段的多分辨率点云集合等势(具有相匹配数量的元素);
其中,k表示抽象等级序号。K表示抽象层级的个数。Sk表示第k层级的预处理重采样模型。Nk表示第k抽象层级下的采样点数目。
其中,k表示抽象等级序号。K表示抽象层级的个数。Sk表示第k层级的预处理重采样模型。Sk+1表示第k+1层级的预处理重采样模型。经过最远点采样与高斯重散布,低分辨率的粗糙重构目标点云能够覆盖高分辨率的精细点云,是同一形状的灯家描述,即第三个公式所表达的意思。其中k=0时,表示未经抽象的原始三维点云。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (4)
1.一种应用三维模型球表达的多阶段变形重构方法,包括:
步骤1、将输入的三维模型处理成稠密点云模型,并进行多分辨率点云抽象预处理,得到抽象预处理点云模型,其中,所述将输入的三维模型处理成稠密点云模型,并进行多分辨率点云抽象预处理,得到抽象预处理点云模型,包括:
步骤1.1、对所述三维模型进行点云下采样处理,以生成相对稀疏的点云模型;
步骤1.2、对所述相对稀疏的点云模型进行高斯重散布处理,以生成所述抽象预处理点云模型;
步骤2、将稠密点云模型输入特征提取模块,进行预定数目次点云下采样并提取不同抽象层级的高维特征向量,得到高维特征向量集合;
步骤3、将高维特征向量、模板球点云和抽象预处理点云模型输入至点云变形重构模块,生成重构点云模型,重复预定数目次步骤3,得到变形重构点云模型,其中,所述点云变形重构模块是将每次的输入点云进行逐点偏移,得到变形后的点云,所述点云变形重构模块的输入是上一抽象层级的三维点云,以及当前抽象层级的高维特征向量,输出是对应每一个输入点云的变形重构逐点偏移量叠加到输入点云后,得到的变形后的点云,所述将高维特征向量、模板球点云和抽象预处理点云模型输入至点云变形重构模块,生成重构点云模型,重复预定数目次步骤3,得到变形重构点云模型,包括:
步骤3.1、将抽象预处理点云模型输入至点云变形重构模块;
步骤3.2、基于所述模板球点云和所述高维特征向量,通过深度神经网络预测逐点的变形偏移量,进而输出变形后的重构点云模型,得到变形重构点云模型,其中,在变形重构优化过程中,包含两个目标约束条件,所述目标约束条件包括多阶段形状相似性约束条件和点集变形拓扑一致性约束条件,所述多阶段形状相似性约束条件是用于在多阶段变形重构过程中,保持各个阶段的重构结果与预处理的多分辨率点云抽象预处理结果的约束,所述点集变形拓扑一致性约束条件是用于在多阶段变形重构过程中,保持步骤3中相邻点的变形偏移相似的约束,作为变形正则项约束;
步骤4、提取步骤3中多阶段的变形重构过程信息,将多阶段的变形重构过程信息与模板球点云共同组成描述该三维模型的完备信息,得到三维模型球表达,其中,所述多阶段的变形重构过程信息是重复预定数目次步骤3所生成的变形重构过程信息,变形重构过程信息包括变形重构逐点偏移量和高维特征向量;
步骤5、基于三维模型球表达,得到三维模型到模板球点云的稠密对应关系和不同三维模型之间的稠密对应关系,其中,稠密对应关系适用于多种三维几何解析与编辑应用。
2.根据权利要求1所述的方法,其中,对于任意变形阶段,利用倒角距离CD度量重构点云与目标点云的相似程度,点集距离为CD,形状相似性约束条件为:
其中,k表示抽象等级序号,LCD(k)表示第k个变形阶段Sk与Tk的CD,Sk表示第k抽象层级的抽象预处理点云模型,Tk是第k抽象层级的变形重构模型,pi表示点云模型Sk中的点,qj表示是点云模型Tk中的点;
上式计算两个点集之间的距离,具体计算方式为,对于集合Sk中的任意点,计算所述任意点与所述任意点在集合Tk中的最近点的距离平方,该度量具有对称性;
多阶段的形状相似性约束条件为:
其中,L1(k)表示在k个变形阶段中,抽象预处理点云模型与变形重构点云模型中的CD之和,k表示抽象层级序号,K表示抽象层级的个数,LCD(k)表示第k个变形阶段,即Sk与Tk的CD。
3.根据权利要求2所述的方法,其中,在多阶段变型重构的过程中,相邻点的变形偏移量具有一致性,对于任意相邻变形阶段,首先计算模版中的点到点欧氏距离,由此构造惩罚系数ωi,j,满足i与j两点之间的距离越远,惩罚系数ωi,j越小,记k层级第i个点的预测偏移量为dk(i),则该点集变形拓扑一致性约束条件公式为:
其中,i表示序号,j表示序号,ωi,j表示惩罚系数,pi表示Tk中的第i个点,pj表示Tk中的第j个点;
其中,k表示抽象等级序号,Lreg(k)表示第k个抽象层级的正则项约束,ωi,j表示惩罚系数,i表示序号,j表示序号,dk(i)表示Tk中第i个点的预测偏移量,dk(j)表示Tk中第j个点的预测偏移量;
多阶段的点集变形拓扑一致性约束条件为:
其中,L2(k)表示多阶抽象层级的正则项约束,k表示抽象等级序号,K表示抽象层级的个数,Lreg(k)表示第k个抽象层级的正则项约束。
4.根据权利要求3所述的方法,其中,所述三维模型球表达为:
CS:={TK,Dk,zk|k=1,…,K},
其中,CS:表示三维模型球表达,TK表示第k个抽象层级的变形重构模型,也是模板球点云,Dk表示第k个抽象层级的逐点偏移量,zk第k个抽象层级的高维特征向量,k表示抽象等级序号,K表示抽象层级的个数。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110043355.9A CN112734913B (zh) | 2021-01-13 | 2021-01-13 | 一种基于多阶段变形重构的三维模型球表达计算方法 |
US17/571,196 US11830133B2 (en) | 2021-01-13 | 2022-01-07 | Calculation method of three-dimensional model's spherical expression based on multi-stage deformation reconstruction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110043355.9A CN112734913B (zh) | 2021-01-13 | 2021-01-13 | 一种基于多阶段变形重构的三维模型球表达计算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112734913A CN112734913A (zh) | 2021-04-30 |
CN112734913B true CN112734913B (zh) | 2022-10-04 |
Family
ID=75591517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110043355.9A Active CN112734913B (zh) | 2021-01-13 | 2021-01-13 | 一种基于多阶段变形重构的三维模型球表达计算方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11830133B2 (zh) |
CN (1) | CN112734913B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11587291B2 (en) * | 2021-06-30 | 2023-02-21 | Tencent America LLC | Systems and methods of contrastive point completion with fine-to-coarse refinement |
CN114926582A (zh) * | 2022-04-25 | 2022-08-19 | 北京市商汤科技开发有限公司 | 三维模型生成方法和装置、设备、存储介质 |
CN117409161A (zh) * | 2022-07-06 | 2024-01-16 | 戴尔产品有限公司 | 点云处理方法和电子设备 |
CN116385694A (zh) * | 2023-01-30 | 2023-07-04 | 京东方科技集团股份有限公司 | 三维模型的重构方法及装置 |
CN116993923B (zh) * | 2023-09-22 | 2023-12-26 | 长沙能川信息科技有限公司 | 换流站三维模型制作方法、系统、计算机设备和存储介质 |
CN118470221B (zh) * | 2024-07-10 | 2024-09-03 | 中国海洋大学 | 一种基于非标定单视图的三维目标重建方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600686B (zh) * | 2016-12-06 | 2020-05-22 | 西安电子科技大学 | 一种基于多幅未标定图像的三维点云重建方法 |
EP3674984B1 (en) * | 2018-12-29 | 2024-05-15 | Dassault Systèmes | Set of neural networks |
EP3674983B1 (en) * | 2018-12-29 | 2024-09-18 | Dassault Systèmes | Machine-learning for 3d modeled object inference |
-
2021
- 2021-01-13 CN CN202110043355.9A patent/CN112734913B/zh active Active
-
2022
- 2022-01-07 US US17/571,196 patent/US11830133B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN112734913A (zh) | 2021-04-30 |
US20220222891A1 (en) | 2022-07-14 |
US11830133B2 (en) | 2023-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112734913B (zh) | 一种基于多阶段变形重构的三维模型球表达计算方法 | |
CN111291212B (zh) | 基于图卷积神经网络的零样本草图图像检索方法和系统 | |
CN110443293B (zh) | 基于双判别生成对抗网络文本重构的零样本图像分类方法 | |
CN108875813B (zh) | 一种基于几何图像的三维网格模型检索方法 | |
CN110175251A (zh) | 基于语义对抗网络的零样本草图检索方法 | |
CN111127146B (zh) | 基于卷积神经网络与降噪自编码器的信息推荐方法及系统 | |
Tzeng et al. | Intelligent feature extraction and tracking for visualizing large-scale 4d flow simulations | |
CN110674685B (zh) | 一种基于边缘信息增强的人体解析分割模型及方法 | |
CN112734789A (zh) | 一种基于半监督学习和点渲染的图像分割方法及系统 | |
Xia et al. | Visual clustering factors in scatterplots | |
CN115713605A (zh) | 一种基于图像学习的商业类建筑群自动建模方法 | |
Navarro et al. | Reconstruction of Iberian ceramic potteries using generative adversarial networks | |
CN113408651A (zh) | 基于局部判别性增强的无监督三维物体分类方法 | |
Li et al. | 3D large-scale point cloud semantic segmentation using optimal feature description vector network: OFDV-Net | |
Zhang et al. | Learning from synthetic models for roof style classification in point clouds | |
Dietenbeck et al. | Multi-layer ontologies for integrated 3D shape segmentation and annotation | |
CN103336781B (zh) | 一种医学图像聚类方法 | |
CN116089639A (zh) | 一种辅助三维建模方法、系统、装置和介质 | |
Wang et al. | Dust Removal from 3D Point Cloud Data in Mine Plane Areas Based on Orthogonal Total Least Squares Fitting and GA‐TELM | |
Park et al. | Development of an AI advisor for conceptual land use planning | |
Ji et al. | An extraction method for roof point cloud of ancient building using deep learning framework | |
Pernuš et al. | ChildNet: Structural Kinship Face Synthesis Model With Appearance Control Mechanisms | |
Lv et al. | Constructing 3D facial hierarchical structure based on surface measurements | |
Zhou et al. | Terrain Classification Algorithm for Lunar Rover Using a Deep Ensemble Network with High‐Resolution Features and Interdependencies between Channels | |
Wang et al. | Keyframe image processing of semantic 3D point clouds based on deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |