CN111932679B - 一种基于隐式模板的三维模型表达方式 - Google Patents

一种基于隐式模板的三维模型表达方式 Download PDF

Info

Publication number
CN111932679B
CN111932679B CN202010810527.6A CN202010810527A CN111932679B CN 111932679 B CN111932679 B CN 111932679B CN 202010810527 A CN202010810527 A CN 202010810527A CN 111932679 B CN111932679 B CN 111932679B
Authority
CN
China
Prior art keywords
dimensional model
dimensional
point
implicit
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn - After Issue
Application number
CN202010810527.6A
Other languages
English (en)
Other versions
CN111932679A (zh
Inventor
郑泽荣
戴翘楚
于涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weilan Technology Co ltd
Original Assignee
Beijing Weilan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Weilan Technology Co ltd filed Critical Beijing Weilan Technology Co ltd
Priority to CN202010810527.6A priority Critical patent/CN111932679B/zh
Publication of CN111932679A publication Critical patent/CN111932679A/zh
Application granted granted Critical
Publication of CN111932679B publication Critical patent/CN111932679B/zh
Withdrawn - After Issue legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于隐式模板的三维模型表达方式，包括：通过三维建模，获取高精度的不同类型三维模型数据库；对所述三维模型数据库进行处理，提取符号距离场；搭建用于破解所述符号距离场的编码器解码器网络；所述编码器解码器网络包括：隐式模板映射网络和符号距离解码网络；构建用于约束所述符号距离场的基于L1范数和约束训练损失函数；测试输入隐编码，提取对应的所述三维模型。采用本发明的表达方式，大大降低计算资源。

Description

一种基于隐式模板的三维模型表达方式
技术领域
本发明涉及到计算机数据表示技术领域，尤其涉及到一种基于隐式模板的三维模型表达方式。
背景技术
如何表示三维场景对于计算机场景理解、机器人行为控制非常重要。传统的三维场景表达方式包括点云、体素、多边形网格、多视角图像等等，但是这些方法都对场景进行了离散化，当需要表达高精度场景时，这些表达方式往往耗费大量计算资源。
发明内容
鉴于此，本发明提供了一种大大降低计算资源的基于隐式模板的三维模型表达方式，该基于隐式模板的三维模型表达方式包括：对应的三维模型；其中，提取所述对应的三维模型时包括以下步骤：
通过三维建模，获取高精度的不同类型三维模型数据库；
对所述三维模型数据库的三维模型进行处理，提取符号距离场；
搭建用于破解所述符号距离场的编码器解码器网络；所述编码器解码器网络包括：隐式模板映射网络和符号距离解码网络；
构建用于约束所述符号距离场的基于L1范数和规范约束训练损失函数；
测试输入隐编码，提取出所述对应的三维模型。
优选的，提取所述符号距离场时，包括以下步骤：
将所述三维模型数据库中的三维模型归一化到具有多个单位球的单位立方体之中；
在所述单位球上均匀采样相机位置，所述相机朝向所述单位球的球心；
渲染所述相机视角下的深度图，所述深度图反投影到空间中，形成所述三维模型的外表面点云；
在所述空间中任意采样若干三维点，搜索任意相邻的点与外表面点云，计算点相对于所述三维模型的符号距离。
优选的，所述隐式模板映射网络由一个长短期记忆单元构成；
其中，所述隐式模板映射网络的输入包括：高维语义编码和输入三维点；所述隐式模板映射网络的输出包括：经所述输入三维点变换的输出三维点。
优选的，所述符号距离解码网络则由一个多层感知机构成；所述符号距离解码网络用于计算所述输出三维点所对应的符号距离。
优选的，构建所述基于L1范数和约束所述训练损失函数时，所述损失函数包括如下几项：
数据项：
Figure GDA0002960887710000021
其中k为模型序号，i为点的序号，
Figure GDA0002960887710000024
为第k个模型第i个点的真实符号距离，即提取符号距离场时的计算结果；
逐点约束项：
Figure GDA0002960887710000022
约束所述点的移动距离；
点对约束项：
Figure GDA0002960887710000023
约束所述点变形的连续性。
优选的，在输入一个所述隐编码后，遍历所述空间中所有格点，计算所述格点之间的符号距离，提取出零分界面。
附图说明
图1是本发明实施例提供的基于隐式模板的三维模型表达方式的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本申请实施例提供的基于隐式模板的三维模型表达方式进行说明。
一并参考图1，本申请实施例中的基于隐式模板的三维模型表达方式包括：通过三维建模，获取高精度的不同类型三维模型数据库；
对三维模型数据库中的三维模型进行处理，提取符号距离场(Signed DistanceField)。
提取符号距离场时需要进行如下步骤：将三维模型归一化到单位立方体之中；在单位球上均匀采样相机位置，计算相机朝向使之指向单位球球心；渲染相机视角下的深度图，将深度图反投影到空间中，形成三维模型的带法相的外表面点云；渲染相机视角下的深度图，将深度图反投影到空间中，形成三维模型的带法相的外表面点云；在空间中随机采样若干三维点，并搜索点到外表面点云的最近邻，从而计算点相对于三维模型的符号距离，并存下结果用于网络训练
此外，搭建编码器解码器网络；其中编码器解码器网络包括：隐式模板映射网络和符号距离解码网络；具体而言，隐式模板映射网络由一个长短期记忆单元(LSTM)构成，符号距离解码网络则由一个多层感知机构成。其中，隐式模板映射网络的输入是一个高维语义编码和输入三维点，输出是经过输入三维点变换的输出三维点；而符号距离解码网络则负责计算输出三维点所对应的符号距离。
如果将隐式模板记作W，符号距离解码网络记作T，则数学表达式为：
p′＝W(p,c)；s＝T(p′)
其中，p为输入三维点，c为高维语义编码，p′为输出三维点，s为其对应的符号距离。
构建基于L1范数和规范约束的训练损失函数，用于网络训练，具体而言，损失函数包括如下几项：
数据项：
Figure GDA0002960887710000041
其中k为模型序号，i为点的序号，
Figure GDA0002960887710000044
为第k个模型第i个点的真实符号距离，即提取符号距离场时的计算结果。
逐点约束项：
Figure GDA0002960887710000042
用于约束点的移动距离。
点对约束项：
Figure GDA0002960887710000043
用于约束变形的连续性。
测试时输入一个隐编码，然后遍历空间中所有格点，计算格点的符号距离，提取出零分界面，从而得到最终的三维模型。

Claims (6)

1.一种基于隐式模板的三维模型表达方式，其特征在于，包括：对应的三维模型；其中，提取所述对应的三维模型时包括以下步骤：
通过三维建模，获取高精度的不同类型三维模型数据库；
对所述三维模型数据库的三维模型进行处理，提取符号距离场；
搭建用于破解所述符号距离场的编码器解码器网络；所述编码器解码器网络包括：隐式模板映射网络和符号距离解码网络；
构建用于约束所述符号距离场的基于L1范数和规范约束训练损失函数；
测试输入隐编码，提取出所述对应的三维模型。
2.如权利要求1所述的基于隐式模板的三维模型表达方式，其特征在于，提取所述符号距离场时，包括以下步骤：
将所述三维模型数据库中的三维模型归一化到具有多个单位球的单位立方体之中；
在所述单位球上均匀采样相机位置，所述相机朝向所述单位球的球心；
渲染所述相机视角下的深度图，所述深度图反投影到空间中，形成所述三维模型的外表面点云；
在所述空间中任意采样若干三维点，搜索任意相邻的点与外表面点云，计算点相对于所述三维模型的符号距离。
3.如权利要求2所述的基于隐式模板的三维模型表达方式，其特征在于，所述隐式模板映射网络由一个长短期记忆单元构成；
其中，所述隐式模板映射网络的输入包括：高维语义编码和输入三维点；所述隐式模板映射网络的输出包括：经所述输入三维点变换的输出三维点。
4.如权利要求3所述的基于隐式模板的三维模型表达方式，其特征在于，所述符号距离解码网络则由一个多层感知机构成；所述符号距离解码网络用于计算所述输出三维点所对应的符号距离。
5.如权利要求4所述的基于隐式模板的三维模型表达方式，其特征在于，构建所述基于L1范数和约束所述训练损失函数时，所述损失函数包括如下几项：
数据项：
Figure DEST_PATH_IMAGE001
，其中
Figure 995543DEST_PATH_IMAGE002
为模型序号，
Figure DEST_PATH_IMAGE003
为点的序号，
Figure 108993DEST_PATH_IMAGE004
为第
Figure 34224DEST_PATH_IMAGE002
个模型第
Figure 320848DEST_PATH_IMAGE003
个点的真实符号距离，即提取符号距离场时的计算结果；
逐点约束项：
Figure DEST_PATH_IMAGE005
，约束所述点的移动距离；
点对约束项：
Figure 382345DEST_PATH_IMAGE006
，约束所述点变形的连续性。
6.如权利要求5所述的基于隐式模板的三维模型表达方式，其特征在于，在输入一个所述隐编码后，遍历所述空间中所有格点，计算所述格点之间的符号距离，提取出零分界面。
CN202010810527.6A 2020-08-13 2020-08-13 一种基于隐式模板的三维模型表达方式 Withdrawn - After Issue CN111932679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010810527.6A CN111932679B (zh) 2020-08-13 2020-08-13 一种基于隐式模板的三维模型表达方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010810527.6A CN111932679B (zh) 2020-08-13 2020-08-13 一种基于隐式模板的三维模型表达方式

Publications (2)

Publication Number Publication Date
CN111932679A CN111932679A (zh) 2020-11-13
CN111932679B true CN111932679B (zh) 2021-04-16

Family

ID=73311855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010810527.6A Withdrawn - After Issue CN111932679B (zh) 2020-08-13 2020-08-13 一种基于隐式模板的三维模型表达方式

Country Status (1)

Country Link
CN (1) CN111932679B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160382B (zh) * 2021-03-23 2022-10-28 清华大学 基于隐式模板映射的单视图车辆重建方法和装置
CN112951187B (zh) * 2021-03-24 2023-11-03 平安科技（深圳）有限公司 梵呗音乐生成方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520513A (zh) * 2018-03-30 2018-09-11 中国科学院计算技术研究所 一种三维模型局部变形分量提取方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3090542B1 (en) * 2014-01-03 2020-09-30 Intel Corporation Real-time 3d reconstruction with a depth camera
CN111340944B (zh) * 2020-02-26 2022-05-17 清华大学 基于隐式函数和人体模板的单图像人体三维重建方法
CN111462302B (zh) * 2020-03-05 2022-06-03 清华大学 基于深度编码网络的多视点人体动态三维重建方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520513A (zh) * 2018-03-30 2018-09-11 中国科学院计算技术研究所 一种三维模型局部变形分量提取方法和系统

Also Published As

Publication number Publication date
CN111932679A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
US11443192B2 (en) Machine-learning for 3D modeled object inference
US11562207B2 (en) Set of neural networks
CN110458939A (zh) 基于视角生成的室内场景建模方法
CN115699088A (zh) 从二维图像生成三维对象模型
CN110060255A (zh) 利用逐像素分类器来对2d平面图进行语义分割
CN111932679B (zh) 一种基于隐式模板的三维模型表达方式
JP2023512721A (ja) ３次元オブジェクトの多角形メッシュの生成のための自己回帰ニューラルネットワーク
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
CN113724401A (zh) 一种三维模型切割方法、装置、计算机设备和存储介质
Zhang et al. Point cloud semantic scene segmentation based on coordinate convolution
WO2024102469A1 (en) Systems and methods of predicting three dimensional reconstructions of a building
CN110852939B (zh) 一种基于二维对象和相关关系的三维布局预测方法及系统
Yan et al. GEOP-Net: Shape reconstruction of buildings from LiDAR point clouds
Gong Application and Practice of Artificial Intelligence Technology in Interior Design
CN109658489B (zh) 一种基于神经网络的立体网格数据处理方法和系统
CN113436314B (zh) 一种基于结构的计算机三维网格模型重建方法
Zhang et al. 3D Large‐Pose Face Alignment Method Based on the Truncated Alexnet Cascade Network
Zhou et al. A novel compression-driven lightweight framework for medical skeleton model visualization
Cretu et al. Neural-network-based models of 3-D objects for virtualized reality: A comparative study
CN110991002B (zh) 一种高压缩比的双向反射材质压缩表示模型、方法及装置
CN118735769A (zh) 用于草图到3d形状生成的机器学习技术
Zuo et al. An Automatic Building Models' Parametrer Reconstruction Method from Point Clouds
CN112991473B (zh) 一种基于立方体模板的神经网络编码解码方法及系统
EP4057222A1 (en) Machine-learning for 3d segmentation
US20240289502A1 (en) Machine learning techniques for direct boundary representation synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
AV01 Patent right actively abandoned

Granted publication date: 20210416

Effective date of abandoning: 20230615

AV01 Patent right actively abandoned

Granted publication date: 20210416

Effective date of abandoning: 20230615

AV01 Patent right actively abandoned
AV01 Patent right actively abandoned