CN116385667A - 三维模型的重建方法、纹理重构模型的训练方法以及装置 - Google Patents
三维模型的重建方法、纹理重构模型的训练方法以及装置 Download PDFInfo
- Publication number
- CN116385667A CN116385667A CN202310647688.1A CN202310647688A CN116385667A CN 116385667 A CN116385667 A CN 116385667A CN 202310647688 A CN202310647688 A CN 202310647688A CN 116385667 A CN116385667 A CN 116385667A
- Authority
- CN
- China
- Prior art keywords
- vertex
- information
- reconstructed
- color
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 123
- 238000012549 training Methods 0.000 title claims abstract description 51
- 238000005070 sampling Methods 0.000 claims abstract description 39
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000009792 diffusion process Methods 0.000 claims description 70
- 238000009877 rendering Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 20
- 238000009826 distribution Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000002372 labelling Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种三维模型的重建方法、纹理重构模型的训练方法以及装置，涉及人工智能技术领域。该方法包括从三维模型对应的点云中采样至少一个顶点，得到顶点集合；通过纹理重构模型的编码模块将顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定顶点集合对应的三平面特征信息；通过纹理重构模型的解码模块根据三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及至少一个重建后的顶点分别对应的预测信息，预测信息包括重建后的顶点的位置预测信息和颜色预测信息；根据至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。上述方法提升了重构后的三维模型的准确程度。
Description
技术领域
本申请实施例涉及人工智能（Artificial Intelligence，简称AI）技术领域，特别涉及一种三维模型的重建方法、纹理重构模型的训练方法以及装置。
背景技术
在人工智能技术领域中，构造三维模型逐渐成为一项较为成熟的技术，在类似3D（three Dimensions，三维）打印、游戏、建筑等领域均需要用到三维模型。
相关技术中，通过大量的样本单纯依靠图像技术，来对三维模型进行渲染增强，以提升三维模型的构造的准确程度。例如，当三维模型的局部有所欠缺，则利用该局部图像对应的颜色与深度四通道信息来对三维模型的局部进行重构。
而上述相关技术中单纯依靠图像技术重构出来的三维模型的准确度相对较低。
发明内容
本申请实施例提供了一种三维模型的重建方法、纹理重构模型的训练方法以及装置。所述技术方案如下：
根据本申请实施例的一个方面，提供了一种三维模型的重建方法，所述方法包括以下步骤。
从所述三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息。
通过纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息。
通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息和颜色预测信息。
根据所述至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。
根据本申请实施例的一个方面，提供了一种纹理重构模型的训练方法，所述方法包括以下步骤。
从样本三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息，所述样本三维模型中的各个顶点分别对应有顶点标注信息。
通过所述纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息。
通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息以及颜色预测信息。
根据所述至少一个重建后的顶点分别对应的预测信息以及所述样本三维模型中的各个顶点分别对应的顶点标注信息，确定重建损失。
以最小化所述重建损失为目的，对所述纹理重构模型的参数进行调整，得到完成训练的纹理重构模型。
根据本申请实施例的一个方面，提供了一种三维模型的重建装置，所述装置包括以下模块。
采样模块，用于从所述三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息。
特征确定模块，用于通过纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息。
预测信息确定模块，用于通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息和颜色预测信息。
模型重建模块，用于根据所述至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。
根据本申请实施例的一个方面，提供了一种纹理重构模型的训练装置，所述装置包括以下模块。
采样模块，用于从样本三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息，所述样本三维模型中的各个顶点分别对应有顶点标注信息。
特征确定模块，用于通过所述纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息。
预测信息确定模块，用于通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息以及颜色预测信息。
损失确定模块，用于根据所述至少一个重建后的顶点分别对应的预测信息以及所述样本三维模型中的各个顶点分别对应的顶点标注信息，确定重建损失；
参数调整模块，用于以最小化所述重建损失为目的，对所述纹理重构模型的参数进行调整，得到完成训练的纹理重构模型。
根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述方法。
本申请实施例提供的技术方案可以包括如下有益效果。
通过从待重构的三维模型对应的点云中采样得到至少一个顶点，并基于顶点携带的顶点信息，通过编码模块，确定三平面特征信息。进一步地，根据编码模块对三平面特征信息进行渲染增强，并确定重建后的顶点以及重建后顶点对应的预测信息，从而生成重建后的三维模型。本申请实施例提供的技术方案通过学习三平面特征信息并进行渲染增强，来完成三维重构表达，提升了三维模型重构的准确性。
附图说明
图1是本申请一个实施例提供的方案实施环境的示意图；
图2是本申请一个实施例提供的纹理重构模型的示意图；
图3是本申请一个实施例提供的三维模型的重建方法的流程图；
图4是本申请另一个实施例提供的三维模型的重建方法的流程图；
图5是本申请再一个实施例提供的三维模型的重建方法的流程图；
图6是本申请一个实施例提供的纹理重构模型的训练方法的示意图；
图7是本申请一个实施例提供的三维模型的重建方法的框图；
图8是本申请一个实施例提供的三维模型的重建方法的示意图；
图9是本申请一个实施例提供的三维模型的重建装置的框图；
图10是本申请另一个实施例提供的三维模型的重建装置的框图；
图11是本申请一个实施例提供的纹理重构模型的训练装置的框图；
图12是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在介绍本申请技术方案之前，先对本申请涉及的一些背景技术知识进行介绍说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。本申请实施例包括以下内容中的至少部分内容。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括自然语言处理技术、机器学习/深度学习等几大方向。
计算机视觉技术（Computer Vision，简称CV）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习（Machine Learning，简称ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、虚拟现实（Virtual Reality，简称VR）、增强现实（Augmented Reality，简称AR）、游戏、虚拟人、数字人等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉技术、深度学习等技术，通过本申请实施例对三维模型进行重建，得到重建后的模型，重建后的模型准确度较好，具体通过如下实施例进行说明。
在介绍本申请技术方案之前，先对本申请涉及的一些名词进行解释说明。以下相关解释作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。本申请实施例包括以下内容中的至少部分内容。
Conv：卷积操作。
CNN（Convolutional Neural Networks，卷积神经网络）：是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deeplearning）的代表算法之一。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariantclassification），因此也被称为“平移不变人工神经网络（Shift-Invariant ArtificialNeural Networks，简称SIANN）”。
Mesh：计算机图形学专业术语，即网格。网格中有一些列的三角面片组成，三角面片中包含三个点的索引，点的索引可以在电表中找到对应的点。
SDF（Signed Distance Function，径向基函数）：用于表达3D物体形状。距离函数会返回空间中任何一个点到物体表面的最短距离，只需要找出距离为0的所有点，即可得到这个物体表面，而距离小于0的点代表在物体内部，距离大于0的点代表在物体外。对于这种带有正负的距离函数，也称为符号距离函数或定向距离函数（Oriented DistanceFunction，简称ODF）。
请参考图1，其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以包括模型训练设备10和模型使用设备20。
模型训练设备10可以是诸如个人计算机、电脑、平板电脑、服务器、智能机器人等电子设备，或者是其他一些具有较强计算能力的电子设备。模型训练设备10用于对纹理重构模型30进行联合训练。
在本申请实施例中，纹理重构模型30是机器学习模型。可选地，模型训练设备10可以采用机器学习的方式对该纹理重构模型30进行训练，以使得其具备较好的性能。可选地，纹理重构模型30的训练过程如下（此处仅为简述，具体的训练过程参见下述实施例，此时不作赘述）：从样本三维模型对应的点云中采样至少一个顶点，得到顶点集合，顶点集合中的顶点对应有顶点信息，顶点信息包括顶点的位置信息和颜色信息，样本三维模型中的各个顶点分别对应有顶点标注信息；通过纹理重构模型的编码模块将顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定顶点集合对应的三平面特征信息，三平面特征信息用于深层表征顶点集合中的各个顶点的位置信息和颜色信息；通过纹理重构模型的解码模块根据三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及至少一个重建后的顶点分别对应的预测信息，预测信息包括重建后的顶点的位置预测信息以及颜色预测信息；根据至少一个重建后的顶点分别对应的预测信息以及样本三维模型中的各个顶点分别对应的顶点标注信息，确定重建损失；以最小化重建损失为目的，对纹理重构模型的参数进行调整，得到完成训练的纹理重构模型。在一些实施例中，编码模块中包括至少一个编码器，解码模块中包括扩散网络、插值网络以及多层感知机网络。可选地，扩散网络、插值网络以及多层感知机网络都是机器学习模型。
在一些实施例中，模型使用设备20可以是诸如手机、电脑、智能电视、多媒体播放设备、可穿戴设备、医疗设备等终端设备，也可以是服务器，本申请对此不作限定。示例性地，训练好的纹理重构模型30可以用于对不完美的三维模型进行纹理重构。可选地，从不完美的三维模型对应的点云中采样至少一个顶点，得到顶点集合，顶点集合中的顶点对应有顶点信息，顶点信息包括顶点的位置信息和颜色信息；通过纹理重构模型的编码模块将顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定顶点集合对应的三平面特征信息，三平面特征信息用于深层表征顶点集合中的各个顶点的位置信息和颜色信息；通过纹理重构模型的解码模块根据三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及至少一个重建后的顶点分别对应的预测信息，预测信息包括重建后的顶点的位置预测信息和颜色预测信息；根据至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。重建后的三维模型基于相对较少的点即可得到相对准确的模型。
本申请实施例提供的方法，各步骤的执行主体可以是计算机设备，该计算机设备是指具备数据计算、处理和存储能力的电子设备。该计算机设备可以是诸如PC（PersonalComputer，个人计算机）、平板电脑、智能手机、可穿戴设备、智能机器人等终端；也可以是服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。计算机设备可以是图1中的模型训练设备10，也可以是模型使用设备20。
请参考图2，其示出了本申请一个实施例提供的纹理重构模型的示意图，其中，图2的200是纹理重构模型。
纹理重构模型200中包括编码模块以及解码模块。其中，编码模块中包括映射器和编码器。而解码模块中包括扩散网络、插值网络以及多层感知机网络。
在一些实施例中，扩散网络是一种预训练完成的扩散模型。当纹理重构模型训练完成之后，在纹理重构模型的使用阶段：从三维模型对应的点云中采样至少一个顶点，得到顶点集合，顶点集合中的顶点对应有顶点信息，顶点信息包括顶点的位置信息和颜色信息；通过纹理重构模型的编码模块将顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定顶点集合对应的三平面特征信息，三平面特征信息用于深层表征顶点集合中的各个顶点的位置信息和颜色信息；通过纹理重构模型的解码模块对三平面特征信息进行渲染增强，确定至少一个重建后的顶点以及至少一个重建后的顶点分别对应的预测信息，预测信息包括重建后的顶点的位置预测信息和颜色预测信息；根据至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。
相关技术中，移动设备上的混合现实等许多游戏中，很多3D对象渲染生成时，面临渲染效果失败或者不够逼真的问题。通过RGB-D（颜色深度图）进行的3D重建会出现几何和纹理方面的错误，从而导致相机漂移、网格失真等问题。对于一个不完美的重建3D模型，以前的大多数方法都集中在几何、纹理或相机角度的细化上。并且无法处理相机漂移、网格失真、纹理重影和模糊等伪影问题。质量差的3D温流，渲染卡顿，严重影响用户体验。相关技术在进行3D渲染增强时，需要大量的样本单纯依靠图像技术，难以实现其他样本的扩展。
因此本申请提出了一种引导3D形状纹理的新方法。利用预训练的深度到图像扩散模型，应用迭代方案，从不同的角度绘制重构3D模型，将游戏引擎相机角度、几何和纹理的优化集成到一个统一的框架中，同时描述了一种迭代优化策略，以提高优化的稳定性和效率。可选地，本方案设计了一种编码器，它首先将从输入网格采样的可选颜色点云编码到三平面高斯潜在空间，然后学习从该空间重建连续纹理网格。然后，本方案训练一种扩散模型（也即扩散网络）来生成三平面特征，它可以以输入图像嵌入为条件，这使能够执行图像条件生成纹理模型。在这两个阶段，三平面特征都被解码为可区分的彩色网格表示，允许使用基于渲染的损失进行训练。本申请方案提出的一种引导高性能高质量的3D纹理生成技术，设计了一个算法流程，该算法将使用游戏二维纹理图片完成3D重构表达，一方面实现可以学习纹理网格的表示的三平面特征表达，另一方面预测3D模型和纹理。该方法允许在毫秒内钟内在单个GPU（Graphics Processing Unit，图片处理器）上有条件和无条件地生成跨多个不同类别的高质量纹理或无纹理3D网格。它在网格质量和纹理生成方面的图像条件和无条件生成方面大大优于游戏引擎opengl渲染的3D纹理。此外，还展示了本申请提出的纹理重构模型对多游戏纹理的可扩展性，以提高质量和多样性。
请参考图3，其示出了本申请一个实施例提供的三维模型的重构方法的流程图。该方法各步骤的执行主体可以是上文介绍的模型使用设备。在下文方法实施例中，为了便于描述，仅以各步骤的执行主体为“计算机设备”进行介绍说明。该方法可以包括如下几个步骤（310~340）中的至少一个步骤。
步骤310，从三维模型对应的点云中采样至少一个顶点，得到顶点集合，顶点集合中的顶点对应有顶点信息，顶点信息包括顶点的位置信息和颜色信息。
三维模型：处于三维空间中的模型，该三维模型由点、面、体构成。可选地，该三维模型对应有点云，点云中包括该三维模型中所有的点。可选地，点云中每个顶点均对应有顶点信息，该顶点信息是用于表征该顶点的信息。可选地，该顶点信息至少包括顶点的位置信息、颜色信息。可选地，该三维模型可以是完整的三维模型，也可以是不完整的三维模型。可选地，该三维模型是带有纹理缺陷的完整三维模型的局部模型。
在一些实施例中，顶点的位置信息是用于表征该顶点在三维模型中的位置的信息，可选地，该顶点的位置信息中包括该顶点在三维模型中的位置坐标、该顶点与三维模型中其他顶点的连接关系、该顶点与三维模型中面片的归属关系、该顶点与三维模型中四面体的归属关系等等中的至少之一。在一些实施例中，顶点的颜色信息包括顶点所在像素的颜色信息。可选地，顶点的颜色信息包括RGB三通道的颜色信息。在一些实施例中，顶点信息中除了顶点的位置信息以及颜色信息之外，还包括顶点的材质信息。可选地，顶点的材质包括木头、金属、大理石等等。在一些实施例中，上述顶点信息均是经过量化之后的信息。可选地，顶点信息中包括三维模型的原始纹理的量化信息（也即上述顶点的位置信息、颜色信息以及材质信息等等）。
在一些实施例中，每个顶点的顶点信息是1×C维度的特征。可选地，用C通道信息来表征该顶点的原始纹理。可选地，C为正整数。
在一些实施例中，以二维纹理图片的方式来表征三维模型。可选地，该二维纹理图片中携带有三维模型对应的点云中所有顶点分别对应的顶点信息。也即，只获取二维纹理图片即可，获取了二维纹理图片相当于获取了三维模型。在一些实施例中，以游戏应用程序为例，通过游戏应用程序中的debug工具来获取单帧图像中的三维模型，并进行纹理导出，也即得到三维模型。可选地，该三维模型以点云的形式呈现，并且每个点携带有顶点信息。在另一些实施例中，使用debug工具时，直接对带有缺陷的三维模型进行纹理导出，得到携带有顶点信息的三维模型。
本申请实施例对于采样的过程不作限定，可选地，从三维模型对应的点云中随机采样，得到采样后的顶点集合，也可以认为是采样后的点集网络。同时，本申请对于采样的点的数量不作限定。可选地，点的采样满足高斯分布。由于点的采样满足高斯分布，有利于提升点的采样效率，同时使得采样出来的顶点集合较为合理。当然，也进一步促进了后续编码模块以及解码模块对于采样出来的顶点集合的处理，使得整个纹理重构模型的模型重构效果较好。
步骤320，通过纹理重构模型的编码模块将顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定顶点集合对应的三平面特征信息，三平面特征信息用于深层表征顶点集合中的各个顶点的位置信息和颜色信息。
在一些实施例中，编码模块可以看作是一种神经网络，该神经网络的输入是采样得到的顶点集合以及顶点集合中各个顶点携带的顶点信息，输出是顶点集合对应的三平面特征。本申请实施例对于编码模块具体的内部结构不作限定。可选地，该编码模块利用机器学习方法进行训练。
在一些实施例中，采样后的得到的顶点集合中包括N个点，N为正整数。可选地，基于该N个点分别对应的顶点信息，确定出该N个点在三维空间中的位置分布。可选地，确定三维空间中能够包裹住该N个点的最小立方体（最小包围盒）。该立方体的长宽高分别为H、W、S。其中，H、W、S均为正整数。可选地，三平面特征信息的维度是H×3W×C，其中，C表示每个顶点携带的颜色信息或者说纹理信息。H×3W维度的特征用于表征采样出来的各个点在三维空间中的位置。
在一些实施例中，建立空间轴向三平面，空间轴向三平面对应有x轴、y轴以及z轴，并且x轴所在平面、y轴所在平面以及z轴所在平面互相垂直。可选地，将顶点集合以垂直于x轴的法线方向投影至x轴所在平面，得到H×W维度的特征，该H×W维度的特征用于表征顶点集合中各个顶点在x轴方向上的位置坐标。可选地，将顶点集合以垂直于y轴的法线方向投影至y轴所在平面，得到W×S维度的特征，该W×S维度的特征用于表征顶点集合中各个顶点在y轴方向上的位置坐标。可选地，将顶点集合以垂直于z轴的法线方向投影至z轴所在平面，得到H×S维度的特征，该H×S维度的特征用于表征顶点集合中各个顶点在z轴方向上的位置坐标。可选地，将W×S维度的特征以及H×S维度的特征分别进行维度转换，使得维度转换后的特征也均为H×W维度的特征。此时，将三个方向的维度特征进行拼接，相当于得到了H×3W维度的特征。在一些实施例中，基于该H×3W维度的特征，再增加上每个顶点的顶点信息对应的1×C维度的特征，得到H×3W×C维度的特征。
在一些实施例中，步骤320中经过编码模块输出的三平面特征信息的维度等于H×3W×C维度，或者是H×3W×C维度的等比变小。也即，通过编码模块输出的三平面特征信息的维度之比也为H:3W:C。在另一些实施例中，通过编码模块输出的三平面特征信息为σ。可选地，通过编码模块不仅输出编码后的三平面特征信息，还输出均值信息μ。可选地，该均值信息μ用于表征将顶点信息进行平均量化之后得到的结果。
在一些实施例中，三平面特征信息以及均值信息是特征向量。当然，三平面特征信息以及均值信息还可以采用其他编码形式，本申请对此不作限定。
步骤330，通过纹理重构模型的解码模块根据三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及至少一个重建后的顶点分别对应的预测信息，预测信息包括重建后的顶点的位置预测信息和颜色预测信息。
在一些实施例中，解码模块也可以看作是一种神经网络，该神经网络的输入是编码模块输出的三平面特征信息，输出是至少一个重建后的顶点以及至少一个重建后的顶点分别对应的预测信息。本申请实施例对于解码模块具体的内部结构不作限定。可选地，该解码模块利用机器学习方法进行训练。可选地，重建后的顶点的数量基于采样的顶点集合中顶点的数量而确定。可选地，重建后的顶点的数量等于顶点集合中的顶点的数量。可选地，重建后的顶点的数量大于顶点集合中的顶点的数量。
在一些实施例中，根据三平面特征信息进行顶点增强包括对三平面特征信息进行渲染增强以及顶点预测。其中，对三平面特征信息进行渲染增强也可以理解为对三平面特征信息施加一定的噪声，使得加了噪声之后的三平面特征信息的鲁棒性更好，有利于后续重建后的顶点的预测。
在一些实施例中，通过纹理重构模型中的解码模块对三平面特征信息σ进行渲染增强，并结合上述均值信息μ，确定至少一个重建后的顶点以及至少一个重建后的顶点分别对应的预测信息。在一些实施例中，预测信息以特征向量的形式呈现，当然也可以采用其他编码形式，本申请不作限定。
在一些实施例中，预测信息是经过解码模块预测的与重建后的顶点有关的信息。可选地，预测信息包括位置预测信息以及颜色预测信息。可选地，预测信息还面片归属预测信息、四面体归属预测信息以及材质预测信息。其中，位置预测信息是预测重建后的顶点的位置的信息。可选地，颜色预测信息是预测重建后的顶点的颜色的预测信息。可选地，面片归属预测信息是预测重建后的顶点所属面片的预测信息。可选地，四面体归属预测信息是预测重建后的顶点所属四面体的预测信息。可选地，材质预测信息是预测重建后的顶点的材质的预测信息。
步骤340，根据至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。
在一些实施例中，根据至少一个重建后的顶点分别对应的位置预测信息以及颜色预测信息，生成重建后的三维模型。可选地，根据至少一个重建后的顶点分别对应的位置预测信息，确定重建后三维模型对应的网格模型。可选地，根据每个重建后的顶点的颜色预测信息，对重建后的三维模型对应的网格模型上的每个点进行颜色绘制，从而得到重建后的三维模型。
在另一些实施例中，预测信息还包括面片归属预测信息、四面体归属预测信息以及材质预测信息。在一些实施例中，根据至少一个重建后的顶点分别对应的位置预测信息、颜色预测信息、面片归属预测信息、四面体归属预测信息以及材质预测信息，生成重建后的三维模型。可选地，根据至少一个重建后的顶点分别对应的位置预测信息，确定重建后三维模型对应的网格模型。可选地，根据每个重建后的顶点的颜色预测信息、面片归属预测信息、四面体归属预测信息以及材质预测信息，对重建后的三维模型对应的网格模型上的每个点进行纹理渲染，从而得到重建后的三维模型。
本申请实施例提供的技术方案通过从待重构的三维模型对应的点云中采样得到至少一个顶点，并基于顶点携带的顶点信息，通过编码模块，确定三平面特征信息。进一步地，根据编码模块对三平面特征信息进行渲染增强，并确定重建后的顶点以及重建后顶点对应的预测信息，从而生成重建后的三维模型。本申请实施例提供的技术方案通过学习三平面特征信息并进行渲染增强，来完成三维重构表达，提升了三维模型重构的准确性。
请参考图4，其示出了本申请另一个实施例提供的三维模型的重构方法的流程图。该方法各步骤的执行主体可以是上文介绍的模型使用设备。在下文方法实施例中，为了便于描述，仅以各步骤的执行主体为“计算机设备”进行介绍说明。该方法可以包括如下几个步骤（410~460）中的至少一个步骤。
步骤410，从三维模型对应的点云中采样至少一个顶点，得到顶点集合，顶点集合中的顶点对应有顶点信息，顶点信息包括顶点的位置信息和颜色信息。
步骤420，通过纹理重构模型的编码模块将顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定顶点集合对应的三平面特征信息，三平面特征信息用于深层表征顶点集合中的各个顶点的位置信息和颜色信息。
步骤410以及步骤420参考上述实施例中的解释说明，此处不再赘述。
步骤430，通过扩散网络对三平面特征信息进行渲染增强，得到增强后的三平面特征信息。
在一些实施例中，解码模块包括扩散网络、插值网络以及多层感知机网络。可选地，扩散网络、插值网络以及多层感知机网络均是神经网络。可选地，扩散网络是经过预训练的机器学习模型，扩散网络经过预训练之后，和插值网络、多层感知机网络以及编码模块一起进行训练。具体的训练过程参加下述实施例，此处不再赘述。
在一些实施例中，将三维模型对应的纹理数据集输入到扩散网络，获取三维模型对应的迭代参数，三维模型对应的纹理数据集是用于表征三维模型中各个顶点对应的顶点信息的集合，迭代参数是三维模型对应的纹理集在扩散网络中经过至少一次迭代而产生的参数；从满足正态分布的噪声特征信息中随机采样得到初始特征信息，并根据迭代参数将初始特征信息在扩散网络中逆向迭代多次，得到隐藏特征信息；对隐藏特征信息和三平面特征信息进行卷积处理，得到增强后的三平面特征信息。
在一些实施例中，三维模型对应的纹理数据集可以认为是三维模型中各个顶点的顶点信息。可选地，以二维纹理图片的方式作为此处的三维模型对应的纹理数据集，其中，二维纹理图片中携带有三维模型中各个顶点的顶点信息。可选地，将二维纹理图片输入到扩散网络。在一些实施例中，二维纹理图片可以认为是该纹理重构模型的嵌入条件来辅助三维模型的重构。
在一些实施例中，扩散网络中包括编码子网络和融合子网络。可选地，将二维纹理图片输入至编码子网络中，得到编码特征。将编码特征与第一迭代参数一起送入融合子网络，得到第一输出特征。将第一输入特征以及第二迭代参数一起再次送入融合子网络，得到第二输出特征。依次迭代k次，k为正整数。第k次融合子网络输出的第k输出特征满足正态分布。将第一迭代参数、第二迭代参数等k个迭代参数作为上述迭代参数αt。
进一步地，从满足正态分布的噪声特征信息中随机采样得到初始特征信息z0，并根据迭代参数αt将初始特征信息z0在扩散网络中逆向迭代多次，得到隐藏特征信息zt；对隐藏特征信息和三平面特征信息进行卷积处理，得到增强后的三平面特征信息。
在一些实施例中，使用展开的三平面z∈RH×W×C，本质上是二维图像，结合3D网格完成这种三平面的可视化。可选地，扩散模型（扩散网络）由一个标准的3D感知卷积使用均值池来引入跨平面交互，因为任何两个平面共享一个轴，这种交互可以提高3D一致性和整体质量。可选地，用10个去噪步骤训练这个模型，使用z作为预测目标。使用过程的公式如下：
其中，其中，
表示初始特征信息z0在扩散网络中逆向迭代第i次的结果。
表
示第i-1次逆向迭代的迭代参数。
是第i次逆向迭代扩散网络中预训练好的参数，也可以
认为是常向量。在一些实施例中，迭代次数为10，当i等于10时，
表示最终得到的隐藏特
征信息。j表示总的迭代次数。
在一些实施例中，V’(color)=v(color)+
。其中，v(color)表示顶点的三平面特
征信息中的颜色信息。
表示顶点的隐藏特征信息（也可以理解为加噪特征信息）。V’
(color)表示顶点的增强后的三平面特征信息。
在另一些实施例中，zt=αtz0+σt，{zt|t∈(0,T)}。其中，z0可以认为是从满足正态分布的噪声特征信息中随机采样得到初始特征信息，也可以认为是给定从数据分布函数p(z)中随机抽取的样本。数据分布函数p(z)可以认为是训练完成的滤波器。可选地，通过该滤波器可以完成上述增强渲染过程。
在一些实施例中，将隐藏特征信息zt与三平面特征信息σ进行维度对齐之后相加的和，经过卷积神经网络，得到增强后的三平面特征信息。在另一些实施例中，将隐藏特征信息zt与三平面特征信息σ以及上述均值信息μ经过维度对齐之后相加的和，再经过卷积网络，得到增强后的三平面特征信息。
步骤440，通过插值网络对增强后的三平面特征信息进行线性插值，得到插值后的三平面特征信息，插值后的三平面特征信息用于表征至少一个重建后的顶点的位置信息和颜色信息。
在一些实施例中，通过线性插值法对增强后的三平面特征信息进行线性插值。线性插值法是指使用连接两个已知量的直线来确定在这两个已知量之间的一个未知量的值的方法。也即根据两个已知顶点的位置信息，确定两个已知顶点之间的未知顶点的位置信息。根据两个已知顶点分别对应的三平面特征信息，确定两个顶点之间的未知顶点的三平面特征信息。可选地，本申请实施例采用三线性插值法。也即在一个三维立方体中，根据给定顶点的数值计算立方体中其他点的数值的线性插值方法。可选地，通过三线性插值法可以使得后续重构出来的模型表面相对较为光滑，更加符合实际情况。
在一些实施例中，使用三平面表示法来生成3D纹理Mesh，使用三轴对齐的特征平面表示场景。通过将三线性特征插值，去噪扩散模型的正向过程，产生一系列噪声顶点偏置的颜色数据{zt|t∈(0,T)}，其中zt=αtz0+σt，ε是从N(0,1)中提取的随机正态噪声。此正向过程的噪声时间表由固定序列αt、σt定义。一个大的足够的T（偏置的最大范围）可以近似将zt转换成服从N(0,1)的随机噪声中，这里扩散模型被用来训练来逆转这个过程，也即反向预测过程，从特征渲染纹理过程，即通过预测从zt恢复
。通过添加随机噪声ε进行融合，最后结合三平面和网格预测生成3D网格模型。可选地，结合纹理图片，渲染成3D纹理。通过颜色预测，绘制每个点的颜色，通过SDF生成3D Mesh模型，最后结合贴图可以生成完整的3D纹理。其中，噪声相当于高斯白噪声，偏置是预生成白噪声，相当于量化过程中避免跑出界线，同时抵抗预测不可靠性。可选地，信号随机生成过程中，通常加噪，防止生成的信号经不起自然噪音的干扰，所以人工提前加噪通过代表实际可通过。
步骤450，通过多层感知机网络根据插值后的三平面特征信息，确定至少一个重建后的顶点以及至少一个重建后的顶点分别对应的预测信息。
在一些实施例中，多层感知机网络包括位置感知机网络和颜色感知机网络，插值后的三平面特征信息包括至少一个重建后的顶点分别对应的三平面特征。
在一些实施例中，每个顶点针对三个平面分别对应一个特征，将三个平面分别对应的特征拼接起来，得到该顶点对应的三平面特征。在一些实施例中，该顶点对应的三平面特征包括针对颜色的三平面特征。可选地，该顶点对应的三平面特征中还包括针对其他纹理信息的三平面特征。
在一些实施例中，位置感知机网络是位置MLP（Multilayer Perceptron，多层感知机），颜色感知机网络是颜色MLP。可选地，位置感知机网络或者颜色感知机网络中对应至少一个感知器。
在一些实施例中，通过位置感知机网络根据至少一个重建后的顶点分别对应的三平面特征，确定至少一个重建后的顶点分别对应的位置预测信息；通过颜色感知机网络根据至少一个重建后的顶点分别对应的三平面特征，确定至少一个重建后的顶点分别对应的颜色预测信息。在一些实施例中，位置预测信息包括SDF预测信息和顶点变形预测信息。在一些实施例中，位置MLP的输入是重建后的顶点分别对应的三平面特征，输出是该重建后的顶点的SDF预测信息和顶点变形预测信息。
在一些实施例中，SDF值也使用MLP进行预测。也即使用位置MLP来预测SDF预测信息。首先给定输入点x，用SDF表达3D：SDF（x）=s，x=vi。其中，vi表示重建后的顶点。具体的，x可以是vi的具体值，也可以是采样值。具体的SDF预测信息的预测公式如下：
其中，
是第i个顶点的三平面特征。可选地，这里的三平面特征是指针
对颜色的三平面特征，针对其他纹理信息的三平面特征不参与这里的预测，而参与后续的
模型重构。
和
是MLP的参数。在一些实施例中，位置MLP中包括多个串联的感知器，将第i
个顶点的三平面特征输入至第一个感知器中，并将经过多个串联的感知器之后，最后一个
感知器的输出作为SDF预测信息。
在另一些实施例中，用位置MLP来预测顶点变形预测信息。可选地，这里的顶点变形预测信息可以理解为顶点位置的偏移信息。因此，对于这里的位置MLP来说，输入是每个顶点的三平面特征，输出是该顶点对应的SDF预测信息si以及顶点变形预测信息Δvi。
在一些实施例中，颜色感知机网络包括多个颜色感知器。在一些实施例中，对于多个颜色感知器中的第j个颜色感知器，通过第j个颜色感知器根据第j-1个颜色感知器对至少一个重建后的顶点分别对应的颜色预测信息的输出以及第j个颜色感知器的参数信息，确定第j个颜色感知器对至少一个重建后的顶点分别对应的颜色预测信息的输出，当j为1时，第1个颜色感知器的输出是第1个颜色感知器根据至少一个重建后的顶点分别对应的三平面特征以及第1个颜色感知器的参数信息确定出来的，j为正整数。将多个颜色感知器中最后一个颜色感知器的输出，确定为至少一个重建后的顶点分别对应的颜色预测信息。
在一些实施例中，颜色MLP中包括多个颜色感知器。其中，MLP全连接网络，即层与
层之间的节点是全连接的。全连接网络的最小单元称为感知器。对于每个感知器，输入的线
性组合层为
，
与权重w在(
)层产生输出
，j是MLP的层级，存在公式：
，其中，
是第j个颜色感知器的
参数信息。其中
是激活函数并且b是在每一层添加的偏置。可选地，选择非线性函数
，使
网络能够捕获输入和输出之间的非线性关系。这里
为3，代表三平面RGB四通道。该公式就
是预测颜色过程。
是颜色预测信息。
在一些实施例中，点集网络（采样得到的顶点集合）中添加了位置嵌入，使用3D感知卷积生成三平面。为了解码网格，解码器ψdec将四面体网格(vi∈VT)上所有顶点的坐标作为输入，然后根据每个顶点的三平面特征预测曲面SDF值si和顶点变形Δvi。SDF值和变形值用于使用可微分生成四面体形三角网格。
在一些实施例中，解码器或者认为是上述解码模块对于顶点的三平面特征的处理过程如下：
。其中，Color表示顶点对应的颜色，Shader引擎表示着色映射。Net表示感知网络（扩散网络）。
具体来说，在训练过程中，解码器ψdec首先使用感知网络Net细化三平面随机噪声z以获得z′，然后与顶点对应的颜色矩阵（针对颜色的三平面特征信息）进行卷积感知，然后收集查询模型的网格表面颜色，并通过与真实表面颜色cgt进行比较来计算损失。
当然，在具体使用过程中，3个投影位置的三平面特征被连接起来并反馈到位置MLP头中以预测si和
。3个投影位置的三平面特征被连接起来并反馈到颜色MLP头中以预测颜色。
步骤460，根据至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。
步骤460参考上述实施例的解释说明，此处不再赘述。
本申请实施例提供的技术方案，在对重建后的顶点对应的顶点信息进行预测时，通过颜色感知机网络以及位置感知机网络，分别预测颜色预测信息以及顶点预测信息，有利于使得重构后的三维模型更加准确。另外，在使用颜色感知机网络来对颜色信息进行预测时，采用多个感知器来满足颜色四通道的需求，有利于提升颜色预测结果的准确性。当然，在利用位置感知机网络对位置信息进行预测时，不仅预测SDF值，还预测顶点变形值，因此从两个维度来对顶点的位置进行预测，进一步提升了位置预测信息的准确性。
另一方面，本申请在重构三维模型时，基于三平面线性插值，来对采样后的顶点进行平滑处理，使得经过三线性插值后的三平面特征更加满足模型构建的自然规律，更贴合模型本身。
再者，本申请实施例完全基于算法来重构三维模型，不同于相关技术中还需要人工介入，本申请采用神经网络自动重构的三维模型与基于人工重构后的三维模型效果基本相同，但是效率相比于人工来说，有了极大的提升。
请参考图5，其示出了本申请另一个实施例提供的三维模型的重构方法的流程图。该方法各步骤的执行主体可以是上文介绍的模型使用设备。在下文方法实施例中，为了便于描述，仅以各步骤的执行主体为“计算机设备”进行介绍说明。该方法可以包括如下几个步骤（510~560）中的至少一个步骤。
步骤510，从三维模型对应的点云中采样至少一个顶点，得到顶点集合，顶点集合中的顶点对应有顶点信息，顶点信息包括顶点的位置信息和颜色信息。
步骤520，将顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，得到与三个互相垂直的平面分别对应的平面特征信息。
步骤530，通将与三个互相垂直的平面分别对应的平面特征信息进行整合，得到顶点集合对应的原始三平面特征信息，原始三平面特征信息中包括顶点集合中每一个顶点分别对应的顶点信息。
在一些实施例中，将上述H×W维度的特征、W×S维度的特征、H×S维度的特征进行维度对齐以及特征合并，得到顶点集合对应的原始三平面特征信息。在一些实施例中，上述维度是H×3W×C的三平面特征信息是这里的原始三平面信息，也即未经过编码器的特征信息。
步骤540，通过至少一个编码器对原始三平面特征信息进行编码，得到顶点集合对应的三平面特征信息，顶点集合对应的三平面特征信息中包括顶点集合中每个顶点的三平面特征。
在一些实施例中，编码器的输入是每个顶点对应的三平面特征，可选地，将上述原始三平面特征信息中的每个顶点针对三个平面的特征进行合并，得到每个顶点的原始三平面特征。示例性的，每个顶点的原始三平面特征的维度是3×C。
在一些实施例中，对于顶点集合中的任意一个顶点，根据顶点对应的顶点信息、顶点集合中除顶点以外的其他顶点与顶点之间的权重关系，以及顶点与其他顶点之间的位置关系，确定顶点的三平面特征。在一些实施例中，顶点对应的顶点信息、顶点集合中除顶点以外的其他顶点与顶点之间的权重关系，以及顶点与其他顶点之间的位置关系均存储在该顶点的原始三平面特征中。
在一些实施例中，编码模块中包括变分自动编码器，用它学习3D网格的潜在表示。三维模型的点云的特征编码器ψenc。其中x∈R3×N成三平面潜在特征的分布编码。可选地，三平面神经场在表示3D对象方面的功效，与使用体积渲染的EG3D不同，本申请直接使用四面体网格直接输出三角网格（原始三维模型中包括很多个四面体网格，根据这些四面体网格得到三角面片）。这消除了对缓慢的每图像体积渲染操作的需要，并提供了可以直接用于游戏引擎等下游应用程序的网格。编码器的公式如下：
Ψenc 
其中对于网格顶点i（随机采样得到的）用
或x表示，n是总顶点数，wj是第j个
mesh对应的权重（顶点集合中除顶点以外的其他顶点与顶点之间的权重关系），
是点云
（点云刚开始均匀采集点）顶点i和顶点j之间的欧式距离（顶点与其他顶点之间的位置关
系），这里的
是一个常数。可选地，每个顶点对应的面片信息存储在该顶点的顶点信息中。
在一些实施例中，Ψenc 
的输出是上述三平面特征信息σ。在另一些实施
例中，编码器还有一个输出为上述均值信息μ。
步骤550，通过纹理重构模型的解码模块根据三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及至少一个重建后的顶点分别对应的预测信息，预测信息包括重建后的顶点的位置预测信息和颜色预测信息。
步骤560，根据至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。
在一些实施例中，步骤550以及步骤560的具体解释参见上述解释说明，此处不再赘述。
本申请实施例中，由于生成的网格可以具有任意拓扑结构，因此开发可以生成形状和语义一致的纹理的模型是非常重要的，也是一个未被充分探索的问题。为了扩展用于纹理预测的三平面特征生成的3D纹理框架，通过修改了编码器以对彩色点云进行编码，并将表面颜色参数化为解码器中的纹理场。具体来说，编码器ψenc采用带有附加m通道颜色的点云嵌入作为输入x。颜色嵌入是通过输入点云的RGB值。在解码器中，添加了一个类似于SDF预测的MLP以及颜色预测的MLP，它将表面点的3D位置和插值的三平面特征映射到RGB值。最后即可生成3D模型，最后通过将纹理图与模型图结合，即可生成高质量的3D纹理贴图模型。在一些实施例中，m为正整数。可选地，m为4。
本申请实施例提供的技术方案，通过将顶点集合映射到三个不同的平面上，从不同的角度绘制重构3D模型，将游戏引擎相机角度、几何和纹理的优化集成到一个统一的框架中。因此，提升了重构出来的三维模型的准确程度。
进一步地，在采用编码器对顶点信息进行编码时，不仅考虑顶点本身的信息，还考虑顶点构成的面片的信息，以及其他顶点的顶点信息，有利于提升编码的多样性。因此，经过编码器编码出来的三平面特征不仅准确程度较高，鲁棒性也相对较好，并且还有利于提升后续三维模型的重构的多样性以及准确性。
请参考图6，其示出了本申请一个实施例提供的三维模型的重构方法的流程图。该方法各步骤的执行主体可以是上文介绍的模型训练设备。在下文方法实施例中，为了便于描述，仅以各步骤的执行主体为“计算机设备”进行介绍说明。该方法可以包括如下几个步骤（610~650）中的至少一个步骤。
步骤610，从样本三维模型对应的点云中采样至少一个顶点，得到顶点集合，顶点集合中的顶点对应有顶点信息，顶点信息包括顶点的位置信息和颜色信息，样本三维模型中的各个顶点分别对应有顶点标注信息。
在一些实施例中，样本三维模型可以认为是构建的非常完美的模型，与实际完全没有差别的模型，用这样的模型来训练本申请的纹理重构模型，可以使得训练结果较为准确。在一些实施例中，样本三维模型中每个点的顶点信息作为顶点标注信息。可选地，顶点标注信息包括位置标注信息以及颜色标注信息。步骤610同样也可以参见上述实施例的解释说明，不作赘述。
步骤620，通过纹理重构模型的编码模块将顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定顶点集合对应的三平面特征信息，三平面特征信息用于深层表征顶点集合中的各个顶点的位置信息和颜色信息。
步骤630，通过纹理重构模型的解码模块根据三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及至少一个重建后的顶点分别对应的预测信息，预测信息包括重建后的顶点的位置预测信息以及颜色预测信息。
在一些实施例中，解码模块包括扩散网络、插值网络以及多层感知机网络。
在一些实施例中，通过扩散网络对三平面特征信息进行渲染增强，得到增强后的三平面特征信息；通过插值网络对增强后的三平面特征信息进行线性插值，得到插值后的三平面特征信息，插值后的三平面特征信息用于表征至少一个重建后的顶点的位置信息和颜色信息；通过多层感知机网络根据插值后的三平面特征信息，确定至少一个重建后的顶点以及至少一个重建后的顶点分别对应的预测信息。
在一些实施例中，步骤620和步骤630参考上述实施例，此处不再赘述。
在一些实施例中，扩散网络是预训练完成的机器学习模型，扩散网络包括编码子网络和融合子网络。
在一些实施例中，扩散网络的预训练过程如下：将样本三维模型对应的纹理数据集输入到编码子网络中，得到样本三维模型对应的编码特征，样本三维模型对应的纹理数据集是用于表征样本三维模型中各个顶点对应的顶点信息的集合；通过融合子网络对编码特征进行多次加噪，输出样本三维模型对应的加噪后特征；根据加噪后特征与满足正态分布的特征之间的差异，对扩散网络的参数进行调整，得到完成预训练的扩散网络。
本申请实施例中，扩散网络也可以认为是扩散模型（Diffusion Model）。其中，扩散网络的正向过程是扩散过程，也即给图片加噪的过程。可选地，扩散过程是马尔科夫过程。而扩散网络的逆向过程也就是逆扩散过程，是从噪声恢复到图片的过程。扩散模型的扩散过程的输出应当满足正态分布。可选地，根据输出结果是否满足正态分布来对扩散模型的参数进行调整。在一些实施例中，样本三维模型对应的纹理数据集认为存储在二维纹理图片中，将样本三维模型的二维纹理图片作为扩散网络在预训练过程中的图片输入。
步骤640，根据至少一个重建后的顶点分别对应的预测信息以及样本三维模型中的各个顶点分别对应的顶点标注信息，确定重建损失。
在一些实施例中，顶点标注信息中包括位置标注信息以及颜色标注信息。其中，位置标注信息用于表征顶点的位置，颜色标注信息用于表征顶点的颜色。
在一些实施例中，重建损失包括颜色重建损失以及位置重建损失。可选地，根据颜色感知机网络对于顶点的颜色预测信息与颜色标注信息的差异，确定颜色重建损失。可选地，根据位置感知机网络对于顶点的位置预测信息与位置标注信息的差异，确定位置重建损失。可选地，对颜色重建损失以及位置重建损失分别赋予不同的权重进行联合训练。可选地，对颜色重建损失以及位置重建损失的权重提前设定，例如颜色重建损失的权重值大于位置重建损失的权重值。可选地，对颜色重建损失以及位置重建损失分开进行训练。本申请对于具体的训练方式不作限定。
在一些实施例中，纹理重构模型的训练过程中的数据处理也可以参考纹理重构模型的使用侧的流程，本实施例中不作赘述。
步骤650，以最小化重建损失为目的，对纹理重构模型的参数进行调整，得到完成训练的纹理重构模型。
在一些实施例中，纹理重构模型的训练过程被转化为一个优化问题来确定的模型
中的各个权重w。权重w通过最小化损失函数
来优化。这个优化过程为：w=argminw 
。可
选地，这里的损失函数是颜色重建损失以及位置重建损失的联合损失函数。当然，也可以是
颜色重建损失函数或者位置重建损失函数中的一种。本申请对此不作限定。可选地，使用基
于渲染的重建损失来训练三平面特征表示。用渲染损失只需要对网格进行最少的预处理，
并保留通过预处理算法丢失的精细细节，例如用于获取SDF占用的精度值。
在一些实施例中，纹理重构模型的参数包括纹理重构模型中各个模块的参数，可选地，以最小化重建损失为目的，对解码模块以及编码模块的参数进行调整。可选地，以最小化重建损失为目的，对扩散网络、插值网络以及多层感知机网络的参数进行调整。可选地，扩散网络虽然是经过预训练的，但是同样还是基于上述重建损失的值继续训练，直到满足迭代次数，或者重建损失的值小于阈值。本申请实施例对于具体的训练过程不作限定。
进一步地，解码器的网格输出，也即重建好的三维模型被传递到可微分渲染器，以
从随机采样的摄像机角度获得遮罩轮廓m和深度图d。可选地，使用预测网格数据预测出轮
廓mgt和（纹理）深度图dgt。可选地，要确保三平面特征分布
(z|x)接近高斯概率分布p
(h)=N(0,1)。因此，还可以进一步使用组合损失：
。其
中，这里的2表示L2范式，gt表示原始真实数据的样本值，m是预测后人眼视角的轮廓图，d是
预测的深度图。
在一些实施例中，通过将重建好的三维模型进一步外接可微分渲染器（渲染引擎），根据渲染结果，对于纹理重构模型进行再次训练。
本申请实施例提供的技术方案，通过引入扩散网络来对三平面特征进行加噪处理，同时以三维模型对应的纹理图片作为嵌入条件，来辅助加噪过程，有利于保证加噪的准确程度，避免加噪结果出现较大误差。因此，在保证重构出来的三维模型的准确度的同时，加噪带来的灵活性还有助于修复错误纹理。
进一步地，以样本三维模型来对纹理重构模型进行训练，由于样本三维模型自身的准确性，使得完成训练的纹理重构模型的使用效果较好，也即对于三维模型的重构效果较好。
请参考图7，其示出了本申请一个实施例提供的三维模型的重建方法的框图。
在一些实施例中，如图7的700所示，利用debug工具先对生成带缺陷的纹理资源进行提取，提取后送入纹理重构模型，进行优化后，得到重构后的三维模型，再替换掉原有的纹理，重新运行纹理加载过程，如果效果有所优化，并且没有增加过多的性能消耗，则表示渲染增强达到预期效果。在一些实施例中，本申请实施例提供的技术方案可以实现采用较少的顶点集合，即可重新渲染得到纹理渲染效果较好的三维模型。
本申请实施例提供的技术方案可以在游戏中进行纹理资源优化，找出了很多使用不合理的3D渲染纹理，并且通过替换新纹理，性能有了几大的改善，同时使用该技术方案提供了人工编辑优化的效率。当然，本申请实施例提供的技术方案不仅可以用于三维模型的纹理资源优化，还可以应用于其他需要构建三维模型的领域。可选地，在例如逼真游戏场景渲染、动画影视制作、虚拟现实、增强现实等技术领域均可以采用本申请实施例提出的纹理重构模型实现模型重构。在一些实施例中，在动画影视制作领域，通过将真实世界中的物体在动画世界中重构时，可以将真实世界中的物体作为待重构的对象，获取该物体对应的三维模型。通过一定的设备在获得了该物体对应的三维模型之后，从该三维模型对应的点云中随机采样，得到顶点集合，并将该顶点集合输入至上述纹理重构模型，输出重构好的三维模型。重构好的三维模型可以直接用在动画世界中。在一些实施例中，将真实人脸（人的头部）在动画世界中重构时，可以通过在真实人头上佩戴头模控制器，获取该人头的参数信息，也即获取到三维模型对应的点云中每个顶点的顶点信息。进一步，再通过纹理重构模型，实现人头的快速重建。在另一些实施例中，在游戏场景渲染领域中，同样可以通过本申请实施例提出的纹理重构模型，实现将真实场景转换为虚拟环境中的场景，其中真实场景可以看作是待重构的三维模型，虚拟环境中的场景可以看作是重构后的三维模型。对于其他领域的应用参考上述论述，不作赘述。
请参考图8，其示出了本申请一个实施例提供的三维模型的重建方法的示意图。
如图8的800所示，是本申请方案提出的纹理重构模型。其中纹理重构模型800包括编码模块Ψenc以及解码模块Ψdec。其中，编码模块中包括映射器，用于将点集网络中的点映射到三平面中，得到原始三平面特征信息。经过编码模块中的至少一个编码器，得到三平面特征信息σ以及均值信息μ。可选地，将二维纹理图像（包括三维模型的纹理集合）输入至扩散网络，得到迭代参数αt。可选地，从满足正态分布的噪声特征信息中随机采样得到初始特征信息z0，并根据迭代参数αt将初始特征信息z0在扩散网络中逆向迭代多次，得到隐藏特征信息zt，对隐藏特征信息和三平面特征信息进行卷积处理，得到增强后的三平面特征信息。
其中，如图8的810所示，是扩散网络的扩散过程，当纹理重构模型在使用时，先经历一遍正向的扩散过程，得到迭代参数，再经过一次逆向的逆扩散过程，对三平面特征信息进行加噪，得到增强渲染后的三平面特征信息。可选地，对增强渲染后的三平面特征信息进行三线性插值，得到平滑的三平面特征信息（插值后的三平面特征信息）。可选地，通过颜色MLP以及位置MLP（也即图8中的曲面SDF的MLP网络）根据插值后的三平面特征信息，预测每个顶点的颜色预测信息以及位置预测信息（包括顶点变形值以及SDF预测值）。进一步地，根据每个顶点的颜色预测信息以及位置预测信息，生成四面体，并进一步得到纹理化mesh，也即得到重构后的三维模型。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图9，其示出了本申请一个实施例提供的三维模型的重建装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。如图9所示，该装置900可以包括：采样模块910、特征确定模块920、预测信息确定模块930以及模型重建模块940。
采样模块910，用于从所述三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息。
特征确定模块920，用于通过纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息。
预测信息确定模块930，用于通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息和颜色预测信息。
模型重建模块940，用于根据所述至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。
在一些实施例中，所述解码模块包括扩散网络、插值网络以及多层感知机网络。
在一些实施例中，如图10所示，预测信息确定模块930包括增强渲染单元931、插值单元932和预测信息确定单元933。
增强渲染单元931，用于通过所述扩散网络对所述三平面特征信息进行渲染增强，得到增强后的三平面特征信息。
插值单元932，用于通过所述插值网络对所述增强后的三平面特征信息进行线性插值，得到插值后的三平面特征信息，所述插值后的三平面特征信息用于表征所述至少一个重建后的顶点的位置信息和颜色信息。
预测信息确定单元933，用于通过所述多层感知机网络根据所述插值后的三平面特征信息，确定所述至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息。
在一些实施例中，增强渲染单元931，用于将所述三维模型对应的纹理数据集输入到所述扩散网络，获取所述三维模型对应的迭代参数，所述三维模型对应的纹理数据集是用于表征所述三维模型中各个顶点对应的顶点信息的集合，所述迭代参数是所述三维模型对应的纹理集在所述扩散网络中经过至少一次迭代而产生的参数；从满足正态分布的噪声特征信息中随机采样得到初始特征信息，并根据所述迭代参数将所述初始特征信息在所述扩散网络中逆向迭代多次，得到隐藏特征信息；对所述隐藏特征信息和所述三平面特征信息进行卷积处理，得到所述增强后的三平面特征信息。
在一些实施例中，所述多层感知机网络包括位置感知机网络和颜色感知机网络，所述插值后的三平面特征信息包括所述至少一个重建后的顶点分别对应的三平面特征。
在一些实施例中，预测信息确定单元933，用于通过所述位置感知机网络根据所述至少一个重建后的顶点分别对应的三平面特征，确定所述至少一个重建后的顶点分别对应的位置预测信息；通过所述颜色感知机网络根据所述至少一个重建后的顶点分别对应的三平面特征，确定所述至少一个重建后的顶点分别对应的颜色预测信息。
在一些实施例中，所述位置预测信息包括SDF预测信息和顶点变形预测信息。
在一些实施例中，所述颜色感知机网络包括多个颜色感知器。
在一些实施例中，预测信息确定单元933，用于对于所述多个颜色感知器中的第j个颜色感知器，通过所述第j个颜色感知器根据第j-1个颜色感知器对所述至少一个重建后的顶点分别对应的颜色预测信息的输出以及所述第j个颜色感知器的参数信息，确定所述第j个颜色感知器对所述至少一个重建后的顶点分别对应的颜色预测信息的输出，当j为1时，第1个颜色感知器的输出是所述第1个颜色感知器根据所述至少一个重建后的顶点分别对应的三平面特征以及所述第1个颜色感知器的参数信息确定出来的，j为正整数；将所述多个颜色感知器中最后一个颜色感知器的输出，确定为所述至少一个重建后的顶点分别对应的颜色预测信息。
在一些实施例中，所述编码模块中包括至少一个编码器。
在一些实施例中，特征确定模块920，用于将所述顶点集合中的各个顶点，分别映射到所述三个互相垂直的平面中，得到与所述三个互相垂直的平面分别对应的平面特征信息；将与所述三个互相垂直的平面分别对应的平面特征信息进行整合，得到所述顶点集合对应的原始三平面特征信息，所述原始三平面特征信息中包括所述顶点集合中每一个顶点分别对应的顶点信息；通过所述至少一个编码器对所述原始三平面特征信息进行编码，得到所述顶点集合对应的三平面特征信息，所述顶点集合对应的三平面特征信息中包括所述顶点集合中每个顶点的三平面特征。
在一些实施例中，特征确定模块920，用于对于所述顶点集合中的任意一个顶点，根据所述顶点对应的顶点信息、所述顶点集合中除所述顶点以外的其他顶点与所述顶点之间的权重关系，以及所述顶点与所述其他顶点之间的位置关系，确定所述顶点的三平面特征。
请参考图11，其示出了本申请一个实施例提供的纹理重构模型的训练装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。如图11所示，该装置1100可以包括：采样模块1110、特征确定模块1120、预测信息确定模块1130、损失确定模块1140以及参数调整模块1150。
采样模块1110，用于从样本三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息，所述样本三维模型中的各个顶点分别对应有顶点标注信息。
特征确定模块1120，用于通过所述纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息。
预测信息确定模块1130，用于通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息以及颜色预测信息。
损失确定模块1140，用于根据所述至少一个重建后的顶点分别对应的预测信息以及所述样本三维模型中的各个顶点分别对应的顶点标注信息，确定重建损失。
参数调整模块1150，用于以最小化所述重建损失为目的，对所述纹理重构模型的参数进行调整，得到完成训练的纹理重构模型。
在一些实施例中，所述解码模块包括扩散网络、插值网络以及多层感知机网络。
在一些实施例中，预测信息确定模块1130，通过所述扩散网络对所述三平面特征信息进行渲染增强，得到增强后的三平面特征信息；通过所述插值网络对所述增强后的三平面特征信息进行线性插值，得到插值后的三平面特征信息，所述插值后的三平面特征信息用于表征所述至少一个重建后的顶点的位置信息和颜色信息；通过所述多层感知机网络根据所述插值后的三平面特征信息，确定所述至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息。
在一些实施例中，所述扩散网络是预训练完成的机器学习模型，所述扩散网络包括编码子网络和融合子网络，所述扩散网络的预训练过程如下：将所述样本三维模型对应的纹理数据集输入到所述编码子网络中，得到所述样本三维模型对应的编码特征，所述样本三维模型对应的纹理数据集是用于表征所述样本三维模型中各个顶点对应的顶点信息的集合；通过所述融合子网络对所述编码特征进行多次加噪，输出所述样本三维模型对应的加噪后特征；根据所述加噪后特征与满足正态分布的特征之间的差异，对所述扩散网络的参数进行调整，得到完成预训练的扩散网络。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图12示出了本申请另一个示例性实施例提供的计算机设备的结构框图。
通常，计算机设备1200包括有：处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心，比如4核心处理器、12核心处理器等。处理器1201可以采用DSP（Digital Signal Processing，数字信号处理）、FPGA（FieldProgrammable Gate Array，现场可编程门阵列）、PLA（Programmable Logic Array，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（Central ProcessingUnit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有GPU，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是有形的和非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质存储有计算机程序，该计算机程序由处理器1201加载并执行以实现上述各方法实施例提供的三维模型的重建方法、或者纹理重构模型的训练方法。
本领域技术人员可以理解，图12中示出的结构并不构成对计算机设备1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序在被处理器执行时以实现上述三维模型的重建方法、或者纹理重构模型的训练方法。可选地，该计算机可读存储介质可以包括：ROM（Read-OnlyMemory，只读存储器）、RAM（Random Access Memory，随机存取存储器）、SSD（Solid StateDrives，固态硬盘）或光盘等。其中，随机存取存储器可以包括ReRAM（Resistance RandomAccess Memory，电阻式随机存取存储器）和DRAM（Dynamic Random Access Memory，动态随机存取存储器）。
在示例性实施例中，还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质中读取所述计算机程序，所述处理器执行所述计算机程序，使得所述计算机设备执行上述三维模型的重建方法、或者纹理重构模型的训练方法。
需要说明的是，本申请中相关数据收集处理在实例应用时应该严格根据相关国家法律法规的要求，获取个人信息主体的知情同意或单独同意，并在法律法规及个人信息主体的授权范围内，开展后续数据使用及处理行为。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种三维模型的重建方法，其特征在于，所述方法包括：
从所述三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息；
通过纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息；
通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息和颜色预测信息；
根据所述至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述解码模块包括扩散网络、插值网络以及多层感知机网络；
所述通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，包括：
通过所述扩散网络对所述三平面特征信息进行渲染增强，得到增强后的三平面特征信息；
通过所述插值网络对所述增强后的三平面特征信息进行线性插值，得到插值后的三平面特征信息，所述插值后的三平面特征信息用于表征所述至少一个重建后的顶点的位置信息和颜色信息；
通过所述多层感知机网络根据所述插值后的三平面特征信息，确定所述至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息。
3.根据权利要求2所述的方法，其特征在于，所述通过所述扩散网络对所述三平面特征信息进行渲染增强，得到增强后的三平面特征信息，包括：
将所述三维模型对应的纹理数据集输入到所述扩散网络，获取所述三维模型对应的迭代参数，所述三维模型对应的纹理数据集是用于表征所述三维模型中各个顶点对应的顶点信息的集合，所述迭代参数是所述三维模型对应的纹理集在所述扩散网络中经过至少一次迭代而产生的参数；
从满足正态分布的噪声特征信息中随机采样得到初始特征信息，并根据所述迭代参数将所述初始特征信息在所述扩散网络中逆向迭代多次，得到隐藏特征信息；
对所述隐藏特征信息和所述三平面特征信息进行卷积处理，得到所述增强后的三平面特征信息。
4.根据权利要求2所述的方法，其特征在于，所述多层感知机网络包括位置感知机网络和颜色感知机网络，所述插值后的三平面特征信息包括所述至少一个重建后的顶点分别对应的三平面特征；
所述通过所述多层感知机网络根据所述插值后的三平面特征信息，确定所述至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，包括：
通过所述位置感知机网络根据所述至少一个重建后的顶点分别对应的三平面特征，确定所述至少一个重建后的顶点分别对应的位置预测信息；
通过所述颜色感知机网络根据所述至少一个重建后的顶点分别对应的三平面特征，确定所述至少一个重建后的顶点分别对应的颜色预测信息。
5.根据权利要求4所述的方法，其特征在于，所述位置预测信息包括SDF预测信息和顶点变形预测信息。
6.根据权利要求4所述的方法，其特征在于，所述颜色感知机网络包括多个颜色感知器；
所述通过所述颜色感知机网络根据所述至少一个重建后的顶点分别对应的三平面特征，确定所述至少一个重建后的顶点分别对应的颜色预测信息，包括：
对于所述多个颜色感知器中的第j个颜色感知器，通过所述第j个颜色感知器根据第j-1个颜色感知器对所述至少一个重建后的顶点分别对应的颜色预测信息的输出以及所述第j个颜色感知器的参数信息，确定所述第j个颜色感知器对所述至少一个重建后的顶点分别对应的颜色预测信息的输出，当j为1时，第1个颜色感知器的输出是所述第1个颜色感知器根据所述至少一个重建后的顶点分别对应的三平面特征以及所述第1个颜色感知器的参数信息确定出来的，j为正整数；
将所述多个颜色感知器中最后一个颜色感知器的输出，确定为所述至少一个重建后的顶点分别对应的颜色预测信息。
7.根据权利要求1所述的方法，其特征在于，所述编码模块中包括至少一个编码器；
所述通过纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，包括：
将所述顶点集合中的各个顶点，分别映射到所述三个互相垂直的平面中，得到与所述三个互相垂直的平面分别对应的平面特征信息；
将与所述三个互相垂直的平面分别对应的平面特征信息进行整合，得到所述顶点集合对应的原始三平面特征信息，所述原始三平面特征信息中包括所述顶点集合中每一个顶点分别对应的顶点信息；
通过所述至少一个编码器对所述原始三平面特征信息进行编码，得到所述顶点集合对应的三平面特征信息，所述顶点集合对应的三平面特征信息中包括所述顶点集合中每个顶点的三平面特征。
8.根据权利要求7所述的方法，其特征在于，所述通过所述至少一个编码器对所述原始三平面特征信息进行编码，得到所述顶点集合对应的三平面特征信息，包括：
对于所述顶点集合中的任意一个顶点，根据所述顶点对应的顶点信息、所述顶点集合中除所述顶点以外的其他顶点与所述顶点之间的权重关系，以及所述顶点与所述其他顶点之间的位置关系，确定所述顶点的三平面特征。
9.一种纹理重构模型的训练方法，其特征在于，所述方法包括：
从样本三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息，所述样本三维模型中的各个顶点分别对应有顶点标注信息；
通过所述纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息；
通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息以及颜色预测信息；
根据所述至少一个重建后的顶点分别对应的预测信息以及所述样本三维模型中的各个顶点分别对应的顶点标注信息，确定重建损失；
以最小化所述重建损失为目的，对所述纹理重构模型的参数进行调整，得到完成训练的纹理重构模型。
10.根据权利要求9所述的方法，其特征在于，所述解码模块包括扩散网络、插值网络以及多层感知机网络；
所述通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，包括：
通过所述扩散网络对所述三平面特征信息进行渲染增强，得到增强后的三平面特征信息；
通过所述插值网络对所述增强后的三平面特征信息进行线性插值，得到插值后的三平面特征信息，所述插值后的三平面特征信息用于表征所述至少一个重建后的顶点的位置信息和颜色信息；
通过所述多层感知机网络根据所述插值后的三平面特征信息，确定所述至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息。
11.根据权利要求10所述的方法，其特征在于，所述扩散网络是预训练完成的机器学习模型，所述扩散网络包括编码子网络和融合子网络，所述扩散网络的预训练过程如下：
将所述样本三维模型对应的纹理数据集输入到所述编码子网络中，得到所述样本三维模型对应的编码特征，所述样本三维模型对应的纹理数据集是用于表征所述样本三维模型中各个顶点对应的顶点信息的集合；
通过所述融合子网络对所述编码特征进行多次加噪，输出所述样本三维模型对应的加噪后特征；
根据所述加噪后特征与满足正态分布的特征之间的差异，对所述扩散网络的参数进行调整，得到完成预训练的扩散网络。
12.一种三维模型的重建装置，其特征在于，所述装置包括：
采样模块，用于从所述三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息；
特征确定模块，用于通过纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息；
预测信息确定模块，用于通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息和颜色预测信息；
模型重建模块，用于根据所述至少一个重建后的顶点分别对应的预测信息，生成重建后的三维模型。
13.一种纹理重构模型的训练装置，其特征在于，所述装置包括：
采样模块，用于从样本三维模型对应的点云中采样至少一个顶点，得到顶点集合，所述顶点集合中的顶点对应有顶点信息，所述顶点信息包括所述顶点的位置信息和颜色信息，所述样本三维模型中的各个顶点分别对应有顶点标注信息；
特征确定模块，用于通过所述纹理重构模型的编码模块将所述顶点集合中的各个顶点，分别映射到三个互相垂直的平面中，确定所述顶点集合对应的三平面特征信息，所述三平面特征信息用于深层表征所述顶点集合中的各个顶点的位置信息和颜色信息；
预测信息确定模块，用于通过所述纹理重构模型的解码模块根据所述三平面特征信息进行顶点重建，确定至少一个重建后的顶点以及所述至少一个重建后的顶点分别对应的预测信息，所述预测信息包括所述重建后的顶点的位置预测信息以及颜色预测信息；
损失确定模块，用于根据所述至少一个重建后的顶点分别对应的预测信息以及所述样本三维模型中的各个顶点分别对应的顶点标注信息，确定重建损失；
参数调整模块，用于以最小化所述重建损失为目的，对所述纹理重构模型的参数进行调整，得到完成训练的纹理重构模型。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上述权利要求1至8任一项所述的方法，或上述权利要求9至11任一所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述权利要求1至8任一项所述的方法，或上述权利要求9至11任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310647688.1A CN116385667B (zh) | 2023-06-02 | 2023-06-02 | 三维模型的重建方法、纹理重构模型的训练方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310647688.1A CN116385667B (zh) | 2023-06-02 | 2023-06-02 | 三维模型的重建方法、纹理重构模型的训练方法以及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116385667A true CN116385667A (zh) | 2023-07-04 |
| CN116385667B CN116385667B (zh) | 2023-08-11 |
Family
ID=86971420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310647688.1A Active CN116385667B (zh) | 2023-06-02 | 2023-06-02 | 三维模型的重建方法、纹理重构模型的训练方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385667B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496091A (zh) * | 2023-12-28 | 2024-02-02 | 西南石油大学 | 一种基于局部纹理的单视图三维重建方法 |
| CN118247410A (zh) * | 2024-05-28 | 2024-06-25 | 华中科技大学 | 一种基于可微渲染的外观驱动的建筑模型简化方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150373329A1 (en) * | 2013-01-10 | 2015-12-24 | Wenfei Jiang | Method and apparatus for vertex error correction |
| CN105678683A (zh) * | 2016-01-29 | 2016-06-15 | 杭州电子科技大学 | 一种三维模型的二维存储方法 |
| US20160189419A1 (en) * | 2013-08-09 | 2016-06-30 | Sweep3D Corporation | Systems and methods for generating data indicative of a three-dimensional representation of a scene |
| US20190392653A1 (en) * | 2016-12-05 | 2019-12-26 | Interdigital Ce Patent Holdings | Method and apparatus for sculpting a 3d model |
| US20210279957A1 (en) * | 2020-03-06 | 2021-09-09 | Yembo, Inc. | Systems and methods for building a virtual representation of a location |
| US20210327119A1 (en) * | 2020-04-17 | 2021-10-21 | Occipital, Inc. | System for Generating a Three-Dimensional Scene Reconstructions |
| CN114742966A (zh) * | 2022-04-24 | 2022-07-12 | 浙江大学 | 一种基于图像的三维场景重建方法及装置 |
| CN115115805A (zh) * | 2022-07-21 | 2022-09-27 | 深圳市腾讯计算机系统有限公司 | 三维重建模型的训练方法、装置、设备及存储介质 |
| CN115797561A (zh) * | 2022-11-29 | 2023-03-14 | 阿里巴巴（中国）有限公司 | 三维重建方法、设备及可读存储介质 |
-
2023
- 2023-06-02 CN CN202310647688.1A patent/CN116385667B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150373329A1 (en) * | 2013-01-10 | 2015-12-24 | Wenfei Jiang | Method and apparatus for vertex error correction |
| US20160189419A1 (en) * | 2013-08-09 | 2016-06-30 | Sweep3D Corporation | Systems and methods for generating data indicative of a three-dimensional representation of a scene |
| CN105678683A (zh) * | 2016-01-29 | 2016-06-15 | 杭州电子科技大学 | 一种三维模型的二维存储方法 |
| US20190392653A1 (en) * | 2016-12-05 | 2019-12-26 | Interdigital Ce Patent Holdings | Method and apparatus for sculpting a 3d model |
| US20210279957A1 (en) * | 2020-03-06 | 2021-09-09 | Yembo, Inc. | Systems and methods for building a virtual representation of a location |
| US20210327119A1 (en) * | 2020-04-17 | 2021-10-21 | Occipital, Inc. | System for Generating a Three-Dimensional Scene Reconstructions |
| CN114742966A (zh) * | 2022-04-24 | 2022-07-12 | 浙江大学 | 一种基于图像的三维场景重建方法及装置 |
| CN115115805A (zh) * | 2022-07-21 | 2022-09-27 | 深圳市腾讯计算机系统有限公司 | 三维重建模型的训练方法、装置、设备及存储介质 |
| CN115797561A (zh) * | 2022-11-29 | 2023-03-14 | 阿里巴巴（中国）有限公司 | 三维重建方法、设备及可读存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496091A (zh) * | 2023-12-28 | 2024-02-02 | 西南石油大学 | 一种基于局部纹理的单视图三维重建方法 |
| CN117496091B (zh) * | 2023-12-28 | 2024-03-15 | 西南石油大学 | 一种基于局部纹理的单视图三维重建方法 |
| CN118247410A (zh) * | 2024-05-28 | 2024-06-25 | 华中科技大学 | 一种基于可微渲染的外观驱动的建筑模型简化方法 |
| CN118247410B (zh) * | 2024-05-28 | 2024-08-02 | 华中科技大学 | 一种基于可微渲染的外观驱动的建筑模型简化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116385667B (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gadelha et al. | 3d shape induction from 2d views of multiple objects | |
| Gupta | Neural mesh flow: 3d manifold mesh generation via diffeomorphic flows | |
| CN108921926B (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
| CN110728219B (zh) | 基于多列多尺度图卷积神经网络的3d人脸生成方法 | |
| CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| CN112215050A (zh) | 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备 | |
| Tu et al. | Consistent 3d hand reconstruction in video via self-supervised learning | |
| CN110942512B (zh) | 基于元学习的室内场景重建方法 | |
| CN116977522A (zh) | 三维模型的渲染方法、装置、计算机设备和存储介质 | |
| CN117218300B (zh) | 三维模型的构建方法、三维构建模型的训练方法及装置 | |
| Shen et al. | Clipgen: A deep generative model for clipart vectorization and synthesis | |
| CN112634456B (zh) | 基于深度学习的复杂三维模型的实时高真实感绘制方法 | |
| WO2024148732A1 (zh) | 一种可重光照的人体隐式模型的重建方法和装置 | |
| DE102022113244A1 (de) | Gemeinsame Form- und Erscheinungsbildoptimierung durch Topologieabtastung | |
| CN115222917A (zh) | 三维重建模型的训练方法、装置、设备及存储介质 | |
| Yang et al. | Multiscale mesh deformation component analysis with attention-based autoencoders | |
| CN117218246A (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN117576312A (zh) | 手部模型构建方法、装置以及计算机设备 | |
| Chang et al. | 3D hand reconstruction with both shape and appearance from an RGB image | |
| CN118262034A (zh) | 从图像重建可动画化的三维人类头部模型的系统和方法 | |
| US20230298243A1 (en) | 3d digital avatar generation from a single or few portrait images | |
| CN117218713A (zh) | 动作解算方法、装置、设备及存储介质 | |
| CN115953524A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| Wang et al. | SparseFormer: Sparse transformer network for point cloud classification | |
| CN116883524A (zh) | 图像生成模型训练、图像生成方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40090119 Country of ref document: HK |