CN117218278A - 三维模型的重建方法、装置、设备及存储介质 - Google Patents

三维模型的重建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117218278A
CN117218278A CN202310315796.9A CN202310315796A CN117218278A CN 117218278 A CN117218278 A CN 117218278A CN 202310315796 A CN202310315796 A CN 202310315796A CN 117218278 A CN117218278 A CN 117218278A
Authority
CN
China
Prior art keywords
sample
color
distance field
image
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310315796.9A
Other languages
English (en)
Inventor
付燕平
刘勇鑫
赵海峰
曹炎培
伍洋
单瀛
郄小虎
王巨宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Anhui University
Original Assignee
Tencent Technology Shenzhen Co Ltd
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Anhui University filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310315796.9A priority Critical patent/CN117218278A/zh
Publication of CN117218278A publication Critical patent/CN117218278A/zh
Pending legal-status Critical Current

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Generation (AREA)

Abstract

本申请实施例公开了一种三维模型的重建方法、装置、设备及存储介质，属于三维重建技术领域。该方法包括：获取彩色图像序列，所述彩色图像序列中包含至少两张彩色图像，所述至少两张彩色图像为不同视角下对目标场景进行拍摄得到；基于所述彩色图像序列，确定所述目标场景对应的符号距离场，以及所述目标场景中各个空间点对应的几何特征；基于所述符号距离场以及所述几何特征，确定各个视角下所述彩色图像对应的渲染图像；基于所述彩色图像与所述渲染图像之间的颜色差异，对所述符号距离场进行细节优化，得到优化后的符号距离场；基于所述优化后的符号距离场进行三维重建，得到所述目标场景对应的三维模型；提高了三维模型重建的准确性。

Description

三维模型的重建方法、装置、设备及存储介质
技术领域
本申请实施例涉及三维重建技术领域，特别涉及一种三维模型的重建方法、装置、设备及存储介质。
背景技术
通过多张不同视角拍摄的普通图片对三维结构进行恢复一直收到广泛的关注，其中，由于室内场景存在大量的人造平面并且纹理单一，因此需要对三维重建算法进行优化，从而提高三维重建的质量。
相关技术中，在利用神经辐射场算法进行三维重建的过程中，为了提高三维重建模型的质量，通常采用多视角的彩色图像作为监督，对三维重建算法进行优化，但是由于室内环境中存在大量的无纹理区域，因此仅仅采用多视角的彩色图像作为三维重建算法的监督，并不能够有效地解决无纹理区域的形状辐射度二义性问题，导致三维重建模型的质量无法得到明显提高。
发明内容
本申请实施例提供了一种三维模型的重建方法、装置、设备及存储介质，能够提高三维模型重建的准确性。所述技术方案如下：
一方面，本申请实施例提供了一种三维模型的重建方法，所述方法包括：
获取彩色图像序列，所述彩色图像序列中包含至少两张彩色图像，所述至少两张彩色图像为不同视角下对目标场景进行拍摄得到；
基于所述彩色图像序列，确定所述目标场景对应的符号距离场，以及所述目标场景中各个空间点对应的几何特征，其中，所述符号距离场表征所述目标场景中各个空间点距离物体表面的距离；
基于所述符号距离场以及所述几何特征，确定各个视角下所述彩色图像对应的渲染图像；
基于所述彩色图像与所述渲染图像之间的颜色差异，对所述符号距离场进行细节优化，得到优化后的符号距离场；
基于所述优化后的符号距离场进行三维重建，得到所述目标场景对应的三维模型。
另一方面，本申请实施例提供了一种三维模型的重建装置，所述装置包括：
第一图像获取模块，用于获取彩色图像序列，所述彩色图像序列中包含至少两张彩色图像，所述至少两张彩色图像为不同视角下对目标场景进行拍摄得到；
参数确定模块，用于基于所述彩色图像序列，确定所述目标场景对应的符号距离场，以及所述目标场景中各个空间点对应的几何特征，其中，所述符号距离场表征所述目标场景中各个空间点距离物体表面的距离；
第一图像确定模块，用于基于所述符号距离场以及所述几何特征，确定各个视角下所述彩色图像对应的渲染图像；
优化模块，用于基于所述彩色图像与所述渲染图像之间的颜色差异，对所述符号距离场进行细节优化，得到优化后的符号距离场；
重建模块，用于基于所述优化后的符号距离场进行三维重建，得到所述目标场景对应的三维模型。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述方面所述的三维模型的重建方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述方面所述的三维模型的重建方法。
另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的三维模型的重建方法。
本申请实施例中，在获取目标场景对应的彩色图像序列之后，计算机设备基于彩色图像序列确定出目标场景对应的符号距离场，以及目标场景中各个空间点对应的几何特征，从而根据符号距离场以及几何特征，得到各个视角下彩色图像对应的渲染图像，并通过对彩色图像和渲染图像进行颜色对比，确定出彩色图像与渲染图像之间的颜色差异，从而对符号距离场进行细节优化，得到优化后的符号距离场，再根据优化后的符号距离场进行三维重建，得到目标场景对应的三维模型，采用本申请实施例提供的方案，提高了三维重建的准确性，优化了三维模型的质量。
附图说明
图1示出了本申请一个实施例提供的实施环境的示意图；
图2示出了本申请一个示例性实施例提供的三维模型的重建方法的流程图；
图3示出了本申请另一个示例性实施例提供的三维模型的重建方法的流程图；
图4示出了本申请一个示例性实施例提供的重建三维模型的流程示意图；
图5示出了本申请一个示例性实施例提供的三维模型的重建方法的流程图；
图6示出了本申请一个示例性实施例提供的训练第一多层感知机以及第二多层感知机的流程示意图；
图7示出了本申请一个示例性实施例提供的三维模型的重建方法的流程图；
图8示出了本申请一个示例性实施例提供的训练第三多层感知机的流程示意图；
图9示出了本申请一个示例性实施例提供的重建三维模型的网络架构图；
图10示出了本申请一个示例性实施例提供的三维模型的重建装置的结构框图；
图11示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明。
请参考图1，其示出了本申请一个实施例提供的实施环境的示意图。该实施环境中包括终端120和服务器140。其中，终端120与服务器140之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。
终端120是安装有具有三维重建功能的应用程序的电子设备。其中，该三维重建功能可以为终端中原生应用的功能，或者，第三方应用的功能；该电子设备可以是智能手机、平板电脑、个人计算机、可穿戴式设备或车载终端等等，图1中，以终端120为个人计算机为例进行说明，但并不对此构成限定。
服务器140可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。本申请实施例中，服务器140可以为具有三维重建功能的应用的后台服务器。
在一种可能的实施方式下，如图1所示，服务器140和终端120之间存在数据交互。在终端120获取到目标场景对应的彩色图像序列之后，终端120将彩色图像序列发送给服务器140，从而由服务器140基于彩色图像序列，确定目标场景对应的符号距离场，以及目标场景中各个空间点对应的几何特征，进而服务器140基于符号距离场以及几何特征，确定各个彩色图像对应的渲染图像，并根据彩色图像与渲染图像之间的颜色差异，对符号距离场进行细节优化，从而得到优化后的符号距离场，并将优化后的符号距离场发送给终端120，由终端120基于优化后的符号距离场进行三维重建，得到目标场景对应的三维模型。
请参考图2，其示出了本申请一个示例性实施例提供的三维模型的重建方法的流程图，本实施例以该方法用于计算机设备(包括终端120和/或服务器140)为例进行说明，该方法包括如下步骤：
步骤201，获取彩色图像序列，彩色图像序列中包含至少两张彩色图像，至少两张彩色图像为不同视角下对目标场景进行拍摄得到。
在一种可能的实施方式中，彩色图像序列中包含至少两张彩色图像，且至少两张彩色图像为不同视角下对目标场景进行拍摄得到的。可选的，目标场景可以是封闭空间，比如室内场景，也可以是半封闭空间，本申请实施例对此不作限定。
在一种可能的实施方式中，在目标场景为室内场景的情况下，彩色图像序列可以包括多张彩色图像，且各个彩色图像分别对应室内场景的不同视角，通过多张彩色图像能够覆盖室内场景中的全部物体。
步骤202，基于彩色图像序列，确定目标场景对应的符号距离场，以及目标场景中各个空间点对应的几何特征，其中，符号距离场表征目标场景中各个空间点距离物体表面的距离。
在一种可能的实施方式中，计算机设备可以通过对目标场景内各个空间点进行相应的数据处理，从而完成对整个目标场景的三维重建。
在一种可能的实施方式中，计算机设备基于目标场景对应的彩色图像序列，确定目标场景对应的符号距离场(Signed Distance Function，SDF)，以及各个空间点对应的几何特征，其中，符号距离场表征目标场景中各个空间点距离物体表面的距离，几何特征可以包括空间点的法线信息、深度信息、位置方向信息等等，本申请实施例对此不作限定。
在一种可能的实施方式中，计算机设备可以将符号距离场中各个空间点可以表示为x，在空间点距离最近的物体表面的距离为0的情况下，空间点x等于0；在沿视线方向空间点位于物体内部的情况下，空间点x为负值；在沿视线方向空间点位于物体外部的情况下，空间点x为正值。
步骤203，基于符号距离场以及几何特征，确定各个视角下彩色图像对应的渲染图像。
在一种可能的实施方式中，由于基于神经辐射场的三维重建算法很容易学习低频的特征，而忽略了很多高频特征，因此直接根据通过彩色图像序列确定的符号距离场进行三维重建，很容易出现高频几何细节丢失的问题，从而导致三维重建误差，因此为了提高对目标场景三维重建的准确性，计算机设备可以对符号距离场进行优化，首先，计算机设备可以根据符号距离场以及各个空间点的几何特征，确定各个彩色图像对应的渲染图像。
在一种可能的实施方式中，计算机设备根据各个彩色图像对应的相机位置，确定各个彩色图像对应的在目标场景中的空间点，从而基于彩色图像对应空间点的几何特征以及距离物体表面的距离，确定出各个彩色图像对应的渲染图像。
步骤204，基于彩色图像与渲染图像之间的颜色差异，对符号距离场进行细节优化，得到优化后的符号距离场。
在一种可能的实施方式中，由于渲染图像是基于符号距离场得到的，因此通过比较彩色图像与渲染图像之间的颜色差异，计算机设备可以确定出符号距离场中存在的数据误差，从而对符号距离场进行细节优化，得到优化后的符号距离场。
可选的，计算机设备可以通过比较彩色图像和渲染图像上对应位置的像素点的颜色值，从而确定彩色图像与渲染图像之间的颜色差异。
步骤205，基于优化后的符号距离场进行三维重建，得到目标场景对应的三维模型。
进一步的，计算机设备根据优化后的符号距离场进行三维重建，得到目标场景对应的三维模型。
可选的，计算机设备进行三维重建的算法可以是移动立方体(Marching Cubes)算法，比如，计算机设备通过Marching Cubes算法，基于优化后的符号距离场，进行等值面提取，从而根据提取得到的等值面进行三维重建，得到三维模型。
综上所述，本申请实施例中，在获取目标场景对应的彩色图像序列之后，计算机设备基于彩色图像序列确定出目标场景对应的符号距离场，以及目标场景中各个空间点对应的几何特征，从而根据符号距离场以及几何特征，得到各个视角下彩色图像对应的渲染图像，并通过对彩色图像和渲染图像进行颜色对比，确定出彩色图像与渲染图像之间的颜色差异，从而对符号距离场进行细节优化，得到优化后的符号距离场，再根据优化后的符号距离场进行三维重建，得到目标场景对应的三维模型，采用本申请实施例提供的方案，提高了三维重建的准确性，优化了三维模型的质量。
在一种可能的实施方式中，为了能够根据彩色图像序列得到目标场景对应的更加准确的符号距离场，并对符号距离场进行优化，从而得到更加准确的三维重建模型，计算机设备可以通过多层感知机(Multi-Layer Perception，MLP)确定目标场景对应的符号距离场。
请参考图3，其示出了本申请一个示例性实施例提供的三维模型的重建方法的流程图，本实施例以该方法用于计算机设备(包括终端120和/或服务器140)为例进行说明，该方法包括如下步骤：
步骤301，获取彩色图像序列，彩色图像序列中包含至少两张彩色图像，至少两张彩色图像为不同视角下对目标场景进行拍摄得到。
步骤301的具体实施方式可以参考步骤201，本实施例在此不作赘述。
步骤302，将彩色图像序列输入第一多层感知机，得到第一多层感知机输出的目标场景对应的符号距离场，以及目标场景中各个空间点对应的几何特征。
在一种可能的实施方式中，为了得到更加准确的符号距离场，计算机设备可以将彩色图像序列输入第一多层感知机，通过第一多层感知机输出目标场景对应的符号距离场，以及目标场景中各个空间点对应的几何特征。
可选的，第一多层感知机中包括一个输入层、一个输出层以及多个隐藏层，且多个隐藏层位于输入层和输出层之间。在本申请实施例中，计算机设备将目标场景对应的彩色图像序列输入第一多层感知机，通过第一多层感知机将目标场景中的任意空间点x映射到一个标量s和一个256维的特征向量f上，其中，标量s即为空间点x距离最近一个物体表面的距离，即符号距离场；特征向量f即为空间点x周围的几何特征。
步骤303，基于符号距离场，确定各个空间点对应的法线信息。
在一种可能的实施方式中，考虑到在三维重建过程中，三维重建算法很容易学习低频几何细节的特征，而忽略了很多高频几何细节特征，因此为了减少高频几何细节丢失，减少重建误差，计算机设备可以通过光影(shading)线索引导的优化方法，尽可能多地恢复高频几何细节。
在一种可能的实施方式中，计算机设备首先根据第一多层感知机输出的符号距离场，确定目标场景中各个空间点对应的法线信息。可选的，计算机设备可以通过对符号距离场求导，得到各个空间点对应的法线信息。
步骤304，基于符号距离场以及几何特征，通过第三多层感知机得到各个空间点对应的全局光照信息，全局光照信息表征各个空间点对应的光照效果。
在一种可能的实施方式中，计算机设备将符号距离场以及各个空间点对应的几何特征输入第三多层感知机，通过第三多层感知机输出各个空间点对应的全局光照信息。
可选的，全局光照信息表征各个空间点对应的光照效果，既包括空间点上的直接照明效果，也包括空间点上的间接照明效果。
步骤305，基于法线信息以及全局光照信息，确定渲染图像上各个像素点对应的颜色值。
在一种可能的实施方式中，为了得到渲染图像上各个像素点对应的颜色值，计算机设备基于各个空间点对应的法线信息以及全局光照信息，进行体渲染，得到各个空间点对应的颜色值，进一步的，由于图像上各个像素点呈现出的颜色值和光线照射的方向有关，因此为了得到较准确的像素点颜色值，计算机设备可以根据彩色图像上各个像素点对应的视线方向，对每个视口下渲染图像对应视线上各个空间点对应的颜色值进行积分，从而得到渲染图像上各个像素点的颜色值。
在一种可能的实施方式中，各个空间点对应的颜色值可以通过公式c＝LV*n，其中，c为空间点对应的颜色值，LV为空间点对应的全局光照信息，n为空间点对应的法线信息。
步骤306，基于各个像素点对应的颜色值，进行图像渲染，得到渲染图像。
在一种可能的实施方式中，在得到每个视口对应的渲染图像上各个像素点对应的颜色值之后，计算机设备根据各个像素点对应的颜色值，进行图像渲染，从而得到每个视口下的渲染图像。
步骤307，基于渲染图像上各个像素点对应的颜色值，以及彩色图像上各个像素点对应的颜色值，确定渲染图像与彩色图像之间的颜色差值。
在一种可能的实施方式中，为了对目标场景的符号距离场进行准确优化，计算机设备对每个视口上的渲染图像和彩色图像进行颜色对比。
在一种可能的实施方式中，计算机设备基于渲染图像上各个像素点对应的颜色值，以及彩色图像上各个像素点对应的颜色值，对渲染图像以及彩色图像进行颜色对比，从而确定渲染图像与彩色图像之间的颜色差值。
步骤308，基于颜色差值，确定各个空间点对应的法线信息差值。
在一种可能的实施方式中，考虑到通过第三多层感知机输出的全局光照信息为相对准确的数据，而各个空间点对应的颜色值又是根据全局光照信息和法线信息确定得到，因此在渲染图像与彩色图像之间存在颜色差值的情况下，计算机设备可以根据颜色差值，确定出各个空间点对应的法线信息差值。
步骤309，基于法线信息差值，对符号距离场进行细节优化，得到优化后的符号距离场。
在一种可能的实施方式中，考虑到各个空间点对应的法线信息是通过对符号距离场进行求导得到，因此在确定各个空间点对应的法线信息差值的情况下，计算机设备可以根据法线信息差值，对符号距离场进行几何细节优化，从而得到优化后的符号距离场。
步骤310，基于优化后的符号距离场进行三维重建，得到目标场景对应的三维模型。
步骤310的具体实施方式可以参考步骤205，本实施例在此不作赘述。
上述实施例中，通过第三多层感知机确定各个空间点的全局光照信息，从而在进行渲染图像和彩色图像颜色对比的情况下，可以基于颜色差值确定出法线信息差值，进而以法线信息差值对符号距离场进行细节优化，减少了高频几何细节的丢失，提高了三维模型的重建质量。
请参考图4，其示出了本申请一个示例性实施例提供的重建三维模型的流程示意图。
如图4所示，计算机设备将彩色图像序列401输入第一多层感知机402，通过第一多层感知机402得到目标场景对应的符号距离场403以及各个空间点对应的几何特征404，进而通过对符号距离场403进行求导，得到各个空间点对应的法线信息406，并通过将符号距离场403输入第三多层感知机405，得到第三多层感知机405输出的各个空间点对应的全局光照信息407，从而计算机设备根据法线信息406以及全局光照信息407，确定各个空间点对应的颜色值，并根据彩色图像上各个像素点对应的视线方向，对每个视口下渲染图像对应视线上各个空间点对应的颜色值进行积分，从而得到渲染图像上各个像素点的颜色值，进而通过图像渲染得到渲染图像，并通过比较渲染图像和彩色图像之间的颜色差异，确定颜色差值，从而得到法线信息差值，并根据法线信息差值，对符号距离场进行细节优化，得到优化后的符号距离场408，最终，根据优化后的符号距离场408，进行三维重建，得到目标场景对应的三维模型409。
在一种可能的实施方式中，为了提高多层感知机输出的准确性，计算机设备还需要通过样本场景对应的样本彩色图像序列对多层感知机进行训练，并且为了尽可能地避免仅利用彩色图像作为监督而产生的形状辐射度二义性问题，计算机设备可以在确定颜色损失的基础上，基于法线损失以及深度损失中的至少一种，对多层感知机进行训练。
请参考图5，其示出了本申请一个示例性实施例提供的三维模型的重建方法的流程图，本实施例以该方法用于计算机设备(包括终端120和/或服务器140)为例进行说明，该方法包括如下步骤：
步骤501，获取样本彩色图像序列，样本彩色图像序列中包含至少两张样本彩色图像，至少两张样本彩色图像为不同视角下对样本场景进行拍摄得到。
在一种可能的实施方式中，样本彩色图像序列中包含至少两张样本彩色图像，且至少两张样本彩色图像为不同视角下对样本场景进行拍摄得到的。可选的，样本场景可以是封闭空间，比如室内场景，也可以是半封闭空间，本申请实施例对此不作限定。
在一种可能的实施方式中，在样本场景为室内场景的情况下，样本彩色图像序列可以包括多张样本彩色图像，且各个样本彩色图像分别对应室内场景的不同视角，通过多张样本彩色图像能够覆盖室内场景中的全部样本物体。
步骤502，将样本彩色图像序列输入第一多层感知机，得到第一多层感知机输出的样本场景对应的样本符号距离场，以及样本场景中各个样本空间点对应的样本几何特征。
在一种可能的实施方式中，计算机设备将样本彩色图像序列输入第一多层感知机，通过第一多层感知机输出样本场景对应的样本符号距离场，以及样本场景中各个样本空间点对应的样本几何特征。
可选的，样本符号距离场表征样本场景中各个样本空间点距离物体表面的距离，样本几何特征可以包括样本空间点的法线信息、深度信息、位置方向信息等等，本申请实施例对此不作限定。
可选的，第一多层感知机中包括一个输入层、一个输出层以及多个隐藏层，且多个隐藏层位于输入层和输出层之间。在本申请实施例中，计算机设备将样本场景对应的样本彩色图像序列输入第一多层感知机，通过第一多层感知机将样本场景中的任意空间点x映射到一个标量s和一个256维的特征向量f上，其中，标量s即为样本空间点x距离最近一个物体表面的距离，即样本符号距离场SDF值；特征向量f即为样本空间点x周围的样本几何特征。
步骤503，基于样本符号距离场以及样本几何特征，通过第二多层感知机得到各个样本空间点对应的颜色值和密度值。
在一种可能的实施方式中，为了提高第一多层感知机输出的准确性，计算机设备可以通过颜色损失对第一多层感知机进行训练，首先，计算机设备可以在第一多层感知机的基础上增加一个第二多层感知机，通过将样本符号距离场以及样本几何特征输入第二多层感知机，得到第二多层感知机输出的各个样本空间点对应的颜色值和密度值，其中，各个空间点的密度值是指光线沿视线方向传播的过程中到达空间点时的密度。
在一种可能的实施方式中，计算机设备将样本符号距离场以及样本几何特征输入第二多层感知机，通过第二多层感知机将样本空间点x的SDF值s以及特征向量f映射为样本空间点x的密度值σ和颜色值c，该过程可以表示为Fc:(x,r,n,f)→(σ,c)，其中，x表示样本空间点，r表示视线方向，n表示样本空间点的法线方向，f为特征向量。
步骤504，基于各个样本空间点对应的颜色值和密度值，确定各个样本彩色图像对应的第二样本渲染图像。
进一步的，计算机设备根据每个样本彩色图像对应的相机位置，基于各个样本空间点对应的颜色值和密度值，进行图像渲染，可以得到各个样本彩色图像对应的第二样本渲染图像。
步骤505，基于样本彩色图像以及第二样本渲染图像，确定样本彩色图像与第二样本渲染图像之间的颜色损失。
在一种可能的实施方式中，计算机设备根据每个相机位置对应的样本彩色图像以及第二样本渲染图像，计算样本彩色图像与第二样本渲染图像之间的颜色损失。
在一种可能的实施方式中，计算机设备可以通过比较样本彩色图像与第二样本渲染图像上各个像素点对应的颜色损失，从而确定出样本彩色图像与第二样本渲染图像之间的颜色损失。
步骤506，基于样本符号距离场以及样本几何特征，确定样本彩色图像对应的第一样本深度图以及第一样本法线图。
在一种可能的实施方式中，考虑到仅仅通过颜色损失对多层感知机进行训练，虽然能够有效地提高三维重建的质量，但是在对室内场景进行三维重建的情况下，由于室内场景中存在大量的弱纹理物体，比如室内场景中存在大面积的墙壁、柜体等等，通过基于颜色损失训练得到的多层感知机输出符号距离场，可能会出现无纹理区域的形状辐射度二义性问题，因此为了提高多层感知机输出的准确性，计算机设备还可以通过深度损失以及法线损失对多层感知机进行训练。
在一种可能的实施方式中，计算机设备根据样本符号距离场以及样本几何特征，可以确定出各个样本空间点对应的深度信息以及法线信息，从而得到每个相机位置处样本彩色图像对应的第一样本深度图以及第一样本法线图。
步骤507，基于样本彩色图像序列，得到样本彩色图像对应的第二样本深度图以及第二样本法线图。
在一种可能的实施方式中，为了计算各个样本彩色图像对应的法线损失以及深度损失，除了根据多层感知机输出的样本符号距离场以及样本几何特征，确定出第一样本深度图以及第一样本法线图，计算机设备还需要确定样本场景对应的相对准确的深度信息和法线信息，从而才能确定出第一样本深度图以及第一样本法线图中存在的深度信息误差以及法线信息误差。
在一种可能的实施方式中，计算机设备可以通过基于多视角图像的三维重建算法，比如Colmap算法，根据输入的样本彩色图像序列，重建出样本场景对应的初始三维模型，从而根据各个相机位置，将初始三维模型反投影到每个样本彩色图像对应的视口，得到各个相机位置处对应的第二样本深度图。
在一种可能的实施方式中，计算机设备还可以根据各个样本彩色图像，通过法线估计算法，从单张样本彩色图像中直接估计出对应的第二样本法线图。
步骤508，基于第一样本深度图以及第二样本深度图，确定样本彩色图像对应的深度损失。
进一步的，在得到各个样本彩色图像对应的第一样本深度图以及第二样本深度图之后，计算机设备根据第一样本深度图以及第二样本深度图，计算确定各个样本彩色图像对应的深度损失，该深度损失表征第一样本深度图中存在的深度信息误差。
步骤509，基于第一样本法线图以及第二样本法线图，确定样本彩色图像对应的法线损失。
进一步的，在得到各个样本彩色图像对应的第一样本法线图以及第二样本法线图之后，计算机设备根据第一样本法线图以及第二样本法线图，计算确定各个样本彩色图像对应的法线损失，该法线损失表征第一样本法线图中存在的法线信息误差。
步骤510，在颜色损失的基础上，基于深度损失和法线损失中的至少一种对第一多层感知机以及第二多层感知机进行训练。
在一种可能的实施方式中，在确定颜色损失、深度损失以及法线损失之后，为了提高多层感知机输出的符号距离场的准确性，计算机设备可以在颜色损失的基础上，基于深度损失和法线损失中的至少一种对第一多层感知机以及第二多层感知机进行训练。
可选的，计算机设备可以基于颜色损失以及深度损失对多层感知机进行训练，也可以基于颜色损失以及法线损失对多层感知机进行训练，还可以基于颜色损失、法线损失以及深度损失对多层感知机进行训练，本申请实施例对此不作具体限定。
上述实施例中，在通过颜色损失对第一多层感知机以及第二多层感知机进行训练的基础上，增加了法线损失和深度损失，从而通过颜色损失以及法线损失和深度损失中的至少一种，对多层感知机进行优化，提高了通过多层感知机确定符号距离场的准确性，尽可能地避免了三维重建过程中存在的形状辐射度二义性问题，提高了三维模型的重建质量。
请参考图6，其示出了本申请一个示例性实施例提供的训练第一多层感知机以及第二多层感知机的流程示意图。
如图6所示，计算机设备将样本场景602对应的样本彩色图像序列601输入第一多层感知机603，通过第一多层感知机603输出各个样本空间点对应的样本几何特征605，以及样本符号距离场604，进一步的，计算机设备将样本符号距离场604以及样本几何特征605输入第二多层感知机606，得到第二多层感知机606输出的各个样本空间点对应的颜色值以及密度值，从而基于各个样本空间点对应的颜色值以及密度值，确定出各个样本彩色图像对应的第二样本渲染图像607，进而根据第二样本渲染图像607以及样本彩色图像序列601，确定出各个样本彩色图像对应的颜色损失。
并且，计算机设备根据第一多层感知机603输出的样本几何特征605以及样本符号距离场604，确定出各个样本彩色图像对应的第一样本法线图608以及第一样本深度图609；根据样本彩色图像序列601，通过深度学习算法确定各个样本彩色图像对应的第二样本法线图610，通过Colmap算法确定初始三维模型，进而基于初始三维模型得到各个样本彩色图像对应的第二样本深度图611，进而计算机设备根据第一样本法线图608以及第二样本法线图610，确定法线损失；根据第一样本深度图609以及第二样本深度图611，确定深度损失，从而计算机设备在颜色损失的基础上，基于法线损失以及深度损失，对第一多层感知机以及第二多层感知机进行训练。
在一种可能的实施方式中，在对多层感知机输出的符号距离场进行细节优化的过程中，为了提高细节优化的准确性，确定出较准确的法线信息误差，计算机设备还可以通过对第三多层感知机进行训练的方式，提高第三多层感知机输出的全局光照信息的准确性。
请参考图7，其示出了本申请一个示例性实施例提供的三维模型的重建方法的流程图，本实施例以该方法用于计算机设备(包括终端120和/或服务器140)为例进行说明，该方法包括如下步骤：
步骤701，将样本符号距离场以及样本几何特征输入第三多层感知机，得到第三多层感知机输出的各个样本空间点对应的样本全局光照信息。
在一种可能的实施方式中，计算机设备将样本符号距离场以及各个样本空间点对应的样本几何特征输入第三多层感知机，通过第三多层感知机输出各个样本空间点对应的样本全局光照信息。
可选的，样本全局光照信息表征各个样本空间点对应的光照效果，既包括样本空间点上的直接照明效果，也包括样本空间点上的间接照明效果。
步骤702，基于样本符号距离场，确定各个样本空间点对应的样本法线信息。
在一种可能的实施方式中，计算机设备可以通过对样本符号距离场进行求导的方式，计算出各个样本空间点对应的样本法线信息。
步骤703，基于样本全局光照信息、样本法线信息以及样本彩色图像对应的视线方向，进行体渲染，得到样本彩色图像对应的第一样本渲染图像。
在一种可能的实施方式中，计算机设备根据各个样本彩色图像对应的视线方向，确定出各个样本彩色图像对应的各个样本空间点，从而根据各个样本空间点对应的样本全局光照信息以及样本法线信息，确定出各个样本空间点对应的颜色值。
进一步的，由于图像上各个像素点呈现出的颜色值和光线照射的方向也有关，因此为了得到较准确的像素点颜色值，计算机设备可以根据样本彩色图像上各个像素点对应的视线方向，对每个视口下第一样本渲染图像对应视线上各个样本空间点对应的颜色值进行积分，从而得到第一样本渲染图像上各个像素点的颜色值，进而计算机设备基于第一样本渲染图像上各个像素点的颜色值，进行图像渲染，得到各个样本彩色图像对应的第一样本渲染图像。
步骤704，基于样本彩色图像以及第一样本渲染图像，确定颜色梯度损失，颜色梯度损失表征样本彩色图像对应的第一颜色梯度与第一样本渲染图像对应的第二颜色梯度之间的差值。
在一种可能的实施方式中，考虑到样本彩色图像对应视线方向上的光线是连续的，即相邻两条光线下各个样本空间点对应的全局光照信息也是连续的，从而反映到第一样本渲染图像上可以表示为相邻两条光线对应到第一样本渲染图像上的像素点之间的颜色梯度，从而计算机设备可以根据第一样本渲染图像对应的第二颜色梯度，以及样本彩色图像对应的第一颜色梯度，确定出颜色梯度损失。
在一种可能的实施方式中，计算机设备在对第一样本渲染图像进行图像渲染的过程中，确定出一条光线，并在该光线周围随机选择一条光线渲染出颜色，从而确定两条光线对应的像素点的颜色差值，该颜色差值即表示第一样本渲染图像对应的第二颜色梯度。
在一种可能的实施方式中，在确定第一样本渲染图像上两个像素点之间的颜色差值之后，计算机设备即可以确定出样本彩色图像上对应的两个像素点之间的颜色差值，该颜色差值即表示样本彩色图像对应的第一颜色梯度。
进一步的，计算机设备基于第一颜色梯度以及第二颜色梯度，确定出颜色梯度损失。
在一种可能的实施方式中，考虑到从一条光线的周围随机选择一条光线的过程较为复杂且耗时，计算机设备还可以采取射线扰动的方式，对颜色梯度进行确定。比如，计算机设备可以首先确定一条光线为ri，并确定出该光线ri在图像上对应的像素点pi，从而在像素点pi的两个像素点邻域内确定出像素点pj，以该像素点pj对应的光线rj作为光线ri的相邻光线。
步骤705，以颜色梯度损失对第三多层感知机进行训练。
进一步的，计算机设备通过样本彩色图像与第一样本渲染图像之间的颜色梯度损失对第三多层感知机进行训练，从而提高第三多层感知机输出的全局光照信息的准确性。
上述实施例中，通过确定第一样本渲染图像与样本彩色图像之间的颜色梯度损失，以该颜色梯度损失对第三多层感知机进行训练，提高了第三多层感知机输出的全局光照信息的准确性，从而在实际应用过程中，计算机设备可以根据渲染图像和彩色图像之间的颜色差值，确定出法线信息差值，并根据法线信息差值对符号距离场进行优化，提高了优化符号距离场的准确性，从而提高了三维模型重建的质量。
请参考图8，其示出了本申请一个示例性实施例提供的训练第三多层感知机的流程示意图。
如图8所示，计算机设备将样本场景对应的样本符号距离场801以及各个样本空间点对应的样本几何特征802输入第三多层感知机803，从而得到各个样本空间点对应的样本全局光照信息805，并通过对样本符号距离场801进行求导，得到各个样本空间点对应的样本法线信息804，进而计算机设备根据样本法线信息804以及样本全局光照信息805，可以得到各个样本空间点对应的颜色值，从而通过对每个视口下第一样本渲染图像806对应视线上各个样本空间点对应的颜色值进行积分，从而得到第一样本渲染图像806上各个像素点的颜色值，进而计算机设备基于各个像素点的颜色值，进行图像渲染，得到各个样本彩色图像807对应的第一样本渲染图像806，从而确定第一样本渲染图像806对应的第二颜色梯度，以及样本彩色图像807对应的第一颜色梯度，根据第一颜色梯度以及第二颜色梯度，确定样本彩色图像807与第一样本渲染图像806之间的颜色梯度损失，从而计算机设备基于颜色梯度损失对第三多层感知机803进行训练。
请参考图9，其示出了本申请一个示例性实施例提供的重建三维模型的网络架构图。
如图9所示，重建三维模型的网络优化架构图可以分为两个阶段，分别为第一阶段和第二阶段。
首先，第一阶段包括通过第一多层感知机确定符号距离场和各个空间点的几何特征，以及通过第二多层感知机确定各个空间点的颜色值和密度值，其中，通过第一多层感知机确定符号距离场和各个空间点的几何特征可以表示为Fg：r(x)→(s，f)，即计算机设备通过第一多层感知机将样本场景中的任意空间点x映射到一个3维标量s和一个256维的特征向量f上，各个空间点x对应的3维标量s即构成目标场景的符号距离场s，特征向量f即表示各个空间点的几何特征，r(x)表示各个空间点对应的视线方向；通过第二多层感知机确定各个空间点的颜色值和密度值可以表示为F_c：(f，x，r(x)，n)→c，即计算机设备通过第二多层感知机确定各个空间点对应的颜色值c，n为各个空间点对应的法线信息。
其次，第二阶段包括通过第三多层感知机确定各个空间点对应的全局光照信息，以及基于全局光照信息和法线信息确定各个空间点的颜色值，其中，通过第三多层感知机确定各个空间点对应的全局光照信息可以表示为(f，x，r(x)，n)→lv，即计算机设备通过第三多层感知机确定各个空间点x对应的全局光照信息lv，进一步的，计算机设备根据全局光照信息lv以及法线信息n，得到各个空间点x对应的颜色值c。
请参考图10，其示出了本申请一个示例性实施例提供的三维模型的重建装置的结构框图，该装置包括：
第一图像获取模块1001，用于获取彩色图像序列，所述彩色图像序列中包含至少两张彩色图像，所述至少两张彩色图像为不同视角下对目标场景进行拍摄得到；
参数确定模块1002，用于基于所述彩色图像序列，确定所述目标场景对应的符号距离场，以及所述目标场景中各个空间点对应的几何特征，其中，所述符号距离场表征所述目标场景中各个空间点距离物体表面的距离；
第一图像确定模块1003，用于基于所述符号距离场以及所述几何特征，确定各个视角下所述彩色图像对应的渲染图像；
优化模块1004，用于基于所述彩色图像与所述渲染图像之间的颜色差异，对所述符号距离场进行细节优化，得到优化后的符号距离场；
重建模块1005，用于基于所述优化后的符号距离场进行三维重建，得到所述目标场景对应的三维模型。
可选的，所述第一图像确定模块1003，用于：
基于所述符号距离场，确定各个空间点对应的法线信息；
基于所述符号距离场以及所述几何特征，通过第三多层感知机得到各个空间点对应的全局光照信息，所述全局光照信息表征各个空间点对应的光照效果；
基于所述法线信息以及所述全局光照信息，确定所述渲染图像上各个像素点对应的颜色值；
基于各个像素点对应的颜色值，进行图像渲染，得到所述渲染图像。
可选的，所述第一图像确定模块1003，还用于：
基于所述法线信息以及所述全局光照信息，进行体渲染，得到各个空间点对应的颜色值；
基于所述渲染图像上各个像素点对应的视线方向，对各个空间点对应的颜色值进行积分，得到各个像素点对应的颜色值。
可选的，所述优化模块1004，用于：
基于所述渲染图像上各个像素点对应的颜色值，以及所述彩色图像上各个像素点对应的颜色值，确定所述渲染图像与所述彩色图像之间的颜色差值；
基于所述颜色差值，确定各个空间点对应的法线信息差值；
基于所述法线信息差值，对所述符号距离场进行细节优化，得到所述优化后的符号距离场。
可选的，所述装置还包括：
信息输出模块，用于将样本符号距离场以及样本几何特征输入所述第三多层感知机，得到所述第三多层感知机输出的各个样本空间点对应的样本全局光照信息；
法线信息确定模块，用于基于所述样本符号距离场，确定各个样本空间点对应的样本法线信息；
体渲染模块，用于基于所述样本全局光照信息、所述样本法线信息以及样本彩色图像对应的视线方向，进行体渲染，得到所述样本彩色图像对应的第一样本渲染图像；
梯度损失确定模块，用于基于所述样本彩色图像以及所述第一样本渲染图像，确定颜色梯度损失，所述颜色梯度损失表征所述样本彩色图像对应的第一颜色梯度与所述第一样本渲染图像对应的第二颜色梯度之间的差值；
第一训练模块，用于以所述颜色梯度损失对所述第三多层感知机进行训练。
可选的，所述梯度损失确定模块，用于：
基于所述第一样本渲染图像，确定所述第二颜色梯度，所述第二颜色梯度表征渲染所述第一样本渲染图像过程中相邻两条光线对应像素点的颜色差值；
基于所述样本彩色图像，确定所述第一颜色梯度，所述第一颜色梯度表征所述样本彩色图像中对应像素点的颜色差值；
基于所述第一颜色梯度以及所述第二颜色梯度，确定所述颜色梯度损失。
可选的，所述参数确定模块1002，用于：
将所述彩色图像序列输入第一多层感知机，得到所述第一多层感知机输出的所述目标场景对应的符号距离场，以及所述目标场景中各个空间点对应的几何特征。
可选的，所述装置还包括：
第二图像获取模块，用于获取样本彩色图像序列，所述样本彩色图像序列中包含至少两张样本彩色图像，所述至少两张样本彩色图像为不同视角下对样本场景进行拍摄得到；
第一参数输出模块，用于将所述样本彩色图像序列输入所述第一多层感知机，得到所述第一多层感知机输出的所述样本场景对应的样本符号距离场，以及所述样本场景中各个样本空间点对应的样本几何特征；
第二参数输出模块，用于基于所述样本符号距离场以及所述样本几何特征，通过第二多层感知机得到各个样本空间点对应的颜色值和密度值。
可选的，所述基于所述样本符号距离场以及所述样本几何特征，通过第二多层感知机得到各个样本空间点对应的颜色值和密度值之后，所述装置还包括：
第二图像确定模块，用于基于各个样本空间点对应的颜色值和密度值，确定各个样本彩色图像对应的第二样本渲染图像；
颜色损失确定模块，用于基于所述样本彩色图像以及所述第二样本渲染图像，确定所述样本彩色图像与所述第二样本渲染图像之间的颜色损失；
第二训练模块，用于在所述颜色损失的基础上，基于深度损失和法线损失中的至少一种对所述第一多层感知机以及所述第二多层感知机进行训练。
可选的，所述基于深度损失和法线损失中的至少一种对所述第一多层感知机以及所述第二多层感知机进行训练之前，所述装置还包括：
第三图像确定模块，用于基于所述样本符号距离场以及所述样本几何特征，确定所述样本彩色图像对应的第一样本深度图以及第一样本法线图；
第四图像确定模块，用于基于所述样本彩色图像序列，得到所述样本彩色图像对应的第二样本深度图以及第二样本法线图；
深度损失确定模块，用于基于所述第一样本深度图以及所述第二样本深度图，确定所述样本彩色图像对应的深度损失；
法线损失确定模块，用于基于所述第一样本法线图以及所述第二样本法线图，确定所述样本彩色图像对应的法线损失。
综上所述，本申请实施例中，在获取目标场景对应的彩色图像序列之后，计算机设备基于彩色图像序列确定出目标场景对应的符号距离场，以及目标场景中各个空间点对应的几何特征，从而根据符号距离场以及几何特征，得到各个视角下彩色图像对应的渲染图像，并通过对彩色图像和渲染图像进行颜色对比，确定出彩色图像与渲染图像之间的颜色差异，从而对符号距离场进行细节优化，得到优化后的符号距离场，再根据优化后的符号距离场进行三维重建，得到目标场景对应的三维模型，采用本申请实施例提供的方案，提高了三维重建的准确性，优化了三维模型的质量。
需要说明的是：上述实施例提供的装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其实现过程详见方法实施例，这里不再赘述。
请参考图11，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备1100包括中央处理单元(Central Processing Unit，CPU)1101、包括随机存取存储器1102和只读存储器1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。所述计算机设备1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)1106，和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
所述基本输入/输出系统1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中所述显示器1108和输入设备1109都通过连接到系统总线1105的输入输出控制器1110连接到中央处理单元1101。所述基本输入/输出系统1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1107通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说，所述大容量存储设备1107可以包括诸如硬盘或者驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括随机存取记忆体(RAM，Random Access Memory)、只读存储器(ROM，Read Only Memory)、闪存或其他固态存储其技术，只读光盘(Compact Disc Read-Only Memory，CD-ROM)、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1101执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1101执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述计算机设备1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1100可以通过连接在所述系统总线1105上的网络接口单元1112连接到网络1111，或者说，也可以使用网络接口单元1112来连接到其他类型的网络或远程计算机系统(未示出)。
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述实施例所述的三维模型的重建方法。
可选地，该计算机可读存储介质可以包括：ROM、RAM、固态硬盘(SSD，Solid StateDrives)或光盘等。其中，RAM可以包括电阻式随机存取记忆体(ReRAM，Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。
本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例所述的三维模型的重建方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种三维模型的重建方法，其特征在于，所述方法包括：
获取彩色图像序列，所述彩色图像序列中包含至少两张彩色图像，所述至少两张彩色图像为不同视角下对目标场景进行拍摄得到；
基于所述彩色图像序列，确定所述目标场景对应的符号距离场，以及所述目标场景中各个空间点对应的几何特征，其中，所述符号距离场表征所述目标场景中各个空间点距离物体表面的距离；
基于所述符号距离场以及所述几何特征，确定各个视角下所述彩色图像对应的渲染图像；
基于所述彩色图像与所述渲染图像之间的颜色差异，对所述符号距离场进行细节优化，得到优化后的符号距离场；
基于所述优化后的符号距离场进行三维重建，得到所述目标场景对应的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述符号距离场以及所述几何特征，确定各个视角下所述彩色图像对应的渲染图像，包括：
基于所述符号距离场，确定各个空间点对应的法线信息；
基于所述符号距离场以及所述几何特征，通过第三多层感知机得到各个空间点对应的全局光照信息，所述全局光照信息表征各个空间点对应的光照效果；
基于所述法线信息以及所述全局光照信息，确定所述渲染图像上各个像素点对应的颜色值；
基于各个像素点对应的颜色值，进行图像渲染，得到所述渲染图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述法线信息以及所述全局光照信息，确定所述渲染图像上各个像素点对应的颜色值，包括：
基于所述法线信息以及所述全局光照信息，进行体渲染，得到各个空间点对应的颜色值；
基于所述渲染图像上各个像素点对应的视线方向，对各个空间点对应的颜色值进行积分，得到各个像素点对应的颜色值。
4.根据权利要求2所述的方法，其特征在于，所述基于所述彩色图像与所述渲染图像之间的颜色差异，对所述符号距离场进行细节优化，得到优化后的符号距离场，包括：
基于所述渲染图像上各个像素点对应的颜色值，以及所述彩色图像上各个像素点对应的颜色值，确定所述渲染图像与所述彩色图像之间的颜色差值；
基于所述颜色差值，确定各个空间点对应的法线信息差值；
基于所述法线信息差值，对所述符号距离场进行细节优化，得到所述优化后的符号距离场。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将样本符号距离场以及样本几何特征输入所述第三多层感知机，得到所述第三多层感知机输出的各个样本空间点对应的样本全局光照信息；
基于所述样本符号距离场，确定各个样本空间点对应的样本法线信息；
基于所述样本全局光照信息、所述样本法线信息以及样本彩色图像对应的视线方向，进行体渲染，得到所述样本彩色图像对应的第一样本渲染图像；
基于所述样本彩色图像以及所述第一样本渲染图像，确定颜色梯度损失，所述颜色梯度损失表征所述样本彩色图像对应的第一颜色梯度与所述第一样本渲染图像对应的第二颜色梯度之间的差值；
以所述颜色梯度损失对所述第三多层感知机进行训练。
6.根据权利要求5所述的方法，其特征在于，所述基于所述样本彩色图像以及所述第一样本渲染图像，确定颜色梯度损失，包括：
基于所述第一样本渲染图像，确定所述第二颜色梯度，所述第二颜色梯度表征渲染所述第一样本渲染图像过程中相邻两条光线对应像素点的颜色差值；
基于所述样本彩色图像，确定所述第一颜色梯度，所述第一颜色梯度表征所述样本彩色图像中对应像素点的颜色差值；
基于所述第一颜色梯度以及所述第二颜色梯度，确定所述颜色梯度损失。
7.根据权利要求1所述的方法，其特征在于，所述基于所述彩色图像序列，确定所述目标场景对应的符号距离场，以及所述目标场景中各个空间点对应的几何特征，包括：
将所述彩色图像序列输入第一多层感知机，得到所述第一多层感知机输出的所述目标场景对应的符号距离场，以及所述目标场景中各个空间点对应的几何特征。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
获取样本彩色图像序列，所述样本彩色图像序列中包含至少两张样本彩色图像，所述至少两张样本彩色图像为不同视角下对样本场景进行拍摄得到；
将所述样本彩色图像序列输入所述第一多层感知机，得到所述第一多层感知机输出的所述样本场景对应的样本符号距离场，以及所述样本场景中各个样本空间点对应的样本几何特征；
基于所述样本符号距离场以及所述样本几何特征，通过第二多层感知机得到各个样本空间点对应的颜色值和密度值。
9.根据权利要求8所述的方法，其特征在于，所述基于所述样本符号距离场以及所述样本几何特征，通过第二多层感知机得到各个样本空间点对应的颜色值和密度值之后，所述方法还包括：
基于各个样本空间点对应的颜色值和密度值，确定各个样本彩色图像对应的第二样本渲染图像；
基于所述样本彩色图像以及所述第二样本渲染图像，确定所述样本彩色图像与所述第二样本渲染图像之间的颜色损失；
在所述颜色损失的基础上，基于深度损失和法线损失中的至少一种对所述第一多层感知机以及所述第二多层感知机进行训练。
10.根据权利要求9所述的方法，其特征在于，所述基于深度损失和法线损失中的至少一种对所述第一多层感知机以及所述第二多层感知机进行训练之前，所述方法还包括：
基于所述样本符号距离场以及所述样本几何特征，确定所述样本彩色图像对应的第一样本深度图以及第一样本法线图；
基于所述样本彩色图像序列，得到所述样本彩色图像对应的第二样本深度图以及第二样本法线图；
基于所述第一样本深度图以及所述第二样本深度图，确定所述样本彩色图像对应的深度损失；
基于所述第一样本法线图以及所述第二样本法线图，确定所述样本彩色图像对应的法线损失。
11.一种三维模型的重建装置，其特征在于，所述装置包括：
第一图像获取模块，用于获取彩色图像序列，所述彩色图像序列中包含至少两张彩色图像，所述至少两张彩色图像为不同视角下对目标场景进行拍摄得到；
参数确定模块，用于基于所述彩色图像序列，确定所述目标场景对应的符号距离场，以及所述目标场景中各个空间点对应的几何特征，其中，所述符号距离场表征所述目标场景中各个空间点距离物体表面的距离；
第一图像确定模块，用于基于所述符号距离场以及所述几何特征，确定各个视角下所述彩色图像对应的渲染图像；
优化模块，用于基于所述彩色图像与所述渲染图像之间的颜色差异，对所述符号距离场进行细节优化，得到优化后的符号距离场；
重建模块，用于基于所述优化后的符号距离场进行三维重建，得到所述目标场景对应的三维模型。
12.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如权利要求1至10任一所述的三维模型的重建方法。
13.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如权利要求1至10任一所述的三维模型的重建方法。
14.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；电子设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述电子设备实现如权利要求1至10任一所述的三维模型的重建方法。
CN202310315796.9A 2023-03-16 2023-03-16 三维模型的重建方法、装置、设备及存储介质 Pending CN117218278A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310315796.9A CN117218278A (zh) 2023-03-16 2023-03-16 三维模型的重建方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310315796.9A CN117218278A (zh) 2023-03-16 2023-03-16 三维模型的重建方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117218278A true CN117218278A (zh) 2023-12-12

Family

ID=89044953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310315796.9A Pending CN117218278A (zh) 2023-03-16 2023-03-16 三维模型的重建方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117218278A (zh)

Similar Documents

Publication Publication Date Title
CN111369681B (zh) 三维模型的重构方法、装置、设备及存储介质
CN111161349B (zh) 物体姿态估计方法、装置与设备
CN111753698A (zh) 一种多模态三维点云分割系统和方法
JP7452698B2 (ja) 画像間の空間的関係をラベリングする強化学習モデル
US11804043B2 (en) Detecting objects in a video using attention models
CN113850900B (zh) 三维重建中基于图像和几何线索恢复深度图的方法及系统
CN112132770A (zh) 图像修复的方法、装置、计算机可读介质及电子设备
CN116051699B (zh) 动捕数据的处理方法、装置、设备及存储介质
CN115222917A (zh) 三维重建模型的训练方法、装置、设备及存储介质
CN117456128A (zh) 三维重建方法、装置、设备及存储介质
CN116391206A (zh) 采用神经渲染的立体表演捕获
CN116797768A (zh) 全景图像减少现实的方法和装置
CN114494395A (zh) 基于平面先验的深度图生成方法、装置、设备及存储介质
US20240161391A1 (en) Relightable neural radiance field model
CN114820755B (zh) 一种深度图估计方法及系统
CN110852939A (zh) 一种基于二维对象和相关关系的三维布局预测方法及系统
CN116258756A (zh) 一种自监督单目深度估计方法及系统
US20220180548A1 (en) Method and apparatus with object pose estimation
CN112862840B (zh) 图像分割方法、装置、设备及介质
CN117218278A (zh) 三维模型的重建方法、装置、设备及存储介质
CN112541535B (zh) 基于互补的多分支深度学习进行三维点云分类方法
KR20220155067A (ko) 3차원 지도 정보를 이용한 의미론적 분할 방법 및 시스템
CN112463936A (zh) 一种基于三维信息的视觉问答方法及系统
CN116228994B (zh) 三维模型获取方法、装置、设备及存储介质
Li Convolutional Neural Network‐Based Virtual Reality Real‐Time Interactive System Design for Unity3D

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication