CN116246023A - 三维模型重建方法、装置、设备、存储介质及程序产品 - Google Patents

三维模型重建方法、装置、设备、存储介质及程序产品 Download PDF

Info

Publication number
CN116246023A
CN116246023A CN202310222431.1A CN202310222431A CN116246023A CN 116246023 A CN116246023 A CN 116246023A CN 202310222431 A CN202310222431 A CN 202310222431A CN 116246023 A CN116246023 A CN 116246023A
Authority
CN
China
Prior art keywords
sphere
sampling
network
color
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310222431.1A
Other languages
English (en)
Inventor
张永强
徐文婷
丁京祯
赵超逸
赵敏达
赵增
李林橙
刘柏
范长杰
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202310222431.1A priority Critical patent/CN116246023A/zh
Publication of CN116246023A publication Critical patent/CN116246023A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种三维模型重建方法、装置、设备、存储介质及程序产品，方法包括：获取待重建三维模型的图像，得到模型特征；将模型特征归一化到单位球内，通过球内采样点和球外采样点采样；基于符号距离网络和球内颜色预测网络处理球内采样点，基于神经辐射网络处理球外采样点，以训练符号距离网络、球内颜色预测网络和神经辐射网络，用于重建待重建三维模型。本公开将采样点分为球内采样点和球外采样点并分别处理，相较于对于所有采样点进行相同处理，减少了数据处理的冗余，提高了三维模型重建的效率。

Description

三维模型重建方法、装置、设备、存储介质及程序产品
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种三维模型重建方法、装置、设备、存储介质及程序产品。
背景技术
本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
三维场景的渲染与重建是利用场景的多视角图像信息提取出场景和物体的三维信息，渲染出特定观测视角的场景图像和重建出三维场景的结构模型，是计算机视觉中的一个重要内容。基于深度学习的三维重建主要使用了深度神经网络的学习和拟合能力，对图像进行三维重建。
然而，现有技术中的三维模型重建方案存在处理过程冗余的问题，因而导致三维模型重建效率较低。
发明内容
有鉴于此，本公开的目的在于提出一种三维模型重建方法、装置、设备、存储介质及程序产品，至少在一定程度上解决相关技术中的技术问题之一。
基于上述目的，本公开示例性实施例第一方面提供了一种三维模型重建方法，包括：
获取待重建三维模型的图像，根据所述图像得到所述待重建三维模型的模型特征；
将所述模型特征归一化到单位球内，对归一化的模型特征进行采样，其中，进行所述采样的采样点被所述单位球分割为球内采样点和球外采样点；
基于预先构建的符号距离网络和球内颜色预测网络对所述球内采样点进行处理，基于预先构建的神经辐射网络对所述球外采样点进行处理，得到所述采样点的体密度和预测颜色；
根据所述体密度，得到所述采样点的渲染权重，根据所述渲染权重、所述预测颜色和所述采样点之间的距离，渲染得到所述图像中目标像素点的渲染颜色，根据所述渲染颜色和所述目标像素点的真实颜色，基于预设的损失函数，训练所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络；
基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型。
基于同一发明构思，本公开示例性实施例第二方面提供了一种三维模型重建装置，包括：
模型特征获取模块，被配置为获取待重建三维模型的图像，根据所述图像得到所述待重建三维模型的模型特征；
模型特征采样模块，被配置为将所述模型特征归一化到单位球内，对归一化的模型特征进行采样，其中，进行所述采样的采样点被所述单位球分割为球内采样点和球外采样点；
信息预测模块，被配置为基于预先构建的符号距离网络和球内颜色预测网络对所述球内采样点进行处理，基于预先构建的神经辐射网络对所述球外采样点进行处理，得到所述采样点的体密度和预测颜色；
网络训练模块，被配置为根据所述体密度，得到所述采样点的渲染权重，根据所述渲染权重、所述预测颜色和所述采样点之间的距离，渲染得到所述图像中目标像素点的渲染颜色，根据所述渲染颜色和所述目标像素点的真实颜色，基于预设的损失函数，训练所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络；
三维模型重建模块，被配置为基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型。
基于同一发明构思，本公开示例性实施例第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的方法。
基于同一发明构思，本公开示例性实施例第四方面提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如第一方面所述方法。
基于同一发明构思，本公开示例性实施例第五方面提供了一种计算机程序产品，其特征在于，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如第一方面所述的方法。
从上面所述可以看出，本公开实施例提供的三维模型重建方法、装置、设备、存储介质及程序产品，方法包括：获取待重建三维模型的图像，根据图像得到待重建三维模型的模型特征；将模型特征归一化到单位球内，对归一化的模型特征进行采样，其中，进行采样的采样点被单位球分割为球内采样点和球外采样点；基于预先构建的符号距离网络和球内颜色预测网络对球内采样点进行处理，基于预先构建的神经辐射网络对球外采样点进行处理，得到采样点的体密度和预测颜色；根据体密度，得到采样点的渲染权重，根据渲染权重、预测颜色和采样点之间的距离，渲染得到图像中目标像素点的渲染颜色，根据渲染颜色和目标像素点的真实颜色，基于预设的损失函数，训练符号距离网络、球内颜色预测网络和神经辐射网络；基于训练后的符号距离网络、球内颜色预测网络和神经辐射网络，重建待重建三维模型。本公开将采样点分为球内采样点和球外采样点并分别处理，相较于相关技术中对于所有采样点进行相同处理，减少了数据处理的冗余，提高了三维模型重建的效率。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的三维模型重建方法的一种应用场景示意图；
图2为本公开实施例提供的三维模型重建方法的一种流程示意图；
图3为本公开实施例提供的三维模型重建装置的一种结构示意图；
图4为本公开实施例提供的电子设备的一种结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。
如背景技术部分所述，三维场景的渲染与重建是利用场景的多视角图像信息提取出场景和物体的三维信息，渲染出特定观测视角的场景图像和重建出三维场景的结构模型，是计算机视觉中的一个重要研究课题。基于深度学习的三维重建主要使用了深度神经网络的学习和拟合能力，对RGB或RGBD图像进行三维重建。对于当前的三维场景重建业务需求场景，要求输出高质量3D mesh与纹理贴图，同时保证建模的时效性与批处理能力。
相关技术中，通常基于神经辐射场(NeRF)的进行渲染，其中将三维场景隐式地存储在神经网络中，只需要输入相机位姿即可获得不同视角的2D图像。然而基于NeRF的三维场景重建需要对每个物体进行单独训练，而每次训练都需耗时10个小时以上，无法适应业务场景中大规模批量生产高质量3D mesh的需求。
另外，相关技术中提出一种多视角渲染加速方法：Instant-NGP，其通过在编码时引入多分辨率哈希编码，降低训练学习难度，从而可以使用更小的MLP，达到加快收敛的效果。此外，Instant-NGP还使用了自研的tiny-cuda-nn框架，使用CUDA进行加速。然而，虽然Instant-NGP能快速合成高质量的2D视角图像，但只能提取非常粗糙的3D mesh和纹理。
本公开的发明人发现，Instant-NGP擅长快速合成高质量2D视角图像，但只能提取非常粗糙的3D Mesh与纹理，相反，NeuS显著提升了Mesh与纹理质量，更加符合的三维重建业务需求，但存在问题是训练非常耗时。
进一步的，发明人研究发现，在三维场景的渲染与重建中，相关技术通常使用PyTorch框架，PyTorch是一个python优先的深度学习框架。PyTorch基于输入场景的新视角，生成3D场景的真实渲染，其利用神经网络与可微分渲染，重建3D场景表面的隐式形态，这使得仅依靠2D视图就可以学习3D场景中的几何形状。其中需要几个关键组件，包括数据卷的抽象类(abstractionforvolumedata)以及可微分的隐式形状渲染器。PyTorch为用户提供了一系列常用的3D算子(3D operators)和损失函数，以及一个模块化、可微分的渲染API。在指出核心可重用组件的同时，也提供了这些组件经验证的、标准化实现方法。
具体的，PyTorch框架需要对模型和背景均进行处理，针对模型使用SDF技术进行处理，针对背景使用NeRF技术进行处理，且二者在进行采样时，通常基于相同的采样射线，然而，其没有区分采样射线上的采样点，对于所有的采样点，既使用SDF技术进行处理，又使用NeRF进行处理，在处理后，再对于处理结果进行筛选和舍弃，其中，存在部分冗余计算。
此外，相关技术在实施NeuS技术时，由于Instant-NGP的上述不足，并没有使用CUDA进行加速渲染，使得训练速度较慢。
为了解决上述问题，本公开提供了一种三维模型的重建方案，具体包括：将NeuS作为基线，提出了一种去除NeuS训练过程中球外SDF与球内NeRF计算的加速方法，同时提出一种新的把SDF转化为体密度的方法，进一步结合Instant-NGP对渲染进行了CUDA加速优化。通过这些改进，可以在达到较高精度的同时极大的提升训练速度。
在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。
参考图1，其为本公开实施例提供的三维模型重建方法的一种应用场景示意图。该应用场景包括终端设备101、服务器102和数据存储系统103。其中，终端设备101、服务器102以及数据存储系统103之间均可通过有线或无线的通信网络连接。终端设备101包括但不限于桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备、个人数字助理(personal digital assistant，PDA)或其它能够实现上述功能的电子设备等。服务器102和数据存储系统103均可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
服务器102用于向终端设备101的用户提供三维模型重建服务，终端设备101中安装有与服务器102通信的客户端，用户可通过该客户端输入待重建三维模型的二维图像，客户端将待重建三维模型的二维图像发送给服务器102，服务器102根据图像得到待重建三维模型的模型特征；将模型特征归一化到单位球内，对归一化的模型特征进行采样，其中，进行采样的采样点被单位球分割为球内采样点和球外采样点；基于预先构建的符号距离网络和球内颜色预测网络对球内采样点进行处理，基于预先构建的神经辐射网络对球外采样点进行处理，得到采样点的体密度和预测颜色；根据体密度，得到采样点的渲染权重，根据渲染权重、预测颜色和采样点之间的距离，渲染得到图像中目标像素点的渲染颜色，根据渲染颜色和目标像素点的真实颜色，基于预设的损失函数，训练符号距离网络、球内颜色预测网络和神经辐射网络；基于训练后的符号距离网络、球内颜色预测网络和神经辐射网络，重建待重建三维模型，将重建三维模型发送给客户端，客户端向用户展示重建三维模型。
数据存储系统103中存储有环绕待重建三维模型拍摄的多视角图像，服务器102可基于符号距离网络、球内颜色预测网络和神经辐射网络与多视角图像进行自监督训练。当训练精度达到一定要求时，服务器102可基于符号距离网络、球内颜色预测网络和神经辐射网络向用户提供三维模型的重建服务，同时，服务器102还可以基于该待重建三维模型新增视角的训练数据不断优化三维重建模型。
下面结合图1的应用场景，来描述根据本公开示例性实施方式的三维模型重建方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
参考图2，三维模型重建方法，包括以下步骤：
步骤S210、获取待重建三维模型的图像，根据所述图像得到所述待重建三维模型的模型特征。
在一些实施例中，所述图像包括若干不同采集角度的图像。
可选的，通过相机(或者其他能够实现图像采集功能的设备)对待重建三维模型进行环绕拍摄，得到待重建三维模型的各个采集角度的图像。
可选的，对所述图像进行去畸变，得到去畸变后的图像序列。
其中，考虑到环绕拍摄得到的每相邻两个图像之间存在部分重叠的图像内容，因此，对图像进行去畸变。
在一些实施例中，所述根据所述图像得到所述待重建三维模型的模型特征，包括：
获取所述图像中的感兴趣区域(region of interest,ROI)，从所述感兴趣区域中获取所述待重建三维模型的模型特征。
可选的，所述感兴趣区域为包围所述待重建三维模型的最小边界框。
可选的，所述边界框可以为矩形、圆形以及不规则多边形。
其中，由于场景中存在背景或者其他三维模型，本公开通过边界框从场景图像中选择待重建三维模型所在的区域作为感兴趣区域，将感兴趣区域作为后续图像处理的重点，可以减少处理时间，同时增加处理精度。
步骤S220、将所述模型特征归一化到单位球内，对归一化的模型特征进行采样，其中，进行所述采样的采样点被所述单位球分割为球内采样点和球外采样点。
在一些实施例中，所述对归一化的模型特征进行采样，包括：
获取所述图像对应的相机位姿，根据所述相机位姿得到所述图像对应的采样射线；
基于所述采样射线对所述归一化的模型特征进行采样，其中，所述采样点在所述采样射线上。
可选的，根据图像进行位姿估计，得到图像对应的相机位姿。
其中，相机位姿为相机外参数。其中，相机内参数是与相机自身特性相关的参数，比如相机的焦距和像素大小等；相机外参数是在世界坐标系中的参数，比如相机的位置和旋转方向等。
可选的，通过sfm(Structure from motion)算法，根据图像进行位姿估计，得到图像对应的相机位姿。
其中，通过sfm算法，可以得到模型的三维点与相机/图像的对应关系，三维点的个数是百万级别的，相机/图像的个数是几千级别的，同一个三维点会在多个图像中成像，同一个图像中可能包含多个三维点。
可选的，采样射线为由图像对应的相机指向相应像素的射线。
可选的，根据相机位姿和焦距，以及图像的各个像素在图像中的二维坐标，可以确定图像中的各个像素在空间中的位置，即三维坐标。进一步地，通过将相机的位置(即相机的三维坐标)与像素的位置(即像素的三维坐标)相连，即可得到该像素对应的射线。
可选的，在采样射线上设置若干采样点。
可选的，对每条采样射线均匀采样X个点作为粗采样点，利用这组均匀的粗采样点根据其符号距离(Signed Distance Function，SDF)值进行进一步细采样，进一步采样2X个点，通过这种采样方式，相较于完全随机采样可以有效提高采样速度。
可选的，根据采样点与球心之间的距离，将采样点分为球内采样点和球外采样点。
步骤S230、基于预先构建的符号距离网络和球内颜色预测网络对所述球内采样点进行处理，基于预先构建的神经辐射网络对所述球外采样点进行处理，得到所述采样点的体密度和预测颜色。
在一些实施例中，符号距离网络、球内颜色预测网络和神经辐射网络均为多层感知器(Multilayer Perceptron,MLP)。
在一些实施例中，所述基于预先构建的符号距离网络和球内颜色预测网络对所述球内采样点进行处理，基于预先构建的神经辐射网络对所述球外采样点进行处理，得到所述采样点的体密度和预测颜色，包括：
根据所述球内采样点的位置，基于所述符号距离网络，得到所述球内采样点的符号距离、法向量和特征编码，根据所述符号距离和法向量，得到所述球内采样点的体密度；
根据所述球内采样点的位置、法向量和特征编码以及所述采样射线的方向，基于所述球内颜色预测网络，得到所述球内采样点的预测颜色；
根据所述球外采样点的位置和所述采样射线的方向，基于所述神经辐射网络，得到所述球外采样点的体密度和预测颜色。
在一些实施例中，所述根据所述符号距离和法向量，得到所述球内采样点的体密度，包括：
获取所述法向量与所述采样射线的方向的夹角余弦值；
基于拉普拉斯累积分布函数，根据所述符号距离和所述夹角余弦值得到所述球内采样点的体密度。
可选的，在基于拉普拉斯累积分布函数，根据所述符号距离得到所述球内采样点的体密度的过程中，将所述夹角余弦值的绝对值作为权重参数，。
其中，符号距离到体密度σ(sdf)的转换公式如下：
Figure BDA0004120649020000081
其中，β>0为可学习的参数,cosθ为该球内采样点符号距离函数对应的法向量与采样射线的夹角余弦值的绝对值。
其中，与相关技术不同的是，本公开在计算采样点的符号距离值时，仅计算球内采样点的符号距离值，而不计算球外采样点的符号距离值，通过去除球外采样点的符号距离值计算，可以节省计算量，从而提高训练速度并降低资源消耗。
在一些实施例中，所述神经辐射网络中包括体密度网络和球外颜色预测网络，
所述根据所述球外采样点的位置和所述采样射线的方向，基于所述神经辐射网络，得到所述球外采样点的体密度和预测颜色，包括：
根据所述球外采样点的位置，基于所述体密度网络，得到所述球外采样点的体密度和特征编码；
根据所述球外采样点的位置和特征编码以及所述采样射线的方向，得到所述球外采样点的预测颜色。
在一些实施例中，体密度网络和球外颜色预测网络均为多层感知器。
其中，与相关技术不同的是，本公开在计算采样点的辐射神经值时，仅计算球外采样点的辐射神经值，而不计算球内采样点的辐射神经值，通过去除球内采样点的辐射神经值计算，可以节省计算量，从而提高训练速度并降低资源消耗。
步骤S240、根据所述体密度，得到所述采样点的渲染权重，根据所述渲染权重、所述预测颜色和所述采样点之间的距离，渲染得到所述图像中目标像素点的渲染颜色，根据所述渲染颜色和所述目标像素点的真实颜色，基于预设的损失函数，训练所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络。
在一些实施例中，所述根据所述体密度，得到所述采样点的渲染权重，包括：
对于同一采样射线上的所述采样点，根据所述球内采样点的体密度，基于积分计算，得到所述球内采样点的渲染权重；
根据所述球外采样点的体密度，基于积分计算，得到所述球外采样点的渲染权重。
其中，对于一条采样射线，根据采样射线上的采样点之间的距离以及采样点的体密度，可以通过积分计算，得到采样射线投射到图片上的像素值。相应的，根据采样射线上的采样点的体密度和采样射线投射到图片上的像素值，可以得到采样射线上采样点的分布情况，即采样点用于渲染时的渲染权重。
在一些实施例中，所述根据所述渲染权重、所述预测颜色和所述采样点之间的距离，渲染得到所述图像中目标像素点的渲染颜色，包括：
对于同一所述采样射线上的所述采样点，根据所述渲染权重、所述预测颜色和所述采样点之间的距离，基于所述球内采样点进行球内颜色渲染和基于所述球外采样点进行球外颜色渲染，得到球内渲染颜色和球外渲染颜色；
对所述球内渲染颜色和所述球外渲染颜色进行加权，得到所述采样射线的渲染颜色；
将所述采样射线的渲染颜色作为所述采样射线在所述图像中对应的所述目标像素点的渲染颜色。
作为一个示例，球内部分渲染结果包括RGB值与球内总权重W；
球外部分渲染结果为RGB值；
则，射线渲染结果为：球内RGB+(1-W)*球外RGB。
相关技术中，例如基准方法NeuS、NeRF、Instant-NGP均是在一条射线上统一体渲染；与之不同的是，本公开分别进行球内部分的体渲染，球外部分的体渲染，然后加权得到最终渲染结果，其优势在于，可以加速渲染。
在一些实施例中，利用Instant-NGP引擎中的CUDA(Compute Unified DeviceArchitecture,统一计算设备架构)体渲染框架实施上述实施例所述的渲染过程。
其中，在进行体渲染时，要获取每条采样射线的采样点的颜色积分得到最终渲染结果，可选的，利用GPU的多线程并行计算能力，能够同时处理数千条射线的积分计算，且能够应对每条射线上采样点数量不定的情况，从而更加灵活和快速的完成整个体渲染的过程。
相关技术中，通常通过标准python版体渲染框架(PyTorch框架)进行渲染，受限于PyTorch框架本身具有的模块化的特点，其只能对于一条采样射线的全部进行渲染；与之不同的是，本公开利用Instant-NGP引擎中的CUDA体渲染框架进行渲染，可以对一条采样射线的部分(球内或者球外)分别进行渲染，可以实现渲染的加速。
在一些实施例中，所述根据所述渲染颜色和所述目标像素点的真实颜色，基于预设的损失函数，训练所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，包括：
基于所述损失函数计算所述渲染颜色和所述真实颜色之间的差距；
根据所述差距，基于反向传播，训练所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络。
步骤S250、基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型。
在一些实施例中，所述基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型，包括：
获取所述待重建三维模型的体素分辨率；
根据所述模型特征和所述体素分辨率，利用等值面提取算法，基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型。
其中，体素网格是用固定大小的立方块作为最小单元，来表示三维物体的一种数据结构，所述体素分辨率为立方块的大小。
在一些实施例中，根据所述模型特征和所述体素分辨率，利用等值面提取算法，基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型，包括：
根据所述模型特征和所述体素分辨率，得到所述待重建三维模型的三维体素；
根据所述三维体素，基于训练后的所述符号距离网络，得到所述三维体素的符号距离；
根据所述符号距离，得到所述三维体素的顶点标量值；
根据所述顶点标量值得到与预设的等值面相交的所述三维体素，并在所述三维体素与所述等值面的相交位置生成三角面，连接所述等值面边界上的所有所述三角面，得到所述重建三维模型的表面；
基于训练后的所述球内颜色预测网络和所述神经辐射网络，得到所述重建三维模型的颜色。
可选的，根据所述体素分辨率构建体素网格，根据所述感兴趣区域在所述体素网格中构建边界框，对所述体素网格中所述边界框内的三维体素进行采样，得到待重建三维模型的三维体素。
其中，体素网格是用固定大小的立方块作为最小单元，来表示三维物体的一种数据结构，所述体素分辨率为立方块的大小。
其中，所述感兴趣区域为包围所述待重建三维模型的最小边界框。
可选的，所有所述三维体素的符号距离，构成待重建三维模型的符号距离场。
其中，在SDF函数能够表示物体的基础上，用神经网络来拟合这个SDF函数，从而实现用神经网络隐式的表示这个物体，并且由于神经网络的万能拟合性质，原则上来说能够表示任意连续的、任意复杂形状的物体，可以表示一整类形状。
其中，待重建三维模型的符号距离场是待重建三维模型的几何拓扑表示。待重建三维模型的符号距离场包括所有三维体素的符号距离值。符号距离值用于指示相应三维体素与待重建三维模型的位置关系以及相应三维体素到待重建三维模型表面的最短距离。
可选的，三维体素与待重建三维模型的位置关系可以通过正负号来表示，例如，三维体素的符号距离值为正数，表示该三维体素位于待重建三维模型的外部，三维体素的符号距离值为负数，表示该三维体素位于待重建三维模型的内部，三维体素的符号距离值为零，表示该三维体素位于待重建三维模型的表面上。
其中，所述三角面，将所述三维体素切分为所述等值面外的区域和所述等值面内的区域。
其中，等值面中的值为符号距离值。
可选的，由于三维体素的符号距离值为零，表示该三维体素位于待重建三维模型的表面上，等值面的值为零。
在一些实施例中，将符号距离网络、球内颜色预测网络和神经辐射网络封装为三维模型重建模型。
从上面所述可以看出，本公开实施例提供的三维模型重建方法，包括：获取待重建三维模型的图像，得到模型特征；将模型特征归一化到单位球内，通过球内采样点和球外采样点采样；基于符号距离网络和球内颜色预测网络处理球内采样点，基于神经辐射网络处理球外采样点，以训练符号距离网络、球内颜色预测网络和神经辐射网络，用于重建待重建三维模型。本公开将采样点分为球内采样点和球外采样点并分别处理，相较于对于所有采样点进行相同处理，减少了数据处理的冗余，提高了三维模型重建的效率。
在一些实施例中，在根据渲染权重、预测颜色和采样点之间的距离，渲染得到图像中目标像素点的渲染颜色的过程中，利用Instant-NGP引擎中的CUDA体渲染框架进行渲染，进一步提高了三维模型重建的效率。
另外，经过仿真试验，在应用本公开提供的方案，去除球外SDF计算与球内NeRF计算后，计算单步训练总耗时，本公开可以将单步训练速度提升2倍，在利用Instant-NGP引擎中的CUDA体渲染框架进行渲染加速后，可以进一步将速度提升15％。
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种三维模型重建装置。
参考图3，三维模型重建装置，包括：
模型特征获取模块310，被配置为获取待重建三维模型的图像，根据所述图像得到所述待重建三维模型的模型特征；
模型特征采样模块320，被配置为将所述模型特征归一化到单位球内，对归一化的模型特征进行采样，其中，进行所述采样的采样点被所述单位球分割为球内采样点和球外采样点；
信息预测模块330，被配置为基于预先构建的符号距离网络和球内颜色预测网络对所述球内采样点进行处理，基于预先构建的神经辐射网络对所述球外采样点进行处理，得到所述采样点的体密度和预测颜色；
网络训练模块340，被配置为根据所述体密度，得到所述采样点的渲染权重，根据所述渲染权重、所述预测颜色和所述采样点之间的距离，渲染得到所述图像中目标像素点的渲染颜色，根据所述渲染颜色和所述目标像素点的真实颜色，基于预设的损失函数，训练所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络；
三维模型重建模块350，被配置为基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型。
在一些实施例中，网络训练模块340，被配置为：
利用Instant-NGP引擎中的CUDA体渲染框架进行所述渲染。
在一些实施例中，网络训练模块340，被配置为：
对于同一所述采样射线上的所述采样点，根据所述渲染权重、所述预测颜色和所述采样点之间的距离，基于所述球内采样点进行球内颜色渲染和基于所述球外采样点进行球外颜色渲染，得到球内渲染颜色和球外渲染颜色；
对所述球内渲染颜色和所述球外渲染颜色进行加权，得到所述采样射线的渲染颜色；
将所述采样射线的渲染颜色作为所述采样射线在所述图像中对应的所述目标像素点的渲染颜色。
在一些实施例中，信息预测模块330，被配置为：
根据所述球内采样点的位置，基于所述符号距离网络，得到所述球内采样点的符号距离、法向量和特征编码，根据所述符号距离和法向量，得到所述球内采样点的体密度；
根据所述球内采样点的位置、法向量和特征编码以及所述采样射线的方向，基于所述球内颜色预测网络，得到所述球内采样点的预测颜色；
根据所述球外采样点的位置和所述采样射线的方向，基于所述神经辐射网络，得到所述球外采样点的体密度和预测颜色。
在一些实施例中，信息预测模块330，被配置为：
获取所述法向量与所述采样射线的方向的夹角余弦值；
基于拉普拉斯累积分布函数，根据所述符号距离和所述夹角余弦值，得到所述球内采样点的体密度。
在一些实施例中，所述神经辐射网络中包括体密度网络和球外颜色预测网络，信息预测模块330，被配置为：
根据所述球外采样点的位置，基于所述体密度网络，得到所述球外采样点的体密度和特征编码；
根据所述球外采样点的位置和特征编码以及所述采样射线的方向，得到所述球外采样点的预测颜色。
在一些实施例中，网络训练模块340，被配置为：
对于同一采样射线上的所述采样点，根据所述球内采样点的体密度，基于积分计算，得到所述球内采样点的渲染权重；
根据所述球外采样点的体密度，基于积分计算，得到所述球外采样点的渲染权重。
在一些实施例中，网络训练模块340，被配置为：
基于所述损失函数计算所述渲染颜色和所述真实颜色之间的差距；
根据所述差距，基于反向传播，训练所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络。
在一些实施例中，模型特征采样模块320，被配置为：
获取所述图像对应的相机位姿，根据所述相机位姿得到所述图像对应的采样射线；
基于所述采样射线对所述归一化的模型特征进行采样，其中，所述采样点在所述采样射线上。
在一些实施例中，模型特征获取模块310，被配置为：
获取所述图像中的感兴趣区域，从所述感兴趣区域中获取所述待重建三维模型的模型特征。
在一些实施例中，三维模型重建模块350，被配置为：
获取所述待重建三维模型的体素分辨率；
根据所述模型特征和所述体素分辨率，利用等值面提取算法，基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的三维模型重建方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的三维模型重建方法。
图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的三维模型重建方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的三维模型重建方法。
上述非暂态计算机可读存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上示例性方法部分中任一实施例所述的三维模型重建方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例所述的三维模型重建方法相对应的，本公开还提供了一种计算机程序产品，其包括计算机程序指令。在一些实施例中，所述计算机程序指令可以由计算机的一个或多个处理器执行以使得所述计算机和/或所述处理器执行所述的三维模型重建方法。对应于所述的三维模型重建方法各实施例中各步骤对应的执行主体，执行相应步骤的处理器可以是属于相应执行主体的。
上述实施例的计算机程序产品用于使所述计算机和/或所述处理器执行如上任一实施例所述的三维模型重建方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
本领域技术技术人员知道，本公开的实施方式可以实现为一种系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本公开还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举示例)例如可以包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。元素前的冠词“一”或“一个”不排除多个这种元素的存在。
虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

Claims (15)

1.一种三维模型重建方法，其特征在于，包括：
获取待重建三维模型的图像，根据所述图像得到所述待重建三维模型的模型特征；
将所述模型特征归一化到单位球内，对归一化的模型特征进行采样，其中，进行所述采样的采样点被所述单位球分割为球内采样点和球外采样点；
基于预先构建的符号距离网络和球内颜色预测网络对所述球内采样点进行处理，基于预先构建的神经辐射网络对所述球外采样点进行处理，得到所述采样点的体密度和预测颜色；
根据所述体密度，得到所述采样点的渲染权重，根据所述渲染权重、所述预测颜色和所述采样点之间的距离，渲染得到所述图像中目标像素点的渲染颜色，根据所述渲染颜色和所述目标像素点的真实颜色，基于预设的损失函数，训练所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络；
基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述渲染权重、所述预测颜色和所述采样点之间的距离，渲染得到所述图像中目标像素点的渲染颜色，包括：
利用Instant-NGP引擎中的CUDA体渲染框架进行所述渲染。
3.根据权利要求1所述的方法，其特征在于，所述根据所述渲染权重、所述预测颜色和所述采样点之间的距离，渲染得到所述图像中目标像素点的渲染颜色，包括：
对于同一采样射线上的所述采样点，根据所述渲染权重、所述预测颜色和所述采样点之间的距离，基于所述球内采样点进行球内颜色渲染和基于所述球外采样点进行球外颜色渲染，得到球内渲染颜色和球外渲染颜色；
对所述球内渲染颜色和所述球外渲染颜色进行加权，得到所述采样射线的渲染颜色；
将所述采样射线的渲染颜色作为所述采样射线在所述图像中对应的所述目标像素点的渲染颜色。
4.根据权利要求1所述的方法，其特征在于，所述基于预先构建的符号距离网络和球内颜色预测网络对所述球内采样点进行处理，基于预先构建的神经辐射网络对所述球外采样点进行处理，得到所述采样点的体密度和预测颜色，包括：
根据所述球内采样点的位置，基于所述符号距离网络，得到所述球内采样点的符号距离、法向量和特征编码，根据所述符号距离和法向量，得到所述球内采样点的体密度；
根据所述球内采样点的位置、法向量和特征编码以及采样射线的方向，基于所述球内颜色预测网络，得到所述球内采样点的预测颜色；
根据所述球外采样点的位置和所述采样射线的方向，基于所述神经辐射网络，得到所述球外采样点的体密度和预测颜色。
5.根据权利要求4所述的方法，其特征在于，所述根据所述符号距离和法向量，得到所述球内采样点的体密度，包括：
获取所述法向量与所述采样射线的方向的夹角余弦值；
基于拉普拉斯累积分布函数，根据所述符号距离和所述夹角余弦值，得到所述球内采样点的体密度。
6.根据权利要求4所述的方法，其特征在于，所述神经辐射网络中包括体密度网络和球外颜色预测网络，
所述根据所述球外采样点的位置和所述采样射线的方向，基于所述神经辐射网络，得到所述球外采样点的体密度和预测颜色，包括：
根据所述球外采样点的位置，基于所述体密度网络，得到所述球外采样点的体密度和特征编码；
根据所述球外采样点的位置和特征编码以及所述采样射线的方向，得到所述球外采样点的预测颜色。
7.根据权利要求1所述的方法，其特征在于，所述根据所述体密度，得到所述采样点的渲染权重，包括：
对于同一采样射线上的所述采样点，根据所述球内采样点的体密度，基于积分计算，得到所述球内采样点的渲染权重；
根据所述球外采样点的体密度，基于积分计算，得到所述球外采样点的渲染权重。
8.根据权利要求1所述的方法，其特征在于，所述根据所述渲染颜色和所述目标像素点的真实颜色，基于预设的损失函数，训练所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，包括：
基于所述损失函数计算所述渲染颜色和所述真实颜色之间的差距；
根据所述差距，基于反向传播，训练所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络。
9.根据权利要求1所述的方法，其特征在于，所述对归一化的模型特征进行采样，包括：
获取所述图像对应的相机位姿，根据所述相机位姿得到所述图像对应的采样射线；
基于所述采样射线对所述归一化的模型特征进行采样，其中，所述采样点在所述采样射线上。
10.根据权利要求1所述的方法，其特征在于，所述根据所述图像得到所述待重建三维模型的模型特征，包括：
获取所述图像中的感兴趣区域，从所述感兴趣区域中获取所述待重建三维模型的模型特征。
11.根据权利要求1所述的方法，其特征在于，所述基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型，包括：
获取所述待重建三维模型的体素分辨率；
根据所述模型特征和所述体素分辨率，利用等值面提取算法，基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型。
12.一种三维模型重建装置，其特征在于，包括：
模型特征获取模块，被配置为获取待重建三维模型的图像，根据所述图像得到所述待重建三维模型的模型特征；
模型特征采样模块，被配置为将所述模型特征归一化到单位球内，对归一化的模型特征进行采样，其中，进行所述采样的采样点被所述单位球分割为球内采样点和球外采样点；
信息预测模块，被配置为基于预先构建的符号距离网络和球内颜色预测网络对所述球内采样点进行处理，基于预先构建的神经辐射网络对所述球外采样点进行处理，得到所述采样点的体密度和预测颜色；
网络训练模块，被配置为根据所述体密度，得到所述采样点的渲染权重，根据所述渲染权重、所述预测颜色和所述采样点之间的距离，渲染得到所述图像中目标像素点的渲染颜色，根据所述渲染颜色和所述目标像素点的真实颜色，基于预设的损失函数，训练所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络；
三维模型重建模块，被配置为基于训练后的所述符号距离网络、所述球内颜色预测网络和所述神经辐射网络，重建所述待重建三维模型。
13.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至11任意一项所述的方法。
14.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至11任一所述方法。
15.一种计算机程序产品，其特征在于，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如权利要求1至11任意一项所述的方法。
CN202310222431.1A 2023-03-03 2023-03-03 三维模型重建方法、装置、设备、存储介质及程序产品 Pending CN116246023A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310222431.1A CN116246023A (zh) 2023-03-03 2023-03-03 三维模型重建方法、装置、设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310222431.1A CN116246023A (zh) 2023-03-03 2023-03-03 三维模型重建方法、装置、设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN116246023A true CN116246023A (zh) 2023-06-09

Family

ID=86632966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310222431.1A Pending CN116246023A (zh) 2023-03-03 2023-03-03 三维模型重建方法、装置、设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN116246023A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977525A (zh) * 2023-07-31 2023-10-31 之江实验室 一种图像渲染方法、装置、存储介质及电子设备
CN117036569A (zh) * 2023-10-08 2023-11-10 北京渲光科技有限公司 三维模型颜色生成网络训练方法、颜色生成方法及装置
CN117274344A (zh) * 2023-11-22 2023-12-22 北京渲光科技有限公司 真实材质纹理的模型训练方法、纹理合成及映射方法
CN117333637A (zh) * 2023-12-01 2024-01-02 北京渲光科技有限公司 三维场景的建模及渲染方法、装置及设备
CN117576280A (zh) * 2023-07-12 2024-02-20 杭州雪爪文化科技有限公司 一种基于3d数字人的智能端云一体化生成方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576280A (zh) * 2023-07-12 2024-02-20 杭州雪爪文化科技有限公司 一种基于3d数字人的智能端云一体化生成方法及系统
CN117576280B (zh) * 2023-07-12 2024-04-19 杭州雪爪文化科技有限公司 一种基于3d数字人的智能端云一体化生成方法及系统
CN116977525A (zh) * 2023-07-31 2023-10-31 之江实验室 一种图像渲染方法、装置、存储介质及电子设备
CN116977525B (zh) * 2023-07-31 2024-03-01 之江实验室 一种图像渲染方法、装置、存储介质及电子设备
CN117036569A (zh) * 2023-10-08 2023-11-10 北京渲光科技有限公司 三维模型颜色生成网络训练方法、颜色生成方法及装置
CN117036569B (zh) * 2023-10-08 2024-01-30 北京渲光科技有限公司 三维模型颜色生成网络训练方法、颜色生成方法及装置
CN117274344A (zh) * 2023-11-22 2023-12-22 北京渲光科技有限公司 真实材质纹理的模型训练方法、纹理合成及映射方法
CN117274344B (zh) * 2023-11-22 2024-02-06 北京渲光科技有限公司 真实材质纹理的模型训练方法、纹理合成及映射方法
CN117333637A (zh) * 2023-12-01 2024-01-02 北京渲光科技有限公司 三维场景的建模及渲染方法、装置及设备
CN117333637B (zh) * 2023-12-01 2024-03-08 北京渲光科技有限公司 三维场景的建模及渲染方法、装置及设备

Similar Documents

Publication Publication Date Title
CN116246023A (zh) 三维模型重建方法、装置、设备、存储介质及程序产品
US9984498B2 (en) Sparse GPU voxelization for 3D surface reconstruction
JP2024510265A (ja) 高解像度ニューラル・レンダリング
US20240046557A1 (en) Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model
WO2019226366A1 (en) Lighting estimation
CN107358645B (zh) 产品三维模型重建方法及其系统
US11983815B2 (en) Synthesizing high resolution 3D shapes from lower resolution representations for synthetic data generation systems and applications
CN109754464B (zh) 用于生成信息的方法和装置
US11823415B2 (en) 3D pose estimation in robotics
CN111161398B (zh) 一种图像生成方法、装置、设备及存储介质
CN114863038A (zh) 基于显式几何形变的实时动态自由视角合成方法及装置
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
KR20230028253A (ko) 얼굴 이미지 처리 방법, 얼굴 이미지 처리 모델 훈련 방법, 장치, 디바이스, 저장 매체 및 프로그램 제품
CN114627244A (zh) 三维重建方法及装置、电子设备、计算机可读介质
CN115222917A (zh) 三维重建模型的训练方法、装置、设备及存储介质
Fei et al. 3d gaussian as a new vision era: A survey
CN116134491A (zh) 用于面部表情、身体姿态形态和衣服表演捕捉的使用隐式可微分渲染器的多视图神经人体预测
WO2024159553A1 (zh) 体积视频的解码方法、存储介质、以及电子设备
CN112785494B (zh) 一种三维模型构建方法、装置、电子设备和存储介质
CN114913287A (zh) 一种三维人体模型重建方法及系统
Han et al. Learning residual color for novel view synthesis
US20240135634A1 (en) Method and apparatus with neural scene representation data
CN117422809B (zh) 一种光场图像渲染的数据处理方法
CN116012666B (zh) 图像生成、模型的训练、信息重建方法、装置及电子设备
Fan et al. Voxel grid performer: efficient radiance fields generalization for human novel view synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination