CN115601511A - 三维重建方法、装置、计算机设备及计算机可读存储介质 - Google Patents
三维重建方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115601511A CN115601511A CN202211602655.7A CN202211602655A CN115601511A CN 115601511 A CN115601511 A CN 115601511A CN 202211602655 A CN202211602655 A CN 202211602655A CN 115601511 A CN115601511 A CN 115601511A
- Authority
- CN
- China
- Prior art keywords
- training
- sampling
- dimensional reconstruction
- point
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000005070 sampling Methods 0.000 claims abstract description 259
- 238000012549 training Methods 0.000 claims abstract description 247
- 238000009877 rendering Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000009499 grossing Methods 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000005855 radiation Effects 0.000 description 5
- 239000000126 substance Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种三维重建方法、装置、计算机设备及计算机可读存储介质，涉及三维建模技术领域。方法包括：获取图像采集设备采集到的样本图像和多个训练采样点；针对每个训练采样点，将训练采样点的采样位置信息输入待训练的三维重建模型进行处理，输出训练采样点的颜色和表面增量参数；表面增量参数用于表征训练采样点到建模对象的表面的最小距离增量；根据表面增量参数，确定训练采样点的不透明度；基于各训练采样点的颜色和不透明度经渲染得到预测图像；根据样本图像和预测图像之间的差异，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。采用本申请能够有效提高所重建的三维模型的准确性。
Description
技术领域
本申请涉及三维重建技术领域，特别是涉及一种三维重建方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着计算机技术和多媒体技术的不断发展，对图像中场景或物体的三维重建越来越受到人们的重视。
目前，在进行三维重建时，可以通过对三维重建模型进行训练，使其预测各个采样点的颜色和密度，从而根据颜色和密度进行三维重建。但是，采用上述方法训练出的三维重建模型所输出的密度只能体现每个采样点独立的属性，这导致基于该三维重建模型进行三维重建的准确性不高。
发明内容
本申请提供一种三维重建方法、装置、计算机设备及计算机可读存储介质，能够有效提高所重建的三维模型的准确性。
第一方面，本申请提供了一种三维重建方法，包括：
获取图像采集设备采集到的样本图像和多个训练采样点，图像采集设备是针对三维空间中的建模对象进行采集的；
针对每个训练采样点，将训练采样点的采样位置信息输入待训练的三维重建模型进行处理，输出训练采样点的颜色和表面增量参数；表面增量参数用于表征训练采样点到建模对象的表面的最小距离增量；
根据表面增量参数，确定训练采样点的不透明度；
基于各训练采样点的颜色和不透明度经渲染得到预测图像；
根据样本图像和预测图像之间的差异，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
第二方面，本申请还提供了另一种三维重建方法，包括：
获取针对三维空间中的建模对象采样得到的多个采样点；
根据各采样点的采样位置信息，确定采样点的颜色和表面增量参数；表面增量参数用于表征采样点到建模对象的表面的最小距离增量；
将各采样点的表面增量参数转换成不透明度；
根据各采样点的颜色和不透明度进行三维重建，得到建模对象的三维模型。
第三方面，本申请提供了一种三维重建装置，包括：
获取模块，用于获取图像采集设备采集到的样本图像和多个训练采样点，图像采集设备是针对三维空间中的建模对象进行采集的；
处理模块，用于针对每个训练采样点，将训练采样点的采样位置信息输入待训练的三维重建模型进行处理，输出训练采样点的颜色和表面增量参数；表面增量参数用于表征训练采样点到建模对象的表面的最小距离增量；
计算模块，用于根据表面增量参数，确定训练采样点的不透明度；
渲染模块，用于基于各训练采样点的颜色和不透明度经渲染得到预测图像；
训练模块，用于根据样本图像和预测图像之间的差异，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
第四方面，本申请还提供了一种三维重建装置，包括：
采样模块，用于获取针对三维空间中的建模对象采样得到的多个采样点；
确定模块，用于根据各采样点的采样位置信息，确定采样点的颜色和表面增量参数；表面增量参数用于表征采样点到建模对象的表面的最小距离增量；
转换模块，用于将各采样点的表面增量参数转换成不透明度；
重建模块，用于根据各采样点的颜色和不透明度进行三维重建，得到建模对象的三维模型。
第五方面，本申请还提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述三维重建方法中的步骤。
第六方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述三维重建方法中的步骤。
第七方面，本申请还提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述三维重建方法中的步骤。
上述三维重建方法、装置、计算机设备及计算机可读存储介质，获取图像采集设备针对三维空间中的建模对象采集得到的样本图像和多个训练采样点；针对每个训练采样点，将训练采样点的采样位置信息输入至待训练的三维重建模型中，并将待训练的三维重建模型默认输出的采样点的密度修改成采样点的表面增量参数，由于表面增量参数与密度相比，能够更准确地体现出每个采样点到建模对象表面之间的位置关系和方向关系，所以更加适用于三维重建任务，将目标采样点的表面增量参数转换成不透明度，并基于各训练采样点的颜色和不透明度渲染得到预测图像，根据样本图像和预测图像之间的差异进一步监督三维重建模型的学习过程，以保证训练得到的三维重建模型对采样点的颜色和表面增量参数的预测更为准确，从而有效提高基于采样点的颜色和表面增量参数所构建的三维模型的准确性。
附图说明
图1为本申请实施例提供的第一种三维重建方法的流程示意图；
图2为本申请实施例提供的第一种采样点和建模对象之间的位置示意图；
图3为本申请实施例提供的第二种采样点和建模对象之间的位置示意图；
图4为本申请实施例提供的第二种三维重建方法的流程示意图；
图5为本申请实施例提供的第一种三维重建装置的结构框图；
图6为本申请实施例提供的第二种三维重建装置的结构框图；
图7为本申请实施例提供的一种计算机设备的内部结构图；
图8为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一些实施例中，如图1所示，提供了一种三维重建方法，本实施例以该方法应用于计算机设备进行举例说明，可以理解的是，该计算机设备可以是服务器或终端，该方法可以由服务器或终端单独实现，也可以通过服务器和终端之间的交互来实现。本实施例中，该方法包括以下步骤：
步骤102，获取图像采集设备采集到的样本图像和多个训练采样点。
其中，图像采集设备指的是具备拍照功能的设备，可以但不限于是各种相机和移动设备，通过图像采集设备针对三维空间中的建模对象进行采集得到样本图像。
三维空间，指的是由长、宽、高三个维度所构成的空间，三维空间中任意点的位置由三个坐标决定，具有长度、宽度和高度。
可以理解，本申请通过图像采集设备针对三维空间中的建模对象进行图像采集得到的样本图像为二维图像，用于进行后续的模型训练。其中，建模对象指的是在三维空间中真实存在的待建模物体，二维图像指的是不包含深度信息的平面图像。
训练采样点，指的是在三维空间中，通过图像采集设备的光线穿过建模对象路径上的空间点。
具体地，图像采集设备针对三维空间中的建模对象进行图像采集，得到样本图像和多个训练采样点。计算机设备获取图像采集设备对建模对象进行图像采集得到的样本图像和多个训练采样点。
步骤104，针对每个训练采样点，将训练采样点的采样位置信息输入至待训练的三维重建模型进行处理，输出训练采样点的颜色和表面增量参数。
其中，训练采样点的采样位置信息包括训练采样点的三维坐标和二维视角方向。
待训练的三维重建模型，指的是用于进行三维重建的模型，具体可采用多层感知器（Multilayer Perceptron，MLP）。其中，MLP是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。
可以理解，训练采样点的采样颜色可以用色彩模式（Red Green Blue ColorMode，RGB）所表示。其中，RGB通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。
表面增量参数，用于表征训练采样点到建模对象的表面的最小距离增量，该最小距离增量表示训练采样点到建模对象表面的最小三维距离。
在一些实施例中，如图2所示，
表示其中一个训练采样点，
表示建模对象表面上的某个点，
表示训练采样点
到
在三维空间中的最小距离增量，也即训练采样点
的表面增量参数。
具体地，计算机设备针对每个训练采样点，将训练采样点的采样位置信息输入至待训练的三维重建模型中，由三维重建模型输出得到训练采样点的颜色和表面增量参数。
需要说明的是，传统的三维重建模型在输入训练采样点的采样位置信息之后，默认输出的是训练采样点的颜色和密度。但是，密度只能体现出每个训练采样点的独立属性，不能体现出训练采样点与建模对象之间的关系，例如不能体现训练采样点和建模对象表面之间的位置关系和方向关系，这样会导致三维重建的效果不佳。所以，本申请实施例将三维重建模型的输出修改成表面增量参数来解决三维重建效果不佳的问题，通过表面增量参数能够显式地确定出训练采样点和建模对象表面的位置和方向关系，更加适用于三维重建任务。
步骤106，根据表面增量参数，确定训练采样点的不透明度。
其中，不透明度是用于描述物质对辐射的吸收能力强弱的一种量。某种物质，例如训练采样点的不透明度大，就是指该物质对辐射的吸收能力强，通常也就说这种物质对辐射是不透明的。此外，不透明度也可以指一根光线到达时，没有碰撞到任何粒子的概率。
具体地，计算机设备可以根据表面增量参数计算训练采样点的不透明度。需要说明的是，计算训练采样点的不透明度的过程将在后文中进行详细的介绍，在此不再对其进行赘述。
步骤108，基于各训练采样点的颜色和不透明度经渲染得到预测图像。
其中，预测图像指的是基于训练采样点的颜色和不透明度，并通过神经辐射场渲染所得到的图像。
神经辐射场(Neural Radiance Fields，NeRF)，指的是用待训练的三维重建模型去隐式地学习一个静态三维场景。为了训练三维重建模型，针对一个静态三维场景，需要提供大量图像设备采集参数已知的样本图像，基于这些样本图像对待训练的三维重建模型进行训练，即可实现从任意角度重新渲染出建模对象的二维图像。
具体地，计算机设备基于各个训练采样点的颜色和不透明度进行渲染，得到预测图像。
步骤110，根据样本图像和预测图像之间的差异，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
具体地，计算机设备根据样本图像和预测图像之间的差异，对待训练的三维重建模型进行训练，以监督三维重建模型的学习过程，确保训练完成的三维重建模型所输出的各采样点的颜色和表面增量参数的准确性，从而有效提高基于采样点的颜色和表面增量参数所构建的三维模型的准确性。
上述三维重建方法，通过获取图像采集设备针对三维空间中的建模对象采集得到的样本图像和多个训练采样点；针对每个训练采样点，将训练采样点的采样位置信息输入至待训练的三维重建模型中，并将待训练的三维重建模型默认输出的采样点的密度修改成采样点的表面增量参数，由于表面增量参数与密度相比，能够更准确地体现出每个采样点到建模对象表面之间的位置关系和方向关系，所以更加适用于三维重建任务，将目标采样点的表面增量参数转换成不透明度，并基于各训练采样点的颜色和不透明度渲染得到预测图像，根据样本图像和预测图像之间的差异进一步监督三维重建模型的学习过程，以保证训练得到的三维重建模型对采样点的颜色和表面增量参数的预测更为准确，从而有效提高基于采样点的颜色和表面增量参数所构建的三维模型的准确性。
在一些实施例中，步骤106具体包括但不限于包括：
确定用于控制表面敏感度的全局变量；
根据全局变量和表面增量参数，确定训练采样点的不透明度。
其中，全局变量可以是可学习的方差，并且可以控制建模对象的表面敏感度。此外，不透明度和表面增量参数呈负相关。也就是说，训练采样点的表面增量参数越大，表示其距离建模对象表面越远，不透明度就越小。训练采样点的表面增量参数越小，表示其距离建模对象表面越近，不透明度就越大。
在一些实施例中，参照图2可知，不透明度为
是随着训练采样点与建模对象表面的距离远近所确定，当训练采样点与建模对象表面的距离越近，则表示其透明度为
越大，当训练采样点与建模对象表面的距离越远，透明度为
越小。
具体地，计算机设备确定用于控制建模对象的表面敏感度的全局变量，并根据全局变量和表面增量参数，确定训练采样点的不透明度。本申请除了通过表面增量参数显式地确定出训练采样点和建模对象表面的位置和方向关系之外，还能够通过特有的计算方式计算出训练采样点的不透明度，以确保根据表面增量参数所确定的不透明度能够适用于后续的渲染和三维重建。
在一些实施例中，设全局变量为
，表面增量参数为
，不透明度为
，全局变量为
和表面增量参数为
可通过公式（1）计算出不透明度为
，公式（1）如下所示：
其中，exp表示以自然常数e为底的指数函数，
指的是e的指数。
在一些实施例中，步骤108具体包括但不限于包括：
针对每个采样射线，根据采样射线上的各训练采样点的颜色和不透明度进行体素渲染，得到采样射线的预测像素颜色；
将多条采样射线各自对应的预测像素颜色进行组合处理，得到预测图像。
其中，多个训练采样点是对多条采样射线进行采样得到的，采样射线是由图像采集设备发射的、且在三维空间中的射线路径穿过建模对象的表面。
体素渲染（Volume Rendering），又称为立体绘制，是一种用于显示离散三维采样数据集的二维投影的技术。
具体地，计算机设备针对每一条采样射线，根据采样射线上的各训练采样点的颜色和不透明度进行体素渲染，得到采样射线的像素颜色，即预测像素颜色。接着，计算机设备将多条采样射线第对应的预测像素颜色进行组合，得到预测图像。其中，对一条采样射线进行体素渲染所预测得到的预测像素颜色，对应于预测图像中某一个像素的颜色。
在一些实施例中，其中一条采样射线的训练采样点的颜色为
，不透明度为
利用体素渲染预测采样射线的像素颜色的过程，如公式（2）所示：
其中，N为每条采样射线的训练采样点的数量，
用于表示某一个训练采样点的编号，
用于表示某一个训练采样点的编号，
指的是另一个训练采样点的不透明度，
表示该采样射线所对应的预测像素颜色。本申请通过公式（2）对某条采样射线中各训练采样点的渲染过程进行求和，以得到该采样射线对应的预测像素颜色，通过公式（2）计算出所有采样射线所对应的预测像素颜色，将所有预测像素颜色进行组合，生成最终的预测图像。
在一些实施例中，步骤110具体包括但不限于包括：
通过样本图像中的真实像素颜色与预测图像中的相应的预测像素颜色之间的差异，得到颜色损失值；
基于颜色损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
其中，样本图像中的真实像素颜色指的是样本图像中各个像素点的颜色，预测图像中的相应的预测像素颜色指的是预测图像中各个像素点的颜色。可以理解，样本图像中各个像素点的位置和预测图像中各个像素点的位置是一一对应的。
具体地，计算机设备获取样本图像中各个像素点的真实像素颜色，并获取预测图像中，与样本图像中各个像素点所对应像素点的预测像素颜色。接着，计算机设备根据样本图像中各个像素点的真实像素颜色和预测图像中的相应的预测像素颜色之间的差异，得到样本图像和预测图像中各个像素点的颜色差异，综合得到颜色损失值。最后，计算机设备根据计算出的颜色损失值对待训练的三维重建模型进行训练，得到三维重建模型。
在一些实施例中，可通过预构建的颜色损失函数计算颜色损失值，具体计算过程如公式（3）所示：
其中，
表示颜色损失值，
表示某条采样射线所对应的预测像素颜色，
表示实际射线所对应的真实像素颜色，可以看作是实际射线和样本图像的交点所对应像素的像素颜色。本申请通过公式（2）计算出的损失值监督三维重建模型的学习，其训练目的是使预测像素颜色
不断接近真实像素颜色
，也就是使这二者的误差越来越小，从而使预测的预测图像越来越接近真实的样本图像，进而保证三维重建的准确率。
在一些实施例中，在“基于颜色损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型”步骤之前，本申请的三维重建方法具体还包括但不限于包括：
针对每个训练采样点，根据训练采样点和相邻训练采样点之间的远近程度，确定第一平滑损失值。
其中，相邻训练采样点与训练采样点位于同一采样射线且相邻，远近程度用于表示训练采样点和相邻训练采样点的距离大小和方向差异，第一平滑损失值用于训练三维重建后得出的三维模型表面的平滑程度，使其表面更加平滑。
具体地，计算机设备针对每个训练采样点，确定该训练采样点和该训练采样点的相邻训练采样点的远近程度，例如距离大小或方向差异等。接着，计算机设备根据各个训练采样点和相邻训练采样点的远近程度，确定第一平滑损失值。
对应的，步骤“基于颜色损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型”具体包括但不限于包括：
基于颜色损失值和第一平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
具体地，计算机设备结合上述计算出的颜色损失值和平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。通过颜色损失值，能够保证通过三维重建模型所预测得到的采样点的颜色的准确性，通过第一平滑损失值，能够保证进行三维重建后的三维模型的表面更加平滑。本申请结合颜色损失值和第一平滑损失值进行模型训练，能够进一步提高三维重建的准确性。
在一些实施例中，步骤“针对每个训练采样点，根据训练采样点和相邻训练采样点之间的远近程度，确定第一平滑损失值”具体包括但不限于包括：
针对每个训练采样点，确定训练采样点和相邻训练采样点在建模对象的表面上的同一目标点之间的距离之差，以得到第一平滑损失值。
具体地，计算机设备针对每个训练采样点，确定该训练采样点和相邻训练采样点在建模对象的表面上的同一个目标点之间的距离之差，得到第一平滑损失值。通过确定训练采样点和相邻训练采样点到目标点的距离之差，并以最小化上述距离之差为目标，对三维重建模型进行监督学习，保证训练采样点和相邻采样点尽可能指向建模对象表面的同一个目标点，从而使根据三维重建模型所构建的三维模型的表面更加平滑。
在一些实施例中，步骤“针对每个训练采样点，确定训练采样点和相邻训练采样点在建模对象的表面上的同一目标点之间的距离之差，以得到第一平滑损失值”具体包括但不限于包括：
针对每个训练采样点，根据训练采样点的三维坐标和表面增量参数确定建模对象的表面上的目标点的第一位置；
针对每个相邻训练采样点，根据相邻训练采样点的三维坐标和表面增量参数确定目标点的第二位置；
根据第一位置和第二位置的距离之差，确定第一平滑损失值。
具体地，计算机设备将训练采样点的三维坐标和表面增量参数相加，即可得到建模对象表面上目标点的第一位置，即该目标点的第一个三维坐标。其次，计算机设备将相邻训练采样点的三维坐标和表面增量参数相加，即可得到建模对象表面上目标点的第二位置，即该目标点的第二个三维坐标。接着，计算机设备根据第一位置和第二位置之间的差值，得到第一平滑损失值。通过上述方式对表面增量参数进行线性约束，使相邻的两个采样点都能指向同一个建模对象表面上的目标点，进一步监督表面增量参数的学习。
可以理解，为了保证第一平滑损失值不为负数，可以将第一位置和第二位置的差值的绝对值作为第一平滑损失值。
在一些实施例中，如图3所示，
表示建模对象表面上的目标点，
表示其中一个训练采样点，
表示训练采样点
到目标点
在三维空间中的最小距离增量，也即训练采样点
的表面增量参数。
表示与训练采样点
相邻的相邻训练采样点，
表示相邻训练采样点
到目标点
在三维空间中的最小距离增量，也即相邻训练采样点
的表面增量参数。
在一些实施例中，目标点
的三维坐标可通过下述公式（4）计算得到：
其中，将训练采样点
和其对应的表面增量参数
相加，就得到其对应于建模对象表面的目标点
的第一个三维坐标。将相邻训练采样点
和其对应的表面增量参数
相加，就得到其对应于建模对象表面的目标点
的第二个三维坐标。
在一些实施例中，相邻训练采样点
的三维坐标可通过公式（5）计算得到：
其中，
的取值范围为0到1，将训练采样点
的表面增量参数
进行调整，例如增大或减小后，就能够得到相邻训练采样点
。
在一些实施例中，第一平滑损失值可通过下述公式（6）计算得到：
其中，第一平滑损失值可通过训练采样点
和其对应的表面增量参数
计算出的目标点
的第一个三维坐标，与相邻训练采样点
和其对应的表面增量参数
计算出的目标点
的第二个三维坐标相减，并取绝对值之后得到。
在一些实施例中，在步骤“基于颜色损失值和第一平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型”之前，本申请的三维重建方法具体还包括但不限于包括：
获取建模对象的表面上的表面点和相邻表面点；
根据表面点的法向量和相邻表面点的法向量之间的方向差异，确定第二平滑损失值。
其中，相邻表面点位于建模对象的表面上、且与表面点相邻。
方向差异，用于表征表面点和相邻表面点之间的远近程度。
具体地，计算机设备获取建模对象表面的表面点和相邻表面点，并根据表面点的法向量和相邻表面点的法向量之间的方向差异，即根据表面点的法向量和相邻表面点的法向量之间所形成的角度，得到第二平滑损失值。
可以理解，当表面点的法向量和相邻表面点的法向量越趋于平行，则说明表明点和相邻表面点越接近，三维重建模型以此为训练目标进行模型训练，能够使训练后的三维重建模型构建出表面更为光滑的三维模型。
对应的，步骤“基于颜色损失值和第一平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型”具体包括但不限于包括：
基于颜色损失值、第一平滑损失值和第二平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
具体地，计算机设备结合上述计算出的颜色损失值和平滑损失值，对待训练的三维重建模型进行训练，得到三维重建模型。通过颜色损失值，能够保证通过三维重建模型所预测得到的采样点的颜色的准确性，通过第一平滑损失值和第二平滑损失值，能够保证进行三维重建后的三维模型的表面更加平滑。本申请结合颜色损失值、第一平滑损失值和第二平滑损失值进行模型训练，能够进一步提高三维重建的准确性。
在一些实施例中，本申请的三维重建方法具体还包括但不限于包括：
获取图像采集设备针对三维空间中的建模对象采集得到的样本图像和多个训练采样点。
针对每个训练采样点，将训练采样点的采样位置信息输入至待训练的三维重建模型中，得到训练采样点的颜色和表面增量参数；
确定用于控制表面敏感度的全局变量。
根据全局变量和表面增量参数，确定训练采样点的不透明度。
针对每一采样射线，根据采样射线上的各训练采样点的颜色和不透明度进行体素渲染，得到采样射线的预测像素颜色。
将多条采样射线对应的预测像素颜色进行组合，得到预测图像。
通过样本图像中的真实像素颜色与预测图像中的相应的预测像素颜色之间的差异，得到颜色损失值。
针对每个训练采样点，根据训练采样点的三维坐标和表面增量参数确定建模对象的表面上的目标点的第一位置。
针对每个相邻训练采样点，根据相邻训练采样点的三维坐标和表面增量参数确定目标点的第二位置。
根据第一位置和第二位置的距离之差，得到第一平滑损失值。
获取建模对象的表面上的表面点和相邻表面点。
根据表面点的法向量和相邻表面点的法向量之间的方向差异，得到第二平滑损失值。
基于颜色损失值、第一平滑损失值和第二平滑损失值，对待训练的三维重建模型进行训练，得到三维重建模型。
在一些实施例中，如图4所示，还提供了一种三维重建方法，本实施例以该方法应用于计算机设备进行举例说明，可以理解的是，该方法也可以应用于包括计算机设备和终端的系统，并通过计算机设备和终端的交互实现；其中，该计算机设备包括手机、平板电脑、笔记本电脑或台式电脑中的至少一种。本实施例中，该方法包括以下步骤：
步骤402，获取针对三维空间中的建模对象采样得到的多个采样点。
步骤404，根据各采样点的采样位置信息，确定采样点的颜色和表面增量参数。
步骤406，将各采样点的表面增量参数转换成不透明度。
步骤408，根据各采样点的颜色和不透明度进行三维重建，得到建模对象的三维模型。
其中，表面增量参数用于表征采样点到建模对象的表面的最小距离增量。
具体地，计算机设备获取针对三维空间中的建模对象采样得到的多个采样点，并将各采样点的采样位置信息输入至上述训练好的三维重建模型中，通过三维重建模型确定采样点的颜色和表面增量参数。接着，计算机设备将多个采样点的表面增量参数转换成不透明度，并根据多个采样点的颜色和不透明度进行三维重建，得到建模对象的三维模型。
应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种三维重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的三维重建装置实施例中的具体限定可以参见上文中对于三维重建方法的限定，在此不再赘述。
在一些实施例中，如图5所示，提供了一种三维重建装置，包括：
获取模块502，用于获取图像采集设备采集到的样本图像和多个训练采样点，图像采集设备是针对三维空间中的建模对象进行采集的；
处理模块504，用于针对每个训练采样点，将训练采样点的采样位置信息输入待训练的三维重建模型进行处理，输出训练采样点的颜色和表面增量参数；表面增量参数用于表征训练采样点到建模对象的表面的最小距离增量；
计算模块506，用于根据表面增量参数，确定训练采样点的不透明度；
渲染模块508，用于基于各训练采样点的颜色和不透明度经渲染得到预测图像；
训练模块510，用于根据样本图像和预测图像之间的差异，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
上述三维重建装置，通过获取图像采集设备针对三维空间中的建模对象采集得到的样本图像和多个训练采样点；针对每个训练采样点，将训练采样点的采样位置信息输入至待训练的三维重建模型中，并将待训练的三维重建模型默认输出的采样点的密度修改成采样点的表面增量参数，由于表面增量参数与密度相比，能够更准确地体现出每个采样点到建模对象表面之间的位置关系和方向关系，所以更加适用于三维重建任务，将目标采样点的表面增量参数转换成不透明度，并基于各训练采样点的颜色和不透明度渲染得到预测图像，根据样本图像和预测图像之间的差异进一步监督三维重建模型的学习过程，以保证训练得到的三维重建模型对采样点的颜色和表面增量参数的预测更为准确，从而有效提高基于采样点的颜色和表面增量参数所构建的三维模型的准确性。
在一些实施例中，在根据表面增量参数，确定训练采样点的不透明度方面，计算模块506具体于：
确定用于控制表面敏感度的全局变量；
根据全局变量和表面增量参数，确定训练采样点的不透明度；其中，不透明度和表面增量参数呈负相关。
在一些实施例中，多个训练采样点是对多条采样射线进行采样得到的；采样射线是由图像采集设备发射的、且在三维空间中的射线路径穿过建模对象的表面。在基于各训练采样点的颜色和不透明度经渲染得到预测图像方面，渲染模块508具体用于：
针对每个采样射线，根据采样射线上的各训练采样点的颜色和不透明度进行体素渲染，得到采样射线的预测像素颜色；
将多条采样射线各自对应的预测像素颜色进行组合处理，得到预测图像。
在一些实施例中，在根据样本图像和预测图像之间的差异，对待训练的三维重建模型进行训练，得到已训练的三维重建模型方面，训练模块510具体用于：
通过样本图像中的真实像素颜色与预测图像中相应的预测像素颜色之间的差异，得到颜色损失值；
基于颜色损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
在一些实施例中，三维重建装置还包括损失计算模块，损失计算模块具体用于：针对每个训练采样点，根据训练采样点和相邻训练采样点之间的远近程度，确定第一平滑损失值；相邻训练采样点与训练采样点位于同一采样射线且相邻。
在基于颜色损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型方面，训练模块510具体用于：
基于颜色损失值和第一平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
在一些实施例中，在针对每个训练采样点，根据训练采样点和相邻采样点之间的远近程度，确定第一平滑损失值方面，损失计算模块具体用于：
针对每个训练采样点，确定训练采样点和相邻训练采样点在建模对象的表面上的同一目标点之间的距离之差，以得到第一平滑损失值。
在一些实施例中，在针对每个训练采样点，确定训练采样点和相邻训练采样点在建模对象的表面上的同一目标点之间的距离之差，以得到第一平滑损失值方面，损失计算模块具体用于：
针对每个训练采样点，根据训练采样点的三维坐标和表面增量参数确定建模对象的表面上的目标点的第一位置；
针对每个相邻训练采样点，根据相邻训练采样点的三维坐标和表面增量参数确定目标点的第二位置；
根据第一位置和第二位置的距离之差，确定第一平滑损失值。
在一些实施例中，在计算第二平滑损失值方面，损失计算模块具体用于：获取建模对象的表面上的表面点和相邻表面点；相邻表面点位于建模对象的表面上、且与表面点相邻；根据表面点的法向量和相邻表面点的法向量之间的方向差异，确定第二平滑损失值；方向差异用于表征表面点和相邻表面点之间的远近程度。
在基于颜色损失值和第一平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型方面，训练模块510具体用于：
基于颜色损失值、第一平滑损失值和第二平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
在一些实施例中，如图6所示，还提供了一种三维重建装置，包括：
采样模块602，用于获取针对三维空间中的建模对象采样得到的多个采样点；
确定模块604，用于根据各采样点的采样位置信息，确定采样点的颜色和表面增量参数；表面增量参数用于表征采样点到建模对象的表面的最小距离增量；
转换模块606，用于将各采样点的表面增量参数转换成不透明度；
重建模块608，用于根据各采样点的颜色和不透明度进行三维重建，得到建模对象的三维模型。
上述三维重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器和网络接口。其中，处理器和存储器通过系统总线连接。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储三维重建的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的三维重建方法中的步骤。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，还提供了一种计算机设备，计算机设备包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中，如图8所示，提供了一种计算机可读存储介质800，其上存储有计算机程序802，该计算机程序802被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中，提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（FerroelectricRandom Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（StaticRandom Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (13)
1.一种三维重建方法，其特征在于，包括：
获取图像采集设备采集到的样本图像和多个训练采样点，所述图像采集设备是针对三维空间中的建模对象进行采集的；
针对每个训练采样点，将所述训练采样点的采样位置信息输入待训练的三维重建模型进行处理，输出所述训练采样点的颜色和表面增量参数；所述表面增量参数用于表征所述训练采样点到所述建模对象的表面的最小距离增量；
根据所述表面增量参数，确定所述训练采样点的不透明度；
基于各所述训练采样点的颜色和不透明度经渲染得到预测图像；
根据所述样本图像和所述预测图像之间的差异，对所述待训练的三维重建模型进行训练，得到已训练的三维重建模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述表面增量参数，确定所述训练采样点的不透明度，包括：
确定用于控制表面敏感度的全局变量；
根据所述全局变量和所述表面增量参数，确定所述训练采样点的不透明度；其中，所述不透明度和所述表面增量参数呈负相关。
3.根据权利要求1所述的方法，其特征在于，所述多个训练采样点是对多条采样射线进行采样得到的；所述采样射线是由所述图像采集设备发射的、且在三维空间中的射线路径穿过所述建模对象的表面；
所述基于各所述训练采样点的颜色和不透明度经渲染得到预测图像，包括：
针对每个所述采样射线，根据所述采样射线上的各所述训练采样点的颜色和所述不透明度进行体素渲染，得到所述采样射线的预测像素颜色；
将所述多条采样射线各自对应的所述预测像素颜色进行组合处理，得到预测图像。
4.根据权利要求3所述的方法，其特征在于，所述根据所述样本图像和所述预测图像之间的差异，对所述待训练的三维重建模型进行训练，得到已训练的三维重建模型，包括：
通过所述样本图像中的真实像素颜色与所述预测图像中相应的所述预测像素颜色之间的差异，得到颜色损失值；
基于所述颜色损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述颜色损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型之前，所述方法还包括：
针对每个所述训练采样点，根据所述训练采样点和相邻训练采样点之间的远近程度，确定第一平滑损失值；所述相邻训练采样点与所述训练采样点位于同一采样射线且相邻；
所述基于所述颜色损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型，包括：
基于所述颜色损失值和所述第一平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
6.根据权利要求5所述的方法，其特征在于，所述针对每个所述训练采样点，根据所述训练采样点和相邻训练采样点之间的远近程度，确定第一平滑损失值，包括：
针对每个所述训练采样点，确定所述训练采样点和相邻训练采样点在所述建模对象的表面上的同一目标点之间的距离之差，以得到第一平滑损失值。
7.根据权利要求6所述的方法，其特征在于，所述针对每个所述训练采样点，确定所述训练采样点和相邻训练采样点在所述建模对象的表面上的同一目标点之间的距离之差，以得到第一平滑损失值，包括：
针对每个所述训练采样点，根据所述训练采样点的三维坐标和所述表面增量参数确定所述建模对象的表面上的目标点的第一位置；
针对每个所述相邻训练采样点，根据所述相邻训练采样点的三维坐标和所述表面增量参数确定所述目标点的第二位置；
根据所述第一位置和所述第二位置的距离之差，确定第一平滑损失值。
8.根据权利要求5所述的方法，其特征在于，所述基于所述颜色损失值和所述第一平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型之前，所述方法还包括：
获取所述建模对象的表面上的表面点和相邻表面点；所述相邻表面点位于所述建模对象的表面上、且与所述表面点相邻；
根据所述表面点的法向量和所述相邻表面点的法向量之间的方向差异，确定第二平滑损失值；所述方向差异用于表征所述表面点和所述相邻表面点之间的远近程度；
所述基于所述颜色损失值和所述第一平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型，包括：
基于所述颜色损失值、所述第一平滑损失值和所述第二平滑损失值，对待训练的三维重建模型进行训练，得到已训练的三维重建模型。
9.一种三维重建方法，其特征在于，包括：
获取针对三维空间中的建模对象采样得到的多个采样点；
根据各所述采样点的采样位置信息，确定所述采样点的颜色和表面增量参数；所述表面增量参数用于表征所述采样点到所述建模对象的表面的最小距离增量；
将各所述采样点的表面增量参数转换成不透明度；
根据各所述采样点的颜色和不透明度进行三维重建，得到所述建模对象的三维模型。
10.一种三维重建装置，其特征在于，包括：
获取模块，用于获取图像采集设备采集到的样本图像和多个训练采样点，所述图像采集设备是针对三维空间中的建模对象进行采集的；
处理模块，用于针对每个训练采样点，将所述训练采样点的采样位置信息输入待训练的三维重建模型进行处理，输出所述训练采样点的颜色和表面增量参数；所述表面增量参数用于表征所述训练采样点到所述建模对象的表面的最小距离增量；
计算模块，用于根据所述表面增量参数，确定所述训练采样点的不透明度；
渲染模块，用于基于各所述训练采样点的颜色和不透明度经渲染得到预测图像；
训练模块，用于根据所述样本图像和所述预测图像之间的差异，对所述待训练的三维重建模型进行训练，得到已训练的三维重建模型。
11.一种三维重建装置，其特征在于，包括：
采样模块，用于获取针对三维空间中的建模对象采样得到的多个采样点；
确定模块，用于根据各所述采样点的采样位置信息，确定所述采样点的颜色和表面增量参数；所述表面增量参数用于表征所述采样点到所述建模对象的表面的最小距离增量；
转换模块，用于将各所述采样点的表面增量参数转换成不透明度；
重建模块，用于根据各所述采样点的颜色和所述不透明度进行三维重建，得到所述建模对象的三维模型。
12.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法，或者权利要求9中所述的方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法，或者权利要求9中所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211602655.7A CN115601511B (zh) | 2022-12-14 | 2022-12-14 | 三维重建方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211602655.7A CN115601511B (zh) | 2022-12-14 | 2022-12-14 | 三维重建方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115601511A true CN115601511A (zh) | 2023-01-13 |
| CN115601511B CN115601511B (zh) | 2023-03-14 |
Family
ID=84854152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211602655.7A Active CN115601511B (zh) | 2022-12-14 | 2022-12-14 | 三维重建方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115601511B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861572A (zh) * | 2023-02-24 | 2023-03-28 | 腾讯科技（深圳）有限公司 | 一种三维建模方法、装置、设备及存储介质 |
| CN116168163A (zh) * | 2023-03-29 | 2023-05-26 | 湖北工业大学 | 三维模型构建方法、装置及存储介质 |
| CN116310215A (zh) * | 2023-03-03 | 2023-06-23 | 网易（杭州）网络有限公司 | 数据处理方法、三维重建方法及其装置、设备和存储介质 |
| CN117274344A (zh) * | 2023-11-22 | 2023-12-22 | 北京渲光科技有限公司 | 真实材质纹理的模型训练方法、纹理合成及映射方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200312042A1 (en) * | 2019-03-27 | 2020-10-01 | Electronic Arts Inc. | Three dimensional reconstruction of objects based on geolocation and image data |
| CN113593001A (zh) * | 2021-02-07 | 2021-11-02 | 大连理工大学 | 目标对象三维重建方法、装置、计算机设备和存储介质 |
| CN113822977A (zh) * | 2021-06-28 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 图像渲染方法、装置、设备以及存储介质 |
| CN115100383A (zh) * | 2022-08-24 | 2022-09-23 | 深圳星坊科技有限公司 | 基于普通光源的镜面物体三维重建方法、装置和设备 |
| CN115147558A (zh) * | 2022-08-31 | 2022-10-04 | 北京百度网讯科技有限公司 | 三维重建模型的训练方法、三维重建方法及装置 |
| CN115294275A (zh) * | 2022-08-05 | 2022-11-04 | 珠海普罗米修斯视觉技术有限公司 | 三维模型的重建方法、装置及计算机可读存储介质 |
-
2022
- 2022-12-14 CN CN202211602655.7A patent/CN115601511B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200312042A1 (en) * | 2019-03-27 | 2020-10-01 | Electronic Arts Inc. | Three dimensional reconstruction of objects based on geolocation and image data |
| CN113593001A (zh) * | 2021-02-07 | 2021-11-02 | 大连理工大学 | 目标对象三维重建方法、装置、计算机设备和存储介质 |
| CN113822977A (zh) * | 2021-06-28 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 图像渲染方法、装置、设备以及存储介质 |
| CN115294275A (zh) * | 2022-08-05 | 2022-11-04 | 珠海普罗米修斯视觉技术有限公司 | 三维模型的重建方法、装置及计算机可读存储介质 |
| CN115100383A (zh) * | 2022-08-24 | 2022-09-23 | 深圳星坊科技有限公司 | 基于普通光源的镜面物体三维重建方法、装置和设备 |
| CN115147558A (zh) * | 2022-08-31 | 2022-10-04 | 北京百度网讯科技有限公司 | 三维重建模型的训练方法、三维重建方法及装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861572A (zh) * | 2023-02-24 | 2023-03-28 | 腾讯科技（深圳）有限公司 | 一种三维建模方法、装置、设备及存储介质 |
| CN115861572B (zh) * | 2023-02-24 | 2023-05-23 | 腾讯科技（深圳）有限公司 | 一种三维建模方法、装置、设备及存储介质 |
| CN116310215A (zh) * | 2023-03-03 | 2023-06-23 | 网易（杭州）网络有限公司 | 数据处理方法、三维重建方法及其装置、设备和存储介质 |
| CN116168163A (zh) * | 2023-03-29 | 2023-05-26 | 湖北工业大学 | 三维模型构建方法、装置及存储介质 |
| CN116168163B (zh) * | 2023-03-29 | 2023-11-17 | 湖北工业大学 | 三维模型构建方法、装置及存储介质 |
| CN117274344A (zh) * | 2023-11-22 | 2023-12-22 | 北京渲光科技有限公司 | 真实材质纹理的模型训练方法、纹理合成及映射方法 |
| CN117274344B (zh) * | 2023-11-22 | 2024-02-06 | 北京渲光科技有限公司 | 真实材质纹理的模型训练方法、纹理合成及映射方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115601511B (zh) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115601511B (zh) | 三维重建方法、装置、计算机设备及计算机可读存储介质 | |
| CN109949255B (zh) | 图像重建方法及设备 | |
| Mihajlovic et al. | KeypointNeRF: Generalizing image-based volumetric avatars using relative spatial encoding of keypoints | |
| KR20170120639A (ko) | 딥스테레오: 실세계 이미지로부터 새로운 뷰들을 예측하는 러닝 | |
| Feng et al. | PRIF: Primary ray-based implicit function | |
| CN115082639A (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN115100339A (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN116977522A (zh) | 三维模型的渲染方法、装置、计算机设备和存储介质 | |
| Wang et al. | Neural light field estimation for street scenes with differentiable virtual object insertion | |
| CN115457188A (zh) | 一种基于注视点的3d渲染显示方法及系统 | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN115294268A (zh) | 一种物体的三维模型重建方法及电子设备 | |
| JP2024510230A (ja) | 顔表情、身体ポーズ形状及び衣服パフォーマンスキャプチャのための暗黙的微分可能レンダラーを用いたマルチビューニューラル人間予測 | |
| CN116721210A (zh) | 基于神经有符号距离场的实时高效三维重建方法及装置 | |
| CN112184912A (zh) | 一种基于参数化模型和位置图的多度量三维人脸重建方法 | |
| CN117934677A (zh) | 图像处理方法和装置以及图像处理模型的训练方法和装置 | |
| Li et al. | 3D reconstruction method of forest landscape based on virtual reality | |
| Shafiei et al. | Learning neural transmittance for efficient rendering of reflectance fields | |
| Lin et al. | A-SATMVSNet: An attention-aware multi-view stereo matching network based on satellite imagery | |
| US20220180548A1 (en) | Method and apparatus with object pose estimation | |
| Molnár et al. | Representation learning for point clouds with variational autoencoders | |
| Kang et al. | Adversarial learning-based camera pose-to-image mapping network for synthesizing new view in real indoor environments | |
| Yang et al. | SA-MVSNet: Self-attention-based multi-view stereo network for 3D reconstruction of images with weak texture | |
| Xu et al. | A real-time semi-dense depth-guided depth completion network | |
| CN118247442B (zh) | 神经辐射场重建模型生成方法、装置、设备、介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |