CN116958453A - 基于神经辐射场的三维模型重建方法、设备和介质 - Google Patents
基于神经辐射场的三维模型重建方法、设备和介质 Download PDFInfo
- Publication number
- CN116958453A CN116958453A CN202311211058.6A CN202311211058A CN116958453A CN 116958453 A CN116958453 A CN 116958453A CN 202311211058 A CN202311211058 A CN 202311211058A CN 116958453 A CN116958453 A CN 116958453A
- Authority
- CN
- China
- Prior art keywords
- model
- radiation field
- dimensional model
- dimensional
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000005855 radiation Effects 0.000 title claims abstract description 48
- 210000005036 nerve Anatomy 0.000 title claims abstract description 21
- 238000009877 rendering Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000001537 neural effect Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Generation (AREA)
Abstract
本发明提供了一种基于神经辐射场的三维模型重建方法、设备和介质，方法包括以下步骤：提取目标的先验信息：采集多视角的RGB图像并进行处理得到目标的位姿信息；神经辐射场模型训练：使用目标的位姿信息训练神经辐射场模型，完成三维模型的隐式表达；生成初始的mesh模型：采用面绘制算法从神经辐射场中提取一个mesh模型作为初始mesh模型；优化目标的三维模型：基于初始mesh模型，利用可微分的光栅化渲染得到渲染图像并计算渲染损失进行反向传播，从而对三维模型的几何形状和外观纹理进行优化；导出通用三维模型。本发明可以完成大范围场景的三维重建并且具有更好的通用性，其得到的模型可以在大多数的三维模型处理软件中使用。
Description
技术领域
本发明涉及三维模型重建技术领域，具体而言，涉及一种基于神经辐射场的三维模型重建方法、设备和介质。
背景技术
利用RGB图像重建三维场景是计算机视觉领域的一个重要课题，其具有很高的实际应用价值。近年来，神经辐射场(Neural Radiance Fields, NeRF)由于其强大的模型重建和渲染能力受到广泛关注。然而，NeRF模型通常使用隐式函数和射线采样的方式进行渲染，这使得建模结果通用性差、难以编辑，这限制了其在下游应用程序中的使用。
mesh模型是三维建模软件和程序中最常用的表示形式，并且可以使用图形硬件进行渲染加速。为得到较为通用的mesh模型，目前部分方法结合NeRF和网格表示的优势直接优化网格体得到mesh模型，但是由于网格的不规则性，这种方法极为复杂且仅限于固定几何形状的目标或对象级的重建，无法完成大规模场景的重建。
发明内容
本发明旨在至少解决现有技术中存在结合了NeRF和网格表示的mesh模型通用性差和难以完成大规模场景重建的技术问题之一。
为此，本发明第一方面提供了一种基于神经辐射场的三维模型重建方法。
本发明第二方面提供了一种计算机设备。
本发明第三方面提供了一种计算机可读存储介质。
本发明提供的一种基于神经辐射场的三维模型重建方法，包括以下步骤：
S1、提取目标的先验信息：采集多视角的RGB图像并进行处理得到目标的位姿信息；
S2、神经辐射场模型训练：使用目标的位姿信息训练神经辐射场模型，完成三维模型的隐式表达；
S3、生成初始的mesh模型：采用面绘制算法从神经辐射场中提取一个mesh模型作为初始mesh模型；
S4、优化目标的三维模型：基于初始mesh模型，利用可微分的光栅化渲染得到渲染图像并计算渲染损失进行反向传播，从而对三维模型的几何形状和外观纹理进行优化；
S5、导出通用三维模型：对优化后的mesh模型进行UV展开，并将外观特征解码保存为纹理贴图，得到一个标准格式的具有纹理的mesh模型。
根据本发明上述技术方案的基于神经辐射场的三维模型重建方法，还可以具有以下附加技术特征：
在上述技术方案中，步骤S2中，所述神经辐射场模型训练包括几何形状学习和外观特征分解；
所述几何形状学习包括第一多层感知器，所述第一多层感知器用于根据空间中任意点的坐标得到该点的密度：
其中，为指数激活函数，x为空间点的坐标，/>为第一多层感知器；
所述外观特征分解包括第二多层感知器，所述第二多层感知器用于根据空间中任意点的坐标和视点方向得到该点的颜色c：
其中，为sigmoid激活函数，d为视点方向，/>为第二多层感知器。
在上述技术方案中，步骤S3中，采用Marching Tetrahedra算法从神经辐射场中提取出初始的mesh模型。
在上述技术方案中，步骤S4中，所述优化目标的三维模型包括：
几何渲染，使用可微分渲染模块Nvdiffrast对初始的mesh模型进行光栅化，将三维位置差值传到图像空间；
颜色渲染，使用已有的三维空间颜色查询第二多层感知器，逐点的获取图像空间中的颜色信息；
反向传播，计算渲染得到的图片和真实图片之间的损失，进行反向传播，实现几何形状和外观纹理的微调。
在上述技术方案中，所述反向传播过程中，实现外观纹理微调的方法包括：
使用第二多层感知器表示外观纹理优化，并将外观纹理损失作为可学习参数进行迭代优化：
其中，为外观纹理损失，/>为第j个像素点渲染的颜色，/>为第j个像素点的真实颜色。
在上述技术方案中，所述反向传播过程中，实现几何形状微调的方法包括：
模型顶点位置优化：为每个顶点设置一个可训练的偏移量，并基于可微分渲染通过反向传播图像空间损失梯度来优化偏移量：
其中，为第i个顶点的坐标偏移，/>为偏移量损失；
模型网格面密度调整，在训练过程中将二维的外观纹理损失（同外观纹理损失）重投影到对应的网格面上，并对所有网格面的渲染误差进行累计，在一定的迭代次数后，对网格面的误差进行排序，并且误差值排序在95%以上的面进行中点细分增加面密度，误差值排序在50%以下的面采用重新网格化降低面密度。
在上述技术方案中，步骤S1中，所述提取目标的先验信息包括：数据采集、特征提取、特征匹配和稀疏重建。
在上述技术方案中，步骤S5中，采用用于mesh模型参数化的C++库XAtlas对优化后的mesh模型进行UV展开。
本发明还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上述技术方案中任一项所述的基于神经辐射场的三维模型重建方法。
本发明还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述技术方案中任一项所述的基于神经辐射场的三维模型重建方法。
综上所述，由于采用了上述技术特征，本发明的有益效果是：
本发明通过NeRF模型训练和Marching Tetrahedra算法完成初始模型的构建，进一步通过可微分渲染联合优化初始模型的几何形状和外观特征，从而实现高质量的mesh模型重建。
本发明能够利用多视角的RGB图像，快速、高质量的重建三维模型。
本发明能够完成大规模场景的三维重建，并且产出标准格式的mesh模型，可以在大多数的三维模型处理软件中使用。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例的基于神经辐射场的三维模型重建方法的流程图；
图2是本发明一个实施例的基于神经辐射场的三维模型重建方法中场景或对象的先验信息获取的流程示意图；
图3是本发明一个实施例的基于神经辐射场的三维模型重建方法中基于可微渲染进行初始模型优化的流程示意图；
图4为本发明一个实施例的基于神经辐射场的三维模型重建方法得到的mesh模型图；
图5为本发明一个实施例的基于神经辐射场的三维模型重建方法得到的特征贴图；
图6为本发明一个实施例的基于神经辐射场的三维模型重建方法得到的mesh模型在Blender中进行编辑处理的效果图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其它不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
下面参照图1至图6来描述根据本发明一些实施例提供的基于神经辐射场的三维模型重建方法、设备和介质。
本申请的一些实施例提供了一种基于神经辐射场的三维模型重建方法。
如图1所示，本发明第一个实施例提出了一种基于神经辐射场的三维模型重建方法，包括以下步骤：
S1、提取目标的先验信息：采集多视角的RGB图像并进行处理得到目标的位姿信息；其中，目标可以为场景或对象。在一些实施例中，获取先验信息的方法如图2所示，包括以下子步骤：数据采集、特征提取、特征匹配和稀疏重建；即采集目标在多个视角下的RGB图像数据，对上述图像数据进行特征提取，得到若干特征点，再对特征点进行匹配，然后通过稀疏重建，重建图像特征点的三维坐标，从而得到场景或对象的位姿信息，实现图像的定位。
S2、神经辐射场模型训练：使用采集的场景或对象的位姿信息训练神经辐射场模型，完成三维模型的隐式表达。具体地，所述神经辐射场模型训练包括几何形状学习和外观特征分解。
其中，所述几何形状学习包括第一多层感知器，所述第一多层感知器/>用于根据空间中任意点的坐标得到该点的密度/>：
其中，为指数激活函数，x为空间点的坐标，/>为第一多层感知器；
所述外观特征分解包括第二多层感知器，所述第二多层感知器/>用于根据空间中任意点的坐标和视点方向得到该点的颜色c：
其中，为sigmoid激活函数（S型生长曲线），d为视点方向，/>为第二多层感知器。
S3、生成初始的mesh模型：采用面绘制算法从神经辐射场中提取一个粗略的mesh模型作为初始mesh模型；在一个具体实施例中，采用Marching Tetrahedra算法（移动四面体算法）从神经辐射场中提取出初始的mesh模型。
S4、优化场景或对象的三维模型：基于初始mesh模型，利用可微分的光栅化渲染得到渲染图像并计算渲染损失进行反向传播，从而对三维模型的几何形状和外观纹理进行优化；在一个实施例中，通过可微分渲染模块Nvdiffrast和反向传播完成几何形状和外观纹理优化，其中，可微分渲染模块Nvdiffrast为英伟达开源的高性能可微分渲染模块。具体地，优化目标的三维模型的方法如图3所示，包括：
几何渲染，使用可微分渲染模块Nvdiffrast对初始的mesh模型进行光栅化，将三维位置差值传到图像空间；
颜色渲染，使用已有的三维空间颜色查询第二多层感知器，逐点的获取图像空间中的颜色信息；
反向传播，计算渲染得到的图片和真实图片之间的损失LOSS，进行反向传播，实现几何形状和外观纹理的微调。
其中，所述反向传播过程中，实现外观纹理微调的方法包括：
使用第二多层感知器表示外观纹理优化，并将外观纹理损失作为可学习参数进行迭代优化，即外观纹理优化仍然使用步骤S2中的来表示并且作为可学习参数进行迭代优化：
其中，为外观纹理损失，/>为第j个像素点渲染的颜色，/>为第j个像素点的真实颜色。
实现几何形状微调的方法包括模型顶点偏移和模型网格面密度调整。
其中，模型顶点位置优化：为每个顶点设置一个可训练的偏移量，并基于可微分渲染通过反向传播图像空间损失梯度来优化偏移量，使用坐标偏移量为可学习参数，并结合L2损失函数进行损失计算和反向传播：
其中，为第i个顶点的坐标偏移，/>为偏移量损失；
模型网格面密度调整，在训练过程中将二维的外观纹理损失重投影到对应的网格面上，并对所有网格面的渲染误差进行累计，在一定的迭代次数后，对网格面的误差进行排序，并且误差值排序在95%以上的面进行中点细分增加面密度，误差值排序在50%以下的面采用重新网格化降低面密度。
S5、导出通用三维模型：对最终优化后的mesh模型进行UV展开，并将外观特征解码保存为纹理贴图，得到一个标准格式的具有纹理的mesh模型，如图4和图5所示。
在一个具体实施例中，采用用于mesh模型参数化的C++库XAtlas对优化后的mesh模型进行UV展开，并且最终得到的三维模型可以在大多数的三维模型处理软件中进行浏览和编辑，效果如图6所示。
本发明第二个实施例提出了一种计算机设备，且在第一个实施例的基础上，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如第一个实施例中所述的基于神经辐射场的三维模型重建方法。
本发明第三个实施例提出了一种计算机可读存储介质，且在第一个实施例的基础上，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述技术方案中任一项所述的基于神经辐射场的三维模型重建方法。
在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于神经辐射场的三维模型重建方法，其特征在于，包括以下步骤：
S1、提取目标的先验信息：采集多视角的RGB图像并进行处理得到目标的位姿信息；
S2、神经辐射场模型训练：使用目标的位姿信息训练神经辐射场模型，完成三维模型的隐式表达；
S3、生成初始的mesh模型：采用面绘制算法从神经辐射场中提取一个mesh模型作为初始mesh模型；
S4、优化目标的三维模型：基于初始mesh模型，利用可微分的光栅化渲染得到渲染图像并计算渲染损失进行反向传播，从而对三维模型的几何形状和外观纹理进行优化；
S5、导出通用三维模型：对优化后的mesh模型进行UV展开，并将外观特征解码保存为纹理贴图，得到一个标准格式的具有纹理的mesh模型。
2.根据权利要求1所述的基于神经辐射场的三维模型重建方法，其特征在于，步骤S2中，所述神经辐射场模型训练包括几何形状学习和外观特征分解；
所述几何形状学习包括第一多层感知器，所述第一多层感知器用于根据空间中任意点的坐标得到该点的密度：
其中，为指数激活函数，x为空间点的坐标，/>为第一多层感知器；
所述外观特征分解包括第二多层感知器，所述第二多层感知器用于根据空间中任意点的坐标和视点方向得到该点的颜色c：
其中，为sigmoid激活函数，d为视点方向，/>为第二多层感知器。
3.根据权利要求1所述的基于神经辐射场的三维模型重建方法，其特征在于，步骤S3中，采用Marching Tetrahedra算法从神经辐射场中提取出初始的mesh模型。
4.根据权利要求2所述的基于神经辐射场的三维模型重建方法，其特征在于，步骤S4中，所述优化目标的三维模型包括：
几何渲染，使用可微分渲染模块Nvdiffrast对初始的mesh模型进行光栅化，将三维位置差值传到图像空间；
颜色渲染，使用已有的三维空间颜色查询第二多层感知器，逐点的获取图像空间中的颜色信息；
反向传播，计算渲染得到的图片和真实图片之间的损失，进行反向传播，实现几何形状和外观纹理的微调。
5.根据权利要求4所述的基于神经辐射场的三维模型重建方法，其特征在于，所述反向传播过程中，实现外观纹理微调的方法包括：
使用第二多层感知器表示外观纹理优化，并将外观纹理损失作为可学习参数进行迭代优化：
其中，为外观纹理损失，/>为第j个像素点渲染的颜色，/>为第j个像素点的真实颜色。
6.根据权利要求5所述的基于神经辐射场的三维模型重建方法，其特征在于，所述反向传播过程中，实现几何形状微调的方法包括：
模型顶点位置优化：为每个顶点设置一个可训练的偏移量，并基于可微分渲染通过反向传播图像空间损失梯度来优化偏移量：
其中，为第i个顶点的坐标偏移，/>为偏移量损失；
模型网格面密度调整，在训练过程中将二维的外观纹理损失重投影到对应的网格面上，并对所有网格面的渲染误差进行累计，在一定的迭代次数后，对网格面的误差进行排序，并且误差值排序在95%以上的面进行中点细分增加面密度，误差值排序在50%以下的面采用重新网格化降低面密度。
7.根据权利要求1所述的基于神经辐射场的三维模型重建方法，其特征在于，步骤S1中，所述提取目标的先验信息包括：数据采集、特征提取、特征匹配和稀疏重建。
8.根据权利要求1所述的基于神经辐射场的三维模型重建方法，其特征在于，步骤S5中，采用用于mesh模型参数化的C++库XAtlas对优化后的mesh模型进行UV展开。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至8中任一项所述的基于神经辐射场的三维模型重建方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至8中任一项所述的基于神经辐射场的三维模型重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311211058.6A CN116958453B (zh) | 2023-09-20 | 2023-09-20 | 基于神经辐射场的三维模型重建方法、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311211058.6A CN116958453B (zh) | 2023-09-20 | 2023-09-20 | 基于神经辐射场的三维模型重建方法、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116958453A true CN116958453A (zh) | 2023-10-27 |
| CN116958453B CN116958453B (zh) | 2023-12-08 |
Family
ID=88454928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311211058.6A Active CN116958453B (zh) | 2023-09-20 | 2023-09-20 | 基于神经辐射场的三维模型重建方法、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958453B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274501A (zh) * | 2023-11-16 | 2023-12-22 | 杭州新畅元科技有限公司 | 一种可驱动数字人建模方法、装置、设备及介质 |
| CN117372602A (zh) * | 2023-12-05 | 2024-01-09 | 成都索贝数码科技股份有限公司 | 一种异构三维多对象融合渲染方法、设备及系统 |
| CN117456144A (zh) * | 2023-11-10 | 2024-01-26 | 中国人民解放军海军航空大学 | 基于可见光遥感图像的目标建筑物三维模型优化方法 |
| CN117495797A (zh) * | 2023-10-30 | 2024-02-02 | 武汉大学 | 基于隐式三维表达引导的航空数据变化检测方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140510A (zh) * | 2021-12-03 | 2022-03-04 | 北京影谱科技股份有限公司 | 一种增量式三维重建方法、装置以及计算机设备 |
| CN114429538A (zh) * | 2022-04-02 | 2022-05-03 | 中科计算技术创新研究院 | 交互式编辑神经辐射场几何的方法 |
| CN115690324A (zh) * | 2022-11-15 | 2023-02-03 | 广州中思人工智能科技有限公司 | 一种基于点云的神经辐射场重建优化方法及装置 |
| CN115861508A (zh) * | 2022-12-05 | 2023-03-28 | 北京洛塔信息技术有限公司 | 一种图像渲染方法、装置、设备、存储介质及产品 |
| CN115937394A (zh) * | 2022-12-05 | 2023-04-07 | 百果园技术(新加坡)有限公司 | 一种基于神经辐射场的三维图像渲染方法及系统 |
| CN115984441A (zh) * | 2023-01-03 | 2023-04-18 | 园宝科技(武汉)有限公司 | 一种基于神经着色器的快速重建带纹理三维模型的方法 |
| WO2023086398A1 (en) * | 2021-11-09 | 2023-05-19 | Innopeak Technology, Inc. | 3d rendering networks based on refractive neural radiance fields |
| CN116310076A (zh) * | 2022-12-29 | 2023-06-23 | 深圳万兴软件有限公司 | 基于神经辐射场的三维重建方法、装置、设备及存储介质 |
| WO2023129190A1 (en) * | 2021-12-30 | 2023-07-06 | Google Llc | Generative modeling of three dimensional scenes and applications to inverse problems |
| CN116452715A (zh) * | 2023-03-16 | 2023-07-18 | 中国科学院深圳先进技术研究院 | 动态人手渲染方法、装置及存储介质 |
| CN116630508A (zh) * | 2023-05-09 | 2023-08-22 | 阿里巴巴达摩院(杭州)科技有限公司 | 3d模型处理方法、装置及电子设备 |
-
2023
- 2023-09-20 CN CN202311211058.6A patent/CN116958453B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023086398A1 (en) * | 2021-11-09 | 2023-05-19 | Innopeak Technology, Inc. | 3d rendering networks based on refractive neural radiance fields |
| CN114140510A (zh) * | 2021-12-03 | 2022-03-04 | 北京影谱科技股份有限公司 | 一种增量式三维重建方法、装置以及计算机设备 |
| WO2023129190A1 (en) * | 2021-12-30 | 2023-07-06 | Google Llc | Generative modeling of three dimensional scenes and applications to inverse problems |
| CN114429538A (zh) * | 2022-04-02 | 2022-05-03 | 中科计算技术创新研究院 | 交互式编辑神经辐射场几何的方法 |
| CN115690324A (zh) * | 2022-11-15 | 2023-02-03 | 广州中思人工智能科技有限公司 | 一种基于点云的神经辐射场重建优化方法及装置 |
| CN115861508A (zh) * | 2022-12-05 | 2023-03-28 | 北京洛塔信息技术有限公司 | 一种图像渲染方法、装置、设备、存储介质及产品 |
| CN115937394A (zh) * | 2022-12-05 | 2023-04-07 | 百果园技术(新加坡)有限公司 | 一种基于神经辐射场的三维图像渲染方法及系统 |
| CN116310076A (zh) * | 2022-12-29 | 2023-06-23 | 深圳万兴软件有限公司 | 基于神经辐射场的三维重建方法、装置、设备及存储介质 |
| CN115984441A (zh) * | 2023-01-03 | 2023-04-18 | 园宝科技(武汉)有限公司 | 一种基于神经着色器的快速重建带纹理三维模型的方法 |
| CN116452715A (zh) * | 2023-03-16 | 2023-07-18 | 中国科学院深圳先进技术研究院 | 动态人手渲染方法、装置及存储介质 |
| CN116630508A (zh) * | 2023-05-09 | 2023-08-22 | 阿里巴巴达摩院(杭州)科技有限公司 | 3d模型处理方法、装置及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| AFEI LIU 等: "RaNeRF: Neural 3-D Reconstruction of Space Targets From ISAR Image Sequences", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, vol. 61 * |
| 朱方: "3D场景表征—神经辐射场（NeRF）近期成果综述", 中国传媒大学学报(自然科学版), vol. 29, no. 05 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495797A (zh) * | 2023-10-30 | 2024-02-02 | 武汉大学 | 基于隐式三维表达引导的航空数据变化检测方法及系统 |
| CN117456144A (zh) * | 2023-11-10 | 2024-01-26 | 中国人民解放军海军航空大学 | 基于可见光遥感图像的目标建筑物三维模型优化方法 |
| CN117456144B (zh) * | 2023-11-10 | 2024-05-07 | 中国人民解放军海军航空大学 | 基于可见光遥感图像的目标建筑物三维模型优化方法 |
| CN117274501A (zh) * | 2023-11-16 | 2023-12-22 | 杭州新畅元科技有限公司 | 一种可驱动数字人建模方法、装置、设备及介质 |
| CN117274501B (zh) * | 2023-11-16 | 2024-02-09 | 杭州新畅元科技有限公司 | 一种可驱动数字人建模方法、装置、设备及介质 |
| CN117372602A (zh) * | 2023-12-05 | 2024-01-09 | 成都索贝数码科技股份有限公司 | 一种异构三维多对象融合渲染方法、设备及系统 |
| CN117372602B (zh) * | 2023-12-05 | 2024-02-23 | 成都索贝数码科技股份有限公司 | 一种异构三维多对象融合渲染方法、设备及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116958453B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116958453B (zh) | 基于神经辐射场的三维模型重建方法、设备和介质 | |
| Gadelha et al. | 3d shape induction from 2d views of multiple objects | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN108921926B (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
| CN108038906B (zh) | 一种基于图像的三维四边形网格模型重建方法 | |
| CN113096234B (zh) | 利用多张彩色图片生成三维网格模型的方法及装置 | |
| CN110223370B (zh) | 一种从单视点图片生成完整人体纹理贴图的方法 | |
| CN111161364A (zh) | 一种针对单视角深度图的实时形状补全和姿态估计方法 | |
| CN110930334A (zh) | 一种基于神经网络的网格去噪方法 | |
| Wu et al. | Specular-to-diffuse translation for multi-view reconstruction | |
| CN116416376A (zh) | 一种三维头发的重建方法、系统、电子设备及存储介质 | |
| CN114663603B (zh) | 一种基于神经辐射场的静态对象三维网格模型生成方法 | |
| CN115761178A (zh) | 基于隐式神经表示的多视图三维重建方法 | |
| CN117115359B (zh) | 一种基于深度图融合的多视图电网三维空间数据重建方法 | |
| Wang et al. | Improved surface reconstruction using high-frequency details | |
| Jiang et al. | 3D Points Splatting for Real-Time Dynamic Hand Reconstruction | |
| CN117557721A (zh) | 一种单张图像细节三维人脸重建方法、系统、设备和介质 | |
| CN110322548B (zh) | 一种基于几何图像参数化的三维网格模型生成方法 | |
| CN116452715A (zh) | 动态人手渲染方法、装置及存储介质 | |
| CN113808006B (zh) | 一种基于二维图像重建三维网格模型的方法及装置 | |
| Chen et al. | MoCo‐Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary Monocular Cameras | |
| CN111932670A (zh) | 基于单个rgbd相机的三维人体自画像重建方法及系统 | |
| CN111932682A (zh) | 一种配电线路运检作业vr仿真系统多工种虚拟角色生成方法 | |
| Deprelle et al. | Learning Joint Surface Atlases | |
| CN110675381A (zh) | 一种基于串行结构网络的本征图像分解方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |