CN115512073A - 基于可微分渲染下多阶段训练的三维纹理网格重建方法 - Google Patents

基于可微分渲染下多阶段训练的三维纹理网格重建方法 Download PDF

Info

Publication number
CN115512073A
CN115512073A CN202211138108.8A CN202211138108A CN115512073A CN 115512073 A CN115512073 A CN 115512073A CN 202211138108 A CN202211138108 A CN 202211138108A CN 115512073 A CN115512073 A CN 115512073A
Authority
CN
China
Prior art keywords
dimensional
texture
vertex
grid
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211138108.8A
Other languages
English (en)
Inventor
张小瑞
徐枫
孙伟
宋爱国
刘青山
潘志庚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202211138108.8A priority Critical patent/CN115512073A/zh
Publication of CN115512073A publication Critical patent/CN115512073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了基于可微分渲染下多阶段训练的三维纹理网格重建方法，包括以下步骤：S1.初始设置一个球体网格，球体网格的各个顶点均附加了特征向量,特征向量包含顶点坐标、顶点颜色与纹理、顶点与周围其他顶点的拓扑连接关系；S2.搭建三维纹理网格重建网络，三维纹理网格重建网络包括图像特征提取模块、形状重建模块和纹理重建模块；S3.对步骤S2中搭建的三维纹理网格重建网络执行基于可微分渲染的多阶段训练；S4.初始设置一个与步骤S1相同的球体网格，读取待重建物体的二维图像，提取并处理二维图像的形状特征图像和纹理特征图像，输出附带纹理细节的三维网格模型。本发明可精准地还原物体表面信息，且脱离3D数据集进行训练，进一步提高训练速度。

Description

基于可微分渲染下多阶段训练的三维纹理网格重建方法
技术领域
本发明涉及三维视觉处理的技术领域，尤其涉及基于可微分渲染下多阶段训练的三维纹理网格重建方法。
背景技术
近年来，随着深度学习技术的进展以及大规模三维数据集的出现，基于单图像的三维重建技术取得了飞速发展。现有的大多数重建网络已能够重建出三维物体的大致形状，但依然存在以下问题：一、现实世界的物体包含色彩和纹理等多方面细节，但现有方法无法完整地还原这些信息，所重建物体因表面细节不足而显得不够逼真；二、重建网络的训练依赖完整的2D-3D对应数据集，但并非所有现实世界的物体都很容易能获取到其对应的3D数据，因此现有方法往往在训练集上能得到较好的结果，但在测试集(尤其是真实世界物体)上表现不佳，重建网络的泛化性能较差。
发明内容
发明目的
本发明的目的在于提出一种基于可微分渲染下多阶段训练的可以丰富重建物体的表面色彩和纹理细节，且能够脱离3D数据集进行训练，进一步提升网络的泛化性能的三维网格重建方法。
技术方案
基于可微分渲染下多阶段训练的三维纹理网格重建方法，包括以下步骤：
S1.初始设置一个球体网格，球体网格的各个顶点均附加了特征向量,特征向量包含顶点坐标、顶点颜色与纹理、顶点与周围其他顶点的拓扑连接关系；
S2.搭建三维纹理网格重建网络，三维纹理网格重建网络包括图像特征提取模块、形状重建模块和纹理重建模块，图像特征提取模块包括形状编码器和颜色编码器，形状编码器提取其形状特征图像，形状特征图像的通道数为512，颜色编码器提取其纹理特征图像，纹理特征图像的通道数为512，形状特征图像与纹理特征图像大小相同、结构对称一致,形状重建模块包含一个图卷积神经网络，纹理重建模块包含一个纹理解码器；
S3.对步骤S2中搭建的三维纹理网格重建网络执行基于可微分渲染的多阶段训练，具体步骤有S31、S32、S33、S34、S35和S36，
S31.读取现有的三维数据集，现有的三维数据集包括三维网格模型的顶点坐标、顶点颜色与纹理、顶点法向量、顶点与周围其他顶点的拓扑连接关系、不同视角下的二维对应图像，使用图像特征提取模块提取现有的三维数据集中的三维网格模型的二维对应图像的形状特征图像和纹理特征图像；
S32.使用双线性采样提取球体网格的顶点在步骤S31中的形状特征图像上投影点的周围四个像素的特征向量并融合，将其附加在顶点上，得到顶点的初始特征向量，再将顶点送入形状重建模块的图卷积神经网络进行训练，输出新的顶点特征向量，对球体网格的所有顶点执行同样的操作，得到完成变形的三维网格模型；
S33.通过正交投影将步骤S32中的三维网格模型的顶点分解为二维像素点与一维深度值，通过双线性采样将二维像素点与纹理特征图像中对应的点的位置对齐，将纹理特征图像中对应点的信息赋给二维像素点，将一维深度值与已完成对齐的二维像素点的特征向量融合，并将二维像素点输入到纹理解码器中，通过基于损失函数约束的端到端训练，获取顶点信息与该顶点纹理信息之间的非线性关系，预测出顶点的纹理信息，纹理信息采用RGB值表示，对三维网格模型的所有顶点执行同样的操作，得到三维网格模型每个顶点的纹理信息，将三维网格模型的拓扑结构信息与对应顶点的纹理信息相结合，得到附带纹理细节的三维网格模型；
S34.通过三维监督技术来训练三维纹理网格重建网络处理球体网格，使得三维纹理网格重建网络的参数稳定在一个合理的范围内；
S35.引入可微分渲染技术，在现有的三维数据集上，通过比对输入的二维图像与生成的三维网格模型在对应视角下的二维渲染图像之间的差异，调整三维纹理网格重建网络的参数；
S36.将训练集扩大至更多的二维自然图像，通过Mask-RCNN网络对输入图像进行前后景分割，采用与S35相同的训练方法训练三维纹理网格重建网络；
S4.初始设置一个与步骤S1相同的球体网格，读取待重建物体的二维图像，使用图像特征提取模块提取二维图像的形状特征图像和纹理特征图像，基于完成了步骤S3 训练的三维纹理网格重建网络、采用与步骤S32、S33相同的处理方法处理步骤S4所提取的形状特征图像和纹理特征图像，输出附带纹理细节的三维网格模型。
引入可微分渲染技术，将生成的三维网格模型渲染为2D图像并与输入图像进行比对，可以逐步缩减重建网络的预测误差，这使得重建网络能够脱离3D数据集进行训练，并进一步提高训练速度。
进一步地，形状编码器与所述颜色编码器均采用ResNet101作为骨干网络，但不使用ResNet101的平均池化过程与全连接层。
网络的深度对系统的性能至关重要，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，以ResNet101作为骨干网络可以有效提高网络的深度，同时防止出现深度网络退化的问题，可以为本发明提供可靠的支持，同时，不使用其平均池化过程和全连接层，可以更好地适应本发明执行三维纹理网格重建的具体目的。
进一步地，形状重建模块的图卷积神经网络以所述球体网格为处理对象，更新球体网格顶点的位置信息实现形变，所使用的形变公式为
Figure BDA0003852207320000031
其中，p代表球体网格的顶点，
Figure BDA0003852207320000032
代表球体网格中顶点p在卷积运算前的特征向量，
Figure BDA0003852207320000033
代表球体网格中顶点p在卷积运算后的特征向量，l代表所述形状重建模块的图卷积神经网络的图卷积层数，w0代表应用于球体网格所有顶点的可学习的参数矩阵，w1代表另一个应用于球体网格所有顶点的可学习的参数矩阵，φ(p)是p的相邻顶点点集，q是φ(p)中的任意一个顶点。
进一步地，形状重建模块通过倒角损失
Figure BDA0003852207320000034
法向损失
Figure BDA0003852207320000035
来约束生成的顶点位置；
倒角损失具体表示为
Figure BDA0003852207320000036
法向损失具体表示为
Figure BDA0003852207320000037
其中，x代表预测生成的网格中的任一顶点，y代表3D数据集中当前预测对应的真实网格中的任一顶点，ny为顶点y在真实网格中的法向量，<x-k，ny>代表向量x-k 与ny的内积，k为顶点x的任一相邻顶点，φ(x)为x的相邻点集。
倒角损失代表两个点云之间的差异大小，倒角损失越小说明两个点云间差距越小，则训练得到的三维网格越贴近真实网格，训练效果越好。法向损失衡量了顶点与其相邻顶点之间的边垂直于可观测到的网格真值，优化这一损失相当于强迫局部拟合切平面的法线与观测值一致，因而使得整个网格曲面趋于平滑化。
进一步地，纹理重建模块通过顶点颜色损失
Figure BDA0003852207320000041
来约束生成的纹理信息，顶点颜色损失具体表示为
Figure BDA0003852207320000042
其中，x代表预测生成的网格中的任一顶点，Rx代表顶点x对应的RGB值，z为三维真值网格中距离x最近的顶点，Rz为顶点z对应的RGB值。
顶点颜色损失代表了预测网格和真实网格之间每个顶点的RGB差值，可以用于调整预测网格的纹理信息。
进一步地，步骤S35中使用的可微分渲染技术为DIB-R绘制框架，计算二维输入图像与生成的三维网格模型在对应视角下的渲染图像之间的交并比损失
Figure BDA0003852207320000043
和纹理损失
Figure BDA0003852207320000044
基于交并比损失和纹理损失调整三维纹理网格重建网络的参数，交并比损失的计算公式为
Figure BDA0003852207320000045
其中，S代表图像的alpha通道矩阵，
Figure BDA0003852207320000046
代表经DIB-R渲染后的二维轮廓矩阵，⊙代表元素积——矩阵对应位置元素相乘；
纹理损失的计算公式为
Figure BDA0003852207320000047
其中，I代表二维真实图像的RGB矩阵，
Figure BDA0003852207320000048
代表二维渲染图像的RGB矩阵。
有益效果
本发明通过设计融合形状与纹理特征的三维纹理网格重建网络，能够较为精准地还原输入图像中的物体表面信息，提高重建模型的逼真性，且使得重建网络能够脱离3D 数据集进行训练，并进一步提高训练速度。
附图说明
图1为本发明的逻辑流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的内容，现结合附图和具体实施方式对本发明进一步说明。
基于可微分渲染下多阶段训练的三维纹理网格重建方法，包括步骤S1、S2、S3和S4。
S1.初始设置一个球体网格，球体网格的各个顶点均附加了特征向量，特征向量包含顶点坐标、顶点颜色与纹理、顶点与周围其他顶点的拓扑连接关系。
S2.搭建三维纹理网格重建网络，三维纹理网格重建网络包括图像特征提取模块、形状重建模块和纹理重建模块，图像特征提取模块包括形状编码器和颜色编码器，形状编码器提取其形状特征图像，形状特征图像的通道数为512，颜色编码器提取其纹理特征图像，纹理特征图像的通道数为512，形状特征图像与纹理特征图像大小相同、结构对称一致，形状重建模块包含一个图卷积神经网络，纹理重建模块包含一个纹理解码器。形状编码器与所述颜色编码器均采用ResNet101作为骨干网络，但不使用ResNet101的平均池化过程与全连接层。形状重建模块的图卷积神经网络以所述球体网格为处理对象，更新球体网格顶点的位置信息实现形变，所使用的形变公式为
Figure BDA0003852207320000051
其中，p代表球体网格的顶点，
Figure BDA0003852207320000052
代表球体网格中顶点p在卷积运算前的特征向量，
Figure BDA0003852207320000053
代表球体网格中顶点p在卷积运算后的特征向量，l代表所述形状重建模块的图卷积神经网络的图卷积层数，w0代表应用于球体网格所有顶点的可学习的参数矩阵，w1代表另一个应用于球体网格所有顶点的可学习的参数矩阵，φ(p)是p的相邻顶点点集，q是φ(p)中的任意一个顶点。
形状重建模块通过倒角损失
Figure BDA0003852207320000054
法向损失
Figure BDA0003852207320000055
来约束生成的顶点位置；
倒角损失具体表示为
Figure BDA0003852207320000056
法向损失具体表示为
Figure BDA0003852207320000057
其中，x代表预测生成的网格中的任一顶点，y代表3D数据集中当前预测对应的真实网格中的任一顶点，ny为顶点y在真实网格中的法向量，<x-k，ny>代表向量x-k 与ny的内积，k为顶点x的任一相邻顶点，φ(x)为x的相邻点集。
纹理重建模块通过顶点颜色损失
Figure BDA0003852207320000061
来约束生成的纹理信息，顶点颜色损失具体表示为
Figure BDA0003852207320000062
其中，x代表预测生成的网格中的任一顶点，Rx代表顶点x对应的RGB值，z为三维真值网格中距离x最近的顶点，Rz为顶点z对应的RGB值。
S3.对步骤S2中搭建的三维纹理网格重建网络执行基于可微分渲染的多阶段训练，具体步骤有S31、S32、S33、S34、S35和S36。
S31.读取现有的三维数据集，现有的三维数据集包括三维网格模型的顶点坐标、顶点颜色与纹理、顶点法向量、顶点与周围其他顶点的拓扑连接关系、不同视角下的二维对应图像，使用图像特征提取模块提取现有的三维数据集中的三维网格模型的二维对应图像的形状特征图像和纹理特征图像。
S32.使用双线性采样提取球体网格的顶点在步骤S31中的形状特征图像上投影点的周围四个像素的特征向量并融合，将其附加在顶点上，得到顶点的初始特征向量，再将顶点送入形状重建模块的图卷积神经网络进行训练，输出新的顶点特征向量，对球体网格的所有顶点执行同样的操作，得到完成变形的三维网格模型。
S33.通过正交投影将步骤S32中的三维网格模型的顶点分解为二维像素点与一维深度值，通过双线性采样将二维像素点与纹理特征图像中对应的点的位置对齐，将纹理特征图像中对应点的信息赋给二维像素点，将一维深度值与已完成对齐的二维像素点的特征向量融合，并将二维像素点输入到纹理解码器中，通过基于损失函数约束的端到端训练，获取顶点信息与该顶点纹理信息之间的非线性关系，预测出顶点的纹理信息，纹理信息采用RGB值表示，对三维网格模型的所有顶点执行同样的操作，得到三维网格模型每个顶点的纹理信息，将三维网格模型的拓扑结构信息与对应顶点的纹理信息相结合，得到附带纹理细节的三维网格模型。
S34.通过三维监督技术来训练三维纹理网格重建网络处理球体网格，使得三维纹理网格重建网络的参数稳定在一个合理的范围内。
S35.引入可微分渲染技术——DIB-R绘制框架，在现有的三维数据集上，通过比对输入的二维图像与生成的三维网格模型在对应视角下的二维渲染图像之间的差异，调整三维纹理网格重建网络的参数，具体地，计算二维输入图像与生成的三维网格模型在对应视角下的渲染图像之间的交并比损失
Figure BDA0003852207320000071
和纹理损失
Figure BDA0003852207320000072
基于交并比损失和纹理损失调整三维纹理网格重建网络的参数，交并比损失的计算公式为
Figure BDA0003852207320000073
其中，S代表图像的alpha通道矩阵，
Figure BDA0003852207320000074
代表经DIB-R渲染后的二维轮廓矩阵，⊙代表元素积——矩阵对应位置元素相乘；
纹理损失的计算公式为
Figure BDA0003852207320000075
其中，I代表二维真实图像的RGB矩阵，
Figure BDA0003852207320000076
代表二维渲染图像的RGB矩阵。
S36.将训练集扩大至更多的二维自然图像，通过Mask-RCNN网络对输入图像进行前后景分割，采用与S35相同的训练方法训练三维纹理网格重建网络。
S4.初始设置一个与步骤S1相同的球体网格，读取待重建物体的二维图像，使用图像特征提取模块提取二维图像的形状特征图像和纹理特征图像，基于完成了步骤S3 训练的三维纹理网格重建网络、采用与步骤S32、S33相同的处理方法处理步骤S4所提取的形状特征图像和纹理特征图像，输出附带纹理细节的三维网格模型。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.基于可微分渲染下多阶段训练的三维纹理网格重建方法，其特征在于，包括以下步骤：
S1.初始设置一个球体网格，球体网格的各个顶点均附加了特征向量,特征向量包含顶点坐标、顶点颜色与纹理、顶点与周围其他顶点的拓扑连接关系；
S2.搭建三维纹理网格重建网络，三维纹理网格重建网络包括图像特征提取模块、形状重建模块和纹理重建模块，图像特征提取模块包括形状编码器和颜色编码器，形状编码器提取其形状特征图像，形状特征图像的通道数为512，颜色编码器提取其纹理特征图像，纹理特征图像的通道数为512，形状特征图像与纹理特征图像大小相同、结构对称一致,形状重建模块包含一个图卷积神经网络，纹理重建模块包含一个纹理解码器；
S3.对步骤S2中搭建的三维纹理网格重建网络执行基于可微分渲染的多阶段训练，具体步骤有S31、S32、S33、S34、S35和S36，
S31.读取现有的三维数据集，现有的三维数据集包括三维网格模型的顶点坐标、顶点颜色与纹理、顶点法向量、顶点与周围其他顶点的拓扑连接关系、不同视角下的二维对应图像，使用所述图像特征提取模块提取现有的三维数据集中的三维网格模型的二维对应图像的形状特征图像和纹理特征图像；
S32.使用双线性采样提取所述球体网格的顶点在步骤S31中的所述形状特征图像上投影点的周围四个像素的特征向量并融合，将其附加在顶点上，得到顶点的初始特征向量，再将顶点送入形状重建模块的图卷积神经网络进行训练，输出新的顶点特征向量，对球体网格的所有顶点执行同样的操作，得到完成变形的三维网格模型；
S33.通过正交投影将步骤S32中的所述三维网格模型的顶点分解为二维像素点与一维深度值，通过双线性采样将二维像素点与所述纹理特征图像中对应的点的位置对齐，将纹理特征图像中对应点的信息赋给二维像素点，将一维深度值与已完成对齐的二维像素点的特征向量融合，并将二维像素点输入到纹理解码器中，通过基于损失函数约束的端到端训练，获取顶点信息与该顶点纹理信息之间的非线性关系，预测出顶点的纹理信息，纹理信息采用RGB值表示，对三维网格模型的所有顶点执行同样的操作，得到三维网格模型每个顶点的纹理信息，将三维网格模型的拓扑结构信息与对应顶点的纹理信息相结合，得到附带纹理细节的三维网格模型；
S34.通过三维监督技术来训练所述三维纹理网格重建网络处理球体网格，使得三维纹理网格重建网络的参数稳定在一个合理的范围内；
S35.引入可微分渲染技术，在现有的三维数据集上，通过比对输入的二维图像与生成的三维网格模型在对应视角下的二维渲染图像之间的差异，调整所述三维纹理网格重建网络的参数；
S36.将训练集扩大至更多的二维自然图像，通过Mask-RCNN网络对输入图像进行前后景分割，采用与S35相同的训练方法训练三维纹理网格重建网络；
S4.初始设置一个与步骤S1相同的球体网格，读取待重建物体的二维图像，使用所述图像特征提取模块提取二维图像的形状特征图像和纹理特征图像，基于完成了步骤S3训练的三维纹理网格重建网络、采用与步骤S32、S33相同的处理方法处理步骤S4所提取的形状特征图像和纹理特征图像，输出附带纹理细节的三维网格模型。
2.根据权利要求1所述的基于可微分渲染下多阶段训练的三维纹理网格重建方法，其特征在于：所述形状编码器与所述颜色编码器均采用ResNet101作为骨干网络，但不使用ResNet101的平均池化过程与全连接层。
3.根据权利要求1所述的基于可微分渲染下多阶段训练的三维纹理网格重建方法，其特征在于：所述形状重建模块的图卷积神经网络以所述球体网格为处理对象，更新球体网格顶点的位置信息实现形变，所使用的形变公式为
Figure FDA0003852207310000021
其中，p代表球体网格的顶点，
Figure FDA0003852207310000022
代表球体网格中顶点p在卷积运算前的特征向量，
Figure FDA0003852207310000023
代表球体网格中顶点p在卷积运算后的特征向量，l代表所述形状重建模块的图卷积神经网络的图卷积层数，w0代表应用于球体网格所有顶点的可学习的参数矩阵，w1代表另一个应用于球体网格所有顶点的可学习的参数矩阵，φ(p)是p的相邻顶点点集，q是φ(p)中的任意一个顶点。
4.根据权利要求1所述的基于可微分渲染下多阶段训练的三维纹理网格重建方法，其特征在于：所述形状重建模块通过倒角损失
Figure FDA0003852207310000024
法向损失
Figure FDA0003852207310000025
来约束生成的顶点位置；
倒角损失具体表示为
Figure FDA0003852207310000026
法向损失具体表示为
Figure FDA0003852207310000031
其中，x代表预测生成的网格中的任一顶点，y代表3D数据集中当前预测对应的真实网格中的任一顶点，ny为顶点y在真实网格中的法向量，<x-k,ny>代表向量x-k与ny的内积，k为顶点x的任一相邻顶点，φ(x)为x的相邻点集。
5.根据权利要求1所述的基于可微分渲染下多阶段训练的三维纹理网格重建方法，其特征在于：所述纹理重建模块通过顶点颜色损失
Figure FDA0003852207310000032
来约束生成的纹理信息，顶点颜色损失具体表示为
Figure FDA0003852207310000033
其中，x代表预测生成的网格中的任一顶点，Rx代表顶点x对应的RGB值，z为三维真值网格中距离x最近的顶点，Rz为顶点z对应的RGB值。
6.根据权利要求1所述的基于可微分渲染下多阶段训练的三维纹理网格重建方法，其特征在于：所述步骤S35中使用的可微分渲染技术为DIB-R绘制框架，计算二维输入图像与生成的三维网格模型在对应视角下的渲染图像之间的交并比损失
Figure FDA0003852207310000034
和纹理损失
Figure FDA0003852207310000035
基于交并比损失和纹理损失调整三维纹理网格重建网络的参数，交并比损失的计算公式为
Figure FDA0003852207310000036
其中，S代表图像的alpha通道矩阵，
Figure FDA0003852207310000037
代表经DIB-R渲染后的二维轮廓矩阵，⊙代表元素积——矩阵对应位置元素相乘；
纹理损失的计算公式为
Figure FDA0003852207310000038
其中，I代表二维真实图像的RGB矩阵，
Figure FDA0003852207310000039
代表二维渲染图像的RGB矩阵。
CN202211138108.8A 2022-09-19 2022-09-19 基于可微分渲染下多阶段训练的三维纹理网格重建方法 Pending CN115512073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211138108.8A CN115512073A (zh) 2022-09-19 2022-09-19 基于可微分渲染下多阶段训练的三维纹理网格重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211138108.8A CN115512073A (zh) 2022-09-19 2022-09-19 基于可微分渲染下多阶段训练的三维纹理网格重建方法

Publications (1)

Publication Number Publication Date
CN115512073A true CN115512073A (zh) 2022-12-23

Family

ID=84504688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211138108.8A Pending CN115512073A (zh) 2022-09-19 2022-09-19 基于可微分渲染下多阶段训练的三维纹理网格重建方法

Country Status (1)

Country Link
CN (1) CN115512073A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310224A (zh) * 2023-05-09 2023-06-23 小视科技(江苏)股份有限公司 一种快速目标三维重建方法及装置
CN116433852A (zh) * 2023-06-15 2023-07-14 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
CN116664782A (zh) * 2023-07-31 2023-08-29 南京信息工程大学 一种基于融合体素的神经辐射场三维重建方法
CN116778065A (zh) * 2023-08-21 2023-09-19 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机及存储介质
CN117036569A (zh) * 2023-10-08 2023-11-10 北京渲光科技有限公司 三维模型颜色生成网络训练方法、颜色生成方法及装置
CN117274344A (zh) * 2023-11-22 2023-12-22 北京渲光科技有限公司 真实材质纹理的模型训练方法、纹理合成及映射方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310224A (zh) * 2023-05-09 2023-06-23 小视科技(江苏)股份有限公司 一种快速目标三维重建方法及装置
CN116433852A (zh) * 2023-06-15 2023-07-14 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
CN116433852B (zh) * 2023-06-15 2023-09-12 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
CN116664782A (zh) * 2023-07-31 2023-08-29 南京信息工程大学 一种基于融合体素的神经辐射场三维重建方法
CN116664782B (zh) * 2023-07-31 2023-10-13 南京信息工程大学 一种基于融合体素的神经辐射场三维重建方法
CN116778065A (zh) * 2023-08-21 2023-09-19 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机及存储介质
CN116778065B (zh) * 2023-08-21 2024-01-02 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机及存储介质
CN117036569A (zh) * 2023-10-08 2023-11-10 北京渲光科技有限公司 三维模型颜色生成网络训练方法、颜色生成方法及装置
CN117036569B (zh) * 2023-10-08 2024-01-30 北京渲光科技有限公司 三维模型颜色生成网络训练方法、颜色生成方法及装置
CN117274344A (zh) * 2023-11-22 2023-12-22 北京渲光科技有限公司 真实材质纹理的模型训练方法、纹理合成及映射方法
CN117274344B (zh) * 2023-11-22 2024-02-06 北京渲光科技有限公司 真实材质纹理的模型训练方法、纹理合成及映射方法

Similar Documents

Publication Publication Date Title
CN115512073A (zh) 基于可微分渲染下多阶段训练的三维纹理网格重建方法
CN110443842B (zh) 基于视角融合的深度图预测方法
CN110443892B (zh) 一种基于单张图像的三维网格模型生成方法及装置
CN101916454B (zh) 基于网格变形和连续优化的高分辨率人脸重建方法
CN110349247B (zh) 一种基于语义理解的室内场景cad三维重建方法
CN109146001B (zh) 多视角isar图像融合方法
CN111950477A (zh) 一种基于视频监督的单图像三维人脸重建方法
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
CN115428027A (zh) 神经不透明点云
CN112785692A (zh) 一种基于深度uv先验的单视角多人人体重建方法
CN115298708A (zh) 多视角神经人体渲染
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法
CN115546273A (zh) 一种面向室内鱼眼图像的场景结构深度估计方法
Cheng et al. GaussianPro: 3D Gaussian Splatting with Progressive Propagation
CN105590327A (zh) 运动估计方法及装置
CN116310111A (zh) 基于伪平面约束的室内场景三维重建方法
Kulkarni et al. 360fusionnerf: Panoramic neural radiance fields with joint guidance
CN112634127B (zh) 一种无监督立体图像重定向方法
CN117501313A (zh) 基于深度神经网络的毛发渲染系统
Heimann et al. Frequency-selective mesh-to-mesh resampling for color upsampling of point clouds
CN110322548B (zh) 一种基于几何图像参数化的三维网格模型生成方法
CN116934936A (zh) 一种三维场景风格迁移方法、装置、设备及存储介质
CN116681839A (zh) 一种基于改进NeRF的实景三维目标重建与单体化方法
CN113763474B (zh) 一种基于场景几何约束的室内单目深度估算方法
CN115908712A (zh) 基于图像的三维重建及模型训练方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination