CN115984441A - 一种基于神经着色器的快速重建带纹理三维模型的方法 - Google Patents

一种基于神经着色器的快速重建带纹理三维模型的方法 Download PDF

Info

Publication number
CN115984441A
CN115984441A CN202310003474.0A CN202310003474A CN115984441A CN 115984441 A CN115984441 A CN 115984441A CN 202310003474 A CN202310003474 A CN 202310003474A CN 115984441 A CN115984441 A CN 115984441A
Authority
CN
China
Prior art keywords
loss
shader
grid
nerve
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310003474.0A
Other languages
English (en)
Inventor
王家奎
宁云翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuanbao Technology Wuhan Co ltd
Original Assignee
Yuanbao Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuanbao Technology Wuhan Co ltd filed Critical Yuanbao Technology Wuhan Co ltd
Priority to CN202310003474.0A priority Critical patent/CN115984441A/zh
Publication of CN115984441A publication Critical patent/CN115984441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Generation (AREA)

Abstract

本发明公开了一种基于神经着色器的快速重建带纹理三维模型的方法，包括如下步骤：步骤S1，环绕待重建的物体，以不同角度拍摄一组图像，并对图像进行预处理，得到前景图像、相机位姿及内参作为训练数据，步骤S2，建立初始三角形网格，步骤S3，建立可微分渲染器，其包含光栅化和神经着色器两部分本发明模型的顶点与纹理分用两个优化器，模型先后经可微分的光栅化和可微分的神经着色器，得到渲染图，与原图计算损失并反向传播，相较于其他重建方法的隐式函数的光线步进，光栅化的时间显著更短，由于神经着色器的应用，得到的模型可用训练后的神经着色器贴上纹理，因而实现了快速重建带纹理的三维模型。

Description

一种基于神经着色器的快速重建带纹理三维模型的方法
技术领域
本发明涉及计算机图形学的三维重建技术领域，具体为一种基于神经着色器的快速重建带纹理三维模型的方法。
背景技术
基于多视角图像的三维重建是计算机图形学领域长期存在的问题，近年来，NeRF和NeuS及其各种变体在三维重建领域大放异彩，前者利用神经网络学习密度场和颜色场来合成新视角下的图像，即使对于高度复杂的场景也能渲染出高质量的图像，但这种隐式表示三维场景的方法难以提取出高质量的表面，后者采用符号距离函数(SDF)来描述表面，并利用新的体积渲染方法来训练SDF表示，在多视图表面重建的任务中展现出优异的性能，其主要不足之处在于训练时间长，且重建出的模型不带纹理；
现有的三维重建技术中已有不少方法能提取出高质量的三维模型，但现有的三维重建技术中鲜有能同时重建纹理的，少有的几种重建带纹理三维模型的方法又因耗时过长而限制了其实用价值。
发明内容
本发明提供一种基于神经着色器的快速重建带纹理三维模型的方法，可以有效解决上述背景技术中提出现有的三维重建技术中鲜有能同时重建纹理的，少有的几种重建带纹理三维模型的方法又因耗时过长而限制了其实用价值的问题。
为实现上述目的，本发明提供如下技术方案：一种基于神经着色器的快速重建带纹理三维模型的方法，包括如下步骤：
步骤S1，环绕待重建的物体，以不同角度拍摄一组图像，并对图像进行预处理，得到前景图像、相机位姿及内参作为训练数据；
步骤S2，建立初始三角形网格；
步骤S3，建立可微分渲染器，其包含光栅化和神经着色器两部分；
步骤S4，采用延迟着色，先在给定的视角下对三角形网格进行光栅化，然后由神经着色器处理网格、材质与光线的交叠，渲染该视角下的图像；
步骤S5，迭代步骤S4，优化三角形网格和神经着色器；
步骤S6，训练结束后，建立三角形网格顶点与纹理图的映射，并利用插值手段增大映射对数，用训练完成后的神经着色器计算各点的颜色值，通过网格表面空间点到纹理图像素点的映射关系保存至纹理图中；
所述步骤S3中，神经着色器采用多层感知机(MLP)，该神经网络基于以下公式：
c＝h(f(x),n,d)；
式中，x、n、d、c分别为给定图像中各像素点对应于三角形网格的位置、表面法向量、视角方向和返回的颜色值；
先对位置x进行位置编码，并由三个全连接层转换为高维位置特征，然后与法向量n、视角方向d一同输入到后续的隐藏层，最后经输出层返回颜色值c；
步骤S5中，网格优化采用由粗到细的优化方案，从粗略的自定义三角形网格开始，在优化过程中逐步减小三角形尺度，最终得到精细的三角形网格，损失函数分为网格损失和颜色损失两项，颜色损失函数和网格损失函数分别采用L1和L2损失，其中网格损失细分为轮廓损失、拉普拉斯损失和表面法向一致性损失，取四者的加权平均值作为反向传播时的损失，在三角形网格光栅化后，随机选取80％的像素点参与后续计算；
轮廓损失(Lmask)采用的计算公式如下：
Figure BDA0004035045070000031
轮廓损失采用渲染图像掩膜与原前景图像掩膜的L2范数；
拉普拉斯损失(Llaplacian)采用的计算公式如下：
Figure BDA0004035045070000032
拉普拉斯损失采用各顶点差分坐标的L2范数；
表面法向一致性损失(Lnormal)采用的计算公式如下：
Figure BDA0004035045070000033
表面法向一致性损失采用各三角形法向量余弦相似度的L2范数；
颜色损失(Lcolor)四项损失采用的计算方法分别为：
Figure BDA0004035045070000034
颜色损失采用渲染图像与原前景图像的L1范数。
根据上述技术方案，所述步骤S4中，先从训练数据中随机抽取一张前景图像，在相机位姿给出的视角下，对三角形网格进行光栅化，得到各可见三角形顶点对应于图像中的坐标，然后利用插值手段计算出前景图像中各像素点对应于三角形网格的位置、表面法向量和视角方向，再输入到S3中所述的神经着色器中，得到各像素点的颜色值，最终渲染出给定视角下的图像。
根据上述技术方案，所述步骤S5中，在优化过程中逐步减小三角形尺度，具体方案为，在迭代数达到总迭代数的20％、40％和60％时，对三角形网格进行重组细化，
重组细化的具体方式为，对长于4/3目标边长的边进行细分，新增边的中点作为新的网格顶点，对短于3/5目标边长的边进行折叠，以边的中点取代两端点作为新的网格格点，每次重组细化，目标边长取当前三角形网格所有边长的均值的一半；
特别地，当已完成三次网格重组细分，且网格损失项在低于一定值后长时间不再降低，固定三角形网络而继续优化神经着色器。
根据上述技术方案，所述步骤S6中，用训练完成后的神经着色器计算各点的颜色值，网格表面各点的位置由网格顶点位置经插值后计算得出，表面法向量由各点所在三角形的边向量经叉乘后算出，位于边、顶点上的点，表面法向量取该点所在的所有三角形的法向量的均值，视角方向选取表面法向量及其周围方向，剔除不可见的方向，计算各方向的颜色值并取平均值作为该点最终的颜色值。
与现有技术相比，本发明的有益效果：
模型的顶点与纹理分用两个优化器，模型先后经可微分的光栅化和可微分的神经着色器，得到渲染图，与原图计算损失并反向传播，相较于其他重建方法的隐式函数的光线步进，光栅化的时间显著更短，由于神经着色器的应用，得到的模型可用训练后的神经着色器贴上纹理，因而实现了快速重建带纹理的三维模型。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明实施例的流程示意图；
图2是本发明神经着色器MLP的网络结构示意图；
图3是本发明实施例中经训练得到的无纹理模型图；
图4是本发明实施例中经训练得到的带纹理模型图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1所示，本发明提供一种技术方案，一种基于神经着色器的快速重建带纹理三维模型的方法，能在兼具性能和时间的前提下重建出带纹理的三维模型，该方法包含以下流程：
步骤S1，环绕待重建的物体，以不同角度拍摄一组图像，并使用COLMAP、PaddleSeg工具对图像进行预处理，得到前景图像、相机位姿及内参作为训练数据；
步骤S2，建立初始三角形网格，得到无纹理模型；
步骤S3，建立可微分渲染器和优化器，其包含光栅化和神经着色器两部分，两者的全过程均可微分，优化器均采用Adam优化器，前一个优化器对三角形网格顶点位置进行优化，后一个优化器对神经着色器网络的参数进行优化；
如图2所示，光栅化的可微分性由nvdiffrast库中的torch包实现，神经着色器采用MLP，其网络结构图中x、n、d、c分别为给定图像中各像素点对应于三角形网格的位置、表面法向量、视角方向和返回的颜色值，该网络基于以下公式：
c＝h(f(x),n,d)
先对位置x进行位置编码，并由三个全连接层转换为高维位置特征，然后与表面法向量n、视角方向d一同输入到后续的隐藏层，最后经输出层返回颜色值c，隐藏层采用ReLU激活函数，输出层采用sigmoid激活函数，优化器均采用Adam优化器，目的是利用其自适应性和动量特性，使优化过程更快收敛；
对位置x进行位置编码，将三维空间点转换为高维位置特征，目的是学习具有相似材质的区域的相似位置特征，同时学习相同材质区域因不同光照条件造成的差异；
如图3-4所示，步骤S4，采用延迟着色，先在给定的视角下对三角形网格进行光栅化，然后由神经着色器处理网格、材质与光线的交叠，渲染该视角下的图像；
先从训练数据中随机抽取一张前景图像，在相机位姿给出的视角下，利用nvdiffrast库的torch包中的rasterize函数，对当前三角形网格进行光栅化，得到各可见三角形顶点对应于图像中的坐标，然后利用插值手段，计算出前景图像中各像素点对应于三角形网格的位置、表面法向量和视角方向，再输入到S3中所述的神经着色器中，得到各像素点的颜色值，最终渲染出给定视角下的图像；
计算前景图像中各像素点对应于三角形网格的位置、表面法向量和视角方向,由三角形网格顶点与前景图像像素点的对应关系，经插值手段得出各像素点与网格表面三维点的对应关系，表面法向量由网格表面该点所在的三角形两条边向量叉乘得出，位于边、顶点上的点，表面法向量取该点所在的所有三角形的法向量的均值，视角方向由相机位姿得出，具体为由相机位置到网格表面各点的向量；
步骤S5，迭代步骤S4，优化三角形网格和神经着色器；
网格优化采用由粗到细的优化方案，从粗略的自定义三角形网格开始，在优化过程中逐步减小三角形尺度，最终得到精细的三角形网格；损失函数分为网格损失和颜色损失两项，其中网格损失细分为轮廓损失、拉普拉斯损失和表面法向一致性损失，取四者的加权平均值作为反向传播时的损失，为避免过拟合，在三角形网格光栅化后，只随机选取80％的像素点参与后续计算；
在优化过程中逐步减小三角形尺度，具体方案为，在迭代数达到总迭代数的20％、40％和60％时，对三角形网格进行重组细化，具体方式为，对长于4/3目标边长的边进行细分，新增边的中点作为新的网格顶点，对短于3/5目标边长的边进行折叠，以边的中点取代两端点作为新的网格格点，每次重组细化，目标边长取当前三角形网格所有边长的均值的一半；
四项损失采用的计算方法分别为
Figure BDA0004035045070000081
Figure BDA0004035045070000082
Figure BDA0004035045070000083
Figure BDA0004035045070000084
轮廓损失采用渲染图像掩膜与原前景图像掩膜的L2范数，拉普拉斯损失采用各顶点差分坐标的L2范数，表面法向一致性损失采用各三角形法向量余弦相似度的L2范数，颜色损失采用渲染图像与原前景图像的L1范数，网格损失项均采用L2损失，目的是加快网格顶点的收敛，颜色损失项采用L1损失，目的是增强鲁棒性；
特别地，当已完成三次网格重组细分，且网格损失项在低于一定值后长时间不再降低，固定三角形网络而继续优化神经着色器，以便提高后续的纹理效果；
步骤S6，训练结束后，利用xatlax工具包建立三角形网格顶点与纹理图的映射，并利用插值手段增大映射对数，确保模型表面纹理足够清晰，用训练完成后的神经着色器计算各点的颜色值，通过网格表面空间点到纹理图像素点的映射关系保存至纹理图中；
用训练完成后的神经着色器计算各点的颜色值，网格表面各点的位置由网格顶点位置经插值后计算得出，表面法向量由各点所在三角形的边向量经叉乘后算出，位于边、顶点上的点，表面法向量取该点所在的所有三角形的法向量的均值，视角方向选取表面法向量及其周围方向，剔除不可见的方向，计算各方向的颜色值并取平均值作为该点最终的颜色值。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于神经着色器的快速重建带纹理三维模型的方法，其特征在于：包括如下步骤：
步骤S1，环绕待重建的物体，以不同角度拍摄一组图像，并对图像进行预处理，得到前景图像、相机位姿及内参作为训练数据；
步骤S2，建立初始三角形网格；
步骤S3，建立可微分渲染器，其包含光栅化和神经着色器两部分；
步骤S4，采用延迟着色，先在给定的视角下对三角形网格进行光栅化，然后由神经着色器处理网格、材质与光线的交叠，渲染该视角下的图像；
步骤S5，迭代步骤S4，优化三角形网格和神经着色器；
步骤S6，训练结束后，建立三角形网格顶点与纹理图的映射，并利用插值手段增大映射对数，用训练完成后的神经着色器计算各点的颜色值，通过网格表面空间点到纹理图像素点的映射关系保存至纹理图中；
所述步骤S3中，神经着色器采用多层感知机(MLP)，该神经网络基于以下公式：
c＝h(f(x),n,d)；
式中，x、n、d、c分别为给定图像中各像素点对应于三角形网格的位置、表面法向量、视角方向和返回的颜色值；
先对位置x进行位置编码，并由三个全连接层转换为高维位置特征，然后与法向量n、视角方向d一同输入到后续的隐藏层，最后经输出层返回颜色值c；
步骤S5中，网格优化采用由粗到细的优化方案，从粗略的自定义三角形网格开始，在优化过程中逐步减小三角形尺度，最终得到精细的三角形网格，损失函数分为网格损失和颜色损失两项，颜色损失函数和网格损失函数分别采用L1和L2损失，其中网格损失细分为轮廓损失、拉普拉斯损失和表面法向一致性损失，取四者的加权平均值作为反向传播时的损失，在三角形网格光栅化后，随机选取80％的像素点参与后续计算；
轮廓损失(Lmask)采用的计算公式如下：
Figure FDA0004035045060000021
轮廓损失采用渲染图像掩膜与原前景图像掩膜的L2范数；
拉普拉斯损失(Llaplacian)采用的计算公式如下：
Figure FDA0004035045060000022
拉普拉斯损失采用各顶点差分坐标的L2范数；
表面法向一致性损失(Lnormal)采用的计算公式如下：
Figure FDA0004035045060000023
表面法向一致性损失采用各三角形法向量余弦相似度的L2范数；
颜色损失(Lcolor)四项损失采用的计算方法分别为：
Figure FDA0004035045060000024
颜色损失采用渲染图像与原前景图像的L1范数。
2.根据权利要求1所述的一种基于神经着色器的快速重建带纹理三维模型的方法，其特征在于，所述步骤S4中，先从训练数据中随机抽取一张前景图像，在相机位姿给出的视角下，对三角形网格进行光栅化，得到各可见三角形顶点对应于图像中的坐标，然后利用插值手段计算出前景图像中各像素点对应于三角形网格的位置、表面法向量和视角方向，再输入到S3中所述的神经着色器中，得到各像素点的颜色值，最终渲染出给定视角下的图像。
3.根据权利要求1所述的一种基于神经着色器的快速重建带纹理三维模型的方法，其特征在于，所述步骤S5中，在优化过程中逐步减小三角形尺度，具体方案为，在迭代数达到总迭代数的20％、40％和60％时，对三角形网格进行重组细化，
重组细化的具体方式为，对长于4/3目标边长的边进行细分，新增边的中点作为新的网格顶点，对短于3/5目标边长的边进行折叠，以边的中点取代两端点作为新的网格格点，每次重组细化，目标边长取当前三角形网格所有边长的均值的一半；
特别地，当已完成三次网格重组细分，且网格损失项在低于一定值后长时间不再降低，固定三角形网络而继续优化神经着色器。
4.根据权利要求1所述的一种基于神经着色器的快速重建带纹理三维模型的方法，其特征在于，所述步骤S6中，用训练完成后的神经着色器计算各点的颜色值，网格表面各点的位置由网格顶点位置经插值后计算得出，表面法向量由各点所在三角形的边向量经叉乘后算出，位于边、顶点上的点，表面法向量取该点所在的所有三角形的法向量的均值，视角方向选取表面法向量及其周围方向，剔除不可见的方向，计算各方向的颜色值并取平均值作为该点最终的颜色值。
CN202310003474.0A 2023-01-03 2023-01-03 一种基于神经着色器的快速重建带纹理三维模型的方法 Pending CN115984441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310003474.0A CN115984441A (zh) 2023-01-03 2023-01-03 一种基于神经着色器的快速重建带纹理三维模型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310003474.0A CN115984441A (zh) 2023-01-03 2023-01-03 一种基于神经着色器的快速重建带纹理三维模型的方法

Publications (1)

Publication Number Publication Date
CN115984441A true CN115984441A (zh) 2023-04-18

Family

ID=85972125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310003474.0A Pending CN115984441A (zh) 2023-01-03 2023-01-03 一种基于神经着色器的快速重建带纹理三维模型的方法

Country Status (1)

Country Link
CN (1) CN115984441A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385619A (zh) * 2023-05-26 2023-07-04 腾讯科技（深圳）有限公司 对象模型渲染方法、装置、计算机设备和存储介质
CN116958453A (zh) * 2023-09-20 2023-10-27 成都索贝数码科技股份有限公司 基于神经辐射场的三维模型重建方法、设备和介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385619A (zh) * 2023-05-26 2023-07-04 腾讯科技（深圳）有限公司 对象模型渲染方法、装置、计算机设备和存储介质
CN116385619B (zh) * 2023-05-26 2024-04-30 腾讯科技（深圳）有限公司 对象模型渲染方法、装置、计算机设备和存储介质
CN116958453A (zh) * 2023-09-20 2023-10-27 成都索贝数码科技股份有限公司 基于神经辐射场的三维模型重建方法、设备和介质
CN116958453B (zh) * 2023-09-20 2023-12-08 成都索贝数码科技股份有限公司 基于神经辐射场的三维模型重建方法、设备和介质

Similar Documents

Publication Publication Date Title
Kato et al. Neural 3d mesh renderer
Chen et al. Learning to predict 3d objects with an interpolation-based differentiable renderer
Liu et al. Meshdiffusion: Score-based generative 3d mesh modeling
Liu et al. Paparazzi: surface editing by way of multi-view image processing.
Gadelha et al. 3d shape induction from 2d views of multiple objects
CN108765550B (zh) 一种基于单张图片的三维人脸重建方法
CN108921926B (zh) 一种基于单张图像的端到端三维人脸重建方法
Höllein et al. Stylemesh: Style transfer for indoor 3d scene reconstructions
Cole et al. Differentiable surface rendering via non-differentiable sampling
CN110223370B (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN115984441A (zh) 一种基于神经着色器的快速重建带纹理三维模型的方法
Rakotosaona et al. Nerfmeshing: Distilling neural radiance fields into geometrically-accurate 3d meshes
Kim et al. Line-art illustration of dynamic and specular surfaces
Lin et al. Neurmips: Neural mixture of planar experts for view synthesis
CN114998515A (zh) 一种基于多视角图像的3d人体自监督重建方法
Wu et al. De-nerf: Decoupled neural radiance fields for view-consistent appearance editing and high-frequency environmental relighting
CN111127658A (zh) 一种基于点云重建三角网格曲面的保特征曲面重建方法
CN115761178A (zh) 基于隐式神经表示的多视图三维重建方法
Mittal Neural radiance fields: Past, present, and future
CN116612251A (zh) 一种基于网格神经渲染和六边形约束的多视角重建方法
Huang et al. Gs++: Error analyzing and optimal gaussian splatting
CN115115860A (zh) 一种基于深度学习的图像特征点检测匹配网络
CN113139965A (zh) 一种基于深度图的室内实时三维语义分割方法
Wu et al. DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading
Zimny et al. Multiplanenerf: Neural radiance field with non-trainable representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination