CN113538664A - 车辆去光照三维重建方法、装置、电子设备和存储介质 - Google Patents

车辆去光照三维重建方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113538664A
CN113538664A CN202110796234.1A CN202110796234A CN113538664A CN 113538664 A CN113538664 A CN 113538664A CN 202110796234 A CN202110796234 A CN 202110796234A CN 113538664 A CN113538664 A CN 113538664A
Authority
CN
China
Prior art keywords
dimensional
vehicle
neural network
illumination
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110796234.1A
Other languages
English (en)
Other versions
CN113538664B (zh
Inventor
刘烨斌
赵笑晨
戴琼海
于涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110796234.1A priority Critical patent/CN113538664B/zh
Publication of CN113538664A publication Critical patent/CN113538664A/zh
Application granted granted Critical
Publication of CN113538664B publication Critical patent/CN113538664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本申请提出一种车辆去光照三维重建方法和装置。其中方法包括：获取带纹理车辆三维模型，对车辆三维模型在不同视角和不同光照条件下进行渲染，得到原始数据；其中，原始数据包括原始图片和原始图片对应的相机内外参数；搭建生成式对抗神经网络，并根据原始数据对生成式对抗神经网络进行训练；基于目标相机参数的彩色相机采集道路上车辆的RGB图片，并将采集到的RGB图片作为经过训练的生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云；去除点云噪点后采用泊松重建算法得到车辆的表面网格模型，并对表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。

Description

车辆去光照三维重建方法、装置、电子设备和存储介质
技术领域
本申请涉及基于隐式神经辐射场表示的单视图车辆去光照三维重建方法，属于计算机视觉中的三维重建领域。
背景技术
随着计算机视觉领域中的三维重建技术和自动驾驶技术的不断发展，对于道路场景中机动车辆的三维重建成为了计算机领域中的一个研究热点。利用已知参数的相机采集单视图彩色图片，进而预测车辆的形状和外表目标正成为研究工作中的重要方向。
目前流行的基于单图像的车辆重建方法主要分为重建参数化车辆模型以及重建非参数化表示的车辆模型。常用的参数化模型是通过对多个已建模车辆的三维模型进行特征提取，获得用于描述车辆形状的有限参数。针对单图片重建问题，先从图片估计车辆朝向，再通过重投影误差来实现优化得到参数，进而得到车辆模型。重建非参数化表示的车辆模型，近期受到关注的方法是训练一个MLP(Multilayer perceptron，多层感知器)网络表示隐式辐射函数来表示场景物体三维信息。
尽管基于单图片重建三维车辆模型技术已经有了很大的发展，但目前重建带纹理特征三维车辆模型的工作仍比较少，现有的工作在基于隐式函神经辐射场表示三维信息的基础上，利用类似的隐式函数方法实现自由视角的图片合成。但是，由于车辆几何形状的多样化，以及真实场景中复杂光照影响较大，导致结果对车辆表面纹理的表现能力有限。
发明内容
本申请的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本申请的第一个目的在于提出一种车辆去光照三维重建方法，对于精细的车辆三维模型数据库，利用高真实感渲染的方法得到的不同视角不同光照条件下逼真的彩色数据，构建训练数据库。通过搭建基于隐式神经辐射场的生成式对抗神经网络，实现对光照因素的分离。已知相机参数的彩色相机采集道路上车辆的RGB图片作为输入，网络即可输出包含表面逐点本征颜色、表面法向以及BRDF参数的车辆网格模型。
本申请的第二个目的在于提出一种车辆去光照三维重建装置。
本申请的第三个目的在于提出一种电子设备。
本申请的第四个目的在于提出一种计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种车辆去光照三维重建方法，包括：
获取带纹理车辆三维模型数据库，其中，所述带纹理车辆三维模型数据库包括带纹理的车辆三维模型；
对所述车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据；其中，所述原始数据包括原始图片和所述原始图片对应的相机内外参数；
基于Pytorch深度学习平台搭建所述生成式对抗神经网络，并根据所述原始数据对所述生成式对抗神经网络进行训练，直至网络中的权重值收敛；
基于目标相机参数的彩色相机采集道路上车辆的RGB图片，并将采集到的所述RGB图片作为经过训练的所述生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云；
基于所述重建点云去除点云噪点后，采用泊松重建算法得到所述车辆的表面网格模型，并对所述表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。
本申请第二方面实施例提出了一种车辆去光照三维重建装置，包括：
第一获取模块，用于获取带纹理车辆三维模型数据库，其中，所述带纹理车辆三维模型数据库包括带纹理的车辆三维模型；
第二获取模块，用于对所述车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据；其中，所述原始数据包括原始图片和所述原始图片对应的相机内外参数；
训练模块，用于基于Pytorch深度学习平台搭建所述生成式对抗神经网络，并根据所述原始数据对所述生成式对抗神经网络进行训练，直至网络中的权重值收敛；
预测模块，用于基于目标相机参数的彩色相机采集道路上车辆的RGB图片，并将采集到的所述RGB图片作为经过训练的所述生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云；
重建模块，用于基于所述重建点云去除点云噪点后，采用泊松重建算法得到所述车辆的表面网格模型，并对所述表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。
本申请第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面实施例所述的车辆去光照三维重建方法。
本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的车辆去光照三维重建方法。
根据本申请实施例的技术方案，采用了光照分离的隐式神经辐射场表示和生成式对抗的神经网络结构，其中：初始数据为三维带纹理车辆模型，通过高真实感渲染方法得到不同光照条件下的RGB图片；以上述数据作为网络驱动，网络中的隐式神经辐射场网络模块实现将密度、本征颜色、BRDF参数以及全局光照的分离，生成式对抗网络结构将监督网络的各层特征图作为约束，这一方式有效促进网络训练收敛以及结果精细化。由此，本申请只需要使用渲染得到的虚拟数据库，即可利用基于隐式神经辐射场的生成式对抗网络在预测车辆几何结构的同时获得去光照的纹理特征及表面材质参数。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种车辆去光照三维重建方法的流程示意图；
图2是根据本申请实施例的生成式对抗神经网络的结构以及功能的示例图；
图3是根据本申请一个实施例的车辆去光照三维重建装置的结构框图；
图4是根据本申请一个实施例的电子设备的结构框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的车辆去光照三维重建方法、装置、电子设备和存储介质。
图1为本申请实施例所提供的一种车辆去光照三维重建方法的流程示意图。需要说明的是，本申请实施例的车辆去光照三维重建方法可应用于本申请实施例的车辆去光照三维重建装置，该车辆去光照三维重建装置可被配置于电子设备上。如图1所示，该车辆去光照三维重建方法可以包括如下步骤。
在步骤101中，获取带纹理车辆三维模型数据库，其中，带纹理车辆三维模型数据库包括带纹理的车辆三维模型。
在本申请实施例中，可通过三维建模，获取高精度的不同类型车辆三维模型数据库，并通过对车辆三维模型数据库中的车辆三维模型的不同部件进行随机纹理赋值，获得高精度的带纹理车辆三维模型数据库。
在步骤102中，对车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据。
也就是说，可对车辆三维模型进行不同视角、不同光照条件下的渲染，得到图片作为生成式对抗神经网络训练时的原始数据。其中，在本申请实施例中，该原始数据可包括原始图片和原始图片对应的相机内外参数
在步骤103中，基于Pytorch深度学习平台搭建生成式对抗神经网络，并根据原始数据对生成式对抗神经网络进行训练，直至网络中的权重值收敛。
例如，基于Pytorch深度学习平台搭建生成式对抗神经网络，其中，如图2所示，为该生成式对抗神经网络的结构以及功能的示例图。可根据原始数据对生成式对抗神经网络进行训练，直至网络中的权重值收敛。
作为一种示例，所述根据原始数据对生成式对抗神经网络进行训练，直至网络中的权重值收敛的具体实现过程可如下：
1)逐像素点发射射线，沿射线采样三维点，并通过傅里叶编码将三维点转换为高维向量，将高维向量和由原始图片编码得到的隐向量级联后输入生成式对抗神经网络之中的MLP网络，生成高维特征向量，并分别从高维特征向量中分离出三维点的密度、本征颜色和BRDF参数；
2)利用沿射线逐点的密度、本征颜色、BRDF(Bidirectional ReflectanceDistribution Function，双向反射分布函数)参数、以及根据相邻点密度梯度计算得到的法向，积分(实际为累加运算)得到射线与几何表面交点处的法向、本征颜色及BRDF参数；
3)基于光照模型Cook-Torrance的解析BRDF局部反射模型，将表面参数结合由原始图片提取的光照(例如，该光照可用球面高斯函数表示)，计算表面点反射光强，作为成像图片中的像素值；
4)为了增强网络的学习能力，设计监督网络：可将生成式对抗神经网络的输出结果的彩色图片与真实渲染得到的彩色图片输入至监督网络，并约束监督网络逐卷积层提取的特征图趋近；
5)利用构建的原始数据(如上述渲染得到的原始图片)和目标能量函数对生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重值收敛。
由此，通过对于精细的车辆三维模型数据库，结合丰富的环境光贴图数据库，并利用高真实感渲染得到逼真的彩色数据，并通过搭建基于隐式神经辐射场的生成式对抗神经网络，实现光照分离和场景重建。
在步骤104中，基于目标相机参数的彩色相机采集道路上车辆的RGB图片，并将采集到的RGB图片作为经过训练的生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云。
例如，将利用已知相机参数采集的真实场景下车辆彩色图片作为经过训练的生成式对抗神经网络的输入，从多角度渲染获取重建场景的密度分布，选取密度值较高的点作为重建点云。
在步骤105中，基于重建点云去除点云噪点后，采用泊松重建算法得到车辆的表面网格模型，并对表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。
例如，去除点云噪点后使用泊松重建算法得到表面网格模型，并采用三维动画制作软件Blender来对重建网格进行简化，最终得到包含逐点本征颜色、表面法向以及BRDF参数的车辆网格模型，即获得包含去光照彩色纹理和材质信息的车辆三维模型。
综上所述，本申请实施例的车辆去光照三维重建方法采用了光照分离的隐式神经辐射场表示和生成式对抗的神经网络结构，其中：初始数据为三维带纹理车辆模型，通过高真实感渲染方法得到不同光照条件下的RGB图片；以上述数据作为网络驱动，网络中的隐式神经辐射场网络模块实现将密度、本征颜色、BRDF参数以及全局光照的分离，生成式对抗网络结构将监督网络的各层特征图作为约束，这一方式有效促进网络训练收敛以及结果精细化。由此，本申请只需要使用渲染得到的虚拟数据库，即可利用基于隐式神经辐射场的生成式对抗网络在预测车辆几何结构的同时获得去光照的纹理特征及表面材质参数。
为了实现上述实施例，本申请还提出了一种车辆去光照三维重建装置。
图3是根据本申请一个实施例的车辆去光照三维重建装置的结构框图。如图3所示，该车辆去光照三维重建装置可以包括：第一获取模块301、第二获取模块302、训练模块303、预测模块304和重建模块305。
具体地，第一获取模块301用于获取带纹理车辆三维模型数据库，其中，带纹理车辆三维模型数据库包括带纹理的车辆三维模型。作为一种示例，第一获取模块301具体用于：通过三维建模，获取不同类型车辆三维模型数据库；通过对车辆三维模型数据库中的车辆三维模型的不同部件进行随机纹理赋值，获得带纹理车辆三维模型数据库。
第二获取模块302用于对车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据；其中，原始数据包括原始图片和原始图片对应的相机内外参数。
训练模块303用于基于Pytorch深度学习平台搭建生成式对抗神经网络，并根据原始数据对生成式对抗神经网络进行训练，直至网络中的权重值收敛。作为一种示例，训练模块303具体用于：逐像素点发射射线，沿射线采样三维点，并通过傅里叶编码将三维点转换为高维向量，将高维向量和由原始图片编码得到的隐向量级联后输入生成式对抗神经网络之中的MLP网络，生成高维特征向量，并分别从高维特征向量中分离出三维点的密度、本征颜色和BRDF参数；利用沿射线逐点的密度、本征颜色、BRDF参数、以及根据相邻点密度梯度计算得到的法向，积分得到射线与几何表面交点处的法向、本征颜色及BRDF参数；基于Cook-Torrance的解析BRDF局部反射模型，将表面参数结合由原始图片提取的光照，计算表面点反射光强，作为成像图片中的像素值；将生成式对抗神经网络的输出结果的彩色图片与真实渲染得到的彩色图片输入至监督网络，并约束监督网络逐卷积层提取的特征图趋近；利用构建的原始数据和目标能量函数对生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重值收敛。
预测模块304用于基于目标相机参数的彩色相机采集道路上车辆的RGB图片，并将采集到的RGB图片作为经过训练的生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云。
重建模块305用于基于重建点云去除点云噪点后，采用泊松重建算法得到车辆的表面网格模型，并对表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。作为一种示例，重建模块305采用三维动画制作软件Blender对表面网格模型进行简化。
需要说明的是，前述对车辆去光照三维重建方法实施例的解释说明也适用于该实施例的车辆去光照三维重建装置，此处不再赘述。
本申请实施例的车辆去光照三维重建装置，采用了光照分离的隐式神经辐射场表示和生成式对抗的神经网络结构，其中：初始数据为三维带纹理车辆模型，通过高真实感渲染方法得到不同光照条件下的RGB图片；以上述数据作为网络驱动，网络中的隐式神经辐射场网络模块实现将密度、本征颜色、BRDF参数以及全局光照的分离，生成式对抗网络结构将监督网络的各层特征图作为约束，这一方式有效促进网络训练收敛以及结果精细化。由此，本申请只需要使用渲染得到的虚拟数据库，即可利用基于隐式神经辐射场的生成式对抗网络在预测车辆几何结构的同时获得去光照的纹理特征及表面材质参数。
为了实现上述实施例，本申请还提出一种电子设备。
图4是根据本申请一个实施例的电子设备的结构框图。如图4所示，该电子设备400可以包括：存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序403，处理器402执行计算机程序403时，实现本申请前述任一个实施例所述的车辆去光照三维重建方法。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请前述任一个实施例所述的车辆去光照三维重建方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种车辆去光照三维重建方法，其特征在于，包括：
获取带纹理车辆三维模型数据库，其中，所述带纹理车辆三维模型数据库包括带纹理的车辆三维模型；
对所述车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据；其中，所述原始数据包括原始图片和所述原始图片对应的相机内外参数；
基于Pytorch深度学习平台搭建所述生成式对抗神经网络，并根据所述原始数据对所述生成式对抗神经网络进行训练，直至网络中的权重值收敛；
基于目标相机参数的彩色相机采集道路上车辆的RGB图片，并将采集到的所述RGB图片作为经过训练的所述生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云；
基于所述重建点云去除点云噪点后，采用泊松重建算法得到所述车辆的表面网格模型，并对所述表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。
2.根据权利要求1所述的方法，其特征在于，所述获取带纹理车辆三维模型数据库，包括：
通过三维建模，获取不同类型车辆三维模型数据库；
通过对所述车辆三维模型数据库中的车辆三维模型的不同部件进行随机纹理赋值，获得带纹理车辆三维模型数据库。
3.根据权利要求1所述的方法，其特征在于，所述根据所述原始数据对所述生成式对抗神经网络进行训练，直至网络中的权重值收敛，包括：
逐像素点发射射线，沿所述射线采样三维点，并通过傅里叶编码将所述三维点转换为高维向量，将所述高维向量和由所述原始图片编码得到的隐向量级联后输入所述生成式对抗神经网络之中的MLP网络，生成高维特征向量，并分别从所述高维特征向量中分离出所述三维点的密度、本征颜色和BRDF参数；
利用沿射线逐点的密度、本征颜色、BRDF参数、以及根据相邻点密度梯度计算得到的法向，积分得到所述射线与几何表面交点处的法向、本征颜色及BRDF参数；
基于Cook-Torrance的解析BRDF局部反射模型，将表面参数结合由所述原始图片提取的光照，计算表面点反射光强，作为成像图片中的像素值；
将所述生成式对抗神经网络的输出结果的彩色图片与真实渲染得到的彩色图片输入至监督网络，并约束所述监督网络逐卷积层提取的特征图趋近；
利用构建的所述原始数据和目标能量函数对所述生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重值收敛。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述对所述表面网格模型进行简化，包括：
采用三维动画制作软件Blender对所述表面网格模型进行简化。
5.一种车辆去光照三维重建装置，其特征在于，包括：
第一获取模块，用于获取带纹理车辆三维模型数据库，其中，所述带纹理车辆三维模型数据库包括带纹理的车辆三维模型；
第二获取模块，用于对所述车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据；其中，所述原始数据包括原始图片和所述原始图片对应的相机内外参数；
训练模块，用于基于Pytorch深度学习平台搭建所述生成式对抗神经网络，并根据所述原始数据对所述生成式对抗神经网络进行训练，直至网络中的权重值收敛；
预测模块，用于基于目标相机参数的彩色相机采集道路上车辆的RGB图片，并将采集到的所述RGB图片作为经过训练的所述生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云；
重建模块，用于基于所述重建点云去除点云噪点后，采用泊松重建算法得到所述车辆的表面网格模型，并对所述表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。
6.根据权利要求5所述的装置，其特征在于，所述第一获取模块具体用于：
通过三维建模，获取不同类型车辆三维模型数据库；
通过对所述车辆三维模型数据库中的车辆三维模型的不同部件进行随机纹理赋值，获得带纹理车辆三维模型数据库。
7.根据权利要求5所述的装置，其特征在于，所述训练模块具体用于：
逐像素点发射射线，沿所述射线采样三维点，并通过傅里叶编码将所述三维点转换为高维向量，将所述高维向量和由所述原始图片编码得到的隐向量级联后输入所述生成式对抗神经网络之中的MLP网络，生成高维特征向量，并分别从所述高维特征向量中分离出所述三维点的密度、本征颜色和BRDF参数；
利用沿射线逐点的密度、本征颜色、BRDF参数、以及根据相邻点密度梯度计算得到的法向，积分得到所述射线与几何表面交点处的法向、本征颜色及BRDF参数；
基于Cook-Torrance的解析BRDF局部反射模型，将表面参数结合由所述原始图片提取的光照，计算表面点反射光强，作为成像图片中的像素值；
将所述生成式对抗神经网络的输出结果的彩色图片与真实渲染得到的彩色图片输入至监督网络，并约束所述监督网络逐卷积层提取的特征图趋近；
利用构建的所述原始数据和目标能量函数对所述生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重值收敛。
8.根据权利要求5至7中任一项所述的装置，其特征在于，所述重建模块具体用于：
采用三维动画制作软件Blender对所述表面网格模型进行简化。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至4中任一项所述的车辆去光照三维重建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的车辆去光照三维重建方法。
CN202110796234.1A 2021-07-14 2021-07-14 车辆去光照三维重建方法、装置、电子设备和存储介质 Active CN113538664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110796234.1A CN113538664B (zh) 2021-07-14 2021-07-14 车辆去光照三维重建方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110796234.1A CN113538664B (zh) 2021-07-14 2021-07-14 车辆去光照三维重建方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113538664A true CN113538664A (zh) 2021-10-22
CN113538664B CN113538664B (zh) 2022-12-13

Family

ID=78127964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110796234.1A Active CN113538664B (zh) 2021-07-14 2021-07-14 车辆去光照三维重建方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113538664B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429538A (zh) * 2022-04-02 2022-05-03 中科计算技术创新研究院 交互式编辑神经辐射场几何的方法
CN114494611A (zh) * 2022-04-18 2022-05-13 清华大学 基于神经基函数的智能三维重建方法、装置、设备及介质
CN114663603A (zh) * 2022-05-24 2022-06-24 成都索贝数码科技股份有限公司 一种基于神经辐射场的静态对象三维网格模型生成方法
CN114898028A (zh) * 2022-04-29 2022-08-12 厦门大学 基于点云的场景重建兼渲染的方法、存储介质和电子设备
CN115115688A (zh) * 2022-05-31 2022-09-27 荣耀终端有限公司 一种图像处理方法及电子设备
CN116910912A (zh) * 2023-07-28 2023-10-20 小米汽车科技有限公司 车辆三维模型的生成方法、装置、设备及存储介质
CN116977535A (zh) * 2023-09-25 2023-10-31 北京渲光科技有限公司 一种实时光线追踪的方法、装置、存储介质及电子设备
CN117058332A (zh) * 2023-07-10 2023-11-14 中国地质大学（武汉） 一种地下空区三维成像方法、系统及可读存储介质
WO2023225891A1 (zh) * 2022-05-25 2023-11-30 浙江大学 一种基于多分辨率网络结构的神经绘制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402397A (zh) * 2020-02-28 2020-07-10 清华大学 基于无监督数据的tof深度数据优化方法及装置
CN111833430A (zh) * 2019-04-10 2020-10-27 上海科技大学 基于神经网络的光照数据预测方法、系统、终端及介质
CN112907736A (zh) * 2021-03-11 2021-06-04 清华大学 基于隐式场的十亿像素场景人群三维重建方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833430A (zh) * 2019-04-10 2020-10-27 上海科技大学 基于神经网络的光照数据预测方法、系统、终端及介质
CN111402397A (zh) * 2020-02-28 2020-07-10 清华大学 基于无监督数据的tof深度数据优化方法及装置
CN112907736A (zh) * 2021-03-11 2021-06-04 清华大学 基于隐式场的十亿像素场景人群三维重建方法和装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429538A (zh) * 2022-04-02 2022-05-03 中科计算技术创新研究院 交互式编辑神经辐射场几何的方法
CN114494611A (zh) * 2022-04-18 2022-05-13 清华大学 基于神经基函数的智能三维重建方法、装置、设备及介质
CN114898028A (zh) * 2022-04-29 2022-08-12 厦门大学 基于点云的场景重建兼渲染的方法、存储介质和电子设备
CN114663603A (zh) * 2022-05-24 2022-06-24 成都索贝数码科技股份有限公司 一种基于神经辐射场的静态对象三维网格模型生成方法
WO2023225891A1 (zh) * 2022-05-25 2023-11-30 浙江大学 一种基于多分辨率网络结构的神经绘制方法
CN115115688A (zh) * 2022-05-31 2022-09-27 荣耀终端有限公司 一种图像处理方法及电子设备
CN117058332A (zh) * 2023-07-10 2023-11-14 中国地质大学（武汉） 一种地下空区三维成像方法、系统及可读存储介质
CN117058332B (zh) * 2023-07-10 2024-01-30 中国地质大学（武汉） 一种地下空区三维成像方法、系统及可读存储介质
CN116910912A (zh) * 2023-07-28 2023-10-20 小米汽车科技有限公司 车辆三维模型的生成方法、装置、设备及存储介质
CN116910912B (zh) * 2023-07-28 2024-04-30 小米汽车科技有限公司 车辆三维模型的生成方法、装置、设备及存储介质
CN116977535A (zh) * 2023-09-25 2023-10-31 北京渲光科技有限公司 一种实时光线追踪的方法、装置、存储介质及电子设备
CN116977535B (zh) * 2023-09-25 2024-01-12 北京渲光科技有限公司 一种实时光线追踪的方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113538664B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN113538664B (zh) 车辆去光照三维重建方法、装置、电子设备和存储介质
Oechsle et al. Texture fields: Learning texture representations in function space
Mayer et al. A large dataset to train convolutional networks for disparity, optical flow, and scene flow estimation
CN111539887B (zh) 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
Zhang et al. Differentiable point-based radiance fields for efficient view synthesis
AU2017248506A1 (en) Implementation of an advanced image formation process as a network layer and its applications
CN110223370B (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN113240622B (zh) 人体场景图像本征分解与重光照方法和装置
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
US20230281955A1 (en) Systems and methods for generalized scene reconstruction
CN109712165A (zh) 一种基于卷积神经网络的同类前景图像集分割方法
CN115115797B (zh) 大场景稀疏光场语义驱动智能重建方法、系统与装置
CN115830208B (zh) 全局光照渲染方法、装置、计算机设备和存储介质
Häne et al. Hierarchical surface prediction
CN114758337A (zh) 一种语义实例重建方法、装置、设备及介质
CN115457188A (zh) 一种基于注视点的3d渲染显示方法及系统
CN117413300A (zh) 用于训练量化神经辐射场的方法和系统
CN116797742A (zh) 室内场景的三维重建方法及系统
CN115272437A (zh) 一种基于全局与局部特征的图像深度估计方法及装置
CN116721210A (zh) 基于神经有符号距离场的实时高效三维重建方法及装置
CN116993826A (zh) 一种基于局部空间聚合神经辐射场的场景新视图生成方法
CN115205463A (zh) 基于多球面场景表达的新视角图像生成方法、装置和设备
Yang et al. Reconstructing objects in-the-wild for realistic sensor simulation
CN114373104A (zh) 一种基于动态聚合的三维点云语义分割方法及系统
CN117422815A (zh) 基于神经辐射场的逆向渲染方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant