CN113345063B - 基于深度学习的pbr三维重建方法、系统与计算机存储介质 - Google Patents

基于深度学习的pbr三维重建方法、系统与计算机存储介质 Download PDF

Info

Publication number
CN113345063B
CN113345063B CN202110895282.6A CN202110895282A CN113345063B CN 113345063 B CN113345063 B CN 113345063B CN 202110895282 A CN202110895282 A CN 202110895282A CN 113345063 B CN113345063 B CN 113345063B
Authority
CN
China
Prior art keywords
map
point
picture
photo
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110895282.6A
Other languages
English (en)
Other versions
CN113345063A (zh
Inventor
彭程
张杰昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Wansheng Huawei Technology Co ltd
Original Assignee
Nanjing Wansheng Huawei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Wansheng Huawei Technology Co ltd filed Critical Nanjing Wansheng Huawei Technology Co ltd
Priority to CN202110895282.6A priority Critical patent/CN113345063B/zh
Publication of CN113345063A publication Critical patent/CN113345063A/zh
Application granted granted Critical
Publication of CN113345063B publication Critical patent/CN113345063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于深度学习的PBR三维重建方法，包括以下步骤：获取三维物体的多角度的照片，作为照片序列；对照片序列的中的每一张照片进行特征点匹配，计算每张照片对应的相机内参、相机外参以及稀疏点云；稠密重建，获得稠密点云以及每个点在每张照片中的位置信息；将稠密点云转换成以网格模型和固有色贴图；以网格模型的顶点、贴图坐标点和面，以及固有色贴图作为初始化参数，构建基于反向传播的深度学习神经网络模型，在深度学习神经网络模型收敛时，获得PBR三维重建所需要的网络模型以及纹理贴图，实现PBR三维重建。

Description

基于深度学习的PBR三维重建方法、系统与计算机存储介质
技术领域
本发明涉及三维重建技术领域，具体而言涉及一种基于深度学习的PBR三维重建方法、系统与计算机存储介质。
背景技术
三维重建（3D Reconstruction）技术是指在计算机中还原并表示三维物体的一种方法，广泛应用于计算机视觉（CV，Computer Vision）、计算机图形学（CG，ComputerGraphics）、医学图像处理、虚拟现实等领域。
三维重建技术，尤其是室内场景的稠密三维重建，是希望使用消费级相机对室内场景进行扫描，实现实时稠密三维重建。传统的三维重建技术通常包括图像获取、稀疏重建、稠密重建以及纹理映射，生成精确完整的三维模型。通常情况下，人们使用相机拍摄需要重建物体在不同角度的二维图像。根据所拍摄物体的不同，人们会使用普通单反相机、无人机、红外相机等多种设备进行拍摄。在前一步获取的图像中，找到一些特征点和描述这些特征点的参数，这些参数具有一定的旋转不变性和光影不变性。然后，根据特征提取的信息，在不同照片中匹配相同点，根据这些信息，计算出每张照片的相机参数信息，并将匹配到的关键点的真实三维坐标计算出来，形成稀疏点云。再根据每张照片的位姿信息和得到的稀疏点云，同时依据颜色等信息，匹配更多的点，形成稠密点云，实现稠密重建，至此完成三维物体结构重建；将稠密点云转化成为一种在计算机图形学领域常用的网格表示方式，网格通常是由三角形和四边形构成；最后将图像的颜色信息，重新映射到网格所表示的模型上，实现三维渲染，形成最终所需要的三维模型。
传统的三维重建方法，非常依赖拍摄照片的质量。在室内外多种复杂环境下，不能完全保证每张照片的光照条件相同，因此会导致最终计算出纹理特征带有阴影。同时，基于照片的恢复方法，对于遮挡等复杂情况，并不能很好的还原。近些年来，随着深度学习技术（Deep learning ）在计算机视觉领域的广泛应用，人们开始探讨利用深度学习进行三维重建的可能性，例如Fayao Liu等人提出的基于CNN网络的三维重构算法。但基于深度学习的三维重建方法，虽然有一定的遮挡恢复效果，但是过分依赖训练数据，且需要大量的计算资源，因此，在商用上尚未形成规模。
目前游戏、影视等CG仿真行业对PBR模型提出较高的需求，PBR模型是指基于物理的渲染(Physically Based Rendering)的三维模型，是一种广泛应用于计算机图形学领域的渲染技术。相较于以前的渲染模型，PBR能够带来更加真实且稳定的材质表现。PBR模型，最早用于电影的照片级真实的渲染。随着硬件性能的不断提高，目前大量运用于游戏的实时渲染，由此使得基于物理规则的渲染（PBR）迅速成为游戏行业的标准，基于物理规则的渲染（PBR）旨在实现使用尽可能接近真实的渲染/光照模型以及测量得到的表面值来准确地表示真实世界中的材质。而传统的三维重建方法主要目的是为了还原物体的结构信息，对于颜色纹理的还原度并不高，尤其无法还原出计算机图形学领域的基于物理渲染标准的纹理信息。
发明内容
针对现有技术中针对PBR三维重建存在的缺陷与不足，本发明的目的旨在提供一种结合传统三维重建与深度学习算法的生成符合PBR标准模型材质的PBR三维重建方法，基于原始获取照片的信息进行深度学习可微分渲染PBR重建，获得更加真实且稳定的材质表现。
根据本发明目的的第一方面提出一种基于深度学习的PBR三维重建方法，包括：
获取三维物体的多角度的照片，作为照片序列；
对照片序列的中的每一张照片进行特征点匹配，计算每张照片对应的相机内参、相机外参以及稀疏点云；
基于所述照片序列以及相机内参、相机外参与稀疏点云进行稠密重建，获得稠密点云以及每个点在每张照片中的位置信息；
将稠密点云转换成以网格模型和固有色贴图，所述网格模型由顶点、贴图坐标点和面构成，所述顶点表示三维空间中的点，贴图坐标点表示三维空间中的点在纹理贴图上的位置，面表示由顶点如何构建三角形的三角关系；
以网格模型的顶点、贴图坐标点和面，以及固有色贴图作为初始化参数，构建基于反向传播的深度学习神经网络模型，在深度学习神经网络模型收敛时，获得PBR三维重建所需要的纹理贴图，实现对网格模型的纹理映射，输出渲染后的照片，所述纹理贴图包含固有色贴图、法线贴图和粗糙度贴图。
优选地，所述对照片序列的中的每一张照片进行特征点匹配，计算每张照片对应的相机内参、相机外参以及稀疏点云，包括：
对照片序列中的每一张照片进行特征提取，确定用以描述照片的关键位置的特征点；
依据所提取的特征，在不同的照片中确定匹配关系，建立照片之间的联系；
基于匹配关系，计算中每张照片对应的相机内参与相机外参，以及稀疏点云；
其中，相机内参用以描述相机的固有属性，包括焦距和主点位置；
相机的外参用以描述相机在世界空间的坐标关系，包括旋转关系与平移关系。
优选地，所述以网格模型的顶点、贴图坐标点和面，以及固有色贴图作为初始化参数，构建基于反向传播的深度学习神经网络模型，包括以下过程：
随机初始化光照贴图L，L=((L0,N0), (L1,N1), (L2,N2), (L3,N3), …,(Ln-1,Nn-1))，其中n表示照片序列中照片的总数，Li表示与照片序列中第i张照片具有相同尺寸的单通道图片，以Li,uv表示单通道图片的像素的值，其取值为照片序列中第i张照片上的对应坐标为uv的点所接收到的光照强度iuv；Ni表示与照片序列中第i张照片具有相同尺寸的三通道图片，以Ni,uv表示三通道图片的每一个像素的值，其取值为照片序列中第i张照片上的对应坐标为uv的点所接收到的光照方向ni,uv，ni,uv=(xuv,yuv,zuv)；
随机初始化参数Nu’v’与roughness u’v’，分别表示目标纹理贴图上的坐标为u’v’的点的法线贴图的值和粗糙度贴图的值；
以网格模型的顶点作为输入，通过网格模型的面所包含的三角关系，将所有顶点之间的关系描述成矢量三角形；
根据照片对应的相机内参与相机外参进行投影变换，以将网格模型投影到相机拍摄照片的角度；
通过光栅化处理，将矢量三角形变换成离散的像素并确定他们的前后关系；根据前后关系，舍弃后方被遮挡的像素并保留前方未被遮挡的像素；
对于每一个保留下来的像素，通过查找贴图坐标点从而确定像素对应的纹理坐标；
根据每一个片段对应的纹理坐标和光照贴图的坐标计算每一个片段的反射方程，获得每一个片段所呈现的颜色Lrender。
根据本发明的第三方面，还提出一种计算机系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括前述方法中的操作。
根据本发明的第二方面，还提出一种存储软件的计算机可读取介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括前述方法中的操作。
本发明针对目前游戏、影视等CG仿真行业对PBR模型的需求，提出了一种结合传统三维重建与深度学习算法的生成符合PBR标准模型材质的PBR三维重建方法，和传统三维重建方法相比，本发明提出的PBR三维重建方法无需改变照片的拍摄和获取流程，基于原始获取照片的信息进行深度学习可微分渲染PBR重建，通过反向传播的深度学习神经网络重建得出高精度的PBR模型，实现实时、高精度的三维重建与物理渲染，获得以网格模型和贴图来表示PBR三维模型。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1是本发明示例性的实施例基于深度学习的PBR三维重建方法的流程示意图。
图2是本发明示例性的实施例构建基于反向传播的深度学习神经网络模型的示意图。
图3是利用传统的稀疏重建与稠密重建实现的三维重建的效果图。
图4是根据本发明的实施例的基于深度学习的PBR三维重建方法实现的三维重建的效果图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
结合图1-2所示的示例性实施例的基于深度学习的PBR三维重建方法，在通过传统的稀疏重建与稠密重建后，获得的稠密点云的基础上，首先进行模型重建和纹理映射，将稠密点云转换成计算机图形学中更加常用的网格模型，即顶点V、贴图坐标点Vt与面F，以及对应的固有色贴图，并将图片的渲染过程描述为一个可以进行反向传播的深度学习神经网络，以顶点V、贴图坐标点Vt、面F以及固有色贴图为初始化参数建立反向传播的深度学习神经网络，在模型收敛时即可获得纹理贴图，纹理贴图即PBR纹理贴图，由固有色贴图、法线贴图以及粗糙度贴图构成，获得对照片的每个像素所需要呈现的颜色，实现图像的渲染。
在本发明的实施例中，使用网格模型和贴图纹理来描述PBR三维模型。
网格模型（Mesh），由顶点V、贴图坐标点和面F构成，均为数组：
V=(v1,v2,v3,…,vm)；
Vt=(vt1,vt2,vt3,…,vtm)；
F=(f1,f2,f3,…,fm)。
其中，m为顶点总数。
顶点V中的每一个值(v1,v2,v3,…,vm)表示了三维空间中的点，贴图坐标点Vt中的每一个值(vt1,vt2,vt3,…,vtm)表示了顶点在纹理贴图上的位置，面F中的每一个值(f1,f2,f3,…,fm)表示了如何将顶点连在一起组成三角形，即三角关系。
PBR的纹理贴图通常由固有色贴图Diffuse、法线贴图Normal和粗糙度贴图Roughness构成。固有色贴图反映了物体本身的颜色，法线贴图表示了物体的几何方向，粗糙度贴图反映物体的固有属性。
通过本发明的基于深度学习的PBR三维重建，能够真实还原出符合PBR标准的三维模型，真实的构建物体的表面材质，包括纹理和光照属性，实现高精度的重建。
结合图1，作为示例的基于深度学习的PBR三维重建方法，其过程包括：
获取三维物体的多角度的照片，作为照片序列；
对照片序列的中的每一张照片进行特征点匹配，计算每张照片对应的相机内参、相机外参以及稀疏点云；
基于所述照片序列以及相机内参、相机外参与稀疏点云进行稠密重建，获得稠密点云以及每个点在每张照片中的位置信息；
将稠密点云转换成以网格模型和固有色贴图，所述网格模型由顶点、贴图坐标点和面构成，所述顶点表示三维空间中的点，贴图坐标点表示三维空间中的点在纹理贴图上的位置，面表示由顶点如何构建三角形的三角关系；
以网格模型的顶点、贴图坐标点和面，以及固有色贴图作为初始化参数，构建基于反向传播的深度学习神经网络模型，在深度学习神经网络模型收敛时，获得PBR三维重建所需要的纹理贴图，实现对网格模型的纹理映射，输出渲染后的照片，其中所述纹理贴图包含固有色贴图、法线贴图和粗糙度贴图。
其中，作为可选的方式，所述对照片序列的中的每一张照片进行特征点匹配，计算每张照片对应的相机内参、相机外参以及稀疏点云，包括：
对照片序列中的每一张照片进行特征提取，确定用以描述照片的关键位置的特征点；
依据所提取的特征，在不同的照片中确定匹配关系，建立照片之间的联系；
基于匹配关系，计算中每张照片对应的相机内参与相机外参，以及稀疏点云；
其中，相机内参用以描述相机的固有属性，包括焦距和主点位置；
相机的外参用以描述相机在世界空间的坐标关系，包括旋转关系与平移关系。
其中，作为可选的方式，所述以网格模型的顶点、贴图坐标点和面，以及固有色贴图作为初始化参数，构建基于反向传播的深度学习神经网络模型，包括以下过程：
随机初始化光照贴图L，L=((L0,N0), (L1,N1), (L2,N2), (L3,N3), …,(Ln-1,Nn-1))，其中n表示照片序列中照片的总数，Li表示与照片序列中第i张照片具有相同尺寸的单通道图片，以Li,uv表示单通道图片的像素的值，其取值为照片序列中第i张照片上的对应坐标为uv的点所接收到的光照强度iuv；Ni表示与照片序列中第i张照片具有相同尺寸的三通道图片，以Ni,uv表示三通道图片的每一个像素的值，其取值为照片序列中第i张照片上的对应坐标为uv的点所接收到的光照方向ni,uv，ni,uv=(xuv,yuv,zuv)；
随机初始化参数Nu’v’与roughness u’v’，分别表示目标纹理贴图上的坐标为u’v’的点的法线贴图的值和粗糙度贴图的值；
以网格模型的顶点作为输入，通过网格模型的面所包含的三角关系，将所有顶点之间的关系描述成矢量三角形；
根据照片对应的相机内参与相机外参进行投影变换，以将网格模型投影到相机拍摄照片的角度；
通过光栅化处理，将矢量三角形变换成离散的像素并确定他们的前后关系；根据前后关系，舍弃后方被遮挡的像素并保留前方未被遮挡的像素；
对于每一个保留下来的像素，通过查找贴图坐标点从而确定像素对应的纹理坐标；
根据每一个片段对应的纹理坐标和光照贴图的坐标计算每一个片段的反射方程，获得每一个片段所呈现的颜色Lrender。
其中，作为可选的方式，根据每一个片段对应的纹理坐标和光照贴图的坐标计算每一个片段的反射方程，获得每一个片段所呈现的颜色，包括：
以下述方式计算每一个片段的反射方程：
Lrender,i,uv= Li,uv* fbrdf * cosθl；
Lrender,i,uv表示对照片序列中的第i张照片的坐标为uv的点进行渲染而获得的值；
其中，Li,uv表示与照片序列中第i张照片具有相同尺寸的单通道图片的像素的值，其取值为照片序列中第i张照片上的对应坐标为uv的点所接收到的光照强度；
θl表示照片序列中第i张照片上的对应坐标为uv的点的光照方向ni,uv与网格模型中坐标为u’v’的点的法线方向n’u’v’的夹角；u’v’是指通过查找贴图坐标点所确定的像素的纹理贴图的坐标；
fbrdf表示双向反射分布函数。
其中优选的，所述fbrdf采用GGX-BRDF，其取值为：
fbrdf = diffuseu’v’ +VDF
其中，diffuseu’v’表示目标纹理贴图上坐标为u’v’的点的固有色贴图；D表示法线分布函数，F表示菲涅尔系数；
其中，V=Gggx(n’u’v’,nv,uv,k)* Gggx(n’u’v’,ni,uv,k)
作为通用算式： Gggx(n,v,k)=n*v/((n*v)(1-k)+k)；
nv,uv表示相机方向；
k表示可见性函数，k=(roughnessu’v’ +1)2/8；
其中，D= roughnessu’v’* roughnessu’v’/(π(cosθh* cosθh*(roughnessu’v’*roughnessu’v’-1)+1)2)
θh表示半角方向与法线方向n’u’v’的夹角，半角方向为相机方向nv,uv与光照方向ni,uv的夹角；
其中，F=0.04+0.96*(1- cosθh)5。
由此，建立基于反向传播的深度学习神经网络模型，实现深度学习可微分渲染PBR重建，其中随机初始化参数法线贴图Nu’v’与粗糙度贴图roughnessu’v’作为期望获得的结果，通过以网格模型的顶点、贴图坐标点和面，以及固有色贴图作为初始化参数，通过深度学习神经网络模型的学习过程，并以渲染出的照片和真实拍摄的照片的均方误差以及同一个点在不同照片当中估算出的光照强度的方差作为约束，构建损失函数，当模型收敛时，获得对应的法线贴图、粗糙度贴图，与固有色贴图共同构成纹理贴图，从而实现对网格模型的纹理映射，实现渲染输出，获得高精度的PBR贴图。
下面结合示例，更加具体的描述上述过程的示例性实现过程。
获取原始照片
在本发明的示例中，对于进行三维重建的三维物体，在尽可能稳定的环境（例如稳定平台、光照等条件）中拍摄其各个角度的画面，并尽可能保证画面的连续性，以利于后续对拍摄的照片的处理和特征匹配。
对于拍摄的照片序列，共计为n张，照片序列记为Isrc, Isrc=( Isrc,0, Isrc,1,Isrc,2, …, Isrc,n-1)，其中n表示照片的总数。
稀疏重建
在所获得的照片序列基础上，进行稀疏重建：对照片序列的中的每一张照片进行特征点匹配，计算每张照片对应的相机内参、相机外参以及稀疏点云。相机内参描述了相机的固有属性，包括焦距和主点位置。相机外参描述了相机在整个世界空间的坐标关系，包括旋转关系与平移关系。
在可选的实施例中，基于OpenMVG库（open Multiple View Geometry）进行稀疏重建，其实现包括以下过程：
对照片序列中的每一张照片进行特征提取（特征例如haris角点、SIFT特征），确定用以描述照片的关键位置的特征点；
依据所提取的特征，在不同的照片中确定匹配关系，建立照片之间的联系；
最后，基于匹配关系，计算中每张照片对应的相机内参与相机外参以及稀疏点云。
相机内参以K表示，K=(K0, K 1, K 2, K 3,…, K n-1)，(K0, K 1, K 2, K 3,…, K n-1)分别对应于每一张照片的相机内参。相机内参以T表示，T=(T0, T1, T2, T3,…, Tn-1)， (T0, T1, T2, T3,…, Tn-1)分别对应于每一张照片的相机外参。其中，
Figure DEST_PATH_IMAGE001
，
Figure 792309DEST_PATH_IMAGE002
表示 第i张照片的相机外参的旋转关系，
Figure DEST_PATH_IMAGE003
表示第i张照片的相机外参的平移关系。
稀疏点云，即稀疏的三维点云Psparse，Psparse=( Psparse,0, Psparse,1, Psparse,2,Psparse,3, …, Psparse,n-1)
稠密重建
在本步骤中，基于所述照片序列以及相机内参、相机外参与稀疏点云进行稠密重建，获得稠密点云以及每个点在每张照片中的位置信息。
作为可选的方式，根据上一步得到的稀疏的三维点云Psparse、采集到的照片序列Isrc和每张照片对应的相机内参和外参，使用OpenMVS（open Multi-View Stereoreconstruction library）开源库的稠密点云重建功能（dense point-cloudreconstruction），可以得到一组稠密点云Pdense, Pdense=( Pdense,0, Pdense,1, Pdense,2,Pdense,3, …, Pdense,d)，由此获得d个点以及这些d个点在每张实际拍摄的照片中的位置信息。
模型重建
在本步骤中，将稠密点云转换成以网格模型和固有色贴图，所述网格模型由顶点、贴图坐标点和面构成，所述顶点表示三维空间中的点，贴图坐标点表示三维空间中的点在纹理贴图上的位置，面表示由顶点如何构建三角形的三角关系。
作为可选的方式，：使用OpenMVS开源库提供的模型重建（mesh reconstruction）和纹理映射（mesh texturing）功能，将得到的稠密点云转换成计算机图形学中更加常用的网格模型和对应的固有色贴图。
如前述的，网格模型由顶点V、贴图坐标点Vt和面F构成。
深度学习可微分渲染PBR重建
在本步骤中，以网格模型的顶点、贴图坐标点和面，以及固有色贴图作为初始化参数，构建基于反向传播的深度学习神经网络模型，在深度学习神经网络模型收敛时，获得PBR三维重建所需要的纹理贴图，实现对网格模型的纹理映射，其中的纹理贴图包含固有色贴图、法线贴图和粗糙度贴图。
如前述描述的，我们通过以下过程构建基于反向传播的深度学习神经网络模型：
1)随机初始化光照贴图L，L=((L0,N0), (L1,N1), (L2,N2), (L3,N3), …,(Ln-1,Nn-1))，其中n表示照片序列中照片的总数，Li表示与照片序列中第i张照片具有相同尺寸的单通道图片，以Li,uv表示单通道图片的像素的值，其取值为照片序列中第i张照片上的对应坐标为uv的点所接收到的光照强度iuv；Ni表示与照片序列中第i张照片具有相同尺寸的三通道图片，以Ni,uv表示三通道图片的每一个像素的值，其取值为照片序列中第i张照片上的对应坐标为uv的点所接收到的光照方向ni,uv，ni,uv=(xuv,yuv,zuv)；
2)随机初始化参数Nu’v’与roughness u’v’，分别表示目标纹理贴图上的坐标为u’v’的点的法线贴图的值和粗糙度贴图的值；
3)以网格模型的顶点作为输入，通过网格模型的面所包含的三角关系，将所有顶点之间的关系描述成矢量三角形；
4)根据照片对应的相机内参与相机外参进行投影变换，以将网格模型投影到相机拍摄照片的角度；
5)通过光栅化处理，将矢量三角形变换成离散的像素并确定他们的前后关系；根据前后关系，舍弃后方被遮挡的像素并保留前方未被遮挡的像素；
6)对于每一个保留下来的像素，通过查找贴图坐标点从而确定像素对应的纹理坐标；
7)根据每一个片段对应的纹理坐标和光照贴图的坐标计算每一个片段的反射方程，获得每一个片段所呈现的颜色Lrender。
由此，通过上述步骤1)-7)的处理，获得每个片段的颜色数据，并据此进行渲染输出，获得渲染后的照片。
在本发明的实施例中，以渲染出的照片和真实拍摄的照片的均方误差以及同一个点在不同照片当中估算出的光照强度的方差作为双重约束，构建损失函数。当模型收敛时获得PBR三维重建所需要的纹理贴图，实现对网格模型的纹理映射，实现基于相机拍摄照片的符合PBR材质要求的三维重建。
作为可选的方式，根据每一个片段对应的纹理坐标和光照贴图的坐标计算每一个片段的反射方程，获得每一个片段所呈现的颜色，包括：
以下述方式计算每一个片段的反射方程：
Lrender,i,uv= Li,uv* fbrdf * cosθl；
Lrender,i,uv表示对照片序列中的第i张照片的坐标为uv的点进行渲染而获得的值；
其中，Li,uv表示与照片序列中第i张照片具有相同尺寸的单通道图片的像素的值，其取值为照片序列中第i张照片上的对应坐标为uv的点所接收到的光照强度；
θl表示照片序列中第i张照片上的对应坐标为uv的点的光照方向ni,uv与网格模型中坐标为u’v’的点的法线方向n’u’v’的夹角；u’v’是指通过查找贴图坐标点所确定的像素的纹理贴图的坐标；
fbrdf表示双向反射分布函数。
其中优选的，所述fbrdf采用GGX-BRDF，其取值为：
fbrdf = diffuseu’v’ +VDF
其中，diffuseu’v’表示目标纹理贴图上坐标为u’v’的点的固有色贴图；D表示法线分布函数，F表示菲涅尔系数；
其中，V=Gggx(n’u’v’,nv,uv,k)* Gggx(n’u’v’,ni,uv,k)
作为通用算式： Gggx(n,v,k)=n*v/((n*v)(1-k)+k)；
nv,uv表示相机方向；
k表示可见性函数，k=(roughnessu’v’ +1)2/8；
其中，D= roughnessu’v’* roughnessu’v’/(π(cosθh* cosθh*( roughnessu’v’*roughnessu’v’-1)+1)2)
θh表示半角方向与法线方向n’u’v’的夹角，半角方向为相机方向nv,uv与光照方向ni,uv的夹角；
其中，F=0.04+0.96*(1- cosθh)5。
在深度学习可微分神经网络模型中，设置以渲染出的照片和真实拍摄的照片的均方误差以及同一个点在不同照片当中估算出的光照强度的方差作为约束，构建损失函数Loss，当模型收敛时，获得对应的法线贴图、粗糙度贴图，与固有色贴图共同构成纹理贴图，从而实现对网格模型的纹理映射，实现渲染输出，获得高精度的PBR贴图。
作为可选的实施例，损失函数Loss表达如下：
Loss=
其中，Ireder,i表示第i张渲染出的照片，Isrc,i表示照片序列中第i张实际拍摄的照片，Oi表示渲染后的第i个点所估算的光照强度，Oi，j表示渲染后的第i个点在第j张渲染后的图片中所估算的光照强度。
图3和图4是对同一对象进行三维重建的结果，在图3所示的传统重建结果中，出现了光照缝隙后的空白样，呈现出白色，脱离实际的。在图4中通过本发明进行PBR重建的结果中，真实还原物理世界的光照情况，在遮挡关系、阴影、光照表现等方面，重建的真实性和精确性都比较好，明显优于图3所示的重建结果。
在本发明的公开的实施例中，还提出一种计算机系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括执行前述实施例的方法中的操作，尤其是图1、图2所示例性表达的操作。
在本发明的公开的实施例中，还提出一种存储软件的计算机可读取介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括执行前述实施例的方法中的操作，尤其是图1、图2所示例性表达的操作。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (8)

1.一种基于深度学习的PBR三维重建方法，其特征在于，包括以下步骤：
获取三维物体的多角度的照片，作为照片序列；
对照片序列的中的每一张照片进行特征点匹配，计算每张照片对应的相机内参、相机外参以及稀疏点云；
基于所述照片序列以及相机内参、相机外参与稀疏点云进行稠密重建，获得稠密点云以及每个点在每张照片中的位置信息；
将稠密点云转换成网格模型和固有色贴图，所述网格模型由顶点、贴图坐标点和面构成，所述顶点表示三维空间中的点，贴图坐标点表示三维空间中的点在纹理贴图上的位置，面表示由顶点构建成三角形的三角关系；
以网格模型的顶点、贴图坐标点和面，以及固有色贴图作为初始化参数，构建基于反向传播的深度学习神经网络模型，在深度学习神经网络模型收敛时，获得PBR三维重建所需要的纹理贴图，实现对网格模型的纹理映射；所述纹理贴图包含固有色贴图、法线贴图和粗糙度贴图。
2.根据权利要求1所述的基于深度学习的PBR三维重建方法，其特征在于，所述对照片序列的中的每一张照片进行特征点匹配，计算每张照片对应的相机内参、相机外参以及稀疏点云，包括：
对照片序列中的每一张照片进行特征提取，确定用以描述照片的关键位置的特征点；
依据所提取的特征，在不同的照片中确定匹配关系，建立照片之间的联系；
基于匹配关系，计算中每张照片对应的相机内参与相机外参，以及稀疏点云；
其中，相机内参用以描述相机的固有属性，包括焦距和主点位置；
相机的外参用以描述相机在世界空间的坐标关系，包括旋转关系与平移关系。
3.根据权利要求1所述的基于深度学习的PBR三维重建方法，其特征在于，所述以网格模型的顶点、贴图坐标点和面，以及固有色贴图作为初始化参数，构建基于反向传播的深度学习神经网络模型，包括以下过程：
随机初始化光照贴图L，L=((L0,N0), (L1,N1), (L2,N2), (L3,N3), …,(Ln-1,Nn-1))，其中n表示照片序列中照片的总数，Li表示与照片序列中第i张照片具有相同尺寸的单通道图片，以Li,uv表示单通道图片的像素的值，其取值为照片序列中第i张照片上的对应坐标为uv的点所接收到的光照强度iuv；Ni表示与照片序列中第i张照片具有相同尺寸的三通道图片，以Ni,uv表示三通道图片的每一个像素的值，其取值为照片序列中第i张照片上的对应坐标为uv的点所接收到的光照方向ni,uv，ni,uv=(xuv,yuv,zuv)；
随机初始化参数Nu’v’与roughness u’v’，分别表示目标纹理贴图上的坐标为u’v’的点的法线贴图的值和粗糙度贴图的值；
以网格模型的顶点作为输入，通过网格模型的面所包含的三角关系，将所有顶点之间的关系描述成矢量三角形；
根据照片对应的相机内参与相机外参进行投影变换，以将网格模型投影到相机拍摄照片的角度；
通过光栅化处理，将矢量三角形变换成离散的像素并确定他们的前后关系；根据前后关系，舍弃后方被遮挡的像素并保留前方未被遮挡的像素；
对于每一个保留下来的像素，通过查找贴图坐标点从而确定像素对应的纹理坐标；
根据每一个片段对应的纹理坐标和光照贴图的坐标计算每一个片段的反射方程，获得每一个片段所呈现的颜色Lrender。
4.根据权利要求3所述的基于深度学习的PBR三维重建方法，其特征在于，所述根据每一个片段对应的纹理坐标和光照贴图的坐标计算每一个片段的反射方程，获得每一个片段所呈现的颜色，包括：
以下述方式计算每一个片段的反射方程：
Lrender,i,uv= Li,uv* fbrdf * cosθl；
Lrender,i,uv表示对照片序列中的第i张照片的坐标为uv的点进行渲染而获得的值；
其中，Li,uv表示与照片序列中第i张照片具有相同尺寸的单通道图片的像素的值，其取值为照片序列中第i张照片上的对应坐标为uv的点所接收到的光照强度；
θl表示照片序列中第i张照片上的对应坐标为uv的点的光照方向ni,uv与网格模型中坐标为u’v’的点的法线方向n’u’v’的夹角；u’v’是指通过查找贴图坐标点所确定的像素的纹理贴图的坐标；
fbrdf表示双向反射分布函数。
5.根据权利要求4所述的基于深度学习的PBR三维重建方法，其特征在于，所述fbrdf采用GGX-BRDF，其取值为：
fbrdf= diffuseu’v’ +VDF
其中，diffuseu’v’表示目标纹理贴图上坐标为u’v’的点的固有色贴图；D表示法线分布函数，F表示菲涅尔系数；
其中，V=Gggx(n’u’v’,nv,uv,k)* Gggx(n’u’v’,ni,uv,k), Gggx(n,v,k)=n*v/((n*v)(1-k)+k)；
nv,uv表示相机方向；
k表示可见性函数，k=(roughnessu’v’ +1)2/8；
其中，D= roughnessu’v’* roughnessu’v’/(π(cosθh* cosθh*( roughnessu’v’*roughnessu’v’-1)+1)2)
θh表示半角方向与法线方向n’u’v’的夹角，半角方向为相机方向nv,uv与光照方向ni,uv的夹角；
其中，F=0.04+0.96*(1- cosθh)5。
6.根据权利要求1-5中任意一项所述的基于深度学习的PBR三维重建方法，其特征在于，所述深度学习神经网络模型被设置成渲染出的照片和真实拍摄的照片的均方误差以及同一个点在不同照片当中估算出的光照强度的方差作为约束，构建损失函数。
7.一种计算机系统，其特征在于，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括所述权利要求1-6中任意一项所述的方法中的操作。
8.一种存储软件的计算机可读取介质，其特征在于，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括所述权利要求1-6中任意一项所述的方法中的操作。
CN202110895282.6A 2021-08-05 2021-08-05 基于深度学习的pbr三维重建方法、系统与计算机存储介质 Active CN113345063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110895282.6A CN113345063B (zh) 2021-08-05 2021-08-05 基于深度学习的pbr三维重建方法、系统与计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110895282.6A CN113345063B (zh) 2021-08-05 2021-08-05 基于深度学习的pbr三维重建方法、系统与计算机存储介质

Publications (2)

Publication Number Publication Date
CN113345063A CN113345063A (zh) 2021-09-03
CN113345063B true CN113345063B (zh) 2021-10-29

Family

ID=77480845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110895282.6A Active CN113345063B (zh) 2021-08-05 2021-08-05 基于深度学习的pbr三维重建方法、系统与计算机存储介质

Country Status (1)

Country Link
CN (1) CN113345063B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888398B (zh) * 2021-10-21 2022-06-07 北京百度网讯科技有限公司 头发渲染方法、装置及电子设备
CN114140569B (zh) * 2022-01-27 2022-04-26 山东捷瑞数字科技股份有限公司 一种三维场景序列化压缩方法
CN114627227B (zh) * 2022-05-18 2022-09-27 深圳元象信息科技有限公司 基于pbr材质的物体重建方法、设备及计算机可读存储介质
CN116596985B (zh) * 2023-07-17 2023-10-20 国网上海市电力公司 一种自适应光照模型建模方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210359A (zh) * 2019-12-30 2020-05-29 中国矿业大学(北京) 面向智能矿山场景的数字孪生演化机理及方法
CN111951292A (zh) * 2020-09-01 2020-11-17 吉林大学 物体表面反射属性提取方法、装置、设备及存储介质
CN112132213A (zh) * 2020-09-23 2020-12-25 创新奇智(南京)科技有限公司 样本图像的处理方法及装置、电子设备、存储介质
CN113178009A (zh) * 2021-04-19 2021-07-27 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9300901B2 (en) * 2013-12-04 2016-03-29 Disney Enterprises, Inc. Augmenting physical appearance using illumination

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210359A (zh) * 2019-12-30 2020-05-29 中国矿业大学(北京) 面向智能矿山场景的数字孪生演化机理及方法
CN111951292A (zh) * 2020-09-01 2020-11-17 吉林大学 物体表面反射属性提取方法、装置、设备及存储介质
CN112132213A (zh) * 2020-09-23 2020-12-25 创新奇智(南京)科技有限公司 样本图像的处理方法及装置、电子设备、存储介质
CN113178009A (zh) * 2021-04-19 2021-07-27 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Grasping Field: Learning Implicit Representations for Human Grasps;Korrawe Karunratanakul et al;《2020 International Conference on 3D Vision (3DV)》;20210119;第333-344页 *
基于特征学习的三维人脸逆渲染;张弘毅;《中国优秀硕士学位论文全文数据库电子期刊 信息科技辑》;20200315;第2020年卷(第3期);第I138-1027页 *
大规模三维地形构建的关键技术研究;郭向坤;《中国博士学位论文全文数据库电子期刊 信息科技辑》;20190915;第2019年卷(第9期);第I138-48页 *

Also Published As

Publication number Publication date
CN113345063A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN113345063B (zh) 基于深度学习的pbr三维重建方法、系统与计算机存储介质
Bogdan et al. DeepCalib: A deep learning approach for automatic intrinsic calibration of wide field-of-view cameras
CN111862179B (zh) 三维对象建模方法与设备、图像处理装置及介质
Greene Environment mapping and other applications of world projections
Nishino et al. Eigen-texture method: Appearance compression and synthesis based on a 3D model
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
CN107330964B (zh) 一种复杂三维物体的显示方法及系统
Godard et al. Multi-view reconstruction of highly specular surfaces in uncontrolled environments
CN106558017B (zh) 球形显示图像处理方法及系统
CN112184603B (zh) 一种点云融合方法、装置、电子设备和计算机存储介质
Mousavi et al. The performance evaluation of multi-image 3D reconstruction software with different sensors
US20140085295A1 (en) Direct environmental mapping method and system
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
WO2018133119A1 (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN114549289A (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN110517348B (zh) 基于图像前景分割的目标物体三维点云重建方法
Wang et al. Mirrornerf: One-shot neural portrait radiance field from multi-mirror catadioptric imaging
Ma et al. Neural compositing for real-time augmented reality rendering in low-frequency lighting environments
Schneider et al. Efficient global illumination for morphable models
CN116681839B (zh) 一种基于改进NeRF的实景三维目标重建与单体化方法
WO2019042028A1 (zh) 全视向的球体光场渲染方法
Nicolet et al. Repurposing a relighting network for realistic compositions of captured scenes
Frommholz et al. Reconstructing buildings with discontinuities and roof overhangs from oblique aerial imagery
CN109816765B (zh) 面向动态场景的纹理实时确定方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant