CN111652963A - 一种基于神经网络的增强现实绘制方法 - Google Patents

一种基于神经网络的增强现实绘制方法 Download PDF

Info

Publication number
CN111652963A
CN111652963A CN202010377561.9A CN202010377561A CN111652963A CN 111652963 A CN111652963 A CN 111652963A CN 202010377561 A CN202010377561 A CN 202010377561A CN 111652963 A CN111652963 A CN 111652963A
Authority
CN
China
Prior art keywords
layer
network
shadow
image
reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010377561.9A
Other languages
English (en)
Other versions
CN111652963B (zh
Inventor
周昆
侯启明
任重
马晟杰
申乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Faceunity Technology Co ltd
Zhejiang University ZJU
Original Assignee
Hangzhou Faceunity Technology Co ltd
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Faceunity Technology Co ltd, Zhejiang University ZJU filed Critical Hangzhou Faceunity Technology Co ltd
Priority to CN202010377561.9A priority Critical patent/CN111652963B/zh
Publication of CN111652963A publication Critical patent/CN111652963A/zh
Application granted granted Critical
Publication of CN111652963B publication Critical patent/CN111652963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络的增强现实绘制方法。该方法主要分为六个步骤：环境光照估计、表面粗糙度估计、虚拟对象及平面的图层绘制、反射层的优化、阴影层的优化和图层的线性混合。本发明首次将复杂反射和阴影效果带入增强现实绘制，达到当前最先进的水平。本发明可应用于增强现实平台，提升在真实场景中虚拟对象的绘制质量和真实感。

Description

一种基于神经网络的增强现实绘制方法
技术领域
本发明涉及增强现实领域，尤其涉及一种在低频光源下，对包含平面的图片进行增强现实绘制的方法。
背景技术
将3D物体真实的融入到真实拍摄的2D图像中具有广阔的应用场景，尤其在增强现实渲染领域。Debevec首先提出了使用物理手段测量真实场景的几何，光照等信息进行场景重建，并使用可微分渲染的方法将虚拟物体融入到真实场景中，该方法融合结果真实感较高但是过程繁杂(Paul Debevec.1998.Rendering Synthetic Objects into RealScenes:Bridging Traditional and Image-Based Graphics with Global Illuminationand High Dynamic Range Photography.In Proceedings of the 25th AnnualConference on Computer Graphics and Interactive Techniques(SIGGRAPH 1998).Association for Computing Machinery,New York,NY,USA,189–198.)。Karsch以手动对照片进行标注的方法替代物理测量进行场景重建(Kevin Karsch,Varsha Hedau,DavidForsyth,and Derek Hoiem.2011.Rendering Synthetic Objects into LegacyPhotographs.ACM Trans.Graph.30,6,Article Article 157(Dec.2011),12pages.)，并进一步提出了使用设定先验光源集，估计场景深度以及优化选择光源自动进行场景重建(Kevin Karsch,Kalyan Sunkavalli,Sunil Hadap,Nathan Carr,Hailin Jin,RafaelFonte,Michael Sittig,and David Forsyth.2014.Automatic Scene Inference for 3DObject Compositing.ACM Trans.Graph.33,3,Article Article 32(June 2014),15pages.)，最终以可微分渲染的方法进行虚拟物体的融入。这些方法尽管可以得到真实感较高的结果，但是耗时较长，在实时领域无法使用。
在增强现实绘制应用中，一般采取的方法是避免完整场景重建，针对单张照片仅进行光照估计与平面识别，以估计出的光照渲染虚拟物体，并在平面上进行阴影渲染，基于深度学习进行光照估计近年来得到了广泛的应用(Marc-AndréGardner,KalyanSunkavalli,Ersin Yumer,Xiaohui Shen,Emiliano Gambaretto,Christian Gagné,andJean-
Figure BDA0002480567330000011
Lalonde.2017.Learning to Predict Indoor Illumination from aSingle Image.ACM Trans.Graph.36,6,Article Article 176(Nov.2017),14pages.)(Yannick Hold-Geoffroy,Akshaya Athawale,and Jean-
Figure BDA0002480567330000012
Lalonde.2019.Deep SkyModeling for Single Image Outdoor Lighting Estimation.Proceedings of 33thIEEE Conference on Computer Vision and Pattern Recognition.)(Yannick Hold-Geoffroy,Kalyan Sunkavalli,Sunil Hadap,Emiliano Gambaretto,and Jean-
Figure BDA0002480567330000013
Lalonde.2017.Deep Outdoor Illumination Estimation.In IEEE InternationalConference on Computer Vision and Pattern Recognition.)(Chloe LeGendre,Wan-Chun Ma,Graham Fyffe,John Flynn,Laurent Charbonnel,Jay Busch,and PaulDebevec.2019.DeepLight:Learning Illumination for Unconstrained Mobile MixedReality.In ACM SIGGRAPH 2019Talks(SIGGRAPH 2019).Association for ComputingMachinery,New York,NY,USA,Article Article 46,2pages.)。但这类方法没有考虑全局光照，并且虚拟物体阴影只能出现在平面上，无法实现虚拟物体与照片中平面外物体的阴影交互，在追求实时性的同时难以顾及渲染结果真实感。
发明内容
本发明的目的在于针对现有技术的不足，提供了一种基于神经网络的增强现实绘制方法。本发明借助一个经训练学习得到的神经网络恢复场景的环境光照，利用实时绘制管线和光照信息绘制虚拟物体前景、阴影以及反射层作为参考，再借助另外三个经训练学习得到的神经网络提取隐空间特征、调优阴影层和反射层，最终与前景层、场景图片一起合成逼真的结果图像。该方法达到最先进的增强现实绘制技术的水平，且可实现实时处理，具有很高的实用价值。
本发明的目的是通过以下技术方案来实现的，一种基于神经网络的增强现实绘制方法，包括以下步骤：
(1)环境光照估计：从图像中估计场景的环境光照。
(2)虚拟对象以及平面的绘制：假定场景中存在平面，虚拟物体放置在平面上。绘制三类图层，分别是前景层、阴影层和反射层。所述前景层、阴影层和反射层分别用路径追踪(path tracing)算法的路径表达式(path expression)定义如下：
所述前景层表示为：光路相机-虚拟对象-光源(环境光)所呈的像。
所述反射层包括两种预定义表面：光泽表面和镜面，表示为：光路相机-平面-虚拟对象-光源(环境光)所呈的像。
所述阴影层包括三种预定义表面：漫射表面、光泽表面、镜面，其中光泽表面阴影层和镜面阴影层表示为：相机-平面-虚拟对象，记录因虚拟对象遮挡光源(环境光)减少的辐射亮度。
所述漫射表面阴影层表示为分子部分和分母部分的商与真实场景图像的乘积，其中，分子部分表示为：相机-平面-虚拟对象，记录因虚拟对象遮挡光源(环境光)减少的辐射亮度；分母部分表示为：虚拟对象不在场景中时，光路相机-平面-光源(环境光)，产生的像。
(3)表面粗糙度估计：从图像中编码得到表征平面材质的隐空间特征同时生成反射层遮罩以剔除漫射表面等无光泽材质上的反射。
(4)反射层的优化：基于步骤3得到的隐空间特征，使步骤2得到的反射层的亮度和模糊程度与平面材质相适配。
(5)阴影层的优化：优化步骤2绘制的阴影层，使管线减淡光泽平面上的阴影以及产生虚拟物体向非平面物体投阴影效果。
(6)图层的线性混合：通过线性算子，将反射层遮罩、优化后的反射层、阴影层以及直接绘制得到的前景层合成最终图像。
进一步地，所述步骤1中，通过训练好的光照预测网络进行环境光照估计，光照预测网络结构由MobileNetV2的前17层和三层全连接层(FC4096,ReLU)->(FC2048,ReLU)->(FC9,Linear)构成，输入为图像，输出为球谐系数。
进一步地，所述步骤3中，通过训练好的表面粗糙度网络进行表面粗糙度估计，表面粗糙度网络采用U-Nets结构，输入为图像，中间层输出作为表征平面材质的隐空间特征，最后一层输出为反射层遮罩。
进一步地，所述步骤4中，通过训练好的反射网络进行反射层优化，所述反射网络采用U-Nets结构，输入包括拼接的不同预定义表面的反射层减去对应预定义表面的阴影层，以及步骤2中得到的隐空间特征f，反射网络输出为优化后的反射层R。
进一步地，所述表面粗糙度网络与反射网络共同训练，训练分成两个步骤：
步骤一：将表面粗糙度网络输出隐空间特征的前半部分和反射网络一起训练。训练时反射层遮罩置为全1，阴影层用真值替代，损失函数为最终结果图像和真值训练图像的L1损失。
步骤二:冻结表面粗糙度网络的前半部分，单独训练输出反射层遮罩的后半部分，损失函数为输出反射层遮罩和参考反射层遮罩的L1损失。
进一步地，所述步骤5中，通过训练好的阴影网络进行阴影层优化，所述阴影网络采用U-Nets结构，输入为步骤3中绘制的阴影层分子部分与分母部分的商和训练图像的拼接，输出为优化后阴影层S。
进一步地，所述光照预测网络、阴影网络在单独训练后联合共同训练后的表面粗糙度网络和反射网络进行正式训练，训练时将最终结果和真值图像做L1损失联合优化。
进一步地，所述光照预测网络、阴影网络、表面粗糙度网络和反射网络的训练数据由多张合成图像组成。所述合成图像通过生成具有随机几何形状，材质，照明和相机位置的场景，然后渲染场景生成。具体如下：
几何形状：随机场景包括一个无限大平面和放置在其上的若干个三维对象。将最接近相机的一个对象选作前景对象，对应于AR渲染中的虚拟对象；所有其他对象和平面形成背景，与真实场景照片相对应。
材质：对于所有对象，我们将GGX BRDF与含菲涅耳项的漫射表面BRDF结合使用，并且仅随机化粗糙度。场景中的无限大平面反射率在0.3-0.5范围中均匀采样。同时在无限大平面上放置0到3个随机矩形薄片，每个片具有与无限大平面本身不同的随机材质。
光照：使用高动态环境图，将图像投影到3阶球谐基函数得到球谐环境图，通过结合1-3个所述球谐环境图照亮每个场景，其中，每个球谐环境图应用独立的随机旋转和亮度伸缩。
相机位置：相机从空间中的随机点以零侧倾角看向原点。
渲染：采用基于物理的路径跟踪渲染器绘制生成场景图像。第一次仅包含背景，第二次包含前景对象以及预定义材质平面的各个图层，最后一次包含背景、前景对象以及某一种随机材质的平面，其中随机材质可以不是前面任何一种预置材质。
进一步地，所述步骤2包括如下步骤：
(3.1)前景层的生成：将前景层表示为环境光系数和场景无关系数的点积，用离线渲染器对每个虚拟对象模型逐顶点预计算场景无关系数并将系数与顶点绑定得到逐顶点系数模型。然后在实时绘制过程中，用步骤1中估计的环境光系数混合模型顶点颜色，用实时光栅化管线绘制前景层。
(3.2)反射层的生成：预设光泽表面、镜面两种平面材质，通过镜像步骤3.1中得到的逐顶点系数模型，用固定光栅化管线实时绘制虚拟物体的镜像以及采样光泽表面BRDF的方法，获得镜面反射层和光泽表面反射层。
(3.3)阴影层的生成：预设光泽表面、镜面、漫射表面三种平面材质，其中光泽表面和镜面的阴影层通过采样对应表面的BRDF和遮挡关系的方法获得；漫射表面阴影层通过离线渲染器预计算阴影贴图，在实时光栅化管线中混合并绘制贴有阴影贴图的矩形得到。
进一步地，所述步骤6具体为：经反射网络优化的反射层和反射层遮罩逐像素乘积得到反射，由真实场景图像和1减优化后的阴影层的逐像素乘积得到被阴影遮罩的背景，被阴影遮罩的背景和前景层根据前景的透明度混合得到中间结果，该中间结果和反射逐像素求和得到最终输出。
本发明的有益效果是，本发明首次提出了将带有复杂反射和阴影效果的虚拟物体绘制到真实照片中的实时方法，借助一个经训练学习得到的神经网络恢复场景的环境光照，利用实时绘制管线和光照信息绘制虚拟物体前景、阴影以及反射层作为参考，再借助另外三个经训练学习得到的神经网络提取隐空间特征、调优阴影层和反射层，最终与前景层、场景图片一起合成逼真的结果图像。本发明能将虚拟对象的阴影和反射投到真实物体上，并可按照真实物体的材质表现出适合的外观。本发明达到当前最先进的增强现实绘制技术，且可实时交互。本发明可用于增强现实平台，提升虚拟对象的绘制质量和真实感。
附图说明
图1是应用本发明的方法在第一个场景中合成虚拟物体各阶段生成结果图；
图2是应用本发明的方法在第二个场景中合成虚拟物体各阶段生成结果图；
图3是应用本发明的方法在第三个场景中合成虚拟物体各阶段生成结果图；
图4是应用本发明的方法在第四个场景中合成虚拟物体各阶段生成结果图；
图中，A为输入场景图像、B为被优化后的阴影层遮罩的背景图、C为前景和阴影遮罩背景混合的中间结果图、D为加上反射后的最终合成结果图。
具体实施方式
本发明的核心技术利用PRT(Precomputed Radiance Transfer)技术和多个神经网络模型，绕开了复杂的场景材质和几何建模，将待合成虚拟对象拆分成前景、阴影、反射三类图层，使用并训练相应优化网络优化图层，合成真实背景下的逼真图像。该方法主要分为如下五个主要步骤：环境光照和表面粗糙度估计、虚拟对象以及平面的绘制、反射层的优化、阴影层的优化、最终结果合成。其中环境光照估计、表面粗糙度估计、反射层的优化和阴影层的优化均可通过构建网络模型实现，为了进一步提高网络模型的精度，可将上述4个网络模型单独训练后再联合正式训练。
下面结合附图1-4详细说明本发明的各个步骤。图1-4是应用本发明的方法对四个场景图片添加虚拟对象的各阶段生成结果。从左到右依次为，输入场景图像、被优化后的阴影层遮罩的背景、前景和阴影遮罩背景混合的中间结果、加上反射后的最终合成结果。
具体地，先获取训练集：
通过生成具有随机几何形状，材质，照明和相机位置的训练场景，然后渲染它们以生成训练图像。其中：
几何形状。我们的随机场景包括一个无限大平面(如地面)和放置在其上的2到4个随机生成的对象。对象可以是任意的三维网格模型，也可以由平均分布随机变量系数调幅的5阶球谐函数表示。本实施例中，每个对象由平均分布随机变量系数调幅的5阶球谐函数表示，我们将取值钳位为非负值，并表示为球坐标高度图。确切表述为：
Figure BDA0002480567330000051
其中U表示均匀分布，xl,m表示球谐系数，l,m分别表示基函数的阶数和序数，长度单位为毫米。计算场景中每个物体的包围盒(bounding box)判定并剔除包围盒重叠的物体，生成场景中的所有对象之后，将最接近摄影机的一个对象选作前景对象，该对象对应于AR渲染中的虚拟对象。所有其他对象和平面形成背景，与真实场景照片相对应。
材质。对于所有对象，我们将GGX BRDF(Bruce Walter,Stephen Marschner,Hongsong Li,and Kenneth Torrance.2007.Microfacet Models for Refractionthrough Rough Surfaces.Eurographics Symposium on Rendering,195–206.)与含菲涅耳项的漫射表面BRDF结合使用，并且仅随机化粗糙度。材质的BRDF表述为：
f(ωi,ωo)＝Fr(ωi,ωo)GGX(ωi,ωo)+(1-Fr(ωi,ωo))D(ωi,ωo)
其中Fr(ωi,ωo)是菲涅耳反射方程，GGX(ωi,ωo)是上述GGX BRDF，D(ωi,ωo)是漫射表面BRDF，ωi是入射立体角，ωo是出射立体角。所有表面都使用程序生成的木材纹理(Antovsky.2018.Procedural solid wood.Retrieved January 15,2020from https://www.shadertoy.com/view/XtyyDh/.)，我们对其进行了修改以加大变形，并用随机的饱和颜色替代了原始的木头颜色。场景中的地板反射率在0.3-0.5范围中均匀采样。此外，为了模拟材质在空间上的差异，我们在地板上放置0到3个随机矩形薄片，每个片具有与地板本身不同的随机材料。无限大平面的纹理可以是任意图像，也可以是程序生成的过程式纹理(如木材、大理石等)。
光照。使用Gardner等人的高动态环境图数据集(Marc-AndréGardner,KalyanSunkavalli,Ersin Yumer,Xiaohui Shen,Emiliano Gambaretto,Christian Gagné,andJean-
Figure BDA0002480567330000062
Lalonde.2017.Learning to Predict Indoor Illumination from aSingle Image.ACM Trans.Graph.36,6,Article Article 176(Nov.2017),14pages.)。并将高动态环境图投影到3阶球谐基函数，与我们的光照预测网络的输出匹配。通过结合1到3个这样的球谐环境图来照亮每个训练场景，每个球谐环境图应用独立的随机旋转和亮度伸缩。其中，2-3个球谐环境图照亮的训练场景中，按照随机数混合得到环境光球谐系数真值
Figure BDA0002480567330000061
相机位置。相机从空间中的随机点以零侧倾角(roll)看向原点。假定场景平面为z＝0,正方向朝上，则相机位置在(-50,50×(-1300,-1100×(600,700的立方体中均匀采样，相机视角在(46°,48°)内进行均匀采样。
定义三类图层，分别是前景层、反射层(包括两种预定义平面：光泽表面、镜面)和阴影层(包括三种预定义平面：漫射表面、光泽表面、镜面)。
1.前景层
将前景层记作F。用路径追踪(path tracing)算法的路径表达式(pathexpression)定义如下：光路相机-虚拟对象-光源(环境光)所呈的像。F可以表示为：
F(x)＝∫LB(x,ω)HF(x,ω)V(x,ω)dω
其中LB是背景辐射率，HF是虚拟对象的BRDF，V是光线可见性，x表示屏幕坐标对应的场景空间位置。利用PRT，我们将LB用球谐函数表示的环境光近似。在实际操作中，我们简化了V，只考虑了无穷大平面对环境光的遮挡。进一步，我们将近似后的
Figure BDA0002480567330000071
写作：
Figure BDA0002480567330000072
其中
Figure BDA0002480567330000073
是估计的环境光球谐系数，Yl,m(x,ω)是球谐基函数。
2.反射层
分别将光泽表面和镜面的反射层记作Rglossy和Rspec。可以用路径表达式表示为：光路相机-平面-虚拟对象-光源(环境光)产生的像。同1中所述，Rn可近似为
Figure BDA0002480567330000074
n∈{glossy,spec}表示为：
Figure BDA0002480567330000075
其中LF是虚拟对象辐射率，Hn表示不同预置平面材质BRDF，n∈{glossy,spec}，SF表示是否和虚拟对象相交，若相交则为1，否则为0，TF表示转移函数。
3.阴影层
记光泽表面阴影层为Sglossy，镜面阴影层为Sspec，漫射表面阴影层分子部分Sdiff,n，分母部分Sdiff,d。由于光泽表面阴影和镜面阴影的外观更接近反射层，而与漫射表面阴影有很大区别，我们分类讨论两种情况。
3.1光泽表面阴影层和镜面阴影层
我们用路径表达式将光泽表面阴影层Sglossy和镜面阴影层Sspec定义为，相机-平面-虚拟对象，记录由于虚拟对象遮挡光源(环境光)而减少的辐射亮度。如1中方法，Sn的近似
Figure BDA0002480567330000076
n∈{glossy,spec}表示如下：
Figure BDA0002480567330000077
3.2漫射表面阴影层
我们用路径表达式将漫射表面阴影层分子部分Sdiff,n定义为，放置虚拟对象时，光路为相机-平面-虚拟对象，记录由于虚拟对象遮挡光源(环境光)而减少的辐射亮度；漫射表面阴影层分母部分Sdiff,d定义为，场景中仅有平面时，由相机-平面-光源(环境光)光路，产生的像。如1中方法，Sdiff,n和Sdiff,d的近似
Figure BDA0002480567330000081
Figure BDA0002480567330000082
表示如下：
Figure BDA0002480567330000083
Figure BDA0002480567330000084
其中Hdiff表示漫射表面BRDF。在将虚拟物体放入漫射材质平面场景时，我们将被虚拟物体投上阴影的场景图像
Figure BDA0002480567330000085
表示为：
Figure BDA0002480567330000086
其中B为无虚拟物体的背景图像。我们将漫射表面阴影层表示成比值形式的好处是：能够在任意反射率和纹理的漫射平面产生合理的阴影遮罩效果。
绘制。构建一个基于物理的路径追踪渲染器(英特尔Embree框架)，以绘制生成场景及上述各图层。其中，每个场景做三次渲染，第一次仅包含背景(训练背景图像Bt)，第二次包含前景对象以及预定义材质平面的各个图层，最后一次包含背景、前景对象以及某一种随机材质的地面(结果图像)，随机材质可以不是前面任何一种预置材质。对于每个场景，在给定球谐系数表示的真值光照下，采用路径追踪渲染器生成对应的前景层
Figure BDA0002480567330000087
同时根据平面材质真值生成对应的反射层
Figure BDA0002480567330000088
阴影层
Figure BDA0002480567330000089
作为训练真值。由30000张训练图像及对应真值组成训练集。
构建并训练网络模型
1.训练光照预测网络
本发明采用PRT(Peter-Pike Sloan,Jan Kautz,and JohnSnyder.2002.Precomputed Radiance Transfer for Real-Time Rendering in Dynamic,Low-Frequency Lighting Environments.ACM Trans.Graph.21,3(July 2002),527–536.)方法，将环境光(environment lighting)用三阶球谐函数近似表示为
Figure BDA00024805673300000810
ω为立体角，Yl,m表示球谐基函数,l,m分别表示球谐基函数的阶数和序数，其中球谐系数
Figure BDA0002480567330000091
用神经网络预测，称该网络为光照预测网络。
网络结构。网络输入训练背景图像Bt，输出该场景对应的环境光球谐系数
Figure BDA0002480567330000092
将网络记作
Figure BDA0002480567330000093
其中ωL为网络权值。我们参考算法(Chloe LeGendre,Wan-ChunMa,Graham Fyffe,John Flynn,Laurent Charbonnel,Jay Busch,and PaulDebevec.2019.DeepLight:Learning Illumination for Unconstrained Mobile MixedReality.In ACM SIGGRAPH 2019Talks(SIGGRAPH 2019).Association for ComputingMachinery,New York,NY,USA,Article Article 46,2pages.)中提取图像特征向量的编码器阶段，采用MobileNetV2(Sandler,M.,Howard,A.,Zhu,M.,Zhmoginov,A.,&Chen,L.C.(2018).Mobilenetv2:Inverted residuals and linear bottlenecks.In Proceedingsof the IEEE conference on computer vision and pattern recognition(pp.4510-4520))的前17层，加上三层全连接进行球谐系数回归，(FC4096,ReLU)->(FC2048,ReLU)->(FC9,Linear)，FC表示输出节点数量。
训练方式。训练分成两个步骤。预训练：单独训练光照预测网络，定义网络输出球谐系数和环境光球谐系数真值的L2损失，并优化该损失。正式训练：整个管线对于网络权重是可微分的，因此能够端对端训练，我们将最终结果图像和真值结果图像做L1损失，和其他三个网络一起联合优化。
2.训练表面粗糙度网络
网络结构。网络输入训练背景图像Bt,输出反射层遮罩M和隐空间特征f。将网络记作：
Figure BDA0002480567330000094
其中，ωm为网络权值。网络结构模仿U-Nets(Olaf Ronneberger,PhilippFischer,and Thomas Brox.2015.U-Net:Convolutional Networks for BiomedicalImage Segmentation.In Medical Image Computing and Computer-AssistedIntervention–MICCAI 2015,Nassir Navab,Joachim Hornegger,William M.Wells,andAlejandro F.Frangi(Eds.).Springer International Publishing,Cham,234–241.),为带跳接的编码解码结构。网络结构可表示1:(C64,K5,S1,ReLU),2:(C128,K3,S2,ReLU),3:(C192,K3,S2,ReLU),4:(C256,K3,S2,ReLU),5:(RC192,K3,R2,ReLU),6:输入为上一层输出和层3输出的拼接(RC128,K3,R2,ReLU),7:输入为上一层输出和层2输出的拼接(RC64,K3,R2,ReLU),8:输入为上一层输出和层1输出的拼接(C1,K3,S1,Linear)，输出反射层遮罩M。其中C表示卷积层，RC表示缩放卷积层，K表示卷积核的长度和宽度，R表示图像放缩尺度，S表示步长(stride)。我们将网络第4层输出，作为隐空间特征f。
训练方式。训练分成三个步骤。预训练步骤一：将表面粗糙度网络输出隐空间特征的前半部分和反射网络一起训练。训练时通过线性算子，将反射层遮罩、优化后的反射层、阴影层以及直接绘制得到的前景层，合成最终图像，其中反射层遮罩置为全1，阴影层用真值替代，损失函数为最终结果图像和真值结果图像的L1损失。预训练步骤二:冻结表面粗糙度网络的前半部分，单独训练输出反射层遮罩的后半部分，损失函数为输出反射层遮罩和参考反射层遮罩的L1损失。其中，参考反射层遮罩采用1减去GGX材质的粗糙度近似。正式训练：将最终结果图像和真值结果图像做L1损失，和其他三个网络一起联合优化。
进一步地，获取训练反射网络和阴影网络的训练数据：对训练图像采用下述方法绘制虚拟对象以及平面：假定场景中存在平面，虚拟物体放置在平面上。绘制三类图层，分别是前景层、阴影层(包括三种预定义平面：漫射表面、光泽表面、镜面)，反射层(包括两种预定义平面：光泽表面、镜面)。三类图层的定义和训练集中所述图层定义完全一致，故不再赘述，而着重描述图层的实时绘制方法。
3.1前景层的生成
参考训练集中的定义，将前景层
Figure BDA0002480567330000101
表示为：
Figure BDA0002480567330000102
其中只有
Figure BDA0002480567330000103
与背景相关，其余项可以预计算。我们采用了英特尔Embree框架(Ingo Wald,Sven Woop,Carsten Benthin,Gregory Johnson,and ManfredErnst.2014.Embree-A Ray Tracing Kernel Framework for Effcient CPU RayTracing.ACM Transactions on Graphics 33.)的离线渲染器，通过采样，对于每个虚拟对象模型，逐顶点计算预计算项并将系数与顶点绑定。在实时绘制过程中，我们采用了OpenGL的固定光栅化管线实时计算顶点亮度和绘制前景层。
3.2反射层的生成
参考训练集中的定义，将反射层
Figure BDA0002480567330000104
n∈{glossy,spec}表示为：
Figure BDA0002480567330000105
实时绘制时，我们先将虚拟物体沿平面镜像，然后仿照3.1中方法用OpenGL的固定光栅化管线实时绘制虚拟物体的镜像，作为镜面材质反射层Rspec；然后将虚拟物体镜像投影到一个与相机朝向和虚拟物体所在平面垂直的平板上(即物体平板)，通过一个OpenGL着色器按GGX材质采样平面，绘制平板对于平面的反射，近似光泽材质反射层Rglossy。着色器的伪代码如下：
计算光泽(glossy)材质反射层输入：平面表达式，物体平板表达式，平面材质，镜面材质反射层，逐像素采样数
对于屏幕上的每个像素
相机光线←光线投射(ray casting)输入：当前像素位置
平面交点←射线平面求交输入：相机光线，平面表达式
像素亮度置为零
重复逐像素采样数次
反射光线，BRDF值，采样点概率密度←随机采样GGX材质BRDF输入：相机光线，平面交点，平面材质
物体平板交点←射线平面求交输入：反射光线，物体平板表达式纹理坐标←投影到屏幕坐标输入：物体平板交点
辐射亮度←获取纹理输入：镜面反射层，纹理坐标
像素亮度累加辐射亮度和BRDF值的积与采样点概率密度的商
像素亮度等于像素亮度和逐像素采样数的商
3.3阴影层的生成
3.3.1光泽表面阴影层和镜面阴影层
参考训练集中的定义，将阴影层
Figure BDA0002480567330000111
n∈{glossy,spec}表示为：
Figure BDA0002480567330000112
类似3.2，我们先通过一个OpenGL着色器绘制镜面阴影层Sspec,然后将阴影层投影到一个与相机朝向和虚拟物体所在平面垂直的平板上，通过相同的方法，采样绘制平板对于平面的反射，近似光泽表面阴影层Sglossy。实际操作中，我们合并了光泽表面和镜面的反射层和阴影层绘制管线。
3.3.2漫射表面阴影层
参考训练集中的定义，将阴影层
Figure BDA0002480567330000113
和
Figure BDA0002480567330000114
表示为：
Figure BDA0002480567330000115
Figure BDA0002480567330000121
分子部分,除
Figure BDA0002480567330000122
与背景相关，其余项可以预计算。我们以虚拟对象为中心，在平面上设置了一块足够大的矩形纹理，利用英特尔Embree框架离线渲染器，对于纹理的每个像素，采样计算系数。在实时绘制过程中，我们采用了OpenGL的固定光栅化管线实时绘制贴了上述纹理的矩形图元。分母部分可以利用解析表达式(Ravi Ramamoorthi and PatHanrahan.2001.An efficient representation for irradiance environment maps.InProceedings of the 28th annual conference on Computer graphics andinteractive techniques(SIGGRAPH’01).Association for Computing Machinery,NewYork,NY,USA,497–500.)快速计算。
3.训练反射网络
由训练图像的
Figure BDA0002480567330000123
f、前景
Figure BDA0002480567330000124
及阴影层、结果图像真值构成训练数据对。
网络结构。网络有两个输入，分别是3.2中绘制的反射层
Figure BDA0002480567330000125
减去3.3中绘制的阴影层
Figure BDA0002480567330000126
(光泽表面和镜面两种预定义平面)并拼接，以及2.2中输出的隐空间特征f，网络输出优化后的反射层R。将网络记作
Figure BDA0002480567330000127
其中ωr为网络的权值。网络结构仿造U-Nets,为带跳接的编码解码结构。网络结构可表示为1:(C64,K3,S2,ReLU),2:(C128,K3,S2,ReLU),3:(C256,K3,S2,ReLU),4:输入为上一层输出和隐空间特征的拼接(C512,K3,S2,ReLU),5:(RC256,K3,R2,ReLU),6:输入为上一层输出和层3输出的拼接(RC128,K3,R2,ReLU),7:输入为上一层输出和层2输出的拼接(RC64,K3,R2,ReLU),8:输入为上一层输出和层1输出的拼接(RC32,K3,R2,ReLU),9:(C3,K3,S1,Linear)。其中C表示卷积层，RC表示缩放卷积层，K表示卷积核的长度和宽度，R表示图像放缩尺度，S表示步长(stride)，ReLU、Linear为激活函数。
训练方式。训练分成两个步骤。预训练：如2.1所述，反射网络将和表面粗糙度网络输出隐空间特征的前半部分一起预训练。正式训练：将最终结果图像和真值结果图像做L1损失，和其他三个网络一起联合优化。
4.训练阴影网络
由训练图像的
Figure BDA0002480567330000131
背景Bt、前景
Figure BDA0002480567330000132
及反射层、反射层遮罩、环境光球谐系数、结果图像真值构成训练数据对。
网络结构。3.3中绘制的阴影层
Figure BDA0002480567330000133
与
Figure BDA0002480567330000134
的商和训练背景图像B拼接后作为网络的输入，网络输出优化后阴影层S。其中，不对阴影层的分子部分求和，而是分开成单独的通道，通过送入多通道能产生更好的泛化能力。网络记作:
Figure BDA0002480567330000135
其中ωs为网络的权值。网络结构仿造U-Nets，为带跳接的编码解码结构。网络结构可表示为1:(C64,K3,S2,ReLU),2:(C128,K3,S2,ReLU),3:(C256,K3,S2,ReLU),4:(C512,K3,S2,ReLU),5:(RC256,K3,R2,ReLU),6:输入为上一层输出和层3输出的拼接(RC128,K3,R2,ReLU),7:输入为上一层输出和层2输出的拼接(RC64,K3,R2,ReLU)，8:输入为上一层输出和层1输出的拼接(RC32,K3,R2,ReLU),9:(C3,K3,S1,Linear)。其中C表示卷积层，RC表示缩放卷积层，K表示卷积核的长度和宽度，R表示图像放缩尺度，S表示步长(stride)。
训练方式。训练分成两个步骤。预训练：单独训练阴影网络，损失函数为最终结果图像和真值结果图像的L1损失，训练时反射层和反射层遮罩以及输入环境光球谐系数都用真值替换以使网络关注合成阴影部分。正式训练：将最终结果和真值结果图像做L1损失，和其他三个网络一起联合优化。
如前，将所述光照预测网络、阴影网络在单独训练后联合共同训练后的表面粗糙度网络和反射网络一起正式训练，训练时将最终结果和真值结果图像做L1损失联合优化，得到最终训练好的光照预测网络、表面粗糙度网络、反射网络和阴影网络。
5.利用上述训练完成的网络和3中所述的实时绘制管线用于实时图像合成。用训练得到的光照预测网络估计真实场景图像的环境光；如步骤3中所述，用该估计绘制虚拟对象及真实场景图像中的平面得到前景、反射、阴影图层；再利用训练得到的表面粗糙度网络提取隐空间特征和反射层遮罩，将隐空间特征和反射层送入训练得到的反射网络进行优化；用训练得到的阴影网络优化阴影层；最后，用一个固定线性算子，将所有中间结果合成最终图像。具体如下：
5.1生成环境光估计
将真实场景图像B作为光照预测网络的输入，得到场景环境光球谐系数的估计
Figure BDA0002480567330000136
5.2用环境光估计
Figure BDA0002480567330000137
结合3中所述方法针对真实场景图像B绘制前景层、反射层(Rglossy、Rspec)、阴影层(Sglossy、Sspec、Sdiff,n和Sdiff,d)。
5.3从真实场景图像B中生成反射层遮罩和隐空间特征：
将真实场景图像B作为光照预测表面粗糙度网络的输入，得到反射层遮罩和隐空间特征。
5.4用反射网络生成优化后的反射层
将绘制的反射层Rglossy、Rspec减去绘制的阴影层Sglossy、Sspec(光泽表面和镜面两种预定义平面)并拼接，作为反射网络前三层的输入，第三层输出的特征图和表面粗糙度网络输出的隐空间特征拼接，送入网络剩余部分。网络输出优化后的反射层R。
5.5用阴影网络生成优化后的阴影层
将绘制的阴影层(漫射表面)分子项Sdiff,乘以环境光球谐系数
Figure BDA0002480567330000141
并除以分母项Sdiff,后与真实场景图像B拼接，得到网络的输入。将输入送入阴影网络得到优化后的阴影层S。
5.6线性混合
本发明的最终结果表示为被阴影遮罩的背景、反射、前景层的线性组合，其中反射由经反射网络优化的反射层和反射层遮罩逐像素乘积得到，被阴影遮罩的背景和前景层根据前景透明度混合得到中间结果，该结果和反射逐像素求和得到最终输出。具体表示如下：
Figure BDA0002480567330000142
Figure BDA0002480567330000143
其中F表示前景层，A表示前景透明度，S表示优化后的阴影层，R表示优化后的反射层，M表示表面粗糙度网络输出的反射层遮罩，
Figure BDA0002480567330000144
表示逐像素乘积。
实施实例
发明人在一台配备Intel Core i7-7700HQ中央处理器，NVidia GTX 1050Ti笔记本图形处理器的笔记本电脑上实现了本发明的实施实例。发明人采用了所有在具体实施方式中列出的参数值，得到了附图4中所示的所有实验结果。本发明可以有效且自然地将互联网中的人物肖像根据驱动人物生成肖像动画。本发明可以使用户自然流畅地与现实场景图片中的虚拟对象进行互动，包括移动和旋转。对于一张1280*720图像，表面粗糙度网络和光照预测网络仅需要运行一次，耗时28毫秒。每个单帧处理流程大概需要40毫秒：实时图形绘制管线耗时12毫秒；运行反射网络和阴影网络耗时23毫秒；剩下时间主要用于CPU及GPU之间数据传输；另外光照预测网络、表面粗糙度网络的前半部分和反射网络、表面粗糙度网络的后半部分、阴影网络在单张NVidia GTX 1080Ti图形处理器上预训练需要时间分别为：18小时、14小时、10小时、18小时，联合优化需要6小时。所有网络都仅需要训练一次，便可用于任何含有平面的真实场景图像。

Claims (10)

1.一种基于神经网络的增强现实绘制方法，其特征在于，包括以下步骤：
(1)环境光照估计：从图像中估计场景的环境光照。
(2)虚拟对象以及平面的绘制：假定场景中存在平面，虚拟物体放置在平面上。绘制三类图层，分别是前景层、阴影层和反射层。所述前景层、阴影层和反射层分别用路径追踪(path tracing)算法的路径表达式(path expression)定义如下：
所述前景层表示为：光路相机-虚拟对象-光源(环境光)所呈的像。
所述反射层包括两种预定义表面：光泽表面和镜面，表示为：光路相机-平面-虚拟对象-光源(环境光)所呈的像。
所述阴影层包括三种预定义表面：漫射表面、光泽表面、镜面，其中光泽表面阴影层和镜面阴影层表示为：相机-平面-虚拟对象，记录因虚拟对象遮挡光源(环境光)减少的辐射亮度。
所述漫射表面阴影层表示为分子部分和分母部分的商与真实场景图像的乘积，其中，分子部分表示为：相机-平面-虚拟对象，记录因虚拟对象遮挡光源(环境光)减少的辐射亮度；分母部分表示为：虚拟对象不在场景中时，光路相机-平面-光源(环境光)，产生的像。
(3)表面粗糙度估计：从图像中编码得到表征平面材质的隐空间特征同时生成反射层遮罩以剔除漫射表面等无光泽材质上的反射。
(4)反射层的优化：基于步骤3得到的隐空间特征，使步骤2得到的反射层的亮度和模糊程度与平面材质相适配。
(5)阴影层的优化：优化步骤2绘制的阴影层，使管线减淡光泽平面上的阴影以及产生虚拟物体向非平面物体投阴影效果。
(6)图层的线性混合：通过线性算子，将反射层遮罩、优化后的反射层、阴影层以及直接绘制得到的前景层合成最终图像。
2.根据权利要求1所述的基于神经网络的增强现实绘制方法，其特征在于，所述步骤1中，通过训练好的光照预测网络进行环境光照估计，光照预测网络结构由MobileNetV2的前17层和三层全连接层(FC4096,ReLU)->(FC2048,ReLU)->(FC9,Linear)构成，输入为图像，输出为球谐系数，FC表示输出节点数量。
3.根据权利要求2所述的基于神经网络的增强现实绘制方法，其特征在于，所述步骤3中，通过训练好的表面粗糙度网络进行表面粗糙度估计，表面粗糙度网络采用U-Nets结构，输入为图像，中间层输出作为表征平面材质的隐空间特征f，最后一层输出为反射层遮罩。
4.根据权利要求3所述的基于神经网络的增强现实绘制方法，其特征在于，所述步骤4中，通过训练好的反射网络进行反射层优化，所述反射网络采用U-Nets结构，输入包括拼接的不同预定义表面的反射层减去对应预定义表面的阴影层，以及步骤2中得到的隐空间特征f，反射网络输出为优化后的反射层R。
5.根据权利要求4所述的基于神经网络的增强现实绘制方法，其特征在于，所述表面粗糙度网络与反射网络共同训练，训练分成两个步骤：
步骤一：将表面粗糙度网络输出隐空间特征的前半部分和反射网络一起训练。训练时反射层遮罩置为全1，阴影层用真值替代，损失函数为最终结果图像和真值训练图像的L1损失。
步骤二:冻结表面粗糙度网络的前半部分，单独训练输出反射层遮罩的后半部分，损失函数为输出反射层遮罩和参考反射层遮罩的L1损失。
6.根据权利要求5所述基于神经网络的增强现实绘制方法，其特征在于，所述步骤5中，通过训练好的阴影网络进行阴影层优化，所述阴影网络采用U-Nets结构，输入为步骤3中绘制的阴影层分子部分与分母部分的商和训练图像的拼接，输出为优化后阴影层S。
7.根据权利要求6所述基于神经网络的增强现实绘制方法，其特征在于，所述光照预测网络、阴影网络在单独训练后联合共同训练后的表面粗糙度网络和反射网络进行正式训练，训练时将最终结果和真值图像做L1损失联合优化。
8.根据权利要求7所述的基于神经网络的增强现实绘制方法，其特征在于，所述光照预测网络、阴影网络、表面粗糙度网络和反射网络的训练数据由多张合成图像组成。所述合成图像通过生成具有随机几何形状，材质，照明和相机位置的场景，然后渲染场景生成。具体如下：
几何形状：随机场景包括一个无限大平面和放置在其上的若干个三维对象。将最接近相机的一个对象选作前景对象，对应于AR渲染中的虚拟对象；所有其他对象和平面形成背景，与真实场景照片相对应。
材质：对于所有对象，我们将GGX BRDF与含菲涅耳项的漫射表面BRDF结合使用，并且仅随机化粗糙度。场景中的无限大平面反射率在0.3-0.5范围中均匀采样。同时在无限大平面上放置0到3个随机矩形薄片，每个片具有与无限大平面本身不同的随机材质。
光照：使用高动态环境图，将图像投影到3阶球谐基函数得到球谐环境图，通过结合1-3个所述球谐环境图照亮每个场景，其中，每个球谐环境图应用独立的随机旋转和亮度伸缩。
相机位置：相机从空间中的随机点以零侧倾角(roll)看向原点。
渲染：采用基于物理的路径跟踪渲染器绘制生成场景图像。第一次仅包含背景，第二次包含前景对象以及预定义材质平面的各个图层，最后一次包含背景、前景对象以及某一种随机材质的平面，其中随机材质可以不是前面任何一种预置材质。
9.根据权利要求1所述的基于神经网络的增强现实绘制方法，其特征在于，所述步骤2包括如下步骤：
(3.1)前景层的生成：将前景层表示为环境光系数和场景无关系数的点积，用离线渲染器对每个虚拟对象模型逐顶点预计算场景无关系数并将系数与顶点绑定得到逐顶点系数模型。然后在实时绘制过程中，用步骤1中估计的环境光系数混合模型顶点颜色，用实时光栅化管线绘制前景层。
(3.2)反射层的生成：预设光泽表面、镜面两种平面材质，通过镜像步骤3.1中得到的逐顶点系数模型，用固定光栅化管线实时绘制虚拟物体的镜像以及采样光泽表面BRDF的方法，获得镜面反射层和光泽表面反射层。
(3.3)阴影层的生成：预设光泽表面、镜面、漫射表面三种平面材质，其中光泽表面和镜面的阴影层通过采样对应表面的BRDF和遮挡关系的方法获得；漫射表面阴影层通过离线渲染器预计算阴影贴图，在实时光栅化管线中混合并绘制贴有阴影贴图的矩形得到。
10.根据权利要求1所述的基于神经网络的增强现实绘制方法，其特征在于，所述步骤6具体为：经反射网络优化的反射层和反射层遮罩逐像素乘积得到反射，由真实场景图像和1减优化后的阴影层的逐像素乘积得到被阴影遮罩的背景，被阴影遮罩的背景和前景层根据前景的透明度混合得到中间结果，该中间结果和反射逐像素求和得到最终输出。
CN202010377561.9A 2020-05-07 2020-05-07 一种基于神经网络的增强现实绘制方法 Active CN111652963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010377561.9A CN111652963B (zh) 2020-05-07 2020-05-07 一种基于神经网络的增强现实绘制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010377561.9A CN111652963B (zh) 2020-05-07 2020-05-07 一种基于神经网络的增强现实绘制方法

Publications (2)

Publication Number Publication Date
CN111652963A true CN111652963A (zh) 2020-09-11
CN111652963B CN111652963B (zh) 2023-05-02

Family

ID=72347921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010377561.9A Active CN111652963B (zh) 2020-05-07 2020-05-07 一种基于神经网络的增强现实绘制方法

Country Status (1)

Country Link
CN (1) CN111652963B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700528A (zh) * 2020-12-21 2021-04-23 南京理工大学 一种用于头戴增强现实设备的虚拟物体阴影渲染方法
CN113052189A (zh) * 2021-03-30 2021-06-29 电子科技大学 一种基于改进的MobileNetV3特征提取网络
CN113052970A (zh) * 2021-04-09 2021-06-29 杭州群核信息技术有限公司 一种基于神经网络的灯光光强颜色的设计方法、装置、系统及存储介质
CN113421199A (zh) * 2021-06-23 2021-09-21 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113570696A (zh) * 2021-09-23 2021-10-29 深圳易帆互动科技有限公司 动态模型的镜像图像处理方法、装置及可读存储介质
WO2022100419A1 (zh) * 2020-11-10 2022-05-19 华为技术有限公司 一种图像处理方法及相关设备
CN114549431A (zh) * 2022-01-29 2022-05-27 北京师范大学 从单幅图像估计物体表面材质反射属性的方法
WO2022222077A1 (zh) * 2021-04-21 2022-10-27 浙江大学 基于反射分解的室内场景虚拟漫游方法
CN115442235A (zh) * 2021-06-02 2022-12-06 中国移动通信集团设计院有限公司 可视化网络优化方法、装置、设备和系统
CN116483359A (zh) * 2023-04-25 2023-07-25 成都赛力斯科技有限公司 一种新拟态绘制方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096941A (zh) * 2011-01-30 2011-06-15 北京航空航天大学 虚实融合环境下的光照一致性方法
US20170323481A1 (en) * 2015-07-17 2017-11-09 Bao Tran Systems and methods for computer assisted operation
US20180225861A1 (en) * 2017-02-07 2018-08-09 Siemens Healthcare Gmbh Point cloud proxy for physically-based volume rendering
US20190019335A1 (en) * 2017-07-12 2019-01-17 NextEv USA, Inc. Camera Pose Estimation Method for Augmented Reality Manual For Cars
CN109523617A (zh) * 2018-10-15 2019-03-26 中山大学 一种基于单目摄像机的光照估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096941A (zh) * 2011-01-30 2011-06-15 北京航空航天大学 虚实融合环境下的光照一致性方法
US20170323481A1 (en) * 2015-07-17 2017-11-09 Bao Tran Systems and methods for computer assisted operation
US20180225861A1 (en) * 2017-02-07 2018-08-09 Siemens Healthcare Gmbh Point cloud proxy for physically-based volume rendering
US20190019335A1 (en) * 2017-07-12 2019-01-17 NextEv USA, Inc. Camera Pose Estimation Method for Augmented Reality Manual For Cars
CN109523617A (zh) * 2018-10-15 2019-03-26 中山大学 一种基于单目摄像机的光照估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘万奎;刘越;: "用于增强现实的光照估计研究综述" *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022100419A1 (zh) * 2020-11-10 2022-05-19 华为技术有限公司 一种图像处理方法及相关设备
CN112700528A (zh) * 2020-12-21 2021-04-23 南京理工大学 一种用于头戴增强现实设备的虚拟物体阴影渲染方法
CN112700528B (zh) * 2020-12-21 2022-08-12 南京理工大学 一种用于头戴增强现实设备的虚拟物体阴影渲染方法
CN113052189B (zh) * 2021-03-30 2022-04-29 电子科技大学 一种基于改进的MobileNetV3特征提取网络
CN113052189A (zh) * 2021-03-30 2021-06-29 电子科技大学 一种基于改进的MobileNetV3特征提取网络
CN113052970B (zh) * 2021-04-09 2023-10-13 杭州群核信息技术有限公司 一种灯光光强颜色的设计方法、装置、系统及存储介质
CN113052970A (zh) * 2021-04-09 2021-06-29 杭州群核信息技术有限公司 一种基于神经网络的灯光光强颜色的设计方法、装置、系统及存储介质
WO2022222077A1 (zh) * 2021-04-21 2022-10-27 浙江大学 基于反射分解的室内场景虚拟漫游方法
CN115442235A (zh) * 2021-06-02 2022-12-06 中国移动通信集团设计院有限公司 可视化网络优化方法、装置、设备和系统
CN113421199A (zh) * 2021-06-23 2021-09-21 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113421199B (zh) * 2021-06-23 2024-03-12 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113570696A (zh) * 2021-09-23 2021-10-29 深圳易帆互动科技有限公司 动态模型的镜像图像处理方法、装置及可读存储介质
CN114549431A (zh) * 2022-01-29 2022-05-27 北京师范大学 从单幅图像估计物体表面材质反射属性的方法
CN114549431B (zh) * 2022-01-29 2024-07-26 北京师范大学 从单幅图像估计物体表面材质反射属性的方法
CN116483359A (zh) * 2023-04-25 2023-07-25 成都赛力斯科技有限公司 一种新拟态绘制方法、装置、电子设备及可读存储介质
CN116483359B (zh) * 2023-04-25 2024-03-12 重庆赛力斯凤凰智创科技有限公司 一种新拟态绘制方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111652963B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN111652963B (zh) 一种基于神经网络的增强现实绘制方法
Dutre et al. Advanced global illumination
Müller et al. Acquisition, synthesis, and rendering of bidirectional texture functions
Chen et al. Light field mapping: Efficient representation and hardware rendering of surface light fields
Alexa et al. Point-based computer graphics
Alhakamy et al. Real-time illumination and visual coherence for photorealistic augmented/mixed reality
Iwasaki et al. Precomputed radiance transfer for dynamic scenes taking into account light interreflection
WO2021223133A1 (zh) 一种基于神经网络的增强现实绘制方法
Boivin et al. Inverse rendering from a single image
Iwasaki et al. Efficient rendering of optical effects within water using graphics hardware
Weyrich et al. Rendering deformable surface reflectance fields
Soh et al. Texture mapping of 3D human face for virtual reality environments
Magda et al. Reconstruction of Volumetric Surface Textures for Real-Time Rendering.
Schwandt High-Quality Illumination of Virtual Objects Based on an Environment Estimation in Mixed Reality Applications
da Silva et al. Ray-VR: Ray tracing virtual reality in falcor
Debevec Image-based techniques for digitizing environments and artifacts
GeethaRamani et al. A rendering pipeline framework for photorealistic rendering of animated virtual objects into real scenes
Alhakamy et al. An empirical evaluation of the performance of real-time illumination approaches: realistic scenes in augmented reality
Vyatkin et al. Shadow Generation Method for Volume-Oriented Visualization of Functionally Defined Objects
Wang et al. The Implementation of 3D scene walkthrough in air pollution visualization
Asthana Neural representations for object capture and rendering
Bi Appearance Acquisition for Digital 3D Content Creation
Akleman et al. Compositing with 2D Vector Fields by using Shape Maps that can represent Inconsistent, Impossible, and Incoherent Shapes
Fober Radiance Textures for Rasterizing Ray-Traced Data
Schwandt et al. Fundamentals & State of the Art

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant