CN116468844A - 一种人脸神经辐射场的光照编辑方法及系统 - Google Patents

一种人脸神经辐射场的光照编辑方法及系统 Download PDF

Info

Publication number
CN116468844A
CN116468844A CN202310234462.9A CN202310234462A CN116468844A CN 116468844 A CN116468844 A CN 116468844A CN 202310234462 A CN202310234462 A CN 202310234462A CN 116468844 A CN116468844 A CN 116468844A
Authority
CN
China
Prior art keywords
shadow
light
illumination
image
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310234462.9A
Other languages
English (en)
Inventor
高林
蒋楷文
陈姝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202310234462.9A priority Critical patent/CN116468844A/zh
Publication of CN116468844A publication Critical patent/CN116468844A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种生成式人脸神经辐射场的光照编辑方法和系统，包括：服从高斯分布随机采样得到的隐变量z和给定球谐光照系数l；基于隐变量z合成三平面搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征并解码，得到密度σ和颜色c；利用光照系数l，通过合成模块得到光影三平面，搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征，通过光影解码器得到光影s；通过密度σ，结合颜色c，通过体渲染得到二维人脸图像的反照率；反照率c与该光影s相乘通过体渲染，得到人脸编辑图像。本发明设计的系统能实现用户对于三维人脸的光照进行解耦控制。减少分解人脸图像为反照率和光影图像的歧义性。

Description

一种人脸神经辐射场的光照编辑方法及系统
技术领域
本发明涉及涉及计算机图形学和计算机视觉技术领域，尤其涉及对三维人脸模型的光影控制的方法。
背景技术
基于神经辐射场和神经对抗生成网络的三维内容生成方法(称为3D GAN)在高质量人脸生成任务上取得了显著的进展(例如：EG3D，GRAM，StyleSDF等)。应用这些生成方法于辅助业余爱好者设计三维真实人物是尚未探索的，但也是充满潜力的。而现有的方法(例如：IDE-3D，3DFaceShop，NeRFFaceEditing)在基于这些三维内容生成方法上实现的高效、语义以及解耦的控制还是比较局限的，特别是对于光照的解耦真实控制还是无法实现的。事实上，对于人脸光照条件的解耦控制是不可或缺的，艺术家可能会利用光影来隐性的传达情感和思想，而化妆师也会利用光照来对人脸进行美化。
在3D GAN的基础上，一类光影控制方法是通过编辑GAN的隐变量实现的。现有光影可控制的参数化人脸模型的解耦方法是通过每个人有多个光影条件下图像的数据集监督实现的，因此它对于光影的控制效果受限于它的数据集中光照条件的分布，而实际上它利用的现有数据集仅包含非常少的人物以及光照条件，所以效果上比较局限。现有技术尝试将现有的基于面片模型的参数化人脸模型先验知识融入到3D GAN中，实现对于表情、光照等的解耦控制。但是解耦不彻底，对于整张脸光照控制时会扰动几何。若通过无监督学习在GAN的隐空间中找到语义编辑的方向，但是找到的该类编辑方向没有对应可量化的属性数值，因此难以将语义属性调整到期望的状态。
而另一类光影控制方法，是将人脸图像分解为反照率和光影两个部分，在控制反照率不变的情况下，只改变光影部分即可实现不扰动几何的光影控制。但是这类方法的挑战在于没有现有的大规模包含每张图像的反照率和光影真值的数据集。虽然可利用光影模型显式建模光影效果来解决这个问题，但是它的光影条件只能是某个方向光，而且因为光影模型并不真实，所以效果局限。若利用现有对于二维生成模型(称为2D GAN)光影控制的方法来生成同一个人不同光影条件、不同视角的伪真值，然后利用光照模型求解一个三维反向渲染的问题，得到特定人的反照率和光影两个部分，从而实现重光照，但是光影条件仍然局限于某个指定的方向光。若使用现有的图像域上重光照的方法来为大规模数据集制造反照率和光影的伪真值，从而监督训练，但仍然无法处理一些具有挑战性的光影效果，例如眼镜投到脸上的光影。
发明内容
本发明的目的是解决上述现有技术的生成质量低、光影效果不真实、解耦不彻底，即光影条件改变扰动几何的问题，提出了一种基于三平面表示的，对于三维人脸可解耦控制光影的方法及系统。本发明方法利用球谐光照描述光影条件，可以通过给定球谐光照系数，改变合成出来的三维人脸光照条件。
具体来说，本发明提出一种生成式人脸神经辐射场的光照编辑方法，其特征在于，包括：
步骤1、服从高斯分布随机采样得到的隐变量z和给定球谐光照系数l；
步骤2、基于该隐变量z合成三平面搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征并解码，得到密度σ和颜色c；利用该光照系数l，通过合成模块得到光影三平面，搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征，通过光影解码器得到光影s；
步骤3、通过密度σ，结合颜色c，通过体渲染得到二维人脸图像的反照率；该反照率c与该光影s相乘并通过体渲染，得到该光照系数l下的人脸编辑图像。
所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤2包括：合成光影三平面；该步骤3包括：将该反照率c与该光影s两者相乘后通过超分辨率模块进行超采样。
所述的人脸神经辐射场的光照编辑方法，其特征在于，还包括用于训练的步骤4，将该人脸编辑图像送入以光照条件系数l为条件的判别器中判别真伪，以对该超分辨率模块、该合成模块、该解码器进行训练；
约束项的训练过程：
采样隐变量w，并通过高层混合得到混合后的隐变量对光影条件l，并加入一定的扰动得到光影条件/>
给定隐变量w和光影条件l，生成得到三平面p和光影三平面，通过体渲染得到光影图像S、人脸图像I和反照率A；
给定隐变量w和光影条件生成得到三平面和光影三平面，通过体渲染得到人脸图像/>
给定隐变量和光影条件l，生成得到光影三平面，与三平面p一起，通过体渲染得到人脸图像/>
通过L1度量约束和I相同，并通过LPIPS度量约束A与/>相似，以训练所有模块。
所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤2包括：
在得到三平面后，通过分解成三个部分，组成体空间的三个坐标平面，最终形成一个体空间/>其中每个点的特征由向各个坐标平面分别投影得到对应的特征再相加的方式得到。
给定相机参数根据旋转和平移量构建体空间V中从相机位置发射出去的光线，在每条光线上采点并得到对应的特征。
将每个点的特征送入基于人脸神经辐射场的解码器得到密度σ和颜色c。
所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤2包括：
在得到光影三平面后，通过分解成三个部分，组成体空间的三个坐标平面，最终形成一个体空间/>其中每个点的特征由向各个坐标平面分别投影得到对应的特征再相加的方式得到；
在给定了相机参数的情况下，根据旋转和平移量构建体空间/>中从相机位置发射出去的光线，在每条光线上采点并得到对应的特征；
将每个点的特征送入光影解码器得到光影s。
所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤3包括：
在密度σ和颜色c基础上，通过离散化的体渲染得到每条光线上渲染得到的最终的颜色，最终得到渲染出来的反照率；
得到的密度σ和光影s基础上，通过离散化的体渲染得到每条光线上渲染得到的最终的光影，最终得到渲染出来的光影图像；
在密度σ和颜色c×光影s基础上，通过离散化的体渲染得到每条光线上渲染得到的最终的颜色，最终得到渲染出来的该人脸编辑图像。
所述的人脸神经辐射场的光照编辑方法，其特征在于，还包括：输入真实二维人脸图像，通过卷积网络组成的编码器得到该真实二维人脸图像的隐变量；从该真实二维人脸图像中提取光影条件，从而在给定该真实二维人脸图像隐变量和光影条件的基础上，对该超分辨率模块、该合成模块和解码器进行微调，以使得该人脸编辑图像与该真实二维人脸图像一致；给定想要的相机视角和光影条件，渲染得到真实人脸在相应视角和光照条件下的人脸编辑图像。
本发明还提出了一种生成式人脸神经辐射场的光照编辑系统，其特征在于，包括：
初始模块，用于以高斯分布随机采样得到的隐变量z和给定球谐光照系数l；
特征采样模块，用于基于该隐变量z合成三平面搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征并解码，得到密度σ和颜色c；利用该光照系数l，通过合成模块得到光影三平面，搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征，通过光影解码器得到光影s；
渲染模块，用于通过密度σ，结合颜色c，通过体渲染得到二维人脸图像的反照率；该反照率c与该光影s相乘并通过体渲染，得到该光照系数l下的人脸编辑图像。
本发明还提出了一种存储介质，用于存储执行所述任意一种生成式人脸神经辐射场的光照编辑方法的程序。
本发明还提出了一种客户端，用于所述的生成式人脸神经辐射场的光照编辑系统。
由以上方案可知，本发明的优点在于：
本发明设计的系统能够实现用户对于三维人脸的光照进行解耦控制。
系统流程图如图1所示，该系统设计三平面以及光影三平面生成，人脸图像、反照率和光影图像生成等多项技术。
如图2所示，展示了本发明为了减少分解人脸图像为反照率和光影图像歧义性，减少建模材质信息在光影中，增强模型泛化性和稳定性的训练策略。
如图3所示，展示了本系统对于不同的三维人脸，可以在几何保持不变的情况下，根据给定的光影条件，合成出三维一致的人脸图像。
如图4所示，展示了本系统训练策略中减少分解人脸图像为反照率和光影图像歧义性以及减少建模材质信息在光影中的训练策略的有效性。可以看到，给定同样的隐变量，不采用减少歧义性的训练策略，会使Pseudo-Albedo 1中残留大量光影，致使最终合成出的人脸图像光影效果准确性低；而不采用减少建模材质信息在光影中的训练策略，会使Pseudo-Albedo2中的头发掉色，与最终的人脸图像中的头发颜色不符。
如图5所示，展示了本系统训练策略中增强泛化性和稳定性的训练策略的有效性。可以看到，在同样的未见过的光影条件下，不采用本策略的模型合成出来的人脸面部有明显的黑色阴影(第一例中)，并且与最近的数据集中出现的光影条件效果有明显不同(第二例中)。
附图说明
图1为本发明流程图；
图2为本发明的训练策略图；
图3为本发明的三维人脸光影控制效果图；
图4为本发明的生成模型各个设计部分有效性的展示；
图5为本发明的生成模型各个设计部分有效性的展示。
具体实施方式
现有技术由于没有使用更高效和更高质量的光影解耦表示，以及没有使用恰当的正则项约束反照率Albedo和光影，导致对三维人脸模型的光影控制效果不够自然。
发明人经过对于更高效和更高质量的三维表示，也就是三平面，以及基于StyleGAN结构的生成模型的研究发现，解决该项缺陷可以通过在合成原本的三平面之外，额外添加合成光影三平面的路径，以及光影解码器。在通过原本的三平面得到颜色之后，利用从光影三平面采样的特征经过光影解码器预测光影，再作用到颜色上。因此，直接利用颜色进行体渲染得到的图像为反照率，而再作用了光影之后进行体渲染得到的是有光影效果的人脸图像。此外，为了确保得到准确的光影效果，以及合理的反照率和光影，发明人利用生成模型，高层混合隐变量生成几何大致相同，材质和光影不同的样本来互相提供监督，以去除反照率中残留的光影，并利用基于图像的渲染方法来约束材质信息不建模到光影当中。最后，发明人通过扰动给定的光照条件，来让某光照条件下生成的样本为近邻光照条件生成结果提供监督，增强模型对于数据集中未见过的光照条件的泛化能力以及稳定性。
为了实现上述技术效果，本发明包括如下关键技术点：
关键点1，光影三平面生成模块；
首先构建额外的将球谐光照系数转为光影隐变量的映射网络，并在原本的StyleGAN生成路径之外，添加合成模块，每个合成模块接收二维特征，通过AdaIN的方式融入光影隐变量的信息，最终输出光影三平面。光影三平面为本领域技术名词，光影代表其功能属性，三平面是指一种三维空间表示方法。
关键点2，反照率和光影图像合成模块；
在原有的3D GAN中密度和颜色合成之外，构建光影解码器，根据相机参数和散出光线，采样光影三平面，得到光影值。根据给定的相机参数，向体空间内散出光线，在每条光线上采点投影到光影三平面上双线性插值采样得到特征，送入光影解码器得到光影值。根据光线上每个点的密度和颜色，通过体渲染得到的人脸图像定义为反照率。而根据光线上每个点的密度，将光影值和颜色相乘得到最终的颜色，再通过体渲染得到的人脸图像定义为包含光影效果的人脸图像。根据光线上每个点的密度和光影值，再通过体渲染得到的人脸图像定义为光影图像。
关键点3，减少分解人脸图像为反照率和光影图像的歧义性；
在训练过程中，随机采样隐变量，并借助高层隐变量混合得到几何大致相同，但材质残留光影不同的隐变量。通过要求隐变量对应的光影三平面作用到隐变量的三平面上的效果与隐变量对应的光影三平面效果相同，显式的约束了光影三平面对应于残留光影平均的反照率，再借助条件判别器，隐式的约束反照率中的残留光影达到均值状态。假定采样充分且全面，则反照率中的残留光影应被消除。
关键点4，减少材质信息建模在光影表示中；
为了防止材质信息被建模到光影当中，生成出来的包含光影效果的人脸图像通过基于图像的渲染方法，借由光影图像，得到粗略的反照率，与生成的反照率之间构建感知损失函数，促进材质信息的保留。
关键点5，增强对于处于分布边缘以及未见过的光照条件的泛化性以及稳定性；
为了增强模型对于各种光影条件的泛化性以及对于生成出来的光影效果的稳定性，在上述关键点4时，对生成的包含光影效果的人脸图像的输入光影条件进行扰动，并保持生成的光影图像和反照率的光影条件不变，从而实现约束光照条件近邻的人脸图像相似的目的。
关键点6，对于真实人脸图像反投影的编码器设计
为了实现对于真实人脸图像的三维建模以及重光照，我们提出了一个基于编码器，通过约束反照率与真实图像的相似性，以及反照率与人脸区域翻转的反照率的相似性，实现对于与真实图像相似，但又尽量不残留光影在反照率上的起始隐变量预测。之后，通过已有方法预测真实人脸图像的光照条件为已知条件，通过约束生成人脸图像与真实图像的相似度，反照率与真实图像的相似度，反照率与人脸区域翻转的反照率的相似度以及对于重要人脸局部区域(例如：眼睛)的建模准确性，实现对于生成器权重的微调，最终得到可重光照的真实人脸的三维模型。
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
本申请基于生成式的神经辐射场模型。输入隐变量z(噪声)和球谐光照系数l(光影条件)，得到给定光影条件下的三维人脸模型，并在给定相机参数下，得到对应视角渲染得到的结果。对图片的编辑是一个应用，是将二维图像投影到本生成模型的隐空间，得到三维模型。在给定光照条件和相机参数后，就可以得到对应视角的结果。
如图1所示，一种通过球谐光照系数指定光照条件的高质量三维人脸光照解耦控制的方法，包括：
S1：服从高斯分布随机采样得到的隐变量z和给定球谐光照系数l；
隐变量z的随机采样即为服从正态高斯分布的采样；而球谐光照系数l用于描述光照条件，在实际运用中它是用户指定的，在训练中，是从训练使用的人脸数据集中对每张人脸图像提取球谐光照系数，然后随机选取。
S2：利用输入的隐变量z通过基于预训练的映射网络得到隐变量w，然后送至基于预训练的生成器，通过一系列卷积网络合成三平面；三平面是一种神经辐射场的表示方法，利用三个正交的平面来代表整个体空间，具体而言，体空间中的一个点由其在三个平面上的三个投影点代表；
S3：利用输入的光照系数l，通过额外的映射网络得到光影隐变量，送入一系列卷积网络组成的合成模块得到光影三平面；
S4：给定三平面，搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征，通过基于预训练的解码器得到密度σ和颜色c；
S5：给定光影三平面，搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征，通过光影解码器得到光影s；
S6：通过上述模块得到的密度σ，结合颜色c，通过体渲染得到生成出来的二维人脸图像的反照率；结合光影s，通过体渲染得到生成出来的光影图像；结合c×s，通过体渲染得到生成出来的二维人脸图像；
S7：通过超分辨率模块，将低分辨率的反照率和人脸图像两者均超采样为高分辨率图像；具体的方法可为将输入的低分辨率二维图像特征，通过卷积网络，最终输出高分辨率的二维图像。
S8：将低分辨率的人脸图像和超采样后的高分辨率的人脸图像送入以光照条件系数为条件的判别器中(输入的光照条件即为l)判别真伪，对所有模块进行训练。
其中，S4所示的方法包括：
S41：在得到三平面后，通过分解成三个部分，组成体空间的三个坐标平面，最终形成一个体空间/>其中每个点的特征由向各个坐标平面分别投影得到对应的特征再相加的方式得到。
S42：在给定了相机参数的情况下，根据旋转和平移量构建体空间V中从相机位置发射出去的光线，在每条光线上采点并得到对应的特征。
S43：将每个点的特征送入原有解码器得到密度σ和颜色c。
其中，S5所示的方法包括：
S51：在得到光影三平面后，通过分解成三个部分，组成体空间的三个坐标平面，最终形成一个体空间/>其中每个点的特征由向各个坐标平面分别投影得到对应的特征再相加的方式得到。
S52：在给定了相机参数的情况下，根据旋转和平移量构建体空间/>中从相机位置发射出去的光线，在每条光线上采点并得到对应的特征。
S53：将每个点的特征送入光影解码器得到光影s。
其中，S6所示的方法包括：
S61：在S4得到的密度σ和颜色c基础上，通过离散化的体渲染得到每条光线上渲染得到的最终的颜色，最终得到渲染出来的反照率。
S62：在S4得到的密度σ和S5得到的光影s基础上，通过离散化的体渲染得到每条光线上渲染得到的最终的光影，最终得到渲染出来的光影图像。
S63：在S4得到的密度σ和S4、S5得到的颜色c×光影s基础上，通过离散化的体渲染得到每条光线上渲染得到的最终的颜色，最终得到渲染出来的人脸图像。
如图2所示，我们还通过训练策略来减少分解人脸图像为反照率和光影图像歧义性，减少建模材质信息在光影中，增强模型泛化性和稳定性，包括：
S1：采样高斯噪声z，并通过基于预训练的映射网络得到隐变量w，并通过对隐变量w高层混合得到混合后的隐变量采样光影条件l，并加入一定的扰动得到光影条件/>
S2：给定隐变量w和光影条件l，生成得到三平面p和光影三平面，通过体渲染得到光影图像S、人脸图像I和反照率A。
S3：给定隐变量w和光影条件生成得到三平面和光影三平面，通过体渲染得到人脸图像/>
S4：给定隐变量和光影条件l，生成得到光影三平面，与S2得到的三平面p一起，通过体渲染得到人脸图像/>
S5：通过L1度量约束和I相同，并通过LPIPS度量约束A与/>相似。
本发明还训练了一个编码器，输入二维人脸图像，输出预测的隐变量和权重微调后的生成器，包括：
S1：训练隐变量预测模块，输入二维人脸图像，输出预测的隐变量，送入生成器，得到反照率、光影图像和生成人脸图像；通过LPIPS度量反照率和输入人脸图像的相似性，通过人脸识别网络约束反照率和输入人脸图像的身份一致性，通过LPIPS约束反照率和人脸区域翻转的反照率相似性；
S2：在隐变量预测模块训练完成后，根据输出的预测的隐变量，送入生成器，得到反照率、光影图像和生成人脸图像；通过已有的光影系数预测模块预测并微调输入二维人脸图像的球谐光照系数。通过L1度量和LPIPS度量约束生成的人脸图像与输入的人脸图像相似，通过LPIPS度量反照率与输入的人脸图像相似性，通过LPIPS度量约束反照率和人脸区域翻转的反照率相似性，通过LPIPS度量强化人脸特定区域(例如：眼睛)的重建准确性来微调生成器权重。
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种生成式人脸神经辐射场的光照编辑系统，其特征在于，包括：
初始模块，用于以高斯分布随机采样得到的隐变量z和给定球谐光照系数l；
特征采样模块，用于基于该隐变量z合成三平面搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征并解码，得到密度σ和颜色c；利用该光照系数l，通过合成模块得到光影三平面，搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征，通过光影解码器得到光影s；
渲染模块，用于通过密度σ，结合颜色c，通过体渲染得到二维人脸图像的反照率；该反照率c与该光影s相乘并通过体渲染，得到该光照系数l下的人脸编辑图像。
本发明还提出了一种存储介质，用于存储执行所述任意一种生成式人脸神经辐射场的光照编辑方法的程序。
本发明还提出了一种客户端，用于所述的生成式人脸神经辐射场的光照编辑系统。

Claims (10)

1.一种生成式人脸神经辐射场的光照编辑方法，其特征在于，包括：
步骤1、服从高斯分布随机采样得到的隐变量z和给定球谐光照系数l；
步骤2、基于该隐变量z合成三平面搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征并解码，得到密度σ和颜色c；利用该光照系数l，通过合成模块得到光影三平面，搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征，通过光影解码器得到光影s；
步骤3、通过密度σ，结合颜色c，通过体渲染得到二维人脸图像的反照率；该反照率c与该光影s相乘并通过体渲染，得到该光照系数l下的人脸编辑图像。
2.如权利要求1所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤2包括：合成光影三平面；该步骤3包括：将该反照率c与该光影s两者相乘后通过超分辨率模块进行超采样。
3.如权利要求2所述的人脸神经辐射场的光照编辑方法，其特征在于，还包括用于训练的步骤4，将该人脸编辑图像送入以光照条件系数l为条件的判别器中判别真伪，以对该超分辨率模块、该合成模块、该解码器进行训练；
约束项的训练过程：
采样隐变量w，并通过高层混合得到混合后的隐变量对光影条件l，并加入一定的扰动得到光影条件/>
给定隐变量w和光影条件l，生成得到三平面p和光影三平面，通过体渲染得到光影图像S、人脸图像I和反照率A；
给定隐变量w和光影条件生成得到三平面和光影三平面，通过体渲染得到人脸图像/>
给定隐变量和光影条件l，生成得到光影三平面，与三平面p一起，通过体渲染得到人脸图像/>
通过L1度量约束和I相同，并通过LPIPS度量约束A与/>相似，以训练所有模块。
4.如权利要求1所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤2包括：
在得到三平面后，通过分解成三个部分，组成体空间的三个坐标平面，最终形成一个体空间/>其中每个点的特征由向各个坐标平面分别投影得到对应的特征再相加的方式得到。
给定相机参数根据旋转和平移量构建体空间V中从相机位置发射出去的光线，在每条光线上采点并得到对应的特征。
将每个点的特征送入基于人脸神经辐射场的解码器得到密度σ和颜色c。
5.如权利要求1所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤2包括：
在得到光影三平面后，通过分解成三个部分，组成体空间的三个坐标平面，最终形成一个体空间/>其中每个点的特征由向各个坐标平面分别投影得到对应的特征再相加的方式得到；
在给定了相机参数的情况下，根据旋转和平移量构建体空间/>中从相机位置发射出去的光线，在每条光线上采点并得到对应的特征；
将每个点的特征送入光影解码器得到光影s。
6.如权利要求1所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤3包括：
在密度σ和颜色c基础上，通过离散化的体渲染得到每条光线上渲染得到的最终的颜色，最终得到渲染出来的反照率；
得到的密度σ和光影s基础上，通过离散化的体渲染得到每条光线上渲染得到的最终的光影，最终得到渲染出来的光影图像；
在密度σ和颜色c×光影s基础上，通过离散化的体渲染得到每条光线上渲染得到的最终的颜色，最终得到渲染出来的该人脸编辑图像。
7.如权利要求2所述的人脸神经辐射场的光照编辑方法，其特征在于，还包括：输入真实二维人脸图像，通过卷积网络组成的编码器得到该真实二维人脸图像的隐变量；从该真实二维人脸图像中提取光影条件，从而在给定该真实二维人脸图像隐变量和光影条件的基础上，对该超分辨率模块、该合成模块和解码器进行微调，以使得该人脸编辑图像与该真实二维人脸图像一致；给定想要的相机视角和光影条件，渲染得到真实人脸在相应视角和光照条件下的人脸编辑图像。
8.一种生成式人脸神经辐射场的光照编辑系统，其特征在于，包括：
初始模块，用于以高斯分布随机采样得到的隐变量z和给定球谐光照系数l；
特征采样模块，用于基于该隐变量z合成三平面搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征并解码，得到密度σ和颜色c；利用该光照系数l，通过合成模块得到光影三平面，搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征，通过光影解码器得到光影s；
渲染模块，用于通过密度σ，结合颜色c，通过体渲染得到二维人脸图像的反照率；该反照率c与该光影s相乘并通过体渲染，得到该光照系数l下的人脸编辑图像。
9.一种存储介质，用于存储执行如权利要求1到7所述任意一种生成式人脸神经辐射场的光照编辑方法的程序。
10.一种客户端，用于权利要求8所述的生成式人脸神经辐射场的光照编辑系统。
CN202310234462.9A 2023-03-13 2023-03-13 一种人脸神经辐射场的光照编辑方法及系统 Pending CN116468844A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310234462.9A CN116468844A (zh) 2023-03-13 2023-03-13 一种人脸神经辐射场的光照编辑方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310234462.9A CN116468844A (zh) 2023-03-13 2023-03-13 一种人脸神经辐射场的光照编辑方法及系统

Publications (1)

Publication Number Publication Date
CN116468844A true CN116468844A (zh) 2023-07-21

Family

ID=87181424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310234462.9A Pending CN116468844A (zh) 2023-03-13 2023-03-13 一种人脸神经辐射场的光照编辑方法及系统

Country Status (1)

Country Link
CN (1) CN116468844A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152335A (zh) * 2023-10-26 2023-12-01 北京渲光科技有限公司 一种体渲染的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152335A (zh) * 2023-10-26 2023-12-01 北京渲光科技有限公司 一种体渲染的方法及装置
CN117152335B (zh) * 2023-10-26 2023-12-22 北京渲光科技有限公司 一种用于训练体渲染模型、体渲染的方法及装置

Similar Documents

Publication Publication Date Title
US7124066B2 (en) Facial image processing methods and systems
US7129949B2 (en) Methods and systems for animating facial features, and methods and systems for expression transformation
CN112950775A (zh) 一种基于自监督学习的三维人脸模型重建方法及系统
CN114746904A (zh) 三维人脸重建
Chakraborty et al. Ten years of generative adversarial nets (GANs): a survey of the state-of-the-art
US20220245910A1 (en) Mixture of volumetric primitives for efficient neural rendering
Yin Content aware neural style transfer
US20220207790A1 (en) Image generation method and apparatus, and computer
CN116416376A (zh) 一种三维头发的重建方法、系统、电子设备及存储介质
CN116468844A (zh) 一种人脸神经辐射场的光照编辑方法及系统
DE102021109050A1 (de) Durch ein neuronales generative adversarial netzwerk unterstützte videokompression und -übertragung
CN115719413A (zh) 基于神经辐射场解耦的三维人脸编辑方法及系统
Hani et al. Continuous object representation networks: Novel view synthesis without target view supervision
Sun et al. Recent advances in implicit representation-based 3d shape generation
Jung et al. Learning free-form deformation for 3D face reconstruction from in-the-wild images
Kushwaha et al. An overview: super-image resolution using generative adversarial network for image enhancement
Mittal Neural radiance fields: Past, present, and future
Slossberg et al. Unsupervised high-fidelity facial texture generation and reconstruction
Tan et al. Semantic probability distribution modeling for diverse semantic image synthesis
CN117333604A (zh) 一种基于语义感知神经辐射场的人物面部重演方法
DE102023117605A1 (de) Mehrdimensionale Bildbearbeitung aus einem Eingabebild
Khirodkar et al. Sapiens: Foundation for Human Vision Models
CN117392314B (zh) 一种基于神经辐射场优化的gan的三维图像生成方法
Tancik Object and Scene Reconstruction Using Neural Radiance Fields
Phon-Amnuaisuk Image Synthesis and Style Transfer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination