CN115049558A - 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质 - Google Patents
模型训练、人脸图像处理方法及装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN115049558A CN115049558A CN202210747577.3A CN202210747577A CN115049558A CN 115049558 A CN115049558 A CN 115049558A CN 202210747577 A CN202210747577 A CN 202210747577A CN 115049558 A CN115049558 A CN 115049558A
- Authority
- CN
- China
- Prior art keywords
- model
- illumination condition
- face image
- target illumination
- under
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 title claims abstract description 21
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000005286 illumination Methods 0.000 claims abstract description 273
- 238000003672 processing method Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 43
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 abstract description 26
- 230000008569 process Effects 0.000 abstract description 11
- 239000011159 matrix material Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种模型训练方法及装置、人脸图像处理方法及装置、电子设备及可读存储介质,其中一种模型训练方法通过获取人脸图像的合成数据、真实数据及目标光照条件,并基于合成数据先将模型训练至收敛,使得此时的模型学习到了合成数据的分布特点,然后加入真实数据与合成数据轮流对模型进行训练,其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用;由于模型训练过程中考虑了真实数据的分布特点,最终训练好的模型对真实数据的处理能力大大提升,使得训练出的人脸图像重光照模型,能够将目标光照条件更真实地重光照到待处理的人脸图像中,在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
Description
技术领域
本发明涉及深度学习模型技术领域,具体涉及一种模型训练方法及装置、人脸图像处理方法及装置、电子设备及可读存储介质。
背景技术
随着数字图像处理技术的发展,对各种不同图像的处理中,得出图像光照条件的变化在图像成像过程中起着越来越重要的作用。尤其是在人脸图像领域,光照条件是影响人脸图像成像效果的最重要因素,为实现在复杂背景下光照条件的变化,需要在各种场景中对人脸图像进行重光照操作。
人脸图像重光照操作,就是根据光照或外部环境的变化情况,对目标人脸图像进行调整,并生成与指定的目标光照条件相一致的人脸图像。人脸图像重光照操作在人脸识别,基于图像的渲染以及电影后期制作的领域都有着非常广泛的应用。例如,将绿幕场景中的光照改为红幕背景下的光照,实现在摄影棚中制作出其他场景下的自然拍摄片段等。
现有技术中,人脸图像重光照方法依赖于人脸图像重光照模型的训练,由于很难以完全相同的角度去拍摄同一个人在不同场景下的人脸图像,因此,模型训练需要的监督数据获取非常困难,现有技术大多是基于合成数据进行模型训练。合成数据和真实数据的分布往往存在较大差异,因此基于合成数据训练的模型往往在真实数据上测试的效果比较差。
发明内容
为至少在一定程度上克服相关技术中存在的问题,本发明提供一种模型训练方法及装置、人脸图像处理方法及装置、电子设备及可读存储介质,以解决现有技术中基于合成数据训练的人脸图像重光照模型在真实数据上测试效果比较差的问题。
根据本发明实施例的第一方面,提供一种模型训练方法,包括:
获取人脸图像的合成数据、真实数据及目标光照条件;
将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练,直至所述第一网络模型收敛,得到第一模型;
将真实数据与目标光照条件,及,合成数据与目标光照条件轮流输入到所述第一模型中进行训练,直至第一模型收敛,得到人脸图像重光照模型;
所述人脸图像重光照模型用于将指定的目标光照条件重光照到人脸图像中,得到目标光照条件下的人脸图像。
根据本发明实施例的第二方面,提供一种人脸图像处理方法,包括:
获取待处理的人脸图像和目标光照条件,所述目标光照条件包括:HDRI环境贴图或从指定的人脸图像中提取出的光照条件;
将所述人脸图像和目标光照条件输入到人脸图像重光照模型中,以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中,得到目标光照条件下的人脸图像;所述人脸图像重光照模型通过上述的模型训练方法训练得到。
根据本发明实施例的第三方面,提供一种模型训练装置,包括:
获取模块,用于获取人脸图像的合成数据、真实数据及目标光照条件;
第一训练模块,用于将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练,直至所述第一网络模型收敛,得到第一模型;
第二训练模块,用于将真实数据与目标光照条件,及,合成数据与目标光照条件轮流输入到所述第一模型中进行训练,直至第一模型收敛,得到人脸图像重光照模型;
所述人脸图像重光照模型用于将指定的目标光照条件重光照到输入的人脸图像中,得到目标光照条件下的人脸图像。
根据本发明实施例的第四方面,提供一种人脸图像处理装置,包括:
获取模块,用于获取待处理的人脸图像和目标光照条件,所述目标光照条件包括:HDRI环境贴图或从指定的人脸图像中提取出的光照条件;
重光照模块,用于将所述人脸图像和目标光照条件输入到人脸图像重光照模型中,以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中,得到目标光照条件下的人脸图像;所述人脸图像重光照模型通过上述的模型训练方法训练得到。
根据本发明实施例的第五方面,提供一种电子设备,包括:处理器和存储器,其中,
所述存储器中存储有可供处理器调用的计算机程序;
所述处理器通过调用所述存储器中存储的计算机程序,执行上述的方法。
根据本发明实施例的第六方面,提供一种计算机可读存储介质,其上存储有可擦写的计算机程序;
当所述计算机程序在计算机设备上运行时,使得所述计算机设备执行上述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果:
模型训练时通过获取人脸图像的合成数据、真实数据及目标光照条件,并基于合成数据先将模型训练至收敛,使得此时的模型学习到了合成数据的分布特点,然后加入真实数据与合成数据轮流对模型进行训练,其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用;由于模型训练过程中考虑了真实数据的分布特点,最终训练好的模型对真实数据的处理能力大大提升,使得训练出的人脸图像重光照模型,能够将目标光照条件更真实地重光照到待处理的人脸图像中,在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种模型训练方法的流程图;
图2是根据一示例性实施例示出的第一网络模型的结构示意图;
图3是根据一示例性实施例示出的LFM模块的内部信号流向图;
图4是根据一示例性实施例示出的一种人脸图像处理方法的流程图;
图5是根据一示例性实施例示出的一种模型训练装置的示意框图;
图6是根据一示例性实施例示出的一种人脸图像处理装置的示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
如前面背景技术,现有技术是基于合成数据进行人脸图像重光照模型训练。合成数据和真实数据的分布往往存在较大差异,因此基于合成数据训练的模型往往在真实数据上测试的效果比较差。为了解决这一技术问题,本发明提供了以下几个示例性实施例。
可以理解的是,人脸图像在计算机中以数字矩阵的形式存储,以黑白人脸图像为例,这个数字矩阵的大小=人脸图像高度上的像素值数量×宽度上的像素值数量;若是彩色人脸图像,这种数字矩阵有三个,即三通道数字矩阵,分别用来描述RGB(红绿蓝)三色的像素值。因此,本发明各实施例所提及的“真值”就是指未经过模型加工处理的人脸图像的数字矩阵,数字矩阵中存储的是对应人脸图像的像素值。当“真值”输入到本发明提及的任一模型后,得到的任一人脸图像,相对于“真值”来说,都属于“预估值”,例如,下面实施例提及的“及”。
图1是根据一示例性实施例示出的一种模型训练方法的流程图,如图1所示,该方法包括:
步骤S11、获取人脸图像的合成数据、真实数据及目标光照条件;
步骤S12、将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练,直至所述第一网络模型收敛,得到第一模型;
步骤S13、将真实数据与目标光照条件,及,合成数据与目标光照条件轮流输入到所述第一模型中进行训练,直至第一模型收敛,得到人脸图像重光照模型;所述人脸图像重光照模型用于将指定的目标光照条件重光照到人脸图像中,得到目标光照条件下的人脸图像。
需要说明的是,本实施例提供的技术方案,适用于电脑端,和/或,移动终端,适用的场景包括但不限于:
1、执行人脸图像的光照交换任务,例如,将待处理人脸图像A中的光照条件M,替换为参考人脸图像B中的光照条件N;
2、将用户选定的目标光照条件,添加到待处理的人脸图像中,例如,将用户选定的HDRI(High Dynamic Range Imaging,高动态范围成像)环境贴图添加到待处理的人脸图像中。
步骤S11中“获取人脸图像的合成数据、真实数据及目标光照条件”,包括:
获取可公开获取的3D人脸模型(例如,FaceScape就是一个大规模高质量的可公开获取的免费的3D人脸数据集,包括18760张高质量3D人脸模型。在具体实践中,可以从FaceScape上获取3D人脸模型),对每个3D人脸模型,使用不同的高动态范围成像HDRI环境贴图(HDRI环境贴图就是模拟环境的一种贴图方式,其实质就是光照条件图像。网络上存在很多可公开获取的免费的HDRI环境贴图)进行渲染(例如,可以在建模软件Blender中进行渲染),并将渲染后的3D人脸模型转换为2D人脸图像(渲染后可得到每个2D人脸图像的真值Irelit及每个2D人脸图像的反照率贴图的真值Ia、法向贴图的真值In),并将转换后的2D人脸图像保存为合成数据;
将每个合成数据所对应的HDRI环境贴图保存为目标光照条件(目标光照条件的真值It及目标光照条件下阴影的真值Ish和高光的真值Isp也是已知的),每个合成数据与每个合成数据所对应的目标光照条件成对存储在数据库中;
获取可公开获取的2D高清人脸图像(从互联网上获取公开的FFHQ和CelebA-HQ人脸图像数据集),将每个2D高清人脸图像中的人脸区域保存为真实数据(为了排除背景的干扰,使用人脸分割算法对人脸和背景进行分割,只保留人脸区域)。
其中,FFHQ全称Flickr-Faces-Hight-Quality(Flickr-Faces-HQ),中文含义为高清人脸图像数据集,是作为生成对抗网络(GAN)的基准创建的,也用于Style GAN的训练数据集中,于2019年开源。FFHQ是一个高质量的人脸数据集,包含1024x1024分辨率的70000张PNG格式高清人脸图像。
CelebA是CelebFaces Attribute的缩写,中文含义为名人人脸属性数据集,其包含10177个名人身份的202599张人脸图片,每张图片都做好了特征标记,包含人脸bbox标注框、5个人脸特征点坐标以及40个属性标记,CelebA由香港中文大学开放提供。
可以理解的是,由于合成数据是预先知道其真值Irelit的,而真实数据缺乏同一人脸在不同目标光照条件下的真值,所以本实施例提供的技术方案,使用半监督的训练方法进行模型训练,得到人脸图像重光照模型。
步骤S12中“将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练”,包括:
1、基于深度学习框架(包括但不限于:Pytorch深度学习框架、TensorFlow深度学习框架、Keras深度学习框架)构建第一网络模型;在具体实践中,参见图2,第一网络模型包括:去光模型、光影特征模型、图像合成模型。
在具体实践中,去光模型、光影特征模型、图像合成模型皆采用U-net类型的编码-解码结构,它由压缩通道和扩展通道组成。压缩通道是一个编码器,用于逐层提取人脸图像的特征,扩展通道是一个解码器,用于还原人脸图像的位置信息,且每一个隐藏层都有较多的特征维数,这有利于模型学习更加多样、全面的特征。
压缩通道是典型的卷积神经网络结构,它重复采用2个卷积层,其中,第二个卷积层的步长设置为2,使特征图的分辨率减小一倍。在扩展通道,先进行1次反卷积操作,使特征图的分辨率增加一倍,然后拼接对应压缩通道裁剪得到的特征图,再采用1个卷积层进行特征提取,并重复这一结构。在最后的输出层,用1个卷积层将64通道的特征图映射成3通道的输出图。
进一步地,所述光影特征模型及图像合成模型中皆添加了LFM(LFM,Lightingguided Feature Modulation,光照导向特征调制)模块。参见图3,当LFM模块添加到光影特征模型中时,LFM模块的输入为光影特征模型上一层的输出(如图3中大小为h×w×c的矩阵)和输入到光影特征模型的光照条件(如图3中大小为16×32×3的矩阵),它的输出为下一层卷积层的输入。
LFM模块用于从输入的光照条件中提取出用于重光照的光照特征(所述光照特征至少包括:光照方向及光照强度)。在具体实践中,LFM模块的内部信号流向图如图3所示。参见图3,16×32×3大小的光照条件输入到LFM模块后,先被调整为1536*1大小的向量,然后经过全连接层FC1,输出128*1大小的一维光照矩阵;128*1大小的一维光照矩阵分别经过全连接层FC2和全连接层FC3,分别输出c*1大小的特征向量,这两个向量复制扩展成大小为h*w*c的光照特征矩阵:第一光照矩阵γ和第二光照矩阵β;第一光照矩阵γ与输入矩阵进行点乘计算,点乘结果与第二光照矩阵β进行求和计算,最后输出结果送到光影特征模型中进行后续计算。
2、将合成数据Iinput(Iinput为Irelit中的任一个人脸图像数据)输入到所述第一网络模型中,得到合成数据自带的光照条件下的第一人脸图像Irestore,包括:
4、根据第一预设损失函数,计算第一损失函数值,并使用链式法则计算第一网络模型各个层的梯度;根据所述梯度,使用梯度下降算法和反向传播算法更新第一模网络型的网络参数。
在具体实践中,第一预设损失函数包括以下项中的一项或多项的组合,包括:
第一人脸图像Irestore,与,输入到所述去光模型中的合成数据的真值Iinput,两者的内容损失函数Lc(Iinput,Irestore);
上述内容损失函数的定义为:Lc(x,y)=1-SSIM(x,y);
其中,SSIM是指结构相似度,定义如下:
具体地,为了保证第一模型的训练效果,第一预设损失函数可以设置为:
5、判断更新后的第一网络模型是否满足预设第一网络模型收敛条件,若是,判定当前模型收敛,将此时的第一网络模型确定为第一模型;若否,重复执行上述训练步骤,直至满足预设第一模型收敛条件。
在具体实践中,所述预设第一网络模型收敛条件,包括:
第一网络模型的更新迭代次数达到预设次数,且第一损失函数值不再减小,且测试集上测得的结构相似度不再提升;
所述测试集中存储有多张人脸图像及每张人脸图像对应的真值;所述结构相似度是指测试集中的人脸图像输入到第一网络模型后,生成重光照的人脸图像,该重光照的人脸图像的预测值与对应真值的相似度;
所述预测值是指用目标光照条件重光照后的人脸图像的像素值,所述真值是指目标光照条件下原始人脸图像的像素值。
步骤S13中“将真实数据与目标光照条件,及,合成数据与目标光照条件轮流输入到所述第一模型中进行训练”,包括:
1、将真实数据I′input输入到所述第一模型中,得到真实数据自带的光照条件下的第三人脸图像I′restore,包括:
3、将合成数据输入到所述第一模型中,得到合成数据自带的光照条件下的第五人脸图像,包括;
将合成数据输入到所述去光模型,得到反照率贴图、法向贴图和第三预测光照条件;所述第三预测光照条件为合成数据自带的光照条件的预估值;
将所述第三预测光照条件及法向贴图输入到所述光影特征模型,得到第三预测光照条件下的高光贴图和第三预测光照条件下的阴影贴图;
将所述反照率贴图、法向贴图、第三预测光照条件下的高光贴图、第三预测光照条件下的阴影贴图,及第三预测光照条件输入到所述图像合成模型,得到第三预测光照条件下的第五人脸图像。
4、将目标光照条件输入到所述第一模块中,得到目标光照条件下的第六人脸图像,包括:
将目标光照条件及法向贴图输入到所述光影特征模型,得到目标光照条件下的高光贴图和目标光照条件下的阴影贴图;
将所述反照率贴图、法向贴图、目标光照条件下的高光贴图、目标光照条件下的阴影贴图,及目标光照条件输入到所述图像合成模型,得到目标光照条件下的第六人脸图像。
根据第二预设损失函数,计算第二损失函数值,并使用链式法则计算第一模型各个层的梯度;根据所述梯度,使用梯度下降算法和反向传播算法更新第一模型的网络参数(在具体实践中,可以使用Adam优化器对构建好的网络模型的网络参数进行优化,基础学习率(learning rate,lr)设定为0.002,其余参数所选用的深度学习框架的默认参数)。
在具体实践中,第二预设损失函数包括以下项中的一项或多项的组合,包括:
所述第三人脸图像I′restore,与,输入到所述去光模型中的真实数据I′input,两者的内容损失函数Lc(I′input,I′restore);
具体地,为了保证人脸图像重光照模型的训练效果,第二预设损失函数可以设置为:
6、判断更新后的第一模型是否满足预设第一模型收敛条件,若是,判定当前模型收敛,将此时的第一模型确定为人脸图像重光照模型;若否,重复执行上述训练步骤,直至满足预设第一模型收敛条件。
在具体实践中,所述预设第一模型收敛条件,包括:
第一模型的更新迭代次数达到预设次数(在具体实践中,预设次数根据用户需要进行设置,或者,根据实验数据进行设置,或者,根据历史经验值进行设置,例如,设置为200000次),且第二损失函数值不再减小,且测试集上测得的结构相似度不再提升;
所述测试集中存储有多张人脸图像及每张人脸图像对应的真值;所述结构相似度是指测试集中的人脸图像输入到第一模型后,生成重光照的人脸图像,该重光照的人脸图像的预测值与对应真值的相似度;
所述预测值是指用目标光照条件重光照后的人脸图像的像素值;所述真值是指目标光照条件下原始人脸图像的像素值。
可以理解的是,本实施例提供的技术方案,模型训练时通过获取人脸图像的合成数据、真实数据及目标光照条件,并基于合成数据先将模型训练至收敛,使得此时的模型学习到了合成数据的分布特点,然后加入真实数据与合成数据轮流对模型进行训练,其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用;由于模型训练过程中考虑了真实数据的分布特点,最终训练好的模型对真实数据的处理能力大大提升,使得训练出的人脸图像重光照模型,能够将目标光照条件更真实地重光照到待处理的人脸图像中,在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
图4是根据一示例性实施例示出的一种人脸图像处理方法的流程图,如图4所示,该方法包括:
步骤S21、获取待处理的人脸图像和目标光照条件,所述目标光照条件包括:HDRI环境贴图或从指定的人脸图像中提取出的光照条件;
步骤S22、将所述人脸图像和目标光照条件输入到人脸图像重光照模型中,以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中,得到目标光照条件下的人脸图像;所述人脸图像重光照模型通过上述述的模型训练方法训练得到。
需要说明的是,本实施例提供的技术方案,适用于电脑端,和/或,移动终端,适用的场景包括但不限于:
1、执行人脸图像的光照交换任务,例如,将待处理人脸图像A中的光照条件M,替换为参考人脸图像B中的光照条件N;
2、将用户选定的目标光照条件,添加到待处理的人脸图像中,例如,将用户选定的HDRI环境贴图添加到待处理的人脸图像中。
可以理解的是,本实施例提供的技术方案,基于人脸图像重光照模型实现,而人脸图像重光照模型通过获取人脸图像的合成数据、真实数据及目标光照条件,并基于合成数据先将模型训练至收敛,使得此时的模型学习到了合成数据的分布特点,然后加入真实数据与合成数据轮流对模型进行训练,其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用;由于模型训练过程中考虑了真实数据的分布特点,最终训练好的模型对真实数据的处理能力大大提升,使得训练出的人脸图像重光照模型,能够将目标光照条件更真实地重光照到待处理的人脸图像中,在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
图5是根据一示例性实施例示出的一种模型训练装置100的示意框图,如图5所示,该装置100包括:
获取模块101,用于获取人脸图像的合成数据、真实数据及目标光照条件;
第一训练模块102,用于将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练,直至所述第一网络模型收敛,得到第一模型;
第二训练模块103,用于将真实数据与目标光照条件,及,合成数据与目标光照条件轮流输入到所述第一模型中进行训练,直至第一模型收敛,得到人脸图像重光照模型;
所述人脸图像重光照模型用于将指定的目标光照条件重光照到输入的人脸图像中,得到目标光照条件下的人脸图像。
需要说明的是,上述各模块的实现方式及有益效果可参考前述实施例中对应步骤的详细阐述,本实施例不再赘述。
可以理解的是,本实施例提供的技术方案,模型训练时通过获取人脸图像的合成数据、真实数据及目标光照条件,并基于合成数据先将模型训练至收敛,使得此时的模型学习到了合成数据的分布特点,然后加入真实数据与合成数据轮流对模型进行训练,其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用;由于模型训练过程中考虑了真实数据的分布特点,最终训练好的模型对真实数据的处理能力大大提升,使得训练出的人脸图像重光照模型,能够将目标光照条件更真实地重光照到待处理的人脸图像中,在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
图6是根据一示例性实施例示出的一种人脸图像处理装置200的示意框图,如图6所示,该装置200包括:
获取模块201,用于获取待处理的人脸图像和目标光照条件,所述目标光照条件包括:HDRI环境贴图或从指定的人脸图像中提取出的光照条件;
重光照模块202,用于将所述人脸图像和目标光照条件输入到人脸图像重光照模型中,以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中,得到目标光照条件下的人脸图像;所述人脸图像重光照模型通过上述的模型训练方法训练得到。
需要说明的是,上述各模块的实现方式及有益效果可参考前述实施例中对应步骤的详细阐述,本实施例不再赘述。
可以理解的是,本实施例提供的技术方案,基于人脸图像重光照模型实现,而人脸图像重光照模型通过获取人脸图像的合成数据、真实数据及目标光照条件,并基于合成数据先将模型训练至收敛,使得此时的模型学习到了合成数据的分布特点,然后加入真实数据与合成数据轮流对模型进行训练,其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用;由于模型训练过程中考虑了真实数据的分布特点,最终训练好的模型对真实数据的处理能力大大提升,使得训练出的人脸图像重光照模型,能够将目标光照条件更真实地重光照到待处理的人脸图像中,在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
根据一示例性实施例示出的一种电子设备,包括:处理器和存储器,其中,所述存储器中存储有可供处理器调用的计算机程序;
所述处理器通过调用所述存储器中存储的计算机程序,执行上述的方法。
需要说明的是,电子设备包括但不限于:智能终端(例如,手机、平板电脑、智能手表等)和计算机设备。
所述处理器包括但不限于:CPU、单片机、PLC控制器、FPGA控制器等。
所述存储器可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)和/或高速缓存存储器;还可以包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
可以理解的是,本实施例提供的技术方案,通过获取人脸图像的合成数据、真实数据及目标光照条件,并基于合成数据先将模型训练至收敛,使得此时的模型学习到了合成数据的分布特点,然后加入真实数据与合成数据轮流对模型进行训练,其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用;由于模型训练过程中考虑了真实数据的分布特点,最终训练好的模型对真实数据的处理能力大大提升,使得训练出的人脸图像重光照模型,能够将目标光照条件更真实地重光照到待处理的人脸图像中,在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
根据一示例性实施例示出的一种计算机可读存储介质,其上存储有可擦写的计算机程序;
当计算机程序在计算机设备上运行时,使得计算机设备执行上述的方法。
本实施例公开的计算机可读存储介质包括但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以理解的是,本实施例提供的技术方案,通过获取人脸图像的合成数据、真实数据及目标光照条件,并基于合成数据先将模型训练至收敛,使得此时的模型学习到了合成数据的分布特点,然后加入真实数据与合成数据轮流对模型进行训练,其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用;由于模型训练过程中考虑了真实数据的分布特点,最终训练好的模型对真实数据的处理能力大大提升,使得训练出的人脸图像重光照模型,能够将目标光照条件更真实地重光照到待处理的人脸图像中,在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (18)
1.一种模型训练方法,其特征在于,包括:
获取人脸图像的合成数据、真实数据及目标光照条件;
将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练,直至所述第一网络模型收敛,得到第一模型;
将真实数据与目标光照条件,及,合成数据与目标光照条件轮流输入到所述第一模型中进行训练,直至第一模型收敛,得到人脸图像重光照模型;
所述人脸图像重光照模型用于将指定的目标光照条件重光照到人脸图像中,得到目标光照条件下的人脸图像。
2.根据权利要求1所述的方法,其特征在于,所述获取人脸图像的合成数据、真实数据及目标光照条件,包括:
获取可公开获取的3D人脸模型,对每个3D人脸模型,使用不同的高动态范围成像HDRI环境贴图进行渲染,并将渲染后的3D人脸模型转换为2D人脸图像,并将转换后的2D人脸图像保存为合成数据;
将每个合成数据所对应的HDRI环境贴图保存为目标光照条件,每个合成数据与每个合成数据所对应的目标光照条件成对存储在数据库中;
获取可公开获取的2D高清人脸图像,将每个2D高清人脸图像中的人脸区域保存为真实数据。
3.根据权利要求1所述的方法,其特征在于,所述将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练,包括:
将合成数据输入到所述第一网络模型中,得到合成数据自带的光照条件下的第一人脸图像;
将目标光照条件输入到所述第一网络模型中,得到目标光照条件下的第二人脸图像;
根据第一预设损失函数,计算第一损失函数值,并使用链式法则计算第一网络模型各个层的梯度;根据所述梯度,使用梯度下降算法和反向传播算法更新第一模网络型的网络参数;
判断更新后的第一网络模型是否满足预设第一网络模型收敛条件,若是,判定当前模型收敛,将此时的第一网络模型确定为第一模型;若否,重复执行上述训练步骤,直至满足预设第一模型收敛条件。
4.根据权利要求3所述的方法,其特征在于,所述第一网络模型包括去光模型、光影特征模型、图像合成模型;所述将合成数据输入到所述第一网络模型中,得到预测光照条件下的第一人脸图像,包括:
将合成数据输入到所述去光模型,得到反照率贴图、法向贴图和第一预测光照条件;所述第一预测光照条件为合成数据自带的光照条件的预估值;
将所述第一预测光照条件及法向贴图输入到所述光影特征模型,得到第一预测光照条件下的高光贴图和第一预测光照条件下的阴影贴图;
将所述反照率贴图、法向贴图、第一预测光照条件下的高光贴图、第一预测光照条件下的阴影贴图,及第一预测光照条件输入到所述图像合成模型,得到第一预测光照条件下的第一人脸图像;
所述将目标光照条件输入到所述第一网络模型中,得到目标光照条件下的第二人脸图像,包括:
将目标光照条件及法向贴图输入到所述光影特征模型,得到目标光照条件下的高光贴图和目标光照条件下的阴影贴图;
将所述反照率贴图、法向贴图、目标光照条件下的高光贴图、目标光照条件下的阴影贴图,及目标光照条件输入到所述图像合成模型,得到目标光照条件下的第二人脸图像。
5.根据权利要求3所述的方法,其特征在于,所述第一预设损失函数包括以下项中的一项或多项的组合,包括:
所述反照率贴图,与,反照率贴图的真值,两者的内容损失函数;
所述法向贴图,与,法向贴图的真值,两者的内容损失函数;
所述目标光照条件下的高光贴图,与,目标光照条件下的高光贴图的真值,两者的内容损失函数;
所述目标光照条件下的阴影贴图,与,目标光照条件下的阴影贴图的真值,两者的内容损失函数;
所述第一人脸图像,与,输入到所述去光模型中的合成数据的真值,两者的内容损失函数;
所述第二人脸图像,与,目标光照条件下合成数据的真值,两者的内容损失函数;
所述预测光照条件,与,预测光照条件的真值,两者的光照损失函数;所述真值为对应在人脸图像上的像素值。
6.根据权利要求3所述的方法,其特征在于,所述预设第一网络模型收敛条件,包括:
第一网络模型的更新迭代次数达到预设次数,且第一损失函数值不再减小,且测试集上测得的结构相似度不再提升;
所述测试集中存储有多张人脸图像及每张人脸图像对应的真值;所述结构相似度是指测试集中的人脸图像输入到第一网络模型后,生成重光照的人脸图像,该重光照的人脸图像的预测值与对应真值的相似度;
所述预测值是指用目标光照条件重光照后的人脸图像的像素值,所述真值是指目标光照条件下原始人脸图像的像素值。
7.根据权利要求1所述的方法,其特征在于,所述将真实数据与目标光照条件,及,合成数据与目标光照条件轮流输入到所述第一模型中进行训练,包括:
将真实数据输入到所述第一模型中,得到真实数据自带的光照条件下的第三人脸图像;
将目标光照条件输入到所述第一模型中,得到目标光照条件下的第四人脸图像;
将合成数据输入到所述第一模型中,得到合成数据自带的光照条件下的第五人脸图像;
将目标光照条件输入到所述第一模块中,得到目标光照条件下的第六人脸图像;
根据第二预设损失函数,计算第二损失函数值,并使用链式法则计算第一模型各个层的梯度;根据所述梯度,使用梯度下降算法和反向传播算法更新第一模型的网络参数;
判断更新后的第一模型是否满足预设第一模型收敛条件,若是,判定当前模型收敛,将此时的第一模型确定为人脸图像重光照模型;若否,重复执行上述训练步骤,直至满足预设第一模型收敛条件。
8.根据权利要求7所述的方法,其特征在于,所述第一模型包括去光模型、光影特征模型、图像合成模型;所述将真实数据输入到所述第一模型中,得到真实数据自带的光照条件下的第三人脸图像,包括:
将真实数据输入到所述去光模型,得到反照率贴图、法向贴图和第二预测光照条件;所述第二预测光照条件为真实数据自带的光照条件的预估值;
将所述第二预测光照条件及法向贴图输入到所述光影特征模型,得到第二预测光照条件下的高光贴图和第二预测光照条件下的阴影贴图;
将所述反照率贴图、法向贴图、第二预测光照条件下的高光贴图、第二预测光照条件下的阴影贴图,及第二预测光照条件输入到所述图像合成模型,得到第二预测光照条件下的第三人脸图像。
9.根据权利要求8所述的方法,其特征在于,所述将目标光照条件输入到所述第一模型中,得到目标光照条件下的第四人脸图像,包括:
将目标光照条件及法向贴图输入到所述光影特征模型,得到目标光照条件下的高光贴图和目标光照条件下的阴影贴图;
将所述反照率贴图、法向贴图、目标光照条件下的高光贴图、目标光照条件下的阴影贴图,及目标光照条件输入到所述图像合成模型,得到目标光照条件下的第四人脸图像。
10.根据权利要求9所述的方法,其特征在于,所述将合成数据输入到所述第一模型中,得到合成数据自带的光照条件下的第五人脸图像,包括:
将合成数据输入到所述去光模型,得到反照率贴图、法向贴图和第三预测光照条件;所述第三预测光照条件为合成数据自带的光照条件的预估值;
将所述第三预测光照条件及法向贴图输入到所述光影特征模型,得到第三预测光照条件下的高光贴图和第三预测光照条件下的阴影贴图;
将所述反照率贴图、法向贴图、第三预测光照条件下的高光贴图、第三预测光照条件下的阴影贴图,及第三预测光照条件输入到所述图像合成模型,得到第三预测光照条件下的第五人脸图像。
11.根据权利要求10所述的方法,其特征在于,所述将目标光照条件输入到所述第一模块中,得到目标光照条件下的第六人脸图像,包括:
将目标光照条件及法向贴图输入到所述光影特征模型,得到目标光照条件下的高光贴图和目标光照条件下的阴影贴图;
将所述反照率贴图、法向贴图、目标光照条件下的高光贴图、目标光照条件下的阴影贴图,及目标光照条件输入到所述图像合成模型,得到目标光照条件下的第六人脸图像。
12.根据权利要求7所述的方法,其特征在于,所述第二预设损失函数包括以下项中的一项或多项的组合,包括:
所述第三人脸图像,与,输入到所述去光模型中的真实数据,两者的内容损失函数;
所述反照率贴图,与,验证反照率贴图,两者的内容损失函数;
所述法向贴图,与,验证法向贴图,两者的内容损失函数;
所述验证反照率贴图通过将所述第四人脸图像输入到所述去光模型后获取;所述验证法向贴图通过将所述第四人脸图像输入到所述去光模型后获取。
13.根据权利要求7所述的方法,其特征在于,所述预设第一模型收敛条件,包括:
第一模型的更新迭代次数达到预设次数,且第二损失函数值不再减小,且测试集上测得的结构相似度不再提升;
所述测试集中存储有多张人脸图像及每张人脸图像对应的真值;所述结构相似度是指测试集中的人脸图像输入到第一模型后,生成重光照的人脸图像,该重光照的人脸图像的预测值与对应真值的相似度;
所述预测值是指用目标光照条件重光照后的人脸图像的像素值;所述真值是指目标光照条件下原始人脸图像的像素值。
14.一种人脸图像处理方法,其特征在于,包括:
获取待处理的人脸图像和目标光照条件,所述目标光照条件包括:HDRI环境贴图或从指定的人脸图像中提取出的光照条件;
将所述人脸图像和目标光照条件输入到人脸图像重光照模型中,以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中,得到目标光照条件下的人脸图像;所述人脸图像重光照模型通过权利要求1~13任一项所述的模型训练方法训练得到。
15.一种模型训练装置,其特征在于,包括:
获取模块,用于获取人脸图像的合成数据、真实数据及目标光照条件;
第一训练模块,用于将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练,直至所述第一网络模型收敛,得到第一模型;
第二训练模块,用于将真实数据与目标光照条件,及,合成数据与目标光照条件轮流输入到所述第一模型中进行训练,直至第一模型收敛,得到人脸图像重光照模型;
所述人脸图像重光照模型用于将指定的目标光照条件重光照到输入的人脸图像中,得到目标光照条件下的人脸图像。
16.一种人脸图像处理装置,其特征在于,包括:
获取模块,用于获取待处理的人脸图像和目标光照条件,所述目标光照条件包括:HDRI环境贴图或从指定的人脸图像中提取出的光照条件;
重光照模块,用于将所述人脸图像和目标光照条件输入到人脸图像重光照模型中,以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中,得到目标光照条件下的人脸图像;所述人脸图像重光照模型通过权利要求1~13任一项所述的模型训练方法训练得到。
17.一种电子设备,其特征在于,包括:处理器和存储器,其中,
所述存储器中存储有可供处理器调用的计算机程序;
所述处理器通过调用所述存储器中存储的计算机程序,执行权利要求1~14任一项所述的方法。
18.一种计算机可读存储介质,其特征在于,其上存储有可擦写的计算机程序;
当所述计算机程序在计算机设备上运行时,使得所述计算机设备执行权利要求1~14任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210747577.3A CN115049558A (zh) | 2022-06-28 | 2022-06-28 | 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210747577.3A CN115049558A (zh) | 2022-06-28 | 2022-06-28 | 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115049558A true CN115049558A (zh) | 2022-09-13 |
Family
ID=83163406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210747577.3A Pending CN115049558A (zh) | 2022-06-28 | 2022-06-28 | 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115049558A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115661912A (zh) * | 2022-12-26 | 2023-01-31 | 荣耀终端有限公司 | 图像处理方法、模型训练方法、电子设备及可读存储介质 |
-
2022
- 2022-06-28 CN CN202210747577.3A patent/CN115049558A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115661912A (zh) * | 2022-12-26 | 2023-01-31 | 荣耀终端有限公司 | 图像处理方法、模型训练方法、电子设备及可读存储介质 |
CN115661912B (zh) * | 2022-12-26 | 2024-04-12 | 荣耀终端有限公司 | 图像处理方法、模型训练方法、电子设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zeng et al. | Learning image-adaptive 3d lookup tables for high performance photo enhancement in real-time | |
CN109919869B (zh) | 一种图像增强方法、装置及存储介质 | |
CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
WO2020165557A1 (en) | 3d face reconstruction system and method | |
CN114119849A (zh) | 三维场景渲染方法、设备以及存储介质 | |
KR20190100320A (ko) | 이미지 처리를 위한 신경망 모델 훈련 방법, 장치 및 저장 매체 | |
TWI739151B (zh) | 圖像生成網路的訓練及影像處理方法和裝置、電子設備 | |
CN113689539B (zh) | 基于隐式光流场的动态场景实时三维重建方法 | |
CN115735230A (zh) | 对无约束图像数据具有鲁棒性的视图合成 | |
WO2023284401A1 (zh) | 图像美颜处理方法、装置、存储介质与电子设备 | |
CN114821404B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
KR20170046140A (ko) | 얼굴 이미지 편집 방법 및 디바이스 | |
JP7463186B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN114663603B (zh) | 一种基于神经辐射场的静态对象三维网格模型生成方法 | |
CN115100337A (zh) | 一种基于卷积神经网络的全身人像视频重照明方法和装置 | |
WO2021105871A1 (en) | An automatic 3d image reconstruction process from real-world 2d images | |
CN115049558A (zh) | 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质 | |
KR20210109719A (ko) | 비디오 컬러화 방법 및 장치 | |
CN110580696A (zh) | 一种细节保持的多曝光图像快速融合方法 | |
CN114638749A (zh) | 低光照图像增强模型、方法、电子设备及存储介质 | |
CN115049559A (zh) | 模型训练、人脸图像处理、人脸模型处理方法及装置、电子设备及可读存储介质 | |
CN113902611A (zh) | 图像美颜处理方法、装置、存储介质与电子设备 | |
CN111932594B (zh) | 一种基于光流的十亿像素视频对齐方法及装置、介质 | |
CN116980549A (zh) | 视频帧处理方法、装置、计算机设备和存储介质 | |
KR102402643B1 (ko) | 3차원 모델링의 색상 최적화 처리 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |