CN116664422A - 图像高光处理方法、装置、电子设备及可读存储介质 - Google Patents

图像高光处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN116664422A
CN116664422A CN202310576581.2A CN202310576581A CN116664422A CN 116664422 A CN116664422 A CN 116664422A CN 202310576581 A CN202310576581 A CN 202310576581A CN 116664422 A CN116664422 A CN 116664422A
Authority
CN
China
Prior art keywords
face
image
highlight
map
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310576581.2A
Other languages
English (en)
Inventor
武蕴杰
李林橙
吕唐杰
范长杰
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202310576581.2A priority Critical patent/CN116664422A/zh
Publication of CN116664422A publication Critical patent/CN116664422A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像高光处理方法、装置、电子设备及可读存储介质，该方法包括：获取待处理的人脸图像，并确定人脸图像对应的第一三维模型参数；其中，第一三维模型参数包括第一姿态参数；确定人脸图像对应的第一人脸网格数据；根据人脸图像、第一姿态参数和第一人脸网格数据，确定人脸图像对应的人脸高光反射率图像和人脸高光环境光照图；根据第一人脸网格数据、人脸高光反射率图像和人脸高光环境光照图，确定人脸图像对应的人脸高光图像；对人脸图像和人脸高光图像进行逐像素相减，得到去除高光后的人脸图像。本申请的图像高光处理方法对于人脸图像进行普遍使用性，提升了高光去除的鲁棒性。

Description

图像高光处理方法、装置、电子设备及可读存储介质
技术领域
本申请涉及计算机技术领域，具体涉及一种图像高光处理方法、装置、电子设备及计算机可读存储介质。
背景技术
在一定的光照环境下进行人脸拍摄，拍摄到的人脸图像经常存在高光区域。由于高光区域的高光遮盖了人脸局部的形状、颜色以及纹理等特征，这会对人脸图像的检测与识别产生很大的干扰。因此，对人脸图像进行高光去除处理成为提高人脸图像识别率的一种重要手段，人脸图像高光去除旨将人脸图像中高光区域的高光去除，并将高光区域恢复出非高光下的人脸颜色。
在现有技术中，通常是根据人脸图像，提取图像特征并预测该人脸图像的高光区域掩码图和高光亮度图；根据上述提取的图像特征、预测的该人脸图像的高光区域掩码图和高光亮度图，预测出高光去除后的人脸图像。
然而，现有技术中在分别训练用于预测该人脸图像的高光区域掩码图、高光亮度图、高光去除后的人脸图像的神经网络模型的过程中，均需使用无高光人脸图像的真值数据作为学习目标进行监督学习，但由于真值数据的数据分布约束，使得该高光去除算法只适用于与真值数据具有相同数据分布的人脸图像，不能推广到任意人脸图像，导致存在人脸图像高光去除鲁棒性不足的缺陷。例如，采集的包含真值数据的训练样本人脸图像都是在实验室灯光条件下采集的，将通过该真值数据训练得到的人脸图像高光去除模型对室外光照条件下采集的人脸图像进行高光去除处理，输出的人脸图像高光去除效果较差。
发明内容
本申请提供一种图像高光处理方法、装置、电子设备及计算机可读存储介质，以提升人脸图像高光去除的鲁棒性。
第一方面，本申请实施例提供一种图像高光处理方法，所述方法包括：
获取待处理的人脸图像，并确定所述人脸图像对应的第一三维模型参数；其中，所述第一三维模型参数包括第一姿态参数；
确定所述人脸图像对应的第一人脸网格数据，所述第一人脸网格数据为形状与所述人脸图像中人脸形状一致的三维网格的网格数据；
根据所述人脸图像、所述第一姿态参数和所述第一人脸网格数据，确定所述人脸图像对应的人脸高光反射率图像和人脸高光环境光照图；其中，所述人脸高光反射率图像用于表征所述人脸图像中面部图像的高光区域，所述人脸高光环境光照图用于表征所述面部图像中高光区域的环境光照；
根据所述第一人脸网格数据、所述人脸高光反射率图像和所述人脸高光环境光照图，确定所述人脸图像对应的人脸高光图像；
对所述人脸图像和所述人脸高光图像进行逐像素相减，得到去除高光后的所述人脸图像。
第二方面，本申请实施例提供一种图像高光处理装置，所述装置包括：
获取模块，用于获取待处理的人脸图像，并确定所述人脸图像对应的第一三维模型参数；其中，所述第一三维模型参数包括第一姿态参数；
第一确定模块，用于确定所述人脸图像对应的第一人脸网格数据，所述第一人脸网格数据为形状与所述人脸图像中人脸形状一致的三维网格的网格数据；
第二确定模块，用于根据所述人脸图像、所述第一姿态参数和所述第一人脸网格数据，确定所述人脸图像对应的人脸高光反射率图像和人脸高光环境光照图；其中，所述人脸高光反射率图像用于表征所述人脸图像中面部图像的高光区域，所述人脸高光环境光照图用于表征所述面部图像中高光区域的环境光照；
第三确定模块，用于根据所述第一人脸网格数据、所述人脸高光反射率图像和所述人脸高光环境光照图，确定所述人脸图像对应的人脸高光图像；
处理模块，用于对所述人脸图像和所述人脸高光图像进行逐像素相减，得到去除高光后的所述人脸图像。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括：
存储器和处理器、所述存储器和所述处理器耦合；
所述存储器用于存储一条或多条计算机指令；
所述处理器用于执行所述一条或多条计算机指令，以实现上述第一方面任一项所述的图像高光处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有一条或多条计算机指令，其特征在于，该指令被处理器执行以实现上述第一方面任一项所述的图像高光处理方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一项所述的图像高光处理方法。
与现有技术相比，本申请具有以下优点：
本申请提供的图像高光处理方法，获取待处理的人脸图像，并确定所述人脸图像对应的第一三维模型参数。其中，所述第一三维模型参数包括第一姿态参数；确定所述人脸图像对应的第一人脸网格数据。根据所述人脸图像、所述第一姿态参数和所述第一人脸网格数据，确定所述人脸图像对应的人脸高光反射率图像和人脸高光环境光照图。根据所述第一人脸网格数据、所述人脸高光反射率图像和所述人脸高光环境光照图，确定所述人脸图像对应的人脸高光图像。对所述人脸图像和所述人脸高光图像进行逐像素相减，得到去除高光后的所述人脸图像。
相比现有技术，本申请通过将三维重建的方式确定人脸图像对应的第一三维模型参数。根据人脸图像对应的第一三维模型参数，进一步可通过深度学习方法确定人脸图像对应的人脸高光反射率图像和人脸高光环境光照图。由于人脸高光反射率图像可以表征人脸图像中面部图像的高光反射率，人脸高光环境光照图可以表征面部图像的高光强度，这样就得到了人脸图像中面部图像的高光区域和高光区域的环境光照强度。基于人脸高光反射率图像、人脸高光环境光照图、以及第一人脸网格数据，进行可微镜面渲染处理，就得到了人脸图像对应的人脸高光图像。对人脸图像和人脸高光图像进行逐像素相减，得到去除高光后的人脸图像。本申请的图像高光处理方法对于任意人脸图像具有普遍适用性，这提高了高光去除的鲁棒性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请第一实施例提供的图像高光处理方法的流程示意图之一；
图2为本申请第一实施例提供的对第一预测模型和第二预测模型进行模型训练的流程示意图之一；
图3为本申请第一实施例提供的对第一预测模型和第二预测模型进行模型训练的流程示意图之二；
图4为本申请第一实施例提供的图像高光处理方法的流程示意图之二；
图5为本申请第一实施例提供的第一预测模型和第二预测模型的输入与输出的示意图；
图6为本申请第一实施例提供的人脸低频漫反射图与高光去除图像的示意图；
图7为本申请第二实施例提供的图像高光处理装置的结构示意图；
图8为本申请第三实施例提供的电子设备的硬件结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请的目的、优点和特征更加清楚，以下结合附图和具体实施方式对本申请进行清楚、完整地描述。在下面的描述中，阐述了很多具体细节以便于充分理解本申请。但是，所描述的实施例是本申请一部分实施例，而不是全部的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性，以及特定的顺序或先后次序。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，术语“多个”是指两个或两个以上。术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。术语“包括”和“具有”以及他们的任何变形，旨在覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于理解本申请的技术方案，首先对本申请所涉及的相关概念进行介绍。
单目二维图像：通过单个摄像机采集到的二维图像。
无约束人脸图像：人脸图像中人脸表情、尺度、姿态、外观等具有较大的可变性。
单目人脸高光去除：给定无约束的包含人脸的单目二维图像，去除图像中人脸图像的高光部分，估计并将原高光部分所在图像区域恢复为非高光状态。其中，高光是指当一个明亮的点光源照射到易发光的物体表面时，物体表面上的照射区域反射高光的镜面反射现象。非高光是指一个明亮的点光源照射到不易发光的物体表面时，该明亮的光在物体表面上的照射区域分散开的的漫反射现象。
三维可变形模型(3D Morphable Model，3DMM)：由一个平均三维模型、一组形状基和一组纹理基构成，可通过输入形状参数和纹理参数对形状基和纹理基进行线性混合，生成具有新的人脸形状和人脸纹理的三维人脸模型。3DMM是一种经典的三维人脸形状和纹理统计模型，其在人脸分析、模型拟合、图像合成等领域广泛应用。
3DMM重建：给定无约束的包含人脸的单目二维图像通过3DMM重建算法预测3DMM形状参数和3DMM纹理参数，重建出人脸形状和人脸低频颜色图像。其中，人脸低频颜色是指人脸皮肤颜色。
可微渲染：一种利用微分方程求解的渲染方法，可以将三维模型渲染为二维图像，并且保留渲染图像的梯度信息。利用该方法可以通过渲染图像的误差来优化神经网络。其工作原理是将渲染过程分成多个小步骤，每个小步骤都可以表示为微分方程的形式，然后通过求解微分方程来得到每个小步骤的结果。根据渲染过程和结果，可微渲染进一步分为可微镜面反射渲染和可微漫反射渲染。其中，可微镜面反射渲染主要集中在表面的反射和高光部分，其是基于物理的光线跟踪技术来模拟光线在表面上的反射和折射，从而生成具有逼真镜面反射的图像。可微漫反射渲染主要集中在表面的散射和漫反射，使用基于散射率的技术来模拟材质表面的散射和吸收，从而生成具有柔和形态的低频图像。
深度学习算法：一种由大规模神经元构成的机器学习算法，基于其具有可有效解决复杂的非线性问题的优势，目前被广泛应用于计算机视觉、语音识别、自然语言处理等多个领域。
均方误差：深度学习中常用的一种损失函数，用于度量两个张量之间的二范式距离。
二值交叉熵误差：深度学习中常用的一种损失函数，用于度量0-1分类结果的误差。
贴图坐标：一种用于对齐二维图像和三维网格的一种坐标形式，其对三维网格模型的每一个三角面都提供了对应在二维图像上的二维坐标。贴图坐标系UVW，其中，U和V是图像平面上两个相互垂直的两个向量，W为垂直于图像平面的向量。也就是说，在一种图像中，U代表横向，V代表纵向，W代表垂直于图像平面的方向。
Cubemap(立方体映射)：一种将三维的方向向量映射为正方体(cube)表面点的映射方法，其通过从cube中心，沿各向量方向发射一条射线，碰到cube表面第一个点来确定映射结果。cubemap可被用于建模环境光照。
为了解决上述现有技术存在的问题，本申请提供了一种图像高光处理方法、与该方法相对应的一种图像高光处理装置，可实施该图像高光处理方法的电子设备以及计算机可读存储介质。以下提供实施例对上述方法、装置、电子设备以及计算机可读存储介质进行详细说明。
为了使本申请的目的、技术方案更加清楚直观，下面将结合附图及实施例，对本申请实施例提供的方法进行详细说明。应理解的是，此处所描述的具体实施例仅仅用于解释本申请，并不用于限定本申请。可以理解的是，下面几个实施例可以单独存在，以及在本申请提供的各实施例之间不冲突的情况下下述的实施例及实施例中的特征可以相互组合，对于相同或相似的内容，在不同的实施例中不再重复说明。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定，在某些情况下，可以以不同于此的顺序执行所示出或描述的步骤。
本申请提供了一种图像高光处理方法、装置、电子设备及计算机可读存储介质。具体地，本申请其中一实施例的图像高光处理方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机、个人数字助理等终端设备，终端还可以包括客户端，该客户端可以是图像高光处理客户端等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器。
下面，结合图1，对本申请第一实施例提供的图像高光处理方法进行说明，图1为本申请第一实施例提供的图像高光处理方法的流程示意图之一。
如图1所示，包括步骤S101-S105：
S101、获取待处理的人脸图像，并确定人脸图像对应的第一三维模型参数。
在本申请实施例中，待处理的人脸图像为需要进行图像高光去除处理的二维人脸图像。二维人脸图像可以为具有高光分布的任意的人脸图像。
一种可选的实现方式，对待处理的人脸图像可以使用三维人脸重建算法，预测得到人脸图像对应的第一三维模型参数。其中，三维人脸重建算法可以根据人脸图像预测出该人脸图像对应的三维模型参数。例如，三维模型参数包括三维姿态参数。其中，三维姿态参数用于控制三维人脸模型在三维空间中进行姿态变换，其包括平移参数、旋转参数。其中，平移参数用于控制三维模型在世界坐标系中的位置，通过对平移参数的调整来实现对三维模型的位置调整；旋转参数是用于控制三维模型在世界坐标系中旋转的参数，通常使用欧拉角表示，通过旋转参数的调整来实现模型在三维空间中的旋转变化，从而实现对三维模型的姿态进行调整。例如，三维人脸重建算法可以为Deep 3D算法。
在本申请实施例中，可以通过三维人脸重建算法预测得到该待处理的人脸图像对应的第一姿态参数。
需要说明的是，三维可变形模型3DMM是一个通用的三维人脸模型，用固定数量的顶点、顶点之间相连构成的多角面的拼接集合来表示人脸。它的核心思想就是三维人脸可以在三维空间中进行一一匹配，并且可以由其他许多幅人脸网格形状基和纹理基分别加权线性相加得到。其中，形状基是一组相对于平均形状的偏差模型。在3DMM中，不同的形状基表示了具有不同形状的三维人脸。通过对这些形状基进行加权线性叠加，可以生成大小和形状各异的三维人脸模型。纹理基表示了不同颜色和纹理属性的变化，用于描述物体表面的纹理特征。纹理基从平均纹理中捕获部分变化。在3DMM中，通过对这些纹理基进行加权线性叠加，可以生成不同的纹理映射以呈现各种纹理属性和颜色分布的变化。
三维人脸模型的基本属性是形状和纹理，因此每一张三维人脸可以表示为形状向量和纹理向量的线性叠加。其中，纹理信息可以反映人脸颜色信息。
其中，形状向量S＝(x1,y1,z1,x2,y2,z2,...,xn,yn,zn)，纹理向量T＝(R1,G1,B1,R2,G2,B2,...,Rn,Gn,Bn)。
任意的三维人脸模型可以由3DMM算法模型库中的N个三维人脸模型进行加权组合而形成。如下：
其中，/>
其中：Si和Ti是3DMM算法模型库中第i张三维人脸模型的形状向量和纹理向量，ai和bi分别为使用第i张三维人脸模型的形状向量的参数和纹理向量的参数。
由于这里的Si和Ti不是正交相关的，因此构建模型不能直接使用S和T。需要使用主成分分析(PrinciPal Component Analysis,PCA)，对S和T降维分解，得到如下：
其中，和/>分别为3DMM算法模型库中所有三维人脸模型的形状向量和纹理向量的平均值，si和ti分别为Si和Ti减去各自平均值后的协方差矩阵的特征向量，3DMM的三维形状参数＝(α1,α2,...,αm-1)、三维纹理参数＝(β1,β2,...,βm-1)。
S102、确定人脸图像对应的第一人脸网格数据，第一人脸网格数据为形状与人脸图像中人脸形状一致的三维网格的网格数据。
在本申请实施例中，可以通过三维人脸重建算法预测得到该待处理的人脸图像对应的第一形状参数。其中，第一形状参数是用于为待处理的人脸图像重建三维人脸模型的形状的三维形状参数。三维形状参数包括身份参数、表情参数。其中，身份参数是用于表示人物图像中人物的身份的参数，人脸身份如老人、孩子、男人、女人等。表情参数是用于表示人物图像中人物的面部表情的参数，面部表情如哭、笑、怒等。
在本申请实施例中，人脸网格是一种表示三维人脸形状的方法，其通过使用顶点和顶点相连形成的表面来表示三维人脸的形状。
需要说明的是，人脸Mesh网格是构成三维人脸模型的3D网格，Mesh网格是由多边形拼接而成的，一个复杂的多边形是由多个三角面拼接而成的，因此，3D模型的表面是由多个彼此相连的三角面构成的，三维空间中构成三角面的点以及三角形的边的集合就是Mesh网格。在Mesh网格数据中包含顶点、面、边界。其中，顶点是空间中的一个点，描述了三维人脸模型的形状。每个顶点有三个坐标值，分别表示其在x、y、z三个方向上的位置。面是由三个或更多个顶点组成的平面多边形，描述了三维模型的表面。每个面由一个或多个三角形组成，其包括了组成每个三角形的顶点序列。边界是连接顶点的线条，描述了三维模型的边缘。
在本申请实施例中，可以通过三维人脸重建算法使用人脸图像的第一形状参数，得到人脸图像对应的第一人脸网格数据。其中，三维人脸重建算法包括但不限于Deep 3D算法。
S103、根据人脸图像、第一姿态参数和第一人脸网格数据，确定人脸图像对应的人脸高光反射率图像和人脸高光环境光照图。
在光照条件下，人脸上某些部位(例如，鼻子，额头，腮部等)会反射光线，这些反射的光线称为高光。
在本申请实施例中，人脸高光反射率图像用于表征人脸图像中面部图像的高光区域，也就是说，人脸高光反射率图像可以反映人脸图像中面部图像的高光反射情况。人脸高光环境光照图用于表征面部图像中高光区域的环境光照。可以理解的是，在拍摄人脸照片时，光源方向不同导致人脸高光区域反射不同的亮度和颜色。因此，通过获取人脸图像中面部图像中高光区域的环境光照信息，可以对人脸图像的高光区域进行更准确的认识。
可选地，步骤S103的实现方式可以包括步骤S1031-S1033。
S1031、根据第一姿态参数，对第一人脸网格数据进行姿态调整，得到人脸图像对应的第二人脸网格数据，第二人脸网格数据为形状与人脸图像中人脸形状一致，且姿态与人脸图像中人脸姿态一致的三维网格的网格数据。
其中，第一姿态参数中包括平移参数和旋转参数。
在本申请实施例中，根据上述人脸图像对应的第一形状参数，通过三维人脸重建算法可以计算得到的第一人脸网格数据，第一人脸网格数据中网格的顶点坐标是处于标准姿态下的顶点位置。根据预测得到的人脸图像对应的第一姿态参数，对第一人脸网格数据表示的人脸网格进行平移和旋转，就得到第二人脸网格数据，即第二人脸网格数据所表征的人脸网格的姿态与人脸图像中人脸的姿态一致。
S1032、根据第二人脸网格数据和人脸图像，确定人脸图像对应的UV重排列图和立方体重排列图，UV重排列图为人脸图像中面部图像对应的UV位置图，立方体重排列图为人脸图像中面部图像的立方体图像对应的全景图。
可选地，步骤S1032的实现方式包括步骤S1-S2。
S1、对第二人脸网格数据和人脸图像进行对齐，确定面部图像中每个像素对应的贴图坐标。其中，第二人脸网格数据中包括多个顶点，每个顶点对应一个贴图坐标。
S2、根据面部图像的每个像素对应的贴图坐标和人脸图像，确定人脸图像对应的UV重排列图和立方体重排列图。
可选地，将第二人脸网格数据的贴图坐标进行UV展开，得到UV位置图；针对UV位置图中与面部图像中像素相对应的各第一贴图坐标，将UV位置图中第一贴图坐标的像素颜色确定为与第一贴图坐标对应的像素的像素颜色。针对UV位置图中除第一贴图坐标以外的各第二贴图坐标，将UV位置图中第二贴图坐标的像素颜色确定为噪声像素颜色。将确定各第一贴图坐标和各第二贴图坐标的像素颜色后的UV位置图，确定为人脸图像对应的UV重排列图。
其中，噪声像素是指图像中的随机噪声，噪声像素的像素值是随机确定的。相比非噪声像素，噪声像素的像素值通常较高，可能比邻近像素的值高很多倍，相差较大。噪声像素颜色是指噪声像素的像素值对应的颜色。
在本申请实施例中，可以通过选择不同类型的噪声像素对UV位置图中的各第二贴图坐标进行填充。不同类型的噪声像素包括但不限于高斯噪声、椒盐噪声等等，本申请实施例对此不做任何限定。
在一些实施方式中，根据三维人脸重建算法中使用的摄像机参数(其是固定的一组参数)，将姿态对齐后的第二人脸网格数据对应的第二人脸网格投影在人脸图像上，人脸图像上面部图像中的每个像素都对应了第二人脸网格的表面的某个点。对于第二人脸网格上的每个顶点，贴图坐标是预先固定的。因此，针对每个像素，将与该像素对应的顶点的坐标确定为该像素对应的贴图坐标。故，就得到了人脸图像对齐到第二人脸网格上的贴图坐标。随后，将二维图像中的人脸像素颜色按照贴图坐标排列，并在空区域填充噪声像素，得到人脸图像对应的UV重排列图。
在一些实施例方式中，确定第一人脸网格数据中每个目标贴图坐标的视线反射方向，目标贴图坐标为面部图像中的像素对应的贴图坐标。针对第一人脸网格数据中的每个目标贴图坐标，将第一人脸网格数据中目标贴图坐标上图像的像素值确定为与目标贴图坐标对应的像素的像素值。确定第一人脸网格数据中面部区域对应的立方体图像。将立方体图像转换为全景图，得到人脸图像对应的立方体重排列图。
在本申请实施例中，对于第一人脸网格上的任意一个点，其视线方向是该点位置到摄像机位置的向量。其中，摄像机位置可以根据一组固定的摄像机参数中的位置参数来确定。以该点的表面法向为对称轴，将该视线方向的对称方向，确定为该点的视线反射方向。在确定了第一人脸网格每个点的视线反射方向，对人脸图像中的人脸像素颜色进行映射，并展开为全景图，得到立方体重排列图。
具体地，给定一个中心在原点，轴长为1的立方体，则第一人脸网格上每个点沿着各点对应的视线反射方向发射一条射线，该射线会与该立方体得到一个交点，该交点在立方体6个面中的某一个面上。把第一人脸网格上该点对应的人脸的颜色赋值给立方体上的这个像素，最后把立方体六个面展开，然后转换成全景图，即得到立方体重排列图。
S1033、根据UV重排列图和立方体重排列图，确定人脸图像对应的人脸高光反射率图像和人脸高光环境光照图。
在一些实施例中，可以预先训练并设置第一预测模型和第二预测模型。其中，第一预测模型和第二预测模型可以基于生成对抗网络训练获得。其中，第一预测模型和第二预测模型均由编码器和解码器组合构成。其中，编码器用于提取输入图像的特征信息，其将输入图像的每个像素进行特征表示，并将其压缩为低维度的特征向量。解码器用于将经过编码器处理后的特征向量逐步还原成输出图像。解码器里面的每个模块都由一个上采样层(上采样)、卷积层和一个条件初始化模块组成。
可选地，将UV重排列图输入至第一预测模型，使第一预测模型输出人脸图像对应的人脸高光反射率图像。其中，第一预测模型为用于预测人脸高光反射率图像的模型。其中，人脸高光反射率图像用于表征人脸图像中面部图像的高光区域。
可选地，将立方体重排列图输入至第二预测模型，以使第二预测模型输出人脸图像对应的人脸高光反射率图像。其中，第二预测模型为用于预测人脸高光环境光照图的模型。其中，人脸高光环境光照图用于表征人脸图像中面部图像的高光区域的环境光照。
S104、根据第一人脸网格数据、人脸高光反射率图像和人脸高光环境光照图，确定人脸图像对应的人脸高光图像。
一种可选的实现方式，基于第一人脸网格数据、人脸高光反射率图像和人脸高光环境光照图，进行可微镜面反射渲染处理，得到人脸图像对应的人脸高光图像。其中，可微镜面反射渲染处理的工作原理是场景中的几何信息输入至图像生成模型中，经过模型推理，输出渲染图像。具体地说，该图像生成模型的输入是场景的几何信息、光照条件、材质属性等，输出真实感渲染图像。在图像生成模型的训练过程中，使用了大量的真实数据来训练模型，以提高其渲染效果和渲染质量。
在本申请实施例中，使用的可微镜面反射渲染算法可以基于NVdiffrast库和Cook-Torrance BRDF光照反射模型实现。其中，NVdiffrast库可以利用GPU加速光线追踪运算，来实现高效的图像渲染。Cook-Torrance BRDF模型为用于计算材料表面反射的一种光照模型。
S105、对人脸图像和人脸高光图像进行逐像素相减，得到去除高光后的人脸图像。
本申请实施例提供的图像高光处理方法，获取待处理的人脸图像，并确定人脸图像对应的第一三维模型参数；其中，第一三维模型参数包括第一姿态参数；确定人脸图像对应的第一人脸网格数据；根据人脸图像、第一姿态参数和第一人脸网格数据，确定人脸图像对应的人脸高光反射率图像和人脸高光环境光照图；其中，人脸高光反射率图像用于表征人脸图像中面部图像的高光反射率，人脸高光环境光照图用于表征面部图像的高光强度；根据第一人脸网格数据、人脸高光反射率图像和人脸高光环境光照图，确定人脸图像对应的人脸高光图像；对人脸图像和人脸高光图像进行逐像素相减，得到去除高光后的人脸图像。
相比现有技术，本申请通过将三维重建的方式确定人脸图像对应的第一三维模型参数。根据人脸图像对应的第一三维模型参数，进一步可通过深度学习方法确定人脸图像对应的人脸高光反射率图像和人脸高光环境光照图，由于人脸高光反射率图像可以表征人脸图像中面部图像的高光区域，人脸高光环境光照图可以表征面部图像的高光区域的环境光照，这样就得到了人脸图像中面部图像的高光区域和高光区域的环境关照强度。基于人脸高光反射率图像、人脸高光环境光照图、以及第一人脸网格数据，进行可微镜面反射渲染处理，就得到了人脸图像对应的人脸高光图像。对人脸图像和人脸高光图像进行逐像素相减，得到去除高光后的人脸图像。本申请的图像高光处理方法对于任意人脸图像具有普遍适用性，这提高了高光去除的鲁棒性。
下面，结合图2，对本申请第一实施例提供的第一预测模型和第二预测模型的训练过程进行说明，图2为本申请第一实施例提供的对第一预测模型和第二预测模型进行模型训练的流程示意图之一。
如图2所示，包括步骤S201-S204：
S201、构建第一预测模型和第二预测模型。
在本申请实施例中，第一预测模型和第二预测模型可以由编码器和解码器构成。具体地，第一预测模型和第二预测模型的网络结构可以为Pix2pixHD图像生成模型中的U-NET网络结构。
S202、获取人脸样本图像。
S203、确定人脸样本图像对应的第二三维模型参数。
在本申请实施例中，人脸样本图像对应的第二三维模型参数可以包括三维姿态参数、三维形状参数、三维纹理参数、以及漫反射光照参数，即第二姿态参数、第二形状参数、第二纹理参数和第二漫反射光照参数。
S204、根据人脸样本图像和第二三维模型参数，对第一预测模型和第二预测模型进行训练，得到训练后的第一预测模型和第二预测模型。
可选地，步骤S204包括如下步骤S2041-S2047。
S2041、根据人脸样本图像和第二三维模型参数，确定人脸样本图像对应的人脸低频漫反射图像、UV重排列图和立方体重排列图。
可选地，根据第二形状参数，计算人脸样本图像对应的第三人脸网格数据；根据第二纹理参数，计算人脸样本图像对应的人脸低频颜色图像。基于第二漫反射光照参数、第三人脸网格数据和人脸低频颜色图像，进行可微漫反射渲染，得到人脸样本图像对应的人脸低频漫反射图像。
在本申请实施例中，根据第二形状参数，计算人脸样本图像对应的第三人脸网格数据的实现方式，可以参考步骤S102的说明和解释，且能达到相同的技术效果，为避免重复，这里不再赘述。
在本申请实施例中，人脸样本图像对应的人脸低频颜色图像用于表征人脸样本图像中面部图像的整体需颜色信息。
在一些实施方式中，利用三维人脸模型的三角网格结构和人脸样本图像的第二纹理参数，可以通过插值求解出每个三角形的基色。之后，将这些基色通过一定的方法进行平滑，并结合三角形的边缘信息来生成人脸样本图像对应的人脸低频颜色图像。基于第二漫反射光照参数、第三人脸网格数据和人脸低频颜色图像，使用可微漫反射渲染算法，得到人脸低频漫反射图像。可微漫反射渲染算法可以是采用lambert表面的渲染着色方式。进一步地，为了实现可微性质进一步的修改和优化，可以使用NVdiffrast库进行可微漫反射渲染。
可选地，关于步骤S2041中“确定UV重排列图和立方体重排列图”的说明和解释，可以参照上述针对步骤S1032的说明和解释，且能达到相同的技术效果，为避免重复，这里不再赘述。
S2042、将人脸样本图像对应的UV重排列图输入至第一预测模型，以使第一预测模型输出人脸样本图像对应的人脸高光反射率图像。
S2043、将人脸样本图像对应的立方体重排列图输入至第二预测模型，以使第二预测模型输出人脸样本图像对应的人脸高光环境光照图。
S2044、确定人脸样本图像对应的第三人脸网格数据，第三人脸网格数据为形状与人脸样本图像中人脸形状一致的三维网格的网格数据；
S2045、根据第三人脸网格数据、人脸样本图像对应的人脸高光反射率图像和人脸高光环境光照图，确定人脸样本图像对应的人脸高光图像。
在本申请实施例中，可以通过三维人脸重建算法使用人脸样本图像的第二形状参数，得到人脸图像对应的第一人脸网格数据。基于第三人脸网格数据、人脸样本图像对应的人脸高光反射率图像和人脸高光环境光照图，进行可微镜面反射渲染处理，得到人脸样本图像对应的人脸高光图像。
S2046、基于预设损失函数，根据人脸样本图像对应的人脸低频漫反射图像和人脸高光图像，计算损失值。
在本申请实施例中，预设损失函数包括但不限于均方误差函数和二值交叉熵误差函数。
例如，以预设损失函数为均方误差函数为例，对人脸低频颜色图像和人脸高光图像进行逐像素相加处理，得到第一人脸样本图像。对第一人脸样本图像和人脸样本图像进行逐像素相减处理，得到各像素对应的目标差值。利用均方误差损失函数，对各像素对应的目标差值求解均方误差值，即得到损失值。
S2047、基于损失值，更新第一预测模型和第二预测模型的模型参数。
在本申请实施例中，基于对损失值，同时对第一预测模型和第二预测模型的模型参数的参数进行更新。直到训练次数达到预设迭代次数阈值，即训练完成。否则，则重复执行步骤S201-S204。
下面，结合图3和一个具体示例，对本申请实施例提供的第一预测模型和第二预测模型的训练过程进一步说明，图3为本申请第一实施例提供的对第一预测模型和第二预测模型进行模型训练的流程示意图之二。
S301、获取二维人脸图像It。
S302、对二维人脸图像It使用三维人脸重建算法(即3DMM重建算法)，预测用于建立三维人脸模型的3DMM参数，包括3DMM姿态参数、3DMM形状参数以及3DMM纹理参数、以及漫反射光照参数。
S303、根据3DMM形状参数，建立三维人脸模型S；根据3DMM纹理参数，计算人脸低频颜色图像TD；使用可微漫反射渲染方法将三维人脸模型S和人脸低频颜色图像TD，渲染为人脸低频漫反射图像
S304、使用步骤S303中3DMM姿态参数对齐三维人脸模型S，以使三维人脸模型的姿态与人脸图像中的人脸姿态一致。
S305、按步骤S304中调整姿态后的三维人脸模型，对齐二维人脸图像，得到二维图像对齐三维人脸模型的贴图坐标。将二维图像中的人脸像素颜色按照贴图坐标排列，并在空区域填充噪声像素，得到UV重排列图Muv。
S306、按照三维模型S每个点的视线反射方向，将二维图像中的人脸像素颜色映射，并展开为全景图，得到立方体重排列图Mcube。
S307、将步骤S305生成的UV重排列图Muv为输入，利用已训练的神经网络NET_1(即第一预测模型)，预测人脸的高光反射率图像Ts。
S308、将步骤S306生成的cube重排列图Mcube为输入，利用已训练的神经网络NET_2(即第二预测模型)，预测人脸的人脸高光环境光照图Tl。
S309、(计算损失函数)根据上述步骤S303得到的人脸三维形状S，预测人脸的高光反射率图像Ts和预测人脸高光环境光照图Tl，通过可微镜面反射渲染得到人脸高光图像
S310、计算人脸高光图像与人脸低频漫反射图像/>相加之和，与输入二维图像It之间的逐像素误差/>作为渲染损失函数。
S311、对每张输入图片使用上述步骤S301-S310，计算渲染损失函数L1，并使用梯度下降算法同时训练神经网络NET_1和NET_2，优化神经网络NET_1和NET_2的参数。
S312、判断是否达到最大迭代次数，若达到，则执行步骤S312训练完成，保存神经网络NET_1和NET_2的参数。否则，执行步骤S301。
下面，结合图4-图6和一个具体示例，对本申请实施例提供的图像高光处理方法进行进一步说明，图4为本申请第一实施例提供的图像高光处理方法的流程示意图之二，图5为本申请第一实施例提供的第一预测模型和第二预测模型的输入与输出的示意图，图6为本申请第一实施例提供的人脸低频漫反射图与高光去除图像的示意图。
S401、获取二维人脸图像It。
S402、对二维人脸图像It进行三维人脸重建算法(3DMM重建算法)，预测用于建立三维人脸模型的3DMM参数，包括3DMM姿态参数、3DMM形状参数。
S403、使用步骤S401中3DMM姿态参数对齐三维人脸模型S，以使三维人脸模型的姿态与人脸图像中的人脸姿态一致。
S404、按步骤S403中调整姿态后的三维人脸模型，对齐二维人脸图像，得到二维图像对齐三维人脸模型的贴图坐标。将二维图像中的人脸像素颜色按照贴图坐标排列，并在空区域填充噪声像素，得到UV重排列图Muv。
S405、按照三维模型S每个点的视线反射方向，将二维图像中的人脸像素颜色映射，并展开为全景图，得到立方体重排列图Mcube，
S406、将步骤S404生成的UV重排列图Muv为输入，利用已训练的神经网络NET_1(即第一预测模型)，预测人脸的高光反射率图像Ts。
S407、将步骤S405生成的立方体重排列图Mcube为输入，利用已训练的神经网络NET_2(即第二预测模型)，预测人脸高光环境光照图Tl。
如图5所示，向神经网络NET_1输入二维人脸图像对应的UV重排列图，神经网络NET_1输出预测的二维人脸图像对应的人脸的高光反射率图像。以及，向神经网络NET_2输入二维人脸图像对应的立方体重排列图，神经网络NET_2输出预测的二维人脸图像对应的人脸高光环境光照图。
S408、利用可微镜面反射渲染，将上述步骤S403得到的人脸三维形状S，预测人脸的高光反射率图像Ts和预测人脸高光环境光照图Tl，渲染为人脸高光图像
S409、将输入的人脸图像It对上述步骤S408得到的人脸高光渲染图像进行逐像素相减，得到人脸高光去除后的图像/>
如图6所示，对两张二维人脸图像进行高光去除处理，第一列为原始的二维人脸图像，中间列为原始二维人脸图像对应的人脸低频漫反射图像，最后一列为对原始二维人脸图像进行高光去除处理后的二维人脸图像。
下面对本申请提供的图像高光处理装置进行描述，下文描述的图像高光处理装置与上文描述的图像高光处理方法可相互对应参照。
图7为本申请第二实施例提供的图像高光处理装置的结构示意图。如图7所示，该图像高光处理装置包括：获取模块701、第一确定模块702、第二确定模块703、第三确定模块704以及处理模块705。
获取模块，用于获取待处理的人脸图像，并确定所述人脸图像对应的第一三维模型参数；其中，所述第一三维模型参数包括第一姿态参数；
第一确定模块，用于确定所述人脸图像对应的第一人脸网格数据，所述第一人脸网格数据为形状与所述人脸图像中人脸形状一致的三维网格的网格数据；
第二确定模块，用于根据所述人脸图像、所述第一姿态参数和所述第一人脸网格数据，确定所述人脸图像对应的人脸高光反射率图像和人脸高光环境光照图；其中，所述人脸高光反射率图像用于表征所述人脸图像中面部图像的高光区域，所述人脸高光环境光照图用于表征所述面部图像中高光区域的环境光照；
第三确定模块，用于根据所述第一人脸网格数据、所述人脸高光反射率图像和所述人脸高光环境光照图，确定所述人脸图像对应的人脸高光图像；
处理模块，用于对所述人脸图像和所述人脸高光图像进行逐像素相减，得到去除高光后的所述人脸图像。
可选地，所述第三确定模块具体用于：
基于所述第一人脸网格数据、所述人脸高光反射率图像和所述人脸高光环境光照图，进行可微镜面反射渲染处理，得到所述人脸图像对应的人脸高光图像。
可选地，所述第二确定模块具体用于：
根据所述第一姿态参数，对所述第一人脸网格数据进行姿态调整，得到所述人脸图像对应的第二人脸网格数据，所述第二人脸网格数据为形状与所述人脸图像中人脸形状一致，且姿态与所述人脸图像中人脸姿态一致的三维网格的网格数据；
根据所述第二人脸网格数据和所述人脸图像，确定所述人脸图像对应的UV重排列图和立方体重排列图，所述UV重排列图为所述人脸图像中面部图像对应的UV位置图，所述立方体重排列图为所述人脸图像中所述面部图像的立方体图像对应的全景图；
根据所述UV重排列图和所述立方体重排列图，确定所述人脸图像对应的人脸高光反射率图像和人脸高光环境光照图。
可选地，所述第二确定模块具体用于：
将所述UV重排列图输入至第一预测模型，以使所述第一预测模型输出所述人脸图像对应的人脸高光反射率图像；其中，所述第一预测模型为用于预测人脸高光反射率图像的模型；
将所述立方体重排列图输入至第二预测模型，以使所述第二预测模型输出所述人脸图像对应的人脸高光环境光照图；其中，所述第二预测模型为用于预测人脸高光环境光照图的模型。
可选地，所述第二确定模块具体用于：
对所述第二人脸网格数据和所述人脸图像进行对齐，确定所述面部图像中每个像素对应的贴图坐标；其中，所述第二人脸网格数据中包括多个顶点，每个所述顶点对应一个贴图坐标；
根据所述面部图像的每个像素对应的贴图坐标和所述人脸图像，确定所述人脸图像对应的UV重排列图和立方体重排列图。
可选地，所述第二确定模块具体用于：
将所述第二人脸网格数据进行UV展开，得到UV位置图；
针对所述UV位置图中与所述面部图像中像素相对应的各第一贴图坐标，将所述UV位置图中所述第一贴图坐标的像素颜色确定为与所述第一贴图坐标对应的所述像素的像素颜色；
针对所述UV位置图中除所述第一贴图坐标以外的各第二贴图坐标，将所述UV位置图中所述第二贴图坐标的像素颜色确定为噪声像素颜色，得到所述人脸图像对应的UV重排列图。
可选地，所述第二确定模块具体用于：
确定所述第一人脸网格数据中每个目标贴图坐标的视线反射方向，所述目标贴图坐标为所述面部图像中的像素对应的贴图坐标；
针对所述第一人脸网格数据中的每个所述目标贴图坐标，将所述第一人脸网格数据中所述目标贴图坐标上图像的像素值确定为与所述目标贴图坐标对应的所述像素的像素值；
确定所述第一人脸网格数据中面部区域对应的立方体图像；
将所述立方体图像转换为全景图，得到所述人脸图像对应的立方体重排列图。
可选地，所述装置还包括训练模块，所述训练模块具体用于：
构建所述第一预测模型和所述第二预测模型；
获取人脸样本图像；
确定所述人脸样本图像对应的第二三维模型参数；
根据所述人脸样本图像和所述第二三维模型参数，对所述第一预测模型和所述第二预测模型进行训练，得到训练后的所述第一预测模型和所述第二预测模型。
可选地，所述训练模块具体用于：
根据所述人脸样本图像和所述第二三维模型参数，确定所述人脸样本图像对应的人脸低频漫反射图像、UV重排列图和立方体重排列图；其中，所述人脸低频漫反射图像用于表征所述面部图像中低频成分在漫反射光照条件下的反射情况；
将所述人脸样本图像对应的所述UV重排列图输入至所述第一预测模型，以使所述第一预测模型输出所述人脸样本图像对应的人脸高光反射率图像；
将所述人脸样本图像对应的所述立方体重排列图输入至所述第二预测模型，以使所述第二预测模型输出所述人脸样本图像对应的人脸高光环境光照图；
确定所述人脸样本图像对应的第三人脸网格数据，所述第三人脸网格数据为形状与所述人脸样本图像中人脸形状一致的三维网格的网格数据；
根据所述第三人脸网格数据、所述人脸样本图像对应的所述人脸高光反射率图像和所述人脸高光环境光照图，确定所述人脸样本图像对应的人脸高光图像；
基于预设损失函数，根据所述人脸样本图像对应的所述人脸低频漫反射图像和所述人脸高光图像，计算损失值；
基于所述损失值，更新所述第一预测模型和所述第二预测模型的模型参数。
可选地，所述第二三维模型参数包括第二形状参数、第二纹理参数和第二漫反射光照参数；
所述训练模块具体用于：
根据所述第二形状参数，计算所述人脸样本图像对应的第三人脸网格数据；
根据所述第二纹理参数，计算所述人脸样本图像对应的人脸低频颜色图像；
基于第二漫反射光照参数，对所述第三人脸网格数据和所述人脸低频颜色图像进行可微漫反射渲染处理，得到所述人脸样本图像对应的人脸低频漫反射图像。
本实施例提供的图像高光处理装置，可用于执行上述图像高光处理方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
图8为本申请第三实施例提供的电子设备的硬件结构示意图，如图8所示，本实施例的电子设备800包括：处理器801以及存储器802；其中
存储器802，用于存储计算机执行指令；
处理器801，用于执行存储器存储的计算机执行指令，以实现上述实施例中图像高光处理方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选地，存储器802既可以是独立的，也可以跟处理器801集成在一起。
当存储器802独立设置时，该电子设备还包括总线803，用于连接所述存储器802和处理器801。
本申请第四实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上电子设备所执行的上述任一实施例中图像高光处理方法对应的技术方案。
本申请第五实施例还提供一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例中图像高光处理方法对应的技术方案。
需要说明的是，对于本申请第二实施例、第三实施例、第四实施例和第五实施例提供的装置、电子设备及计算机可读存储介质、计算机程序产品的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理模块(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (13)

1.一种图像高光处理方法，其特征在于，所述方法包括：
获取待处理的人脸图像，并确定所述人脸图像对应的第一三维模型参数；其中，所述第一三维模型参数包括第一姿态参数；
确定所述人脸图像对应的第一人脸网格数据，所述第一人脸网格数据为形状与所述人脸图像中人脸形状一致的三维网格的网格数据；
根据所述人脸图像、所述第一姿态参数和所述第一人脸网格数据，确定所述人脸图像对应的人脸高光反射率图像和人脸高光环境光照图；其中，所述人脸高光反射率图像用于表征所述人脸图像中面部图像的高光区域，所述人脸高光环境光照图用于表征所述面部图像中高光区域的环境光照；
根据所述第一人脸网格数据、所述人脸高光反射率图像和所述人脸高光环境光照图，确定所述人脸图像对应的人脸高光图像；
对所述人脸图像和所述人脸高光图像进行逐像素相减，得到去除高光后的所述人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一人脸网格数据、所述人脸高光反射率图像和所述人脸高光环境光照图，确定所述人脸图像对应的人脸高光图像，包括：
基于所述第一人脸网格数据、所述人脸高光反射率图像和所述人脸高光环境光照图，进行可微镜面反射渲染处理，得到所述人脸图像对应的人脸高光图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸图像、所述第一姿态参数和所述第一人脸网格数据，确定所述人脸图像对应的人脸高光反射率图像和人脸高光环境光照图，包括：
根据所述第一姿态参数，对所述第一人脸网格数据进行姿态调整，得到所述人脸图像对应的第二人脸网格数据，所述第二人脸网格数据为形状与所述人脸图像中人脸形状一致，且姿态与所述人脸图像中人脸姿态一致的三维网格的网格数据；
根据所述第二人脸网格数据和所述人脸图像，确定UV重排列图和立方体重排列图，所述UV重排列图为所述人脸图像中面部图像对应的UV位置图，所述立方体重排列图为所述人脸图像中所述面部图像的立方体图像对应的全景图；
根据所述UV重排列图和所述立方体重排列图，确定所述人脸图像对应的人脸高光反射率图像和人脸高光环境光照图。
4.根据权利要求3所述的方法，其特征在于，所述根据所述人脸图像对应的UV重排列图和立方体重排列图，确定所述人脸图像对应的人脸高光反射率图像和人脸高光环境光照图，包括：
将所述UV重排列图输入至第一预测模型，以使所述第一预测模型输出所述人脸图像对应的人脸高光反射率图像；其中，所述第一预测模型为用于预测人脸高光反射率图像的模型；
将所述立方体重排列图输入至第二预测模型，以使所述第二预测模型输出所述人脸图像对应的人脸高光环境光照图；其中，所述第二预测模型为用于预测人脸高光环境光照图的模型。
5.根据权利要求3所述的方法，其特征在于，所述根据所述第二人脸网格数据和所述人脸图像，确定所述人脸图像对应的UV重排列图和立方体重排列图，包括：
对所述第二人脸网格数据和所述人脸图像进行对齐，确定所述面部图像中每个像素对应的贴图坐标；其中，所述第二人脸网格数据中包括多个顶点，每个所述顶点对应一个贴图坐标；
根据所述面部图像的每个像素对应的贴图坐标和所述人脸图像，确定所述人脸图像对应的UV重排列图和立方体重排列图。
6.根据权利要求5所述的方法，其特征在于，所述根据所述面部图像中每个像素对应的贴图坐标和所述人脸图像，确定所述人脸图像对应的UV重排列图，包括：
将所述第二人脸网格数据进行UV展开，得到UV位置图；
针对所述UV位置图中与所述面部图像中像素相对应的各第一贴图坐标，将所述UV位置图中所述第一贴图坐标的像素颜色确定为与所述第一贴图坐标对应的所述像素的像素颜色；
针对所述UV位置图中除所述第一贴图坐标以外的各第二贴图坐标，将所述UV位置图中所述第二贴图坐标的像素颜色确定为噪声像素颜色，得到所述人脸图像对应的UV重排列图。
7.根据权利要求5所述的方法，其特征在于，所述根据所述面部图像中的每个像素对应的贴图坐标和所述人脸图像，确定所述人脸图像对应的立方体重排列图，包括：
确定所述第一人脸网格数据中每个目标贴图坐标的视线反射方向，所述目标贴图坐标为所述面部图像中的像素对应的贴图坐标；
针对所述第一人脸网格数据中的每个所述目标贴图坐标，将所述第一人脸网格数据中所述目标贴图坐标上图像的像素值确定为与所述目标贴图坐标对应的所述像素的像素值；
确定所述第一人脸网格数据中面部区域对应的立方体图像；
将所述立方体图像转换为全景图，得到所述人脸图像对应的立方体重排列图。
8.根据权利要求4所述的方法，其特征在于，所述方法还包括：
构建所述第一预测模型和所述第二预测模型；
获取人脸样本图像；
确定所述人脸样本图像对应的第二三维模型参数；
根据所述人脸样本图像和所述第二三维模型参数，对所述第一预测模型和所述第二预测模型进行训练，得到训练后的所述第一预测模型和所述第二预测模型。
9.根据权利要求8所述的方法，其特征在于，所述根据所述人脸样本图像和所述第二三维模型参数，对所述第一预测模型和所述第二预测模型进行训练，得到训练后的所述第一预测模型和所述第二预测模型，包括：
根据所述人脸样本图像和所述第二三维模型参数，确定所述人脸样本图像对应的人脸低频漫反射图像、UV重排列图和立方体重排列图；其中，所述人脸低频漫反射图像用于表征所述面部图像中低频成分在漫反射光照条件下的反射情况；
将所述人脸样本图像对应的所述UV重排列图输入至所述第一预测模型，以使所述第一预测模型输出所述人脸样本图像对应的人脸高光反射率图像；
将所述人脸样本图像对应的所述立方体重排列图输入至所述第二预测模型，以使所述第二预测模型输出所述人脸样本图像对应的人脸高光环境光照图；
确定所述人脸样本图像对应的第三人脸网格数据，所述第三人脸网格数据为形状与所述人脸样本图像中人脸形状一致的三维网格的网格数据；
根据所述第三人脸网格数据、所述人脸样本图像对应的所述人脸高光反射率图像和所述人脸高光环境光照图，确定所述人脸样本图像对应的人脸高光图像；
基于预设损失函数，根据所述人脸样本图像对应的所述人脸低频漫反射图像和所述人脸高光图像，计算损失值；
基于所述损失值，更新所述第一预测模型和所述第二预测模型的模型参数。
10.根据权利要求9所述的方法，其特征在于，所述第二三维模型参数包括第二形状参数、第二纹理参数和第二漫反射光照参数；
所述根据所述人脸样本图像和所述第二三维模型参数，确定所述人脸样本图像对应的人脸低频漫反射图像，包括：
根据所述第二形状参数，计算所述人脸样本图像对应的第三人脸网格数据；
根据所述第二纹理参数，计算所述人脸样本图像对应的人脸低频颜色图像；
基于第二漫反射光照参数、所述第三人脸网格数据和所述人脸低频颜色图像，进行可微漫反射渲染处理，得到所述人脸样本图像对应的人脸低频漫反射图像。
11.一种图像高光处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理的人脸图像，并确定所述人脸图像对应的第一三维模型参数；其中，所述第一三维模型参数包括第一姿态参数；
第一确定模块，用于确定所述人脸图像对应的第一人脸网格数据，所述第一人脸网格数据为形状与所述人脸图像中人脸形状一致的三维网格的网格数据；
第二确定模块，用于根据所述人脸图像、所述第一姿态参数和所述第一人脸网格数据，确定所述人脸图像对应的人脸高光反射率图像和人脸高光环境光照图；其中，所述人脸高光反射率图像用于表征所述人脸图像中面部图像的高光区域，所述人脸高光环境光照图用于表征所述面部图像中高光区域的环境光照；
第三确定模块，用于根据所述第一人脸网格数据、所述人脸高光反射率图像和所述人脸高光环境光照图，确定所述人脸图像对应的人脸高光图像；
处理模块，用于对所述人脸图像和所述人脸高光图像进行逐像素相减，得到去除高光后的所述人脸图像。
12.一种电子设备，其特征在于，所述电子设备包括：
处理器；以及
存储器，用于存储数据处理程序，该电子设备通电并通过所述处理器运行该程序后，执行如权利要求1-10中任一项所述的图像高光处理方法。
13.一种计算机可读存储介质，其特征在于，存储有数据处理程序，该程序被处理器运行，执行如权利要求1-10中任一项所述的图像高光处理方法。
CN202310576581.2A 2023-05-19 2023-05-19 图像高光处理方法、装置、电子设备及可读存储介质 Pending CN116664422A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310576581.2A CN116664422A (zh) 2023-05-19 2023-05-19 图像高光处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310576581.2A CN116664422A (zh) 2023-05-19 2023-05-19 图像高光处理方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN116664422A true CN116664422A (zh) 2023-08-29

Family

ID=87718353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310576581.2A Pending CN116664422A (zh) 2023-05-19 2023-05-19 图像高光处理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116664422A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117764853A (zh) * 2024-01-11 2024-03-26 荣耀终端有限公司 人脸图像增强方法和电子设备
CN118038515A (zh) * 2023-12-28 2024-05-14 南京泛泰数字科技研究院有限公司 一种人脸识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118038515A (zh) * 2023-12-28 2024-05-14 南京泛泰数字科技研究院有限公司 一种人脸识别方法
CN118038515B (zh) * 2023-12-28 2024-08-02 南京泛泰数字科技研究院有限公司 一种人脸识别方法
CN117764853A (zh) * 2024-01-11 2024-03-26 荣耀终端有限公司 人脸图像增强方法和电子设备

Similar Documents

Publication Publication Date Title
US11037274B2 (en) Denoising Monte Carlo renderings using progressive neural networks
US10796414B2 (en) Kernel-predicting convolutional neural networks for denoising
CN108537864B (zh) 利用具有网络渲染层的神经网络编辑数字图像
Georgoulis et al. Reflectance and natural illumination from single-material specular objects using deep learning
CN113838176B (zh) 模型的训练方法、三维人脸图像生成方法及设备
CN116664422A (zh) 图像高光处理方法、装置、电子设备及可读存储介质
CN114746904A (zh) 三维人脸重建
JP2022522401A (ja) 画像をレンダリングするための３次元モデリングボリューム
CN112102480B (zh) 图像数据处理方法、装置、设备以及介质
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
WO2024193609A1 (zh) 图像渲染方法、装置、电子设备、存储介质及程序产品
CN117333637B (zh) 三维场景的建模及渲染方法、装置及设备
DE102021130031A1 (de) Erscheinungsbildgesteuerte automatische dreidimensionale modellierung
CN110647859B (zh) 人脸图像分解方法和装置、电子设备及存储介质
CN115205438A (zh) 图像渲染方法和设备
Marques et al. Deep spherical harmonics light probe estimator for mixed reality games
CN116958362A (zh) 图像渲染方法、装置、设备和存储介质
CN117351133B (zh) 一种数据渲染方法、装置、设备及计算机可读存储介质
CN115953524A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN114119923B (zh) 三维人脸重建方法、装置以及电子设备
CN118521699B (zh) 一种虚拟人三维头发丝发型的生成方法及系统
CN116824082B (zh) 虚拟地形的绘制方法、装置、设备、存储介质及程序产品
US20220309730A1 (en) Image rendering method and apparatus
US20240338888A1 (en) High-fidelity three-dimensional asset encoding
Beebe A Bibliography of Computer Graphics Forum: 1982–2009

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination