CN115239575A - 美颜方法及装置 - Google Patents

美颜方法及装置 Download PDF

Info

Publication number
CN115239575A
CN115239575A CN202210628194.4A CN202210628194A CN115239575A CN 115239575 A CN115239575 A CN 115239575A CN 202210628194 A CN202210628194 A CN 202210628194A CN 115239575 A CN115239575 A CN 115239575A
Authority
CN
China
Prior art keywords
makeup
illumination
facial
parameters
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210628194.4A
Other languages
English (en)
Other versions
CN115239575B (zh
Inventor
张心鸣
高崇军
韩新杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210628194.4A priority Critical patent/CN115239575B/zh
Publication of CN115239575A publication Critical patent/CN115239575A/zh
Application granted granted Critical
Publication of CN115239575B publication Critical patent/CN115239575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种美颜方法及装置，应用于电子设备，所述方法包括：对待处理的图像的面部区域进行光照估计，得到光照参数，基于光照参数获取妆容类型参数，至少将妆容类型参数作用于面部区域，得到妆容贴图，基于妆容贴图以及图像，得到美妆结果。因为光照参数表征真实面部所处的光照场景，而面部区域由真实面部成像得到，因此使得美妆结果与真实面部所处的光照场景向匹配，可以理解的是，不同的光照场景能够得到不同的美妆结果，因此，不仅能够实现美妆功能，还能够基于光照场景展示不同的美妆结果，从而对美颜功能进行了改进，提供了更加全面和智能化的美颜功能。

Description

美颜方法及装置
技术领域
本申请涉及电子信息技术领域，尤其涉及一种美颜方法及装置。
背景技术
美颜是电子设备常见的功能，例如，用户在使用电子设备进行拍照时，开启相机的美颜功能，美颜功能对相机采集的图像进行美颜处理。但电子设备的美颜功能还有改进的空间。
发明内容
本申请提供了一种美颜方法及装置，目的在于解决如何改进美颜功能的问题。
为了实现上述目的，本申请提供了以下技术方案：
本申请的第一方面提供一种美颜方法，应用于电子设备，方法包括：对待处理的图像的面部区域进行光照估计，得到光照参数，基于光照参数获取妆容类型参数，至少将妆容类型参数作用于面部区域，得到妆容贴图，基于妆容贴图以及图像，得到美妆结果。因为光照参数表征真实面部所处的光照场景，而面部区域由真实面部成像得到，因此使得美妆结果与真实面部所处的光照场景向匹配，可以理解的是，不同的光照场景能够得到不同的美妆结果，因此，不仅能够实现美妆功能，还能够基于光照场景展示不同的美妆结果，从而对美颜功能进行了改进。
在一些实现方式中，光照参数包括光照颜色以及光照强度。基于光照参数获取妆容类型参数的实现方式为：确定与光照颜色对应的妆容颜色类型，以得到基于光照强度确定妆容颜色类型的浓淡程度，基于妆容颜色类型和浓淡程度，得到妆容类型参数，以进一步提升美妆结果与光照环境的匹配程度。
在一些实现方式中，至少将妆容类型参数作用于面部区域，得到妆容贴图，包括：将妆容类型参数以及面部材质参数作用于面部区域，得到妆容贴图，以增加妆容贴图与面部的匹配程度，又因为面部材质参数通过对面部区域进行逐像素点或逐区域进行面部材质估计得到，与整个面部使用相同的材质参数相比，能够进一步提高妆容贴图与面部的匹配程度，并增加妆容贴图的精细程度。
在一些实现方式中，面部材质参数包括：几何信息、基础反射率、粗糙度以及高光反射率的至少一项。
在一些实现方式中，将妆容类型参数以及面部材质参数作用于面部区域，得到妆容贴图，包括：将妆容类型参数映射至UV空间，得到UV妆容类型参数，将面部材质参数映射至UV空间，得到UV面部材质参数，将UV妆容类型参数和UV面部材质参数进行融合，得到妆容融合结果，将妆容融合结果进行UV空间逆映射，得到妆容贴图。在UV空间进行妆容融合有利于提高融合结果与面部图像的贴合效果。
在一些实现方式中，基于妆容贴图以及图像，得到美妆结果，包括：将妆容贴图进行真实感渲染，得到带妆面部区域，将带妆面部区域贴回图像，得到美妆结果。真实感渲染能够提升妆容贴图的真实感，即经过真实感渲染后的带妆面部区域更贴近人脸的质感，从而使得美妆结果具有更真实的质感。
在一些实现方式中，从皮肤的反光原理入手，将妆容贴图进行真实感渲染的方式包括：将妆容贴图进行基于次表面散射和高光反射的渲染，以进一步提高美妆结果的真实质感。
在一些实现方式中，还包括：对图像进行美肤处理，得到美肤结果。待处理的图像包括美肤结果，即进行美妆处理的对象为美肤结果，因此能够将美肤和美妆相结合，进行更全面的美颜处理，实现更全面的美颜功能。
本申请的第二方面提供一种电子设备，包括处理器和存储器。存储器用于存储应用程序，处理器用于运行应用程序，以实现本申请的第一方面提供的美颜方法。
本申请的第三方面提供一种计算机可读存储介质，其上存储有程序，在计算机设备运行程序时，实现本申请的第一方面提供的美颜方法。
本申请的第四方面提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行本申请的第一方面提供的美颜方法。
附图说明
图1为美颜功能的应用场景的示例图；
图2为美颜功能设置的界面示例图；
图3为本申请实施例公开的一种实现美妆功能的美颜装置的结构示意图；
图4为实现美妆功能的美颜装置中的光照估计模块的结构示意图；
图5为实现美妆功能的美颜装置中的SVBRDF的结构示意图；
图6为实现美妆功能的美颜装置中的自适应模块的结构示意图；
图7为本申请实施例公开的一种电子设备的结构示例图；
图8为本申请实施例公开的电子设备中运行的软件框架的示例图；
图9为本申请实施例公开的美颜方法的流程图；
图10为本申请实施例公开的美颜方法中的美妆方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
图1为电子设备的美颜功能的应用场景的示例。在图1中，用户选择相机的“人像”模式，并且选择相机的前置摄像头，在“人像”模式下，相机的美颜功能默认开启。在相机的预览界面A中显示的人脸为美颜功能处理后的图像(图1中未画出人脸)。
相机的预览界面A中显示美颜控件A1，用户可以通过点击美颜控件A1调出美颜功能配置控件，如图2所示，美颜功能配置控件的示例为美肤控件11，可以通过调节美肤控件11，配置美颜参数，例如当前选择的美肤程度为8。可以理解的是，美颜功能具有默认的美颜参数，用户也可以不进行调节。
在用户点击拍照控件A2后，相机通过前置摄像头采集图像，并基于美颜功能的美颜参数对采集的图像进行美颜处理。
但从图1以及图2可以看出，现有的相机的美颜功能仅限于美肤功能，而不能提供美妆功能。美妆功能可以理解为对面部图像进行处理，得到带妆效果的面部的图像。
发明人在研究的过程中发现，一方面，在现实中除了化妆品与肤色之外，光照对面部妆感的视觉呈现也有着显著的影响。光线有不同的颜色和强弱，除了白色光线，其它颜色的光线都会在已有的妆容上进行色彩融合。因此，面部所处的光照环境不同，对应的妆感也有差别。所以，在提供美妆功能的情况下，有需求依据面部所处环境的光线进行美妆处理。
另一方面，在提供美妆功能的情况下，有得到与面部区域贴合程度较高的妆容效果的需求，例如，唇妆效果需要与嘴唇区域贴合，而不能覆盖下巴区域。
综上所述，美颜功能有待解决的问题如下：
1、如何实现美妆功能。
2、如何依据面部所处环境的光线提供妆容。
3、美妆功能如何提供更贴合面部区域的妆容。
为了解决上述问题，本申请实施例提供一种美颜方法以及装置，可以理解的是，本申请实施例提供的美颜方法及装置应用的场景包括但不限于：使用相机的前置和/或后置摄像头进行拍照、录制视频以及实时通信(如直播、视频通话等)的场景。
图3为本申请实施例提供的美颜装置的框架图。
结合图3所示，美颜装置包括：面部检测模块1、光照估计模块2、妆容确定模块3、空间变化双向反射分布函数(Spatially Varying bidirectional reflectancedistribution function，SVBRDF)估计模块4、自适应匹配模块5、真实感渲染模块6以及贴图模块7。
下面将对美颜装置的各个模块进行详细说明。
面部检测模块1的输入为图像，结合图1所示，图像的一种示例为相机采集的图像。面部检测模块1从输入的图像中检测出面部所占的区域(简称为面部区域)。具体的面部区域的检测算法这里不再赘述。
光照估计模块2接收面部区域后，基于面部区域估计出真实的面部所处环境的光照参数。在一些实现方式中，光照估计模块2基于面部区域得到真实的面部所处环境的光照对应的球谐系数，再基于球谐系数推断出光照参数。
光照估计模块2的一种结构示例如图4所示，包括：卷积神经网络(ConvolutionalNeural Network，CNN)21、全连接(fully connected layers，FC)层22以及光照参数估计模块23。
其中，CNN21与全连接层22构成深度神经网络。CNN21的结构的一种示例为DenseNet模型。CNN21接收面部区域，对面部区域进行卷积处理后，输出隐变量编码Z，隐变量编码Z经过全连接层后输出球谐系数。
光照参数估计模块23接收到球谐系数后，得到球谐系数对应的光照参数。基于球谐系数得到光照参数的具体算法这里不再赘述。
在一些实现方式中，光照参数包括光照颜色以及光照强度，在另一些实现方式中，光照参数包括光照颜色、光照强度以及光照方向。
妆容确定模块3基于光照参数确定妆容类型参数。
本实施例中，根据常见的光照类型建立光照颜色与妆容颜色类型的对应关系，一些示例包括但不限于：自然光对应橘暖色系妆容，以表现温暖的效果，暖色调光对应珊瑚色系妆容、以及冷色调光对应粉白色系妆容，能够表现出健康红润的气色。
可以理解的是，每一种光照颜色可以使用色温、RGB数值等光参数表示，每一种妆容颜色类型可以使用颜色参数如RGB数值表示。
本实施例中，还建立光照强度与妆容浓淡类型的对应关系，一些示例包括但不限于：光线较亮(即光照强度较高)的情况对应淡妆以呈现干净通透的效果，而光线过暗(即光照强度较低)的情况对应较浓的妆以衬托氛围感。可以理解的是，浓淡程度可以使用不同的系数表示，例如按照从淡到浓的顺序，系数分别为0.3、0.5、0.7、1。
在一些实现方式中，上述两类对应关系可以基于经验值预先配置，例如预先配置对应的光照颜色与妆容颜色类型参数的数据对，在应用过程中，基于光照估计得到的光照颜色从数据对中查询对应的妆容颜色类型参数。在另一些实现方式中，上述两类对应关系可以通过机器学习的方式被模型学习，例如，将光照强度与浓淡系数的对应关系作为样本，训练得到模型，在应用过程中，基于光照估计得到的光照强度作为模型的输入，得到模型输出的浓淡系数。
可以理解的是，本实施例所述的妆容类型参数为妆容颜色类型与浓淡系数融合的结果，一种示例为将妆容颜色参数与浓淡系数的乘积，作为妆容类型参数。
以上基于光照颜色确定妆容类型，以及基于光照强度确定妆容的浓淡系数区间的方式仅为示例，也可以基于光照方向确定妆容的某个方面(参数)，或者，一并基于光照颜色、光照强度，可选的，还包括光照方向，确定妆容类型参数。
可以理解的是，妆容类型参数包括但不限于面部各个区域(如眉毛区域、眼睛区域和嘴唇区域)的颜色等参数。面部的妆容类型参数可以显示为一副加载了妆容类型参数指示的妆容的面部图像。
SVBRDF估计模块4基于面部区域获得并输出表示面部材质的参数，简称为面部材质参数。
结合图3所示，面部材质参数包括几何信息(mesh)、基础反射率(albedo)、粗糙度(roughness)、以及高光反射率(specular albedo)。
在一些实现方式中，逐像素点或者逐区域估计面部材质参数。逐像素点估计面部材质参数可以理解为估计面部区域中每个像素点的面部材质参数。逐区域估计面部材质参数可以理解为将面部区域划分为若干区域，估计每个区域的面部材质参数。在一种示例中，若干区域包括眉毛区域、嘴唇区域以及眼睛区域等常见的化妆区域。逐像素点或者逐区域估计面部材质参数，能够得到更为精细的面部材质参数，从而为后续得到更为精细的妆容奠定基础。
图5所示为SVBRDF估计模块4的结构示例，包括编码器41、全连接层42、第一解码器43以及第二解码器44。
编码器41和全连接层42构成的结构可以理解为三维可变形模型(3D MorphableModel，3DMM)。编码器41接收到面部区域后，对面部区域进行编码运算后，输出编码结果，编码结果经过全连接层41处理并由全连接层41输出几何信息(mesh)和基础反射率(albedo)。
编码器41分别与第一解码器43以及第二解码器44构成U-net网络。编码器41输出编码结果至第一解码器43，由第一解码器43对编码结果进行解码处理后，输出粗糙度(roughness)。编码器41输出编码结果至第二解码器44，由第二解码器44对编码结果进行解码处理后，输出高光反射率(specular albedo)。
可以理解的是，图5得到的面部材质参数可以理解为面部区域逐像素或者逐区域的面部材质参数，输出的任意一个面部材质参数例如mesh可以被显示为一副加载了该面部材质参数例如mesh的面部图像。
在另一些实现方式中，整个面部区域可以估计得到一组面部材质参数，即包括一个mesh、一个albedo、一个roughness以及一个specular albedo。
自适应匹配模块5在U(表示横坐标)V(表示纵坐标)空间将面部材质参数作用于妆容类型参数，以实现对妆容类型参数的局部调节。因为UV空间可以理解为一个面部模板，即在UV空间内，面部每一个点的位置是固定的，所以在UV空间进行面部材质参数的作用能减少最终生成的妆容贴图中的各个区域如嘴唇眉毛等与面部贴图中相应区域如嘴唇眉毛等的位置差异。
图6为自适应匹配模块5的一种结构示例，包括：UV空间映射模块51、动态卷积网络52、卷积模块53、归一化模块54以及UV空间逆映射模块55。
UV空间映射模块51用于将面部材质参数以及妆容类型参数映射至UV空间。
将面部材质参数映射至UV空间可以理解为，按照UV空间中的各个区域，调整加载了面部材质参数的面部各个区域的位置。例如，加载了面部材质参数的嘴唇的位置范围为[a1,a2](水平方向)，而在UV空间中嘴唇的位置范围为[a1,a3]，则将加载了面部材质参数的嘴唇的位置范围从[a1,a2]调整为[a1,a3]。这里将映射至UV空间的面部材质参数称为UV面部材质参数。
将妆容类型参数映射至UV空间可以理解为，按照UV空间中的各个区域，调整加载了妆容类型参数的面部各个区域的位置。这里将映射至UV空间的妆容参数称为UV妆容类型参数。
动态卷积网络52包括注意力(attention)模块521以及多个卷积模块522(分别以1、2、…n表示以便于后续描述)。
attention模块521包括平均池化层5211、全连接层5212、ReLU层5213以及softmax层5214。attention模块521对UV面部材质参数以及UV妆容类型参数分别进行处理后，输出各个卷积模块522的权重，记为w1、w2、……wn。w1、w2、……wn分别作为卷积1、卷积2、……卷积n的权重。
将卷积模块522中的卷积1、卷积2、……卷积n，分别乘以各自被分配的权重，得到加权卷积模块，将各个加权卷积模块相加，得到卷积模块53。可以理解的是，动态卷积网络52的目的为得到一个基于动态卷积网络52的输入而动态变化的卷积模块53。
卷积模块53对UV面部材质参数以及UV妆容类型参数进行卷积运算，得到妆容融合结果。
归一化模块54将妆容融合结果进行归一化处理，得到归一化妆容融合结果。
UV空间逆映射模块55将归一化妆容融合结果进行UV空间逆映射运算，得到妆容贴图。可以理解的是，妆容贴图为在妆容类型参数上作用面部材质参数的结果。
可以理解的是，除了将面部材质参数作用于妆容类型参数之外，还可以将化妆品的材质参数也作用于妆容类型参数，以进一步提高美妆效果的精细程度。在某些实现方式中，结合图1以及图2所示，可以设置选择化妆品的控件，并预先配置可供选择的化妆品的信息与化妆品的材质参数的对应关系，基于用户选择的化妆品的信息，获得化妆品的信息对应的化妆品的材质参数，并输入自适应匹配模块5，得到在妆容类型参数上作用面部材质参数和化妆品材质参数的结果。可以理解的是，一种化妆品的材质参数包括但不限于该化妆品的基础反射率(albedo)、粗糙度(roughness)以及高光反射率(specular albedo)。
真实感渲染模块的设置遵循以下原理：皮肤作为一种属性复杂的材质，其物理结构由多层结构组成，其表面油脂层主要贡献了皮肤光照的反射部分，而油脂层下面的表皮层和真皮层则主要贡献了的次表面散射部分。因此真实感渲染模块6包括次表面散射模块61和Cook-Torrance模块62。次表面散射模块61用于获得皮肤的次表面散射效果，Cook-Torrance模块62用于获得皮肤的高光反射效果。
在某些实现方式中，采用基于物理的渲染(Physicallly-Based Rendering，PBR)的算法进行真实感渲染。PBR算法如式(1)所示：
Figure BDA0003678686980000071
其中，S(pi，wi，po，wo)表示双向散射表面反射率分布函数(BidirectionalScattering Surface Reflectance Distributed Function，BSSRDF)，pi表示光线输入的位置，p0表示光线输出的位置，wi表示光线输入的方向，w0表示光线输出的方向，Li(pi,wi)代表入射光的信息，n表示物体的法向信息。kd为系数常量，DFG分别表示了微表面法向分布、菲涅尔系数和几何函数。
式(1)中加号左边表示次表面散射，加号右边表示高光反射。
将分解得到的面部属性进行融合，从3D输入得到最终的2D渲染图像，效果更佳符合物理规律，因此会更加真实。
贴图模块7用于将带妆面部区域贴回原图，即图3中所示的图像。
可以理解的是，图3所示的美颜装置中的光照估计模块2、SVBRDF估计模块4、以及自适应匹配模块5需要预先进行训练。光照估计模块2和SVBRDF估计模块4可以分别进行独立训练，而自适应匹配模块5基于训练得到的光照估计模块2和SVBRDF估计模块4进行训练。
因为光照估计模块2中的CNN21与全连接层22构成的深度神经网络相对独立，所以可以单独进行训练。为了使得光照估计模块2能够估计室内以及室外环境的光照参数，训练数据集包括室内和室外光照环境的面部区域以及标签数据。训练数据集的一些示例包括Laval室内、室外以及天空数据集。标签数据包括光照参数与妆容类型参数的对应关系。
对于SVBRDF估计模块4，训练数据集包括合成数据集和真实数据集。合成数据集包括渲染软件合成的面部图像以及对应的面部材质参数。真实数据集包括拍摄真人获得的面部图像以及通过光度立体获得的真人面部材质参数。真实数据集的示例包括LightStage数据集。在一些实现方式中，在训练数据集中的面部材质参数仅包括mesh和albedo的情况下，roughness和specular albedo可以通过渲染方程推导获得。
可以理解的是，在光照估计模块2以及SVBRDF估计模块4训练完成后，再使用训练得到的光照估计模块2以及SVBRDF估计模块4的输出数据以及训练样本数据集，训练自适应匹配模块5。训练样本数据集中的标签数据主要使用对输入光照估计模块2以及SVBRDF估计模块4的素颜面部区域进行人工上妆形成的妆容贴图。
可以理解的是，图3所示的美颜装置，具有以下优点：
1、依据光照场景匹配妆容类型，使得美妆效果与场景更匹配并且能够实现更加智能化的美颜功能。
2、逐像素或者逐区域估计面部材质参数，能够针对面部每一个位置进行妆容参数的匹配。
3、自适应妆容参数：
根据场景确定的妆容类型以及估计得到的空间变化的面部材质参数，在妆容类型的范围中对面部不同区域参数进行自适应匹配，得到基于该场景下的真实感妆容。并且在UV空间进行妆容适应能够在贴回原图的时候更加贴合原面部特征，突出层次感立体感。
4、真实感渲染效果：
面部渲染基于cook-torrance和次表面散射实现，使用PBR流程对得到的妆容和已获取到的材质参数进行渲染，使最终的渲染效果更具有真实感。
基于训练后的美颜装置，本申请实施例提供一种美颜方法。所述美颜方法由电子设备执行。在一些实现方式中，电子设备可以为手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、手持计算机、上网本、个人数字助理(Personal Digital Assistant，PDA)、可穿戴电子设备、智能手表等设备。
电子设备以手机为例，图7所示为与本申请实施例相关的手机的部分结构，包括：处理器110，天线1，天线2，移动通信模块120，无线通信模块130，音频模块140，摄像头150，显示屏160等。
可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用输入输出(general-purpose input/output，GPIO)接口等。
在一些实施例中，GPIO接口可以用于连接处理器110与无线通信模块130，音频模块140等。
I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块140耦合，实现处理器110与音频模块140之间的通信。在一些实施例中，音频模块140可以通过I2S接口向无线通信模块130传递音频信号，实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块140与无线通信模块130可以通过PCM总线接口耦合。在一些实施例中，音频模块140也可以通过PCM接口向无线通信模块130传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备的结构限定。在本申请另一些实施例中，电子设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。移动通信模块120可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。
无线通信模块130可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。
音频模块140用于将模拟音频输入转换为数字音频信号。音频模块140还可以用于对音频信号编码和解码。在一些实施例中，音频模块140可以设置于处理器110中，或将音频模块140的部分功能模块设置于处理器110中。
扬声器140A也称为“喇叭”，用于输出音频信号。麦克风140B，也称“话筒”，“传声器”，用于将声音信号转换为电信号。
在电子设备通过以上方式获取声音信号后，通过处理器110的上述接口，将声音信号传输至处理器110，处理器110对声音信号进行以下实施例中所述的噪声消除处理。
摄像头150用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备可以包括1个或N个摄像头150，N为大于1的正整数。
显示屏160用于显示图像，视频等。显示屏160包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oled，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏160，N为大于1的正整数。
在本申请的实施例中，在用户使用相机拍摄以及视频通话等场景下，摄像头被控制开启并采集数据，采集的数据可以被传输至ISP和/或GPU等处理单元进行美颜处理，并通过显示屏输出美颜处理结果。
处理器110通过运行程序代码，实现的操作系统可以为iOS操作系统、Android开源操作系统、Windows操作系统等。
图8所示为电子设备中运行的操作系统的软件框架示例，以Android开源操作系统为例，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。如图8所示，应用程序包可以包括相机，图库，日历，通话，地图，导航等应用程序。例如，在本申请实施例中，应用程序包还可以包括美颜应用程序，提供美颜功能。可以理解的是，前述美颜装置可以以应用程序的形式设置在应用层程序层，并且可以集成在图库或相机应用程序中，也可以单独设置。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。以图8为例，应用程序框架层可以包括窗口管理器，内容提供器，视图系统。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，二维图形引擎(例如：SGL)等。
内核层是硬件和软件之间的层。在本申请的应用场景中，内核层至少包含显示驱动以及摄像头驱动。
需要说明的是，本申请实施例虽然以Android系统为例进行说明，但是其基本原理同样适用于基于iOS或Windows等操作系统的电子设备。
基于上述硬件结构以及软件框架，本申请实施例提供的美颜方法的应用场景包括但不限于摄像头采集到图像的场景。可以理解的是，在用户开启电子设备的相机(如预览)、使用电子设备的相机拍照、录制视频、以及实时视频通话等场景下，在用户对相机等应用程序进行操作后，应用程序通过应用程序框架层以及系统库的相应模块，向内核层的摄像头驱动传输指令，摄像头驱动控制摄像头开启且采集图像。这里不再赘述应用程序与应用程序框架层、系统库以及摄像头驱动之间的数据交互流程。
如图9所示，本申请实施例提供的美颜方法包括以下步骤：
S1、响应于摄像头采集到图像，判断美颜功能是否开启。
在一些实现方式中，本实施例中所述的美颜功能包括美肤功能和美妆功能，可以分别判断美肤功能和美妆功能是否开启。
结合图1所示，如果美颜控件A1处于关闭状态，则判定美颜功能没有被开启，即美肤功能和美妆功能均未被开启。
结合图1以及图2所示，可以在美颜功能配置控件中新增美妆控件(图中未画出)。通过对美妆控件的开启或关闭状态的检测，判断美妆功能的开启或关闭。在此情况下，可以分别对美肤控件11和/或美妆控件的状态的控制，实现对美肤功能以及美妆功能的开启或关闭。美妆控件的具体形态不做限定。
在另一些实现方式中，本实施例中所述的美颜功能仅包括美妆功能，而不包括美肤功能。控件的设计可以参见仅包括美肤功能的美颜功能的控件设置，这里不再赘述。
在美肤功能开启的情况下，执行S2。在美肤功能未开启并且美妆功能开启的情况下，执行S3。
S2、基于已配置的美肤参数，对相机采集的图像进行美肤处理。
美肤处理的具体流程这里不再赘述。
S3、基于美妆装置，对待处理的图像进行美妆处理。
可以理解的是，在执行S2的情况下，待处理的图像为美肤处理的结果，在不执行S2的情况下，待处理的图像为相机采集的图像，或者图库中已存储的图像(可以非手机的相机采集)。
结合图3所示的美妆装置，对图像进行美妆处理的流程如图10所示，包括以下步骤：
S31、面部检测模块1对图像进行面部检测，得到面部区域后，将面部区域传输至光照估计模块2以及SVBRDF估计模块4。
可以理解的是，图像由摄像头采集并基于图8所示的框架传输至面部检测模块1。
S32、光照估计模块2对面部区域进行光照估计，得到光照参数，并将光照参数传输至妆容确定模块3。
光照参数的示例为前述光照参数，包括但不限于光照颜色、光照强度以及光照方向。可以理解的是，光照参数能够表征成像为面部区域的真实面部所处的光照场景。
S33、妆容确定模块3基于光照参数确定妆容类型参数后，将妆容类型参数向自适应匹配模块5传输。
S34、SVBRDF估计模块4对面部区域进行SVBRDF估计，得到面部材质参数后，向自适应匹配模块5传输面部材质参数。
可选的，SVBRDF估计模块4还可以依据用户选择的化妆品的信息，得到化妆品的材质参数并向自适应匹配模块5传输。
S35、自适应匹配模块5基于妆容类型对应的妆容参数和材质参数(还可以包括化妆品的材质参数)，进行基于UV空间的融合，得到妆容贴图，并向真实感渲染模块6传输妆容贴图。
S36、真实感渲染模块6对妆容贴图进行真实感渲染，得到带妆面部区域后，向贴图模块7传输带妆面部区域。
S37、贴图模块7将带妆面部区域贴回原图像，得到美妆处理结果。
需要说明的是，图10所示的流程中各个模块的具体处理方式可参见对图3所示的各个模块的功能的说明，这里不再赘述。
本实施例所述的美颜方法，具有对面部进行美妆处理的流程，所以能够输出面部的带妆效果图像。并且，一方面，因为将光照信息作为妆容类型的确定依据，所以能够依据面部所处环境的光线提供妆容，使得美妆效果与面部所处的真实环境更加贴合，并为不同的光照环境能够提供不同的美妆效果。另一方面，因为在UV空间对妆容参数加载面部皮肤的材质参数，所以能够使得最终的妆容更贴合面部区域。再一方面，因为提供了像素或者区域级别的皮肤材质参数，所以使得最终的妆容具有更加细致的效果。
并且，能够将美肤功能与美妆功能相结合得到美颜结果，从而满足用户多方面的美颜需求。

Claims (10)

1.一种美颜方法，其特征在于，应用于电子设备，所述方法包括：
对待处理的图像的面部区域进行光照估计，得到光照参数，所述光照参数表征真实面部所处的光照场景，所述面部区域由所述真实面部成像得到；
基于所述光照参数获取妆容类型参数；
至少将所述妆容类型参数作用于所述面部区域，得到妆容贴图；
基于所述妆容贴图以及所述图像，得到美妆结果。
2.根据权利要求1所述的方法，其特征在于，所述光照参数包括光照颜色以及光照强度；
所述基于所述光照参数获取妆容类型参数，包括：
确定与所述光照颜色对应的妆容颜色类型；
基于所述光照强度确定所述妆容颜色类型的浓淡程度；
基于所述妆容颜色类型和所述浓淡程度，得到所述妆容类型参数。
3.根据权利要求1或2所述的方法，其特征在于，所述至少将所述妆容类型参数作用于所述面部区域，得到妆容贴图，包括：
将所述妆容类型参数以及面部材质参数作用于所述面部区域，得到所述妆容贴图，所述面部材质参数通过对所述面部区域进行逐像素点或逐区域进行面部材质估计得到。
4.根据权利要求3所述的方法，其特征在于，所述面部材质参数包括：
几何信息、基础反射率、粗糙度以及高光反射率的至少一项。
5.根据权利要求3或4所述的方法，其特征在于，所述将所述妆容类型参数以及面部材质参数作用于所述面部区域，得到所述妆容贴图，包括：
将所述妆容类型参数映射至UV空间，得到UV妆容类型参数；
将所述面部材质参数映射至UV空间，得到UV面部材质参数；
将所述UV妆容类型参数和所述UV面部材质参数进行融合，得到妆容融合结果；
将所述妆容融合结果进行UV空间逆映射，得到所述妆容贴图。
6.根据权利要求3-5任一项所述的方法，其特征在于，所述基于所述妆容贴图以及所述图像，得到美妆结果，包括：
将所述妆容贴图进行真实感渲染，得到带妆面部区域；
将所述带妆面部区域贴回所述图像，得到所述美妆结果。
7.根据权利要求6所述的方法，其特征在于，所述将所述妆容贴图进行真实感渲染，包括：
将所述妆容贴图进行基于次表面散射和高光反射的渲染。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
对所述图像进行美肤处理，得到美肤结果；
所述待处理的图像包括所述美肤结果。
9.一种电子设备，其特征在于，处理器和存储器；
所述存储器用于存储应用程序，所述处理器用于运行所述应用程序，以实现权利要求1-8任一项所述的美颜方法。
10.一种计算机可读存储介质，其上存储有程序，其特征在于，在计算机设备运行所述程序时，实现权利要求1-8任一项所述的美颜方法。
CN202210628194.4A 2022-06-06 2022-06-06 美颜方法及装置 Active CN115239575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210628194.4A CN115239575B (zh) 2022-06-06 2022-06-06 美颜方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210628194.4A CN115239575B (zh) 2022-06-06 2022-06-06 美颜方法及装置

Publications (2)

Publication Number Publication Date
CN115239575A true CN115239575A (zh) 2022-10-25
CN115239575B CN115239575B (zh) 2023-10-27

Family

ID=83670296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210628194.4A Active CN115239575B (zh) 2022-06-06 2022-06-06 美颜方法及装置

Country Status (1)

Country Link
CN (1) CN115239575B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107705245A (zh) * 2017-10-13 2018-02-16 北京小米移动软件有限公司 图像处理方法及装置
CN110120053A (zh) * 2019-05-15 2019-08-13 北京市商汤科技开发有限公司 脸部妆容处理方法、装置及设备
CN111729321A (zh) * 2020-05-07 2020-10-02 完美世界(重庆)互动科技有限公司 构造个性化角色的方法、系统、存储介质以及计算设备
CN111861632A (zh) * 2020-06-05 2020-10-30 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备及可读存储介质
WO2021139408A1 (zh) * 2020-01-07 2021-07-15 北京字节跳动网络技术有限公司 显示特效的方法、装置、存储介质及电子设备
CN113453027A (zh) * 2020-03-27 2021-09-28 阿里巴巴集团控股有限公司 直播视频、虚拟上妆的图像处理方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107705245A (zh) * 2017-10-13 2018-02-16 北京小米移动软件有限公司 图像处理方法及装置
CN110120053A (zh) * 2019-05-15 2019-08-13 北京市商汤科技开发有限公司 脸部妆容处理方法、装置及设备
WO2021139408A1 (zh) * 2020-01-07 2021-07-15 北京字节跳动网络技术有限公司 显示特效的方法、装置、存储介质及电子设备
CN113453027A (zh) * 2020-03-27 2021-09-28 阿里巴巴集团控股有限公司 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN111729321A (zh) * 2020-05-07 2020-10-02 完美世界(重庆)互动科技有限公司 构造个性化角色的方法、系统、存储介质以及计算设备
CN111861632A (zh) * 2020-06-05 2020-10-30 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOYONG LIN 等: "FaceColor: A Face Beauty Recogonition Model Based on Convolutional Neural Networks", 2019 6TH INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND CONTROL ENGINEERING (ICISCE) *
陈云鹏 等: "人物摄影图片的智能美化系统设计", 电脑与信息技术 *

Also Published As

Publication number Publication date
CN115239575B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN111327814A (zh) 一种图像处理的方法及电子设备
WO2020102978A1 (zh) 图像处理方法及电子设备
WO2021057277A1 (zh) 一种暗光下拍照的方法及电子设备
US11070717B2 (en) Context-aware image filtering
CN112887582A (zh) 一种图像色彩处理方法、装置及相关设备
WO2021078001A1 (zh) 一种图像增强方法及装置
CN113963659A (zh) 显示设备的调整方法及显示设备
CN115272138B (zh) 图像处理方法及其相关设备
WO2018076167A1 (zh) 适用于无人机控制端的屏幕亮度调整方法及无人机控制端
CN114640783B (zh) 一种拍照方法及相关设备
CN112348937A (zh) 人脸图像处理方法及电子设备
WO2024007715A1 (zh) 一种拍摄方法及相关设备
CN111109959A (zh) 智能化妆镜及其控制方法和控制器、存储介质
CN115242983A (zh) 拍摄方法、电子设备、计算机程序产品及可读存储介质
CN117499779B (zh) 一种图像预览方法、设备以及存储介质
WO2021180046A1 (zh) 图像留色方法及设备
CN115239575B (zh) 美颜方法及装置
CN113891008B (zh) 一种曝光强度调节方法及相关设备
CN114693538A (zh) 一种图像处理方法及装置
CN115546041B (zh) 补光模型的训练方法、图像处理方法及其相关设备
CN117201930B (zh) 一种拍照方法和电子设备
CN116245741B (zh) 图像处理方法及其相关设备
CN115988339B (zh) 图像处理方法、电子设备、存储介质及程序产品
WO2023010913A1 (zh) 一种图像处理方法及电子设备
CN116723417B (zh) 一种图像处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant