CN113470160B - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113470160B CN113470160B CN202110571191.7A CN202110571191A CN113470160B CN 113470160 B CN113470160 B CN 113470160B CN 202110571191 A CN202110571191 A CN 202110571191A CN 113470160 B CN113470160 B CN 113470160B
- Authority
- CN
- China
- Prior art keywords
- information
- image
- lip
- liquid layer
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 239000007788 liquid Substances 0.000 claims abstract description 242
- 238000012545 processing Methods 0.000 claims abstract description 47
- 239000002537 cosmetic Substances 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000009877 rendering Methods 0.000 claims abstract description 26
- 238000011282 treatment Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 167
- 238000005034 decoration Methods 0.000 claims description 49
- 238000002310 reflectometry Methods 0.000 claims description 40
- 230000002457 bidirectional effect Effects 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 37
- 239000011248 coating agent Substances 0.000 abstract description 4
- 238000000576 coating method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 8
- 230000003796 beauty Effects 0.000 description 5
- 238000005315 distribution function Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003020 moisturizing effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000009736 wetting Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004381 surface treatment Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 235000012907 honey Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011344 liquid material Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
本公开关于一种图像处理方法、装置、电子设备及存储介质。该方法包括：获取人脸图像以及与所述人脸图像对应的基础唇妆的漫反射图像、预设液体层的物理参数信息和预设物理环境信息；根据预设液体层的物理参数信息和预设物理环境信息，对所述预设液体层进行镜面反射处理，得到液体层图像；根据预设液体层的物理参数信息，确定光线在预设液体层的折射信息；基于折射信息和漫反射图像，获取基础唇妆层图像；将所述液体层图像和所述基础唇妆层图像渲染在所述人脸图像的唇部上，得到目标人脸图像。根据本公开提供的技术方案，可以实现基于物理参数模拟唇部上基础唇妆与预设液体的叠涂效果，实现了唇部的三维美妆效果，唇部效果更加逼真。
Description
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
现在美妆越来越受欢迎，相应地，美妆处理技术也备受关注，特别是唇妆处理比较受青睐。相关技术中，一般采用二维唇妆技术结合图像处理技术实现唇部美妆处理，例如利用嘴唇遮罩分割嘴唇区域，可根据用户真实底图自动计算而生成高光纹理图，高光的实现通过遮罩区域统计底图亮度分布情况，也就是计算出亮度直方图，然后试验求出分段函数并结合抑制因子，利用高斯模糊矩阵进行图像后处理操作得到高光贴图，最后将高光贴图叠加到基础唇妆上面。这种方式计算量较高，在图像后处理阶段需要执行多次高斯模糊操作，性能开销较大；得到的高光效果不连续，流动性差，高光会发生瞬移或者突变，不够自然；高光效果跟真实物理上的高光效果差距较大，从视觉层面看上去显得不够真实。
相关技术中，还采用基于物理渲染方案实现唇部美妆处理，认为嘴唇是一个具有一定粗糙度的非金属材质对象，然后利用反射方程进行渲染。反射方程需要考虑双向反射分布函数，该函数由微平面法向分布函数、几何函数、菲涅尔方程构成。这种处理方式未从水润唇的产生原理出发，只考虑了嘴唇表面的物理性质，忽略了透明液体带来的影响。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中如何提高唇部美妆效果的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取人脸图像以及与所述人脸图像对应的基础唇妆的漫反射图像、预设液体层的物理参数信息和预设物理环境信息；其中，所述基础唇妆为在所述预设液体层之前涂抹在唇部的唇妆；所述预设物理环境信息用于表征环境中视线和光线的信息；
根据所述预设液体层的物理参数信息和所述预设物理环境信息，对所述预设液体层进行镜面反射处理，得到液体层图像；
根据所述预设液体层的物理参数信息，确定所述光线在所述预设液体层的折射信息；
基于所述折射信息和所述漫反射图像，获取基础唇妆层图像；
将所述液体层图像和所述基础唇妆层图像渲染在所述人脸图像的唇部上，得到目标人脸图像。
在一种可能的实现方式中，所述预设液体层的物理参数信息包括所述预设液体层的基础反射率、光滑度信息和法线贴图；所述预设物理环境信息包括预设视线信息和预设光线信息；所述根据所述预设液体层的物理参数信息和所述预设物理环境信息，对所述预设液体层进行镜面反射处理，得到液体层图像步骤包括：
基于所述法线贴图，获取唇部法向量信息；
基于所述唇部法向量信息、所述预设视线信息和所述基础反射率，确定所述预设液体层的反射率，其中所述基础反射率是指所述预设液体层的反射率下限，所述预设液体层的反射率是指所述光线在所述预设液体层被反射的比率；
根据所述唇部法向量信息、所述反射率、所述光滑度信息、所述预设视线信息和所述预设光线信息，对所述预设液体层进行镜面反射处理，得到所述液体层图像。
在一种可能的实现方式中，所述根据所述唇部法向量信息、所述反射率、所述光滑度信息、所述预设视线信息和所述预设光线信息，对所述预设液体层进行镜面反射处理，得到所述液体层图像步骤包括：
基于所述唇部法向量信息、所述预设视线信息、所述光滑度信息和所述预设光线信息，获取所述预设液体层的第一双向反射分布信息；
根据所述反射率和所述第一双向反射分布信息，获取所述液体层图像。
在一种可能的实现方式中，所述预设液体层的物理参数信息还包括所述预设液体层的厚度贴图；所述根据所述预设液体层的物理参数信息，确定光线在所述预设液体层的折射信息步骤包括：
根据所述反射率，获取所述液体层的折射率；
基于所述厚度贴图，确定光线衰减信息；
根据所述折射率和所述光线衰减信息，确定所述折射信息。
在一种可能的实现方式中，所述基于所述折射信息和所述漫反射图像，获取基础唇妆层图像步骤包括：
基于所述漫反射图像，获取所述基础唇妆的第二双向反射分布信息；
根据所述折射信息和所述第二双向反射分布信息，获取所述基础唇妆层图像。
在一种可能的实现方式中，所述获取与所述人脸图像对应的基础唇妆的漫反射图像步骤包括：
生成与所述人脸图像对应的人脸模型；
为所述人脸模型中的唇部添加基础唇妆，得到所述基础唇妆的漫反射图像。
在一种可能的实现方式中，所述方法还包括：
获取所述人脸模型的法向量和切向量；
所述基于所述法线贴图，获取唇部法向量信息步骤包括：
将所述法向量和所述切向量相乘，得到中间向量；
将所述法向量、所述切向量和所述中间向量组成向量矩阵；
从所述法线贴图中提取法线分布向量；
对所述法线分布向量和所述向量矩阵进行相乘处理，得到所述唇部法向量信息。
在一种可能的实现方式中，在所述基于所述折射信息和所述漫反射图像，获取基础唇妆层图像步骤之后，所述方法还包括：
获取唇部装饰分布信息和唇部装饰强度信息；
根据所述唇部装饰分布信息和唇部装饰强度信息，获取唇部装饰图像；
所述将所述液体层图像和所述基础唇妆层图像渲染在所述人脸图像的唇部上，得到目标人脸图像步骤包括：
将所述唇部装饰图像、所述液体层图像和所述基础唇妆层图像渲染在所述人脸图像的唇部上，得到所述目标人脸图像。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
漫反射图像和物理参数获取模块，被配置为执行获取人脸图像以及与所述人脸图像对应的基础唇妆的漫反射图像、预设液体层的物理参数信息和预设物理环境信息；其中，所述基础唇妆为在所述预设液体层之前涂抹在唇部的唇妆；所述预设物理环境信息用于表征环境中视线和光线的信息；
液体层图像获取模块，被配置为执行根据所述预设液体层的物理参数信息和所述预设物理环境信息，对所述预设液体层进行镜面反射处理，得到液体层图像；
折射信息确定模块，被配置为执行根据所述预设液体层的物理参数信息，确定所述光线在所述预设液体层的折射信息；
基础唇妆层图像获取模块，被配置为执行基于所述折射信息和所述漫反射图像，获取基础唇妆层图像；
图像渲染模块，被配置为执行将所述液体层图像和所述基础唇妆层图像渲染在所述人脸图像的唇部上，得到目标人脸图像。
在一种可能的实现方式中，所述预设液体层的物理参数信息包括所述预设液体层的基础反射率、光滑度信息和法线贴图；所述预设物理环境信息包括预设视线信息和预设光线信息；所述液体层图像获取模块包括：
唇部法向量信息获取单元，被配置为执行基于所述法线贴图，获取唇部法向量信息；
反射率确定单元，被配置为执行基于所述唇部法向量信息、所述预设视线信息和所述基础反射率，确定所述预设液体层的反射率，其中所述基础反射率是指所述预设液体层的反射率下限，所述预设液体层的反射率是指所述光线在所述预设液体层被反射的比率；
液体层图像获取单元，被配置为执行根据所述唇部法向量信息、所述反射率、所述光滑度信息、所述预设视线信息和所述预设光线信息，对所述预设液体层进行镜面反射处理，得到所述液体层图像。
在一种可能的实现方式中，所述液体层图像获取单元包括：
第一双向反射分布信息获取子单元，被配置为执行基于所述唇部法向量信息、所述预设视线信息、所述光滑度信息和所述预设光线信息，获取所述预设液体层的第一双向反射分布信息；
液体层图像获取子单元，被配置为执行根据所述反射率和所述第一双向反射分布信息，获取所述液体层图像。
在一种可能的实现方式中，所述折射信息确定模块包括：
折射率获取单元，被配置为执行根据所述反射率，获取所述液体层的折射率；
光线衰减信息确定单元，被配置为执行基于所述厚度贴图，确定光线衰减信息；
折射信息确定单元，被配置为执行根据所述折射率和所述光线衰减信息，确定所述折射信息。
在一种可能的实现方式中，所述基础唇妆层图像获取模块包括：
第二双向反射分布信息获取单元，被配置为执行基于所述漫反射图像，获取所述基础唇妆的第二双向反射分布信息；
基础唇妆层图像获取单元，被配置为执行根据所述折射信息和所述第二双向反射分布信息，获取所述基础唇妆层图像。
在一种可能的实现方式中，所述漫反射图像和物理参数获取模块包括：
人脸模型生成单元，被配置为执行生成与所述人脸图像对应的人脸模型；
漫反射图像获取单元，被配置为执行为所述人脸模型中的唇部添加基础唇妆，得到所述基础唇妆的漫反射图像。
在一种可能的实现方式中，所述装置还包括：
法向量和切向量获取模块，被配置为执行获取所述人脸模型的法向量和切向量；
所述唇部法向量信息获取单元包括：
中间向量获取子单元，被配置为执行将所述法向量和所述切向量相乘，得到中间向量；
向量矩阵获取子单元，被配置为执行将所述法向量、所述切向量和所述中间向量组成向量矩阵；
法线分布向量获取子单元，被配置为执行从所述法线贴图中提取法线分布向量；
唇部法向量信息获取子单元，被配置为执行对所述法线分布向量和所述向量矩阵进行相乘处理，得到所述唇部法向量信息。
在一种可能的实现方式中，所述装置还包括：
唇部装饰信息获取模块，被配置为执行获取唇部装饰分布信息和唇部装饰强度信息；
唇部装饰图像获取模块，被配置为执行根据所述唇部装饰分布信息和唇部装饰强度信息，获取唇部装饰图像；
所述图像渲染模块包括：
图像渲染单元，被配置为执行将所述唇部装饰图像、所述液体层图像和所述基础唇妆层图像渲染在所述人脸图像的唇部上，得到所述目标人脸图像。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一所述方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时，使得计算机执行本公开实施例的第一方面中任一项所述方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过将唇部美颜划分为基础唇妆层和预设液体层，并基于预设液体层的镜面反射和折射，以及基础唇妆层的漫反射，通过物理参数模拟唇部上基础唇妆与预设液体叠涂的效果，实现了对唇部的三维美妆效果，使得人脸图像中的唇部效果更加逼真，例如，可以得到逼真的水润唇效果；同时降低了图像处理的复杂度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用环境的示意图。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。
图3是根据一示例性实施例示出的一种唇部漫反射材质图。
图4是根据一示例性实施例示出的一种预设液体层的反射、折射以及基础唇妆层的漫反射示意图。
图5是根据一示例性实施例示出的一种根据预设液体层的物理参数信息和预设物理环境信息，对预设液体层进行镜面反射处理，得到液体层图像的方法流程图。
图6是根据一示例性实施例示出的一种法线贴图的示意图。
图7是根据一示例性实施例示出的一种根据预设液体层的物理参数信息，确定折射信息的方法流程图。
图8是根据一示例性实施例示出的一种厚度贴图的示意图。
图9是根据一示例性实施例示出的一种图像处理方法的流程图。
图10是根据一示例性实施例示出的一种图像处理装置框图。
图11是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。
图12是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器01和终端02。
在一个可选的实施例中，服务器01可以用于图像处理。具体的，服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个可选的实施例中，终端02可以用于提供面向用户的图像处理，该图像处理可以通过应用程序或网页形式提供，本公开对此不作限定。具体的，终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外，需要说明的是，图1所示的仅仅是本公开提供的图像处理方法的一种应用环境。例如，也可以是终端02结合服务器01实现，终端02可以采集人脸图像后发送至服务器01，由服务器01获取基础唇妆层图像和液体层图像，并发送至终端02，使得终端02可以将所述液体层图像和所述基础唇妆层图像渲染在所述人脸图像的唇部上
本说明书实施例中，上述服务器01以及终端02可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。如图2所示，可以包括以下步骤。
在步骤S201中，获取人脸图像以及与人脸图像对应的基础唇妆的漫反射图像、预设液体层的物理参数信息和预设物理环境信息；其中，基础唇妆为在预设液体层之前涂抹在唇部的唇妆；预设物理环境信息用于表征环境中视线和光线的信息。
实际应用中，可以通过终端采集人脸图像。在一个示例中，可以是在一个具有美颜功能的应用程序中，当用户打开该应用程序时，可以选择一个美颜效果，此时，终端可以采集人脸图像，以用于在人脸图像上添加美颜效果，该美颜效果可以是水润唇效果。该人脸图像可以是该用户的人脸图像。
本说明书实施例中，预设液体可以是指能够覆盖在基础唇妆上面以对唇部进行美颜的液体，比如唇釉、唇彩和唇蜜等，其中，唇釉可以包括透明唇釉和有颜色的唇釉，本公开对此均不作限定。基础唇妆可以是指在唇部涂抹口红的唇妆。本公开为了更好的模拟唇部的美颜效果，将唇部的妆容分为基础唇妆和叠加在基础唇妆上面的预设液体两个部分，对应的，可以分为基础唇妆层和预设液体层。
实际应用中，可以为人脸图像添加基础唇妆，例如添加口红，可以利用相机(终端的摄像头)捕捉人脸图像中添加基础唇妆后的唇部图像，该唇部图像不是一张标准的反射率材质图，因为该唇部图像已经包含了所处环境的光照和阴影信息，如图3所示，唇部已经被周围环境打上了光。因此可以将该唇部图像作为人脸图像对应的基础唇妆的漫反射图像。预设物理环境信息可以包括视线信息、光线信息等；预设液体层的物理参数信息可以包括反射信息、折射信息、粗糙度信息(光滑度信息)等。本公开对这些均不作限定，只要能够满足模拟唇部的美颜效果即可。在一个示例中，可以是实现水润唇效果的图像处理，相应地，预设液体可以是指透明唇釉。可以获取预设液体层的物理参数信息和预设物理环境信息以用于后续图像处理。
可选地，S201中获取与人脸图像对应的基础唇妆的漫反射图像步骤可以包括以下步骤：
生成与人脸图像对应的人脸模型；
为人脸模型中的唇部添加基础唇妆，得到基础唇妆的漫反射图像。
实际应用中，终端在采集到待美颜的人脸图像后，可以生成与人脸图像对应的人脸模型，以用于美颜处理。该人脸模型可以是三角网格模型，本公开对此不作限定。从而可以在人脸模型中的唇部上添加基础唇妆，进而可以获取该基础唇妆的漫反射图像。这种通过人脸模型进行基础唇妆添加处理以获取漫反射图像的方式，可以提高基础唇妆添加的精准性和获取更加真实的漫反射图像，从而可以保证唇部美妆的模拟效果更真实。
在步骤S203中，根据预设液体层的物理参数信息和预设物理环境信息，对预设液体层进行镜面反射处理，得到液体层图像；
在步骤S205中，根据预设液体层的物理参数信息，确定光线在预设液体层的折射信息；
在步骤S207中，基于折射信息和漫反射图像，获取基础唇妆层图像；
在步骤S209中，将液体层图像和基础唇妆层图像渲染在人脸图像的唇部上，得到目标人脸图像。
本说明书实施例中，为了模拟透明唇釉与基础唇妆的叠涂以实现水润唇的模拟效果，构建了一个双层材质结构，底层可以是基础唇妆，也就是漫反射材质；上层是薄薄的液体材质，也就是光滑的镜面反射材质。其中，每一层采用物理参数进行模拟和渲染，两层之间通过折射进行交互影响，从而可以保证模拟和渲染的真实性，实现真实物理层面上的模拟。
基于上述的构建，可以预先设置预设液体层的物理参数信息和预设物理环境信息，这些预先设置的预设液体层的物理参数信息可以用于模拟预设液体层的材质、对光线的反射和折射等信息；预设物理环境信息可以用于模拟环境信息，比如光线、视线信息。本公开对这些均不作限定，只要能够有效模拟两层材质的唇部美妆效果即可。
以预设液体层为透明唇釉层为例，由于透明唇釉层位于基础唇妆层的上面，光会首先接触到透明唇釉层，而且透明唇釉是液体，当光打在液体上面时将会发生反射和折射现象。透明唇釉可认为是绝对光滑的材质，因此在透明唇釉层的反射部分只会以镜面反射现象存在。另一部分光将会穿过透明唇釉层，此时光将会发生折射，折射部分的光在与基础唇妆层发生交互。基础唇妆层可认为是表面粗糙的漫反射材质，当入射光线射到粗糙的表面时，粗糙的表面会把光线向着各个方向反射，由于粗糙的表面上的各点的法线方向不一致，造成反射光线向不同的方向无规则地反射，形成漫反射。这里的反射、折射和漫反射可以参见图4所示。因此，可以根据预设液体层的物理参数信息和预设物理环境信息，对预设液体层进行镜面反射处理，得到液体层图像，该液体层图像可以表征该液体(透明唇釉)叠涂到基础唇妆上形成的高光效果。并可以根据预设液体层的物理参数信息，确定光线在预设液体层的折射信息；基于折射信息和漫反射图像，获取基础唇妆层图像；以及可以将液体层图像和基础唇妆层图像渲染在人脸图像的唇部上，例如可以将液体层图像和基础唇妆层图像叠加渲染在人脸图像的唇部上，实现唇部的美颜处理，例如实现唇部的水润唇美颜处理。其中，在渲染时，可以依次将基础唇妆层图像和液体层图像叠加在人脸图像的唇部上，液体层图像在基础唇妆层图像上，也就是说，液体层图像叠加在基础唇妆层图像上展示，即展示目标人脸图像，得到了人脸图像中唇部的美颜效果。
在一个示例中，对于上述的镜面反射处理、折射信息的确定、漫反射处理，可以通过菲涅尔公式进行模拟，本公开对此不作限定。
通过将唇部美颜划分为基础唇妆层和预设液体层，并基于预设液体层的镜面反射和折射，以及基础唇妆层的漫反射，通过物理参数模拟唇部上基础唇妆与预设液体叠涂的效果，实现了对唇部的三维美妆效果，使得人脸图像中的唇部处理更加逼真，例如，可以得到逼真的水润唇效果，同时降低了图像处理的复杂度。
图5是根据一示例性实施例示出的一种根据预设液体层的物理参数信息和预设物理环境信息，对预设液体层进行镜面反射处理，得到液体层图像的方法流程图。在一种可能的实现方式中，该预设液体层的物理参数信息可以包括预设液体层的基础反射率、光滑度信息和法线贴图；预设物理环境信息可以包括预设视线信息和预设光线信息。如图5所示，所述S203可以包括：
在步骤S501中，基于法线贴图，获取唇部法向量信息。
实际应用中，可以基于法线贴图，如图6所示，获取唇部法向量信息。其中，法线贴图可以表征唇部各像素点对应的法线。所述唇部法向量信息可以用于表征唇部各像素点的法向量分布信息。在一个示例中，在将唇部划分为多个小三角形时，即利用多个小三角形表示唇部时，可以获取每个小三角形所在的平面，每个小三角形的法向量可以垂直每个小三角形、并指向远离唇部表面的方向，从而可以将多个小三角形的法向量形成法向量分布信息，即得到唇部法向量信息。这样的话，在细化到每个像素点时，就可以利用每个小三角形的法向量表征每个小三角形中像素点的法向量。
在一个示例中，该图像处理方法还可以包括：获取人脸模型的法向量和切向量；相应地，该S501可以包括：根据法线贴图、人脸模型的法向量和切向量，获取唇部法向量信息。作为一个示例，可以根据以下步骤获取唇部法向量信息：
将法向量和切向量相乘，得到中间向量；
将法向量、切向量和中间向量组成向量矩阵，该向量矩阵可以是切空间中的TBN(Tagent，Bitangent，normal；切线，副切线，法线)矩阵；
从法线贴图中提取法线分布向量；
对法线分布向量和向量矩阵进行相乘处理，得到唇部法向量信息。
本说明书实施例中，可以依据人脸模型的法向量，获取人脸模型的切向量，例如可以将人脸模型的法向量与人脸模型的纹理坐标的和作为人脸模型的切向量。其中，在人脸模型为三角网格模型时，人脸模型的纹理坐标可以是指三角网格顶点的纹理坐标。其中，人脸模型的法向量和切向量可以是指人脸模型中唇部表面的法向量和唇部表面的切向量，唇部表面的法向量与唇部表面的切向量可以垂直，并在唇部表面所在的平面上。通过结合法线贴图、人脸模型的法向量和切向量，获取唇部法向量信息，可以提高唇部法向量信息的准确性。
在步骤S503中，基于唇部法向量信息、预设视线信息和基础反射率，确定预设液体层的反射率。
在一个示例中，预设液体层的反射率KS(n，v，f0)可以通过以下公式(1)实现：
KS(n，v，f0)＝f0+(1-f0)·(1-(n+v)·v)5 (1)
其中，n可以为法向量信息；v可以为预设视线信息；f0可以为基础反射率，可以是指预设液体层的反射率下限，即f0可以指反射率下限，可以为0.04；KS可以是指光线在预设液体层被反射的比率，可以是指通过菲涅尔方程得到的光线在预设液体层被反射的百分比；“·”可以为点乘。
在步骤S505中，根据唇部法向量信息、反射率、光滑度信息、预设视线信息和预设光线信息，对预设液体层进行镜面反射处理，得到液体层图像；
实际应用中，可以根据唇部法向量信息、反射率、光滑度信息、预设视线信息和预设光线信息，对预设液体层进行镜面反射处理，即进行镜面反射模拟，得到液体层图像。
在一个示例中，可以利用双向反射分布函数来模拟预设液体层的反射，基于此，该步骤S505可以包括：基于唇部法向量信息、预设视线信息、光滑度信息和预设光线信息，获取预设液体层的第一双向反射分布信息；根据反射率和第一双向反射分布信息，获取液体层图像。例如，可以通过以下公式(2)～(6)获取液体层图像P1。
P1＝KSf1 (2)
其中，f1可以为第一双向反射分布信息；KS可以为预设液体层的反射率；n可以为法向量信息；v可以为预设视线信息；l可以为预设光线信息；α可以为光滑度信息；“·”为点乘；“*”为乘法。上述n、v、l、α可以为单位向量，l的方向可以为垂直并指向终端屏幕的方向；v可以是相机原点至屏幕的向量。这里的向量可以是相对于终端中相机坐标系的向量。通过双向反射分布函数来模拟预设液体层的反射以获取液体层图像，使得液体层图像更加真实，提高了美妆视觉效果。
需要说明的是，预设液体层越厚，对应预设液体层的光滑信息表征越光滑。实际应用中，唇部边缘区域的预设液体较薄，使得唇部边缘不够光滑，而本说明书实施例中将预设液体层作为光滑表面处理的，基于此，可以在唇部边缘区域进行光滑度插值处理以使唇部边缘的光滑度可以满足光滑表面处理的要求。本公开对光滑度插值处理方式不作限定，只要使得唇部边缘的光滑度可以满足光滑表面处理的要求、且光滑度为平滑过渡即可。
通过根据唇部法向量信息、预设视线信息和基础反射率，确定预设液体层的反射率；并根据唇部法向量信息、反射率、光滑度信息、预设视线信息和预设光线信息，对预设液体层进行镜面反射处理，得到液体层图像。通过对物理参数的充分模拟，使得液体层图像较为真实，水润反射高光效果较佳。
图7是根据一示例性实施例示出的一种根据预设液体层的物理参数信息，确定折射信息的方法流程图。在一种可能的实现方式中，预设液体层的物理参数信息还可以包括预设液体层的厚度贴图，如图8所示。该厚度贴图可以是指预设液体层在唇部各像素点的厚度分布图。
如图7所示，该步骤S205可以包括以下步骤：
在步骤S701中，根据反射率，获取液体层的折射率。
本说明书实施例中，可以根据反射率KS，获取液体层的折射率Kt，例如可以通过下面公式(7)获取液体层的折射率Kt:
Kt＝1-KS (7)
其中，KS可以为反射率。
在步骤S703中，基于厚度贴图，确定光线衰减信息。
其中，光线衰减信息可以表征唇部各像素点对应的从预设液体层折射至基础唇妆层的光线的衰减程度。
实际应用中，预设液体层的厚度越厚，光线到达基础唇妆层的衰减越严重；预设液体层的厚度越薄，光线到达基础唇妆层的衰减越小。也就是说，光线衰减程度与预设液体层的厚度成反比。基于此，可以预设厚度与光线衰减的线性或非线性反比关系，从而可以根据该线性或非线性反比关系，确定厚度贴图对应的光线衰减信息，也就是可以确定唇部各像素点对应的光线衰减信息。
可选地，也可以根据实际试验数据或统计数据，确定预设厚度与光线衰减的反比关系，本公开对此不作限定。
在步骤S705中，根据折射率和光线衰减信息，确定折射信息。
在一个示例中，可以根据折射率和光线衰减信息，确定折射光线经衰减后、到达基础唇妆时的光线信息，作为折射信息。例如，例如可以通过下面公式(8)获取折射信息K:
K＝Kta (8)
其中，Kt为折射率；a可以为光线衰减信息。
通过考虑预设液体层的厚度，即基于厚度贴图，确定光线衰减信息；并根据折射率和光线衰减信息，确定折射信息，使得对穿过预设液体层的折射关系到达基础唇妆层的模拟更加真实，即更加符合物理现象，使得折射信息更加自然真实，从而可以保证基础唇妆的漫反射模拟更加真实自然。
在一种可能的实现方式中，步骤S207可以包括以下步骤：
基于漫反射图像，获取基础唇妆的第二双向反射分布信息；
根据反射信息和第二双向反射分布信息，获取基础唇妆层图像。
在一个示例中，可以通过以下公式(9)和(10)获取基础唇妆层图像P2。
P2＝Kf2＝Ktf2a (9)
或者f2＝c (10)
其中，c可以表示基础唇妆表面颜色，即反照率颜色。该c可以从漫反射图像中获取，例如可以从漫反射图像中提取基础唇妆表面颜色。进而可以基于基础唇妆表面颜色，获取基础唇妆的第二双向反射分布信息f2；从而可以根据反射信息Kt和第二双向反射分布信息f2，获取基础唇妆层图像P2。
可选地，上述步骤S211中液体层图像P1和所述基础唇妆层图像P2渲染在人脸图像的唇部上，可以表示为P1+P2＝KSf1+Ktf2a。
通过双向反射分布函数来模拟基础唇妆层的反射以获取基础唇妆层图像，使得基础唇妆层图像更加真实，提高了美妆视觉效果。
图9是根据一示例性实施例示出的一种图像处理方法的流程图。在一种可能的实现方式中，在步骤S207之后，所述方法还可以包括：
在步骤S901中，获取唇部装饰分布信息和唇部装饰强度信息。
实际应用中预设液体层中一般会包含装饰物，例如亮片，该亮片可以作为唇部装饰。亮片在光的照射下产生闪烁的效果。基于此，本公开选择进一步在唇部上叠加唇部装饰以模拟唇部装饰的效果。在一个示例中，可以通过一个随机函数，生成随机数量的亮片，这些随机数量的亮片的大小、密度、颜色可以不同，进而可以基于随机数量的亮片的大小、密度、颜色与对应的唇部像素点，获取唇部装饰分布信息。即唇部装饰分布信息可以包括与唇部像素点对应分布的唇部装饰信息，该唇部装饰信息可以包括唇部装饰的数量、大小、颜色等。进一步地，还可以获取唇部装饰强度信息，该唇部装饰强度信息可以是预先设置的，该唇部装饰强度信息可以表征唇部装饰的亮度。
在步骤S903中，根据唇部装饰分布信息和唇部装饰强度信息，获取唇部装饰图像。
本说明书实施例中，可以将唇部装饰分布信息和唇部装饰强度信息进行叠加，得到唇部装饰在唇部各像素的效果，从而可以获取唇部装饰图像。该唇部装饰图像可以指示唇部装饰在唇部各像素呈现的效果图像。
相应地，步骤S209可以包括：
在步骤S905中，将唇部装饰图像、液体层图像和基础唇妆层图像渲染在人脸图像的唇部上，得到目标人脸图像。
在一个示例中，可以将唇部装饰图像、液体层图像和基础唇妆层图像渲染在人脸图像的唇部上，得到目标人脸图像，即可以表示为P1+P2+P3＝KSf1+Ktf2a+Kbf3。其中，Kb可以为唇部装饰强度信息；f3可以为唇部装饰分布信息。
通过在水润唇效果上叠加唇部装饰，例如亮片，可以扩展唇部美妆的效果。
图10是根据一示例性实施例示出的一种图像处理装置框图。参照图10，该装置可以包括：
漫反射图像和物理参数获取模块，被配置为执行获取人脸图像以及与人脸图像对应的基础唇妆的漫反射图像、预设液体层的物理参数信息和预设物理环境信息；其中，基础唇妆为在预设液体层之前涂抹在唇部的唇妆；预设物理环境信息用于表征环境中视线和光线的信息；
液体层图像获取模块，被配置为执行根据预设液体层的物理参数信息和预设物理环境信息，对预设液体层进行镜面反射处理，得到液体层图像；
折射信息确定模块，被配置为执行根据预设液体层的物理参数信息，确定光线在预设液体层的折射信息；
基础唇妆层图像获取模块，被配置为执行基于折射信息和漫反射图像，获取基础唇妆层图像；
图像渲染模块，被配置为执行将液体层图像和基础唇妆层图像渲染在人脸图像的唇部上，得到目标人脸图像。
通过将唇部美颜划分为基础唇妆层和预设液体层，并基于预设液体层的镜面反射和折射，以及基础唇妆层的漫反射，通过物理参数模拟唇部上基础唇妆与预设液体叠涂的效果，实现了对唇部的三维美妆效果，使得人脸图像中的唇部效果更加逼真，例如，可以得到逼真的水润唇效果，同时降低了图像处理的复杂度。
在一种可能的实现方式中，预设液体层的物理参数信息包括预设液体层的基础反射率、光滑度信息和法线贴图；预设物理环境信息包括预设视线信息和预设光线信息；液体层图像获取模块包括：
唇部法向量信息获取单元，被配置为执行基于法线贴图，获取唇部法向量信息；
反射率确定单元，被配置为执行基于唇部法向量信息、预设视线信息和基础反射率，确定预设液体层的反射率，其中基础反射率是指预设液体层的反射率下限，预设液体层的反射率是指光线在预设液体层被反射的比率；
液体层图像获取单元，被配置为执行根据唇部法向量信息、反射率、光滑度信息、预设视线信息和预设光线信息，对预设液体层进行镜面反射处理，得到液体层图像。
在一种可能的实现方式中，液体层图像获取单元包括：
第一双向反射分布信息获取子单元，被配置为执行基于唇部法向量信息、预设视线信息、光滑度信息和预设光线信息，获取预设液体层的第一双向反射分布信息；
液体层图像获取子单元，被配置为执行根据反射率和第一双向反射分布信息，获取液体层图像。
在一种可能的实现方式中，折射信息确定模块包括：
折射率获取单元，被配置为执行根据反射率，获取液体层的折射率；
光线衰减信息确定单元，被配置为执行基于厚度贴图，确定光线衰减信息；
折射信息确定单元，被配置为执行根据折射率和光线衰减信息，确定折射信息。
在一种可能的实现方式中，基础唇妆层图像获取模块包括：
第二双向反射分布信息获取单元，被配置为执行基于漫反射图像，获取基础唇妆的第二双向反射分布信息；
基础唇妆层图像获取单元，被配置为执行根据折射信息和第二双向反射分布信息，获取基础唇妆层图像。
在一种可能的实现方式中，漫反射图像和物理参数获取模块包括：
人脸模型生成单元，被配置为执行生成与人脸图像对应的人脸模型；
漫反射图像获取单元，被配置为执行为人脸模型中的唇部添加基础唇妆，得到基础唇妆的漫反射图像。
在一种可能的实现方式中，装置还包括：
法向量和切向量获取模块，被配置为执行获取人脸模型的法向量和切向量；
唇部法向量信息获取单元包括：
中间向量获取子单元，被配置为执行将法向量和切向量相乘，得到中间向量；
向量矩阵获取子单元，被配置为执行将法向量、切向量和中间向量组成向量矩阵；
法线分布向量获取子单元，被配置为执行从法线贴图中提取法线分布向量；
唇部法向量信息获取子单元，被配置为执行对法线分布向量和向量矩阵进行相乘处理，得到唇部法向量信息。
在一种可能的实现方式中，装置还包括：
唇部装饰信息获取模块，被配置为执行获取唇部装饰分布信息和唇部装饰强度信息；
唇部装饰图像获取模块，被配置为执行根据唇部装饰分布信息和唇部装饰强度信息，获取唇部装饰图像；
图像渲染模块包括：
图像渲染单元，被配置为执行将唇部装饰图像、液体层图像和基础唇妆层图像渲染在人脸图像的唇部上，得到目标人脸图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图11是根据一示例性实施例示出的一种用于图像处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理的方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
图12是根据一示例性实施例示出的一种用于图像处理的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图12所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理的方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的图像处理方法。
在示例性实施例中，还提供了一种计算机可读存储介质，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的图像处理方法。计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的图像处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (16)
1.一种图像处理方法，其特征在于，包括：
获取人脸图像以及与所述人脸图像对应的基础唇妆的漫反射图像、预设液体层的物理参数信息和预设物理环境信息；其中，所述基础唇妆为在所述预设液体层之前涂抹在唇部的唇妆；所述预设物理环境信息用于表征环境中视线和光线的信息；
根据所述预设液体层的物理参数信息和所述预设物理环境信息，对所述预设液体层进行镜面反射处理，得到液体层图像；
根据所述预设液体层的物理参数信息，确定所述光线在所述预设液体层的折射信息；
基于所述折射信息和所述漫反射图像，获取基础唇妆层图像；
将所述液体层图像和所述基础唇妆层图像渲染在所述人脸图像的唇部上，得到目标人脸图像；
其中，所述基于所述折射信息和所述漫反射图像，获取基础唇妆层图像步骤包括：
基于所述漫反射图像，获取所述基础唇妆的第二双向反射分布信息；
根据所述折射信息和所述第二双向反射分布信息，获取所述基础唇妆层图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述预设液体层的物理参数信息包括所述预设液体层的基础反射率、光滑度信息和法线贴图；所述预设物理环境信息包括预设视线信息和预设光线信息；所述根据所述预设液体层的物理参数信息和所述预设物理环境信息，对所述预设液体层进行镜面反射处理，得到液体层图像步骤包括：
基于所述法线贴图，获取唇部法向量信息；
基于所述唇部法向量信息、所述预设视线信息和所述基础反射率，确定所述预设液体层的反射率，其中所述基础反射率是指所述预设液体层的反射率下限，所述预设液体层的反射率是指所述光线在所述预设液体层被反射的比率；
根据所述唇部法向量信息、所述反射率、所述光滑度信息、所述预设视线信息和所述预设光线信息，对所述预设液体层进行镜面反射处理，得到所述液体层图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述唇部法向量信息、所述反射率、所述光滑度信息、所述预设视线信息和所述预设光线信息，对所述预设液体层进行镜面反射处理，得到所述液体层图像步骤包括：
基于所述唇部法向量信息、所述预设视线信息、所述光滑度信息和所述预设光线信息，获取所述预设液体层的第一双向反射分布信息；
根据所述反射率和所述第一双向反射分布信息，获取所述液体层图像。
4.根据权利要求2所述的图像处理方法，其特征在于，所述预设液体层的物理参数信息还包括所述预设液体层的厚度贴图；所述根据所述预设液体层的物理参数信息，确定光线在所述预设液体层的折射信息步骤包括：
根据所述反射率，获取所述液体层的折射率；
基于所述厚度贴图，确定光线衰减信息；
根据所述折射率和所述光线衰减信息，确定所述折射信息。
5.根据权利要求2所述的图像处理方法，其特征在于，所述获取与所述人脸图像对应的基础唇妆的漫反射图像步骤包括：
生成与所述人脸图像对应的人脸模型；
为所述人脸模型中的唇部添加基础唇妆，得到所述基础唇妆的漫反射图像。
6.根据权利要求5所述的图像处理方法，其特征在于，所述方法还包括：
获取所述人脸模型的法向量和切向量；
所述基于所述法线贴图，获取唇部法向量信息步骤包括：
将所述法向量和所述切向量相乘，得到中间向量；
将所述法向量、所述切向量和所述中间向量组成向量矩阵；
从所述法线贴图中提取法线分布向量；
对所述法线分布向量和所述向量矩阵进行相乘处理，得到所述唇部法向量信息。
7.根据权利要求1所述的图像处理方法，其特征在于，在所述基于所述折射信息和所述漫反射图像，获取基础唇妆层图像步骤之后，所述方法还包括：
获取唇部装饰分布信息和唇部装饰强度信息；
根据所述唇部装饰分布信息和唇部装饰强度信息，获取唇部装饰图像；
所述将所述液体层图像和所述基础唇妆层图像渲染在所述人脸图像的唇部上，得到目标人脸图像步骤包括：
将所述唇部装饰图像、所述液体层图像和所述基础唇妆层图像渲染在所述人脸图像的唇部上，得到所述目标人脸图像。
8.一种图像处理装置，其特征在于，包括：
漫反射图像和物理参数获取模块，被配置为执行获取人脸图像以及与所述人脸图像对应的基础唇妆的漫反射图像、预设液体层的物理参数信息和预设物理环境信息；其中，所述基础唇妆为在所述预设液体层之前涂抹在唇部的唇妆；所述预设物理环境信息用于表征环境中视线和光线的信息；
液体层图像获取模块，被配置为执行根据所述预设液体层的物理参数信息和所述预设物理环境信息，对所述预设液体层进行镜面反射处理，得到液体层图像；
折射信息确定模块，被配置为执行根据所述预设液体层的物理参数信息，确定所述光线在所述预设液体层的折射信息；
基础唇妆层图像获取模块，被配置为执行基于所述折射信息和所述漫反射图像，获取基础唇妆层图像；
图像渲染模块，被配置为执行将所述液体层图像和所述基础唇妆层图像渲染在所述人脸图像的唇部上，得到目标人脸图像；
其中，所述基础唇妆层图像获取模块包括：
第二双向反射分布信息获取单元，被配置为执行基于所述漫反射图像，获取所述基础唇妆的第二双向反射分布信息；
基础唇妆层图像获取单元，被配置为执行根据所述折射信息和所述第二双向反射分布信息，获取所述基础唇妆层图像。
9.根据权利要求8所述的图像处理装置，其特征在于，所述预设液体层的物理参数信息包括所述预设液体层的基础反射率、光滑度信息和法线贴图；所述预设物理环境信息包括预设视线信息和预设光线信息；所述液体层图像获取模块包括：
唇部法向量信息获取单元，被配置为执行基于所述法线贴图，获取唇部法向量信息；
反射率确定单元，被配置为执行基于所述唇部法向量信息、所述预设视线信息和所述基础反射率，确定所述预设液体层的反射率，其中所述基础反射率是指所述预设液体层的反射率下限，所述预设液体层的反射率是指所述光线在所述预设液体层被反射的比率；
液体层图像获取单元，被配置为执行根据所述唇部法向量信息、所述反射率、所述光滑度信息、所述预设视线信息和所述预设光线信息，对所述预设液体层进行镜面反射处理，得到所述液体层图像。
10.根据权利要求9所述的图像处理装置，其特征在于，所述液体层图像获取单元包括：
第一双向反射分布信息获取子单元，被配置为执行基于所述唇部法向量信息、所述预设视线信息、所述光滑度信息和所述预设光线信息，获取所述预设液体层的第一双向反射分布信息；
液体层图像获取子单元，被配置为执行根据所述反射率和所述第一双向反射分布信息，获取所述液体层图像。
11.根据权利要求9所述的图像处理装置，其特征在于，所述折射信息确定模块包括：
折射率获取单元，被配置为执行根据所述反射率，获取所述液体层的折射率；
光线衰减信息确定单元，被配置为执行基于厚度贴图，确定光线衰减信息；
折射信息确定单元，被配置为执行根据所述折射率和所述光线衰减信息，确定所述折射信息。
12.根据权利要求9所述的图像处理装置，其特征在于，所述漫反射图像和物理参数获取模块包括：
人脸模型生成单元，被配置为执行生成与所述人脸图像对应的人脸模型；
漫反射图像获取单元，被配置为执行为所述人脸模型中的唇部添加基础唇妆，得到所述基础唇妆的漫反射图像。
13.根据权利要求12所述的图像处理装置，其特征在于，所述装置还包括：
法向量和切向量获取模块，被配置为执行获取所述人脸模型的法向量和切向量；
所述唇部法向量信息获取单元包括：
中间向量获取子单元，被配置为执行将所述法向量和所述切向量相乘，得到中间向量；
向量矩阵获取子单元，被配置为执行将所述法向量、所述切向量和所述中间向量组成向量矩阵；
法线分布向量获取子单元，被配置为执行从所述法线贴图中提取法线分布向量；
唇部法向量信息获取子单元，被配置为执行对所述法线分布向量和所述向量矩阵进行相乘处理，得到所述唇部法向量信息。
14.根据权利要求8所述的图像处理装置，其特征在于，所述装置还包括：
唇部装饰信息获取模块，被配置为执行获取唇部装饰分布信息和唇部装饰强度信息；
唇部装饰图像获取模块，被配置为执行根据所述唇部装饰分布信息和唇部装饰强度信息，获取唇部装饰图像；
所述图像渲染模块包括：
图像渲染单元，被配置为执行将所述唇部装饰图像、所述液体层图像和所述基础唇妆层图像渲染在所述人脸图像的唇部上，得到所述目标人脸图像。
15.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器;
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像处理方法。
16.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110571191.7A CN113470160B (zh) | 2021-05-25 | 2021-05-25 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110571191.7A CN113470160B (zh) | 2021-05-25 | 2021-05-25 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113470160A CN113470160A (zh) | 2021-10-01 |
| CN113470160B true CN113470160B (zh) | 2023-08-08 |
Family
ID=77871583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110571191.7A Active CN113470160B (zh) | 2021-05-25 | 2021-05-25 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113470160B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152425A (zh) * | 2021-11-22 | 2023-05-23 | 北京字节跳动网络技术有限公司 | 绘制图像的方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1536347A (zh) * | 2003-04-03 | 2004-10-13 | 松下电器产业株式会社 | 特定成分浓度的测量方法及测量装置 |
| CN101452582A (zh) * | 2008-12-18 | 2009-06-10 | 北京中星微电子有限公司 | 一种实现三维视频特效的方法和装置 |
| CN110992248A (zh) * | 2019-11-27 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 唇妆特效的显示方法、装置、设备及存储介质 |
| CN111246772A (zh) * | 2017-10-20 | 2020-06-05 | 欧莱雅 | 用于制造用于涂抹美容组合物的个性化涂抹器的方法 |
| CN111768473A (zh) * | 2020-06-28 | 2020-10-13 | 完美世界(北京)软件科技发展有限公司 | 图像渲染方法、装置及设备 |
| CN111861632A (zh) * | 2020-06-05 | 2020-10-30 | 北京旷视科技有限公司 | 虚拟试妆方法、装置、电子设备及可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308944A (zh) * | 2019-07-29 | 2021-02-02 | 丽宝大数据股份有限公司 | 仿真唇妆的扩增实境显示方法 |
-
2021
- 2021-05-25 CN CN202110571191.7A patent/CN113470160B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1536347A (zh) * | 2003-04-03 | 2004-10-13 | 松下电器产业株式会社 | 特定成分浓度的测量方法及测量装置 |
| CN101452582A (zh) * | 2008-12-18 | 2009-06-10 | 北京中星微电子有限公司 | 一种实现三维视频特效的方法和装置 |
| CN111246772A (zh) * | 2017-10-20 | 2020-06-05 | 欧莱雅 | 用于制造用于涂抹美容组合物的个性化涂抹器的方法 |
| CN110992248A (zh) * | 2019-11-27 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 唇妆特效的显示方法、装置、设备及存储介质 |
| CN111861632A (zh) * | 2020-06-05 | 2020-10-30 | 北京旷视科技有限公司 | 虚拟试妆方法、装置、电子设备及可读存储介质 |
| CN111768473A (zh) * | 2020-06-28 | 2020-10-13 | 完美世界(北京)软件科技发展有限公司 | 图像渲染方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113470160A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Physically-based editing of indoor scene lighting from a single image | |
| US11663775B2 (en) | Generating physically-based material maps | |
| CN112837402A (zh) | 场景渲染方法、装置、计算机设备和存储介质 | |
| CN109087369A (zh) | 虚拟对象显示方法、装置、电子装置及存储介质 | |
| CN111199573B (zh) | 一种基于增强现实的虚实互反射方法、装置、介质及设备 | |
| CN111861632B (zh) | 虚拟试妆方法、装置、电子设备及可读存储介质 | |
| CN109712226A (zh) | 虚拟现实的透明模型渲染方法及装置 | |
| Yao et al. | Multi‐image based photon tracing for interactive global illumination of dynamic scenes | |
| CN110378947A (zh) | 3d模型重建方法、装置及电子设备 | |
| CN113822965A (zh) | 图像渲染处理方法、装置和设备及计算机存储介质 | |
| CN110458924A (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
| CN113470160B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN115100337A (zh) | 一种基于卷积神经网络的全身人像视频重照明方法和装置 | |
| Marques et al. | Deep spherical harmonics light probe estimator for mixed reality games | |
| Yan et al. | A non-photorealistic rendering method based on Chinese ink and wash painting style for 3D mountain models | |
| CN113902848A (zh) | 对象重建方法、装置、电子设备及存储介质 | |
| CN113888398A (zh) | 头发渲染方法、装置及电子设备 | |
| CN115965735B (zh) | 纹理贴图的生成方法和装置 | |
| CN117252982A (zh) | 虚拟三维模型的材质属性生成方法、装置及存储介质 | |
| US20240169653A1 (en) | Neural networks to render textured materials on curved surfaces | |
| Dutreve et al. | Easy acquisition and real‐time animation of facial wrinkles | |
| Kim et al. | Adaptive surface splatting for facial rendering | |
| CN116977539A (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
| US11436794B2 (en) | Image processing method, apparatus and device | |
| Nam et al. | Interactive pixel-unit AR lip makeup system using RGB camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |