CN108876709A - 人脸美化方法、装置、电子设备及可读存储介质 - Google Patents
人脸美化方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN108876709A CN108876709A CN201810551038.6A CN201810551038A CN108876709A CN 108876709 A CN108876709 A CN 108876709A CN 201810551038 A CN201810551038 A CN 201810551038A CN 108876709 A CN108876709 A CN 108876709A
- Authority
- CN
- China
- Prior art keywords
- facial image
- dimensional
- dimensional model
- human face
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000001815 facial effect Effects 0.000 claims abstract description 230
- 230000002159 abnormal effect Effects 0.000 claims description 57
- 210000000887 face Anatomy 0.000 claims description 49
- 238000004040 coloring Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 10
- 210000004709 eyebrow Anatomy 0.000 claims description 9
- 230000036548 skin texture Effects 0.000 claims description 8
- 230000003796 beauty Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 23
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 208000003351 Melanosis Diseases 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 208000002874 Acne Vulgaris Diseases 0.000 description 6
- 206010000496 acne Diseases 0.000 description 6
- 241000700647 Variola virus Species 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000029052 metamorphosis Effects 0.000 description 2
- 230000037311 normal skin Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 206010004950 Birth mark Diseases 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000003255 anti-acne Effects 0.000 description 1
- XEGGRYVFLWGFHI-UHFFFAOYSA-N bendiocarb Chemical compound CNC(=O)OC1=CC=CC2=C1OC(C)(C)O2 XEGGRYVFLWGFHI-UHFFFAOYSA-N 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提出一种人脸美化方法、装置、电子设备及可读存储介质，其中，方法包括：获取二维的人脸图像，以及人脸图像对应的深度信息；根据深度信息和人脸图像，进行三维重构，得到人脸三维模型；对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型；将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。
Description
技术领域
本申请涉及移动终端技术领域，尤其涉及一种人脸美化方法、装置、电子设备及可读存储介质。
背景技术
随着移动终端技术的不断发展，越来越多的用户选择使用移动终端进行拍照。并且为了达到较佳的拍摄效果，还可以采用相关的图像处理手段对图像进行处理。例如，当用户开启摄像头进行拍照时，可以开启美颜功能，对成像图像进行美颜处理。
相关技术中，基于二维的人脸图像进行美颜处理，处理效果不佳，处理后的图像真实感不强。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种人脸美化方法，由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。
本申请提出一种人脸美化装置。
本申请提出一种电子设备。
本申请提出一种计算机可读存储介质。
本申请提出一种图像处理电路。
本申请一方面实施例提出了一种人脸美化方法，包括：
获取二维的人脸图像，以及所述人脸图像对应的深度信息；
根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型；
对覆盖在所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型；
将所述美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。
本申请实施例的人脸美化方法，通过获取二维的人脸图像，以及人脸图像对应的深度信息，根据深度信息和人脸图像，进行三维重构，得到人脸三维模型，而后对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，最后将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。本申请中，由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。
本申请又一方面实施例提出了一种人脸美化装置，包括：
获取模块，用于获取二维的人脸图像，以及所述人脸图像对应的深度信息；
重构模块，用于根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型；
美化模块，用于对覆盖所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型；
映射模块，用于将所述美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。
本申请实施例的人脸美化装置，通过获取二维的人脸图像，以及人脸图像对应的深度信息，根据深度信息和人脸图像，进行三维重构，得到人脸三维模型，而后对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，最后将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。本申请中，由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。
本申请又一方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请前述实施例提出的人脸美化方法。
本申请又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的人脸美化方法。
本申请又一方面实施例提出了一种图像处理电路，所述图像处理电路包括：图像单元、深度信息单元和处理单元；
所述图像单元，用于输出二维的人脸图像；
所述深度信息单元，用于输出深度信息；
所述处理单元，分别与所述图像单元和所述深度信息单元电性连接，用于根据所述图像单元获取的二维的人脸图像，以及所述深度信息单元获取的对应的深度信息，输出美化后的人脸图像。
本申请实施例的图像处理电路，通过图像单元输出二维的人脸图像，以及通过深度信息单元输出人脸图像对应的深度信息，而后通过处理单元根据二维的人脸图像以及对应的深度信息，输出美化后的人脸图像。由此，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的人脸美化方法的流程示意图；
图2为本申请实施例二所提供的人脸美化方法的流程示意图；
图3本申请实施例中人脸三维模型的框架示意图一；
图4本申请实施例中人脸三维模型的框架示意图二；
图5为本申请实施例中皮肤纹理图的生成过程示意图；
图6为本申请实施例三所提供的人脸美化装置的结构示意图；
图7为本申请实施例四所提供的人脸美化装置的结构示意图；
图8为一个实施例中电子设备的内部结构示意图；
图9为作为一种可能的实现方式的图像处理电路的示意图；
图10为作为另一种可能的实现方式的图像处理电路的示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
针对现有技术中基于二维的人脸图像进行美颜处理，处理效果不佳，处理后的图像真实感不强的技术问题，本申请实施例中，通过获取二维的人脸图像，以及人脸图像对应的深度信息，根据深度信息和人脸图像，进行三维重构，得到人脸三维模型，而后对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，最后将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。本申请中，由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。
下面参考附图描述本申请实施例的人脸美化方法、装置、电子设备及可读存储介质。
图1为本申请实施例一所提供的人脸美化方法的流程示意图。
本申请实施例的人脸美化方法可以应用于电子设备上具有人脸美化功能的应用程序。
其中，电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
如图1所示，该人脸美化方法包括以下步骤：
步骤101，获取二维的人脸图像，以及人脸图像对应的深度信息。
本申请实施例中，电子设备可以包括可见光图像传感器，可以基于电子设备中的可见光图像传感器获取二维的人脸图像。具体地，可见光图像传感器可以包括可见光摄像头，可见光摄像头可以捕获由成像对象反射的可见光进行成像，得到成像对象对应的二维的人脸图像。其中，成像对象可以为人脸。
本申请实施例中，电子设备还可以包括结构光图像传感器，可以基于电子设备中的结构光图像传感器，获取成像对象对应的深度信息。可选地，结构光图像传感器可以包括镭射灯以及激光摄像头。脉冲宽度调制(Pulse Width Modulation，简称PWM)可以调制镭射灯以发出结构光，结构光照射至成像对象，激光摄像头可以捕获由成像对象反射的结构光进行成像，得到成像对象对应的结构光图像。深度引擎可以根据成像对象对应的结构光图像，计算获得成像对象对应的深度信息。
步骤102，根据深度信息和人脸图像，进行三维重构，得到人脸三维模型。
本申请实施例中，在获取深度信息和人脸图像后，可以根据深度信息和人脸图像，进行三维重构，得到人脸三维模型。本申请中，人脸的三维模型的构建，是根据深度信息和人脸图像，进行三维重构得到的，而不是简单的获取RGB数据和深度数据。
作为一种可能的实现方式，可以将深度信息与二维人脸图像对应的色彩信息进行融合，得到人脸三维模型。具体地，可以基于人脸关键点检测技术，从深度信息提取人脸的关键点，以及从色彩信息中提取人脸的关键点，而后将从深度信息中提取的关键点和从色彩信息中提取的关键点，进行配准和关键点融合处理，最终根据融合后的关键点，生成人脸三维模型。其中，关键点为人脸上显眼的点，或者为关键位置上的点，例如关键点可以为眼角、鼻尖、嘴角等。
作为另一种可能的实现方式，可以基于人脸关键点检测技术，对人脸图像进行关键点识别，得到人脸图像对应的第三关键点，而后根据第三关键点的深度信息和第三关键点在人脸图像上的位置，确定第三关键点对应的第一关键点在人脸三维模型中的相对位置，从而可以根据第一关键点在三维空间中的相对位置，连接相邻的第一关键点，生成局部人脸三维框架。其中，局部人脸可以包括鼻部、唇部、眼部、脸颊等脸部部位。
在生成局部人脸三维框架后，可以根据不同的局部人脸三维框架中包含的相同第一关键点，对不同的局部人脸三维框架进行拼接，得到人脸三维模型的框架，最后将人脸图像映射到人脸三维模型的框架，可以得到覆盖框架的皮肤纹理图。
步骤103，对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型。
可以理解的是，当人脸图像中有痘痘时，皮肤纹理图中痘痘对应的部位的颜色可以为红色，或者，当人脸图像中有雀斑时，皮肤纹理图中雀斑对应的部位的颜色可以为咖啡色或黑色，或者，当人脸图像中有黑痣时，皮肤纹理图中黑痣对应的部位的颜色可以为黑色。
因此，作为本申请实施例的一种可能的实现方式，可以根据人脸三维模型的皮肤纹理图的颜色，确定是否存在异常范围，当未存在异常范围时，可以不做任何处理，而当存在异常范围时，可以进一步根据异常范围内的各点在三维空间中的相对位置关系，以及异常范围的颜色信息，采用对应的美化策略，对异常范围进行美化。
一般情况下，痘痘是突出皮肤表面的，黑痣也可以是突出皮肤表面的，而雀斑是未突出皮肤表面的，因此，本申请实施例中，可以根据异常范围的中心点与边缘点之间的高度差，确定异常范围所属的异常类型，例如，异常类型可以为凸起或者未凸起。在确定异常类型后，可以根据异常类型和颜色信息，确定对应的美化策略，而后根据异常范围对应的匹配肤色，采用美化策略指示的滤波范围和滤波强度对异常范围进行磨皮处理。
举例而言，当异常类型为凸起，颜色信息为红色时，此时，该异常范围内可以为痘痘，或者，当异常类型为凸起，颜色信息为咖啡色，此时，该异常范围内可以为斑痕，由于痘痘、斑痕等异常影响人脸的美观性，用户希望能够弱化，则对应的美化策略中磨皮程度较强，即滤波范围和滤波强度较大。当异常类型为未凸起，颜色为青色时，此时，该异常范围内可以为纹身，或者，当异常类型为凸起，颜色信息为黑色时，此时，该异常范围内可以为黑痣，由于纹身、胎记、痣等异常为用户特征，不影响人脸的美观性，通过通常用户希望能够保留这些用户特征，则对应的美化策略中磨皮程度较弱，即滤波范围和滤波强度较小。
或者，还可以根据异常范围对应的匹配肤色，填充异常范围内的肤色。
例如，当异常类型为凸起，颜色信息为红色时，此时，该异常范围内可以为痘痘，则祛痘的美化策略可以为：根据痘痘附近的正常肤色，本申请实施例中记为匹配肤色，填充痘痘对应的异常范围内的肤色，或者，当异常类型为未凸起，颜色为咖啡色时，此时，该异常范围内可以为雀斑，则祛斑的美化策略可以为：根据雀斑附近的正常肤色，本申请实施例中记为匹配肤色，填充雀斑对应的异常范围内的肤色。
本申请中，由于人脸三维模型的框架中，以各关键点为顶点得到的封闭区域的深度信息是一致的，当对覆盖在人脸三维模型表面的皮肤纹理图进行美化时，可以对各个封闭区域进行美化，由此，可以增加美化后的封闭区域中像素值的可信度，提升美化效果。
其中，针对每个封闭区域，对其进行美化时，可以参考该封闭区域周围相邻的多个区域。具体地，可以分别设置各相邻区域对应的权重值，根据各相邻区域对应的权重值，对该封闭区域进行美化处理。
本申请中，各相邻区域的权重值，可以根据该相邻区域与封闭区域的深度值的差异以及RGB信息的差异来确定。
现有技术中，仅通过根据RGB信息的差异，确定各相邻区域对应的权重值，当相邻区域与封闭区域之间的颜色相近，而三维距离较远时，分配的权重值较高。而实际情况下，当三维距离较远时，分配的权重值应该是较低的，因此，封闭区域的美化效果不佳。
而本申请中，通过根据各相邻区域与封闭区域的深度值的差异以及RGB信息的差异，确定各相邻区域对应的权重值，可以有提提升每个封闭区域的美化效果，提升美化后的封闭区域中像素值的可信度。
作为本申请实施例的另一种可能的实现方式，可以预先设置局部人脸对应的美化策略，其中，局部人脸可以包括鼻部、唇部、眼部、脸颊等脸部部位。例如，对于鼻部而言，其对应的美化策略可以为鼻尖提亮处理，鼻翼阴影处理，从而增加鼻部的立体感，或者，对于脸颊而言，其对应的美化策略可以为添加腮红和/或磨皮处理。
因此，本申请实施例中，可以根据颜色信息和在人脸三维模型中的相对位置，从皮肤纹理图中识别出局部人脸，而后根据局部人脸对应的美化策略，对局部人脸进行美化。
可选地，在局部人脸为眉毛时，可以根据眉毛对应的美化策略指示的滤波强度，对局部人脸进行磨皮处理。
在局部人脸为脸颊时，可以根据脸颊对应的美化策略指示的滤波强度，对局部人脸进行磨皮处理。需要说明的是，为了使得美化后的效果更加自然，美化效果更加突出，脸颊对应的美化策略指示的滤波强度可以大于眉毛对应的美化策略指示的滤波强度。
在局部人脸属于鼻部时，可以根据鼻部对应的美化策略指示的阴影强度，增加局部人脸的阴影。
本申请中，基于局部人脸在人脸三维模型中的相对位置，对其进行美化处理，可以使得美化后的皮肤纹理图更加自然，美化效果更加突出。并且，可以实现有针对性地对局部人脸进行美化处理，从而提升成像效果，提升用户的拍摄体验。
步骤104，将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。
本申请实施例中，在对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型后，可以将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。本申请中，由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的二维人脸图像，可以使得美化后的二维人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。
本申请实施例的人脸美化方法，通过获取二维的人脸图像，以及人脸图像对应的深度信息，根据深度信息和人脸图像，进行三维重构，得到人脸三维模型，而后对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，最后将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。本申请中，由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。
作为一种可能的实现方式，可以根据人脸三维模型中的颜色信息，确定匹配肤色。具体地，可以将人脸三维模型中，与异常范围三维空间距离最短且光线投射角度最接近的局部皮肤，作为异常范围对应的匹配肤色。
具体地，可以根据人脸三维模型中以第一关键点为顶点的多个第一区域，将皮肤纹理图划分为覆盖各第一区域的局部皮肤，而后从覆盖各第一区域的局部皮肤中，确定与异常范围三维空间距离最短且光线投射角度最接近的目标局部皮肤，将目标局部皮肤，作为匹配肤色。
本申请中，由于匹配肤色是与异常范围三维空间距离最短且光线投射角度最接近的局部皮肤，当根据匹配肤色，采用所述美化策略指示的滤波范围和滤波强度对所述异常范围进行磨皮处理时，可以有效提升美化效果。
作为另一种可能的实现方式，可以根据人脸图像中的颜色信息，确定匹配肤色。
具体地，可以根据人脸三维模型中以第一关键点为顶点的多个第一区域，将皮肤纹理图划分为覆盖各第一区域的局部皮肤，以及根据对人脸图像关键点识别得到的第二关键点，将人脸图像的人脸部分划分为以相邻第二关键点为顶点的多个第二区域。可以理解的是，由于人脸三维模型是人脸图像对应的立体模型，人脸图像和人脸三维模型之间具有映射关系，该映射关系可以通过第二区域与第一区域之间的对应关系来表现。
因此，在从覆盖各第一区域的局部皮肤中，确定与异常范围三维空间距离最短且光线投射角度最接近的目标局部皮肤后，可以根据目标局部皮肤覆盖的第一区域，查询第一区域和第二区域之间对应关系，确定人脸图像中对应的第二区域的颜色信息，将确定出的颜色信息作为匹配肤色。
作为一种可能的实现方式，为了提升后续步骤中的人脸图像的美化效果，在视频采集过程中，可以从至少两个不同的角度获取至少两张人脸图像，则参见图2，步骤102具体可以包括以下子步骤：
步骤201，对每一张人脸图像进行关键点识别，得到第二关键点。
可选地，可以基于人脸关键点检测技术，对每一张人脸图像进行关键点识别，得到第二关键点。
步骤202，对每一张人脸图像，根据第二关键点的深度信息和第二关键点在人脸图像上的距离，确定第二关键点对应的第一关键点在三维空间中的相对位置。
本申请实施例中，由于人脸三维模型是人脸图像对应的立体模型，人脸三维模型中第一关键点和人脸图像中的第二关键点是一一对应的关系，针对每一张人脸图像，可以根据第二关键点的深度信息和第二关键点在人脸图像上的位置，确定第二关键点对应的第一关键点在三维空间中的相对位置。
步骤203，根据第一关键点在三维空间中的相对位置，连接相邻的第一关键点，生成局部人脸三维框架。
本申请实施例中，在确定第一关键点在三维空间中的相对位置后，可以连接相邻的第一关键点，生成局部人脸三维框架。
步骤204，根据不同的局部人脸三维框架中包含的相同第一关键点，对不同的局部人脸三维框架进行拼接，得到人脸三维模型的框架。
本申请实施例中，在确定每个局部人脸三维框架后，可以根据不同局部人脸三维框架中的重合部分，对不同的局部人脸三维框架进行拼接，得到人脸三维模型的框架。具体地，可以根据不同的局部人脸三维框架中包含的相同第一关键点，对不同的局部人脸三维框架进行拼接，得到人脸三维模型的框架。
作为一种示例，参见图3和图4，图3和图4分别为不同的角度获取的两张人脸图像所对应的人脸三维模型的框架示意图。
步骤205，将人脸图像映射到人脸三维模型的框架，得到覆盖框架的皮肤纹理图。
本申请实施例中，在确定人脸三维模型的框架后，可以将人脸图像映射到人脸三维模型的框架，得到覆盖框架的皮肤纹理图。
作为一种可能的实现方式，可以获取框架中的多个第一区域，其中，第一区域是以各第一关键点为顶点得到的封闭区域，而后可以根据人脸图像中的第二关键点，将人脸图像的人脸部分划分为以第二关键点为顶点的多个第二区域，接着可以根据第一关键点与第二关键点之间的对应关系，确定各第二区域对应的第一区域，最后可以对各第二区域内展示的图片内容渲染后，作为局部皮肤纹理贴图至人脸三维模型中对应的第一区域，得到覆盖框架的皮肤纹理图，或者，可以将各第二区域内展示的图片内容，作为局部皮肤纹理贴图至人脸三维模型中对应的第一区域，而后对贴图后的第一区域对应的画面进行渲染，得到覆盖框架的皮肤纹理图，或者，可以在将各第二区域内展示的图片内容，作为局部皮肤纹理贴图至人脸三维模型中对应的第一区域的过程中，对第一区域已贴图的画面进行渲染，得到覆盖框架的皮肤纹理图，对此不作限制。
作为一种示例，参见图5，图5为本申请实施例中皮肤纹理图的生成过程示意图。其中，标定，是指对摄像头进行标定，确定人脸图像中的关键点在三维空间中对应的关键点。
如图5所示，当用户进行拍照时，可以通过摄像头预览扫描人脸，获取人脸图像，基于人脸关键点检测技术，可以从色彩信息，例如YUV信息中提取人脸的关键点，即第二关键点。
根据标定数据和深度信息，可以确定第二关键点对应的第一关键点在人脸三维模型中的相对位置，从而根据第一关键点在三维空间中的相对位置，连接相邻的第一关键点，可以生成局部人脸三维框架。根据不同的局部人脸三维框架中包含的相同第一关键点，对不同的局部人脸三维框架进行拼接，得到人脸三维模型的框架，最后可以将人脸图像贴图进行渲染，贴图至人脸三维模型中，得到覆盖框架的皮肤纹理图。
本申请实施例的人脸美化方法，通过对每一张人脸图像进行关键点识别，得到第二关键点；对每一张人脸图像，根据第二关键点的深度信息和第二关键点在人脸图像上的位置，确定第二关键点对应的第一关键点在三维空间中的相对位置；根据第一关键点在三维空间中的相对位置，连接相邻的第一关键点，生成局部人脸三维框架；根据不同的局部人脸三维框架中包含的相同第一关键点，对不同的局部人脸三维框架进行拼接，得到人脸三维模型的框架；将人脸图像映射到人脸三维模型的框架，得到覆盖框架的皮肤纹理图。由此，可以实时获取人脸三维模型，以及获取不同的角度所对应的人脸三维模型，从而后续步骤中可以对不同角度对应的人脸三维模型表面的皮肤纹理图进行美化，进一步提升美化效果。
作为一种可能的实现方式，由于在人脸美化的过程中，需要确定存在异常的异常范围，为了提升异常范围识别的效率和准确率，从而提升后续美化效果，本申请中，在获取二维的人脸图像后，可以对人脸图像进行识别，以确定人脸图像的人脸部分不包含饰物。
为了实现上述实施例，本申请还提出一种人脸美化装置。
图6为本申请实施例三所提供的人脸美化装置的结构示意图。
如图6所示，该人脸美化装置100包括：获取模块110、重构模块120、美化模块130，以及映射模块140。其中，
获取模块110，用于获取二维的人脸图像，以及人脸图像对应的深度信息。
重构模块120，用于根据深度信息和人脸图像，进行三维重构，得到人脸三维模型。
美化模块130，用于对覆盖人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型。
映射模块140，用于将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。
进一步地，在本申请实施例的一种可能的实现方式中，参见图7，在图6所示实施例的基础上，该人脸美化装置100还可以包括：
作为一种可能的实现方式，美化模块130，具体用于根据人脸三维模型的皮肤纹理图的颜色信息，检测皮肤纹理图中存在异常的异常范围；根据异常范围内的各点在三维空间中的相对位置关系，以及异常范围的颜色信息，采用对应的美化策略，对异常范围进行美化。
可选地，美化模块130，具体用于根据异常范围的中心点与边缘点之间的高度差，确定异常范围所属的异常类型；根据异常类型和颜色信息，确定对应的美化策略；根据异常范围对应的匹配肤色，采用美化策略指示的滤波范围和滤波强度对异常范围进行磨皮处理。
可选地，美化模块130，还用于在根据异常范围对应的匹配肤色，采用美化策略指示的滤波范围和滤波强度对异常范围进行美化之前，根据人脸三维模型中以第一关键点为顶点的多个第一区域，将皮肤纹理图划分为覆盖各第一区域的局部皮肤；从覆盖各第一区域的局部皮肤中，确定与异常范围三维空间距离最短且光线投射角度最接近的目标局部皮肤；根据目标局部皮肤，确定匹配肤色。
可选地，美化模块130，还用于在根据异常范围对应的匹配肤色，采用美化策略指示的滤波范围和滤波强度对异常范围进行美化之前，根据人脸三维模型中以第一关键点为顶点的多个第一区域，将皮肤纹理图划分为覆盖各第一区域的局部皮肤；根据对人脸图像关键点识别得到的第二关键点，将人脸图像的人脸部分划分为以相邻第二关键点为顶点的多个第二区域；从覆盖各第一区域的局部皮肤中，确定与异常范围三维空间距离最短且光线投射角度最接近的目标局部皮肤；根据目标局部皮肤覆盖的第一区域，查询第一区域和第二区域之间对应关系，确定人脸图像中对应的第二区域的颜色信息，将确定出的颜色信息作为匹配肤色。
作为另一种可能的实现方式，美化模块130，具体用于根据颜色信息和在人脸三维模型中的相对位置，从皮肤纹理图中识别出局部人脸；根据局部人脸对应的美化策略，对局部人脸进行美化。
可选地，美化模块130，具体用于若局部人脸为眉毛，根据眉毛对应的美化策略指示的滤波强度，对局部人脸进行磨皮处理；若局部人脸为脸颊，根据脸颊对应的美化策略指示的滤波强度，对局部人脸进行磨皮处理；其中，脸颊对应的美化策略指示的滤波强度大于眉毛对应的美化策略指示的滤波强度。
可选地，美化模块130，还用于若局部人脸属于鼻部，根据鼻部对应的美化策略指示的阴影强度，增加局部人脸的阴影。
作为一种可能的实现方式，获取模块110，具体用于在视频采集过程中，从至少两个不同的角度获取至少两张人脸图像。
重构模块120，具体用于对每一张人脸图像进行关键点识别，得到第二关键点；对每一张人脸图像，根据第二关键点的深度信息和第二关键点在人脸图像上的距离，确定第二关键点对应的第一关键点在三维空间中的相对位置；根据第一关键点在三维空间中的相对位置，连接相邻的第一关键点，生成局部人脸三维框架；根据不同的局部人脸三维框架中包含的相同第一关键点，对不同的局部人脸三维框架进行拼接，得到人脸三维模型的框架；将人脸图像映射到人脸三维模型的框架，得到覆盖框架的皮肤纹理图。
可选地，重构模块120，还用于获取框架中的多个第一区域；第一区域，是以各第一关键点为顶点得到的封闭区域；根据人脸图像中的第二关键点，将人脸图像的人脸部分划分为以第二关键点为顶点的多个第二区域；根据第一关键点与第二关键点之间的对应关系，确定各第二区域对应的第一区域；对各第二区域内展示的图片内容渲染后，作为局部皮肤纹理贴图至人脸三维模型中对应的第一区域，得到覆盖框架的皮肤纹理图。
识别模块150，用于在获取二维的人脸图像之后，对人脸图像进行识别，确定人脸图像的人脸部分不包含饰物。
需要说明的是，前述对人脸美化方法实施例的解释说明也适用于该实施例的人脸美化装置100，此处不再赘述。
本申请实施例的人脸美化装置，通过获取二维的人脸图像，以及人脸图像对应的深度信息，根据深度信息和人脸图像，进行三维重构，得到人脸三维模型，而后对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，最后将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。本申请中，由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。
为了实现上述实施例，本申请还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本发明前述实施例提出的人脸美化方法。
图8为一个实施例中电子设备200的内部结构示意图。该电子设备200包括通过系统总线210连接的处理器220、存储器230、显示器240和输入装置250。其中，电子设备200的存储器230存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的人脸美化方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的显示器240可以是液晶显示屏或者电子墨水显示屏等，输入装置250可以是显示器240上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
为了清楚说明本实施例提供的电子设备，请参阅图9，提供了本申请实施例的图像处理电路，图像处理电路可利用硬件和/或软件组件实现。
需要说明的是，图9为作为一种可能的实现方式的图像处理电路的示意图。为便于说明，仅示出与本申请实施例相关的各个方面。
如图9所示，该图像处理电路具体包括：图像单元310、深度信息单元320和处理单元330。其中，
图像单元310，用于输出二维的人脸图像。
深度信息单元320，用于输出深度信息。
本申请实施例中，可以通过图像单元310，获取二维的人脸图像，以及通过深度信息单元320，获取人脸图像对应的深度信息。
处理单元330，分别与图像单元310和深度信息单元320电性连接，用于根据图像单元310获取的二维的人脸图像，以及深度信息单元320获取的对应的深度信息，输出美化后的人脸图像。
本申请实施例中，图像单元310获取的二维的人脸图像可以发送至处理单元330，以及深度信息单元320获取的人脸图像对应的深度信息可以发送至处理单元330，处理单元330可以根据人脸图像以及深度信息，得到美化后的人脸图像。具体的实现过程，可以参见上述图1至图2实施例中对人脸美化方法的解释说明，此处不做赘述。
进一步地，作为本申请一种可能的实现方式，参见图10，在图9所示实施例的基础上，该图像处理电路还可以包括：
作为一种可能的实现方式，图像单元310具体可以包括：电性连接的图像传感器311和图像信号处理(Image Signal Processing，简称ISP)处理器312。其中，
图像传感器311，用于输出原始图像数据。
ISP处理器312，用于根据原始图像数据，输出人脸图像。
本申请实施例中，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的人脸图像。其中，图像传感器311可包括色彩滤镜阵列(如Bayer滤镜)，以及对应的感光单元，图像传感器311可获取每个感光单元捕捉的光强度和波长信息，并提供可由ISP处理器312处理的一组原始图像数据。ISP处理器312对原始图像数据进行处理后，得到YUV格式或者RGB格式的人脸图像，并发送至处理单元330。
其中，ISP处理器312在对原始图像数据进行处理时，可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器312可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
作为一种可能的实现方式，深度信息单元320，包括电性连接的结构光传感器321和深度图生成芯片322。其中，
结构光传感器321，用于生成红外散斑图。
深度图生成芯片322，用于根据红外散斑图，输出深度信息；深度信息包括深度图。
本申请实施例中，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)，该深度图指示了红外散斑图中各像素点的深度。深度图生成芯片322将深度图发送至处理单元330。
作为一种可能的实现方式，处理单元330，包括：电性连接的CPU331和GPU(GraphicsProcessing Unit，图形处理器)332。其中，
CPU331，用于根据标定数据，对齐人脸图像与深度图，根据对齐后的人脸图像与深度图，输出人脸三维模型。
GPU332，用于根据人脸三维模型进行美化，得到美化后的人脸图像。
本申请实施例中，CPU331从ISP处理器312获取到人脸图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出人脸图像中各像素点对应的深度信息。进而，CPU331根据深度信息和人脸图像，进行三维重构，得到人脸三维模型。
CPU331将人脸三维模型发送至GPU332，以便GPU332根据人脸三维模型执行如前述实施例中描述的人脸美化方法，实现人脸美化，得到美化后的人脸图像。
具体地，GPU332可以对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，而后将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。
进一步地，图像处理电路还可以包括：显示单元340。
显示单元340，与处理单元330电性连接，用于对美化后的人脸图像进行显示。
具体地，GPU332处理得到的美化后的人脸图像，可以由显示器340显示。
可选地，图像处理电路还可以包括：编码器350和存储器360。
本申请实施例中，GPU332处理得到的美化后的人脸图像，还可以由编码器350编码后存储至存储器360，其中，编码器350可由协处理器实现。
在一个实施例中，存储器360可以为多个，或者划分为多个存储空间，存储GPU312处理后的图像数据可存储至专用存储器，或者专用存储空间，并可包括DMA(DirectMemoryAccess，直接直接存储器存取)特征。存储器360可被配置为实现一个或多个帧缓冲器。
下面结合图10，对上述过程进行详细说明。
如图10所示，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的人脸图像，并发送至CPU331。
如图10所示，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)。深度图生成芯片322将深度图发送至CPU331。
CPU331从ISP处理器312获取到人脸图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出人脸图像中各像素点对应的深度信息。进而，CPU331根据深度信息和人脸图像，进行三维重构，得到人脸三维模型。
CPU331将人脸三维模型发送至GPU332，以便GPU332根据人脸三维模型执行如前述实施例中描述的方法，实现人脸美化，得到美化后的人脸图像。GPU332处理得到的美化后的人脸图像，可以由显示器340显示，和/或，由编码器350编码后存储至存储器360。
例如，以下为运用图8中的处理器220或运用图10中的图像处理电路(具体为CPU331和GPU332)实现控制方法的步骤：
CPU331获取二维的人脸图像，以及所述人脸图像对应的深度信息；CPU331根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型；GPU332对覆盖在所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型；GPU332将所述美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的人脸美化方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (21)
1.一种人脸美化方法，其特征在于，所述方法包括以下步骤：
获取二维的人脸图像，以及所述人脸图像对应的深度信息；
根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型；
对覆盖在所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型；
将所述美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。
2.根据权利要求1所述的人脸美化方法，其特征在于，所述对覆盖所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，包括：
根据所述人脸三维模型的皮肤纹理图的颜色信息，检测所述皮肤纹理图中存在异常的异常范围；
根据所述异常范围内的各点在三维空间中的相对位置关系，以及所述异常范围的颜色信息，采用对应的美化策略，对所述异常范围进行美化。
3.根据权利要求2所述的人脸美化方法，其特征在于，所述根据所述异常范围内的各点在三维空间中的相对位置关系，以及所述异常范围的颜色信息，采用对应的美化策略，对所述异常范围进行美化，包括：
根据所述异常范围的中心点与边缘点之间的高度差，确定所述异常范围所属的异常类型；
根据所述异常类型和所述颜色信息，确定对应的美化策略；
根据所述异常范围对应的匹配肤色，采用所述美化策略指示的滤波范围和滤波强度对所述异常范围进行磨皮处理。
4.根据权利要求3所述的人脸美化方法，其特征在于，所述根据所述异常范围对应的匹配肤色，采用所述美化策略指示的滤波范围和滤波强度对所述异常范围进行美化之前，还包括：
根据所述人脸三维模型中以第一关键点为顶点的多个第一区域，将所述皮肤纹理图划分为覆盖各第一区域的局部皮肤；
从覆盖各第一区域的局部皮肤中，确定与所述异常范围三维空间距离最短且光线投射角度最接近的目标局部皮肤；
根据所述目标局部皮肤，确定所述匹配肤色。
5.根据权利要求3所述的人脸美化方法，其特征在于，所述根据所述异常范围对应的匹配肤色，采用所述美化策略指示的滤波范围和滤波强度对所述异常范围进行美化之前，还包括：
根据所述人脸三维模型中以第一关键点为顶点的多个第一区域，将所述皮肤纹理图划分为覆盖各第一区域的局部皮肤；
根据对所述人脸图像关键点识别得到的第二关键点，将所述人脸图像的人脸部分划分为以相邻第二关键点为顶点的多个第二区域；
从覆盖各第一区域的局部皮肤中，确定与所述异常范围三维空间距离最短且光线投射角度最接近的目标局部皮肤；
根据所述目标局部皮肤覆盖的第一区域，查询第一区域和第二区域之间对应关系，确定所述人脸图像中对应的第二区域的颜色信息，将确定出的颜色信息作为所述匹配肤色。
6.根据权利要求1所述的人脸美化方法，其特征在于，所述对覆盖所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，包括：
根据颜色信息和在所述人脸三维模型中的相对位置，从所述皮肤纹理图中识别出局部人脸；
根据所述局部人脸对应的美化策略，对所述局部人脸进行美化。
7.根据权利要求6所述的人脸美化方法，其特征在于，所述根据所述局部人脸对应的美化策略，对所述局部人脸进行美化，包括：
若所述局部人脸为眉毛，根据眉毛对应的美化策略指示的滤波强度，对所述局部人脸进行磨皮处理；
若所述局部人脸为脸颊，根据脸颊对应的美化策略指示的滤波强度，对所述局部人脸进行磨皮处理；其中，所述脸颊对应的美化策略指示的滤波强度大于眉毛对应的美化策略指示的滤波强度。
8.根据权利要求6所述的人脸美化方法，其特征在于，所述根据所述局部人脸对应的美化策略，对所述局部人脸进行美化，包括：
若所述局部人脸属于鼻部，根据鼻部对应的美化策略指示的阴影强度，增加所述局部人脸的阴影。
9.根据权利要求1-8任一项所述的人脸美化方法，其特征在于，所述获取二维的人脸图像，包括：
在视频采集过程中，从至少两个不同的角度获取至少两张人脸图像。
10.根据权利要求9所述的人脸美化方法，其特征在于，所述根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型，包括：
对每一张人脸图像进行关键点识别，得到第二关键点；
对每一张人脸图像，根据第二关键点的深度信息和第二关键点在所述人脸图像上的距离，确定所述第二关键点对应的第一关键点在三维空间中的相对位置；根据所述第一关键点在三维空间中的相对位置，连接相邻的第一关键点，生成局部人脸三维框架；
根据不同的局部人脸三维框架中包含的相同第一关键点，对不同的局部人脸三维框架进行拼接，得到所述人脸三维模型的框架；
将所述人脸图像映射到所述人脸三维模型的框架，得到覆盖所述框架的皮肤纹理图。
11.根据权利要求10所述的人脸美化方法，其特征在于，所述将所述人脸图像映射到所述人脸三维模型的框架，得到覆盖所述框架的皮肤纹理图，包括：
获取所述框架中的多个第一区域；所述第一区域，是以各第一关键点为顶点得到的封闭区域；
根据所述人脸图像中的第二关键点，将所述人脸图像的人脸部分划分为以第二关键点为顶点的多个第二区域；
根据第一关键点与第二关键点之间的对应关系，确定各所述第二区域对应的第一区域；
对各第二区域内展示的图片内容渲染后，作为局部皮肤纹理贴图至所述人脸三维模型中对应的第一区域，得到覆盖所述框架的皮肤纹理图。
12.根据权利要求1-8任一项所述的人脸美化方法，其特征在于，所述获取二维的人脸图像之后，还包括：
对所述人脸图像进行识别，确定所述人脸图像的人脸部分不包含饰物。
13.一种人脸美化装置，其特征在于，所述装置包括：
获取模块，用于获取二维的人脸图像，以及所述人脸图像对应的深度信息；
重构模块，用于根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型；
美化模块，用于对覆盖所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型；
映射模块，用于将所述美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。
14.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-12中任一所述的人脸美化方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-12中任一所述的人脸美化方法。
16.一种图像处理电路，其特征在于，所述图像处理电路包括：图像单元、深度信息单元和处理单元；
所述图像单元，用于输出二维的人脸图像；
所述深度信息单元，用于输出深度信息；
所述处理单元，分别与所述图像单元和所述深度信息单元电性连接，用于根据所述图像单元获取的二维的人脸图像，以及所述深度信息单元获取的对应的深度信息，输出美化后的人脸图像。
17.根据权利要求16所述的图像处理电路，其特征在于，所述图像单元，包括电性连接的图像传感器和图像信号处理ISP处理器；
所述图像传感器，用于输出原始图像数据；
所述ISP处理器，用于根据所述原始图像数据，输出所述人脸图像。
18.根据权利要求16所述的图像处理电路，其特征在于，所述深度信息单元，包括电性连接的结构光传感器和深度图生成芯片；
所述结构光传感器，用于生成红外散斑图；
所述深度图生成芯片，用于根据所述红外散斑图，输出所述深度信息；所述深度信息包括深度图。
19.根据权利要求18所述的图像处理电路，其特征在于，所述处理单元，包括电性连接的CPU和GPU；
其中，所述CPU，用于根据标定数据，对齐所述人脸图像与所述深度图，根据对齐后的所述人脸图像与所述深度图，输出人脸三维模型；
所述GPU，用于根据所述人脸三维模型进行美化，得到美化后的人脸图像。
20.根据权利要求19所述的图像处理电路，其特征在于，所述GPU具体用于：
对覆盖在所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型；
将所述美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。
21.根据权利要求16-20任一项所述的图像处理电路，其特征在于，所述图像处理电路还包括显示单元；
所述显示单元，与所述处理单元电性连接，用于对所述美化后的人脸图像进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810551038.6A CN108876709A (zh) | 2018-05-31 | 2018-05-31 | 人脸美化方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810551038.6A CN108876709A (zh) | 2018-05-31 | 2018-05-31 | 人脸美化方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108876709A true CN108876709A (zh) | 2018-11-23 |
Family
ID=64336250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810551038.6A Pending CN108876709A (zh) | 2018-05-31 | 2018-05-31 | 人脸美化方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108876709A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109578405A (zh) * | 2018-12-24 | 2019-04-05 | 美克国际家私（天津）制造有限公司 | 一种三边实木框等边榫拼装结构 |
| CN110717867A (zh) * | 2019-09-04 | 2020-01-21 | 北京达佳互联信息技术有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
| CN110751666A (zh) * | 2019-11-30 | 2020-02-04 | 上海澄镜科技有限公司 | 一种装备在智能美容镜的皮肤检测与建模的系统装置 |
| CN111179156A (zh) * | 2019-12-23 | 2020-05-19 | 北京中广上洋科技股份有限公司 | 一种基于人脸检测的视频美化方法 |
| CN111815750A (zh) * | 2020-06-30 | 2020-10-23 | 深圳市商汤科技有限公司 | 对图像打光的方法及装置、电子设备和存储介质 |
| CN112562066A (zh) * | 2020-12-21 | 2021-03-26 | 维沃移动通信有限公司 | 图像重建方法和装置、电子设备 |
| CN113240784A (zh) * | 2021-05-25 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN115239576A (zh) * | 2022-06-15 | 2022-10-25 | 荣耀终端有限公司 | 一种照片优化方法、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100328307A1 (en) * | 2009-06-25 | 2010-12-30 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN107093171A (zh) * | 2016-02-18 | 2017-08-25 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及装置、系统 |
| CN107948499A (zh) * | 2017-10-31 | 2018-04-20 | 维沃移动通信有限公司 | 一种图像拍摄方法及移动终端 |
-
2018
- 2018-05-31 CN CN201810551038.6A patent/CN108876709A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100328307A1 (en) * | 2009-06-25 | 2010-12-30 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN107093171A (zh) * | 2016-02-18 | 2017-08-25 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及装置、系统 |
| CN107948499A (zh) * | 2017-10-31 | 2018-04-20 | 维沃移动通信有限公司 | 一种图像拍摄方法及移动终端 |
Non-Patent Citations (1)
| Title |
|---|
| 陈乙雄等: "《移动设备新技术简明教程》", 31 August 2016, 重庆大学出版社 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109578405B (zh) * | 2018-12-24 | 2023-09-08 | 美克国际家私（天津）制造有限公司 | 一种三边实木框等边榫拼装结构 |
| CN109578405A (zh) * | 2018-12-24 | 2019-04-05 | 美克国际家私（天津）制造有限公司 | 一种三边实木框等边榫拼装结构 |
| CN110717867A (zh) * | 2019-09-04 | 2020-01-21 | 北京达佳互联信息技术有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
| CN110751666A (zh) * | 2019-11-30 | 2020-02-04 | 上海澄镜科技有限公司 | 一种装备在智能美容镜的皮肤检测与建模的系统装置 |
| CN111179156A (zh) * | 2019-12-23 | 2020-05-19 | 北京中广上洋科技股份有限公司 | 一种基于人脸检测的视频美化方法 |
| CN111179156B (zh) * | 2019-12-23 | 2023-09-19 | 北京中广上洋科技股份有限公司 | 一种基于人脸检测的视频美化方法 |
| CN111815750A (zh) * | 2020-06-30 | 2020-10-23 | 深圳市商汤科技有限公司 | 对图像打光的方法及装置、电子设备和存储介质 |
| CN112562066A (zh) * | 2020-12-21 | 2021-03-26 | 维沃移动通信有限公司 | 图像重建方法和装置、电子设备 |
| CN112562066B (zh) * | 2020-12-21 | 2024-03-22 | 维沃移动通信有限公司 | 图像重建方法和装置、电子设备 |
| CN113240784A (zh) * | 2021-05-25 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN113240784B (zh) * | 2021-05-25 | 2024-01-02 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN115239576A (zh) * | 2022-06-15 | 2022-10-25 | 荣耀终端有限公司 | 一种照片优化方法、电子设备和存储介质 |
| CN115239576B (zh) * | 2022-06-15 | 2023-08-04 | 荣耀终端有限公司 | 一种照片优化方法、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764180A (zh) | 人脸识别方法、装置、电子设备及可读存储介质 | |
| CN108876709A (zh) | 人脸美化方法、装置、电子设备及可读存储介质 | |
| CN108765273A (zh) | 人脸拍照的虚拟整容方法和装置 | |
| CN108550185A (zh) | 人脸美化处理方法和装置 | |
| CN109118569A (zh) | 基于三维模型的渲染方法和装置 | |
| CN108447017A (zh) | 人脸虚拟整容方法和装置 | |
| CN108876708A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN107563304A (zh) | 终端设备解锁方法及装置、终端设备 | |
| CN109147037A (zh) | 基于三维模型的特效处理方法、装置和电子设备 | |
| CN109102559A (zh) | 三维模型处理方法和装置 | |
| CN109191584A (zh) | 三维模型处理方法、装置、电子设备及可读存储介质 | |
| CN107480613A (zh) | 人脸识别方法、装置、移动终端和计算机可读存储介质 | |
| CN108765272A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN109147024A (zh) | 基于三维模型的表情更换方法和装置 | |
| CN107479801A (zh) | 基于用户表情的终端显示方法、装置及终端 | |
| KR20090098798A (ko) | 비디오 이미지들의 시퀀스의 가상 시뮬레이션을 위한 방법 및 디바이스 | |
| CN109191393A (zh) | 基于三维模型的美颜方法 | |
| CN107481304A (zh) | 在游戏场景中构建虚拟形象的方法及其装置 | |
| CN108682050A (zh) | 基于三维模型的美颜方法和装置 | |
| CN107820005B (zh) | 图像处理方法、装置和电子装置 | |
| CN106456292A (zh) | 用于收集与正在经历3d扫描的对象有关的颜色信息的系统、方法、设备 | |
| CN109242760A (zh) | 人脸图像的处理方法、装置和电子设备 | |
| TW200805175A (en) | Makeup simulation system, makeup simulation device, makeup simulation method and makeup simulation program | |
| CN107551549A (zh) | 游戏形象调整方法及其装置 | |
| CN109285214A (zh) | 三维模型的处理方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |
|
| RJ01 | Rejection of invention patent application after publication |