CN113989895A - 一种人脸皮肤分割方法、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种人脸皮肤分割方法、电子设备及存储介质，其中上述人脸皮肤分割方法，应用于电子设备，包括：获取待处理图像的亮度值分布，所述亮度值分布包括亮度值小于第一亮度值的像素个数占全部像素个数的第一比例，以及亮度值大于或等于第二亮度值的像素个数占全部像素个数的第二比例；当所述待处理图像的亮度值分布满足预设条件，至少将所述待处理图像的亮度值分布的中心朝向所述第一亮度值或第二亮度值的方向调整，得到校正图像，其中，所述预设条件为所述第一比例大于或等于第一阈值，或者所述第二比例大于或等于第二阈值；将所述校正图像输入至人脸皮肤分割模型，得到人脸皮肤蒙版。

Description

一种人脸皮肤分割方法、电子设备及存储介质

【技术领域】

本申请实施例涉及图像处理技术领域，尤其涉及一种人脸皮肤分割方法、电子设备及存储介质。

【背景技术】

人脸皮肤分割是指通过人脸皮肤分割模型对图像进行人脸检测和分割出人脸皮肤区域，获取人脸皮肤蒙版。手机拍照美颜、高动态范围处理、皮肤降噪等功能需要获取高精度的人脸皮肤蒙版才能够实现较优的效果。

现有的人脸皮肤分割模型采用深度学习进行训练，通常先验假设进行人脸皮肤分割的图像的画质是有保障的，即进行人脸皮肤分割的图像是光照正常的高画质图像，或经过图像处理算法调优后符合预期画质的图像，进而现有的人脸皮肤分割模型采用的训练数据的画质符合高斯分布。训练数据的画质符合高斯分布是指训练数据大部分为光照正常的高画质图像，低画质图像比例较少或没有，进而现有的人脸皮肤分割模型对光照不正常的低画质图像进行人脸皮肤分割时，人脸检测失败概率较高和人脸皮肤分割精度较低。

【发明内容】

本申请实施例提供了一种人脸皮肤分割方法、电子设备及存储介质，从图像的亮度值分布空间的角度出发，对人脸皮肤分割模型待处理的图像进行亮度值分布空间校准，然后通过人脸皮肤分割模型对校准后的待处理图像进行人脸检测和分割出人脸皮肤区域，进而不需要增加训练数据及标签，以及不需要修改人脸皮肤分割模型的框架，就能够有效提升人脸皮肤分割模型分割低画质或者复杂背景下图像的人脸皮肤区域的分割精度。

第一方面，本申请实施例提供一种人脸皮肤分割方法，应用于电子设备，包括：

获取待处理图像的亮度值分布，所述亮度值分布包括亮度值小于第一亮度值的像素个数占全部像素个数的第一比例，以及亮度值大于或等于第二亮度值的像素个数占全部像素个数的第二比例；

当所述待处理图像的亮度值分布满足预设条件，至少将所述待处理图像的亮度值分布的中心朝向所述第一亮度值或第二亮度值的方向调整，得到校正图像，其中，所述预设条件为所述第一比例大于或等于第一阈值，或者所述第二比例大于或等于第二阈值；

将所述校正图像输入至人脸皮肤分割模型，得到人脸皮肤蒙版。

本申请实施例提供的上述人脸皮肤分割方法，通过待处理图像的亮度值分布确定低画质的图像，并通过调整待处理图像的亮度值分布的中心，使得待处理图像的亮度值分布向正常图像的亮度值分布靠拢，将校正图像输入人脸皮肤分割模型进行分割，在不需要增加训练数据及标签或修改人脸皮肤分割模型的框架的情况下，可以有效提升人脸皮肤分割模型分割低画质或者复杂背景下图像的人脸皮肤区域的分割精度。

其中一种可能的实现方式中，所述当所述待处理图像的亮度值分布满足预设条件，至少将所述待处理图像的亮度值分布的中心朝向所述第一亮度值或第二亮度值的方向调整，得到校正图像，包括：

当所述待处理图像的亮度值分布为所述第一比例大于或等于所述第一阈值，按照如下公式对所述待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为所述校正图像，V_in为所述待处理图像，A为常数值；

其中，k为正整数，R_l为所述第一比例，M_brightness为所述待处理图像的平均亮度值。

其中一种可能的实现方式中，所述当所述待处理图像的亮度值分布满足预设条件，至少将所述待处理图像的亮度值分布的中心朝向所述第一亮度值或第二亮度值的方向调整，得到校正图像，包括：

当所述待处理图像的亮度值分布为所述第二比例大于或等于所述第二阈值，按照如下公式对所述待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为所述校正图像，V_in为所述待处理图像，A为常数值；

γ＝kR_hM_brightness

其中，k为正整数，R_h为所述第二比例，M_brightness为所述待处理图像的平均亮度值。

其中一种可能的实现方式中，所述当所述待处理图像的亮度值分布满足预设条件，至少将所述待处理图像的亮度值分布的中心朝向所述第一亮度值或第二亮度值的方向调整，得到校正图像，包括：

当所述待处理图像的亮度值分布为所述第一比例大于或等于所述第一阈值，且所述第二比例大于或等于所述第二阈值，按照如下公式对所述待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为所述校正图像，V_in为所述待处理图像，A为常数值；

其中，k为正整数，R_l为所述第一比例，M_brightness为所述待处理图像的平均亮度值。

其中一种可能的实现方式中，所述将所述校正图像输入至人脸皮肤分割模型，得到人脸皮肤蒙版，包括：

获取所述校正图像的人脸框信息；

根据所述人脸框信息对所述校正图像进行裁剪得到所述校正图像中的人脸图像；

将所述人脸图像输入至所述人脸皮肤分割模型，得到人脸皮肤蒙版。

第二方面，本申请实施例提供一种电子设备，包括：

获取模块，用于获取待处理图像的亮度值分布，所述亮度值分布包括亮度值小于第一亮度值的像素个数占全部像素个数的第一比例，以及亮度值大于或等于第二亮度值的像素个数占全部像素个数的第二比例；

校正模块，用于当所述待处理图像的亮度值分布满足预设条件，至少将所述待处理图像的亮度值分布的中心朝向所述第一亮度值或第二亮度值的方向调整，得到校正图像，其中，所述预设条件为所述第一比例大于或等于第一阈值，或者所述第二比例大于或等于第二阈值；

人脸皮肤分割模块，用于将所述校正图像输入至人脸皮肤分割模型，得到人脸皮肤蒙版。

其中一种可能的实现方式中，所述校正模块包括第一校正单元，所述第一校正单元，用于当所述待处理图像的亮度值分布为所述第一比例大于或等于所述第一阈值，按照如下公式对所述待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为所述校正图像，V_in为所述待处理图像，A为常数值；

其中，k为正整数，R_l为所述第一比例，M_brightness为所述待处理图像的平均亮度值。

其中一种可能的实现方式中，所述校正模块包括第二校正单元，所述第二校正单元，用于当所述待处理图像的亮度值分布为所述第二比例大于或等于所述第二阈值，按照如下公式对所述待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为所述校正图像，V_in为所述待处理图像，A为常数值；

γ＝kR_hM_brightness

其中，k为正整数，R_h为所述第二比例，M_brightness为所述待处理图像的平均亮度值。

其中一种可能的实现方式中，所述校正模块包括第三校正单元，所述第三校正单元，用于当所述待处理图像的亮度值分布为所述第一比例大于或等于所述第一阈值，且所述第二比例大于或等于所述第二阈值，按照如下公式对所述待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为所述校正图像，V_in为所述待处理图像，A为常数值；

其中，k为正整数，R_l为所述第一比例，M_brightness为所述待处理图像的平均亮度值。

其中一种可能的实现方式中，所述人脸皮肤分割模块包括：

获取单元，用于获取所述校正图像的人脸框信息；

裁剪单元，用于根据所述人脸框信息对所述校正图像进行裁剪得到所述校正图像中的人脸图像；

分割单元，用于将所述人脸图像输入至所述人脸皮肤分割模型，得到人脸皮肤蒙版。

第三方面，本申请实施例提供一种电子设备，包括：

至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面提供的方法。

第四方面，本申请实施例一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的方法。

应当理解的是，本申请实施例的第二～四方面与本申请实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

【附图说明】

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提供的一种应用场景示意图；

图2为本申请一个实施例提供的人脸皮肤分割方法流程图；

图3是申请实施例提供的待处理图像的亮度值分布直方图；

图4是待处理图像为欠曝情况下的校正示意图；

图5是待处理图像为局部欠曝情况下的校正示意图；

图6是待处理图像为局部欠曝的另一个情况下的校正示意图；

图7是待处理图像为过曝情况下的校正示意图；

图8是本申请另一个实施例提供的人脸皮肤分割方法流程图；

图9是一种低画质待处理图像的校正前后的人脸皮肤蒙版；

图10为本发明说明书一个实施例提供的电子设备的结构示意图；

图11为本说明书一个实施例提供的电子设备的结构示意图。

【具体实施方式】

为了更好的理解本说明书的技术方案，下面结合附图对本申请实施例进行详细描述。

应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本说明书保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

图1是本申请实施例提供的一种应用场景示意图。如图1所示，以电子设备100为手机为例进行示例性说明，该示例并不构成对本申请实施例的限制。

可以理解的，电子设备100可以是运行人脸皮肤分割模型的硬件平台，例如，个人电脑(Personal Computer,PC)、服务器、终端设备等。终端设备可以是手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(Mobile internet device,MID)、可穿戴设备、无人驾驶(Self driving)中的无线终端、智慧城市(Smart city)中的无线终端、智慧家庭(Smarthome)中的无线终端、个人数字助理(Personal digital assistant,PDA)等，本申请实施例对此不作具体限定。

如图1所示，电子设备100进行拍照时可以实时显示美颜效果，或者电子设备100可以对获取的存储图像进行美颜时，电子设备100可以运行承载人脸皮肤分割模型的程序对获取的图像进行人脸识别和分割出人脸皮肤区域，得到人脸皮肤蒙版，进而电子设备100可以在人脸皮肤蒙版的基础上进行美颜处理。

可以理解的，图1仅是示例性的说明在人脸皮肤分割模型在拍照美颜时的应用场景，人脸皮肤分割模型还适用于图像高动态范围处理、皮肤降噪等需要人脸皮肤区域分割的应用场景中，图1所提供的应用场景不构成对本申请实施例应用场景的具体限定。

上述人脸皮肤分割模型，因训练数据较大部分为高画质图像，无法保证低画质图像的人脸检测成功率和人脸皮肤区域分割精度的问题，一方面可以补充新的训练数据，另一方面可以构建复杂的人脸皮肤分割模型，降低人脸漏检概率和提高人脸皮肤区域分割精度。

但是，训练数据的获取以及标注非常消耗人力和时间，且无法涵盖任意的低画质图像。构建复杂的人脸皮肤分割模型可以在一定程度上提高人脸皮肤区域分割精度，但需要大量的实验验证，并且模型复杂会增加计算资源和时间的开销，不适用于资源低下的硬件平台，例如计算能力有限的可穿戴设备。

基于以上问题，本申请实施例提供一种人脸皮肤分割方法，从图像的亮度值分布空间的角度出发，对人脸皮肤分割模型待处理的图像进行亮度值分布空间校准，即将低画质的待处理图像的亮度值分布向正常图像的亮度值分布中心靠拢，可以调整图像亮度分布，然后通过人脸皮肤分割模型对校准后的待处理图像进行人脸检测和分割出人脸皮肤区域，进而不需要增加训练数据及标签，以及不需要修改人脸皮肤分割模型的框架，有效提升人脸皮肤分割模型分割低画质或者复杂背景下图像的人脸皮肤区域的分割精度。

图2为本申请一个实施例提供的人脸皮肤分割方法流程图。如图2所示，上述人脸皮肤分割方法，可以应用于电子设备100，包括：

步骤201，获取待处理图像的亮度值分布，亮度值分布包括亮度值小于第一亮度值的像素个数占全部像素个数的第一比例，以及亮度值大于或等于第二亮度值的像素个数占全部像素个数的第二比例。

可选地，待处理图像可以预先存储在电子设备100内的。待处理图像还可以是实时生成的，比如电子设备100通过摄像头拍照生成的。待处理图像还可以是由其他设备传输的图像。

可以理解的，像素是最小的图像单元，待处理图像可以是由多个像素构成。示例性的，待处理图像的尺寸为500×538，表示待处理图像是由500×538的像素矩阵构成的，待处理图像的宽度是500个像素的长度，待处理图像的高度是338个像素的长度，共有500×538＝149000个像素。

每个像素可以由红(Red)、绿(Green)、蓝(Blue)三个颜色表征。每个颜色的亮度可以分为0～255共256个等级，0表示亮度为0％，255表示亮度为100％。对于每个像素的亮度值可以由三个颜色的亮度值表征，比如R表示红色的亮度值，G表示绿色的亮度值，B表示蓝色的亮度值，每个像素的亮度值可以是R、G、B三个值的加权平均。例如，每个像素的亮度值P_brightness＝(R+G+B)/3。又比如，每个像素的亮度值P_brightness＝0.299×R+0.587×G+0.114×B。又比如，每个像素的亮度值P_brightness＝0.30×R+0.59×G+0.11×B。以上仅是示例性说明，本申请实施例对每个像素的亮度值的计算方式不作具体限定。

可以理解的，待处理图像的亮度值分布可以是待处理图像中处于每个亮度值下的像素的个数。图3是申请实施例提供的待处理图像的亮度值分布直方图。如图3所示，横坐标表示的亮度值，纵坐标表示待处理图像中处于该亮度值下的像素个数。亮度值的取值范围可以是[0,255]。

在一些可能的实现方式中，可以对亮度值进行归一化处理，即将[0,255]归一化到[0,1]区间内。本申请对亮度值的具体取值形式不作限定。

在一些可能的实现方式中，可以对纵坐标的像素个数进行归一化处理，采用比例的形式表征像素个数。本申请对亮度值分布中的纵坐标的具体取值形式不作限定。

可选地，当亮度值的取值范围为[0,255]，第一亮度值的取值范围可以是[54,74]，第二亮度值的取值范围可以是[182,202]。示例性的，第一亮度值可以是64，第二亮度值可以是192。

可选地，当亮度值归一化取值范围为[0,1]，第一亮度值的取值范围可以是[0.21,0.29]，第二亮度值的取值范围可以是[0.71,0.79]。示例性的，第一亮度值可以是0.25，第二亮度值可以是0.75。

可以理解的，待处理图像的像素的亮度值小于第一阈值表示该像素的亮度值较小。待处理图像的像素的亮度值大于或等于第二阈值表示该像素的亮度值较大。待处理图像的像素的亮度值位于[第一亮度值，第二亮度值)表示该像素的亮度值为正常。

可以理解的，第一比例表示的是待处理图像的所有像素中，亮度值较小的像素个数的比例，即待处理图像中欠曝的情况。第二比例表示的是待处理图像的所有像素中，亮度值较大的像素个数的比例，即待处理图像中过曝的情况。

步骤202，确定待处理图像的亮度值分布是否满足预设条件，预设条件为第一比例大于或等于第一阈值，或者第二比例大于或等于第二阈值。

值得注意的是，电子设备100也可以不执行步骤202的动作，而直接根据待处理图像的亮度值分布是否满足预设条件的结果进行后续动作，当然也可以通过执行步骤202确定待处理图像的亮度值分布是否满足预设条件或者通过判断来确定是否满足，本实施例仅以作为其中一个示例，并不对此做限定。

可选地，第一阈值的取值范围可以是[15％,30％]。第二阈值可以是[55％,70％]。示例性的，第一阈值可以是15％，第二阈值可以是70％。

可以理解的，预设条件用于对待处理图像的画质进行分类。示例性的，当第一比例大于或等于第一阈值，可以表示待处理图像存在欠曝区域，是低画质图像。当第二比例大于或等于第二阈值，可以表示待处理图像存在较多的过曝区域，是低画质图像。当待处理图像的亮度值分布不满足预设条件，可以表示爱处理图像是正常画质图像，不需要进行校正。

步骤203，当待处理图像的亮度值分布满足预设条件，至少将待处理图像的亮度值分布的中心朝向第一亮度值或第二亮度值的方向调整，得到校正图像。

可以理解的，当待处理图像的亮度值分布满足预设条件，可以表示待处理图像是低画质图像，需要进行校正。

可选地，待处理图像的亮度值分布的中心可以是指待处理图像的全部像素的亮度值范围内的中间亮度值所在的纵线。

示例性的，当待处理图像的亮度值取值范围在[0,1]，但是全部像素的亮度值在[0.20,0.65]范围内，待处理图像的亮度值分布的中心可以是对应亮度值0.43的纵线。

示例性的，当待处理图像的亮度值取值范围在[0,255]，但是全部像素的亮度值在[51,165]范围内，待处理图像的亮度值分布的中心可以是对应亮度值108的纵线。

可选地，至少将待处理图像的亮度值分布的中心朝向第一亮度值或第二亮度值的方向调整，可以是将待处理图像的亮度值分布的中心向第一亮度值移动，或者可以是将待处理图像的亮度值分布的中心向第二亮度值移动。通过该设置方式，可以使得待处理图像的亮度值分布的第一比例或第二比例减少。

示例性的，如图3所示的待处理图像的全部像素的取值范围为[0,128]，图3所示的待处理图像的亮度值分布的中心为对应亮度值64的纵线。

可选地，当待处理图像的第一比例大于或等于第一阈值，且当待处理图像的亮度值分布的中心小于第一亮度值，将待处理图像的亮度值分布的中心朝向第一亮度值的方向调整。

可选地，当待处理图像的第一比例大于或等于第一阈值，且当待处理图像的亮度值分布的中心位于第一亮度值与第二亮度值之间，将待处理图像的亮度值分布的中心朝向第二亮度值的方向调整。

可选地，当待处理图像的第二比例大于或等于第二阈值，且当待处理图像的亮度值分布的中心位于第一亮度值与第二亮度值之间，将待处理图像的亮度值分布的中心朝向第一亮度值的方向调整。

可选地，当待处理图像的第二比例大于或等于第二阈值，且当待处理图像的亮度值分布的中心大于第二亮度值，将待处理图像的亮度值分布的中心朝向第二亮度值的方向调整。

可选地，至少将待处理图像的亮度值分布的中心朝向第一亮度值或第二亮度值的方向调整，可以是将待处理图像的亮度值分布的中心朝向第一亮度值或第二亮度值的方向移动。

可选地，至少将待处理图像的亮度值分布的中心朝向第一亮度值或第二亮度值的方向调整，可以是至少提高待处理图像的第一比例对应的像素的亮度值，或者可以是至少降低待处理图像的第二比例对应的像素的亮度值。

可以理解的，得到的校正图像可以改善待处理图像的欠曝和过曝，使得校正图像的画质接近正常图像的画质。

步骤204，将校正图像输入至人脸皮肤分割模型，得到人脸皮肤蒙版。

可选地，人脸皮肤分割模型可以是BiseNetv2模型、DeepLab-v3+等，本申请实施例不对人脸皮肤分割模型作具体限定。

本申请实施例提供的上述人脸皮肤分割方法，通过待处理图像的亮度值分布确定低画质的图像，并通过调整待处理图像的亮度值分布的中心，使得待处理图像的亮度值分布向正常图像的亮度值分布靠拢，将校正图像输入人脸皮肤分割模型进行分割，在不需要增加训练数据及标签或修改人脸皮肤分割模型的框架的情况下，可以有效提升人脸皮肤分割模型分割低画质或者复杂背景下图像的人脸皮肤区域的分割精度。

可选地，步骤203的当待处理图像的亮度值分布满足预设条件，至少将待处理图像的亮度值分布的中心朝向第一亮度值或第二亮度值的方向调整得到校正图像，包括：

当待处理图像的亮度值分布为第一比例大于或等于第一阈值，按照如下公式对待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ (1)

其中，V_out为校正图像，V_in为待处理图像，A为常数值；

其中，k为正整数，R_l为第一比例，M_brightness为待处理图像的平均亮度值。

可以理解的，当γ小于1时，可以对待处理图像中的欠曝区域进行亮度提升。待处理图像中的欠曝越严重，即第一比例R_l越大以及待处理图像的平均亮度值M_brightness越小，则γ越小。

下面以图4至图6所示的校正示意图，示例性地说明待处理图像的校正过程。

图4是待处理图像为欠曝情况下的校正示意图。如图4所示，待处理图像的所有像素的亮度值均小于第一亮度值，即待处理图像的第一比例为100％，待处理图像为欠曝图像。采用公式(1)和公式(2)进行校正，使得待处理图像的亮度值分布的中心向第一阈值的方向移动，使得待处理图像的第一比例显著减少，提高待处理图像的亮度。

图5是待处理图像为局部欠曝情况下的校正示意图。如图5所示，待处理图像的第一比例超过第一阈值，但不是100％，待处理图像的第二比例为0，待处理图像为局部欠曝图像。待处理图像的亮度值分布的中心为对应第一亮度值的纵线，采用公式(1)和公式(2)进行校正，使得待处理图像的亮度值分布的中心向第二阈值的方向移动，使得待处理图像的第一比例显著减少，提高待处理图像的亮度。

图6是待处理图像为局部欠曝的另一个情况下的校正示意图。如图6所示，待处理图像的第一比例超过第一阈值，且第二比例不为零，但第二比例小于第二阈值，待处理图像为局部欠曝和局部过曝的图像。待处理图像亮度值分布的中心位于第一亮度值和第二亮度值区间内，采用公式(1)和公式(2)进行校正，使得待处理图像的亮度值分布的中心向第二阈值的方向移动，使得待处理图像的第一比例显著减少，提高待处理图像的亮度。

可选地，步骤203的当待处理图像的亮度值分布满足预设条件，至少将待处理图像的亮度值分布的中心朝向第一亮度值或第二亮度值的方向调整得到校正图像，包括：

当待处理图像的亮度值分布为第二比例大于或等于第二阈值，按照如下公式对待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ (1)

其中，V_out为校正图像，V_in为待处理图像，A为常数值；

γ＝kR_hM_brightness (3)

其中，k为正整数，R_h为第二比例，M_brightness为待处理图像的平均亮度值。

可以理解的，当γ大于1时，可以压制待处理图像中的过曝区域，进而降低亮度。待处理图像中的过曝越严重，即第二比例R_h越大以及待处理图像的平均亮度值M_brightness越大，则γ越大。

下面以图7所示的校正示意图，示例性地说明待处理图像的校正过程。

图7是待处理图像为过曝情况下的校正示意图。如图7所示，待处理图像的第二比例超过第二阈值，待处理图像为过曝图像。待处理图像的亮度值分布的中心为对应第二亮度值的纵线，采用公式(1)和公式(3)进行校正，使得待处理图像的亮度值分布的中心向第一阈值的方向移动，使得待处理图像的第二比例显著减少，降低待处理图像的亮度。

可选地，步骤203的当待处理图像的亮度值分布满足预设条件，至少将待处理图像的亮度值分布的中心朝向第一亮度值或第二亮度值的方向调整得到校正图像，包括：

当待处理图像的亮度值分布为第一比例大于或等于第一阈值，且第二比例大于或等于第二阈值，按照如下公式对待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ (1)

其中，V_out为校正图像，V_in为待处理图像，A为常数值；

其中，k为正整数，R_l为第一比例，M_brightness为待处理图像的平均亮度值。

可以理解的，由于第一阈值和第二阈值设置的取值范围，待处理图像可能存在同时满足第一比例大于或等于第一阈值和第二比例大于或等于第二阈值的情况，比如当第一阈值为15％，第二阈值为70％，待处理图像的第一比例可能为17％，第二比例为73％，待处理图像仅有10％的像素的亮度值位于第一亮度值和第二亮度值之间，此时待处理图像同时满足第一比例大于或等于第一阈值和第二比例大于或等于第二阈值的情况，如果采用公式(1)和(3)对待处理图像的亮度进行压制，可能使得待处理图像的第一比例增加，而在人脸皮肤分割的应用场景下，表示人脸的像素可能较大概率处于小于第一亮度值的区间内，因此本申请实施例采用公式(1)和(2)提高待处理图像的亮度，减少第一比例，可以保证人脸皮肤分割模型的分割精度。

图8是本申请另一个实施例提供的人脸皮肤分割方法流程图。如图8所示，图2中步骤204的将校正图像输入至人脸皮肤分割模型，得到人脸皮肤蒙版，包括：

步骤801，获取校正图像的人脸框信息。

可选地，可以采用人脸检测模型对校正图像中的人脸进行检测，得到人脸框信息。

可选地，人脸框信息可以是人脸框在校正图像中的具体坐标以及长、宽等信息。

可选地，人脸检测模型可以采用Dlib正面人脸检测器(Dlib Frontal FaceDetector)、神经网络、DNN人脸检测器(DNN Face Detector in OpenCV)等，本申请不对人脸检测模型作具体限定。

可选地，步骤801的获取校正图像的人脸框信息，可以包括：

步骤8011，确定校正图像是否存在人脸。

可选地，当确定校正图像不存在人脸图像，不将校正图像输入至人脸皮肤分割模型。

可选地，当确定校正图像存在人脸图像，获取校正图像的人脸框信息。

本申请实施例提供的人脸皮肤分割方法，在通过人脸皮肤分割模型进行分割前，可以通过人脸检测模型进行人脸检测得到人脸框信息，进而提高人脸检测的成功率。

而且，本申请实施例提供的人脸皮肤分割方法，对校正图像进行人脸检测，而不是对待处理图像直接进行人脸检测，可以大幅度改善因待处理图像欠曝或过曝导致人脸检测漏检率过高的问题，降低人脸检测的漏检率。

此外，当不存在人脸图像时，可以不获取校正图像的人脸框信息，进而可以不进行人脸皮肤分割，有效避免待处理图像中不含真正人脸图像的部分分割为人脸。例如，本申请实施例提供的人脸皮肤分割方法可以避免将人脸附近处的头发、眼镜或者衣服分割为人脸皮肤。

步骤802，根据人脸框信息对校正图像进行裁剪得到校正图像中的人脸图像。

可选地，可以根据人脸框信息和校正图像的尺寸，计算校正图像中人脸的占比。如果人脸占比过小，表示校正图像中除了人脸之外还包括大量的背景区域。此时应该对人脸框信息进行调整，使得调整后的人脸框信息确定的人脸区域尽量包括人脸部分和脖子部分。然后，根据调整的人脸框信息对校正图像进行裁剪得人脸图像。

本申请实施例提供的上述人脸皮肤分割方法，通过根据人脸框信息对校正图像进行裁剪，可以保证输入人脸皮肤分割模型的图像是正常画质或者接近正常画质，可以避免人脸皮肤分割模型因输入图像的画质较低而降低人脸皮肤区域的分割精度。

步骤803，将人脸图像输入至人脸皮肤分割模型，得到人脸皮肤蒙版。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

下面以图9所示的人脸皮肤蒙版，示例性地说明本申请实施例提供的上述人脸皮肤分割方法的有益效果。

图9是一种低画质待处理图像的校正前后的人脸皮肤蒙版。如图9所示，未校正的待处理图像的整体画面偏暗，属于欠曝图像，输入人脸皮肤分割模型得到的人脸皮肤蒙版的皮肤分割精度较低，将眼镜和部分头发划分为人脸皮肤区域，脖子部分皮肤缺失，且人脸皮肤蒙版不均匀。如图9所示，校正后的待处理图像的整体画面较亮，输入人脸皮肤分割模型得到的人脸皮肤蒙版的皮肤分割精度较高，及脖子部分区域的皮肤未丢失，人脸皮肤蒙版均匀，且可以准确识别头发和眼镜。

图10为本发明说明书一个实施例提供的电子设备的结构示意图。如图10所示，电子设备100包括：获取模块1001、校正模块1002和人脸皮肤分割模块1003。

获取模块1001，用于获取待处理图像的亮度值分布，亮度值分布包括亮度值小于第一亮度值的像素个数占全部像素个数的第一比例，以及亮度值大于或等于第二亮度值的像素个数占全部像素个数的第二比例。

校正模块1002，用于当待处理图像的亮度值分布满足预设条件，至少将待处理图像的亮度值分布的中心朝向第一亮度值或第二亮度值的方向调整，得到校正图像，其中，预设条件为第一比例大于或等于第一阈值，或者第二比例大于或等于第二阈值。

人脸皮肤分割模块1003，用于将校正图像输入至人脸皮肤分割模型，得到人脸皮肤蒙版。

可选地，校正模块1002包括第一校正单元。第一校正单元，用于当待处理图像的亮度值分布为第一比例大于或等于第一阈值，按照如下公式对待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为校正图像，V_in为待处理图像，A为常数值；

其中，k为正整数，R_l为第一比例，M_brightness为待处理图像的平均亮度值。

可选地，校正模块1002包括第二校正单元。第二校正单元，用于当待处理图像的亮度值分布为第二比例大于或等于第二阈值，按照如下公式对待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为校正图像，V_in为待处理图像，A为常数值；

γ＝kR_hM_brightness

其中，k为正整数，R_h为第二比例，M_brightness为待处理图像的平均亮度值。

可选地，校正模块1002还包括第三校正单元。第三校正单元，用于当待处理图像的亮度值分布为第一比例大于或等于第一阈值，且待处理图像的亮度值分布为第二比例大于或等于第二阈值，按照如下公式对待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为校正图像，V_in为待处理图像，A为常数值；

其中，k为正整数，R_l为第一比例，M_brightness为待处理图像的平均亮度值。

可选地，人脸皮肤分割模块1003包括获取单元、裁剪单元和分割单元。

获取单元，用于获取校正图像的人脸框信息。

裁剪单元，用于根据人脸框信息对校正图像进行裁剪得到校正图像中的人脸图像。

分割单元，用于将人脸图像输入至人脸皮肤分割模型，得到人脸皮肤蒙版。

图10所示实施例提供的电子设备100可用于执行本说明书图2至图8所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。

本申请实施例提供的人脸皮肤分割方法可以通过以下装置来执行：芯片或者芯片模组。上述电子设备涉及的模块或单元，例如可以是：芯片或者芯片模组。

关于上述实施例中描述的各个设备、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个设备、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器。不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

图11为本说明书一个实施例提供的电子设备的结构示意图，如图11所示，上述电子设备可以包括至少一个处理器；以及与上述处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，上述处理器调用上述程序指令能够执行本说明书图2至图8所示实施例提供的人脸皮肤分割方法。

其中，上述电子设备100可以为智能手机、平板电脑或笔记本电脑等智能电子设备，本实施例对上述电子设备的形式不作限定。

示例性的，图11以智能手机为例示出了电子设备的结构示意图，如图11所示，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，传感器模块180，摄像头193，显示屏194等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

处理器110通过运行存储在内部存储器121中的程序，从而执行各种功能应用以及数据处理，例如实现本申请图2～图8所示实施例提供的人脸皮肤分割方法。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

本申请实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行本说明书图2～图8所示实施例提供的人脸皮肤分割方法。

上述非暂态计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read only memory,ROM)、可擦式可编程只读存储器(Erasable programmable read onlymemory,EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可以以一种或多种程序设计语言或其组合来编写用于执行本说明书操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。

在本发明实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

以上仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (10)

1.一种人脸皮肤分割方法，其特征在于，应用于电子设备，包括：

获取待处理图像的亮度值分布，所述亮度值分布包括亮度值小于第一亮度值的像素个数占全部像素个数的第一比例，以及亮度值大于或等于第二亮度值的像素个数占全部像素个数的第二比例；

当所述待处理图像的亮度值分布满足预设条件，至少将所述待处理图像的亮度值分布的中心朝向所述第一亮度值或第二亮度值的方向调整，得到校正图像，其中，所述预设条件为所述第一比例大于或等于第一阈值，或者所述第二比例大于或等于第二阈值；

将所述校正图像输入至人脸皮肤分割模型，得到人脸皮肤蒙版。

2.根据权利要求1所述的方法，其特征在于，所述当所述待处理图像的亮度值分布满足预设条件，至少将所述待处理图像的亮度值分布的中心朝向所述第一亮度值或第二亮度值的方向调整，得到校正图像，包括：

当所述待处理图像的亮度值分布为所述第一比例大于或等于所述第一阈值，按照如下公式对所述待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为所述校正图像，V_in为所述待处理图像，A为常数值；

其中，k为正整数，R_l为所述第一比例，M_brightness为所述待处理图像的平均亮度值。

3.根据权利要求1所述的方法，其特征在于，所述当所述待处理图像的亮度值分布满足预设条件，至少将所述待处理图像的亮度值分布的中心朝向所述第一亮度值或第二亮度值的方向调整，得到校正图像，包括：

当所述待处理图像的亮度值分布为所述第二比例大于或等于所述第二阈值，按照如下公式对所述待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为所述校正图像，V_in为所述待处理图像，A为常数值；

γ＝kR_hM_brightness

其中，k为正整数，R_h为所述第二比例，M_brightness为所述待处理图像的平均亮度值。

4.根据权利要求1所述的方法，其特征在于，所述将所述校正图像输入至人脸皮肤分割模型，得到人脸皮肤蒙版，包括：

获取所述校正图像的人脸框信息；

根据所述人脸框信息对所述校正图像进行裁剪得到所述校正图像中的人脸图像；

将所述人脸图像输入至所述人脸皮肤分割模型，得到人脸皮肤蒙版。

5.一种电子设备，其特征在于，包括：

获取模块，用于获取待处理图像的亮度值分布，所述亮度值分布包括亮度值小于第一亮度值的像素个数占全部像素个数的第一比例，以及亮度值大于或等于第二亮度值的像素个数占全部像素个数的第二比例；

校正模块，用于当所述待处理图像的亮度值分布满足预设条件，至少将所述待处理图像的亮度值分布的中心朝向所述第一亮度值或第二亮度值的方向调整，得到校正图像，其中，所述预设条件为所述第一比例大于或等于第一阈值，或者所述第二比例大于或等于第二阈值；

人脸皮肤分割模块，用于将所述校正图像输入至人脸皮肤分割模型，得到人脸皮肤蒙版。

6.根据权利要求5所述的电子设备，其特征在于，所述校正模块包括第一校正单元，所述第一校正单元，用于当所述待处理图像的亮度值分布为所述第一比例大于或等于所述第一阈值，按照如下公式对所述待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为所述校正图像，V_in为所述待处理图像，A为常数值；

其中，k为正整数，R_l为所述第一比例，M_brightness为所述待处理图像的平均亮度值。

7.根据权利要求5所述的电子设备，其特征在于，所述校正模块包括第二校正单元，所述第二校正单元，用于当所述待处理图像的亮度值分布为所述第二比例大于或等于所述第二阈值，按照如下公式对所述待处理图像进行处理得到校正图像：

V_out＝AV_in ^γ

其中，V_out为所述校正图像，V_in为所述待处理图像，A为常数值；

γ＝kR_hM_brightness

其中，k为正整数，R_h为所述第二比例，M_brightness为所述待处理图像的平均亮度值。

8.根据权利要求5所述的电子设备，其特征在于，所述人脸皮肤分割模块包括：

获取单元，用于获取所述校正图像的人脸框信息；

裁剪单元，用于根据所述人脸框信息对所述校正图像进行裁剪得到所述校正图像中的人脸图像；

分割单元，用于将所述人脸图像输入至所述人脸皮肤分割模型，得到人脸皮肤蒙版。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一项所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至4任一项所述的方法。

Images