CN109389076B - 图像分割方法及装置 - Google Patents

Abstract

本申请公开了一种图像分割方法及装置。该方法包括：获取待处理图像；将所述待处理图像输入至皮肤分割网络，得到所述待处理图像的概率图；根据所述概率图进行分割，得到所述待处理图像的分割图，其中，所述分割图包括脸部区域、躯干区域以及背景区域中的至少一种。通过图像分割网络对待处理图像进行处理，自动、快速地获得待处理图像的概率图，基于概率图准确地划分待处理图像的中的脸部区域、躯干区域以及背景区域等，得到相应的分割图；而基于概率图、皮肤块离散程度及面积判据，得到最终置信度可判断待处理图像的皮肤分割的好坏。

Description

图像分割方法及装置

技术领域

本申请涉及图像处理领域，尤其涉及一种图像分割方法及装置。

背景技术

传统的图像皮肤分割方法主要是基于人体皮肤肤色实现的，然而人体皮肤的肤色在不同的场景下变化很大，比如在阳光下的皮肤会很亮并且部分区域有阴影，在室内时皮肤会很暗并且如果灯光不够皮肤会很较黑。另外，不同人种的皮肤颜色也完全不一样，比如中国人、印度人、美国人、非洲人所对应皮肤颜色分别是黄色、棕色、白色、黑色。因此，传统方法的分割效果的鲁棒性较差，不能对图像中不同人的皮肤区域进行区分，在复杂场景的效果就更不理想了。

发明内容

本申请提供一种图像分割方法及装置，以实现对图像中人体皮肤区域的分割。

第一方面，提供了一种图像分割方法，包括：获取待处理图像；将所述待处理图像输入至皮肤分割网络，得到所述待处理图像的概率图；根据所述概率图进行分割，得到所述待处理图像的分割图，其中，所述分割图包括至少一个脸部区域、至少一个躯干区域以及背景区域中的至少一种。

在一种可能实现的方式中，所述皮肤分割网络对所述待处理图像依次执行编码步骤和解码步骤，得到所述待处理图像的概率图。

在又一种可能实现的方式中，所述皮肤分割网络包括编码层、解码层，所述编码层依次包括：卷积层、BatchNorm层和ReLU激活层。

在另一种可能实现的方式中，所述编码步骤包括：对所述待处理图像进行预处理，得到预处理后的待处理图像；对所述预处理后的待处理图像逐级进行编码，得到多个尺寸的第一特征图像。

在又一种可能实现的方式中，所述解码步骤包括：对尺寸最小的第一特征图像进行线性插值处理，得到第一尺寸的第二特征图像；将所述第一尺寸的第二特征图像与相同尺寸的所述第一特征图像进行叠加，得到叠加后的第二特征图像；将所述叠加后的第二特征图像重复执行上述操作，直至所述第二特征图像的尺寸与所述待处理图像的尺寸相同。

在又一种可能实现的方式中，所述解码步骤还包括：将与所述待处理图像尺寸相同的第二特征图像经过softmax层，得到所述待处理图像的概率图。

在又一种可能实现的方式中，所述概率图包括三维概率图，所述三维概率图中的每个像素为脸部、躯干以及背景的概率值；所述对所述概率图进行分割，得到所述待处理图像的分割图，包括：取每个像素的概率最大值对应的类别作为输出类别，得到所述待处理图像的分割图，其中，所述类别包括脸部、躯干和背景中的至少一种。

在又一种可能实现的方式中，在所述得到所述待处理图像的分割图之后，还包括：对所述分割图添加标签，所述标签包括人脸区域对应的用户信息和所述各个区域对应的类别。

在又一种可能实现的方式中，在对所述概率图进行分割，得到所述待处理图像的分割图之后，还包括：根据所述概率图，获取所述分割图中各个区域的置信度。

在又一种可能实现的方式中，所述根据所述概率图，获取所述分割图中各个区域的置信度，包括：计算所有被判别为预定区域的概率值的平均值和方差，得到预定区域的初始置信度；根据所述初始置信度以及所述预定区域的离散程度、面积，得到预定区域的最终置信度。

第二方面，提供了一种图像分割装置，包括：第一获取单元，用于获取待处理图像；处理单元，用于将所述待处理图像输入至皮肤分割网络，得到所述待处理图像的概率图；分割单元，用于根据所述概率图进行分割，得到所述待处理图像的分割图，其中，所述分割图包括至少一个脸部区域、至少一个躯干区域以及背景区域中的至少一种。

在一种可能实现的方式中，所述处理单元包括皮肤分割网络，所述分割网络包括：编码子单元，用于执行编码步骤；解码子单元，用于执行解码步骤。

在又一种可能实现的方式中，所述编码子单元依次包括：卷积层、BatchNorm层和ReLU激活层。

在另一种可能实现的方式中，所述编码子单元还用于：对所述待处理图像进行预处理，得到预处理后的待处理图像；以及对所述预处理后的待处理图像逐级进行编码，得到多个尺寸的第一特征图像。

在又一种可能实现的方式中，所述解码子单元还用于：对尺寸最小的第一特征图像进行线性插值处理，得到第一尺寸的第二特征图像；以及将所述第一尺寸的第二特征图像与相同尺寸的所述第一特征图像进行叠加，得到叠加后的第二特征图像；以及将所述叠加后的第二特征图像重复执行上述操作，直至所述第二特征图像的尺寸与所述待处理图像的尺寸相同。

在又一种可能实现的方式中，所述解码步骤还包括：将与所述待处理图像尺寸相同的第二特征图像经过softmax层，得到所述待处理图像的概率图。

在又一种可能实现的方式中，所述概率图包括三维概率图，所述三维概率图中的每个像素为脸部、躯干以及背景的概率值；所述分割单元包括：确定子单元，用于取每个像素的概率最大值对应的类别作为输出类别，得到所述待处理图像的分割图，其中，所述类别包括脸部、躯干和背景中的至少一种。

在又一种可能实现的方式中，所述图像分割装置还包括：添加标签单元，用于对所述分割图添加标签，所述标签包括人脸区域对应的用户信息和所述各个区域对应的类别。

在又一种可能实现的方式中，所述图像分割装置还包括：第二获取单元，用于根据所述概率图，获取所述分割图中各个区域的置信度。

在又一种可能实现的方式中，所述第二获取单元包括：计算子单元，用于计算所有被判别为预定区域的概率值的平均值和方差，得到预定区域的初始置信度；处理子单元，用于根据所述初始置信度以及所述预定区域的离散程度、面积，得到预定区域的最终置信度。

第三方面，提供了一种图像分割装置，包括：包括处理器、存储器；所述处理器被配置为支持所述装置执行上述第一方面的方法中相应的功能。存储器用于与处理器耦合，其保存所述装置必要的程序（指令）和数据。可选的，所述装置还可以包括输入/输出接口，用于支持所述装置与其他装置之间的通信。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行所述各方面所述的方法。

第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行所述各方面所述的方法。

上述实施例的图像分割方法，通过获取待处理图像；将所述待处理图像输入至皮肤分割网络，得到所述待处理图像的概率图；根据所述概率图进行分割，得到所述待处理图像的分割图，其中，所述分割图包括至少一个脸部区域、至少一个躯干区域以及背景区域中的至少一种。上述实施例的方法将对待处理图像输入皮肤分割神经网络，自动、快速地获得待处理图像的概率图，最后基于概率图准确地划分待处理图像的中的脸部区域、躯干区域以及背景区域等，得到相应的分割图。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1为本申请实施例提供的一种图像分割方法的流程示意图；

图2为本申请实施例提供的另一种图像分割方法的流程示意图；

图3为本申请实施例提供的一种编码单元及解码单元示意图；

图4为本申请实施例提供的一种对分割图添加标签的流程示意图；

图5为本申请实施例提供的一种获得图像分割置信度的流程示意图；

图6为本申请实施例提供的一种图像分割装置的结构示意图；

图7为本申请实施例提供的一种图像分割装置的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在本文中提及到的“256*256*3”和“16*16*3”均为二维图像的尺寸信息，其中，256*256和16*16均为图像的像素尺寸，3表示图像中有R、G、B3个通道。

下面结合本申请实施例中的附图对本申请实施例进行描述。

请参阅图1，图1是本申请实施例提供的一种图像分割方法的流程示意图。

101、获取待处理图像。

在本实施例中，待处理图像可以是从终端（如：手机、数码相机、平板电脑）获取已存储的图像输入到神经网络的图像，也可以是通过摄像头拍摄并输入到神经网络的图像。图像尺寸可以按照需求设定，可选地，后续处理中待处理图像的尺寸均为256*256*3。

102、将上述待处理图像输入至皮肤分割网络，得到上述待处理图像的概率图。

将待处理图像输入到皮肤分割网络，对待处理图像采用图像下采样处理实现对图像的预处理，并将待处理图像的尺寸缩小至目标尺寸，得到预处理后的待处理图像，其中，目标尺寸的具体大小可按需调整。

预处理后的待处理图像再依次经过该皮肤分割网络的编码和解码步骤，得到上述待处理图像的概率图，该概率图的尺寸与待处理图像的尺寸相同。

103、将上述概率图进行分割，得到上述待处理图像的分割图。

从上述概率图中分别选取每个像素区域中概率值最大的类别作为该像素的类别，并结合待处理图像得到最终的待处理图像的分割图，即将待处理图像划分为至少一个脸部区域、至少一个躯干区域和背景区域中的至少一种。

上述实施例的图像分割方法，通过获取待处理图像；将所述待处理图像输入至皮肤分割网络，得到所述待处理图像的概率图；根据所述概率图进行分割，得到所述待处理图像的分割图，其中，所述分割图包括至少一个脸部区域、至少一个躯干区域以及背景区域中的至少一种。上述实施例的方法将对待处理图像输入皮肤分割神经网络，自动、快速地获得待处理图像的概率图，最后基于概率图准确地划分待处理图像的中的脸部区域、躯干区域以及背景区域等，得到相应的分割图。

请参阅图2，图2是本申请实施例提供的另一种图像分割方法的流程示意图。

201、获取待处理图像。

获取或输入待处理图像。可选地，待处理图像可以是从终端（如：手机、数码相机、平板电脑）获取已存储的图像输入到神经网络的图像，也可以是通过摄像头拍摄并输入到神经网络的图像。在本实施例中，为满足后续处理的需要，待处理图像的尺寸均为256*256*3。

202、对上述待处理图像进行预处理，得到预处理后的待处理图像。

由于皮肤分割系统中的图像分割网络对输入的图像大小有限制，因此，在对待处理图像进行后续操作之前，需要对待处理图像进行预处理。具体地，先通过图像下采样的方法将待处理图像缩小至256*256*3。而图像下采样可参见下例：对于一幅M*N的图像，对其进行S倍下采样，即将该图像划分成S*S个格子，这样，每一个格子的大小为(M/S)*(N/S)，，然后计算每一个格子中特征的平均值或最大值，即可得到目标大小的图像。

这样，经过下采样处理后的图像大小将满足图像分割网络的要求，同时能减少采样点，减小后续的计算量，提高系统的运行速度。

203、对上述预处理后的待处理图像逐级进行编码，得到多个尺寸的第一特征图像。

本申请实施例通过图像分割网络对待处理图像进行处理，实现对待处理图像的区域的分割，图像分割网络主要由编码单元、解码单元和softmax层组成。

如图3所示，编码单元（Encoder）总共有9层编码层，其中每一层编码层都由卷积层、BatchNorm层和ReLU激活层组成。

卷积层通过对图像进行卷积操作从中提取相应的特征。编码单元可对图像逐级进行卷积操作提取解码中间特征，且不同的编码层提取出的编码中间特征也不一样，具体的，逐级解码得到的编码中间特征越来越小。另外，上一层的输出将作为下一层的输入，每个卷积层提取出的特征内容及语义信息也不一样。具体表现为，编码单元一步步将图像特征抽象出来，同时也将逐步去除相对次要的特征，因此，越到后面提取出的特征尺寸越小，内容及语义信息就越浓缩。这样，不同编码层得到的不同尺寸的特征图像，最终经过编码单元的处理，得到多个尺寸的第一特征图像。

上述所选择的图像是数字图像，正如前面所说的，通过卷积层对数字图像进行卷积操作可提取特征。具体地，对数字图像做卷积操作，即利用卷积核在图像上滑动，并将图像点上的像素值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素值，最终滑动处理完所有图像，并提取出特征值。在训练及实际使用的过程中，将卷积核的滑动步长设置为2，通过编码单元对待处理图像进行逐级编码，并提取相应的编码中间特征，最终即可从大小为256*256*3的图像中提取出16*16*3的特征图像。这样，可在获得图像主要内容信息（即特征图像）的同时，将图像尺寸缩小，减小系统的计算量，提高运算速度。

一方面，由于图像分割网络提取特征的过程其实就是完成对数据的分布，并需要在后续的测试集上达到很好的泛化效果。显然，如果每次输入到神经网络的数据都具有不同的分布，将会给网络的特征提取带来很大的困难。另一方面，在提取特征时，分割网络中的每一层网络的输入都会因为前一层网络参数的变化导致其分布发生改变，数据经过一层层网络计算后，其数据分布也会发生变化，这样会给下一层网络的提取带来困难。因此，需要对数据进行归一化处理。现假设将每一层输出后的数据都归一化到均值为0，方差为1，且满足正态分布，此时将出现一个问题，即每一层的数据分布都是标准正态分布。由于前面学习到的特征分布被归一化了，导致其完全提取不出输入数据的特征，显然，这种直接对每一层做归一化的方法是不合理的，而在卷积层后连接接Batch Norm层，通过Batch Norm层加入可训练的参数完成对数据的归一化处理，同时能加快训练速度，并去除数据的相关性，突出特征数据之间的分布差异。Batch Norm层具体的操作步骤可参见下例：

假设输入数据是

共

个数据，输出是

，Batch Norm层将对数据进行如下操作：

先求出上述批量数据

的平均值，即

；

再根据平均值

求出上述批量数据的方差，即

；

再根据平均值

和方差

对上述批量数据进行归一化处理，得到

；

最后引入缩放变量

和平移变量

，并计算归一化后的值，即

。

经过Batch Norm层的处理后，再通过Relu激活层进行处理，可以增加数据的非线性，把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类，同时能在很大程度的解决了图像分割网络在学习过程梯度耗散的问题。

需要指出的是，整个编码过程会产生对个尺寸的第一特征图像，但经编码单元对待处理图像完成编码处理后最终输出的只有尺寸最小的第一特征图像。

204、对上述第一特征图像进行解码处理，得到第二特征图像。

解码则是编码的逆过程，通过解码层对特征进行逐步放大，最终得到第二特征图像在本申请实施例中，如图3所示，解码单元（Decoder）可以从左至右依次对特征图像进行线性插值处理，使特征图像逐级放大，并得到第一尺寸的第二特征图像，且不同的解码层放大得到的第一尺寸的第二特征图像的大小也不一样。具体的，逐级解码得到的第一尺寸的第二特征图像越来越大。这样，对尺寸最小的第一特征图像进行线性插值处理，得到多个第一尺寸的第二特征图像。

另外，如203所述，编码层在提取特征时，会丢弃掉一些相对次要的信息，但图像浅层特征还保留有图像的这些次要信息，所以在解码时会将编码单元得到的部分第一尺寸的第二特征图像与编码过程得到的第一特征图像进行叠加。图3中的“+”号即代表将编码得到的浅层次特征与解码得到的深层次特征叠加，这样可得到更加丰富的特征信息，最后得到的概率值也就更准确，即将所述第一尺寸的第二特征图像与相同尺寸的所述第一特征图像进行叠加，得到叠加后的第二特征图像。将上述叠加后的第二特征图像重复执行上述操作，直至上述第二特征图像的尺寸与上述待处理图像的尺寸相同。需要指出的是，解码单元和编码单元可以对称，也可以不对称，但相加的两个特征必须大小一致。

上述的解码过程中，解码层直接对特征进行线性插值，并实现放大，这样可以使得网络更快收敛。

通过上述解码操作，图像分割网络最终将输出一幅256*256*3大小的皮肤特征图，即第二特征图像。具体的，皮肤特征图中包括脸部区域特征、躯干区域特征以及背景区域特征，其中，躯干区域指人体中脖子以下的所有皮肤。

可选的，在使用图像分割网络对待处理图像进行分割之前，需对图3中所示的编码单元和解码单元进行训练。当然，并不是每一次皮肤分割处理都需要进行训练，只需通过一次训练，选取合适的网络的权重参数即可完成训练。具体的训练过程如下：

通过往图像分割网络输入图像，经过编码提取特征，解码放大特征，最后得到第二特征图像完成训练。其中，上述训练过程的约束条件为：经过编码-解码过程，直至经过编码-解码处理后得到的第二特征图像能与输入图像的整体内容充分接近，且在相应位置的特征也充分接近。

205、将与上述待处理图像尺寸相同的第二特征图像经过softmax层，得到上述待处理图像的概率图。

softmax层可通过内置的softmax函数将输入的不同特征映射成0至1之间的值，且映射后的所有值的和为1，映射后的值与输入的特征一一对应，这样，就相当于对每个输入特征完成了预测，并以数值的形式给出相应的概率。具体可参见下例：假如，对应10个输入动作有10个输出神经元，即在输入动作1，动作2，动作3...一直到动作10中的任意一中动作，softmax层会给出这个输入的动作分别是动作1，动作2，动作3，一直到动作10相应的概率，并预测其中概率值最大的动作为输入动作。

可选地，在对图像分割网络进行训练时，可通过softmax层对第二特征图像中的区域分割进行预测。具体地，softmax层会根据第二特征图像中不同区域的特征，对该区域归属为脸部区域、躯干区域及背景区域分别进行预测，最终每个区域都将得到三个对应的概率值。选取三个概率值中的最大值相对应的区域，作为该区域的归属。通过与输入图像相应区域对比，并调整softmax函数相关参数，完成对softmax层的训练。

而在实际应用中，将解码单元得到的第二特征图像输入到softmax层后，softmax层会给出第二特征图像中特征分别是脸部区域特征、躯干区域特征和背景区域特征的概率。这样，最后将得到一幅256*256的待处理图像的概率图，其中，概率图中没有具体内容，只有概率值，且每个像素均有上述3个概率。

206、根据上述概率图进行分割，得到上述待处理图像的分割图。

从上述概率图中分别选取每个像素区域中概率值最大的特征作为该像素的特征，并结合待处理图像得到最终的待处理图像的分割图，即将待处理图像划分为脸部区域、躯干区域和背景区域中的至少一种。

本实施例通过对待处理图像进行编码提取特征，再解码对特征进行放大，可在减小整个过程的计算量的同时，完整的提取出待处理图像的总体信息；softmax层根据解码后得到的特征图像中的特征对待处理图像的内容进行预测，自主、快速地得到概率图，最后根据概率图中的概率值准确地划分待处理图像的区域，高效得到待处理图像的分割图。

请参阅图4，图4是本申请实施例提供的一种对分割图添加标签的流程示意图。

401、对上述分割图添加标签，上述标签包括人脸区域对应的用户信息和上述各个区域对应的类别。

首先，对人脸框特征进行定义，具体包括：眼睛、鼻子、嘴巴、眉毛及人脸轮廓点，然后与203中提取特征图像的操作一样，对待处理图像做卷积操作，并提取人脸特征图像。再对人脸特征图像进行第二卷积操作，将上述人脸特征图像中的多个局部特征图像转换成相对应的低维特征，卷积神经网络并对低维特征进行判断分类，如，眼睛、鼻子、嘴巴、眉毛及人脸轮廓点。神经网络再根据定义的人脸框特征将人脸框区域选取出来，并给出相应的边框及编号，即为人脸框。上述人脸框只包括上述定义的人脸框特征，不一定包括整个人脸区域。当图像中有n张人脸时，提取出的人脸框也会有n个，且任意两个人脸框的编号均不一样，即有编号为1至n的n个人脸框，其中n为大于或等于0的整数。

由上可知，人脸框不一定包括整个人脸区域，通过将每一个人脸框的长和宽按设定倍数进行放大，使放大后的人脸框包括整个人脸区域，放大后的人脸框内的区域即为待处理图像的人脸区域。对应与n个人脸框，待处理图像的人脸区域也有n个，且两者一一对应。上述设定倍数可依据用户需求设置，可选的上述设定倍数为1.5。将上述放大后的人脸框与206得到的待处理图像的分割图匹配，确定两者的重叠区域，得到与人脸框对应的待处理图像中的一个或多个脸部区域，并根据不同的人脸框编号对包含该人脸范围在内的脸部区域进行区分。具体的，如有n张人脸，则将划分出n个人脸区域，并添加n个不同的标签（ID），其中，ID可以数字的形式可出，也可用不同的颜色覆盖不同的区域。可选地，还可对不同人的躯干皮肤区域和背景区域添加不同标签（ID）。

402、基于上述分割图添加标签，对待处理图像进行美颜处理。

由于当对人脸进行美颜处理时，如若只针对人脸进行了美颜，而没对与人脸相连的手或其他皮肤区域进行美颜，整个效果会显得特别突兀，给人一种不自然的感觉。因此，在本实施例中，与脸部相连的皮肤区域也将被划分为脸部区域。人们在进行美颜处理时，一般只是针对面部皮肤区域进行相应的美颜处理，而躯干皮肤区域往往并不需要进行相关美颜处理。因此，在完成对脸部区域ID区分后，皮肤分割系统会将所有的躯干区域划分为同一个区域，并赋予同一个ID。这样，根据得到的皮肤分割区域ID，后续的应用即可对不同区域的皮肤完成不同的处理。如：美颜算法是根据已识别的脸部区域，对其进行肤色调整，并用具有保持边缘效果的滤波算法对待处理图像进行模糊处理，再将模糊后的待处理图像与待处理图像进行融合，增加皮肤质感。因此，美颜算法可根据皮肤分割区域ID对脸部区域进行美颜处理，而不对躯干区域及背景区域进行美颜处理，这样，可在实现对面部皮肤美颜处理的同时，大大减小算法的运算量，并提高算法的运行速度。

此外，不同年龄层次的人群需要的美颜处理也不一样。如：通过年龄识别算法得出待处理图像中每一张人脸对应的年龄，再结合皮肤分割区域ID针对不同年龄进行不同程度的美颜处理。具体地，若年龄识别算法给出某一张人脸的年龄处于1~14岁之间，由于1~14岁之间的人群皮肤大多比较娇嫩，即是不美颜，皮肤也很光滑，所以可结合皮肤分割ID不对脸部区域进行美颜处理；若年龄识别算法给出某一张人脸的年龄处于15~20岁之间，可结合皮肤分割ID对其面部皮肤区域进行1级美颜处理；如若年龄识别算法给出某一张人脸的年龄处于21~28之间，相应地，可结合皮肤分割ID对其面部皮肤区域进行2级美颜处理；如若年龄识别算法给出某一张人脸的年龄处于29~40之间，相应地，可结合皮肤分割ID对其面部皮肤区域进行3级美颜处理；如若年龄识别算法给出某一张人脸的年龄处于41~60之间，相应地，可结合皮肤分割ID对其面部皮肤区域进行4级美颜处理；如若年龄识别算法给出某一张人脸的年龄大于60岁，相应地，可结合皮肤分割ID对其面部皮肤区域进行5级美颜处理。其中，1~5级并不代表美颜程度的加深或减弱，而是指针对不同年龄层次的人群进行不同的美颜处理。

可选地，男性和女性对美颜的需求也不一样，具体的，通过性别识别算法得出图像中每个人的性别，再结合皮肤分割ID对不同性别的人的面部皮肤区域进行不同程度的美颜处理。

本实施例将概率图和人脸区域相匹配，得到不同区域的分割ID。基于面部皮肤分割ID可实现对不同年龄、不同性别人群进行不同程度的美颜，满足用户的个性化美颜需求，为用户带来更好的体验，同时基于不同区域的分割ID可针对特定区域进行相关处理，也可大大减小后续处理的计算量，提高后续处理的速度。

请参阅图5，图5是本申请实施例提供的一种获得图像分割置信度的流程示意图。

501、计算所有被判别为预定区域的概率值的平均值和方差，得到预定区域的初始置信度。

计算206得到的待处理图像的分割图中的被判别为预定区域的概率值的平均值，再根据该平均值求得方差，其中，预定区域为：脸部区域和躯干区域。再根据上述概率值的方差求得预定区域的初始置信度，其中，初始置信度包括：面部皮肤初始置信度和躯干区域初始置信度，皮肤分割的初始置信度的置信度具体指，图像分割网络会根据待处理图像的分割图对分割结果的好坏进行评估，并以概率值的形式给出。具体的，好的情况指的是待处理图像中属于面部的区域被正确分类为脸部区域，待处理图像中属于躯干的区域被分类为躯干区域；坏的情况是指，待处理图像中属于躯干的区域被分类为脸部区域或背景区域，或待处理图像中属于面部的区域被分类为躯干区域或背景区域。

502、根据上述初始置信度以及上述预定区域的离散程度、面积，得到预定区域的最终置信度。

离散程度：不同ID对应的分割区域为不同的皮肤块，由上述可知，待处理图像的分割图中只有三个区域，即脸部区域（包括图像中所有人的面部皮肤区域）、躯干区域及背景区域，皮肤块中包含不同皮肤区域的面积大小即为离散程度，且皮肤块中包含不同区域的面积越大，皮肤块的离散程度就越大，反之，皮肤块的离散程度就越小。

面积判据：分割得到的脸部区域的面积是否比上述人脸框的面积大。

结合预定区域的离散程度、面积判据得到预定区域的最终置信度，其中，最终置信度与步骤501中初始置信度的定义一样。

可选的，预先设置一个置信度阈值，若最终置信度低于该置信度阈值，系统将不输出待处理图像的分割图，而输出待处理图像，若最终置信度大于或等于该阈值，则输出待处理图像的分割图。

通过对待处理图像进行编码提取特征，再解码对特征进行放大，可在减小整个过程的计算量的同时，完整的提取出待处理图像的特征信息。再通过softmax层对解码后得到的特征图像中的区域进行预测，并得到概率图。最终，通过概率图可计算得到皮肤分割初始置信度，再结合皮肤块离散程度及面积判据，即可得到最终置信度。根据本实施例得到的最终置信度可实现对皮肤分割结果好坏的判断，以便进行下一步处理。

本实施例通过计算概率图可计算脸部区域和躯干区域的概率值的平均值及方差，得到脸部区域和躯干区域的初始置信度，再结合皮肤块离散程度及面积判据，优化初始置信度并得到更精确的最终置信度，通过最终置信度可判断待处理图像的皮肤分割的好坏。

请参阅图6，图6为本申请实施例提供的一种图像分割装置的结构示意图，该装置1000包括：第一获取单元11、处理单元12、分割单元13、添加标签单元14及第二获取单元15，其中：

第一获取单元11，用于获取待处理图像；

处理单元12，用于将所述待处理图像输入至皮肤分割网络，得到所述待处理图像的概率图；

分割单元13，用于根据所述概率图进行分割，得到所述待处理图像的分割图，其中，所述分割图包括脸部区域、躯干区域以及背景区域中的至少一种；

添加标签单元14，用于对所述分割图添加标签，所述标签包括人脸区域对应的用户信息和所述各个区域对应的类别；

第二获取单元15，用于根据所述概率图，获取所述分割图中各个区域的置信度。

进一步地，所述处理单元包括皮肤分割网络，所述皮肤分割网络包括：编码子单元121，用于执行编码步骤；解码子单元122，用于执行解码步骤。

进一步地，所述编码子单元依次包括：卷积层、BatchNorm层和ReLU激活层。

进一步地，所述编码子单元121还用于：对所述待处理图像进行预处理，得到预处理后的待处理图像；以及对所述预处理后的待处理图像逐级进行编码，得到多个尺寸的第一特征图像。

进一步地，所述解码子单元122还用于：对尺寸最小的第一特征图像进行线性插值处理，得到第一尺寸的第二特征图像；以及将所述第一尺寸的第二特征图像与相同尺寸的所述第一特征图像进行叠加，得到叠加后的第二特征图像；以及将所述叠加后的第二特征图像重复执行上述操作，直至所述第二特征图像的尺寸与所述待处理图像的尺寸相同。

进一步地，所述装置还包括：将与所述待处理图像尺寸相同的第二特征图像经过softmax层，得到所述待处理图像的概率图。

进一步地，所述概率图包括三维概率图，所述三维概率图中的每个像素为脸部、躯干以及背景的概率值；所述分割单元13包括：确定子单元131，用于取每个像素的概率最大值对应的类别作为输出类别，得到所述待处理图像的分割图，其中，所述类别包括脸部、躯干和背景中的至少一种。

进一步地，所述第二获取单元15包括：计算子单元151，用于计算所有被判别为预定区域的概率值的平均值和方差，得到预定区域的初始置信度；处理子单元152，用于根据所述初始置信度以及所述预定区域的离散程度、面积，得到预定区域的最终置信度。

图7为本申请实施例提供的一种图像分割装置的硬件结构示意图。该装置2000包括处理器21，还可以包括输入装置22、输出装置23和存储器24。该输入装置22、输出装置23、存储器24和处理器21之间通过总线相互连接。

存储器包括但不限于是随机存储记忆体（random access memory，RAM）、只读存储器（read-only memory，ROM）、可擦除可编程只读存储器（erasable programmable readonly memory，EPROM）、或便携式只读存储器（compact disc read-only memory，CD-ROM），该存储器用于相关指令及数据。

输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器（centralprocessing unit，CPU），在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

可以理解的是，图7仅仅示出了图像分割装置的简化设计。在实际应用中，图像分割装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的图像分割装置都在本申请的保护范围之内。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器（read-onlymemory，ROM），或随机存储存储器（random access memory，RAM），或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘（digital versatile disc，DVD）、或者半导体介质，例如，固态硬盘（solid state disk ，SSD）等。

Claims (14)

1.一种图像分割方法，其特征在于，包括：

获取待处理图像；

将所述待处理图像输入至皮肤分割网络，得到所述待处理图像的概率图；

根据所述概率图进行分割，得到所述待处理图像的分割图，其中，所述分割图包括至少一个脸部区域、至少一个躯干区域以及背景区域中的至少一种；

计算所述分割图中被判别为预定区域的概率值的平均值和方差，得到所述预定区域的初始置信度；所述预定区域包括所述脸部区域和所述躯干区域；

根据所述初始置信度以及所述预定区域的离散程度、面积，得到所述预定区域的最终置信度；

在所述最终置信度大于或等于置信度阈值的情况下，对所述分割图添加标签，所述标签包括人脸区域对应的用户信息和各个区域对应的类别；

基于添加标签后的所述分割图，从所述待处理图像中确定与所述人脸区域相连的躯干皮肤区域；

对不同的所述标签对应的待美颜区域进行不同的美颜处理，所述待美颜区域包括人脸区域以及与所述人脸区域相连的躯干皮肤区域。

2.根据权利要求1所述的方法，其特征在于，所述皮肤分割网络对所述待处理图像依次执行编码步骤和解码步骤，得到所述待处理图像的概率图。

3.根据权利要求2所述的方法，其特征在于，所述皮肤分割网络包括编码层、解码层，所述编码层依次包括：卷积层、BatchNorm层和ReLU激活层。

4.根据权利要求2所述的方法，其特征在于，所述编码步骤包括：

对所述待处理图像进行预处理，得到预处理后的待处理图像；

对所述预处理后的待处理图像逐级进行编码，得到多个尺寸的第一特征图像。

5.根据权利要求3所述的方法，其特征在于，所述解码步骤包括：

对尺寸最小的第一特征图像进行线性插值处理，得到第一尺寸的第二特征图像；

将所述第一尺寸的第二特征图像与相同尺寸的所述第一特征图像进行叠加，得到叠加后的第二特征图像；

将所述叠加后的第二特征图像重复执行上述操作，直至所述第二特征图像的尺寸与所述待处理图像的尺寸相同。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将与所述待处理图像尺寸相同的第二特征图像经过softmax层，得到所述待处理图像的概率图。

7.根据权利要求1所述的方法，其特征在于，所述概率图包括三维概率图，所述三维概率图中的每个像素为脸部、躯干以及背景的概率值；

所述根据所述概率图进行分割，得到所述待处理图像的分割图，包括：

取每个像素的概率最大值对应的类别作为输出类别，得到所述待处理图像的分割图，其中，所述类别包括脸部、躯干和背景中的至少一种。

8.一种图像分割装置，其特征在于，包括：

第一获取单元，用于获取待处理图像；

处理单元，用于将所述待处理图像输入至皮肤分割网络，得到所述待处理图像的概率图；

分割单元，用于根据所述概率图进行分割，得到所述待处理图像的分割图，其中，所述分割图包括至少一个脸部区域、至少一个躯干区域以及背景区域中的至少一种；

第二获取单元，所述第二获取单元包括计算子单元和处理子单元，所述计算子单元，用于计算所述分割图中被判别为预定区域的概率值的平均值和方差，得到所述预定区域的初始置信度；所述预定区域包括所述脸部区域和所述躯干区域；

所述处理子单元，用于根据所述初始置信度以及所述预定区域的离散程度、面积，得到预定区域的最终置信度；

添加标签单元，用于在所述最终置信度大于或等于置信度阈值的情况下，对所述分割图添加标签，所述标签包括人脸区域对应的用户信息和各个区域对应的类别；

所述处理单元，还用于基于添加标签后的所述分割图，从所述待处理图像中确定与所述人脸区域相连的躯干皮肤区域；

所述处理单元，还用于对不同的所述标签对应的待美颜区域进行不同的美颜处理，所述待美颜区域包括人脸区域以及与所述人脸区域相连的躯干皮肤区域。

9.根据权利要求8所述的装置，其特征在于，所述处理单元包括皮肤分割网络，所述皮肤分割网络包括：

编码子单元，用于执行编码步骤；

解码子单元，用于执行解码步骤。

10.根据权利要求9所述的装置，其特征在于，所述编码子单元依次包括：卷积层、BatchNorm层和ReLU激活层。

11.根据权利要求9所述的装置，其特征在于，所述编码子单元还用于：

对所述待处理图像进行预处理，得到预处理后的待处理图像；

以及对所述预处理后的待处理图像逐级进行编码，得到多个尺寸的第一特征图像。

12.根据权利要求10所述的装置，其特征在于，所述解码子单元还用于：对尺寸最小的第一特征图像进行线性插值处理，得到第一尺寸的第二特征图像；以及将所述第一尺寸的第二特征图像与相同尺寸的所述第一特征图像进行叠加，得到叠加后的第二特征图像；以及将所述叠加后的第二特征图像重复执行上述操作，直至所述第二特征图像的尺寸与所述待处理图像的尺寸相同。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括：

将与所述待处理图像尺寸相同的第二特征图像经过softmax层，得到所述待处理图像的概率图。

14.根据权利要求8所述的装置，其特征在于，所述概率图包括三维概率图，所述三维概率图中的每个像素为脸部、躯干以及背景的概率值；

所述分割单元包括：

确定子单元，用于取每个像素的概率最大值对应的类别作为输出类别，得到所述待处理图像的分割图，其中，所述类别包括脸部、躯干和背景中的至少一种。

Images