CN113487618B - 人像分割方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开涉及一种人像分割方法、装置、电子设备及存储介质。该方法包括：获取待分割图像，利用预先训练的人像分割模型，提取待分割图像的浅层图像信息和深层图像信息，深层图像信息基于人像分割模型的轻量化网络提取得到，并基于浅层图像信息和深层图像信息，确定待分割图像的人像分割结果，基于人像分割结果、待分割图像的前景图以及待分割图像的背景图，确定待分割图像的目标分割图像。通过上述技术方案，实现了提高人像分割效率，满足实时性分割需求。

Description

人像分割方法、装置、电子设备及存储介质

技术领域

本公开涉及图像分割技术领域，尤其涉及一种人像分割方法、装置、电子设备及存储介质。

背景技术

人像分割技术是一种将图像中的人像从背景中分离出来的技术，在当今智能手机和数码摄像机中的人像背景虚化、视频背景虚化、电影背景替换等诸多领域具有广泛的应用。人像分割技术对人像分割算法的效率有很高的要求，然而，目前的人像分割技术在移动终端的分割效率低下，无法满足一些实时应用的需求。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种人像分割方法、装置、设备及存储介质，以实现提高人像分割效率，满足实时性分割需求。

本公开提供了一种人像分割方法，该方法包括：

获取待分割图像；

利用预先训练的人像分割模型，提取待分割图像的浅层图像信息和深层图像信息；

基于浅层图像信息和所述深层图像信息，确定待分割图像的人像分割结果，所述深层图像信息基于所述人像分割模型的轻量化网络提取得到；

基于人像分割结果、待分割图像的前景图以及待分割图像的背景图，确定待分割图像的目标分割图像。

本公开提供了一种人像分割装置，该装置包括：

图像获取模块，用于获取待分割图像；

图像信息提取模块，用于利用预先训练的人像分割模型，提取待分割图像的浅层图像信息和深层图像信息，所述深层图像信息基于所述人像分割模型的轻量化网络提取得到；

人像分割模块，用于基于浅层图像信息和深层图像信息，确定待分割图像的人像分割结果；

目标分割图像确定模块，用于基于人像分割结果、待分割图像的前景图以及待分割图像的背景图，确定待分割图像的目标分割图像。

本发明实施例还提供了一种电子设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的人像分割方法。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的人像分割方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

在本公开实施例中，能够在获取待分割图像之后，利用预先训练的人像分割模型，提取待分割图像的浅层图像信息和深层图像信息，深层图像信息基于人像分割模型的轻量化网络提取得到，并基于浅层图像信息和深层图像信息，确定待分割图像的人像分割结果，以基于人像分割结果、待分割图像的前景图以及待分割图像的背景图，确定待分割图像的目标分割图像，由此，能够利用待分割模型和预先训练的人像分割模型进行较高准确性和鲁棒性的提取待分割图像的浅层图像信息和深层图像信息，以提高人像分割模型的分割效率，因此，可以提高待分割图像的分割效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本开实施例提供的一种人像分割方法的流程示意图；

图2a为本公开实施例提供的一种待分割图像的目标分割图像的示意图；

图2b为本公开实施例提供的另一种待分割图像的目标分割图像的示意图；

图2c为本公开实施例提供的又一种待分割图像的目标分割图像的示意图；

图3为本公开实施例提供的一种人像分割模型的结构示意图；

图4为本公开实施例提供的一种人像分割模型的解码器的结构示意图；

图5为本公开实施例提供的一种模型训练方法的流程示意图；

图6为本公开实施例提供的一种模型训练方法的逻辑示意图；

图7为本公开实施例提供的一种人像分割装置的结构示意图；

图8为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

近年来，随着人工智能深度学习技术的蓬勃发展，基于深度学习的分割算法可以准确的将图像中的人像和背景分离。

在相关技术中，基于深度学习的分割算法进行人像分割的方法包括：对原始图像进行预处理，获得待分割图像，并利用训练好的人像分割模型对待分割图像进行处理，获得人像分割模型输出的人像分割掩膜，人像分割模型包括编码器以及与编码器连接的解码器，编码器用于利用普通卷积、深度可分离卷积以及带洞卷积提取待分割图像的图像特征，解码器用于根据图像特征生成人像分割掩膜，进一步根据人像分割掩膜从原始图像中分割出人像。

然而，上述人像分割方法采用的人像分割模型中的卷积神经网络结构复杂，极大的降低了人像分割速度，尤其降低了视频人像的分割速度，在移动终端的执行效率低下，很难满足实时性分割的要求。

为了解决上述问题，本公开实施例提供了一种可以提高人像分割效率的人像分割方法、装置、电子设备及存储介质。

下面，首先结合图1至图6对本公开实施例提供的人像分割方法进行说明。

在本公开实施例中，该人像分割方法可以由电子设备执行。其中，该电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）、可穿戴设备、等等的移动终端以及诸如数字TV、台式计算机、智能家居设备、服务器等等的固定终端。

图1示出了本公开实施例提供的一种人像分割方法的流程示意图。

如图1所示，该人像分割方法可以包括如下步骤。

S110、获取待分割图像。

在本公开实施例中，待分割图像可以是用于进行人像分割的原始图像。

在本公开实施例中，待分割图像可以包括静态图像和从视频片段中截取的视频帧图像中的至少一种。

在本公开一些实施例中，为了提高人像分割模型的分割精度，在获取待分割图像之前，该人像分割方法还可以包括：

获取原始图像；

对原始图像进行预处理，将预处理后的图像作为待分割图像。

在本公开实施例中，人像分割装置可以获取需要进行人像分割的原始图像。人像分割装置可以通过采集、下载、输入等方式获取原始图像。

在本公开实施例中，预处理方法可以包括：增强处理和增广处理中的至少一种。

进一步的，增强处理可以是对原始图像附加特定的信息或者变化数据，以选择性的突出原始图像中感兴趣区或者抑制非感兴趣。增广处理可以是对原始图像进行随机改变，以降低人像分割模型对原始图像中不同像素位置的依赖性。

在本公开另一些实施例中，在对原始图像进行预处理之后，还可以根据人像分割模块所属的电子设备的类型设置待分割图像的显示比例，以使设置好的显示比例适应电子设备的显示比例。例如，台式电脑端的待分割图像的显示比例可以设置为长16：高9。

由此，通过对原始图像进行预处理，有利于提高人像分割模型的分割精度，对原始图像进行预处理之后，设置待分割图像的显示比例，可以使待分割图像适应电子设备的显示比例，以提高图像的显示效果。

S120、利用预先训练的人像分割模型，提取待分割图像的浅层图像信息和深层图像信息。

在本公开实施例中，浅层图像信息可以包括待分割图像的浅层信息。

可选的，浅层图像信息可以包括人像轮廓和背景信息。

在本公开实施例中，深层图像信息可以为待分割图像的深层语义信息。

在本公开实施例中，预先训练的人像分割模型可以包括编码器和与编码器连接的解码器。

其中，编码器可以用于对待分割图像的图像信息进行解析，解码器可以用于将解析后的图像信息对应成图像形式。

具体的，编码器可以提取待分割图像的浅层图像信息的深层图像信息。编码器可以包括轻量化网络。

在一些实施例中，编码器可以包括一个或多个卷积子网络，每个卷积子网络可以包括一个或多个卷积层。具体的，人像分割装置中的编码器可以利用一个或多个卷积子网络，提取待分割图像的浅层轮廓信息，将浅层轮廓信息作为浅层图像信息。

可选的，卷积子网络中的每个卷积层可以包括普通卷积、带动卷积、深度可分离卷积、反卷积、扁平卷积、分组卷积中的至少一种。

在另一些实施例中，编码器可以包括一个或多个卷积子网络以及一个或多个池化子网络。

在一个示例中，每两个卷积层之间可以连接一个池化子网络。具体的，人像分割装置中的编码器可以依次基于一个卷积子网络和一个池化子网络，提取待分割图像的浅层轮廓信息，将浅层轮廓信息作为浅层图像信息。

在另一个示例中，预设数量个卷积子网络之后可以连接一个池化子网络。具体的，人像分割装置中的编码器可以基于依次基于预设数量个卷积子网络和一个池化子网络，提取待分割图像的浅层轮廓信息，将浅层轮廓信息作为浅层图像信息。

可选的，池化子网络可以包括一个或多个池化层，每个池化层可以为平均池化层和最大池化层中的一种。其中，预设数量可以是2、3等数值，在此不做限制。

在本公开实施例中，S120中的深层图像信息的提取方法可以包括：

利用人像分割模型的轻量化网络，对待分割图像的轮廓信息进行降采样和膨胀卷积处理，得到深层图像信息。

其中，轻量化网络可以用于对浅层图像信息进行降采样和膨胀卷积处理，得到深层图像信息。

其中，轻量化网络可以包括一个或多个降采样子网络。具体的，人像分割装置中的编码器采用一个或多个降采样子网络对浅层图像信息进行降采样和膨胀卷积处理，得到深层图像信息。

S130、基于浅层图像信息和深层图像信息，确定待分割图像的人像分割结果。

在本公开实施例中，S130，可以包括：

利用人像分割模型，对深层图像信息和浅层图像信息进行信息级联，得到级联特征图；

对级联特征图进行升采样，得到待分割图像的人像分割结果。

在本公开实施例中，利用预先训练的人像分割模型，对深层图像信息和浅层图像信息进行信息级联，可以是对浅层图像信息和升采样的深层图像信息进行信息融合，将融合后的图像信息作为级联特征图，并对级联特征图进行升采样，得到待分割图像的人像分割结果。

具体的，解码器可以先对对深层图像信息和浅层图像信息进行信息级联，得到级联特征图，再对级联特征图进行升采样，得到待分割图像的人像分割结果。

S140、基于人像分割结果、待处理图像的前景图以及待处理图像的背景图，确定待分割图像的目标分割图像。

在本公开实施例中，人像分割结果可以是二值化图像（即灰度图像）或者概率图。

在本公开实施例中，可以根据人像分割结果中各像素点对应的值，确定前景图和背景图的权重值。

在本公开实施例中，在人像分割结果是二值化图像或者概率图的情况下，获取人像分割结果中各像素点对应的灰度值或概率值，将各像素点对应的灰度值或概率值作为前景图的权重值，将1与各像素点对应的灰度值的灰度差，作为背景图的权重值，或者，将1与各像素点对应的概率值的概率差，作为背景图的权重值，进一步基于上述权重值对前景图和背景图进行加权计算，得到目标分割图像。

可选的，目标分割图像的计算公式为：

其中，

为目标分割图像，

为人像分割结果中各像素点对应的灰度值或概率值，

为前景图，

为背景图。

由此，通过上述方式，基于人像分割结果，可以更换待分割图像的前景图和背景图，得到图2a、2b、2c所示的目标分割图像。

在本公开实施例中，能够在获取待分割图像之后，利用预先训练的人像分割模型，提取待分割图像的浅层图像信息和深层图像信息，并基于浅层图像信息和深层图像信息，确定待分割图像的人像分割结果，以基于人像分割结果、待分割图像的前景图以及待分割图像的背景图，确定待分割图像的目标分割图像，由此，能够利用待分割模型和预先训练的人像分割模型进行较高准确性和鲁棒性的提取待分割图像的浅层图像信息和深层图像信息，以提高人像分割模型的分割效率，因此，可以提高待分割图像的分割效率。

在本公开另一种实施方式中，为了进一步提高人像分割模型的分割效率，轻量化网络可以包括第一轻量化子网络和第二轻量化子网络，基于轻量化子网络对待分割图像进行降采样，可以使编码器更加轻量化；并且，预先训练的人像分割模型的轻量化网络可以基于逐通道卷积和/或逐点卷积，对浅层图像信息进行降采样和膨胀卷积处理，得到深层图像信息，可以降低降采样过程中的参数量。另外，预先训练的人像分割模型的解码器可以利用信息块子网络对深层图像信息和浅层图像信息进行信息级联，得到级联特征图，并利用第一升采样子网络对级联特征图进行升采样，得到待分割图像的人像分割结果，由于预先训练的人像分割模型的解码器的网络结构也是轻量化设计的，因此，可以进一步降低人像分割模型的复杂度，提高人像分割模型的分割效率。

在本公开一些实施例中，预先训练的人像分割模型中的编码器可以包括：第一普通卷积子网络和池化子网络。

在本公开实施例中，提取所述待分割图像的浅层图像信息，可以具体包括：

利用预先训练的人像分割模型的编码器中的第一普通卷积子网络，对待分割图像进行特征提取，得到第一降采样尺寸的浅层图像信息；

利用预先训练的人像分割模型的编码器中的池化子网络，提取第一降采样尺寸的浅层信息的轮廓信息，得到第二降采样尺寸的浅层轮廓信息，将第二降采样尺寸的浅层轮廓信息作为浅层图像信息。

可选的，第一降采样尺寸可以基于第一普通卷积子网络的卷积核大小确定，第二降采样尺寸可以基于池化子网络的卷积核大小确定。第一降采样尺寸小于1且第二降采样尺寸可以小于第一降采样尺寸。

在本公开实施例中，第一普通卷积子网络的卷积核大小可以是3*3，第一普通卷积子网络使用该卷积核对待分割图像进行特征提取，得到第一降采样尺寸的浅层图像信息，第一降采样尺寸为1/2。池化子网络的卷积核大小可以是3*3，池化子网络使用该卷积核提取第一尺寸的浅层信息的轮廓信息，得到第二尺寸的浅层轮廓信息，将第二降采样尺寸的浅层轮廓信息作为浅层图像信息，第二降采样尺寸为1/4，也就是说，基于编码器提取到的待分割图像的浅层图像信息是第二降采样尺寸的浅层图像信息。可选的，池化子网络可以采用最大池化方法对利用第一普通卷积子网络降采样后的图像继续进行降采样。

图3示出了人像分割模型的网络结构示意图。参见图3，编码器10中包括第一普通卷积子网络110和池化子网络120。具体的，人像分割装置中的编码器10获取待分割图像，编码器10利用第一普通卷积子网络110对进行特征提取，得到第一降采样尺寸的浅层图像信息，第一降采样尺寸为1/2，接着，编码器10利用池化子网络120提取第一降采样尺寸的浅层信息的轮廓信息，得到第二降采样尺寸的浅层轮廓信息，将第二降采样尺寸的浅层轮廓信息作为浅层图像信息，第二降采样尺寸为1/4。

在本公开一些实施例中，利用预先训练的人像分割模型的轻量化网络，对待分割图像的浅层图像信息进行降采样和膨胀卷积处理，得到深层图像信息，可以包括：

利用轻量化网络的第一轻量化子网络，利用轻量化网络的第一轻量化子网络，对待分割图像的轮廓信息进行一次或多次降采样，得到降采样的浅层图像信息；

利用轻量化网络的第二轻量化子网络，对降采样的浅层图像信息进行膨胀卷积处理，得到深层图像信息。

其中，第一轻量化子网络和第二轻量化子网络可以均包括一个或者多个堆积单元。

可选的，第一轻量化子网络可以包括10个堆积单元，第二轻量化子网络可以包括4个堆积单元。可选的，每个轻量化子网络也可以包括相同数量的堆积单元，堆积单元的数量可以不做限定。

在本公开实施例中，利用轻量化网络的第一轻量化子网络前2个堆积单元，将浅层图像信息进行降采样，得到第三降采样尺寸的浅层图像信息，第三降采样尺寸为1/8，接着，利用轻量化网络的第一轻量化子网络后8个堆积单元，将第三降采样尺寸的浅层图像信息继续进行降采样，得到第四降采样尺寸的浅层图像信息，第四降采样尺寸为1/16，进一步的，编码器利用轻量化网络的第二轻量化子网络，对第四降采样尺寸的浅层图像信息进行膨胀卷积处理，得到深层图像信息，第二轻量化子网络的卷积核可以是2*2，使得在提取深层图像信息的同时，增大深层图像信息的感受野，有利于获取到更大范围的图像信息。

继续参见图3，编码器中的轻量化网络130包括2个轻量化子网络，第一轻量化子网络包括10个堆积单元，第二轻量化子网络包括4个堆积单元。具体的，人像分割装置中的编码器10获取浅层图像信息，编码器10利用轻量化子网络中的第一轻量化子网络的前2个堆积单元浅层图像信息进行降采样，得到第三降采样尺寸的浅层图像信息，第三降采样尺寸为1/8，接着，编码器10利用轻量化子网络中的第一轻量化子网络的后8个堆积单元，将第三降采样尺寸的浅层图像信息继续进行降采样，得到第四降采样尺寸的浅层图像信息，第四降采样尺寸为1/16，进一步的，编码器10利用轻量化子网络中的第二轻量化子网络，对第四降采样尺寸的浅层图像信息进行膨胀卷积处理，得到深层图像信息，即得到1/16待分割图像。

在本公开实施例中，为了降低轻量化网络中每个轻量化子网络的参数量，轻量化网络中每个轻量化子网络采用逐通道卷积和逐点卷积中的至少一种。

相应的，利用预先训练的人像分割模型的轻量化网络，对待分割图像的浅层图像信息进行降采样和膨胀卷积处理，得到深层图像信息，可以包括：

利用人像分割模型的轻量化网络，基于逐通道卷积和/或逐点卷积，对浅层图像信息进行降采样和膨胀卷积处理，得到深层图像信息。

可选的，在轻量化网络中每个轻量化子网络采用普通卷积的情况下，普通卷积的参数量的计算公式为：

其中，

为普通卷积的参数量，两个

为两个卷积核，

为输入通道数，

为输出通道数。

可选的，在轻量化网络中每个轻量化子网络采用逐通道卷积的情况下，逐通道卷积的参数量的计算公式为：

其中，

为逐通道卷积的参数量。

可选的，在轻量化网络中每个轻量化子网络采用逐点卷积的情况下，逐点卷积的参数量的计算公式为：

其中，

为逐点卷积的参数量，两个1分别为两个卷积核，

为输入通道数，

为输出通道数。

由公式（2）和（3）可知，逐通道卷积的参数量可以为普通卷积的参数量的

，公式（2）和（4）可知逐点卷积的参数量可以为普通卷积的参数量的

。

由此，在本公开实施例中，轻量化网络包括预设数量的轻量化子网络，基于轻量化子网络对待分割图像进行降采样，可以使编码器更加轻量化，进而降低人像分割模型的复杂度，并且，每个轻量化子网络采用逐通道卷积和逐点卷积中的至少一种，可以降低降采样过程中的参数量，有利于提高人像分割模型的分割效率。

在本公开一些实施例中，预先训练的人像分割模型的解码器可以包括：信息块子网络和第一升采样子网络；

相应的，利用预先训练的人像分割模型，对深层图像信息和浅层图像信息进行信息级联，得到级联特征图，可以包括：

利用信息块子网络，对深层图像信息和浅层图像信息进行信息级联，得到级联特征图，级联特征图的图像尺寸为第二降采样尺寸；

利用第一升采样子网络，对级联特征图进行升采样，得到待分割图像的人像分割结果。

其中，信息块子网络可以对深层图像信息进行升采样处理，得到升采样的深层图像信息；

预测升采样的深层图像信息中各像素点的概率值；

基于各像素点的概率值和浅层图像信息，得到浅层特征图像；

对浅层特征图像和升采样的深层图像信息进行信息级联，得到级联特征图。

其中，信息块子网络可以包括：第二普通卷积子网络、第二升采样子网络、分类器子网络和级联子网络。

具体的，可以利用第二普通卷积子网络，对深层图像信息进行卷积处理，得到中间深层图像；

信息块子网络可以利用第二升采样子网络，对中间深层图像进行升采样，得到升采样深层图像，升采样深层图像的图像尺寸为第二降采样尺寸；

信息块子网络可以利用分类器子网络，预测升采样深层图像中各像素点的概率值；

信息块子网络还可以基于各像素点的概率值和浅层图像信息，得到浅层特征图像；

信息块子网络可以利用级联子网络，对浅层特征图像和升采样深层图像进行信息级联，得到级联特征图。

图4示出了一种人像分割模型的解码器的结构示意图。参见图4，人像分割装置中的解码器20获取浅层图像信息和深层图像信息，解码器20中的信息块子网络201基于卷积核为1*1的第二普通卷积子网络2011，对深层图像信息（即1/16待分割图像）进行卷积处理，得到中间深层图像，使信息块子网络201的输出通道数变成类别数，得到中间深层图像，接着，解码器20中的信息块子网络201基于第二升采样子网络2012对中间深层图像进行升采样，得到升采样深层图像（即1/4待分割图像），以使升采样深层图像的图像尺寸为第二降采样尺寸，即升采样深层图像的图像尺寸为待分割图像的1/4，进一步的，解码器20中的信息块子网络201基于分类器子网络2013，预测升采样深层图像中各像素点的概率值c，并将概率值1-c与浅层图像信息进行逐点相乘，使浅层图像信息中分割不好的边缘像素获得更大的关注度，得到浅层特征图像，进一步的，解码器20中的信息块子网络201基于级联子网络2014对浅层特征图像（即1/4待分割图像）和升采样深层图像进行级联，得到级联特征图，其中，级联特征图的图像尺寸为待分割图像的图像尺寸的1/4。进一步的，解码器20利用第一升采样子网络202对级联特征图再次进行升采样，使升采样后的级联特征图的图像尺寸与待分割图像的图像尺寸相等，得到待分割图像的人像分割结果。

由此，在本公开实施例中，由于预先训练的人像分割模型解码器中的信息块子网络是轻量化的网络设计，可以进一步降低人像分割模型的复杂度，有利于提高人像分割模型的分割精度，并且，基于分类器子网络，可以使浅层图像信息中分割不好的边缘像素获得更大的关注度，得到浅层特征图像，有利于提高人像分割模型的分割精度。

在本公开又一种实施方式中，为了将视频图像中的人像准确的分割出来，在待分割图像包括待分割视频的多个图像帧的情况下，可以将待分割视频逐帧分割，对每一个视频帧进行人像分割，再将人像分割后的视频帧合成人像分割视频，可以提高待分割视频的人像分割精度。

在本公开实施例中，待分割图像包括待分割视频的多个图像帧。

相应的，S140可以包括：

确定相邻图像帧中像素点的偏移量，并基于各个像素点的偏移量生成偏移量图像；

基于相邻图像帧中的当前图像帧的前景图、当前图像帧的背景图以及当前图像帧的人像分割结果，确定当前图像帧对应的当前分割图像；

基于偏移量图像和当前图像帧对应的当前分割图像，得到当前图像帧对应的目标分割图像。

在本公开实施例中，针对相邻图像帧中的每个像素点，人像分割装置可以计算每个像素点在相邻图像帧中的位置，基于每个像素点在相邻图像帧中的位置，计算相邻图像帧中像素点的偏移量，由此，人像分割装置可以得到全部像素点的偏移量，并根据全部像素点的偏移量，生成偏移量图像，并且，人像分割装置可以将当前图像帧输入中人像分割模型，得到当前图像帧的当前分割图像，进一步的，人像分割装置对当前图像帧的当前分割图像和偏移量图像进行线性加和，得到当前图像帧对应的目标分割图像，由此，人像分割装置可以得到全部视频帧的目标分割图像。进一步的，人像分割装置将每个视频帧的目标分割图像合成为待分割视频的人像分割视频。

由此，基于轻量化设计结构的人像分割模型，可以快速的对待分割视频进行人像分割，保证待分割视频的人像分割的实时性，并且，结合基于相邻图像帧中每个像素点的偏移量生成的偏移量图像，并根据偏移量图像和当前图像帧的当前分割图像，生成当前图像帧对应的目标分割图像，可以消除相邻图像帧之间的抖动，保证了待分割视频的分割精度。

在本公开再一种实施方式中，为了能够保证利用人像分割模型进行人像分割，电子设备在执行S110之前，还可以执行对人像分割模型的训练步骤。

图5示出了本公开实施例提供的一种模型训练方法的流程示意图。

S510、获取训练样本集，训练样本集包括样本图像和样本图像的样本分割图像。

在本公开实施例中，训练样本集可以为用于训练第一人像分割模型的样本数据。

在本公开实施例中，样本图像可以为训练样本集中未进行人像分割的原始图像，样本分割图像可以为训练样本集中样本图像的分割完成的图像。

S520、将样本图像输入至初始人像分割模型，确定样本图像的真实预测图像。

具体到，电子设备获取样本图像后，将样本图像输入至初始人像分割模型，初始人像分割模型基于初始化参数，对样本图像进行分割，得到真实预测图像。

S530、基于真实预测图像和样本分割图像，确定当前迭代次数下的初始人像分割模型的损失函数。

在本公开实施例中，S530可以包括：

基于真实预测图像中各像素点的预测结果和预测概率，计算第一人像分割模型的二值交叉熵损失函数；

基于真实预测图像的边缘像素信息和样本分割图像的边缘像素信息，计算第一人像分割模型的边缘辅助损失函数；

基于真实预测图像在预设结构属性条件下的各像素点的像素值，以及样本分割图像在预设结构属性条件下的各像素点的像素值，计算第一人像分割模型的结构化损失函数；

根据二值交叉熵损失函数、边缘辅助损失函数和结构化损失函数，计算当前迭代次数下的第一人像分割模型的损失函数。

其中，边界辅助损失函数用于使人像分割模型在训练阶段更好的学习边缘信息，结构化损失函数用于使人像分割模型在训练阶段更好的学习待分割图像的整体信息。

其中，基于真实预测图像中各像素点的预测结果和预测概率，计算第一人像分割模型的二值交叉熵损失函数，可以包括：将真实预测图像中各像素点的预测结果和预测概率输入至二值交叉熵计算公式中，得到二值交叉熵损失函数。

其中，基于真实预测图像的边缘像素信息和样本分割图像的边缘像素信息，计算第一人像分割模型的边缘辅助损失函数，可以包括：对样本分割图像进行膨胀处理，得到样本分割图像的膨胀图像，以及对样本分割图像进行腐蚀处理，得到样本分割图像的腐蚀图像，并将样本分割图像的膨胀图像和腐蚀图像对应相减，得到样本分割图像的边缘像素索引，基于边缘像素索引的像素信息，得到样本分割图像的边缘像素信息；对真实预测图像进行膨胀处理，得到真实预测图像的膨胀图像，以及对真实预测图像进行腐蚀处理，得到真实预测图像进行腐蚀图像，并将真实预测图像的膨胀图像和腐蚀图像对应相减，得到真实预测图像的边缘像素索引，基于边缘像素索引的像素信息，得到真实预测图像的边缘像素信息；根据样本分割图像的边缘像素信息和真实预测图像的边缘像素信息，计算第一人像分割模型的边缘辅助损失函数。

具体的，电子设备可以基于特定的卷积核（如2*2卷积核）对样本分割图像和真实预测图像分别进行膨胀处理，得到样本分割图像的膨胀图像和真实预测图像的膨胀图像，以及基于特定的卷积核（如2*2卷积核）对样本分割图像和真实预测图像分别进行腐蚀处理，得到样本分割图像和真实预测图像的腐蚀图像，并将样本分割图像的膨胀图像和腐蚀图像对应相减，得到边缘像素索引，基于边缘像素索引的像素信息，生成样本分割图像的边缘图像，并将真实预测图像的膨胀图像和腐蚀图像对应相减，得到边缘像素索引，基于边缘像素索引的像素信息，生成真实预测图像的边缘图像。

可选的，边缘像素索引的计算公式可以为：

其中，

为边缘像素索引，

为卷积核大小，

为膨胀处理，

为腐蚀处理，

为样本分割图像或真实预测图像。

其中，预设结构属性条件可以包括预设亮度条件以及预设对比度条件等。

其中，基于真实预测图像在预设结构属性条件下的各像素点的像素值，以及样本分割图像在预设结构属性条件下的各像素点的像素值，计算第一人像分割模型的结构化损失函数可以包括：

将真实预测图像在预设结构属性条件下的各像素点的像素值，以及样本分割图像在预设结构属性条件下的各像素点的像素值，输入至预设的结构化损失函数计算公式中，得到结构化损失函数。

其中，根据二值交叉熵损失函数、边缘辅助损失函数和结构化损失函数，计算当前迭代次数下的第一人像分割模型的损失函数，可以包括：

计算边缘辅助损失函数和结构化损失函数分别与对应的权重值乘积的和；

将得到的和与二值交叉熵损失函数相加，得到当前迭代次数下的第一人像分割模型的损失函数。

可选的，当前迭代次数下的第一人像分割模型的损失函数的表达式可以为：

其中，

为二值交叉熵损失函数，

为边界辅助损失函数，

为结构化损失函数，

为边界辅助损失函数的权重，

为结构化损失函数的权重。

由此，在本公开实施例中，通过引入边界辅助损失函数，可以使人像分割模型在训练阶段更好的学习边缘信息，通过引入结构化损失函数，可以使人像分割模型在训练阶段更好的学习待分割图像的整体信息。

S540、在损失函数的损失值小于或等于预设损失值的情况下，将当前迭代次数下的初始人像分割模型作为人像分割模型。

在本公开实施例中，预设损失值可以用于判断第一人像分割模型是否训练完成的最大损失值。

图6示出了一种模型训练方法的逻辑示意图。如图6所示，该模型训练方法可以包括如下步骤：

S610、获取训练样本。

在本公开实施例中，模型训练装置可以从开源数据集、用无标签的数据集去刷开源数据集的人像分割图像、获取在不同场景下标注的数据集以及通过泊松融合方式将人像与背景图粘贴等方式采集训练样本。

S620、对训练样本进行预处理。

在本公开实施例中，预处理方法可以包括增强处理和增广处理中的至少一种，以及基于模型训练装置所配置的电子设备的显示比例，设置训练样本的显示比例，以基于显示比例设置好的训练样本训练人像分割模型。

S630、基于预处理后的训练样本迭代训练人像分割模型。

在本公开实施例中，S630可以包括：

将样本图像输入至初始人像分割模型，确定样本图像的真实预测图像；

基于真实预测图像和样本分割图像，确定当前迭代次数下的初始人像分割模型的损失函数；

在损失函数的损失值小于或等于预设损失值的情况下，将当前迭代次数下的初始人像分割模型作为人像分割模型。

S640、对人像分割模型进行测试。

在本公开实施例中，可以利用测试样本集对人像分割模型进行测试。

S650、利用训练完成的人像分割模型对待分割图像进行人像分割。

在本公开实施例中，S650可以包括：

获取待分割图像；

利用预先训练的人像分割模型，提取待分割图像的浅层图像信息和深层图像信息；

基于浅层图像信息和深层图像信息，确定待分割图像的人像分割结果；

基于人像分割结果、待分割图像的前景图以及待分割图像的背景图，确定待分割图像的目标分割图像。

以下是本发明实施例提供的人像分割装置的实施例，该装置与上述各实施例的人像分割方法属于同一个发明构思，在人像分割装置的实施例中未详尽描述的细节内容，可以参考上述人像分割方法的实施例。

如图7所示，人像分割装置700包括：图像获取模块710、图像信息提取模块720、人像分割模块730和目标分割图像确定模块740。

其中，图像获取模块710可以用于获取待分割图像；

图像信息提取模块720可以用于利用预先训练的人像分割模型，提取待分割图像的浅层图像信息和深层图像信息，深层图像信息基于人像分割模型的轻量化网络提取得到；

人像分割模块730可以用于基于浅层图像信息和深层图像信息，确定待分割图像的人像分割结果；

目标分割图像确定模块740可以用于基于人像分割结果、待分割图像的前景图以及待分割图像的背景图，确定待分割图像的目标分割图像。

在本公开实施例中，能够在获取待分割图像之后，利用预先训练的人像分割模型，提取待分割图像的浅层图像信息和深层图像信息，深层图像信息基于人像分割模型的轻量化网络提取得到，并基于浅层图像信息和深层图像信息，确定待分割图像的人像分割结果，以基于人像分割结果、待分割图像的前景图以及待分割图像的背景图，确定待分割图像的目标分割图像，由此，能够利用待分割模型和预先训练的人像分割模型进行较高准确性和鲁棒性的提取待分割图像的浅层图像信息，以提高人像分割模型的分割效率，因此，可以提高待分割图像的分割效率。

可选的，图像信息提取模块720还可以用于利用人像分割模型的轻量化网络，对待分割图像的浅层图像信息进行降采样和膨胀卷积处理，得到深层图像信息。

可选的，图像信息提取模块720还可以用于利用轻量化网络的第一轻量化子网络，对待分割图像的轮廓信息进行一次或多次降采样，得到降采样的浅层图像信息；

利用轻量化网络的第二轻量化子网络，对降采样的浅层图像信息进行膨胀卷积处理，得到深层图像信息。

可选的，图像信息提取模块720还可以用于利用人像分割模型的轻量化网络，基于逐通道卷积和/或逐点卷积，对浅层图像信息进行降采样和膨胀卷积处理，得到深层图像信息。

可选的，人像分割模块730还可以用于利用人像分割模型，对深层图像信息和浅层图像信息进行信息级联，得到级联特征图；

对级联特征图进行升采样，得到待分割图像的人像分割结果。

可选的，人像分割模块730还可以用于对深层图像信息进行升采样处理，得到升采样的深层图像信息；

预测升采样的深层图像信息中各像素点的概率值；

基于各像素点的概率值和浅层图像信息，得到浅层特征图像；

对浅层特征图像和升采样的深层图像信息进行信息级联，得到级联特征图。

可选的，待分割图像包括待分割视频的多个图像帧；

相应的，目标分割图像确定模块740还可以用于确定相邻图像帧中像素点的偏移量，并基于各个像素点的偏移量生成偏移量图像；

基于相邻图像帧中的当前图像帧的前景图、当前图像帧的背景图以及当前图像帧的人像分割结果，确定当前图像帧对应的当前分割图像；

基于偏移量图像和当前图像帧对应的当前分割图像，得到当前图像帧对应的目标分割图像。

可选的，该装置还可以包括：训练样本集获取模块、预测模块、损失函数计算模块和人像分割模型训练模块；

其中，训练样本集获取模块可以用于获取训练样本集，其中，训练样本集包括样本图像和样本图像的样本分割图像；

预测模块可以用于将样本图像输入至初始人像分割模型，确定样本图像的真实预测图像；

损失函数计算模块可以用于基于真实预测图像和样本分割图像，确定当前迭代次数下的初始人像分割模型的损失函数；

人像分割模型训练模块可以用于在损失函数的损失值小于或等于预设损失值的情况下，将当前迭代次数下的初始人像分割模型作为人像分割模型。

可选的，损失函数计算模块还可以用于基于真实预测图像中各像素点的预测结果和预测概率，确定初始人像分割模型的二值交叉熵损失函数；

基于真实预测图像的边缘像素信息和样本分割图像的边缘像素信息，确定初始人像分割模型的边缘辅助损失函数；

基于真实预测图像在预设结构属性条件下的各像素点的像素值，以及样本分割图像在预设结构属性条件下的各像素点的像素值，确定初始人像分割模型的结构化损失函数；

根据二值交叉熵损失函数、边缘辅助损失函数和的结构化损失函数，确定当前迭代次数下的初始人像分割模型的损失函数。

本发明实施例所提供的人像分割装置可执行本发明任意实施例所提供的人像分割方法，具备执行方法相应的功能模块和有益效果。

以下是本发明实施例提供的电子设备的实施例，该电子设备与上述各实施例的人像分割方法属于同一个发明构思，在电子设备的实施例中未详尽描述的细节内容，可以参考上述人像分割方法的实施例。

参见图8，本实施例提供了一种电子设备800，其包括：一个或多个处理器820；存储装置810，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器820执行，使得一个或多个处理器820实现本发明实施例所提供的人像分割方法，包括：

获取待分割图像；

利用预先训练的人像分割模型，提取待分割图像的浅层图像信息和深层图像信息，深层图像信息基于人像分割模型的轻量化网络提取得到；

基于浅层图像信息和深层图像信息，确定待分割图像的人像分割结果；

基于人像分割结果、待分割图像的前景图以及待分割图像的背景图，确定待分割图像的目标分割图像。

当然，本领域技术人员可以理解，处理器820还可以实现本发明任意实施例所提供的人像分割方法的技术方案。

图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，该电子设备800包括处理器820、存储装置810、输入装置830和输出装置840；云平台中处理器820的数量可以是一个或多个，图7中以一个处理器820为例；云平台中的处理器820、存储装置810、输入装置830和输出装置840可以通过总线或其他方式连接，图8中以通过总线连接为例。

存储装置810作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及子网络，如本发明实施例中的数据同步方法对应的程序指令/子网络（例如，人像分割装置中的图像获取模块710、图像信息提取模块720、人像分割模块730和目标分割图像确定模块740）。

存储装置810可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置810可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置810可进一步包括相对于处理器820远程设置的存储器，这些远程存储器可以通过网络连接至云平台。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置830可用于接收输入的数字或字符信息，以及产生与云平台的用户设置以及功能控制有关的键信号输入，例如可以包括鼠标、键盘和触摸屏中的至少一个。输出装置840可包括显示屏等显示云平台。

以下是本发明实施例提供的计算机可读存储介质的实施例，该计算机可读存储介质与上述各实施例的人像分割方法属于同一个发明构思，在计算机可读存储介质的实施例中未详尽描述的细节内容，可以参考上述人像分割方法的实施例。

本实施例提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种人像分割方法，该方法包括：

获取待分割图像；

利用预先训练的人像分割模型，提取待分割图像的浅层图像信息和深层图像信息；

基于浅层图像信息和深层图像信息，确定待分割图像的人像分割结果；

基于人像分割结果、待分割图像的前景图以及待分割图像的背景图，确定待分割图像的目标分割图像。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本发明任意实施例所提供的人像分割方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory, ROM）、随机存取存储器（RandomAccess Memory, RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机云平台（可以是个人计算机，服务器，或者网络云平台等）执行本发明各个实施例所提供的人像分割方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种人像分割方法，包括：

获取待分割图像；

利用预先训练的人像分割模型，提取所述待分割图像的浅层图像信息和深层图像信息，所述深层图像信息基于所述人像分割模型的轻量化网络提取得到；

基于所述浅层图像信息和所述深层图像信息，确定所述待分割图像的人像分割结果；

基于所述人像分割结果、所述待分割图像的前景图以及所述待分割图像的背景图，确定所述待分割图像的目标分割图像；

所述基于所述浅层图像信息和所述深层图像信息，确定所述待分割图像的人像分割结果，包括：

利用所述人像分割模型，对所述深层图像信息和所述浅层图像信息进行信息级联，得到级联特征图；

对所述级联特征图进行升采样，得到所述待分割图像的人像分割结果；

所述利用所述人像分割模型，对所述深层图像信息和所述浅层图像信息进行信息级联，得到级联特征图，包括：

对所述深层图像信息进行升采样处理，得到升采样的深层图像信息；

预测所述升采样的深层图像信息中各像素点的概率值；

基于所述各像素点的概率值和所述浅层图像信息，得到浅层特征图像；

对所述浅层特征图像和所述升采样的深层图像信息进行信息级联，得到所述级联特征图。

2.根据权利要求1所述的方法，其中，提取所述待分割图像的深层图像信息，包括：

利用所述人像分割模型的轻量化网络，对所述待分割图像的浅层图像信息进行降采样和膨胀卷积处理，得到所述深层图像信息。

3.根据权利要求2所述的方法，其中，所述利用所述人像分割模型的轻量化网络，对所述待分割图像的浅层图像信息进行降采样和膨胀卷积处理，得到所述深层图像信息，包括：

利用所述轻量化网络的第一轻量化子网络，对所述待分割图像的轮廓信息进行一次或多次降采样，得到降采样的浅层图像信息；

利用所述轻量化网络的第二轻量化子网络，对所述降采样的浅层图像信息进行膨胀卷积处理，得到所述深层图像信息。

4.根据权利要求2或3所述的方法，其中，所述利用所述人像分割模型的轻量化网络，对所述待分割图像的浅层图像信息进行降采样和膨胀卷积处理，得到所述深层图像信息，包括：

利用所述人像分割模型的轻量化网络，基于逐通道卷积和/或逐点卷积，对所述浅层图像信息进行降采样和膨胀卷积处理，得到所述深层图像信息。

5.根据权利要求1-3中任一项所述的方法，所述待分割图像包括待分割视频的多个图像帧；

其中，所述基于所述人像分割结果、所述待分割图像的前景图以及待分割图像的背景图，确定所述待分割图像的目标分割图像，包括：

确定相邻图像帧中像素点的偏移量，并基于各个像素点的偏移量生成偏移量图像；

基于所述相邻图像帧中的当前图像帧的前景图、所述当前图像帧的背景图以及所述当前图像帧的人像分割结果，确定当前图像帧对应的当前分割图像；

基于所述偏移量图像和所述当前图像帧对应的当前分割图像，得到所述当前图像帧对应的目标分割图像。

6.根据权利要求1-3中任一项所述的方法，其中，所述人像分割模型通过以下方式训练得到：

获取训练样本集，其中，所述训练样本集包括样本图像和所述样本图像的样本分割图像；

将所述样本图像输入至初始人像分割模型，确定所述样本图像的真实预测图像；

基于所述真实预测图像和所述样本分割图像，确定当前迭代次数下的初始人像分割模型的损失函数；

在所述损失函数的损失值小于或等于预设损失值的情况下，将所述当前迭代次数下的初始人像分割模型作为所述人像分割模型。

7.根据权利要求6所述的方法，其中，所述确定当前迭代次数下的初始人像分割模型的损失函数，包括：

基于所述真实预测图像中各像素点的预测结果和预测概率，确定所述初始人像分割模型的二值交叉熵损失函数；

基于所述真实预测图像的边缘像素信息和所述样本分割图像的边缘像素信息，确定所述初始人像分割模型的边缘辅助损失函数；

基于所述真实预测图像在预设结构属性条件下的各像素点的像素值，以及所述样本分割图像在所述预设结构属性条件下的各像素点的像素值，确定所述初始人像分割模型的结构化损失函数；

根据所述二值交叉熵损失函数、所述边缘辅助损失函数和所述的结构化损失函数，确定当前迭代次数下的初始人像分割模型的损失函数。

8.一种人像分割装置，包括：

图像获取模块，用于获取待分割图像；

图像信息提取模块，用于利用预先训练的人像分割模型，提取所述待分割图像的浅层图像信息和深层图像信息，所述深层图像信息基于所述人像分割模型的轻量化网络提取得到；

人像分割模块，用于基于所述浅层图像信息和所述深层图像信息，确定所述待分割图像的人像分割结果；

目标分割图像确定模块，用于基于所述人像分割结果、所述待分割图像的前景图以及所述待分割图像的背景图，确定所述待分割图像的目标分割图像；

人像分割模块还用于，利用所述人像分割模型，对所述深层图像信息和所述浅层图像信息进行信息级联，得到级联特征图；

对所述级联特征图进行升采样，得到所述待分割图像的人像分割结果；

所述人像分割模块还用于，对所述深层图像信息进行升采样处理，得到升采样的深层图像信息；

预测所述升采样的深层图像信息中各像素点的概率值；

基于所述各像素点的概率值和所述浅层图像信息，得到浅层特征图像；

对所述浅层特征图像和所述升采样的深层图像信息进行信息级联，得到所述级联特征图。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的人像分割方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的人像分割方法。

Images