CN114299288A - 图像分割方法、装置、设备和存储介质 - Google Patents

Abstract

本申请提供了一种图像分割方法、装置、设备和存储介质，首先获取待分割图像；然后提取待分割图像中的第一人脸关键点；将第一人脸关键点与标准脸中的第二人脸关键点进行比较，基于比较结果对待分割图像进行校正；将校正后的待分割图像输入至预训练的多级级联卷积神经网络模型进行图像分割，得到未被遮挡的人脸图像。该图像分割方法，通过人脸关键点信息对待分割图像进行校正，可以减小图像分割的难度，同时采用多级级联卷积神经网络模型，提高了分割精度和稳定性。

Description

图像分割方法、装置、设备和存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像分割方法、装置、设备和存储介质。

背景技术

随着人工智能与数字图像处理技术的快速发展，自动美妆(如修眉、口红、眼妆等)已广泛应用于直播、短视频等应用场景。目前最常用的自动美妆方案是利用人脸关键点，例如根据嘴唇关键点拟合嘴唇曲线，然后对嘴唇上色。然而，在实际中，人脸区域常常有遮挡物(例如眼镜、口罩或者手指)等，为了实现精确且自然的美妆效果，需要对人脸区域的遮挡物进行识别，以避免将妆容画在遮挡物上。因此，美妆场景下将人脸与遮挡物分割开就显得尤为重要。

目前，常采用深度学习方法的人脸分割算法来将人脸图像从整个图像中分割下来，但该方法处理流程复杂，网络结构冗余，实时性较差，难以用于实时应用场景中(例如网络直播)。

发明内容

有鉴于此，本申请实施例中提供了一种图像分割方法、装置、设备和存储介质。

第一方面，本申请实施例提供了一种图像分割方法，该方法包括：

获取待分割图像；

提取所述待分割图像中的第一人脸关键点；

将所述第一人脸关键点与标准脸中的第二人脸关键点进行比较，基于比较结果对所述待分割图像进行校正；

将校正后的待分割图像输入至预训练的多级级联卷积神经网络模型进行图像分割，得到未被遮挡的人脸图像。

第二方面，本申请实施例提供了一种图像分割装置，该装置包括：

图像获取模块，用于获取待分割图像；

关键点提取模块，用于提取所述待分割图像中的第一人脸关键点；

图像校正模块，用于将所述第一人脸关键点与标准脸中的第二人脸关键点进行比较，基于比较结果对所述待分割图像进行校正；

图像分割模块，用于将校正后的待分割图像输入至预训练的多级级联卷积神经网络模型进行图像分割，得到未被遮挡的人脸图像。

第三方面，本申请实施例提供了一种终端设备，包括：存储器；一个或多个处理器，与所述存储器耦接；一个或多个应用程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行上述第一方面提供的图像分割方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的图像分割方法。

本申请实施例提供的图像分割方法、装置、设备和存储介质，首先获取待分割图像；然后提取待分割图像中的第一人脸关键点；将第一人脸关键点与标准脸中的第二人脸关键点进行比较，基于比较结果对待分割图像进行校正；将校正后的待分割图像输入至预训练的多级级联卷积神经网络模型进行图像分割，得到未被遮挡的人脸图像。

该图像分割方法，通过人脸关键点信息对待分割图像进行校正，可以减小图像分割的难度，同时采用多级级联卷积神经网络模型，提高了分割精度和稳定性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的图像分割方法的应用场景示意图；

图2为本申请一个实施例提供的图像分割方法的流程示意图；

图3为本申请一个实施例提供FPN网结构示意图；

图4为本申请又一个实施例提供的图像分割方法的流程示意图；

图5为本申请一个实施例提供的图像分割装置的结构图；

图6为本申请一个实施例中提供的终端设备的结构示意图；

图7为本申请一个实施例中提供的计算机可读存储介质的结构示意图。

具体实施方式

下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了更详细说明本申请，下面结合附图对本申请提供的一种图像分割方法、装置、终端设备和计算机存储介质，进行具体地描述。

请参考图1，图1示出了本申请实施例提供的图像分割方法的应用场景的示意图，该应用场景包括本申请实施例提供的服务器102、直播端104和客户端106。其中，其中服务器102、直播端104和客户端106之间设置有网络。网络用于在服务器102、直播端104和客户端106之间提供通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。服务器102能够与直播端104以及客户端106进行通信，以为直播端104或/和客户端106提供直播服务。例如，直播端104可以将直播间的直播视频流发送给服务器102，用户可以通过客户端106访问服务器102以观看直播间的直播视频。又例如，服务器102也可以在用户订阅的直播间开播时向该用户的客户端106发送通知消息。直播视频流可以是当前正在直播平台中直播的视频流或者直播完成后形成的完整视频流。

在一些实施场景中，直播端104和客户端106可以互换使用。例如，主播可以使用直播端104来为观众提供直播视频服务，也可以作为用户查看其他主播提供的直播视频。又例如，用户可以使用客户端106观看所关注的主播提供的直播视频，也可以作为主播为其他观众提供直播视频服务。

本实施例中，直播端104和客户端106都是一种终端，可以是具有显示屏的各种电子设备，包括但不限于智能手机、个人数字助理、平板电脑、个人计算机、笔记本电脑、虚拟现实终端设备、增强现实终端设备等。其中，直播端104和客户端106中可以安装有用于提供互联网直播服务的互联网产品，例如，互联网产品可以是计算机或智能手机中使用的与互联网直播服务相关的应用程序APP、Web网页、小程序等。

可以理解，图1所示的应用场景仅为一种可行的示例，在其它可行的实施例中，该应用场景也可以仅包括图1所示的部分组件或者还可以包括其它的组成部分。例如，图1所示的应用场景还可以包括用于采集主播的直播视频帧的视频采集终端108，视频采集终端108可以直接安装或集成于直播端104，也可以独立于直播端104等，本实施例在此不做限制。

应该理解，直播端104、客户端106、网络和服务器102的数目仅仅是示意性的。根据实现需要，可以具有任意数目的直播端104、客户端106、网络和服务器102。比如服务器可以是多个服务器组成的服务器集群等。其中，直播端104、客户端106通过网络与服务器交互，以接收或发送消息等。服务器102可以是提供各种服务的服务器。其中直播端104或客户端102可以用来执行本申请实施例中提供的一种图像分割方法的步骤。

在直播或短视频中主播通常会使用麦克风、眼镜等道具，这些道具常常会对主播嘴巴或眼镜造成遮挡，如果主播开启了美妆场景(例如自动口红、眼影、修眉等)，美妆可能会作用在道具上，从而造成美妆效果差。因此，可以对主播图像采用本申请的图像分割方法进行分割，将道具等这些遮挡物分割出去，从而形成未被遮挡的人脸图像，然后再对未被遮挡的人脸图像进行美妆，可以实现妆容的最佳化。

基于此，本申请实施例中提供了一种图像分割方法。请参阅图2，图2示出了本申请实施例提供的一种图像分割方法的流程示意图，以该方法应用于图1中的直播端为例进行说明，包括以下步骤：

步骤S110，获取待分割图像。

其中，待分割图像是任意需要进行图像分割处理的图片，通常是包含人脸图像的图片。在直播或短视频中待分割图像通常包含是主播或直播者人脸信息的图片。

而在实际上采集到或获取到的图片可能存在不包含人脸图像的情况，为了提高处理的效率，可以预先到采集到或获取到的图片进行人脸检测，当包含人脸图像时执行下一步(即步骤S120至步骤S140)，如果不包含人脸图像时则丢弃或舍弃该图片。

步骤S120，提取待分割图像中的第一人脸关键点。

具体而来，对待分割图像进行关键点检测，从而得到第一人脸关键点。可选地，可以采用神经网络模型，例如卷积神经网络(CNN)模型来对待分割图像进行关键点检测。具体地可以将待分割图像输入预先训练的CNN模型，输出第一人脸关键点。

其中，第一人脸关键点包括但不限于左眼中心点、右眼中心点、鼻尖点、左嘴角点以及右嘴角点等。

步骤S130，将第一人脸关键点与标准脸中的第二人脸关键点进行比较，基于比较结果对待分割图像进行校正。

其中，标准脸可以认为是大众脸，是通过数据集中的大量人脸数据确定的。第二人脸关键点是指大众脸上的人脸关键点，其是通过对数据集中全部的人脸关键点求平均得到，比如标准脸上的左眼点，是整个数据集的左眼点求平均。

将第一人脸关键点与标准脸中的第二人脸关键点进行比较，通常是计算一人脸关键点与第二人脸关键点的偏移量，基于偏移量对待分割图像进行校正。

第二人脸关键点包括但不限于左眼中心点、右眼中心点、鼻尖点、左嘴角点以及右嘴角点等。

因此，计算偏移量的具体的步骤为：利用第一人脸关键点的左眼中心点、右眼中心点、鼻尖点、左嘴角点、右嘴角点这5个点与标准脸中第二人脸关键点的左眼中心点、右眼中心点、鼻尖点、左嘴角点、右嘴角点这5个点进行比较，分别计算偏移量。

进一步地，提供了一种对待分割图像进行校正的实施方式，下面对该实施方式进行详细描述。

在一个实施例中，在步骤S130，将第一人脸关键点与标准脸中的第二人脸关键点进行比较，基于比较结果对待分割图像进行校正，包括：基于第一人脸关键点和第二人脸关键点计算仿射变换矩阵；采用仿射变换矩阵对待分割图像变换。

具体来说，利用第一人脸关键点的左眼中心点、右眼中心点、鼻尖点、左嘴角点、右嘴角点这5个点与标准脸中第二人脸关键点的左眼中心点、右眼中心点、鼻尖点、左嘴角点、右嘴角点这5个点求仿射变换矩阵，然后将仿射变换矩阵应用待分割图像，以使带分隔图像中的人脸图像摆正到标准姿态，从而完成对带分隔图像的校正。

其中，仿射变换(Affine Transformation)包括一个是线性变换和一个是平移变换，是一种二维坐标到二维坐标之间的线性变换。它保持了二维图形的平直性和平行性。变换过程可以用仿射变换矩阵来表示，放射变换可以通过一系列原子变换的复合来实现，包括平移、缩放、旋转、翻转以及错切。

采用该方法可以将待分隔图像中的人脸图像校正到标准姿态，方便后续进行人脸分割。

步骤S140，将校正后的待分割图像输入至预训练的多级级联卷积神经网络模型进行图像分割，得到未被遮挡的人脸图像。

在对待分割图像校正完成后，将校正后的待分割图像输入到预训练的多级级联卷积神经网络模型输出未被遮挡的人脸图像。

其中，卷积神经网络(CNN)一种前馈神经网络，其基本结构由输入层、卷积层(convolutional layer)、池化层(pooling layer，也称为取样层)、全连接层及输出层构成。CNN在图像处理方面表现非常出色。

多级级联卷积神经网络模型是由多个卷积神经网络结构串联而成，其中前一个卷积神经网络结构的输出结果是下一个卷积神经网络结构的输入，直到最后一个卷积神经网络结构输出最终分割结果，以得到未被遮挡的人脸图像。

模型训练其实质就是给定输入向量和目标输出值，然后将输入向量来输入一个或多个网络结构或函数来求得实际输出值，并根据目标输出值和实际输出值来计算偏量，并判断偏量是否在容许范围内；若在容许范围内，则训练结束并固定相关参数；若不在容许范围内，不断去调整网络结构或函数中的一些参数，直至在偏量在容许范围内或达到了某一结束条件时，训练结束并固定相关参数，最后根据固定的相关参数即可得到训练完成的模型。在本实施例中，主要是采用图像样本输入到多级卷积神经网络模型，计算其损失函数，然后更新多级卷积神经网络模型的网络参数直到网络收敛，从而得到预训练的多级卷积神经网络模型。在本实施例中，采用多级级联的卷积神经网络模型可以对待分割图像进行多次分割，能提高图像的分割精度和稳定性。

本申请实施例提供的图像分割方法，首先获取待分割图像；然后提取待分割图像中的第一人脸关键点；将第一人脸关键点与标准脸中的第二人脸关键点进行比较，基于比较结果对待分割图像进行校正；将校正后的待分割图像输入至预训练的多级级联卷积神经网络模型进行图像分割，得到未被遮挡的人脸图像。该图像分割方法，通过人脸关键点信息对待分割图像进行校正，可以减小图像分割的难度，同时采用多级级联卷积神经网络模型，提高了分割精度和稳定性。

进一步地，给出了一种未被遮挡的人脸图像进行逆变换的具体实施方式，描述如下：

在一个实施例中，得到未被遮挡的人脸图像之后，还包括：对未被遮挡的人脸图像进行逆变换，以使逆变换后的人脸图像与待分割图像的人脸姿态保持一致。

具体而言，在得到未被遮挡的人脸图像之后，可以对其进行逆变换，以使变换后的人脸图像与输入的待分割图像的人脸姿态保持一致。

其中，逆变换的具体过程为：首先计算仿射变换矩阵的逆矩阵；然后根据逆矩阵对未被遮挡的人脸图像进行逆变换。

对分割后的图像进行逆变换，从而将分割后的图像还原到原图(即待分割图像)的使用状态(例如图像的旋转角度，图中人物姿态等)，然后再对其进行美妆处理，能最大程度地保持妆容准确度，从而实现妆容最佳化。

接下来，还给出了一种模型训练的实施方式，详细描述如下：

在一个实施例中，预训练的多级级联卷积神经网络模型通过以下方法训练：

步骤S1，获取图像样本，对图像样本进行标记。

具体来说，首先要准备比较多(例如几千张、几万张等)数量的人脸图像样本。人脸图像样本可以是采用拍摄设备拍摄收集。通常情况下，图像样本越多，其训练的模型更加精确；但人脸图像样本太多会降低模型训练的速度。因此，在实际应用中，选择合适数量的人脸图像样本即可，但在准备人脸图像样本时尽可能使样本多样化，要包括多种表情以及多种拍摄角度的图像，例如人脸图像样本中既要包括正脸，也要包括侧脸，低头，抬头等姿态；并且人脸图像样本中既可以包括只含有人脸图像的图像，又可以包括包含有人脸图像和人脸遮挡物的图样。另外在准备人脸图像样本时可以建立数据训练集，将人脸图像样本存储至数据训练集中。

在获取到图像样本后，需要对图像样本进行人脸以及非人脸标记。可选地，在标记过程中，可以采用标签来对图像样本中的人脸和/或非人脸进行标记。

在一种可选地实施方式中，可以采用开源标注工具(例如Github标签工具)来对图像样本做标记，在图像样本上框选出人脸和/或非人脸区域，从而生成人脸标签(即选出的人脸区域在图像样本中的位置)和/或非人脸标签(即选出的非人脸区域在图像样本中的位置)，然后将人脸标签和非人脸标签保存在相应的(例如xml)格式文件中。其中人脸区域和/或非人脸区域通常是非规则区域。

步骤S2，将标记的图像样本输入至多级联卷积神经网络模型，以输出预测分割结果；其中，多级级联神经网络模型是通过多个卷积神经网络结构串联而成的，每一个卷积神经网络结构都输出一个预测分割结果，并且前一个卷积神经网络结构输出的预测分割结果是后一个卷积神经网络结构的输入。

具体来说，首先要构建多级级联卷积神经网络模型，设置多个卷积神经网络结构，将多个卷积神经网络结构串联起来以形成多级级联卷积神经网络模型。然后将标记后的图样样本输入至多级级联神经网络模型，以输出预测分割结果；每一个卷积神经网络结构都输出一个预测分割结果，并且前一个卷积神经网络结构输出的预测分割结果是后一个卷积神经网络结构的输入。

步骤S3，基于各预测分割结果和图像样本的标记结果确定各损失函数。

具体的，有多少个卷积神经网络结构就对应几个预测分割结果，将每一个预测分割结果与目标分割结果进行比较，计算得到每一个损失函数。有多少各预测分割结果就对应生成多少个损失函数。

在本实施例中，损失函数可以采用二值交叉熵损失函数。

步骤S4，根据各损失函数来更新多级级联卷积神经网络模型的网络参数，直至收敛，以获得预训练的多级联卷积神经网络模型。

具体来说，各损失函数结合反向传播算法来更新多级级联卷积神经网络模型的网络参数，直至收敛，以获得预训练的多级级联卷积神经网络模型。

需要说明的是，多级级联卷积神经网络模型中卷积神经网络结构的数量至少是两个，用户或模型使用者可以根据其需要选择不同数量的卷积神经网络结构。但是卷积神经网络结构的数量越多，最后输出的人脸分割结果越准确，但模型训练过程越复杂，因此在实际使用中用户或模型使用者根据实际应用场景选择合适数量的卷积神经网络结果，以组成多级级联卷积神经网络模型。

接下来，还给出了一种训练两级级联卷积神经网络模型的实施方式，详细描述如下：

在一个实施例中，多级级联卷积神经网络模型包括两级级联卷积神经网络模型，两级级联卷积神经网络模型是通过两个FPN网络结构串联形成；将标记后的图像样本输入至多级联卷积神经网络模型，以输出预测分割结果，包括：将标记后的图像样本输入第一个FPN网络结构，输出第一预测分割结果；将第一预测分割结果输入第二个FPN网络结构，输出第二预测分割结果。

在一个实施例中，根据各损失函数来更新多级级联卷积神经网络模型的网络参数，包括：采用第一损失函数和第二损失函数来更新两级级联卷积神经网络模型的网络参数；其中，第一损失函数是根据第一分割结果和目标分割结果确定的；第二损失函数是根据第二分割结果和目标分割结果确定的。

具体的，请参照图3所示，FPN网络结构包括一个自底向上的线路，一个自顶向下的线路和横向连接，可以对不同深度的特征图进行有效融合。而两级级联卷积神经网络模型是由两个FPN网络结构串联而成，每一个FPN网络结构能输入一个预测分割结果，其中第一个FPN网络结构输出的预测分割结果是第二个FPN网络结构的输入，其目的是在第一个FPN网络结构输出的人脸分割结果的基础上，进行更精细化的分割。

在FPN输出最后一个分割预测结果之后，使用sigmoid函数将预测置信度限制在0～1的范围，置信度大于0.5的区域认为是人脸；否则是非人脸。然后可以使用二值交叉熵损失函数BCELoss来指导CNN更新参数，即：

其中Loss表示损失函数，y是标注信息(即目标分割结果)，

是CNN预测分割结果。其中Loss应用与每一个FPN的输出，即对第一预测分割结果和第二预测分割结果都会计算Loss。

为了便于理解本方案，给出一个详细的实施例。请参照图4所示，步骤1，假设有一张待检测图像，可以对该待检测图像进行人脸检测，如果该待检测图像中包括人脸图像信息，则进行下一步；如果不包含人脸图像信息，则结束流程。

步骤2，对待检测图像进行人脸关键点检测，以得到人脸上的左眼中心点、右眼中心点、鼻尖点、左嘴角点、右嘴角点这5个点；然后将这五个点与标准脸中对应的这5个点(即图4中模板点位图中的5个点)求相似变换矩阵(即仿射变换矩阵)。然后将仿射变换矩阵应用到待检测图像，使人脸摆正到标准姿态。

步骤3，将步骤2得到的人脸摆正后的图像输入两级级联卷积神经网络模型(即图4中的两个FPN网络结构中)进行人脸分割，得到未被遮挡的人脸图像。

步骤4，将未被遮挡的人脸图像进行步骤2中仿射变换的逆变换，使分割结果映射回原图。

应该理解的是，虽然图2和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且图2和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

上述本申请公开的实施例中详细描述了一种图像分割方法，对于本申请公开的上述方法可采用多种形式的设备实现，因此本申请还公开了对应上述方法的图像分割装置，下面给出具体的实施例进行详细说明。

请参阅图5，为本申请实施例公开的一种图像分割装置，主要包括：

图像获取模块510，用于获取待分割图像。

关键点提取模块520，用于提取待分割图像中的第一人脸关键点。

图像校正模块530，用于将第一人脸关键点与标准脸中的第二人脸关键点进行比较，基于比较结果对待分割图像进行校正。

图像分割模块540，用于将校正后的待分割图像输入至预训练的多级级联卷积神经网络模型进行图像分割，得到未被遮挡的人脸图像。

在一个实施例中，图像校正模块530，用于基于第一人脸关键点和第二人脸关键点计算仿射变换矩阵；采用仿射变换矩阵对待分割图像变换。

在一个实施例中，装置还包括：

图像逆变换模块，用于对未被遮挡的人脸图像进行逆变换，以使逆变换后的人脸图像与待分割图像的人脸姿态保持一致。

在一个实施例中，图像逆变换模块，用于计算仿射变换矩阵的逆矩阵；根据逆矩阵对未被遮挡的人脸图像进行逆变换。

在一个实施例中，装置还包括：

样本获取模块，用于获取图像样本，对图像样本进行标记。

样本标记模块，用于将标记的图像样本输入至多级联卷积神经网络模型，以输出预测分割结果；其中，多级级联神经网络模型是通过多个卷积神经网络结构串联而成的，每一个卷积神经网络结构都输出一个预测分割结果，并且前一个卷积神经网络结构输出的预测分割结果是后一个卷积神经网络结构的输入。

损失函数确定模块，用于基于各预测分割结果和图像样本的标记结果确定各损失函数。

模型获取模块，用于根据各损失函数来更新多级级联卷积神经网络模型的网络参数，直至收敛，以获得预训练的多级联卷积神经网络模型。

在一个实施例中，多级级联卷积神经网络模型包括两级级联卷积神经网络模型，两级级联卷积神经网络模型是通过两个FPN网络结构串联形成；损失函数确定模块，用于将标记后的图像样本输入第一个FPN网络结构，输出第一预测分割结果；将第一预测分割结果输入第二个FPN网络结构，输出第二预测分割结果。

在一个实施例中，损失函数确定模块，用于采用第一损失函数和第二损失函数来更新两级级联卷积神经网络模型的网络参数；其中，第一损失函数是根据第一分割结果和目标分割结果确定的；第二损失函数是根据第二分割结果和目标分割结果确定的。

关于图像分割装置的具体限定可以参见上文中对于方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处理器中，也可以以软件形式存储于终端设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

请参考图6，图6其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备60可以是计算机设备。本申请中的终端设备60可以包括一个或多个如下部件：处理器62、存储器64以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器64中并被配置为由一个或多个处理器62执行，一个或多个应用程序配置用于执行上述图像分割方法实施例中所描述的方法。

处理器62可以包括一个或者多个处理核。处理器62利用各种接口和线路连接整个终端设备60内的各个部分，通过运行或执行存储在存储器64内的指令、程序、代码集或指令集，以及调用存储在存储器64内的数据，执行终端设备60的各种功能和处理数据。可选地，处理器62可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器62可集成中央处理器(Central ProcessingUnit，CPU)、埋点数据的上报验证器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器62中，单独通过一块通信芯片进行实现。

存储器64可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器64可用于存储指令、程序、代码、代码集或指令集。存储器64可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备60在使用中所创建的数据等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端设备的限定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

综上，本申请实施例提供的终端设备用于实现前述方法实施例中相应的图像分割方法，并具有相应的方法实施例的有益效果，在此不再赘述。

请参阅图7，其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质70中存储有程序代码，程序代码可被处理器调用执行上述图像分割方法实施例中所描述的方法。

计算机可读取存储介质70可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读取存储介质70包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读取存储介质70具有执行上述方法中的任何方法步骤的程序代码72的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码72可以例如以适当形式进行压缩。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像分割方法，其特征在于，所述方法包括：

获取待分割图像；

提取所述待分割图像中的第一人脸关键点；

将所述第一人脸关键点与标准脸中的第二人脸关键点进行比较，基于比较结果对所述待分割图像进行校正；

将校正后的待分割图像输入至预训练的多级级联卷积神经网络模型进行图像分割，得到未被遮挡的人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一人脸关键点与标准脸中的第二人脸关键点进行比较，基于比较结果对所述待分割图像进行校正，包括：

基于所述第一人脸关键点和所述第二人脸关键点计算仿射变换矩阵；

采用所述仿射变换矩阵对所述待分割图像变换。

3.根据权利要求2所述的方法，其特征在于，所述得到未被遮挡的人脸图像之后，还包括：

对所述未被遮挡的人脸图像进行逆变换，以使逆变换后的人脸图像与所述待分割图像的人脸姿态保持一致。

4.根据权利要求3所述的方法，其特征在于，对所述未被遮挡的人脸图像进行逆变换，包括：

计算所述仿射变换矩阵的逆矩阵；

根据所述逆矩阵对所述未被遮挡的人脸图像进行逆变换。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述预训练的多级级联卷积神经网络模型通过以下方法训练：

获取图像样本，对所述图像样本进行标记；

将所述标记的图像样本输入至多级联卷积神经网络模型，以输出预测分割结果；其中，所述多级级联神经网络模型是通过多个卷积神经网络结构串联而成的，每一个所述卷积神经网络结构都输出一个预测分割结果，并且前一个卷积神经网络结构输出的预测分割结果是后一个卷积神经网络结构的输入；

基于各预测分割结果和图像样本的标记结果确定各损失函数；

根据各所述损失函数来更新所述多级级联卷积神经网络模型的网络参数，直至收敛，以获得预训练的多级联卷积神经网络模型。

6.根据权利要求5所述的方法，其特征在于，所述多级级联卷积神经网络模型包括两级级联卷积神经网络模型，所述两级级联卷积神经网络模型是通过两个FPN网络结构串联形成；将所述标记后的图像样本输入至多级联卷积神经网络模型，以输出预测分割结果，包括：

将所述标记后的图像样本输入第一个所述FPN网络结构，输出第一预测分割结果；

将所述第一预测分割结果输入第二个所述FPN网络结构，输出第二预测分割结果。

7.根据权利要求6所述的方法，其特征在于，根据各所述损失函数来更新所述多级级联卷积神经网络模型的网络参数，包括：

采用第一损失函数和第二损失函数来更新所述两级级联卷积神经网络模型的网络参数；

其中，所述第一损失函数是根据第一分割结果和所述目标分割结果确定的；所述第二损失函数是根据第二分割结果和所述目标分割结果确定的。

8.一种图像分割装置，其特征在于，所述装置包括：

图像获取模块，用于获取待分割图像；

关键点提取模块，用于提取所述待分割图像中的第一人脸关键点；

图像校正模块，用于将所述第一人脸关键点与标准脸中的第二人脸关键点进行比较，基于比较结果对所述待分割图像进行校正；

图像分割模块，用于将校正后的待分割图像输入至预训练的多级级联卷积神经网络模型进行图像分割，得到未被遮挡的人脸图像。

9.一种终端设备，其特征在于，包括：

存储器；一个或多个处理器，与所述存储器耦接；一个或多个应用程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。

Images