CN114399813B - 人脸遮挡检测方法、模型训练方法、装置及电子设备 - Google Patents

Abstract

本申请提供一种人脸遮挡检测方法、模型训练方法、装置及电子设备，人脸遮挡检测方法包括：获取待检测图像；将待检测图像输入目标分割模型进行处理，得到目标掩膜图像；基于目标掩膜图像进行整体人脸遮挡检测，得到第一遮挡检测结果；在第一遮挡检测结果表示有遮挡的情况下，基于目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果。即需要通过两级遮挡检测，在第一级整体人脸遮挡检测的结果表示有遮挡的情况下，进一步进行局部遮挡检测，得到M个局部区域的遮挡检测结果，实现人脸遮挡的检测，这样，在人脸遮挡检测过程中，即考虑了整体检测，又考虑了局部检测，从而可提高人脸遮挡检测的准确性可提高人脸遮挡检测的准确性。

Description

人脸遮挡检测方法、模型训练方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及到一种人脸遮挡检测方法、模型训练方法、装置及电子设备。

背景技术

随着深度学习的发展，人工智能产品如雨后春笋般普及大众，例如，支付方式的改变，安全问题一直是大家普遍关注的信息，因此活体检测也快速发展起来，其中，人脸遮挡检测是其中重要的一个环节，若遮挡部分人脸很可能导致误判，造成财产损失。

目前对于遮挡检测，大多利用分类的算法以及关键点置信度进行检测，而关键点置信度检测本质上也是分类方法，但是目前常采用的基于分类的方法和基于关键点的方法进行人脸遮挡检测的准确性均较差。

发明内容

本申请实施例提供一种人脸遮挡检测方法、模型训练方法、装置及电子设备，以解决人脸遮挡检测准性较差的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种人脸遮挡检测方法，包括：

获取待检测图像；

将所述待检测图像输入目标分割模型进行处理，得到目标掩膜图像；

基于所述目标掩膜图像进行整体人脸遮挡检测，得到第一遮挡检测结果；

在所述第一遮挡检测结果表示有遮挡的情况下，基于所述目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，M为大于1的整数。

可以看出，在本申请实施例中，先进行整体人脸遮挡检测，在整体人脸遮挡检测结果表示有遮挡的情况下，再进一步进行局部遮挡检测，实现人脸遮挡的检测，这样，在人脸遮挡检测的过程中，既考虑了整体检测，又考虑了局部检测，从而可提高人脸遮挡检测的准确性。

第二方面，本申请实施例提供了一种模型训练方法，所述方法包括：

获取第一训练图像样本集以及所述第一训练图像样本集的掩膜标签图；

基于所述第一训练图像样本集以及所述掩膜标签图，对初始分割模型进行训练，得到中间分割模型；

将第一测试图像样本集输入所述中间分割模型进行图像分割，得到第一掩膜图像集；

基于所述第一测试图像样本集以及所述第一掩膜图像集，对所述中间分割模型进行训练，得到目标分割模型。

可以看出，在本申请实施例中，通过两个阶段的模型训练，且第二阶段的模型训练采用的样本是基于第一阶段训练得到的中间分割模型和第一测试图像样本集得到，这样，可提高模型训练效果，从而提高得到的目标分割模型的图像处理性能。

第三方面，本申请实施例还提供一种人脸遮挡检测装置，包括：

第一获取模块，用于获取待检测图像；

第一图像获得模块，用于将所述待检测图像输入目标分割模型进行处理，得到目标掩膜图像；

第一检测模块，用于基于所述目标掩膜图像进行整体人脸遮挡检测，得到第一遮挡检测结果；

第二检测模块，用于在所述第一遮挡检测结果表示有遮挡的情况下，基于所述目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，M为大于1的整数。

第四方面，本申请实施例还提供一种模型训练装置，

第二获取模块，用于获取第一训练图像样本集以及所述第一训练图像样本集的掩膜标签图；

第一训练模块，用于基于所述第一训练图像样本集以及所述掩膜标签图，对初始分割模型进行训练，得到中间分割模型；

第三获取模块，用于将第一测试图像样本集输入所述中间分割模型进行图像分割，得到第一掩膜图像集；

第二训练模块，用于基于所述第一测试图像样本集以及所述第一掩膜图像集，对所述中间分割模型进行训练，得到目标分割模型。

第五方面，本申请实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述人脸遮挡检测方法或者模型训练方法中的步骤。

第六方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述人脸遮挡检测方法或者模型训练方法中的步骤。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种人脸遮挡检测方法的流程图；

图2是本申请实施例提供的一种模型训练方法的流程图；

图3是本申请实施例提供的一种人脸遮挡检测方法的原理图之一；

图4是本申请实施例提供的一种人脸遮挡检测方法的原理图之二；

图5是本申请实施例提供的一种人脸遮挡检测装置的结构示意图；

图6是本申请实施例提供的一种模型训练装置的结构示意图；

图7是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，图1是本申请实施例提供的一种人脸遮挡检测方法的流程图，该方法可应用于电子设备，该方法包括以下步骤：

步骤101、获取待检测图像。

待检测图像为需要进行人脸遮挡检测的图像，在本实施例中，其尺寸大小不做限定。

步骤102、将待检测图像输入目标分割模型进行处理，得到目标掩膜图像。

得到的目标掩膜(mask)图像的尺寸大小与待检测图像的尺寸大小相同，目标分割模型可以包括但不限于目标U2Net(一种两级嵌套U型结构的网络)模型等，是一种需要下采样和上采样(形成U型)的卷积神经网络。目标分割模型对输入的待检测图像进行图像分割，可得到待检测图像的目标掩膜图像。需要说明的是，目标分割模型是已训练的分割模型，例如，预先对初始分割模型进行训练得到目标分割模型。

步骤103、基于目标掩膜图像进行整体人脸遮挡检测，得到第一遮挡检测结果。

得到目标掩膜图像后，可先进行图像的整体遮挡判断，即进行整体人脸遮挡检测，得到第一遮挡检测结果，第一遮挡检测结果可包括用于表示人脸有遮挡的结果或用于表示人脸无遮挡的结果。

步骤104、在第一遮挡检测结果表示有遮挡的情况下，基于目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果。

M为大于1的整数。在第一遮挡检测结果表示有遮挡的情况下，表示人脸整体上有遮挡，需要进一步进行局部上遮挡的检测，即基于目标掩膜图像进行局部人脸遮挡检测，可得到M个局部区域的遮挡检测结果，实现局部遮挡检测。

在本实施例的人脸遮挡检测方法中，可先根据目标掩膜图像进行整体人脸遮挡检测，得到第一遮挡检测结果，在第一遮挡检测结果表示有遮挡的情况下，进一步进行局部遮挡检测，即基于目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，即需要通过两级遮挡检测，在第一级整体人脸遮挡检测的结果表示有遮挡的情况下，需要进一步进行局部遮挡检测，通过目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，实现人脸遮挡的检测，这样，在人脸遮挡检测过程中，即考虑了整体检测，又考虑了局部检测，从而可提高人脸遮挡检测的准确性。

在一个实施例中，基于目标掩膜图像进行整体人脸遮挡检测，得到第一遮挡检测结果之前，还包括：对待检测图像进行关键点检测，得到N个关键点信息，N为大于1的整数；

其中，基于目标掩膜图像进行整体人脸遮挡检测，得到第一遮挡检测结果，包括：基于目标掩膜图像以及N个关键点信息进行整体人脸遮挡检测，得到第一遮挡检测结果；

其中，基于目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，包括：基于目标掩膜图像以及N个关键点信息进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果。

在本实施例中，可通过人脸关键点检测算法对待检测图像进行关键点检测，得到待检测图像的N个关键点信息，关键点信息可以包括关键点坐标等。人脸关键点检测算法在本实施例中不作限定，例如，可采用N个预设关键点的人脸关键点检测算法进行检测，N个预设关键点可以包括M类关键点，例如，可包括鼻子类关键点、嘴巴类关键点、左眉毛类关键点、右眉毛类关键点、左眼睛类关键点、右眼睛类关键点、左脸类关键点和右脸类关键点等，每一类关键点对应一个人脸部位，每一类关键点中可包括至少一个预设关键点，例如，对于左眉毛类关键点中的预设关键点可包括左眉峰、左眉头以及左眉尾等。作为一个示例，N为大于1的整数，例如，可以取98。

对待检测图像进行关键点检测，得到待检测图像的N个关键点信息之后，可基于目标掩膜图像以及N个关键点信息进行整体人脸遮挡检测，得到第一遮挡检测结果，如此，整体人脸遮挡检测过程中，不但考虑了目标掩膜图像，而且还考虑了待检测图像的N个关键点信息，可提高整体人脸遮挡检测的准确性。在第一遮挡检测结果表示有遮挡的情况下，可进一步去进行局部遮挡检测，在本实施例中，基于目标掩膜图像以及N个关键点信息进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，即还考虑了待检测图像的N个关键点信息，可提高局部人脸遮挡的准确性。

在一个实施例中，基于目标掩膜图像进行整体人脸遮挡检测，得到第一遮挡检测结果之前，还包括：

基于预设像素阈值、第一预设值和第二预设值，对目标掩膜图像进行二值化处理。

即进行整体人脸遮挡检测前，先将目标掩膜图像进行二值化处理，以更新目标掩膜图像，后续进行整体人脸遮挡检测以及进行局部人脸遮挡检测的过程中，均是基于更新后的目标掩膜图像，更新后的目标掩膜图像即为二值掩膜图像。在二值化处理过程中，将目标掩膜图像中像素值大于或等于预设像素阈值的像素点的像素值更新为第一预设值，将目标掩膜图像中像素值小于预设像素阈值的像素点的像素值更新为第二预设值，如此，更新后的目标掩膜图中像素点的像素值为第一预设值或第二预设值。在一个示例中，预设像素阈值可根据经验设置，在本实施例中不作限定，例如，可以取9。在一个示例中，第一预设值可以取255，第二预设值可以取0。

在本实施例中，通过目标分割模型进行处理得到的目标掩膜图像中大部分像素点的值为第一预设值或第二预设值，但得到的目标掩膜图像难免会存在像素值不为第一预设值或不为第二预设值的像素点，这些点对后续遮挡检测过程会产生负面干扰，从而可对目标掩膜图像进行二值化处理，以更新目标掩膜图像，可使得到的更新后的目标掩膜图像中像素点的像素值为第一预设值或第二预设值，在进行人脸遮挡检测过程中，利用二值化后的目标掩膜图像进行检测，可减少像素点干扰，从而提高人脸遮挡检测准确性。

在一个实施例中，基于目标掩膜图像以及N个关键点信息进行整体人脸遮挡检测，得到第一遮挡检测结果，包括：

利用N个关键点信息，对第一图像进行关键区域分割，确定第一图像的M个第一关键子区域，第一图像为目标掩膜图像或为对目标掩膜图像进行拷贝得到的拷贝图像；

将第一图像中M个第一关键子区域的像素值均设置为第一预设值，得到第二图像；

根据第一比值确定第一遮挡检测结果；其中，第一比值为第二图像中第一目标像素点的数量与待检测图像的像素点总数量的比例，在第二图像中，第一目标像素点的像素值为第一预设值，且在第一图像中第一像素点的像素值为第二预设值，第一像素点在第一图像中的位置与第一目标像素点在第二图像中的位置相同。

第一图像可以是目标掩膜图像，或者可以是对目标掩膜图像进行拷贝得到的拷贝图像，可以称为第一拷贝图像，即可基于目标掩膜图像进行整体人脸遮挡检测，也可以先对目标掩膜图像进行拷贝，得到第一拷贝图像，基于第一拷贝图像进行整体人脸遮挡检测。需要说明的是，本申请实施例中的拷贝为深度拷贝。

可以理解，N个关键点信息包括M个人脸部位的关键点信息，每个人脸部位的关键点信息包括至少一个关键点信息，根据一个人脸部位的关键点信息，可对第一图像进行区域分割，得到对应的一个第一关键子区域，对于每个人脸部位的关键点信息分别进行区域分割，从而可得到M个第一关键子区域，第一关键子区域与人脸部位对应，一个第一关键子区域即为第一图像中对应人脸部位的区域。

确定M个第一关键子区域后，即可对M个第一关键子区域进行像素值设置，将M个第一关键子区域的像素值均设置为第一预设值，得到第二图像，如此，若第一图像中M个第一关键子区域中存在原本像素值不为第一预设值的像素点(可以理解像素值为第二预设值)，像素值更新为第一预设值后，得到的第二图像相对第一图像的像素值则存在差异，通过统计第二图像中第一目标像素点的数量，第一目标像素点的数量小于待检测图像的像素点总数量，即是统计第二图像与第一图像之间的像素值不同的差异像素点的数量，也可以理解是统计第二图像相对于第一图像，像素值发生改变的像素点的数量。根据第一目标像素点的数量占待检测图像的像素点总数量的比例，确定第一遮挡检测结果。

在本实施例中，先利用N个关键点信息，对第一图像进行关键区域分割，得到第一图像的M个第一关键子区域，并将M个第一关键子区域的像素值均设置为第一预设值，得到第二图像，然后是统计更第二图像中相对于第一图像，像素值发生改变的像素点的数量，统计第一目标像素点的数量，像素值发生改变的像素点可以认为是一个遮挡点，在本实施例中，是根据统计得到的像素值发生改变的第一目标像素点的数量与待检测图像的像素点总数量的比例，实现整体人脸遮挡的检测，得到第一人脸遮挡检测结果，这样可提高整体人脸遮挡检测的准确性。

在一个实施例中，在第一比值大于预设比例的情况下，第一遮挡检测结果用于表示待检测图像中有遮挡；

在第一比值小于或等于预设比例的情况下，第一遮挡检测结果用于表示待检测图像中无遮挡。

需要说明的是，预设比例可根据经验预先设置。在第一目标像素点的数量与待检测图像的像素点总数量的比例大于预设比例的情况下，表示有遮挡的像素点的数量占述待检测图像的像素点总数量的比例较大，可确定待检测图像中有遮挡，从而可得到表示待检测图像人脸有遮挡的第一遮挡检测结果。在第一目标像素点的数量与待检测图像的像素点总数量的比例小于或等于预设比例的情况下，表示有遮挡的像素点的数量占述待检测图像的像素点总数量的比例较小，可认为待检测图像中无遮挡，从而可得到表示待检测图像人脸无遮挡的第一遮挡检测结果。

即在本申请实施例中，通过将第一目标像素点的数量与待检测图像的像素点总数量的比例与预设比例进行对比，在第一目标像素点的数量与待检测图像的像素点总数量的比例大于预设比例的情况下，得到用于表示待检测图像中有遮挡的结果，在第一目标像素点的数量与待检测图像的像素点总数量的比例小于或等于预设比例的情况下，得到用于表示待检测图像中无遮挡的结果，如此，可提高整体人脸遮挡检测的准确性。

在一个实施例中，N个关键点信息包括M个人脸部位的关键点信息；

基于目标掩膜图像以及N个关键点信息进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，包括：

利用目标人脸部位的关键点信息，对第三图像进行区域分割，确定第三图像的目标子区域；其中，目标人脸部位为M个人脸部位中的任一部位，目标子区域为第三图像中与目标人脸部位对应的区域，第三图像为目标掩膜图像或为对目标掩膜图像进行拷贝得到的拷贝图像；

将第三图像的目标子区域的像素值均设置为第一预设值，得到第四图像；

根据第四图像的目标子区域中第二目标像素点的数量，确定目标掩膜图像的目标局部区域的遮挡检测结果，目标掩膜图像的目标局部区域与第三图像的目标子区域位置相同；

其中，在第四图像的目标子区域中，第二目标像素点的像素值为第一预设值，且在第三图像中第二像素点的像素值为第二预设值，第二像素点在第三图像中的位置与第二目标像素点在第四图像中的位置相同；

其中，M个局部区域的遮挡检测结果包括目标掩膜图像的M个目标局部区域的遮挡检测结果。

第三图像可以是目标掩膜图像，即可基于目标掩膜图像进行局部人脸遮挡检测，或者第三图像可以是对目标掩膜图像进行拷贝得到的拷贝图像，可以称为第二拷贝图像，也可以先对目标掩膜图像进行拷贝，得到第二拷贝图像，基于第二拷贝图像进行局部人脸遮挡检测。由于需要进行M个人脸部位的局部遮挡检测，从而，可对目标掩膜图像进行M次拷贝，得到M个第二拷贝图像，基于一个人脸部位的关键点信息进行图像分割时，可对M个第二拷贝图像中的一个第二拷贝图像进行区域分割，且利用M个人脸部位中每个人脸部位的关键点信息分别分割的拷贝图像不同，即M个第二拷贝图像与M个人脸部位一一对应，对于目标人脸部位的关键点信息，可对于目标人脸部位对应的目标拷贝图像进行区域分割，得到其对应的目标子区域，目标人脸部位为M个人脸部位中的任一部位，目标拷贝图像为M个第二拷贝图像中与目标人脸部位对应的一个拷贝图像，目标子区域为目标拷贝图像中与目标人脸部位对应的区域。即可对不同的第二拷贝图像进行区域分割，得到不同的目标子区域。

在本实施例中，对于基于第二拷贝图像进行局部检测的情况，有M个人脸部位，例如，可以包括鼻子、嘴巴、左眉毛、右眉毛、左眼睛、右眼睛、左脸和右脸等部位，需要对目标掩膜图像进行M次拷贝，得到M个第二拷贝图像，对于一个第二拷贝图像，采用一个人脸部位的关键点信息进行分割，M个第二拷贝图像与M个人脸部位一一对应，如此，对每个第二拷贝图像采用对应的人脸部位的关键点信息进行分割，每个第二拷贝图像采用的对应的人脸部位的关键点信息不同，如此，可得到每个第二拷贝图像的目标子区域，即可得到M个第二拷贝图像的目标子区域，且M个第二拷贝图像的目标子区域不同，上述M个局部区域可包括目标掩膜图像的M个目标局部区域，M个目标局部区域与M个目标子区域一一对应。对每个目标局部区域的遮挡检测，得到每个目标局部区域的遮挡检测结果，即可得到M个局部区域的遮挡检测结果。对于基于目标掩膜图像进行局部检测的情况，需利用目标掩膜图像进行M次区域分割，每次分割基于不同的人脸部位的关键信息，得到分割出不同的目标子区域，每次区域分割都是在原目标掩膜图像的基础上进行，即每次区域分割的图像相同，均是目标掩膜图像。对于每一次区域分割后，均需要进行目标子区域的像素值调整，从而可得到M个第四图像，由于每次像素值调整的区域不同，得到的M个第四图像是不同的。可根据一个第四图像的目标子区域中第二目标像素点的数量，确定目标掩膜图像的目标局部区域的遮挡检测结果，即得到一个局部区域的遮挡检测结果，对每个第四图像均进行第二目标像素点的数量统计，依此进行局部区域检测，如此，可到M个局部区域的遮挡检测结果。

在确定一个目标局部区域的遮挡检测结果的过程中，首先利用一个人脸部位的关键点信息，对一个第三图像进行区域分割，得到该第三图像的目标子区域，然后将该第三图像的目标子区域的像素值均设置为第一预设值，得到第四图像。如此，若该第三图像中目标子区域中存在原本像素值不为第一预设值的像素点(可以理解像素值为第二预设值)，像素值更新为第一预设值后，得到的第四图像相对第三图像的像素值则存在差异，通过统计第四图像的目标子区域中第二目标像素点的数量，第二目标像素点的数量小于待检测图像的像素点总数量，即是统计第四图像的目标子区域与第三图像相应子区域(目标局部区域)之间的像素值不同的差异像素点的数量，也可以理解是统计第四图像的目标子区域相对于第三图像中相应的目标局部区域，像素值发生改变的像素点的数量。再根据第二目标像素点的数量，确定目标掩膜图像的一个目标局部区域的遮挡检测结果，目标掩膜图像的该目标局部区域与该第三图像的目标子区域位置相同，可以理解，目标掩膜图像中的第二像素点属于该目标局部区域。即通过上述过程可实现目标掩膜图像的一个目标局部区域的遮挡检测结果，经过M次类似过程，即可得到目标掩膜图像的M个目标局部区域的遮挡检测结果，实现局部人脸遮挡检测。需要说明的是，任一局部区域的遮挡检测结果可以是表示人脸有遮挡的结果或表示人脸无遮挡的结果。

在本实施例中，是根据对局部进行统计得到的像素值发生改变的第二目标像素点的数量，实现局部人脸遮挡的检测，可得到M个局部区域的遮挡检测结果，这样可提高局部人脸遮挡检测的准确性。

在一个实施例中，在第二目标像素点的数量大于预设数量的情况下，目标掩膜图像的目标局部区域的遮挡检测结果用于表示目标掩膜图像的目标局部区域有遮挡；

在第二目标像素点的数量小于或等于预设数量的情况下，目标掩膜图像的目标局部区域的遮挡检测结果用于表示目标掩膜图像的目标局部区域中无遮挡。

需要说明的是，预设数量可根据经验预先设置。在第二目标像素点的数量大于预设数量的情况下，表示局部有遮挡的像素点的数量较大，可确定局区域中有遮挡，从而可得到表示目标局区域有遮挡的遮挡检测结果。在第二目标像素点的数量小于或等于预设数量的情况下，表示局部有遮挡的像素点的数量较小，可确定局部区域中无遮挡，从而可得到表示目标局部区域无遮挡的遮挡检测结果。

即在本实施例中，通过将第二目标像素点的数量与预设数量进行对比，在第二目标像素点的数量大于预设数量的情况下，得到用于表示目标局部区域中有遮挡的结果，在第二目标像素点的数量小于或等于预设数量的情况下，得到用于表示目标局部区域中无遮挡的结果，如此，可提高局部区域人脸遮挡检测的准确性。

在一个实施例中，利用目标人脸部位的关键点信息，对第三图像进行区域分割，确定第三图像的目标子区域，包括：

获取第一关键点信息，其中，第一关键点信息包括第一人脸部位的关键点信息中的目标关键点信息，目标关键点信息为距离目标人脸部位最近的关键点信息，第一人脸部位为M个人脸部位中与目标人脸部位相邻的部位；

基于第一关键点信息，得到第二关键点信息，其中，在目标拷贝图像中，第二关键点信息与第一关键信息在第一方向上相差第三预设值，第一方向与目标人脸部位和第一人脸部位的相对位置相关；

将第二关键点信息添加到目标人脸部位的关键点信息中，得到更新后的目标人脸部位的关键点信息；

利用更新后的目标人脸部位的关键点信息，对第三图像进行区域分割，确定第三图像的目标子区域。

第三预设值在本实施例中不作限定，例如，可以取10。由于相邻部位在区域分割时容易产生交集，从而，在利用目标人脸部位的关键点信息，对第三图像进行区域分割过程中，可先获取包括与目标人脸部位相邻的第一人脸部位的关键点信息中的目标关键点信息的第一关键点信息，目标关键点信息为第一人脸部位的关键点信息中距离目标人脸部位最近的关键点信息，容易出现交集，从而需要利用第一关键点信息得到第二关键点信息，第二关键点信息可以理解是以第一关键点信息为基准，在第三图像中沿第一方向移动第三预设值个像素点后得到的坐标(也可以理解为像素点)。

作为一个示例，第一方向可以是指向目标人脸部位的方向，是平行于第三图像的行或列，例如，第一方向可以是第一人脸部位指向目标人脸部位的方向。例如，目标人脸部位为右脸，第一人脸部位则可包括右眼和鼻子，右脸相对于右眼的相对位置为下方，即右脸在右眼的下方，则第一方向可以是向下，平行与第三图像的列，则在第一关键点信息的基础上，向下移动第三预设值个像素点，即得到第二关键点信息，例如，对于右眼，对应的第一关键点信息的坐标为(lmd[74].x，lmd[74].y)，即该第一关键点信息的横坐标是lmd[74].x，纵坐标是lmd[74].y，74表示右眼中目标关键点的序号，第三预设值若设置为10，向下移动10个像素点，则得到的第二关键点信息的坐标为(lmd[74].x，lmd[74].y+10)。对于鼻子，右脸相对于鼻子的相对位置为右方，即右脸在鼻子的右方，则第一方向可以是向右，平行与第三图像的行，则在第一关键点信息的基础上，向右移动第三预设值个像素点，即得到第二关键点信息，例如，对于鼻子，对应的第一关键点信息的坐标为(lmd[59].x，lmd[59].y)，即该第一关键点信息的横坐标是lmd[59].x，纵坐标是lmd[59].y，59表示鼻子中目标关键点的序号，第三预设值若设置为10，向右移动10个像素点，则得到的第二关键点信息的坐标为(lmd[59].x+10，lmd[59].y)。

然后，将第二关键点信息添加到目标人脸部位的关键点信息中，得到更新后的目标人脸部位的关键点信息，利用更新后的目标人脸部位的关键点信息，对第三图像进行区域分割，得到第三图像的目标子区域。

在本实施例中，在利用目标人脸部位的关键点信息对第三图像进行区域分割过程中，为提高区域分割的准确性，不但利用目标人脸部位的关键点信息，而且还利用相邻的第一人脸部位的目标关键点信息更新后的第二关键点信息，从而提高对第三图像的区域分割准确性。

参见图2，图2是本申请实施例提供的模型训练方法的流程图，包括以下步骤：

步骤201、获取第一训练图像样本集以及第一训练图像样本集的掩膜标签图。

需要说明的是，第一训练图像样本集中每个第一训练图像样本有对应的一个掩膜标签图，第一训练图像样本集中包括K个训练样本图像，K为大于1的整数，第一训练图像样本集的掩膜标签图即包括K个掩膜标签图。掩膜标签图可以是二值掩膜标签图，即是二值掩膜图，即掩膜标签图中的像素点的值为第一预设值或第二预设值。需要说明的是，第一训练图像样本集可以包括自定义的图像数据以及ICCV(IEEE International Conference onComputer Vision，国际计算机视觉大会)公共人脸数据集。

步骤202、基于第一训练图像样本集以及掩膜标签图，对初始分割模型进行训练，得到中间分割模型。

在本实施例中，第一训练图像样本集可以是小批量样本集，先通过第一训练图像样本集以及掩膜标签图对初始分割模型进行训练，得到中间分割模型。

步骤203、将第一测试图像样本集输入中间分割模型进行图像分割，得到第一掩膜图像集。

第一测试图像样本集可以理解是无对应掩膜标签图的图像样本集，其中包括L个测试图像样本，L为大于1的整数，具体取值不限定，例如，可以取2000。第一测试图像集与第一掩膜图像集一一对应，第一掩膜图像集中包括L个掩膜图像。即第一掩膜图像集是中间分割模型对第一测试图像样本集进行图像分割得到的图像，无需人工标注第一测试图像样本集，减少得到第一掩膜图像集所需的时间，从而可提高得到第一掩膜图像集的效率，后续基于第一测试图像样本集以及第一掩膜图像集，对中间分割模型进行训练，得到目标分割模型，从而可提高整体模型训练的效率。

在一个示例中，可基于预设像素阈值、第一预设值和第二预设值，对第一掩膜图像集进行二值化处理，以更新第一掩膜图像集。例如，将第一掩膜图像集每个图像中像素值大于或等于预设像素阈值的像素点的像素值更新为第一预设值，将第一掩膜图像集中每个图像中像素值小于预设像素阈值的像素点的像素值更新为第二预设值，如此，更新后的第一掩膜图像集中图像的像素点的像素值为第一预设值或第二预设值。

步骤204、基于第一测试图像样本集以及第一掩膜图像集，对中间分割模型进行训练，得到目标分割模型。

得到第一掩膜图像集之后，即可利用第一测试图像样本集以及第一掩膜图像集，再对中间分割模型进行训练，得到目标分割模型，目标分割模型用于对待检测图像进行处理，可得到目标掩膜图像。

在本实施例中，首先通过第一训练图像样本集以及掩膜标签图对初始分割模型进行训练，得到中间分割模型，然后利用中间分割模型对第一测试图像样本集进行图像分割，得到第一测试图像集的第一掩膜图像集，作为再次训练的样本，通过第一测试图像样本集以及第一掩膜图像集，对中间分割模型进行再次训练，得到目标分割模型。即在本实施例中，通过两个阶段的模型训练，且第二阶段的模型训练采用的样本是基于第一阶段训练得到的中间分割模型和第一测试图像样本集得到，这样，可提高模型训练效果，从而提高得到的目标分割模型的图像处理性能。后续利用该目标分割模型对图像进行处理时，可提高得到的掩膜图像的准确性。

需要说明的，上述实施例中人脸遮挡检测方法中使用的目标分割模型是通过本申请实施例中模型训练方法训练得到。

在一个实施例中，基于第一测试图像样本集以及第一掩膜图像集，对中间分割模型进行训练，得到目标分割模型，包括：

基于第一掩膜图像集确定纠正掩膜图像集；

基于第一测试图像样本集以及纠正掩膜图像集，对中间分割模型进行训练，得到目标分割模型。

由于通过第一测试图像样本集和中间分割模型得到的第一掩膜图像集，第一掩膜图像集的掩膜图像中可能存在分割错误的像素点，即存在像素值错误的像素点，例如，某个测试图像样本中原本应该是遮挡物的像素点，对应的掩膜图像中与该像素点相同位置的像素点的像素值应该为第二预设值，但通过中间分割模型得到的该像素点的像素值为第一预设值，需要对这中像素点的像素值进行纠正，即对第一掩膜图像集进行像素值纠正，获取纠正掩膜图像集。作为一个示例，可通过人工校准第一掩膜图像集，得到纠正掩膜图像集。

在本实施例中，通过第一测试图像样本集以及纠正掩膜图像集对中间分割模型进行再训练，得到目标分割模型，由于纠正掩膜图像集更加准确，利用其进行模型再训练，可提高模型训练效果，使得到的目标分割模型的准确性提高。

下面以一个具体实施例对上述方法的过程加以说明，以初始分割模型为初始U2Net模型、目标分割模型为目标U2Net模型、K取100、L取2000、第一预设值取255，第二预设值取0，预设像素阈值取9、N取98、第三预设值取10、预设数量取20、第一拷贝图像为mask1、M为8以及M个第二拷贝图像为mask2、mask3、mask4、mask5、mask6、mask7和mask8，为例进行说明。

其中，本申请实施例的初始U2Net模型训练方式为：首先自己标注了100个人脸训练图像样本的二值掩膜标签图，利用100张人脸训练图像样本以及对应的二值掩膜标签图进行训练，即使用这小批量样本数据训练初始U2Net，得到中间U2Net模型。然后将训练好的中间U2Net模型测试2000张测试图像样本，得到2000张掩膜图像，构成第一掩膜图像集。本实施例设置了一个预设像素阈值，例如，取值为9，将2000张掩膜图像中像素值大于9的像素点的像素值改为255，将低于9的像素点的像素值改为0，这样，可以将掩膜图像中遮挡物像素值统一变为0，当然背景也均为0。然后人工校准第一掩膜图像集，将第一掩膜图像集的掩膜图像中遮挡物位置的像素值设置为0，得到纠正掩膜图像集，最后使用纠正掩膜图像集中的2000张图像对中间U2Net模型进行fintune(微调)，即再次进行训练，得到目标U2Net，模型训练阶段完成。

然后可将目标U2Net应用于人脸遮挡检测场景中，在对待检测图像进行人脸遮挡检测过程中，如图3所示，首先，将待检测图像输入目标U2Net模型中进行图像分割，得到目标掩膜图像，利用目标掩膜图像以及本申请实施例的人脸遮挡检测算法进行人脸遮挡检测，输出遮挡检测结果。

具体地，如图4所示，利用目标掩膜图像以及本申请实施例的人脸遮挡检测方式进行人脸遮挡检测过程中，首先将目标掩膜图像进行二值化处理，具体设置了一个预设像素阈值，例如，取值为9，将目标掩膜图像中大于9的像素值改为255，将低于9的像素值改为为0，得到二值化目标掩膜图像。使用98个人脸关键点检测算法对待检测图像进行关键点检测得到多个关键点坐标。

先进行整张图像是否有遮挡的判断，即先进行整体人脸遮挡检测，得到第一人脸检测结果。具体地，先对二值化目标掩膜图像进行深度拷贝，得到第一拷贝图像，即mask1。根据多个关键点坐标对第一拷贝图像进行分割得到人脸各区域，即可得到M个第一关键子区域(需要说明的是，M个目标子区域与M个第一关键子区域是相同的)。将M个第一关键子区域的像素值均设置为第一预设值，得到更新后的第一拷贝图像，统计更新后的第一拷贝图像中第一目标像素点的数量，在第一目标像素点的数量与待检测图像的像素点总数量的比例大于预设比例的情况下，得到用于表示待检测图像中有遮挡的结果；在第一目标像素点的数量与待检测图像的像素点总数量的比例小于或等于预设比例的情况下，得到用于表示待检测图像中无遮挡的结果。

若第一遮挡检测结果表示待检测图像中有遮挡的结果，则进一步进行局部人脸遮挡检测，即进行局部人脸遮挡检测，得到8个局部区域的遮挡检测结果。具体地，需要每个子区域一个一个进行，首先需要将二值化目标掩膜图像进行8次深度拷贝，得到8个第二拷贝图像，每一个第二拷贝图像送进相应的区域遮挡判断方法中，如此，可得到8个局部区域的遮挡检测结果。

以右半边脸(右脸)为例：

将第二拷贝图像mask2送到右脸判断方法，本申请实施例使用了98个人脸关键点进行检测，右脸的关键点为lmd98[20]～lmd98[30]，即10个关键点，并结合对右眼最下面的关键点lmd98[74](坐标为(lmd98[74].x,lmd98[74].y))向下移动(沿纵坐标向下移动)10个像素点后的第二关键点信息，坐标为(lmd98[74].x,lmd98[74].y+10)，确保不和右眼有交集，还结合了对鼻子最右边的关键点lmd[59](坐标为(lmd98[59].x,lmd98[59].y))向右移动(沿横坐标向右移动)10个像素点后的第二关键点信息，坐标为(lmd98[59].x+10,lmd98[59])。然后使用fillPoly(一种画饼填充一个多边形的函数)函数圈出右脸对应的目标子区域，并将该目标子区域的像素值设为255，也就是全白色，方便后续统计，得到更新后的mask2。由于图像中默认的格式是numpy，将二值化目标掩膜图像与拷贝的图像相加会将超过255的像素值改为255以下，因此，本实施例将二值化目标掩膜图像以及拷贝的图像均转为Unit(无符号整型)格式。通过遍历更新后的mask2的坐标，当更新后的mask2的某个坐标的像素值为255，二值化目标掩膜图像中相同坐标的像素值为0时，第二目标像素点的数量(初始值为0)加1；当第二目标像素点的数量超过20时，判断该目标子区域有遮挡。如此，8个第二拷贝图像mask2的目标子区域通过上述类似过程均进行遮挡检测后，即可得到8个局部区域的遮挡检测结果。

即在本实施例中，首先会判断整张图像是否有遮挡，若有，再判断具体遮挡部位，这样可提高人脸遮挡检测的准确性。即本申请实施例的发难能够更好地对遮挡的图像进行判断，使用的分割模型可以是U2Net模型，模型性能比较好，而且本申请实施例的训练方法是采用逐步训练的方式，一方面可以解决大批量数据没有标签的问题，而且逐步训练的鲁棒性更好，可以更加适应网络，逐步调节网络参数细节。再者，本申请的遮挡判断算法，通过两级遮挡判断，可以更好的判断是否有遮挡，提高人脸遮判断准确性。

参见图5，图5是本申请实施例提供的人脸遮挡检测装置的结构图，能实现上述实施例中人脸遮挡检测方法的细节，并达到相同的效果。如图5所示，人脸遮挡检测装置500，包括：

第一获取模块501，用于获取待检测图像；

第一图像获得模块502，用于将待检测图像输入目标分割模型进行处理，得到目标掩膜图像；

第一检测模块503，用于基于目标掩膜图像进行整体人脸遮挡检测，得到第一遮挡检测结果；

第二检测模块504，用于在第一遮挡检测结果表示有遮挡的情况下，基于目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，M为大于1的整数。

在一个实施例中，装置500还包括：

关键点检测模块，用于对待检测图像进行关键点检测，得到N个关键点信息，N为大于1的整数；

其中，基于目标掩膜图像进行整体人脸遮挡检测，得到第一遮挡检测结果，包括：基于目标掩膜图像以及N个关键点信息进行整体人脸遮挡检测，得到第一遮挡检测结果；

基于目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，包括：基于目标掩膜图像以及N个关键点信息进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果。

在一个实施例中，装置500还包括：

二值化处理模块，用于基于预设像素阈值、第一预设值和第二预设值，对目标掩膜图像进行二值化处理。

在一个实施例中，第一检测模块503，包括：

第一区域分割模块，用于利用N个关键点信息，对第一图像进行关键区域分割，确定第一图像的M个第一关键子区域，第一图像为目标掩膜图像或为对目标掩膜图像进行拷贝得到的拷贝图像；

第一像素值更新模块，用于将第一图像中M个第一关键子区域的像素值均设置为第一预设值，得到第二图像；

第一确定模块，用于根据第一比值确定第一遮挡检测结果；其中，第一比值为第二图像中第一目标像素点的数量与待检测图像的像素点总数量的比例，在第二图像中，第一目标像素点的像素值为第一预设值，且在第一图像中第一像素点的像素值为第二预设值，第一像素点在第一图像中的位置与第一目标像素点在第二图像中的位置相同。

在一个实施例中，在第一比值大于预设比例的情况下，第一遮挡检测结果用于表示待检测图像中有遮挡；

在第一比值小于或等于预设比例的情况下，第一遮挡检测结果用于表示待检测图像中无遮挡。

在一个实施例中，N个关键点信息包括M个人脸部位的关键点信息；

第二检测模块504，包括：

第二区域分割模块，用于利用目标人脸部位的关键点信息，对第三图像进行区域分割，确定第三图像的目标子区域；其中，目标人脸部位为M个人脸部位中的任一部位，目标子区域为第三图像中与目标人脸部位对应的区域，第三图像为目标掩膜图像或为对目标掩膜图像进行拷贝得到的拷贝图像；

第二像素值更新模块，用于将第三图像的目标子区域的像素值均设置为第一预设值，得到第四图像；

第二确定模块，用于根据第四图像的目标子区域中第二目标像素点的数量，确定目标掩膜图像的目标局部区域的遮挡检测结果，目标掩膜图像的目标局部区域与第三图像的目标子区域位置相同；

其中，在第四图像的目标子区域中，第二目标像素点的像素值为第一预设值，且在第三图像中第二像素点的像素值为第二预设值，第二像素点在第三图像中的位置与第二目标像素点在第四图像中的位置相同；

其中，M个局部区域的遮挡检测结果包括目标掩膜图像的M个目标局部区域的遮挡检测结果。

在一个实施例中，在第二目标像素点的数量大于预设数量的情况下，目标掩膜图像的目标局部区域的遮挡检测结果用于表示目标掩膜图像的目标局部区域有遮挡；

在第二目标像素点的数量小于或等于预设数量的情况下，目标掩膜图像的目标局部区域的遮挡检测结果用于表示目标掩膜图像的目标局部区域中无遮挡。

在一个实施例中，第二区域分割模块，包括：

关键点信息获取模块，用于获取第一关键点信息，其中，第一关键点信息包括第一人脸部位的关键点信息中的目标关键点信息，目标关键点信息为距离目标人脸部位最近的关键点信息，第一人脸部位为M个人脸部位中与目标人脸部位相邻的部位；

关键点信息确定模块，用于基于第一关键点信息，得到第二关键点信息，其中，在目标拷贝图像中，第二关键点信息与第一关键信息在第一方向上相差第三预设值，第一方向与目标人脸部位和第一人脸部位的相对位置相关；

关键点信息更新模块，用于将第二关键点信息添加到目标人脸部位的关键点信息中，得到更新后的目标人脸部位的关键点信息；

子分割模块，用于利用更新后的目标人脸部位的关键点信息，对第三图像进行区域分割，确定第三图像的目标子区域。

本申请实施例提供的人脸遮挡检测装置能够实现上述人脸遮挡检测方法实施例中的各个过程，技术特征一一对应，为避免重复，这里不再赘述。

参见图6，图6为本申请实施例提供的一种模型训练装置的结构示意图，如图6所示，模型训练装置600，包括：

第二获取模块601，用于获取第一训练图像样本集以及第一训练图像样本集的掩膜标签图；

第一训练模块602，用于基于第一训练图像样本集以及掩膜标签图，对初始分割模型进行训练，得到中间分割模型；

第三获取模块603，用于将第一测试图像样本集输入中间分割模型进行图像分割，得到第一掩膜图像集；

第二训练模块604，用于基于第一测试图像样本集以及第一掩膜图像集，对中间分割模型进行训练，得到目标分割模型。

在一个实施例中，第二训练模块604，包括：

纠正模块，用于基于第一掩膜图像集确定纠正掩膜图像集；

子训练模块，用于基于第一测试图像样本集以及纠正掩膜图像集，对中间分割模型进行训练，得到目标分割模型。

本申请实施例提供的模型训练装置能够实现上述模型训练方法实施例中的各个过程，技术特征一一对应，为避免重复，这里不再赘述。

图7为实现本申请各个实施例的一种电子设备的硬件结构示意图。

该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、处理器710、以及电源711等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本申请实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，处理器710，用于：

获取待检测图像；

将待检测图像输入目标分割模型进行处理，得到目标掩膜图像；

基于目标掩膜图像进行整体人脸遮挡检测，得到第一遮挡检测结果；

在第一遮挡检测结果表示有遮挡的情况下，基于目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，M为大于1的整数。

在一个实施例中，处理器710，还用于：

对待检测图像进行关键点检测，得到N个关键点信息，N为大于1的整数；

其中，基于目标掩膜图像进行整体人脸遮挡检测，得到第一遮挡检测结果，包括：基于目标掩膜图像以及N个关键点信息进行整体人脸遮挡检测，得到第一遮挡检测结果；

基于目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，包括：基于目标掩膜图像以及N个关键点信息进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果。

在一个实施例中，处理器710，还用于：

基于预设像素阈值、第一预设值和第二预设值，对目标掩膜图像进行二值化处理。

在一个实施例中，处理器710，还用于：

利用N个关键点信息，对第一图像进行关键区域分割，确定第一图像的M个第一关键子区域，第一图像为目标掩膜图像或为对目标掩膜图像进行拷贝得到的拷贝图像；

将第一图像中M个第一关键子区域的像素值均设置为第一预设值，得到第二图像；

根据第一比值确定第一遮挡检测结果；其中，第一比值为第二图像中第一目标像素点的数量与待检测图像的像素点总数量的比例，在第二图像中，第一目标像素点的像素值为第一预设值，且在第一图像中第一像素点的像素值为第二预设值，第一像素点在第一图像中的位置与第一目标像素点在第二图像中的位置相同。

在一个实施例中，在第一比值大于预设比例的情况下，第一遮挡检测结果用于表示待检测图像中有遮挡；

在第一比值小于或等于预设比例的情况下，第一遮挡检测结果用于表示待检测图像中无遮挡。

在一个实施例中，N个关键点信息包括M个人脸部位的关键点信息；

处理器710，还用于：

利用目标人脸部位的关键点信息，对第三图像进行区域分割，确定第三图像的目标子区域；其中，目标人脸部位为M个人脸部位中的任一部位，目标子区域为第三图像中与目标人脸部位对应的区域，第三图像为目标掩膜图像或为对目标掩膜图像进行拷贝得到的拷贝图像；

将第三图像的目标子区域的像素值均设置为第一预设值，得到第四图像；

根据第四图像的目标子区域中第二目标像素点的数量，确定目标掩膜图像的目标局部区域的遮挡检测结果，目标掩膜图像的目标局部区域与第三图像的目标子区域位置相同；

其中，在第四图像的目标子区域中，第二目标像素点的像素值为第一预设值，且在第三图像中第二像素点的像素值为第二预设值，第二像素点在第三图像中的位置与第二目标像素点在第四图像中的位置相同；

其中，M个局部区域的遮挡检测结果包括目标掩膜图像的M个目标局部区域的遮挡检测结果。

在一个实施例中，在第二目标像素点的数量大于预设数量的情况下，目标掩膜图像的目标局部区域的遮挡检测结果用于表示目标掩膜图像的目标局部区域有遮挡；

在第二目标像素点的数量小于或等于预设数量的情况下，目标掩膜图像的目标局部区域的遮挡检测结果用于表示目标掩膜图像的目标局部区域中无遮挡。

在一个实施例中，处理器710，还用于：

获取第一关键点信息，其中，第一关键点信息包括第一人脸部位的关键点信息中的目标关键点信息，目标关键点信息为距离目标人脸部位最近的关键点信息，第一人脸部位为M个人脸部位中与目标人脸部位相邻的部位；

基于第一关键点信息，得到第二关键点信息，其中，在目标拷贝图像中，第二关键点信息与第一关键信息在第一方向上相差第三预设值，第一方向与目标人脸部位和第一人脸部位的相对位置相关；

将第二关键点信息添加到目标人脸部位的关键点信息中，得到更新后的目标人脸部位的关键点信息；

利用更新后的目标人脸部位的关键点信息，对第三图像进行区域分割，确定第三图像的目标子区域。

本申请实施例提供的人脸遮挡检测装置能够实现上述人脸遮挡检测方法实施例中的各个过程，技术特征一一对应，为避免重复，这里不再赘述。

或者，处理器710，用于：

获取第一训练图像样本集以及第一训练图像样本集的掩膜标签图；

基于第一训练图像样本集以及掩膜标签图，对初始分割模型进行训练，得到中间分割模型；

将第一测试图像样本集输入中间分割模型进行图像分割，得到第一掩膜图像集；

基于第一测试图像样本集以及第一掩膜图像集，对中间分割模型进行训练，得到目标分割模型。

在一个实施例中，处理器710，还用于：

基于第一掩膜图像集确定纠正掩膜图像集；

基于第一测试图像样本集以及纠正掩膜图像集，对中间分割模型进行训练，得到目标分割模型。

本申请实施例提供的模型训练装置能够实现上述模型训练方法实施例中的各个过程，技术特征一一对应，为避免重复，这里不再赘述。

本申请实施例同样具有与上述人脸遮挡检测方法实施例或模型训练方法实施例相同的有益技术效果，技术特征对应，具体在此不再赘述。

应理解的是，本申请实施例中，射频单元701可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器710处理；另外，将上行的数据发送给基站。通常，射频单元701包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元701还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块702为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元703可以将射频单元701或网络模块702接收的或者在存储器709中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元703还可以提供与电子设备700执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元703包括扬声器、蜂鸣器以及受话器等。

输入单元704用于接收音频或视频信号。输入单元704可以包括图形处理器(Graphics Processing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元706上。经图形处理器7041处理后的图像帧可以存储在存储器709(或其它存储介质)中或者经由射频单元701或网络模块702进行发送。麦克风7042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元701发送到移动通信基站的格式输出。

电子设备700还包括至少一种传感器705，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板7061的亮度，接近传感器可在电子设备700移动到耳边时，关闭显示面板7061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器705还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元706用于显示由用户输入的信息或提供给用户的信息。显示单元706可包括显示面板7061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板7061。

用户输入单元707可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板7071上或在触控面板7071附近的操作)。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器710，接收处理器710发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板7071。除了触控面板7071，用户输入单元707还可以包括其他输入设备7072。具体地，其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板7071可覆盖在显示面板7061上，当触控面板7071检测到在其上或附近的触摸操作后，传送给处理器710以确定触摸事件的类型，随后处理器710根据触摸事件的类型在显示面板7061上提供相应的视觉输出。虽然在图7中，触控面板7071与显示面板7061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板7071与显示面板7061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元708为外部装置与电子设备700连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元708可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备700内的一个或多个元件或者可以用于在电子设备700和外部装置之间传输数据。

存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器709可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器710是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器709内的软件程序和/或模块，以及调用存储在存储器709内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器710可包括一个或多个处理单元；优选的，处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

电子设备700还可以包括给各个部件供电的电源711(比如电池)，优选的，电源711可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备700包括一些未示出的功能模块，在此不再赘述。

优选的，本申请实施例还提供一种电子设备，包括处理器710，存储器709，存储在存储器709上并可在所述处理器710上运行的计算机程序，该计算机程序被处理器710执行时实现上述人脸遮挡检测方法或者模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述人脸遮挡检测方法或者模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种人脸遮挡检测方法，其特征在于，包括：

获取待检测图像；

将所述待检测图像输入目标分割模型进行处理，得到目标掩膜图像；

基于预设像素阈值、第一预设值和第二预设值，对所述目标掩膜图像进行二值化处理；

基于所述目标掩膜图像以及N个关键点信息进行整体人脸遮挡检测，得到第一遮挡检测结果；

在所述第一遮挡检测结果表示有遮挡的情况下，基于所述目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，M为大于1的整数；

所述基于所述目标掩膜图像以及N个关键点信息进行整体人脸遮挡检测，得到第一遮挡检测结果，包括：

利用所述N个关键点信息，对第一图像进行关键区域分割，确定所述第一图像的M个第一关键子区域，所述第一图像为所述目标掩膜图像或为对所述目标掩膜图像进行拷贝得到的拷贝图像；

将所述第一图像中M个第一关键子区域的像素值均设置为第一预设值，得到第二图像；

根据第一比值确定所述第一遮挡检测结果；其中，所述第一比值为所述第二图像中第一目标像素点的数量与所述待检测图像的像素点总数量的比例，在所述第二图像中，所述第一目标像素点的像素值为所述第一预设值，且在所述第一图像中第一像素点的像素值为所述第二预设值，所述第一像素点在所述第一图像中的位置与所述第一目标像素点在所述第二图像中的位置相同。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标掩膜图像以及N个关键点信息进行整体人脸遮挡检测，得到第一遮挡检测结果之前，还包括：

对所述待检测图像进行关键点检测，得到所述N个关键点信息，所述N为大于1的整数；

其中，所述基于所述目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，包括：基于所述目标掩膜图像以及所述N个关键点信息进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果。

3.根据权利要求1所述的方法，其特征在于，在所述第一比值大于预设比例的情况下，所述第一遮挡检测结果用于表示所述待检测图像中有遮挡；

在所述第一比值小于或等于所述预设比例的情况下，所述第一遮挡检测结果用于表示所述待检测图像中无遮挡。

4.根据权利要求2所述的方法，其特征在于，所述N个关键点信息包括M个人脸部位的关键点信息；

所述基于所述目标掩膜图像以及所述N个关键点信息进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，包括：

利用目标人脸部位的关键点信息，对第三图像进行区域分割，确定所述第三图像的目标子区域；其中，所述目标人脸部位为所述M个人脸部位中的任一部位，所述目标子区域为所述第三图像中与所述目标人脸部位对应的区域，所述第三图像为所述目标掩膜图像或为对所述目标掩膜图像进行拷贝得到的拷贝图像；

将所述第三图像的目标子区域的像素值均设置为所述第一预设值，得到第四图像；

根据所述第四图像的目标子区域中第二目标像素点的数量，确定所述目标掩膜图像的目标局部区域的遮挡检测结果，所述目标掩膜图像的目标局部区域与所述第三图像的目标子区域位置相同；

其中，在所述第四图像的目标子区域中，所述第二目标像素点的像素值为所述第一预设值，且在所述第三图像中第二像素点的像素值为所述第二预设值，所述第二像素点在所述第三图像中的位置与所述第二目标像素点在所述第四图像中的位置相同；

其中，所述M个局部区域的遮挡检测结果包括所述目标掩膜图像的M个目标局部区域的遮挡检测结果。

5.根据权利要求4所述的方法，其特征在于，在所述第二目标像素点的数量大于预设数量的情况下，所述目标掩膜图像的目标局部区域的遮挡检测结果用于表示所述目标掩膜图像的目标局部区域有遮挡；

在所述第二目标像素点的数量小于或等于所述预设数量的情况下，所述目标掩膜图像的目标局部区域的遮挡检测结果用于表示所述目标掩膜图像的目标局部区域中无遮挡。

6.根据权利要求4所述的方法，其特征在于，所述利用目标人脸部位的关键点信息，对第三图像进行区域分割，确定所述第三图像的目标子区域，包括：

获取第一关键点信息，其中，所述第一关键点信息包括第一人脸部位的关键点信息中的目标关键点信息，所述目标关键点信息为距离所述目标人脸部位最近的关键点信息，所述第一人脸部位为所述M个人脸部位中与所述目标人脸部位相邻的部位；

基于所述第一关键点信息，得到第二关键点信息，其中，在所述目标拷贝图像中，所述第二关键点信息与所述第一关键信息在第一方向上相差第三预设值，所述第一方向与所述目标人脸部位和所述第一人脸部位的相对位置相关；

将所述第二关键点信息添加到所述目标人脸部位的关键点信息中，得到更新后的目标人脸部位的关键点信息；

利用所述更新后的目标人脸部位的关键点信息，对所述第三图像进行区域分割，确定所述第三图像的目标子区域。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取第一训练图像样本集以及所述第一训练图像样本集的掩膜标签图；

基于所述第一训练图像样本集以及所述掩膜标签图，对初始分割模型进行训练，得到中间分割模型；

将第一测试样本图像集输入所述中间分割模型进行图像分割，得到第一掩膜图像集；

基于所述第一测试图像样本集以及所述第一掩膜图像集，对所述中间分割模型进行训练，得到所述目标分割模型。

8.根据权利要求7所述的方法，其特征在于，所述基于所述第一测试图像样本集以及所述第一掩膜图像集，对所述中间分割模型进行训练，得到所述目标分割模型，包括：

基于所述第一掩膜图像集确定纠正掩膜图像集；

基于所述第一测试样本图像集以及所述纠正掩膜图像集，对所述中间分割模型进行训练，得到目标分割模型。

9.一种人脸遮挡检测装置，其特征在于，包括：

第一获取模块，用于获取待检测图像；

第一图像获得模块，用于将所述待检测图像输入目标分割模型进行处理，得到目标掩膜图像；

二值化处理模块，用于基于预设像素阈值、第一预设值和第二预设值，对目标掩膜图像进行二值化处理；

第一检测模块，用于基于所述目标掩膜图像以及N个关键点信息进行整体人脸遮挡检测，得到第一遮挡检测结果；

第二检测模块，用于在所述第一遮挡检测结果表示有遮挡的情况下，基于所述目标掩膜图像进行局部人脸遮挡检测，得到M个局部区域的遮挡检测结果，M为大于1的整数；

所述第一检测模块，具体用于：

利用所述N个关键点信息，对第一图像进行关键区域分割，确定所述第一图像的M个第一关键子区域，所述第一图像为所述目标掩膜图像或为对所述目标掩膜图像进行拷贝得到的拷贝图像；

将所述第一图像中M个第一关键子区域的像素值均设置为第一预设值，得到第二图像；

根据第一比值确定所述第一遮挡检测结果；其中，所述第一比值为所述第二图像中第一目标像素点的数量与所述待检测图像的像素点总数量的比例，在所述第二图像中，所述第一目标像素点的像素值为所述第一预设值，且在所述第一图像中第一像素点的像素值为所述第二预设值，所述第一像素点在所述第一图像中的位置与所述第一目标像素点在所述第二图像中的位置相同。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取第一训练图像样本集以及所述第一训练图像样本集的掩膜标签图；

第一训练模块，用于基于所述第一训练图像样本集以及所述掩膜标签图，对初始分割模型进行训练，得到中间分割模型；

第三获取模块，用于将第一测试样本图像集输入所述中间分割模型进行图像分割，得到第一掩膜图像集；

第二训练模块，用于基于所述第一测试图像样本集以及所述第一掩膜图像集，对所述中间分割模型进行训练，得到所述目标分割模型。

11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的方法中的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法中的步骤。