CN111191616A - 一种人脸遮挡检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种人脸遮挡检测方法、装置、电子设备及存储介质。本申请实施例提供的技术方案，通过提取摄像头视频流，从视频流中抽取视频图像，并基于视频图像进行人脸检测，确定对应的人脸图像，对人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，并根据人脸关键点信息对人脸图像进行区域划分得到多个对应的人脸区域图像。进一步将人脸区域图像输入预先训练的人脸遮挡检测模型进行人脸遮挡检测，输出对应人脸区域图像的人脸遮挡标签，所述人脸遮挡标签包含对应的遮挡等级及遮挡物信息。采用上述技术手段，可以对人脸遮挡情况进行准确地、实时地检测，以便于进行人脸遮挡提示，优化用户的使用体验。

Description

一种人脸遮挡检测方法、装置、设备及存储介质

技术领域

本申请实施例涉及计算机视觉技术领域，尤其涉及一种人脸遮挡检测方法、装置、电子设备及存储介质。

背景技术

目前，随着信息技术的高速发展，人脸识别技术已广泛应用于现实生活中的金融支付、门禁考勤、身份识别、交通、教育、医疗、警务、电子商务等诸多场景中，给人们的生活带来很大便利。人脸识别是基于人的脸部特征信息进行信息识别和身份认证的一种生物识别技术。通过采集含有人脸的图像或视频流，并在图像中检测和跟踪人脸，进而对检测到的人脸进行匹配与识别，实现基于人脸识别的身份认证与信息识别比对。

在进行人脸识别过程中，需要确保采集到的人脸图像特征完整，以此来保证人脸识别结果的精度和有效性。但是，在实际应用过程中，经常会发生两个人的人脸相互遮挡或者被遮挡物(如帽子、墨镜、口罩等遮挡物)遮挡的情况。除此之外，用户的刘海、胡须也会造成人脸部分区域被遮挡。当人脸图像发生遮挡时，人脸的很多特征信息会因遮挡而丢失，导致人脸识别算法出错或失效。

发明内容

本申请实施例提供一种人脸遮挡检测方法、装置、电子设备及存储介质，能够对人脸遮挡情况进行检测。

在第一方面，本申请实施例提供了一种人脸遮挡检测方法，包括：

提取摄像头视频流，从所述视频流中抽取视频图像，并基于所述视频图像进行人脸检测，确定对应的人脸图像；

对所述人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，根据所述人脸关键点信息对所述人脸图像进行区域划分得到多个对应的人脸区域图像；

将所述人脸区域图像输入预先训练的人脸遮挡检测模型进行人脸遮挡检测，输出对应所述人脸区域图像的人脸遮挡标签，所述人脸遮挡标签包含对应的遮挡等级及遮挡物信息。

进一步的，所述人脸遮挡检测模型的训练过程包括：

获取人脸遮挡图像，所述人脸遮挡图像包含预先标注的人脸关键点信息、预先划分的人脸区域图像以及对应人脸区域图像的人脸遮挡标签；

对所述人脸遮挡图像进行预处理，并以预先划分的人脸区域图像作为人脸遮挡数据集；

将所述人脸遮挡数据集输入人脸遮挡检测模型进行训练。

进一步的，所述将所述人脸遮挡数据集输入人脸遮挡检测模型进行训练包括：

基于所述人脸遮挡数据集根据不同遮挡等级和遮挡物信息进行分类训练；

采用交叉熵损失函数计算分类损失，并回传更新权重参数，完成人脸遮挡检测模型训练。

进一步的，所述对所述人脸遮挡图像进行预处理，包括：

从所述人脸遮挡图像中裁剪出对应的人脸图像；

对所述人脸图像进行数据增广，所述数据增广包括灰度值变换和增加噪声。

进一步的，所述基于所述视频图像进行人脸检测，确定对应的人脸图像，包括：

将所述视频图像输入预先设置的人脸检测模型，输出对应人脸位置的矩形框，基于所述矩形框裁剪出对应的人脸图像。

进一步的，所述对所述人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，包括：

将所述人脸图像输入预先设置的人脸关键点检测模型，输出对应的坐标位置，以所述坐标位置作为人脸关键点信息，所述坐标位置为对应眼角、鼻头中心点、嘴角、下巴及脸部轮廓的坐标点信息。

进一步的，所述根据所述人脸关键点信息对所述人脸图像进行区域划分得到多个对应的人脸区域图像，包括：

根据所述人脸关键点信息所对应的坐标位置并按照设定的划分需求对所述人脸图像进行区域划分，得到对应左眼区域、右眼区域、鼻子区域、嘴巴区域、下巴区域的人脸区域图像。

在第二方面，本申请实施例提供了一种人脸遮挡检测装置，包括：

提取模块，用于提取摄像头视频流，从所述视频流中抽取视频图像，并基于所述视频图像进行人脸检测，确定对应的人脸图像；

划分模块，用于对所述人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，根据所述人脸关键点信息对所述人脸图像进行区域划分得到多个对应的人脸区域图像；

检测模块，用于将所述人脸区域图像输入预先训练的人脸遮挡检测模型进行人脸遮挡检测，输出对应所述人脸区域图像的人脸遮挡标签，所述人脸遮挡标签包含对应的遮挡等级及遮挡物信息。

具体的，检测模块包括：

获取单元，用于获取人脸遮挡图像，所述人脸遮挡图像包含预先标注的人脸关键点信息、预先划分的人脸区域图像以及对应人脸区域图像的人脸遮挡标签；

预处理单元，用于对所述人脸遮挡图像进行预处理，并以预先划分的人脸区域图像作为人脸遮挡数据集；

训练单元，用于将所述人脸遮挡数据集输入人脸遮挡检测模型进行训练。

在第三方面，本申请实施例提供了一种电子设备，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的人脸遮挡检测方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的人脸遮挡检测方法。

本申请实施例通过提取摄像头视频流，从视频流中抽取视频图像，并基于视频图像进行人脸检测，确定对应的人脸图像，对人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，并根据人脸关键点信息对人脸图像进行区域划分得到多个对应的人脸区域图像。进一步将人脸区域图像输入预先训练的人脸遮挡检测模型进行人脸遮挡检测，输出对应人脸区域图像的人脸遮挡标签，所述人脸遮挡标签包含对应的遮挡等级及遮挡物信息。采用上述技术手段，可以对人脸遮挡情况进行准确地、实时地检测，以便于进行人脸遮挡提示，优化用户的使用体验。

附图说明

图1是本申请实施例一提供的一种人脸遮挡检测方法的流程图；

图2是本申请实施例一中的人脸遮挡检测模型训练流程图；

图3是本申请实施例一中的人脸遮挡图像预处理的流程图；

图4是本申请实施例一中的模型训练具体流程图；

图5是本申请实施例二提供的一种人脸遮挡检测装置的结构示意图；

图6是本申请实施例三提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的一种人脸遮挡检测方法，旨在通过对提取到的视频图像进行人脸检测，并根据检测到的人脸图像进行人脸遮挡检测，采用基于卷积神经网络进行人脸遮挡识别，可应对复杂的遮挡场景，不仅可检测局部人脸区域遮挡情况，还可识别特殊遮挡物。基于检测到的遮挡物，还可针对性地提示用户去除遮挡物，从而可降低人脸识别过程中的拒识率和误识率，确保了人脸识别的准确性、有效性和安全性，提升用户体验感。而在使用现有的人脸识别技术进行人脸识别时，经常会出现用户相互遮挡、用户戴帽子、墨镜、口罩等遮挡物的情况。除此之外，用户的刘海、胡须也会造成人脸部分区域被遮挡。当人脸图像发生遮挡时，人脸的很多特征信息会丢失，导致人脸识别算法出错或失效。基于此，本申请实施例针对上述人脸遮挡导致人脸识别出错或失效的技术问题，提供一种人脸遮挡检测算法，以用于在人脸识别时对人脸遮挡情况进行检测，以此来提供对用户遮挡提醒乃至人脸遮挡部分恢复的数据检测基础。

实施例一：

图1给出了本申请实施例一提供的一种人脸遮挡检测方法的流程图，本实施例中提供的人脸遮挡检测方法可以由人脸遮挡检测设备执行，该人脸遮挡检测设备可以通过软件和/或硬件的方式实现，该人脸遮挡检测设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该人脸遮挡检测设备可以是人脸识别终端设备、电脑、人脸识别服务器等数据处理设备。

下述以人脸遮挡检测设备为执行人脸遮挡检测方法的设备为例，进行描述。参照图1，该人脸遮挡检测方法具体包括：

S110、提取摄像头视频流，从所述视频流中抽取视频图像，并基于所述视频图像进行人脸检测，确定对应的人脸图像。

示例性的，以刷脸支付的人脸人脸识别场景为例，在进行刷脸支付时，用户走到摄像头前，面向摄像头以便于摄像头进行人脸图像的提取。其中，人脸遮挡检测设备通过提取摄像头拍摄到的视频流，由于拍摄到的视频流，并不是所有的视频帧都包含用户的人脸图像，可能存在部分视频帧不存在人脸图像的情况。因此，基于获取到的视频流，需要通过抽帧的方式进行视频帧抽取，并进一步基于抽取到的视频图像进行人脸检测，检测视频图像中是否有人脸。在进行抽帧时，根据实际需要，没隔设定帧进行视频图像抽取。并且，对应抽取到的视频图像，若均未检测到人脸图像，则需要进一步提示用户未检测到人脸图像，请用户正确操作以便于提取到用户的人脸图像。

具体的，在进行人脸图像检测时，将视频图像输入预先设置的人脸检测模型，通过人脸检测模型输出对应视频图像上人脸位置的矩形框，基于矩形框裁剪出对应的人脸图像。其中，通过将视频图像通过神经网络计算一遍，首先判断该视频图像是否有人脸，然后计算该人脸图像框中关键点的位置，最后进行框回归，使用非极大值抑制算法选择一个最佳的人脸框位置信息，以此完成人脸图像检测。本申请实施例对人脸检测模型的人脸检测方式不做固定限制，现有的人脸检测算法有很多，在此不多赘述。

S120、对所述人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，根据所述人脸关键点信息对所述人脸图像进行区域划分得到多个对应的人脸区域图像。

进一步的，对应上述步骤S110基于视频图像检测到人脸图像后，则人脸检测流程结束，可基于检测到的人脸图像，进一步进行处理。对应检测到的人脸图像，本申请实施例采用根据人脸关键点划分区域的方式获取识别人脸遮挡情况的候选区域，以便于基于候选区域进一步进行人脸遮挡检测。无需通过滑动框遍历人脸获取候选框，并且，通过采用轻量级神经网络识别模型，大大提高了人脸遮挡检测算法的运算速度，进一步提高了整个人脸识别流程对人脸遮挡检测的及时性和实时性。

其中，对应检测到的人脸图像，将人脸图像输入预先设置的人脸关键点检测模型，输出对应的坐标位置，以坐标位置作为人脸关键点信息，坐标位置为对应眼角、鼻头中心点、嘴角、下巴及脸部轮廓的坐标点信息。人脸关键点检测模型对应人脸的眼角、鼻头中心点、嘴角、下巴及脸部轮廓等关键点进行检测，检测出人脸图像中人脸关键点位置信息(例如眼角、鼻头中心点、嘴角、下巴，脸部轮廓等)。进一步的，将这些人脸关键点按XY坐标系在人脸图像中的位置记录为“X_j、Y_j，0<j<n”，其中，j为各关键点的索引，n为该人脸关键点检测模型可检测到的人脸关键点总数。人脸关键点检测模型对应裁剪出的人脸图像，首先经过卷积神经网络提取特征，得到一组特征图，将这些特征经过全链接层组成一个特征向量，最后对人脸关键点进行回归，以此得到关键点位置信息。人脸关键点检测模型以标注了对应人脸关键点的人脸图像作为训练集通过卷积神经网络进行模型训练得到，现有技术对人脸相应位置点的检测识别方式有很对，在此不多赘述。

进一步的，基于上述检测到的人脸关键点信息，根据人脸关键点信息所对应的坐标位置并按照设定的划分需求对人脸图像进行区域划分，得到对应左眼区域、右眼区域、鼻子区域、嘴巴区域、下巴区域的人脸区域图像。其中，根据检测得到的人脸关键点的XY坐标位置，依据实际需求，划分m个人脸区域，例如左眼区域、右眼区域、鼻子区域、嘴巴区域、下巴区域等。在实际应用中，若需要更详尽的人脸遮挡检测，则可以对应划分出更多的人脸区域图像。需要说明的是，人脸区域图像需统一裁剪归一化成大小相等的图像，以便于后续进行人脸遮挡检测。

S130、将所述人脸区域图像输入预先训练的人脸遮挡检测模型进行人脸遮挡检测，输出对应所述人脸区域图像的人脸遮挡标签，所述人脸遮挡标签包含对应的遮挡等级及遮挡物信息。

最终，基于上述步骤S120得到的每一个人脸区域图像，将这些人脸区域图像相继输入到预先训练好的人脸遮挡检测模型中，进行人脸遮挡检测，即可得到对应这些人脸区域图像的人脸遮挡标签。人脸遮挡标签不仅可判断人脸被遮挡的遮挡等级，同时也进行了遮挡物信息的标记。则根据人脸遮挡标签，即可获知当前人脸遮挡的情况，并具体获知相关遮挡物的信息，以便于基于这些信息更好地提醒用户遮挡情况，优化用户体验。可以理解的是，根据人脸遮挡检测，若遮挡等级越低，则表示当前人脸识别受人脸遮挡的影响越小。当检测到遮挡等级最低时，可判断对应的人脸区域图像无遮挡，该人脸区域图像清晰有效。当出现部分人脸区域图像根据人脸遮挡标签判断存在遮挡情况时，则需要进一步进行人脸遮挡提示。人脸遮挡检测设备可根据实际需要设置人脸遮挡提示的遮挡等级阈值或人脸区域图像遮挡数量阈值。则当某一人脸区域图像的遮挡等级达到遮挡阈值时，进行人脸遮挡提示。或者，当得到某一设定遮挡等级的人脸区域图像的数量达到设定数量阈值时，进行人脸遮挡提示。

进一步的，提供本申请实施例人脸遮挡检测模型的训练流程图，参照图2，人脸遮挡检测模型训练流程包括：

S101、获取人脸遮挡图像，所述人脸遮挡图像包含预先标注的人脸关键点信息、预先划分的人脸区域图像以及对应人脸区域图像的人脸遮挡标签；

S102、对所述人脸遮挡图像进行预处理，并以预先划分的人脸区域图像作为人脸遮挡数据集；

S103、将所述人脸遮挡数据集输入人脸遮挡检测模型进行训练。

示例性的，在进行模型训练时，可通过网上大量下载各种人脸被遮挡的图像，也可自行拍摄人脸遮挡图像，通过随机戴帽子、口罩、墨镜，或者作出遮挡行为等方式进行人脸图像拍摄。还可以在无遮挡人脸图像上随机进行遮挡物贴图，以此来得到对应的人脸遮挡图像。基于这些人脸遮挡图像，需进行数据标注。首先，对没有人脸关键点标注的人脸遮挡图像进行人脸关键点检测并保存位置信息。其次，将这些图像依照位置信息进行区域划分。最后，对应人脸遮挡图像依据实际情况划分为若干个遮挡等级并标记遮挡物信息。通过判断各个人脸划分区域的遮挡情况，并记录下该区域的位置信息以及对应的遮挡等级遮挡物信息。

进一步的，对应上述预先标注人脸关键点信息、预先划分人脸区域图像以及对应人脸区域图像的人脸遮挡标签之后的人脸遮挡头像，将人脸遮挡图像输入人脸遮挡检测设备进行模型训练。在进行模型训练时，参照图3，提供人脸遮挡图像的预处理流程图，其中，人脸遮挡图像的预处理流程包括：

S1021、从所述人脸遮挡图像中裁剪出对应的人脸图像；

S1022、对所述人脸图像进行数据增广，所述数据增广包括灰度值变换和增加噪声。

具体的，基于人脸遮挡图像，均对应预先标注好的关键点信息(人脸轮廓关键点)裁剪出对应人脸图像。当然，在实际应用中，也可以根据人脸检测模型直接检测人脸轮廓并裁剪人脸图像。进一步的，对裁剪得到的这些人脸图像进行数据增广，数据增广方式包括但不仅限于灰度值变换、增加噪声，数据增广为现有较成熟技术，不作为本申请实施例的主要改进点，在此不多赘述。

完成上述人脸遮挡图像的预处理后，将原人脸图像和增广后的人脸图像确定预先划分出若干个人脸区域图像，将这些人脸区域图像划分为训练集和测试集，至此得到人脸遮挡数据集。

基于上述得到的人脸遮挡数据集，进行模型训练，在进行训练时，参照图4，人脸遮挡检测模型训练的具体流程包括：

S1031、基于所述人脸遮挡数据集根据不同遮挡等级和遮挡物信息进行分类训练；

S1032、采用交叉熵损失函数计算分类损失，并回传更新权重参数，完成人脸遮挡检测模型训练。

将人脸区域图像输入到人脸遮挡检测模型，根据不同等级和遮挡物类型进行分类训练。由于人脸遮挡检测是做简单的分类操作，且深度卷积神经网络会带来更多的计算复杂度和计算冗余，不利于人脸遮挡的实时检测。因此，考虑到人脸遮挡检测的实时性和及时性，本申请实施例采用轻量级的卷积神经网络模型，如mobilenet\feathernet等。通过建立人脸遮挡检测的卷积神经网络模型，该人脸遮挡检测模型由卷积池化层交替组成，训练时采用小批量随机梯度下降法更新卷积神经网络的参数，通过激活函数引入非线性，并加入正则化或者dropout层、批归一化等方式以减少过拟合。将人脸区域图像输入到网络中，通过与卷积核进行加权求和与非线性变换得到人脸特征值，该特征值反应了人脸的基本信息，然后将得到的特征值传入到池化层进行卷积操作，进一步选择更具代表性的人脸特征。依次进行多次交替卷积池化后，最后将得到的特征送入到全连接层计算得分并转化为概率进行分类，采用交叉商损失函数计算分类损失，并回传更新权重参数，从而得到该人脸遮挡检测模型。

基于上述得到的人脸遮挡检测模型，在进行人脸识别时，即可基于摄像头实时获取到的视频流进行实时处理得到人脸区域图像，并输入预先训练的人脸遮挡检测模型进行人脸遮挡检测，输出对应人脸区域图像的人脸遮挡标签作为检测结果。人脸遮挡标签包含对应的遮挡等级及遮挡物信息，则根据这一遮挡等级和遮挡物信息，即可确定当前人脸是否遮挡，遮挡情况和对应的遮挡物信息，以此来完成本申请实施例在人脸识别过程中的人脸遮挡检测。

上述，通过提取摄像头视频流，从视频流中抽取视频图像，并基于视频图像进行人脸检测，确定对应的人脸图像，对人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，并根据人脸关键点信息对人脸图像进行区域划分得到多个对应的人脸区域图像。进一步将人脸区域图像输入预先训练的人脸遮挡检测模型进行人脸遮挡检测，输出对应人脸区域图像的人脸遮挡标签，所述人脸遮挡标签包含对应的遮挡等级及遮挡物信息。采用上述技术手段，可以对人脸遮挡情况进行准确地、实时地检测，以便于进行人脸遮挡提示，优化用户的使用体验。

实施例二：

在上述实施例的基础上，图5为本申请实施例二提供的一种人脸遮挡检测装置的结构示意图。参考图5，本实施例提供的人脸遮挡检测装置具体包括：提取模块21、划分模块22和检测模块23。

其中，提取模块21用于提取摄像头视频流，从所述视频流中抽取视频图像，并基于所述视频图像进行人脸检测，确定对应的人脸图像；

划分模块22用于对所述人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，根据所述人脸关键点信息对所述人脸图像进行区域划分得到多个对应的人脸区域图像；

检测模块23用于将所述人脸区域图像输入预先训练的人脸遮挡检测模型进行人脸遮挡检测，输出对应所述人脸区域图像的人脸遮挡标签，所述人脸遮挡标签包含对应的遮挡等级及遮挡物信息。

上述，通过提取摄像头视频流，从视频流中抽取视频图像，并基于视频图像进行人脸检测，确定对应的人脸图像，对人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，并根据人脸关键点信息对人脸图像进行区域划分得到多个对应的人脸区域图像。进一步将人脸区域图像输入预先训练的人脸遮挡检测模型进行人脸遮挡检测，输出对应人脸区域图像的人脸遮挡标签，所述人脸遮挡标签包含对应的遮挡等级及遮挡物信息。采用上述技术手段，可以对人脸遮挡情况进行准确地、实时地检测，以便于进行人脸遮挡提示，优化用户的使用体验。

具体的，检测模块23包括：

获取单元，用于获取人脸遮挡图像，所述人脸遮挡图像包含预先标注的人脸关键点信息、预先划分的人脸区域图像以及对应人脸区域图像的人脸遮挡标签；

预处理单元，用于对所述人脸遮挡图像进行预处理，并以预先划分的人脸区域图像作为人脸遮挡数据集；

训练单元，用于将所述人脸遮挡数据集输入人脸遮挡检测模型进行训练。

本申请实施例二提供的人脸遮挡检测装置可以用于执行上述实施例一提供的人脸遮挡检测方法，具备相应的功能和有益效果。

实施例三：

本申请实施例三提供了一种电子设备，参照图6，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。

存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的人脸遮挡检测方法对应的程序指令/模块(例如，人脸遮挡检测装置中的提取模块、划分模块和检测模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块33用于进行数据传输。

处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的人脸遮挡检测方法。

输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。

上述提供的电子设备可用于执行上述实施例一提供的人脸遮挡检测方法，具备相应的功能和有益效果。

实施例四：

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种人脸遮挡检测方法，该人脸遮挡检测方法包括：提取摄像头视频流，从所述视频流中抽取视频图像，并基于所述视频图像进行人脸检测，确定对应的人脸图像；对所述人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，根据所述人脸关键点信息对所述人脸图像进行区域划分得到多个对应的人脸区域图像；将所述人脸区域图像输入预先训练的人脸遮挡检测模型进行人脸遮挡检测，输出对应所述人脸区域图像的人脸遮挡标签，所述人脸遮挡标签包含对应的遮挡等级及遮挡物信息。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的人脸遮挡检测方法，还可以执行本申请任意实施例所提供的人脸遮挡检测方法中的相关操作。

上述实施例中提供的人脸遮挡检测装置、存储介质及电子设备可执行本申请任意实施例所提供的人脸遮挡检测方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的人脸遮挡检测方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种人脸遮挡检测方法，其特征在于，包括：

提取摄像头视频流，从所述视频流中抽取视频图像，并基于所述视频图像进行人脸检测，确定对应的人脸图像；

对所述人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，根据所述人脸关键点信息对所述人脸图像进行区域划分得到多个对应的人脸区域图像；

将所述人脸区域图像输入预先训练的人脸遮挡检测模型进行人脸遮挡检测，输出对应所述人脸区域图像的人脸遮挡标签，所述人脸遮挡标签包含对应的遮挡等级及遮挡物信息。

2.根据权利要求1所述的人脸遮挡检测方法，其特征在于，所述人脸遮挡检测模型的训练过程包括：

获取人脸遮挡图像，所述人脸遮挡图像包含预先标注的人脸关键点信息、预先划分的人脸区域图像以及对应人脸区域图像的人脸遮挡标签；

对所述人脸遮挡图像进行预处理，并以预先划分的人脸区域图像作为人脸遮挡数据集；

将所述人脸遮挡数据集输入人脸遮挡检测模型进行训练。

3.根据权利要求2所述的人脸遮挡检测方法，其特征在于，所述将所述人脸遮挡数据集输入人脸遮挡检测模型进行训练包括：

基于所述人脸遮挡数据集根据不同遮挡等级和遮挡物信息进行分类训练；

采用交叉熵损失函数计算分类损失，并回传更新权重参数，完成人脸遮挡检测模型训练。

4.根据权利要求2所述的人脸遮挡检测方法，其特征在于，所述对所述人脸遮挡图像进行预处理，包括：

从所述人脸遮挡图像中裁剪出对应的人脸图像；

对所述人脸图像进行数据增广，所述数据增广包括灰度值变换和增加噪声。

5.根据权利要求1所述的人脸遮挡检测方法，其特征在于，所述基于所述视频图像进行人脸检测，确定对应的人脸图像，包括：

将所述视频图像输入预先设置的人脸检测模型，输出对应人脸位置的矩形框，基于所述矩形框裁剪出对应的人脸图像。

6.根据权利要求1所述的人脸遮挡检测方法，其特征在于，所述对所述人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，包括：

将所述人脸图像输入预先设置的人脸关键点检测模型，输出对应的坐标位置，以所述坐标位置作为人脸关键点信息，所述坐标位置为对应眼角、鼻头中心点、嘴角、下巴及脸部轮廓的坐标点信息。

7.根据权利要求1所述的人脸遮挡检测方法，其特征在于，所述根据所述人脸关键点信息对所述人脸图像进行区域划分得到多个对应的人脸区域图像，包括：

根据所述人脸关键点信息所对应的坐标位置并按照设定的划分需求对所述人脸图像进行区域划分，得到对应左眼区域、右眼区域、鼻子区域、嘴巴区域、下巴区域的人脸区域图像。

8.一种人脸遮挡检测装置，其特征在于，包括：

提取模块，用于提取摄像头视频流，从所述视频流中抽取视频图像，并基于所述视频图像进行人脸检测，确定对应的人脸图像；

划分模块，用于对所述人脸图像进行人脸关键点检测，确定对应的人脸关键点信息，根据所述人脸关键点信息对所述人脸图像进行区域划分得到多个对应的人脸区域图像；

检测模块，用于将所述人脸区域图像输入预先训练的人脸遮挡检测模型进行人脸遮挡检测，输出对应所述人脸区域图像的人脸遮挡标签，所述人脸遮挡标签包含对应的遮挡等级及遮挡物信息。

9.一种电子设备，其特征在于，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的人脸遮挡检测方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的人脸遮挡检测方法。

Images