CN112016464A - 检测人脸遮挡的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及计算机技术领域，公开了一种检测人脸遮挡的方法、装置、电子设备及存储介质。本发明中检测人脸遮挡的方法，包括：获取待检测图像；将待检测图像输入预设的人脸遮挡检测模型，获取待检测图像的人脸遮挡检测结果；其中，人脸遮挡检测模型的训练过程包括：根据预设的网络结构对至少两个数据集的人脸样本图像进行训练，生成人脸遮挡检测模型，数据集包括至少两个样本数据，每个数据集携带有表征数据集的应用场景的标签信息。通过本实施例，能够高效地检测人脸遮挡，成本低，应用场景多。

Description

检测人脸遮挡的方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，特别涉及一种检测人脸遮挡的方法、装置、电子设备及存储介质。

背景技术

人脸识别是一种生物特征识别认证方式，在金融支付、门禁考勤、身份识别等众多领域有广泛的作用。人脸遮挡会导致人脸识别认证失败或者错误认证，所以有必要在人脸识别之前检测图像中的人脸是否发生遮挡。人脸遮挡是指人脸被墨镜、围巾、口罩、头盔等遮挡物遮挡导致人脸区域不能被检测或识别。人脸遮挡判别分析就是针对获取的图像进行分析处理,判断是否存在人脸遮挡以及分析人脸的哪部分区域被遮挡。

目前检测人脸遮挡的方法大致分为两类，一种是two-stage的方法：第一步先采用人脸形状、颜色等特点或者深度学习方法获取人脸区域，第二步在获取到的人脸区域中，根据人脸各区域特征区分各个部位，最后使用特征提取与分类方法；另一种是一次性目标检测器(one-shot object detectors，one-stage)的方法，即利用深度学习方法同时进行人脸检测和人脸区域遮挡的判别。

发明人发现现有技术中至少存在如下问题：目前的two-stage的方法需要重复进行特征提取，导致检测的速度慢，而one-stage的方式需要同时对样本数据标注人脸区域、人脸关键点、人脸遮挡物的位置和种类信息；标注的精度要求高、成本高；同时若有新增的遮挡物或者新增的应用场景，需要重新调整模型再次进行训练，可拓展性差。

发明内容

本发明实施方式的目的在于提供一种检测人脸遮挡的方法、装置、电子设备及存储介质，能够高效地检测人脸遮挡，成本低，应用场景多。

为解决上述技术问题，本发明的实施方式提供了一种检测人脸遮挡的方法，包括：获取待检测图像；将待检测图像输入预设的人脸遮挡检测模型，获取待检测图像的人脸遮挡检测结果；其中，人脸遮挡检测模型的训练过程包括：根据预设的网络结构对至少两个数据集的人脸样本图像进行训练，生成人脸遮挡检测模型，数据集包括至少两个样本数据，每个数据集携带有表征数据集的应用场景的标签信息。

本发明的实施方式还提供了一种检测人脸遮挡的装置，包括：待检测图像获取模块和检测结果获取模块；待检测图像获取模块用于获取待检测图像；检测结果获取模块用于将待检测图像输入预设的人脸遮挡检测模型，获取待检测图像的人脸遮挡检测结果；其中，人脸遮挡检测模型的训练过程包括：根据预设的网络结构对至少两个数据集的人脸样本图像进行训练，生成人脸遮挡检测模型，每个数据集携带有表征数据集应用场景的标签信息。

本发明的实施方式还提供了一种电子设备，包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的检测人脸遮挡的方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的检测人脸遮挡的方法。

本发明实施方式相对于现有技术而言，人脸遮挡检测模型是基于预设的网络结构以及至少两个数据集中的人脸样本图像进行训练得到；将待检测图像输入该人脸遮挡检测模型，即可得到人脸遮挡检测结果；该人脸遮挡检测模型是一种端到端的人脸遮挡判别模型，检测速度快、鲁棒性高；每个数据集各自携带有表征该数据集应用场景的标签信息；由于无需为每个人脸样本图像数据进行标注，降低了对训练样本的标注要求，从而降低了标注成本，同时数据集分别有各自的标签信息，在不同应用场景下，可以通过新增的标签信息的方式扩展数据集，而无需重新对每个人脸样本图像单独标注标签，提高了模型训练的可扩展性，增加了该检测人脸遮挡方法的应用场景。

另外，在预设的网络结构对至少两个数据集中的人脸样本图像进行训练，生成人脸遮挡检测模型之前，该方法还包括：针对每个数据集进行如下处理：根据数据集中的标注信息，获取数据集的应用场景；根据应用场景，为数据集设置与应用场景对应的标签信息。对具有相同应用场景的人脸样本图像组成的数据集设置相同的标签信息；使得当新增应用场景后，可以根据应用场景增加对应的数据集；灵活构建数据集。

另外，预设的网络结构包括：依次连接的人脸区域提取网络、人脸特征提取网络以及包括N个任务模型的任务网络，N为大于1的整数；人脸区域提取网络用于从输入的图像中提取人脸区域信息，并将提取的人脸区域信息输入至人脸特征提取网络；人脸特征提取网络用于根据输入的图像以及人脸区域信息，获取人脸特征信息；N个任务模型用于根据人脸特征信息，生成遮挡检测结果，其中，每个任务模型与应用场景的训练任务对应。使用该网络结构只需对数据集中的人脸样本图像提取一次人脸特征信息；而无需重复提取人脸特征信息，提高了人脸遮挡检测的速度；同时；任务网络中包括N个任务模型，使得可以根据应用场景增加任务模型；提高了整个人脸遮挡检测模型和方法的扩展性。

另外，根据预设的网络结构对至少两个数据集中的人脸样本图像进行训练，生成人脸遮挡检测模型，包括：根据网络结构对每个数据集中的人脸样本图像进行训练，获取人脸遮挡检测模型的网络参数；根据数据集的标签信息，获取人脸遮挡检测模型的第一损失函数；根据第一损失函数调整人脸遮挡检测模型的网络参数，生成人脸遮挡检测模型。可以通过数据集的标签信息，快速确定出该人脸遮挡检测模型的第一损失函数，快速对人脸遮挡检测模型进行调整，提高该人脸遮挡检测模型检测的准确度。

另外，任务模型的任务类型包括分类任务和回归任务；根据数据集的标签信息，获取人脸遮挡检测模型的第一损失函数，包括：获取第一损失函数的表达式，第一损失函数的表达式为

表示第i个分类任务对应的损失函数，

表示第i个回归任务对应的损失函数；

表示第i个人脸样本图像所属的数据集的标签信息；根据数据集的标签信息以及第一损失函数的表达式，确定第一损失函数。

另外，在根据第一损失函数调整人脸遮挡检测模型的网络参数，生成人脸遮挡检测模型之后，方法还包括：针对每个任务模型进行如下处理：获取任务模型对应的任务类型；根据任务类型，获取任务模型对应的第二损失函数；根据第二损失函数调整任务模型中的网络参数。对该人脸遮挡检测模型进行全局训练之后，针对每个任务模型进行调整，提高每个任务模型检测的精度。

另外，检测结果包括：人脸关键点坐标信息、遮挡部位信息、被遮挡部位的遮挡占比以及遮挡物信息。检测结果多样，满足不同应用场景的需要。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施例提供的一种检测人脸遮挡的方法的流程图；

图2是根据本发明第二实施例提供的一种检测人脸遮挡的方法中人脸遮挡检测模型训练的一种实现示意图；

图3是根据本发明第二实施例提供的一种网络结构的示意图；

图4根据本发明第三实施例提供的一种检测人脸遮挡的方法中人脸遮挡检测模型训练的一种实现示意图；

图5是根据本发明第四实施例提供的一种检测人脸遮挡的装置的结构框图；

图6是根据本发明第五实施例提供的一种电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

人脸遮挡检测中常用的方法包括two-stage的方法和one-stage的方法，two-stage的方法需要先获取人脸区域，再在人脸区域中进行各部位的区域划分，此时需要对各区域重新提取特征，并用分类器实现遮挡判定，这类方法对在进行人脸检测步骤的人脸特征部分没有重复利用，导致整个流程耗时比较多，同时由于各区域重新提取特征的方式依赖于用于训练的数据集和场景，特征都是人工提取，模型的泛化能力和鲁棒性比较差。

one-stage的方法实现端到端的人脸检测和人脸区域遮挡的判别，此类方法对于数据集的标注要求比较高，标注成本大，且不能判断人脸遮挡的范围，有新的场景需求需要重新调整整个模型，导致应用场景比较局限，可拓展性比较差。

本发明的第一实施方式涉及一种检测人脸遮挡的方法。其流程如图1所示：

步骤101：获取待检测图像。

步骤102：将待检测图像输入预设的人脸遮挡检测模型，获取待检测图像的遮挡检测结果。其中，人脸遮挡检测模型的训练过程包括：根据预设的网络结构对至少两个数据集的人脸样本图像进行训练，生成人脸遮挡检测模型，每个数据集携带有表征数据集应用场景的标签信息。

本发明实施方式相对于现有技术而言，人脸遮挡检测模型是基于预设的网络结构以及至少两个数据集中的人脸样本图像进行训练得到；将待检测图像输入该人脸遮挡检测模型，即可得到人脸遮挡检测结果；该人脸遮挡检测模型是一种端到端的人脸遮挡判别模型，检测速度快、鲁棒性高；每个数据集各自携带有表征该数据集应用场景的标签信息；由于无需为每个人脸样本图像数据进行标注，降低了对训练样本的标注要求，从而降低了标注成本，同时数据集分别有各自的标签信息，在不同应用场景下，可以通过新增的标签信息的方式扩展数据集，而无需重新对每个人脸样本图像单独标注标签，提高了模型训练的可扩展性，增加了该检测人脸遮挡方法的应用场景。

本发明的第二实施方式涉及一种检测人脸遮挡的方法。第二实施例是对第一实施例中人脸遮挡检测模型的训练过程的详细介绍，其流程如图2所示。

步骤201：根据网络结构对每个数据集中的人脸样本图像进行训练，获取人脸遮挡检测模型的网络参数。

在一个例子中，预设的网络结构包括：依次连接的人脸区域提取网络、人脸特征提取网络以及包括N个任务模型的任务网络，N为大于1的整数；人脸区域提取网络用于从输入的图像中提取人脸区域信息，并将提取的人脸区域信息输入至人脸特征提取网络；人脸特征提取网络用于根据所述输入的图像以及人脸区域信息，获取人脸特征信息；N个任务模型用于根据人脸特征信息，生成遮挡检测结果，其中，每个任务模型与应用场景的训练任务对应。

具体地，人脸区域提取网络可以是深度学习的目标检测卷积神经网络结构，对输入的人脸样本图像进行特征抽取，提取人脸区域，例如人脸区域的矩形框，可以以bbox表示。该人脸区域提取网络可以采用目标检测方法，例如，单发多盒探测器(single shotmultibox detecto，简称“SSD”)、你只需要看一遍(You Only Look Once，简称“YOLO”)网络、候选区域网络(Region Proposal Network，简称“RPN”)等。人脸特征提取网络可以为卷积神经网络。该人脸特征提取网络输入层接收人脸区域坐标以及人脸样本图像，经过卷积神经网络自动提取人脸特征信息，人脸特征信息可以是人脸关键点信息；该人脸特征提取网络的输出层与任务网络连接，任务网络包括多个任务模型，即输出的数据作为各个任务模型的输入数据，每个任务模型可以为神经网络模型，任务模型的输入数据是人脸特征信息，输出数据为各个任务模块各自对应的应用场景的所需的数据；例如，5个任务模型可以分别输出为人脸区域、人脸关键点的位置、可见的人脸关键点位置、眼部遮挡判别以及嘴部遮挡判别。可以理解的是，还可以有其他的任务模型，本示例中将不再一一列举。

人脸特征提取网络与任务网络连接，形成N个并行连接的全连接层；可以采用esnet18、mobilenet等，或者修改MTCNN中的RNet或者Onet的全连接层实现。该网络结构可以如图3所示，A、B、C、D和E分别表示人脸区域模型、人脸关键点的位置模型、可见的人脸关键点位置模型、眼部遮挡判别模型以及嘴部遮挡判别模型，S表示为待检测图像或者训练过程中的人脸样本图像。

在一个例子中，针对每个数据集进行如下处理：根据数据集中的标注信息，获取数据集的应用场景；根据应用场景，为数据集设置与应用场景对应的标签信息。

在训练人脸遮挡检测模型之前，需要构造数据集，数据集中人脸样本图像中的标注信息可以是人脸区域的矩形框信息、人脸关键点信息、遮挡物信息等。例如，将具有相同标注信息的人脸样本图像组成数据集A，该数据集A中的人脸样本图像均包含人脸区域的矩形框信息，那么确定该数据集对应的场景为人脸检测场景，则为该数据集设置与人脸检测场景对应的标签信息。本示例中数据集标签信息可以以L表示；任务模型包括人脸区域模型、人脸关键点的位置模型、可见的人脸关键点位置模型、眼部遮挡判别模型以及嘴部遮挡判别模型，那么针对人脸区域模型对应的数据集，如人脸矩形框(bbox)的标签信息被标注为-1。人脸关键点的位置模型对应的数据集的标签L被设置为-2；人脸关键点信息可以包括人脸轮廓、眉毛、眼睛、嘴部、耳朵的95个关键点。若该关键点可见，可以为可见的关键点标记为1，若关键点不可见，则将不可见关键点标记为0。嘴部遮挡判别对应的数据集的标签L设置为-3。本方案中，嘴部遮挡的类别包含：口罩遮挡记为“mask”和无遮挡记为“no_mask”。眼睛遮挡判别模型对应的标签L被设置为-4。本方案中，眼睛遮挡的类别包含：墨镜遮挡可以记为“black”、白色眼镜遮挡记为“lucency”、其他遮挡记为“others”、无遮挡记为“no_mask”。

可以理解的是，还可以设置其他类别的数据集，此处不再一一列举，数据集中可以包括至少两个人脸样本图像，针对每个数据集中的人脸样本图像，可以无需一一进行标注，而是针对整个数据集设置标签，从而减少了对人脸样本图像的标注要求，降低了标注的成本。

步骤202：根据数据集的标签信息，获取人脸遮挡检测模型的第一损失函数。

在一个例子中，任务模型的任务类型包括分类任务和回归任务。每个类型中包括至少一个类别，例如，眼部遮挡判别模型的类型为分类任务，该分类任务中包含墨镜遮挡可以记为“black”、白色眼镜遮挡记为“lucency”、其他遮挡记为“others”、无遮挡记为“no_mask”4个类别。

具体地，每个任务模型包括分类任务和回归任务。分类任务C包括：人脸区域检测中的2分类(人脸区域和非人脸区域两类)，人脸95个关键点中可见位置的预测，眼部遮挡4分类判别，分别为：墨镜遮挡、白色眼镜遮挡、其他遮挡、无遮挡，嘴部遮挡2分类判别，分别为：口罩遮挡和无遮挡。

回归任务R包括：人脸区域检测中的人脸区域4个坐标值回归，4个坐标值分别为左上、左下、右上和右下各自的坐标，关键点定位中的95个关键点的回归。

假设模型任务有K个，则模型的输出包含K个并行的全连接，每个全连接输出神经元的个数n可以如公式(1)所示：

c_i表示第i个分类任务的类别数,r_i表示第i个回归任务的待回归参数个数。2表示待回归的参数坐标为2维。每个分类任务对应的损失函数不同。

对于每个人脸样本图像表示为s_i，i表四第i个分类任务的类别数，该分类任务对应的损失函数可以采用交叉熵损失函数，公式可以如公式(2)所示；

其中，

表示人脸样本图像s_i在任务模型的输出值，

表示人脸样本图像s_i期望的输出，即真实类别的标签值,cls∈(face,glasses,mouth,landmarks)。

回归任务R的损失函数可以如公式(3)所示，表示为：

其中，

t_i表示真实标定的坐标值，

为任务模型输出的坐标预测值,reg∈{face,landmarks}。

该人脸遮挡检测模型的第一损失函数表示为公式(4)；

需要说明的式，在训练过程中，可以根据数据集对应的标签信息L确定当前任务模型的任务类型，例如，若被训练的数据集的标签信息L＝-1，那么可以确定训练该数据集的任务模型的任务类型为回归任务；若被训练的数据集的标签信息L＝-3，那么可以确定训练该数据集的任务模型的任务类型为分类任务。

当该人脸遮挡检测模型的应用场景更改，例如，应用场景中还需要额头遮挡判别；那么可以根据该应用场景，获取应用于该类应用场景的人脸样本图像，该类人脸样本图像中可以仅标注有额头遮挡的标注信息；对属于该类人脸样本图像组合的数据集设置新的标签信息，如L可以设置为-5。训练过程中，各个任务模块仅对与对应的数据集进行训练。

根据数据集的标签信息以及第一损失函数的表达式，确定第一损失函数。具体地，第一损失函数的表达式为公式(4)；将分类任务的损失函数、回归任务的损失函数以及数据集的标签信息带入公式(4)，即可确定出该第一损失函数。

步骤203：根据第一损失函数调整人脸遮挡检测模型的网络参数，生成人脸遮挡检测模型。

具体地，根据第一损失函数调整人脸遮挡检测模型的网络参数，即确定出人脸遮挡检测模型。

需要说明的是，根据第一损失函数调整该人脸遮挡检测模型的网络参数之前，还可以判断数据集中是否包含应用于人脸区域检测的数据集，若包含，那么执行该根据第一损失函数调整该人脸遮挡检测模型的网络参数的步骤。若数据集中包括应用于人脸关键点检测的数据集且存在可见的关键点，则该根据第一损失函数以及可见的关键点调整该人脸遮挡检测模型的网络参数的步骤。例如，本示例中，若当人脸标签值

(即应用于人脸区域检测)时，才进行网络参数的调整；在人脸关键点坐标回归中，当人脸标签值

且该关键点标定为可见时，才进行网络参数的调整。在全局训练阶段，可对人脸区域检测的任务模型的损失函数赋予较大的权重，从而可以获得高精度的人脸区域。

在调整了该人脸遮挡检测模型的网络参数后，生成该人脸遮挡检测模型。在本示例中，任务模型可以包括人脸区域检测模型、人脸关键点的位置模型、可见的人脸关键点位置模型、眼部遮挡判别模型以及嘴部遮挡判别模型。

将待检测图像输入训练得到的人脸遮挡检测模型中，可以得到遮挡检测结果，本示例中遮挡检测结果可以包括：人脸关键点坐标信息、遮挡部位信息、被遮挡部位的遮挡占比以及遮挡物信息。

例如，输出包含特征图F_MAP、人脸置信度与人脸坐标：f_i∈[0.0,1.0],f_i表示第i个输出属于人脸的置信度；b_i∈[left,top,right,bottom]，b_i表示第i个输出的人脸左上和右下两个的位置坐标。

通过设置f_i的置信度阈值，如可以设置置信度阈值为0.8；根据该指定度阈值选择出置信度高于置信度阈值的人脸区域，并根据位置信息以及非极大值抑制算法去除人脸重叠度较高区域，得出q(q≤m)个人脸区域。

将输入的待检测图像与人脸区域坐标输入人脸特征提取网络，得到人脸关键点、遮挡物判别结果；遮挡物判别结果可以如下：

例如：p_j＝[(μ1,v1),(μ2,v2),…,(μ95,v95)]，p_j表示第j个输出的人脸关键点坐标位置，u表示横坐标，v表示纵坐标；

v_j＝[β₁,β₂,…,β₉₅]，其中，v_j第j个输出的人脸关键点可见性的置信度；

τ_j＝[mask,no_mask]，其中，τ_j第j个人脸嘴部遮挡中属于各个类别的置信度。

该式子表示第j个人脸眼睛遮挡中属于各个类别的置信度。

依据人脸关键点可见性的置信度，可以判断嘴部和眼部的遮挡的百分比，同时根据的索引的位置，根据τ_m和

可以输出嘴部和眼部的遮挡物信息。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种检测人脸遮挡的方法，本实施例是对第二实施例的进一步改进，主要改进之处在于：在根据第一损失函数调整人脸遮挡检测模型的网络参数，生成人脸遮挡检测模型之后，可以针对每个任务模型的网络参数进行调整。其流程如图4所示。

步骤301：根据网络结构对每个数据集中的人脸样本图像进行训练，获取人脸遮挡检测模型的网络参数。

步骤302：根据数据集的标签信息，获取人脸遮挡检测模型的第一损失函数。

步骤303：根据第一损失函数调整人脸遮挡检测模型的网络参数，生成人脸遮挡检测模型。

步骤301至步骤303与第二实施方式中的步骤201至步骤203大致相同，此处将不再进行赘述。

步骤304：针对每个任务模型进行如下处理：获取任务模型对应的任务类型；根据任务类型，获取任务模型对应的第二损失函数；根据第二损失函数调整任务模型中的网络参数。

具体地，固定人脸区域提取网络和人脸特征提取网络中的网络参数；调整每个任务模型的网络参数。针对每个任务模型进行如下处理：获取任务模型对应的任务类型，根据该任务类型查找该任务模型对应的损失函数，进而根据第二损失函数调整该任务模型中的网络参数。例如，人脸区域检测模型的任务类型为回归任务，则确定该人脸区域检测模型对应的第二损失函数可以如公式(3)所示，根据该第二损失函数即可调整该人脸区域检测模型中的网络参数，同理，其他的任务模型的调整类似，此处将不再一一列举。

本实施方式中的检测人脸遮挡的方法，对该人脸遮挡检测模型进行全局训练之后，针对每个任务模型进行调整，可以解决多任务模型中各个任务精度干扰的问题，提高多任务识别精度。

本发明第四实施方式涉及一种检测人脸遮挡的装置，该检测人脸遮挡的装置40的结构如图5所示，包括：待检测图像获取模块401和检测结果获取模块402；待检测图像获取模块401用于获取待检测图像；检测结果获取模块402用于将待检测图像输入预设的人脸遮挡检测模型，获取待检测图像的人脸遮挡检测结果；其中，人脸遮挡检测模型的训练过程包括：根据预设的网络结构对至少两个数据集的人脸样本图像进行训练，生成人脸遮挡检测模型，每个数据集携带有表征数据集应用场景的标签信息。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第五实施方式涉及一种电子设备，其结构框图如图6所示，包括至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述的检测人脸遮挡的方法。

其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。

处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本发明第六实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的检测人脸遮挡的方法。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种检测人脸遮挡的方法，其特征在于，包括：

获取待检测图像；

将所述待检测图像输入预设的人脸遮挡检测模型，获取所述待检测图像的遮挡检测结果；

其中，所述人脸遮挡检测模型的训练过程包括：根据预设的网络结构对至少两个数据集中的人脸样本图像进行训练，生成所述人脸遮挡检测模型，每个所述数据集携带有表征所述数据集的应用场景的标签信息。

2.根据权利要求1所述的检测人脸遮挡的方法，其特征在于，在所述预设的网络结构对至少两个数据集中的人脸样本图像进行训练，生成所述人脸遮挡检测模型之前，所述方法还包括：

针对每个数据集进行如下处理：根据所述数据集中的标注信息，获取所述数据集的应用场景；

根据所述应用场景，为所述数据集设置与所述应用场景对应的标签信息。

3.根据权利要求1或2所述的检测人脸遮挡的方法，其特征在于，所述预设的网络结构包括：依次连接的人脸区域提取网络、人脸特征提取网络以及包括N个任务模型的任务网络，N为大于1的整数；

所述人脸区域提取网络用于从输入的图像中提取人脸区域信息，并将提取的人脸区域信息输入至所述人脸特征提取网络；

所述人脸特征提取网络用于根据所述输入的图像以及所述人脸区域信息，获取人脸特征信息；

N个所述任务模型用于根据所述人脸特征信息，生成所述遮挡检测结果，其中，每个所述任务模型与所述应用场景的训练任务对应。

4.根据权利要求3所述的检测人脸遮挡的方法，其特征在于，所述根据预设的网络结构对至少两个数据集中的人脸样本图像进行训练，生成所述人脸遮挡检测模型，包括：

根据所述网络结构对每个所述数据集中的人脸样本图像进行训练，获取所述人脸遮挡检测模型的网络参数；

根据所述数据集的标签信息，获取所述人脸遮挡检测模型的第一损失函数；

根据所述第一损失函数调整所述人脸遮挡检测模型的网络参数，生成所述人脸遮挡检测模型。

5.根据权利要求4所述的检测人脸遮挡的方法，其特征在于，所述任务模型的任务类型包括分类任务和回归任务；

所述根据所述数据集的标签信息，获取所述人脸遮挡检测模型的第一损失函数，包括：

获取所述第一损失函数的表达式，所述第一损失函数的表达式为

表示第i个所述分类任务对应的损失函数，

表示第i个所述回归任务对应的损失函数；

表示第i个人脸样本图像所属的所述数据集的标签信息；

根据所述数据集的标签信息以及所述第一损失函数的表达式，确定所述第一损失函数。

6.根据权利要求5所述的检测人脸遮挡的方法，其特征在于，在所述根据所述第一损失函数调整所述人脸遮挡检测模型的网络参数，生成所述人脸遮挡检测模型之后，所述方法还包括：

针对每个所述任务模型进行如下处理：获取所述任务模型对应的任务类型；根据所述任务类型，获取所述任务模型对应的第二损失函数；根据所述第二损失函数调整所述任务模型中的网络参数。

7.根据权利要求1所述的检测人脸遮挡的方法，其特征在于，所遮挡检测结果包括：人脸关键点坐标信息、遮挡部位信息、被遮挡部位的遮挡占比以及遮挡物信息。

8.一种检测人脸遮挡的装置，其特征在于，包括：待检测图像获取模块和检测结果获取模块；

所述待检测图像获取模块用于获取待检测图像；

所述检测结果获取模块用于将所述待检测图像输入预设的人脸遮挡检测模型，获取所述待检测图像的遮挡检测结果；

其中，所述人脸遮挡检测模型的训练过程包括：根据预设的网络结构对至少两个数据集中的人脸样本图像进行训练，生成所述人脸遮挡检测模型，每个所述数据集携带有表征所述数据集的应用场景的标签信息。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7任一所述的检测人脸遮挡的方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的检测人脸遮挡的方法。

Images