CN113537054A - 人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质 - Google Patents

人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113537054A
CN113537054A CN202110799709.2A CN202110799709A CN113537054A CN 113537054 A CN113537054 A CN 113537054A CN 202110799709 A CN202110799709 A CN 202110799709A CN 113537054 A CN113537054 A CN 113537054A
Authority
CN
China
Prior art keywords
shielding
face
occlusion
key points
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110799709.2A
Other languages
English (en)
Other versions
CN113537054B (zh
Inventor
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202110799709.2A priority Critical patent/CN113537054B/zh
Publication of CN113537054A publication Critical patent/CN113537054A/zh
Application granted granted Critical
Publication of CN113537054B publication Critical patent/CN113537054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明的实施例提供了人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质，所述方法包括：确定遮挡信息对应的遮挡关键点数量；确定人脸的关键点总数，基于遮挡信息、遮挡关键点数量以及关键点总数，计算待检测图片中人脸的遮挡程度。无需人工对人脸的遮挡信息进行标注，通过遮挡信息、遮挡关键点数量以及关键点总数，自动计算待检测图片人脸的遮挡程度，从而提高人脸遮挡程度的精确度。

Description

人脸遮挡程度计算方法、装置、电子设备及计算机可读存储 介质
技术领域
本发明涉及图像分析领域，具体而言，涉及一种人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质。
背景技术
在视频监控行业，许多的业务都需要进行人脸识别。为了提高人脸识别任务的准确度，通常会对抓拍的人脸进行一个质量评估，进而将质量分数高的人脸图像应用于识别、聚类等任务。其中，在人脸质量分数中，尤其重要的一个影响因素是，人脸遮挡程度。
目前对于图像是否存在遮挡，是通过人工确定的，人工对存在遮挡的图片进行标准，然后基于人工标注图像作为训练样本，训练神经网络。该种方式确定人脸被遮挡需要人工进行标注，主观性较大，造成人脸遮挡结果精确度低，且增加人脸对齐这一步骤，增加耗时。
发明内容
本发明的目的在于提供一种人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质，能够提高确定人脸遮挡程度的精确度。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了人脸遮挡程度计算方法，所述方法包括：
确定待检测图片中人脸的遮挡信息，其中，所述遮挡信息包括遮挡角度信息和遮挡物品信息；
确定遮挡信息对应的遮挡关键点数量；
确定人脸的关键点总数；基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度。
在可选的实施方式中，所述确定遮挡信息对应的遮挡关键点数量的步骤，包括：
在所述遮挡信息为第一方向的第一旋转角度时，确定所述第一旋转角度所属的范围；
在所述第一旋转角度属于第一预设范围的情况下，确定第一旋转角度对应的遮挡关键点的第一数量。
在可选的实施方式中，所述基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度的步骤，包括：
通过以下公式计算待检测图片中人脸的遮挡程度：
L＝(Y-30°)/15°*(A/B)，其中，L为人脸遮挡程度，Y为属于第一预设范围的第一方向的第一旋转角度，A为遮挡关键点的第一数量，B为人脸的关键点总数。
在可选的实施方式中，所述确定遮挡信息对应的遮挡关键点数量的步骤，包括：
在所述第一旋转角度属于第二预设范围的情况下，确定第一旋转角度对应的遮挡关键点的第二数量。
在可选的实施方式中，所述基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度的步骤，包括：
计算所述第二数量与所述第一数量的差值；
将所述差值作为第三数量；
通过以下公式计算待检测图片中人脸的遮挡程度：
L＝(A/B)+(Y-45°)/45°*(C/B)，其中，L为人脸遮挡程度，Y为属于第二预设范围的第一方向的第一旋转角度，C为第三数量。
在可选的实施方式中，所述确定遮挡信息对应的遮挡关键点数量的步骤，包括：
在所述遮挡信息为第二方向的第二旋转角度时，确定所述第二旋转角度所属的范围；
在所述第二旋转角度属于第三预设范围的情况下，确定第二旋转角度对应的被遮挡关键点的第四数量。
在可选的实施方式中，所述基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度的步骤，包括：
通过以下公式计算待检测图片中人脸的遮挡程度：
L＝(P-30°)/30°*(D/B),其中，L为人脸的遮挡程度，P为第二方向的第二旋转角度，D为第四数量，B为关键点总数。
在可选的实施方式中，所述确定遮挡信息对应的遮挡关键点数量的步骤，包括：
在所述遮挡信息为口罩遮挡时，确定所述口罩遮挡对应的遮挡关键点的第五数量。
在可选的实施方式中，所述基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度的步骤包括：
通过以下公式计算待检测图片中人脸的遮挡程度：
L＝E/B，其中，L为人脸的遮挡程度，E为第五数量，B为关键点总数。
在可选的实施方式中，所述确定遮挡信息对应的遮挡关键点数量的步骤，包括：
在所述遮挡信息为眼镜遮挡时，确定所述眼镜遮挡对应的遮挡关键点的第六数量。
在可选的实施方式中，所述基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度的步骤包括：
通过以下公式计算待检测图片中人脸的遮挡程度：
L＝F/B，其中，L为人脸的遮挡程度，F为第六数量，B为关键点总数。
在可选的实施方式中，将携带有人脸的遮挡程度的图片作为训练样本；
依据所述训练样本对人脸遮挡程度估算模型进行训练。
在可选的实施方式中，将待检测图片输入至所述人脸遮挡程度估算模型，输出人脸遮挡程度预测结果；
将所述人脸遮挡程度预测结果与所述待检测图片的遮挡程度进行对比；
在对比结果大于阈值时，对所述待检测图片的遮挡程度进行标注；
将标注后的所述待检测图片作为训练样本；
返回执行所述依据所述训练样本对所述人脸遮挡程度估算模型进行训练的步骤。
第二方面，本申请实施例提供了一种人脸遮挡程度计算装置，所述装置包括：确定模块和计算模块；
所述确定模块用于：确定待检测图片中人脸的遮挡信息，其中，所述遮挡信息包括遮挡角度信息和遮挡物品信息；
确定遮挡信息对应的遮挡关键点数量；
确定人脸的关键点总数；
所述计算模块用于：依据所述人脸遮挡程度处理规则，计算所述待检测图片中人脸的遮挡程度。
第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述人脸遮挡程度计算方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述人脸遮挡程度计算方法的步骤。
本申请具有以下有益效果：
本申请通过确定待检测图片中人脸的遮挡信息；确定遮挡信息对应的遮挡关键点数量；确定人脸的关键点总数，基于遮挡信息、遮挡关键点数量以及关键点总数，计算待检测图片中人脸的遮挡程度。无需人工对人脸的遮挡信息进行标注，通过遮挡信息、遮挡关键点数量以及关键点总数，自动计算待检测图片人脸的遮挡程度，从而提高人脸遮挡程度的精确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的电子设备的方框示意图；
图2为本发明实施例提供的一种人脸遮挡程度计算方法的流程图之一；
图3为本发明实施例提供的人脸关键点示意图；
图4为本发明实施例提供的一种人脸遮挡程度计算方法的流程图之二；
图5为本发明实施例提供的一种人脸遮挡程度计算方法的流程图之三；
图6为本发明实施例提供的一种人脸遮挡程度计算方法的流程图之四；
图7为本发明实施例提供的一种人脸遮挡程度计算方法的流程图之五；
图8为本发明实施例提供的人脸遮挡程度估算模型示意图；
图9为本发明实施例提供的一种人脸遮挡程度计算装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
经过发明人大量研究发现，目前对于图像是否存在遮挡，是通过人工确定的，人工对存在遮挡的图片进行标准，然后基于人工标注图像作为训练样本，训练神经网络。
有鉴于对上述问题的发现，本实施例提供了一种人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质，能够通过确定待检测图片中人脸的遮挡信息；确定遮挡信息对应的遮挡关键点数量；确定人脸的关键点总数，基于遮挡信息、遮挡关键点数量以及关键点总数，计算待检测图片中人脸的遮挡程度，通过确定遮挡信息、遮挡关键点数量以及关键点总数，自动计算待检测图片人脸的遮挡程度，从而提高人脸遮挡程度的精确度，下面对本实施例提供的方案进行详细阐述。
本实施例提供一种可以对人脸遮挡程度进行计算的电子设备。在一种可能的实现方式中，所述电子设备可以为用户终端，例如，电子设备可以是，但不限于，服务器、智能手机、个人电脑(PersonalComputer，PC)、平板电脑、个人数字助理(Personal DigitalAssistant，PDA)、移动上网设备(Mobile Internet Device，MID)以及图像采集装置等。
请参照图1，图1是本申请实施例提供的电子设备100的结构示意图。所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
所述电子设备100包括人脸遮挡程度计算装置110、存储器120及处理器130。
所述存储器120及处理器130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述人脸遮挡程度计算装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述人脸遮挡程度计算装置110所包括的软件功能模块及计算机程序等。
其中，所述存储器120可以是，但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。其中，存储器120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。
请参照图2，图2为应用于图1的电子设备100的一种人脸遮挡程度计算方法的流程图，以下将方法包括各个步骤进行详细阐述。
步骤201：确定待检测图片中人脸的遮挡信息。
遮挡信息包括遮挡角度信息和遮挡物品信息。
步骤202：确定遮挡信息对应的遮挡关键点数量。
步骤203：确定人脸的关键点总数。
步骤204：基于遮挡信息、遮挡关键点数量以及关键点总数，计算待检测图片中人脸的遮挡程度。
人脸的遮挡信息包括角度遮挡信息和物品遮挡信息。例如：人脸向左旋转一定角度，则人脸中部分关键点会无法识别，即为遮挡。人脸向右旋转一定角度也会存在被遮挡。识别到人脸待口罩或者戴眼镜都会遮挡人脸的部分关键点。
在遮挡信息为第一方向的第一旋转角度时，确定第一旋转角度所属的范围；
在第一旋转角度属于第一预设范围的情况下，确定第一旋转角度对应的遮挡关键点的第一数量；基于遮挡信息、遮挡关键点数量以及关键点总数，计算待检测图片中人脸的遮挡程度的步骤，包括：通过以下公式计算待检测图片中人脸的遮挡程度：
L＝(Y-30°)/15°*(A/B)，其中，L为人脸遮挡程度，Y为属于第一预设范围的第一方向的第一旋转角度，A为遮挡关键点的第一数量，B为人脸的关键点总数。
第一方向可以为向左旋转或者向右旋转。
当遮挡信息为第一方向的第一旋转角度时，确定第一旋转角度是否在第一预设范围内。第一预设范围可以为：[30°，45°]。在第一旋转角度在第一预设范围内时，确定第一旋转角度对应的遮挡关键点的第一数量。
第一旋转角度对应的遮挡关键点的第一数量可以实时获取，也可以通过第一旋转角度对应的遮挡关键点的第一数量与第一预设范围的关系进行获取。
获取人脸关键点总数，如图3所示，为人脸关键点示意图，图中，人脸关键点总数为68个。
例如：设定在第一方向的第一旋转角度在(30°，45°)时，则确定被遮挡的关键点的第一数量为8个。且被遮挡的关键点为17，18，31，36，48，49，59，60。
通过公式计算待检测图片中人脸的遮挡程度：L＝(Y-30°)/15°*(8/68),30°<Y<45°，Y为第一方向的旋转角度，8为遮挡关键点的第一数量，68为人脸的关键点总数。
在第一旋转角度属于第二预设范围的情况下，确定第一旋转角度对应的遮挡关键点的第二数量；基于遮挡信息、遮挡关键点数量以及关键点总数，计算待检测图片中人脸的遮挡程度的步骤，包括：确定第一数量对应的第一遮挡关键点集合；确定第二数量对应的第二遮挡关键点集合；根据第一遮挡关键点集合和第二遮挡关键点集合中重复的关键点的第三数量；通过以下公式计算待检测图片中人脸的遮挡程度：L＝(A/B)+(Y-45°)/45°*(C/B)，其中，L为人脸遮挡程度，Y为属于第二预设范围的第一方向的第一旋转角度，C为第三数量。
当第一旋转角度属于第二预设范围。第二预设范围可以为：(45°，90°)。在第一方向的第一旋转角度在第二预设范围内时，确定第一旋转角度对应的遮挡关键点的第二数量。
第一旋转角度对应的遮挡关键点的第二数量可以实时获取，也可以通过第一旋转角度对应的遮挡关键点的第二数量与第二预设范围的关系进行获取。
例如：设定在第一方向的第一旋转角度在(45°，90°)时，则确定第一旋转角度对应的遮挡关键点的第二数量为14个。即图3中31-35，40，41，46，47，55-59的关键点被遮挡。
由于第一方向的第一旋转角度在第二预设范围内，且第二预设范围的角度大于第一预设范围，因此，在第一方向的第一旋转角度在第二预设范围内的情况下，第二预设范围内的第一旋转角度对应的遮挡关键点包含第一预设范围内的第一旋转角度对应的遮挡关键点，因此，计算在第二预设范围内的第一旋转角度对应的遮挡关键点的第二数量，与在第一预设范围内的第一旋转角度对应的遮挡关键点的第一数量的差值，并计算待检测图片中人脸的遮挡程度，具体为：
L＝(8/68)+(Y-45°)/45°*(13/68),45°<Y<90°，Y为在第二预设范围内的第一方向的第一旋转角度，8为第一数量，68为人脸的关键点总数，13为第三数量。
需要说明的是，当第一方向的第一旋转角度小于或者等于30°时，确定人脸的关键点无遮挡，即人脸的遮挡程度0。
当遮挡信息为第二方向的旋转角度时，在本申请的另一实施例中，如图4所示，提供了一种人脸遮挡程度计算方法，具体包括如下步骤：
步骤301：确定待检测图片中人脸的遮挡信息。
步骤302：在遮挡信息为第二方向的第二旋转角度时，确定第二旋转角度所属的范围。
步骤303：在第二旋转角度属于第三预设范围的情况下，确定第二旋转角度对应的被遮挡关键点的第四数量。
步骤304：确定人脸的关键点总数。
步骤305：通过以下公式计算待检测图片中人脸的遮挡程度：
L＝(P-30°)/30°*(D/B)。
其中，L为人脸的遮挡程度，P为第二方向的第二旋转角度，D为第四数量，B为关键点总数。
当待检测图片中的遮挡信息仅是第二方向的第二旋转角度遮挡时，第二方向可以为向上旋转和向下旋转，即人脸的仰角或者俯角，由于仰角是不存在角度遮挡人脸的情况，仅考虑俯角的情况。
第二方向的第二旋转角度以30°为分界线，当第二方向的旋转角度小于30度的人脸，无遮挡，当第二方向的旋转角度为60°时，图3中关键点31-35，40，41，46，47，55-59共14个点被遮挡。由于监控场景下基本不会抓拍第二方向的旋转角度大于60°的图片，因此对于第二方向的第二旋转角度大于60°的图片，也当60°处理。因此，仅有第二方向的第二旋转角度遮挡时，具体计算方式为：
L＝(P-30°)/30°*(14/68),30°<P<60°，其中，P为第二方向的第二旋转角度，第三预设范围为(30°,60°)，14为第四数量，68为关键点总数量。
当遮挡信息同时包括第一方向的第一旋转角度和第二方向的第二旋转角度时，分别计算遮挡信息为第一方向的第一旋转角度的第一人脸遮挡程度，计算遮挡信息为第二方向的第二旋转角度的第二人脸遮挡程度，确定第一方向的第一旋转角度与第二方向遮挡的第一关键点集合，计算第二旋转角度遮挡的第二关键点集合，确定第一关键点集合和第二关键点集合中重合的关键点，并确定重合关键点的数量，计算重合关键点数量与关键点总数的比值，计算第一人脸遮挡程度和第二人脸遮挡程度的和，计算和与比值的差，作为既包含第一方向的第一旋转角度和第二方向的第二旋转角度下的人脸遮挡程度。
具体地，第一人脸遮挡程度为L1，第二人脸遮挡程度为L2，重合关键点数量为num，关键点总数为B，既包含第一方向的第一旋转角度和第二方向的第二旋转角度下的人脸遮挡程度的计算方式为：
L＝L1+L2–num/B。
本申请通过确定待检测图片中人脸的角度遮挡信息，基于角度遮挡信息，确定对应的遮挡关键点数量，确定人脸的关键点总数，基于角度遮挡信息、遮挡关键点数量以及关键点总数，计算人脸的遮挡程度。无需人工对人脸角度遮挡的关键点进行标注，本发明自动计算待检测图片人脸的遮挡程度，从而提高人脸遮挡程度的精确度。
当遮挡信息为口罩遮挡时，在本申请的另一实施例中，如图5所示，提供了一种人脸遮挡程度计算方法，具体包括如下步骤：
步骤401：确定待检测图片中人脸的遮挡信息。
步骤402：在遮挡信息为口罩遮挡时，确定口罩遮挡对应的遮挡关键点的第五数量。
步骤403：确定遮挡信息对应的遮挡关键点数量。
步骤404：通过以下公式计算待检测图片中人脸的遮挡程度：
L＝E/B。
其中，L为人脸的遮挡程度，E为第五数量，B为关键点总数。
当待检测图片中的遮挡信息仅为口罩遮挡，确定口罩遮挡对应的遮挡关键点数量，图3中关键点0-16，29-35，48-67共44个关键点被遮挡。计算44/68，即为待检测图片中仅包括口罩遮挡时的人脸的遮挡程度。
在实际应用中，由于需要大量召回遮挡信息仅为人脸佩戴口罩的图片，因此在实际生成待检测图片的人脸遮挡程度时，会减去一个随机的遮挡分数，适当抑制遮挡信息仅为人脸佩戴口罩的人脸的遮挡程度。
当遮挡信息为眼镜遮挡时，在本申请的另一实施例中，如图6所示，提供了一种人脸遮挡程度计算方法，具体包括如下步骤：
步骤501：确定待检测图片中人脸的遮挡信息。
步骤502：在遮挡信息为眼镜遮挡时，确定眼镜遮挡对应的遮挡关键点的第六数量。
步骤503：确定遮挡信息对应的遮挡关键点数量。
步骤504：通过以下公式计算待检测图片中人脸的遮挡程度：
L＝F/B。
其中，L为人脸的遮挡程度，F为第六数量，B为关键点总数。当待检测图片中的遮挡信息仅为眼镜遮挡，确定眼镜遮挡对应的遮挡关键点数量，图3中关键点17-27,36-47共23个关键点被遮挡。计算23/68，即为待检测图片中仅包括口罩遮挡时的人脸的遮挡程度。
同理，针对遮挡信息既包含第一方向的第一旋转角度或第二方向的第二旋转角度，以及口罩遮挡或眼镜遮挡时，计算存在单个遮挡信息下的人脸的遮挡程度，并减去重合的关键点数量对应的人脸遮挡程度。
例如：待检测图片的遮挡信息包含第一方向的旋转角度、第二方向的旋转角度以及口罩遮挡，当遮挡信息仅为第一方向的第一旋转角度时，人脸遮挡程度LY，当遮挡信息仅为第二方向的第二旋转角度时，计算人脸遮挡程度LP，当遮挡信息仅为口罩遮挡时，计算人脸遮挡程度Lc，确定第一方向的第一旋转角度、第二方向的第二旋转角度以及口罩遮挡之间的遮挡重合关键点数量A，基于以下公式计算当前待检测图片的人脸的遮挡程度：
当前待检测图片的人脸的遮挡程度＝LY+LP+Lc-A/B，B为关键点总数。
待检测图片可以为完整的人脸或者不完整的人脸，针对不完整的人脸，该训练数据的来源主要是裁剪完整人脸生成的。
本申请通过确定待检测图片中人脸的遮挡信息；确定遮挡信息对应的遮挡关键点数量；确定人脸的关键点总数，基于遮挡信息、遮挡关键点数量以及关键点总数，计算待检测图片中人脸的遮挡程度。无需人工对人脸的遮挡信息进行标注，通过遮挡信息、遮挡关键点数量以及关键点总数，自动计算待检测图片人脸的遮挡程度，从而提高人脸遮挡程度的精确度。
基于计算出人脸遮挡程度的待检测图片，对人脸遮挡程度估算模型进行训练，在本申请的另一实施例中，如图7所示:具体包括如下步骤：
步骤601：将携带有人脸的遮挡程度的图片作为训练样本。
步骤602：依据训练样本对人脸遮挡程度估算模型进行训练。
将待检测图片输入至人脸遮挡程度估算模型，输出人脸遮挡程度预测结果；
将人脸遮挡程度预测结果与待检测图片的遮挡程度进行对比；
在对比结果大于阈值时，对待检测图片的遮挡程度进行标注；
将标注后的待检测图片作为训练样本；
返回执行依据训练样本对人脸遮挡程度估算模型进行训练的步骤。
利用上述方法得到的携带有人脸的遮挡程度的待检测图片，基于图8所示的训练模型示意图，训练一个人脸遮挡程度估算模型。
人脸遮挡程度估算模型为链式结构的神经网络模型，包括9个卷积层，2个全连接层。
使用该模型对训练图像进行预测。对比预测结果与待检测图片的人脸的遮挡程度，挑出其中相差大于某个阈值的训练图片，进行人工复核或者重标注，将标注后的待检测图片作为训练样本；返回执行依据训练样本对人脸遮挡程度估算模型进行训练的步骤。
通过以上步骤，会在短时间内得到一个人脸的遮挡程度基本准确的人脸遮挡程度训练集。能快速支持相应的业务以及迭代优化人脸遮挡程度估算模型。在无新增训练数据的情况下，可以通过反复执行将标注后的待检测图片作为训练样本；返回执行依据训练样本对人脸遮挡程度估算模型进行训练的步骤来提升模型效果。
请参照图9，本申请实施例还提供了一种应用于图1所述电子设备100的人脸遮挡程度计算装置110，所述人脸遮挡程度计算装置110包括：确定模块111和计算模块112；
所述确定模块111用于：确定待检测图片中人脸的遮挡信息，其中，所述遮挡信息包括遮挡角度信息和遮挡物品信息；
确定遮挡信息对应的遮挡关键点数量；
确定人脸的关键点总数；
所述计算模块112用于：基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度。
可选地，在一些可能的实现方式中，所述确定模块111还用于：
在所述遮挡信息为第一方向的第一旋转角度时，确定所述第一旋转角度所属的范围；
在所述第一旋转角度属于第一预设范围的情况下，确定第一旋转角度对应的遮挡关键点的第一数量。
可选地，在一些可能的实现方式中，所述计算模块112还用于：通过以下公式计算待检测图片中人脸的遮挡程度：
L＝(Y-30°)/15°*(A/B)，其中，L为人脸遮挡程度，Y为属于第一预设范围的第一方向的第一旋转角度，A为遮挡关键点的第一数量，B为人脸的关键点总数。
可选地，在一些可能的实现方式中，所述确定模块111还用于：在所述第一旋转角度属于第二预设范围的情况下，确定第一旋转角度对应的遮挡关键点的第二数量。
可选地，在一些可能的实现方式中，所述计算模块112还用于：计算所述第二数量与所述第一数量的差值；
将所述差值作为第三数量；
通过以下公式计算待检测图片中人脸的遮挡程度：
L＝(A/B)+(Y-45°)/45°*(C/B)，其中，L为人脸遮挡程度，Y为属于第二预设范围的第一方向的第一旋转角度，C为第三数量。
可选地，在一些可能的实现方式中，所述确定模块111还用于：在所述遮挡信息为第二方向的第二旋转角度时，确定所述第二旋转角度所属的范围；
在所述第二旋转角度属于第三预设范围的情况下，确定第二旋转角度对应的被遮挡关键点的第四数量。
可选地，在一些可能的实现方式中，所述计算模块112还用于：通过以下公式计算待检测图片中人脸的遮挡程度：
L＝(P-30°)/30°*(D/B),其中，L为人脸的遮挡程度，P为第二方向的第二旋转角度，D为第四数量，B为关键点总数。
可选地，在一些可能的实现方式中，所述确定模块111还用于：在所述遮挡信息为口罩遮挡时，确定所述口罩遮挡对应的遮挡关键点的第五数量。
可选地，在一些可能的实现方式中，所述计算模块112还用于：通过以下公式计算待检测图片中人脸的遮挡程度：
L＝E/B，其中，L为人脸的遮挡程度，E为第五数量，B为关键点总数。
可选地，在一些可能的实现方式中，所述确定模块111还用于：在所述遮挡信息为眼镜遮挡时，确定所述眼镜遮挡对应的遮挡关键点的第六数量。
可选地，在一些可能的实现方式中，所述计算模块112还用于：通过以下公式计算待检测图片中人脸的遮挡程度：
L＝F/B，其中，L为人脸的遮挡程度，F为第六数量，B为关键点总数。
可选地，在一些可能的实现方式中，所述装置还包括训练模块113，所述训练模块113用于：
将携带有人脸的遮挡程度的图片作为训练样本；
依据所述训练样本对人脸遮挡程度估算模型进行训练。
可选地，在一些可能的实现方式中，所述训练模块113还用于：将待检测图片输入至所述人脸遮挡程度估算模型，输出人脸遮挡程度预测结果；
将所述人脸遮挡程度预测结果与所述待检测图片的遮挡程度进行对比；
在对比结果大于阈值时，对所述待检测图片的遮挡程度进行标注；
将标注后的所述待检测图片作为训练样本；
返回执行所述依据所述训练样本对所述人脸遮挡程度估算模型进行训练的步骤。
本申请通过确定待检测图片中人脸的遮挡信息；确定遮挡信息对应的遮挡关键点数量；确定人脸的关键点总数，基于遮挡信息、遮挡关键点数量以及关键点总数，计算待检测图片中人脸的遮挡程度。无需人工对人脸的遮挡信息进行标注，通过遮挡信息、遮挡关键点数量以及关键点总数，自动计算待检测图片人脸的遮挡程度，从而提高人脸遮挡程度的精确度。
本申请还提供一种电子设备100，电子设备100包括处理器130以及存储器120。存储器120存储有计算机可执行指令，计算机可执行指令被处理器130执行时，实现该人脸遮挡程度计算方法。
本申请实施例还提供一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序被处理器130执行时，实现该人脸遮挡程度计算方法。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (16)

1.一种人脸遮挡程度计算方法，其特征在于，所述方法包括：
确定待检测图片中人脸的遮挡信息，其中，所述遮挡信息包括遮挡角度信息和遮挡物品信息；
确定遮挡信息对应的遮挡关键点数量；
确定人脸的关键点总数；
基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度。
2.根据权利要求1所述的方法，其特征在于，所述确定遮挡信息对应的遮挡关键点数量的步骤，包括：
在所述遮挡信息为第一方向的第一旋转角度时，确定所述第一旋转角度所属的范围；
在所述第一旋转角度属于第一预设范围的情况下，确定第一旋转角度对应的遮挡关键点的第一数量。
3.根据权利要求2所述方法，其特征在于，所述基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度的步骤，包括：
通过以下公式计算待检测图片中人脸的遮挡程度：
L＝(Y-30°)/15°*(A/B)，其中，L为人脸遮挡程度，Y为属于第一预设范围的第一方向的第一旋转角度，A为遮挡关键点的第一数量，B为人脸的关键点总数。
4.根据权利要求2所述的方法，其特征在于，所述确定遮挡信息对应的遮挡关键点数量的步骤，包括：
在所述第一旋转角度属于第二预设范围的情况下，确定第一旋转角度对应的遮挡关键点的第二数量。
5.根据权利要求4所述的方法，其特征在于，所述基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度的步骤，包括：
计算所述第二数量与所述第一数量的差值；
将所述差值作为第三数量；
通过以下公式计算待检测图片中人脸的遮挡程度：
L＝(A/B)+(Y-45°)/45°*(C/B)，其中，L为人脸遮挡程度，Y为属于第二预设范围的第一方向的第一旋转角度，C为第三数量。
6.根据权利要求1所述的方法，其特征在于，所述确定遮挡信息对应的遮挡关键点数量的步骤，包括：
在所述遮挡信息为第二方向的第二旋转角度时，确定所述第二旋转角度所属的范围；
在所述第二旋转角度属于第三预设范围的情况下，确定第二旋转角度对应的被遮挡关键点的第四数量。
7.根据权利要求6所述的方法，其特征在于，所述基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度的步骤，包括：
通过以下公式计算待检测图片中人脸的遮挡程度：
L＝(P-30°)/30°*(D/B),其中，L为人脸的遮挡程度，P为第二方向的第二旋转角度，D为第四数量，B为关键点总数。
8.根据权利要求1所述的方法，其特征在于，所述确定遮挡信息对应的遮挡关键点数量的步骤，包括：
在所述遮挡信息为口罩遮挡时，确定所述口罩遮挡对应的遮挡关键点的第五数量。
9.根据权利要求8所述的方法，其特征在于，所述基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度的步骤包括：
通过以下公式计算待检测图片中人脸的遮挡程度：
L＝E/B，其中，L为人脸的遮挡程度，E为第五数量，B为关键点总数。
10.根据权利要求1所述的方法，其特征在于，所述确定遮挡信息对应的遮挡关键点数量的步骤，包括：
在所述遮挡信息为眼镜遮挡时，确定所述眼镜遮挡对应的遮挡关键点的第六数量。
11.根据权利要求10所述的方法，其特征在于，所述基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度的步骤包括：
通过以下公式计算待检测图片中人脸的遮挡程度：
L＝F/B，其中，L为人脸的遮挡程度，F为第六数量，B为关键点总数。
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将携带有人脸的遮挡程度的图片作为训练样本；
依据所述训练样本对人脸遮挡程度估算模型进行训练。
13.根据权利要求12所述的方法，其特征在于，所述方法还包括：
将待检测图片输入至所述人脸遮挡程度估算模型，输出人脸遮挡程度预测结果；
将所述人脸遮挡程度预测结果与所述待检测图片的遮挡程度进行对比；
在对比结果大于阈值时，对所述待检测图片的遮挡程度进行标注；
将标注后的所述待检测图片作为训练样本；
返回执行所述依据所述训练样本对所述人脸遮挡程度估算模型进行训练的步骤。
14.一种人脸遮挡程度计算装置，其特征在于，所述装置包括：确定模块和计算模块；
所述确定模块用于：确定待检测图片中人脸的遮挡信息，其中，所述遮挡信息包括遮挡角度信息和遮挡物品信息；
确定遮挡信息对应的遮挡关键点数量；
确定人脸的关键点总数；
所述计算模块用于：基于所述遮挡信息、所述遮挡关键点数量以及所述关键点总数，计算所述待检测图片中人脸的遮挡程度。
15.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-13任一项所述方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-13中任一项所述方法的步骤。
CN202110799709.2A 2021-07-15 2021-07-15 人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质 Active CN113537054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110799709.2A CN113537054B (zh) 2021-07-15 2021-07-15 人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110799709.2A CN113537054B (zh) 2021-07-15 2021-07-15 人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113537054A true CN113537054A (zh) 2021-10-22
CN113537054B CN113537054B (zh) 2022-11-01

Family

ID=78128077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110799709.2A Active CN113537054B (zh) 2021-07-15 2021-07-15 人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113537054B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740533A (zh) * 2018-12-29 2019-05-10 北京旷视科技有限公司 遮挡比例确定方法、装置和电子系统
CN110378324A (zh) * 2019-07-15 2019-10-25 易诚高科（大连）科技有限公司 一种基于质量维度的人脸识别算法评估方法
CN111191616A (zh) * 2020-01-02 2020-05-22 广州织点智能科技有限公司 一种人脸遮挡检测方法、装置、设备及存储介质
CN111414879A (zh) * 2020-03-26 2020-07-14 北京字节跳动网络技术有限公司 人脸遮挡程度识别方法、装置、电子设备及可读存储介质
CN111767876A (zh) * 2020-07-02 2020-10-13 北京爱笔科技有限公司 一种有遮挡人脸图像的生成方法及装置
CN111931741A (zh) * 2020-09-29 2020-11-13 北京达佳互联信息技术有限公司 嘴部关键点的标注方法、装置、电子设备及存储介质
CN112633144A (zh) * 2020-12-21 2021-04-09 平安科技（深圳）有限公司 人脸遮挡检测方法、系统、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740533A (zh) * 2018-12-29 2019-05-10 北京旷视科技有限公司 遮挡比例确定方法、装置和电子系统
CN110378324A (zh) * 2019-07-15 2019-10-25 易诚高科（大连）科技有限公司 一种基于质量维度的人脸识别算法评估方法
CN111191616A (zh) * 2020-01-02 2020-05-22 广州织点智能科技有限公司 一种人脸遮挡检测方法、装置、设备及存储介质
CN111414879A (zh) * 2020-03-26 2020-07-14 北京字节跳动网络技术有限公司 人脸遮挡程度识别方法、装置、电子设备及可读存储介质
CN111767876A (zh) * 2020-07-02 2020-10-13 北京爱笔科技有限公司 一种有遮挡人脸图像的生成方法及装置
CN111931741A (zh) * 2020-09-29 2020-11-13 北京达佳互联信息技术有限公司 嘴部关键点的标注方法、装置、电子设备及存储介质
CN112633144A (zh) * 2020-12-21 2021-04-09 平安科技（深圳）有限公司 人脸遮挡检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN113537054B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN108038176B (zh) 一种路人库的建立方法、装置、电子设备及介质
US20170161591A1 (en) System and method for deep-learning based object tracking
CN111062273B (zh) 一种遗留物品追溯检测与报警方法
JP4999794B2 (ja) 静止領域検出方法とその装置、プログラム及び記録媒体
CN113127864B (zh) 特征码提取方法、装置、计算机设备和可读存储介质
CN113869137A (zh) 事件检测方法、装置、终端设备及存储介质
CN109242882B (zh) 视觉跟踪方法、装置、介质及设备
CN114359341A (zh) 多目标跟踪方法、装置、终端设备和可读存储介质
CN113537054B (zh) 人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质
CN111161789B (zh) 一种模型预测的关键区域的分析方法及装置
CN109600627B (zh) 一种视频识别方法和装置
CN110246280B (zh) 人货绑定方法及装置、计算机设备及可读介质
CN111385659B (zh) 一种视频推荐方法、装置、设备及存储介质
CN111444833A (zh) 果实测产方法、装置、计算机设备及存储介质
CN108776972B (zh) 一种对象跟踪方法及装置
CN111625683A (zh) 基于图结构差异分析的视频摘要自动生成方法及系统
CN110956649A (zh) 多目标三维物体跟踪的方法和装置
CN115116130A (zh) 一种通话动作识别方法、装置、设备以及存储介质
CN116383423A (zh) 图像检索结果的重排方法、装置、计算机设备及介质
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
CN115565103A (zh) 一种动态目标检测方法、装置、计算机设备及存储介质
CN115393616A (zh) 目标跟踪方法、装置、设备以及存储介质
CN114422848A (zh) 视频分割方法、装置、电子设备及存储介质
CN112287846A (zh) 目标人物跟随方法、装置、可移动机器人及可读存储介质
CN107256214B (zh) 一种垃圾信息判断方法和装置以及一种服务器集群

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant