CN114093012A - 人脸遮挡的检测方法和检测装置 - Google Patents

Abstract

本申请提供了一种人脸遮挡的检测方法和检测装置，可以检测人脸图像的遮挡的情况，有利于提高人脸识别的准确率。该方法包括：电子设备通过深度摄像头获取目标人脸图像的灰度图和目标人脸图像的深度图，灰度图和深度图存在对应关系；电子设备将灰度图输入至第一模型得到五官中每个部位的关键点，第一模型是基于人脸图像和人脸图像中五官中每个部位的关键点训练得到的；电子设备根据五官中每个部位的关键点以及对应关系，在深度图中确定五官中每个部位所在的第一区域；电子设备根据每个部位所在的第一区域的深度信息与预设信息，确定五官中每个部位的第一遮挡信息，预设信息为未被遮挡的五官中每个部位所在区域的深度信息。

Description

人脸遮挡的检测方法和检测装置

技术领域

本申请涉及图像处理领域，尤其涉及一种人脸遮挡的检测方法和检测装置。

背景技术

目前，随着信息技术的高速发展，人脸识别技术已广泛应用于现实生活中的金融支付、门禁考勤、身份识别、交通、教育、医疗、警务、电子商务等诸多场景中，给人们的生活带来很大便利。人脸识别是基于人的脸部特征信息进行信息识别和身份认证的一种生物识别技术。在进行人脸识别过程中，需要确保采集到的人脸图像特征完整，以此来保证人脸识别结果的精度和有效性。

但是，在实际应用过程中，经常会发生人脸被遮挡物（如帽子、墨镜、眼镜、口罩等遮挡物）遮挡的情况，当对被遮挡物遮挡的人脸图像使用通用的人脸识别方法进行识别时，采集到的人脸图像特征不完整，会导致人脸识别不准确。因此在对人脸图像进行人脸识别之前，需要检测人脸图像是否为存在遮挡的人脸图像，以便于后续基于该检测结果使用合适的方法来进行处理，以提高人脸识别的准确率。

发明内容

本申请提供了一种人脸遮挡的检测方法和检测装置，可以检测人脸图像的遮挡的情况，有利于提高人脸识别的准确率。

第一方面，本申请提供了一种人脸遮挡的检测方法，可以应用于包括深度摄像头的电子设备，该方法包括：电子设备通过深度摄像头获取目标人脸图像的灰度图和目标人脸图像的深度图，灰度图和深度图存在对应关系；电子设备将灰度图输入至第一模型得到五官中每个部位的关键点，第一模型是基于人脸图像和人脸图像中五官中每个部位的关键点训练得到的；电子设备根据五官中每个部位的关键点以及对应关系，在深度图中确定五官中每个部位所在的第一区域；电子设备根据五官中每个部位所在的第一区域的深度信息与预设信息，确定五官中每个部位的第一遮挡信息，预设信息为未被遮挡的五官中每个部位所在区域的深度信息。

深度摄像头可以获取人脸图像的灰度图和深度图，深度图包括人脸图像灰度图中每个像素点的深度信息，即人脸的每个点到深度摄像头的距离，故灰度图和深度图存在一一对应的关系。

目标人脸图像可以理解为待检测的人脸图像，目标人脸图像仅仅为一个名称的示例，本申请实施例对此不作限定。

五官，即人的面貌长相，可以用于体现人脸特征。

第一模型也可以称为人脸关键点检测模型，用于检测人脸五官中每个部位的关键点，本申请实施例对模型的名称不作限定。

第一遮挡信息可以为被遮挡或者未被遮挡。

预设信息为未被遮挡时五官中每个部位所在区域的深度信息，电子设备将目标人脸图像中每个部位所在的第一区域的深度信息与预设信息进行对比，进而确定五官中每个部位的第一遮挡信息。

本申请提供的人脸遮挡的检测方法，对人脸图像的灰度图进行五官中每个部位的关键点检测，得到五官中每个部位的关键点，然后根据灰度图与深度图的对应关系，在深度图中确定每个部分所在的第一区域，进而得到第一区域的深度信息，根据深度信息与预设信息判断五官中各个部位是否被遮挡，利用深度信息的差别判断是否被遮挡，可以检测人脸图像的遮挡的情况，有利于提高人脸识别的准确率。

结合第一方面，在第一方面的某些实现方式中，上述根据五官中每个部位的关键点以及对应关系，在深度图中确定五官中每个部位所在的第一区域，包括：电子设备根据五官中每个部位的关键点，确定五官中每个部位的中心点；电子设备以五官中每个部位的中心点为中心向周围扩大第一阈值，并根据对应关系，确定五官中每个部位的第一区域。

本申请提供的人脸遮挡的检测方法，根据五官中每个部位的关键点确定每个部位的中心点，根据每个部位的中心点确定每个部分所在的第一区域，根据第一区域的深度信息与预设的信息在进行对比，确定每个部位的第一遮挡信息，该方法通过确定每个部位的中心点在扩大的方式确定每个部分所在的区域，相比于任意确定一点再扩大，方法简单计算量小。

结合第一方面，在第一方面的某些实现方式中，上述根据五官中每个部位所在的第一区域的深度信息与预设信息，确定五官中每个部位的第一遮挡信息，包括：电子设备将五官中每个部位所在的第一区域的深度信息与预设信息进行显著性校验，确定五官中每个部位的显著性差异信息；电子设备根据五官中每个部位的显著性差异信息，确定五官中每个部位的第一遮挡信息。

本申请提供的人脸遮挡的检测方法，通过显著性校验分析每个部位所在的第一区域的深度信息与预设信息的差异，相比直接对比每一个像素点的深度信息，可以提高分析效率，有利于提高人脸遮挡检测的准确性，进而有利于提高人脸识别的准确率。

结合第一方面，在第一方面的某些实现方式中，上述在将五官中每个部位所在的第一区域的深度信息与预设信息进行显著性校验，确定五官中每个部位的显著性差异信息之前，方法还包括：电子设备对五官中每个部位所在的第一区域的深度信息进行归一化，得到归一化后的五官中每个部位所在的第一区域的深度信息；将五官中每个部位所在的第一区域的深度信息与预设信息进行显著性校验，确定五官中每个部位的显著性差异信息，包括：电子设备将归一化后的五官中每个部位所在的第一区域的深度信息与预设信息进行显著性校验，确定五官中每个部位的显著性差异信息。

结合第一方面，在第一方面的某些实现方式中，上述根据五官中每个部位的显著性差异信息，确定五官中每个部位的第一遮挡信息，包括：当五官中每个部位的显著性差异信息为不存在显著性差异时，电子设备确定五官中每个部位的第一遮挡信息为未被遮挡；或者，当五官中每个部位的显著性差异信息为存在显著性差异时，电子设备确定五官中每个部位的第一遮挡信息为被遮挡。

本申请提供的人脸遮挡的检测方法，在显著性校验之前，对第一区域的深度信息进行归一化，使显著性校验在同一范围内进行比较，可以提高显著性校验的准确性，有利于提高人脸遮挡检测的准确性，进而有利于提高人脸识别的准确率。

结合第一方面，在第一方面的某些实现方式中，上述方法还包括：电子设备将灰度图输入至第二模型得到的五官中每个部位所在的第二区域，第二模型是基于人脸图像和人脸图像中五官中每个部位所在的区域训练得到的；电子设备根据五官中每个部位的关键点是否在五官中每个部位所在的第二区域内，确定五官中每个部位的第二遮挡信息；电子设备根据五官中每个部位的第二遮挡信息，更新五官中每个部位的第一遮挡信息，得到更新后的五官中每个部位的第一遮挡信息。

本申请提供的人脸遮挡的检测方法，通过灰度图得到五官中每个部位所在的第二区域，通过判断关键点是否在第二区域内，确定第二遮挡信息，并更新第一遮挡信息，从两个维度分析遮挡信息，并综合得到最终的遮挡信息，可以提高人脸遮挡检测的准确性，有利于提高人脸识别的准确率。

结合第一方面，在第一方面的某些实现方式中，上述根据五官中每个部位的关键点是否在五官中每个部位所在的第二区域内，确定五官中每个部位的第二遮挡信息，包括：当五官中每个部位的关键点在每个部位所在的第二区域内的数量超过第二阈值时，电子设备确定五官中每个部位的第二遮挡信息为未被遮挡；或者，当五官中每个部位的关键点在五官中每个部位所在的第二区域内的数量未超过第二阈值时，电子设备确定五官中每个部位的第二遮挡信息为被遮挡。

本申请提供的人脸遮挡的检测方法，以第二阈值为界限，根据五官中每个部位的关键点在每个部位所在的第二区域内的数量是否超过第二阈值，确定每个部位的第二遮挡信息，可以提高容错率，避免判断失误，有利于提高人脸遮挡检测的准确性，有利于提高人脸识别的准确率。

结合第一方面，在第一方面的某些实现方式中，上述根据五官中每个部位的第二遮挡信息，更新五官中每个部位的第一遮挡信息，得到更新后的五官中每个部位的第一遮挡信息，包括：电子设备对五官中每个部位的第一遮挡信息和五官中每个部位的第二遮挡信息进行或操作，得到五官中每个部位的操作结果；电子设备基于五官中每个部位的操作结果更新五官中每个部位的第一遮挡信息，得到更新后的五官中每个部位的第一遮挡信息。

本申请提供的人脸遮挡的检测方法，对第一遮挡信息和第二遮挡信息进行或操作，得到操作结果，基于操作结果更新第一遮挡信息，利用第二遮挡信息验证第一遮挡信息的正确性，当任一遮挡信息为被遮挡时，可以确定五官中的部位被遮挡，可以增加检测遮挡的敏感度，有利于提高人脸遮挡检测的准确性，有利于提高人脸识别的准确率。

结合第一方面，在第一方面的某些实现方式中，上述方法还包括：电子设备统计五官中每个部位的关键点在遮挡物所在的区域内的数量，遮挡物所在的区域是将灰度图输入至第三模型得到的，第三模型是基于被遮挡物遮挡的人脸图像训练得到的；当五官中存在第一部位的关键点在遮挡物所在的区域内的数量超过第三阈值时，电子设备确定第一部位被遮挡物遮挡。

本申请提供的人脸遮挡的检测方法，可以检测五官中的各个部位是否遮挡物遮挡，可以进一步实现遮挡物的检测。

结合第一方面，在第一方面的某些实现方式中，上述遮挡物包括口罩和墨镜。

结合第一方面，在第一方面的某些实现方式中，上述五官包括以下至少一个部位：左眼、右眼、鼻子、上嘴唇或者下嘴唇。

第二方面，本申请提供了一种人脸遮挡的检测装置，包括：获取模块和处理模块。其中，获取模块用于：通过深度摄像头获取目标人脸图像的灰度图和目标人脸图像的深度图，灰度图和深度图存在对应关系；处理模块用于：将灰度图输入至第一模型得到五官中每个部位的关键点，第一模型是基于人脸图像和人脸图像中五官中每个部位的关键点训练得到的；根据五官中每个部位的关键点以及对应关系，在深度图中确定五官中每个部位所在的第一区域；根据五官中每个部位所在的第一区域的深度信息与预设信息，确定五官中每个部位的第一遮挡信息，预设信息为未被遮挡的五官中每个部位所在区域的深度信息。

结合第二方面，在第二方面的某些实现方式中，上述处理模块还用于：根据五官中每个部位的关键点，确定五官中每个部位的中心点；以五官中每个部位的中心点为中心向周围扩大第一阈值，并根据对应关系，确定五官中每个部位的第一区域。

结合第二方面，在第二方面的某些实现方式中，上述处理模块还用于：将五官中每个部位所在的第一区域的深度信息与预设信息进行显著性校验，确定五官中每个部位的显著性差异信息；根据五官中每个部位的显著性差异信息，确定五官中每个部位的第一遮挡信息。

结合第二方面，在第二方面的某些实现方式中，上述处理模块还用于：对五官中每个部位所在的第一区域的深度信息进行归一化，得到归一化后的五官中每个部位所在的第一区域的深度信息；将归一化后的五官中每个部位所在的第一区域的深度信息与预设信息进行显著性校验，确定五官中每个部位的显著性差异信息。

结合第二方面，在第二方面的某些实现方式中，处理模块还用于：当五官中每个部位的显著性差异信息为不存在显著性差异时，确定五官中每个部位的第一遮挡信息为未被遮挡；或者，当五官中每个部位的显著性差异信息为存在显著性差异时，确定五官中每个部位的第一遮挡信息为被遮挡。

结合第二方面，在第二方面的某些实现方式中，上述处理模块还用于：将灰度图输入至第二模型得到的五官中每个部位所在的第二区域，第二模型是基于人脸图像和人脸图像中五官中每个部位所在的区域训练得到的；根据五官中每个部位的关键点是否在五官中每个部位所在的第二区域内，确定五官中每个部位的第二遮挡信息；根据五官中每个部位的第二遮挡信息，更新五官中每个部位的第一遮挡信息，得到更新后的五官中每个部位的第一遮挡信息。

结合第二方面，在第二方面的某些实现方式中，上述处理模块还用于：当五官中每个部位的关键点在每个部位所在的第二区域内的数量超过第二阈值时，确定五官中每个部位的第二遮挡信息为未被遮挡；或者，当五官中每个部位的关键点在五官中每个部位所在的第二区域内的数量未超过第二阈值时，确定五官中每个部位的第二遮挡信息为被遮挡。

结合第二方面，在第二方面的某些实现方式中，上述处理模块还用于：对五官中每个部位的第一遮挡信息和五官中每个部位的第二遮挡信息进行或操作，得到五官中每个部位的操作结果；基于五官中每个部位的操作结果更新五官中每个部位的第一遮挡信息，得到更新后的五官中每个部位的第一遮挡信息。

结合第二方面，在第二方面的某些实现方式中，上述处理模块还用于：统计五官中每个部位的关键点在遮挡物所在的区域内的数量，遮挡物所在的区域是将灰度图输入至第三模型得到的，第三模型是基于被遮挡物遮挡的人脸图像训练得到的；当五官中存在第一部位的关键点在遮挡物所在的区域内的数量超过第三阈值时，确定第一部位被遮挡物遮挡。

结合第二方面，在第二方面的某些实现方式中，上述遮挡物包括口罩和墨镜。

结合第二方面，在第二方面的某些实现方式中，上述五官包括以下至少一个部位：左眼、右眼、鼻子、上嘴唇或者下嘴唇。

第三方面，本申请提供了一种人脸遮挡的检测装置，包括处理器，该处理器与存储器耦合，可用于执行存储器中的指令，以实现上述第一方面中任一种可能实现方式中的方法。可选地，该终端设备还包括存储器。可选地，该终端设备还包括通信接口，处理器与通信接口耦合。

第四方面，本申请提供了一种处理器，包括：输入电路、输出电路和处理电路。处理电路用于通过输入电路接收信号，并通过输出电路发射信号，使得处理器执行上述第一方面中任一种可能实现方式中的方法。

在具体实现过程中，上述处理器可以为芯片，输入电路可以为输入管脚，输出电路可以为输出管脚，处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所接收的输入的信号可以是由例如但不限于接收器接收并输入的，输出电路所输出的信号可以是例如但不限于输出给发射器并由发射器发射的，且输入电路和输出电路可以是同一电路，该电路在不同的时刻分别用作输入电路和输出电路。本申请对处理器及各种电路的具体实现方式不做限定。

第五方面，本申请提供了一种处理装置，包括处理器和存储器。该处理器用于读取存储器中存储的指令，并可通过接收器接收信号，通过发射器发射信号，以执行上述第一方面中任一种可能实现方式中的方法。

可选地，处理器为一个或多个，存储器为一个或多个。

可选地，存储器可以与处理器集成在一起，或者存储器与处理器分离设置。

在具体实现过程中，存储器可以为非瞬时性（non-transitory）存储器，例如只读存储器（read only memory，ROM），其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请对存储器的类型以及存储器与处理器的设置方式不做限定。

应理解，相关的数据交互过程例如发送指示信息可以为从处理器输出指示信息的过程，接收能力信息可以为处理器接收输入能力信息的过程。具体地，处理输出的数据可以输出给发射器，处理器接收的输入数据可以来自接收器。其中，发射器和接收器可以统称为收发器。

上述第五方面中的处理装置可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。

第六方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序（也可以称为代码，或指令）当其在计算机上运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。

第七方面，本申请提供了一种计算机程序产品，计算机程序产品包括：计算机程序（也可以称为代码，或指令），当计算机程序被运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。

附图说明

图1为本申请实施例提供的一种人脸识别的场景示意图；

图2为本申请实施例提供的一种人脸遮挡的检测方法的示意性流程图；

图3为本申请实施例提供的一种关键点检测的示意图；

图4为本申请实施例提供的一种确定中心点的示意图；

图5为本申请实施例提供的一种确定每个部位所在的区域的示意图；

图6为本申请实施例提供的另一种确定每个部位所在的区域的示意图；

图7为本申请实施例提供的又一种确定每个部位所在的区域的示意图；

图8为本申请实施例提供的另一种人脸遮挡的检测方法的示意性流程图；

图9为本申请实施例提供的一种确定第二区域的示意图；

图10为本申请实施例提供的一种人脸遮挡的检测装置的示意性框图；

图11为本申请实施例提供的另一种人脸遮挡的检测装置的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一区域和第二区域是为了区分不同的区域，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

此外，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a、b和c中的至少一项（个），可以表示：a，或b，或c，或a和b，或a和c，或b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。

目前，随着信息技术的高速发展，人脸识别技术已广泛应用于现实生活中的金融支付、门禁考勤、身份识别、交通、教育、医疗、警务、电子商务等诸多场景中，给人们的生活带来很大便利。人脸识别是基于人的脸部特征信息进行信息识别和身份认证的一种生物识别技术。在进行人脸识别过程中，需要确保采集到的人脸图像特征完整，以此来保证人脸识别结果的精度和有效性。

示例性地，手机可以提供人脸解锁的功能，用户在使用人脸解锁功能之前，需要先将自己的人脸图像录入手机中，当手机录入用户的人脸图像后，用户可以进行人脸解锁。具体地，手机可以通过摄像头拍摄用户的人脸图像，且检测该人脸图像是否能检测到五官的各个部分，当手机未检测到五官的各个部分时，需要重新通过摄像头拍摄用户的人脸图像，直至可以检测到五官的各个部分，手机可以保存符合要求的人脸图像，并将其作为标准人脸图像，以在后续人脸解锁中使用。当用户进行人脸解锁时，手机将通过摄像头拍摄的用户的人脸图像与标准人脸图像进行比较，若相似或者相同，可以显示解锁成功，若不相似或者不相同，可以显示解锁失败。

例如，图1示出了一种人脸解锁的示意图，如图1中的a界面所示，手机101的界面显示闭合的锁，处于锁屏状态，用户102可以手持手机101进行人脸解锁，手机101将通过摄像头拍摄用户102的人脸图像，并将用户102的人脸图像与标准人脸图像进行比较。在比较过程中，手机101需要在用户102的人脸图像采集到用户102完整的人脸图像特征，即五官的各个部分，例如，左眼、右眼、鼻子以及嘴巴等，并将该人脸图像特征与标准图像中的人脸图像特征进行比较，以判断是否相同。若相同，则解锁成功，手机101可以如图1中的b界面所示，显示开锁界面，若不相同，则解锁失败，手机101的界面仍显示闭合的锁，处于锁屏状态，如图1中的a界面所示。

但是，在实际应用过程中，经常会发生人脸被遮挡物（如帽子、墨镜、眼镜、口罩等遮挡物）遮挡的情况，当对被遮挡物遮挡的人脸图像使用通用的人脸识别方法进行识别时，采集到的人脸图像特征不完整，会导致人脸识别不准确。

示例性地，在上述示例中，若用户102带有口罩（口罩遮住了用户102的嘴巴和鼻子），并进行人脸解锁，手机101在摄像头采集的用户102的人脸图像中不能完整地获取嘴巴和鼻子的特征，当手机101将用户102的人脸图像与标准人脸图像进行比较时，嘴巴和鼻子的特征不相同，会造成人脸解锁失败。

因此在对人脸图像进行人脸识别之前，需要检测人脸图像是否为存在遮挡的人脸图像，以便于后续基于该检测结果使用合适的方法来进行处理，以提高人脸识别的准确率。

有鉴于此，本申请提供一种人脸遮挡的检测方法和检测装置，可以检测人脸图像的遮挡的情况，有利于提高人脸识别的准确率。

图2为本申请实施例提供的一种人脸遮挡的检测方法200的示意性流程图，该方法200可以由包括深度摄像头的电子设备执行，例如，手机。该方法200可以应用于上述图1所示的场景中，但本申请实施例并不限于此。

如图2所示，该方法200可以包括以下步骤：

S201、通过深度摄像头获取目标人脸图像的灰度图和目标人脸图像的深度图，灰度图和深度图存在对应关系。

深度摄像头可以获取人脸图像的灰度图和深度图，深度图即人脸的每个点到深度摄像头的距离，灰度图和深度图存在一一对应的关系。

深度摄像头获取深度图可以有多种可能的实现方式。

在一种可能的实现方式中，深度摄像头可以包括双目摄像头或者两个单目摄像头，基于双目立体视觉成像原理，得到深度图。

在另一种可能的实现方式中，深度摄像头可以包括发光器件，基于光线发射以及反射的相位差或者时间差，得到深度图。

目标人脸图像可以理解为待检测的人脸图像，目标人脸图像仅仅为一个名称的示例，本申请实施例对此不作限定。

电子设备可以通过深度摄像头获取目标人脸图像的灰度和深度图。例如，在上述图1所示的场景中，手机101可以通过深度摄像头获取用户102的人脸图像的灰度图和深度图。

S202、将灰度图输入至第一模型得到五官中每个部位的关键点，第一模型是基于人脸图像和人脸图像中五官中每个部位的关键点训练得到的。

五官，即人的面貌长相，可以用于体现人脸特征。五官中每个部位的关键点可以包括至少一个点，本申请实施例对具体的个数不作限定。

可选地，五官可以包括左眼、右眼、鼻子、上嘴唇以及下嘴唇。

第一模型也可以称为人脸关键点检测模型，用于检测人脸五官中每个部位的关键点，本申请实施例对模型的名称不作限定。

电子设备可以将灰度图作为第一模型的输入，输入至第一模型，得到模型的输出，即得到五官中每个部位的关键点。需要说明的是，灰度图可以理解为灰度数据。

示例性地，图3示出了关键点检测的示意图，如图3所示，电子设备将用户102人脸图像的灰度数据输入至第一模型得到五官中左眼的关键点、右眼的关键点、鼻子的关键点以及嘴唇的关键点。其中，图3中的黑点用于表示关键点。应理解，五官中每个部位的关键点的位置和数量仅仅为一个示例，本申请实施例对此不作限定。还应理解，第一模型的结构仅仅为一个示例，本申请实施例对此不作限定。

需要说明的是，若图3中的灰度图为被遮挡物遮挡的灰度图，例如，口罩遮挡了用户102的鼻子和嘴巴，该灰度图输入至第一模型后，仍然可以得到五官中每个部位的关键点，即仍然可以得到五官中眼睛、鼻子以及嘴巴的关键点。

第一模型是基于人脸图像和人脸图像中五官中每个部位的关键点训练得到的，具体的训练过程可以为：

1）获取大量的人脸图像的灰度图，该人脸图像中的人脸不同，并对该人脸图像的灰度图中五官的每个部位进行关键点标注，得到标注后的文件数据，该文件数据可以是tst格式的，且可以显示为包括关键点的图像。

2）分别将大量的人脸图像的灰度图作为初始模型的输入，并将标注后的文件数据作为初始模型的输出，训练初始模型的参数。

3）将训练好参数的模型作为第一模型。

S203、根据五官中每个部位的关键点，确定五官中每个部位的中心点。

五官中每个部位的中心点可以是每个部位的中心位置，也可以是每个部位的重要位置，例如，鼻尖、眼球等。

电子设备根据五官中每个部位的关键点，确定五官中每个部位的中心点，可以存在多种可能的实现方式。

在一种可能的实现方式中，电子设备可以根据五官中每个部位的关键点对应的像素坐标，确定五官中每个部位的中心点，该中心点可以为每个部位的中心位置。

在另一种可能的实现方式中，电子设备可以将人脸图像的灰度图输入至中心点检测模型，得到五官中每个部位的中心点，该中心点可以为每个部位的重要位置，其中，中心点检测模型可以是基于包括中心点的图像数据训练得到的。

示例性地，电子设备将人脸图像的灰度图输入至中心点检测模型，得到左眼的中心点、右眼的中心点、鼻子的中心点以及嘴唇的中心点。其中，人脸图像的灰度图可以理解为人脸图像的灰度数据。

示例性地，图4示出了一种确定五官中每个部位的中心点的示意图，如图4所示，电子设备将人脸图像的灰度数据输入至中心点检测模型，得到包括左眼的中心点、右眼的中心点、鼻子的中心点以及嘴唇的中心点的灰度数据。其中，图4中的白点用于表示中心点。应理解，中心点检测模型的结构仅仅为一个示例，本申请实施例对此不作限定。

S204、以五官中每个部位的中心点为中心向周围扩大第一阈值，并根据对应关系，在深度图中确定五官中每个部位所在的第一区域。

周围可以理解为全方位或者360度，可以包括上、下、左、右、左上、右上、左下以及右下等方位。电子设备可以以每个部位的中心点为中心向周围扩大第一阈值个像素点，得到每个部位对应的区域，应理解，该区域可以包括一个部位，该区域也可以称为每个部件所在的区域。

需要说明的是，第一阈值并不是无限大的，电子设备以每个部位的中心点为中心向周围扩大第一阈值，得到的区域包括每个部位即可。

示例性地，图5示出了一种确定每个部位所在的区域的示意图。如图5所示，电子设备可以以鼻子的中心点为中心向周围扩大100个像素点，得到鼻子所在的区域，该区域包括鼻子的像素点以及鼻子周边的像素点，五官的其他部位与该部分相同，此处不再赘述。

第一阈值可以是一个，也可以是多个，本申请实施例对此不作限定。当第一阈值为一个时，每个部位所在的区域为圆形区域，如上述图5所示。

当第一阈值为多个时，五官中每个部位的第一区域是以每个部位的中心点为中心，分别向多个方向外扩，这多个方向与该多个第一阈值一一对应，在每个方向上扩大对应数量的像素，然后按顺序依次连接这多个方向中每个方向外扩得到的最后一个像素点。在该情况下，五官中每个部位所在的区域可以为多边形区域。

示例性地，图6示出了另一种确定每个部位所在的区域的示意图。第一阈值可以为3个，分别为140、100以及100，且该3个阈值对应3个不同的方位，分别为上、左下以及右下。如图6所示，电子设备可以以鼻子的中心点为中心向上扩大140个像素点、向左下扩大100个像素点以及向右下扩大100个像素点，将扩大后的像素点进行连接，得到鼻子所在的区域为三角形区域。

示例性地，图7示出了又一种确定每个部位所在的区域的示意图。第一阈值可以为4个，分别为120、60、80以及80，且该4个阈值对应4个不同的方位，分别为上、下、左以及右。如图7所示，电子设备可以以鼻子的中心点为中心向上扩大120个像素、向下扩大60个像素、向左扩大80个像素以及向右扩大80个像素，得到四个扩大后的像素点，并将扩大后的像素点进行连接，得到鼻子所在的区域为四边形区域。

上述图5、图6以及图7中，五官的各个部位所在的区域的形状均相同，且五官的各个部位所在的区域的大小也均相同，例如，鼻子、嘴巴、左眼以及右眼所在的区域均可以均为圆形区域、且该圆形区域的半径为100个像素点，这仅仅是一种可能的实现方式。

在另一种可能的实现方式中，五官的各个部位所在的区域的形状均相同，但五官的各个部位所在的区域的大小不同，例如，鼻子、嘴巴、左眼以及右眼所在的区域均可以均为圆形区域，但鼻子所在的圆形区域的半径可以为100个像素点，嘴巴所在的圆形区域的半径可以为80个像素点，左眼以及右眼所在的圆形区域的半径可以为60个像素点。

在又一种可能的实现方式中，五官的各个部位所在的区域的形状可以不同，例如，鼻子所在的区域为圆形区域、嘴巴所在的区域为四边形区域、左眼以及右眼所在的区域为三角形区域等。

每个部件所在的区域为灰度图上的区域，灰度图的像素点与深度图的像素点存在一一对应的关系，可以在深度图中确定五官中每个部位所在的第一区域，进而得到五官中每个部位所在的第一区域的深度信息。

需要说明的是，电子设备也可以根据每个部位的中心点，在深度图中确定每个部位的中心点，然后以每个部位的中心点为中心向周围扩大第一阈值，得到五官中每个部位所在的第一区域，本申请实施例对执行顺序不作限定。

S205、根据五官中每个部位所在的第一区域的深度信息与预设信息，确定五官中每个部位的第一遮挡信息，预设信息为未被遮挡的五官中每个部位所在区域的深度信息。

第一遮挡信息可以为被遮挡或者未被遮挡。

预设信息为未被遮挡的五官中每个部位所在区域的深度信息，电子设备将每个部位所在的第一区域的深度信息与预设信息进行对比，进而确定五官中每个部位的第一遮挡信息。

需要说明的是，预设信息可以为未被遮挡的五官中每个部位所在区域的深度信息，其中，五官中每个部位所在区域可以为圆形区域，例如上述图5所示的圆形区域，也可以为多边形区域，例如上述图6所示的三角形区域和上述图7所示的四边形区域。

第一区域的形状与预设信息的区域形状相同，例如，当预设信息是圆形区域的深度信息时，第一区域的深度信息也为圆形区域的深度信息，当预设信息是多边形区域的深度信息时，第一区域的深度信息也为多边形区域的深度信息。

可选地，五官可以包括以下至少一个部位：左眼、右眼、鼻子、上嘴唇或者下嘴唇。当五官包括左眼、右眼、鼻子、上嘴唇以及下嘴唇时，电子设备可以确定左眼的第一遮挡信息、右眼的第一遮挡信息、鼻子的第一遮挡信息、上嘴唇的第一遮挡信息以及下嘴唇的第一遮挡信息。

本申请实施例提供的人脸遮挡的检测方法，对人脸图像的灰度图进行五官中每个部位的关键点检测，得到五官中每个部位的关键点，然后根据五官中每个部位的关键点确定每个部位的中心点，根据每个部位的中心点确定每个部分所在的第一区域，根据第一区域的深度信息与预设的信息在进行对比，确定每个部位的第一遮挡信息，该方法通过确定每个部位的中心点在扩大的方式确定每个部分所在的区域，相比于任意确定一点再扩大，方法简单计算量小，同时，根据灰度图与深度图的对应关系，在深度图中确定每个部分所在的第一区域，进而得到第一区域的深度信息，根据深度信息与预设信息判断五官中各个部位是否被遮挡，利用深度信息的差别判断是否被遮挡，可以检测人脸图像的遮挡的情况，有利于提高人脸识别的准确率。

电子设备可以根据五官中每个部位的关键点以及对应关系，在深度图中确定五官中每个部位所在的第一区域，上述S203和S204仅仅是一种可能的实现方式，本申请实施例对此不作限定。

作为一个可选的实施例，上述S205、根据五官中每个部位所在的第一区域的深度信息与预设信息，确定五官中每个部位的第一遮挡信息，可以包括：将五官中每个部位所在的第一区域的深度信息与预设信息进行显著性校验，确定五官中每个部位的显著性差异信息；根据五官中每个部位的显著性差异信息，确定五官中每个部位的第一遮挡信息。

显著性校验用于检验每个部位所在的第一区域的深度信息与预设信息是否存在显著性差异，例如，显著性校验可以为柯尔莫戈洛夫-斯米诺夫（Kolmogorov-Smirnov，K-S）检验，但本申请实施例并不限于此。显著性校验也可以称为正态性校验，本申请实施例对此不作限定。

每个部位的显著性差异信息即为每个部位的校验结果。检验结果可以是存在显著性差异，也可以是不存在显著性差异，本申请实施例对此不作限定。

示例性地，电子设备可以将每个部位所在的第一区域的深度信息与预设信息进行K-S校验，得到校验结果，并根据检验结果，确定每个部位的第一遮挡信息。

本申请实施例提供的人脸遮挡的检测方法，通过显著性校验分析每个部位所在的第一区域的深度信息与预设信息的差异，相比直接对比每一个像素点的深度信息，可以提高分析效率，有利于提高人脸遮挡检测的准确性，进而有利于提高人脸识别的准确率。

可选地，上述根据五官中每个部位的显著性差异信息，确定五官中每个部位的第一遮挡信息，可以包括：当五官中每个部位的显著性差异信息为不存在显著性差异时，确定五官中每个部位的第一遮挡信息为未被遮挡；或者，当五官中每个部位的显著性差异信息为存在显著性差异时，确定五官中每个部位的第一遮挡信息为被遮挡。

示例性地，电子设备将鼻子所在的第一区域的深度信息与预设信息进行K-S校验，得到校验结果为不存在显著性差异，则可以确定鼻子的第一遮挡信息为未被遮挡，电子设备将嘴巴所在的第一区域的深度信息与预设信息进行K-S校验，得到校验结果为存在显著性差异，则可以确定嘴巴的第一遮挡信息为被遮挡，其他部位的确定方法相同，此处不再赘述。

作为一个可选的实施例，在将第一区域的深度信息与预设信息进行显著性校验，确定五官中每个部位的显著性差异信息之前，上述方法200还包括：对第一区域的深度信息进行归一化，得到归一化后的第一区域的深度信息；将第一区域的深度信息与预设信息进行显著性校验，确定五官中每个部位的显著性差异信息，包括：将归一化后的第一区域的深度信息与预设信息进行相关性校验，确定五官中每个部位的显著性差异信息。

电子设备在进行显著性校验之前，可以先将第一区域的深度信息进行归一化，将其归一化到预设的范围内后，再进行显著性校验。其中，预设的范围可以是[0,255]，但本申请实施例对此不作限定。

示例性地，电子设备可以将第一区域的深度信息进行归一化后，呈现灰度图，然后将灰度图数据与预设信息进行显著性校验，确定五官中每个部位的显著性差异信息

本申请实施例提供的人脸遮挡的检测方法，在显著性校验之前，对第一区域的深度信息进行归一化，使显著性校验在同一范围内进行比较，可以提高显著性校验的准确性，有利于提高人脸遮挡检测的准确性，进而有利于提高人脸识别的准确率。

为了提高遮挡检测的准确性，本申请实施例还提供一种人脸遮挡的检测方法800，该方法800除包括上述方法200所示的步骤外，还可以包括以下步骤：

S801、将灰度图输入至第二模型得到的五官中每个部位所在的第二区域，第二模型是基于人脸图像和人脸图像中五官中每个部位所在的区域训练得到的。

第二模型用于分割或者解析人脸的各个区域，例如，人脸解析（face parsing）算法。第二模型也可以称为人脸解析模型或者人脸分割模型等等，本申请实施例对模型的名称不作限定。

电子设备将灰度图作为第二模型的输入，将其输入至第二模型，得到模型的输出，即五官中每个部位所在的第二区域。其中，电子设备将灰度图输入至第二模型，也可以理解为电子设备将灰度数据输入至第二模型。其中，该灰度图为不包括关键点的灰度图。

需要说明的是，若五官中存在部分或者全部部位被遮挡，则被遮挡的部位不存在第二区域。例如，五官中鼻子和嘴巴被口罩遮挡，电子设备将被口罩遮挡的人脸图像输入至第二模型的，得到左眼所在的第二区域和右眼所在的第二区域。

第二模型是人脸图像和人脸图像中五官中每个部位所在的区域训练得到的，具体的训练过程可以为：

1）获取大量的人脸图像的灰度图，该人脸图像中的人脸不同，并对该人脸图像的灰度图中五官的每个部位所在的区域进行标注，得到标注后的灰度数据。例如，人脸皮肤所在的区域标注为0，左眼所在的区域标注为1，右眼所在的区域标注为2，鼻子所在的区域标注为3，嘴巴所在的区域标注为4。

2）分别将大量的人脸图像的灰度图作为初始模型的输入，并将标注后的灰度图作为初始模型的输出，训练初始模型的参数，其中，该初始模型与上述训练第一模型初始模型不同，本申请实施例不作限定。

3）将训练好参数的模型作为第二模型。

可选地，上述人脸图像为包括人脸的灰度图，若该灰度图为人的上半身图像，可以包括人脸，但人脸的区域较小，会造成人脸解析的准确性降低，故为了提高人脸分割的准确性，电子设备可以在将灰度图输入至第二模型之前，可以在灰度图上剪裁出人脸，并将剪裁后的人脸图像放大，得到放大后的剪裁的人脸图像，再将其输入至第二模型，进行人脸分割，得到五官中每个部位所在的第二区域。

示例性地，图9示出了确定第二区域的示意图，如图9所示，电子设备在人脸图像的灰度图上框出人脸，并根据人脸框进行剪裁，得到剪裁后的人脸图像，并将该剪裁后的人脸图像进行放大，得到放大后的剪裁的人脸图像，再将其输入至第二模型，得到五官中各个部分所在的第二区域，可以包括左眼所在的第二区域、右眼所在的第二区域、嘴巴所在的第二区域以及鼻子所在的第二区域。应理解，第二模型的结构仅仅为一个示例，本申请实施例对此不作限定。

可选地，电子设备将剪裁后的人脸图像放大可以包括：将剪裁后的人脸图像放大至剪裁前的图像的大小，但本申请实施例对比不作限定。

S802、根据五官中每个部位的关键点是否在五官中每个部位所在的第二区域内，确定五官中每个部位的第二遮挡信息。

第二遮挡信息可以为未被遮挡，也可以为被遮挡，本申请实施例对此不作限定。

若五官中每个部位的关键点在每个部位所在的第二区域内，可以确定每个部位的第二遮挡信息为未被遮挡。若五官中每个部位的关键点未在每个部位所在的第二区域内，可以确定每个部位的第二遮挡信息为被遮挡。

示例性地，若鼻子所在的区域标注为3，电子设备可以判断鼻子的关键点是否在3的区域，若在3的区域，可以确定鼻子未被遮挡。

S803、根据五官中每个部位第二遮挡信息，更新五官中每个部位的第一遮挡信息，得到更新后的五官中每个部位的第一遮挡信息。

第二遮挡信息可以与第一遮挡信息不同，也可以相同，本申请实施例对此不作限定。当第二遮挡信息与第一遮挡信息相同时，电子设备可以不更新每个部位的第一遮挡信息，当第二遮挡信息与第一遮挡信息不同时，电子设备可以更新每个部位的第一遮挡信息，得到更新后的每个部位的第一遮挡信息。

本申请实施例提供的人脸遮挡的检测方法，通过灰度图得到五官中每个部位所在的第二区域，通过判断关键点是否在第二区域内，确定第二遮挡信息，并更新第一遮挡信息，从两个维度分析遮挡信息，并综合得到最终的遮挡信息，可以提高人脸遮挡检测的准确性，有利于提高人脸识别的准确率。

作为一个可选的实施例，在上述S802、根据五官中每个部位的关键点是否在每个部位所在的第二区域内，确定五官中每个部位的第二遮挡信息，包括：当五官中每个部位的关键点在五官中每个部位所在的第二区域内的数量超过第二阈值时，确定五官中每个部位的第二遮挡信息为未被遮挡；或者，当五官中每个部位的关键点在五官中每个部位所在的第二区域内的数量未超过第二阈值时，确定五官中每个部位的第二遮挡信息为被遮挡。

电子设备可以预设第二阈值，根据五官中每个部位的关键点在每个部位所在的第二区域内的数量是否超过第二阈值，确定每个部位的第二遮挡信息。

第二阈值可以是一个，也可以是多个，本申请实施例对此不作限定。当第二阈值为一个时，电子设备判断五官中鼻子的关键点在鼻子所在的第二区域内的数量是否超过第二阈值，确定鼻子的第二遮挡信息，判断五官中嘴巴的关键点在嘴巴所在的第二区域内的数量是否超过第二阈值，确定嘴巴的第二遮挡信息，其他部位同理，此处不再赘述。

当第二阈值为多个时，第二阈值的个数可以与五官的部位的数量相同。例如，第二阈值为4个，且分别为15、10、5以及5。电子设备判断五官中鼻子的关键点在鼻子所在的第二区域内的数量是否超过15个，确定鼻子的第二遮挡信息，判断五官中嘴巴的关键点在嘴巴所在的第二区域内的数量是否超过10个，确定嘴巴的第二遮挡信息，电子设备判断五官中左眼的关键点在左眼所在的第二区域内的数量是否超过5个，确定左眼的第二遮挡信息，电子设备判断五官中右眼的关键点在右眼所在的第二区域内的数量是否超过5个，确定右眼的第二遮挡信息。

其中，当五官中鼻子的关键点在鼻子所在的第二区域内的数量超过15个时，确定鼻子的第二遮挡信息为未被遮挡，当五官中鼻子的关键点在鼻子所在的第二区域内的数量未超过15个时，确定鼻子的第二遮挡信息为被遮挡。当五官中嘴巴的关键点在嘴巴所在的第二区域内的数量超过10个时，确定嘴巴的第二遮挡信息为未被遮挡，当五官中嘴巴的关键点在嘴巴所在的第二区域内的数量未超过10个时，确定嘴巴的第二遮挡信息为被遮挡。其他部位同理，此处不再赘述。

本申请实施例提供的人脸遮挡的检测方法，以第二阈值为界限，根据五官中每个部位的关键点在每个部位所在的第二区域内的数量是否超过第二阈值，确定每个部位的第二遮挡信息，可以提高容错率，避免判断失误，有利于提高人脸遮挡检测的准确性，有利于提高人脸识别的准确率。

作为一个可选的实施例，上述S803、根据五官中每个部位第二遮挡信息，更新五官中每个部位的第一遮挡信息，得到更新后的五官中每个部位的第一遮挡信息，包括：对五官中每个部位的第一遮挡信息和五官中每个部位的第二遮挡信息进行或操作，得到五官中每个部位的操作结果；基于五官中每个部位的操作结果更新五官中每个部位的第一遮挡信息，得到更新后的五官中每个部位的第一遮挡信息。

电子设备可以预设被遮挡的二进制标识为1，未被遮挡的二进制标识为0，通过0或1表示第一遮挡信息和第二遮挡信息，但本申请实施例对此不作限定。

当第一遮挡信息和第二遮挡信息相同时，电子设备对第一遮挡信息和第二遮挡信息进行或操作，得到的操作结果为第一遮挡信息或第二遮挡信息，基于第一遮挡信息或第二遮挡信息更新第一遮挡信息，得到更新后的第一遮挡信息为第一遮挡信息或第二遮挡信息，可以理解为当第一遮挡信息和第二遮挡信息相同时，更新后的第一遮挡信息与更新前的第一遮挡信息相同，也可以理解为当第一遮挡信息和第二遮挡信息相同时，电子设备可以不更新第一遮挡信息，通过第二遮挡信息验证第一遮挡信息是否正确。

当第一遮挡信息和第二遮挡信息不同时，电子设备对第一遮挡信息和第二遮挡信息进行或操作，得到的操作结果为被遮挡，基于操作结果更新第一遮挡信息，得到更新后的第一遮挡信息为被遮挡。

示例性地，鼻子的第一遮挡信息为未被遮挡，用0表示，鼻子的第二遮挡信息为被遮挡，用1表示，电子设备对0和1进行或操作，得到操作结果为1，即被遮挡，电子设备将未被遮挡更新为被遮挡，则鼻子被遮挡。其他部位同理，此处不再赘述。

本申请实施例提供的人脸遮挡的检测方法，对第一遮挡信息和第二遮挡信息进行或操作，得到操作结果，基于操作结果更新第一遮挡信息，利用第二遮挡信息验证第一遮挡信息的正确性，当任一遮挡信息为被遮挡时，可以确定五官中的部位被遮挡，可以增加检测遮挡的敏感度，有利于提高人脸遮挡检测的准确性，有利于提高人脸识别的准确率。

作为一个可选的实施例，上述方法200或者方法800还可以包括：统计五官中每个部位的关键点在遮挡物所在的区域内的数量，遮挡物所在的区域是将灰度图输入至第三模型得到的，第三模型是基于被遮挡物遮挡的人脸图像训练得到的；当五官中存在第一部位的关键点在遮挡物所在的区域内的数量超过第三阈值时，确定第一部位被遮挡物遮挡。

遮挡物可以是包括口罩、墨镜、手以及帽子等遮挡物，但本申请实施例不限于此。

电子设备可以统计五官中鼻子、上嘴唇、下嘴唇、左眼以及右眼的关键点在遮挡物所在的区域内的数量，若存在鼻子、上嘴唇以及下嘴唇的关键点在遮挡物所在的区域内的数量均超过第三阈值，确定鼻子、上嘴唇以及下嘴唇被遮挡物遮挡。其中，本申请实施例对第三阈值的具体数值不作限定，例如，第三阈值可以是20。

第三阈值可以是一个，也可以是多个。当第三阈值为一个时，五官中各个部位均对应该第三阈值。当第三阈值为多个时，第三阈值的数量可以与五官的各个部位一一对应。例如，鼻子对应的第三阈值可以为35，嘴巴对应的第三阈值可以为20，左眼对应的第三阈值可以为10，右眼对应的第三阈值可以为10。

本申请实施例提供的人脸遮挡的检测方法，可以检测五官中的各个部位是否遮挡物遮挡，可以进一步实现遮挡物的检测。

上述第三模型是基于被遮挡物遮挡的人脸图像训练得到的，具体的训练过程可以为：

1）获取大量的被遮挡物遮挡的人脸图像的灰度图，该灰度图中的人脸不同，并对该灰度图中的遮挡物进行标注，得到标注后的灰度图。例如，被遮挡物遮挡的人脸图像的灰度图包括被墨镜遮挡的人脸图像的灰度图、被口罩遮挡的人脸图像的灰度图以及其他附属物遮挡的人脸图像的灰度图，在标注时，墨镜的区域标注为5，将口罩的区域标注为6。

2）分别将大量的被遮挡物遮挡的人脸图像的灰度图作为初始模型的输入，并将标注后的灰度图作为初始模型的输出，训练初始模型的参数，其中，该初始模型与上述训练第二模型的初始模型可以相同，也可以不同，本申请实施例不作限定。

3）将训练好参数的模型作为第三模型。

对于戴眼镜的人脸图像，通用的人脸识别技术经常将眼镜误判为遮挡物，导致人脸解锁失败。为了解决该问题，本申请实施例在上述训练第三模型时，可以将戴墨镜的人脸图像的灰度图也作为初始模型的输入，并将标注后的灰度图作为初始模型的输出，训练初始模型的参数。其中，在标注时，眼镜的区域标注为7。

当电子设备判断五官中的左眼和右眼的关键点在眼镜的区域内时，确定左眼的遮挡信息为未遮挡和右眼的遮挡信息为未遮挡，可以减少将眼镜误判为遮挡物的概率，有利于提高人脸遮挡检测的准确率。

上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上文中结合图1至图9，详细描述了本申请实施例的人脸遮挡的检测方法，下面将结合图10和图11，详细描述本申请实施例的人脸遮挡的检测装置。

图10示出了本申请实施例提供的一种人脸遮挡的检测装置1000，该装置1000包括：获取模块1010和处理模块1020。其中，获取模块1010用于：通过深度摄像头获取目标人脸图像的灰度图和目标人脸图像的深度图，灰度图和深度图存在对应关系；处理模块1020用于：将灰度图输入至第一模型得到五官中每个部位的关键点，第一模型是基于人脸图像和人脸图像中五官中每个部位的关键点训练得到的；根据五官中每个部位的关键点以及对应关系，在深度图中确定五官中每个部位所在的第一区域；根据五官中每个部位所在的第一区域的深度信息与预设信息，确定五官中每个部位的第一遮挡信息，预设信息为未被遮挡的五官中每个部位所在区域的深度信息。

可选地，上述处理模块1020还用于：根据五官中每个部位的关键点，确定五官中每个部位的中心点；以五官中每个部位的中心点为中心向周围扩大第一阈值，并根据对应关系，确定五官中每个部位的第一区域。

可选地，上述处理模块1020还用于：将五官中每个部位所在的第一区域的深度信息与预设信息进行显著性校验，确定五官中每个部位的显著性差异信息；根据五官中每个部位的显著性差异信息，确定五官中每个部位的第一遮挡信息。

可选地，上述处理模块1020还用于：对五官中每个部位所在的第一区域的深度信息进行归一化，得到归一化后的五官中每个部位所在的第一区域的深度信息；将归一化后的五官中每个部位所在的第一区域的深度信息与预设信息进行显著性校验，确定五官中每个部位的显著性差异信息。

可选地，上述处理模块1020还用于：当五官中每个部位的显著性差异信息为不存在显著性差异时，确定五官中每个部位的第一遮挡信息为未被遮挡；或者，当五官中每个部位的显著性差异信息为存在显著性差异时，确定五官中每个部位的第一遮挡信息为被遮挡。

可选地，上述处理模块1020还用于：将灰度图输入至第二模型得到的五官中每个部位所在的第二区域，第二模型是基于人脸图像和人脸图像中五官中每个部位所在的区域训练得到的；根据五官中每个部位的关键点是否在五官中每个部位所在的第二区域内，确定五官中每个部位的第二遮挡信息；根据五官中每个部位的第二遮挡信息，更新五官中每个部位的第一遮挡信息，得到更新后的五官中每个部位的第一遮挡信息。

可选地，上述处理模块1020还用于：当五官中每个部位的关键点在每个部位所在的第二区域内的数量超过第二阈值时，确定五官中每个部位的第二遮挡信息为未被遮挡；或者，当五官中每个部位的关键点在五官中每个部位所在的第二区域内的数量未超过第二阈值时，确定五官中每个部位的第二遮挡信息为被遮挡。

可选地，上述处理模块1020还用于：对五官中每个部位的第一遮挡信息和五官中每个部位的第二遮挡信息进行或操作，得到五官中每个部位的操作结果；基于五官中每个部位的操作结果更新五官中每个部位的第一遮挡信息，得到更新后的五官中每个部位的第一遮挡信息。

可选地，上述处理模块1020还用于：统计五官中每个部位的关键点在遮挡物所在的区域内的数量，遮挡物所在的区域是将灰度图输入至第三模型得到的，第三模型是基于被遮挡物遮挡的人脸图像训练得到的；当五官中存在第一部位的关键点在遮挡物所在的区域内的数量超量第三阈值时，确定第一部位被遮挡物遮挡。

可选地，上述遮挡物包括口罩和墨镜。

可选地，上述五官包括以下至少一个部位：左眼、右眼、鼻子、上嘴唇或者下嘴唇。

应理解，这里的装置1000以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路（application specific integrated circuit，ASIC）、电子电路、用于执行一个或多个软件或固件程序的处理器（例如共享处理器、专有处理器或组处理器等）和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选的例子中，本领域技术人员可以理解，装置1000可以具体为上述方法实施例中的电子设备，或者，上述方法实施例中电子设备的功能可以集成在装置1000中，装置1000可以用于执行上述方法实施例中与电子设备对应的各个流程和/或步骤，为避免重复，在此不再赘述。

上述装置1000具有实现上述方法实施例中电子设备执行的相应步骤的功能；上述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

在本申请的实施例中，图10中的装置1000也可以是芯片或者芯片系统，例如：片上系统（system on chip，SoC）。

图11是本申请实施例提供的另一种人脸遮挡的检测装置1100的示意性框图。该装置1100包括处理器1110、通信接口1120和存储器1130。其中，处理器1110、通信接口1120和存储器1130通过内部连接通路互相通信，该存储器1130用于存储指令，该处理器2110用于执行该存储器1130存储的指令，以控制该通信接口1120发送信号和/或接收信号。

应理解，装置1100可以具体为上述方法实施例中的电子设备，或者，上述方法实施例中电子设备的功能可以集成在装置1100中，装置1100可以用于执行上述方法实施例中与电子设备对应的各个步骤和/或流程。可选地，该存储器1130可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。该处理器1110可以用于执行存储器中存储的指令，并且该处理器执行该指令时，该处理器可以执行上述方法实施例中与电子设备对应的各个步骤和/或流程。

应理解，在本申请实施例中，该处理器1110可以是中央处理单元（centralprocessing unit，CPU），该处理器还可以是其他通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，该计算机程序用于实现上述方法实施例中电子设备对应的方法。

本申请还提供了一种芯片系统，该芯片系统用于支持上述方法实施例中电子设备实现本申请实施例所示的功能。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (24)

1.一种人脸遮挡的检测方法，其特征在于，应用于包括深度摄像头的电子设备，所述方法包括：

所述电子设备通过所述深度摄像头获取目标人脸图像的灰度图和所述目标人脸图像的深度图，所述灰度图和所述深度图存在对应关系；

所述电子设备将所述灰度图输入至第一模型得到五官中每个部位的关键点，所述第一模型是基于人脸图像和人脸图像中五官中每个部位的关键点训练得到的；

所述电子设备根据所述五官中每个部位的关键点以及所述对应关系，在所述深度图中确定所述五官中每个部位所在的第一区域；

所述电子设备根据所述五官中每个部位所在的第一区域的深度信息与预设信息，确定所述五官中每个部位的第一遮挡信息，所述预设信息为未被遮挡的五官中每个部位所在区域的深度信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述五官中每个部位的关键点以及所述对应关系，在所述深度图中确定所述五官中每个部位所在的第一区域，包括：

所述电子设备根据所述五官中每个部位的关键点，确定所述五官中每个部位的中心点；

所述电子设备以所述五官中每个部位的中心点为中心向周围扩大第一阈值，并根据所述对应关系，确定所述五官中每个部位的第一区域。

3.根据权利要求1所述的方法，其特征在于，所述根据所述五官中每个部位所在的第一区域的深度信息与预设信息，确定所述五官中每个部位的第一遮挡信息，包括：

所述电子设备将所述五官中每个部位所在的第一区域的深度信息与所述预设信息进行显著性校验，确定所述五官中每个部位的显著性差异信息；

所述电子设备根据所述五官中每个部位的显著性差异信息，确定所述五官中每个部位的第一遮挡信息。

4.根据权利要求3所述的方法，其特征在于，在所述将所述五官中每个部位所在的第一区域的深度信息与所述预设信息进行显著性校验，确定所述五官中每个部位的显著性差异信息之前，所述方法还包括：

所述电子设备对所述五官中每个部位所在的第一区域的深度信息进行归一化，得到归一化后的所述五官中每个部位所在的第一区域的深度信息；

所述将所述五官中每个部位所在的第一区域的深度信息与所述预设信息进行显著性校验，确定所述五官中每个部位的显著性差异信息，包括：

所述电子设备将所述归一化后的所述五官中每个部位所在的第一区域的深度信息与所述预设信息进行显著性校验，确定所述五官中每个部位的显著性差异信息。

5.根据权利要求3所述的方法，其特征在于，所述根据所述五官中每个部位的显著性差异信息，确定所述五官中每个部位的第一遮挡信息，包括：

当所述五官中每个部位的显著性差异信息为不存在显著性差异时，所述电子设备确定所述五官中每个部位的第一遮挡信息为未被遮挡；或者，

当所述五官中每个部位的显著性差异信息为存在显著性差异时，所述电子设备确定所述五官中每个部位的第一遮挡信息为被遮挡。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述电子设备将所述灰度图输入至第二模型得到的所述五官中每个部位所在的第二区域，所述第二模型是基于人脸图像和人脸图像中五官中每个部位所在的区域训练得到的；

所述电子设备根据所述五官中每个部位的关键点是否在所述五官中每个部位所在的第二区域内，确定所述五官中每个部位的第二遮挡信息；

所述电子设备根据所述五官中每个部位的第二遮挡信息，更新所述五官中每个部位的第一遮挡信息，得到更新后的所述五官中每个部位的第一遮挡信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述五官中每个部位的关键点是否在所述五官中每个部位所在的第二区域内，确定所述五官中每个部位的第二遮挡信息，包括：

当所述五官中每个部位的关键点在所述五官中每个部位所在的第二区域内的数量超过第二阈值时，所述电子设备确定所述五官中每个部位的第二遮挡信息为未被遮挡；或者，

当所述五官中每个部位的关键点在所述五官中每个部位所在的第二区域内的数量未超过第二阈值时，所述电子设备确定所述五官中每个部位的第二遮挡信息为被遮挡。

8.根据权利要求6所述的方法，其特征在于，所述根据所述五官中每个部位的第二遮挡信息，更新所述五官中每个部位的第一遮挡信息，得到更新后的所述五官中每个部位的第一遮挡信息，包括：

所述电子设备对所述五官中每个部位的第一遮挡信息和所述五官中每个部位的第二遮挡信息进行或操作，得到所述五官中每个部位的操作结果；

所述电子设备基于所述五官中每个部位的操作结果更新所述五官中每个部位的第一遮挡信息，得到所述更新后的所述五官中每个部位的第一遮挡信息。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述电子设备统计所述五官中每个部位的关键点在遮挡物所在的区域内的数量，所述遮挡物所在的区域是将所述灰度图输入至第三模型得到的，所述第三模型是基于被遮挡物遮挡的人脸图像训练得到的；

当所述五官中存在第一部位的关键点在所述遮挡物所在的区域内的数量超过第三阈值时，所述电子设备确定所述第一部位被遮挡物遮挡。

10.根据权利要求9所述的方法，其特征在于，所述遮挡物包括口罩和墨镜。

11.根据权利要求1至10中任一项所述的方法，其特征在于，所述五官包括以下至少一个部位：

左眼、右眼、鼻子、上嘴唇或者下嘴唇。

12.一种人脸遮挡的检测装置，其特征在于，包括：

获取模块，用于通过深度摄像头获取目标人脸图像的灰度图和所述目标人脸图像的深度图，所述灰度图和所述深度图存在对应关系；

处理模块，用于将所述灰度图输入至第一模型得到五官中每个部位的关键点，所述第一模型是基于人脸图像和人脸图像中五官中每个部位的关键点训练得到的；

根据所述五官中每个部位的关键点以及所述对应关系，在所述深度图中确定所述五官中每个部位所在的第一区域；以及，

根据所述五官中每个部位所在的第一区域的深度信息与预设信息，确定所述五官中每个部位的第一遮挡信息，所述预设信息为未被遮挡的五官中每个部位所在区域的深度信息。

13.根据权利要求12所述的检测装置，其特征在于，所述处理模块还用于：

根据所述五官中每个部位的关键点，确定所述五官中每个部位的中心点；

以所述五官中每个部位的中心点为中心向周围扩大第一阈值，并根据所述对应关系，确定所述五官中每个部位的第一区域。

14.根据权利要求12所述的检测装置，其特征在于，所述处理模块还用于：

将所述五官中每个部位所在的第一区域的深度信息与所述预设信息进行显著性校验，确定所述五官中每个部位的显著性差异信息；

根据所述五官中每个部位的显著性差异信息，确定所述五官中每个部位的第一遮挡信息。

15.根据权利要求14所述的检测装置，其特征在于，所述处理模块还用于：

对所述五官中每个部位所在的第一区域的深度信息进行归一化，得到归一化后的所述五官中每个部位所在的第一区域的深度信息；

将所述归一化后的所述五官中每个部位所在的第一区域的深度信息与所述预设信息进行显著性校验，确定所述五官中每个部位的显著性差异信息。

16.根据权利要求14所述的检测装置，其特征在于，所述处理模块还用于：

当所述五官中每个部位的显著性差异信息为不存在显著性差异时，确定所述五官中每个部位的第一遮挡信息为未被遮挡；或者，

当所述五官中每个部位的显著性差异信息为存在显著性差异时，确定所述五官中每个部位的第一遮挡信息为被遮挡。

17.根据权利要求12所述的检测装置，其特征在于，所述处理模块还用于：

将所述灰度图输入至第二模型得到的所述五官中每个部位所在的第二区域，所述第二模型是基于人脸图像和人脸图像中五官中每个部位所在的区域训练得到的；

根据所述五官中每个部位的关键点是否在所述五官中每个部位所在的第二区域内，确定所述五官中每个部位的第二遮挡信息；

根据所述五官中每个部位的第二遮挡信息，更新所述五官中每个部位的第一遮挡信息，得到更新后的所述五官中每个部位的第一遮挡信息。

18.根据权利要求17所述的检测装置，其特征在于，所述处理模块还用于：

当所述五官中每个部位的关键点在所述五官中每个部位所在的第二区域内的数量超过第二阈值时，确定所述五官中每个部位的第二遮挡信息为未被遮挡；或者，

当所述五官中每个部位的关键点在所述五官中每个部位所在的第二区域内的数量未超过第二阈值时，确定所述五官中每个部位的第二遮挡信息为被遮挡。

19.根据权利要求17所述的检测装置，其特征在于，所述处理模块还用于：

对所述五官中每个部位的第一遮挡信息和所述五官中每个部位的第二遮挡信息进行或操作，得到所述五官中每个部位的操作结果；

基于所述五官中每个部位的操作结果更新所述五官中每个部位的第一遮挡信息，得到所述更新后的所述五官中每个部位的第一遮挡信息。

20.根据权利要求12所述的检测装置，其特征在于，所述处理模块还用于：

统计所述五官中每个部位的关键点在遮挡物所在的区域内的数量，所述遮挡物所在的区域是将所述灰度图输入至第三模型得到的，所述第三模型是基于被遮挡物遮挡的人脸图像训练得到的；

当所述五官中存在第一部位的关键点在所述遮挡物所在的区域内的数量超过第三阈值时，确定所述第一部位被遮挡物遮挡。

21.根据权利要求20所述的检测装置，其特征在于，所述遮挡物包括口罩和墨镜。

22.根据权利要求12至21中任一项所述的装置，其特征在于，所述五官包括以下至少一个部位：

左眼、右眼、鼻子、上嘴唇或者下嘴唇。

23.一种人脸遮挡的检测装置，其特征在于，包括处理器和存储器，所述存储器用于存储代码指令，所述处理器用于运行所述代码指令，以执行如权利要求1至11中任一项所述的方法。

24.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序包括用于实现如权利要求1至11中任一项所述的方法的指令。

Images