CN112633144A - 人脸遮挡检测方法、系统、设备及存储介质 - Google Patents

人脸遮挡检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112633144A
CN112633144A CN202011520261.8A CN202011520261A CN112633144A CN 112633144 A CN112633144 A CN 112633144A CN 202011520261 A CN202011520261 A CN 202011520261A CN 112633144 A CN112633144 A CN 112633144A
Authority
CN
China
Prior art keywords
face
image
key point
organ
shielding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011520261.8A
Other languages
English (en)
Inventor
陈丹
陆进
陈斌
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011520261.8A priority Critical patent/CN112633144A/zh
Priority to PCT/CN2021/082571 priority patent/WO2022134337A1/zh
Publication of CN112633144A publication Critical patent/CN112633144A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Abstract

本发明实施例提供了一种人脸遮挡检测方法及系统，包括：获取待检测的人脸图像；将所述人脸图像进行关键点检测，得到所述人脸图像中人脸器官的关键点信息；根据所述关键点信息，将所述人脸图像进行人脸器官块分割，得到对应的人脸器官块图像；将所述人脸器官块图像进行预处理，并将预处理后的人脸器官块图像输入到预先训练的人脸遮挡检测模型中，以进行人脸遮挡检测，并输出对应的掩膜图像；将所述掩膜图像进行二值化处理，得到所述二值化的目标掩膜图像；根据所述目标掩膜图像的像素值情况计算各个人脸器官的遮挡比例。本发明实施例能够精确计算出各个人脸器官对应的遮挡百分比，大大提高了人脸遮挡检测的精确性。

Description

人脸遮挡检测方法、系统、设备及存储介质
技术领域
本发明实施例涉及人工智能技术领域，具体涉及一种人脸遮挡检测方法及系统。
背景技术
随着人工智能技术的发展，人脸识别和活体检测在楼宇通行、金融认证等领域发挥着至关重要的作用，而人脸图像的遮挡情况会对人脸识别和活体检测结果产生直接的影响。因此，人脸遮挡检测是人脸系统中必不可少的环节。
现有的人脸遮挡检测技术方案主要分为两个方向：一是采用传统方法，从色调和纹理上是对肤色和纹理信息进行区别，进而判断人脸图像是否遮挡；二是训练深度神经网络判别人脸是否遮挡，主要采用单任务分类方法判别整张脸是否存在遮挡，或者采用多任务方法与检测模型融合，同时检测各个人脸器官和遮挡物类型及位置，以判别人脸的遮挡情况。
然而，针对上述做法，发明人发现，传统方法受人脸特征复杂性和遮挡物多样性的影响，不具有普适性且泛化能力很弱，单任务分类方法无法精确到具体器官，落地场景有局限，而多任务方法直接定位遮挡物时同时检测器官的任务难度大，精度难以保证。
发明内容
有鉴于此，本发明实施例的目的在于提供一种人脸遮挡检测方法、系统、计算机设备及计算机可读存储介质，用于解决现有技术中传统方法不具有普适性且泛化能力很弱，单任务分类方法无法精确到具体器官，落地场景有局限，而多任务方法器官检测难度大，精度难以保证的缺陷。
为了实现上述目的，本发明实施例提供了一种人脸遮挡检测方法，该方法包括：
获取待检测的人脸图像；
将所述人脸图像进行关键点检测，得到所述人脸图像中人脸器官的关键点信息；
根据所述关键点信息，将所述人脸图像进行人脸器官块分割，得到对应的人脸器官块图像；
将所述人脸器官块图像进行预处理，并将预处理后的人脸器官块图像输入到预先训练的人脸遮挡检测模型中，以进行人脸遮挡检测，并输出对应的掩膜图像；
根据所述目标掩膜图像的像素值情况计算各个人脸器官的遮挡比例。
可选地，所述根据将将所述人脸图像进行关键点检测，得到所述人脸图像中人脸器官的关键点信息，包括：
将所述人脸图像输入到预设的关键点模型中进行所述关键点检测，得到所述人脸图像在二维平面上预设数量的关键点信息，其中，所述关键点信息包括关键点坐标和关键点所对应的序号；
根据所述预设数量的关键点信息以及各个人脸器官在所述人脸图像的位置，确定所述各个人脸器官的关键点信息，其中，所述人脸器官包括额头、左眉毛、右眉毛、左眼睛、右眼睛、鼻子以及嘴巴。
可选地，所述根据所述关键点信息，将所述人脸图像进行人脸器官块分割，得到对应的人脸器官块图像，包括：
根据所述关键点信息以及预设的划分规则，确定各个人脸器官对应的最小外接矩形；
根据各个人脸器官对应的最小外接矩形，对所述人脸图像进行块分割，得到各个人脸器官对应的人脸器官块图像。
可选地，所述将所述人脸器官块图像进行预处理，并将预处理后的人脸器官块图像输入到预先训练的人脸遮挡检测模型中，以进行人脸遮挡检测，并输出对应的掩膜图像，包括：
将所述人脸器官块图像进行填充并对填充后的图像进行尺寸的调整，得到对应尺寸的方形块图像；
将所述方形块图像输入到所述预先训练的人脸遮挡检测模型中进行人脸遮挡检测，得到所述对应的掩膜图像。
可选地，所述将所述掩膜图像进行二值化处理，得到所述二值化的目标掩膜图像，包括：
将所述掩膜图像进行图像的灰度化处理，得到灰度图像；
将所述灰度图像各个像素点的像素值与预设像素阈值进行比较；
当所述像素点的像素值高于所述预设像素阈值时，则将所述像素点的像素值设置为预设像素值；
完成对所述掩膜图像的二值化处理，得到所述二值化的目标掩膜图像。
可选地，所述人脸遮挡检测模型的训练方法包括：
获取人脸训练图像样本以及遮挡物样本；
将所述人脸训练图像样本进行关键点检测，得到所述人脸训练图像样本中人脸器官的关键点信息；
根据所述关键点信息，将所述人脸训练图像样本进行人脸器官块分割，得到对应的人脸器官块图像；
将所述遮挡物样本随机添加到所述人脸器官块图像的预设位置上，以将所述人脸器官块图像的所述预设位置的像素替换为所述遮挡物样本的像素，得到人脸遮挡物训练图像样本；
将所述人脸遮挡物训练图像样本进行预处理，并将预处理后的人脸器官块图像输入到人脸遮挡检测模型中，完成对所述人脸遮挡检测模型的训练。
可选地，所述根据所述目标掩膜图像的像素值情况计算各个人脸器官的遮挡比例，包括：
根据所述目标掩膜图像的像素值情况，统计各个人脸器官中所述预设像素值的个数，得到遮挡像素总数；
根据所述遮挡像素总数，计算所述遮挡像素总数与对应人脸器官总像素值个数的比值，得到所述各个人脸器官的遮挡比例。
为实现上述目的，本发明实施例还提供了一种人脸遮挡检测系统，包括：
获取模块，用于获取待检测的人脸图像；
第一检测模块，用于将所述人脸图像进行关键点检测，得到所述人脸图像中人脸器官的关键点信息；
分割模块，用于根据所述关键点信息，将所述人脸图像进行人脸器官块分割，得到对应的人脸器官块图像；
第二检测模块，用于将所述人脸器官块图像进行预处理，并将预处理后的人脸器官块图像输入到预先训练的人脸遮挡检测模型中，以进行人脸遮挡检测，并输出对应的掩膜图像；
处理模块，用于将所述掩膜图像进行二值化处理，得到所述二值化的目标掩膜图像；
计算模块，用于根据所述目标掩膜图像的像素值情况计算各个人脸器官的遮挡比例。
为实现上述目的，本发明实施例还提供了一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述人脸遮挡检测方法的步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述人脸遮挡检测方法的步骤。
本发明实施例提供的一种人脸遮挡检测方法、系统、计算机设备及计算机可读存储介质，通过获取待检测的人脸图像；将所述人脸图像进行关键点检测，得到所述人脸图像中人脸器官的关键点信息；根据所述关键点信息，将所述人脸图像进行人脸器官块分割，得到对应的人脸器官块图像；将所述人脸器官块图像进行预处理，并将预处理后的人脸器官块图像输入到预先训练的人脸遮挡检测模型中，以进行人脸遮挡检测，并输出对应的掩膜图像；根据所述目标掩膜图像的像素值情况计算各个人脸器官的遮挡比例。本发明实施例通过将人脸器官作为块进行像素级的语义分割，能够精确计算出每个部位器官具体遮挡位置以及各个人脸器官的遮挡百分比，不仅减少了人脸遮挡检测的复杂度，而且人脸划分精确到各个人脸器官，大大提高了人脸遮挡检测的精确性。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的人脸遮挡检测方法的步骤流程示意图；
图2为本发明实施例提供的图1中步骤S200的步骤细化流程示意图；
图3为本发明实施例提供的一种示意性的人脸器官块分割灰度图；
图4为本发明实施例提供的图1中步骤S300的步骤细化流程示意图；
图5为本发明实施例提供的一种示意性的人脸器官块分割效果图；
图6为本发明实施例提供的图1中步骤S400的步骤细化流程示意图；
图7为本发明实施例提供的图1中步骤S500的步骤细化流程示意图；
图8为本发明实施例提供的人脸遮挡检测方法中人脸遮挡检测模型训练方法的步骤细化流程示意图；
图9为本发明实施例提供的图1中步骤S600的步骤细化流程示意图；
图10为本发明实施例提供的人脸遮挡检测系统的一种可选的程序模块示意图；
图11为本发明实施例提供的计算机设备的一种可选的硬件架构示意图。
本发明目的的实现、功能特点及优点将结合发明实施例，参照附图做进一步说明。
具体实施方式
这里将详细地对示例性发明实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性发明实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。
在本发明使用的术语是仅仅出于描述特定发明实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本发明及区别每一步骤，因此不能理解为对本发明的限制。基于本发明中的发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他发明实施例，都属于本发明保护的范围。
下面结合附图对本发明实施例进行说明。
实施例一
参阅图1，示出了本发明实施例提供的一种人脸遮挡检测方法的步骤流程示意图。可以理解，本发明实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述，所述计算机设备可以包括诸如智能手机、平板个人计算机(tablet personal computer)、膝上型计算机(laptop computer)等移动终端，以及诸如台式计算机等固定终端。具体如下：
步骤S100，获取待检测的人脸图像。
具体地，模型获取待检测的人脸图像可通过摄像设备进行人脸拍照、视频监控设备对人脸进行抓拍以及网络爬虫抓取等方式获取。
步骤S200，将所述人脸图像进行关键点检测，得到所述人脸图像中人脸器官的关键点信息。
具体地，通过将所述待检测的人脸图像输入到预设的关键点模型中进行关键点检测，得到对应的关键点信息，从而确定人脸器官的关键点信息。
在示例性的实施例中，如图2所示，为所述步骤200的细化流程图,所述步骤200可以包括：
步骤S201，将所述人脸图像输入到预设的关键点模型中进行所述关键点检测，得到所述人脸图像在二维平面上预设数量的关键点信息，其中，所述关键点信息包括关键点坐标和关键点所对应的序号；
步骤S202，根据所述预设数量的关键点信息以及各个人脸器官在所述人脸图像的位置，确定所述各个人脸器官的关键点信息，其中，所述人脸器官包括额头、左眉毛、右眉毛、左眼睛、右眼睛、鼻子以及嘴巴。
具体地，将所述待检测的人脸图像输入到预设的关键点模型中进行关键点检测和标定，在所述待检测的人脸图像上标记出68个关键点，同时将关键点所对应的序号也标注出来，得到对应的关键点信息，确定对应的人脸器官坐标点信息。
示例性的，如图3所示，图3为一种示意性的人脸器官块(Patch)分割灰度图。以左眼为例，关键点坐标对应的序号分别为36、37、38、39、40、41，关键点坐标所围成的区域代表左眼。以额头为例，左眉毛的关键点坐标对应的序号分别为17、18、19、20、21，右眉毛的关键点坐标对应的序号分别为22、23、24、25、26，其中，序号19和序号24这两点所在的水平线作为额头下边界，以所述两点所在的水平线为基准，取向上延伸五分之一的人脸框高度作为额头上边界，额头左右边界分别为序号17和序号26对应的垂直线，形成的矩形区域作为额头。其中，人脸框高度为眉毛的关键点坐标中最大的点到人脸轮廓的关键点坐标中最小的点之间的距离。
请继续参阅图3，人脸脸颊也可以通过这个68个关键点信息划分出来，以左脸颊为例，关键点坐标对应的序号分别为1、2、3、4、5、6、7、31、40、41、48，这11个关键点围成的区域即为左脸颊。人脸轮廓也可以通过这个68个关键点信息划分出来，关键点坐标对应的序号分别为0、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26，这27个关键点围成的区域即为人脸轮廓。
本发明实施例通过对人脸图像进行关键点检测，得到人脸图像的关键点信息，从而精确地得到对应的人脸器官。
步骤S300，根据所述关键点信息，将所述人脸图像进行人脸器官Patch分割，得到对应的人脸器官Patch图像。
具体地，根据由关键点模型检测出来的关键点信息以及预设的划分规则，对人脸图像进行Patch分割，取包含各个人脸器官的最小外接矩形区域，得到对应的人脸器官Patch图像。
在示例性的实施例中，如图4所示，为所述步骤S300的细化流程图，所述步骤S300可以包括：
步骤S301，根据所述关键点信息以及预设的划分规则，确定各个人脸器官对应的最小外接矩形。
步骤S302，根据各个人脸器官对应的最小外接矩形，对所述人脸图像进行Patch分割，得到各个人脸器官对应的人脸器官Patch图像。
具体地，根据所述关键点信息，设计一套划分规则，规则如下：根据关键点坐标围成的区域以及关键点所对应的序号，确定所述人脸器官的具体位置。由于多边形计算比较冗余且对遮挡判断的判别意义不大，故根据所述人脸器官最上、最下、最左及最右的坐标点，确定所述人脸器官的最小外接矩形，作为人脸器官Patch图像提取出来，以便计算。
请继续参阅图3，以左眼为例，关键点坐标对应的序号分别为36、37、38、39、40、41，关键点坐标所围成的区域代表左眼，根据所述关键点坐标，取能够包含左眼的最小矩形作为左眼Patch。人脸脸颊也可以通过这个68个关键点信息划分出来，以左脸颊为例，关键点坐标对应的序号分别为1、2、3、4、5、6、7、31、40、41、48，这11个关键点坐标所围成的区域代表左脸颊，根据所述关键点坐标，取能够包含左脸颊的最小矩形作为左脸颊Patch。人脸轮廓也可以通过这个68个关键点信息划分出来，通过关键点坐标对应的序号0、8、16、19、24取最小矩形作为人脸轮廓Patch。
本发明实施例通过取人脸器官的最小外接区域作为人脸器官Patch图像，对比传统多边形计算减少了计算的繁琐性，更加便于对人脸器官遮挡比例的计算。
步骤S400，将所述人脸器官Patch图像进行预处理，并将预处理后的人脸器官Patch图像输入到预先训练的人脸遮挡检测模型中，以进行人脸遮挡检测，并输出对应的掩膜(mask)图像。
具体地，先将划分好的人脸器官Patch图像进行预处理，以得到能用于人脸遮挡检测模型的图像，在通过预先对人脸遮挡检测模型进行训练后，将预处理完的图像输入人脸遮挡检测模型中进行人脸遮挡检测，从而输出对应的mask图像。
示例性的，如图5所示，图5为一种示意性的人脸器官Patch分割效果图。图5左边的图像为预处理后的人脸输入图像，图5右边为人脸遮挡检测模型输出的mask图像。其中，图5右边黑色部分为背景，白色部分为人脸区域。
在示例性的实施例中，如图6所示，为所述步骤S400的细化步骤流程图，所述步骤S400可以包括：
步骤S401，将所述人脸器官Patch图像进行填充并对填充后的图像进行尺寸的调整，得到对应尺寸的方形Patch图像。
步骤S402，将所述方形Patch图像输入到所述预先训练的人脸遮挡检测模型中进行人脸遮挡检测，得到所述对应的mask图像。
具体地，调用函数Padding 0将所述人脸器官Patch图像区域填充为方形，然后调用函数resize将所述人脸器官Patch图像区域的大小调整为128*128，得到128*128的方形Patch图像。
具体地，如表1所示，为人脸遮挡检测模型的网络结构表。所述方形Patch图像先经过人脸遮挡检测模型的左半部分，即第一层到第四层，进行特征提取，这属于下采样阶段；然后经过人脸遮挡检测模型的右半部分，即第5、7、10层，这属于上采样阶段，此阶段涉及不同尺度的特征图进行融合，融合方式如表1所示的函数Concat操作，将特征图厚度累加；最后一层是一个filter(滤波器)，大小为1*1*128，深度为1，经过该层卷积后人脸遮挡检测模型输出一个大小为128*128的mask图像。
本发明实施例通过将人脸器官Patch图像预处理后输入到人脸遮挡检测模型，然后通过特征提取、图像融合以及卷积等操作，得到人脸器官的mask图像，从而精确地将人脸器官、皮肤与遮挡物区分开，使计算人脸器官遮挡比例结果更为精准。
表1
Figure BDA0002849248290000081
步骤S500，将所述mask图像进行二值化处理，得到所述二值化的目标mask图像。
具体地，将所述mask图像先进行灰度化处理，得到对应的灰度图像，然后根据预设像素阈值，将获取的灰度图像进行二值化处理，得到所述二值化的目标mask图像。
在示例性的实施例中，如图7所示，所述步骤500可以包括：
步骤S501，将所述mask图像进行图像的灰度化处理，得到灰度图像；
步骤S502，将所述灰度图像各个像素点的像素值与预设像素阈值进行比较；
步骤S503，当所述像素点的像素值高于所述预设像素阈值时，则将所述像素点的像素值设置为预设像素值；
步骤S504，完成对所述mask图像的二值化处理，得到所述二值化的目标mask图像。
具体地，通过将所述mask图像进行二值化处理，使所述mask图像每个像素点都处于0到1之间，设置预设像素阈值为0.75，将大于预设像素阈值的像素点置为1(代表遮挡域)，其他像素点置为0(代表非遮挡域)，得到所述二值化的目标mask图像。其中，预设像素阈值可以根据实际情况自由设置，在此不作限定。
本发明实施例通过将所述mask图像进行二值化处理，得到所述二值化的目标mask图像，使得图像中的目标人脸区域与背景区分开，使模型的结果更具精确性。
在示例性的实施例中，如图8所示，为示例性的所述人脸遮挡检测模型的训练方法的步骤流程图。所述人脸遮挡检测模型的训练方法包括：
步骤S511，获取人脸训练图像样本以及遮挡物样本；
步骤S512，将所述人脸训练图像样本进行关键点检测，得到所述人脸训练图像样本中人脸器官的关键点信息；
步骤S513，根据所述关键点信息，将所述人脸训练图像样本进行人脸器官Patch分割，得到对应的人脸器官Patch图像；
步骤S514，将所述遮挡物样本随机添加到所述人脸器官Patch图像的预设位置上，以将所述人脸器官Patch图像的所述预设位置的像素替换为所述遮挡物样本的像素，得到人脸遮挡物训练图像样本；
步骤S515，将所述人脸遮挡物训练图像样本进行预处理，并将预处理后的人脸器官Patch图像输入到人脸遮挡检测模型中，完成对所述人脸遮挡检测模型的训练。
具体地，将所述人脸训练图像样本通过关键点模型进行关键点检测，得到所述人脸训练图像样本中人脸器官的关键点信息，然后根据所述关键点信息，将所述人脸训练图像样本进行人脸器官Patch分割，得到对应的人脸器官Patch图像，将所述遮挡物样本随机添加到所述人脸器官Patch图像的预设位置上，以将所述人脸器官Patch图像的所述预设位置的像素替换为所述遮挡物样本的像素，得到人脸遮挡物训练图像样本，并将所述遮挡物样本所添加的区域像素值替换为所述遮挡物样本的像素值。其中，所述遮挡物样本通过网络爬虫抓取以及通过自行拍摄并提取得到，包括手指、笔、扇子、杯子、口罩、化妆品以及话筒等。
示例性的，假设遮挡物样本添加在所述人脸训练图像样本上的区域在二维平面上的坐标为[x1:x2,y1:y2]，其中，x1，x2，y1，y2分别对应人脸器官在mask图像中的横坐标x1，x2以及纵坐标y1，y2。先初始化一个大小为128*128的全零矩阵L，然后将[x1:x2,y1:y2]区域的像素全部修改为1，修改后的矩阵就是训练中用的监督label(标签)。
具体地，所述人脸遮挡检测模型通过分割损失函数IOU Loss进行训练，使所述人脸器官patch图像上的像素值和所述全零矩阵L上对应位置的像素值更加接近，即有遮挡物的区域像素值接近1，其他区域的像素值接近0，然后采用深度学习常用的梯度下降法进行训练，直到所述人脸遮挡检测模型收敛，即Loss值不再下降，此时所述人脸遮挡检测模型输出的mask图像的像素值无限接近所述监督label的像素值，完成训练。其中，函数Loss为常用的分割损失函数IOU loss，是根据所述mask图像和所述全零矩阵L进行计算的。
本发明实施例通过随机添加各种类型的遮挡物到人脸训练图像样本的随机人脸区域中，再将大量人脸遮挡物训练图像样本输入到人脸遮挡检测模型中进行训练，使人脸遮挡检测模型对遮挡物的检测越来越灵敏，达到不论什么遮挡物都能检测出来的效果。
步骤S600，根据所述目标mask图像的像素值情况计算各个人脸器官的遮挡比例。
具体地，将所述目标mask图像的像素值与预设像素阈值做比较，并将所有高于预设像素阈值的点统计出来，进而计算各个人脸器官的遮挡比例。
在示例性的实施例中，如图9所示，所述步骤600可以包括：
步骤S601，根据所述目标mask图像的像素值情况，统计各个人脸器官中所述预设像素值的个数，得到遮挡像素总数；
步骤S602，根据所述遮挡像素总数，计算所述遮挡像素总数对应人脸器官总像素值个数的比值，得到所述各个人脸器官的遮挡比例。
具体地，根据所述目标mask图像的像素值情况，计算各个人脸器官Patch图像对应的mask图像像素值为预设像素阈值所占的比例，即为该人脸器官遮挡百分比。器官遮挡百分比的计算公式如下所示：
Figure BDA0002849248290000101
其中，公式中，x1，y1是人脸器官在mask图像中的左上角坐标位置，h和w分别对应人脸器官在mask图像中的高和宽，σij代表二值化后的mask图像中(i，j)位置的像素值，I{σij＝1}表示如果mask图像中(i，j)这个坐标对应的像素是1，则取1，否则取0。
本发明实施例提供的人脸遮挡检测方法，通过对人脸图像进行关键点检测，得到对应人脸器官的关键点信息，从而对人脸器官进行Patch分割，得到对应的人脸器官Patch图像，再经过预处理后输入到预先训练好的人脸遮挡检测模型中进行人脸检测，得到所述对应的mask图像，最后进行计算得到对应的人脸器官遮挡比例。不仅减少了人脸遮挡检测的复杂度，而且人脸划分精确到各个人脸器官，大大提高了人脸遮挡检测的精确性。
实施例二
参阅图10，示出了本发明实施例之一种人脸遮挡检测系统700的程序模块示意图。所述人脸遮挡检测系统700可以应用于计算机设备中，所述计算机设备可以是手机、平板个人计算机(tablet personal computer)、膝上型计算机(laptop computer)、等具有数据传输功能的设备。在本发明实施例中，所述人脸遮挡检测系统700可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明实施例，并可实现上述人脸遮挡检测系统700。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述所述人脸遮挡检测系统700在存储介质中的执行过程。在示例性的实施例中，该人脸遮挡检测系统700包括获取模块701、第一检测模块702、分割模块703、第二检测模块704、处理模块705及计算模块706。以下描述将具体介绍本发明实施例各程序模块的功能：
获取模块701，用于获取待检测的人脸图像。
具体地，所述获取模块701在模型获取待检测的人脸图像可通过摄像设备进行人脸拍照、视频监控设备对人脸进行抓拍以及网络爬虫抓取等方式获取。
第一检测模块702，用于将所述人脸图像进行关键点检测，得到所述人脸图像中人脸器官的关键点信息。
具体地，所述第一检测模块702在通过将所述待检测的人脸图像输入到预设的关键点模型中进行关键点检测，得到对应的关键点信息，从而确定人脸器官的关键点信息。
在示例性的实施例中，所述第一检测模块702具体用于：
将所述人脸图像输入到预设的关键点模型中进行所述关键点检测，得到所述人脸图像在二维平面上预设数量的关键点信息，其中，所述关键点信息包括关键点坐标和关键点所对应的序号；
根据所述预设数量的关键点信息以及各个人脸器官在所述人脸图像的位置，确定所述各个人脸器官的关键点信息，其中，所述人脸器官包括额头、左眉毛、右眉毛、左眼睛、右眼睛、鼻子以及嘴巴。
具体地，将所述待检测的人脸图像输入到预设的关键点模型中进行关键点检测和标定，在所述待检测的人脸图像上标记出68个关键点，同时将关键点所对应的序号也标注出来，得到对应的关键点信息，确定对应的人脸器官坐标点信息。
示例性的，如图3所示，图3为一种示意性的人脸器官Patch分割灰度图。以左眼为例，关键点坐标对应的序号分别为36、37、38、39、40、41，关键点坐标所围成的区域代表左眼。以额头为例，左眉毛的关键点坐标对应的序号分别为17、18、19、20、21，右眉毛的关键点坐标对应的序号分别为22、23、24、25、26，其中，序号19和序号24这两点所在的水平线作为额头下边界，以所述两点所在的水平线为基准，取向上延伸五分之一的人脸框高度作为额头上边界，额头左右边界分别为序号17和序号26对应的垂直线，形成的矩形区域作为额头。其中，人脸框高度为眉毛的关键点坐标中最大的点到人脸轮廓的关键点坐标中最小的点之间的距离。
请继续参阅图3，人脸脸颊也可以通过这个68个关键点信息划分出来，以左脸颊为例，关键点坐标对应的序号分别为1、2、3、4、5、6、7、31、40、41、48，这11个关键点围成的区域即为左脸颊。人脸轮廓也可以通过这个68个关键点信息划分出来，关键点坐标对应的序号分别为0、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26，这27个关键点围成的区域即为人脸轮廓。
本发明实施例通过对人脸图像进行关键点检测，得到人脸图像的关键点信息，从而精确地得到对应的人脸器官。
分割模块703，用于根据所述关键点信息，将所述人脸图像进行人脸器官Patch分割，得到对应的人脸器官Patch图像。
具体地，所述分割模块703根据由关键点模型检测出来的关键点信息以及预设的划分规则，对人脸图像进行Patch分割，取包含各个人脸器官的最小外接矩形区域，得到对应的人脸器官Patch图像。
在示例性的实施例中，所述分割模块703具体用于：
根据所述关键点信息以及预设的划分规则，确定各个人脸器官对应的最小外接矩形；
根据各个人脸器官对应的最小外接矩形，对所述人脸图像进行Patch分割，得到各个人脸器官对应的人脸器官Patch图像。
具体地，所述分割模块703根据所述关键点信息，设计一套划分规则，规则如下：根据关键点坐标围成的区域以及关键点所对应的序号，确定所述人脸器官的具体位置。由于多边形计算比较冗余且对遮挡判断的判别意义不大，故根据所述人脸器官最上、最下、最左及最右的坐标点，确定所述人脸器官的最小外接矩形，作为人脸器官Patch图像提取出来，以便计算。
请继续参阅图3，以左眼为例，关键点坐标对应的序号分别为36、37、38、39、40、41，关键点坐标所围成的区域代表左眼，根据所述关键点坐标，取能够包含左眼的最小矩形作为左眼Patch。人脸脸颊也可以通过这个68个关键点信息划分出来，以左脸颊为例，关键点坐标对应的序号分别为1、2、3、4、5、6、7、31、40、41、48，这11个关键点坐标所围成的区域代表左脸颊，根据所述关键点坐标，取能够包含左脸颊的最小矩形作为左脸颊Patch。人脸轮廓也可以通过这个68个关键点信息划分出来，通过关键点坐标对应的序号0、8、16、19、24取最小矩形作为人脸轮廓Patch。
本发明实施例通过取人脸器官的最小外接区域作为人脸器官Patch图像，对比传统多边形计算减少了计算的繁琐性，更加便于对人脸器官遮挡比例的计算。
第二检测模块704，用于将所述人脸器官Patch图像进行预处理，并将预处理后的人脸器官Patch图像输入到预先训练的人脸遮挡检测模型中，以进行人脸遮挡检测，并输出对应的mask图像。
具体地，所述第二检测模块704先将划分好的人脸器官Patch图像进行预处理，以得到能用于人脸遮挡检测模型的图像，在通过预先对人脸遮挡检测模型进行训练后，将预处理完的图像输入人脸遮挡检测模型中进行人脸遮挡检测，从而输出对应的mask图像。
示例性的，如图5所示，图5为一种示意性的人脸器官Patch分割效果图。图5左边的图像为预处理后的人脸输入图像，图5右边为人脸遮挡检测模型输出的mask图像。其中，图5右边黑色部分为背景，白色部分为人脸区域。
在示例性的实施例中，所述第二检测模块704具体用于：
将所述人脸器官Patch图像进行填充并对填充后的图像进行尺寸的调整，得到对应尺寸的方形Patch图像；
将所述方形Patch图像输入到所述预先训练的人脸遮挡检测模型中进行人脸遮挡检测，得到所述对应的mask图像。
具体地，所述第二检测模块704调用函数Padding 0将所述人脸器官Patch图像区域填充为方形，然后调用函数resize将所述人脸器官Patch图像区域的大小调整为128*128，得到128*128的方形Patch图像。
具体地，如表1所示，为人脸遮挡检测模型的网络结构表。所述方形Patch图像先经过人脸遮挡检测模型的左半部分，即第一层到第四层，进行特征提取，这属于下采样阶段；然后经过人脸遮挡检测模型的右半部分，即第5、7、10层，这属于上采样阶段，此阶段涉及不同尺度的特征图进行融合，融合方式如表1所示的函数Concat操作，将特征图厚度累加；最后一层是一个filter(滤波器)，大小为1*1*128，深度为1，经过该层卷积后人脸遮挡检测模型输出一个大小为128*128的mask图像。
在示例性的实施例中，所述第二检测模块704将人脸器官Patch图像预处理后输入到人脸遮挡检测模型，然后通过特征提取、图像融合以及卷积等操作，得到人脸器官的mask图像，从而精确地将人脸器官、皮肤与遮挡物区分开，使计算人脸器官遮挡比例结果更为精准。
表1
Figure BDA0002849248290000141
处理模块705，用于将所述mask图像进行二值化处理，得到所述二值化的目标mask图像。
具体地，所述处理模块705将所述mask图像先进行灰度化处理，得到对应的灰度图像，然后根据预设像素阈值，将获取的灰度图像进行二值化处理，得到所述二值化的目标mask图像。
在示例性的实施例中，所述处理模块705具体用于：
对所述mask图像进行图像的灰度化处理，得到灰度图像；
将所述灰度图像各个像素点的像素值与预设像素阈值进行比较；
当所述像素点的像素值高于所述预设像素阈值时，则将所述像素点的像素值设置为预设像素值；
完成对所述mask图像的二值化处理，得到所述二值化的目标mask图像。
具体地，所述处理模块705通过将所述mask图像进行二值化处理，使所述mask图像每个像素点都处于0到1之间，设置预设像素阈值为0.75，将大于预设像素阈值的像素点置为1(代表遮挡域)，其他像素点置为0(代表非遮挡域)，得到所述二值化的目标mask图像。其中，预设像素阈值可以根据实际情况自由设置，在此不作限定。
本发明实施例通过将所述mask图像进行二值化处理，得到所述二值化的目标mask图像，使得图像中的目标人脸区域与背景区分开，使模型的结果更具精确性。
本发明提供的人脸遮挡检测系统700包括人脸遮挡检测模型的训练模块，用于：
获取人脸训练图像样本以及遮挡物样本；
将所述人脸训练图像样本进行关键点检测，得到所述人脸训练图像样本中人脸器官的关键点信息；
根据所述关键点信息，将所述人脸训练图像样本进行人脸器官Patch分割，得到对应的人脸器官Patch图像；
将所述遮挡物样本随机添加到所述人脸器官Patch图像的预设位置上，以将所述人脸器官Patch图像的所述预设位置的像素替换为所述遮挡物样本的像素，得到人脸遮挡物训练图像样本；
将所述人脸遮挡物训练图像样本进行预处理，并将预处理后的人脸器官Patch图像输入到人脸遮挡检测模型中，完成对所述人脸遮挡检测模型的训练。
具体地，所述人脸遮挡检测模型的训练模块将所述人脸训练图像样本通过关键点模型进行关键点检测，得到所述人脸训练图像样本中人脸器官的关键点信息，然后根据所述关键点信息，将所述人脸训练图像样本进行人脸器官Patch分割，得到对应的人脸器官Patch图像，将所述遮挡物样本随机添加到所述人脸器官Patch图像的预设位置上，以将所述人脸器官Patch图像的所述预设位置的像素替换为所述遮挡物样本的像素，得到人脸遮挡物训练图像样本，并将所述遮挡物样本所添加的区域像素值替换为所述遮挡物样本的像素值。其中，所述遮挡物样本通过网络爬虫抓取以及通过自行拍摄并提取得到，包括手指、笔、扇子、杯子、口罩、化妆品以及话筒等。
示例性的，假设遮挡物样本添加在所述人脸训练图像样本上的区域在二维平面上的坐标为[x1:x2,y1:y2]，其中，x1，x2，y1，y2分别对应人脸器官在mask图像中的横坐标x1，x2以及纵坐标y1，y2。先初始化一个大小为128*128的全零矩阵L，然后将[x1:x2,y1:y2]区域的像素全部修改为1，修改后的矩阵就是训练中用的监督label(标签)。
具体地，所述人脸遮挡检测模型通过分割损失函数IOU Loss进行训练，使所述人脸器官patch图像上的像素值和所述全零矩阵L上对应位置的像素值更加接近，即有遮挡物的区域像素值接近1，其他区域的像素值接近0，然后采用深度学习常用的梯度下降法进行训练，直到所述人脸遮挡检测模型收敛，即Loss值不再下降，此时所述人脸遮挡检测模型输出的mask图像的像素值无限接近所述监督label的像素值，完成训练。其中，函数Loss为常用的分割损失函数IOU loss，是根据所述mask图像和所述全零矩阵L进行计算的。
在示例性的实施例中，所述人脸遮挡检测系统700通过随机添加各种类型的遮挡物到人脸训练图像样本的随机人脸区域中，再将大量人脸遮挡物训练图像样本输入到人脸遮挡检测模型中进行训练，使人脸遮挡检测模型对遮挡物的检测越来越灵敏，达到不论什么遮挡物都能检测出来的效果。
计算模块706，用于根据所述目标mask图像的像素值情况计算各个人脸器官的遮挡比例。
具体地，将所述目标mask图像的像素值与预设像素阈值做比较，并将所有高于预设像素阈值的点统计出来，进而计算各个人脸器官的遮挡比例。
在示例性的实施例中，所述计算模块706具体用于：
根据所述目标mask图像的像素值情况，统计各个人脸器官中所述预设像素值的个数，得到遮挡像素总数；
根据所述遮挡像素总数，计算所述遮挡像素总数对应人脸器官总像素值个数的比值，得到所述各个人脸器官的遮挡比例。
具体地，所述计算模块706根据所述目标mask图像的像素值情况，计算各个人脸器官Patch图像对应的mask图像像素值为预设像素阈值所占的比例，即为该人脸器官遮挡百分比。器官遮挡百分比的计算公式如下所示：
Figure BDA0002849248290000161
其中，公式中，x1，y1是人脸器官在mask图像中的左上角坐标位置，h和w分别对应人脸器官在mask图像中的高和宽，σij代表二值化后的mask图像中(i，j)位置的像素值，I{σij＝1}表示如果mask图像中(i，j)这个坐标对应的像素是1，则取1，否则取0。
本发明实施例提供的人脸遮挡检测系统700，通过对人脸图像进行关键点检测，得到对应人脸器官的关键点信息，从而对人脸器官进行Patch分割，得到对应的人脸器官Patch图像，再经过预处理后输入到预先训练好的人脸遮挡检测模型中进行人脸检测，得到所述对应的mask图像，最后进行计算得到对应的人脸器官遮挡比例。不仅减少了人脸遮挡检测的复杂度，而且人脸划分精确到各个人脸器官，大大提高了人脸遮挡检测的精确性。
实施例三
参阅图11，本发明实施例还提供一种计算机设备800的硬件架构示意图。如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。在本发明实施例中，所述计算机设备800是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。如图所示，所述计算机设备800至少包括，但不限于，可通过装置总线相互通信连接存储器801、处理器802、网络接口803。其中：
本发明实施例中，存储器801至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些发明实施例中，存储器801可以是计算机设备800的内部存储单元，例如所述计算机设备800的硬盘或内存。在另一些发明实施例中，存储器801也可以是计算机设备800的外部存储设备，例如所述计算机设备800上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。当然，存储器801还可以既包括计算机设备800的内部存储单元也包括其外部存储设备。本发明实施例中，存储器801通常用于存储安装于计算机设备800的操作装置和各类应用软件，例如所述人脸遮挡检测系统700的程序代码等。此外，存储器801还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器802在一些发明实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。所述处理器802通常用于控制计算机设备800的总体操作。本发明实施例中，处理器802用于运行存储器801中存储的程序代码或者处理数据，例如运行所述人脸遮挡检测系统700的程序代码，以实现上述各个发明实施例中的所述人脸遮挡检测方法。
所述网络接口803可包括无线网络接口或有线网络接口，所述网络接口803通常用于在所述计算机设备800与其他电子装置之间建立通信连接。例如，所述网络接口803用于通过网络将所述计算机设备800与外部终端相连，在所述计算机设备800与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯装置(Global System of Mobile communication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图11仅示出了具有部件801-803的计算机设备800，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本发明实施例中，存储于存储器801中的所述人脸遮挡检测系统700还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器801中，并由一个或多个处理器(本发明实施例为处理器802)所执行，以完成本发明之人脸遮挡检测方法。
实施例四
本发明实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本发明实施例的计算机可读存储介质用于存储所述人脸遮挡检测系统700，以被处理器执行时实现本发明之人脸遮挡检测方法。
上述本发明实施例序号仅仅为了描述，不代表发明实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述发明实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选发明实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人脸遮挡检测方法，其特征在于，所述方法包括：
获取待检测的人脸图像；
将所述人脸图像进行关键点检测，得到所述人脸图像中人脸器官的关键点信息；
根据所述关键点信息，将所述人脸图像进行人脸器官块分割，得到对应的人脸器官块图像；
将所述人脸器官块图像进行预处理，并将预处理后的人脸器官块图像输入到预先训练的人脸遮挡检测模型中，以进行人脸遮挡检测，并输出对应的掩膜图像；
将所述掩膜图像进行二值化处理，得到所述二值化的目标掩膜图像；及
根据所述目标掩膜图像的像素值情况计算各个人脸器官的遮挡比例。
2.如权利要求1所述的人脸遮挡检测方法，其特征在于，所述将所述人脸图像进行关键点检测，得到所述人脸图像中人脸器官的关键点信息，包括：
将所述人脸图像输入到预设的关键点模型中进行所述关键点检测，得到所述人脸图像在二维平面上预设数量的关键点信息，其中，所述关键点信息包括关键点坐标和关键点所对应的序号；及
根据所述预设数量的关键点信息以及各个人脸器官在所述人脸图像的位置，确定所述各个人脸器官的关键点信息，其中，所述人脸器官包括额头、左眉毛、右眉毛、左眼睛、右眼睛、鼻子以及嘴巴。
3.如权利要求1所述的人脸遮挡检测方法，其特征在于，所述根据所述关键点信息，将所述人脸图像进行人脸器官块分割，得到对应的人脸器官块图像，包括：
根据所述关键点信息以及预设的划分规则，确定各个人脸器官对应的最小外接矩形；及
根据各个人脸器官对应的最小外接矩形，对所述人脸图像进行块分割，得到各个人脸器官对应的人脸器官块图像。
4.如权利要求1所述的人脸遮挡检测方法，其特征在于，所述将所述人脸器官块图像进行预处理，并将预处理后的人脸器官块图像输入到预先训练的人脸遮挡检测模型中，以进行人脸遮挡检测，并输出对应的掩膜图像，包括：
将所述人脸器官块图像进行填充并对填充后的图像进行尺寸的调整，得到对应尺寸的方形块图像；及
将所述方形块图像输入到所述预先训练的人脸遮挡检测模型中进行人脸遮挡检测，得到所述对应的掩膜图像。
5.如权利要求1所述的人脸遮挡检测方法，其特征在于，所述将所述掩膜图像进行二值化处理，得到所述二值化的目标掩膜图像，包括：
将所述掩膜图像进行图像的灰度化处理，得到灰度图像；
将所述灰度图像各个像素点的像素值与预设像素阈值进行比较；
当所述像素点的像素值高于所述预设像素阈值时，则将所述像素点的像素值设置为预设像素值；及
完成对所述掩膜图像的二值化处理，得到所述二值化的目标掩膜图像。
6.如权利要求1或4所述的人脸遮挡检测方法，其特征在于，所述人脸遮挡检测模型的训练方法包括：
获取人脸训练图像样本以及遮挡物样本；
将所述人脸训练图像样本进行关键点检测，得到所述人脸训练图像样本中人脸器官的关键点信息；
根据所述关键点信息，将所述人脸训练图像样本进行人脸器官块分割，得到对应的人脸器官块图像；
将所述遮挡物样本随机添加到所述人脸器官块图像的预设位置上，以将所述人脸器官块图像的所述预设位置的像素替换为所述遮挡物样本的像素，得到人脸遮挡物训练图像样本；及
将所述人脸遮挡物训练图像样本进行预处理，并将预处理后的人脸器官块图像输入到人脸遮挡检测模型中，完成对所述人脸遮挡检测模型的训练。
7.如权利要求1所述的人脸遮挡检测方法，其特征在于，所述根据所述目标掩膜图像的像素值情况计算各个人脸器官的遮挡比例，包括：
根据所述目标掩膜图像的像素值情况，统计各个人脸器官中所述预设像素值的个数，得到遮挡像素总数；及
根据所述遮挡像素总数，计算所述遮挡像素总数与对应人脸器官总像素值个数的比值，得到所述各个人脸器官的遮挡比例。
8.一种人脸遮挡检测系统，其特征在于，包括：
获取模块，用于获取待检测的人脸图像；
第一检测模块，用于将所述人脸图像进行关键点检测，得到所述人脸图像中人脸器官的关键点信息；
分割模块，用于根据所述关键点信息，将所述人脸图像进行人脸器官块分割，得到对应的人脸器官块图像；
第二检测模块，用于将所述人脸器官块图像进行预处理，并将预处理后的人脸器官块图像输入到预先训练的人脸遮挡检测模型中，以进行人脸遮挡检测，并输出对应的掩膜图像；
处理模块，用于将所述掩膜图像进行二值化处理，得到所述二值化的目标掩膜图像；
计算模块，用于根据所述目标掩膜图像的像素值情况计算各个人脸器官的遮挡比例。
9.一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项的所述人脸遮挡检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项的所述人脸遮挡检测方法的步骤。
CN202011520261.8A 2020-12-21 2020-12-21 人脸遮挡检测方法、系统、设备及存储介质 Pending CN112633144A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011520261.8A CN112633144A (zh) 2020-12-21 2020-12-21 人脸遮挡检测方法、系统、设备及存储介质
PCT/CN2021/082571 WO2022134337A1 (zh) 2020-12-21 2021-03-24 人脸遮挡检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011520261.8A CN112633144A (zh) 2020-12-21 2020-12-21 人脸遮挡检测方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112633144A true CN112633144A (zh) 2021-04-09

Family

ID=75321947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011520261.8A Pending CN112633144A (zh) 2020-12-21 2020-12-21 人脸遮挡检测方法、系统、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112633144A (zh)
WO (1) WO2022134337A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221767A (zh) * 2021-05-18 2021-08-06 北京百度网讯科技有限公司 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN113469187A (zh) * 2021-07-15 2021-10-01 长视科技股份有限公司 基于目标检测的物体遮挡比例计算方法与系统
CN113505736A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 对象的识别方法及装置、存储介质、电子装置
CN113537054A (zh) * 2021-07-15 2021-10-22 重庆紫光华山智安科技有限公司 人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质
CN113723310A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 基于神经网络的图像识别方法及相关装置
CN113743195A (zh) * 2021-07-23 2021-12-03 北京眼神智能科技有限公司 人脸遮挡定量分析方法、装置、电子设备及存储介质
CN113747112A (zh) * 2021-11-04 2021-12-03 珠海视熙科技有限公司 一种多人视频会议头像的处理方法及处理装置
CN114093012A (zh) * 2022-01-18 2022-02-25 荣耀终端有限公司 人脸遮挡的检测方法和检测装置
CN114155561A (zh) * 2022-02-08 2022-03-08 杭州迪英加科技有限公司 一种幽门螺杆菌定位方法及装置
CN114399813A (zh) * 2021-12-21 2022-04-26 马上消费金融股份有限公司 人脸遮挡检测方法、模型训练方法、装置及电子设备
TWI780995B (zh) * 2021-05-14 2022-10-11 中國商北京市商湯科技開發有限公司 圖像處理方法、設備及電腦儲存媒體
WO2022222766A1 (zh) * 2021-04-21 2022-10-27 中山大学 语义分割的人脸完整度度量方法、系统、设备及存储介质
WO2022230639A1 (ja) * 2021-04-30 2022-11-03 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2022252737A1 (zh) * 2021-05-31 2022-12-08 上海商汤智能科技有限公司 图像处理方法及装置、处理器、电子设备及存储介质
WO2022257677A1 (zh) * 2021-06-10 2022-12-15 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质
CN115938023A (zh) * 2023-03-15 2023-04-07 深圳市皇家金盾智能科技有限公司 智能门锁人脸识别解锁方法、装置、介质及智能门锁
CN113743195B (zh) * 2021-07-23 2024-05-17 北京眼神智能科技有限公司 人脸遮挡定量分析方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311553B (zh) * 2023-05-17 2023-08-15 武汉利楚商务服务有限公司 应用于半遮挡图像下的人脸活体检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200034657A1 (en) * 2017-07-27 2020-01-30 Tencent Technology (Shenzhen) Company Limited Method and apparatus for occlusion detection on target object, electronic device, and storage medium
CN111191616A (zh) * 2020-01-02 2020-05-22 广州织点智能科技有限公司 一种人脸遮挡检测方法、装置、设备及存储介质
CN111428581A (zh) * 2020-03-05 2020-07-17 平安科技（深圳）有限公司 人脸遮挡检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909065B (zh) * 2017-12-29 2020-06-16 百度在线网络技术（北京）有限公司 用于检测人脸遮挡的方法及装置
CN109840477B (zh) * 2019-01-04 2020-11-24 苏州飞搜科技有限公司 基于特征变换的受遮挡人脸识别方法及装置
CN111523480B (zh) * 2020-04-24 2021-06-18 北京嘀嘀无限科技发展有限公司 一种面部遮挡物的检测方法、装置、电子设备及存储介质
CN111814569A (zh) * 2020-06-12 2020-10-23 深圳禾思众成科技有限公司 一种人脸遮挡区域的检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200034657A1 (en) * 2017-07-27 2020-01-30 Tencent Technology (Shenzhen) Company Limited Method and apparatus for occlusion detection on target object, electronic device, and storage medium
CN111191616A (zh) * 2020-01-02 2020-05-22 广州织点智能科技有限公司 一种人脸遮挡检测方法、装置、设备及存储介质
CN111428581A (zh) * 2020-03-05 2020-07-17 平安科技（深圳）有限公司 人脸遮挡检测方法及系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222766A1 (zh) * 2021-04-21 2022-10-27 中山大学 语义分割的人脸完整度度量方法、系统、设备及存储介质
WO2022230639A1 (ja) * 2021-04-30 2022-11-03 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、プログラム
TWI780995B (zh) * 2021-05-14 2022-10-11 中國商北京市商湯科技開發有限公司 圖像處理方法、設備及電腦儲存媒體
CN113221767B (zh) * 2021-05-18 2023-08-04 北京百度网讯科技有限公司 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN113221767A (zh) * 2021-05-18 2021-08-06 北京百度网讯科技有限公司 训练活体人脸识别模型、识别活体人脸的方法及相关装置
WO2022252737A1 (zh) * 2021-05-31 2022-12-08 上海商汤智能科技有限公司 图像处理方法及装置、处理器、电子设备及存储介质
WO2022257677A1 (zh) * 2021-06-10 2022-12-15 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质
CN113469187A (zh) * 2021-07-15 2021-10-01 长视科技股份有限公司 基于目标检测的物体遮挡比例计算方法与系统
CN113537054A (zh) * 2021-07-15 2021-10-22 重庆紫光华山智安科技有限公司 人脸遮挡程度计算方法、装置、电子设备及计算机可读存储介质
CN113743195A (zh) * 2021-07-23 2021-12-03 北京眼神智能科技有限公司 人脸遮挡定量分析方法、装置、电子设备及存储介质
CN113743195B (zh) * 2021-07-23 2024-05-17 北京眼神智能科技有限公司 人脸遮挡定量分析方法、装置、电子设备及存储介质
CN113505736A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 对象的识别方法及装置、存储介质、电子装置
CN113723310A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 基于神经网络的图像识别方法及相关装置
CN113723310B (zh) * 2021-08-31 2023-09-05 平安科技（深圳）有限公司 基于神经网络的图像识别方法及相关装置
CN113747112A (zh) * 2021-11-04 2021-12-03 珠海视熙科技有限公司 一种多人视频会议头像的处理方法及处理装置
CN114399813A (zh) * 2021-12-21 2022-04-26 马上消费金融股份有限公司 人脸遮挡检测方法、模型训练方法、装置及电子设备
CN114399813B (zh) * 2021-12-21 2023-09-26 马上消费金融股份有限公司 人脸遮挡检测方法、模型训练方法、装置及电子设备
CN114093012B (zh) * 2022-01-18 2022-06-10 荣耀终端有限公司 人脸遮挡的检测方法和检测装置
CN114093012A (zh) * 2022-01-18 2022-02-25 荣耀终端有限公司 人脸遮挡的检测方法和检测装置
CN114155561A (zh) * 2022-02-08 2022-03-08 杭州迪英加科技有限公司 一种幽门螺杆菌定位方法及装置
CN115938023A (zh) * 2023-03-15 2023-04-07 深圳市皇家金盾智能科技有限公司 智能门锁人脸识别解锁方法、装置、介质及智能门锁
CN115938023B (zh) * 2023-03-15 2023-05-02 深圳市皇家金盾智能科技有限公司 智能门锁人脸识别解锁方法、装置、介质及智能门锁

Also Published As

Publication number Publication date
WO2022134337A1 (zh) 2022-06-30

Similar Documents

Publication Publication Date Title
CN112633144A (zh) 人脸遮挡检测方法、系统、设备及存储介质
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN112101195B (zh) 人群密度预估方法、装置、计算机设备和存储介质
CN112381061B (zh) 一种面部表情识别方法及系统
CN113302619B (zh) 目标区域评估和特征点评估的系统和方法
CN110852257A (zh) 一种人脸关键点的检测方法、装置及存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN111160169A (zh) 人脸检测方法、装置、设备及计算机可读存储介质
CN111222433A (zh) 自动人脸稽核方法、系统、设备及可读存储介质
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN111353325A (zh) 关键点检测模型训练方法及装置
CN113191189A (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
CN110781866A (zh) 基于深度学习的大熊猫脸部图像性别识别方法及装置
CN116798041A (zh) 图像识别方法、装置和电子设备
CN112101139B (zh) 人形检测方法、装置、设备及存储介质
CN115035313A (zh) 黑颈鹤识别方法、装置、设备及存储介质
CN110751163A (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN115147818A (zh) 玩手机行为识别方法及装置
CN111881732B (zh) 一种基于svm的人脸质量评价方法
CN114511877A (zh) 一种行为识别方法、装置、存储介质及终端
CN111784658A (zh) 一种用于人脸图像的质量分析方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination