CN113705466B - 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法 - Google Patents

用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法 Download PDF

Info

Publication number
CN113705466B
CN113705466B CN202111003613.7A CN202111003613A CN113705466B CN 113705466 B CN113705466 B CN 113705466B CN 202111003613 A CN202111003613 A CN 202111003613A CN 113705466 B CN113705466 B CN 113705466B
Authority
CN
China
Prior art keywords
face
shielding
occlusion
detection
sense organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111003613.7A
Other languages
English (en)
Other versions
CN113705466A (zh
Inventor
刘中秋
张伟
陈高曙
张昌军
常雪景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miaxis Biometrics Co Ltd
Original Assignee
Miaxis Biometrics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miaxis Biometrics Co Ltd filed Critical Miaxis Biometrics Co Ltd
Priority to CN202111003613.7A priority Critical patent/CN113705466B/zh
Publication of CN113705466A publication Critical patent/CN113705466A/zh
Application granted granted Critical
Publication of CN113705466B publication Critical patent/CN113705466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法,将对齐后的人脸图像和人脸边缘信息灰度图作为卷积神经网络的输入,将结合人脸五官模板对对齐后人脸图像进行随机物体遮挡时遮挡物体的位置信息及人脸五官各部分遮挡情况作为卷积神经网络的中间输出,将人脸五官遮挡模板作为卷积神经网络的最终输出进行模型训练,训练完成后将待检测图像输入得到的人脸五官遮挡检测模型即可得到人脸五官各区域是否遮挡的检测结果。本发明提供的方法,不但可以提升人脸五官遮挡尤其高仿遮挡下的检测精度,同时可以提升其检测速度、满足检测的实时性需求。

Description

用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法
【技术领域】
本发明涉及人脸检测技术领域,具体涉及一种用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法。
【背景技术】
近年来,随着信息技术的飞速发展,生物识别技术因其可靠性受到了越来越多的关注,其中人脸识别以其非接触性、隐蔽性及便携性在诸多领域有着重要的应用价值。人脸检测是所有人脸信息处理中关键的第一步,人脸五官是否被遮挡对人脸检测结果有着重要影响,其中人脸五官通常是指鼻子、眼睛、嘴巴、下巴、脸颊区域,人脸五官各区域主要是通过人脸关键点定位结合人脸进行截取得到。
目前,针对人脸五官遮挡常见的检测思路主要有分类和分割两种思维方法:分类是先根据需求建立多个相应的二分类模型,随后对人脸五官各个区域进行二分类判断;分割是先对人脸五官各个区域进行遮挡分割,然后计算分割图中人脸五官各区域遮挡面积占各部分总面积的比值进行遮挡判断,但分类方法的多个二分类模型会造成计算资源的浪费,分割方法若要保证检测精度的话则会牺牲速度,且此两种思维方法在高仿遮挡场景下的检测精度明显低于普通遮挡下的检测精度。因此,亟需一种用于遮挡场景、尤其高仿遮挡下的可兼顾检测精度及速度的人脸五官遮挡检测方法。
【发明内容】
针对上述现有技术中存在的缺陷,本发明的目的在于提供一种用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法,所述遮挡场景通常可分为普通遮挡和高仿遮挡,普通遮挡是指与皮肤颜色差异大的物体遮挡,例如常见的墨镜、口罩、头发遮挡等,高仿遮挡是指与皮肤颜色差异小的物体遮挡,例如手、胳膊、其他人脸等。本发明方法不但可以提升人脸五官遮挡尤其高仿遮挡下的检测精度,同时可以提升其检测速度、满足检测的实时性需求。
为达到以上目的,本发明提供的一种用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法包括步骤如下:
步骤1:从训练数据集中获取待检测的原始图像;
步骤2:对原始图像进行人脸检测和五官定位,得到人脸图像;
步骤3:对人脸图像进行对齐,得到对齐后的人脸图像及人脸五官模板;
步骤4:结合人脸五官模板对对齐后的人脸图像进行随机物体遮挡,得到遮挡物体的位置信息及人脸五官遮挡模板,并标记当下人脸五官各部分遮挡情况;
步骤5:对步骤4中进行随机物体遮挡后得到的人脸图像进行常规Sobel滤波,得到人脸边缘信息灰度图;
步骤6:将步骤3中得到的对齐后的人脸图像和步骤5中得到的人脸边缘信息灰度图作为卷积神经网络的输入,将步骤4中得到的结合人脸五官模板对对齐后人脸图像进行随机物体遮挡时遮挡物体的位置信息及人脸五官各部分遮挡情况作为卷积神经网络的中间输出,将步骤4中得到的人脸五官遮挡模板作为卷积神经网络的最终输出进行模型训练;
步骤7:当预设损失函数达到设定的收敛阈值时结束模型训练,将完成训练的模型前端作为人脸五官遮挡检测模型使用;
步骤8:将待检测的遮挡人脸图像输入人脸五官遮挡检测模型后即得出人脸五官各区域是否遮挡的检测结果。
作为一种技术方案,所述人脸五官模板的上边界是眉毛边缘。
作为一种技术方案,所述人脸五官模板将人脸划分为8个区域,分别是左眼、右眼、前额、鼻子、嘴巴、下颚、左脸颊和右脸颊。
作为一种技术方案,步骤4中所述遮挡物体的所占区域用其外接矩形表示,其位置信息由外接矩形左上及右下顶点坐标数据得出。
作为一种技术方案,步骤6中所述卷积神经网络的前端是多个卷积层和全连接层的组合,后端是多个反卷积层的组合。
本发明具有以下优点与积极效果:
(1)使用单个检测模型即可判断人脸五官各区域的遮挡情况;
(2)通过人脸五官遮挡位置信息的回归,提升五官遮挡的分割精度,进而提高遮挡场景下的人脸五官遮挡检测精度;
(3)使用人脸五官遮挡图和经Sobel提取的人脸五官遮挡边缘信息灰度图作为模型输入进行训练,有效提升高仿遮挡场景下的人脸五官遮挡检测精度;
(4)本方法结合了分类和分割思路,兼顾检测速度和检测精度,满足实时性应用需求。
【附图说明】
图1是本发明方法的整体流程示意图。
图2是本发明人脸五官模板示意图。
图3是本发明具体实施例中卷积神经网络的训练过程示意图。
图4是本发明具体实施例中人脸五官遮挡检测过程示意图。
【具体实施方式】
下面结合附图和具体实施方式对本发明作进一步详细的说明,本实施例提供一种用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法,具体包括以下步骤,大体流程如图1所示:
S1、从训练数据集中获取待检测的原始图像。
本实施例中使用的训练数据集包括开源数据集和自建数据集两部分,其中开源数据集来自CASIA_WEBFACE,包含494414张图像,自建数据集通过摄像头采集真人人脸获取,包含300000张图像,且训练数据集中训练数据和校验数据的比例为9:1。
S2、采用开源RetinaFace算法和PFLD算法对原始图像进行人脸检测和五官定位,得到人脸图像。
S3、通过仿射变换让五官定位关键点尽可能和标准人脸五官关键点对齐,并以其为基准进行人脸图像对齐,随即获得对齐后的人脸图像及人脸五官模板。
如图2所示,为最大避免头发造成的影响,人脸五官模板的上边界设定为眉毛边缘,具体分为左眼、右眼、前额、鼻子、嘴巴、下颚、左脸颊和右脸颊8个区域。
S4、结合人脸五官模板对对齐后的人脸图像进行随机物体遮挡,获得人脸五官遮挡模板,所用遮挡物体的所占区域用其外接矩形表示,其位置信息由外接矩形左上及右下顶点坐标数据得出,并标记当下人脸五官各部分遮挡状态,未遮挡部分标记为0,遮挡部分标记为1。
S5、对S4中进行随机物体遮挡后得到的人脸图像进行常规Sobel滤波,得到人脸边缘信息灰度图。
S6、基于mobilefacenet和Unet网络模型搭建预训练卷积神经网络,此预训练神经网络主要包括3层卷积层、1层全连接层和3层反卷积层,将S3中得到的对齐后的人脸图像和S5中得到的人脸边缘信息灰度图作为此预训练卷积神经网络的输入,将S4中得到的结合人脸五官模板对对齐后人脸图像进行随机物体遮挡时遮挡物体的位置信息及人脸五官各部分遮挡状态作为神经网络的中间输出,将S4中得到的人脸五官遮挡模板作为预训练卷积神经网络的最终输出进行模型训练,其训练过程如图3所示。
S7、当预设损失函数达到设定的收敛阈值时结束模型训练,将完成训练的模型前端作为人脸五官遮挡检测模型使用。
S8、将待检测的遮挡人脸图像输入人脸五官遮挡检测模型后即得出人脸五官各区域是否遮挡的检测结果,其检测过程如图4所示。
基于win10-Intel(R)Core(TM)i3-8100 CPU@3.60GHz测试环境,使用我司自建的普通遮挡数据集和高仿遮挡数据集进行分别检测,所述普通遮挡是指与皮肤颜色差异大的物体遮挡,例如常见的墨镜、口罩、头发遮挡等,高仿遮挡是指与皮肤颜色差异小的物体遮挡,例如手、胳膊、其他人脸等,其中普通遮挡数据集包含10万张图像,高仿遮挡数据集包含8万张图像,测试结果如表1所示:
表1
方法 速度(ms) 普通遮挡精度 高仿遮挡精度
UNet 3103 0.83 0.62
ENet 1864 0.82 0.65
本发明提供的方法 78 0.94 0.96
通过上述比较可以看出,本发明方法相较传统的UNet和ENet算法,在普通遮挡和高仿遮挡数据集中均有较高的检测精度及高效的检测速度,尤其高仿遮挡下的检测精度得到了明显提升。
以上实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。

Claims (6)

1.用于遮挡场景的人脸五官遮挡检测方法,其特征在于,包括步骤如下:
步骤1:从训练数据集中获取待检测的原始图像;
步骤2:对原始图像进行人脸检测和五官定位,得到人脸图像;
步骤3:对人脸图像进行对齐,得到对齐后的人脸图像及人脸五官模板;
步骤4:结合人脸五官模板对对齐后的人脸图像进行随机物体遮挡,得到遮挡物体的位置信息及人脸五官遮挡模板,并标记当下人脸五官各部分遮挡情况;
步骤5:对步骤4中进行随机物体遮挡后得到的人脸图像进行常规Sobel滤波,得到人脸边缘信息灰度图;
步骤6:将步骤3中得到的对齐后的人脸图像和步骤5中得到的人脸边缘信息灰度图作为卷积神经网络的输入,将步骤4中得到的结合人脸五官模板对对齐后人脸图像进行随机物体遮挡时遮挡物体的位置信息及人脸五官各部分遮挡情况作为卷积神经网络的中间输出,将步骤4中得到的人脸五官遮挡模板作为卷积神经网络的最终输出进行模型训练,其中,所述神经网络模型基于mobilefacenet和Unet网络模型搭建,前端是多个卷积层和全连接层的组合,后端是多个反卷积层的组合;
步骤7:当预设损失函数达到设定的收敛阈值时结束模型训练,将完成训练的模型前端作为人脸五官遮挡检测模型使用;
步骤8:将待检测的遮挡人脸图像输入人脸五官遮挡检测模型后即得出人脸五官各区域是否遮挡的检测结果。
2.如权利要求1所述的人脸五官遮挡检测方法,其特征在于,所述遮挡场景包括高仿遮挡,所述高仿遮挡是指与皮肤颜色差异小的物体遮挡。
3.如权利要求2所述的人脸五官遮挡检测方法,其特征在于,所述与皮肤颜色差异小的物体遮挡是指手或胳膊或其他人脸对对齐后的人脸图像的遮挡。
4.如权利要求1所述的人脸五官遮挡检测方法,其特征在于,所述人脸五官模板的上边界是眉毛边缘。
5.如权利要求1或4所述的人脸五官遮挡检测方法,其特征在于,所述人脸五官模板将人脸划分为8个区域,分别是左眼、右眼、前额、鼻子、嘴巴、下颚、左脸颊和右脸颊。
6.如权利要求1所述的人脸五官遮挡检测方法,其特征在于,步骤4中所述遮挡物体的所占区域用其外接矩形表示,其位置信息由外接矩形左上及右下顶点坐标数据得出。
CN202111003613.7A 2021-08-30 2021-08-30 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法 Active CN113705466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111003613.7A CN113705466B (zh) 2021-08-30 2021-08-30 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111003613.7A CN113705466B (zh) 2021-08-30 2021-08-30 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法

Publications (2)

Publication Number Publication Date
CN113705466A CN113705466A (zh) 2021-11-26
CN113705466B true CN113705466B (zh) 2024-02-09

Family

ID=78656768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111003613.7A Active CN113705466B (zh) 2021-08-30 2021-08-30 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法

Country Status (1)

Country Link
CN (1) CN113705466B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963424B (zh) * 2021-12-21 2022-03-08 西南石油大学 一种基于单阶人脸定位算法的婴儿窒息或猝死预警方法
CN115909468B (zh) * 2023-01-09 2023-06-06 广州佰锐网络科技有限公司 人脸五官遮挡检测方法、存储介质及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120113912A (ko) * 2011-04-06 2012-10-16 한국수자원공사 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법
WO2015165365A1 (zh) * 2014-04-29 2015-11-05 华为技术有限公司 一种人脸识别方法及系统
CN106529447A (zh) * 2016-11-03 2017-03-22 河北工业大学 一种小样本人脸识别方法
EP3428843A1 (en) * 2017-07-14 2019-01-16 GB Group plc Improvements relating to face recognition
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110287760A (zh) * 2019-03-28 2019-09-27 电子科技大学 一种基于深度学习的人脸五官点遮挡检测方法
CN110414394A (zh) * 2019-07-16 2019-11-05 公安部第一研究所 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型
CN111428581A (zh) * 2020-03-05 2020-07-17 平安科技(深圳)有限公司 人脸遮挡检测方法及系统
CN111523480A (zh) * 2020-04-24 2020-08-11 北京嘀嘀无限科技发展有限公司 一种面部遮挡物的检测方法、装置、电子设备及存储介质
CN112016464A (zh) * 2020-08-28 2020-12-01 中移(杭州)信息技术有限公司 检测人脸遮挡的方法、装置、电子设备及存储介质
CN112052746A (zh) * 2020-08-17 2020-12-08 北京大米科技有限公司 目标检测方法、装置、电子设备和可读存储介质
CN112069993A (zh) * 2020-09-04 2020-12-11 西安西图之光智能科技有限公司 基于五官掩膜约束的密集人脸检测方法及系统和存储介质
CN112070015A (zh) * 2020-09-08 2020-12-11 广州云从博衍智能科技有限公司 一种融合遮挡场景的人脸识别方法、系统、设备及介质
CN112419170A (zh) * 2020-10-16 2021-02-26 上海哔哩哔哩科技有限公司 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN112651322A (zh) * 2020-12-22 2021-04-13 北京眼神智能科技有限公司 脸颊遮挡检测方法、装置及电子设备
CN112949565A (zh) * 2021-03-25 2021-06-11 重庆邮电大学 基于注意力机制的单样本部分遮挡人脸识别方法及系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120113912A (ko) * 2011-04-06 2012-10-16 한국수자원공사 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법
WO2015165365A1 (zh) * 2014-04-29 2015-11-05 华为技术有限公司 一种人脸识别方法及系统
CN106529447A (zh) * 2016-11-03 2017-03-22 河北工业大学 一种小样本人脸识别方法
EP3428843A1 (en) * 2017-07-14 2019-01-16 GB Group plc Improvements relating to face recognition
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110287760A (zh) * 2019-03-28 2019-09-27 电子科技大学 一种基于深度学习的人脸五官点遮挡检测方法
CN110414394A (zh) * 2019-07-16 2019-11-05 公安部第一研究所 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型
CN111428581A (zh) * 2020-03-05 2020-07-17 平安科技(深圳)有限公司 人脸遮挡检测方法及系统
CN111523480A (zh) * 2020-04-24 2020-08-11 北京嘀嘀无限科技发展有限公司 一种面部遮挡物的检测方法、装置、电子设备及存储介质
CN112052746A (zh) * 2020-08-17 2020-12-08 北京大米科技有限公司 目标检测方法、装置、电子设备和可读存储介质
CN112016464A (zh) * 2020-08-28 2020-12-01 中移(杭州)信息技术有限公司 检测人脸遮挡的方法、装置、电子设备及存储介质
CN112069993A (zh) * 2020-09-04 2020-12-11 西安西图之光智能科技有限公司 基于五官掩膜约束的密集人脸检测方法及系统和存储介质
CN112070015A (zh) * 2020-09-08 2020-12-11 广州云从博衍智能科技有限公司 一种融合遮挡场景的人脸识别方法、系统、设备及介质
CN112419170A (zh) * 2020-10-16 2021-02-26 上海哔哩哔哩科技有限公司 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN112651322A (zh) * 2020-12-22 2021-04-13 北京眼神智能科技有限公司 脸颊遮挡检测方法、装置及电子设备
CN112949565A (zh) * 2021-03-25 2021-06-11 重庆邮电大学 基于注意力机制的单样本部分遮挡人脸识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Intelligent detection and recognition system for mask wearing based on improved RetinaFace algorithm;Bin Xue等;《2020 2nd International Conference on Machine Learning, Big Data and Bussiness Intelligence》;474-479 *
基于掩膜生成网络的遮挡人脸检测方法;连泽宇等;《北京联合大学智慧城市学院》;第47卷(第11期);292-297+304 *
基于面部特征约束的人脸纹理映射及变形;罗岱;陶洋;杨刚;;计算机工程与应用;第54卷(第06期);188-192+240 *
徐遐龄等.有遮挡环境下人脸识别方法综述.《 计算机工程与应用》.2021,第57卷(第17期),46-60. *

Also Published As

Publication number Publication date
CN113705466A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN108921100B (zh) 一种基于可见光图像与红外图像融合的人脸识别方法及系统
CN112766160B (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
CN109359526B (zh) 一种人脸姿态估计方法、装置和设备
WO2020063527A1 (zh) 基于多特征检索和形变的人体发型生成方法
WO2021174819A1 (zh) 人脸遮挡检测方法及系统
US20200380246A1 (en) Virtual avatar generation method and apparatus, and storage medium
CN101561710B (zh) 一种基于人脸姿态估计的人机交互方法
CN113705466B (zh) 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法
CN108090830B (zh) 一种基于面部画像的信贷风险评级方法和装置
CN106951840A (zh) 一种人脸特征点检测方法
CN108876879A (zh) 人脸动画实现的方法、装置、计算机设备及存储介质
Geetha et al. A vision based dynamic gesture recognition of indian sign language on kinect based depth images
CN104123749A (zh) 一种图像处理方法及系统
CN106446862A (zh) 一种人脸检测方法及系统
CN105139000B (zh) 一种去除眼镜痕迹的人脸识别方法及装置
CN106570447B (zh) 基于灰度直方图匹配的人脸照片太阳镜自动去除方法
CN109190535A (zh) 一种基于深度学习的人脸面部肤色分析方法和系统
CN106980845B (zh) 基于结构化建模的人脸关键点定位方法
Rizwan et al. Automated Facial Expression Recognition and Age Estimation Using Deep Learning.
Feng et al. Facial expression recognition based on local features of transfer learning
CN107977618A (zh) 一种基于双层级联神经网络的人脸对齐方法
CN116883472B (zh) 一种基于脸部三维图像配准的人脸护理系统
CN110348344A (zh) 一种基于二维和三维融合的特殊人脸表情识别的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant