CN113158939A - 人脸遮挡部位的识别方法及系统 - Google Patents
人脸遮挡部位的识别方法及系统 Download PDFInfo
- Publication number
- CN113158939A CN113158939A CN202110471266.4A CN202110471266A CN113158939A CN 113158939 A CN113158939 A CN 113158939A CN 202110471266 A CN202110471266 A CN 202110471266A CN 113158939 A CN113158939 A CN 113158939A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- classifier
- shielding
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本发明公开了一种人脸遮挡部位的识别方法及系统,涉及人脸识别技术领域,解决了有遮挡人脸识别准确率不高的技术问题,其技术方案要点是使用人脸关键点遮挡图像和人脸图像共同训练人脸遮挡识别模型,并根据人脸关键点对投入训练的图像特征图进行水平切分,减少不同部位遮挡的干扰。该人脸遮挡识别模型可准确地识别出眼部、鼻子、嘴巴关键部位有无遮挡,在面部有遮挡的情况下,可提示用户进行相应的调整,以确保人脸识别的准确度。
Description
技术领域
本公开涉及人脸识别技术领域,尤其涉及一种人脸遮挡部位的识别方法及系统。
背景技术
目前,随着人脸识别技术日渐成熟,人脸识别技术已经广泛应用于交通、教育、医疗、金融等行业。在实际应用场景中,人脸图像会出现遮挡的情况,比如头发、墨镜、手机等,遮挡会使得人脸图像丢失关键信息,从而影响人脸识别的准确度。
在身份信息要求严格的智能化场景,需要求用户在面部关键部位无遮挡的情况进行人脸识别,以保证正确的身份信息。因此,亟需一种人脸遮挡部位的识别方法,准确地识别出人脸关键部位是否有遮挡从而进一步对人脸进行识别。
发明内容
本公开提供了一种人脸遮挡部位的识别方法及系统,其技术目的是提高对遮挡人脸识别的准确率。
本公开的上述技术目的是通过以下技术方案得以实现的:
一种人脸遮挡部位的识别方法,包括:
输入人脸图像,提取人脸关键点,根据人脸关键点和遮挡物品对所述人脸图像进行合成,得到人脸关键点遮挡图像;其中,所述人脸关键点包括左眼、右眼、双眼、鼻子、嘴巴;
对所述人脸图像和所述人脸关键点遮挡图像进行标注,得到有遮挡图像和无遮挡图像;其中,有遮挡图像包括单一遮挡图像和复合遮挡图像,所述单一遮挡图像即仅遮挡一个人脸关键点的图像,复合遮挡图像即遮挡一个以上人脸关键点的图像;
对所述有遮挡图像和所述无遮挡图像进行特征提取,得到特征图;
将所述特征图按照人脸关键点进行水平切分,得到第一特征图、第二特征图和第三特征图;
将所述第一特征图、第二特征图和第三特征图分别投入到所述卷积神经网络的第一分类器、第二分类器和第三分类器进行训练,得到人脸遮挡识别模型;
根据所述人脸遮挡识别模型对人脸进行识别。
一种人脸遮挡部位的识别系统,包括:
图像合成模块,输入人脸图像,提取人脸关键点,根据人脸关键点和遮挡物品对所述人脸图像进行合成,得到人脸关键点遮挡图像;其中,所述人脸关键点包括左眼、右眼、双眼、鼻子、嘴巴;
标注模块,对所述人脸图像和所述人脸关键点遮挡图像进行标注,得到有遮挡图像和无遮挡图像;其中,有遮挡图像包括单一遮挡图像和复合遮挡图像,所述单一遮挡图像即仅遮挡一个人脸关键点的图像,复合遮挡图像即遮挡一个以上人脸关键点的图像;
训练模块,对所述有遮挡图像和所述无遮挡图像进行训练,得到人脸遮挡识别模型;
识别模块,根据所述人脸遮挡识别模型对人脸进行识别;
其中,所述训练模块为卷积神经网络,包括:
特征提取单元,对所述有遮挡图像和所述无遮挡图像进行特征提取,得到特征图;
特征切分单元,将所述特征图按照人脸关键点进行水平切分,得到第一特征图、第二特征图和第三特征图;
训练单元,将所述第一特征图、第二特征图和第三特征图分别投入到所述卷积神经网络的第一分类器、第二分类器和第三分类器进行训练,得到人脸遮挡识别模型。
本公开的有益效果在于:本公开使用人脸关键点遮挡图像和人脸图像共同训练人脸遮挡识别模型,并根据人脸关键点对投入训练的图像特征图进行水平切分,减少不同部位遮挡的干扰。该人脸遮挡识别模型可准确地识别出眼部、鼻子、嘴巴关键部位有无遮挡,在面部有遮挡的情况下,可提示用户进行相应的调整,以确保人脸识别的准确度。
附图说明
图1为本公开所述方法的流程图;
图2为MobileNetV2网络的结构示意图;
图3为本公开所述系统的示意图。
具体实施方式
下面将结合附图对本公开技术方案进行详细说明。在公开的描述中,需要理解地是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量,仅用来区分不同的组成部分。
图1为本公开所述方法的流程图,包括:S1:输入人脸图像,提取人脸关键点,根据人脸关键点和遮挡物品对所述人脸图像进行合成,得到人脸关键点遮挡图像;其中,所述人脸关键点包括左眼、右眼、双眼、鼻子、嘴巴。
具体地,在所述人脸图像中分别确定各个人脸关键点的区域[x,y,width,height],其中[x,y]表示人脸关键点的中心点,width表示人脸的宽度,height表示人脸的宽度。
将所述区域外扩1.2-1.3倍得到[x1,y1,width1,height1],则x1∈[x-0.15*width,x-0.1*width],y1∈[y-0.15*height,y-0.1*height],width1∈[1.2*width,1.3*width],height1∈[1.2*height,1.3*height]。
确定遮挡区域后,将所述遮挡物品随机遮挡在所述人脸图像的所述遮挡区域,得到所述人脸关键点遮挡图像。
S2:对所述人脸图像和所述人脸关键点遮挡图像进行标注,得到有遮挡图像和无遮挡图像;其中,有遮挡图像包括单一遮挡图像和复合遮挡图像,所述单一遮挡图像即仅遮挡一个人脸关键点的图像,复合遮挡图像即遮挡一个以上人脸关键点的图像。
单一遮挡图像就是仅遮挡一个人脸关键点的图像,复合遮挡图像例如同时遮挡了眼睛和嘴巴,或眼睛、嘴巴、鼻子全部都被遮挡等。
S3:对所述有遮挡图像和所述无遮挡图像进行特征提取,得到特征图。
S4:将所述特征图按照人脸关键点进行水平切分,得到第一特征图、第二特征图和第三特征图。
S5:将所述第一特征图、第二特征图和第三特征图分别投入到所述卷积神经网络的第一分类器、第二分类器和第三分类器进行训练,得到人脸遮挡识别模型。
步骤S3-S5均是在卷积神经网络中实现的,本申请的卷积神经网络为改进后的MobileNetV2网络,包括:将MobileNetV2网络中的全局水平池化层改为水平平均池化层,所述水平平均池化层将所述特征图按照人脸关键点进行水平切分,得到第一特征图、第二特征图和第三特征图。水平平均池化层则连接三个分类器,即第一分类器、第二分类器、第三分类器,如图2所示,图2中(a)为现有MobileNetV2网络的结构,(b)为改进后的MobileNetV2网络的结构。
将特征图进行按照人脸关键点进行水平切分成为三个特征图,实际上就是将人脸按照眼睛、鼻子和嘴巴这三个部位进行了切分,即眼睛、鼻子、嘴巴分别在不同的特征图中,并将它们送入到不同的分类器进行训练,以免遮挡部位过多而带来的精度下降,降低了不同遮挡部位之间的干扰。
具体地,第一分类器、第二分类器、第三分类器的损失函数采用sigmiod交叉熵损失函数,包括:
其中,N表示所述有遮挡图像和所述无遮挡图像的总数,i=1,2,3分别表示第一分类器、第二分类器、第三分类器,j=1,2分别表示有遮挡标签、无遮挡标签,ynij表示图像n在第i个分类器的第j类标签,pnij表示图像n在第i个分类器第j类的预测值。
S6:根据所述人脸遮挡识别模型对人脸进行识别。
图3为本公开系统的示意图,如图3所示,该系统包括图像合成模块、标注模块、训练模块和识别模块。
训练模块为卷积神经网络,又包括特征提取单元、特征切分单元和训练单元。
图像合成模块用于输入人脸图像,提取人脸关键点,根据人脸关键点和遮挡物品对所述人脸图像进行合成,得到人脸关键点遮挡图像;其中,所述人脸关键点包括左眼、右眼、双眼、鼻子、嘴巴。
具体地,图像合成模块通过下述方式进行合成:(1)在所述人脸图像中分别确定各个人脸关键点的区域[x,y,width,height],其中[x,y]表示人脸关键点的中心点,width表示人脸的宽度,height表示人脸的宽度。
(2)将所述区域外扩1.2-1.3倍得到[x1,y1,width1,height1],则x1∈[x-0.15*width,x-0.1*width],y1∈[y-0.15*height,y-0.1*height],width1∈[1.2*width,1.3*width],height1∈[1.2*height,1.3*height]。
(4)将所述遮挡物品随机遮挡在所述人脸图像的所述遮挡区域,得到所述人脸关键点遮挡图像。
标注模块用于对所述人脸图像和所述人脸关键点遮挡图像进行标注,得到有遮挡图像和无遮挡图像;其中有遮挡图像包括单一遮挡图像和复合遮挡图像,所述单一遮挡图像即仅遮挡一个人脸关键点的图像,复合遮挡图像即遮挡一个以上人脸关键点的图像。
训练模块用于对所述有遮挡图像和所述无遮挡图像进行训练,得到人脸遮挡识别模型。特征提取单元用于对所述有遮挡图像和所述无遮挡图像进行特征提取,得到特征图;特征切分单元用于将所述特征图按照人脸关键点进行水平切分,得到第一特征图、第二特征图和第三特征图;训练单元用于将所述第一特征图、第二特征图和第三特征图分别投入到所述卷积神经网络的第一分类器、第二分类器和第三分类器进行训练,得到人脸遮挡识别模型。
识别模块用于根据所述人脸遮挡识别模型对人脸进行识别。
作为具体实施例地,在实际场景中,采集人脸图像共58478张做为测试集,每张图片的遮挡部位有0~3个不等,其中遮挡图像与不遮挡图像分别有33617张和24861张,在遮挡图像中,眼睛遮挡图像,鼻子遮挡图像,嘴巴遮挡图像分别为23561张、20173张、27624张(注:因存在复合遮挡,所以各个部位遮挡图像的总和张数大于遮挡图像张数)。将这些图像投入到上述人脸遮挡识别模型进行人脸遮挡部位识别,其准确率如表1所示,可以知道,本公开所述的人脸遮挡部位识别模型评估效率相对于其他模型准确率较高。
准确率 | |
眼睛遮挡 | 99.88% |
鼻子遮挡 | 99.83% |
嘴巴遮挡 | 99.91% |
遮挡与不遮挡 | 99.87% |
表1
以上为本公开示范性实施例,本公开的保护范围由权利要求书及其等效物限定。
Claims (8)
1.一种人脸遮挡部位的识别方法,其特征在于,包括:
输入人脸图像,提取人脸关键点,根据人脸关键点和遮挡物品对所述人脸图像进行合成,得到人脸关键点遮挡图像;其中,所述人脸关键点包括左眼、右眼、双眼、鼻子、嘴巴;
对所述人脸图像和所述人脸关键点遮挡图像进行标注,得到有遮挡图像和无遮挡图像;其中,有遮挡图像包括单一遮挡图像和复合遮挡图像,所述单一遮挡图像即仅遮挡一个人脸关键点的图像,复合遮挡图像即遮挡一个以上人脸关键点的图像;
对所述有遮挡图像和所述无遮挡图像进行特征提取,得到特征图;
将所述特征图按照人脸关键点进行水平切分,得到第一特征图、第二特征图和第三特征图;
将所述第一特征图、第二特征图和第三特征图分别投入到所述卷积神经网络的第一分类器、第二分类器和第三分类器进行训练,得到人脸遮挡识别模型;
根据所述人脸遮挡识别模型对人脸进行识别。
2.如权利要求1所述的方法,其特征在于,所述根据人脸关键点和遮挡物品对所述人脸图像进行合成,得到人脸关键点遮挡图像包括:
在所述人脸图像中分别确定各个人脸关键点的区域[x,y,width,height],其中[x,y]表示人脸关键点的中心点,width表示人脸的宽度,height表示人脸的宽度;
将所述区域外扩1.2-1.3倍得到[x1,y1,width1,height1],则x1∈[x-0.15*width,x-0.1*width],y1∈[y-0.15*height,y-0.1*height],width1∈[1.2*width,1.3*width],height1∈[1.2*height,1.3*height];
确定遮挡区域后,将所述遮挡物品随机遮挡在所述人脸图像的所述遮挡区域,得到所述人脸关键点遮挡图像。
3.如权利要求2所述的方法,其特征在于,所述卷积神经网络为改进后的MobileNetV2网络,包括:将MobileNetV2网络中的全局水平池化层改为水平平均池化层,所述水平平均池化层将所述特征图按照人脸关键点进行水平切分,得到第一特征图、第二特征图和第三特征图;所述水平平均池化层连接三个分类器,即第一分类器、第二分类器、第三分类器。
5.一种人脸遮挡部位的识别系统,其特征在于,包括:
图像合成模块,输入人脸图像,提取人脸关键点,根据人脸关键点和遮挡物品对所述人脸图像进行合成,得到人脸关键点遮挡图像;其中,所述人脸关键点包括左眼、右眼、双眼、鼻子、嘴巴;
标注模块,对所述人脸图像和所述人脸关键点遮挡图像进行标注,得到有遮挡图像和无遮挡图像;其中,有遮挡图像包括单一遮挡图像和复合遮挡图像,所述单一遮挡图像即仅遮挡一个人脸关键点的图像,复合遮挡图像即遮挡一个以上人脸关键点的图像;
训练模块,对所述有遮挡图像和所述无遮挡图像进行训练,得到人脸遮挡识别模型;
识别模块,根据所述人脸遮挡识别模型对人脸进行识别;
其中,所述训练模块为卷积神经网络,包括:
特征提取单元,对所述有遮挡图像和所述无遮挡图像进行特征提取,得到特征图;
特征切分单元,将所述特征图按照人脸关键点进行水平切分,得到第一特征图、第二特征图和第三特征图;
训练单元,将所述第一特征图、第二特征图和第三特征图分别投入到所述卷积神经网络的第一分类器、第二分类器和第三分类器进行训练,得到人脸遮挡识别模型。
6.如权利要求5所述的系统,其特征在于,所述图像合成模块用于:
在所述人脸图像中分别确定各个人脸关键点的区域[x,y,width,height],其中[x,y]表示人脸关键点的中心点,width表示人脸的宽度,height表示人脸的宽度;
将所述区域外扩1.2-1.3倍得到[x1,y1,width1,height1],则x1∈[x-0.15*width,x-0.1*width],y1∈[y-0.15*height,y-0.1*height],width1∈[1.2*width,1.3*width],height1∈[1.2*height,1.3*height];
确定遮挡区域后,将所述遮挡物品随机遮挡在所述人脸图像的所述遮挡区域,得到所述人脸关键点遮挡图像。
7.如权利要求6所述的系统,其特征在于,所述卷积神经网络为改进后的MobileNetV2网络,包括:将MobileNetV2网络中的全局水平池化层改为水平平均池化层,所述水平平均池化层包括特征切分单元,所述特征切分单元将所述特征图按照人脸关键点进行水平切分,得到第一特征图、第二特征图和第三特征图;所述水平平均池化层连接三个分类器,即第一分类器、第二分类器、第三分类器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110471266.4A CN113158939B (zh) | 2021-04-29 | 2021-04-29 | 人脸遮挡部位的识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110471266.4A CN113158939B (zh) | 2021-04-29 | 2021-04-29 | 人脸遮挡部位的识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113158939A true CN113158939A (zh) | 2021-07-23 |
CN113158939B CN113158939B (zh) | 2022-08-23 |
Family
ID=76872143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110471266.4A Active CN113158939B (zh) | 2021-04-29 | 2021-04-29 | 人脸遮挡部位的识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113158939B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017107957A1 (zh) * | 2015-12-22 | 2017-06-29 | 中兴通讯股份有限公司 | 人脸图像的检索方法及装置 |
CN108805040A (zh) * | 2018-05-24 | 2018-11-13 | 复旦大学 | 一种基于分块的有遮挡人脸识别算法 |
CN112052772A (zh) * | 2020-08-31 | 2020-12-08 | 福建捷宇电脑科技有限公司 | 一种人脸遮挡检测算法 |
CN112070015A (zh) * | 2020-09-08 | 2020-12-11 | 广州云从博衍智能科技有限公司 | 一种融合遮挡场景的人脸识别方法、系统、设备及介质 |
-
2021
- 2021-04-29 CN CN202110471266.4A patent/CN113158939B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017107957A1 (zh) * | 2015-12-22 | 2017-06-29 | 中兴通讯股份有限公司 | 人脸图像的检索方法及装置 |
CN108805040A (zh) * | 2018-05-24 | 2018-11-13 | 复旦大学 | 一种基于分块的有遮挡人脸识别算法 |
CN112052772A (zh) * | 2020-08-31 | 2020-12-08 | 福建捷宇电脑科技有限公司 | 一种人脸遮挡检测算法 |
CN112070015A (zh) * | 2020-09-08 | 2020-12-11 | 广州云从博衍智能科技有限公司 | 一种融合遮挡场景的人脸识别方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113158939B (zh) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103902977B (zh) | 基于Gabor二值模式的人脸识别方法及装置 | |
CN110363047B (zh) | 人脸识别的方法、装置、电子设备和存储介质 | |
CN102194131B (zh) | 基于五官几何比例特征的快速人脸识别方法 | |
CN101567043B (zh) | 基于分类识别的人脸跟踪方法 | |
CN103020992B (zh) | 一种基于运动颜色关联的视频图像显著性检测方法 | |
CN109214360A (zh) | 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用 | |
CN111241975B (zh) | 一种基于移动端边缘计算的人脸识别检测方法及系统 | |
CN102902986A (zh) | 自动性别识别系统及方法 | |
CN108062543A (zh) | 一种面部识别方法及装置 | |
CN107491720A (zh) | 一种基于改进型卷积神经网络的车型识别方法 | |
CN102902959A (zh) | 基于二代身份证存储证件照的人脸识别方法及系统 | |
CN105243376A (zh) | 一种活体检测方法和装置 | |
Rouhi et al. | A review on feature extraction techniques in face recognition | |
CN107886507B (zh) | 一种基于图像背景和空间位置的显著区域检测方法 | |
CN104200228A (zh) | 一种安全带识别方法与系统 | |
CN103077378A (zh) | 基于扩展八邻域局部纹理特征的非接触式人脸识别算法和签到系统 | |
CN108268814A (zh) | 一种基于全局和局部特征模糊融合的人脸识别方法及装置 | |
CN104143091B (zh) | 基于改进mLBP的单样本人脸识别方法 | |
CN107679450A (zh) | 基于深度学习的遮挡条件下人脸识别方法 | |
CN103106409A (zh) | 一种针对头肩检测的混合特征提取方法 | |
CN112101208A (zh) | 高龄老人特征串联融合手势识别方法及装置 | |
CN108537816A (zh) | 一种基于超像素和背景连接先验的显著物体分割方法 | |
CN109583375A (zh) | 一种多特征融合的人脸图像光照识别方法及系统 | |
CN107103311A (zh) | 一种连续手语的识别方法及其装置 | |
CN111914748A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 211100 Longmian Avenue 568, High-tech Park, Jiangning District, Nanjing City, Jiangsu Province Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd. Address before: 211100 Longmian Avenue 568, High-tech Park, Jiangning District, Nanjing City, Jiangsu Province Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd. |