CN110705337A - 一种针对眼镜遮挡的人脸识别方法及装置 - Google Patents

一种针对眼镜遮挡的人脸识别方法及装置 Download PDF

Info

Publication number
CN110705337A
CN110705337A CN201810751306.9A CN201810751306A CN110705337A CN 110705337 A CN110705337 A CN 110705337A CN 201810751306 A CN201810751306 A CN 201810751306A CN 110705337 A CN110705337 A CN 110705337A
Authority
CN
China
Prior art keywords
eye
face
features
image
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810751306.9A
Other languages
English (en)
Inventor
韩璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Potevio Information Technology Co Ltd
Putian Information Technology Co Ltd
Original Assignee
Putian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Putian Information Technology Co Ltd filed Critical Putian Information Technology Co Ltd
Priority to CN201810751306.9A priority Critical patent/CN110705337A/zh
Publication of CN110705337A publication Critical patent/CN110705337A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种针对眼镜遮挡的人脸识别方法及装置，方法包括：获取待进行人脸识别的用户的人脸图像及眼部区域图像；根据人脸图像获取人脸特征以及根据眼部区域图像基于注意力机制思想获取眼部特征；根据眼部特征以及预设的残差函数模型获取眼部残差特征；将人脸特征和眼部残差特征进行融合，得到人脸叠加眼部的融合特征；将人脸叠加眼部的融合特征输入至预设人脸识别模型中，得到人脸图像识别结果；其中，预设人脸识别模型为将训练样本的人脸叠加眼部的融合特征作为输入，将训练样本的正确识别结果作为输出进行预先训练得到的。本发明提高了佩戴眼镜人脸图像的识别准确度，避免数据倾斜的产生。

Description

一种针对眼镜遮挡的人脸识别方法及装置
技术领域
本发明涉及计算机技术领域，具体涉及一种针对眼镜遮挡的人脸识别方法及装置。
背景技术
随着深度学习技术的飞速发展及其在人脸识别应用上的卓越表现，人脸识别技术已经应用在公安、政府、金融、教育、医疗等众多领域。人脸识别技术的应用不仅降低了人工的工作强度，而且有效提高了工作效率。但是目前人脸识别的效果受到很多因素的影响，其中，眼镜尤其是宽眼镜框眼镜会大幅降低人脸识别的准确率。
针对眼镜遮挡问题，现有技术中，一种方法是基于卷积神经网络的深度学习人脸识别方法，该方法主要通过采集大量同一人佩戴与不佩戴眼镜情况下的图像，进行模型训练，提高眼镜遮挡下的人脸识别精度；另一种方法是检测眼镜框区域，利用主成分分析法或临近区域像素点填充法，对输入的戴眼镜人脸图像进行重构，获取没有眼镜的图像，进而完成对戴眼镜人脸的识别。
对于上述第一种基于卷积神经网络的深度学习人脸识别方法，虽然有着较高的识别精度，但是这类识别方法需要大量的人脸图像进行模型训练。而在实际场景应用中，所采集的待比对人脸图像往往是不受控制的，而且模型在训练阶段也缺少足够数量的佩戴眼镜的人脸图像。
对于上述第二种检测眼镜框区域并进行人脸图像重构的方法，需要消除人脸图像中的眼镜，对图像进行裁剪对齐，利用眼睛检测算法得到眼镜框区域，通过主成分分析法或利用眼镜框区域的外部区域所包含像素点填充识别出的眼镜框区域，实现对戴眼镜人脸图像的重构。此方法会在一定程度上改变人脸图像特征，造成一定的识别偏差，并且对图像对齐要求也较高、计算复杂度高，很难满足实际应用需求。
发明内容
针对现有技术中的缺陷，本发明提供一种针对眼镜遮挡的人脸识别方法及装置。
具体地，本发明提供以下技术方案：
第一方面，本发明提供了一种针对眼镜遮挡的人脸识别方法，包括：
获取待进行人脸识别的用户的人脸图像x及眼部区域图像xe；
根据所述人脸图像x获取人脸特征Φ(x)以及根据所述眼部区域图像xe基于注意力机制思想获取眼部特征Φ(xe)；
根据所述眼部特征Φ(xe)及预设的残差函数模型R(·)获取眼部残差特征R(Φ(xe))；其中，所述预设的残差函数模型R(·)为通过对训练样本以最小化min(R(Φ(xeg))-Φ(xen))为目标进行训练得到的，其中，xeg为训练样本佩戴眼镜的眼部图像，xen为训练样本不佩戴眼镜的眼部图像，Φ(xeg)为训练样本佩戴眼镜的眼部图像特征，Φ(xen)为训练样本不佩戴眼镜的眼部图像特征；
将所述人脸特征和所述眼部残差特征进行融合，得到人脸叠加眼部的融合特征；
将人脸叠加眼部的融合特征输入至预设人脸识别模型中，得到人脸图像识别结果；其中，所述预设人脸识别模型为将训练样本的人脸叠加眼部的融合特征作为输入，将训练样本的正确识别结果作为输出进行预先训练得到的。
进一步地，所述将所述人脸特征和所述眼部残差特征进行融合，得到人脸叠加眼部的融合特征，具体包括：
将所述人脸特征和所述眼部残差特征按照下面第一关系模型进行融合：
C＝Φ(x)+W*R(Φ(xe))
其中，C表示人脸叠加眼部的融合特征，Φ(x)表示人脸特征，R(Φ(xe))表示眼部残差特征，W表示眼部残差特征的权重。
进一步地，所述眼部残差特征的权重W为眼镜遮挡面积与眼部区域面积的比值w(xe)；
相应地，所述第一关系模型为：
C＝Φ(x)+w(xe)R(Φ(xe))。
第二方面，本发明还提供了一种针对眼镜遮挡的人脸识别装置，包括：
人脸图像获取模块，用于获取待进行人脸识别的用户的人脸图像x；
眼部区域图像获取模块，用于获取所述待进行人脸识别的用户的眼部区域图像xe；
人脸特征获取模块，用于根据所述人脸图像x获取人脸特征Φ(x)；
眼部特征获取模块，用于根据所述眼部区域图像xe基于注意力机制思想获取眼部特征Φ(xe)；
眼部残差特征获取模块，用于根据所述眼部特征Φ(xe)以及预设的残差函数模型R(·)获取眼部残差特征R(Φ(xe))；其中，所述预设的残差函数模型R(·)为通过对训练样本以最小化min(R(Φ(xeg))-Φ(xen))为目标进行训练得到的，其中，xeg为训练样本佩戴眼镜的眼部图像，xen为训练样本不佩戴眼镜的眼部图像，Φ(xeg)为训练样本佩戴眼镜的眼部图像特征，Φ(xen)为训练样本不佩戴眼镜的眼部图像特征；
特征融合模块，用于将所述人脸特征和所述眼部残差特征进行融合，得到人脸叠加眼部的融合特征；
人脸识别模块，用于将人脸叠加眼部的融合特征输入至预设人脸识别模型中，得到人脸图像识别结果；其中，所述预设人脸识别模型为将训练样本的人脸叠加眼部的融合特征作为输入，将训练样本的正确识别结果作为输出进行预先训练得到的。
进一步地，所述特征融合模块，具体用于：
将所述人脸特征和所述眼部残差特征按照下面第一关系模型进行融合：
C＝Φ(x)+W*R(Φ(xe))
其中，C表示人脸叠加眼部的融合特征，Φ(x)表示人脸特征，R(Φ(xe))表示眼部残差特征，W表示眼部残差特征的权重。
进一步地，所述眼部残差特征的权重W为眼镜遮挡面积与眼部区域面积的比值w(xe)；
相应地，所述第一关系模型为：
C＝Φ(x)+w(xe)R(Φ(xe))。
第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述针对眼镜遮挡的人脸识别方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述针对眼镜遮挡的人脸识别方法的步骤。
由上述技术方案可知，本发明提供的针对眼镜遮挡的人脸识别方法，基于注意力机制思想获取眼部特征，并基于所提取的眼部特征获取眼部残差特征，从而减小佩戴眼镜与不佩戴眼镜图像特征空间距离，获得近似于不佩戴眼镜的眼部图像特征，接着将所述人脸特征和所述眼部残差特征进行融合，得到人脸叠加眼部的融合特征，最后利用人脸叠加眼部的融合特征进行人脸图像识别。可见，本发明提供的针对眼镜遮挡的人脸识别方法，利用注意力机制思想，采用多模型训练的方法，提高人脸图像眼部特征在全部表征中的占比，利用融合后的人脸特征进行识别，提高了佩戴眼镜人脸图像的识别准确度，避免数据倾斜的产生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的针对眼镜遮挡的人脸识别方法的流程图；
图2是人脸特征和眼部残差特征双重特征提取示意图；
图3是将人脸特征和眼部残差特征进行融合的融合过程示意图；
图4是本发明另一实施例提供的针对眼镜遮挡的人脸识别装置的结构示意图；
图5是本发明又一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种针对眼镜遮挡的人脸识别方法，本发明针对佩戴眼镜人脸图像的识别问题，在缺少足够训练数据的情况下，可以提高对佩戴眼镜人脸图像的识别精度。原因在于，本发明利用了注意力机制思想，采用多模型训练的方法，提高人脸识别中眼部区域图像的特征占比，在缺少佩戴眼镜人脸图像训练数据的情况下，避免数据倾斜的产生，有效提高佩戴眼镜人脸图像的识别精度。下面将通过具体实施例对本发明提供的针对眼镜遮挡的人脸识别方法进行详细介绍。
本发明一实施例提供了一种针对眼镜遮挡的人脸识别方法，参见图1，该方法包括如下步骤：
步骤101：获取待进行人脸识别的用户的人脸图像x及眼部区域图像xe。
在本步骤中，在获取眼部区域图像xe时，参见图2，针对输入的人脸图像x，利用预设的人脸特征点检测算法，进行人脸眼睛特征点定位，进而截取眼睛区域图像xe。
步骤102：根据所述人脸图像x获取人脸特征Φ(x)以及根据所述眼部区域图像xe基于注意力机制思想获取眼部特征Φ(xe)。
在本步骤中，以整张人脸图像和眼部区域图像为输入，训练不同网络结构的深度学习表征模型，得到人脸和眼部图像的深度表示。对于整张人脸图像表征模型可以采用Inception_ResNet网络结构，提取整体特征向量G1；对眼部图像表征模型可以采用VGG网络结构，提取眼部特征向量G2，所提取特征向量G1和G2分别作为脸部整体和眼部的深度表示。对于人脸图像x，取其通过深度卷积神经网络(CNN)运算表示为Φ，则整张人脸图所提取特征表示为G1＝Φ(x)；将所提取眼部图像表示为xe，则基于注意力机制思想所提取的眼部特征表示为G2＝Φ(xe)。
步骤103：根据所述眼部特征Φ(xe)以及预设的残差函数模型R(·)获取眼部残差特征R(Φ(xe))；其中，所述预设的残差函数模型R(·)为通过对训练样本以最小化min(R(Φ(xeg))-Φ(xen))为目标进行训练得到的，其中，xeg为训练样本佩戴眼镜的眼部图像，xen为训练样本不佩戴眼镜的眼部图像，Φ(xeg)为训练样本佩戴眼镜的眼部图像特征，Φ(xen)为训练样本不佩戴眼镜的眼部图像特征。
在本步骤中，以得到无佩戴眼镜的眼部图像特征为目标，进一步优化眼部特征深度表示，得到眼部残差特征。基于上述步骤提取的眼部特征向量，获取眼部残差特征。具体地，取对图像进行传统去除眼镜变换为g，为消除眼镜对人脸特征影响，对所有人脸图像本方案的卷积运算所提取特征需满足：
Φ(gxe)≈MgΦ(xe) (1)
其中，Mg为所构造映射函数。
取同一训练样本(人)戴眼镜眼部图像为xeg、不佩戴眼镜眼部图像为xen，为降低眼镜对人脸特征的影响，映射函数Mg需要满足：
MgΦ(xeg)≈Φ(xen) (2)
为实现MgΦ(xeg)映射运算，对现有卷积Φ(xeg)运算增加残差模块R(Φ(xeg))。并且，通过最小化戴眼镜与不佩戴眼镜图像特征空间距离的方式，完成对残差模块R(Φ(xeg))的训练，即训练R(·)，满足：
min(R(Φ(xeg))-Φ(xen)) (3)
最终输出为优化后眼部特征表示，即眼部残差特征R(Φ(xeg))。
步骤104：将所述人脸特征和所述眼部残差特征进行融合，得到人脸叠加眼部的融合特征。
在本步骤中，优选将所述人脸特征和所述眼部残差特征按照下面第一关系模型进行融合：
C＝Φ(x)+W*R(Φ(xe))
其中，C表示人脸叠加眼部的融合特征，Φ(x)表示人脸特征，R(Φ(xe))表示眼部残差特征，W表示眼部残差特征的权重。
由于眼镜遮挡面积对人脸特征影响有所不同，因此在一种优选实施方式中，眼部残差特征的权重W以所检测到的眼镜遮挡面积与眼部区域的比值w(xe)表示。
相应地，所述第一关系模型为：
C＝Φ(x)+w(xe)R(Φ(xe))。
具体地，参见图3所示的融合方式，基于上述人脸特征Φ(x)与眼部残差特征R(Φ(xe))，进行人脸整体特征与眼部特征融合，提高人脸识别中眼部区域图像的特征占比，即：
Φ(gxe)＝MgΦ(xe)＝Φ(xe)+w(xe)R(Φ(xe))) (4)
其中，由于眼镜遮挡面积对人脸特征影响有所不同，残差模块权重w(xe)以所检测到的眼镜遮挡面积与眼部区域的比值表示。具体为，对人脸图像进行二值化处理，利用边缘检测技术，检测人脸图像中是否包含眼镜区域，及所包含眼镜区域面积，将眼镜遮挡区域面积与眼部区域面积的比值作为眼部残差特征的权重w(xe)。
步骤105：将人脸叠加眼部的融合特征输入至预设人脸识别模型中，得到人脸图像识别结果；其中，所述预设人脸识别模型为将训练样本的人脸叠加眼部的融合特征作为输入，将训练样本的正确识别结果作为输出进行预先训练得到的。
由上面描述可知，本实施例提供的针对眼镜遮挡的人脸识别方法，基于注意力机制思想获取眼部特征，并基于所提取的眼部特征获取眼部残差特征，从而减小佩戴眼镜与不佩戴眼镜图像特征空间距离，获得近似于不佩戴眼镜的眼部图像特征，接着将所述人脸特征和所述眼部残差特征进行融合，得到人脸叠加眼部的融合特征，最后利用人脸叠加眼部的融合特征进行人脸图像识别。可见，本实施例提供的针对眼镜遮挡的人脸识别方法，利用注意力机制思想，采用多模型训练的方法，提高人脸图像眼部特征在全部表征中的占比，利用融合后的人脸特征进行识别，提高了佩戴眼镜人脸图像的识别准确度，避免数据倾斜的产生。
基于相同的发明构思，本发明另一实施例提供了一种针对眼镜遮挡的人脸识别装置，参见图4，该装置包括：人脸图像获取模块21、眼部区域图像获取模块22、人脸特征获取模块23、眼部残差特征获取模块24、特征融合模块25和人脸识别模块26，其中：
人脸图像获取模块21，用于获取待进行人脸识别的用户的人脸图像x；
眼部区域图像获取模块22，用于获取所述待进行人脸识别的用户的眼部区域图像xe；
人脸特征获取模块23，用于根据所述人脸图像x获取人脸特征Φ(x)；
眼部特征获取模块24，用于根据所述眼部区域图像xe基于注意力机制思想获取眼部特征Φ(xe)；
眼部残差特征获取模块25，用于根据所述眼部区域图像xe以及预设的残差函数模型R(·)获取眼部残差特征R(Φ(xe))；其中，所述预设的残差函数模型R(·)为通过对训练样本以最小化min(R(Φ(xeg))-Φ(xen))为目标进行训练得到的，其中，xeg为训练样本佩戴眼镜的眼部图像，xen为训练样本不佩戴眼镜的眼部图像，Φ(xeg)为训练样本佩戴眼镜的眼部图像特征，Φ(xen)为训练样本不佩戴眼镜的眼部图像特征；
特征融合模块26，用于将所述人脸特征和所述眼部残差特征进行融合，得到人脸叠加眼部的融合特征；
人脸识别模块27，用于将人脸叠加眼部的融合特征输入至预设人脸识别模型中，得到人脸图像识别结果；其中，所述预设人脸识别模型为将训练样本的人脸叠加眼部的融合特征作为输入，将训练样本的正确识别结果作为输出进行预先训练得到的。
在一种优选实施方式中，所述特征融合模块26，具体用于：
将所述人脸特征和所述眼部残差特征按照下面第一关系模型进行融合：
C＝Φ(x)+W*R(Φ(xe))
其中，C表示人脸叠加眼部的融合特征，Φ(x)表示人脸特征，R(Φ(xe))表示眼部残差特征，W表示眼部残差特征的权重。
在一种优选实施方式中，所述眼部残差特征的权重W为眼镜遮挡面积与眼部区域面积的比值w(xe)；
相应地，所述第一关系模型为：
C＝Φ(x)+w(xe)R(Φ(xe))。
本实施例所述的针对眼镜遮挡的人脸识别装置可以用于执行上述实施例所述的针对眼镜遮挡的人脸识别方法，其原理和技术效果类似，此处不再赘述。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图5，所述电子设备具体包括如下内容：处理器701、存储器702、通信接口703和总线704；
其中，所述处理器701、存储器702、通信接口703通过所述总线704完成相互间的通信；所述通信接口703用于实现各建模软件及智能制造装备模块库等相关设备之间的信息传输；
所述处理器701用于调用所述存储器702中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例所述针对眼镜遮挡的人脸识别方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤101：获取待进行人脸识别的用户的人脸图像x及眼部区域图像xe。
步骤102：根据所述人脸图像x获取人脸特征Φ(x)以及根据所述眼部区域图像xe基于注意力机制思想获取眼部特征Φ(xe)。
步骤103：根据所述眼部特征Φ(xe)以及预设的残差函数模型R(·)获取眼部残差特征R(Φ(xe))；其中，所述预设的残差函数模型R(·)为通过对训练样本以最小化min(R(Φ(xeg))-Φ(xen))为目标进行训练得到的，其中，xeg为训练样本佩戴眼镜的眼部图像，xen为训练样本不佩戴眼镜的眼部图像，Φ(xeg)为训练样本佩戴眼镜的眼部图像特征，Φ(xen)为训练样本不佩戴眼镜的眼部图像特征。
步骤104：将所述人脸特征和所述眼部残差特征进行融合，得到人脸叠加眼部的融合特征。
步骤105：将人脸叠加眼部的融合特征输入至预设人脸识别模型中，得到人脸图像识别结果；其中，所述预设人脸识别模型为将训练样本的人脸叠加眼部的融合特征作为输入，将训练样本的正确识别结果作为输出进行预先训练得到的。
基于相同的发明构思，本发明又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述针对眼镜遮挡的人脸识别方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤101：获取待进行人脸识别的用户的人脸图像x及眼部区域图像xe。
步骤102：根据所述人脸图像x获取人脸特征Φ(x)以及根据所述眼部区域图像xe基于注意力机制思想获取眼部特征Φ(xe)。
步骤103：根据所述眼部特征Φ(xe)以及预设的残差函数模型R(·)获取眼部残差特征R(Φ(xe))；其中，所述预设的残差函数模型R(·)为通过对训练样本以最小化min(R(Φ(xeg))-Φ(xen))为目标进行训练得到的，其中，xeg为训练样本佩戴眼镜的眼部图像，xen为训练样本不佩戴眼镜的眼部图像，Φ(xeg)为训练样本佩戴眼镜的眼部图像特征，Φ(xen)为训练样本不佩戴眼镜的眼部图像特征。
步骤104：将所述人脸特征和所述眼部残差特征进行融合，得到人脸叠加眼部的融合特征。
步骤105：将人脸叠加眼部的融合特征输入至预设人脸识别模型中，得到人脸图像识别结果；其中，所述预设人脸识别模型为将训练样本的人脸叠加眼部的融合特征作为输入，将训练样本的正确识别结果作为输出进行预先训练得到的。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种针对眼镜遮挡的人脸识别方法，其特征在于，包括：
获取待进行人脸识别的用户的人脸图像x及眼部区域图像xe；
根据所述人脸图像x获取人脸特征Φ(x)以及根据所述眼部区域图像xe基于注意力机制思想获取眼部特征Φ(xe)；
根据所述眼部特征Φ(xe)及预设的残差函数模型R(·)获取眼部残差特征R(Φ(xe))；其中，所述预设的残差函数模型R(·)为通过对训练样本以最小化min(R(Φ(xeg))-Φ(xen))为目标进行训练得到的，其中，xeg为训练样本佩戴眼镜的眼部图像，xen为训练样本不佩戴眼镜的眼部图像，Φ(xeg)为训练样本佩戴眼镜的眼部图像特征，Φ(xen)为训练样本不佩戴眼镜的眼部图像特征；
将所述人脸特征和所述眼部残差特征进行融合，得到人脸叠加眼部的融合特征；
将人脸叠加眼部的融合特征输入至预设人脸识别模型中，得到人脸图像识别结果；其中，所述预设人脸识别模型为将训练样本的人脸叠加眼部的融合特征作为输入，将训练样本的正确识别结果作为输出进行预先训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述将所述人脸特征和所述眼部残差特征进行融合，得到人脸叠加眼部的融合特征，具体包括：
将所述人脸特征和所述眼部残差特征按照下面第一关系模型进行融合：
C＝Φ(x)+W*R(Φ(xe))
其中，C表示人脸叠加眼部的融合特征，Φ(x)表示人脸特征，R(Φ(xe))表示眼部残差特征，W表示眼部残差特征的权重。
3.根据权利要求2所述的方法，其特征在于，所述眼部残差特征的权重W为眼镜遮挡面积与眼部区域面积的比值w(xe)；
相应地，所述第一关系模型为：
C＝Φ(x)+w(xe)R(Φ(xe))。
4.一种针对眼镜遮挡的人脸识别装置，其特征在于，包括：
人脸图像获取模块，用于获取待进行人脸识别的用户的人脸图像x；
眼部区域图像获取模块，用于获取所述待进行人脸识别的用户的眼部区域图像xe；
人脸特征获取模块，用于根据所述人脸图像x获取人脸特征Φ(x)；
眼部特征获取模块，用于根据所述眼部区域图像xe基于注意力机制思想获取眼部特征Φ(xe)；
眼部残差特征获取模块，用于根据所述眼部特征Φ(xe)以及预设的残差函数模型R(·)获取眼部残差特征R(Φ(xe))；其中，所述预设的残差函数模型R(·)为通过对训练样本以最小化min(R(Φ(xeg))-Φ(xen))为目标进行训练得到的，其中，xeg为训练样本佩戴眼镜的眼部图像，xen为训练样本不佩戴眼镜的眼部图像，Φ(xeg)为训练样本佩戴眼镜的眼部图像特征，Φ(xen)为训练样本不佩戴眼镜的眼部图像特征；
特征融合模块，用于将所述人脸特征和所述眼部残差特征进行融合，得到人脸叠加眼部的融合特征；
人脸识别模块，用于将人脸叠加眼部的融合特征输入至预设人脸识别模型中，得到人脸图像识别结果；其中，所述预设人脸识别模型为将训练样本的人脸叠加眼部的融合特征作为输入，将训练样本的正确识别结果作为输出进行预先训练得到的。
5.根据权利要求4所述的装置，其特征在于，所述特征融合模块，具体用于：
将所述人脸特征和所述眼部残差特征按照下面第一关系模型进行融合：
C＝Φ(x)+W*R(Φ(xe))
其中，C表示人脸叠加眼部的融合特征，Φ(x)表示人脸特征，R(Φ(xe))表示眼部残差特征，W表示眼部残差特征的权重。
6.根据权利要求5所述的装置，其特征在于，所述眼部残差特征的权重W为眼镜遮挡面积与眼部区域面积的比值w(xe)；
相应地，所述第一关系模型为：
C＝Φ(x)+w(xe)R(Φ(xe))。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述针对眼镜遮挡的人脸识别方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至3任一项所述针对眼镜遮挡的人脸识别方法的步骤。
CN201810751306.9A 2018-07-10 2018-07-10 一种针对眼镜遮挡的人脸识别方法及装置 Withdrawn CN110705337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810751306.9A CN110705337A (zh) 2018-07-10 2018-07-10 一种针对眼镜遮挡的人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810751306.9A CN110705337A (zh) 2018-07-10 2018-07-10 一种针对眼镜遮挡的人脸识别方法及装置

Publications (1)

Publication Number Publication Date
CN110705337A true CN110705337A (zh) 2020-01-17

Family

ID=69192524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810751306.9A Withdrawn CN110705337A (zh) 2018-07-10 2018-07-10 一种针对眼镜遮挡的人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN110705337A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598051A (zh) * 2020-06-16 2020-08-28 腾讯科技（深圳）有限公司 一种脸部验证方法、装置、设备及可读存储介质
CN111639596A (zh) * 2020-05-29 2020-09-08 上海锘科智能科技有限公司 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法
CN111881770A (zh) * 2020-07-06 2020-11-03 上海序言泽网络科技有限公司 一种人脸识别方法及系统
CN111985454A (zh) * 2020-09-03 2020-11-24 深圳壹账通智能科技有限公司 人脸识别方法、装置、设备及计算机可读存储介质
CN112101261A (zh) * 2020-09-22 2020-12-18 北京百度网讯科技有限公司 人脸识别方法、装置、设备及存储介质
CN112132011A (zh) * 2020-09-22 2020-12-25 深圳市捷顺科技实业股份有限公司 一种面部识别方法、装置、设备及存储介质
CN112163456A (zh) * 2020-08-28 2021-01-01 北京中科虹霸科技有限公司 身份识别模型训练方法、测试方法、识别方法及装置
CN112364827A (zh) * 2020-11-30 2021-02-12 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN113468925A (zh) * 2020-03-31 2021-10-01 武汉Tcl集团工业研究院有限公司 一种遮挡人脸识别方法、智能终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463172A (zh) * 2014-12-09 2015-03-25 中国科学院重庆绿色智能技术研究院 基于人脸特征点形状驱动深度模型的人脸特征提取方法
CN106372595A (zh) * 2016-08-31 2017-02-01 重庆大学 遮挡人脸识别方法及装置
CN106372603A (zh) * 2016-08-31 2017-02-01 重庆大学 遮挡人脸识别方法及装置
CN107045618A (zh) * 2016-02-05 2017-08-15 北京陌上花科技有限公司 一种人脸表情识别方法及装置
CN108133238A (zh) * 2017-12-29 2018-06-08 国信优易数据有限公司 一种人脸识别模型训练方法和装置及人脸识别方法和装置
CN108182390A (zh) * 2017-12-14 2018-06-19 浙江大华技术股份有限公司 一种基于人脸图像的眼镜框去除方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463172A (zh) * 2014-12-09 2015-03-25 中国科学院重庆绿色智能技术研究院 基于人脸特征点形状驱动深度模型的人脸特征提取方法
CN107045618A (zh) * 2016-02-05 2017-08-15 北京陌上花科技有限公司 一种人脸表情识别方法及装置
CN106372595A (zh) * 2016-08-31 2017-02-01 重庆大学 遮挡人脸识别方法及装置
CN106372603A (zh) * 2016-08-31 2017-02-01 重庆大学 遮挡人脸识别方法及装置
CN108182390A (zh) * 2017-12-14 2018-06-19 浙江大华技术股份有限公司 一种基于人脸图像的眼镜框去除方法及装置
CN108133238A (zh) * 2017-12-29 2018-06-08 国信优易数据有限公司 一种人脸识别模型训练方法和装置及人脸识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FAN QIU ET AL.: "Deep Face Recognition Under Eyeglass and Scale Variation Using Extended Siamese Network", 《2017 4TH IAPR ASIAN CONFERENCE ON PATTERN RECOGNITION》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468925A (zh) * 2020-03-31 2021-10-01 武汉Tcl集团工业研究院有限公司 一种遮挡人脸识别方法、智能终端及存储介质
CN113468925B (zh) * 2020-03-31 2024-02-20 武汉Tcl集团工业研究院有限公司 一种遮挡人脸识别方法、智能终端及存储介质
CN111639596A (zh) * 2020-05-29 2020-09-08 上海锘科智能科技有限公司 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法
CN111639596B (zh) * 2020-05-29 2023-04-28 上海锘科智能科技有限公司 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法
CN111598051B (zh) * 2020-06-16 2023-11-14 腾讯科技（深圳）有限公司 一种脸部验证方法、装置、设备及可读存储介质
CN111598051A (zh) * 2020-06-16 2020-08-28 腾讯科技（深圳）有限公司 一种脸部验证方法、装置、设备及可读存储介质
CN111881770A (zh) * 2020-07-06 2020-11-03 上海序言泽网络科技有限公司 一种人脸识别方法及系统
CN111881770B (zh) * 2020-07-06 2024-05-31 上海序言泽网络科技有限公司 一种人脸识别方法及系统
CN112163456A (zh) * 2020-08-28 2021-01-01 北京中科虹霸科技有限公司 身份识别模型训练方法、测试方法、识别方法及装置
CN112163456B (zh) * 2020-08-28 2024-04-09 北京中科虹霸科技有限公司 身份识别模型训练方法、测试方法、识别方法及装置
CN111985454A (zh) * 2020-09-03 2020-11-24 深圳壹账通智能科技有限公司 人脸识别方法、装置、设备及计算机可读存储介质
CN112101261A (zh) * 2020-09-22 2020-12-18 北京百度网讯科技有限公司 人脸识别方法、装置、设备及存储介质
CN112101261B (zh) * 2020-09-22 2023-12-26 北京百度网讯科技有限公司 人脸识别方法、装置、设备及存储介质
CN112132011B (zh) * 2020-09-22 2024-04-26 深圳市捷顺科技实业股份有限公司 一种面部识别方法、装置、设备及存储介质
CN112132011A (zh) * 2020-09-22 2020-12-25 深圳市捷顺科技实业股份有限公司 一种面部识别方法、装置、设备及存储介质
CN112364827B (zh) * 2020-11-30 2023-11-10 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112364827A (zh) * 2020-11-30 2021-02-12 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110705337A (zh) 一种针对眼镜遮挡的人脸识别方法及装置
Lu et al. Multi-scale adversarial network for underwater image restoration
CN105917353B (zh) 用于生物认证的特征提取及匹配以及模板更新
WO2018099405A1 (zh) 人脸分辨率重建方法、重建系统和可读介质
CN111723691B (zh) 一种三维人脸识别方法、装置、电子设备及存储介质
CN113033465A (zh) 活体检测模型训练方法、装置、设备以及存储介质
CN113435408A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113553961B (zh) 人脸识别模型的训练方法、装置、电子设备和存储介质
CN110705353A (zh) 基于注意力机制的遮挡人脸的识别方法和装置
KR20160053749A (ko) 얼굴 영상의 다양성에 강인한 얼굴 표정 특징 분류 방법 및 시스템
CN113221771A (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
WO2022161234A1 (zh) 图像处理方法及装置、电子设备、存储介质
CN113569598A (zh) 图像处理方法和图像处理装置
CN114187624A (zh) 图像生成方法、装置、电子设备及存储介质
Núñez et al. Multiview 3D human pose estimation using improved least-squares and LSTM networks
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN112446322A (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN113177892A (zh) 生成图像修复模型的方法、设备、介质及程序产品
CN110503068A (zh) 视线估计方法、终端及存储介质
CN113076884A (zh) 一种从近红外光到可见光的跨模态眼睛状态识别方法
CN113221660B (zh) 一种基于特征融合的跨年龄人脸识别方法
CN114049290A (zh) 图像处理方法、装置、设备及存储介质
CN111966219B (zh) 一种眼动跟踪方法、装置、设备及存储介质
CN116758622A (zh) 用于出勤管理系统的数据处理方法、装置、系统及介质
CN112270747A (zh) 一种人脸识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200117