CN111639596B - 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法 - Google Patents

基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法 Download PDF

Info

Publication number
CN111639596B
CN111639596B CN202010475179.1A CN202010475179A CN111639596B CN 111639596 B CN111639596 B CN 111639596B CN 202010475179 A CN202010475179 A CN 202010475179A CN 111639596 B CN111639596 B CN 111639596B
Authority
CN
China
Prior art keywords
network
glasses
attention
face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010475179.1A
Other languages
English (en)
Other versions
CN111639596A (zh
Inventor
黄曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kaike Intelligent Technology Co ltd
Original Assignee
Shanghai Kaike Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kaike Intelligent Technology Co ltd filed Critical Shanghai Kaike Intelligent Technology Co ltd
Priority to CN202010475179.1A priority Critical patent/CN111639596B/zh
Publication of CN111639596A publication Critical patent/CN111639596A/zh
Application granted granted Critical
Publication of CN111639596B publication Critical patent/CN111639596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法，包括：获取待识别图像，根据MTCNN人脸检测方法从待识别图像中检测出人脸图像并进行人脸对齐；通过已知辅助属性网络对输入图像是否戴眼镜进行判断，依据先验知识是否戴眼镜属性决定输出不同特征层结果。若输入人脸图像不戴眼镜，则使用注意力机制主干网络特征层输出结果；若输入人脸图像戴眼镜，则使用残差网络特征层输出结果。该方法采用注意力机制主干网络和残差网络对戴眼镜人脸图像进行处理和识别，增强人脸可见区域特征，并缩小同一人戴与不戴眼镜的距离，以提高戴眼镜的人脸识别的准确率。

Description

基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法
技术领域
本发明涉及人脸识别技术领域，具体涉及一种基于基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法、系统、终端及介质。
背景技术
现有技术中，对戴眼镜的人脸识别方法有多种：一：对人脸识别通过采集同一人戴和不戴眼镜的图像进行模型训练，提高眼镜遮挡下的人脸识别精度。该方法依赖足够数量和种类的戴眼镜人脸训练样本，而通过相关GAN网络生成戴眼镜图像效果差，人为给图像贴眼镜方式成本较高。二，通过注意力机制学习眼镜遮挡部分的边缘语义信息，将具有眼镜遮挡图像和边缘语义信息输入对抗网络进行修补人脸图像。该系列修补方法会一定程度上改变人脸图像特征，引入其他噪声。三，基于戴眼镜的眼部图像和不戴眼镜的眼部图像学习残差网络，将眼部残差特征与整张人脸特征按权重融合。该方法涉及模型多于三个，易造成误差累积，性能上也很难满足商用落地。因此，现有技术中对戴眼镜的人脸识别精度不高。
发明内容
针对现有技术中的缺陷，本发明实施例提供一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法、系统、终端及介质，采用注意力机制主干网络和残差网络对戴眼镜人脸图像进行处理和识别，增强人脸可见区域特征，并缩小同一人戴与不戴眼镜的距离，以提高戴眼镜的人脸识别的准确率。
第一方面，本发明实施例提供的一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法，包括：
获取待识别图像；
根据MTCNN人脸检测方法从待识别图像中检测出人脸图像；
对所述人脸图像进行预处理，得到预处理后的图像；
将所述预处理后的图像输入辅助属性网络进行判断，判断出人脸图像上是否有戴眼镜的特征；
将判断后的图像输入到训练好的注意力及残差网络中识别，所述注意力及残差网络模型包括注意力机制主干网络和残差网络，若有戴眼镜的人脸特征，则通过残差网络特征层输出识别结果，若无戴眼镜的人脸特征，则通过注意力机制主干网络特征层输出识别结果。
进一步地，方法还包括训练注意力及残差网络步骤，所述注意力及残差网络的训练方法包括训练注意力机制主干网络，所述训练注意力机制主干网络的方法包括：
将未戴眼镜的人脸图像输入注意力机制主干网络，注意力机制主干网络中设有空间注意力模块；
空间注意力模块采用多层下采样和多层上采样结构，采用下采样提取图像全局特征，获取深层语义信息；采用上采样获取注意力特征图，与注意力机制主干网络局部特征图融合。
进一步地，注意力及残差网络的训练方法包括训练残差网络，所述训练残差网络的方法包括：
将同一个人戴眼镜的人脸图像和未戴眼镜的人脸图像输入训练好的注意力机制主干网络，将得到的输出特征分别作为第一特征和第二特征，再将第一特征输入到残差网络得到第三特征，将第二特征和第三特征进行欧式距离计算得到损失函数，通过最小化训练样本得到残差人脸特征。
第二方面，本发明实施例提供的一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别系统，包括：图像获取模块、人脸检测模块、预处理模块、属性判断模块和注意力及残差模块，其中，
所述图像获取模块用于获取待识别图像；
所述人脸检测模块用于根据MTCNN人脸检测方法从待识别图像中检测出人脸图像；
所述预处理模块用于对人脸图像进行预处理，得到预处理后的图像；
所述属性判断模块用于对预处理后的图像进行辅助属性判断，判断是否有戴眼镜的人脸特征；
所述注意力及残差模块包括注意力及残差网络，对注意力及残差网络进行训练，注意力及残差网络包括注意力机制主干网络和残差网络，采用训练好的注意力机制主干网络和残差网络对人脸图像进行识别，若有戴眼镜的人脸特征，则通过残差网络特征层输出识别结果，若无戴眼镜的人脸特征，则通过注意力机制主干网络特征层输出识别结果。
进一步地，注意力及残差模块包括注意力机制主干网络训练单元，所述注意力机制主干网络训练单元获取输入的训练图像，训练图像为未戴眼镜的人脸图像，未戴眼镜的人脸图像通过多层下采样和多层上采样输出第一特征图，采用下采样提取图像全局特征，获取深层语义信息；采用上采样获取注意力特征图，与注意力机制主干网络局部特征图融合。
进一步地，所述注意力及残差模块包括残差网络训练单元，所述残差网络训练单元将同一个人戴眼镜的人脸图像和未戴眼镜的人脸图像输入训练好的注意力机制主干网络，将得到的输出特征分别作为第一特征和第二特征，再将第一特征输入到残差网络得到第三特征，将第二特征和第三特征进行欧式距离计算得到损失函数，通过最小化训练样本得到残差人脸特征。
第三方面，本发明实施例提供了一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述实施例描述的方法。
第四方面，本发明实施例提供的一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法。
本发明的有益效果：
本发明实施例提供的一种基于注意力机制和残差网络的人脸识别方法、系统、终端及介质，获取待识别图像，根据MTCNN人脸检测方法从待识别图像中检测出人脸图像并进行人脸对齐；通过已知辅助属性网络对输入图像是否戴眼镜进行判断，依据先验知识是否戴眼镜属性决定输出不同特征层结果。注意力及残差网络使用级联训练方式，先后对全脸进行注意力机制主干网络训练以增强脸部可见区域特征及残差网络训练以矫正戴眼镜人脸特征。推理时将残差网络嵌入到注意力机制主干网络中，合成注意力和残差网络的抗眼镜遮挡人脸识别网络；若输入人脸图像不戴眼镜，则使用注意力机制主干网络特征层输出结果；若输入人脸图像戴眼镜，则使用残差网络特征层输出结果。采用注意力机制主干网络和残差网络对戴眼镜人脸图像进行处理和识别，增强人脸可见区域特征，并缩小同一人戴与不戴眼镜的距离，以提高戴眼镜的人脸识别的准确率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1示出了本发明第一实施例所提供的一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法的流程图；
图2示出了本发明第二实施例所提供的一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别系统的结构框图；
图3示出了本发明第三实施例所提供的一种智能终端的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，示出了本发明第一实施例提供的一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法的流程图，该方法包括：
S101:获取待识别图像；
S102:根据MTCNN人脸检测方法从待识别图像中检测出人脸图像；
S103:对所述人脸图像进行对齐，得到对齐后的图像；
S104:将所述对齐后的图像输入已知辅助属性网络进行判断，判断出人脸图像上是否有戴眼镜的特征；
S105:将判断后的图像输入到训练好的注意力及残差网络中识别，所述注意力及残差网络模型包括注意力机制主干网络和残差网络，若有戴眼镜的人脸特征，则通过残差网络特征层输出识别结果，若无戴眼镜的人脸特征，则通过注意力机制主干网络特征层输出识别结果。
具体地，基于注意力机制和残差网络的抗眼镜遮挡人脸识别还包括训练注意力及残差网络步骤，所述注意力及残差网络的训练方法包括训练注意力机制主干网络，所述训练注意力机制主干网络的方法包括：
将未戴眼镜的人脸图像输入注意力机制主干网络，注意力机制主干网络中设有空间注意力模块。
空间注意力模块采用多层下采样和多层上采样结构，下采样用于提取图像全局特征，获取深层语义信息；上采样用于生成注意力特征图，与主干局部特征图融合。具体地，在主干网络多个Bottleneck残差块起始位置创建注意力模块，分别经过多层下采样层；其中，根据网络结构复杂，浅层网络可使用三层及以上下采样，保证提取多尺度特征，越深层网络可使用递减层数下采样。下采样包含一层pooling下采样层和三层Bottleneck结构，其中PW使用1/4通道降维。上采样包含一层双线性插值上采样层和三层Bottleneck层，该结构与下采样中一致。完成上采样后再经过一层卷积层进行特征组合和使用sigmoid激活函数进行归一化，作为人脸空间区域响应权重，并以e指数乘到主干网络相同位置，经过注意力模块权重，使人脸可见区域特征增强。
注意力及残差网络的训练方法包括训练残差网络，所述训练残差网络的方法包括：将同一个人戴眼镜的人脸图像和未戴眼镜的人脸图像输入训练好的注意力机制主干网络，将得到的输出特征分别作为第一特征和第二特征，再将第一特征输入到残差网络得到第三特征，将第二特征和第三特征进行欧式距离计算得到损失函数，通过最小化训练样本得到残差人脸特征。
本实施例的具体工作过程为：使用不戴眼镜人脸图像训练注意力机制主干网络，旨在提取人脸特征并增强空间重要区域，注意力机制主干网络可使用ResNet，MobileNet等，空间注意力模块作为残差块添加在注意力机制主干网络中，选取原始注意力机制主干网络残差块的起始位置，连接空间注意力模块，并在注意力机制主干网络残差块结束位置完成注意力模块计算；空间注意力模块使用若干层下采样和若干层上采样结构，下采样提取图像全局特征，获取深层语义信息；上采样获取注意力特征图，假如注意力机制主干网络的主干分支输出特征图为T(x)，注意力输出特征图为M(x)，则增强该注意力模块的最终输出特征图为：L(x)＝T(x)*e^M(x)。不同层特征图响应的注意力不同，浅层结构中，网络的注意力集中于边缘、纹理等信息，深层结构中，网络的注意力聚焦于细节特征，具有更高的抽象性和语义表达能力。本阶段训练损失函数为Arcface Loss，增加类间距，减少类内距。
抗眼镜残差网络通过三层全连接层实现，主要将戴眼镜人脸特征通过添加残差映射到不戴眼镜人脸特征空间中。戴眼镜xg人脸图像通过一阶段网络输出特征为Φ(xg)，该同一个人不戴眼镜xn人脸图像通过一阶段网络输出特征为Φ(xn)，将Φ(xg)输入到二阶段网络得到特征层输出结果Φ(xg_glass)；损失函数使用L2 Loss，通过最小化训练样本min(L(Φ(xg_glass))-Φ(xn))为目标，减小同一人戴眼镜与不戴眼镜图像特征空间距离，弱化眼镜影响，获取残差人脸特征。
整个训练过程包含以上两个阶段，一阶段使用人脸id作为标签，特征层输出人脸512维向量，记作Φ(xn)；二阶段针对戴眼镜场景，使用一阶段网络输出结果，在二阶段进行戴眼镜场景下的矫正，使与不戴眼镜人脸的相似度尽可能高，例如同一人不戴眼镜通过阶段一网络的输出结果记作Φ(xn)，戴眼镜通过阶段一网络的输出结果记作Φ(xg)，二阶段的训练输入为Φ(xg)，使用Φ(xn)作为标签，即需要对戴眼镜的Φ(xg)进行矫正，Φ(xg)通过残差网络后输出特征为Φ(xg_glass)，将Φ(xg_glass)与Φ(xn)使用L2损失函数更新参数。推理阶段将二阶段网络嵌入到一阶段网络末尾，根据是否戴眼镜决定网络输出结果；如以上例子，如果不戴眼镜，使用Φ(xn)作为输出结果，否则，使用Φ(xg_glass)作为输出结果。
本发明实施例提供的一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法，网络模型使用级联训练方式，先后对全脸进行注意力机制主干网络训练以增强脸部可见区域特征及残差网络训练以矫正戴眼镜人脸特征。推理时将残差网络嵌入到主干网络中，合成基于注意力机制和残差网络的抗眼镜遮挡人脸识别网络。采用注意力机制增强不戴眼镜人脸特征，在不同层特征图响应不同的注意力，最终突出人脸空间位置上重要区域特征，将戴眼镜和不带眼镜的图像特征输入残差网络，减小二者距离，弱化眼镜的影响，采用注意力机制主干网络和残差网络对戴眼镜人脸图像进行处理和识别，增强人脸可见区域特征，并缩小同一人戴与不戴眼镜的距离，以提高戴眼镜的人脸识别的准确率。
在上述的第一实施例中，提供了一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法，与之相对应的，本申请还提供一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别系统。请参考图2，其为本发明第二实施例提供的一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别系统的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
如图2所示，示出了本发明第一实施例所提供的一种基于注意力机制和残差网络的人脸识别系统的结构框图，该系统包括：图像获取模块201、人脸检测模块202、预处理模块203、属性判断模块204和注意力及残差模块205，其中，
图像获取模块201用于获取待识别图像；
人脸检测模块202用于根据MTCNN人脸检测方法从待识别图像中检测出人脸图像；
预处理模块203用于对人脸图像进行对齐处理，得到对齐后的图像；
属性判断模块204用于对对齐后的图像采用已知辅助网络对输入图像是否戴眼镜进行判断，判断是否有戴眼镜的人脸特征；
注意力及残差模块205包括注意力及残差网络，对注意力及残差网络进行训练，注意力及残差网络包括注意力机制主干网络和残差网络，采用训练好的注意力机制主干网络和残差网络对人脸图像进行识别，若有戴眼镜的人脸特征，则通过残差网络特征层输出识别结果，若无戴眼镜的人脸特征，则通过注意力机制主干网络特征层输出识别结果。
在本实施例中，注意力及残差模块205包括注意力机制主干网络训练单元，所述注意力机制主干网络训练单元获取输入的训练图像，训练图像为未戴眼镜的人脸图像，未戴眼镜的人脸图像通过多层下采样和多层上采样输出第一特征图，采用下采样提取图像全局特征，获取深层语义信息；采用上采样获取注意力特征图，与注意力机制主干网络局部特征图融合。
注意力及残差模块205包括残差网络训练单元，所述残差网络训练单元将同一个人戴眼镜的人脸图像和未戴眼镜的人脸图像输入训练好的注意力机制主干网络，将得到的输出特征分别作为第一特征和第二特征，再将第一特征输入到残差网络得到第三特征，将第二特征和第三特征进行欧式距离计算得到损失函数，通过最小化训练样本得到残差人脸特征。
以上，为本发明第二实施例提供的一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别系统的实施例说明。
本发明提供的一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别系统与上述基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法出于相同的发明构思，具有相同的有益效果，此处不再赘述。
图3示出了本发明第三实施例提供的一种智能终端的结构框图，该终端包括处理器301、输入设备302、输出设备303和存储器304，所述处理器301、输入设备302、输出设备303和存储器304相互连接，所述存储器304用于存储计算机程序，所述计算机程序包括程序指令，所述处理器301被配置用于调用所述程序指令，执行上述第一实施例描述的方法。
应当理解，在本发明实施例中，所称处理器301可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备302可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备303可以包括显示器(LCD等)、扬声器等。
该存储器304可以包括只读存储器和随机存取存储器，并向处理器301提供指令和数据。存储器304的一部分还可以包括非易失性随机存取存储器。例如，存储器304还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器301、输入设备302、输出设备303可执行本发明实施例提供的方法实施例所描述的实现方式，也可执行本发明实施例所描述的系统实施例的实现方式，在此不再赘述。
在本发明还提供一种计算机可读存储介质的实施例，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法。
所述计算机可读存储介质可以是前述实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (6)

1.基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法，其特征在于，包括：
获取待识别图像；
根据MTCNN人脸检测方法从待识别图像中检测出人脸图像；
对所述人脸图像进行预处理，得到预处理后的图像；
将所述预处理后的图像输入辅助属性网络进行判断，判断出人脸图像上是否有戴眼镜的特征；
将判断后的图像输入到训练好的注意力及残差网络中识别，所述注意力及残差网络模型包括注意力机制主干网络和残差网络，若有戴眼镜的人脸特征，则通过残差网络特征层输出识别结果，若无戴眼镜的人脸特征，则通过注意力机制主干网络特征层输出识别结果；
方法还包括训练注意力及残差网络步骤，所述注意力及残差网络的训练方法包括训练注意力机制主干网络，所述训练注意力机制主干网络的方法包括：
将未戴眼镜的人脸图像输入注意力机制主干网络，注意力机制主干网络中设有空间注意力模块；
空间注意力模块采用多层下采样和多层上采样结构，采用下采样提取图像全局特征，获取深层语义信息；采用上采样获取注意力特征图，与注意力机制主干网络局部特征图融合。
2.如权利要求1所述的基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法，其特征在于，所述注意力及残差网络的训练方法包括训练残差网络，所述训练残差网络的方法包括：
将同一个人戴眼镜的人脸图像和未戴眼镜的人脸图像输入训练好的注意力机制主干网络，将得到的输出特征分别作为第一特征和第二特征，再将第一特征输入到残差网络得到第三特征，将第二特征和第三特征进行欧式距离计算得到损失函数，通过最小化训练样本得到残差人脸特征。
3.一种基于注意力机制和残差网络的抗眼镜遮挡人脸识别系统，其特征在于，包括：图像获取模块、人脸检测模块、预处理模块、属性判断模块和注意力及残差模块，其中，
所述图像获取模块用于获取待识别图像；
所述人脸检测模块用于根据MTCNN人脸检测方法从待识别图像中检测出人脸图像；
所述预处理模块用于对人脸图像进行预处理，得到预处理后的图像；
所述属性判断模块用于对预处理后的图像进行辅助属性判断，判断是否有戴眼镜的人脸特征；
所述注意力及残差模块包括注意力及残差网络，对注意力及残差网络进行训练，注意力及残差网络包括注意力机制主干网络和残差网络，采用训练好的注意力机制主干网络和残差网络对人脸图像进行识别，若有戴眼镜的人脸特征，则通过残差网络特征层输出识别结果，若无戴眼镜的人脸特征，则通过注意力机制主干网络特征层输出识别结果；
所述注意力及残差模块包括注意力机制主干网络训练单元，所述注意力机制主干网络训练单元获取输入的训练图像，训练图像为未戴眼镜的人脸图像，未戴眼镜的人脸图像通过多层下采样和多层上采样输出第一特征图，采用下采样提取图像全局特征，获取深层语义信息；采用上采样获取注意力特征图，与注意力机制主干网络局部特征图融合。
4.如权利要求3所述的基于注意力机制和残差网络的抗眼镜遮挡人脸识别系统，其特征在于，所述注意力及残差模块包括残差网络训练单元，所述残差网络训练单元将同一个人戴眼镜的人脸图像和未戴眼镜的人脸图像输入训练好的注意力机制主干网络，将得到的输出特征分别作为第一特征和第二特征，再将第一特征输入到残差网络中得到第三特征，将第二特征和第三特征进行欧式距离计算得到损失函数，通过最小化训练样本得到残差人脸特征。
5.一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，其特征在于，所述处理器被配置用于调用所述程序指令，执行如权利要求1-2任一项所述的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-2任一项所述的方法。
CN202010475179.1A 2020-05-29 2020-05-29 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法 Active CN111639596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010475179.1A CN111639596B (zh) 2020-05-29 2020-05-29 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010475179.1A CN111639596B (zh) 2020-05-29 2020-05-29 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法

Publications (2)

Publication Number Publication Date
CN111639596A CN111639596A (zh) 2020-09-08
CN111639596B true CN111639596B (zh) 2023-04-28

Family

ID=72331599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010475179.1A Active CN111639596B (zh) 2020-05-29 2020-05-29 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法

Country Status (1)

Country Link
CN (1) CN111639596B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365422B (zh) * 2020-11-17 2023-02-28 重庆邮电大学 基于深层聚合网络的不规则缺失图像修复方法及其系统
CN112560756A (zh) * 2020-12-24 2021-03-26 北京嘀嘀无限科技发展有限公司 识别人脸的方法、装置、电子设备和存储介质
CN113239844B (zh) * 2021-05-26 2022-11-01 哈尔滨理工大学 一种基于多头注意力目标检测的智能化妆镜系统
CN113361495B (zh) * 2021-07-27 2024-04-09 平安科技（深圳）有限公司 人脸图像相似度的计算方法、装置、设备及存储介质
CN116563926B (zh) * 2023-05-17 2024-03-01 智慧眼科技股份有限公司 一种人脸识别方法、系统、设备及计算机可读存储介质
CN116503932A (zh) * 2023-05-24 2023-07-28 北京万里红科技有限公司 重点区域加权的眼周特征提取方法、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033572A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 人脸遮挡检测方法、装置及存储介质
CN109934062A (zh) * 2017-12-18 2019-06-25 比亚迪股份有限公司 眼镜摘除模型的训练方法、人脸识别方法、装置和设备
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN110287846A (zh) * 2019-06-19 2019-09-27 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
CN110705337A (zh) * 2018-07-10 2020-01-17 普天信息技术有限公司 一种针对眼镜遮挡的人脸识别方法及装置
CN110781784A (zh) * 2019-10-18 2020-02-11 高新兴科技集团股份有限公司 基于双路注意力机制的人脸识别方法、装置及设备
WO2020037937A1 (zh) * 2018-08-20 2020-02-27 深圳壹账通智能科技有限公司 人脸识别的方法、装置、终端及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033572A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 人脸遮挡检测方法、装置及存储介质
CN109934062A (zh) * 2017-12-18 2019-06-25 比亚迪股份有限公司 眼镜摘除模型的训练方法、人脸识别方法、装置和设备
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN110705337A (zh) * 2018-07-10 2020-01-17 普天信息技术有限公司 一种针对眼镜遮挡的人脸识别方法及装置
WO2020037937A1 (zh) * 2018-08-20 2020-02-27 深圳壹账通智能科技有限公司 人脸识别的方法、装置、终端及计算机可读存储介质
CN110287846A (zh) * 2019-06-19 2019-09-27 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
CN110781784A (zh) * 2019-10-18 2020-02-11 高新兴科技集团股份有限公司 基于双路注意力机制的人脸识别方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜成,苏光大.用于人脸识别的正面人脸图像眼镜摘除.清华大学学报(自然科学版).2005,(07),全文. *
胡国靖 ; 娄震 ; .一种基于遮挡区域补偿的眼镜去除方法.计算机应用研究.2013,(12),全文. *

Also Published As

Publication number Publication date
CN111639596A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111639596B (zh) 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法
CN109657631B (zh) 人体姿态识别方法及装置
US11610394B2 (en) Neural network model training method and apparatus, living body detecting method and apparatus, device and storage medium
CN111914812B (zh) 图像处理模型训练方法、装置、设备及存储介质
EP3975039A1 (en) Masked face recognition
CN113033465A (zh) 活体检测模型训练方法、装置、设备以及存储介质
WO2011037684A1 (en) Iris recognition system and method
CN109117746A (zh) 手部检测方法及机器可读存储介质
CN110991412A (zh) 人脸识别的方法、装置、存储介质及电子设备
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN116631380B (zh) 一种音视频多模态的关键词唤醒方法及装置
CN113627233A (zh) 基于视觉语义信息的人脸伪造检测方法和装置
CN112200109A (zh) 面部属性识别方法、电子设备以及计算机可读存储介质
CN114596609B (zh) 一种视听伪造检测方法及装置
CN114387553B (zh) 一种基于帧结构感知聚合的视频人脸识别方法
CN114944152A (zh) 车辆鸣笛音识别方法
CN113705366A (zh) 人员管理系统身份识别方法、装置及终端设备
CN115147434A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN116469132B (zh) 基于双流特征提取的跌倒检测方法、系统、设备及介质
CN117155583B (zh) 非完整信息深度融合的多模态身份认证方法及系统
CN112598718B (zh) 一种无监督多视角多模态智能眼镜图像配准方法及装置
CN113705365A (zh) 人员管理系统身份识别方法、装置及终端设备
Aizi et al. A new multibiometric identification method based on a decision tree and a parallel processing strategy
CN117789310A (zh) 基于知识迁移学习的在线笔迹识别方法、系统及存储介质
CN116383379A (zh) 一种基于对抗学习和多层融合的情感判别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant