CN116486452A - 人脸识别方法和系统 - Google Patents

人脸识别方法和系统 Download PDF

Info

Publication number
CN116486452A
CN116486452A CN202310352487.9A CN202310352487A CN116486452A CN 116486452 A CN116486452 A CN 116486452A CN 202310352487 A CN202310352487 A CN 202310352487A CN 116486452 A CN116486452 A CN 116486452A
Authority
CN
China
Prior art keywords
face recognition
feature
image
face
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310352487.9A
Other languages
English (en)
Inventor
殷光强
李超
游长江
刘学婷
杨莳萌
张嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Higher Research Institute Of University Of Electronic Science And Technology Shenzhen
Original Assignee
Higher Research Institute Of University Of Electronic Science And Technology Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Higher Research Institute Of University Of Electronic Science And Technology Shenzhen filed Critical Higher Research Institute Of University Of Electronic Science And Technology Shenzhen
Priority to CN202310352487.9A priority Critical patent/CN116486452A/zh
Publication of CN116486452A publication Critical patent/CN116486452A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了人脸识别方法和系统。在该方法中，包括：获取待识别人脸图像，待识别人脸图像包括遮挡区域和非遮挡区域；通过训练后的遮挡人脸识别模型中的特征提取网络，对待识别人脸图像进行特征提取得到第一特征图；通过训练后的遮挡人脸识别模型中的特征增强网络，对第一特征图中的非遮挡区域特征进行增强得到第二特征图；通过训练后的遮挡人脸识别模型中的人脸识别网络，对第二特征图进行识别得到待识别人脸图像的人脸识别结果。本申请中特征提取网络可以增强人脸特征在低分辨率下的鲁棒性和分类能力，特征增强网络对非遮挡区域特征进行加权，从而使得人脸识别结果准确率更高。

Description

人脸识别方法和系统
技术领域
本申请涉及人脸识别领域，尤其涉及人脸识别方法和系统。
背景技术
人脸识别技术在日常生活中已越发常见，例如道路监控、手机解锁、安检检验等场景均需要运用人脸识别技术，但如果口罩遮挡脸部，则会使得人脸识别技术的准确率出现下降。
现有技术中，基于遮挡的人脸识别问题主要分为两种研究思路，分别是突出图像中的人脸区域和弱化图像中的非人脸的背景区域，并尽量扩大用于模型训练和测试的数据集来提高识别效果。
现有技术对遮挡人脸识别有显著的效果，但是针对人群通行场景下截得的戴口罩人脸识别，其遮挡人脸数据集依旧不够丰富，且人脸识别技术的模型存在训练难度大、稳定性不高，且受损失函数的影响比较大等问题。同时，由于口罩遮挡图像为监控截取，监控截取的图像的分辨率低且尺寸较小，导致人脸识别准确率较低。
发明内容
本申请提供了人脸识别方法和系统，用于提高遮挡人脸识别准确率。
第一方面，本申请提供了人脸识别方法，该方法包括：
获取待识别人脸图像，所述待识别人脸图像包括遮挡区域和非遮挡区域；
通过训练后的遮挡人脸识别模型中的特征提取网络，对所述待识别人脸图像进行特征提取得到第一特征图；
通过所述训练后的遮挡人脸识别模型中的特征增强网络，对所述第一特征图中的非遮挡区域特征进行增强得到第二特征图；
通过所述训练后的遮挡人脸识别模型中的人脸识别网络，对所述第二特征图进行识别得到所述待识别人脸图像的人脸识别结果。
采用上述技术方案，获取待识别的遮挡人脸图像后，通过特征提取网络对人脸图像进行特征提取，通过特征增强网络对非遮挡区域的特征进行增强，通过人脸识别网络得到人脸识别结果，特征提取网络可以增强人脸特征在低分辨率下的鲁棒性和分类能力，并且人脸的非遮挡区域特征更明显，特征增强网络对非遮挡区域特征进行加权，从而使得人脸识别结果准确率更高。
优选的，所述通过训练后的遮挡人脸识别模型中的特征提取网络，对所述待识别人脸图像进行特征提取得到第一特征图的步骤，具体包括：
将所述待识别人脸图像进行分块处理，得到若干个子块；
对所述子块进行CS-LBP特征提取，得到所述子块的CS-LBP特征；
对所述若干个子块的CS-LBP特征进行直方图统计，得到图像特征；
对所述图像特征进行加权PCA降维处理，得到所述第一特征图。
采用上述技术方案，对待识别人脸图像进行分块处理，并将得到的子块进行CS-LBP特征提取，通过局部纹理提取增强人脸特征在低分辨率下的鲁棒性和分类能力，将子块的CS-LBP特征进行直方图统计得到图像特征，图像特征通过加权PCA进行降维处理能有效去除冗余信息，减少环境因素造成的干扰，从而有效解决监控截取的图像的分辨率低且尺寸较小，导致人脸识别准确率较低的问题，进而提高了人脸识别的准确率。
优选的，所述将所述待识别人脸图像进行分块处理，得到若干个子块的步骤，具体包括：
通过高斯金字塔对所述待识别人脸图像进行三层尺度空间的下采样，得到采样图像；
将所述采样图像分为22b(2b·2b)块，得到22b(2b·2b)个子块，所述b为分块级数。
采用上述技术方案，通过高斯金字塔对待识别人脸图像进行三层尺度空间的下采样得到采样图像后，将采样图像分为22b(2b·2b)块，采用合适的分块级数可以使分块图像表示的局部区域的人脸信息得到充分表达，并且减少处理过程中的噪声。
优选的，所述对所述子块进行CS-LBP特征提取的步骤，具体包括：
获取所述子块的中心像素点的灰度值以及周围像素点的灰度值，将所述中心像素点的灰度值与所述周围像素点的灰度值进行对比，得到所述子块的CS-LBP编码值；所述子块的CS-LBP编码值为：
其中，CS-LBPp,R,ε为子块的CS-LBP编码值，p为像素采样点个数，gi为像素灰度值，S(X)为像素点灰度值比较结果，所述S(X)的表达式为：
采用上述技术方案，获取子块的中心像素点的灰度值以及周围像素点的灰度值，将中心像素点的灰度值与周围像素点的灰度值进行对比，得到子块的CS-LBP编码值，从而可以捕获图像中边缘和突出的纹理信息，并且本方案的比较阈值设置较小，使得CS-LBP特征在平面图像上的鲁棒性更强。
优选的，所述对所述图像特征进行加权PCA降维处理的步骤，具体包括：
将图像特征转换为协方差矩阵，计算所述协方差矩阵的特征值和特征向量；
基于预置的降低维度、预置的加权矩阵以及所述协方差矩阵的特征值和特征向量得到加权的映射变换矩阵；
根据所述加权的映射变换矩阵以及所述协方差矩阵的特征向量得到具有主成分投影矩阵的第一特征图。
采用上述技术方案，将图像特征转换为协方差矩阵，计算协方差矩阵的特征值和特征向量，基于预置的降低维度、预置的加权矩阵以及协方差矩阵的特征值和特征向量得到加权的映射变换矩阵，根据加权的映射变换矩阵以及协方差矩阵的特征向量得到具有主成分投影矩阵的第一特征图；在分块级数b较大的情况下，得到人脸图像特征维度较高，并包含较多冗余信息，并且人脸图像在一些客观条件改变时容易在同一类样本间造成比较大的差异，这种差异对较大特征值对应的主成分影响较大，即也就是大特征值对应的主成分更容易受环境因素影响(比如光照，姿态变化等)，本申请对图像特征采用加权PCA降维处理，可降低特征维度，减少环境因素造成的干扰。
优选的，所述通过所述训练后的遮挡人脸识别模型中的特征增强网络，对所述第一特征图中的非遮挡区域特征进行增强得到第二特征图的步骤，具体包括：
将所述第一特征图输入至特征增强网络的多注意力模块，得到注意力模块输出结果，所述多注意力模块包括通道注意力模块、空间注意力模块以及全局注意力模块；
将所述注意力模块输出结果输入至特征增强网络的特征向量提取模块，得到所述第二特征图。
采用上述技术方案，将第一特征图输入至特征增强网络的多注意力模块，得到注意力模块输出结果，将注意力模块输出结果输入至特征增强网络的特征向量提取模块，得到第二特征图，多注意力模块包括通道注意力模块、空间注意力模块以及全局注意力模块，引入空间注意力模块充分利用了遮挡人脸空间上的信息，例如眼睛、眉毛、额头部分的纹理信息；同时，将全局注意力模块、空间注意力模块、通道注意力模块生成的特征图进行叠加融合，从而增强了非遮挡区域的特征权重。
优选的，所述将所述注意力模块输出结果输入至特征增强网络的特征向量提取模块，得到所述第二特征图的步骤，具体包括：
将所述注意力模块输出结果输入至第一深度可分离卷积层，得到第一深度可分离卷积层的输出结果；
将所述第一深度可分离卷积层的输出结果输入至瓶颈层，得到瓶颈层的输出结果；
将所述瓶颈层的输出结果输入至卷积层，得到卷积层的输出结果；
将所述卷积层的输出结果输入至第二深度可分离卷积层，得到所述第二特征图。
采用上述技术方案，特征增强网络还包括特征向量提取模块，将注意力模块输出结果输入至特征向量提取模块，特征向量提取模块采用轻量级的MobileNetV2子网络，需要的样本数量较少，能保留更多的特征信息，提高网络的表征能力。
优选的，在所述获取待识别人脸图像之前，还包括：
基于已标记的样本图像训练初始遮挡人脸识别模型，得到训练后的遮挡人脸识别模型，训练所述初始遮挡人脸识别模型的损失函数为ArcFace损失函数。
采用上述技术方案，在对待识别人脸图像进行识别之前，对初始遮挡人脸识别模型进行训练，得到训练后的遮挡人脸识别模型，通过训练后的遮挡人脸识别模型对待识别人脸图像进行识别；采用ArcFace损失函数训练初始遮挡人脸识别模型，ArcFace损失函数无需与其他损失函数结合即可获得稳定的性能，并且可以轻松收敛于任何训练数据集。
第二方面，本申请提供了人脸识别系统，该系统包括：
图像获取模块，用于获取待识别人脸图像，所述待识别人脸图像包括遮挡区域和非遮挡区域；特征提取模块，用于通过训练后的遮挡人脸识别模型中的特征提取网络，对所述待识别人脸图像进行特征提取得到第一特征图；
特征增强模块，用于通过所述训练后的遮挡人脸识别模型中的特征增强网络，对所述第一特征图中的非遮挡区域特征进行增强得到第二特征图；
人脸识别模块，用于通过所述训练后的遮挡人脸识别模型中的人脸识别网络，对所述第二特征图进行识别得到所述待识别人脸图像的人脸识别结果。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
1、本申请采用了多尺度分块CS-LBP特征与加权PCA特征融合的特征提取算子提取待处理图像的特征，通过局部纹理提取增强人脸特征在低分辨率下的鲁棒性和分类能力，通过加权PCA方法有效去除冗余信息，减少环境因素造成的干扰，有效解决了监控截取的图像的分辨率低且尺寸较小，导致人脸识别准确率较低的问题，进而提高了人脸识别的准确率；
2、本申请引入了空间注意力，充分利用遮挡人脸上部分信息，例如眼睛、眉毛、额头部分的纹理信息；同时，将全局注意力模块、空间注意力模块、通道注意力模块生成的特征图进行叠加融合，增强了非遮挡区域的特征权重，使从而增加了对于遮挡人脸的识别准确率。
附图说明
图1是本申请实施例中人脸识别方法的流程示意图；
图2是本申请实施例中第一特征图获取步骤的流程示意图；
图3是使用本申请实施例中高斯金字塔的理解示意图；
图4是本申请实施例中通道注意力模块的理解示意图；
图5是本申请实施例中空间注意力模块的理解示意图；
图6是本申请实施例中全局注意力模块的理解示意图；
图7是本申请实施例中特征增强网络的理解示意图；
图8是本申请实施例中遮挡人脸识别模型的理解示意图；
图9是本申请实施例中人脸识别系统的模块示意图。
附图标记说明：1、图像获取模块；2、特征提取模块；3、特征增强模块；4、人脸识别模块。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指包含一个或多个所列出项目的任何或所有可能组合。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本申请实施例公开人脸识别方法。
参照图1，图1是本申请实施例中人脸识别方法的流程示意图，该方法的具体步骤包括：
S10：获取待识别人脸图像，待识别人脸图像包括遮挡区域和非遮挡区域。
待识别人脸图像为遮挡人脸图像，待识别人脸图像包括两个区域，分别是遮挡区域以及非遮挡区域。例如，遮挡区域可以为嘴部区域以及部分鼻部区域，非遮挡区域可以为脸部的其他区域。
具体的，待识别人脸图像的获取步骤可以为：通过摄像装置在人群通行场景下截得戴口罩的初始遮挡人脸图像，通过人脸检测截取初始遮挡人脸图像中的人脸图像，通过人脸定位将初始遮挡人脸图像中的人脸角度进行调整，通过图像归一化将初始遮挡人脸图像转换为特定尺寸的图像，通过灰度处理将初始遮挡人脸图像灰度化，从而得到待识别人脸图像。
S20：通过训练后的遮挡人脸识别模型中的特征提取网络，对待识别人脸图像进行特征提取得到第一特征图。
训练后的遮挡人脸识别模型包括特征提取网络，将获取的待识别人脸图输入至训练后的遮挡人脸识别模型中的特征提取网络后可得到第一特征图。
参照图2，图2是本申请实施例中第一特征图获取步骤的流程示意图，S20具体包括S201-S203。
S201：将待识别人脸图像进行分块处理，得到若干个子块。
其中，将待识别人脸图像进行分块处理具体包括：通过高斯金字塔对待识别人脸图像进行三层尺度空间的下采样，得到采样图像，将采样图像分为22b(2b·2b)块，得到22b(2b·2b)个子块，b为分块级数。
高斯金字塔为通过高斯模糊滤波和下采样不断地将待识别人脸图像的尺寸缩小，从而在高斯金字塔中得到包含多个分辨率的图像，即高斯金字塔内不同层的待识别人脸图像的尺度不同。
参照图3，图3是本申请实施例中高斯金字塔的理解示意图，σ为尺度空间坐标，在本申请实施例中，需要对待识别人脸图像进行下采样，取三层尺度空间内的三组图像，即选取第一八度(Octave 1)、第二八度(Octave 2)以及第三八度(Octave 3)内的采样图像。
具体的，将得到的采样图像进行分块，分块完成后所有的采样图像均包括22b(2b·2b)个子块，在本实施例中，得到的22b(2b·2b)个子块为不重叠子块，即每个子块之间不会互相重叠，从而减少后续过程的计算量。
S202：对子块进行CS-LBP特征提取，得到子块的CS-LBP特征，对若干个子块的CS-LBP特征进行直方图统计，得到图像特征。
在本申请实施例中，中心对称局部二值模式(Center-Symmetric Local BinaryPattern，简称CS-LBP)为一种用于提取采样图像的局部纹理特征的算法，采用该算法进行提取特征，特征在平面图像上的表达具有良好的鲁棒性，可以有效描述人脸图像的效果并为后续分类操作提供可靠的保障。
其中，对子块进行CS-LBP特征提取的具体步骤包括：获取子块中每个像素点的灰度值，按照像素点的编号顺序依次选取像素点作为中心像素点，并将与中心像素点相邻的像素点作为周围像素点，将中心像素点的灰度值依次与其相邻的周围像素点的灰度值进行比较，若比较结果为大于比较阈值，则记为1，否则为0，通过预置的标准排列顺序将得到的0/1进行排列，得到一个二进制数，将该二进制数作为子块像素点的CS-LBP编码值，子块内每个像素点的CS-LBP编码值构成子块的CS-LBP特征。
CS-LBP编码值的具体计算过程如下：
其中，CS-LBPp,R,ε为CS-LBP编码值，p为一个子块中像素点个数，i为像素点的编号，像素点的编号反映了像素点在子块中的位置，gi表示该位置的像素灰度值，S(X)为像素点灰度值比较结果，S(X)的表达式为：
其中，ε为比较阈值，ε为常数，值较小。
当得到子块的CS-LBP特征后，将各个子块的CS-LBP特征进行直方图统计，由此得到以直方图描述特征的子块，各个子块共同组成一张图像，得到的一张由若干个直方图组成的图像即为图像特征。
S203：对图像特征进行加权PCA降维处理，得到第一特征图。
主成分分析(Principal components analysis，简称PCA)为一种将数据从高维转换为低维从而便于数据分析的方法。
具体的，将图像特征转换为协方差矩阵，计算协方差矩阵的特征值和特征向量，将特征值按照由大至小的顺序进行排列，基于预置的降低维度、预置的加权矩阵以及协方差矩阵的特征值和特征向量得到加权的映射变换矩阵，根据加权的映射变换矩阵以及协方差矩阵的特征向量得到具有主成分投影矩阵的第一特征图。
例如，当数据从n维降到k维，其具体处理步骤为：将图像特征转换为协方差矩阵，计算协方差矩阵的特征值和特征向量，将若干特征值按照由大至小的顺序进行排序，选取排列顺序中前k个特征值对应的特征向量，并引入加权矩阵，构成加权的映射变换矩阵W，计算原特征x在映射空间的坐标y，y＝WTx，将得到主成分投影矩阵，将主成分投影矩阵对应的图像视为第一特征图。
在本实施例中，在进行分块处理过程中，当分块级数b设置较大，即子块的数量过多，则导致人脸图像的特征维数较高；并且人脸图像在一些客观条件改变时容易在同一类样本间造成比较大的差异，这种差异对较大特征值对应的主成分影响较大，即也就是大特征值对应的主成分更容易受环境因素影响(比如光照，姿态变化等)，为降低特征维度，减少环境因素造成的干扰，本申请对图像特征采用加权PCA降维处理。
S30：通过训练后的遮挡人脸识别模型中的特征增强网络，对第一特征图中的非遮挡区域特征进行增强得到第二特征图。
特征增强网络包括多注意力模块，多注意力模块包括通道注意力模块、空间注意力模块以及全局注意力模块，用于增强非遮挡区域的特征权重。
参照图4，图4是本申请实施例中通道注意力模块的理解示意图，通道注意力模块(Channel Attention Module)将输入的第一特征图(input feature F)分别进行空间维度的最大池化(Max Pool)以及平均池化(Avg Pool)，得到空间维度的最大池化结果以及平均池化的结果，将空间维度的最大池化结果以及平均池化的结果输入至多层感知器(Multi-Layer Perception，简称MLP)中得到MPL输出结果，将两个MPL输出结果进行相加并使用Sigmoid函数激活，得到通道注意力模块的输出结果(Channel Attention Mc)。通道注意力机制关注特征图的通道，通过赋予不同的通道不同权重，实现注意力，即通过通道注意力机制可判断特征图中哪些特征需要注意。
参照图5，图5是本申请实施例中空间注意力模块的理解示意图，空间注意力模块(Spatial Attention Module)与通道注意力模块串联，空间注意力模块将通道注意力模块输出的特征图(Channel-refined feature F)进行通道维度的最大池化以及平均池化，得到通道维度的最大池化结果以及平均池化的结果，将空间维度的最大池化结果以及平均池化的结果按照通道进行拼接，将拼接的结果进行卷积操作(conv layer)并使用Sigmoid函数激活，得到通道注意力模块的输出结果(Spatial Attention Ms)。通道注意力机制关注特征图的空间位置，通过空间注意力机制可判断特征图中哪里的特征需要注意。
参照图6，图6是本申请实施例中全局注意力模块的理解示意图，全局注意力模块与串联的空间注意力模块以及通道注意力模块并联，全局注意力模块由多个卷积层和激活层组成。全局注意力的具体网络架构可参照图5，其中，C表示特征图通道数，H表示特征图高度，W表示特征图宽度，conv 1×1为进行卷积1*1运算的卷积层，ReLU为进行线性修正的激活层。全局注意力模块提取全局图像信息，对图像所有位置特征进行加权。
参照图7，图7是本申请实施例中特征增强网络的理解示意图，特征增强网络还包括特特征向量提取模块，特征向量提取模块的网络架构为MobileNetV2网络，特征向量提取模块包括第一深度可分离卷积层、瓶颈层、卷积层以及第二深度可分离卷积层。
获取第二特征图的步骤具体为：通过特征向量提取模块将多注意力模块输出结果输入到第一深度可分离卷积层中，得到第一深度可分离卷积层的输出结果；将第一深度可分离卷积层的输出结果输入至10层瓶颈层内，采用10层瓶颈层提取特征，将特征图提升通道维度至128，得到瓶颈层的输出结果；将瓶颈层的输出结果输入至卷积层内，通过1*1卷积层整合特征提高维度到512，得到卷积层的输出结果；将卷积层的输出结果输入至第二深度可分离卷积层内，使用第二深度可分离卷积层保留更多的信息，得到第二特征图。
具体的，得到第一特征图后，将第一特征图输入至特征增强网络中的多注意力模块，增强非遮挡区域的特征权重，将多注意力模块的输出结果输入至特征向量提取模块，通过特征向量提取模块提取人脸图像的人脸特征向量，得到第二特征图。
S40：通过训练后的遮挡人脸识别模型中的人脸识别网络，对第二特征图进行识别得到待识别人脸图像的人脸识别结果。
具体的，得到第二特征图后，将第二特征图输入至训练后的遮挡人脸识别模型中的人脸识别网络，在人脸识别网络中，计算第二特征图的人脸特征向量与预置的特征数据库中的人脸图像的特征向量的特征间距，筛选出间距最小的特征间距，将得到最小的特征间距与预设的特征间距阈值进行对比，若最小的特征间距小于预设的特征间距阈值，则将最小的特征间距对应的人脸图像的身份作为待别人脸图像的人脸识别结果。
训练后的遮挡人脸识别模型的获取方式为：构建初始遮挡人脸识别模型，初始遮挡人脸识别模型包括初始特征提取网络、初始特征增强网络以及初始人脸识别网络；获取已标记的样本集，已标记的样本集内包含大量已确认身份的样本图像，将样本图像输入至初始遮挡人脸识别模型，通过初始特征提取网络对样本图像进行预处理，通过初始特征增强网络对样本图像进行特征向量的计算，通过初始人脸识别网络得到识别结果，根据识别结果以及标记的身份信息计算识别正确的概率，根据概率以及预置的损失函数的公式计算损失函数值，根据损失函数值重新调整初始遮挡人脸识别模型的参数，直至损失函数收敛，得到训练后的遮挡人脸识别模型。在本申请实施例中，训练所用的损失函数为ArcFace损失函数。
综上所述，参照图8，图8是本申请实施例中训练后的遮挡人脸识别模型的理解示意图，训练后的遮挡人脸识别模型包括特征提取网络、特征增强网络以及人脸识别网络。特征提取网络将待识别人脸图像进行分块处理，得到若干个子块；对子块进行CS-LBP特征提取，得到子块的CS-LBP特征，对若干个子块的CS-LBP特征进行直方图统计，得到图像特征；对图像特征进行加权PCA降维处理，得到第一特征图。特征增强网络增强第一特征图的非遮挡区域的特征权重；计算第一特征图的特征向量，得到第二特征图。人脸识别网络根据第二特征图以及预置的特征数据库中的人脸图像得到人脸识别结果。
人脸识别方法的实施原理为：获取待识别人脸图像，待识别人脸图像包括遮挡区域和非遮挡区域，通过训练后的遮挡人脸识别模型中的特征提取网络，对待识别人脸图像进行特征提取得到第一特征图，通过训练后的遮挡人脸识别模型中的特征增强网络，对第一特征图中的非遮挡区域特征进行增强得到第二特征图，通过训练后的遮挡人脸识别模型中的人脸识别网络，对第二特征图进行识别得到待识别人脸图像的人脸识别结果。本申请中特征提取网络可以增强人脸特征在低分辨率下的鲁棒性和分类能力，特征增强网络对非遮挡区域特征进行加权，从而使得人脸识别结果准确率更高。
本申请实施例还公开人脸识别系统。参照图9，人脸识别系统包括：图像获取模块1、特征提取模块2、特征增强模块3以及人脸识别模块4。
图像获取模块1，用于获取待识别人脸图像，所述待识别人脸图像包括遮挡区域和非遮挡区域；
特征提取模块2，用于通过训练后的遮挡人脸识别模型中的特征提取网络，对所述待识别人脸图像进行特征提取得到第一特征图；
特征增强模块3，用于通过所述训练后的遮挡人脸识别模型中的特征增强网络，对所述第一特征图中的非遮挡区域特征进行增强得到第二特征图；
人脸识别模块4，用于通过所述训练后的遮挡人脸识别模型中的人脸识别网络，对所述第二特征图进行识别得到所述待识别人脸图像的人脸识别结果。
需要说明的是：上述实施例提供的系统在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的人脸识别系统和人脸识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (9)

1.人脸识别方法，其特征在于，包括：
获取待识别人脸图像，所述待识别人脸图像包括遮挡区域和非遮挡区域；
通过训练后的遮挡人脸识别模型中的特征提取网络，对所述待识别人脸图像进行特征提取得到第一特征图；
通过所述训练后的遮挡人脸识别模型中的特征增强网络，对所述第一特征图中的非遮挡区域特征进行增强得到第二特征图；
通过所述训练后的遮挡人脸识别模型中的人脸识别网络，对所述第二特征图进行识别得到所述待识别人脸图像的人脸识别结果。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述通过训练后的遮挡人脸识别模型中的特征提取网络，对所述待识别人脸图像进行特征提取得到第一特征图的步骤，具体包括：将所述待识别人脸图像进行分块处理，得到若干个子块；
对所述子块进行CS-LBP特征提取，得到所述子块的CS-LBP特征；
对所述若干个子块的CS-LBP特征进行直方图统计，得到图像特征；
对所述图像特征进行加权PCA降维处理，得到所述第一特征图。
3.根据权利要求2所述的人脸识别方法，其特征在于，所述将所述待识别人脸图像进行分块处理，得到若干个子块的步骤，具体包括：
通过高斯金字塔对所述待识别人脸图像进行三层尺度空间的下采样，得到采样图像；
将所述采样图像分为22b(2b·2b)块，得到22b(2b·2b)个子块，所述b为分块级数。
4.根据权利要求2所述的人脸识别方法，其特征在于，所述对所述子块进行CS-LBP特征提取的步骤，具体包括：
获取所述子块的中心像素点的灰度值以及周围像素点的灰度值，将所述中心像素点的灰度值与所述周围像素点的灰度值进行对比，得到所述子块的CS-LBP编码值；所述子块的CS-LBP编码值为：
其中，CS-LBPp,R,ε为子块的CS-LBP编码值，p为像素采样点个数，gi为像素灰度值，S(X)为像素点灰度值比较结果，所述S(X)的表达式为：
所述ε为比较阈值。
5.根据权利要求2所述的人脸识别方法，其特征在于，所述对所述图像特征进行加权PCA降维处理的步骤，具体包括：
将图像特征转换为协方差矩阵，计算所述协方差矩阵的特征值和特征向量；
基于预置的降低维度、预置的加权矩阵以及所述协方差矩阵的特征值和特征向量得到加权的映射变换矩阵；
根据所述加权的映射变换矩阵以及所述协方差矩阵的特征向量得到具有主成分投影矩阵的第一特征图。
6.根据权利要求1所述的人脸识别方法，其特征在于，所述通过所述训练后的遮挡人脸识别模型中的特征增强网络，对所述第一特征图中的非遮挡区域特征进行增强得到第二特征图的步骤，具体包括：
将所述第一特征图输入至特征增强网络的多注意力模块，得到注意力模块输出结果，所述多注意力模块包括通道注意力模块、空间注意力模块以及全局注意力模块；
将所述注意力模块输出结果输入至特征增强网络的特征向量提取模块，得到所述第二特征图。
7.根据权利要求6所述的人脸识别方法，其特征在于，所述将所述注意力模块输出结果输入至特征增强网络的特征向量提取模块，得到所述第二特征图的步骤，具体包括：
将所述注意力模块输出结果输入至第一深度可分离卷积层，得到第一深度可分离卷积层的输出结果；
将所述第一深度可分离卷积层的输出结果输入至瓶颈层，得到瓶颈层的输出结果；
将所述瓶颈层的输出结果输入至卷积层，得到卷积层的输出结果；
将所述卷积层的输出结果输入至第二深度可分离卷积层，得到所述第二特征图。
8.根据权利要求1所述的人脸识别方法，在所述获取待识别人脸图像之前，还包括：
基于已标记的样本图像训练初始遮挡人脸识别模型，得到训练后的遮挡人脸识别模型，训练所述初始遮挡人脸识别模型的损失函数为ArcFace损失函数。
9.基于权利要求1-8任意一条所述的人脸识别方法的系统，其特征在于，所述系统包括：
图像获取模块(1)，用于获取待识别人脸图像，所述待识别人脸图像包括遮挡区域和非遮挡区域；
特征提取模块(2)，用于通过训练后的遮挡人脸识别模型中的特征提取网络，对所述待识别人脸图像进行特征提取得到第一特征图；
特征增强模块(3)，用于通过所述训练后的遮挡人脸识别模型中的特征增强网络，对所述第一特征图中的非遮挡区域特征进行增强得到第二特征图；
人脸识别模块(4)，用于通过所述训练后的遮挡人脸识别模型中的人脸识别网络，对所述第二特征图进行识别得到所述待识别人脸图像的人脸识别结果。
CN202310352487.9A 2023-04-04 2023-04-04 人脸识别方法和系统 Pending CN116486452A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310352487.9A CN116486452A (zh) 2023-04-04 2023-04-04 人脸识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310352487.9A CN116486452A (zh) 2023-04-04 2023-04-04 人脸识别方法和系统

Publications (1)

Publication Number Publication Date
CN116486452A true CN116486452A (zh) 2023-07-25

Family

ID=87222429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310352487.9A Pending CN116486452A (zh) 2023-04-04 2023-04-04 人脸识别方法和系统

Country Status (1)

Country Link
CN (1) CN116486452A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095447A (zh) * 2023-10-18 2023-11-21 杭州宇泛智能科技有限公司 一种跨域人脸识别方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095447A (zh) * 2023-10-18 2023-11-21 杭州宇泛智能科技有限公司 一种跨域人脸识别方法、装置、计算机设备及存储介质
CN117095447B (zh) * 2023-10-18 2024-01-12 杭州宇泛智能科技有限公司 一种跨域人脸识别方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
EP2783328B1 (en) Text detection using multi-layer connected components with histograms
KR101896357B1 (ko) 객체를 검출하는 방법, 디바이스 및 프로그램
Wang et al. Review of ear biometrics
KR101433472B1 (ko) 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
WO2011042601A1 (en) Face recognition in digital images
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
US9305359B2 (en) Image processing method, image processing apparatus, and computer program product
CN113361495A (zh) 人脸图像相似度的计算方法、装置、设备及存储介质
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
CN110598788A (zh) 目标检测方法、装置、电子设备及存储介质
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN112101195A (zh) 人群密度预估方法、装置、计算机设备和存储介质
CN116486452A (zh) 人脸识别方法和系统
Velliangira et al. A novel forgery detection in image frames of the videos using enhanced convolutional neural network in face images
Liu et al. Crowd counting method based on convolutional neural network with global density feature
Chhabra et al. State-of-the-art: A systematic literature review of image segmentation in latent fingerprint forensics
CN112883941A (zh) 一种基于并行神经网络的人脸表情识别方法
Zhang et al. Spatial–temporal gray-level co-occurrence aware CNN for SAR image change detection
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN111353385A (zh) 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN111967331B (zh) 基于融合特征和字典学习的人脸表示攻击检测方法及系统
Vinay et al. Surveillance robots based on pose invariant face recognition using SSIM and spectral clustering
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
Bhattacharya HybridFaceMaskNet: A novel face-mask detection framework using hybrid approach
Shu et al. Face anti-spoofing based on weighted neighborhood pixel difference pattern

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination