CN116912918A - 一种人脸识别方法、装置、设备及计算机可读存储介质 - Google Patents

一种人脸识别方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116912918A
CN116912918A CN202311155066.3A CN202311155066A CN116912918A CN 116912918 A CN116912918 A CN 116912918A CN 202311155066 A CN202311155066 A CN 202311155066A CN 116912918 A CN116912918 A CN 116912918A
Authority
CN
China
Prior art keywords
face
image
identified
data
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311155066.3A
Other languages
English (en)
Other versions
CN116912918B (zh
Inventor
葛沅
赵雅倩
史宏志
温东超
张英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202311155066.3A priority Critical patent/CN116912918B/zh
Publication of CN116912918A publication Critical patent/CN116912918A/zh
Application granted granted Critical
Publication of CN116912918B publication Critical patent/CN116912918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及人脸识别领域，具体公开了一种人脸识别方法、装置、设备及计算机可读存储介质，通过训练人脸检测模型提取人脸图像数据集中的各人脸图像的人脸检测特征，以基于人脸检测特征提取人脸图像中的标准人脸图像后在利用训练的人脸特征提取模型在标准人脸图像中提取人脸特征向量来建立人脸数据库，保证人脸数据库建库时人脸数据的质量；在进行人脸识别时，对于能够利用人脸数据库检出身份信息的待识别图像，再根据待识别图像的人脸数据执行人脸数据库中对应的人脸数据的质量检验及更新操作，进一步保证人脸数据库的实时性，从而不断提高基于人脸数据库进行人脸识别的准确性。

Description

一种人脸识别方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及人脸识别领域，特别是涉及一种人脸识别方法、装置、设备及计算机可读存储介质。
背景技术
人脸识别技术是目标分类技术的一个分支，基于目标分类、目标定位、语义分割、实例分割等多种技术实现，主要是将人脸图片通过深度神经网络提取人脸特征，从人脸数据库中检索相似人脸的图像处理技术，可以应用于人脸解锁手机屏幕、人脸支付、欺诈识别等多种场景。
在实际应用场景中，人脸识别技术受到环境、人脸本身状态等影响，仍然存在很多局限性。采集摄像头对光线环境敏感，光线不足或者光照角度不合理，会影响人脸图像采集效果，进而影响人脸识别的准确性。
提高人脸识别的准确性，是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是提供一种人脸识别方法、装置、设备及计算机可读存储介质，用于提高人脸识别的准确性。
为解决上述技术问题，本发明提供一种人脸识别方法，包括：
训练得到人脸检测模型和人脸特征提取模型；
利用所述人脸检测模型提取人脸图像数据集中的各人脸图像的人脸检测特征，基于所述人脸图像的人脸检测特征在所述人脸图像中提取标准人脸图像，利用所述人脸特征提取模型在所述人脸图像对应的标准人脸图像中提取人脸特征向量，将所述人脸图像的人脸检测特征、所述人脸图像对应的人脸特征向量以及所述人脸图像对应的身份信息进行关联存储，得到人脸数据库；
利用所述人脸检测模型检测得到待识别图像的人脸检测特征，基于所述待识别图像的人脸检测特征在所述待识别图像中提取标准人脸图像，利用所述人脸特征提取模型在所述待识别图像对应的标准人脸图像中提取人脸特征向量；
根据所述待识别图像对应的人脸特征向量和所述人脸数据库中的人脸特征向量进行相似度计算，得到所述待识别图像的人脸识别结果；
若所述人脸识别结果为检出所述待识别图像对应的身份信息，则根据所述待识别图像的人脸数据执行所述人脸数据库中对应的人脸数据的质量检验及更新操作。
在一些实施中，所述根据所述待识别图像的人脸数据执行所述人脸数据库中对应的人脸数据的质量检验及更新操作，包括：
根据所述待识别图像对应的人脸检测特征确定所述待识别图像的人脸图像质量参数；
若所述待识别图像的人脸图像质量参数优于所述人脸数据库中对应的人脸数据，则利用待识别图像的人脸数据替换所述人脸数据库中对应的人脸数据；
若所述待识别图像的人脸图像质量参数未优于所述人脸数据库中对应的人脸数据，则保持所述人脸数据库中对应的人脸数据不变。
在一些实施中，所述根据所述待识别图像对应的人脸检测特征确定所述待识别图像的人脸图像质量参数，包括：
根据所述待识别图像对应的人脸检测特征中的人脸坐标检测结果确定所述待识别图像对应的人脸框面积；
以所述待识别图像对应的人脸检测特征中的人脸检测置信度分数和所述待识别图像对应的人脸框面积作为所述待识别图像的人脸图像质量参数。
在一些实施中，所述待识别图像的人脸图像质量参数优于所述人脸数据库中对应的人脸数据，包括：
所述待识别图像对应的人脸置信度分数大于所述人脸数据库中对应的人脸数据的人脸置信度分数的k倍，或，所述待识别图像对应的人脸置信度分数大于人脸数据中对应的人脸数据的人脸置信度分数的t倍且小于等于所述人脸数据库中对应的人脸数据的人脸置信度分数的k倍且所述待识别图像对应的人脸框面积大于所述人脸数据库中对应的人脸数据的人脸框面积的h倍；
其中，k、t、h均为正数，且k大于t。
在一些实施中，所述根据所述待识别图像的人脸数据执行所述人脸数据库中对应的人脸数据的质量检验及更新操作，包括：
根据所述待识别图像对应的人脸检测特征确定所述待识别图像的人脸图像质量参数；
以人脸图像质量参数和所述人脸数据库中对应的人脸数据的存储时长为更新依据，执行所述人脸数据库中对应的人脸数据的质量检验及更新操作。
在一些实施中，所述根据所述待识别图像对应的人脸检测特征确定所述待识别图像的人脸图像质量参数，包括：
根据待识别图像对应的人脸检测特征中的人脸坐标检测结果确定所述待识别图像对应的人脸框面积；
以所述待识别图像对应的人脸检测特征中的人脸检测置信度分数和所述待识别图像对应的人脸框面积作为所述待识别图像的人脸图像质量参数。
在一些实施中，所述以人脸图像质量参数和所述人脸数据库中对应的人脸数据的存储时长为更新依据，执行所述人脸数据库中对应的人脸数据的质量检验及更新操作，包括：
若所述待识别图像对应的人脸置信度分数大于所述人脸数据库中对应的人脸数据的人脸置信度分数的k倍，或所述待识别图像对应的人脸置信度分数大于人脸数据中对应的人脸数据的人脸置信度分数的t倍且小于等于所述人脸数据库中对应的人脸数据的人脸置信度分数的k倍且所述待识别图像对应的人脸框面积大于所述人脸数据库中对应的人脸数据的人脸框面积的h倍，或所述待识别图像对应的人脸置信度分数大于人脸数据中对应的人脸数据的人脸置信度分数的m倍且所述人脸数据库中对应的人脸数据的存储时长大于n天，则将人脸数据库中对应的人脸数据更新为所述待识别图像的人脸数据；
其中，k、t、h、m、n均为正数，且k大于t，t大于m。
在一些实施中，利用所述人脸检测模型提取人脸检测特征，包括：
对输入图像进行加强特征提取，得到所述输入图像的图像特征参数；
将所述输入图像的图像特征参数输入人脸检测预测函数，得到所述输入图像的人脸检测特征；
其中，所述输入图像为所述人脸图像或所述待识别图像。
在一些实施中，所述对输入图像进行加强特征提取，得到所述输入图像的图像特征参数，包括：对输入图像通过N次深度可分离卷积进行N阶段梯度提取，输出不同压缩比例的N个特征图；
将各所述特征图调整为相同通道数后，按压缩比例从大到小的顺序对通道数调整后的各所述特征图依次进行特征融合，得到对应的N个特征融合结果；
分别对各所述特征融合结果进行加强特征提取，得到各所述特征融合结果对应的特征层；
输出与所述输入图像对应的特征层为所述输入图像的图像特征参数；
其中，N为非1正整数。
在一些实施中，所述分别对各所述特征融合结果进行加强特征提取，得到各所述特征融合结果对应的特征层，包括：
利用M个不同尺寸的卷积核分别对各所述特征融合结果进行特征提取，输出各所述特征融合结果对应的特征集；
对各所述特征融合结果，将对应的所述特征集进行拼接堆叠，得到所述特征融合结果对应的所述特征层；
其中，M为非1正整数。
在一些实施中，所述将所述输入图像的图像特征参数输入人脸检测预测函数，得到所述输入图像的人脸检测特征，包括：
将所述输入图像的图像特征参数输入人脸检测预测函数，输出所述输入图像的人脸检测结果预测值；
对所述输入图像的人脸检测结果预测值进行预测结果修正和非极大值抑制过滤，得到所述输入图像的人脸检测特征。
在一些实施中，所述人脸检测特征的种类为多个；
训练得到所述人脸检测模型，包括：
将各所述人脸检测特征对应的人脸检测预测函数叠加得到总体损失函数；
以所述总体损失函数对待训练人脸检测模型进行梯度下降训练，得到用于检测各类型人脸检测特征的所述人脸检测模型。
在一些实施中，所述将所述输入图像的图像特征参数输入人脸检测预测函数，得到所述输入图像的人脸检测特征，包括：
将所述输入图像的图像特征参数输入人脸坐标预测函数，得到人脸坐标检测结果；
基于人脸检测特征提取标准人脸图像，包括：
基于所述输入图像的人脸坐标检测结果，在所述输入图像中提取标准人脸图像。
在一些实施中，所述将所述输入图像的图像特征参数输入人脸检测预测函数，得到所述输入图像的人脸检测特征，还包括：
将所述输入图像的图像特征参数输入人脸属性预测函数，得到所述输入图像的人脸属性特征；
人脸识别方法还包括：
利用所述人脸检测模型提取所述人脸图像的人脸属性特征，并将所述人脸图像的人脸属性特征列入所述人脸图像的人脸数据在所述人脸数据库中进行关联存储；
所述根据所述待识别图像对应的人脸特征向量和所述人脸数据库中的人脸特征向量进行相似度计算，得到所述待识别图像的人脸识别结果，包括：
利用所述人脸检测模型提取所述待识别图像的人脸属性特征；
根据所述待识别图像的人脸属性特征在所述人脸数据库中筛选得到待比对人脸数据，将所述待识别图像对应的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算，得到所述待识别图像的人脸识别结果。
在一些实施中，人脸属性特征包括年龄检测结果和性别检测结果；
所述根据所述待识别图像的人脸属性特征在所述人脸数据库中筛选得到待比对人脸数据，将所述待识别图像对应的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算，得到所述待识别图像的人脸识别结果，包括：
自所述人脸数据库中筛选出与所述待识别图像的年龄检测结果、所述待识别图像的性别检测结果均一致的人脸数据作为所述待比对人脸数据，并将所述待识别图像的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算；
若得到相似度分数达到相似度阈值的目标人脸数据，则在所述目标人脸数据中确定所述待识别图像的身份信息作为所述待识别图像的人脸识别结果；若未得到所述目标人脸数据，则自所述人脸数据库中重新筛选仅与所述待识别图像的年龄检测结果一致的人脸数据和仅与所述待识别图像的性别检测结果一致的人脸数据作为所述待比对人脸数据，并将所述待识别图像的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算；
若得到所述目标人脸数据，则在所述目标人脸数据中确定所述待识别图像的身份信息作为所述待识别图像的人脸识别结果；若未得到所述目标人脸数据，则以所述人脸数据库中的剩余人脸数据作为所述待比对人脸数据，并将所述待识别图像的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算；
若得到所述目标人脸数据，则在所述目标人脸数据中确定所述待识别图像的身份信息作为所述待识别图像的人脸识别结果；若未得到所述目标人脸数据，则输出所述待识别图像的人脸识别结果为人脸身份未检出。
在一些实施中，人脸属性特征包括配饰检测结果、发型检测结果中的至少一项；
利用所述人脸检测模型提取人脸属性特征，包括：
根据所述输入图像的人脸检测特征中的人脸关键点坐标检测结果和所述输入图像的像素值变化信息得到所述输入图像的人脸属性特征。
在一些实施中，当人脸属性特征为配饰检测结果中的眼镜佩戴检测结果时，所述根据所述输入图像的人脸检测特征中的人脸关键点坐标检测结果和所述输入图像的像素值变化信息得到所述输入图像的人脸属性特征，包括：
根据所述输入图像的人脸关键点坐标检测结果得到所述输入图像的人体五官坐标；
根据所述输入图像的人体五官坐标对所述输入图像进行眼部定位，得到所述输入图像的眼部坐标，并根据所述输入图像的眼部坐标生成包围所述输入图像的眼部位置的眼镜框；
计算所述输入图像的眼镜框内的像素值和所述输入图像的眼镜框外的像素值的第一差异值；若所述第一差异值超出眼部差异度阈值，则确定所述输入图像的眼镜佩戴信息为佩戴有眼镜；若所述第一差异值未超出所述眼部差异度阈值，则确定所述输入图像的眼镜佩戴信息为未佩戴眼镜。
在一些实施中，当人脸属性特征为发型检测结果时，所述根据所述输入图像的人脸检测特征中的人脸关键点坐标检测结果和所述输入图像的像素值变化信息得到所述输入图像的人脸属性特征，包括：
根据所述输入图像的人脸关键点坐标检测结果得到所述输入图像的人体五官坐标；
根据所述输入图像的人体五官坐标对所述输入图像进行额头定位，得到所述输入图像的额头坐标，并根据所述输入图像的额头坐标生成包围所述输入图像的额头位置的额头框；
计算所述输入图像的额头框内的像素值和所述输入图像的额头框外的像素值的第二差异值；若所述第二差异值超出额头差异度阈值，则确定所述输入图像的发型检测结果为具有刘海；若所述第二差异值未超出所述额头差异度阈值，则确定所述输入图像的发型检测结果为不具有刘海。
在一些实施中，人脸属性特征包括配饰检测结果和发型检测结果；
所述根据所述待识别图像的人脸属性特征在所述人脸数据库中筛选得到待比对人脸数据，将所述待识别图像对应的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算，得到所述待识别图像的人脸识别结果，包括：
自所述人脸数据库中筛选出与所述待识别图像的配饰检测结果、所述待识别图像的发型检测结果均一致的人脸数据作为所述待比对人脸数据，并将所述待识别图像的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算；
若得到相似度分数达到相似度阈值的目标人脸数据，则在所述目标人脸数据中确定所述待识别图像的身份信息作为所述待识别图像的人脸识别结果；若未得到所述目标人脸数据，则自所述人脸数据库中重新筛选仅与所述待识别图像的配饰检测结果一致的人脸数据和仅与所述待识别图像的发型检测结果一致的人脸数据作为所述待比对人脸数据，并将所述待识别图像的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算；
若得到所述目标人脸数据，则在所述目标人脸数据中确定所述待识别图像的身份信息作为所述待识别图像的人脸识别结果；若未得到所述目标人脸数据，则以所述人脸数据库中的剩余人脸数据作为所述待比对人脸数据，并将所述待识别图像的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算；
若得到所述目标人脸数据，则在所述目标人脸数据中确定所述待识别图像的身份信息作为所述待识别图像的人脸识别结果；若未得到所述目标人脸数据，则输出所述待识别图像的人脸识别结果为人脸身份未检出。
在一些实施中，利用所述人脸检测模型提取人脸检测特征，包括：
对输入图像，利用网络检测分支输出不同尺度的锚框，调用所述人脸检测模型对所述输入图像进行前向传播计算，得到所述输入图像上各锚框对应的候选人脸检测结果；
对所述输入图像上的各候选人脸检测结果中滤除置信度分数低于置信度阈值的候选人脸检测结果、经过非极大值过滤算法滤除交并比小于非极大值过滤阈值的相邻边框回归结果，得到所述输入图像的人脸检测结果；
其中，所述输入图像为所述人脸图像或所述待识别图像。
为解决上述技术问题，本发明还提供一种人脸识别装置，包括：
模型训练单元，用于训练得到人脸检测模型和人脸特征提取模型；
建库单元，用于利用所述人脸检测模型提取人脸图像数据集中的各人脸图像的人脸检测特征，基于所述人脸图像的人脸检测特征在所述人脸图像中提取标准人脸图像，利用所述人脸特征提取模型在所述人脸图像对应的标准人脸图像中提取人脸特征向量，将所述人脸图像的人脸检测特征、所述人脸图像对应的人脸特征向量以及所述人脸图像对应的身份信息进行关联存储，得到人脸数据库；
人脸检测单元，用于利用所述人脸检测模型检测得到待识别图像的人脸检测特征，基于所述待识别图像的人脸检测特征在所述待识别图像中提取标准人脸图像，利用所述人脸特征提取模型在所述待识别图像对应的标准人脸图像中提取人脸特征向量；
人脸识别单元，用于根据所述待识别图像对应的人脸特征向量和所述人脸数据库中的人脸特征向量进行相似度计算，得到所述待识别图像的人脸识别结果；
更新单元，用于若所述人脸识别结果为检出所述待识别图像对应的身份信息，则根据所述待识别图像的人脸数据执行所述人脸数据库中对应的人脸数据的质量检验及更新操作。
为解决上述技术问题，本发明还提供一种人脸识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，所述计算机程序被所述处理器执行时实现如上述任意一项所述人脸识别方法的步骤。
为解决上述技术问题，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述人脸识别方法的步骤。
本发明所提供的人脸识别方法，通过训练人脸检测模型提取人脸图像数据集中的各人脸图像的人脸检测特征，以基于人脸检测特征提取人脸图像中的标准人脸图像后在利用训练的人脸特征提取模型在标准人脸图像中提取人脸特征向量来建立人脸数据库，保证人脸数据库建库时人脸数据的质量；在进行人脸识别时，对于能够利用人脸数据库检出身份信息的待识别图像，再根据待识别图像的人脸数据执行人脸数据库中对应的人脸数据的质量检验及更新操作，进一步保证人脸数据库的实时性，从而不断提高基于人脸数据库进行人脸识别的准确性。
本发明还提供一种人脸识别装置、设备及计算机可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种人脸识别方法的流程图；
图2为本发明实施例提供的一种人脸检测网络的架构示意图；
图3为本发明实施例提供的一种人脸识别装置的结构示意图；
图4为本发明实施例提供的一种人脸识别设备的结构示意图。
具体实施方式
本发明的核心是提供一种人脸识别方法、装置、设备及计算机可读存储介质，用于提高人脸识别的准确性。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面对本发明实施例一进行说明。
为便于理解，首先对本发明的适用场景进行说明。
人脸识别场景可以区分为1:1人脸识别和1：N人脸识别。其中，1:1人脸识别通常用于认证核验场景。1：N人脸识别用于人脸解锁手机屏幕、人脸支付、欺诈识别等场景。人脸识别场景虽然表现形式多样，但是最终都是基于人脸特征检索这一技术来实现的。相比于其他生物识别技术，人脸识别不需要用户直接接触设备，甚至不需要用户主动配合，就可以在用户无感知的条件下获取人脸信息，完成身份核对、检索。本发明实施例提供的人脸识别方法主要适用于1：N人脸识别场景。
本发明实施例提供的人脸识别方法可以应用于任意人脸识别设备或包含人脸识别功能的设备，包括但不限于手机、平板电脑、计算机等。
下面对本发明实施例二进行说明。
图1为本发明实施例提供的一种人脸识别方法的流程图。
如图1所示，本发明实施例提供的人脸识别方法包括：
S101：训练得到人脸检测模型和人脸特征提取模型。
S102：利用人脸检测模型提取人脸图像数据集中的各人脸图像的人脸检测特征，基于人脸图像的人脸检测特征在人脸图像中提取标准人脸图像，利用人脸特征提取模型在人脸图像对应的标准人脸图像中提取人脸特征向量，将人脸图像的人脸检测特征、人脸图像对应的人脸特征向量以及人脸图像对应的身份信息进行关联存储，得到人脸数据库。
S103：利用人脸检测模型检测得到待识别图像的人脸检测特征，基于待识别图像的人脸检测特征在待识别图像中提取标准人脸图像，利用人脸特征提取模型在待识别图像对应的标准人脸图像中提取人脸特征向量。
S104：根据待识别图像对应的人脸特征向量和人脸数据库中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果。
S105：若人脸识别结果为检出待识别图像对应的身份信息，则根据待识别图像的人脸数据执行人脸数据库中对应的人脸数据的质量检验及更新操作。
对于S101来说，人脸检测模型用于检测输入图像中是否有人脸以及人脸位置，具体可以训练用于检出人脸分类结果（具有人脸/不具有人脸）、人脸框位置检测结果、人脸关键点坐标检测结果等人脸检测特征的人脸检测模型。人脸特征提取模型用于提取输入图像的人脸特征向量，以便进行两张人脸图像的相似度计算。
训练人脸检测模型和人脸特征提取模型的过程可以包括：数据采集过程、数据预处理过程、模型训练过程、模型测试评估过程。
在数据采集过程中，需要收集一定数量的人脸图像，包括正面、侧面、遮挡等不同角度和情况下的人脸图像。选择带标注信息文件的人脸图像数据集，或者对人脸图像进行标注生成文件，用于验证。训练人脸检测模型所用的人脸图像需要标注图片名称、每张图片人脸格式、每个人脸边界框坐标等详细信息；训练人脸特征提取模型所用的人脸图像需要标注图片名称、每张图像的关键点坐标、分数等详细信息。
在数据预处理过程中，需要对收集到的人脸图像进行预处理，包括将人脸图像尺寸调整成模型所需大小等操作，以便后续模型训练。
在模型训练过程中，加载数据集和模型参数，根据实际情况设定训练周期（epoch）、批次尺寸（batch_size）、学习速度（learning_rate）等模型训练参数。从训练数据集选取样本，送入模型计算损失函数，更新模型权重，不断迭代，直到达到预设周期次数或者模型收敛结束，输出训练好的模型。
在模型测试评估过程，使用测试数据集对训练好的模型进行测试和评估，以检查模型的性能和精度。
对于S102，与相关技术不同的是，在本发明实施例提供的人脸识别方法中，在建立人脸数据库时，利用人脸检测模型提取人脸图像数据集中的各人脸图像的人脸检测特征，基于人脸图像的人脸检测特征在人脸图像中提取标准人脸图像，再利用人脸特征提取模型自标准人脸图像中提取人脸特征向量作为人脸图像对应的人脸特征向量，保证人脸数据库建库时人脸数据的质量。
对于S103，也是在利用人脸检测模型提取待识别图像的人脸检测特征后，基于待识别图像的人脸检测特征在待识别图像中提取标准人脸图像，再利用人脸特征提取模型自标准人脸图像中提取人脸特征向量作为待识别图像对应的人脸特征向量，保证对待识别图像的人脸特征向量提取的准确性。
在利用人脸检测模型提取输入图像的人脸检测特征时，是通过生成多个先验框的方式来分别进行人脸检测特征的确定的。则在上述S102和S103中，利用人脸检测模型提取人脸检测特征，可以包括：
对输入图像，利用网络检测分支输出不同尺度的锚框，调用人脸检测模型对输入图像进行前向传播计算，得到输入图像上各锚框对应的候选人脸坐标检测结果；
对输入图像上的各候选人脸坐标检测结果中滤除置信度分数低于置信度阈值的候选人脸坐标检测结果、经过非极大值过滤算法滤除交并比小于非极大值过滤阈值的相邻边框回归结果，得到输入图像的人脸坐标检测结果。
则基于人脸检测特征提取标准人脸图像，可以包括：
根据输入图像的人脸坐标检测结果中的边框回归结果和输入图像的人脸坐标检测结果中的人脸关键点坐标检测结果，对输入图像进行裁剪及校正，得到输入图像对应的标准人脸图像；
其中，输入图像为人脸图像或待识别图像。
在具体实施中，在S102中处理人脸图像时，系统加载人脸检测模型和人脸特征提取模型，依次读取人脸图像数据集中的人脸图像并对图像进行预处理后，送入人脸检测模型，得到一系列先验框、五官关键点坐标、置信度分数。对先验框做坐标修正，得到人脸检测框。在得到人脸检测框后，可以根据非极大值抑制（Non-Maximum Suppression，NMS）算法计算交并比（Intersection over Union，IOU，两个边界框交集和并集之比）来过滤掉重叠度较高的检测框，同时过滤掉置信度（score）过低的检测框，得到最终的人脸检测特征，包括人脸分类结果（具有人脸的置信度score/不具有人脸的置信度score）、人脸框位置检测结果（bbox）、人脸关键点坐标检测结果（landmark）。其中，人脸分类结果不仅可以用于表示对应的检测框中是否具有人脸，还可以通过具有人脸的置信度表示人脸图像质量高低，即置信度分数越高，人脸图像质量越高。人脸框位置检测结果（bbox）即对应检测框中的边框回归（Bounding-Box regression，bbox）结果，用于标识对应检测框中的人脸轮廓位置，如可以通过左上、右下的坐标标识人脸轮廓位置，则共有4个坐标值。人脸关键点坐标检测结果（landmark）即对应检测框中人脸关键点的坐标的检测结果，如五官坐标，具体可以用双眼坐标、鼻头坐标、嘴角两侧边界点坐标作为人脸关键点坐标，则共有10个坐标值。
在基于人脸检测特征对人脸图像进行人脸校正、剪裁得到标准人脸图像（标准人脸图像）的过程中，获取人脸图像中人脸的几何结构，如结合人脸检测结果中的人脸关键点坐标检测结果（landmark）和标准人脸参考点，基于平移、缩放和旋转得到对齐后的标准人脸图像。
在利用人脸特征提取模型自标准人脸图像中提取人脸特征向量的过程中，将标准人脸图像送入人脸特征提取模型后，会得到一个多维特征向量。每个人脸特征提取模型输出的特征向量维度是固定的。
对人脸图像数据集中的每张人脸图像进行上述操作后，将得到的人脸图像的人脸检测结果、人脸图像的人脸特征向量以及人脸图像的身份信息进行关联存储，得到人脸数据库。人脸图像的身份信息是已知的，如可以为姓名、身份证号等身份标志性信息。
在人脸图像数据集中，若同一个人只有一张人脸图像，则直接将该人脸图像的人脸特征向量进行关联存储。如果同一人有多张人脸图像，则存在多个人脸特征向量。此时可以将同一个人的所有人脸图像对应的人脸特征向量拼接串在一起，或者将每个人脸特征向量对应位置元素取均值，得到的均值特征向量维度不变。
同理，在S103中处理待识别图像时，系统加载人脸检测模型和人脸特征提取模型，依次读取待识别图像数据集中的待识别图像并对图像进行预处理后，送入人脸检测模型，得到一系列先验框、五官关键点坐标、置信度分数。对先验框做坐标修正，得到人脸检测框。在得到人脸检测框后，可以根据非极大值抑制（Non-Maximum Suppression，NMS）算法计算交并比（Intersection over Union，IOU，两个边界框交集和并集之比）来过滤掉重叠度较高的检测框，同时过滤掉置信度（score）过低的检测框，得到最终的人脸检测特征，包括人脸分类结果（具有人脸的置信度score/不具有人脸的置信度score）、人脸框位置检测结果（bbox）、人脸关键点坐标检测结果（landmark）。在基于人脸检测特征对待识别图像进行人脸校正、剪裁得到标准人脸图像（标准人脸图像）的过程中，获取待识别图像中人脸的几何结构，如结合人脸检测结果中的人脸关键点坐标检测结果（landmark）和标准人脸参考点，基于平移、缩放和旋转得到对齐后的标准人脸图像。在利用人脸特征提取模型自标准人脸图像中提取人脸特征向量的过程中，将标准人脸图像送入人脸特征提取模型后，会得到一个多维特征向量。每个人脸特征提取模型输出的特征向量维度是固定的。
可以理解的是，待识别图像中可能不具有人脸，或人脸较为模糊无法识别，则存在人脸检测模型对待识别图像的检测结果为不具有人脸，此时可以直接输出待识别图像的人脸检测结果为未检出人脸信息。
对于S104，若能够自待识别图像中检测到人脸，且基于人脸特征提取模型提取到标准人脸图像的人脸特征向量，则可以根据待识别图像对应的人脸特征向量和人脸数据库中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果。
对于S105，若待识别图像的人脸识别结果为检出待识别图像对应的身份信息，则此时人脸数据库中存在与待识别图像具有同一身份信息的人脸数据，该人脸数据可能是基于陈旧的人脸图像提取的，或对应用户的人脸特征可能已发生较大外形变化，故根据待识别图像的人脸数据执行人脸数据库中对应的人脸数据的质量检验及更新操作，来保证人脸数据库的实时性，即更利于后续对同一用户的人脸识别，能够快速检出待识别图像的身份信息且更不容易检测错误。则S105中根据待识别图像的人脸数据执行人脸数据库中对应的人脸数据的质量检验的质量检验参数可以为人脸清晰度和人脸数据库中对应的人脸数据的存储时长中的至少一个，例如，若待识别图像中的标准人脸图像更清晰，或人脸数据库中对应的人脸数据生成日期较为久远，可以采用待识别图像的人脸数据替换人脸数据库中对应的人脸数据。具体可以采用人脸检测模型输出的人脸分类结果中具有人脸的置信度分数、人脸框位置检测结果中人脸框的面积大小以及人脸数据库中对应的人脸数据的存储时长中的至少一个作为质量检验参数，例如，若满足待识别图像中的标准人脸图像的置信度分数高于人脸数据库中对应的人脸数据、待识别图像中人脸框的面积大于人脸数据库中对应的人脸数据和人脸数据库中对应的人脸数据的存储时长超过人脸数据更新时间阈值中的至少一个，可以采用待识别图像的人脸数据替换人脸数据库中对应的人脸数据。
本发明实施例提供的人脸识别方法，通过训练人脸检测模型提取人脸图像数据集中的各人脸图像的人脸检测特征，以基于人脸检测特征提取人脸图像中的标准人脸图像后在利用训练的人脸特征提取模型在标准人脸图像中提取人脸特征向量来建立人脸数据库，保证人脸数据库建库时人脸数据的质量；在进行人脸识别时，对于能够利用人脸数据库检出身份信息的待识别图像，再根据待识别图像的人脸数据执行人脸数据库中对应的人脸数据的质量检验及更新操作，进一步保证人脸数据库的实时性，从而不断提高基于人脸数据库进行人脸识别的准确性。
下面对本发明实施例三进行说明。
在上述实施例的基础上，本发明实施例进一步提供一种人脸数据库的更新方法。
在本发明实施例提供的人脸识别方法中，S105中根据待识别图像的人脸数据执行人脸数据库中对应的人脸数据的质量检验及更新操作，可以包括：
根据待识别图像对应的人脸检测特征确定待识别图像的人脸图像质量参数；
若待识别图像的人脸图像质量参数优于人脸数据库中对应的人脸数据，则利用待识别图像的人脸数据替换人脸数据库中对应的人脸数据；
若待识别图像的人脸图像质量参数未优于人脸数据库中对应的人脸数据，则保持人脸数据库中对应的人脸数据不变。
在具体实施中，根据人脸图像质量可以确定待识别图像的人脸数据和人脸数据库中对应的人脸数据中的较优者。人脸图像质量参数可以采用人脸检测模型检出的人脸分类结果的具有人脸的置信度分数，如具有人脸的置信度更高，则说明待识别图像的人脸图像质量更高。
为提高人脸图像质量评估的准确性，根据待识别图像对应的人脸检测特征确定待识别图像的人脸图像质量参数，可以包括：
根据待识别图像对应的人脸检测特征中的人脸坐标检测结果确定待识别图像对应的人脸框面积；
以待识别图像对应的人脸检测特征中的人脸检测置信度分数和待识别图像对应的人脸框面积作为待识别图像的人脸图像质量参数。
在实际应用中，待识别图像的人脸图像质量参数优于人脸数据库中对应的人脸数据，可以包括：
待识别图像对应的人脸置信度分数大于人脸数据库中对应的人脸数据的人脸置信度分数的k倍，或，待识别图像对应的人脸置信度分数大于人脸数据中对应的人脸数据的人脸置信度分数的t倍且小于等于人脸数据库中对应的人脸数据的人脸置信度分数的k倍且待识别图像对应的人脸框面积大于人脸数据库中对应的人脸数据的人脸框面积的h倍；
其中，k、t、h均为正数，且k大于t。
具体地，k可以为2，t可以为1.2，h可以为1.2。除此以外，k、t、h可以设置为其他满足上述条件的参数，此处仅为举例。
下面对本发明实施例四进行说明。
在上述实施例的基础上，本发明实施例提供另一种人脸数据库的更新方法。
为进一步提高人脸图像质量评估的准确性，在本发明实施例提供的人脸识别方法中，S105中根据待识别图像的人脸数据执行人脸数据库中对应的人脸数据的质量检验及更新操作，可以包括：
根据待识别图像对应的人脸检测特征确定待识别图像的人脸图像质量参数；
以人脸图像质量参数和人脸数据库中对应的人脸数据的存储时长为更新依据，执行人脸数据库中对应的人脸数据的质量检验及更新操作。
在具体实施中，除了人脸图像质量可以确定待识别图像的人脸数据和人脸数据库中对应的人脸数据中的较优者外，还可以结合人脸数据库中对应的人脸数据的存储时长来判断是否需要对人脸数据库中对应的人脸数据进行更新，这是由于生成较为久远的人脸数据可能已经不符合用户的当前状态。故可以以人脸图像质量参数和人脸数据库中对应的人脸数据的存储时长为更新依据，若待识别图像的人脸图像质量更高和/或人脸数据库中对应的人脸数据的存储时长达到预设时长，则利用待识别图像的人脸数据替换人脸数据库中对应的人脸数据。
其中，人脸图像质量参数可以采用人脸检测模型检出的人脸分类结果的具有人脸的置信度分数，如具有人脸的置信度更高，则说明待识别图像的人脸图像质量更高。
则根据待识别图像对应的人脸检测特征确定待识别图像的人脸图像质量参数，可以包括：
根据待识别图像对应的人脸检测特征中的人脸坐标检测结果确定待识别图像对应的人脸框面积；
以待识别图像对应的人脸检测特征中的人脸检测置信度分数和待识别图像对应的人脸框面积作为待识别图像的人脸图像质量参数。
在实际应用中，以人脸图像质量参数和人脸数据库中对应的人脸数据的存储时长为更新依据，执行人脸数据库中对应的人脸数据的质量检验及更新操作，可以包括：
若待识别图像对应的人脸置信度分数大于人脸数据库中对应的人脸数据的人脸置信度分数的k倍，或待识别图像对应的人脸置信度分数大于人脸数据中对应的人脸数据的人脸置信度分数的t倍且小于等于人脸数据库中对应的人脸数据的人脸置信度分数的k倍且待识别图像对应的人脸框面积大于人脸数据库中对应的人脸数据的人脸框面积的h倍，或待识别图像对应的人脸置信度分数大于人脸数据中对应的人脸数据的人脸置信度分数的m倍且人脸数据库中对应的人脸数据的存储时长大于n天，则将人脸数据库中对应的人脸数据更新为待识别图像的人脸数据；
其中，k、t、h、m、n均为正数，且k大于t，t大于m。
具体地，k可以为2，t可以为1.2，h可以为1.2，m可以为1，n可以为365。除此以外，k、t、h、m、n可以设置为其他满足上述条件的参数，此处仅为举例。
下面对本发明实施例五进行说明。
图2为本发明实施例提供的一种人脸检测网络的架构示意图。
在相关技术中，用于检测人脸信息的人脸检测模型的提取能力有待提高。故在上述实施例的基础上，在本发明实施例提供的人脸识别方法中，利用人脸检测模型提取人脸检测特征，可以包括：
对输入图像进行加强特征提取，得到输入图像的图像特征参数；
将输入图像的图像特征参数输入人脸检测预测函数，得到输入图像的人脸检测特征；
其中，输入图像为人脸图像或待识别图像。
在一些实施中，对输入图像进行加强特征提取，得到输入图像的图像特征参数，可以包括：
对输入图像通过N次深度可分离卷积进行N阶段梯度提取，输出不同压缩比例的N个特征图；
将各特征图调整为相同通道数后，按压缩比例从大到小的顺序对通道数调整后的各特征图依次进行特征融合，得到对应的N个特征融合结果；
分别对各特征融合结果进行加强特征提取，得到各特征融合结果对应的特征层；
根据各特征层和人脸检测特征对应的预测函数，得到输入图像的人脸检测特征；
输出与输入图像对应的特征层为输入图像的图像特征参数；
其中，输入图像为人脸图像或待识别图像，N为非1正整数。
如图2所示，本发明实施例提供一种人脸检测模型的网络架构，该人脸检测模型可以包括：压缩提取网络201、特征融合网络202、加强特征提取网络203和预测计算网络204。
其中，压缩提取网络201用于对输入图像进行多次深度可分离卷积进行多阶段梯度提取，得到不同压缩比例的特征图。
特征融合网络202用于对不同压缩比例的特征图进行通道数调整，调整为相同通道数后，再按照压缩比例从大到小的顺序对通道数调整后的各特征图依次进行特征融合，具体来说，是自压缩比例最大的特征图开始，该调整后的特征图作为其中一个特征融合结果，将调整后的特征图进行上采样后与上一特征图进行特征融合得到特征融合结果，再将特征融合结果进行上采样与再上一特征图进行融合，如此输出与特征图数量一致的特征融合结果。
为进一步增加提取到的特征，通过加强特征提取网络203分别对各特征融合结果进行加强特征提取，得到各特征融合结果对应的特征层。分别对各特征融合结果进行加强特征提取，得到各特征融合结果对应的特征层，可以包括：利用M个不同尺寸的卷积核分别对各特征融合结果进行特征提取，输出各特征融合结果对应的特征集；对各特征融合结果，将对应的特征集进行拼接堆叠，得到特征融合结果对应的特征层；其中，M为非1正整数。
预测计算网络204用于将输入图像的图像特征参数输入人脸检测预测函数，得到输入图像的人脸检测特征，即根据各特征层和人脸检测特征对应的预测函数，得到输入图像的人脸检测特征。不同的人脸检测特征，根据其求得方法具有对应的预测函数，通常分为分类预测和回归预测两种，前者得到分类结果，例如人脸分类结果（具有人脸/不具有人脸）就是一种分类预测，后者得到识别结果，例如人脸框位置检测结果和人脸关键点坐标检测结果就是回归预测。将特征层对应的特征参数输入人脸检测特征对应的预测函数，求得对应的预测值，对预测值进行解码（Decode）后得到人脸检测特征的预测结果。
假设输入图像的尺寸为720×1280×3，压缩提取网络201对输入图像进行三次深度可分离卷积进行三阶段特征提取，第一次压缩比例scale=8，输出特征尺寸为(1,64,90,160)，其中64为该阶段的固定输出维度，160=1280/8（压缩比例值），90=1280*720/64/160；第二次压缩压缩比例scale=16，输出特征尺寸为(1,128,45,80)，其中128为该阶段的固定输出维度，80=1280/16（压缩比例值），45=1280*720/128/80/2；第三次压缩比例scale=32，输出特征为(1,256,23,40)，其中256为该阶段的固定输出维度，40=1280/32（压缩比例值），23=1280*720/256/40/4，向上取整。这三个输出特征，对应图2中压缩提取网络201最后三个特征图（feature map）作为输出，分别记作第一特征图C3、第二特征图C4、第三特征图C5。
特征融合网络202用于获取第一特征图C3、第二特征图C4、第三特征图C5后，将通道数调整一致（如图3中的64）。具体的，基于特征融合网络202利用1×1的卷积核对压缩提取网络201的第一特征图C3、第二特征图C4、第三特征图C5进行通道数调整后，以调整后的第三特征图C5为第三特征融合结果P5。利用上采样将调整后的第三特征图的大小调整为与调整后的第二特征图一致再将二者进行融合，得到第二特征融合结果P4。对第二特征融合结果P4利用3×3的卷积核进行卷积，再利用上采样将第二特征融合结果P4的大小调整为与调整后的第一特征图一致再将二者进行融合，得到第一特征融合结果P3。对第一特征融合结果P3利用3×3的卷积核进行卷积。最后融合后的三个分支记作P3’，P4’，P5’，尺寸分别为：(1,64,90,160)，(1,64,45,80)，(1,64,23,40)，分别输入到加强特征提取网络203。
在加强特征提取网络203中对特征层进一步加强特征提取。加强特征提取网络203可以使用并行的三个卷积，第一个是3×3卷积，第二个是用2次3×3卷积代替5×5卷积，第三次是用3次3×3卷积代替5×5卷积。再分别将三次卷积的结果拼接堆叠起来，输出第一预测特征的特征层S3、第二预测特征的特征层S4和第三预测特征的特征层S5这三个特征层。第一预测特征的特征层S3、第二预测特征的特征层S4和第三预测特征的特征层S5各自的尺寸分别为(1,64,90,160)、(1,64,45,80)、(1,64,23,40)。
将第一预测特征的特征层S3、第二预测特征的特征层S4和第三预测特征的特征层S5输入预测计算网络204，根据预测计算网络204所要计算的人脸检测特征对应的计算方式进行计算，得到人脸检测特征的预测值。
为提高检测效率和检测精度，将输入图像的图像特征参数输入人脸检测预测函数，得到输入图像的人脸检测特征，可以包括：
将输入图像的图像特征参数输入人脸检测预测函数，输出输入图像的人脸检测结果预测值；
对输入图像的人脸检测结果预测值进行预测结果修正和非极大值抑制过滤，得到输入图像的人脸检测特征。
以上述列举的网络参数为例，在对预测计算网络204输出的人脸检测特征的预测值进行解码，通过人脸检测特征的预测值获得三个有效特征层，对先验框坐标调整，获得中心预测框，转换坐标为左上角和右下角。对先验框调整后，获得对应的人脸关键点坐标。而后利用非极大值抑制（Non-Maximum Suppression，NMS）对解码结果去除重合度较高的预测框。
上述人脸检测模型是一个或多个网络模型描述文件，人脸检测模型训练算法加载训练集文件及网络模型描述文件，并依据网络模型描述文件构建输入的人脸检测模型，并对构建的人脸检测模型的权重参数进行初始化。人脸检测模型的权重参数是通过模型预训练方法得到的参数。
在训练人脸检测模型时，可以采用梯度下降方法。具体地，初始化梯度下降算法，设定训练周期（epoch）、批次尺寸（batch_size）、学习速度（learning_rate）。其中，一个训练周期（epoch）是指当数据集中的全部数据样本通过神经网络一次并且返回一次的过程，即完成一次训练的过程。在梯度更新的过程中，每次取一个批次（batch）样本数据进行训练。批次尺寸（batch_size）设置主要根据计算节点的配置来确定。而后从人脸图像数据集中选取样本，组成一个批次（batch）训练样本。利用样本训练计算Loss损失函数。利用梯度下降方法更新检测模型的权重。不断重复选取样本、计算损失函数、更新模型权重的过程，直到达到预设的epoch数值结束迭代，输出训练好的人脸检测模型。
基于上述本发明实施例提供的人脸检测模型，可以实现对输入图像（人脸图像或待识别图像）的人脸检测特征检出所需的图像特征参数进行加强特征提取，能够加快人脸检测特征的计算，提高人脸检测特征检出的准确性。
下面对本发明实施例六进行说明。
为进一步提高人脸检测模型的检测效果，减少模型训练任务量和人脸检测时的计算量，在本发明实施例提供的人脸识别方法中，在人脸检测特征的种类为多个时，训练得到人脸检测模型，可以包括：
将各人脸检测特征对应的人脸检测预测函数叠加得到总体损失函数；
以总体损失函数对待训练人脸检测模型进行梯度下降训练，得到用于检测各类型人脸检测特征的人脸检测模型。
在具体实施中，在本发明实施例五提供的人脸检测模型的基础上，可以针对不同种类的人脸检测特征设置不同的预测计算网络204，各预测计算网络204对应不同的人脸检测预测函数及损失函数，将各人脸检测特征的损失函数叠加作为人脸检测模型的总体损失函数，以总体损失函数作为人脸检测模型的损失函数进行全局优化，得到能够检测出不同人脸检测特征的人脸检测模型。
为得到标准人脸图像，将输入图像的图像特征参数输入人脸检测预测函数，得到输入图像的人脸检测特征，可以包括：
将输入图像的图像特征参数输入人脸坐标预测函数，得到人脸坐标检测结果；
基于人脸检测特征提取标准人脸图像，包括：
基于输入图像的人脸坐标检测结果，在输入图像中提取标准人脸图像。
其中，人脸坐标检测结果中的人脸分类结果可以采用如下损失函数：
；
其中，。在人脸分类结果的损失函数中，C 1为2，分别对应识别出人脸和未识别出人脸两种分类结果，/>为0表示对应的人脸检出结果错误，/>为1表示对应的人脸检测结果正确；/>为人脸分类结果对应的预测计算网络204输出的第k个结果，/>为函数输出值，也是模型输出的预测结果。如真实样本为y=[0,1]，代表未检测出人脸概率为0，检测出人脸的概率为1。第一次模型预测结果/>=[0.1,0.9], 第二次模型预测结果/>=[0.7,0.3],则/>=-log0.9，/>=-log0.3，那么第一次损失函数值较小，预测结果与真实样本更接近。
人脸框位置检测结果（bbox）用于标识人脸轮廓，可以通过左上、右下的坐标标识人脸轮廓位置，则共有4个坐标值，可以采用如下损失函数：
；
其中，为所述人脸框位置检测任务模块的损失函数。
人脸关键点坐标检测结果（landmark）用于标识检测框中人脸关键点的坐标的检测结果，如五官坐标，具体可以用双眼坐标、鼻头坐标、嘴角两侧边界点坐标作为人脸关键点坐标，则共有10个坐标值。人脸关键点坐标检测任务模块的损失函数可以为：
；
其中，为人脸关键点坐标检测任务模块的损失函数。/>
应用本发明实施例提供的人脸检测模型，可以同时检出人脸分类结果、人脸框位置检测结果、人脸关键点坐标检测结果等多种人脸坐标检测结果，相较于传统的仅检出一种人脸检测结果的人脸检测模型，不仅通过加强特征提取实现了人脸检测特征检出的高效和准确性，还提高了模型训练效率和模型计算效率。
下面对本发明实施例七进行说明。
现有技术中在基于人脸数据库进行人脸识别时，需要对待识别图像的人脸特征向量和人脸数据库中所有人脸数据的人脸特征向量进行相似度计算。随着人脸数据库的壮大，这种全量计算方式会严重影响人脸识别效率。故在本发明实施例中，设置筛选条件在人脸数据库中筛选出待比对人脸数据与待识别图像进行相似度计算，以提高人脸识别效率。
则在本发明实施例提供的人脸识别方法中，将输入图像的图像特征参数输入人脸检测预测函数，得到输入图像的人脸检测特征，还可以包括：
将输入图像的图像特征参数输入人脸属性预测函数，得到输入图像的人脸属性特征。
本发明实施例提供的人脸识别方法还可以包括：
利用人脸检测模型提取人脸图像的人脸属性特征，并将人脸图像的人脸属性特征列入人脸图像的人脸数据在人脸数据库中进行关联存储。
则S104中根据待识别图像对应的人脸特征向量和人脸数据库中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果，可以包括：
利用人脸检测模型提取待识别图像的人脸属性特征；
根据待识别图像的人脸属性特征在人脸数据库中筛选得到待比对人脸数据，将待识别图像对应的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果。
在具体实施中，人脸属性特征的种类可以包括但不限于年龄、性别、人种、佩饰、发型等。这些人脸的显著特征可以作为筛选条件来筛选出与待识别图像上的人脸更为接近的人脸数据。通过至少一个人脸属性特征从人脸数据库中筛选出待比对人脸数据作为优先与待识别图像进行相似度计算的人脸数据，若未能从中得到符合相似度阈值的人脸数据，再将剩余的人脸数据中与待识别图像进行相似度计算。
基于此，在创建人脸数据库时，可以为每张人脸图像创建对应的人脸信息表来存储人脸属性特征，如令向量X为每张人脸的人脸信息表，X={x1,x2,x3,x4}，其中信息列表元素x1、x2、x3、x4分别代表为性别、年龄段、是否戴眼镜、是否有刘海。在提取待识别图像的人脸属性特征时，也为待识别图像建立对应的人脸信息表，用于进行待比对人脸数据的筛选。
下面对利用人脸检测模型检出人脸属性特征对应的损失函数进行说明。
年龄检测结果可以为将年龄划分为多个年龄段，例如划分为六个年龄段，或者分为更多年龄段。在建立人脸数据库时，对每张人脸图像均识别出其处于哪个年龄段作为该人脸图像的人脸年龄检测结果。在进行待识别图像的人脸检测时，则利用人脸检测模型检测出该待识别图像处于哪个年龄段作为该待识别图像的人脸年龄检测结果。则可以划分为6个年龄段，如0-3岁，4-12岁，13-18岁，19-30岁，30-60岁，60岁以上。年龄检测结果的损失函数可以为：
；
其中，。在年龄检测结果的损失函数中，C 2为年龄检测结果的分类数量，年龄段对应的/>为0表示人脸年龄检测结果不在年龄段内，年龄段对应的/>为1表示人脸年龄检测结果在年龄段内，/>为人脸年龄段检测任务模块输出的第k个结果，/>为函数输出值，也是模型输出的预测结果。例如：样本真值=[0,0,0,0,1,0]，预测值=[0.1,0.1,0.1,0.1,0.5,0.1]，则/>=-log0.5。
年龄检测结果也可以采用给人脸年龄打标签的方式，默认年龄取值范围为0~100的数值，设定年龄softmax损失函数，年龄检测采用分类方法按照0~100范围内取整数值。softmax是神经网络输出的一组结果，函数表现形式如下：
；
其中，z为分类的数量，这里z是1×101的特征向量，令C 3为最大值100，j是0~C 3索引号，是人脸属性检测模型的预测计算网络的第k个结果。/>表示该样本属于年龄k的概率，也是模型最后输出层的年龄预测结果。
定义的均值m，均值m为每个年龄预测值的均值。函数定义如下：
；
；
添加年龄均值损失函数，函数形式如下：
；
添加年龄段softmax损失函数softmaxloss，函数形式如下：
；
是softmax函数输出值，C 3=101，/>反映了真实的年龄样本标签，将真实年龄对应元素取值为1，其余的取值为0。
定义年龄检测结果的损失函数为。
人脸性别检测结果可以分为男性和女性。在建立人脸数据库时，对每张人脸图像均识别出性别作为该人脸图像的人脸性别检测结果。在进行待识别图像的人脸检测时，则利用人脸检测模型检测出该待识别图像的性别作为该待识别图像的人脸性别检测结果。人脸性别检测结果的损失函数可以为：
其中，。在人脸性别检测结果的损失函数中，C 1为2，分别对应男性和女性，/>为0表示对应的人脸性别检测结果错误，/>为1表示对应的人脸性别检测结果正确；为人脸性别检测结果对应的预测计算网络输出的第k个结果，/>为函数输出值，也是模型输出的预测结果。如真实样本为y=[0,1]，代表检测为男性概率为0，检测为女性的概率为1。第一次模型预测结果/>=[0.1,0.9], 第二次模型预测结果/>=[0.7,0.3],则/>=-log0.9，/>=-log0.3，那么第一次损失函数值较小，预测结果与真实样本更接近。
应用本发明实施例提供的人脸检测模型，不仅可以同时检出多种人脸坐标检测结果，还能够同时检出多种人脸属性特征，这些人脸属性特征能够用于在进行人脸识别的相似度计算之前在人脸数据库中筛选出待比对人脸数据以减少要进行相似度计算的人脸数据量，即通过一个人脸检测模型可以实现生成标准人脸图像来提取人脸特征向量以便于相似度计算之外，还可以实现检出人脸属性特征来缩小需要与待识别图像进行相似度计算的人脸数据范围，从而不仅提高了人脸识别效率，又提高了人脸识别准确性。
下面对本发明实施例八进行说明。
在人脸属性特征的种类为多个时，可以采用其中的一个或多个作为筛选待比对人脸数据的筛选条件。可以理解的是，筛选条件越多，筛选出的待比对人脸数据越少，但可能因为检测误差，这些待比对数据中不包含和待识别图像匹配的人脸数据，则可以通过调整筛选条件来筛选出新的待比对人脸数据。
则在本发明实施例提供的人脸识别方法中，在人脸属性特征的种类为多个时，在人脸数据库中筛选出与待识别图像的人脸属性特征相匹配的待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果，可以包括：
创建全部种类人脸属性特征的所有人脸属性特征子集；
选择一个人脸属性特征子集，自人脸数据库中筛选与人脸属性特征子集中所有人脸属性特征均匹配的待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果；
若得到相似度分数达到相似度阈值的目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；
若未得到目标人脸数据且未取用的人脸属性特征子集的数量不为零，则选择另一个人脸属性特征子集，进入自人脸数据库中筛选与人脸属性特征子集中所有人脸属性特征均匹配的待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果的步骤；
若未得到目标人脸数据且未取用的人脸属性特征子集的数量为零，以人脸数据库中的剩余人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；
若未得到目标人脸数据，则输出待识别图像的人脸识别结果为人脸身份未检出。
在人脸属性特征的种类为多个时，可以通过创建全体人脸属性特征的不同子集作为待比对人脸数据的筛选条件。选用人脸属性特征子集的顺序可以按照包含人脸属性特征从多到少的顺序，若包含人脸属性特征的数量相同，则随机选取。则选择一个人脸属性特征子集，可以包括：按照包含人脸属性特征的数量由多至少的顺序依次选择人脸属性特征子集。
由于不同人脸属性特征子集对应的人脸数据可能重叠，自人脸数据库中筛选与人脸属性特征子集中所有人脸属性特征均匹配的待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果，可以包括：自人脸数据库中筛选与人脸属性特征子集中所有人脸属性特征均匹配的待比对人脸数据并删除已比对过的待比对人脸数据后，将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果。通过在每次筛选时均剔除已经比对过的人脸数据，避免进行重复的相似度计算增加计算量。
下面对本发明实施例九进行说明。
除了上述实施例介绍的筛选顺序外，在本发明实施例提供的人脸识别方法中，在人脸属性特征的种类为多个时，在人脸数据库中筛选出与待识别图像的人脸属性特征相匹配的待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果，还可以包括：
以全部种类人脸属性特征为筛选条件，自人脸数据库中筛选与筛选条件中全部人脸属性特征均匹配的待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果；
若得到相似度分数达到相似度阈值的目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；
若未得到目标人脸数据且筛选条件中的人脸属性特征的数量不为一，则在筛选条件中剔除一个人脸属性特征后，进入自人脸数据库中筛选与筛选条件中全部人脸属性特征均匹配的待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果的步骤；
若未得到目标人脸数据且筛选条件中的人脸属性特征的数量为一，则以人脸数据库中的剩余人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；
若未得到目标人脸数据，则输出待识别图像的人脸识别结果为人脸身份未检出。
在人脸属性特征的种类为多个时，可以通过从所有人脸属性特征开始剔除人脸属性特征作为待比对人脸数据筛选条件。例如在人脸属性特征包括人脸年龄检测结果、人脸性别检测结果、眼镜佩戴信息、人脸发型信息时，在人脸数据库中筛选出与待识别图像的人脸属性特征相匹配的待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果，可以包括：
自人脸数据库中筛选出与待识别图像的人脸年龄检测结果、人脸性别检测结果、眼镜佩戴信息、人脸发型信息均一致的人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到相似度分数达到相似度阈值的目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则自人脸数据库中重新筛选与待识别图像的人脸年龄检测结果、人脸性别检测结果、眼镜佩戴信息均一致的人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到相似度分数达到相似度阈值的目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则自人脸数据库中重新筛选与待识别图像的人脸年龄检测结果、人脸性别检测结果均一致的人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到相似度分数达到相似度阈值的目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则自人脸数据库中重新筛选与待识别图像的人脸性别检测结果一致的人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到相似度分数达到相似度阈值的目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则输出待识别图像的人脸识别结果为人脸身份未检出。
由于不同人脸属性特征子集对应的人脸数据可能重叠，自人脸数据库中筛选与筛选条件中全部人脸属性特征均匹配的待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果，可以包括：自人脸数据库中筛选与筛选条件中全部人脸属性特征均匹配的待比对人脸数据并删除已比对过的待比对人脸数据后，将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果。通过在每次筛选时均剔除已经比对过的人脸数据，避免进行重复的相似度计算增加计算量。
下面对本发明实施例十进行说明。
通过人脸属性检测模型，可以直接检出输入图像上一些显著的人脸属性特征。在人脸属性特征包括年龄检测结果和性别检测结果时，根据待识别图像的人脸属性特征在人脸数据库中筛选得到待比对人脸数据，将待识别图像对应的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果，可以包括：
自人脸数据库中筛选出与待识别图像的年龄检测结果、待识别图像的性别检测结果均一致的人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到相似度分数达到相似度阈值的目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则自人脸数据库中重新筛选仅与待识别图像的年龄检测结果一致的人脸数据和仅与待识别图像的性别检测结果一致的人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则以人脸数据库中的剩余人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则输出待识别图像的人脸识别结果为人脸身份未检出。
下面对本发明实施例十一进行说明。
通过对输入图像中的人脸坐标检测结果，可以间接检测出如配饰、发型等显著的人脸属性特征。在人脸属性特征包括配饰检测结果、发型检测结果中的至少一项时，利用人脸检测模型提取人脸属性特征，可以包括：
根据输入图像的人脸检测特征中的人脸关键点坐标检测结果和输入图像的像素值变化信息得到输入图像的人脸属性特征。
在本发明实施例中，是否佩戴配饰、显著的发型信息（如额头是否有刘海遮挡）也可以作为人脸识别的标志特点。这两个标志特点都可以通过与周围皮肤的颜色显著区分来检出。
当人脸属性特征为配饰检测结果中的眼镜佩戴检测结果时，根据输入图像的人脸检测特征中的人脸关键点坐标检测结果和输入图像的像素值变化信息得到输入图像的人脸属性特征，可以包括：
根据输入图像的人脸关键点坐标检测结果得到输入图像的人体五官坐标；
根据输入图像的人体五官坐标对输入图像进行眼部定位，得到输入图像的眼部坐标，并根据输入图像的眼部坐标生成包围输入图像的眼部位置的眼镜框；
计算输入图像的眼镜框内的像素值和输入图像的眼镜框外的像素值的第一差异值；若第一差异值超出眼部差异度阈值，则确定输入图像的眼镜佩戴信息为佩戴有眼镜；若第一差异值未超出眼部差异度阈值，则确定输入图像的眼镜佩戴信息为未佩戴眼镜。
对于其他类型的配饰，如是否佩戴耳钉、是否佩戴项链，也可以通过定位到相应区域后根据像素值变化情况进行确定。
当人脸属性特征为发型检测结果时，根据输入图像的人脸检测特征中的人脸关键点坐标检测结果和输入图像的像素值变化信息得到输入图像的人脸属性特征，可以包括：
根据输入图像的人脸关键点坐标检测结果得到输入图像的人体五官坐标；
根据输入图像的人体五官坐标对输入图像进行额头定位，得到输入图像的额头坐标，并根据输入图像的额头坐标生成包围输入图像的额头位置的额头框；
计算输入图像的额头框内的像素值和输入图像的额头框外的像素值的第二差异值；若第二差异值超出额头差异度阈值，则确定输入图像的发型检测结果为具有刘海；若第二差异值未超出额头差异度阈值，则确定输入图像的发型检测结果为不具有刘海。
对于其他类型的发型信息，如直发和卷发，可以进一步通过头发区域的像素值变化情况进行确定。
在创建人脸数据库时，在利用人脸检测模型检测每个人脸图像的人脸检测结果后，通过得到的检测框和人脸关键点坐标，定位眼部区域和额头区域，通过比较眼部区域的像素点是否突变判断人脸是否戴眼镜。通过比较额头区域是否有超过c%（c可以为80）面积的像素点小于（128,48,48）（以RBG通道顺序为例），判断是否有刘海。通过增加人脸眼镜和刘海标签，在后续比对可以更进一步缩小人脸库的查找范围。
在进行人脸1：N比对时，根据同样的方式得到待识别图像的人脸附加信息以便作为待比对人脸数据的筛选条件。
在人脸属性特征包括配饰检测结果和发型检测结果时，根据待识别图像的人脸属性特征在人脸数据库中筛选得到待比对人脸数据，将待识别图像对应的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果，可以包括：
自人脸数据库中筛选出与待识别图像的配饰检测结果、待识别图像的发型检测结果均一致的人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到相似度分数达到相似度阈值的目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则自人脸数据库中重新筛选仅与待识别图像的配饰检测结果一致的人脸数据和仅与待识别图像的发型检测结果一致的人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则以人脸数据库中的剩余人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则输出待识别图像的人脸识别结果为人脸身份未检出。
下面对本发明实施例十二进行说明。
在上述实施例的基础上，本发明实施例提供一种可以实施的人脸识别方法。
在训练好人脸检测模型、人脸属性检测模型以及人脸特征提取模型后，依次读取人脸图像数据集中的各人脸图像及对应身份信息，利用网络检测分支输出不同尺度的锚框（anchor box）。
令向量X为每张人脸的人脸信息表，X={x1,x2,x3,x4}，其中信息列表元素x1、x2、x3、x4分别代表为性别、年龄段、是否戴眼镜、是否有刘海。例如可以设计为性别是男性则x1为1，女性则x1=0；x2值代表年龄段估计，0~5分别代表六个年龄段；如果检测到戴眼镜则x3为1，反之x3=0；有刘海x4=1，没有刘海x4=0。系统初始化X={0,0,0,0}。
调用人脸检测模型进行前向传播计算，得到一系列人脸检测结果，包括先验框、关键点、置信度分数，进一步修正、坐标转换得到人脸框位置检测结果（bbox）和人脸关键点坐标检测结果（landmark），得到五官坐标。调用人脸属性检测模型进行前向传播计算，得到人脸图像的年龄检测结果和人脸图像的性别检测结果。人脸属性特征检测模型可以和人脸检测模型采用同一模型，通过设置不同预测计算网络的损失函数来实现对人脸检测结果和人脸属性特征的检出。
过滤较差的检测结果。可以采用分数过滤和/或非极大值抑制人脸过滤。分数过滤：设定置信度阈值，过滤掉分数低于置信度阈值的检测结果。非极大值抑制（Non-MaximumSuppression，NMS）人脸框过滤：按照置信度分数从高到低对检测框（bbox）进行排序，找到置信度分数最高的检测框（bbox），分别将该检测框（bbox）与其他检测框（bbox）进行交并比（Intersection over Union，IOU）计算，保留交并比超过预设非极大值抑制阈值的相邻检测框，作为人脸检测输出结果。将人脸检测出的性别和年龄段填充到人脸补充信息列表元素x1,x2。
以人脸图像左上顶点作为坐标系原点（0,0），横为x轴，水平向右方向为正向，竖为y轴，垂直向下方向为正向。将检测框作为矩阵，获取检测框的四个坐标顶点，左上角坐标记作（X1，Y1），右下角坐标记作（X2，Y2）。以（X1，Y1）为矩阵左上角，X2-X1作为矩阵的宽度w，Y2-Y1作为矩阵长度h。
根据人脸关键点坐标检测结果获取人脸五官坐标，对人脸图像进行眼部定位。假设左边眼睛坐标记作（LX1，LY1），右边眼睛坐标记作（LX2，LY2）。以（LX1-0.1w，LY1-0.1h）为左眼眼镜框左上角坐标，（LX1+0.1w，LY1+0.1h）为左眼眼镜框右下角坐标，将眼镜框的像素值作为眼镜框矩阵元素，记录左眼镜框矩阵内所有元素值。以（LX2-0.1w，LY2-0.1h）为右眼眼镜框左上角坐标，（LX2+0.1w，LY2+0.1h）为右眼眼镜框右下角坐标，将眼镜框的像素值作为右眼镜框矩阵元素，记录右眼镜框矩阵内所有元素值。
依次比对眼部矩形框矩阵内元素与其相邻四个元素的均值，如果某些点与邻域元素的平均值差异超过64，则视为该点位置发生数值突变，如果眼部矩形框超过q（q=5%）元素发生突变，则判定人脸图像佩戴眼镜框，补充信息列表元素x3=1。反之则设置为0。
以如下方式圈定额头位置：以（0.5*（X1+Lx1），Y1）作为额头框的左上角坐标，以（0.5*（X2+Lx2），0.5*（LY1+LY2））作为额头框右下角坐标，圈出额头框并以矩阵形式表示，将额头框的像素值以作为额头框矩阵的元素。以RGB图像为例，如果额头框对应矩阵元素大于c（如c=80%）均低于（128,48,48），则判定为人脸有刘海，补充信息列表元素x4=1。反之则设置为0。
根据人脸框位置检测结果（bbox）和人脸关键点坐标检测结果（landmark），获取人脸的几何结构，基于平移、缩放、旋转进行图像矩阵相似变换，得到裁剪的标准人脸图像（标准正脸图像）。
调用人脸特征提取模型进行前向传播计算，对标准人脸图像提取人脸特征向量。
依次读取人脸图像数据集所有人脸图像，重复上述步骤，完成人脸图像数据集所有人脸的检测和识别。创建人脸数据库文件A和B，文件A保存人脸信息，按行保存一个人脸图像对应的身份信息、人脸框位置检测结果（bbox），置信度（score），人脸特征向量，包含了年龄检测结果、性别检测结果、眼镜佩戴信息、刘海信息的人脸信息列表，按照人脸图像读取顺序按行依次将写入数据库文件A中。如果有N个人脸图像就文件A就包含N行。创建一个文件B，记录数据库文件A索引信息，每行记录数据库A中每个人脸特征向量的身份信息，人脸特征向量、检测框、置信度、人脸信息列表的大小及偏移量，得到人脸数据库。
进行1：N人脸比对及人脸库模板优化：
当读取一张待识别图像，需要跟人脸数据库进行海量检索1：N比对时，先执行对人脸数据库中待比对人脸数据进行筛选的步骤。首先获取各人脸数据的人脸信息表，并利用人脸检测模型检测得到待识别图像对应的人脸信息表。
从人脸数据库中，筛选出与待识别图像性别一致、年龄段范围相同，眼镜预测、刘海预测都完全相同的特征向量合集，假设特征向量合集为M1，待比对人脸的特征向量为X，计算X与M1合集内所有特征向量的余弦距离，如果相似度分数超过同一人的阈值，则比对结束。否则执行下一步比对。
从人脸数据库中，筛选出与待识别图像的性别一致、年龄段范围相同，眼镜预测相同的特征向量合集，假设特征向量合集为M2，待识别图像的特征向量为X，计算X与M2合集内所有特征向量的余弦距离，如果相似度分数超过同一人的阈值，则比对结束。否则执行下一步比对。
从人脸数据库中，筛选出与待识别图像性别一致、年龄段范围相同的特征向量合集，假设特征向量合集为M3，待比对人脸的特征向量为X，计算X与M3合集内所有特征向量的余弦距离，如果相似度分数超过同一人的阈值，则比对结束。否则执行下一步比对。
从人脸数据库中，筛选出与待识别图像性别一致特征向量合集，假设特征向量合集为M4，待比对人脸的特征向量为X，计算X与M4合集内所有特征向量的余弦距离，如果相似度分数超过同一人的阈值，则比对结束。否则执行人脸数据库所有特征向量的1：N比对。
如果上述步骤待识别图像找到对应身份信息，存在以下情况：人脸数据库内保存的该身份信息对应的人脸框面积bbox1和置信度分数score1，与待识别图像对应的人脸框面积bbox2和置信度分数score2和相比，如果score2大于score1的k倍（k可以为2），或者score2大于score1分数的t倍（t可以为1.2）并且bbox2小于等于bbox1的h倍（h可以1.2），则说明待比对人脸检测效果更优，将待识别图像的人脸数据替换掉人脸数据库的原始人脸模板（对应的人脸数据）。
如果上述步骤待比对人脸找到对应身份信息，存在以下情况：人脸数据库内保存的该身份信息对应的人脸框面积bbox1和置信度分数score1，与待识别图像对应的人脸框面积bbox2和置信度分数score2和相比，如果score2大于score1的m倍（m可以为1），并且该人脸数据在人脸数据库中的存储时长大于n天（n可以为365），则将待识别图像的人脸数据替换掉人脸数据库的原始人脸模板（对应的人脸数据）。
上文详述了人脸识别方法对应的各个实施例，在此基础上，本发明还公开了与上述方法对应的人脸识别装置、设备及计算机可读存储介质。
下面对本发明实施例十三进行说明。
图3为本发明实施例提供的一种人脸识别装置的结构示意图。
如图3所示，本发明实施例提供的人脸识别装置包括：
模型训练单元301，用于训练得到人脸检测模型和人脸特征提取模型；
建库单元302，用于利用人脸检测模型提取人脸图像数据集中的各人脸图像的人脸检测特征，基于人脸图像的人脸检测特征在人脸图像中提取标准人脸图像，利用人脸特征提取模型在人脸图像对应的标准人脸图像中提取人脸特征向量，将人脸图像的人脸检测特征、人脸图像对应的人脸特征向量以及人脸图像对应的身份信息进行关联存储，得到人脸数据库；
人脸检测单元303，用于利用人脸检测模型检测得到待识别图像的人脸检测特征，基于待识别图像的人脸检测特征在待识别图像中提取标准人脸图像，利用人脸特征提取模型在待识别图像对应的标准人脸图像中提取人脸特征向量；
人脸识别单元304，用于根据待识别图像对应的人脸特征向量和人脸数据库中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果；
更新单元305，用于若人脸识别结果为检出待识别图像对应的身份信息，则根据待识别图像的人脸数据执行人脸数据库中对应的人脸数据的质量检验及更新操作。
在一些实施中，更新单元305根据待识别图像的人脸数据执行人脸数据库中对应的人脸数据的质量检验及更新操作，可以包括：
根据待识别图像对应的人脸检测特征确定待识别图像的人脸图像质量参数；
若待识别图像的人脸图像质量参数优于人脸数据库中对应的人脸数据，则利用待识别图像的人脸数据替换人脸数据库中对应的人脸数据；
若待识别图像的人脸图像质量参数未优于人脸数据库中对应的人脸数据，则保持人脸数据库中对应的人脸数据不变。
其中，根据待识别图像对应的人脸检测特征确定待识别图像的人脸图像质量参数，可以包括：
根据待识别图像对应的人脸检测特征中的人脸坐标检测结果确定待识别图像对应的人脸框面积；
以待识别图像对应的人脸检测特征中的人脸检测置信度分数和待识别图像对应的人脸框面积作为待识别图像的人脸图像质量参数。
在一些实施中，待识别图像的人脸图像质量参数优于人脸数据库中对应的人脸数据，可以包括：
待识别图像对应的人脸置信度分数大于人脸数据库中对应的人脸数据的人脸置信度分数的k倍，或，待识别图像对应的人脸置信度分数大于人脸数据中对应的人脸数据的人脸置信度分数的t倍且小于等于人脸数据库中对应的人脸数据的人脸置信度分数的k倍且待识别图像对应的人脸框面积大于人脸数据库中对应的人脸数据的人脸框面积的h倍；
其中，k、t、h均为正数，且k大于t。
在另一些实施中，更新单元305根据待识别图像的人脸数据执行人脸数据库中对应的人脸数据的质量检验及更新操作，可以包括：
根据待识别图像对应的人脸检测特征确定待识别图像的人脸图像质量参数；
以人脸图像质量参数和人脸数据库中对应的人脸数据的存储时长为更新依据，执行人脸数据库中对应的人脸数据的质量检验及更新操作。
其中，根据待识别图像对应的人脸检测特征确定待识别图像的人脸图像质量参数，可以包括：
根据待识别图像对应的人脸检测特征中的人脸坐标检测结果确定待识别图像对应的人脸框面积；
以待识别图像对应的人脸检测特征中的人脸检测置信度分数和待识别图像对应的人脸框面积作为待识别图像的人脸图像质量参数。
其中，以人脸图像质量参数和人脸数据库中对应的人脸数据的存储时长为更新依据，执行人脸数据库中对应的人脸数据的质量检验及更新操作，可以包括：
若待识别图像对应的人脸置信度分数大于人脸数据库中对应的人脸数据的人脸置信度分数的k倍，或待识别图像对应的人脸置信度分数大于人脸数据中对应的人脸数据的人脸置信度分数的t倍且小于等于人脸数据库中对应的人脸数据的人脸置信度分数的k倍且待识别图像对应的人脸框面积大于人脸数据库中对应的人脸数据的人脸框面积的h倍，或待识别图像对应的人脸置信度分数大于人脸数据中对应的人脸数据的人脸置信度分数的m倍且人脸数据库中对应的人脸数据的存储时长大于n天，则将人脸数据库中对应的人脸数据更新为待识别图像的人脸数据；
其中，k、t、h、m、n均为正数，且k大于t，t大于m。
在一些实施中，建库单元302或人脸检测单元303利用人脸检测模型提取人脸检测特征，可以包括：
对输入图像进行加强特征提取，得到输入图像的图像特征参数；
将输入图像的图像特征参数输入人脸检测预测函数，得到输入图像的人脸检测特征；
其中，输入图像为人脸图像或待识别图像。
建库单元302或人脸检测单元303对输入图像进行加强特征提取，得到输入图像的图像特征参数，可以包括：
对输入图像通过N次深度可分离卷积进行N阶段梯度提取，输出不同压缩比例的N个特征图；
将各特征图调整为相同通道数后，按压缩比例从大到小的顺序对通道数调整后的各特征图依次进行特征融合，得到对应的N个特征融合结果；
分别对各特征融合结果进行加强特征提取，得到各特征融合结果对应的特征层；
输出与输入图像对应的特征层为输入图像的图像特征参数；
其中，N为非1正整数。
建库单元302或人脸检测单元303分别对各特征融合结果进行加强特征提取，得到各特征融合结果对应的特征层，可以包括：
利用M个不同尺寸的卷积核分别对各特征融合结果进行特征提取，输出各特征融合结果对应的特征集；
对各特征融合结果，将对应的特征集进行拼接堆叠，得到特征融合结果对应的特征层；
其中，M为非1正整数。
建库单元302或人脸检测单元303将输入图像的图像特征参数输入人脸检测预测函数，得到输入图像的人脸检测特征，包括：
将输入图像的图像特征参数输入人脸检测预测函数，输出输入图像的人脸检测结果预测值；
对输入图像的人脸检测结果预测值进行预测结果修正和非极大值抑制过滤，得到输入图像的人脸检测特征。
在一些实施中，人脸检测特征的种类为多个；模型训练单元301训练得到人脸检测模型，可以包括：
将各人脸检测特征对应的人脸检测预测函数叠加得到总体损失函数；
以总体损失函数对待训练人脸检测模型进行梯度下降训练，得到用于检测各类型人脸检测特征的人脸检测模型。
在一些实施中，建库单元302或人脸检测单元303将输入图像的图像特征参数输入人脸检测预测函数，得到输入图像的人脸检测特征，可以包括：
将输入图像的图像特征参数输入人脸坐标预测函数，得到人脸坐标检测结果；
建库单元302或人脸检测单元303基于人脸检测特征提取标准人脸图像，可以包括：
基于输入图像的人脸坐标检测结果，在输入图像中提取标准人脸图像。
在一些实施中，在一些实施中，建库单元302或人脸检测单元303将输入图像的图像特征参数输入人脸检测预测函数，得到输入图像的人脸检测特征，还可以包括：
将输入图像的图像特征参数输入人脸属性预测函数，得到输入图像的人脸属性特征；
本发明实施例提供的人脸识别装置还可以包括：
筛选单元，用于利用人脸检测模型提取人脸图像的人脸属性特征，并将人脸图像的人脸属性特征列入人脸图像的人脸数据在人脸数据库中进行关联存储；
则人脸识别单元304根据待识别图像对应的人脸特征向量和人脸数据库中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果，可以包括：
利用人脸检测模型提取待识别图像的人脸属性特征；
根据待识别图像的人脸属性特征在人脸数据库中筛选得到待比对人脸数据，将待识别图像对应的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果。
在一些实施中，若人脸属性特征包括年龄检测结果和性别检测结果，则筛选单元根据待识别图像的人脸属性特征在人脸数据库中筛选得到待比对人脸数据，将待识别图像对应的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果，可以包括：
自人脸数据库中筛选出与待识别图像的年龄检测结果、待识别图像的性别检测结果均一致的人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到相似度分数达到相似度阈值的目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则自人脸数据库中重新筛选仅与待识别图像的年龄检测结果一致的人脸数据和仅与待识别图像的性别检测结果一致的人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则以人脸数据库中的剩余人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则输出待识别图像的人脸识别结果为人脸身份未检出。
在一些实施中，若人脸属性特征包括配饰检测结果、发型检测结果中的至少一项，建库单元302或人脸检测单元303利用人脸检测模型提取人脸属性特征，可以包括：
根据输入图像的人脸检测特征中的人脸关键点坐标检测结果和输入图像的像素值变化信息得到输入图像的人脸属性特征。
其中，当人脸属性特征为配饰检测结果中的眼镜佩戴检测结果时，建库单元302或人脸检测单元303根据输入图像的人脸检测特征中的人脸关键点坐标检测结果和输入图像的像素值变化信息得到输入图像的人脸属性特征，可以包括：
根据输入图像的人脸关键点坐标检测结果得到输入图像的人体五官坐标；
根据输入图像的人体五官坐标对输入图像进行眼部定位，得到输入图像的眼部坐标，并根据输入图像的眼部坐标生成包围输入图像的眼部位置的眼镜框；
计算输入图像的眼镜框内的像素值和输入图像的眼镜框外的像素值的第一差异值；若第一差异值超出眼部差异度阈值，则确定输入图像的眼镜佩戴信息为佩戴有眼镜；若第一差异值未超出眼部差异度阈值，则确定输入图像的眼镜佩戴信息为未佩戴眼镜。
当人脸属性特征为发型检测结果时，建库单元302或人脸检测单元303根据输入图像的人脸检测特征中的人脸关键点坐标检测结果和输入图像的像素值变化信息得到输入图像的人脸属性特征，可以包括：
根据输入图像的人脸关键点坐标检测结果得到输入图像的人体五官坐标；
根据输入图像的人体五官坐标对输入图像进行额头定位，得到输入图像的额头坐标，并根据输入图像的额头坐标生成包围输入图像的额头位置的额头框；
计算输入图像的额头框内的像素值和输入图像的额头框外的像素值的第二差异值；若第二差异值超出额头差异度阈值，则确定输入图像的发型检测结果为具有刘海；若第二差异值未超出额头差异度阈值，则确定输入图像的发型检测结果为不具有刘海。
在一些实施中，如人脸属性特征包括配饰检测结果和发型检测结果，则筛选单元根据待识别图像的人脸属性特征在人脸数据库中筛选得到待比对人脸数据，将待识别图像对应的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算，得到待识别图像的人脸识别结果，可以包括：
自人脸数据库中筛选出与待识别图像的配饰检测结果、待识别图像的发型检测结果均一致的人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到相似度分数达到相似度阈值的目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则自人脸数据库中重新筛选仅与待识别图像的配饰检测结果一致的人脸数据和仅与待识别图像的发型检测结果一致的人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则以人脸数据库中的剩余人脸数据作为待比对人脸数据，并将待识别图像的人脸特征向量与待比对人脸数据中的人脸特征向量进行相似度计算；
若得到目标人脸数据，则在目标人脸数据中确定待识别图像的身份信息作为待识别图像的人脸识别结果；若未得到目标人脸数据，则输出待识别图像的人脸识别结果为人脸身份未检出。
在一些实施中，建库单元302或人脸检测单元303利用人脸检测模型提取人脸检测特征，包括：
对输入图像，利用网络检测分支输出不同尺度的锚框，调用人脸检测模型对输入图像进行前向传播计算，得到输入图像上各锚框对应的候选人脸检测结果；
对输入图像上的各候选人脸检测结果中滤除置信度分数低于置信度阈值的候选人脸检测结果、经过非极大值过滤算法滤除交并比小于非极大值过滤阈值的相邻边框回归结果，得到输入图像的人脸检测结果；
其中，输入图像为人脸图像或待识别图像。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
下面对本发明实施例十四进行说明。
图4为本发明实施例提供的一种人脸识别设备的结构示意图。
如图4所示，本发明实施例提供的人脸识别设备包括：
存储器410，用于存储计算机程序411；
处理器420，用于执行计算机程序411，该计算机程序411被处理器420执行时实现如上述任意一项实施例所述人脸识别方法的步骤。
其中，处理器420可以包括一个或多个处理核心，比如3核心处理器、8核心处理器等。处理器420可以采用数字信号处理DSP（Digital Signal Processing）、现场可编程门阵列FPGA（Field－Programmable Gate Array）、可编程逻辑阵列PLA（Programmable LogicArray）中的至少一种硬件形式来实现。处理器420也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器CPU（CentralProcessing Unit）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器420可以集成有图像处理器GPU（Graphics Processing Unit），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器420还可以包括人工智能AI（Artificial Intelligence）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器410可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器410还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器410至少用于存储以下计算机程序411，其中，该计算机程序411被处理器420加载并执行之后，能够实现前述任一实施例公开的人脸识别方法中的相关步骤。另外，存储器410所存储的资源还可以包括操作系统412和数据413等，存储方式可以是短暂存储或者永久存储。其中，操作系统412可以为Windows。数据413可以包括但不限于上述方法所涉及到的数据。
在一些实施例中，人脸识别设备还可包括有显示屏430、电源440、通信接口450、输入输出接口460、传感器470以及通信总线480。
本领域技术人员可以理解，图4中示出的结构并不构成对人脸识别设备的限定，可以包括比图示更多或更少的组件。
本发明实施例提供的人脸识别设备，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如上所述的人脸识别方法，效果同上。
下面对本发明实施例十五进行说明。
需要说明的是，以上所描述的装置、设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例所述方法的全部或部分步骤。
为此，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如人脸识别方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器ROM（Read-OnlyMemory）、随机存取存储器RAM（Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例中提供的计算机可读存储介质所包含的计算机程序能够在被处理器执行时实现如上所述的人脸识别方法的步骤，效果同上。
以上对本发明所提供的一种人脸识别方法、装置、设备及计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (23)

1.一种人脸识别方法，其特征在于，包括：
训练得到人脸检测模型和人脸特征提取模型；
利用所述人脸检测模型提取人脸图像数据集中的各人脸图像的人脸检测特征，基于所述人脸图像的人脸检测特征在所述人脸图像中提取标准人脸图像，利用所述人脸特征提取模型在所述人脸图像对应的标准人脸图像中提取人脸特征向量，将所述人脸图像的人脸检测特征、所述人脸图像对应的人脸特征向量以及所述人脸图像对应的身份信息进行关联存储，得到人脸数据库；
利用所述人脸检测模型检测得到待识别图像的人脸检测特征，基于所述待识别图像的人脸检测特征在所述待识别图像中提取标准人脸图像，利用所述人脸特征提取模型在所述待识别图像对应的标准人脸图像中提取人脸特征向量；
根据所述待识别图像对应的人脸特征向量和所述人脸数据库中的人脸特征向量进行相似度计算，得到所述待识别图像的人脸识别结果；
若所述人脸识别结果为检出所述待识别图像对应的身份信息，则根据所述待识别图像的人脸数据执行所述人脸数据库中对应的人脸数据的质量检验及更新操作。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述根据所述待识别图像的人脸数据执行所述人脸数据库中对应的人脸数据的质量检验及更新操作，包括：
根据所述待识别图像对应的人脸检测特征确定所述待识别图像的人脸图像质量参数；
若所述待识别图像的人脸图像质量参数优于所述人脸数据库中对应的人脸数据，则利用待识别图像的人脸数据替换所述人脸数据库中对应的人脸数据；
若所述待识别图像的人脸图像质量参数未优于所述人脸数据库中对应的人脸数据，则保持所述人脸数据库中对应的人脸数据不变。
3.根据权利要求2所述的人脸识别方法，其特征在于，所述根据所述待识别图像对应的人脸检测特征确定所述待识别图像的人脸图像质量参数，包括：
根据待识别图像对应的人脸检测特征中的人脸坐标检测结果确定所述待识别图像对应的人脸框面积；
以所述待识别图像对应的人脸检测特征中的人脸检测置信度分数和所述待识别图像对应的人脸框面积作为所述待识别图像的人脸图像质量参数。
4.根据权利要求3所述的人脸识别方法，其特征在于，所述待识别图像的人脸图像质量参数优于所述人脸数据库中对应的人脸数据，包括：
所述待识别图像对应的人脸置信度分数大于所述人脸数据库中对应的人脸数据的人脸置信度分数的k倍，或，所述待识别图像对应的人脸置信度分数大于人脸数据中对应的人脸数据的人脸置信度分数的t倍且小于等于所述人脸数据库中对应的人脸数据的人脸置信度分数的k倍且所述待识别图像对应的人脸框面积大于所述人脸数据库中对应的人脸数据的人脸框面积的h倍；
其中，k、t、h均为正数，且k大于t。
5.根据权利要求1所述的人脸识别方法，其特征在于，所述根据所述待识别图像的人脸数据执行所述人脸数据库中对应的人脸数据的质量检验及更新操作，包括：
根据所述待识别图像对应的人脸检测特征确定所述待识别图像的人脸图像质量参数；
以人脸图像质量参数和所述人脸数据库中对应的人脸数据的存储时长为更新依据，执行所述人脸数据库中对应的人脸数据的质量检验及更新操作。
6.根据权利要求5所述的人脸识别方法，其特征在于，所述根据所述待识别图像对应的人脸检测特征确定所述待识别图像的人脸图像质量参数，包括：
根据所述待识别图像对应的人脸检测特征中的人脸坐标检测结果确定所述待识别图像对应的人脸框面积；
以所述待识别图像对应的人脸检测特征中的人脸检测置信度分数和所述待识别图像对应的人脸框面积作为所述待识别图像的人脸图像质量参数。
7.根据权利要求6所述的人脸识别方法，其特征在于，所述以人脸图像质量参数和所述人脸数据库中对应的人脸数据的存储时长为更新依据，执行所述人脸数据库中对应的人脸数据的质量检验及更新操作，包括：
若所述待识别图像对应的人脸置信度分数大于所述人脸数据库中对应的人脸数据的人脸置信度分数的k倍，或所述待识别图像对应的人脸置信度分数大于人脸数据中对应的人脸数据的人脸置信度分数的t倍且小于等于所述人脸数据库中对应的人脸数据的人脸置信度分数的k倍且所述待识别图像对应的人脸框面积大于所述人脸数据库中对应的人脸数据的人脸框面积的h倍，或所述待识别图像对应的人脸置信度分数大于人脸数据中对应的人脸数据的人脸置信度分数的m倍且所述人脸数据库中对应的人脸数据的存储时长大于n天，则将人脸数据库中对应的人脸数据更新为所述待识别图像的人脸数据；
其中，k、t、h、m、n均为正数，且k大于t，t大于m。
8.根据权利要求1所述的人脸识别方法，其特征在于，利用所述人脸检测模型提取人脸检测特征，包括：
对输入图像进行加强特征提取，得到所述输入图像的图像特征参数；
将所述输入图像的图像特征参数输入人脸检测预测函数，得到所述输入图像的人脸检测特征；
其中，所述输入图像为所述人脸图像或所述待识别图像。
9.根据权利要求8所述的人脸识别方法，其特征在于，所述对输入图像进行加强特征提取，得到所述输入图像的图像特征参数，包括：
对输入图像通过N次深度可分离卷积进行N阶段梯度提取，输出不同压缩比例的N个特征图；
将各所述特征图调整为相同通道数后，按压缩比例从大到小的顺序对通道数调整后的各所述特征图依次进行特征融合，得到对应的N个特征融合结果；
分别对各所述特征融合结果进行加强特征提取，得到各所述特征融合结果对应的特征层；
输出与所述输入图像对应的特征层为所述输入图像的图像特征参数；
其中，N为非1正整数。
10.根据权利要求9所述的人脸识别方法，其特征在于，所述分别对各所述特征融合结果进行加强特征提取，得到各所述特征融合结果对应的特征层，包括：
利用M个不同尺寸的卷积核分别对各所述特征融合结果进行特征提取，输出各所述特征融合结果对应的特征集；
对各所述特征融合结果，将对应的所述特征集进行拼接堆叠，得到所述特征融合结果对应的所述特征层；
其中，M为非1正整数。
11.根据权利要求8所述的人脸识别方法，其特征在于，所述将所述输入图像的图像特征参数输入人脸检测预测函数，得到所述输入图像的人脸检测特征，包括：
将所述输入图像的图像特征参数输入人脸检测预测函数，输出所述输入图像的人脸检测结果预测值；
对所述输入图像的人脸检测结果预测值进行预测结果修正和非极大值抑制过滤，得到所述输入图像的人脸检测特征。
12.根据权利要求8所述的人脸识别方法，其特征在于，所述人脸检测特征的种类为多个；
训练得到所述人脸检测模型，包括：
将各所述人脸检测特征对应的人脸检测预测函数叠加得到总体损失函数；
以所述总体损失函数对待训练人脸检测模型进行梯度下降训练，得到用于检测各类型人脸检测特征的所述人脸检测模型。
13.根据权利要求8所述的人脸识别方法，其特征在于，所述将所述输入图像的图像特征参数输入人脸检测预测函数，得到所述输入图像的人脸检测特征，包括：
将所述输入图像的图像特征参数输入人脸坐标预测函数，得到人脸坐标检测结果；
基于人脸检测特征提取标准人脸图像，包括：
基于所述输入图像的人脸坐标检测结果，在所述输入图像中提取标准人脸图像。
14.根据权利要求13所述的人脸识别方法，其特征在于，所述将所述输入图像的图像特征参数输入人脸检测预测函数，得到所述输入图像的人脸检测特征，还包括：
将所述输入图像的图像特征参数输入人脸属性预测函数，得到所述输入图像的人脸属性特征；
人脸识别方法还包括：
利用所述人脸检测模型提取所述人脸图像的人脸属性特征，并将所述人脸图像的人脸属性特征列入所述人脸图像的人脸数据在所述人脸数据库中进行关联存储；
所述根据所述待识别图像对应的人脸特征向量和所述人脸数据库中的人脸特征向量进行相似度计算，得到所述待识别图像的人脸识别结果，包括：
利用所述人脸检测模型提取所述待识别图像的人脸属性特征；
根据所述待识别图像的人脸属性特征在所述人脸数据库中筛选得到待比对人脸数据，将所述待识别图像对应的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算，得到所述待识别图像的人脸识别结果。
15.根据权利要求14所述的人脸识别方法，其特征在于，人脸属性特征包括年龄检测结果和性别检测结果；
所述根据所述待识别图像的人脸属性特征在所述人脸数据库中筛选得到待比对人脸数据，将所述待识别图像对应的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算，得到所述待识别图像的人脸识别结果，包括：
自所述人脸数据库中筛选出与所述待识别图像的年龄检测结果、所述待识别图像的性别检测结果均一致的人脸数据作为所述待比对人脸数据，并将所述待识别图像的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算；
若得到相似度分数达到相似度阈值的目标人脸数据，则在所述目标人脸数据中确定所述待识别图像的身份信息作为所述待识别图像的人脸识别结果；若未得到所述目标人脸数据，则自所述人脸数据库中重新筛选仅与所述待识别图像的年龄检测结果一致的人脸数据和仅与所述待识别图像的性别检测结果一致的人脸数据作为所述待比对人脸数据，并将所述待识别图像的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算；
若得到所述目标人脸数据，则在所述目标人脸数据中确定所述待识别图像的身份信息作为所述待识别图像的人脸识别结果；若未得到所述目标人脸数据，则以所述人脸数据库中的剩余人脸数据作为所述待比对人脸数据，并将所述待识别图像的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算；
若得到所述目标人脸数据，则在所述目标人脸数据中确定所述待识别图像的身份信息作为所述待识别图像的人脸识别结果；若未得到所述目标人脸数据，则输出所述待识别图像的人脸识别结果为人脸身份未检出。
16.根据权利要求14所述的人脸识别方法，其特征在于，人脸属性特征包括配饰检测结果、发型检测结果中的至少一项；
利用所述人脸检测模型提取人脸属性特征，包括：
根据所述输入图像的人脸检测特征中的人脸关键点坐标检测结果和所述输入图像的像素值变化信息得到所述输入图像的人脸属性特征。
17.根据权利要求16所述的人脸识别方法，其特征在于，当人脸属性特征为配饰检测结果中的眼镜佩戴检测结果时，所述根据所述输入图像的人脸检测特征中的人脸关键点坐标检测结果和所述输入图像的像素值变化信息得到所述输入图像的人脸属性特征，包括：
根据所述输入图像的人脸关键点坐标检测结果得到所述输入图像的人体五官坐标；
根据所述输入图像的人体五官坐标对所述输入图像进行眼部定位，得到所述输入图像的眼部坐标，并根据所述输入图像的眼部坐标生成包围所述输入图像的眼部位置的眼镜框；
计算所述输入图像的眼镜框内的像素值和所述输入图像的眼镜框外的像素值的第一差异值；若所述第一差异值超出眼部差异度阈值，则确定所述输入图像的眼镜佩戴信息为佩戴有眼镜；若所述第一差异值未超出所述眼部差异度阈值，则确定所述输入图像的眼镜佩戴信息为未佩戴眼镜。
18.根据权利要求16所述的人脸识别方法，其特征在于，当人脸属性特征为发型检测结果时，所述根据所述输入图像的人脸检测特征中的人脸关键点坐标检测结果和所述输入图像的像素值变化信息得到所述输入图像的人脸属性特征，包括：
根据所述输入图像的人脸关键点坐标检测结果得到所述输入图像的人体五官坐标；
根据所述输入图像的人体五官坐标对所述输入图像进行额头定位，得到所述输入图像的额头坐标，并根据所述输入图像的额头坐标生成包围所述输入图像的额头位置的额头框；
计算所述输入图像的额头框内的像素值和所述输入图像的额头框外的像素值的第二差异值；若所述第二差异值超出额头差异度阈值，则确定所述输入图像的发型检测结果为具有刘海；若所述第二差异值未超出所述额头差异度阈值，则确定所述输入图像的发型检测结果为不具有刘海。
19.根据权利要求16所述的人脸识别方法，其特征在于，人脸属性特征包括配饰检测结果和发型检测结果；
所述根据所述待识别图像的人脸属性特征在所述人脸数据库中筛选得到待比对人脸数据，将所述待识别图像对应的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算，得到所述待识别图像的人脸识别结果，包括：
自所述人脸数据库中筛选出与所述待识别图像的配饰检测结果、所述待识别图像的发型检测结果均一致的人脸数据作为所述待比对人脸数据，并将所述待识别图像的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算；
若得到相似度分数达到相似度阈值的目标人脸数据，则在所述目标人脸数据中确定所述待识别图像的身份信息作为所述待识别图像的人脸识别结果；若未得到所述目标人脸数据，则自所述人脸数据库中重新筛选仅与所述待识别图像的配饰检测结果一致的人脸数据和仅与所述待识别图像的发型检测结果一致的人脸数据作为所述待比对人脸数据，并将所述待识别图像的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算；
若得到所述目标人脸数据，则在所述目标人脸数据中确定所述待识别图像的身份信息作为所述待识别图像的人脸识别结果；若未得到所述目标人脸数据，则以所述人脸数据库中的剩余人脸数据作为所述待比对人脸数据，并将所述待识别图像的人脸特征向量与所述待比对人脸数据中的人脸特征向量进行相似度计算；
若得到所述目标人脸数据，则在所述目标人脸数据中确定所述待识别图像的身份信息作为所述待识别图像的人脸识别结果；若未得到所述目标人脸数据，则输出所述待识别图像的人脸识别结果为人脸身份未检出。
20.根据权利要求1所述的人脸识别方法，其特征在于，利用所述人脸检测模型提取人脸检测特征，包括：
对输入图像，利用网络检测分支输出不同尺度的锚框，调用所述人脸检测模型对所述输入图像进行前向传播计算，得到所述输入图像上各锚框对应的候选人脸检测结果；
对所述输入图像上的各候选人脸检测结果中滤除置信度分数低于置信度阈值的候选人脸检测结果、经过非极大值过滤算法滤除交并比小于非极大值过滤阈值的相邻边框回归结果，得到所述输入图像的人脸检测结果；
其中，所述输入图像为所述人脸图像或所述待识别图像。
21.一种人脸识别装置，其特征在于，包括：
模型训练单元，用于训练得到人脸检测模型和人脸特征提取模型；
建库单元，用于利用所述人脸检测模型提取人脸图像数据集中的各人脸图像的人脸检测特征，基于所述人脸图像的人脸检测特征在所述人脸图像中提取标准人脸图像，利用所述人脸特征提取模型在所述人脸图像对应的标准人脸图像中提取人脸特征向量，将所述人脸图像的人脸检测特征、所述人脸图像对应的人脸特征向量以及所述人脸图像对应的身份信息进行关联存储，得到人脸数据库；
人脸检测单元，用于利用所述人脸检测模型检测得到待识别图像的人脸检测特征，基于所述待识别图像的人脸检测特征在所述待识别图像中提取标准人脸图像，利用所述人脸特征提取模型在所述待识别图像对应的标准人脸图像中提取人脸特征向量；
人脸识别单元，用于根据所述待识别图像对应的人脸特征向量和所述人脸数据库中的人脸特征向量进行相似度计算，得到所述待识别图像的人脸识别结果；
更新单元，用于若所述人脸识别结果为检出所述待识别图像对应的身份信息，则根据所述待识别图像的人脸数据执行所述人脸数据库中对应的人脸数据的质量检验及更新操作。
22.一种人脸识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至20任意一项所述人脸识别方法的步骤。
23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至20任意一项所述人脸识别方法的步骤。
CN202311155066.3A 2023-09-08 2023-09-08 一种人脸识别方法、装置、设备及计算机可读存储介质 Active CN116912918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311155066.3A CN116912918B (zh) 2023-09-08 2023-09-08 一种人脸识别方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311155066.3A CN116912918B (zh) 2023-09-08 2023-09-08 一种人脸识别方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116912918A true CN116912918A (zh) 2023-10-20
CN116912918B CN116912918B (zh) 2024-01-23

Family

ID=88351397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311155066.3A Active CN116912918B (zh) 2023-09-08 2023-09-08 一种人脸识别方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116912918B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609459A (zh) * 2016-12-15 2018-01-19 平安科技（深圳）有限公司 一种基于深度学习的人脸识别方法及装置
CN110516544A (zh) * 2019-07-19 2019-11-29 平安科技（深圳）有限公司 基于深度学习的人脸识别方法、装置及计算机可读存储介质
CN112001402A (zh) * 2017-05-11 2020-11-27 创新先进技术有限公司 身份认证方法、装置和系统
CN112329665A (zh) * 2020-11-10 2021-02-05 上海大学 一种人脸抓拍系统
CN112949468A (zh) * 2021-02-26 2021-06-11 深圳壹账通智能科技有限公司 人脸识别方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609459A (zh) * 2016-12-15 2018-01-19 平安科技（深圳）有限公司 一种基于深度学习的人脸识别方法及装置
CN112001402A (zh) * 2017-05-11 2020-11-27 创新先进技术有限公司 身份认证方法、装置和系统
CN110516544A (zh) * 2019-07-19 2019-11-29 平安科技（深圳）有限公司 基于深度学习的人脸识别方法、装置及计算机可读存储介质
CN112329665A (zh) * 2020-11-10 2021-02-05 上海大学 一种人脸抓拍系统
CN112949468A (zh) * 2021-02-26 2021-06-11 深圳壹账通智能科技有限公司 人脸识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN116912918B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN107527318B (zh) 一种基于生成对抗式网络模型的发型更换方法
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN112766160B (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN112183501B (zh) 深度伪造图像检测方法及装置
CN109214298B (zh) 一种基于深度卷积网络的亚洲女性颜值评分模型方法
CN112818862A (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
EP4047509A1 (en) Facial parsing method and related devices
CN109002763B (zh) 基于同源连续性的模拟人脸老化的方法及装置
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN109410158B (zh) 一种基于卷积神经网络的多焦点图像融合方法
CN111768457A (zh) 图像数据压缩方法、装置、电子设备和存储介质
CN111696080A (zh) 一种基于静态纹理的人脸欺诈检测方法、系统及存储介质
CN112906813A (zh) 一种基于密度聚类和胶囊神经网络的浮选工况识别方法
CN112101195A (zh) 人群密度预估方法、装置、计算机设备和存储介质
CN114565602A (zh) 基于多通道融合的图像识别方法、装置和存储介质
CN111353385B (zh) 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
Zhou et al. Attention transfer network for nature image matting
CN113112416A (zh) 一种语义引导的人脸图像修复方法
CN113393434A (zh) 一种基于非对称双流网络架构的rgb-d显著性检测方法
CN116912918B (zh) 一种人脸识别方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant