CN114511893A - 一种卷积神经网络的训练方法、人脸识别方法及装置 - Google Patents

一种卷积神经网络的训练方法、人脸识别方法及装置 Download PDF

Info

Publication number
CN114511893A
CN114511893A CN202011158201.6A CN202011158201A CN114511893A CN 114511893 A CN114511893 A CN 114511893A CN 202011158201 A CN202011158201 A CN 202011158201A CN 114511893 A CN114511893 A CN 114511893A
Authority
CN
China
Prior art keywords
face
face image
training
image frame
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011158201.6A
Other languages
English (en)
Inventor
薛瑞彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202011158201.6A priority Critical patent/CN114511893A/zh
Priority to US17/351,958 priority patent/US11804072B2/en
Publication of CN114511893A publication Critical patent/CN114511893A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种卷积神经网络的训练方法、人脸识别方法及装置，通过设置包括第一数据集和第二数据集的第一训练样本集合，对卷积神经网络进行训练，可以使卷积神经网络应用于人脸识别方法中，可以从人脸检测图像中提取出初始人脸图像框，以在人脸识别方法中，通过截取初始人脸图像框中眼睛以上的部分作为目标人脸检测图像，以根据目标人脸检测图像，确定该目标人脸检测图像对应的预测身份信息。再比对目标人脸检测图像与预测身份信息对应的人脸基准图像，以进行人脸识别。

Description

一种卷积神经网络的训练方法、人脸识别方法及装置
技术领域
本发明涉及人脸识别技术领域，特别涉及一种卷积神经网络的训练方法、人脸识别方法及装置。
背景技术
一般，为了更好地识别人脸图像，越来越多的识别过程需要使用到卷积神经网络(Convolutional Neural Network，CNN)。而为了确保识别结果准确，就需要对CNN进行反复训练，以采用训练后的CNN进行人脸识别。
发明内容
本发明实施例提供一种卷积神经网络的训练方法、人脸识别方法及装置，用以进行人脸识别。
本发明实施例提供了一种卷积神经网络的训练方法，包括：
将第一训练样本集合输入所述卷积神经网络中，提取所述第一训练样本集合内各人脸图像样本中的初始人脸图像框，并通过设定的第一损失函数确定所述初始人脸图像框对应的第一训练损失值；
其中，所述第一训练样本集合包括第一数据集和第二数据集；所述第一数据集包括多个未遮挡人脸的人脸图像样本，所述第二数据集包括多个至少部分遮挡人脸的人脸图像样本；
响应于所述第一训练损失值满足第一损失值阈值，在沿眼睛指向额头的方向上，截取所述初始人脸图像框中眼睛以上的部分作为目标人脸图像；
根据所述目标人脸图像，确定所述目标人脸图像对应的预测身份信息及身份预测值，并通过设定的第二损失函数确定所述身份预测值对应的第二训练损失值；
根据所述第二训练损失值对所述卷积神经网络的网络参数进行调整，直到满足训练截止条件，得到训练完成的卷积神经网络。
在一些示例中，所述在所述第一训练损失值满足第一损失值阈值时，在沿眼睛指向额头的方向上，截取所述初始人脸图像框中眼睛以上的部分作为目标人脸图像，具体包括：
在所述第一训练损失值满足第一损失值阈值时，确定所述初始人脸图像框中人脸的特征向量；
根据所述初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对所述初始人脸图像框进行校正；
在沿眼睛指向额头的方向上，截取校正后的所述初始人脸图像框中眼睛以上的部分作为所述目标人脸图像。
在一些示例中，所述根据所述初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对所述初始人脸图像框进行校正，具体包括：
根据所述初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，确定所述初始人脸图像框中的左瞳孔和右瞳孔所在的直线；
检测所述直线是否平行于所述初始人脸图像框的上下对边；
若是，则将所述初始人脸图像框直接作为校正后的初始人脸图像框；
若否，则采用图像处理库将所述初始人脸图像框旋转以使得所述直线平行于所述上下对边作为校正后的初始人脸图像框。
在一些示例中，所述根据所述目标人脸图像，确定所述目标人脸图像对应的预测身份信息及身份预测值，并通过设定的第二损失函数确定所述身份预测值对应的第二训练损失值，具体包括：
根据所述目标人脸图像，采用训练完成的ResNet50网络确定所述目标人脸图像中人脸的特征向量；
根据所述目标人脸图像中人脸的特征向量以及预先存储的身份信息库中各身份信息对应的人脸的特征向量，确定所述目标人脸图像对应的预测身份信息及身份预测值；
根据确定出的所述目标人脸图像对应的身份预测值，通过设定的第二损失函数确定所述第二训练损失值。
在一些示例中，所述ResNet50网络的训练方法，包括：
确定第二训练样本集合中各人脸图像样本中人脸的特征向量；其中，所述第二训练样本集合包括多个未遮挡人脸的人脸图像样本；
根据所述第二训练样本集合中各人脸图像样本中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对所述第二训练样本集合中各人脸图像样本进行校正；
在沿眼睛指向额头的方向上，截取所述第二训练样本集合中校正后的所述人脸图像样本中眼睛以上的部分作为训练人脸图像；
将所述训练人脸图像输入到所述ResNet50网络中，获取所述训练人脸图像的特征向量；
根据所述训练人脸图像的特征向量以及预先存储的身份信息库中各身份信息对应的人脸的特征向量，确定所述训练人脸图像对应的预测身份信息及身份预测值；
根据确定出的所述训练人脸图像对应的身份预测值，通过设定的所述第二损失函数确定所述训练人脸图像对应的第三训练损失值；
根据所述第三训练损失值对所述ResNet50网络的网络参数进行调整，直到满足训练截止条件，得到训练完成的ResNet50网络。
本发明实施例提供的人脸识别方法，包括：
获取人脸检测图像；
使用卷积神经网络从所述人脸检测图像中提取初始人脸图像框；
在沿眼睛指向额头的方向上，截取从所述人脸检测图像中提取出的初始人脸图像框中眼睛以上的部分作为目标人脸检测图像；
根据所述目标人脸检测图像，确定所述目标人脸检测图像对应的预测身份信息；
比对所述目标人脸检测图像与所述预测身份信息对应的人脸基准图像，进行人脸识别。
在一些示例中，所述卷积神经网络的训练方法，包括：
将第一训练样本集合输入所述卷积神经网络中，提取所述第一训练样本集合内各人脸图像样本中的初始人脸图像框，并通过设定的第一损失函数确定所述初始人脸图像框对应的第一训练损失值；
其中，所述第一训练样本集合包括第一数据集和第二数据集；所述第一数据集包括多个未遮挡人脸的人脸图像样本，所述第二数据集包括多个至少部分遮挡人脸的人脸图像样本；
响应于所述第一训练损失值满足第一损失值阈值，在沿眼睛指向额头的方向上，截取所述初始人脸图像框中眼睛以上的部分作为目标人脸图像；
根据所述目标人脸图像，确定所述目标人脸图像对应的预测身份信息及身份预测值，并通过设定的第二损失函数确定所述身份预测值对应的第二训练损失值；
根据所述第二训练损失值对所述卷积神经网络的网络参数进行调整，直到满足训练截止条件，得到训练完成的卷积神经网络。
在一些示例中，所述比对所述目标人脸检测图像与所述预测身份信息对应的人脸基准图像，进行人脸识别，具体包括：
根据所述目标人脸检测图像与所述预测身份信息对应的人脸基准图像，采用训练完成的ResNet50网络确定所述目标人脸检测图像中人脸的特征向量和所述人脸基准图像中人脸的特征向量；
根据所述目标人脸检测图像中人脸的特征向量和所述人脸基准图像中人脸的特征向量，确定相似度；
在所述相似度满足相似度阈值时，将所述预测身份信息确定为所述目标人脸检测图像的身份信息。
在一些示例中，所述在沿眼睛指向额头的方向上，截取从所述人脸检测图像中提取出的初始人脸图像框中眼睛以上的部分作为目标人脸检测图像，具体包括：
确定所述初始人脸图像框中人脸的特征向量；
根据所述初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对所述初始人脸图像框进行校正；
在沿眼睛指向额头的方向上，截取校正后的所述初始人脸图像框中眼睛以上的部分作为目标人脸检测图像。
在一些示例中，所述根据所述初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对所述初始人脸图像框进行校正，具体包括：
根据所述初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，确定所述初始人脸图像框中的左瞳孔和右瞳孔所在的直线；
检测所述直线是否平行于所述初始人脸图像框的上下对边；
若是，则将所述初始人脸图像框直接作为校正后的初始人脸图像框；
若否，则采用图像处理库将所述初始人脸图像框旋转以使得所述直线平行于所述上下对边作为校正后的初始人脸图像框。
本发明实施例提供的一种人脸识别装置，包括：
图像获取单元，被配置为获取人脸检测图像；
图像框提取单元，被配置为使用卷积神经网络从所述人脸检测图像中提取初始人脸图像框；
截取单元，被配置为在沿眼睛指向额头的方向上，截取从所述人脸检测图像中提取出的初始人脸图像框中眼睛以上的部分作为目标人脸检测图像；
预测单元，被配置为根据所述目标人脸检测图像，确定所述目标人脸检测图像对应的预测身份信息；
比对单元，被配置为比对所述目标人脸检测图像与所述预测身份信息对应的人脸基准图像，进行人脸识别。
本发明实施例提供的一种计算机非瞬态可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的人脸识别方法的步骤。
本发明实施例提供的一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述人脸识别方法的步骤。
附图说明
图1为本发明实施例中一些训练方法的流程图；
图2为本发明实施例中的一些人脸的示意图；
图3为本发明实施例中的初始人脸图像框的示意图；
图4为本发明实施例中的校正初始人脸图像框后的图像的示意图；
图5为本发明实施例中的截取初始人脸图像框后的图像的示意图；
图6为本发明实施例中ResNet50网络的结构示意图；
图7为本发明实施例中又一些训练方法的流程图；
图8为本发明实施例中一些人脸识别方法的流程图；
图9为本发明实施例中一些人脸识别装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
需要注意的是，附图中各图形的尺寸和形状不反映真实比例，目的只是示意说明本发明内容。并且自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
人脸识别是一种基于人的脸部特征进行身份识别的技术。随着深度学习的发展，人脸识别的精确度越来越高，如在公司上班打卡时，可通过人脸识别进行打卡。一般人脸识别方法都建立在完整的人脸基础上来识别人脸。然而，由于口罩遮挡了一部分的人脸信息，因此基于通常的人脸识别方法对戴口罩的人脸进行识别时，其识别率较低。
通常，为了更好地识别人脸图像，越来越多的识别过程需要使用到卷积神经网络(Convolutional Neural Network，CNN)。而为了确保识别结果准确，就需要对CNN进行反复训练，以采用训练后的CNN进行人脸识别。
本发明实施例提供了一种卷积神经网络的训练方法，如图1所示，可以包括如下步骤：
S110、将第一训练样本集合输入卷积神经网络中，提取第一训练样本集合内各人脸图像样本中的初始人脸图像框，并通过设定的第一损失函数确定初始人脸图像框对应的第一训练损失值；其中，第一训练样本集合包括第一数据集和第二数据集；第一数据集包括多个未遮挡人脸的人脸图像样本，第二数据集包括多个至少部分遮挡人脸的人脸图像样本；遮挡人脸的人脸图像样本中的至少部分人脸被口罩遮挡；
S120、响应于第一训练损失值满足第一损失值阈值，在沿眼睛指向额头的方向上，截取初始人脸图像框中眼睛以上的部分作为目标人脸图像；
S130、根据目标人脸图像，确定目标人脸图像对应的预测身份信息及身份预测值，并通过设定的第二损失函数确定身份预测值对应的第二训练损失值；
S140、根据第二训练损失值对卷积神经网络的网络参数进行调整，直到满足训练截止条件，得到训练完成的卷积神经网络。
本发明实施例提供的上述卷积神经网络的训练方法，通过设置包括第一数据集和第二数据集的第一训练样本集合，由于第一数据集包括多个未遮挡人脸的人脸图像样本，第二数据集包括多个至少部分遮挡人脸的人脸图像样本，且遮挡人脸的人脸图像样本中的至少部分人脸被口罩遮挡，这样在将第一训练样本集合输入卷积神经网络中后，提取出第一训练样本集合内各人脸图像样本中的初始人脸图像框，并通过设定的第一损失函数确定初始人脸图像框对应的第一训练损失值。由于第一训练样本集合含有被口罩遮挡的人脸图像，鼻子以下的部分被口罩遮挡住了，这样在第一训练损失值满足第一损失值阈值时，在沿眼睛指向额头的方向上，截取初始人脸图像框中眼睛以上的部分作为目标人脸图像。因此，通过将未被口罩遮挡的人脸图像样本和被口罩遮挡的人脸图像样本作为样本集合输入卷积神经网络中，对卷积神经网络进行训练，并在训练的过程中截取初始人脸图像框中眼睛以上的部分作为目标人脸图像，可以保留具有眼睛、眉毛、额头等部分的目标人脸图像。之后根据目标人脸图像，确定目标人脸图像对应的预测身份信息及身份预测值，并通过设定的第二损失函数确定身份预测值对应的第二训练损失值。再根据第二训练损失值对卷积神经网络的网络参数进行调整，直到满足训练截止条件，得到训练完成的卷积神经网络，以实现对卷积神经网络的训练。
在一些示例中，在具体实施时，第一数据集包括的多个未遮挡人脸的人脸图像样本可以设置为不戴口罩的正常人脸图像。示例性地，第一数据集可以为Wider Face数据集。需要说明的是，Wider Face数据集可以与现有技术中的基本相同，在此不作赘述。
在一些示例中，在具体实施时，第二数据集包括的多个至少部分遮挡人脸的人脸图像样本可以设置为戴口罩的人脸图像或被其他物体遮挡人脸的人脸图像。示例性地，第二数据集可以为MAFA(A Dataset of MAsked FAces)数据集。需要说明的是，MAFA数据集可以与现有技术中的基本相同，在此不作赘述。
在一些示例中，在具体实施时，第一损失函数可以为交叉熵损失函数或者对比损失函数，在此不作限定。
在一些示例中，在具体实施时，第二损失函数可以为交叉熵损失函数或者对比损失函数，在此不作限定。
在一些示例中，在具体实施时，如图2和图3所示，采用卷积神经网络可以从图2所示的图像中标出初始人脸图像框K1，并将初始人脸图像框K1提取出来，以形成图3所示的初始人脸图像框K2。
在一些示例中，在具体实施时，在第一训练损失值满足第一损失值阈值时，在沿眼睛指向额头的方向上，截取初始人脸图像框中眼睛以上的部分作为目标人脸图像，具体可以包括：
在第一训练损失值满足第一损失值阈值时，确定初始人脸图像框中人脸的特征向量；
根据初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对初始人脸图像框进行校正；
在沿眼睛指向额头的方向上，截取校正后的初始人脸图像框中眼睛以上的部分作为目标人脸图像。
示例性地，由于戴口罩的人脸图像和未戴口罩的人脸图像，其眼睛、眉毛、额头等部位未被口罩遮挡，因此可以通过眼睛中的左瞳孔特征向量和右瞳孔特征向量对初始人脸图像框进行校正，再截取校正后的初始人脸图像框中眼睛以上的部分作为目标人脸图像。
示例性地，根据初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对初始人脸图像框进行校正，具体可以包括：
根据初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，确定初始人脸图像框中的左瞳孔和右瞳孔所在的直线；
检测直线是否平行于初始人脸图像框的上下对边；
若是，则将初始人脸图像框直接作为校正后的初始人脸图像框；
若否，则采用图像处理库将初始人脸图像框旋转以使得直线平行于上下对边作为校正后的初始人脸图像框。
示例性地，可以通过眼睛中的左瞳孔和右瞳孔的特征向量对初始人脸图像框中的人脸进行校正，结合图3和图4，可以通过初始人脸图像框中眼睛中的左瞳孔和右瞳孔的特征向量，确定初始人脸图像框中左瞳孔和右瞳孔所在的直线L0，通过检测直线L0是否平行于初始人脸图像框的上下对边。在直线L0平行于初始人脸图像框的上下对边时，可以将初始人脸图像框直接作为校正后的初始人脸图像框。在直线L0不平行于初始人脸图像框的上下对边时，可以采用图像处理库将初始人脸图像框旋转以使得直线平行于上下对边，并将旋转后的初始人脸图像框作为校正后的初始人脸图像框。例如，图3与图4所示，通过旋转的方式使原来未平行于初始人脸图像框的上下对边的直线L0旋转到平行于初始人脸图像框的上下对边。
示例性地，图像处理库例如可以为OpenCV。当然，图像处理库还可以设置为现有技术中的其他形式，在此不作限定。
在一些示例中，在具体实施时，根据目标人脸图像，确定目标人脸图像对应的预测身份信息及身份预测值，并通过设定的第二损失函数确定身份预测值对应的第二训练损失值，具体可以包括：
根据目标人脸图像，采用训练完成的ResNet50网络确定目标人脸图像中人脸的特征向量；
根据目标人脸图像中人脸的特征向量以及预先存储的身份信息库中各身份信息对应的人脸的特征向量，确定目标人脸图像对应的预测身份信息及身份预测值；
根据确定出的目标人脸图像对应的身份预测值，通过设定的第二损失函数确定第二训练损失值。
示例性地，ResNet50网络结构如图6所示，可以具有多个残差单元610和一个全连接层620。其中，可以将人脸图像输入到第一个残差单元610中，之后采用这些个残差单元610进行特征计算，最后用全连接层620全连接生成特征向量并将生成的特征向量输出。示例性地，采用训练完成的ResNet50网络确定的目标人脸图像中人脸的特征向量可以为512维的特征向量。这样可以降低人脸特征向量的存储空间，并提高特征匹配的计算速度。当然，在实际应用中，也可以根据实际应用的需求确定特征向量的具体维度，在此不作限定。
示例性地，如图7所示，ResNet50网络的训练方法，可以包括如下步骤：
S210、确定第二训练样本集合中各人脸图像样本中人脸的特征向量；其中，第二训练样本集合包括多个未遮挡人脸的人脸图像样本；示例性地，第二训练样本集合可以为MS-Celeb-1M数据集。例如，采用现有技术中的方法确定第二训练样本集合中各人脸图像样本中人脸的特征向量。
S220、根据第二训练样本集合中各人脸图像样本中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对第二训练样本集合中各人脸图像样本进行校正；示例性地，根据第二训练样本集合中各人脸图像样本中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，判断同一人脸图像样本中的左瞳孔和右瞳孔是否在同一水平线上；其中，水平线平行于初始人脸图像框的上边缘或下边缘；若否，则采用图像处理库将同一人脸图像样本中的左瞳孔和右瞳孔旋转到水平线上。
S230、在沿眼睛指向额头的方向上，截取第二训练样本集合中校正后的人脸图像样本中眼睛以上的部分作为训练人脸图像；该步骤的具体过程可以参照步骤S120中：在沿眼睛指向额头的方向上，截取初始人脸图像框中眼睛以上的部分作为目标人脸图像的工作过程，在此不作限定。
S240、将训练人脸图像输入到ResNet50网络中，获取训练人脸图像的特征向量；示例性地，ResNet50网络结构如图6所示。
S250、根据训练人脸图像的特征向量以及预先存储的身份信息库中各身份信息对应的人脸的特征向量，确定训练人脸图像对应的预测身份信息及身份预测值；
S260、根据确定出的训练人脸图像对应的身份预测值，通过设定的第二损失函数确定训练人脸图像对应的第三训练损失值；
S270、根据第三训练损失值对ResNet50网络的网络参数进行调整，直到满足训练截止条件，得到训练完成的ResNet50网络。
下面结合具体实施例，对本发明进行详细说明。需要说明的是，本实施例中是为了更好的解释本发明，但不限制本发明。
本发明实施例提供的卷积神经网络的训练方法，可以包括如下步骤：
(1)采用Wider Face数据集和MAFA数据集组成第一训练样本集合，将第一训练样本集合输入待训练的卷积神经网络中，以提取第一训练样本集合内各人脸图像样本中的初始人脸图像框，并通过设定的第一损失函数确定初始人脸图像框对应的第一训练损失值。
示例性地，针对每一个人脸图像样本，可以通过待训练的卷积神经网络得到该人脸图像样本中的5个不同尺度的人脸特征向量，之后可以根据该人脸图像样本中的5个不同尺度的人脸特征向量进行目标检索和定位，确定该人脸图像样本中的人脸所在的初始人脸图像框。其中，初始人脸图像框指的是在将人脸从人脸图像样本中抠图出来后，人脸所形成的方形区域。例如，如图2和图3所示，采用卷积神经网络可以从图2所示的图像中标出初始人脸图像框K1，并将初始人脸图像框K1提取出来，以形成图3所示的初始人脸图像框K2。
并且，可以通过第一损失函数确定该初始人脸图像框对应的第一训练损失值。
需要说明的是，输入待训练的卷积神经网络中的人脸图像样本的需要尺度设置为640*640像素大小。若第一训练样本集合中的人脸图像样本的尺寸与输入待训练的卷积神经网络中的人脸图像样本的需要尺度不同时，可以将第一训练样本集合中的人脸图像样本的尺寸进行改变，以使改变后的第一训练样本集合中的人脸图像样本的尺寸为640*640像素大小。从而使第一训练样本集合中的人脸图像样本的尺寸满足输入待训练的卷积神经网络的要求。
(2)针对每个初始人脸图像框，在第一训练损失值满足第一损失值阈值时，说明初始人脸图像框是满足要求的，则确定初始人脸图像框中人脸的特征向量。
需要说明的是，第一损失值阈值可以根据实际应用的需求进行设计确定，在此不作限定。
(3)针对每一个初始人脸图像框中人脸的特征向量，根据初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，确定初始人脸图像框中的左瞳孔和右瞳孔所在的直线。
示例性地，如图3所示，可以通过初始人脸图像框中眼睛中的左瞳孔和右瞳孔的特征向量，确定初始人脸图像框中左瞳孔和右瞳孔所在的直线L0。图3所示的左瞳孔和右瞳孔所在的直线L0未平行于初始人脸图像框的上下对边。
(4)检测直线L0是否平行于初始人脸图像框的上下对边。若是，则执行步骤(5)；若否，则执行步骤(6)。
(5)将初始人脸图像框直接作为校正后的初始人脸图像框。
(6)采用图像处理库(例如OpenCV)将初始人脸图像框旋转以使得直线平行于上下对边，并将旋转后的初始人脸图像框作为校正后的初始人脸图像框。
例如，图3与图4所示，通过旋转的方式使原来未平行于初始人脸图像框的上下对边的直线L0旋转到平行于初始人脸图像框的上下对边。
(7)例如图4与图5所示，在沿眼睛指向额头的方向上，截取校正后的初始人脸图像框中眼睛以上的部分作为目标人脸图像。示例性地，目标人脸图像可以包括眼睛、眉毛、额头等部位所在的区域。
(8)将目标人脸图像输入到训练完成的ResNet50网络，以确定目标人脸图像中人脸的特征向量。
示例性地，结合图6所示，将目标人脸图像输入训练完成的ResNet50网络中，依次通过残差单元610进行特征计算，最后用全连接层620全连接生成目标人脸图像中人脸的512维的特征向量。
(9)针对每一个目标人脸图像，根据目标人脸图像中人脸的特征向量以及预先存储的身份信息库中各身份信息对应的人脸的特征向量，确定目标人脸图像对应的预测身份信息及身份预测值。
示例性地，可以将目标人脸图像中人脸的特征向量以及预先存储的身份信息库中各身份信息对应的人脸的特征向量进行比对，以预测该目标人脸图像对应的身份信息，即得到该目标人脸图像对应的预测身份信息。并且预测到该目标人脸图像对应的身份信息时，还可以确定出该预测身份信息对应的身份预测值。
需要说明的是，预先获取了多个人的身份信息(例如，身份ID)及每个人对应的人脸特征向量，以形成身份信息库，并将该身份信息库进行了存储。
(10)根据确定出的目标人脸图像对应的身份预测值，通过设定的第二损失函数确定第二训练损失值。
(11)根据第二训练损失值对卷积神经网络的网络参数进行调整。
重复上述步骤(1)～(11)，直到满足训练截止条件，得到训练完成的卷积神经网络。
本发明实施例还提供了一种人脸识别方法，如图8所示，可以包括如下步骤：
S310、获取人脸检测图像；
S320、使用卷积神经网络从人脸检测图像中提取初始人脸图像框；其中，该卷积神经网络通过上述训练方法训练得到；
S330、在沿眼睛指向额头的方向上，截取从人脸检测图像中提取出的初始人脸图像框中眼睛以上的部分作为目标人脸检测图像；
S340、根据目标人脸检测图像，确定目标人脸检测图像对应的预测身份信息；
S350、比对目标人脸检测图像与预测身份信息对应的人脸基准图像，进行人脸识别。
本发明实施例提供的上述人脸识别方法，通过上述训练完成的卷积神经网络应用到人脸识别方法中，可以从人脸检测图像中提取出初始人脸图像框，之后截取初始人脸图像框中眼睛以上的部分作为目标人脸检测图像，以根据目标人脸检测图像，确定该目标人脸检测图像对应的预测身份信息。再比对目标人脸检测图像与预测身份信息对应的人脸基准图像，以进行人脸识别。从而可以使本发明提供的人脸识别方法应用到考勤打卡中，或者也可以使本发明提供的人脸识别方法应用到交通检测中。
在一些示例中，在具体实施时，比对目标人脸检测图像与预测身份信息对应的人脸基准图像，进行人脸识别，具体可以包括：
根据目标人脸检测图像与预测身份信息对应的人脸基准图像，采用训练完成的ResNet50网络确定目标人脸检测图像中人脸的特征向量和人脸基准图像中人脸的特征向量；
根据目标人脸检测图像中人脸的特征向量和人脸基准图像中人脸的特征向量，确定相似度；
在相似度满足相似度阈值时，将预测身份信息确定为目标人脸检测图像的身份信息。
在一些示例中，在具体实施时，在沿眼睛指向额头的方向上，截取从人脸检测图像中提取出的初始人脸图像框中眼睛以上的部分作为目标人脸检测图像，具体可以包括：
确定初始人脸图像框中人脸的特征向量；
根据初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对初始人脸图像框进行校正；
在沿眼睛指向额头的方向上，截取校正后的初始人脸图像框中眼睛以上的部分作为目标人脸检测图像。
在一些示例中，在具体实施时，根据初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对初始人脸图像框进行校正，具体可以包括：
根据初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，确定初始人脸图像框中的左瞳孔和右瞳孔所在的直线；
检测直线是否平行于初始人脸图像框的上下对边；
若是，则将初始人脸图像框直接作为校正后的初始人脸图像框；
若否，则采用图像处理库将初始人脸图像框旋转以使得直线平行于上下对边作为校正后的初始人脸图像框。
下面结合具体实施例，对本发明进行详细说明。需要说明的是，本实施例中是为了更好的解释本发明，但不限制本发明。
本发明实施例提供的人脸识别方法，可以包括如下步骤：
(1)获取人脸检测图像。示例性地，采用摄像头得到人脸检测图像，也可以采用图像传输器件得到人脸检测图像。当然，在实际应用中，可以根据实际应用的需求进行设计，在此不作限定。
示例性地，人脸检测图像可以是在用户考勤打卡时，通过摄像头采集到的。或者，人脸检测图像也可以是从视频流中确定的一个或多个图像。
(2)将人脸检测图像的尺寸调整为上述训练完成的卷积神经网络需求的尺寸后，输入到上述训练完成的卷积神经网络中，以从人脸检测图像中提取出初始人脸图像框。其中，初始人脸图像框指的是在将人脸从人脸检测图像中抠图出来后，人脸所形成的方形区域。例如，图3所示的初始人脸图像框K2。
(3)确定初始人脸图像框中人脸的特征向量。
(4)针对每一个初始人脸图像框中人脸的特征向量，根据初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，确定初始人脸图像框中的左瞳孔和右瞳孔所在的直线。
示例性地，如图3所示，可以通过初始人脸图像框中眼睛中的左瞳孔和右瞳孔的特征向量，确定初始人脸图像框中左瞳孔和右瞳孔所在的直线L0。图3所示的左瞳孔和右瞳孔所在的直线L0未平行于初始人脸图像框的上下对边。
(5)检测直线L0是否平行于初始人脸图像框的上下对边。若是，则执行步骤(6)；若否，则执行步骤(7)。
(6)将初始人脸图像框直接作为校正后的初始人脸图像框。
(7)采用图像处理库(例如OpenCV)将初始人脸图像框旋转以使得直线平行于上下对边，并将旋转后的初始人脸图像框作为校正后的初始人脸图像框。
例如，图3与图4所示，通过旋转的方式使原来未平行于初始人脸图像框的上下对边的直线L0旋转到平行于初始人脸图像框的上下对边。
(8)例如图4与图5所示，在沿眼睛指向额头的方向上，截取校正后的初始人脸图像框中眼睛以上的部分作为目标人脸检测图像。示例性地，目标人脸检测图像可以包括眼睛、眉毛、额头等部位所在的区域。
(9)将目标人脸检测图像输入到训练完成的ResNet50网络，以确定目标人脸图像中人脸的特征向量。
示例性地，结合图6所示，将目标人脸检测图像输入训练完成的ResNet50网络中，依次通过残差单元610进行特征计算，最后用全连接层620全连接生成目标人脸检测图像中人脸的512维的特征向量。
(10)根据目标人脸检测图像中人脸的特征向量以及预先存储的身份信息库中各身份信息对应的人脸的特征向量，确定目标人脸检测图像对应的预测身份信息。
(11)根据目标人脸检测图像与预测身份信息对应的人脸基准图像，采用训练完成的ResNet50网络确定目标人脸检测图像中人脸的特征向量和人脸基准图像中人脸的特征向量。
示例性地，结合图6所示，将目标人脸检测图像和人脸基准图像分别输入训练完成的ResNet50网络中，依次通过残差单元610进行特征计算，最后用全连接层620全连接生成目标人脸检测图像中人脸的512维的特征向量和人脸基准图像中人脸的512维的特征向量。
(12)根据目标人脸检测图像中人脸的特征向量和人脸基准图像中人脸的特征向量，确定相似度。
示例性地，根据目标人脸检测图像中人脸的特征向量和人脸基准图像中人脸的特征向量，确定余弦距离。之后根据余弦距离确定相似度。
(13)在相似度满足相似度阈值时，将预测身份信息确定为目标人脸检测图像的身份信息，从而完成人脸识别。若该方法应用到考勤打卡中，那么可以说明已经识别到了该人脸检测图像的身份，以使考勤打卡完成。
示例性地，相似度阈值可以为[-1.0，1.0]中的一个值。在相似度大于相似度阈值时，可以确认目标人脸检测图像中的人和人脸基准图像中的人为同一个人。
本发明实施例还提供了一种人脸识别装置，如图9所示，可以包括：
图像获取单元910，被配置为获取人脸检测图像；示例性地，图像获取单元可以为摄像头或图像传输器件。这样可以采用摄像头得到人脸检测图像，也可以采用图像传输器件得到人脸检测图像。当然，在实际应用中，可以根据实际应用的需求进行设计，在此不作限定。
图像框提取单元920，被配置为使用卷积神经网络从人脸检测图像中提取初始人脸图像框；
截取单元930，被配置为在沿眼睛指向额头的方向上，截取从人脸检测图像中提取出的初始人脸图像框中眼睛以上的部分作为目标人脸检测图像；
预测单元940，被配置为根据目标人脸检测图像，确定目标人脸检测图像对应的预测身份信息；
比对单元950，被配置为比对目标人脸检测图像与预测身份信息对应的人脸基准图像，进行人脸识别。
示例性地，本发明的实施例中的图像框提取单元、截取单元、预测单元以及比对单元可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
基于同一发明构思，本发明实施例还提供了一种计算机非瞬态可读存储介质，其上存储有计算机程序，并且该计算机程序被处理器执行时实现本发明实施例提供的上述任一种人脸识别方法的步骤。具体地，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
基于同一发明构思，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明实施例提供的上述任一种人脸识别方法的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种卷积神经网络的训练方法，其特征在于，包括：
将第一训练样本集合输入所述卷积神经网络中，提取所述第一训练样本集合内各人脸图像样本中的初始人脸图像框，并通过设定的第一损失函数确定所述初始人脸图像框对应的第一训练损失值；其中，所述第一训练样本集合包括第一数据集和第二数据集；所述第一数据集包括多个未遮挡人脸的人脸图像样本，所述第二数据集包括多个至少部分遮挡人脸的人脸图像样本；
响应于所述第一训练损失值满足第一损失值阈值，在沿眼睛指向额头的方向上，截取所述初始人脸图像框中眼睛以上的部分作为目标人脸图像；
根据所述目标人脸图像，确定所述目标人脸图像对应的预测身份信息及身份预测值，并通过设定的第二损失函数确定所述身份预测值对应的第二训练损失值；
根据所述第二训练损失值对所述卷积神经网络的网络参数进行调整，直到满足训练截止条件，得到训练完成的卷积神经网络。
2.如权利要求1所述的训练方法，其特征在于，所述在所述第一训练损失值满足第一损失值阈值时，在沿眼睛指向额头的方向上，截取所述初始人脸图像框中眼睛以上的部分作为目标人脸图像，具体包括：
在所述第一训练损失值满足第一损失值阈值时，确定所述初始人脸图像框中人脸的特征向量；
根据所述初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对所述初始人脸图像框进行校正；
在沿眼睛指向额头的方向上，截取校正后的所述初始人脸图像框中眼睛以上的部分作为所述目标人脸图像。
3.如权利要求2所述的训练方法，其特征在于，所述根据所述初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对所述初始人脸图像框进行校正，具体包括：
根据所述初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，确定所述初始人脸图像框中的左瞳孔和右瞳孔所在的直线；
检测所述直线是否平行于所述初始人脸图像框的上下对边；
若是，则将所述初始人脸图像框直接作为校正后的初始人脸图像框；
若否，则采用图像处理库将所述初始人脸图像框旋转以使得所述直线平行于所述上下对边作为校正后的初始人脸图像框。
4.如权利要求1-3任一项所述的训练方法，其特征在于，所述根据所述目标人脸图像，确定所述目标人脸图像对应的预测身份信息及身份预测值，并通过设定的第二损失函数确定所述身份预测值对应的第二训练损失值，具体包括：
根据所述目标人脸图像，采用训练完成的ResNet50网络确定所述目标人脸图像中人脸的特征向量；
根据所述目标人脸图像中人脸的特征向量以及预先存储的身份信息库中各身份信息对应的人脸的特征向量，确定所述目标人脸图像对应的预测身份信息及身份预测值；
根据确定出的所述目标人脸图像对应的身份预测值，通过设定的第二损失函数确定所述第二训练损失值。
5.如权利要求4所述的训练方法，其特征在于，所述ResNet50网络的训练方法，包括：
确定第二训练样本集合中各人脸图像样本中人脸的特征向量；其中，所述第二训练样本集合包括多个未遮挡人脸的人脸图像样本；
根据所述第二训练样本集合中各人脸图像样本中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对所述第二训练样本集合中各人脸图像样本进行校正；
在沿眼睛指向额头的方向上，截取所述第二训练样本集合中校正后的所述人脸图像样本中眼睛以上的部分作为训练人脸图像；
将所述训练人脸图像输入到所述ResNet50网络中，获取所述训练人脸图像的特征向量；
根据所述训练人脸图像的特征向量以及预先存储的身份信息库中各身份信息对应的人脸的特征向量，确定所述训练人脸图像对应的预测身份信息及身份预测值；
根据确定出的所述训练人脸图像对应的身份预测值，通过设定的所述第二损失函数确定所述训练人脸图像对应的第三训练损失值；
根据所述第三训练损失值对所述ResNet50网络的网络参数进行调整，直到满足训练截止条件，得到训练完成的ResNet50网络。
6.一种人脸识别方法，其特征在于，包括：
获取人脸检测图像；
使用卷积神经网络从所述人脸检测图像中提取初始人脸图像框；
在沿眼睛指向额头的方向上，截取从所述人脸检测图像中提取出的初始人脸图像框中眼睛以上的部分作为目标人脸检测图像；
根据所述目标人脸检测图像，确定所述目标人脸检测图像对应的预测身份信息；
比对所述目标人脸检测图像与所述预测身份信息对应的人脸基准图像，进行人脸识别。
7.如权利要求6所述的人脸识别方法，其特征在于，所述卷积神经网络的训练方法，包括：
将第一训练样本集合输入所述卷积神经网络中，提取所述第一训练样本集合内各人脸图像样本中的初始人脸图像框，并通过设定的第一损失函数确定所述初始人脸图像框对应的第一训练损失值；
其中，所述第一训练样本集合包括第一数据集和第二数据集；所述第一数据集包括多个未遮挡人脸的人脸图像样本，所述第二数据集包括多个至少部分遮挡人脸的人脸图像样本；
响应于所述第一训练损失值满足第一损失值阈值，在沿眼睛指向额头的方向上，截取所述初始人脸图像框中眼睛以上的部分作为目标人脸图像；
根据所述目标人脸图像，确定所述目标人脸图像对应的预测身份信息及身份预测值，并通过设定的第二损失函数确定所述身份预测值对应的第二训练损失值；
根据所述第二训练损失值对所述卷积神经网络的网络参数进行调整，直到满足训练截止条件，得到训练完成的卷积神经网络。
8.如权利要求6所述的人脸识别方法，其特征在于，所述比对所述目标人脸检测图像与所述预测身份信息对应的人脸基准图像，进行人脸识别，具体包括：
根据所述目标人脸检测图像与所述预测身份信息对应的人脸基准图像，采用训练完成的ResNet50网络确定所述目标人脸检测图像中人脸的特征向量和所述人脸基准图像中人脸的特征向量；
根据所述目标人脸检测图像中人脸的特征向量和所述人脸基准图像中人脸的特征向量，确定相似度；
在所述相似度满足相似度阈值时，将所述预测身份信息确定为所述目标人脸检测图像的身份信息。
9.如权利要求6所述的人脸识别方法，其特征在于，所述在沿眼睛指向额头的方向上，截取从所述人脸检测图像中提取出的初始人脸图像框中眼睛以上的部分作为目标人脸检测图像，具体包括：
确定所述初始人脸图像框中人脸的特征向量；
根据所述初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对所述初始人脸图像框进行校正；
在沿眼睛指向额头的方向上，截取校正后的所述初始人脸图像框中眼睛以上的部分作为目标人脸检测图像。
10.如权利要求9所述的人脸识别方法，其特征在于，所述根据所述初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，对所述初始人脸图像框进行校正，具体包括：
根据所述初始人脸图像框中人脸的特征向量内的左瞳孔特征向量和右瞳孔特征向量，确定所述初始人脸图像框中的左瞳孔和右瞳孔所在的直线；
检测所述直线是否平行于所述初始人脸图像框的上下对边；
若是，则将所述初始人脸图像框直接作为校正后的初始人脸图像框；
若否，则采用图像处理库将所述初始人脸图像框旋转以使得所述直线平行于所述上下对边作为校正后的初始人脸图像框。
11.一种人脸识别装置，其特征在于，包括：
图像获取单元，被配置为获取人脸检测图像；
图像框提取单元，被配置为使用卷积神经网络从所述人脸检测图像中提取初始人脸图像框；
截取单元，被配置为在沿眼睛指向额头的方向上，截取从所述人脸检测图像中提取出的初始人脸图像框中眼睛以上的部分作为目标人脸检测图像；
预测单元，被配置为根据所述目标人脸检测图像，确定所述目标人脸检测图像对应的预测身份信息；
比对单元，被配置为比对所述目标人脸检测图像与所述预测身份信息对应的人脸基准图像，进行人脸识别。
12.一种计算机非瞬态可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求6-10任一项所述的人脸识别方法的步骤。
13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求6-10任一项所述的人脸识别方法的步骤。
CN202011158201.6A 2020-10-26 2020-10-26 一种卷积神经网络的训练方法、人脸识别方法及装置 Pending CN114511893A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011158201.6A CN114511893A (zh) 2020-10-26 2020-10-26 一种卷积神经网络的训练方法、人脸识别方法及装置
US17/351,958 US11804072B2 (en) 2020-10-26 2021-06-18 Method for training convolutional neural network, and method for face recognition and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011158201.6A CN114511893A (zh) 2020-10-26 2020-10-26 一种卷积神经网络的训练方法、人脸识别方法及装置

Publications (1)

Publication Number Publication Date
CN114511893A true CN114511893A (zh) 2022-05-17

Family

ID=81258578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011158201.6A Pending CN114511893A (zh) 2020-10-26 2020-10-26 一种卷积神经网络的训练方法、人脸识别方法及装置

Country Status (2)

Country Link
US (1) US11804072B2 (zh)
CN (1) CN114511893A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11163981B2 (en) * 2018-09-11 2021-11-02 Apple Inc. Periocular facial recognition switching
CN110909595B (zh) * 2019-10-12 2023-04-18 平安科技（深圳）有限公司 面部动作识别模型训练方法、面部动作识别方法
CN111814603B (zh) * 2020-06-23 2023-09-05 汇纳科技股份有限公司 一种人脸识别方法、介质及电子设备

Also Published As

Publication number Publication date
US11804072B2 (en) 2023-10-31
US20220129665A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US10726244B2 (en) Method and apparatus detecting a target
KR102299847B1 (ko) 얼굴 인증 방법 및 장치
CN105893920B (zh) 一种人脸活体检测方法和装置
CN106709404B (zh) 图像处理装置及图像处理方法
CN110569731B (zh) 一种人脸识别方法、装置及电子设备
US10210415B2 (en) Method and system for recognizing information on a card
CN110569721A (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
KR20180109634A (ko) 얼굴 인증 방법 및 장치
EP3975039A1 (en) Masked face recognition
CN112052781A (zh) 特征提取模型训练方法、人脸识别方法、装置、设备及介质
WO2015149534A1 (zh) 基于Gabor二值模式的人脸识别方法及装置
CN111898413A (zh) 人脸识别方法、装置、电子设备和介质
CN108108711B (zh) 人脸布控方法、电子设备及存储介质
WO2013122009A1 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
CN113392699A (zh) 用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备
CN113033244A (zh) 一种人脸识别方法、装置及设备
CN113239739B (zh) 一种佩戴物的识别方法及识别装置
CN111783677B (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN113128427A (zh) 人脸识别方法、装置、计算机可读存储介质及终端设备
CN115205943A (zh) 图像处理方法、装置、电子设备及存储介质
CN114511893A (zh) 一种卷积神经网络的训练方法、人脸识别方法及装置
CN112101479B (zh) 一种发型识别方法及装置
CN114565531A (zh) 一种图像修复方法、装置、设备和介质
US10438061B2 (en) Adaptive quantization method for iris image encoding
CN113642428B (zh) 人脸活体检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination