CN109002767A - 一种基于深度学习的人脸验证方法及系统 - Google Patents

一种基于深度学习的人脸验证方法及系统 Download PDF

Info

Publication number
CN109002767A
CN109002767A CN201810650388.8A CN201810650388A CN109002767A CN 109002767 A CN109002767 A CN 109002767A CN 201810650388 A CN201810650388 A CN 201810650388A CN 109002767 A CN109002767 A CN 109002767A
Authority
CN
China
Prior art keywords
image
face
verified
facial
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810650388.8A
Other languages
English (en)
Inventor
李玉惠
陈晓光
傅强
金红
杨满智
蔡琳
刘长永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heng Jia Jia (beijing) Technology Co Ltd
Eversec Beijing Technology Co Ltd
Original Assignee
Heng Jia Jia (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heng Jia Jia (beijing) Technology Co Ltd filed Critical Heng Jia Jia (beijing) Technology Co Ltd
Priority to CN201810650388.8A priority Critical patent/CN109002767A/zh
Publication of CN109002767A publication Critical patent/CN109002767A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开一种基于深度学习的人脸验证方法及系统，能够准确检测带有体毛或者配饰物的人脸，提高人脸识别的适用范围和准确率。该方法包括：基于多张第一图像构建第一图像集，以及基于多张第二图像构建第二图像集；对应的根据第一图像集训练人脸检测模型，以及根据第二图像集训练特征提取模型；将包含人脸的待检测图像输入人脸检测模型，提取出待验证人脸图像；利用特征提取模型处理校正待验证人脸图像，并提取各待验证人脸图像中的人脸特征信息；基于人脸特征信息计算任意两张待验证人脸图像的相似度，获取的两个待验证人脸图像的验证结果。该系统包括上述技术方案所提的方法。

Description

一种基于深度学习的人脸验证方法及系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于深度学习的人脸验证方法及系统。
背景技术
生物特征识别技术是目前最为方便、安全的身份识别技术，生物特征识别技术识别的是人本身，不需要人身之外的标识物。生物特征识别技术利用人的生理特征和行为特征进行身份识别，主要有指纹识别、人脸识别、虹膜识别、步态识别等。其中，人脸识别是当前生物特征识别领域的一大热点。它与目前广泛应用的指纹识别技术相比，有着直观性、方便性、非接触性、友好性、用户接受度高等显著优点。
人脸识别的核心之一为人脸验证，常用的人脸验证技术是基于人的脸部特征，对输入的人脸图像或者视频流进行判断，首先判断是否存在人脸，如果存在，则进一步给出人脸所在的位置，大小，也既是人脸定位，并根据这些信息进一步提取出人脸的传统特征信息，最后将其与已知的人脸对比，从而验证每个人脸的身份。现有的人脸验证技术虽然验证速度快，但是受环境影响较大，例如，当人脸被配饰遮挡或者受胡须干扰时，将会干扰人脸验证的判别，导致验证的结果不够准确。
发明内容
本发明的目的在于提供一种基于深度学习的人脸验证方法及系统，能够准确检测带有体毛或者配饰物的人脸，提高人脸识别的适用范围和准确率。
为了实现上述目的，本发明一方面提供一种基于深度学习的人脸验证方法，包括：
基于多张第一图像构建第一图像集，以及基于多张第二图像构建第二图像集；
对应的根据所述第一图像集训练人脸检测模型，以及根据所述第二图像集训练特征提取模型；
将包含人脸的待检测图像输入所述人脸检测模型，提取出待验证人脸图像；
利用所述特征提取模型处理校正所述待验证人脸图像，并提取各所述待验证人脸图像中的人脸特征信息；
基于所述人脸特征信息计算任意两张所述待验证人脸图像的相似度，获取所述的两个待验证人脸图像的验证结果。
优选地，所述第一图像集包括多个人的普通人脸图像集合，所述普通人脸图像集合又包括多张一类人脸图像、多张二类人脸图像、多张三类人脸图像中的一种或多种；
所述一类人脸图像为正常人脸图像，所述二类人脸图像为体毛遮挡人脸图像，所述三类人脸图像为配饰遮挡人脸图像。
较佳地，所述根据第一图像集训练人脸检测模型的方法包括：
分别对各所述第一图像进行信息标注，所述信息标注的内容包括图片大小、路径信息和图片分类信息；
依次对所述第一图像及其对应的所述信息标注进行数据清洗和归一化处理；
利用深度神经网络对所述人脸图像结合对应的所述信息标注进行人脸检测训练，得到人脸检测模型。
较佳地，所述根据第二图像集训练特征提取模型的方法包括：
将所述第二图像集以人为单位进行人脸分类，每一人脸分类包括同一人的多张所述第二图像；
依次对所述第二图像及其对应的所述信息标注进行数据清洗和归一化处理；
分别对所述第二图像进行信息标注，所述信息标注的内容包括第二图像的路径信息和人脸分类名称；
利用sphereface神经网络对每一人脸分类中的所述第二图像，结合对应的所述信息标注进行特征提取训练，得到特征提取模型。
可选地，所述依次对第一图像及其对应的信息标注进行数据清洗和归一化处理的方法包括：
将各所述信息标注统一转换成XML格式的文本；
剔除低质量的所述第一图像及其对应的所述信息标注，以及剔除不规范的所述信息标注及其对应的所述第一图像；
分别对所述第一图像进行统一尺寸的调整。
可选地，所述依次对第二图像进行数据清洗和归一化处理的方法包括：
剔除低质量的所述第二图像，并分别对所述第二图像进行统一尺寸的调整；
将各所述第二图像统一转换成LMDB格式的图像。
具体地，所述利用特征提取模型处理校正待验证人脸图像，并提取各待验证人脸图像中的人脸特征信息的方法包括：
接收提取出的多张待验证人脸图像，基于预设裁剪坐标对各所述待验证人脸图像中的人脸进行裁剪优化；
从优化裁剪后的各所述待验证人脸图像中提取68个关键点位，并基于所述68个关键点位对各所述待验证人脸图像中的人脸进行矫正和归一化处理；
基于sphereface深度神经网络提取各所述待验证人脸图像中人脸的512维特征，并对其镜像得到对应的镜像512维特征；
根据各所述待验证人脸图像中人脸的512维特征及其对应的镜像512维特征，得到所述待验证人脸图像中人脸的1024维人脸特征信息。
示例性地，所述从优化裁剪后的各待验证人脸图像中提取68个关键点位的方法包括：
使用dlib工具和opencv工具从优化裁剪后的各待验证人脸图像中提取68个关键点位。
优选地，所述基于人脸特征信息计算任意两个待验证人脸图像的相似度，获取所述的两个待验证人脸图像的验证结果的方法包括：
选择任意两个待验证人脸图像，获取各自对应的1024维人脸特征信息F1和F2；
通过余弦相似度公式计算F1和F2的相似度得到两个待验证人脸图像的相似度；
当两个待验证人脸图像的相似度大于阈值时，验证结果为同一人，否则验证结果为非同一人。
与现有技术相比，本发明提供的基于深度学习的人脸验证方法具有以下有益效果：
本发明提供的基于深度学习的人脸验证方法中，第一图像集中包括多个普通人脸图像集合，其中，第一图像(普通人脸图像)是指正常拍摄的包括人脸的图像，也即除人脸之外还包括其他内容的图像，例如，拍摄的某一人全身图像，该图像除了人脸之外还包括手、腿等其他图像，其中，人脸检测模型的训练方法是将第一图像集细化为三种类型的图片，即正常人脸图像、体毛遮挡人脸图像和配饰遮挡人脸图像，由于图像的数量足够多，类型足够丰富，因此基于这些图像训练得来的人脸检测模型不仅能够准确检测正常人脸图像、而且还能够准确检测体毛遮挡人脸图像和配饰遮挡人脸图像，例如大胡子人脸图像和戴墨镜人脸图像，以使本发明中的人脸检测模型具有检测结果精确、适用范围广泛的特点；另外，特征提取模型是基于第二图像集训练而成的，第二图像集中包括多个特殊人脸图像集合，第二图像(特殊人脸图像)是指人脸面积大于整张图像90％面积的图像，也即除人脸之外没有其他内容的图像，利用特征提取模型处理校正待验证人脸图像，并提取待验证人脸图像中的人脸特征信息，然后以人脸特征信息为参数结合相似度计算公式计算两张待验证人脸图像的相似度，当相似度大于或等于阈值时，则表示两张待验证人脸图像为同一人，否则，表示两张待验证人脸图像非同一人。
可见，本发明中的人脸检测模型和特征提取模型是基于两组不同的图像集训练而成的，因此人脸检测和特征提取的结果更准确，另外，本发明融合了分类训练的理念，增加了多种类别的训练样本，解决了现有技术中不能够准确检测大胡子人脸图像和戴配饰人脸图像的弊端，进一步提高了本发明人脸验证方法的实用性和识别的准确性。
本发明的另一方面提供一种基于深度学习的人脸验证系统，应用于上述技术方案所述的一种基于深度学习的人脸验证方法中，包括第一图像采集单元、第二图像采集单元、第一模型训练单元、第二模型训练单元、人脸图像获取单元、人脸特征提取单元和人脸验证单元；
所述第一图像采集单元用于基于多张第一图像构建第一图像集；
所述第二图像采集单元用于基于多张第二图像构建第二图像集；
所述第一模型训练单元用于根据所述第一图像集训练人脸检测模型；
所述第二模型训练单元用于根据所述第二图像集训练特征提取模型；
所述人脸图像获取单元用于将包含人脸的待检测图像输入所述人脸检测模型，提取出待验证人脸图像；
所述人脸特征提取单元用于利用所述特征提取模型处理校正所述待验证人脸图像，并提取各所述待验证人脸图像中的人脸特征信息；
所述人脸验证单元用于基于所述人脸特征信息计算任意两张所述待验证人脸图像的相似度，获取所述的两个待验证人脸图像的验证结果。
优选地，所述人脸特征提取单元包括依次连接的裁剪优化模块、矫正处理模块、镜像模块和特征提取模块，所述裁剪优化模块的输入端和所述人脸图像获取单元的输出端连接，所述特征提取模块的输出端与所述人脸验证单元的输入端连接；
所述裁剪优化模块用于接收提取出的多张待检测人脸图像，基于预设裁剪坐标对各待检测人脸图像中的人脸进行裁剪优化；
所述矫正处理模块用于从优化裁剪后的各待检测人脸图像中提取68个关键点位，并基于68个关键点位对各待检测人脸图像中的人脸进行矫正和归一化处理；
所述镜像模块用于基于sphereface神经网络提取各待验证人脸图像中人脸的512维特征，并对其镜像得到对应的镜像512维特征；
所述特征提取模块用于根据各待验证人脸图像中人脸的512维特征及其对应的镜像512维特征，得到待验证人脸图像中人脸的1024维人脸特征信息。
与现有技术相比，本发明提供的基于深度学习的人脸验证系统的有益效果与上述技术方案提供的基于深度学习的人脸验证方法的有益效果相同，在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一中基于深度学习的人脸验证方法的流程示意图；
图2为本发明实施例一中人脸检测模型的训练方法流程示意图；
图3为本发明实施例一中特征提取模型的训练方法流程示意图；
图4为本发明实施例二中基于深度学习的人脸验证系统的结构示意图。
附图标记：
1-第一图像采集单元， 2-第二图像采集单元；
3-第一模型训练单元， 4-第二模型训练单元；
5-人脸图像获取单元， 6-人脸特征提取单元；
61-裁剪优化模块， 62-矫正处理模块；
63-镜像模块， 64-特征提取模块；
7-人脸验证单元。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
实施例一
图1为本发明实施例一中基于深度学习的人脸验证方法的流程示意图。请参阅图1，本实施例提供一种基于深度学习的人脸验证方法，包括：
基于多张第一图像构建第一图像集，以及基于多张第二图像构建第二图像集；对应的根据第一图像集训练人脸检测模型，以及根据第二图像集训练特征提取模型；将包含人脸的待检测图像输入人脸检测模型，提取出待验证人脸图像；利用特征提取模型处理校正待验证人脸图像，并提取各待验证人脸图像中的人脸特征信息；基于人脸特征信息计算任意两张待验证人脸图像的相似度，获取的两个待验证人脸图像的验证结果。
其中，第一图像集包括多个人的普通人脸图像集合，普通人脸图像集合又包括多张一类人脸图像、多张二类人脸图像、多张三类人脸图像中的一种或多种；一类人脸图像为正常人脸图像，二类人脸图像为体毛遮挡人脸图像，三类人脸图像为配饰遮挡人脸图像。
本实施例提供的基于深度学习的人脸验证方法中，第一图像集中包括多个普通人脸图像集合，第一图像(普通人脸图像)是指正常拍摄的包括人脸的图像，也即除人脸之外还包括其他内容的图像，例如，拍摄的某一人全身图像，该图像除了人脸之外还包括手、腿等其他图像，其中，人脸检测模型的训练方法是将第一图像集细化为三种类型的图片，即正常人脸图像、体毛遮挡人脸图像和配饰遮挡人脸图像，由于图像的数量足够多，类型足够丰富，因此基于这些图像训练得来的人脸检测模型不仅能够准确检测正常人脸图像、而且还能够准确检测体毛遮挡人脸图像和配饰遮挡人脸图像，例如大胡子人脸图像和戴墨镜人脸图像，以使本实施例中的人脸检测模型具有检测结果精确、适用范围广泛的特点；另外，特征提取模型是基于第二图像集训练而成的，第二图像集中包括多个特殊人脸图像集合，第二图像(特殊人脸图像)是指人脸面积大于整张图像90％面积的图像，也即除人脸之外没有其他内容的图像，利用特征提取模型处理校正待验证人脸图像，并提取待验证人脸图像中的人脸特征信息，然后以人脸特征信息为参数结合相似度计算公式计算两张待验证人脸图像的相似度，当相似度大于或等于阈值时，则表示两张待验证人脸图像为同一人，否则，表示两张待验证人脸图像非同一人。
可见，本实施例中的人脸检测模型和特征提取模型是基于两组不同的图像集训练而成的，因此人脸检测和特征提取的结果更准确，另外，本实施例融合了分类训练的理念，增加了多种类别的训练样本，解决了现有技术中不能够准确识别大胡子人脸图像和戴配饰人脸图像的弊端，进一步提高了本实施例人脸验证方法的实用性和识别的准确性。
具体地，请参阅图2，上述实施例中根据第一图像集训练人脸检测模型的方法包括：
分别对各所述第一图像进行信息标注，所述信息标注的内容包括图片大小、路径信息和图片分类信息；依次对所述第一图像及其对应的所述信息标注进行数据清洗和归一化处理；利用sphereface神经网络对所述第一图像结合对应的所述信息标注进行人脸检测训练，得到人脸检测模型。
具体实施时，获取第一图像的途径多种多样，例如从网络上爬取、由用户直接提供或者从标准图片数据库中提取，当基于获取到的多张第一图像构建完成第一图像集之后，进一步的，还需分别对每一张第一图像进行信息标注，其中，信息标注的格式顺序如下：图片尺寸大小、存储路径信息、图片名称和图片分类信息，图片名称是指对图像内容的标识名称，图片分类信息是指按照图片内容分为一类人脸图像、二类人脸图像和三类人脸图像，然后将信息标注转换成XML格式，并剔除不合格的人脸图像或者信息标注，以实现对人脸图像及其对应的信息标注的数据清洗和归一化处理，最后利用sphereface神经网络对第一图像及其对应的信息标注进行人脸检测训练，得到人脸检测模型。对应具体的人脸检测训练过程，由于为本领域常规的技术手段，本实施例在此不做赘述。
另外，请参阅图3，上述实施例中根据第二图像集训练特征提取模型的方法包括：
将第二图像集以人为单位进行人脸分类，每一人脸分类包括同一人的多张第二图像；对所述第二图像进行数据清洗和归一化处理；分别对第二图像进行信息标注，信息标注的内容包括第二图像的路径信息和人脸分类名称；利用sphereface神经网络对每一人脸分类中的第二图像，结合对应的信息标注进行特征提取训练，得到特征提取模型。
具体实施时，同样需通过从网络上爬取、由用户直接提供，从标准图片数据库中调取这三种途径获取第二图像，与人脸检测模型构建的区别是，在构建特征提取模型的过程中，需首先将训练图像集以人为单位进行第二图像的人脸分类，然后分别对第二图像进行数据清洗和归一化处理，其中，每一人脸分类包括同一人的多张第二图像，例如，每一人脸分类的第二图像数目为200-500张为佳，其他训练步骤和人脸检测模型的训练步骤大同小异，即，需要分别对每一张第二图像进行信息标注，其中，信息标注的格式顺序如下：第二图像的路径信息和人脸分类名称，人脸分类名称是指标识清楚是谁的人脸，剔除不合格的第二图像或者信息标注，并将第二图像转换成LMDB格式，最后利用sphereface神经网络对每个人脸分类中的第二图像及其对应的信息标注进行人脸特征提取训练，得到特征提取模型。对应具体的人脸提取训练过程为本领域常规的技术手段，本实施例在此不做赘述。
可见，本实施例通过将JPG或者PNG格式的图像转换成统一的LMDB格式能够显著提升人脸特征提取模型的训练速度，通过对信息标注进行数据清洗能够保证训练样本的准确性，进而提高特征提取模型识别结果的准确性。
其中，上述实施例中依次对第一图像及其对应的信息标注进行数据清洗和归一化处理的方法包括：将各信息标注统一转换成XML格式的文本；剔除低质量的第一图像及其对应的信息标注，以及剔除不规范的信息标注及其对应的第一图像；分别对第一图像进行统一尺寸的调整。上述实施例中依次对第二图像进行数据清洗和归一化处理的方法包括：剔除低质量的第二图像，并分别对第二图像进行统一尺寸的调整，将各第二图像统一转换成LMDB格式的图像。其中，人脸不健全或者分辨率较低的人脸图像统称为低质量的人脸图像，错标、漏标等信息标注统称为不规范的信息标注。
上述实施例中的利用特征提取模型处理校正待验证人脸图像，并提取各待验证人脸图像中的人脸特征信息的方法包括：
接收提取出的多张待验证人脸图像，基于预设裁剪坐标对各待验证人脸图像中的人脸进行裁剪优化；从优化裁剪后的各待验证人脸图像中提取68个关键点位，并基于68个关键点位对各待验证人脸图像中的人脸进行矫正和归一化处理；基于sphereface神经网络提取各待验证人脸图像中人脸的512维特征，并对其镜像得到对应的镜像512维特征；根据各待验证人脸图像中人脸的512维特征及其对应的镜像512维特征，得到待验证人脸图像中人脸的1024维人脸特征信息。
进一步地，基于人脸特征信息计算任意两个待验证人脸图像的相似度，获取所述的两个待验证人脸图像的验证结果的方法包括：
选择任意两个待验证人脸图像，获取各自对应的1024维人脸特征信息F1和F2；通过余弦相似度公式计算F1和F2的相似度得到两个待验证人脸图像的相似度；当两个待验证人脸图像的相似度大于阈值时，验证结果为同一人，否则验证结果为非同一人。
具体实施时，基于预设的裁剪坐标对待验证人脸图像进行优化裁剪，过滤掉无关内容只保存特定的人脸部分图像，然后从优化裁剪后的各待验证人脸图像中提取68个关键点位，并基于这68个关键点位对人脸部分图像进行矫正处理，若矫正处理后的图片不合格则直接剔除，若合格则将优化裁剪后的待验证人脸图像输出保存，以便于特征提取模型对人脸特征信息的识别和提取，进而，基于sphereface神经网络提取上述保存的待验证人脸图像中人脸的512维特征，并对其镜像得到对应的镜像512维特征，并根据各待验证人脸图像中人脸的512维特征及其对应的镜像512维特征，得到待验证人脸图像中人脸的1024维人脸特征信息。相比较于只提取人脸图像中人脸的512维特征，本实施例通过对其镜像，获取待验证人脸图像中人脸的1024维特征，能够进一步的保证人脸图像验证结果的准确性。
示例性地，从优化裁剪后的各待验证人脸图像中提取68个关键点位的方法包括：使用dlib工具和opencv工具从优化裁剪后的各待验证人脸图像中提取68个关键点位。
在人脸验证的过程中，选择任意两个图像(I1、I2)，判断I1图像和I2图像中是否存在人脸图像，若均存在，则通过人脸检测模型识别出人脸图像(face1，face2)，并使用68个关键点定位出人脸图像face1和人脸图像face2中的人脸特征点，得到特征点集合Fea1(x1,x2,…,x68)和Fea2(x1,x2,…,x68)，并对
Fea1(x1,x2,…,x68)和Fea1(x1,x2,…,x68)进行人脸对齐处理，以便于人脸特征信息的准确提取，接着基于sphereface神经网络对应提取待检测人脸图像中人脸的1024维人脸特征信息，得到F1(x1,x2,…,x1024)和F2(x1,x2,…,x1024)，通过余弦相似度公式计算F1(x1,x2,…,x1024)和F2(x1,x2,…,x1024)相似度值得到两个待检测人脸图像的相似度Sim，当相似度Sim大于阈值时，验证结果为同一人，否则验证结果为非同一人。
可以理解的是，若一个图像I1中存在n个人脸图像时，n≥2，则分别提取多个人脸图像(face11，face12,…,facen)，按照如上方法获取每个人脸图像的1024维人脸特征信息，得到F11(x1,x2,…,x1024)、F12(x1,x2,…,x1024)……
Fn(x1,x2,…,x1024),然后分别计算其与F2(x1,x2,…,x1024)的相似度值得到与F2中人脸图像的相似度Sim1、Sim2……Simn，筛选出大于阈值的相似度值，验证对应人脸图像为同一人。
实施例二
请参阅图1和图4，本实施例提供一种基于深度学习的人脸验证系统，包括第一图像采集单元1、第二图像采集单元2、第一模型训练单元3、第二模型训练单元4、人脸图像获取单元5、人脸特征提取单元6和人脸验证单元7；第一图像采集单元1的输出端与第一模型训练单元3的输入端连接，第二图像采集单元2的输出端与第二模型训练单元4的输入端连接，第一模型训练单元3和第二模型训练单元4的输出端分别与人脸图像获取单元5的输入端连接，人脸图像获取单元5的输出端与人脸特征提取单元6的输入端连接，人脸特征提取单元6的输出端与人脸验证单元7的输入端连接；
第一图像采集单元1用于基于多张第一图像构建第一图像集；
第二图像采集单元2用于基于多张第二图像构建第二图像集；
第一模型训练单元3用于根据第一图像集训练人脸检测模型；
第二模型训练单元4用于根据第二图像集训练特征提取模型；
人脸图像获取单元5用于将包含人脸的待检测图像输入人脸检测模型，提取出待验证人脸图像；
人脸特征提取单元6用于利用特征提取模型处理校正待验证人脸图像，并提取各待验证人脸图像中的人脸特征信息；
人脸验证单元7用于基于人脸特征信息计算任意两张待验证人脸图像的相似度，获取的两个待验证人脸图像的验证结果。
其中，人脸特征提取单元6包括依次连接的裁剪优化模块61、矫正处理模块62、镜像模块63和特征提取模块64，裁剪优化模块61的输入端和人脸图像获取单元5的输出端连接，特征提取模块64的输出端与人脸验证单元7的输入端连接；
裁剪优化模块61用于接收提取出的多张待检测人脸图像，基于预设裁剪坐标对各待检测人脸图像中的人脸进行裁剪优化；
矫正处理模块62用于从优化裁剪后的各待验证人脸图像中提取68个关键点位，并基于68个关键点位对各待验证人脸图像中的人脸进行矫正和归一化处理；
镜像模块63用于基于sphereface神经网络提取各待验证人脸图像中人脸的512维特征，并对其镜像得到对应的镜像512维特征；
特征提取模块64用于根据各待验证人脸图像中人脸的512维特征及其对应的镜像512维特征，得到待验证人脸图像中人脸的1024维人脸特征信息。
与现有技术相比，本发明实施例提供的基于深度学习的人脸验证系统的有益效果与上述实施例一提供的基于深度学习的人脸验证方法的有益效果相同，在此不做赘述。
本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的人脸验证方法，其特征在于，包括：
基于多张第一图像构建第一图像集，以及基于多张第二图像构建第二图像集；
对应的根据所述第一图像集训练人脸检测模型，以及根据所述第二图像集训练特征提取模型；
将包含人脸的待检测图像输入所述人脸检测模型，提取出待验证人脸图像；
利用所述特征提取模型处理校正所述待验证人脸图像，并提取各所述待验证人脸图像中的人脸特征信息；
基于所述人脸特征信息计算任意两张所述待验证人脸图像的相似度，获取所述的两个待验证人脸图像的验证结果。
2.根据权利要求1所述的方法，其特征在于，所述第一图像集包括多个人的普通人脸图像集合，所述普通人脸图像集合又包括多张一类人脸图像、多张二类人脸图像、多张三类人脸图像中的一种或多种；
所述一类人脸图像为正常人脸图像，所述二类人脸图像为体毛遮挡人脸图像，所述三类人脸图像为配饰遮挡人脸图像。
3.根据权利要求1所述的方法，其特征在于，所述根据第一图像集训练人脸检测模型的方法包括：
分别对各所述第一图像进行信息标注，信息标注的内容包括图片大小、路径信息和图片分类信息；
依次对所述第一图像及其对应的所述信息标注进行数据清洗和归一化处理；
利用sphereface神经网络对所述第一图像结合对应的信息标注进行人脸检测训练，得到人脸检测模型。
4.根据权利要求1所述的方法，其特征在于，所述根据第二图像集训练特征提取模型的方法包括：
将所述第二图像集以人为单位进行人脸分类，每一人脸分类包括同一人的多张所述第二图像；
对所述第二图像进行数据清洗和归一化处理；
分别对所述第二图像进行信息标注，信息标注的内容包括第二图像的路径信息和人脸分类名称；
利用sphereface神经网络对每一人脸分类中的所述第二图像，结合对应的所述信息标注进行特征提取训练，得到特征提取模型。
5.根据权利要求3所述的方法，其特征在于，所述依次对第一图像及其对应的信息标注进行数据清洗和归一化处理的方法包括：
将各信息标注统一转换成XML格式的文本；
剔除低质量的所述第一图像及其对应的所述信息标注，以及剔除不规范的所述信息标注及其对应的所述第一图像；
分别对所述第一图像进行统一尺寸的调整。
6.根据权利要求4所述的方法，其特征在于，所述依次对第二图像进行数据清洗和归一化处理的方法包括：
剔除低质量的所述第二图像，并分别对所述第二图像进行统一尺寸的调整；
将各所述第二图像统一转换成LMDB格式的图像。
7.根据权利要求1所述的方法，其特征在于，所述利用特征提取模型处理校正待验证人脸图像，并提取各待验证人脸图像中的人脸特征信息的方法包括：
接收提取出的多张待验证人脸图像，基于预设裁剪坐标对各所述待验证人脸图像中的人脸进行裁剪优化；
从优化裁剪后的各所述待验证人脸图像中提取68个关键点位，并基于所述68个关键点位对各所述待验证人脸图像中的人脸进行矫正和归一化处理；
基于sphereface神经网络提取各所述待验证人脸图像中人脸的512维特征，并对其镜像得到对应的镜像512维特征；
根据各所述待验证人脸图像中人脸的512维特征及其对应的镜像512维特征，得到所述待验证人脸图像中人脸的1024维人脸特征信息。
8.根据权利要求7所述的方法，其特征在于，所述基于人脸特征信息计算任意两个待验证人脸图像的相似度，获取所述的两个待验证人脸图像的验证结果的方法包括：
选择任意两个待验证人脸图像，获取各自对应的1024维人脸特征信息F1和F2；
通过余弦相似度公式计算F1和F2的相似度得到两个待验证人脸图像的相似度；
当两个待验证人脸图像的相似度大于阈值时，验证结果为同一人，否则验证结果为非同一人。
9.一种基于深度学习的人脸验证系统，其特征在于，包括第一图像采集单元、第二图像采集单元、第一模型训练单元、第二模型训练单元、人脸图像获取单元、人脸特征提取单元和人脸验证单元；
所述第一图像采集单元用于基于多张第一图像构建第一图像集；
所述第二图像采集单元用于基于多张第二图像构建第二图像集；
所述第一模型训练单元用于根据所述第一图像集训练人脸检测模型；
所述第二模型训练单元用于根据所述第二图像集训练特征提取模型；
所述人脸图像获取单元用于将包含人脸的待检测图像输入所述人脸检测模型，提取出待验证人脸图像；
所述人脸特征提取单元用于利用所述特征提取模型处理校正所述待验证人脸图像，并提取各所述待验证人脸图像中的人脸特征信息；
所述人脸验证单元用于基于所述人脸特征信息计算任意两张所述待验证人脸图像的相似度，获取所述的两个待验证人脸图像的验证结果。
10.根据权利要求9所述的系统，其特征在于，所述人脸特征提取单元包括依次连接的裁剪优化模块、矫正处理模块、镜像模块和特征提取模块，所述裁剪优化模块的输入端和所述人脸图像获取单元的输出端连接，所述特征提取模块的输出端与所述人脸验证单元的输入端连接；
所述裁剪优化模块用于接收提取出的多张待验证人脸图像，基于预设裁剪坐标对各待验证人脸图像中的人脸进行裁剪优化；
所述矫正处理模块用于从优化裁剪后的各待验证人脸图像中提取68个关键点位，并基于68个关键点位对各待验证人脸图像中的人脸进行矫正和归一化处理；
所述镜像模块用于基于sphereface神经网络提取各待验证人脸图像中人脸的512维特征，并对其镜像得到对应的镜像512维特征；
所述特征提取模块用于根据各待验证人脸图像中人脸的512维特征及其对应的镜像512维特征，得到待验证人脸图像中人脸的1024维人脸特征信息。
CN201810650388.8A 2018-06-22 2018-06-22 一种基于深度学习的人脸验证方法及系统 Pending CN109002767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810650388.8A CN109002767A (zh) 2018-06-22 2018-06-22 一种基于深度学习的人脸验证方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810650388.8A CN109002767A (zh) 2018-06-22 2018-06-22 一种基于深度学习的人脸验证方法及系统

Publications (1)

Publication Number Publication Date
CN109002767A true CN109002767A (zh) 2018-12-14

Family

ID=64601996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810650388.8A Pending CN109002767A (zh) 2018-06-22 2018-06-22 一种基于深度学习的人脸验证方法及系统

Country Status (1)

Country Link
CN (1) CN109002767A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726756A (zh) * 2018-12-25 2019-05-07 北京旷视科技有限公司 图像处理方法、装置、电子设备及存储介质
CN110046573A (zh) * 2019-04-15 2019-07-23 北京迈格威科技有限公司 人脸图像的识别方法、装置、计算机设备和存储介质
CN110427912A (zh) * 2019-08-12 2019-11-08 深圳市捷顺科技实业股份有限公司 一种基于深度学习的人脸检测方法及其相关装置
CN110852150A (zh) * 2019-09-25 2020-02-28 珠海格力电器股份有限公司 一种人脸验证方法、系统、设备及计算机可读存储介质
WO2020124448A1 (en) * 2018-12-19 2020-06-25 Zhejiang Dahua Technology Co., Ltd. Systems and methods for video surveillance
WO2020186739A1 (zh) * 2019-03-19 2020-09-24 杭州光启人工智能研究院 一种基于面部识别优化数据的方法
CN112308055A (zh) * 2020-12-30 2021-02-02 北京沃东天骏信息技术有限公司 人脸检索系统的评价方法、装置、电子设备和存储介质
CN112434807A (zh) * 2020-11-24 2021-03-02 上海鹰瞳医疗科技有限公司 深度学习模型性能验证方法及设备
CN112508132A (zh) * 2021-01-29 2021-03-16 广州市玄武无线科技股份有限公司 一种识别sku的训练方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120308124A1 (en) * 2011-06-02 2012-12-06 Kriegman-Belhumeur Vision Technologies, Llc Method and System For Localizing Parts of an Object in an Image For Computer Vision Applications
CN103902962A (zh) * 2012-12-28 2014-07-02 汉王科技股份有限公司 一种遮挡或光源自适应人脸识别方法和装置
CN105930797A (zh) * 2016-04-21 2016-09-07 腾讯科技（深圳）有限公司 一种人脸验证方法及装置
CN106203533A (zh) * 2016-07-26 2016-12-07 厦门大学 基于混合训练的深度学习人脸验证方法
CN106407884A (zh) * 2016-08-18 2017-02-15 电子科技大学 一种快速协同匹配的有遮挡人脸识别方法
CN106503687A (zh) * 2016-11-09 2017-03-15 合肥工业大学 融合人脸多角度特征的监控视频人物身份识别系统及其方法
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120308124A1 (en) * 2011-06-02 2012-12-06 Kriegman-Belhumeur Vision Technologies, Llc Method and System For Localizing Parts of an Object in an Image For Computer Vision Applications
CN103902962A (zh) * 2012-12-28 2014-07-02 汉王科技股份有限公司 一种遮挡或光源自适应人脸识别方法和装置
CN105930797A (zh) * 2016-04-21 2016-09-07 腾讯科技（深圳）有限公司 一种人脸验证方法及装置
CN106203533A (zh) * 2016-07-26 2016-12-07 厦门大学 基于混合训练的深度学习人脸验证方法
CN106407884A (zh) * 2016-08-18 2017-02-15 电子科技大学 一种快速协同匹配的有遮挡人脸识别方法
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
CN106503687A (zh) * 2016-11-09 2017-03-15 合肥工业大学 融合人脸多角度特征的监控视频人物身份识别系统及其方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
W. LIU等: ""SphereFace: Deep Hypersphere Embedding for Face Recognition"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
ZHANG Y.等: ""Face Occlusion Detection Using Cascaded Convolutional Neural Network"", 《CHINESE CONFERENCE ON BIOMETRIC RECOGNITION(CCBR 2016)》 *
刘豪: ""有部分遮挡的人脸识别方法研究"", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *
杜改营: ""人眼检测跟踪系统设计"", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *
裔隽等著: "《Python机器学习实战》", 31 January 2018, 北京：科学技术文献出版社 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020124448A1 (en) * 2018-12-19 2020-06-25 Zhejiang Dahua Technology Co., Ltd. Systems and methods for video surveillance
CN113243015B (zh) * 2018-12-19 2024-03-26 浙江大华技术股份有限公司 视频监控系统
US11605220B2 (en) 2018-12-19 2023-03-14 Zhejiang Dahua Technology Co., Ltd. Systems and methods for video surveillance
CN113243015A (zh) * 2018-12-19 2021-08-10 浙江大华技术股份有限公司 一种视频监控系统和方法
CN109726756A (zh) * 2018-12-25 2019-05-07 北京旷视科技有限公司 图像处理方法、装置、电子设备及存储介质
WO2020186739A1 (zh) * 2019-03-19 2020-09-24 杭州光启人工智能研究院 一种基于面部识别优化数据的方法
CN110046573A (zh) * 2019-04-15 2019-07-23 北京迈格威科技有限公司 人脸图像的识别方法、装置、计算机设备和存储介质
CN110046573B (zh) * 2019-04-15 2022-04-15 北京迈格威科技有限公司 人脸图像的识别方法、装置、计算机设备和存储介质
CN110427912A (zh) * 2019-08-12 2019-11-08 深圳市捷顺科技实业股份有限公司 一种基于深度学习的人脸检测方法及其相关装置
CN110852150B (zh) * 2019-09-25 2022-12-20 珠海格力电器股份有限公司 一种人脸验证方法、系统、设备及计算机可读存储介质
CN110852150A (zh) * 2019-09-25 2020-02-28 珠海格力电器股份有限公司 一种人脸验证方法、系统、设备及计算机可读存储介质
CN112434807A (zh) * 2020-11-24 2021-03-02 上海鹰瞳医疗科技有限公司 深度学习模型性能验证方法及设备
CN112308055A (zh) * 2020-12-30 2021-02-02 北京沃东天骏信息技术有限公司 人脸检索系统的评价方法、装置、电子设备和存储介质
CN112508132B (zh) * 2021-01-29 2021-08-03 广州市玄武无线科技股份有限公司 一种识别sku的训练方法及装置
CN112508132A (zh) * 2021-01-29 2021-03-16 广州市玄武无线科技股份有限公司 一种识别sku的训练方法及装置

Similar Documents

Publication Publication Date Title
CN109002767A (zh) 一种基于深度学习的人脸验证方法及系统
CN106203294B (zh) 基于人脸属性分析的人证合一身份验证方法
US11263435B2 (en) Method for recognizing face from monitoring video data
CN102945366B (zh) 一种人脸识别的方法及装置
Faundez-Zanuy Data fusion in biometrics
US8620036B2 (en) System and method for controlling image quality
CN106022317A (zh) 人脸识别方法及装置
CN106991390A (zh) 一种基于深度学习的手持人证比对系统及方法
CN101216884A (zh) 一种人脸认证的方法及系统
Burge et al. Ear biometrics for machine vision
KR20050025927A (ko) 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
CN105119723A (zh) 基于人眼识别的身份认证及其授权方法
Charity et al. A bimodal biometrie student attendance system
CN109255319A (zh) 针对静态照片的人脸识别支付信息防伪方法
CN108960145A (zh) 人脸图像检测方法、装置、存储介质和电子设备
CN107911643A (zh) 一种视频通信中展现场景特效的方法和装置
CN105844132A (zh) 基于移动终端的人脸识别方法及系统
Hassan et al. Fusion of face and fingerprint for robust personal verification system
CN106156739A (zh) 一种基于脸部轮廓分析的证件照耳朵检测与提取方法
CN111062345B (zh) 静脉识别模型的训练方法、装置和静脉图像识别装置
Behravan et al. Introducing a new multimodal database from twins' biometric traits
Bigun et al. Combining biometric evidence for person authentication
CN110738985A (zh) 基于语音信号的跨模态生物特征识别方法及系统
CN109214286A (zh) 基于深度神经网络多层特征融合的人脸识别方法
CN115795394A (zh) 层级多模态和高级增量学习的生物特征融合身份识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181214

RJ01 Rejection of invention patent application after publication