CN111401344B - 人脸识别方法和装置及人脸识别系统的训练方法和装置 - Google Patents
人脸识别方法和装置及人脸识别系统的训练方法和装置 Download PDFInfo
- Publication number
- CN111401344B CN111401344B CN202010497697.3A CN202010497697A CN111401344B CN 111401344 B CN111401344 B CN 111401344B CN 202010497697 A CN202010497697 A CN 202010497697A CN 111401344 B CN111401344 B CN 111401344B
- Authority
- CN
- China
- Prior art keywords
- face image
- face
- sample
- current
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000013441 quality evaluation Methods 0.000 claims abstract description 143
- 239000013598 vector Substances 0.000 claims abstract description 128
- 230000006870 function Effects 0.000 claims description 44
- 238000003062 neural network model Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000001815 facial effect Effects 0.000 claims description 9
- 238000001303 quality assessment method Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 23
- 238000013473 artificial intelligence Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000001976 improved effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸识别方法和装置及人脸识别系统的训练方法和装置。该方法包括:获取待识别的目标人脸图像;将目标人脸图像输入到人脸图像识别模型中,以获取目标人脸图像对应的目标特征图和目标超球面空间特征向量;将目标特征图和目标超球面空间特征向量输入图像质量评估模型中,以得到与目标人脸图像匹配的目标置信度;在目标置信度大于第一阈值的情况下,获取目标人脸图像与参考人脸图像之间的图像相似度;在图像相似度大于第二阈值的情况下,识别出目标人脸图像所指示的第一对象身份与参考人脸图像所指示的第二对象身份一致。本发明解决了相关技术中人脸识别系统的鲁棒性较低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种人脸识别方法和装置及人脸识别系统的训练方法和装置。
背景技术
如今在安防、支付及门禁等实际应用场景中,为了保证用户数据的安全性,通常会采用人脸识别系统来对当前场景中的用户对象进行身份识别。这里人脸识别系统所采用的人脸识别方法中,常常会由于所采集到的人脸图片的质量很低(如:用户对象被遮挡、图片内容模糊、大姿态等),从而导致人脸识别系统进行人脸识别时的鲁棒性较低的问题。
为了克服上述问题,目前相关技术常用的方法是:在人脸识别系统之外,再单独部署独立的图片质量评估系统,用于对当前输入的人脸图片进行图片质量的评估,从而实现根据评估结果来确定上述人脸图片是否适合进行人脸识别。但是在这种方式中,图片质量评估系统还需要单独收集大量的样本数据进行训练,使得训练成本增加。此外,上述图片质量评估系统单独部署,还将难以保证与人脸识别系统之间的匹配度,从而使得部分适合识别的人脸图片被误筛过滤掉,或部分不适合识别的人脸图片被应用于人脸识别系统中,导致仍然人脸识别系统的鲁棒性仍然较低的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种人脸识别方法和装置及人脸识别系统的训练方法和装置,以至少解决由于图片质量评估系统单独部署而难以保证与人脸识别系统的匹配度,从而导致人脸识别系统的鲁棒性较低的技术问题。
根据本发明实施例的一个方面,提供了一种人脸识别方法,包括:获取待识别的目标人脸图像;将上述目标人脸图像输入到人脸图像识别模型中,以获取上述目标人脸图像对应的目标特征图和目标超球面空间特征向量,其中,上述人脸图像识别模型为利用多个样本人脸图像进行训练后所得到的用于进行人脸识别的深度神经网络模型;将上述目标特征图和上述目标超球面空间特征向量输入图像质量评估模型中,以得到与上述目标人脸图像匹配的目标置信度,其中,上述图像质量评估模型为在上述人脸图像识别模型的基础上,利用上述多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过上述人脸图像识别模型进行人脸识别的置信度;在上述目标置信度大于第一阈值的情况下,获取上述目标人脸图像与参考人脸图像之间的图像相似度;在上述图像相似度大于第二阈值的情况下,识别出上述目标人脸图像所指示的第一对象身份与上述参考人脸图像所指示的第二对象身份一致。
根据本发明实施例的一个方面,提供了一种人脸识别系统的训练方法,包括:获取多个样本人脸图像;利用上述多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型,其中,上述人脸图像识别模型为用于进行人脸识别的深度神经网络模型;将上述多个样本人脸图像依次输入上述人脸图像识别模型,得到多个人脸识别样本结果;利用上述多个人脸识别样本结果及与每个上述样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的上述图像质量评估模型,其中,上述样本类中心向量用于指示上述样本人脸图像所属的身份类别,上述图像质量评估模型为在上述人脸图像识别模型的基础上,利用上述多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过上述人脸图像识别模型进行人脸识别的置信度;组合上述人脸图像识别模型和上述图像质量评估模型,得到上述人脸识别系统。
根据本发明实施例的另一方面,还提供了一种人脸识别装置,包括:第一获取单元,用于获取待识别的目标人脸图像;第一输入单元,用于将上述目标人脸图像输入到人脸图像识别模型中,以获取上述目标人脸图像对应的目标特征图和目标超球面空间特征向量,其中,上述人脸图像识别模型为利用多个样本人脸图像进行训练后所得到的用于进行人脸识别的深度神经网络模型;第二输入单元,用于将上述目标特征图和上述目标超球面空间特征向量输入图像质量评估模型中,以得到与上述目标人脸图像匹配的目标置信度,其中,上述图像质量评估模型为在上述人脸图像识别模型的基础上,利用上述多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过上述人脸图像识别模型进行人脸识别的置信度;第二获取单元,用于在上述目标置信度大于第一阈值的情况下,获取上述目标人脸图像与参考人脸图像之间的图像相似度;识别单元,用于在上述图像相似度大于第二阈值的情况下,识别出上述目标人脸图像所指示的第一对象身份与上述参考人脸图像所指示的第二对象身份一致。
根据本发明实施例的另一方面,还提供了一种人脸识别系统的训练装置,包括:获取单元,用于获取多个样本人脸图像;第一训练单元,用于利用上述多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型,其中,上述人脸图像识别模型为用于进行人脸识别的深度神经网络模型;输入单元,用于将上述多个样本人脸图像依次输入上述人脸图像识别模型,得到多个人脸识别样本结果;第二训练单元,用于利用上述多个人脸识别样本结果及与每个上述样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的上述图像质量评估模型,其中,上述样本类中心向量用于指示上述样本人脸图像所属的身份类别,上述图像质量评估模型为在上述人脸图像识别模型的基础上,利用上述多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过上述人脸图像识别模型进行人脸识别的置信度;组合单元,用于组合上述人脸图像识别模型和上述图像质量评估模型,得到上述人脸识别系统。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述人脸识别方法或人脸识别系统的训练方法。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过所述计算机程序执行上述的人脸识别方法或人脸识别系统的训练方法。
在本发明实施例中,在获取待识别的目标人脸图像之后,通过人脸图像识别模型结合图像质量评估模型,来对目标人脸图像进行评估识别,在对目标人脸图像的图像质量进行评估得到的目标置信度大于第一阈值的情况下,才对该目标人脸图像与参考人脸图像进行比对,得到图像相似度,并在图像相似度大于第二阈值的情况下,识别出该目标人脸图像所指示的第一对象身份与参考人脸图像所指示的第二对象身份一致。从而实现根据待识别的人脸图像的图像质量评估结果,对其进行有效地过滤筛选,以提高人脸识别系统的鲁棒性及识别效率,进而克服相关技术中由于图片质量评估系统单独部署而难以保证与人脸识别系统的匹配度,从而导致人脸识别系统的鲁棒性较低的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的人脸识别方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的人脸识别方法的流程图;
图3是根据本发明实施例的一种可选的人脸识别方法的架构示意图;
图4是根据本发明实施例的另一种可选的人脸识别方法的流程图;
图5是根据本发明实施例的一种可选的人脸识别方法中人脸图像识别模型的训练方法的流程图;
图6是根据本发明实施例的一种可选的人脸识别方法中图像质量评估模型的训练方法的流程图;
图7是根据本发明实施例的一种可选的人脸识别系统的训练方法的流程图;
图8是根据本发明实施例的一种可选的人脸识别装置的结构示意图;
图9是根据本发明实施例的一种可选的人脸识别系统的训练装置的结构示意图;
图10是根据本发明实施例的一种可选的电子设备的结构示意图;
图11是根据本发明实施例的另一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
人工智能(Artificial Intelligence,简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,简称 CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,简称ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的人脸识别等技术,具体通过如下实施例进行说明:
根据本发明实施例的一个方面,提供了一种人脸识别方法,可选地,作为一种可选的实施方式,上述人脸识别方法可以但不限于应用于如图1所示的环境中的人脸识别系统中,其中,该人脸识别系统可以包括但不限于终端设备102、网络104、服务器106。这里终端设备102用于采集待识别的人脸图像。上述终端设备102中包括人机交互屏幕1022,处理器1024,存储器1026及摄像头1028。人机交互屏幕1022用于提供人机交互接口来接受用户触发的控制操作。上述处理器1024用于响应上述控制操作生成操作指令,并按照该操作指令控制摄像头对指定区域内的对象进行人脸图像的采集。存储器1026用于存储上述采集到的人脸图像。摄像头1028用于根据操作指令对指定区域内的对象执行人脸图像的采集操作。
此外,服务器106中包括数据库1062及处理引擎1064,数据库1062中用于存储人脸图像识别模型和图像质量评估模型。处理引擎1064用于利用上述图像质量评估模型来评估当前输入的人脸图像需要通过人脸图像识别模型进行人脸识别的置信度,并根据该置信度对选定的高质量的人脸图像进行人脸识别。
具体过程如以下步骤:如步骤S102-S104,终端设备102获取待识别的目标人脸图像之后,通过网络104将该目标人脸图像发送给服务器106。服务器106将通过处理引擎1064执行以下步骤S106-S112:将目标人脸图像输入到人脸图像识别模型中,以获取目标人脸图像对应的目标特征图和目标超球面空间特征向量,然后将该目标特征图和目标超球面空间特征向量输入图像质量评估模型中,以得到与目标人脸图像匹配的目标置信度。其中,上述人脸图像识别模型为利用多个样本人脸图像进行训练后所得到的用于进行人脸识别的深度神经网络模型,上述图像质量评估模型为在上述人脸图像识别模型的基础上,利用上述多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过人脸图像识别模型进行人脸识别的置信度。在上述目标置信度大于第一阈值的情况下,获取目标人脸图像与参考人脸图像之间的图像相似度,并在该图像相似度大于第二阈值的情况下,识别出上述目标人脸图像所指示的第一对象身份与参考人脸图像所指示的第二对象身份。最后如步骤S114,将上述人脸识别结果通过网络104返回至终端设备102。
需要说明的是,在本实施例中,在获取待识别的目标人脸图像之后,通过人脸图像识别模型结合图像质量评估模型,来对目标人脸图像进行评估识别,在对目标人脸图像的图像质量进行评估得到的目标置信度大于第一阈值的情况下,才对该目标人脸图像与参考人脸图像进行比对,得到图像相似度,并在图像相似度大于第二阈值的情况下,识别出该目标人脸图像所指示的第一对象身份与参考人脸图像所指示的第二对象身份一致。从而实现根据待识别的人脸图像的图像质量评估结果,对其进行有效地过滤筛选,以提高人脸识别系统的鲁棒性及识别效率,进而克服相关技术中由于图片质量评估系统单独部署而难以保证与人脸识别系统的匹配度,从而导致人脸识别系统的鲁棒性较低的问题。
可选地,在本实施例中,上述终端设备可以是配置有摄像头的终端设备,可以包括但不限于以下至少之一:手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices,移动互联网设备)、PAD、台式电脑、智能电视等。上述网络可以包括但不限于:有线网络,无线网络,其中,该有线网络包括:局域网、城域网和广域网,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,或者是云服务器。上述仅是一种示例,本实施例中对此不作任何限定。
可选地,作为一种可选的实施方式,如图2所示,上述人脸识别方法包括:
S202,获取待识别的目标人脸图像;
S204,将目标人脸图像输入到人脸图像识别模型中,以获取目标人脸图像对应的目标特征图和目标超球面空间特征向量,其中,人脸图像识别模型为利用多个样本人脸图像进行训练后所得到的用于进行人脸识别的深度神经网络模型;
S206,将目标特征图和目标超球面空间特征向量输入图像质量评估模型中,以得到与目标人脸图像匹配的目标置信度,其中,图像质量评估模型为在人脸图像识别模型的基础上,利用多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过人脸图像识别模型进行人脸识别的置信度;
S208,在目标置信度大于第一阈值的情况下,获取目标人脸图像与参考人脸图像之间的图像相似度;
S210,在图像相似度大于第二阈值的情况下,识别出目标人脸图像所指示的第一对象身份与参考人脸图像所指示的第二对象身份一致。
可选地,在本实施例中,上述人脸识别方法可以但不限于应用于安防、支付、门禁等身份认证场景中。通过摄像头采集位于上述场景中的指定区域内的目标对象的目标人脸图像,然后采用本申请实施例提供的人脸图像识别模型和图像质量评估模型,来共同分析目标人脸图像与参考人脸图像(这里为上述目标对象预存的人脸图像)之间的图像相似度,从而根据该图像相似度来确定目标人脸图像所指示的对象身份是否为上述目标对象。其中,上述图像质量评估模型可以但不限于为是在已完成训练的人脸图像识别模型的基础上,复用用于训练该人脸图像识别模型的多个样本人脸图像进行再次训练,所得到的用于评估人脸图像的图像质量是否允许用于人脸识别的神经网络模型。从而实现利用组合后的人脸图像识别模型和图像质量评估模型来完成人脸识别过程,而不再单独部署图像质量评估模型,以克服相关技术中由于独立部署所导致的人脸识别系统的鲁棒性较低的问题。
可选地,在本实施例中,上述人脸识别方法可以但不限于应用于图3所示的逻辑架构中,包括模型训练阶段302和模型部署阶段304。这里模型训练阶段302可以包括但不限于:S3022训练人脸图像识别模型,及S3024训练图像质量评估模型。在完成两个模型的训练后进入模型部署阶段304,这里模型部署阶段304可以包括但不限于:S3042,对人脸图像识别模型和图像质量评估模型及图像相似度判断模块进行组合,形成人脸识别体系,并利用该体系识别人脸图像所指示的对象身份。
可选地,在本实施例中,上述人脸图像识别模型中可以但不限于为卷积神经网络,其中包括:卷积(Convolution)层、激活函数(如非线性激活函数Relu)、池化(Pooling)层及全连接层,其中,卷积层用于提取当前样本人脸图像中的图像特征,激活函数和池化层用于对图像特征进行计算处理,得到当前特征图,全连接层用于将当前特征图映射为超球面空间中的当前超球面空间特征向量。上述图像质量评估模型可以但不限于为可以但不限于为卷积神经网络,其中包括:若干层全连接,此外,还可以采用RESNET形式的神经网络等。上述为示例,本实施例中对此不作任何限定。
需要说明的是,在本实施例中,上述图像质量评估模型输出的置信度(也可称作图像质量评分)k,用于指示图像质量适合进行人脸识别的概率,置信度k取值越大,则指示图像质量越高,越有利于进行人脸识别。在本申请实施例的下文中还可以将其称作不确定度k。
此外,在本实施例中,在将目标特征图和目标超球面空间特征向量输入图像质量评估模型中,以得到与目标人脸图像匹配的目标置信度之后,还可以包括但不限于:在目标置信度小于等于第一阈值的情况下,生成识别异常警告消息,其中,识别异常警告消息用于指示重新获取目标人脸图像。
需要说明的是,在本实施例中,在图像质量评估模型输出的目标置信度指示小于或等于第一阈值的情况下,可以在终端设备提示重新采集目标对象的目标人脸图像。此外,还可以进入人工确认环节。本实施例中对此不作任何限定。
假设在模块部署阶段已经组合部署人脸图像识别模型和图像质量评估模型,形成一个完整的人脸识别体系,具体结合图4所示流程步骤S402-S418来说明人脸识别过程:
如步骤S402-S404,输入待识别的目标人脸图像,并将其输入人脸图像识别模型。在人脸图像识别模型中将对该目标人脸图像进行特征提取,得到与其对应的特征图,并将特征图经过全连接层映射到超球面空间后得到维度为d的超球面空间特征向量μ,如步骤S406。然后如步骤S408-S410,将上述特征图和超球面空间特征向量输入图像质量评估模型,获取与目标人脸图像对应的目标置信度k。
进一步如步骤S412,判断上述目标置信度是否大于第一阈值(即质量评分阈值)。在确定目标置信度大于第一阈值的情况下,执行步骤S414-1获取上述目标人脸图像与数据库中参考人脸图像之间段图像相似度。而在确定目标置信小于或等于第一阈值的情况下,执行步骤S414-2提示重新输入上述目标人脸图像,或进入人工确认环节。
在得到上述图像相似度之后,如步骤S416,判断该图像相似度是否大于第二阈值。在确定图像相似度大于第二阈值的情况下,执行步骤S418,确定目标人脸图像所指示的对象身份。即,确定是否与参考人脸图像所指示的对象身份一致。而在确定图像相似度小于或等于第二阈值的情况下,返回步骤S414-1,重新获取下一个参考人脸图像,重新计算该目标人脸图像与新的参考人脸图像之间的相似度。
通过本申请提供的实施例,采用本申请实施例提供的人脸图像识别模型和图像质量评估模型,来共同分析目标人脸图像与参考人脸图像(这里为上述目标对象预存的人脸图像)之间的图像相似度,从而根据该图像相似度来确定目标人脸图像所指示的对象身份是否为上述目标对象。其中,上述图像质量评估模型可以但不限于为是在已完成训练的人脸图像识别模型的基础上,复用用于训练该人脸图像识别模型的多个样本人脸图像进行再次训练,所得到的用于评估人脸图像的图像质量是否允许用于人脸识别的神经网络模型。从而实现利用组合后的人脸图像识别模型和图像质量评估模型来完成人脸识别过程,而不再单独部署图像质量评估模型,以克服相关技术中由于独立部署所导致的人脸识别系统的鲁棒性较低的问题。
作为一种可选的方案,获取目标人脸图像与参考人脸图像之间的图像相似度包括:
S1,遍历预先构建的人脸图像数据库,依次获取每一张人脸图像作为参考人脸图像,其中,人脸图像数据库中的每一张人脸图像需要通过人脸图像识别模型进行人脸识别的置信度均大于第一阈值;
S2,获取目标人脸图像的目标超球面空间特征向量与参考人脸图像的参考超球面空间特征向量之间的余弦距离,作为目标人脸图像与参考人脸图像之间的图像相似度。
需要说明的是,在本实施例中,上述参考人脸图像可以但不限于为预先构建的人脸图像数据库中的任意一张人脸图像。这里的参考人脸图像通过图像指令评估模型评估后的置信度均大于第一阈值。也就是说,人脸图像数据库中的各个参考人脸图像的图像质量均已达到进行人脸识别的要求。
可选地,在本实施例中,上述图像相似度可以但不限于为目标人脸图像的目标超球面空间特征向量与参考人脸图像的参考超球面空间特征向量之间的余弦距离。这里余弦距离可以但不限于为计算上述两个超球面空间特征向量之间的余弦值。
例如,在门禁验证过程中,在通过摄像头采集到目标对象的目标人脸图像之后,可以到用于进行门禁验证的人脸图像数据库中查找是否存在至少一个参考人脸图像与目标人脸图像之间的相似度大于阈值,在查找到该参考人脸图像的情况下,则确定目标人脸图像所指示的对象身份为上述参考人脸对象预先存储的对象身份。
需要说明的是,在本实施例中,上述人脸图像数据库可以但不限于为在应用人脸识别系统之前,利用预先采集的各个对象的人脸图像所构建的图像数据库。这里人脸图像数据库中可以至少包括但不限于:人脸图像、该人脸图像的图像标识及该人脸图像所指示的对象的身份信息等。这里为示例,人脸图像数据库中还可以包括其他与人脸识别过程关联的数据,如该人脸图像所指示的对象预先输入的密码信息或基础属性信息(如年龄、性别等)本实施例中对此不作限定。
通过本申请提供的实施例,在比对目标人脸图像与人脸图像数据库中的人脸图像之间的图像相似度之后,将达到快速基于上述图像相似度来确定与目标人脸图像对应的对象身份,从而提高人脸识别的效率。
作为一种可选的方案,在获取待识别的目标人脸图像之前,还包括:
S1,获取多个样本人脸图像;
S2,利用多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型;
S3,将多个样本人脸图像依次输入人脸图像识别模型,得到多个人脸识别样本结果,其中,每个人脸识别样本结果中包括与样本人脸图像对应的特征图和超球面空间特征向量;
S4,利用多个人脸识别样本结果及与每个样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型,其中,样本类中心向量用于指示样本人脸图像所属的身份类别。
需要说明的是,在模块训练阶段,将复用相同的多个样本人脸图像,来分别训练得到人脸图像识别模型和图像质量评估模型。也就是说,在利用上述多个样本人脸图像对初始化人脸图像识别模型进行训练,直至该模型达到第一收敛条件,得到训练完成的人脸图像识别模型。然后,固定训练完成的人脸图像识别模型中的参数,将其输出作为初始化图像质量评估模型的输入,进行迭代训练,直至该模型达到第二收敛条件,得到训练完成的图像质量评估模型。在上述训练图像质量评估模型的过程中,通过迭代训练来优化调整图像质量评估模型中的参数,而不更新人脸图像识别模型中的参数。
在得到完成训练的人脸图像识别模型和图像质量评估模型之后,可以对其进行进一步整合,并增加图像相似度判断马模块,从而得到完整的本申请实施例所提供的人脸识别体系。
通过本申请提供的实施例,复用多个样本人脸图像来训练得到人脸图像识别模型和图像质量评估模型,而无需多次收集大量不同的样本数据,从而达到了节省训练成本的目的。
作为一种可选的方案,利用多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型包括:
S1,重复执行以下步骤,直至满足第一收敛条件,其中,初始化人脸图像识别模型中的参数值为初始值:
S12,将当前样本人脸图像输入当前人脸图像识别模型,其中,当前人脸图像识别模型中包括卷积层、激活函数、池化层及全连接层,卷积层用于提取当前样本人脸图像中的图像特征,激活函数和池化层用于对图像特征进行计算处理,得到当前特征图,全连接层用于将当前特征图映射为超球面空间中的当前超球面空间特征向量;
S13,将当前超球面空间特征向量和与当前样本人脸图像匹配的当前类中心向量输入当前人脸图像识别模型中的第一目标函数,得到第一当前损失值,其中,当前类中心向量用于指示当前样本人脸图像所属的身份类别;
S14,在当前人脸图像识别模型对应的迭代次数大于等于第三阈值,和/或,第一当前损失值小于等于第四阈值的情况下,确定满足第一收敛条件,并将当前人脸图像识别模型确定为完成训练的人脸图像识别模型。
可选地,在本实施例中,获取与样本人脸图像对应的样本类中心向量包括但不限于以下之一:
1)根据与样本人脸图像匹配的身份标签对多个样本人脸图像进行聚类,得到M个身份类别的样本人脸图像集;对每个身份类别的样本人脸图像集中包含的样本人脸图像进行人脸特征的提取,得到与身份类别对应的类别人脸特征;对类别人脸特征进行均值计算,得到与身份类别对应的样本类中心向量,并将样本类中心向量作为身份类别下样本人脸图像集中每个样本人脸图像对应的样本类中心向量;或者
2)将样本人脸图像和与样本人脸图像匹配的身份标签依次输入人脸图像识别模型,以通过人脸图像识别模型中的分类子网络模型确定出与样本人脸图像对应的样本类中心向量。
具体结合图5所示示例进行说明:
S502,准备训练数据:在开始训练之前,获取多个样本人脸图像,并将其组合成一个数据组,以输入将要训练的人脸图像识别模型中进行训练处理。
S504,构建深度神经网络:这里构建的深度神经网络的结构可以为卷积神经网络
(CNN),包含有卷积(convolution)计算、非线性激活函数(Relu)计算、池化(Pooling)计算
等操作。将构建好的深度神经网络作为初始化人脸图像识别模型,在该模型中将对样本人
脸图像进行空间特征的提取,并输出特征图,该特征图中保留着样本人脸图像的空间结构
信息。同时,这里还可以输出样本人脸图像所属身份类别的分类权重,进而得到对应的类中
心向量。其中,每个身份类别的对象可以包括但不限于多个人脸图像,但一个人脸图像唯一
归属于一个身份类别。例如,类中心向量(表示第c类样本的类中心)。
S508,人脸识别目标函数计算:将全连接映射得到的超球面空间特征向量μ及产生该超球面空间特征向量的人脸图像的标签信息(携带有身份类别信息)作为输入,输入第一目标函数计算,得到损失值。需要说明的是,上述目标函数可以包括但不限于:分类函数(如softmax、各类加margin类型的softmax),也可采用其他类型的目标函数。
S510,判断当前是否达到第一收敛条件。例如,第一收敛条件可以包括但不限于:迭代次数满足设定的值,或者上述人脸识别的目标函数计算出的损失值小于设定的值。在确定未达到第一收敛条件的情况下,则执行步骤S512-1,对人脸识别的目标函数进行优化计算;否则执行步骤S512-2,确定完成当前训练的当前人脸图像识别模型为最终应用于实际场景的人脸图像识别模型。
S512-1,人脸识别的目标函数优化计算:基于梯度下降的方式(如随机梯度下降,带动量项的随机梯度下降,adam,adagard),对上述整个深度神经网络进行训练优化,直至训练的结果达到上述第一收敛条件。
通过本申请提供的实施例,通过利用多个样本人脸图像进行训练来得到用于进行人脸识别的人脸图像识别模型,从而提高人脸识别的效率。
作为一种可选的方案,利用多个人脸识别样本结果及与每个样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型包括:
S1,重复执行以下步骤,直至满足第二收敛条件,其中,初始化图像质量评估模型中的参数值为初始值:
S12,确定当前样本人脸图像对应的当前人脸识别样本结果,及与当前样本人脸图像对应的当前样本类中心向量;
S14,将当前人脸识别样本结果及当前样本类中心向量,输入当前图像质量评估模型,得到与当前样本人脸图像对应的当前置信度,其中,当前置信度为用于评估当前样本人脸图像需要通过人脸图像识别模型进行人脸识别的置信度;
S16,将当前人脸识别样本结果,当前样本类中心向量,当前置信度及当前配置的超球面空间半径输入当前图像质量评估模型中的第二目标函数,得到第二当前损失值;
S18,在当前图像质量评估模型对应的迭代次数大于等于第五阈值,和/或,第二当前损失值小于等于第六阈值的情况下,确定满足第二收敛条件,并将当前图像质量评估模型确定为完成训练的图像质量评估模型。
可选地,在本实施例中,在将当前人脸识别样本结果,当前样本类中心向量,当前置信度及当前配置的超球面空间半径输入当前图像质量评估模型中的第二目标函数,得到第二当前损失值之前,还包括:获取预设人脸图像的超球面空间特征向量和预设人脸图像的类中心向量;获取预设人脸图像的超球面空间特征向量在超球面空间映射得到的第一概率密度变量,及预设人脸图像的类中心向量在超球面空间映射得到的第二概率密度变量;根据第一概率密度变量与第二概率密度变量的距离差,构建第二目标函数。
也就是说,在本实施例中,上述图像质量评估模型的第二目标函数可以但不限于是基于超球面空间的超球面概率密度分布函数所构建的。分别将人脸图像的超球面空间特征向量和类中心向量代入超球面概率密度分布函数,得到第一概率密度变量和第二概率密度变量。然后获取二者之间的距离差,使其趋于无穷大,然后整合公式后将得到上述第二目标函数。
需要说明的是,在本实施例中,在对图像质量评估模型进行训练的过程,需要配合使用图5所示的人脸图像识别模型中的部分流程步骤。在以下图像质量评估模型的训练过程中,上述人脸图像识别模型中的参数固定,并不进行更新。
具体结合图6所示示例进行说明:
S602至S606,准备训练数据:在开始训练之前,获取多个样本人脸图像,并将其组合成一个数据组,以输入将要训练的图像质量评估模型中进行训练处理。需要说明的是,这里的多个样本人脸图像为上述人脸图像识别模型训练过程中所使用过的样本数据,这里为样本复用,以节省再次收集样本数据的成本。然后如步骤S604-1至S606,这里直接应用上述已经完成训练的深度神经网络模型,并进行全连接映射。
S604-2,获取类中心向量:计算得到多个样本人脸图像中每一个身份类别下人脸
图像的类中心向量(表示第c类样本的类中心)。这里的计算方法可以包括:对同一身份
类别中的所有人脸图像提取出的人脸特征在各个维度上取均值,以得到该身份类别下的类
中心向量。或者,还可以采用上述训练的人脸图像识别模型中的分类子网络模型来得到每
一个身份类别的分类权重,并将其作为其类中心。需要说明的是,这里步骤S604-2,用于表
示与步骤S602,S604-1及S606独立,但不限定其执行顺序。也就是说,在进行图像质量评估
模型的训练之前,获取类中心向量即可,不对其与步骤S602,S604-1及S606之间的执行顺序
进行限定。
S608,构建图像质量评估模型:这里构建的图像质量评估模型的结构可以为卷积神经网络(CNN),其中包括:若干层全连接相连、采用RESNET形式的神经网络等。将构建好的图像质量评估模型作为初始化图像质量评估模型。在该模型中将估计每个输入的人脸图像的超球面空间特征向量在超球面空间中的置信度k。
可选地,在本实施例中,将当前人脸识别样本结果,当前样本类中心向量,当前置信度及当前配置的超球面空间半径输入当前图像质量评估模型中的第二目标函数,得到第二当前损失值包括:
通过以下公式计算第二当前损失值:
其中,LS为第二当前损失值,μ(x)为当前人脸识别样本结果中的超球面空间特征
向量,k为当前置信度,为当前样本人脸图像属于第N个身份类别的当前样本类中心向
量,r为当前配置的超球面空间半径,d为当前人脸识别样本结果中超球面空间特征向量的
维度数,为采用贝塞尔函数对当前置信度进行计算得到的结果。
S612,判断当前是否达到第二收敛条件。例如,第二收敛条件可以包括但不限于:迭代次数满足设定的值,或者上述图像质量评估的目标函数计算出的损失值小于设定的值。在确定未达到第一收敛条件的情况下,则执行步骤S614-1,对图像质量评估的目标函数进行优化计算;否则执行步骤S614-2,确定完成当前训练的当前图像质量评估模型为最终应用于实际场景的图像质量评估模型。
S614-1,图像质量评估的目标函数优化计算:基于梯度下降的方式(如随机梯度下降,带动量项的随机梯度下降,adam,adagard),对整个图像质量评估模型中的参数进行优化(如将结果返回步骤S608,以调整模型),直至训练的结果达到上述第二收敛条件。
其中对于k、μ其优化的梯度可以如以下公式:
通过本申请提供的实施例,在已完成训练的人脸图像识别模型的基础上,复用使用过的样本人脸图像来训练初始化图像质量评估模型,使得完成训练的两个模型可以直接组合,而不再单独部署。从而实现对获取到的目标人脸图像的图像质量进行评估,以及时进行有效地筛选过滤,保证人脸识别的鲁棒性,进而克服相关技术中鲁棒性较低的问题。
根据本发明实施例的另一个方面,还提供了一种脸识别系统的训练方法。如图7所示,该方法包括:
S702,获取多个样本人脸图像;
S704,利用多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型,其中,人脸图像识别模型为用于进行人脸识别的深度神经网络模型;
S706,将多个样本人脸图像依次输入人脸图像识别模型,得到多个人脸识别样本结果;
S708,利用多个人脸识别样本结果及与每个样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型,其中,样本类中心向量用于指示样本人脸图像所属的身份类别,图像质量评估模型为在人脸图像识别模型的基础上,利用多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过人脸图像识别模型进行人脸识别的置信度;
S710,组合人脸图像识别模型和图像质量评估模型,得到人脸识别系统。
本方案中的实施例,可以但不限于参照上述方法实施例,本实施例中对此不再赘述。
作为一种可选的方案,利用多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型包括:
S1,重复执行以下步骤,直至满足第一收敛条件,其中,初始化人脸图像识别模型中的参数值为初始值:
S12,将当前样本人脸图像输入当前人脸图像识别模型,其中,当前人脸图像识别模型中包括卷积层、激活函数、池化层及全连接层,卷积层用于提取当前样本人脸图像中的图像特征,激活函数和池化层用于对图像特征进行计算处理,得到当前特征图,全连接层用于将当前特征图映射为超球面空间中的当前超球面空间特征向量;
S14,将当前超球面空间特征向量和与当前样本人脸图像匹配的当前类中心向量输入当前人脸图像识别模型中的第一目标函数,得到第一当前损失值,其中,当前类中心向量用于指示当前样本人脸图像所属的身份类别;
S16,在当前人脸图像识别模型对应的迭代次数大于等于第三阈值,和/或,第一当前损失值小于等于第四阈值的情况下,确定满足第一收敛条件,并将当前人脸图像识别模型确定为完成训练的人脸图像识别模型。
本方案中的实施例,可以但不限于参照上述方法实施例,本实施例中对此不再赘述。
作为一种可选的方案,利用多个人脸识别样本结果及与每个样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型包括:
S1,重复执行以下步骤,直至满足第二收敛条件,其中,初始化图像质量评估模型中的参数值为初始值:
S12,确定当前样本人脸图像对应的当前人脸识别样本结果,及与当前样本人脸图像对应的当前样本类中心向量;
S14,将当前人脸识别样本结果及当前样本类中心向量,输入当前图像质量评估模型,得到与当前样本人脸图像对应的当前置信度,其中,当前置信度为用于评估当前样本人脸图像需要通过人脸图像识别模型进行人脸识别的置信度;
S16,将当前人脸识别样本结果,当前样本类中心向量,当前置信度及当前配置的超球面空间半径输入当前图像质量评估模型中的第二目标函数,得到第二当前损失值;
S18,在当前图像质量评估模型对应的迭代次数大于等于第五阈值,和/或,第二当前损失值小于等于第六阈值的情况下,确定满足第二收敛条件,并将当前图像质量评估模型确定为完成训练的图像质量评估模型。
本方案中的实施例,可以但不限于参照上述方法实施例,本实施例中对此不再赘述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述人脸识别方法的人脸识别装置。如图8所示,该装置包括:
1)第一获取单元802,用于获取待识别的目标人脸图像;
2)第一输入单元804,用于将目标人脸图像输入到人脸图像识别模型中,以获取目标人脸图像对应的目标特征图和目标超球面空间特征向量,其中,人脸图像识别模型为利用多个样本人脸图像进行训练后所得到的用于进行人脸识别的深度神经网络模型;
3)第二输入单元806,用于将目标特征图和目标超球面空间特征向量输入图像质量评估模型中,以得到与目标人脸图像匹配的目标置信度,其中,图像质量评估模型为在人脸图像识别模型的基础上,利用多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过人脸图像识别模型进行人脸识别的置信度;
4)第二获取单元808,用于在目标置信度大于第一阈值的情况下,获取目标人脸图像与参考人脸图像之间的图像相似度;
5)识别单元810,用于在图像相似度大于第二阈值的情况下,识别出目标人脸图像所指示的第一对象身份与参考人脸图像所指示的第二对象身份一致。
本方案中的实施例,可以但不限于参照上述方法实施例,本实施例中对此不再赘述。
根据本发明实施例的另一个方面,还提供了一种用于实施上述人脸识别系统的训练方法的人脸识别系统的训练装置。如图9所示,该装置包括:
1)获取单元902,用于获取多个样本人脸图像;
2)第一训练单元904,用于利用多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型,其中,人脸图像识别模型为用于进行人脸识别的深度神经网络模型;
3)输入单元906,用于将多个样本人脸图像依次输入人脸图像识别模型,得到多个人脸识别样本结果;
4)第二训练单元908,用于利用多个人脸识别样本结果及与每个样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型,其中,样本类中心向量用于指示样本人脸图像所属的身份类别,图像质量评估模型为在人脸图像识别模型的基础上,利用多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过人脸图像识别模型进行人脸识别的置信度;
5)组合单元910,用于组合人脸图像识别模型和图像质量评估模型,得到人脸识别系统。
本方案中的实施例,可以但不限于参照上述方法实施例,本实施例中对此不再赘述。
根据本发明实施例的又一个方面,还提供了一种用于实施上述人脸识别方法的电子设备,该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图10所示,该电子设备包括存储器1002和处理器1004,该存储器1002中存储有计算机程序,该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取待识别的目标人脸图像;
S2,将目标人脸图像输入到人脸图像识别模型中,以获取目标人脸图像对应的目标特征图和目标超球面空间特征向量,其中,人脸图像识别模型为利用多个样本人脸图像进行训练后所得到的用于进行人脸识别的深度神经网络模型;
S3,将目标特征图和目标超球面空间特征向量输入图像质量评估模型中,以得到与目标人脸图像匹配的目标置信度,其中,图像质量评估模型为在人脸图像识别模型的基础上,利用多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过人脸图像识别模型进行人脸识别的置信度;
S4,在目标置信度大于第一阈值的情况下,获取目标人脸图像与参考人脸图像之间的图像相似度;
S5,在图像相似度大于第二阈值的情况下,识别出目标人脸图像所指示的第一对象身份与参考人脸图像所指示的第二对象身份一致。
可选地,本领域普通技术人员可以理解,图10所示的结构仅为示意,电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图10其并不对上述电子装置电子设备的结构造成限定。例如,电子装置电子设备还可包括比图10中所示更多或者更少的组件(如网络接口等),或者具有与图10所示不同的配置。
其中,存储器1002可用于存储软件程序以及模块,如本发明实施例中的人脸识别方法和装置对应的程序指令/模块,处理器1004通过运行存储在存储器1002内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的人脸识别方法。存储器1002可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1002可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1002具体可以但不限于用于存储人脸图像、人脸图像识别模型及图像质量评估模型等信息。作为一种示例,如图10所示,上述存储器1002中可以但不限于包括上述人脸识别装置中的第一获取单元802、第一输入单元804、第二输入单元806、第二获取单元808及识别单元810。此外,还可以包括但不限于上述人脸识别装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1006包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1006为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1008,用于显示上述人脸图像;和连接总线1010,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(P2P,Peer To Peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本发明实施例的又一个方面,还提供了一种用于实施上述人脸识别系统的训练方法的电子设备,该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图11所示,该电子设备包括存储器1102和处理器1104,该存储器1102中存储有计算机程序,该处理器1104被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:
S1,获取多个样本人脸图像;
S2,利用多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型,其中,人脸图像识别模型为用于进行人脸识别的深度神经网络模型;
S3,将多个样本人脸图像依次输入人脸图像识别模型,得到多个人脸识别样本结果;
S4,利用多个人脸识别样本结果及与每个样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型,其中,样本类中心向量用于指示样本人脸图像所属的身份类别,图像质量评估模型为在人脸图像识别模型的基础上,利用多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过人脸图像识别模型进行人脸识别的置信度;
S5,组合人脸图像识别模型和图像质量评估模型,得到人脸识别系统。
可选地,本领域普通技术人员可以理解,图11所示的结构仅为示意,电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图11其并不对上述电子装置电子设备的结构造成限定。例如,电子装置电子设备还可包括比图11中所示更多或者更少的组件(如网络接口等),或者具有与图11所示不同的配置。
其中,存储器1102可用于存储软件程序以及模块,如本发明实施例中的人脸识别系统的训练方法和装置对应的程序指令/模块,处理器1104通过运行存储在存储器1102内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的人脸识别系统的训练方法。存储器1102可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1102可进一步包括相对于处理器1104远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1102具体可以但不限于用于存储人脸图像、人脸图像识别模型及图像质量评估模型等信息。作为一种示例,如图11所示,上述存储器1102中可以但不限于包括上述人脸识别装置中的获取单元902、第一训练单元904、输入单元906、第二训练单元908及组合单元910。此外,还可以包括但不限于上述人脸识别系统的训练装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1106包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1106为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1108,用于显示上述人脸图像;和连接总线1110,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(P2P,Peer To Peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取待识别的目标人脸图像;
S2,将目标人脸图像输入到人脸图像识别模型中,以获取目标人脸图像对应的目标特征图和目标超球面空间特征向量,其中,人脸图像识别模型为利用多个样本人脸图像进行训练后所得到的用于进行人脸识别的深度神经网络模型;
S3,将目标特征图和目标超球面空间特征向量输入图像质量评估模型中,以得到与目标人脸图像匹配的目标置信度,其中,图像质量评估模型为在人脸图像识别模型的基础上,利用多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过人脸图像识别模型进行人脸识别的置信度;
S4,在目标置信度大于第一阈值的情况下,获取目标人脸图像与参考人脸图像之间的图像相似度;
S5,在图像相似度大于第二阈值的情况下,识别出目标人脸图像所指示的第一对象身份与参考人脸图像所指示的第二对象身份一致。
可选地,在本实施例中,上述计算机可读的存储介质还可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取多个样本人脸图像;
S2,利用多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型,其中,人脸图像识别模型为用于进行人脸识别的深度神经网络模型;
S3,将多个样本人脸图像依次输入人脸图像识别模型,得到多个人脸识别样本结果;
S4,利用多个人脸识别样本结果及与每个样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型,其中,样本类中心向量用于指示样本人脸图像所属的身份类别,图像质量评估模型为在人脸图像识别模型的基础上,利用多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过人脸图像识别模型进行人脸识别的置信度;
S5,组合人脸图像识别模型和图像质量评估模型,得到人脸识别系统。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种人脸识别方法,其特征在于,包括:
获取多个样本人脸图像;
利用所述多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型;
将所述多个样本人脸图像依次输入所述人脸图像识别模型,得到多个人脸识别样本结果,其中,每个人脸识别样本结果中包括与所述样本人脸图像对应的特征图和超球面空间特征向量;
利用所述多个人脸识别样本结果及与每个所述样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型,其中,所述样本类中心向量用于指示所述样本人脸图像所属的身份类别;
获取待识别的目标人脸图像;
将所述目标人脸图像输入到所述人脸图像识别模型中,以获取所述目标人脸图像对应的目标特征图和目标超球面空间特征向量,其中,所述人脸图像识别模型为利用所述多个样本人脸图像进行训练后所得到的用于进行人脸识别的深度神经网络模型;
将所述目标特征图和所述目标超球面空间特征向量输入所述图像质量评估模型中,以得到与所述目标人脸图像匹配的目标置信度,其中,所述图像质量评估模型为在所述人脸图像识别模型的基础上,利用所述多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过所述人脸图像识别模型进行人脸识别的置信度;
在所述目标置信度大于第一阈值的情况下,获取所述目标人脸图像与参考人脸图像之间的图像相似度;
在所述图像相似度大于第二阈值的情况下,识别出所述目标人脸图像所指示的第一对象身份与所述参考人脸图像所指示的第二对象身份一致。
2.根据权利要求1所述的方法,其特征在于,所述获取所述目标人脸图像与参考人脸图像之间的图像相似度包括:
遍历预先构建的人脸图像数据库,依次获取每一张人脸图像作为所述参考人脸图像,其中,所述人脸图像数据库中的每一张人脸图像需要通过所述人脸图像识别模型进行人脸识别的置信度均大于所述第一阈值;
获取所述目标人脸图像的所述目标超球面空间特征向量与所述参考人脸图像的参考超球面空间特征向量之间的余弦距离,作为所述目标人脸图像与所述参考人脸图像之间的所述图像相似度。
3.根据权利要求1所述的方法,其特征在于,在将所述目标特征图和所述目标超球面空间特征向量输入图像质量评估模型中,以得到与所述目标人脸图像匹配的目标置信度之后,还包括:
在所述目标置信度小于等于所述第一阈值的情况下,生成识别异常警告消息,其中,所述识别异常警告消息用于指示重新获取所述目标人脸图像。
4.根据权利要求1所述的方法,其特征在于,所述利用所述多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型包括:
重复执行以下步骤,直至满足所述第一收敛条件,其中,所述初始化人脸图像识别模型中的参数值为初始值:
将当前样本人脸图像输入当前人脸图像识别模型,其中,所述当前人脸图像识别模型中包括卷积层、激活函数、池化层及全连接层,所述卷积层用于提取所述当前样本人脸图像中的图像特征,所述激活函数和所述池化层用于对所述图像特征进行计算处理,得到当前特征图,所述全连接层用于将所述当前特征图映射为超球面空间中的当前超球面空间特征向量;
将所述当前超球面空间特征向量和与所述当前样本人脸图像匹配的当前类中心向量输入所述当前人脸图像识别模型中的第一目标函数,得到第一当前损失值,其中,所述当前类中心向量用于指示所述当前样本人脸图像所属的身份类别;
在所述当前人脸图像识别模型对应的迭代次数大于等于第三阈值,和/或,所述第一当前损失值小于等于第四阈值的情况下,确定满足所述第一收敛条件,并将所述当前人脸图像识别模型确定为完成训练的所述人脸图像识别模型。
5.根据权利要求1所述的方法,其特征在于,获取与每个所述样本人脸图像对应的样本类中心向量包括以下之一:
根据与每个所述样本人脸图像匹配的身份标签对所述多个样本人脸图像进行聚类,得到M个身份类别的样本人脸图像集;对每个身份类别的样本人脸图像集中包含的样本人脸图像进行人脸特征的提取,得到与所述身份类别对应的类别人脸特征;对所述类别人脸特征进行均值计算,得到与所述身份类别对应的所述样本类中心向量,并将所述样本类中心向量作为所述身份类别下所述样本人脸图像集中每个样本人脸图像对应的所述样本类中心向量;或者
将每个所述样本人脸图像和与每个所述样本人脸图像匹配的身份标签依次输入所述人脸图像识别模型,以通过所述人脸图像识别模型中的分类子网络模型确定出与每个所述样本人脸图像对应的样本类中心向量。
6.根据权利要求1所述的方法,其特征在于,所述利用所述多个人脸识别样本结果及与每个所述样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型包括:
重复执行以下步骤,直至满足所述第二收敛条件,其中,所述初始化图像质量评估模型中的参数值为初始值:
确定当前样本人脸图像对应的当前人脸识别样本结果,及与所述当前样本人脸图像对应的当前样本类中心向量;
将所述当前人脸识别样本结果及所述当前样本类中心向量,输入当前图像质量评估模型,得到与所述当前样本人脸图像对应的当前置信度,其中,所述当前置信度为用于评估所述当前样本人脸图像需要通过所述人脸图像识别模型进行人脸识别的置信度;
将所述当前人脸识别样本结果、所述当前样本类中心向量、所述当前置信度及当前配置的超球面空间半径输入所述当前图像质量评估模型中的第二目标函数,得到第二当前损失值;
在所述当前图像质量评估模型对应的迭代次数大于等于第五阈值,和/或,所述第二当前损失值小于等于第六阈值的情况下,确定满足所述第二收敛条件,并将所述当前图像质量评估模型确定为完成训练的所述图像质量评估模型。
8.一种人脸识别系统的训练方法,其特征在于,包括:
获取多个样本人脸图像;
利用所述多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型,其中,所述人脸图像识别模型为用于进行人脸识别的深度神经网络模型;
将所述多个样本人脸图像依次输入所述人脸图像识别模型,得到多个人脸识别样本结果;
利用所述多个人脸识别样本结果及与每个所述样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型,其中,所述样本类中心向量用于指示所述样本人脸图像所属的身份类别,所述图像质量评估模型为在所述人脸图像识别模型的基础上,利用所述多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过所述人脸图像识别模型进行人脸识别的置信度;
组合所述人脸图像识别模型和所述图像质量评估模型,得到所述人脸识别系统。
9.根据权利要求8所述的方法,其特征在于,所述利用所述多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型包括:
重复执行以下步骤,直至满足所述第一收敛条件,其中,所述初始化人脸图像识别模型中的参数值为初始值:
将当前样本人脸图像输入当前人脸图像识别模型,其中,所述当前人脸图像识别模型中包括卷积层、激活函数、池化层及全连接层,所述卷积层用于提取所述当前样本人脸图像中的图像特征,所述激活函数和所述池化层用于对所述图像特征进行计算处理,得到当前特征图,所述全连接层用于将所述当前特征图映射为超球面空间中的当前超球面空间特征向量;
将所述当前超球面空间特征向量和与所述当前样本人脸图像匹配的当前类中心向量输入所述当前人脸图像识别模型中的第一目标函数,得到第一当前损失值,其中,所述当前类中心向量用于指示所述当前样本人脸图像所属的身份类别;
在所述当前人脸图像识别模型对应的迭代次数大于等于第三阈值,和/或,所述第一当前损失值小于等于第四阈值的情况下,确定满足所述第一收敛条件,并将所述当前人脸图像识别模型确定为完成训练的所述人脸图像识别模型。
10.根据权利要求8所述的方法,其特征在于,所述利用所述多个人脸识别样本结果及与每个所述样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型包括:
重复执行以下步骤,直至满足所述第二收敛条件,其中,所述初始化图像质量评估模型中的参数值为初始值:
确定当前样本人脸图像对应的当前人脸识别样本结果,及与所述当前样本人脸图像对应的当前样本类中心向量;
将所述当前人脸识别样本结果及所述当前样本类中心向量,输入当前图像质量评估模型,得到与所述当前样本人脸图像对应的当前置信度,其中,所述当前置信度为用于评估所述当前样本人脸图像需要通过所述人脸图像识别模型进行人脸识别的置信度;
将所述当前人脸识别样本结果、所述当前样本类中心向量、所述当前置信度及当前配置的超球面空间半径输入所述当前图像质量评估模型中的第二目标函数,得到第二当前损失值;
在所述当前图像质量评估模型对应的迭代次数大于等于第五阈值,和/或,所述第二当前损失值小于等于第六阈值的情况下,确定满足所述第二收敛条件,并将所述当前图像质量评估模型确定为完成训练的所述图像质量评估模型。
11.一种人脸识别装置,其特征在于,包括:
第三获取单元,用于获取多个样本人脸图像;
第一训练单元,用于利用所述多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型,其中,所述人脸图像识别模型为用于进行人脸识别的深度神经网络模型;
第三输入单元,用于将所述多个样本人脸图像依次输入所述人脸图像识别模型,得到多个人脸识别样本结果;
第二训练单元,用于利用所述多个人脸识别样本结果及与每个所述样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型,其中,所述样本类中心向量用于指示所述样本人脸图像所属的身份类别,所述图像质量评估模型为在所述人脸图像识别模型的基础上,利用所述多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过所述人脸图像识别模型进行人脸识别的置信度;第一获取单元,用于获取待识别的目标人脸图像;
第一输入单元,用于将所述目标人脸图像输入到所述人脸图像识别模型中,以获取所述目标人脸图像对应的目标特征图和目标超球面空间特征向量;
第二输入单元,用于将所述目标特征图和所述目标超球面空间特征向量输入所述图像质量评估模型中,以得到与所述目标人脸图像匹配的目标置信度;
第二获取单元,用于在所述目标置信度大于第一阈值的情况下,获取所述目标人脸图像与参考人脸图像之间的图像相似度;
识别单元,用于在所述图像相似度大于第二阈值的情况下,识别出所述目标人脸图像所指示的第一对象身份与所述参考人脸图像所指示的第二对象身份一致。
12.一种人脸识别系统的训练装置,其特征在于,包括:
获取单元,用于获取多个样本人脸图像;
第一训练单元,用于利用所述多个样本人脸图像对初始化人脸图像识别模型进行训练,直至得到满足第一收敛条件的人脸图像识别模型,其中,所述人脸图像识别模型为用于进行人脸识别的深度神经网络模型;
输入单元,用于将所述多个样本人脸图像依次输入所述人脸图像识别模型,得到多个人脸识别样本结果;
第二训练单元,用于利用所述多个人脸识别样本结果及与每个所述样本人脸图像对应的样本类中心向量,来对初始化图像质量评估模型进行训练,直至得到满足第二收敛条件的图像质量评估模型,其中,所述样本类中心向量用于指示所述样本人脸图像所属的身份类别,所述图像质量评估模型为在所述人脸图像识别模型的基础上,利用所述多个样本人脸图像进行训练后所得到的神经网络模型,用于评估当前输入的人脸图像需要通过所述人脸图像识别模型进行人脸识别的置信度;
组合单元,用于组合所述人脸图像识别模型和所述图像质量评估模型,得到所述人脸识别系统。
13.一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行所述权利要求1至7任一项中所述的方法或8至10任一项中所述的方法。
14.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法或8至10任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010497697.3A CN111401344B (zh) | 2020-06-04 | 2020-06-04 | 人脸识别方法和装置及人脸识别系统的训练方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010497697.3A CN111401344B (zh) | 2020-06-04 | 2020-06-04 | 人脸识别方法和装置及人脸识别系统的训练方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111401344A CN111401344A (zh) | 2020-07-10 |
CN111401344B true CN111401344B (zh) | 2020-09-29 |
Family
ID=71435727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010497697.3A Active CN111401344B (zh) | 2020-06-04 | 2020-06-04 | 人脸识别方法和装置及人脸识别系统的训练方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111401344B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101215A (zh) * | 2020-09-15 | 2020-12-18 | Oppo广东移动通信有限公司 | 人脸录入的方法、终端设备及计算机可读存储介质 |
CN112364828B (zh) * | 2020-11-30 | 2022-01-04 | 天津金城银行股份有限公司 | 人脸识别方法及金融系统 |
CN113344055B (zh) * | 2021-05-28 | 2023-08-22 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备和介质 |
CN113221820B (zh) * | 2021-05-28 | 2022-07-19 | 杭州网易智企科技有限公司 | 一种对象识别方法、装置、设备及介质 |
CN113240092B (zh) * | 2021-05-31 | 2024-09-17 | 深圳市商汤科技有限公司 | 神经网络训练及人脸识别方法、装置、设备及存储介质 |
CN113255594B (zh) * | 2021-06-28 | 2024-09-17 | 深圳市商汤科技有限公司 | 人脸识别方法和装置、神经网络 |
CN113239907B (zh) * | 2021-07-12 | 2021-12-14 | 北京远鉴信息技术有限公司 | 一种人脸识别的检测方法、装置、电子设备及存储介质 |
CN113688708A (zh) * | 2021-08-12 | 2021-11-23 | 北京数美时代科技有限公司 | 一种基于概率特征的人脸识别方法、系统及存储介质 |
CN113642481A (zh) * | 2021-08-17 | 2021-11-12 | 百度在线网络技术(北京)有限公司 | 识别方法、训练方法、装置、电子设备以及存储介质 |
CN114037886A (zh) * | 2021-11-04 | 2022-02-11 | 重庆紫光华山智安科技有限公司 | 图像识别方法、装置、电子设备和可读存储介质 |
CN114241557A (zh) * | 2021-12-13 | 2022-03-25 | 深圳绿米联创科技有限公司 | 图像识别方法、装置及设备、智能门锁及介质 |
CN114359665B (zh) * | 2021-12-27 | 2024-03-26 | 北京奕斯伟计算技术股份有限公司 | 全任务人脸识别模型的训练方法及装置、人脸识别方法 |
CN114333022B (zh) * | 2021-12-30 | 2024-05-31 | 北京爱奇艺科技有限公司 | 角色特征提取模型的训练方法、角色识别方法及相关设备 |
CN114360025A (zh) * | 2022-01-10 | 2022-04-15 | 山东工商学院 | 一种图像样本的筛选方法、装置及存储介质 |
CN116912639B (zh) * | 2023-09-13 | 2024-02-09 | 腾讯科技(深圳)有限公司 | 图像生成模型的训练方法和装置、存储介质及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427888A (zh) * | 2019-08-05 | 2019-11-08 | 北京深醒科技有限公司 | 一种基于特征聚类的人脸质量评估方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11636328B2 (en) * | 2018-03-28 | 2023-04-25 | University Of Maryland, College Park | L2 constrained softmax loss for discriminative face verification |
CN109271891A (zh) * | 2018-08-30 | 2019-01-25 | 成都考拉悠然科技有限公司 | 一种动态的人脸布控方法和系统 |
CN110288483B (zh) * | 2019-05-22 | 2024-07-02 | 平安证券股份有限公司 | 账号开通方法、装置、设备及计算机可读存储介质 |
CN110489955B (zh) * | 2019-08-23 | 2021-07-27 | 中国工商银行股份有限公司 | 应用于电子设备的图像处理、装置、计算设备、介质 |
CN110866471A (zh) * | 2019-10-31 | 2020-03-06 | Oppo广东移动通信有限公司 | 人脸图像质量评价方法及装置、计算机可读介质、通信终端 |
-
2020
- 2020-06-04 CN CN202010497697.3A patent/CN111401344B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427888A (zh) * | 2019-08-05 | 2019-11-08 | 北京深醒科技有限公司 | 一种基于特征聚类的人脸质量评估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111401344A (zh) | 2020-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111401344B (zh) | 人脸识别方法和装置及人脸识别系统的训练方法和装置 | |
CN111368943B (zh) | 图像中对象的识别方法和装置、存储介质及电子装置 | |
CN112581438B (zh) | 切片图像识别方法、装置和存储介质及电子设备 | |
CN112818251B (zh) | 视频推荐方法、装置、电子设备以及存储介质 | |
CN110765882B (zh) | 一种视频标签确定方法、装置、服务器及存储介质 | |
CN110866469B (zh) | 一种人脸五官识别方法、装置、设备及介质 | |
CN113052150B (zh) | 活体检测方法、装置、电子设备和计算机可读存储介质 | |
CN113762034A (zh) | 视频分类方法和装置、存储介质及电子设备 | |
CN113033507A (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
CN113688814B (zh) | 图像识别方法及装置 | |
CN113076963B (zh) | 一种图像识别方法、装置和计算机可读存储介质 | |
CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
CN116701706B (zh) | 一种基于人工智能的数据处理方法、装置、设备及介质 | |
CN111488887B (zh) | 基于人工智能的图像处理方法、装置 | |
CN113569616A (zh) | 内容识别方法、装置和存储介质及电子设备 | |
CN113706550A (zh) | 图像场景识别和模型训练方法、装置和计算机设备 | |
CN113705301A (zh) | 图像处理方法及装置 | |
CN112256917A (zh) | 用户兴趣识别方法、装置、设备及计算机可读存储介质 | |
CN111626212A (zh) | 图片中对象的识别方法和装置、存储介质及电子装置 | |
CN112749711B (zh) | 视频获取方法和装置及存储介质 | |
CN117011909A (zh) | 人脸识别模型的训练方法、人脸识别的方法和装置 | |
CN115439878A (zh) | 目标重识别模型抗遗忘训练方法、目标重识别方法及装置 | |
CN111461228B (zh) | 图像推荐方法和装置及存储介质 | |
CN116612341B (zh) | 用于对象计数的图像处理方法、装置、设备及存储介质 | |
CN115880742A (zh) | 一种脸部异常表情识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40026151 Country of ref document: HK |