CN113822245B - 人脸识别方法、电子设备和介质 - Google Patents
人脸识别方法、电子设备和介质 Download PDFInfo
- Publication number
- CN113822245B CN113822245B CN202111384741.0A CN202111384741A CN113822245B CN 113822245 B CN113822245 B CN 113822245B CN 202111384741 A CN202111384741 A CN 202111384741A CN 113822245 B CN113822245 B CN 113822245B
- Authority
- CN
- China
- Prior art keywords
- face
- photo
- style
- feature
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003796 beauty Effects 0.000 claims abstract description 42
- 239000013598 vector Substances 0.000 claims description 85
- 230000001815 facial effect Effects 0.000 claims description 34
- 238000013507 mapping Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 230000005012 migration Effects 0.000 description 9
- 238000013508 migration Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000011084 recovery Methods 0.000 description 7
- 230000002441 reversible effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种人脸识别方法、电子设备和介质,该方法包括:将注册照片输入人脸识别模型,提取第一人脸特征,当判断注册照片为美颜照片时,控制预先训练好的风格人脸生成模型生成相应的素颜照片,将素颜照片输入人脸识别模型,提取第二人脸特征,将第二人脸特征与第一人脸特征融合生成注册特征,将注册特征存入人脸识别数据库,将抓拍照片输入人脸识别模型,提取抓拍人脸特征,将抓拍人脸特征与人脸识别数据库的注册特征逐一比对,根据比对结果确定识别结果,本申请解决了人脸注册照片和抓拍照片之间存在的域迁移,使得人脸识别模型的容错率降低,影响待识别者的人脸识别体验感的问题。
Description
技术领域
本申请涉及机器学习技术领域,特别是一种人脸识别方法、电子设备和介质。
背景技术
随着人脸识别技术的发展,如今,越来越多的人脸识别技术应用到人们的日常生活中,例如,人脸识别技术用于在门禁或考勤系统。
在人脸识别过程中,由于注册照片通常为非限制场景(不同拍摄场地、不同设备以及不同美颜程度,既可以是美颜照片也可以美颜反向恢复的照片,其中,美颜反向恢复的照片就是素颜照片)的单张照片,而抓拍照片为素颜照片,其成像质量和场景相对稳定,并且没有美颜功能,如此,导致以下几个问题:一方面,当注册照片存在美颜效果,与抓拍照片存在域迁移的情况,导致人脸识别模型提取的人脸特征相似度降低;另一方面,进行人脸特征比对时,注册照片仅为从一张照片中提取的特征,难以描述不同场景下人脸的特征信息,导致抓拍照片和注册照片在不同域时的识别失败率较高,为解决上述问题,目前现有技术只能将非限制注册照片拍摄场景改为限制场景在规则内进行拍摄(规定场景及禁止美颜等),这导致人脸识别模型的容错率降低,当注册照片出现意外情况,人脸识别效果与预期结果相反,影响待识别者的人脸识别体验感。
目前,针对人脸注册照片和抓拍照片之间存在的域迁移问题,使得人脸识别模型的容错率降低,影响待识别者的人脸识别体验感的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种人脸识别方法、电子设备和介质,目的之一在于解决人脸注册照片和抓拍照片之间存在的域迁移,使得人脸识别模型的容错率降低,影响待识别者的人脸识别体验感的问题。
第一方面,本申请实施例提供了一种人脸识别方法,该方法包括:
将注册照片输入人脸识别模型,提取第一人脸特征,当判断所述注册照片为美颜照片时,控制预先训练好的风格人脸生成模型生成相应的素颜照片;
将所述素颜照片输入所述人脸识别模型,提取第二人脸特征,将所述第二人脸特征与所述第一人脸特征融合生成注册特征,将所述注册特征存入人脸识别数据库;
将抓拍照片输入所述人脸识别模型,提取抓拍人脸特征,将所述抓拍人脸特征与所述人脸识别数据库的注册特征逐一比对,根据比对结果确定识别结果。
在其中一些实施例中,在将注册照片输入人脸识别模型,提取第一人脸特征之后,所述方法还包括:
当判断所述注册照片为素颜照片时,控制所述预先训练好的风格人脸生成模型生成相应的美颜照片;
将所述美颜照片输入所述人脸识别模型,提取第三人脸特征,将所述第三人脸特征与所述第一人脸特征融合生成所述注册特征,将所述注册特征存入所述人脸识别数据库。
在其中一些实施例中,所述风格人脸生成模型包括人脸生成模型和风格映射网络,所述人脸生成模型包括18个卷积层,所述预先训练好的风格人脸生成模型生成相应的素颜照片包括:
在固定所述人脸生成模型的权重的情况下,将随机向量输入风格映射网络,生成素颜风格向量;
将所述素颜风格向量的最后两层替换为最优风格向量,得到混合风格向量;将所述混合风格向量和所述美颜照片输入所述人脸生成模型,生成素颜照片。
在其中一些实施例中,所述风格人脸生成模型包括人脸生成模型和风格映射网络,所述人脸生成模型包括18个卷积层,所述预先训练好的风格人脸生成模型生成相应的美颜照片包括:
在固定所述人脸生成模型的权重的情况下,将随机向量输入所述风格映射网络,生成美颜风格向量;
将所述美颜风格向量的最后两层替换为最优风格向量,得到混合风格向量;将所述混合风格向量和所述素颜照片输入所述人脸生成模型,生成美颜照片。
在其中一些实施例中,所述风格人脸生成模型还包括人脸判别模型和预训练VGG16模型,所述风格人脸生成模型的训练方式包括:
利用开源的真实人脸照片训练人脸生成模型,得到参数固定的人脸生成模型;
将随机向量输入所述风格映射网络,得到风格向量,将所述风格向量输入所述参数固定的人脸生成模型,得到虚假人脸照片;
所述人脸判别模型计算所述虚假人脸照片与所述真实人脸照片间的相似度,所述预训练VGG16模型根据所述相似度和损失函数计算损失,在所述损失收敛时,得到训练好的风格人脸生成模型。
在其中一些实施例中,所述风格映射网络包括若干个全连接层,在将随机向量输入风格映射网络之前,所述方法还包括:
对所述风格映射网络的指定全连接层增加注意力机制。
在其中一些实施例中,在所述人脸识别模型包括输入层、特征提取网络和分类层的情况下,所述将注册照片输入人脸识别模型提取第一人脸特征,判断所述注册照片为美颜照片包括:
所述输入层接收所述注册照片;
所述特征提取网络提取所述注册照片的特征得到相应的人脸特征;
所述分类层根据所述人脸特征判断所述注册照片为美颜照片。
在其中一些实施例中,所述将抓拍照片输入所述人脸识别模型,提取抓拍人脸特征,将所述抓拍人脸特征与所述人脸识别数据库的注册特征逐一比对,根据比对结果确定识别结果包括:
将所述抓拍照片输入所述人脸识别模型对齐后提取人脸特征,得到抓拍人脸特征向量;
将所述抓拍人脸特征向量与所述人脸识别数据库中的人脸特征向量逐一求取余弦相似度;
若所述余弦相似度超过预设的阈值,判断人脸识别成功,否则,判断人脸识别失败。
第二方面,本申请实施例提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行如上述的人脸识别方法。
第三方面,本申请实施例提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行如上述的人脸识别方法。
相比于相关技术,本申请实施例在注册照片为美颜照片时,而抓拍照片为素颜照片时,通过预先训练好的风格人脸生成模型生成相应的素颜照片,由于人脸识别数据库的注册特征不仅包括有第一人脸特征(即美颜人脸特征),而且还包括第二人脸特征(即素颜人脸特征),因此,无论抓拍照片是本人的美颜照片,还是本人的素颜照片,根据比对结果都能确定识别结果,即人脸识别成功,抓拍照片为本人,解决了人脸注册照片和抓拍照片之间存在的域迁移,使得人脸识别模型的容错率降低,影响待识别者的人脸识别体验感的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例的人脸识别方法的第一流程图;
图2为本申请实施例的人脸识别方法的第二流程图;
图3为本申请实施例的预先训练好的风格人脸生成模型生成相应的素颜照片包括的步骤的一流程示意图;
图4为本申请实施例的预先训练好的风格人脸生成模型生成相应的美颜照片包括的步骤的一流程示意图;
图5为本申请实施例的将注册照片输入人脸识别模型提取第一人脸特征,判断所述注册照片为美颜照片包括的步骤的一流程示意图;
图6为本申请实施例的将抓拍照片输入所述人脸识别模型,提取抓拍人脸特征,将所述抓拍人脸特征与所述人脸识别数据库的注册特征逐一比对,根据比对结果确定识别结果的一步骤的流程示意图;
图7是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
在现有技术中,人脸识别时,由于在缺乏人脸美颜反向恢复方法(即将美颜照片转换为素颜照片的方法),当注册照片为美颜照片,而抓拍照片为素颜照片(美颜反向恢复的照片就是素颜照片)时,即使是同一个人,但是由于存在域迁移的情况,还是会出现无法识别出人脸照片的情况,因此只能将非限制注册照片拍摄场景改为限制场景在规则内进行拍摄(规定场景、禁止美颜等限制场景),这导致人脸识别模型的容错率降低,当注册照片出现意外情况,人脸识别效果与预期结果相反,影响待识别者的人脸识别体验感。
需要说明的是,本领域技术人员易于理解的是所述域迁移指的是照片风格的改变,其中的域在此处指照片的风格,例如美颜风格,素颜风格,比如,假设注册照片和抓拍照片当前为同一个人,当抓拍照片为素颜人脸,而注册照片为手机自拍上传的美颜人脸时,即使是同一个人,也存在着较大的观感区别,因此称为域迁移。
为了解决上述问题,本申请提供一种人脸识别方法,图1为本申请实施例的人脸识别方法的第一流程图,如图1所示,在本实施例中,该方法包括如下步骤:
步骤S101,将注册照片输入人脸识别模型,提取第一人脸特征,当判断注册照片为美颜照片时,控制预先训练好的风格人脸生成模型生成相应的素颜照片;其中,通过预先训练好的风格人脸生成模型生成相应的素颜照片为不存在但逼真的人脸照片,在一些其他实施例中,又称素颜照片为美颜反向恢复照片,此处不做具体限定;由于本申请不限制注册照片的拍摄场景,因此注册照片可以是美颜照片也可以是素颜照片,例如,在本实施例中,注册照片为美颜照片时,控制预先训练好的风格人脸生成模型生成美颜照片,当然在其一些实施例中,为了满足不同的场景需要,还可以控制预先训练好的风格人脸生成模型生成素颜照片,具体根据实际场景设置,此处不做具体限定。
步骤S102,将素颜照片输入人脸识别模型,提取第二人脸特征,将第二人脸特征与第一人脸特征融合生成注册特征,将注册特征存入人脸识别数据库;相较于之前人脸识别数据库只从一张注册照片中提取人脸特征,难以描述不同场景下人脸的特征信息,本申请的注册特征从两个域都能获取该人脸的特征,即人脸识别数据库中的注册特征不仅含有第一人脸特征(即美颜人脸特征),而且还包括第二人脸特征(即素颜人脸特征),如此,使人脸特征数据库的适应场景更丰富的,增强人脸识别模型的鲁棒性;另外,本实施例中的人脸识别模型采用ArcFace模型来实现的,其好处在于:ArcFace模型中损失函数为一种改进的损失函数,在进行在人脸识别训练时,可以直接在角度空间进行分类,效果优于一般的损失函数,当然在一些其他实施例中,人脸识别模型还可以采用其他分类效果更好的模型来实现,此处不做具体限定;
步骤S103,将抓拍照片输入人脸识别模型,提取抓拍人脸特征,将抓拍人脸特征与人脸识别数据库的注册特征逐一比对,根据比对结果确定识别结果。如此,提高了待识别者的人脸识别体验感,此外,本实施例中,由于人脸识别数据库的注册特征不仅包括有第一人脸特征(即美颜人脸特征),而且还包括第二人脸特征(即素颜人脸特征),因此,无论抓拍照片是本人的美颜照片,还是本人的素颜照片,根据比对结果都能确定识别结果,即人脸识别成功,抓拍照片为本人,当然若抓拍照片为非本人的美颜照片或者非本人素颜照片,根据比对结果都能确定人脸识别失败,即抓拍照为非本人照片,如此,解决了人脸注册照片和抓拍照片之间存在的域迁移,使得人脸识别模型的容错率降低,影响待识别者的人脸识别体验感的问题。
通过上述步骤S101至步骤S103,在注册照片为美颜照片时,而抓拍照片为素颜照片时,通过预先训练好的风格人脸生成模型生成相应的素颜照片,由于人脸识别数据库的注册特征不仅包括有第一人脸特征(即美颜人脸特征),而且还包括第二人脸特征(即素颜人脸特征),因此,无论抓拍照片是本人的美颜照片,还是本人的素颜照片,根据比对结果都能确定识别结果,即人脸识别成功,抓拍照片为本人,解决了人脸注册照片和抓拍照片之间存在的域迁移,使得人脸识别模型的容错率降低,影响待识别者的人脸识别体验感的问题。
图2为本申请实施例的人脸识别方法的第二流程图,在现有技术中,人脸识别时,由于在缺乏人脸美颜反向恢复方法,当注册照片为素颜照片,而抓拍照片为美颜照片时,就会出现无法识别出的人脸照片的情况,因此只能将非限制注册照片拍摄场景改为限制场景在规则内进行拍摄,这导致人脸识别模型的容错率降低,当注册照片出现意外情况,人脸识别效果与预期结果相反,影响待识别者的人脸识别体验感,为了解决上述问题,参照图2,在本申请一可选实施例中,在将注册照片输入人脸识别模型,提取第一人脸特征之后,该方法还包括如下步骤:
步骤S201,当判断注册照片为素颜照片时,控制预先训练好的风格人脸生成模型生成相应的美颜照片;
步骤S202,将美颜照片输入人脸识别模型,提取第三人脸特征(即美颜特征),将第三人脸特征与第一人脸特征融合生成注册特征,将注册特征存入人脸识别数据库。
相较于之前人脸识别数据库只从一张注册照片中提取人脸特征,难以描述不同场景下人脸的特征信息,本申请通过上述步骤S201至步骤S202,使注册特征从两个域都能获取该人脸的特征,即人脸识别数据库中的注册特征不仅含有第一人脸特征(即美颜人脸特征),而且还包括第二人脸特征(即素颜人脸特征),如此,使人脸特征数据库的适用场景更丰富的,增强人脸识别模型的鲁棒性;
需要说明的是,在将注册照片输入人脸模型之前,还需要对注册照片进行预处理,将其规定至预设照片大小以方便后续使用,例如本实施例中,将注册照片规范到(1024,1024),当然在一些其他实施例中,也可以为其他,具体根据用户需求设定,此处不做具体限定;
图3为本申请实施例的预先训练好的风格人脸生成模型生成相应的素颜照片包括的步骤的一流程示意图,如图3所示,在一些实施例中,风格人脸生成模型包括人脸生成模型和风格映射网络,人脸生成模型包括18个卷积层,预先训练好的风格人脸生成模型生成相应的素颜照片包括如下步骤:
步骤S301,在固定人脸生成模型的权重的情况下,将随机向量输入风格映射网络,生成素颜风格向量;当然在其他实施例中,将随机向量输入风格映射网络,还可以生成美颜风格向量,如此,在风格向量的基础上去完成风格迁移,方便后续生成美颜人脸照片和素颜人脸照片;其中,随机向量又称随机噪声,其中,随机向量的目的使为了预先训练好的风格人脸生成模型在生成照片时能够学习更多的分布。
需要说明的是,固定人脸生成模型的权重即使该人脸生成模型的参数不随着训练的进行而更新参数,其所有权重的参数都被冻结;
步骤S302,将素颜风格向量的最后两层替换为最优风格向量,得到混合风格向量;易于理解的是,前面16层使用随机向量(随机噪声)得到的风格向量,而最后两层使用最优风格向量替换;
其中,最优风格向量通过如下公式获得:
其中,I为目标域的样本照片(即美颜人脸照片和素颜人脸照片),g(s)为人脸生成模型根据风格映射网络映射出的风格向量s生成的虚假样本照片,D 为判别模型,用于判断人脸生成模型生成照片的质量,即生成照片越相似于真实样本照片,则D会难以将g(s)与I区分,SI为目标域的样本照片I 在风格人脸生成模型上的投影,即最优素颜风格向量;当然在一些其他实施例中,最优风格向量还可以是最优美颜风格向量,具体根据实际情况计算,此处不做具体限定。
具体地,D的损失函数计算公式如下:
其中,l为网络层数,为损失的权重,且为常数,fl为VGG16预训练模型的神经元感
知损失函数,为将真实的照片I和生成的人脸照片g(s)输入到预训练
VGG16模型中计算每一层特征图的二范数误差,为对生成照片g(s)和真实
照片I的一范数误差乘以固定权重的值,在本实施例中,在为5,在此基础上迭代1500次得
到的损失函数收敛。
步骤S303,将混合风格向量和美颜照片输入人脸生成模型,生成素颜照片。由于最优风格向量中具有浅层统计信息,例如,纹理特征、形状、色彩等局部特征,以使人脸生成模型生成的人脸照片整体向目标域样本照片风格和内容进行迁移,并且模型生成的人脸照片保留了真实人脸的内容,又能够继承目标域人脸照片的风格,例如,斑点、皱纹、毛发等人脸的细节信息;其中,通过以下公式来获得生成人脸照片的最优化求解:
其中,I为目标域的样本照片(即美颜人脸照片和素颜人脸照片),g(SI)指的是I的风格下生成的照片,D为判别模型的损失函数,gI 是在I目标域样本下SI的风格向量介入下最优人脸生成模型;
图4为本申请实施例的预先训练好的风格人脸生成模型生成相应的美颜照片包括的步骤的一流程示意图,如图4所示,在一实施例中,风格人脸生成模型包括人脸生成模型和风格映射网络,人脸生成模型包括18个卷积层,预先训练好的风格人脸生成模型生成相应的美颜照片包括:
步骤S401,在固定人脸生成模型的权重的情况下,将随机向量输入风格映射网络,生成美颜风格向量;
步骤S402,将美颜风格向量的最后两层替换为最优风格向量,得到混合风格向量;其中,最优风格向量为最优美颜风格向量,另外,由于最优风格向量可通过上述步骤S302中的最优风格向量公式计算出,此处不在一一赘述;
步骤S403,将混合风格向量和素颜照片输入人脸生成模型,生成美颜照片。此外,由于先训练好的风格人脸生成模型生成相应的美颜照片与上述生成素颜照片的步骤及有益效果一致,因此,此处不在一一赘述。
在一实施例中,风格人脸生成模型还包括人脸判别模型和预训练VGG16模型,风格人脸生成模型的训练方式包括:
利用开源的真实人脸照片训练人脸生成模型,得到参数固定的人脸生成模型;
将随机向量输入风格映射网络,得到风格向量,将风格向量输入参数固定的人脸生成模型,得到虚假人脸照片;
人脸判别模型计算虚假人脸照片与真实人脸照片间的相似度,预训练VGG16模型根据相似度和损失函数计算损失,在损失收敛时,得到训练好的风格人脸生成模型。由于上述损失的具体计算过程与步骤S302的计算过程基本一致,本领域技术人员易于实现,因此,此处不在赘述。
需要说明的是,在训练过程中会多次交替迭代优化人脸生成模型和人脸判别模型可以使二者共同逼近全局最优才以训练出较好的风格人脸生成模型,有利于后续利用训练好的风格人脸生成模型生成美颜照片或者素颜照片;
为了将输入信息的浅层和高级属性在不同网络深度中分离出来,风格映射网络将输入的随机向量映射到一个高维的向量空间,如此,解开输入信息中的特征纠缠,但是人脸照片信息在生成时其实不可避免的有互相影响的特征,例如人的双眼信息通常是同概率分布的,因此为了使不同深度的特征具备一定的相关性,在其中一些实施例中,风格映射网络包括若干个全连接层,在将随机向量输入风格映射网络之前,该方法还包括:
对风格映射网络的指定全连接层增加注意力机制。其中,注意力机制为与指定全连接层结构相同但是损失函数不同的全连接层,例如,输入向量经过一层全链接层,完成一次自适应的特征提取,得到一层特征向量,一层层传递,直到最后,在指定全连接层为第三层网络的情况下,增加与第三层网络的结构,但激活函数不同的另一全连接层,使二者结果相融合便的到了新的特征向量,以使特征向量注入了不同的特征信息,方便映射网络将浅层信息和高级信息分离出来,同时增加注意力机制能够使同一级别的信息能够呈现一定的关联性。
图5为本申请实施例的预将注册照片输入人脸识别模型提取第一人脸特征,判断注册照片为美颜照片包括的步骤的一流程示意图,如图5,在一实施例中,在人脸识别模型包括输入层、特征提取网络和分类层的情况下,将注册照片输入人脸识别模型提取第一人脸特征,判断注册照片为美颜照片包括如下步骤:
步骤S501,输入层接收注册照片;
步骤S502,特征提取网络提取注册照片的特征得到相应的人脸特征;
步骤S503,分类层根据人脸特征判断注册照片为美颜照片。
当然在一些其他实施例中,基于步骤S501和S502基础上,也可以利用分类层根据人脸特征判断注册照片为素颜照片,此处不做具体限定,需要说明的是,输入层、特征提取网络和分类层都可以采用现有的网络结构来实现,此处不做具体限定;
图6为本申请实施例的将抓拍照片输入人脸识别模型,提取抓拍人脸特征,将抓拍人脸特征与人脸识别数据库的注册特征逐一比对,根据比对结果确定识别结果的一步骤的流程示意图,如图6,在其中一些实施例中,将抓拍照片输入人脸识别模型,提取抓拍人脸特征,将抓拍人脸特征与人脸识别数据库的注册特征逐一比对,根据比对结果确定识别结果包括如下步骤:
步骤S601,将抓拍照片输入人脸识别模型对齐后提取人脸特征,得到抓拍人脸特征向量;
步骤S602,将抓拍人脸特征向量与人脸识别数据库中的人脸特征向量逐一求取余弦相似度;
步骤S603,若余弦相似度超过预设的阈值,判断人脸识别成功,否则,判断人脸识别失败。其中,预设的阈值根据用户需求设定,此处不做具体限定;
易于理解的是,若两个向量相似度极高时,其余弦夹角越小,若两个向量完全一样时为余弦相似度为0度。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S101,将注册照片输入人脸识别模型,提取第一人脸特征,当判断注册照片为美颜照片时,控制预先训练好的风格人脸生成模型生成相应的素颜照片;
S102,将素颜照片输入人脸识别模型,提取第二人脸特征,将第二人脸特征与第一人脸特征融合生成注册特征,将注册特征存入人脸识别数据库;
S103,将抓拍照片输入人脸识别模型,提取抓拍人脸特征,将抓拍人脸特征与人脸识别数据库的注册特征逐一比对,根据比对结果确定识别结果。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的人脸识别方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种人脸识别方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
在一个实施例中,图7是根据本申请实施例的电子设备的内部结构示意图,如图7所示,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图7所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器,其中,该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力,网络接口用于与外部的终端通过网络连接通信,内存储器用于为操作系统和计算机程序的运行提供环境,计算机程序被处理器执行时以实现一种人脸识别方法,数据库用于存储数据。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种人脸识别方法,其特征在于,包括:
将注册照片输入人脸识别模型,提取第一人脸特征,当判断所述注册照片为美颜照片时,控制预先训练好的风格人脸生成模型生成相应的素颜照片;
将所述素颜照片输入所述人脸识别模型,提取第二人脸特征,将所述第二人脸特征与所述第一人脸特征融合生成注册特征,将所述注册特征存入人脸识别数据库;
将抓拍照片输入所述人脸识别模型,提取抓拍人脸特征,将所述抓拍人脸特征与所述人脸识别数据库的注册特征逐一比对,根据比对结果确定识别结果;
所述风格人脸生成模型包括人脸生成模型和风格映射网络,所述人脸生成模型包括18个卷积层,所述预先训练好的风格人脸生成模型生成相应的素颜照片包括:
在固定所述人脸生成模型的权重的情况下,将随机向量输入风格映射网络,生成素颜风格向量;
将所述素颜风格向量的最后两层替换为最优风格向量,得到混合风格向量;将所述混合风格向量和所述美颜照片输入所述人脸生成模型,生成素颜照片。
2.根据权利要求1所述方法,其特征在于,在将注册照片输入人脸识别模型,提取第一人脸特征之后,所述方法还包括:
当判断所述注册照片为素颜照片时,控制所述预先训练好的风格人脸生成模型生成相应的美颜照片;
将所述美颜照片输入所述人脸识别模型,提取第三人脸特征,将所述第三人脸特征与所述第一人脸特征融合生成所述注册特征,将所述注册特征存入所述人脸识别数据库。
3.根据权利要求2所述方法,其特征在于,所述风格人脸生成模型包括人脸生成模型和风格映射网络,所述人脸生成模型包括18个卷积层,所述预先训练好的风格人脸生成模型生成相应的美颜照片包括:
在固定所述人脸生成模型的权重的情况下,将随机向量输入所述风格映射网络,生成美颜风格向量;
将所述美颜风格向量的最后两层替换为最优风格向量,得到混合风格向量;将所述混合风格向量和所述素颜照片输入所述人脸生成模型,生成美颜照片。
4.根据权利要求1所述方法,其特征在于,所述风格人脸生成模型还包括人脸判别模型和预训练VGG16模型,所述风格人脸生成模型的训练方式包括:
利用开源的真实人脸照片训练人脸生成模型,得到参数固定的人脸生成模型;
将随机向量输入所述风格映射网络,得到风格向量,将所述风格向量输入所述参数固定的人脸生成模型,得到虚假人脸照片;
所述人脸判别模型计算所述虚假人脸照片与所述真实人脸照片间的相似度,所述预训练VGG16模型根据所述相似度和损失函数计算损失,在所述损失收敛时,得到训练好的风格人脸生成模型。
5.根据权利要求1所述方法,其特征在于,所述风格映射网络包括若干个全连接层,在将随机向量输入风格映射网络之前,所述方法还包括:
对所述风格映射网络的指定全连接层增加注意力机制。
6.根据权利要求1所述方法,其特征在于,在所述人脸识别模型包括输入层、特征提取网络和分类层的情况下,所述将注册照片输入人脸识别模型提取第一人脸特征,判断所述注册照片为美颜照片包括:
所述输入层接收所述注册照片;
所述特征提取网络提取所述注册照片的特征得到相应的人脸特征;
所述分类层根据所述人脸特征判断所述注册照片为美颜照片。
7.根据权利要求1所述方法,其特征在于,所述将抓拍照片输入所述人脸识别模型,提取抓拍人脸特征,将所述抓拍人脸特征与所述人脸识别数据库的注册特征逐一比对,根据比对结果确定识别结果包括:
将所述抓拍照片输入所述人脸识别模型对齐后提取人脸特征,得到抓拍人脸特征向量;
将所述抓拍人脸特征向量与所述人脸识别数据库中的人脸特征向量逐一求取余弦相似度;
若所述余弦相似度超过预设的阈值,判断人脸识别成功,否则,判断人脸识别失败。
8.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的人脸识别方法。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的人脸识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111384741.0A CN113822245B (zh) | 2021-11-22 | 2021-11-22 | 人脸识别方法、电子设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111384741.0A CN113822245B (zh) | 2021-11-22 | 2021-11-22 | 人脸识别方法、电子设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113822245A CN113822245A (zh) | 2021-12-21 |
CN113822245B true CN113822245B (zh) | 2022-03-04 |
Family
ID=78918047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111384741.0A Active CN113822245B (zh) | 2021-11-22 | 2021-11-22 | 人脸识别方法、电子设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113822245B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109410131A (zh) * | 2018-09-28 | 2019-03-01 | 杭州格像科技有限公司 | 基于条件生成对抗神经网络的人脸美颜方法及系统 |
CN110472489A (zh) * | 2019-07-05 | 2019-11-19 | 五邑大学 | 一种人脸美丽等级预测方法、装置及存储介质 |
CN110503031A (zh) * | 2019-08-21 | 2019-11-26 | 杭州宇泛智能科技有限公司 | 一种提高人脸识别准确率及通行速度的方法 |
CN111127378A (zh) * | 2019-12-23 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN111325657A (zh) * | 2020-02-18 | 2020-06-23 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN112101296A (zh) * | 2020-10-14 | 2020-12-18 | 杭州海康威视数字技术股份有限公司 | 人脸注册方法、人脸验证方法、装置及系统 |
CN112614048A (zh) * | 2020-12-24 | 2021-04-06 | 河南科技学院 | 一种基于对偶生成对抗网络的模仿化妆图像虚拟卸妆方法 |
CN112613435A (zh) * | 2020-12-28 | 2021-04-06 | 杭州魔点科技有限公司 | 人脸图像生成方法、装置、设备及介质 |
CN113159006A (zh) * | 2021-06-23 | 2021-07-23 | 杭州魔点科技有限公司 | 基于人脸识别的考勤方法、系统、电子设备和存储介质 |
US11126826B1 (en) * | 2019-04-03 | 2021-09-21 | Shallow.Ai Inc. | Machine learning system and method for recognizing facial images |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109858392B (zh) * | 2019-01-11 | 2021-02-02 | 复旦大学 | 一种用于化妆前后人脸图像自动识别方法 |
CN110659582A (zh) * | 2019-08-29 | 2020-01-07 | 深圳云天励飞技术有限公司 | 图像转换模型训练方法、异质人脸识别方法、装置及设备 |
CN110852940A (zh) * | 2019-11-01 | 2020-02-28 | 天津大学 | 一种图像处理方法及相关设备 |
CN111931908B (zh) * | 2020-07-23 | 2024-06-11 | 北京电子科技学院 | 一种基于人脸轮廓的人脸图像自动生成方法 |
CN113222841A (zh) * | 2021-05-08 | 2021-08-06 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、设备及介质 |
CN113343931A (zh) * | 2021-07-05 | 2021-09-03 | Oppo广东移动通信有限公司 | 生成对抗网络的训练方法、图像视线校正方法与装置 |
-
2021
- 2021-11-22 CN CN202111384741.0A patent/CN113822245B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109410131A (zh) * | 2018-09-28 | 2019-03-01 | 杭州格像科技有限公司 | 基于条件生成对抗神经网络的人脸美颜方法及系统 |
US11126826B1 (en) * | 2019-04-03 | 2021-09-21 | Shallow.Ai Inc. | Machine learning system and method for recognizing facial images |
CN110472489A (zh) * | 2019-07-05 | 2019-11-19 | 五邑大学 | 一种人脸美丽等级预测方法、装置及存储介质 |
CN110503031A (zh) * | 2019-08-21 | 2019-11-26 | 杭州宇泛智能科技有限公司 | 一种提高人脸识别准确率及通行速度的方法 |
CN111127378A (zh) * | 2019-12-23 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN111325657A (zh) * | 2020-02-18 | 2020-06-23 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN112101296A (zh) * | 2020-10-14 | 2020-12-18 | 杭州海康威视数字技术股份有限公司 | 人脸注册方法、人脸验证方法、装置及系统 |
CN112614048A (zh) * | 2020-12-24 | 2021-04-06 | 河南科技学院 | 一种基于对偶生成对抗网络的模仿化妆图像虚拟卸妆方法 |
CN112613435A (zh) * | 2020-12-28 | 2021-04-06 | 杭州魔点科技有限公司 | 人脸图像生成方法、装置、设备及介质 |
CN113159006A (zh) * | 2021-06-23 | 2021-07-23 | 杭州魔点科技有限公司 | 基于人脸识别的考勤方法、系统、电子设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
Learning from Multi-domain Artistic Images for Arbitrary Style Transfer;Zheng Xu等;《arXiv:1805.09987v2》;20190414;1-11 * |
基于GAN和特征融合的深度感知图像相似性计算方法研究;杨照璐;《中国优秀硕士学位论文全文数据库_信息科技辑》;20191215(第12期);I138-481 * |
基于条件生成对抗网络的人脸去妆算法研究;廖毅等;《现代计算机》;20210505(第13期);第76-79、96页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113822245A (zh) | 2021-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11983850B2 (en) | Image processing method and apparatus, device, and storage medium | |
WO2021232985A1 (zh) | 人脸识别方法、装置、计算机设备及存储介质 | |
CN112330685B (zh) | 图像分割模型训练、图像分割方法、装置及电子设备 | |
CN111783902B (zh) | 数据增广、业务处理方法、装置、计算机设备和存储介质 | |
CN111680672B (zh) | 人脸活体检测方法、系统、装置、计算机设备和存储介质 | |
CN111353546B (zh) | 图像处理模型的训练方法、装置、计算机设备和存储介质 | |
CN111738735B (zh) | 一种图像数据处理方法、装置和相关设备 | |
CN112084917A (zh) | 一种活体检测方法及装置 | |
CN111062865B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN114202456A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
CN111695502A (zh) | 用于人脸识别的特征更新方法、装置和计算机设备 | |
CN111898561A (zh) | 一种人脸认证方法、装置、设备及介质 | |
CN114708644B (zh) | 一种基于家庭基因模板的人脸识别方法和系统 | |
CN112116589B (zh) | 虚拟形象的评测方法、装置、设备及计算机可读存储介质 | |
CN113822245B (zh) | 人脸识别方法、电子设备和介质 | |
KR102215535B1 (ko) | 신경망을 이용한 안면 부분 이미지 기반 신분 인증 방법 및 이를 수행하는 시스템 | |
WO2024088111A1 (zh) | 图像处理方法、装置、设备、介质及程序产品 | |
CN111402118B (zh) | 图像替换方法、装置、计算机设备和存储介质 | |
CN114677716A (zh) | 图像风格迁移方法、装置、计算机设备和存储介质 | |
CN110414347B (zh) | 人脸验证方法、装置、设备和存储介质 | |
CN112287222B (zh) | 一种基于异质特征深度残差网络的内容推荐方法 | |
CN114495201A (zh) | 包含活体检测的多任务人脸识别方法、系统、设备和介质 | |
CN114049544A (zh) | 基于特征比对的人脸质量评估方法、装置、设备及介质 | |
CN113792759A (zh) | 识别模型训练方法、装置、计算机设备和存储介质 | |
CN112488053A (zh) | 一种人脸识别方法、装置、机器人及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |