CN108804996B - 人脸验证方法、装置、计算机设备及存储介质 - Google Patents
人脸验证方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN108804996B CN108804996B CN201810260031.9A CN201810260031A CN108804996B CN 108804996 B CN108804996 B CN 108804996B CN 201810260031 A CN201810260031 A CN 201810260031A CN 108804996 B CN108804996 B CN 108804996B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- dimension
- target
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请是关于一种人脸验证方法、装置、计算机设备及存储介质,涉及计算机应用技术领域。该方法包括:提取目标图像的图像特征;获取与特征差异成反相关的权重,特征差异指示预设的人脸图像集中的各幅人脸图像各自的图像特征的差异;根据权重对目标图像的图像特征进行修正;根据修正后的图像特征验证目标图像中的人脸是否为目标人脸。通过上述方案,通过与预设的人脸图像集中的各幅人脸图像各自的图像特征的差异反相关的权重对提取到的图像特征进行修正,从对其中受到环境等因素的影响大的图像特征进行抑制,修正后的图像特征中,受到环境等因素的影响大的图像特征对人脸验证结果的影响也会相应降低,从而提高人脸验证的准确性。
Description
技术领域
本发明涉及计算机应用技术领域,特别涉及一种人脸验证方法、装置、计算机设备及存储介质。
背景技术
随着深度学习技术的不断发展,人脸验证已经在加密、解密以及安防等很多领域得到广泛应用。
在相关技术中,人脸验证通常基于从人脸图像中提取的图像特征来实现。比如,以基于卷积神经网络(Convolutional Neural Network,CNN)的人脸验证为例,验证设备可以通过卷积神经网络,从包含人脸的目标图像中提取图像特征,并计算提取到的图像特征与目标人脸的图像特征之间的相似度,并根据该相似度输出人脸验证结果。
在实际应用中,受到环境等因素的影响,可能导致从同一人物的不同人脸图像中提取出的图像特征的差异过大,从而使得后续人脸验证的准确性不高。
发明内容
本发明实施例提供了一种人脸验证方法、装置、计算机设备及存储介质,可以用于解决相关技术中从同一人物的不同人脸图像中提取出的图像特征的差异过大,从而使得后续人脸验证的准确性不高的问题,技术方案如下:
一方面,提供了一种人脸验证方法,所述方法包括:
获取包含人脸的目标图像;
提取所述目标图像的图像特征;
获取所述目标图像的图像特征的权重,所述权重与特征差异成反相关,所述特征差异指示预设的人脸图像集中的各幅人脸图像各自的图像特征的差异;
根据所述目标图像的图像特征的权重对所述目标图像的图像特征进行修正,获得修正后的图像特征;
根据所述修正后的图像特征验证所述人脸是否为目标人脸。
一方面,提供了一种用于人脸验证中的权重生成方法,所述方法包括:
提取预设的人脸图像集中的各幅人脸图像各自的图像特征,所述目标图像的图像特征包括d个维度的特征数据,d≥2,且d为整数;
对于所述d个维度中的第q维,根据所述各幅人脸图像分别对应在所述第q维上的特征数据计算所述第q维对应的权重数值,所述d个维度中的第q维的权重数值与所述各幅人脸图像分别对应在所述第q维上的特征数据之间的差异成反相关;1≤q≤d,且q为整数;
生成包含所述d个维度分别对应的权重数值的权重,所述权重用于在验证目标图像中的人脸是否为目标人脸时,对所述目标图像的图像特征进行修正,并根据修正后的图像特征验证所述人脸是否为所述目标人脸。
一方面,提供了一种人脸验证装置,所述装置包括:
图像获取模块,用于获取包含人脸的目标图像;
第一特征提取模块,用于提取所述目标图像的图像特征;
权重获取模块,用于获取所述目标图像的图像特征的权重,所述权重与特征差异成反相关,所述特征差异指示预设的人脸图像集中的各幅人脸图像各自的图像特征的差异;
修正模块,用于根据所述目标图像的图像特征的权重对所述目标图像的图像特征进行修正,获得修正后的图像特征;
验证模块,用于根据所述修正后的图像特征验证所述人脸是否为目标人脸。
一方面,提供了一种用于人脸验证中的权重生成装置,所述装置包括:
特征提取模块,用于提取预设的人脸图像集中的各幅人脸图像各自的图像特征,所述目标图像的图像特征包括d个维度的特征数据,d≥2,且d为整数;
计算模块,用于对于所述d个维度中的第q维,根据所述各幅人脸图像分别对应在所述第q维上的特征数据计算所述第q维对应的权重数值,所述d个维度中的第q维的权重数值与所述各幅人脸图像分别对应在所述第q维上的特征数据之间的差异成反相关;1≤q≤d,且q为整数;
生成模块,用于生成包含所述d个维度分别对应的权重数值的权重,所述权重用于在验证目标图像中的人脸是否为目标人脸时,对所述目标图像的图像特征进行修正,并根据修正后的图像特征验证所述人脸是否为所述目标人脸。
一方面,提供了一种计算机设备,所述计算机设备包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述人脸验证方法。
一方面,提供了一种计算机设备,所述计算机设备包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述用于人脸验证中的权重生成方法。
一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述人脸验证方法。
一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述用于人脸验证中的权重生成方法。
本发明提供的技术方案可以包括以下有益效果:
在提取到包含人脸的目标图像的图像特征之后,并不直接根据提取到的图像特征进行人脸验证,而是通过与预设的人脸图像集中的各幅人脸图像各自的图像特征的差异反相关的权重对提取到的图像特征进行修正,从对其中受到环境等因素的影响大的图像特征进行抑制,修正后的图像特征中,受到环境等因素的影响大的图像特征对人脸验证结果的影响也会相应降低,从而提高人脸验证的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是本申请一个示例性的实施例提供的人脸验证系统的系统构成图;
图2是本申请一个示例性实施例提供的人脸验证的基本流程图;
图3是图2所示实施例涉及的一种人脸验证的流程示意图;
图4是本申请一个示例性实施例提供的生成用于人脸验证中的权重的基本流程图;
图5是图4所示实施例涉及的一种全局层面特征分析的结果示意图;
图6是图4所示实施例涉及的性别属性层面特征分析的结果示意图;
图7是图4所示实施例涉及的年龄属性层面特征分析的结果示意图;
图8是图4所示实施例涉及的个体层面特征分析的结果示意图;
图9是图4所示实施例涉及的权重生成流程的示意图;
图10是本申请一个示例性的实施例提供的权重生成以及人脸验证方法的流程图;
图11是图10所示实施例涉及的基于卷积神经网络进行人脸验证的流程图;
图12是本申请一个示例性实施例提供的一种人脸验证装置的结构方框图;
图13是本申请一个示例性实施例提供的一种用于人脸验证中的权重生成装置的结构方框图;
图14是本申请一个示例性实施例提供的计算机设备的结构框图;
图15是本申请另一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
随着深度学习技术的发展,通过卷积神经网络提取人脸特征的方法也层出不穷,在相关技术中,这些方法大都是通过优化网络结构或修改损失函数来达到准确率提升的目的,然而,这些相关技术中的方法通常都缺乏对提取的特征进行深层次的分析,因此无法排除或者抑制人物身份之外的因素对特征提取的准确性的影响,这人物身份之外的因素包括但不限于环境因素(比如光照、角度)以及人脸变化(比如表情、年龄)等。
对于相关技术中的特征提取方法所存在的缺陷,本申请提出一种基于统计结果来对提取到的图像特征进行加权修正,从而达到提升后续人脸验证的准确率的方案。本申请提供的方案可以通过计算机设备来实现,比如,该计算机设备可以是人脸验证系统中的终端和/或服务器。
比如,请参考图1,其示出了本申请一示例性实施例提供的人脸验证系统的系统构成图。如图1所示,该人脸验证系统可以包含若干个终端120和服务器集群140。
终端120可以是移动终端,比如手机、平板电脑、电子书阅读器、MP3播放器(MovingPicture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器等,或者,终端120也可以是膝上型便携计算机或者台式计算机等个人计算机,或者,终端120也可以是具有人脸验证功能的安防设备,比如智能摄像头或者智能门锁等。
终端120与服务器集群140之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
服务器集群140是一台服务器,或者由若干台服务器,或者是一个虚拟化平台,或者是一个云计算服务中心。
可选的,该系统还可以包括管理设备(图1未示出),该管理设备与服务器集群140之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(Extensible MarkupLanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Trassport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet ProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
请参考图2,其示出了本申请一个示例性实施例提供的人脸验证的基本流程图,该流程可以由计算机设备来实现,比如,该方法可以由图1所示的人脸验证系统中的终端120来实现。如图2所示,该流程可以包括如下几个步骤:
步骤201,获取包含人脸的目标图像。
步骤202,提取该目标图像的图像特征。
步骤203,获取该目标图像的图像特征的权重,该权重与特征差异成反相关,该特征差异指示预设的人脸图像集中的各幅人脸图像各自的图像特征的差异。
步骤204,根据该目标图像的图像特征的权重对该目标图像的图像特征进行修正,获得修正后的图像特征。
步骤205,根据该修正后的图像特征验证该人脸是否为目标人脸。
可选的,该目标图像的图像特征包括d个维度的特征数据,d≥2,且d为整数;该权重包括该d个维度分别对应的权重数值,且该d个维度中的第q维的权重数值与该各幅人脸图像分别对应在该第q维上的特征数据之间的差异成反相关;1≤q≤d,且q为整数。
比如,请参考图3,其示出了本申请实施例涉及的一种人脸验证的流程示意图。如图3所示,计算机设备将包含人脸的目标图像输入特征提取网络,通过该特征提取网络从目标图像中提取出d维特征数据,然后通过与该d维特征数据相对应的d维权重数值对该d维特征数据进行修正,获得修正后的d维特征数据,在将修正后的d维特征数据输入人脸验证网络,由人脸验证网络根据该修正后的d维特征数据输出人脸验证结果,该人脸验证结果指示目标图像中包含的人脸是否为目标人脸。
在一种可能的实现方式中,该人脸验证网络可以计算修正后的d维特征数据与从目标人脸中提取出的d维特征数据之间的相似度,当计算出的相似度高于预设的阈值(比如99%)时,可以输出指示该人脸是目标人脸的人脸验证结果,而当计算出的相似度不高于预设的阈值时,可以输出指示该人脸不是目标人脸的人脸验证结果。
其中,上述预设的人脸图像集中的各幅人脸图像各自的图像特征的差异越大,说明计算机设备提取该图像特征时越不稳定,即该图像特征受到环境等因素的影响越大;反之,上述预设的人脸图像集中的各幅人脸图像各自的图像特征的差异越小,说明计算机设备提取该图像特征时越稳定,即该图像特征受到环境等因素的影响越小。通过上述图2所示的方案,在提取到包含人脸的目标图像的图像特征之后,并不直接根据提取到的图像特征进行人脸验证,而是通过与预设的人脸图像集中的各幅人脸图像各自的图像特征的差异反相关的权重对提取到的图像特征进行修正,从对其中受到环境等因素的影响大的图像特征进行抑制,后续进行人脸验证时,修正后的图像特征中,受到环境等因素的影响大的图像特征对人脸验证结果的影响也会相应降低,从而提高人脸验证的准确性。
在执行上述图2所示的人脸验证方法之前,本申请还提供一种用于人脸验证中的权重生成方法,以生成上述用于对从目标图像中提取出的图像特征进行修正的权重。
请参考图4,其示出了本申请一个示例性实施例提供的生成用于人脸验证中的权重的基本流程图,该流程可以由计算机设备来实现,比如,该方法可以由图1所示的人脸验证系统中的服务器集群140来实现。如图4所示,该流程可以包括如下几个步骤:
步骤401,提取预设的人脸图像集中的各幅人脸图像各自的图像特征,该目标图像的图像特征包括d个维度的特征数据,d≥2,且d为整数。
步骤402,对于该d个维度中的第q维,根据该各幅人脸图像分别对应在该第q维上的特征数据计算该第q维对应的权重数值,该d个维度中的第q维的权重数值与该各幅人脸图像分别对应在该第q维上的特征数据之间的差异成反相关;1≤q≤d,且q为整数。
步骤403,生成包含该d个维度分别对应的权重数值的权重,该权重用于在验证目标图像中的人脸是否为目标人脸时,对该目标图像的图像特征进行修正,并根据修正后的图像特征验证该人脸是否为该目标人脸。
本申请从三个层面来分析模型提取的特征的性质:全局(global)、属性(attribute)以及个体(instance)。
其中,全局层面的分析是指不区分人物属性或者人物身份,对数据库中全部人脸图像或者随机选择部分的人脸图像进行统计分析。
属性层面的分析是指对数据库中满足某一项或多项人物属性的人脸图像进行统计分析。比如,以性别属性为例,属性层面的分析可以是指对数据库中男性人物的人脸图像以及所有女性人物的人脸图像分别进行统计分析;或者,以年龄属性为例,属性层面的分析可以是指对数据库中年轻人物的人脸图像以及所有年老人物的人脸图像分别进行统计分析;或者,以性别属性和年龄属性为例,属性层面的分析可以是指对数据库中的年轻男性、年老男性、年轻女性以及年老女性的人脸图像分别进行统计分析。
个体层面的分析是指对数据库中单个人物的人物图像进行统计分析。比如,可以从数据库中提取出身份已知的一个或多个人物的人脸图像,并对身份已知的一个或多个人物的人脸图像分别进行统计分析。
为保证不失一般性,本申请采用了近来很流行的五个卷积神经网络模型(LightCNN-4、LightCNN-9、LightCNN-29、SphereFace以及CenterLoss)分别提取特征,并逐一分析。其中,上述数据库可以采用CACD人脸数据库。各个层面的分析过程以及分析结果可以如下:
第一、全局层面的特征分析
请参考图5,其示出了本申请实施例涉及的一种全局层面特征分析的结果示意图。如图5所示,本申请使用5个卷积神经网络模型(即上述的LightCNN-4、LightCNN-9、LightCNN-29、SphereFace以及CenterLoss模型)将数据库中的全部人脸图像的图像特征提取出来,针对每个特征维度,计算各个人脸图像的图像特征在该维度上的方差,得到图5中的第一行信息。通过图5中的第一行信息可以发现,在d个维度中,有的维度变化较大(对应在图5中示出为方差较大),为探究使得该维度变化较大的原因,可以选取每种卷积神经网络模型提取出的特征数据变化最大的维度,然后将该维度上的特征数据的值处于top 15%和bottom 15%的人脸图像做平均脸,得到了图5的第二行所示的人脸图像。从图5的第二行中可以看出,top 15%和bottom 15%的平均脸之间的区别十分明显。例如,在通过LightCNN-4模型提取出来的特征数据中,两个平均脸的光照条件相差十分明显;而在通过SphereFace模型提取出来的特征数据中,两个平均脸的人脸偏转角度不同。这说明了上述各个维度的特征中,变化较大的维度的特征和这些外界干扰因素(可能是光照或者角度等因素)十分相关,在人脸验证的过程中应该给予抑制。基于此,本申请实施例可以针对所有的人脸图像设置一个特定的权重。
第二、属性层面特征分析
请参考图6和图7,其中,图6示出了本申请实施例涉及的性别属性层面特征分析的结果示意图。图7示出了本申请实施例涉及的年龄属性层面特征分析的结果示意图。
其中,在对性别属性的分析过程中,将数据库中的人脸图像分为男(man)和女(woman)两组。在图6中,第一行是分别使用5个卷积神经网络模型对男组的人脸图像进行特征提取所获得特征均值,第二行是分别使用5个卷积神经网络模型对女组的人脸图像进行特征提取所获得特征均值,第三行是男组和女组的特征均值之间的差值,第四行是对于特征均值之间的差值最大的那个维度,将男组和女组中各自对应该维度上的特征数据的值处于top 15%和bottom 15%的人脸图像做平均脸所获得的人脸图像。
在对年龄属性的分析过程中,从数据库中的人脸图像中选出年轻和年老的两组。如图7所示,第一行是分别使用5个卷积神经网络模型对年老组的人脸图像进行特征提取所获得的特征均值,第二行是分别使用5个卷积神经网络模型对年轻组的人脸图像进行特征提取所获得的特征均值,第三行是年老组和年轻组的特征均值之间的差值。与性别属性的分析类似,第四行是对于特征均值之间的差值最大的那个维度,将年老组和年轻组中各自对应该维度上的特征数据的值处于top 15%和bottom 15%的人脸图像做平均脸所获得的人脸图像。
从图6和图7可以看出,在性别属性和年龄属性这两种分组情况下求出的平均脸差别十分明显,而且与对应的属性相关。这就说明,通过统计方法得到的那个维度,确实是与对应属性相关的维度。基于此,本申请实施例可以针对不同的属性分别设置一个特定的权重。
类似的,当按照属性进行分组时,除了按照性别和年龄这两种属性进行分组之外,还可以按照其它属性(比如肤色或者民族等属性)进行分组,比如,以按照肤色属性进行分组为例,可以将数据库中的人脸图像分为黄色肤色组、黑色肤色组以及白色肤色组等。
第三、个体层面特征分析
请参考图8,其示出了本申请实施例涉及的个体层面特征分析的结果示意图。如图8所示,可以选取了5个名人(图5中示出为人物1至人物5),在数据库中获取每人约1000张人脸图像进行分析统计。
本申请使用同一卷积神经网络模型(比如上述的LightCNN-4、LightCNN-9、LightCNN-29、SphereFace以及CenterLoss模型中的任意一种)将每个人物的人脸图像的图像特征提取出来,针对每个特征维度,计算同一人物的人脸图像的图像特征在该维度上的均值,得到图8中的第一行信息。本申请还使用同一卷积神经网络模型将每个人物的人脸图像的图像特征提取出来,针对每个特征维度,计算同一人物的人脸图像的图像特征在该维度上的方差,得到图8中的第二行信息。此外,本申请还对同一人物的人脸图像取平均脸,并对同一人物的特征数据的方差最大的维度,将该维度上的特征数据的值处于top 15%和bottom15%的人脸图像做平均脸,最后得到图8中的第三行所示的同一人物的全部图像平均脸和特征方差较大的部分图像的平均脸之间的对比图。
从图8的统计结果来看,这五个人的特征均值和特征方差的分布差别较为明显,而且变化最大的维度所对应的环境因素也不相同。基于此,本申请实施例可以为不同的人物分别设置一个特定的权重。
通过上述对不同的人脸验证模型提取的特征进行统计分析可以发现,不是所有的特征维度都同等重要,某些维度的特征数据在不同的人脸图像之间的差异较大。在人脸特征维度中找出与人脸属性(如性别、年龄、人物身份等)相关的属性后,可以发现如果提供被测试者的标签信息,则人脸验证的性能可以得到进一步的提升。上述这些观测对于多种不同模型都是有效的。
基于上述图5至图8所示的统计分析结果,本申请实施例可以统计预设的人脸图像集中各个人脸图像的d个维度的图像特征,针对该d个维度中的每个维度,根据各个人脸图像在该维度上的特征数据之间的差异确定该维度对应的权重数值,最终生成包含d个维度的权重数值的权重,其中,该维度对应的权重数值与各个人脸图像在该维度上的特征数据之间的差异成反相关,也就是说,各个人脸图像在该维度上的特征数据之间的差异越大,该维度对应的权重数值越小。
比如,请参考图9,其示出了本申请实施例涉及的权重生成流程的示意图。如图9所示,计算机设备将预设的人脸图像集中的每一幅人脸图像分别输入特征提取网络(该特征提取网络与上述图3中的特征提取网络是相同的网络),通过该特征提取网络提取各幅人脸图像各自的图像特征(即d维特征数据),对于图像特征中的每一个维度,获取各幅人脸图像的图像特征之间,对应该维度的特征差异,并根据对应该维度的特征差异获得该维度的权重数值,所有的d个维度的权重数值组成上述图像特征对应的权重。
在本申请实施例中,基于不同的人脸图像集,可以获得不同层面的权重。比如,在生成全局层面的权重时,上述人脸图像集可以是包含不限属性且不限身份的各个人脸图像的图像集;在生成属性层面的权重时,上述人脸图像集可以是包含与目标人脸具有相同人物属性的各个人脸图像的图像集,该人物属性包括性别、年龄、肤色以及民族中的至少一种;在生成个体层面的权重时,上述人脸图像集可以是包含与该目标人脸对应同一人物身份的各个人脸图像的图像集。
可选的,当上述不同层面的权重可以单独使用,也可以结合使用。比如,在实际的人脸验证应用中,在提取到目标图像的d维特征数据后,可以使用全局层面的权重对该目标图像的d维特征数据进行修正,当可以通过其他信息获知目标人脸的属性信息或者个体层面信息时,再根据属性层面的权重和/或个体层面的权重对该目标图像的d维特征数据进一步修正。
需要说明的是,上述图2所示的方案中用于从目标图像中提取图像特征的算法,与图4所示方案中用于从人脸图像集包含的各幅人脸图像中提取图像特征的算法是同一种特征提取算法。
比如,以通过卷积神经网络进行图像特征提取和人脸验证为例,由于卷积神经网络可以通过多个巻积层逐层提取图像特征,不同的巻积层提取的图像特征的维度数量和特征含义都不相同,因此,在本申请实施例中,图2所示的方案中从目标图像中提取的图像特征,与图4所示方案中从人脸图像集包含的各幅人脸图像中提取的图像特征,需是通过给定的卷积神经网络中相同的巻积层提取出的图像特征。也就是说,根据给定的卷积神经网络中的某一巻积层从人脸图像集包含的各幅人脸图像中提取的图像特征生成的权重,可以用于在后续通过该卷积神经网络进行人脸验证的过程中,对该巻积层从目标图像中提取出的图像特征进行修正。
可选的,计算机设备在对目标图像中的人脸进行人脸验证的过程中,可能执行多次特征提取,相应的,在本申请实施例中,也可以对多次提取出的图像特征分别进行修正。比如,对于上述给定的卷积神经网络,可以对应该卷积神经网络中的部分或者全部的巻积层分别生成对应的权重,在后续人脸验证过程中,对于这些巻积层中对应有权重的巻积层,计算机设备可以在该巻积层提取到图像特征输入至下一层之前,对该巻积层提取到图像特征进行修正,并将修正后的图像特征输入下一层。
其中,上述图2和图4所示的方法流程可以由不同的计算机设备来执行,例如,上述图2所示的方法流程可以由图1所示系统中的终端120来执行,图4所示的方法流程可以由图1所示系统中的服务器140来执行。比如,服务器140可以根据预设的人脸图像集统计生成d维图像特征对应的d维权重,并将该d维权重发送给终端120,终端120对目标图像中的人脸进行人脸验证时,可以根据服务器140提供的d维权重对从目标图像中提取出的d维图像特征进行修正,并根据修正后的图像特征验证该人脸是否为目标人脸。
上述图2和图4所示的方法流程可以由同一计算机设备来执行,例如,上述图2和图4所示的方法流程可以由图1所示系统中的终端120来执行。比如,服务器140可以将预设的人脸图像集提供给终端120,终端120统计生成d维图像特征对应的d维权重,终端120对目标图像中的人脸进行人脸验证时,可以根据该d维权重对从目标图像中提取出的d维图像特征进行修正,并根据修正后的图像特征验证该人脸是否为目标人脸。
或者,上述图2和图4所示的方法流程可以由图1所示系统中的服务器140来执行。比如,服务器140可以根据预设的人脸图像集统计生成d维图像特征对应的d维权重,对目标图像中的人脸进行人脸验证时,服务器140可以接收终端120提供的目标图像,并根据该d维权重对从目标图像中提取出的d维图像特征进行修正,并根据修正后的图像特征验证该人脸是否为目标人脸,最后将人脸验证结果返回给终端120。
请参考图10,其示出了本申请一个示例性的实施例提供的权重生成以及人脸验证方法的流程图,该方法可以由计算机设备执行,比如,该方法可以由图1所示系统中的终端120和/或服务器140来执行,该方法可以包括如下几个步骤:
步骤1001,提取预设的人脸图像集中的各幅人脸图像各自的图像特征,该图像特征包括d个维度的特征数据,d≥2,且d为整数。
其中,该人脸图像集包括如下图像集中的至少一种:
包含不限属性且不限身份的各个人脸图像的图像集;
包含与该目标人脸具有相同人物属性的各个人脸图像的图像集,该人物属性包括性别、年龄、肤色以及民族中的至少一种;
包含与该目标人脸对应同一人物身份的各个人脸图像的图像集。
以通过给定的卷积神经网络进行人脸验证为例,在本申请实施例中,计算机设备可以通过用于进行人脸验证的卷积神经网络来提取人脸图像集中的各幅人脸图像各自的图像特征。
比如,对于给定的卷积神经网络,对于该卷积神经网络中的每个需要进行特征修正的指定巻积层,计算机设备获取该卷积神经网络对人脸图像集中的各幅人脸图像进行特征提取时,由该指定巻积层提取获得的图像特征,且当指定巻积层包含多个巻积层时,计算机设备需要分别获取每个指定巻积层提取获得的图像特征。
步骤1002,对于d个维度中的第q维,根据各幅人脸图像分别对应在该第q维上的特征数据计算该第q维对应的权重数值。
对于任意指定巻积层提取出的图像特征中的d个维度,计算机设备可以根据各幅人脸图像分别对应在第q个维度的特征数据之间的特征差异,来计算第q个维度对应的权重数值。
可选的,上述根据该各幅人脸图像分别对应在该第q维上的特征数据计算该第q维对应的权重数值,包括:
计算该各幅人脸图像分别对应在该第q维上的特征数据的方差;
根据该各幅人脸图像分别对应在该第q维上的特征数据的方差,计算该第q维对应的权重数值。
本申请实施例所示的方案,在基于人脸图像集中的各幅人脸图像的图像特征的差异生成各个维度上的权重数值时,可以基于各幅人脸图像的图像特征在各个维度上的方差计算对应维度的权重数值。
可选的,上述根据该各幅人脸图像分别对应在该第q维上的特征数据的方差,计算该第q维对应的权重数值,包括:
根据下述公式1计算该第q维对应的权重数值:
其中,wq是该第q维对应的权重数值,η为预设常数,varq为该第q维上的特征数据的方差。
在之前的分析中发现,那些方差比较大的维度主要和环境因素或者个人的与身份信息无关的因素密切相关,因此,本申请提出一个加权的方法使得那些变化比较大的维度被抑制,加权的方法如上述公式所示。
上述公式1可以直接运用在全局、属性和个体层面来增强特征的表达效果。比如,当目标人脸不存在属性和个体层面的标签时,可以只使用通过包含不限属性且不限身份的各个人脸图像的图像集得到权重对图像特征进行修正,若目标人脸存在属性和个体层面的标签,则可以在使用通过包含不限属性且不限身份的各个人脸图像的图像集得到权重的基础上,继续使用通过包含与该目标人脸具有相同人物属性的各个人脸图像的图像集得到权重,以及通过包含与该目标人脸对应同一人物身份的各个人脸图像的图像集得到权重对图像特征进行修正。
在另一种可能的实现方式中,上述人脸图像集为包含与目标人脸对应同一人物身份的各个人脸图像的图像集,在根据该各幅人脸图像分别对应在该第q维上的特征数据计算该第q维对应的权重数值时,还可以根据该各幅人脸图像中每两幅人脸图像分别对应在该第q维上的特征数据,计算该第q维对应的权重数值。
可选的,上述根据该各幅人脸图像中每两幅人脸图像分别对应在该第q维上的特征数据,计算该第q维对应的权重数值,包括:
根据下述公式2计算该第q维对应的权重数值:
其中,wq是该第q维对应的权重数值,α为预设常数,xqi和xqj是该各幅人脸图像中每两幅人脸图像分别对应在该第q维上的特征数据。
基于启发式的定义,本申请望通过加入权重,使得属于同一个人的特征往完全一致的方向优化。比如,本申请选取身份信息相同的数据对(pairs)进行优化,得到数学表达式如下:
其中,g表示由身份信息相同的人脸图像所组成的人脸图像集。通过上述数学表达式可以得到上述公式2。
从公式2的表达式可以看出,如果选择的pairs在某个维度差别越大,那么该维度获得的权重越小,这与本申请前述的分析是一致的。
步骤1003,生成包含该d个维度分别对应的权重数值的权重。
计算机设备将每一个维度上的权重数值组合即可以生成该d个维度分别对应的权重数值的权重。
比如,以上述给定的卷积神经网络为例,对于任意的指定巻积层,该指定巻积层提取出的d维特征数据中,每个维度分别对应一个权重数值,也就是说,在本申请实施例中,图像特征的特征维度与该图像特征对应的权重的维度相同,且一一对应。而对于同一卷积神经网络中的不同的指定巻积层,各自对应的权重各不相同。
步骤1004,获取包含人脸的目标图像。
在人脸验证过程中,计算机设备可以获取包含人脸的目标图像,以便识别该目标图像中的人脸是否为目标人脸。
步骤1005,提取该目标图像的图像特征。
在本申请实施例中,计算机设备可以通过卷积神经网络中的至少一层卷积层提取该目标图像的图像特征。
比如,以给定的卷积神经网络为例,计算机设备可以获取卷积神经网络中的指定巻积层提取到的图像特征。也就是说,在本申请实施利率中,卷积神经网络中的指定巻积层在提取到图像特征之后,并不直接将提取到的图像特征输入下一层,而是输出提取到的图像特征。
步骤1006,根据上述权重对该目标图像的图像特征进行修正,获得修正后的图像特征。
在本申请实施例中,对于卷积神经网络中的至少一层卷积层,计算机设备可以对该至少一层卷积层各自提取到的图像特征进行修正,比如,对于包含d维特征数据的图像特征,计算机设备可以将d维特征数据分别与权重中的d维权重数值相乘,以获得修正后的图像特征。也就是所,计算设备将d维特征数据中的q个维度的特征数据,与d维权重数值中的第q个维度的权重数值相乘,获得第q个维度的修正后的特征数据。
需要说明的是,对于不同的指定巻积层,各自对应的权重也不相同,在本申请实施例所示的人脸验证过程中,每一层指定卷积层提取到的图像特征通过该指定卷积层对应的权重进行修正。
可选的,当可以通过其他信息获知目标人脸的属性信息或者个体层面信息时,一个指定巻积层对应的权重可能包含两种或者两种以上不同层面的权重,且每个权重都包含与该指定巻积层提取到的特征数据相同维度的权重数值,在本申请实施例中,当一个指定巻积层对应的权重包括两种或者两种以上不同层面的权重时,在对该指定巻积层提取到的图像特征进行修正时,可以将该指定巻积层提取到的图像特征与该指定巻积层对应的两种或者两种以上不同层面的权重依次相乘,以获得修正后的图像特征。
在实际应用中,卷积神经网络中包含的巻积层的层数可能有很多,如果对每一个巻积层提取出的图像特征都进行修正,会导致计算复杂度和时延较高,为了控制计算复杂度和人脸验证的时延,在本申请实施例中,可以只将卷积神经网络中最后的一层或多层巻积层设置为需要进行特征修正的指定巻积层。
步骤1007,根据该修正后的图像特征验证该人脸是否为目标人脸。
在本申请中,对于给定的卷积神经网络,计算机设备可以通过后续网络层对该修正后的图像特征进行处理,以验证该人脸是否为目标人脸;该后续网络层是该卷积神经网络中,处于该至少一层卷积层之后的各个网络层,比如,该后续网络层可以是卷积神经网络中的全连接层以及激活函数层等。
请参考图11,其示出了本申请实施例涉及的一种基于卷积神经网络进行人脸验证的流程图。如图11所示,卷积神经网络1100包含若干个巻积层,其中,该若干个巻积层中的最后两层巻积层(即图11中的巻积层1101和巻积层1102)为指定巻积层,巻积层1101对应权重1101a,且巻积层1101提取出的图像特征的维度数量与权重1101a的维度数量相同,巻积层1102对应权重1102a,且巻积层1102提取出的图像特征的维度数量与权重1102a的维度数量相同。在对目标图像进行人脸验证的过程中,巻积层1101提取到图像特征1101b之后,计算机设备将图像特征1101b与权重1101a进行同维度相乘(即图像特征1101b中某个维度的特征数据与权重1101a中相同维度的权重数值相乘),获得修正后的图像特征1101c,随后,计算机设备将图像特征1101c输入给巻积层1102,巻积层1102基于图像特征1101c进一步提取出图像特征1102b,计算机设备将图像特征1102b与权重1102a进行同维度相乘,获得修正后的图像特征1102c,并将图像特征1102c输入后续层1103(包括全连接层、激活函数层以及输出层等),由后续层1103根据图像特征1102c验证目标图像中的人脸是否为目标人脸。
其中,上述步骤1001至步骤1003与步骤1004至步骤1007可以由相同的计算机设备执行,也可以由不同的计算机设备执行。当步骤1001至步骤1003与步骤1004至步骤1007由不同的计算机设备执行,比如,步骤1001至步骤1003由服务器执行,而步骤1004至步骤1007由终端执行时,服务器在执行完步骤1003后,需要将生成的权重发送给终端,以便终端后续在人脸验证过程中,根据该权重对目标图像的图像特征进行修正。
综上所述,本申请实施例所示的方案,提取预设的人脸图像集包含的各幅人脸图像各自对应的d维特征数据,并根据各幅人脸图像各自对应在同维度上的特征数据之间的差异确定对应维度上的权重数值,且该权重数值与对应的差异成反相关,后续进行人脸验证的过程中,通过该权重对提取到的图像特征中的各个维度的特征数据进行修正,从对其中受到环境等因素的影响大的图像特征进行抑制,是的修正后的图像特征中,受到环境等因素的影响大的图像特征对人脸验证结果的影响也会相应降低,从而提高人脸验证的准确性。
另外,本申请实施例所示的方案,在生成权重时,除了全局层面之外,还针对属性以及个体等层面分别生成对应的权重,在后续人脸验证过程中,当可以通过其他信息获知目标人脸的属性信息或者个体层面信息时,还通过属性层面和/或个体等层面的权重对图像特征进行修正,从而进一步提高人脸验证的准确性。
图12是根据一示例性实施例示出的一种人脸验证装置的结构方框图。该人脸验证装置可以用于计算机设备中,以执行图2、图4或图10对应实施例所示的方法的全部或者部分步骤。该人脸验证装置可以包括:
图像获取模块1201,用于获取包含人脸的目标图像;
第一特征提取模块1202,用于提取所述目标图像的图像特征;
权重获取模块1203,用于获取所述目标图像的图像特征的权重,所述权重与特征差异成反相关,所述特征差异指示预设的人脸图像集中的各幅人脸图像各自的图像特征的差异;
修正模块1204,用于根据所述目标图像的图像特征的权重对所述目标图像的图像特征进行修正,获得修正后的图像特征;
验证模块1205,用于根据所述修正后的图像特征验证所述人脸是否为目标人脸。
可选的,所述目标图像的图像特征包括d个维度的特征数据,d≥2,且d为整数;
所述权重包括所述d个维度分别对应的权重数值,且所述d个维度中的第q维的权重数值与所述各幅人脸图像分别对应在所述第q维上的特征数据之间的差异成反相关;1≤q≤d,且q为整数。
可选的,所述装置还包括:
第二特征提取模块,用于在所述图像获取模块1201获取包含人脸的目标图像之前,提取所述人脸图像集中的各幅人脸图像各自的图像特征;
计算模块,用于对于所述d个维度中的第q维,根据所述各幅人脸图像分别对应在所述第q维上的特征数据计算所述第q维对应的权重数值;
生成模块,用于生成包含所述d个维度分别对应的权重数值的所述权重。
可选的,所述计算模块,具体用于,
计算所述各幅人脸图像分别对应在所述第q维上的特征数据的方差;
根据所述各幅人脸图像分别对应在所述第q维上的特征数据的方差,计算所述第q维对应的权重数值。
可选的,在根据所述各幅人脸图像分别对应在所述第q维上的特征数据的方差,计算所述第q维对应的权重数值时,所述计算模块,具体用于,
根据下述公式计算所述第q维对应的权重数值:
其中,wq是所述第q维对应的权重数值,η为预设常数,varq为所述第q维上的特征数据的方差。
可选的,所述人脸图像集包括如下图像集中的至少一种:
包含不限属性且不限身份的各个人脸图像的图像集;
包含与所述目标人脸具有相同人物属性的各个人脸图像的图像集,所述人物属性包括性别、年龄、肤色以及民族中的至少一种;
包含与所述目标人脸对应同一人物身份的各个人脸图像的图像集。
可选的,所述人脸图像集为包含与所述目标人脸对应同一人物身份的各个人脸图像的图像集,所述计算模块,具体用于,
根据所述各幅人脸图像中每两幅人脸图像分别对应在所述第q维上的特征数据,计算所述第q维对应的权重数值。
可选的,在根据所述各幅人脸图像中每两幅人脸图像分别对应在所述第q维上的特征数据,计算所述第q维对应的权重数值时,计算模块,具体用于,
根据下述公式计算所述第q维对应的权重数值:
其中,wq是所述第q维对应的权重数值,α为预设常数,xqi和xqj是所述各幅人脸图像中每两幅人脸图像分别对应在所述第q维上的特征数据。
可选的,所述第一特征提取模块1202,具体用于,通过卷积神经网络中的至少一层卷积层提取所述目标图像的图像特征;
所述修正模块1204,具体用于,通过后续网络层对所述修正后的图像特征进行处理,以验证所述人脸是否为目标人脸;所述后续网络层是所述卷积神经网络中,处于所述至少一层卷积层之后的各个网络层。
综上所述,通过本申请实施例提供的装置,提取预设的人脸图像集包含的各幅人脸图像各自对应的d维特征数据,并根据各幅人脸图像各自对应在同维度上的特征数据之间的差异确定对应维度上的权重数值,且该权重数值与对应的差异成反相关,后续进行人脸验证的过程中,通过该权重对提取到的图像特征中的各个维度的特征数据进行修正,从对其中受到环境等因素的影响大的图像特征进行抑制,是的修正后的图像特征中,受到环境等因素的影响大的图像特征对人脸验证结果的影响也会相应降低,从而提高人脸验证的准确性。
图13是根据一示例性实施例示出的一种用于人脸验证中的权重生成装置的结构方框图。该装置可以用于计算机设备中,以执行图4或图10对应实施例所示的方法的全部或者部分步骤。该用于人脸验证中的权重生成装置可以包括:
特征提取模块1301,用于提取预设的人脸图像集中的各幅人脸图像各自的图像特征,所述目标图像的图像特征包括d个维度的特征数据,d≥2,且d为整数;
计算模块1302,用于对于所述d个维度中的第q维,根据所述各幅人脸图像分别对应在所述第q维上的特征数据计算所述第q维对应的权重数值,所述d个维度中的第q维的权重数值与所述各幅人脸图像分别对应在所述第q维上的特征数据之间的差异成反相关;1≤q≤d,且q为整数;
生成模块1303,用于生成包含所述d个维度分别对应的权重数值的权重,所述权重用于在验证目标图像中的人脸是否为目标人脸时,对所述目标图像的图像特征进行修正,并根据修正后的图像特征验证所述人脸是否为所述目标人脸。
可选的,所述计算模块1302,具体用于,
计算所述各幅人脸图像分别对应在所述第q维上的特征数据的方差;
根据所述各幅人脸图像分别对应在所述第q维上的特征数据的方差,计算所述第q维对应的权重数值。
可选的,在根据所述各幅人脸图像分别对应在所述第q维上的特征数据的方差,计算所述第q维对应的权重数值时,所述计算模块1302,具体用于,
根据下述公式计算所述第q维对应的权重数值:
其中,wq是所述第q维对应的权重数值,η为预设常数,varq为所述第q维上的特征数据的方差。
可选的,所述人脸图像集包括如下图像集中的至少一种:
包含不限属性且不限身份的各个人脸图像的图像集;
包含与所述目标人脸具有相同人物属性的各个人脸图像的图像集,所述人物属性包括性别、年龄、肤色以及民族中的至少一种;
包含与所述目标人脸对应同一人物身份的各个人脸图像的图像集。
可选的,所述人脸图像集为包含与所述目标人脸对应同一人物身份的各个人脸图像的图像集,所述计算模块1302,具体用于,
根据所述各幅人脸图像中每两幅人脸图像分别对应在所述第q维上的特征数据,计算所述第q维对应的权重数值。
可选的,在根据所述各幅人脸图像中每两幅人脸图像分别对应在所述第q维上的特征数据,计算所述第q维对应的权重数值时,计算模块1302,具体用于,
根据下述公式计算所述第q维对应的权重数值:
其中,wq是所述第q维对应的权重数值,α为预设常数,xqi和xqj是所述各幅人脸图像中每两幅人脸图像分别对应在所述第q维上的特征数据。
图14是本申请一示例性实施例提供的计算机设备1400的结构框图。该计算机设备1400可以是用户终端,比如智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备1400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。或者,计算机设备1400也可以是具有人脸验证功能的安防设备,比如智能摄像头或者智能门锁等。
通常,计算机设备1400包括有:处理器1401和存储器1402。
处理器1401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1401可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1401所执行以实现本申请上述各个方法实施例提供的方法的全部或者部分步骤。
在一些实施例中,计算机设备1400还可选包括有:外围设备接口1403和至少一个外围设备。处理器1401、存储器1402和外围设备接口1403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1403相连。具体地,外围设备包括:射频电路1404、显示屏1405、摄像头1406、音频电路1407和电源1408中的至少一种。
外围设备接口1403可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1401和存储器1402。在一些实施例中,处理器1401、存储器1402和外围设备接口1403被集成在同一芯片或电路板上;在一些其他实施例中,处理器1401、存储器1402和外围设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1404包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1405用于显示UI(UserInterface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时,显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时,显示屏1405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1405可以为一个,设置计算机设备1400的前面板;在另一些实施例中,显示屏1405可以为至少两个,分别设置在计算机设备1400的不同表面或呈折叠设计;在再一些实施例中,显示屏1405可以是柔性显示屏,设置在计算机设备1400的弯曲表面上或折叠面上。甚至,显示屏1405还可以设置成非矩形的不规则图形,也即异形屏。显示屏1405可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1406用于采集图像或视频。可选地,摄像头组件1406包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1401进行处理,或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在计算机设备1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1407还可以包括耳机插孔。
电源1408用于为计算机设备1400中的各个组件进行供电。电源1408可以是交流电、直流电、一次性电池或可充电电池。当电源1408包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,计算机设备1400还包括有一个或多个传感器1409。该一个或多个传感器1409包括但不限于:加速度传感器1410、陀螺仪传感器1411、压力传感器1412、光学传感器1413以及接近传感器1414。
加速度传感器1410可以检测以计算机设备1400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1410可以用于检测重力加速度在三个坐标轴上的分量。处理器1401可以根据加速度传感器1410采集的重力加速度信号,控制显示屏1405以横向视图或纵向视图进行用户界面的显示。加速度传感器1410还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1411可以检测计算机设备1400的机体方向及转动角度,陀螺仪传感器1411可以与加速度传感器1410协同采集用户对计算机设备1400的3D动作。处理器1401根据陀螺仪传感器1411采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1412可以设置在计算机设备1400的侧边框和/或显示屏1405的下层。当压力传感器1412设置在计算机设备1400的侧边框时,可以检测用户对计算机设备1400的握持信号,由处理器1401根据压力传感器1412采集的握持信号进行左右手识别或快捷操作。当压力传感器1412设置在显示屏1405的下层时,由处理器1401根据用户对显示屏1405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1413用于采集环境光强度。在一个实施例中,处理器1401可以根据光学传感器1413采集的环境光强度,控制显示屏1405的显示亮度。具体地,当环境光强度较高时,调高显示屏1405的显示亮度;当环境光强度较低时,调低显示屏1405的显示亮度。在另一个实施例中,处理器1401还可以根据光学传感器1413采集的环境光强度,动态调整摄像头组件1406的拍摄参数。
接近传感器1414,也称距离传感器,通常设置在计算机设备1400的前面板。接近传感器1414用于采集用户与计算机设备1400的正面之间的距离。在一个实施例中,当接近传感器1414检测到用户与计算机设备1400的正面之间的距离逐渐变小时,由处理器1401控制显示屏1405从亮屏状态切换为息屏状态;当接近传感器1414检测到用户与计算机设备1400的正面之间的距离逐渐变大时,由处理器1401控制显示屏1405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图14中示出的结构并不构成对计算机设备1400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图15是本申请另一个示例性实施例提供的计算机设备的结构示意图。所述计算机设备可以实现为上述图1所示的实施环境中的服务器集群140。所述计算机设备1500包括中央处理单元(CPU)1501、包括随机存取存储器(RAM)1502和只读存储器(ROM)1503的系统存储器1504,以及连接系统存储器1504和中央处理单元1501的系统总线1505。所述计算机设备1500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1506,和用于存储操作系统1513、应用程序1514和其他程序模块1515的大容量存储设备1507。
所述基本输入/输出系统1506包括有用于显示信息的显示器1508和用于用户输入信息的诸如鼠标、键盘之类的输入设备1509。其中所述显示器1508和输入设备1509都通过连接到系统总线1505的输入输出控制器1510连接到中央处理单元1501。所述基本输入/输出系统1506还可以包括输入输出控制器1510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1510还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1507通过连接到系统总线1505的大容量存储控制器(未示出)连接到中央处理单元1501。所述大容量存储设备1507及其相关联的计算机可读介质为计算机设备1500提供非易失性存储。也就是说,所述大容量存储设备1507可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1504和大容量存储设备1507可以统称为存储器。
计算机设备1500可以通过连接在所述系统总线1505上的网络接口单元1511连接到互联网或者其它网络设备。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,中央处理器1501通过执行该一个或一个以上程序来实现图2、图4或图10任一所示的方法中的全部或者部分步骤。
在一示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括至少一条指令、至少一段程序、代码集或指令集的存储器,上述至少一条指令、至少一段程序、代码集或指令集可由处理器执行以完成上述图2、图4或图10任一实施例所示的方法的全部或者部分步骤。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (15)
1.一种人脸验证方法,其特征在于,所述方法包括:
获取包含人脸的目标图像;
提取所述目标图像的图像特征;
获取所述目标图像的图像特征的权重,所述权重与特征差异成反相关,所述特征差异指示预设的人脸图像集中的各幅人脸图像各自的图像特征的差异;所述预设的人脸图像集是包含不限属性且不限身份的各个人脸图像的图像集,与目标人脸具有相同人物属性的各个人脸图像的图像集,以及包含与所述目标人脸对应同一人物身份的各个人脸图像的图像集中的至少一种;
根据所述目标图像的图像特征的权重对所述目标图像的图像特征进行修正,获得修正后的图像特征;
根据所述修正后的图像特征验证所述人脸是否为所述目标人脸。
2.根据权利要求1所述的方法,其特征在于,所述目标图像的图像特征包括d个维度的特征数据,d≥2,且d为整数;
所述权重包括所述d个维度分别对应的权重数值,且所述d个维度中的第q维的权重数值与所述各幅人脸图像分别对应在所述第q维上的特征数据之间的差异成反相关;1≤q≤d,且q为整数。
3.根据权利要求2所述的方法,其特征在于,所述获取包含人脸的目标图像之前,还包括:
提取所述人脸图像集中的各幅人脸图像各自的图像特征;
对于所述d个维度中的第q维,根据所述各幅人脸图像分别对应在所述第q维上的特征数据计算所述第q维对应的权重数值;
生成包含所述d个维度分别对应的权重数值的所述权重。
4.根据权利要求3所述的方法,其特征在于,所述根据所述各幅人脸图像分别对应在所述第q维上的特征数据计算所述第q维对应的权重数值,包括:
计算所述各幅人脸图像分别对应在所述第q维上的特征数据的方差;
根据所述各幅人脸图像分别对应在所述第q维上的特征数据的方差,计算所述第q维对应的权重数值。
6.根据权利要求4所述的方法,其特征在于,所述人脸图像集包括如下图像集中的至少一种:
包含不限属性且不限身份的各个人脸图像的图像集;
包含与所述目标人脸具有相同人物属性的各个人脸图像的图像集,所述人物属性包括性别、年龄、肤色以及民族中的至少一种;
包含与所述目标人脸对应同一人物身份的各个人脸图像的图像集。
7.根据权利要求3所述的方法,其特征在于,所述人脸图像集为包含与所述目标人脸对应同一人物身份的各个人脸图像的图像集,所述根据所述各幅人脸图像分别对应在所述第q维上的特征数据计算所述第q维对应的权重数值,包括:
根据所述各幅人脸图像中每两幅人脸图像分别对应在所述第q维上的特征数据,计算所述第q维对应的权重数值。
9.根据权利要求1至8任一所述的方法,其特征在于,所述提取所述目标图像的图像特征,包括:
通过卷积神经网络中的至少一层卷积层提取所述目标图像的图像特征;
所述根据所述修正后的图像特征验证所述人脸是否为所述目标人脸,包括:
通过后续网络层对所述修正后的图像特征进行处理,以验证所述人脸是否为所述目标人脸;所述后续网络层是所述卷积神经网络中,处于所述至少一层卷积层之后的各个网络层。
10.一种用于人脸验证中的权重生成方法,其特征在于,所述方法包括:
提取预设的人脸图像集中的各幅人脸图像各自的图像特征,所述图像特征包括d个维度的特征数据,d≥2,且d为整数;所述预设的人脸图像集是包含不限属性且不限身份的各个人脸图像的图像集,与目标人脸具有相同人物属性的各个人脸图像的图像集,以及包含与所述目标人脸对应同一人物身份的各个人脸图像的图像集中的至少一种;
对于所述d个维度中的第q维,根据所述各幅人脸图像分别对应在所述第q维上的特征数据计算所述第q维对应的权重数值,所述d个维度中的第q维的权重数值与所述各幅人脸图像分别对应在所述第q维上的特征数据之间的差异成反相关;1≤q≤d,且q为整数;
生成包含所述d个维度分别对应的权重数值的权重,所述权重用于在验证目标图像中的人脸是否为所述目标人脸时,对所述目标图像的图像特征进行修正,并根据修正后的图像特征验证所述人脸是否为所述目标人脸。
11.一种人脸验证装置,其特征在于,所述装置包括:
图像获取模块,用于获取包含人脸的目标图像;
第一特征提取模块,用于提取所述目标图像的图像特征;
权重获取模块,用于获取所述目标图像的图像特征的权重,所述权重与特征差异成反相关,所述特征差异指示预设的人脸图像集中的各幅人脸图像各自的图像特征的差异;所述预设的人脸图像集是包含不限属性且不限身份的各个人脸图像的图像集,与目标人脸具有相同人物属性的各个人脸图像的图像集,以及包含与所述目标人脸对应同一人物身份的各个人脸图像的图像集中的至少一种;
修正模块,用于根据所述目标图像的图像特征的权重对所述目标图像的图像特征进行修正,获得修正后的图像特征;
验证模块,用于根据所述修正后的图像特征验证所述人脸是否为所述目标人脸。
12.一种用于人脸验证中的权重生成装置,其特征在于,所述装置包括:
特征提取模块,用于提取预设的人脸图像集中的各幅人脸图像各自的图像特征,所述图像特征包括d个维度的特征数据,d≥2,且d为整数;所述预设的人脸图像集是包含不限属性且不限身份的各个人脸图像的图像集,与目标人脸具有相同人物属性的各个人脸图像的图像集,以及包含与所述目标人脸对应同一人物身份的各个人脸图像的图像集中的至少一种;
计算模块,用于对于所述d个维度中的第q维,根据所述各幅人脸图像分别对应在所述第q维上的特征数据计算所述第q维对应的权重数值,所述d个维度中的第q维的权重数值与所述各幅人脸图像分别对应在所述第q维上的特征数据之间的差异成反相关;1≤q≤d,且q为整数;
生成模块,用于生成包含所述d个维度分别对应的权重数值的权重,所述权重用于在验证目标图像中的人脸是否为所述目标人脸时,对所述目标图像的图像特征进行修正,并根据修正后的图像特征验证所述人脸是否为所述目标人脸。
13.一种计算机设备,其特征在于,所述计算机设备包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一所述的人脸验证方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一所述的人脸验证方法。
15.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求10所述的用于人脸验证中的权重生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810260031.9A CN108804996B (zh) | 2018-03-27 | 2018-03-27 | 人脸验证方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810260031.9A CN108804996B (zh) | 2018-03-27 | 2018-03-27 | 人脸验证方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108804996A CN108804996A (zh) | 2018-11-13 |
CN108804996B true CN108804996B (zh) | 2022-03-04 |
Family
ID=64094618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810260031.9A Active CN108804996B (zh) | 2018-03-27 | 2018-03-27 | 人脸验证方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108804996B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378230B (zh) * | 2019-06-19 | 2024-03-05 | 平安科技(深圳)有限公司 | 失踪人脸识别方法、装置、计算机设备和存储介质 |
CN116151316A (zh) * | 2021-11-15 | 2023-05-23 | 平头哥(上海)半导体技术有限公司 | 适用于类神经网络模型的计算系统及实现类神经网络模型的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103903004A (zh) * | 2012-12-28 | 2014-07-02 | 汉王科技股份有限公司 | 一种人脸识别多特征权值融合方法与装置 |
WO2016177259A1 (zh) * | 2015-05-07 | 2016-11-10 | 阿里巴巴集团控股有限公司 | 一种相似图像识别方法及设备 |
CN106408603A (zh) * | 2016-06-21 | 2017-02-15 | 北京小米移动软件有限公司 | 拍摄方法及装置 |
US9613296B1 (en) * | 2015-10-07 | 2017-04-04 | GumGum, Inc. | Selecting a set of exemplar images for use in an automated image object recognition system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107292287B (zh) * | 2017-07-14 | 2018-09-21 | 深圳云天励飞技术有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
-
2018
- 2018-03-27 CN CN201810260031.9A patent/CN108804996B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103903004A (zh) * | 2012-12-28 | 2014-07-02 | 汉王科技股份有限公司 | 一种人脸识别多特征权值融合方法与装置 |
WO2016177259A1 (zh) * | 2015-05-07 | 2016-11-10 | 阿里巴巴集团控股有限公司 | 一种相似图像识别方法及设备 |
US9613296B1 (en) * | 2015-10-07 | 2017-04-04 | GumGum, Inc. | Selecting a set of exemplar images for use in an automated image object recognition system |
CN106408603A (zh) * | 2016-06-21 | 2017-02-15 | 北京小米移动软件有限公司 | 拍摄方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108804996A (zh) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163048B (zh) | 手部关键点的识别模型训练方法、识别方法及设备 | |
CN109299315B (zh) | 多媒体资源分类方法、装置、计算机设备及存储介质 | |
CN110348543B (zh) | 眼底图像识别方法、装置、计算机设备及存储介质 | |
CN110059744B (zh) | 训练神经网络的方法、图像处理的方法、设备及存储介质 | |
CN110544272B (zh) | 脸部跟踪方法、装置、计算机设备及存储介质 | |
CN110807361B (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN111242090B (zh) | 基于人工智能的人脸识别方法、装置、设备及介质 | |
CN112036331B (zh) | 活体检测模型的训练方法、装置、设备及存储介质 | |
CN111091132A (zh) | 基于人工智能的图像识别方法、装置、计算机设备及介质 | |
CN110570460B (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
CN109784351B (zh) | 行为数据分类方法、分类模型训练方法及装置 | |
CN110675412B (zh) | 图像分割方法、图像分割模型的训练方法、装置及设备 | |
CN111104980B (zh) | 确定分类结果的方法、装置、设备及存储介质 | |
CN109840584B (zh) | 基于卷积神经网络模型的图像数据分类方法及设备 | |
CN112581358A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN113705302A (zh) | 图像生成模型的训练方法、装置、计算机设备及存储介质 | |
CN111753498A (zh) | 文本处理方法、装置、设备及存储介质 | |
CN111068323B (zh) | 智能速度检测方法、装置、计算机设备及存储介质 | |
CN110490389B (zh) | 点击率预测方法、装置、设备及介质 | |
CN108804996B (zh) | 人脸验证方法、装置、计算机设备及存储介质 | |
CN110135329B (zh) | 从视频中提取姿势的方法、装置、设备及存储介质 | |
CN115168643B (zh) | 音频处理方法、装置、设备及计算机可读存储介质 | |
CN113569822B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
CN114996515A (zh) | 视频特征提取模型的训练方法、文本生成方法及装置 | |
CN111310701B (zh) | 手势识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |