CN111274856A - 一种人脸识别方法、装置、计算设备及存储介质 - Google Patents

一种人脸识别方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN111274856A
CN111274856A CN201811480891.XA CN201811480891A CN111274856A CN 111274856 A CN111274856 A CN 111274856A CN 201811480891 A CN201811480891 A CN 201811480891A CN 111274856 A CN111274856 A CN 111274856A
Authority
CN
China
Prior art keywords
face
image
feature expression
recognized
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811480891.XA
Other languages
English (en)
Inventor
杜瑶
王冲
张雪
张彦刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Orion Star Technology Co Ltd
Original Assignee
Beijing Orion Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Orion Star Technology Co Ltd filed Critical Beijing Orion Star Technology Co Ltd
Priority to CN201811480891.XA priority Critical patent/CN111274856A/zh
Publication of CN111274856A publication Critical patent/CN111274856A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Abstract

本说明书提供一种人脸识别方法、装置、计算设备及存储介质,所述方法包括:获取待识别的人脸图像;通过转换网络获取所述待识别的人脸图像对应的目标图像,其中,所述目标图像的人脸偏转角度小于或等于预设阈值;基于所述目标图像进行人脸识别,从而有效提高人脸识别的准确率。

Description

一种人脸识别方法、装置、计算设备及存储介质
技术领域
本说明书涉及人脸识别技术领域,特别涉及一种人脸识别方法、装置、计算设备及存储介质。
背景技术
人脸识别技术是当代人工智能、模式识别、计算机视觉领域中的热门研究课题之一,在门禁系统、身份识别、安保监控等领域有着巨大应用价值,在实际生活中,姿态因素成为影响人脸识别结果的主要原因之一,已经成为限制人脸识别技术进步的难点。现有技术中,基于多视图的人脸识别需要采集大量不同姿态的人脸图像,实际并不容易实行;而由单张人脸图像生成多角度人脸图像无法解决随着姿态角度加大带来的精度下降问题。
发明内容
有鉴于此,本说明书实施例提供了一种人脸识别方法、装置、计算设备及存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种人脸识别方法,其特征在于,包括:
获取待识别的人脸图像;
通过转换网络获取所述待识别的人脸图像对应的目标图像,其中,所述目标图像的人脸偏转角度小于或等于预设阈值;
基于所述目标图像进行人脸识别。
可选地,基于所述目标图像进行人脸识别,包括:
通过预先训练的人脸识别模型对所述目标图像进行识别得到第一特征表达;
根据所述第一特征表达,确定所述待识别的人脸图像对应的第二特征表达;
将所述第二特征表达与注册库中的参考人脸图像的特征表达进行比对,根据比对结果确定所述待识别的人脸图像的识别结果。
可选地,在通过转换网络获取所述待识别的人脸图像对应的目标图像之前,还包括:
通过图像分类器识别所述待识别的人脸图像的人脸偏转角度;
通过转换网络获取所述待识别的人脸图像对应的目标图像,包括:
确定所述人脸偏转角度大于预设阈值后,通过转换网络获取所述待识别的人脸图像对应的目标图像。
可选地,所述转换网络通过以下方式训练:
采集多个对象的人脸图像组,其中,每个人脸图像组中包括同一对象不同姿态的人脸图像;
基于多个对象的人脸图像组对转换网络进行训练,以使同一对象的不同姿态的人脸图像相关联。
可选地,根据所述第一特征表达,确定所述待识别的人脸图像对应的第二特征表达,包括:
将所述第一特征表达确定为所述待识别的人脸图像对应的第二特征表达。
可选地,所述方法还包括:
通过所述人脸识别模型对所述待识别的人脸图像识别得到第三特征表达;
根据所述第一特征表达,确定所述待识别的人脸图像对应的第二特征表达包括:
将所述第一特征表达和所述第三特征表达进行融合得到的特征表达确定为所述待识别的人脸图像对应的第二特征表达。
可选地,根据比对结果确定所述待识别的人脸图像的识别结果包括:
将所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达最接近的参考人脸图像作为识别出的图像。
可选地,通过计算所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达之间的距离,确定所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达之间的接近程度。
根据本说明书实施例的第二方面,本申请公开了一种人脸识别模型的训练方法,包括:
获取多个第一人脸样本图像,基于转换网络为每个所述第一人脸样本图像生成至少一张不同人脸姿态的第二人脸样本图像;
以所述第一人脸样本图像和所述第二人脸样本图像为训练样本,以所述第一人脸样本图像对应的对象标识为训练标签,训练人脸识别模型。
可选地,所述转换网络通过以下方式训练:
采集多个对象的人脸图像组,其中,每个人脸图像组中包括同一对象不同姿态的人脸图像;
基于多个对象的人脸图像组对所述转换网络进行训练,以使同一对象的不同姿态的人脸图像相关联。
根据本说明书实施例的第三方面,本申请公开了一种人脸识别装置,包括:
获取模块,被配置为获取待识别的人脸图像;
转换模块,被配置为通过转换网络获取所述待识别的人脸图像对应的目标图像,其中,所述目标图像的人脸偏转角度小于或等于预设阈值;
识别模块,被配置为基于所述目标图像进行人脸识别。
可选地,所述识别模块具体被配置为:
通过预先训练的人脸识别模型对所述目标图像进行识别得到第一特征表达;
根据所述第一特征表达,确定所述待识别的人脸图像对应的第二特征表达;
将所述第二特征表达与注册库中的参考人脸图像的特征表达进行比对,根据比对结果确定所述待识别的人脸图像的识别结果。
可选地,所述人脸识别装置还包括:
角度识别模块,被配置为通过图像分类器识别所述待识别的人脸图像的人脸偏转角度;
所述转换模块还被配置为:确定所述人脸偏转角度大于预设阈值后,通过转换网络获取所述待识别的人脸图像对应的目标图像。
可选地,所述转换网络通过以下方式训练:
采集多个对象的人脸图像组,其中,每个人脸图像组中包括同一对象不同姿态的人脸图像;
基于多个对象的人脸图像组对转换网络进行训练,以使同一对象的不同姿态的人脸图像相关联。
可选地,所述识别模块还被配置为:将所述第一特征表达确定为所述待识别的人脸图像对应的第二特征表达。
可选地,所述识别模块具体被配置为:
通过所述人脸识别模型对所述待识别的人脸图像识别得到第三特征表达;
将所述第一特征表达和所述第三特征表达进行融合得到的特征表达确定为所述待识别的人脸图像对应的第二特征表达。
可选地,所述识别模块具体被配置为:将所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达最接近的参考人脸图像作为识别出的图像。
可选地,所述识别模块具体被配置为:通过计算所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达之间的距离,确定所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达之间的接近程度。
根据本说明书实施例的第四方面,本申请公开了一种人脸识别模型的训练装置,包括:
样本图像获取模块,被配置为获取多个第一人脸样本图像,基于转换网络为每个所述第一人脸样本图像生成至少一张不同人脸姿态的第二人脸样本图像;
模型训练模块,被配置为以所述第一人脸样本图像和所述第二人脸样本图像为训练样本,以所述第一人脸样本图像对应的对象标识为训练标签,训练人脸识别模型。
可选地,所述转换网络通过以下方式训练:
采集多个对象的人脸图像组,其中,每个人脸图像组中包括同一对象不同姿态的人脸图像;
基于多个对象的人脸图像组对所述转换网络进行训练,以使同一对象的不同姿态的人脸图像相关联。
根据本说明书实施例的第五方面,提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现上述人脸识别方法或人脸识别模型的训练方法的步骤。
根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,储有计算机指令,该指令被处理器执行时实现上述的人脸识别方法或人脸识别模型的训练方法的步骤。
本申请的人脸识别方法及装置,通过获取待识别的人脸图像,获取待识别的人脸图像对应的目标图像,然后基于目标图像进行人脸识别,由于目标图像的人脸偏转角度小于或等于预设阈值,更能准确地表达被拍摄用户的脸部特征,从而有效提高人脸识别的准确率。
其次,获取多个第一人脸样本图像后,可以基于转换网络为每个第一人脸样本图像生成至少一张不同人脸姿态的第二人脸样本图像,从而能够得到大量的训练样本,以解决人脸识别模型的训练过程中的训练样本不够丰富的问题。
再次,以第一人脸样本图像和第二人脸样本图像为训练样本,以第一人脸样本图像对应的对象标识为训练标签来训练人脸识别模型,从而实现第一人脸样本图像和第二人脸样本图像均与第一人脸样本图像对应的对象标识之间的关联。并且,由于通过同一对象不同姿态的人脸图像样本训练模型,使得在人脸识别模型的使用过程中输出的特征表达更能表达该用户的人脸特征。
另外,通过人脸识别模型对待识别的人脸图像识别得到第三特征表达,将第一特征表达和第三特征表达进行融合得到的特征表达确定为待识别的人脸图像对应的第二特征表达,从而得到更能准确地表达人脸图像的第二特征表达,进一步地提高人脸图像的识别准确率。
附图说明
图1是本说明书一实施例提供的一种计算设备的结构示意图;
图2为本说明书一实施例提供的一种人脸识别方法的流程图;
图3为本说明书一实施例提供的一种人脸识别方法的具体应用流程图;
图4为本说明书一实施例提供的一种转换网络训练方法的流程图;
图5为本说明书一实施例提供的一种图像转换网络的效果示意图;
图6为本说明书一实施例提供的一种人脸识别方法的具体应用流程图;
图7为本说明书一实施例提供的一种人脸识别方法的流程图;
图8为本说明书一实施例提供的一种人脸识别模型的训练方法的流程图;
图9为本说明书一实施例提供的一种人脸识别装置的示意图;
图10为本说明书一实施例提供的一种人脸识别模型的训练装置的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
下面通过具体实施例,对本发明进行详细说明。
参考图1,图1为本说明书一实施例提供的一种计算设备的结构示意图,在介绍本说明书的技术方案之前,首先对本说明书所涉及的人脸识别系统的架构进行说明。
图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接,数据库150用于保存数据。
计算设备100还包括接入设备140,接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图1所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
图2示出了本说明书实施例中的一种人脸识别方法的流程图,如图2所示,包括步骤202至步骤206。
202、获取待识别的人脸图像。
本实施例中,待识别的人脸图像可以为各种不同姿态的人脸图像。其中,姿态可以包括多种,例如侧脸、仰头、低头等姿态。
在实施中,通过采集设备(如摄像头等)采集待识别的人脸图像。
204、通过转换网络获取所述待识别的人脸图像对应的目标图像,其中,所述目标图像的人脸偏转角度小于或等于预设阈值。
其中,人脸偏转角度指的是人脸所在平面与人脸图像采集设备的屏幕之间的角度,正脸图像指的是人脸朝向人脸图像采集设备的摄像头情况下拍摄到的图像。
人脸图像采集设备可以为多种,例如智能设备(如机器人、移动终端等)、电子门禁等。
可选地,本步骤204中在通过转换网络获取所述待识别的人脸图像对应的目标图像之前,还包括:
通过图像分类器识别所述待识别的人脸图像的人脸偏转角度;
相应的,通过转换网络获取所述待识别的人脸图像对应的目标图像,包括:
确定所述人脸偏转角度大于预设阈值后,通过转换网络获取所述待识别的人脸图像对应的目标图像。
其中,预设阈值可以为预设的任意值,例如设置预设阈值为30度。
进一步的,若通过图像分类器识别所述待识别的人脸图像的人脸偏转角度小于或等于预设阈值,则可将该待识别的人脸图像直接确定为目标图像。
206、基于所述目标图像进行人脸识别。
经过转换网络处理后图像中,被拍摄用户的人脸偏转角度满足小于或等于预设阈值,以此为基础进行人脸识别,可提高识别准确率。在实际应用中可以采用各种人脸识别方法进行人脸识别,本发明实施例中不做限定。
举例说明,参见图3,步骤206中基于所述目标图像进行人脸识别的一种可能的实现方式如下:
302、通过预先训练的人脸识别模型对所述目标图像进行识别得到第一特征表达。
需要说明的是,在使用人脸识别模型对目标图像进行识别的过程中,在输入目标图像后,获取人脸识别模型的隐藏层输出的第一特征表达。
需说明的是,本说明书实施例中的所述人脸识别主要分为人脸检测、特征提取和人脸识别三个过程。其中,人脸检测指的是人脸图像采集设备检测采集的图像中是否包含人脸图像的过程。所述人脸识别是狭义的人脸识别,即将待识别人脸所提取的特征表达与注册库中的人脸的特征表达进行对比,根据相似度判别分类,所述人脸识别可以分为两类:一类为确认,这是被拍摄用户的人脸图像的特征表达与数据库中已存的该用户的人脸图像的特征表达比对的过程,回答“你是不是你”的问题;另一类是辨认,这是被拍摄用户的人脸图像的特征表达与数据库中已存的所有用户的人脸图像的特征表达匹配的过程,回答“你是谁”的问题;在辨认过程中,海量数据的处理、特征提取和分类算法的选择变得非常重要;识别率和识别速度是人脸识别技术中主要的衡量算法性能的指标。
304、根据所述第一特征表达,确定所述待识别的人脸图像对应的第二特征表达。
作为一种可能的实现方式,可以直接将第一特征表达作为待识别的人脸图像对应的第二特征表达,所以,本步骤304中包括:将所述第一特征表达确定为所述待识别的人脸图像对应的第二特征表达。
作为另一种可能的实现方式,所述方法还包括:通过所述人脸识别模型对所述待识别的人脸图像识别得到第三特征表达;
相应的,本步骤304中包括:将第一特征表达和第三特征表达进行融合得到的特征表达确定为所述待识别的人脸图像对应的第二特征表达。
本实施例中,通过将第一特征表达和第三特征表达融合后的特征表达确定为待识别的人脸图像对应的第二特征表达,由于结合了第一特征表达和第三特征表达确定第二特征表达,使得到的第二特征表达更能反映被拍摄用户的脸部特征,从而可以有效地提高人脸识别的准确率。
可选地,将第一特征表达和第三特征表达进行融合,具体可以为将第一特征表达和第三特征表达进行合并,并将第一特征表达和第三特征表达中重复的部分进行去重处理,最终得到融合后的特征表达。
306、将所述第二特征表达与注册库中的参考人脸图像的特征表达进行比对,根据比对结果确定所述待识别的人脸图像的识别结果。
本步骤306中,根据比对结果确定所述待识别的人脸图像的识别结果包括:将所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达最接近的参考人脸图像作为识别出的图像。
其中,接近程度的确定方法有多种,本实施例列举一种接近程度的确定方法:通过计算所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达之间的距离确定所述参考人脸图像的特征表达中与所述待识别的人脸图像的第一特征表达之间的接近程度,并将所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达的距离满足门限值要求的参考人脸图像作为识别出的图像。
在实际使用时,若所述待识别的人脸图像的第二特征表达与注册库中任一参考人脸图像的特征表达的距离均不满足门限值,则认为该用户并未注册过,在识别的过程中就会被识别为陌生人。
进一步的,在识别出用户的人脸图像后,获取该用户的用户信息,并返回至人脸识别设备,并通过人脸识别设备的显示屏显示,可用于用户身份识别、身份验证相关场景。
图4示出了本说明书一实施例中的一种转换网络训练方法的流程图,如图4所示,包括步骤402至步骤404。
402、采集多个对象的人脸图像组,其中,每个人脸图像组中包括同一对象不同姿态的人脸图像。
具体的,每个对象对应一个人脸图像组,每个人脸图像组中包括该对象不同姿态的人脸图像。
404、基于多个对象的人脸图像组对转换网络进行训练,以使同一对象的不同姿态的人脸图像相关联。
本说明书一实施例中,所述转换网络是基于cycle-GAN进行训练的,所述转换网络包括生成模型和辨别模型。所述cycle-GAN网络可以实现图像风格的转换,所述cycle-GAN网络使得其源域中的图像和目标域中的图像之间具有有意义的关联关系,参见图5,根据对源域马匹图像通过训练好的cycle-GAN网络中的生成模型,生成目标域的斑马图像。
本说明书一实施例中,基于cycle-GAN网络的转换特性,利用多个对象的不同姿态的人脸图像对cycle-GAN网络进行训练,使得每个对象的不同姿态的人脸图像之间相关联。在cycle-GAN网络训练完成后,通过其生成模型,通过输入待识别的人脸图像,即可输出同一对象的正脸图像;在cycle-GAN网络训练完成后,通过其生成模型,输入对象的至少一张人脸图像,也可输出同一对象的不同姿态的人脸图像。
本申请的人脸识别方法,通过获取待识别的人脸图像,获取待识别的人脸图像对应的目标图像,然后基于目标图像进行人脸识别,由于目标图像的人脸偏转角度小于或等于预设阈值,更能准确地表达被拍摄用户的脸部特征,从而有效提高人脸识别的准确率。
其次,获取多个第一人脸样本图像后,可以基于转换网络为每个第一人脸样本图像生成至少一张不同人脸姿态的第二人脸样本图像,从而能够得到大量的训练样本,以解决人脸识别模型的训练过程中的训练样本不够丰富的问题。
另外,通过人脸识别模型对待识别的人脸图像识别得到第三特征表达,将第一特征表达和第三特征表达进行融合得到的特征表达确定为待识别的人脸图像对应的第二特征表达,从而得到更能准确地表达人脸图像的第二特征表达,进一步地提高人脸图像的识别准确率。
为了进一步地对本申请实施例的人脸识别方法进行说明,下述用两个实施例分别对本申请实施例的人脸识别方法的流程进行示意性的说明。
图6示出了本说明书实施例中的一种人脸识别方法流程图,本实施例中主要描述了将待识别的人脸图像对应的目标图像的第一特征表达作为待识别的人脸图像的第二特征表达的情形,包括步骤602至步骤610。
602、获取待识别的人脸图像。
其中,待识别的人脸图像可以为各种不同姿态的人脸图像。
604、通过转换网络对所述待识别的人脸图像进行转换得到对应的目标图像。
具体地,通过cycle-GAN转换网络的生成模型对所述待识别的人脸图像进行转换得到对应的目标图像。
606、通过预先训练的人脸识别模型对目标图像进行识别得到第一特征表达,并将第一特征表达作为待识别的人脸图像对应的第二特征表达。
608、获取注册库中的参考人脸图像。
本说明书一实施例中,所述注册库为保存有全部已注册的参考人脸图像的存储区域。
610、将第二特征表达与注册库中的参考人脸图像的特征表达进行比对,根据比对结果确定所述待识别的人脸图像的识别结果。
图7示出了本说明书实施例中的一种人脸识别方法流程图,本实施例中主要描述了将待识别的人脸图像对应的目标图像的第一特征表达和待识别的人脸图像的第三特征表达进行融合作为待识别的人脸图像的第二特征表达的情形,包括步骤702至步骤712。
702、获取待识别的人脸图像。
其中,待识别的人脸图像可以为各种不同姿态的人脸图像。
704、通过转换网络对所述待识别的人脸图像进行转换,得到目标图像。
706、通过预先训练的人脸识别模型对所述目标图像进行识别得到第一特征表达,以及通过所述人脸识别模型对所述待识别的人脸图像识别得到第三特征表达。
708、将所述第一特征表达和所述第三特征表达进行融合得到的特征表达确定为所述待识别的人脸图像对应的第二特征表达。
710、获取注册库中的参考人脸图像。
本说明书一实施例中,所述注册库为保存有全部已注册的参考人脸图像的存储区域。
712、将第二特征表达与注册库中的参考人脸图像的特征表达进行比对,根据比对结果确定待识别的人脸图像的识别结果。
本申请实施例还公开了一种人脸识别模型的训练方法,参见图8,包括:
802、获取多个第一人脸样本图像,基于转换网络为每个所述第一人脸样本图像生成至少一张不同人脸姿态的第二人脸样本图像。
可选地,转换网络通过以下方式训练:采集多个对象的人脸图像组,其中,每个人脸图像组中包括同一对象不同姿态的人脸图像;基于多个对象的人脸图像组对所述转换网络进行训练,以使同一对象的不同姿态的人脸图像相关联。
804、以所述第一人脸样本图像和所述第二人脸样本图像为训练样本,以所述第一人脸样本图像对应的对象标识为训练标签,训练人脸识别模型。
在实施中,同一对象的第一人脸样本图像及其对应的第二人脸样本图像的对象标识是相同的,由于第一人脸样本图像的对象标识是已知的,因此,可将第一人脸样本图像的对象标识作为第一人脸样本图像及其对应的第二人脸样本图像的训练标签。
本实施例中,其次,获取多个第一人脸样本图像后,可以基于转换网络为每个第一人脸样本图像生成至少一张不同人脸姿态的第二人脸样本图像,从而能够得到大量的训练样本,以解决人脸识别模型的训练过程中的训练样本不够丰富的问题。
具体地,在人脸识别模型训练的过程中,每次将一个第一人脸样本图像或该第一人脸样本图像对应的第二人脸样本图像作为训练样本,将该第一人脸样本图像对应的对象标识作为训练标签,输入至人脸识别模型进行训练。并且,对于每次输入的一个第一人脸样本图像或第二人脸样本图像,该人脸识别模型的隐藏层还可以输出该第一人脸样本图像或第二人脸样本图像的特征表达。当然,在人脸识别模型训练的过程中,并不需要获取该隐藏层的输出,该隐藏层的输出会在人脸识别模型使用的过程中用到。
在使用人脸识别模型对目标图像进行识别的过程中,在输入目标图像后,获取人脸识别模型的隐藏层输出的第一特征表达。
通过本实施例的人脸识别模型的训练方法,以第一人脸样本图像和第二人脸样本图像为训练样本,以第一人脸样本图像对应的对象标识为训练标签来训练人脸识别模型,从而实现第一人脸样本图像和第二人脸样本图像均与第一人脸样本图像对应的对象标识之间的关联。并且,由于通过同一对象不同姿态的人脸图像样本训练模型,使得在人脸识别模型的使用过程中输出的特征表达更能表达该用户的人脸特征。
本申请实施例还公开了一种人脸识别装置,参见图9,包括:
获取模块902,被配置为获取待识别的人脸图像;
转换模块904,被配置为获取所述待识别的人脸图像对应的目标图像,其中,所述目标图像的人脸偏转角度小于或等于预设阈值;
识别模块906,被配置为基于所述目标图像进行人脸识别。
可选地,识别模块906具体被配置为:
通过预先训练的人脸识别模型对所述目标图像进行识别得到第一特征表达;
根据所述第一特征表达,确定所述待识别的人脸图像对应的第二特征表达;
将所述第二特征表达与注册库中的参考人脸图像的特征表达进行比对,根据比对结果确定所述待识别的人脸图像的识别结果。
可选地,本实施例的人脸识别装置还包括:
角度识别模块,被配置为通过图像分类器识别所述待识别的人脸图像的人脸偏转角度;
所述转换模块904具体被配置为:确定所述人脸偏转角度大于预设阈值后,通过转换网络获取所述待识别的人脸图像对应的目标图像。
可选地,本实施例的所述转换网络通过以下方式训练:
采集多个对象的人脸图像组,其中,每个人脸图像组中包括同一对象不同姿态的人脸图像;
基于多个对象的人脸图像组对转换网络进行训练,以使同一对象的不同姿态的人脸图像相关联。
可选地,识别模块906具体被配置为:将所述第一特征表达确定为所述待识别的人脸图像对应的第二特征表达。
可选地,识别模块906具体被配置为:
通过所述人脸识别模型对所述待识别的人脸图像识别得到第三特征表达;
将所述第一特征表达和所述第三特征表达进行融合得到的特征表达确定为所述待识别的人脸图像对应的第二特征表达。
可选地,识别模块906具体被配置为:将所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达最接近的参考人脸图像作为识别出的图像。
可选地,识别模块906还被配置为:通过计算所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达之间的距离,确定所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达之间的接近程度。
本申请的人脸识别装置,通过获取待识别的人脸图像,获取待识别的人脸图像对应的目标图像,然后基于目标图像进行人脸识别,由于目标图像的人脸偏转角度小于或等于预设阈值,更能准确地表达被拍摄用户的脸部特征,从而有效提高人脸识别的准确率。
其次,获取多个第一人脸样本图像后,可以基于转换网络为每个第一人脸样本图像生成至少一张不同人脸姿态的第二人脸样本图像,从而能够得到大量的训练样本,以解决人脸识别模型的训练过程中的训练样本不够丰富的问题。
另外,通过人脸识别模型对待识别的人脸图像识别得到第三特征表达,将第一特征表达和第三特征表达进行融合得到的特征表达确定为待识别的人脸图像对应的第二特征表达,从而得到更能准确地表达人脸图像的第二特征表达,进一步地提高人脸图像的识别准确率。
本申请实施例还公开了一种人脸识别模型的训练装置,如图10所示,包括:
样本图像获取模块1002,被配置为获取多个第一人脸样本图像,基于转换网络为每个所述第一人脸样本图像生成至少一张不同人脸姿态的第二人脸样本图像;
模型训练模块1004,被配置为以所述第一人脸样本图像和所述第二人脸样本图像为训练样本,以所述第一人脸样本图像对应的对象标识为训练标签,训练人脸识别模型。
可选地,本实施例的转换网络通过以下方式训练:
采集多个对象的人脸图像组,其中,每个人脸图像组中包括同一对象不同姿态的人脸图像;
基于多个对象的人脸图像组对所述转换网络进行训练,以使同一对象的不同姿态的人脸图像相关联。
通过本实施例的人脸识别模型的训练装置,以第一人脸样本图像和第二人脸样本图像为训练样本,以第一人脸样本图像对应的对象标识为训练标签来训练人脸识别模型,从而实现第一人脸样本图像和第二人脸样本图像均与第一人脸样本图像对应的对象标识之间的关联。并且,由于通过同一对象不同姿态的人脸图像样本训练模型,使得在人脸识别模型的使用过程中输出的特征表达更能表达该用户的人脸特征。
上述实施例阐明的装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本说明书一实施例还提供一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现所述的人脸识别方法或人脸识别模型的训练方法的步骤。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述的人脸识别方法或人脸识别模型的训练方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的人脸识别方法或人脸识别模型的训练方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述人脸识别方法或人脸识别模型的训练方法的技术方案的描述。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书并不受所描述的动作顺序的限制,因为依据本说明书,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种人脸识别方法,其特征在于,包括:
获取待识别的人脸图像;
通过转换网络获取所述待识别的人脸图像对应的目标图像,其中,所述目标图像的人脸偏转角度小于或等于预设阈值;
基于所述目标图像进行人脸识别。
2.根据权利要求1所述的方法,其特征在于,基于所述目标图像进行人脸识别,包括:
通过预先训练的人脸识别模型对所述目标图像进行识别得到第一特征表达;
根据所述第一特征表达,确定所述待识别的人脸图像对应的第二特征表达;
将所述第二特征表达与注册库中的参考人脸图像的特征表达进行比对,根据比对结果确定所述待识别的人脸图像的识别结果。
3.根据权利要求1所述的方法,其特征在于,在通过转换网络获取所述待识别的人脸图像对应的目标图像之前,还包括:
通过图像分类器识别所述待识别的人脸图像的人脸偏转角度;
通过转换网络获取所述待识别的人脸图像对应的目标图像,包括:
确定所述人脸偏转角度大于预设阈值后,通过转换网络获取所述待识别的人脸图像对应的目标图像。
4.根据权利要求1-3任一所述的方法,其特征在于,所述转换网络通过以下方式训练:
采集多个对象的人脸图像组,其中,每个人脸图像组中包括同一对象不同姿态的人脸图像;
基于多个对象的人脸图像组对转换网络进行训练,以使同一对象的不同姿态的人脸图像相关联。
5.根据权利要求2所述的方法,其特征在于,根据所述第一特征表达,确定所述待识别的人脸图像对应的第二特征表达,包括:
将所述第一特征表达确定为所述待识别的人脸图像对应的第二特征表达。
6.根据权利要求2所述的方法,其特征在于,所述方法还包括:
通过所述人脸识别模型对所述待识别的人脸图像识别得到第三特征表达;
根据所述第一特征表达,确定所述待识别的人脸图像对应的第二特征表达包括:
将所述第一特征表达和所述第三特征表达进行融合得到的特征表达确定为所述待识别的人脸图像对应的第二特征表达。
7.根据权利要求2所述的方法,其特征在于,根据比对结果确定所述待识别的人脸图像的识别结果包括:
将所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达最接近的参考人脸图像作为识别出的图像。
8.根据权利要求7所述的方法,其特征在于,通过计算所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达之间的距离,确定所述参考人脸图像的特征表达中与所述待识别的人脸图像的第二特征表达之间的接近程度。
9.一种人脸识别模型的训练方法,其特征在于,包括:
获取多个第一人脸样本图像,基于转换网络为每个所述第一人脸样本图像生成至少一张不同人脸姿态的第二人脸样本图像;
以所述第一人脸样本图像和所述第二人脸样本图像为训练样本,以所述第一人脸样本图像对应的对象标识为训练标签,训练人脸识别模型。
10.根据权利要求9所述的训练方法,其特征在于,所述转换网络通过以下方式训练:
采集多个对象的人脸图像组,其中,每个人脸图像组中包括同一对象不同姿态的人脸图像;
基于多个对象的人脸图像组对所述转换网络进行训练,以使同一对象的不同姿态的人脸图像相关联。
CN201811480891.XA 2018-12-05 2018-12-05 一种人脸识别方法、装置、计算设备及存储介质 Pending CN111274856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811480891.XA CN111274856A (zh) 2018-12-05 2018-12-05 一种人脸识别方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811480891.XA CN111274856A (zh) 2018-12-05 2018-12-05 一种人脸识别方法、装置、计算设备及存储介质

Publications (1)

Publication Number Publication Date
CN111274856A true CN111274856A (zh) 2020-06-12

Family

ID=70998556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811480891.XA Pending CN111274856A (zh) 2018-12-05 2018-12-05 一种人脸识别方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN111274856A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689324A (zh) * 2021-07-06 2021-11-23 清华大学 一种基于二分类标签的人像物件的自动增删方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550637A (zh) * 2015-12-04 2016-05-04 小米科技有限责任公司 轮廓点定位方法及装置
WO2017181769A1 (zh) * 2016-04-21 2017-10-26 腾讯科技(深圳)有限公司 一种人脸识别方法、装置和系统、设备、存储介质
CN108304829A (zh) * 2018-03-08 2018-07-20 北京旷视科技有限公司 人脸识别方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550637A (zh) * 2015-12-04 2016-05-04 小米科技有限责任公司 轮廓点定位方法及装置
WO2017181769A1 (zh) * 2016-04-21 2017-10-26 腾讯科技(深圳)有限公司 一种人脸识别方法、装置和系统、设备、存储介质
CN108304829A (zh) * 2018-03-08 2018-07-20 北京旷视科技有限公司 人脸识别方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689324A (zh) * 2021-07-06 2021-11-23 清华大学 一种基于二分类标签的人像物件的自动增删方法及装置
CN113689324B (zh) * 2021-07-06 2024-04-26 清华大学 一种基于二分类标签的人像物件的自动增删方法及装置

Similar Documents

Publication Publication Date Title
CN109214343B (zh) 用于生成人脸关键点检测模型的方法和装置
CN107633207A (zh) Au特征识别方法、装置及存储介质
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
EP3811337A1 (en) System for predicting articulated object feature location
CN109858392B (zh) 一种用于化妆前后人脸图像自动识别方法
CN107333071A (zh) 视频处理方法、装置、电子设备及存储介质
Storey et al. 3DPalsyNet: A facial palsy grading and motion recognition framework using fully 3D convolutional neural networks
CN110598019B (zh) 重复图像识别方法及装置
CN112101329B (zh) 一种基于视频的文本识别方法、模型训练的方法及装置
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN111401105B (zh) 一种视频表情识别方法、装置及设备
CN110751069A (zh) 一种人脸活体检测方法及装置
Li et al. Data-driven affective filtering for images and videos
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
HN et al. Human Facial Expression Recognition from static images using shape and appearance feature
Zhang et al. Face sketch synthesis from coarse to fine
CN114239717A (zh) 模型训练方法、图像处理方法及装置、电子设备、介质
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
CN111192343B (zh) 一种基于生成式对抗网络的人脸表情合成方法
Dufourq A survey on factors affecting facial expression recognition based on convolutional neural networks
CN111274856A (zh) 一种人脸识别方法、装置、计算设备及存储介质
Long et al. A Facial Expression Recognition Model using Lightweight Dense-Connectivity Neural Networks for Monitoring Online Learning Activities
CN107832690B (zh) 人脸识别的方法及相关产品
CN113947801B (zh) 人脸识别方法、装置和电子设备
Yatbaz et al. Deep learning based stress prediction from offline signatures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination